CN117918955A

CN117918955A - 一种增强现实外科导航装置、方法、系统设备及介质

Info

Publication number: CN117918955A
Application number: CN202410322955.2A
Authority: CN
Inventors: 周烽; 张继刚; 王侃; 何元会; 李体雷; 田承林; 刘昊扬
Original assignee: BEIJING NOITOM TECHNOLOGY Ltd
Current assignee: BEIJING NOITOM TECHNOLOGY Ltd
Priority date: 2024-03-21
Filing date: 2024-03-21
Publication date: 2024-04-26
Anticipated expiration: 2044-03-21
Also published as: CN117918955B

Abstract

本发明公开了一种增强现实外科导航装置、方法、系统、设备及介质，涉及外科手术导航领域，装置包括：光学追踪仪、AR屏幕显示器以及光学反射刚体；所述光学反射刚体包括：若干红外反射球和连接件，所述反射球固定在所述连接件上；所述光学反射刚体固定在所述AR屏幕显示器上，所述红外反射球正对所述光学追踪仪，使得所述光学追踪仪可以捕获所述红外反射球；所述光学追踪仪包括：红外摄像头、网络设备以及计算机；所述红外摄像头和所述计算机通过网线连接至所述网络设备的交换机中。本发明中的上述方案能够避免头戴式增强现实装置的点云校准和叠加带来的误差偏移和携带不便等问题。

Description

一种增强现实外科导航装置、方法、系统设备及介质

技术领域

本发明涉及外科手术导航技术领域，特别涉及一种增强现实外科导航装置、方法、系统设备及介质。

背景技术

外科手术需要高精度和准确性，传统的手术方法依赖于医生经验和术中影像。然而，由于手术复杂性和个体差异，传统方法可能存在误差和风险。近几十年来，世界各地使用的外科技术在技术上取得了进步。为了给外科医生提供参考信息，传统的手术可视化系统使用超声、磁共振成像（magnetic resonance imaging， MRI）或患者术前计算机断层扫描（computed tomography， CT）和其他医学成像。然而，外科医生应在整个手术过程中将二维（2D）图像与三维（3D）空间相结合，导致术前和术中信息不匹配。

近年来，随着三维建模与计算机图形图像技术的发展，将其应用于外科手术导航已成为研究热点，目前国内外临床应用最多的为三维可视化手术导航。所谓三维可视化手术导航是指以病人自身的CT、MRI等影像学资料为数据源，通过建立虚拟现实空间，结合三维可视化技术使医生在手术前能够模拟手术中的关键步骤，并在此基础上，再借助光学定位仪。在手术中实时跟踪手术器械相对患者病灶的位置关系，从而达到辅助医生进行手术操作的目的。大量临床统计数据证明，手术导航可提高病灶切除率86.7％，降低手术并发症12.1％，减少死亡率0.8％，临床疗效显著。

虽然使用三维可视化手术导航可以大幅度提升临床治疗效果，但从业者仍需要频繁地在手术场景和辅助显示器之间切换视线，从而延长手术时间。手术目标和器械也经常隐藏在其他解剖结构中。在此技术上，将三维可视化数据同步至增强现实（AugmentedReality，以下简称AR）头戴式设备上，同时结合AR头戴式设备的自身光学追踪与配准，则可形成头戴式AR导航装置，将虚拟图像的视图叠加在手术区域的上。这种装置帮助医生在进行手术时提供更准确、实时的导航和信息展示。通过头戴式显示器，医生可以看到虚拟图像或信息的叠加，将其与患者的真实解剖结构相结合。这些虚拟图像可以包括解剖结构的三维模型、手术工具的位置和轨迹、实时影像等。使用头戴式AR手术导航装置，医生可以更好地理解患者的解剖结构、病变位置和周围组织的关系。这有助于提高手术的准确性和安全性，减少手术时间和并发症的风险。

虽然三维可视化手术导航装置可以提供精准的导航定位，但其存在患者实体与三维可视化画面分离的问题，这可能给医生在手术过程中带来一些挑战和要求。由于三维可视化手术导航装置的使用，医生需要在现实世界中进行手术操作，同时还需要通过观看屏幕上的三维可视化画面来获得更详细的导航信息。患者的实体与导航画面的分离意味着医生无法直接看到自己的手术区域，而需要循环切换视觉方向来进行手术操作和调整。这种切换可能会带来额外的认知负担和操作复杂性。医生在使用三维可视化手术导航装置时，需要医生具备较强的空间思维能力和手眼协调能力，他们需要从屏幕上获取的虚拟图像与实际手术场景进行有效地对应和理解。此外，医生还需要适应循环切换视觉方向的操作方式。

AR头戴式导航装置发展背后的驱动力是需要一个最佳的头部跟踪系统，显示设备必须无缝融入医生的工作流程，该系统可以连续、完美地跟踪手术区域的所有细微变化，然而当前阶段的头戴式AR眼镜虽然可以将虚拟图像叠加在真实世界中，但同样造成医生视野的遮挡或干扰。这可能使医生难以正确看到手术区域的细节；长时间佩戴头戴式AR眼镜可能会导致眼部疲劳和不适感。眼睛对于连续的近距离焦点调整和视角变化可能会产生不适应。另外，当前头戴式AR眼镜通常比较重，佩戴时间过长可能会给医生带来颈部不适或疲劳。头戴式AR眼镜多基于内部光学追踪，当前国内外头戴式AR技术的稳定性和可靠性并不成熟，可能造成图像失真或延迟，导致定位精度降低。当医生进行精细、快速的手术操作时，影响手术操作的准确性和效果。介于以上问题，头戴式AR导航装置从研究实验室迁移到医疗环境，仍需一段汇集更多的资源和专业知识的沉淀时间。

发明内容

本发明的目的是提供一种增强现实外科导航装置、方法、系统、设备及介质，以叠加的AR画面，避免头戴式增强现实装置的点云校准和叠加带来的误差偏移和携带不便等问题，同时也将现实环境与三维可视化数据精准重合，实现了一种高精度的AR手术导航装置。

为实现上述目的，本发明提供了如下方案：

第一方面，本发明提供了一种增强现实外科导航装置，包括：

光学追踪仪、AR屏幕显示器以及光学反射刚体；

所述光学反射刚体包括：

若干红外反射球和连接件，所述反射球固定在所述连接件上；

所述光学反射刚体固定在所述AR屏幕显示器上，所述红外反射球正对所述光学追踪仪，使得所述光学追踪仪可以捕获所述红外反射球；

所述光学追踪仪包括：

红外摄像头、网络设备以及计算机；

所述红外摄像头和所述计算机通过网线连接至所述网络设备的交换机中。

第二方面，基于上述装置本发明提供一种增强现实外科导航方法，所述方法应用于第一方面所述的装置，所述方法包括：

对AR屏幕显示器进行高精度三维建模；

对光学反射刚体进行测量，得到光学数据，记为模型点集；所述光学数据包括光学反射刚体的名称、批次编号、测量时间以及红外反射球空间坐标集；

通过CT扫描建立患者病灶骨骼数据；

将光学反射刚体、患者病灶骨骼数据和AR屏幕显示器进行动态配准；

对所述光学数据进行处理和配准；

进行三维虚拟骨骼复位；

对所述复位后的虚拟骨骼进行置钉操作。

可选的，所述通过CT扫描建立患者病灶骨骼数据具体包括以下步骤：

将光学反射刚体固定在患者病灶骨骼上；

将患病病灶骨骼连同所述光学反射刚体进行CT扫描，获得CT断层数据；

对所述CT断层数据进行数据转换得到断层骨骼点云信息。

可选的，所述将光学反射刚体、患者病灶骨骼数据和AR屏幕显示器进行动态配准具体包括以下步骤：

进行虚拟相机和真实相机配准：

将虚拟图像与真实环境融合；

使用Unity的VideoCapture API插件获取AR屏幕显示器相机的视频输入；

对图像进行白平衡、曝光、镜头畸变进行处理；

使用Unity中的ARFoundation工具将虚拟图像与真实环境进行合成；

将AR屏幕显示器与光学追踪仪连接，利用TCP网络协议接收光学追踪仪的数据信息。

可选的，对所述光学数据进行处理和配准具体包括以下步骤：

由AR屏幕显示器接收来自光学追踪仪追踪的光学数据，并将所述光学数据转换为手术器械和患者体内标记点的实时位置数据，即红外反射球球心坐标，记为光学点集；

遍历光学点集和模型点集并累加所有模型标记点和光学标记点来计算各自集合的质心，然后除以标记点的数量得到光学点集和模型点集的实际质心坐标；

创建列表pas和列表pbs；所述列表pas包括：模型点集实际质心距离的平方值降序排列后的模型标记点；所述列表pbs包括：光学点集实际质心距离的平方值降序排列后光学标记点列表；

基于排序后的列表pas计算模型坐标系的Z轴向量和Y轴向量，并生成模型坐标系的旋转四元数；

基于排序后的列表pbs计算光学坐标系的Z轴向量和Y轴向量，并生成光学坐标系的旋转四元数；

基于所述模型坐标系的旋转四元数构建第一转换矩阵；所述第一转换矩阵为模型坐标系到全局坐标系的转换矩阵；

基于所述光学坐标系的旋转四元数构建第二转换矩阵；所述第二转换矩阵为光学坐标系到全局坐标系的转换矩阵；

基于所述第一转换矩阵和所述第二转换矩阵计算第三转换矩阵；所述第三转换矩阵为光学坐标系到模型坐标系的转换矩阵；

基于所述第三矩阵，将光学坐标系转换到模型坐标系；

从所述第三矩阵中提取平移部分作为所需计算模型新位置。

从所述第三矩阵中提取第一列、第二列作为所需计算模型的旋转四元数。

第三方面，本发明提供一种增强现实外科导航系统，包括：

三维建模模块，用于对AR屏幕显示器进行高精度三维建模；

光学反射刚体测量模块，用于对光学反射刚体进行测量，得到光学数据，记为模型点集；所述光学数据包括光学反射刚体的名称、批次编号、测量时间以及红外反射球空间坐标集；

CT扫描模块，用于通过CT扫描建立患者病灶骨骼数据；

动态配准模块，用于将光学反射刚体、患者病灶骨骼数据和AR屏幕显示器进行动态配准；

数据处理和配准模块，用于对所述光学数据进行处理和配准；

复位模块，用于进行三维虚拟骨骼复位；

置钉操作模块，用于对所述复位后的虚拟骨骼进行置钉操作。

可选的，所述CT扫描模块包括：

光学反射刚体固定单元，用于将光学反射刚体固定在患者病灶骨骼上；

CT扫描单元，用于将患病病灶骨骼连同所述光学反射刚体进行CT扫描，获得CT断层数据；

数据转换单元，用于对所述CT断层数据进行数据转换得到断层骨骼点云信息。

可选的，所述动态配准模块包括：

配准单元，用于进行虚拟相机和真实相机配准：

融合单元，用于将虚拟图像与真实环境融合；

视频输入获取单元，用于使用Unity的VideoCapture API插件获取AR屏幕显示器相机的视频输入；

预处理单元，用于对图像进行白平衡、曝光、镜头畸变进行处理；

合成单元，用于使用Unity中的ARFoundation工具将虚拟图像与真实环境进行合成；

信息接收单元，用于将AR屏幕显示器与光学追踪仪连接，利用TCP网络协议接收光学追踪仪的数据信息。

第四方面，本发明提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备上所述的增强现实外科导航方法。

第五方面，本发明提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的增强现实外科导航方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

第一、精度高：本发明装置通过纯外部光学追踪技术，使用先进的光学传感器来获取真实环境中的关键特征点，能够实现0.1mm毫米级高精度的定位和追踪，叠加的增强现实影像装置通过高精度建模和固定参数计算，确保精度在0.01mm。这种精确的追踪能力使得在外科手术导航中，能够实现更精准的定位和操作。第二、系统追踪稳定，无偏移误差：通过使用单纯的高质量的光学传感器和精确的追踪算法，能够提供持续稳定的追踪性能，不使用AR屏幕显示器的内置传感器进行空间定位，不会出现跳动或漂移的问题。这对于外科手术导航而言非常重要，因为任何追踪误差都可能导致手术失败或风险增加。第三、步骤少，操作简洁：本发明装置在入院前进行一次性参数配准。手术过程中仅需要导入患者病灶骨骼输入，不需要复杂的标定或校准过程；导航规划界面基于平板电脑按键、触摸等交互方式，符合大多数医生的使用习惯。这样，医生或操作者可以更快速地使用装置，并且在手术过程中更加专注于操作，减少了可能的人为错误。第四、对硬件无具体要求，易用性强：本发明可自由更换市面上大多数平板电脑作为AR屏幕显示器，无固定型号和超高算力要求；能够适应不同的手术场景和环境，装置可通过任意固定装置在手术床周边固定，或可手持移动，同时作为三维可视化导航使用。第五、可扩展性：本发明可以在光学追踪的基础上增加更稳定的惯性传感器辅助追踪。惯性传感器可以提供更精确的运动跟踪和姿态估计，从而进一步提高导航系统的准确性和稳定性。通过将光学追踪和惯性传感器相结合，可以实现更全面的定位和追踪能力，满足不同手术场景下的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的增强现实外科导航装置示意图；

图2为本发明提供的光学反射刚体示意图；

图3为本发明提供的光学追踪摄像头示意图；

图4为本发明提供的增强现实外科导航方法流程框图；

图5为本发明提供的光学反射刚体坐标系示意图；

图6为本发明提供的光学反射刚体测量顺序示意图；

图7为本发明提供的光学反射刚体测量位置示意图；

图8为本发明提供的生成的文件格式示意图；

图9为本发明提供的三维复位流程图；

图10为本发明提供的置钉程序流程图；

图11为本发明提供的路径规划示意图；

图12为本发明提供的建模与数据测量示意图；

图13为本发明提供的CT数据获取流程图；

图14为本发明提供的配置相关文件流程图；

图15为本发明提供的虚拟数据叠加流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参见图1，本发明提供了一种增强现实外科导航装置，包括：

光学追踪仪、AR屏幕显示器以及光学反射刚体；

参见图2，其中，光学反射刚体包括：

若干红外反射球和连接件，红外反射球上开设有螺纹，连接件为刚性连接件，每个红外反射球通过螺纹固定在刚性连接件上。

光学反射刚体固定在AR屏幕显示器上，红外反射球正对光学追踪仪，使得所述光学追踪仪可以捕获红外反射球。

本实施例中的光学反射刚体包括四个红外反射球及刚性连接件，有多种不同结构，目的是区分不同的手术器械，刚性连接件包括合金或塑料等材质，包括T型、L型、R型和B型等多种类型，通过坐标测量机（Coordinate Measuring Machine）测量其红外反光球圆心空间数据，参见图1光学反射刚体用于固定在不同的手术器械和AR屏幕显示器上，使光学追踪仪器对其进行追踪，通过算法处理生成器械信息，并将信息传输至数据处理与现实程序中。

AR屏幕显示器使用通用的安卓平板电脑，可适配不同型号，带有摄像头，要求系统≥安卓7.1，安装AR手术导航程序，通过高精度建模，实现模型与实物体1:1还原，精确测量其摄像头位置，通过摄像头获取真实环境画面显示，提供实时AR导航信息。

光学追踪仪包括：

红外摄像头、网络设备以及计算机；

所述红外摄像头和所述计算机通过网线连接至所述网络设备的交换机中，计算机中内嵌有高精度光学捕捉程序，通过高精度光学捕捉程序中光学采集单元获取光学反射刚体并计算光学反射刚体的空间位置，用于跟踪手术器械、AR屏幕显示器和骨骼的空间位置和运动，并将数据传输至AR屏幕显示器的AR手术导航程序。

参见图3，本实施例中的红外摄像头为PCC光学追踪摄像头，基于高性能图像处理芯片，配备十颗超高功率红外LED，可提供最大12801024分辨率、200帧的图像处理能力。

网络设备主要包括高速数据传输和处理硬件，由交换机、路由器、网线组成，交换机作为网络设备的核心设备，通过网线与路由器、红外摄像头、计算机连接，连接方式使用并联。由交换机统一分发地址。头显连接该路由器后，通过该路由器连接的交换机，获取计算机上运行的高精度光学捕捉程序的数据。网络设备能够确保从摄像头采集到的大量实时数据能够迅速、准确地传递给高精度光学捕捉程序。

高精度光学捕捉程序的具体追踪原理如下：

被追踪物体上有至少两个红外反射球，红外摄像头可以对至少两个图像信息中的特征点进行提取，得到至少两个特征点，根据每个特征点分别对应的红外摄像头、每个目标刚体的标识和每个刚体对应的拓扑结构数据，对每个特征点进行匹配，确定每个特征点对应的目标刚体，进而根据每个特征点对应的相机、多个相机之间的第一预设相对位置关系信息，计算追踪到的特征点的三维位置，然后根据每个目标刚体的拓扑结构数据以及至少两个目标刚体之间的预设位置关系，确定被追踪物体在多个红外摄像头下的位置和姿态，进一步读取多目相机到目标坐标系的转换矩阵，进而将被追踪物体在多目相机下的位置和姿态转换至目标坐标系下的位置和姿态，将其确定为被追踪物体的位置信息，以实现对目标被追踪物体的追踪定位。

实施例二

参见图4，本发明提供了一种增强现实外科导航方法，该方法包括：

步骤1：对AR屏幕显示器进行高精度三维建模。

在装置使用前，通过高精度工业三维扫描仪（例如Magicscan SC J6M）对AR屏幕显示器（显示器以华为MatePad Pro 13为例）进行高精度三维建模，通过标记点、特征、转台等手段实现720°高精度建模，建模精度要求在0.01mm以内，得到高精度三维模型，将模型数据导出为“DT-Camera001.stl”文件，并将AR屏幕显示器参数存储为“CameraForMatePad Pro13.json”文件，里面记录相机Fov，相机焦距以及相机镜头中心点位置坐标。

步骤2：对光学反射刚体进行测量，得到光学数据，记为模型点集；所述光学数据包括光学反射刚体的名称、批次编号、测量时间以及红外反射球空间坐标集。

完成步骤1的同时将光学反射刚体经过坐标测量机进行测量，获取左、右骨盆、套筒、电钻、AR屏幕显示器的光学反射刚体CMM配置文件（DXL001.json、DXR001.json、DXB001.json、DXA001.json、DXTC001.JSON），该配置文件中主要包括：

name：名称

serialNumber：刚体批次编号

cmmDateTime：测量时间

ABalls、BBalls、AddationPositions、APatten、BPatten：不同的反光球空间坐标集。

坐标测量机测量光学反射刚体的具体方法如下：

步骤2.1：建立坐标系，如图5所示。

步骤2.2：测量顺序，依次按图6所示测量.

步骤2.3：测量位置：将测量出的圆心，如图7所示投影于测量出的红色平面，得出测量点。

步骤2.4：生成最终文件格式，参见图8。

步骤3：通过CT扫描建立患者病灶骨骼数据。

手术前，将光学反射刚体（R型、L型）安装固定在患者病灶骨骼上，具体的先在患者病灶骨骼上使用导针开2个2-3mm的空，再使用骨科用夹持器将光学反射刚体固定在骨骼上。

随后，将患者病灶连同光学反射刚体一起进行CT扫描，获得CT断层数据。将CT断层数据经过CT数据转换软件（例如HS3D等）生成本发明装置可用的数据(pelvis001.stl)，数据为二进制格式的断层骨骼点云信息。

步骤4：将光学反射刚体、患者病灶骨骼数据和AR屏幕显示器进行动态配准，即虚实影响叠加。

在AR屏幕显示器中启动AR手术导航程序，读取配置好的“MatePad Pro 13”设备配置文件”CameraForMatePad Pro 13.json”，用于配置AR屏幕显示器参数。

系统通过虚拟相机与真实相机配准、虚拟图像与真实环境融合以及视频输入与处理技术，将手术器械、患者病灶骨骼和AR屏幕显示器动态配准。

① 虚拟相机与真实相机的配准：

配准FOV（视场角）：首先参考AR屏幕显示器相机规格得到真实相机FOV、相机传感器尺寸和相机焦距，本发明使用Unity引擎作为虚拟内容承载工具，将其转换为Unity虚拟相机的FOV，具体地，使用三角函数计算出Unity相机的FOV值：tan(fov/2) = sensor_size/(2focal_length)，其中，fov是真实相机的FOV，sensor_size是真实相机的传感器尺寸，focal_length是真实相机的焦距。式中的FOV是指水平方向的视场角。根据上述公式中的参数代入，获取Unity相机的FOV值。

校准分辨率：AR屏幕显示器相机的分辨率通常是固定的，在Unity中设置相机的目标纹理的分辨率，以便相机保持一致。

参数匹配：将以上配准通过配置文件写入程序中，如需更换AR屏幕显示器，则从配置文件中修改对应参数。

②虚拟图像与真实环境融合：

设置相机与场景器械：在Unity场景中添加一个虚拟相机，将其作为空间坐标原点，相机参数读取已配准数据，添加光学追踪配置文件，用来通过光学数据驱动相机位置和姿态；创建虚拟场景，将所需要显示的手术器械、患者病灶骨骼模型通过动态配置加载方式预存为预设体。此部分同样根据配置CMM数据和光学数据驱动位置和姿态。

③视频输入与处理：

使用Unity的VideoCapture API插件获取AR屏幕显示器相机的视频输入，通过调整白平衡（White Balance）、曝光（Exposure）、镜头畸变（Lens Distortion）等功能对图像进行处理，使用Unity中的ARFoundation工具（用于开发增强现实（AR）应用程序的工具包。合了 Unity 的核心功能和 ARCore、ARKit等平台的特性，提供了一种简化的方式来创建AR 应用），但不使用其中的相机与设备跟踪功能，只使用相机追踪与环境理解功能，将虚拟图像与真实环境进行合成。

最后将屏幕显示器与光学追踪仪器通过无线连接方式连接，通过指定IP地址的方式利用TCP网络协议接收高精度光学捕捉设备的数据信息。

步骤5：对所述光学数据进行处理和配准。

将步骤1所用的手术器械光学反射刚体配置文件导入到AR屏幕显示器中AR手术导航程序中，系统根据配置文件生成对应的刚体拓扑结构。然后再将步骤1、步骤2以及步骤3获取的.stl格式数据（STL文件是一种的三角形网格文件，只按照三角面片的方式存储了所有的面信息及法矢量，不包含纹理以及其他任何媒体信息，主要存储格式分为：ASCII码格式、二进制格式，本发明中以二进制存储）导入AR手术导航程序中，系统根据读取配置数据生成对应骨骼和AR屏幕模型。

将光学追踪仪器放置于手术室适合位置，确保可追踪手术过程中的器械、患者病灶骨骼和AR屏幕显示器的光学反射刚体。此时AR屏幕显示器中AR手术导航程序接收高精度光学捕捉的光学数据，将其转化为手术器械和患者体内标记点的实时位置数据，数据内容包括每个刚体的红外反光球球心坐标，将4组坐标与虚拟道具的CMM配置文件中拓扑结构，进行SVD（Singular Value Decomposition）定位和姿态匹配，得到对应的空间位置与旋转。

具体的是利用光学数据和CMM文件中的两个三维点集（分别来自模型和光学）之间的坐标变换关系，获得实时位置数据。

其中，光学点集是从高精度动作捕捉程序中获取的光学数据中的光学标记点坐标点集；

模型点集是之前配置的cmm文件中的反光球空间坐标集。

具体步骤如下：

①求解质心：首先，通过遍历光学点集和模型点集并累加所有模型标记点和光学标记点来计算各自集合的质心（即平均位置），然后除以点的数量得到光学点集和模型点集的实际质心坐标。

②排序标记点：创建新的列表 pas 和 pbs，它们分别是按照到各自质心距离的平方值降序排列后的模型和光学标记点列表。这样可以确保选取具有代表性的三个点用于构建坐标轴。

由于每次更新时的光学坐标点集和模型坐标点集顺序不一定一致，将质心点距排序后，按点距顺序构建坐标系，可以将模型坐标点集、光学坐标点集以大致相同的坐标建立坐标系。

其中，具有代表性的点是指上述2个点集，到质心位置最远、第二远、第三远的点，以这三个点分别创建坐标系。

③计算模型坐标轴：使用排序后的点集 pas 计算模型的Z轴向量 (modeldirZ)和Y轴向量 (modeldirY)。

计算Z轴方向向量(modeldirZ)：Vector3 modeldirZ = (pas[0] - pas[2]).normalized；首先计算从点pas[2]到点pas[0]的向量，并对其进行归一化处理以获取单位长度的向量。该向量将作为模型的正前方（Z轴）方向。

计算Y轴方向向量(modeldirY)：Vector3 modeldirY = Vector3.Cross(pas[0]-pas[1], pas[0]-pas[2]).normalized;

使用两个向量pas[0]-pas[1]和pas[0]-pas[2]进行叉乘运算(Cross)。这两个向量分别代表了从点pas[1]和pas[2]到点pas[0]的方向。叉乘的结果是一个垂直于这两个向量平面的新向量，之后同样对该向量进行归一化处理，得到模型的上方向（Y轴）。

然后利用LookRotation 函数创建一个四元数 modelQ 表示模型坐标系的旋转。

生成旋转四元数(modelQ)：Quaternion modelQ = Quaternion.LookRotation(modeldirZ, modeldirY)；

LookRotation函数根据给定的前向向量（正面看向的方向，这里是modeldirZ）和上向向量（用于定义垂直于地面的方向，这里是modeldirY）来创建一个四元数。这个四元数用来设置对象的旋转，使得对象的正面与指定的前向向量对齐，同时保证对象的上表面与指定的上向向量一致。

④计算光学坐标轴：重复上述过程，但这次使用 pbs 来计算光学坐标系的Z轴向量 (alicedirZ) 和Y轴向量 (alicedirY)，同样生成光学坐标系的旋转四元数 aliceQ。

⑤从模型空间转换到光学空间：创建矩阵MA和MB分别表示模型坐标系到世界坐标系以及光学坐标系到全局坐标的转换。接着计算从光学坐标系到模型坐标系的转换矩阵M_A_TO_B。

不考虑缩放，模型坐标系到全局坐标系的变换矩阵MA：

MA = | 100tx |

| 010ty |

| 001tz |

| 0001|

其中，tx, ty, tz 是质心_model相对于全局坐标的平移分量。modelQ.x,modelQ.y, modelQ.z, modelQ.w 是四元数modelQ的标准表示，对应的旋转矩阵R如下：

[ Rxx Rxy Rxz 0 ]

[ Ryx Ryy Ryz 0 ]

[ Rzx Rzy Rzz 0 ]

[ 0001 ]

所以，MA实际上是：

MA = | Rxx Rxy Rxz tx |

| Ryx Ryy Ryz ty |

| Rzx Rzy Rzz tz |

| 0001 |

其中，Rx, Ry, Rz 分别对应于模型坐标系Z轴、Y轴、X轴在全局坐标系下的方向向量列向量。

光学坐标系到全局坐标系的变换矩阵MB：

MB = | Rax Ray Razta |

| Rbx Rby Rbztb |

| Rcx Rcy Rcztc |

| 0001|

其中，ta, tb, tc 是质心_alice相对于全局坐标的平移分量。aliceQ.x,aliceQ.y, aliceQ.z, aliceQ.w 是四元数aliceQ的标准表示。这里的 modelQ 和 aliceQ都是通过 Quaternion.LookRotation 函数得到的，该函数会根据给定的方向向量生成相应的旋转四元数，并将其转换为旋转矩阵。

M_A_TO_B 矩阵表示从光学坐标系到模型坐标系的变换矩阵。这个矩阵用于将在光学坐标系下定义的点或向量转换至模型坐标系中。有了从各自坐标系到全局坐标系的变换矩阵MA和MB，那么可以计算出 M_A_TO_B 通过以下方式：M_A_TO_B = MB^(-1)MA

这里，MB^(-1)表示MB的逆矩阵，它实现了从全局坐标系到光学坐标的转换。两个矩阵相乘则得到了从光学坐标系直接到模型坐标系的转换。在实际计算时，假设MB和MA都是4x4的齐次变换矩阵（包括旋转和/或平移），先计算逆矩阵，然后进行矩阵相乘：

MB^(-1) = | R_b_inv -taR_b_inv ]

| -tbR_b_inv tc/>R_b_inv -R_b_inv/>tb/>tb ]

| -tcR_b_inv -R_b_inv/>tc/>ta R_b_inv/>ta/>ta+R_b_inv/>tc/>tc-ta/>tbR_b_inv/>tc ]

| ta tb tc 1 ]

其中，R_b_inv 是 MB 的旋转部分的逆矩阵。ta, tb, tc 分别是从光学坐标系原点到全局坐标系的平移分量。然后，

M_A_TO_B = MB^(-1)MA

= | R_b_invR_a -R_b_inv/>(ta/>R_a + tx) |

| ... ... |

| 0 1 |

最终得到一个同样大小的4x4矩阵，该矩阵描述了从光学坐标系到模型坐标系的所有旋转和平移操作。

⑥提取位置和旋转：最后，从 M_A_TO_B 矩阵中提取出平移部分作为新位置 pos（即第四列），而旋转部分通过构造一个LookRotation 函数调用获取，其中第二列（原本模型的Z轴方向）作为旋转的目标方向，第一列（原本模型的Y轴方向）作为上向量来确定最终的旋转四元数 rot。整个函数的目的在于，给定两个具有相同结构的三维点集（每个点集至少包含三个非共线的点），通过比较和转换这两个点集，找出一个从模型坐标系到光学坐标系的最佳拟合变换，以便能够在一个坐标系下描述另一个坐标系中的物体状态。

以AR屏幕显示器的摄像头中心点为空间坐标原点，将虚拟手术器械、患者病灶骨骼的位置和姿态以镜头中心点为参考物，建立其空间相对关系，完成配准。

步骤6：进行三维虚拟骨骼复位。

AR屏幕显示器通过万向臂或其他固定装置可自由移动、固定，确保屏幕画面可调整。将镜头位置对准患者病灶骨骼，便可叠加虚拟可视化数据。医生使用AR手术导航进行三维复位、导航规划。

通过AR屏幕显示器可看到患者虚拟病灶骨骼与患者身体完整重合，通过移动、牵引、固定等手术操作，调整患者骨骼，虚拟叠加的患者病灶骨骼模型也会实时同步。医生参考虚拟的患者病灶骨骼模型复位情况即可判断患者真实骨骼复位情况。

参见图9，具体的三维复位程序流程如下：

AR屏幕显示器的AR手术导航程序提供的实时叠加的虚拟骨骼模型，主要为医生提供辅助参考。期间并无具体的软件操作过程。

患者病灶骨盆虚拟叠加：在AR屏幕显示器上，CT扫描后的骨骼模型与患者的真实骨骼因上一步的姿态转换而重合。医生可手持AR屏幕显示器自由移动视角查看虚拟骨骼模型结构情况，即真实骨骼模型的结构情况。

牵引、移动患者骨骼：在虚拟骨骼模型的指引下，使用穿刺针或其他工具进入骨骼特定位置，用于进行骨折断端的间接牵引或直接推挤复位。

虚拟骨骼同步：在牵引、移动时，AR屏幕显示器的虚拟骨骼模型提供实时、立体的三维视觉反馈，使医生能够清晰地看到骨骼复位情况。

虚拟骨骼复位完成：当医生观察虚拟骨骼到达满意的复位为止时，停止复位，通过影像学手段（例如C臂X光）确认患者真实骨骼是否到达良好的解剖学位和稳定性。

步骤7：对所述复位后的虚拟骨骼进行置钉操作。

当患者骨骼复位完成后，需要进行置钉固定操作，此时在AR手术导航程序中，点击“置钉规划”按钮，可在屏幕中以当前视角平面生成导航默认的规划线段，使用Unity内置的LineRenderer组件生成该默认导航线段，默认的导航规划线段是在虚拟空间中参考AR屏幕显示器当前视角生成的三维线段，起始点与终点选取当前视角平面2D屏幕UI的x轴0点和最大点。医生可以调整规划角度角度、方向以及长度，将与其规划线段调整到最佳路径，此时完成路线规划，路线规划的线段分为进针点与出针点，分配代表需要置钉点位和结束点位。

完成路线规划后，医生手持置钉套筒，靠近患者路线规划时，AR屏幕显示器中将显示套筒针尖点与进针点的距离与角度，医生观看AR屏幕显示器将套筒针尖置与进针点，调整套筒角度与进针点和出针点方向重合，进行置钉操作。

参见图10，具体的置钉程序流程如下：

进入置钉流程：AR手术导航程序可通过触屏方式点击“置钉规划”按钮，点击按钮后启动规划流程，屏幕中会在当前视角生成一条从左到右的线段，该线段为上述所说规划线段。

移动视角、调整规划路线：医生在调整AR屏幕显示器位置或视角时，因为线段是三维空间的固定的，该线段不跟随移动，而是稳定显示在三维空间当中。此时医生可点击该屏幕中线段进行上、下、左、右的拖拽，线段则会在当前视角的二维平面进行平移、拉伸、缩短等行为。

具体的实现过程主要通过射线透射、碰撞检测、变换更新等方式实现：

三维空间线段具备起点和终点，分别定义为initialLineStartPos和initialLineEndPos。

首先，在程序中监听触屏的输入事件，当触摸开始（TouchPhase.Began）时，获取触摸点的屏幕坐标并转换为世界空间射线。使用Camera.main.ScreenPointToRay方法得到射线，并利用Physics.Raycast检查射线是否与线段对象相交。若相交，则记录下实际接触点的世界位置，并存储线段起止点的初始世界位置。

然后，当触摸移动（TouchPhase.Moved）时，计算新触摸点与初始触摸点之间的二维向量差，并将其转化为三维空间下的位移向量。根据摄像机的方向和上方向将二维位移映射到三维空间。将这个三维位移向量应用于线段起点和终点的对象，更新它们的世界位置以实现线段的移动操作。

医生在不同视角下拖拽线段，使其达到预期的置钉路线位置。

计算规划路线：在预期置钉规划路线设置完成后，医生点击“置钉”按钮开始进行置钉操作。此时将实时计算置钉数据，参见图11，具体的数据包括如下：

置钉距离：未进入骨骼时，规划路线的起点与套筒道具的起始点距离。（套筒（Sleeve）是一种精密的导向装置，安有光学反射刚体，套筒模型的起点和终点数据在CMM文件上记录，它会根据规划信息被放置在患者的皮肤表面或者通过微小切口插入到预定位置，形成一个指向目标植入点的通道）。

置钉角度：规划路线的起点与终点形成的矢量方向与套筒的起点与终点形成的矢量方向所成夹角。

置钉深度：进入骨骼后，规划路线终点与套筒起点在规划路线重点与起点（顺序不可变）形成的矢量的垂直投影的距离。

根据规划好的路线，医生手持套筒，调整位置与角度，通过AR屏幕显示器的程序实时追踪套筒位置与角度（通过光学反馈的数据，当套筒的光学反射刚体处于不可见状态时，程序丢失套筒实时数据，将阻断操作，提示“套筒追踪被遮挡”），将置钉距离和置钉角度调整趋近于0，便可执行置钉操作，具体的置钉操作一般是由医生使用电钻，将导针通过套筒套芯，沿着套筒终点至起点方向，将导针植入患者骨骼内部，植入过程中AR屏幕显示器的程序将实时显示置钉深度。

下面以骨科手术中骨盆骶髂关节复位及固定手术为例，详细描述本发明的实施与业务流程，共分为四个阶段，其中涵盖装置使用前、手术前、手术准备和手术中。

第一阶段：建模与数据测量，具体流程参见图12。

第二阶段：手术前，固定骨骼光学反射刚体，获取CT数据，具体参见图13。

第三阶段：手术准备，配置相关文件，具体参见图14。

第四阶段：手术中，虚拟数据叠加，具体参见图15。

综上，本发明通过预配置的固定参数匹配对应型号AR屏幕显示器，使用外部光学定位来追踪已有标准模型的AR屏幕显示器，因此屏幕的位置和姿态数据完全从光学追踪仪获取。这种方法不同于头显自身进行空间定位再结合光学捕捉的空间融合重定位。没有头显惯性传感器的计算误差积累，也没有双空间坐标转换的偏移和跳转问题。

实施例三

为了执行上述实施例二对应的方法，以实现相应的功能和技术效果，下面提供了一种增强现实外科导航系统，包括：

三维建模模块，用于对AR屏幕显示器进行高精度三维建模；

CT扫描模块，用于通过CT扫描建立患者病灶骨骼数据；

复位模块，用于进行三维虚拟骨骼复位；

实施例四

本发明实施例四提供一种电子设备，包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一提供的增强现实外科导航方法。

实施例五

基于实施例四的描述，本发明实施例五提供一种存储介质，其上存储有计算机程序，计算机程序可被处理器执行以实现实施例一的增强现实外科导航方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种增强现实外科导航装置，其特征在于，包括：

光学追踪仪、AR屏幕显示器以及光学反射刚体；

所述光学反射刚体包括：

若干红外反射球和连接件，所述红外反射球固定在所述连接件上；

所述光学追踪仪包括：

红外摄像头、网络设备以及计算机；

2.一种增强现实外科导航方法，其特征在于，所述方法应用于如权利要求1所述的装置，所述方法包括：

对AR屏幕显示器进行高精度三维建模；

通过CT扫描建立患者病灶骨骼数据；

对所述光学数据进行处理和配准；

进行三维虚拟骨骼复位；

对复位后的虚拟骨骼进行置钉操作。

3.根据权利要求2所述的一种增强现实外科导航方法，其特征在于，所述通过CT扫描建立患者病灶骨骼数据具体包括以下步骤：

将光学反射刚体固定在患者病灶骨骼上；

对所述CT断层数据进行数据转换得到断层骨骼点云信息。

4.根据权利要求2所述的一种增强现实外科导航方法，其特征在于，所述将光学反射刚体、患者病灶骨骼数据和AR屏幕显示器进行动态配准具体包括以下步骤：

进行虚拟相机和真实相机配准：

将虚拟图像与真实环境融合；

对图像进行白平衡、曝光、镜头畸变进行处理；

5.根据权利要求2所述的一种增强现实外科导航方法，其特征在于，对所述光学数据进行处理和配准具体包括以下步骤：

基于所述第三转换矩阵，将光学坐标系转换到模型坐标系；

从所述第三转换矩阵中提取平移部分作为所需计算模型新位置；

从所述第三转换矩阵中提取第一列、第二列作为所需计算模型的旋转四元数。

6.一种增强现实外科导航系统，其特征在于，包括：

三维建模模块，用于对AR屏幕显示器进行高精度三维建模；

CT扫描模块，用于通过CT扫描建立患者病灶骨骼数据；

复位模块，用于进行三维虚拟骨骼复位；

置钉操作模块，用于对复位后的虚拟骨骼进行置钉操作。

7.根据权利要求6所述的增强现实外科导航系统，其特征在于，所述CT扫描模块包括：

8.根据权利要求6所述的增强现实外科导航系统，其特征在于，所述动态配准模块包括：

配准单元，用于进行虚拟相机和真实相机配准：

融合单元，用于将虚拟图像与真实环境融合；

9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求2-5中任一项所述的增强现实外科导航方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求2-5中任一项所述的增强现实外科导航方法。