CN113940755A - 一种术像一体的外科手术规划与导航方法 - Google Patents

Abstract

本发明公开一种术像一体的外科手术规划与导航方法，包括：步骤1、采集带定位标记的患者术前CT图像；步骤2、根据由环境动作捕捉系统确定的立体光学跟踪仪坐标、以及由立体光学跟踪仪定位的医疗器械及手术区域坐标建立术‑像一体化联合坐标系；并将所述术‑像一体化联合坐标系与所述带定位标记的患者术前CT图像进行配准；其中，术坐标系为手术室坐标系，像坐标系为虚拟影像坐标系；步骤3、将术前规划的虚拟影像坐标系下的手术路径转换到手术室坐标系下，实现机械臂及手术器械的术中主动导航；步骤4、将规划切面投射到手术区域并动态随动，结合力反馈器进行辅助手术操作。本发明提供的上述术像一体的外科手术规划与导航方法，属于一种有标记的配准方法，能够对外科手术室的环境、手术操作及导航臂、人机交互设备进行一体化的空间关系描述，并使用术前的医学影像与手术操作的方位配准与规划路径传递，以实现术中的精准主动导航。

Description

一种术像一体的外科手术规划与导航方法

技术领域

本发明涉及外科手术机器人领域，尤其涉及一种术像一体的外科手术规划与导航方法。

背景技术

随着新材料、新技术的发展，机器人逐渐应用在了各个领域中，许多工厂都有机械臂的身影。机械臂可以完成大量重复的、高精度的操作。医疗领域外科手术中，有很多手术的关键操作极其重要，需要医生在手术中高度集中，而导致疲惫。而将高精度的手术操作，交予机械臂完成，可以大大减小医生的负担，同时提高手术的成功率。

手术机器人是帮助医生或在医生指导下完成手术的机器人，通常由导航模块和手术操作模块组成。导航模块指导手术操作模块完成手术，导航模块一定包含一个可以反馈位置信息的相机或仪器，手术操作系统通常包括一个机械臂夹持着手术工具。手术阶段可以分为：术前影像评估与规划，术中手术操作与术后评估。

外科手术规划就是医生根据术前患者拍摄的影像，对患者进行疾病诊断与手术区域制定，规划切除部分以及手术入路。传统的方法都是根据医生目测，或者在二维切片上进行笔画尺量进行计算，采用术像一体的外科手术规划方法，可使用得到的二维数据，重建出三维模型，对患者待手术部位进行直观诊断，可通过软件功能进行测量距离与角度，提高手术精度。而导航方法现在也渐渐在手术室普及，目前的导航方法，医生手持探针，将探针抵住待观测位置，由相机观测，对探针进行定位，进而识别探针抵住位置，医生通过辅助屏幕判断是否满足医生的手术要求。

术前术中配准方法的作用是在虚拟场景中规划手术路径。术前术中配准的问题在各种机器人手术中被普遍重视，现有的解决的方法主要分为两大类，一类是带有标记点的配准，另一类是无标记点的配准。有关术前术中的配准的方法使用标记点的文献中。标记点使导航系统可以定位其位置，目前被广泛使用，例如：

[文献1]：K. Li, M. O’Farrell, D. Martin, S. Kopf, C. Harner, and X.Zhang, "Mapping ligament insertion sites onto bone surfaces in knee by co-registration of CT and digitization data," Journal of Biomechanics, vol. 42,no. 15, pp. 2624-2626, 2009/11/13/ 2009.公开了在每个骨骼上固定三个球形标记，建立局部坐标系。

[文献2]：T. Jang and K. Lee, "A novel registration method for totalknee arthroplasty using a patient-specific registration guide," in 2012 12thInternational Conference on Control, Automation and Systems, 2012, pp. 1859-1862.公开了将植入物插入股骨和胫骨，根据表面形状与预先得到的骨骼模型进行配准。

[文献3]：D. F. Amanatullah, P. E. Di Cesare, P. A. Meere, and G. C.Pereira, "Identification of the Landmark Registration Safe Zones During TotalKnee Arthroplasty Using an Imageless Navigation System," The Journal ofArthroplasty, vol. 28, no. 6, pp. 938-942, 2013/06/01/ 2013.公开了在骨骼模型里植入不锈钢阵列销钉完成配准。

类似地，现有技术还有通过探针采集的器官表面的点进行术前术中配准。

[文献4]：P. D. L. Flood and S. A. Banks, "Automated Registration of 3-D Knee Implant Models to Fluoroscopic Images Using LipschitzianOptimization," IEEE Transactions on Medical Imaging, vol. 37, no. 1, pp. 326-335, 2018.公开了植入金属植入物，使用边缘检测和轮廓匹配的方法检测完成配准。在力反馈器模拟切割过程方面。且该文献公开了一种机器人辅助手术系统，是软件控制的机电系统，被设计用于外科医生执行微创手术。该手术机器人系统可以由三个主要子系统组成：外科医生子系统--用户控制台(外科医生控制台或外科医生桥)、中央控制子系统--控制塔、以及患者子系统--手术台(table)和机械臂。

专利CN201811588152.2公开了一种手术机器人系统。该系统主要实现的是执行微创手术，本质是由人支配机械手完成手术。

专利CN201310431608.5公开一种影像引导介入手术导航系统。其软件组成部分包括影像存储服务器、体数据管理模块、三维影像可视化模块、三维影像快速分割模块、术前手术规划模块、手术引导模块以及术后手术评估模块；所述手术引导模块用于导航手术的具体实施，该模块用于术前医疗器械和定位装置的标定算法以及术中手术器械的实时定位和空间坐标系转换算法。该系统未涉及到术前路径与术中患者的配准。

论文“A Projector-Based Augmented Reality Navigation System forComputer-Assisted Surgery”使用了投影仪的方法指导穿刺试验。把投影仪加入了医学实验中来，但是其使用投影仪作为指导穿刺位置的必要指导；且投影仪投射到平面白纸的位置，这在实际的外科手术中是不现实的。

专利CN202011029940.5公开一种手术导航系统及手术导航系统的配准方法。该方法包括导航模块，并根据图像进行配准。该系统中只有一个光学跟踪仪，要求所有的可被定位的装置都在其视野范围内，且不能发生遮挡。但实际的光学跟踪仪视野范围有限。该专利提出的配准方法使用了术中的影像。

发明内容

本发明要解决的技术问题就是针对外科手术机器人系统中规划与导航问题，由机械臂完成手术。本发明提供一种术像一体的外科手术规划与导航方法，对外科手术室的环境、手术操作及导航臂、人机交互设备进行一体化的空间关系描述，实现从“术前-术中”医学影像与手术操作的方位配准与规划路径传递，实现术中的精准主动导航，并采用虚拟增强现实方法实现人机交互。

一种术像一体的外科手术规划与导航方法，该方法包括：

步骤1、采集带定位标记的患者术前CT图像；

步骤2、根据由环境动作捕捉系统确定的立体光学跟踪仪坐标、以及由立体光学跟踪仪定位的医疗器械及手术区域坐标建立术-像一体化联合坐标系；并将所述术-像一体化联合坐标系与所述带定位标记的患者术前CT图像进行配准；

其中，术坐标系为手术室坐标系，像坐标系为虚拟影像坐标系；

步骤3、将术前规划的虚拟影像坐标系下的手术路径转换到手术室坐标系下，实现机械臂及手术器械的术中主动导航；

步骤4、将规划切面投射到手术区域并动态随动，结合力反馈器进行辅助手术操作。

可选地，所述步骤2中：

根据环境动作捕捉系统所观测的立体光学跟踪仪、以及被立体光学跟踪仪所观测的所有设备，建立手术室坐标系，所述手术室坐标系为全局坐标系；

所述手术室坐标系包括以下子坐标系：环境动作捕捉系统坐标系、立体光学跟踪仪坐标系、患者坐标系、投影仪坐标系、以及操作机械臂末端执行器坐标系；

其中，所述环境动作捕捉系统坐标系、立体光学跟踪仪坐标系均被环境动作捕捉系统所定位；所述患者坐标系、投影仪坐标系、以及操作机械臂末端执行器坐标系均由靶标被立体光学跟踪仪所定位。

可选地，所述步骤2中：

按照真实手术场景创建虚拟场景，并在大屏幕中展示所述虚拟场景；所述虚拟场景包括手术室中患者以及每个设备的位置；其中，手术室中患者的位置通过患者术前固定好靶标后，拍摄CT图像，然后对CT图像进行三维重建得到；

所述三维重建包括：根据手术室中患者的位置数据，构建患者待手术部分的三维重建模型并在大屏幕中展示；将所述三维重建模型的初始坐标系作为虚拟影像坐标系。

可选地，所述步骤3中，所述将术前规划的虚拟影像坐标系下的手术路径转换到手术室坐标系下包括：

步骤3.1、术前规划中建立虚拟影像坐标系下的手术路径；

步骤3.2、将所述手术路径由虚拟影像坐标系下转化到手术室坐标系下；其中

所述步骤3.1包括：

步骤3.1.1、根据患者术前固定好靶标后拍摄的CT图像，于术前完成对患者手术部位的定位与手术路径的规划；规划的手术路径由n个点组成，所述手术路径基于虚拟影像坐标系；

步骤3.1.2、依次以手术路径上的每个点为原点、该点到下一点的方向为Z轴方向构建n个坐标系；则由n个点组成的手术路径可表示为n个由虚拟影像坐标系转换到手术路径点的齐次变换矩阵；

所述步骤3.2包括：

步骤3.2.1、获取术前固定好靶标后拍摄的CT图像，标记CT图像中事先固定好的靶标的位置，获取虚拟影像坐标系转换到靶标坐标系的齐次变换矩阵；

步骤3.2.2、观测靶标在手术室坐标系下的位姿，得到手术室坐标系转换到靶标坐标系的齐次变换矩阵；

步骤3.2.3、将所述手术室坐标系转换到靶标坐标系的齐次变换矩阵求逆、并与所述虚拟影像坐标系转换到靶标坐标系的齐次变换矩阵相乘，得到虚拟影像坐标系转换到手术室坐标系的齐次变换矩阵。

可选地，所述步骤3中，所述实现机械臂及手术器械的术中主动导航包括：

使用环境动作捕捉系统与立体光学跟踪仪完成定位与导航；将环境动作捕捉系统定位的全局坐标系作为手术室坐标系；环境动作捕捉系统对立体光学跟踪仪进行定位，得到立体光学跟踪仪在手术室坐标系下的齐次变换矩阵；

所述立体光学跟踪仪对投影仪、患者手术部位术前固定好的靶标、操作机械臂末端进行定位，分别得到立体光学跟踪仪坐标系转换到所述投影仪、患者手术部位术前固定好的靶标、操作机械臂末端的齐次变换矩阵；从而将所述投影仪、患者手术部位术前固定好的靶标、操作机械臂末端转换到手术室坐标系下；

所述立体光学跟踪仪定位患者手术部位术前固定好的靶标的位置，得到立体光学跟踪仪到该靶标的齐次变换矩阵；根据所述立体光学跟踪仪到该靶标的齐次变换矩阵、以及立体光学跟踪仪到手术室坐标系的转换关系，得到手术室坐标系到患者靶标坐标系的转换关系；

根据术前规划中计算得到的手术路径上n个点的所述n个由虚拟影像坐标系转换到手术路径点的齐次变换矩阵，计算手术路径上n个点的n个由手术室坐标系转换到手术路径点的齐次变换矩阵。

可选地，所述步骤4中：

根据手术室坐标系下患者靶标位置、以及手术室坐标系到虚拟影像坐标系的齐次变换矩阵，将实时观测的患者固定好的靶标于立体光学跟踪仪下的位姿转换到手术室坐标系下，从而在虚拟场景中实现动态随动。

可选地，所述步骤4中：

投影仪坐标系与三维重建模型的坐标系中投射内容相同；所述投射内容与患者待手术部分位姿相同；

根据手术室坐标系下投影仪与患者待手术区域的位置关系，将观测视点的位置设置为投影仪于手术室坐标系下的位置；

根据路径点与虚拟影像坐标系的转换关系，将手术入路显示于虚拟影像坐标系下的三维重建模型中。

可选地，所述步骤4中：

术前将患者CT图像进行三维重建，保存生成的三维重建模型，并减少三维重建模型面片数，赋予所述三维重建模型对应材质的参数；并将手术器具模型导入，以实现虚实结合的人机交互操作；

所述力反馈器根据虚拟手术器具对于患者待手术区域的操作，实时将力的感受反馈至操作者，实现虚拟现实功能，以辅助手术操作。

本发明提供一种术像一体的外科手术规划与导航方法。属于一种有标记的配准方法，对外科手术室的环境、手术操作及导航臂、人机交互设备进行一体化的空间关系描述，使用术前的医学影像与手术操作的方位配准与规划路径传递，实现术中的精准主动导航。

本发明的主要优点包括：

1.搭建了一套术像一体的外科手术规划与导航系统；

2.不需要术中做CT，即可完成“术前-术中”的动态配准；

3.使用两套导航设备，完成不同层级的定位，保证术区的高精度定位；

4.用虚拟增强现实方法将切面投影到膝关节上，可以指导医生操作；

5.为模型赋予参数，医生通过力反馈器进行交互。

附图说明

图1为本发明的术像一体的外科手术规划与导航系统的总体结构图；

图2a为本发明的手术室场景下，环境动作捕捉仪定位立体光学跟踪仪的场景图；

图2b为本发明的手术室场景下，立体光学跟踪仪定位患者靶标与手术器械的场景图；

图2c为本发明的手术室场景下，立体光学跟踪仪定位投影仪的场景图；

图2d为本发明的手术室场景下，投影仪投射切面场景图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

【术语解释】

术像一体：对外科手术室的环境、手术操作及导航臂、人机交互设备进行一体化的空间关系描述。从“术前-术中”医学影像与手术操作的方位配准与规划路径传递。

【发明目的】

(1)提供一种术像一体的外科手术规划与导航系统，手术室及其各个设备由一套环境动作捕捉系统所定位。导航模块包括一台机械臂和立体光学跟踪仪组成，完成手术术区内的定位。手术操作模块由一台机械臂和其末端执行器组成。投影仪放置于患者待手术一侧，用于投射参考面指示完成手术。患者躺在病床上，身上的手术区域被立体光学跟踪仪定位。

(2)提出了一种“术前-术中”的动态配准方法，只需使用术前影像建立模型，在模型上完成路径规划后，在术中不需要拍摄影像，即可完成动态配准，术中即使患者位置发生移动，对应路径也会随患者位置而改变，实现了动态配准。

(3)将从影像中提取的三维模型，去除过多的面片，优化轮廓边缘，根据患者不同组织参数，环境参数，手术器械相关参数等设置模型。由医生操作力反馈器，进行模拟切割，指导实际切割深度和切割位置。

(4)在对外科手术进行路径规划得到手术路径后，使用投影仪，利用投影仪自身参数，如内参和外参，以及其被环境动作捕捉仪所定位的位置，得到其应投射的切面的位置和姿态，投射到术区，作为手术路径的参考。

(5)由两个定位装置：环境动作捕捉系统和立体光学跟踪仪，定位手术场景中的设备和患者，可实现不同层级的联合定位。常见的机器人手术系统是由导航模块完成手术中各个的定位，但立体光学跟踪仪的视野范围有限，容易发生遮挡问题。环境动作捕捉系统是一个全场景的定位系统，由它进行手术室的全局定位可将立体光学跟踪仪嵌入到整套的手术系统中，实现不同层级的联合定位。

【实施例】

本发明提供一种术像一体的外科手术规划与导航方法，对外科手术室的环境、手术操作及导航臂、人机交互设备进行一体化的空间关系描述，实现从“术前-术中”医学影像与手术操作的方位配准与规划路径传递，实现术中的精准主动导航，并采用虚拟增强现实方法实现人机交互。具体包括：

首先，采集带定位标记的患者术前CT数据；

然后，根据由环境动作捕捉系统确定的立体光学跟踪仪坐标、由跟踪仪定位的医疗器械及手术区域坐标建立“术-像”一体化联合坐标系并与术前CT配准；

最后，将术前规划的虚拟影像坐标系下手术路径转换到手术室坐标系下，对机械臂及手术器械进行主动操作导航；

此外，将规划切面投射到手术区域并动态随动，结合力反馈器进行辅助手术操作。

手术室医疗器械及患者如图2a-图2d所示放置安排，具体设备作用如下：

1)环境动作捕捉系统：若干带编号相机分别安装于手术室墙上，均匀分布，用于定位全局坐标系，即手术室坐标系，以及立体光学跟踪仪的位置，如图2a所示。

2)立体光学跟踪仪：用于定位手术室坐标系下患者坐标系、投影仪坐标系、操作机械臂末端执行器坐标系，如图2b、图2c所示。具体来说是定位患者术前安装好的靶标的位置，投影仪上所带的靶标的位置以及冗余柔性机械臂末端上安装的靶标的位置，上述若干靶标与其对应设备的相对位姿关系的齐次变换矩阵在手术开始前均已标定完成。

3)患者坐标系：患者手术区域附近固定有靶标，用于被立体光学跟踪仪定位，确定其在手术室坐标系下的位置，以及在术前扫描的CT中，计算出靶标与手术路径与患者坐标系之间的转换关系，进而获得手术室坐标系与虚拟影像坐标系之间的联动。虚拟影像坐标系的患者手术区域模型，由术前CT三维重建得到。

4)冗余柔性机械臂：末端夹持手术器具，根据不同手术可更换不同末端执行器，末端安装靶标，被立体光学跟踪仪定位，其中机械臂逆运动学，机械臂基坐标系与法兰盘之间关系、法兰与靶标之间关系、靶标与末端执行器之间关系均由手术开始前计算标定完成，根据上述若干转换关系，可实时计算出手术室坐标系下机械臂末端执行器位置，同样的，虚拟影像坐标系下的机械臂会根据机械臂参数实时随动。

5)投影仪：投影仪上固定一个靶标，使之被立体光学跟踪仪定位，如图2c所示。将术前规划的路径转化与患者坐标系下，由立体光学跟踪仪与环境动作捕捉系统获取的实时数据，计算投影仪位置与患者手术区域位置的实时关系，将患者的手术区域三维重建模型以及手术切面或入路投射于真实的手术区域上，得以显示切面或入路，如图2d所示，辅助医生观察定位是否准确。

6)屏幕：可展示完整手术室虚拟场景即在虚拟影像坐标系下的各个部分，该虚拟手术室内所有设备均与真实手术室内实物的位姿保持一致，也可以展示患者三维重建模型，与实际患者手术区域的随动，在虚拟影像坐标系下，同样可以实时模拟。

7)力反馈器：术前将CT三维重建出模型后保存，减少该模型的曲面数，并为模型赋予相应参数，并将手术器具模型导入，实现虚实结合的人机交互操作。

本发明的具体操作即原理为，患者术前固定好靶标后拍摄的CT，根据CT可在术前规划路径，规划的路径可由若干点或坐标系所组成，路径的表示是基于三维重建的基坐标系即患者坐标系的，每个路径上的点，均是一个以该点为原点，该点到下一点方向为Z轴方向的一个坐标系，则由n个点组成的路径可表示为n个齐次变换矩阵，为虚拟影像坐标系转换到路径点的齐次变换矩阵。虚拟影像坐标系下的路径，转化到手术室坐标系的方法，具体操作为，根据术前固定好靶标后拍摄的CT中，标记CT体数据中事先固定好的靶标的位置，获取虚拟影像坐标系转换到靶标坐标系的齐次变换矩阵。由于立体光学跟踪仪可定位患者手术部位术前固定好的靶标的位置，得到立体光学跟踪仪到该靶标的齐次变换矩阵，以及立体光学跟踪仪到手术室坐标系的转换关系，得到手术室坐标系到靶标坐标系的转换关系，与靶标到虚拟影像坐标系的齐次变换矩阵相乘，可得手术室坐标系到虚拟影像坐标系的齐次变换矩阵，进而求出虚拟影像坐标系下的路径转换到手术室坐标系。手术室坐标系下患者靶标位置已知，术坐标与虚拟影像坐标系的齐次变换矩阵已知，则可实时观测患者固定好的靶标于立体光学跟踪仪下的位姿，转换到术坐标下，进而转换到虚拟影像坐标系下，实现随动。由上述各种齐次变换矩阵可求得投影仪与患者待手术区域位置关系于手术室坐标系下，投影仪坐标系与三维重建模型的坐标系中投射内容相同，则将观测视点的位置设置为投影仪于手术室坐标系位置，则投射内容与患者待手术部分位姿相同，路径点与虚拟影像坐标系的转换关系已知，患者坐标系于虚拟影像坐标系中，则手术入路可显示于虚拟影像坐标系下的三维重建的模型中，则可实现将规划面投射到手术区域并动态随动。此外，力反馈器可实现虚实结合，辅助手术操作。首先在术前将患者CT进行三维重建，保存生成的模型，并减少三维重建模型面片数，赋予模型对应材质的参数；并将手术器具模型导入，实现虚实结合的人机交互操作。

一种术像一体的外科手术规划与导航方法，对外科手术室的环境、手术操作及导航臂、人机交互设备进行一体化的空间关系描述，实现从“术前-术中”医学影像与手术操作的方位配准与规划路径传递，实现术中的精准主动导航，并采用虚拟增强现实方法实现人机交互。可将规划切面投射到手术区域并动态随动，结合力反馈器进行辅助手术操作。

其手术室坐标系：包括被立体光学跟踪仪所观测所有设备以及环境动作捕捉系统所观测的立体光学跟踪仪。所述手术室坐标系下包括立体光学跟踪仪坐标系、环境动作捕捉系统坐标系、患者坐标系、投影仪坐标系、操作机械臂末端执行器坐标系。

所述患者坐标系、投影仪坐标系、操作机械臂末端执行器坐标系均由靶标被立体光学跟踪仪所定位，跟踪仪的位置由环境动作捕捉系统所定位，手术室坐标系为全局坐标系，被环境动作捕捉系统所定位。

其虚拟影像坐标系：按照真实手术场景，可以创建一个虚拟场景，从设备图中的大屏幕中展示出，整个手术室中患者以及每个设备，均在场景中的对应位置。患者手术部分模型来源为患者术前固定好靶标后，拍摄CT，然后对CT进行三维重建得到患者手术区域模型。

所述虚拟影像坐标系的患者的数据导入软件，三维重建出患者待手术部分的三维模型，展示于屏幕中，重建后的模型位于三维重建的基坐标系下，所以虚拟影像坐标系位于三维重建下的初始坐标系位置。

于术前完成对患者手术部位的定位与手术路径的规划，数据来源为患者术前固定好靶标后拍摄的CT。规划的路径可由若干点或坐标系所组成，路径的表示是基于虚拟影像坐标系的，每个路径上的点，均是一个以该点为原点，该点到下一点方向为Z轴方向的一个坐标系，则由n个点组成的路径可表示为n个齐次变换矩阵，为虚拟影像坐标系转换到路径点的齐次变换矩阵。

所述术前规划中的虚拟影像坐标系下的路径，转化到手术室坐标系的方法，具体操作为，根据术前固定好靶标后拍摄的CT中，标记CT体数据中事先固定好的靶标的位置，获取虚拟影像坐标系转换到靶标坐标系的齐次变换矩阵。靶标在手术室坐标系下的位姿可被观测，得到手术室坐标系到靶标的变换，求逆与前一个齐次变换矩阵相乘可得虚拟影像坐标系到手术室坐标系下的齐次变换矩阵，将路径转换到手术室坐标系。

使用立体光学跟踪仪与环境动作捕捉系统完成整体系统的定位与导航，由环境动作捕捉系统定位的全局坐标系为手术室坐标系，同时，环境动作捕捉系统还需定位立体光学跟踪仪，可得到立体光学跟踪仪在手术室坐标系的齐次变换矩阵。投影仪、患者手术部位术前固定好的靶标、操作机械臂末端，可由立体光学跟踪仪定位，得到立体光学跟踪仪坐标系转换到各个部分的齐次变换矩阵，经过转换矩阵的计算可将投影仪、患者手术部位术前固定好的靶标、操作机械臂末端转换到手术室坐标系下。此外，由于立体光学跟踪仪可定位患者手术部位术前固定好的靶标的位置，得到立体光学跟踪仪到该靶标的齐次变换矩阵，以及立体光学跟踪仪到手术室坐标系的转换关系，得到手术室坐标系到患者靶标坐标系的转换关系，由术前规划计算得到的虚拟影像坐标系下的n个路径点的齐次变换矩阵，则可以计算手术室坐标系下的n个路径点的齐次变换矩阵。此外，从上述过程中还计算出了手术室坐标系转换到虚拟影像坐标系下患者坐标系的齐次变换矩阵。

手术室坐标系下患者靶标位置已知，术坐标到虚拟影像坐标系的齐次变换矩阵已知，则可实时观测患者固定好的靶标于立体光学跟踪仪下的位姿，转换到术坐标下，在虚拟场景中实现随动。

投影仪与患者待手术区域位置关系于手术室坐标系下已知，投影仪坐标系与三维重建模型的坐标系中投射内容相同，则将观测视点的位置设置为投影仪于手术室坐标系位置，则投射内容与患者待手术部分位姿相同，路径点与虚拟影像坐标系的转换关系已知，则手术入路可显示于虚拟影像坐标系下的三维重建的模型中。

力反馈器将虚拟手术器具对于患者待手术区域的操作，实时将力的感受反馈至操作者，实现虚拟现实功能，辅助手术操作。术前将患者CT进行三维重建，保存生成的模型，并减少三维重建模型面片数，赋予模型对应材质的参数；并将手术器具模型导入，实现虚实结合的人机交互操作。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种术像一体的外科手术规划与导航方法，其特征在于，该方法包括：

步骤1、采集带定位标记的患者术前CT图像；

步骤2、根据由环境动作捕捉系统确定的立体光学跟踪仪坐标、以及由立体光学跟踪仪定位的医疗器械及手术区域坐标建立术-像一体化联合坐标系；并将所述术-像一体化联合坐标系与所述带定位标记的患者术前CT图像进行配准；

其中，术坐标系为手术室坐标系，像坐标系为虚拟影像坐标系；

步骤3、将术前规划的虚拟影像坐标系下的手术路径转换到手术室坐标系下，实现机械臂及手术器械的术中主动导航；

步骤4、将规划切面投射到手术区域并动态随动，结合力反馈器进行辅助手术操作。

2.根据权利要求1所述的术像一体的外科手术规划与导航方法，其特征在于，所述步骤2中：

根据环境动作捕捉系统所观测的立体光学跟踪仪、以及被立体光学跟踪仪所观测的所有设备，建立手术室坐标系，所述手术室坐标系为全局坐标系；

所述手术室坐标系包括以下子坐标系：环境动作捕捉系统坐标系、立体光学跟踪仪坐标系、患者坐标系、投影仪坐标系、以及操作机械臂末端执行器坐标系；

其中，所述环境动作捕捉系统坐标系、立体光学跟踪仪坐标系均被环境动作捕捉系统所定位；所述患者坐标系、投影仪坐标系、以及操作机械臂末端执行器坐标系均由靶标被立体光学跟踪仪所定位。

3.根据权利要求2所述的术像一体的外科手术规划与导航方法，其特征在于，所述步骤2中：

按照真实手术场景创建虚拟场景，并在大屏幕中展示所述虚拟场景；所述虚拟场景包括手术室中患者以及每个设备的位置；其中，手术室中患者的位置通过患者术前固定好靶标后，拍摄CT图像，然后对CT图像进行三维重建得到；

所述三维重建包括：根据手术室中患者的位置数据，构建患者待手术部分的三维重建模型并在大屏幕中展示；将所述三维重建模型的初始坐标系作为虚拟影像坐标系。

4.根据权利要求3所述的术像一体的外科手术规划与导航方法，其特征在于，所述步骤3中，所述将术前规划的虚拟影像坐标系下的手术路径转换到手术室坐标系下包括：

步骤3.1、术前规划中建立虚拟影像坐标系下的手术路径；

步骤3.2、将所述手术路径由虚拟影像坐标系下转化到手术室坐标系下；其中

所述步骤3.1包括：

步骤3.1.1、根据患者术前固定好靶标后拍摄的CT图像，于术前完成对患者手术部位的定位与手术路径的规划；规划的手术路径由n个点组成，所述手术路径基于虚拟影像坐标系；

步骤3.1.2、依次以手术路径上的每个点为原点、该点到下一点的方向为Z轴方向构建n个坐标系；则由n个点组成的手术路径可表示为n个由虚拟影像坐标系转换到手术路径点的齐次变换矩阵；

所述步骤3.2包括：

步骤3.2.1、获取术前固定好靶标后拍摄的CT图像，标记CT图像中事先固定好的靶标的位置，获取虚拟影像坐标系转换到靶标坐标系的齐次变换矩阵；

步骤3.2.2、观测靶标在手术室坐标系下的位姿，得到手术室坐标系转换到靶标坐标系的齐次变换矩阵；

步骤3.2.3、将所述手术室坐标系转换到靶标坐标系的齐次变换矩阵求逆、并与所述虚拟影像坐标系转换到靶标坐标系的齐次变换矩阵相乘，得到虚拟影像坐标系转换到手术室坐标系的齐次变换矩阵。

5.根据权利要求4所述的术像一体的外科手术规划与导航方法，其特征在于，所述步骤3中，所述实现机械臂及手术器械的术中主动导航包括：

使用环境动作捕捉系统与立体光学跟踪仪完成定位与导航；将环境动作捕捉系统定位的全局坐标系作为手术室坐标系；环境动作捕捉系统对立体光学跟踪仪进行定位，得到立体光学跟踪仪在手术室坐标系下的齐次变换矩阵；

所述立体光学跟踪仪对投影仪、患者手术部位术前固定好的靶标、操作机械臂末端进行定位，分别得到立体光学跟踪仪坐标系转换到所述投影仪、患者手术部位术前固定好的靶标、操作机械臂末端的齐次变换矩阵；从而将所述投影仪、患者手术部位术前固定好的靶标、操作机械臂末端转换到手术室坐标系下；

所述立体光学跟踪仪定位患者手术部位术前固定好的靶标的位置，得到立体光学跟踪仪到该靶标的齐次变换矩阵；根据所述立体光学跟踪仪到该靶标的齐次变换矩阵、以及立体光学跟踪仪到手术室坐标系的转换关系，得到手术室坐标系到患者靶标坐标系的转换关系；

根据术前规划中计算得到的手术路径上n个点的所述n个由虚拟影像坐标系转换到手术路径点的齐次变换矩阵，计算手术路径上n个点的n个由手术室坐标系转换到手术路径点的齐次变换矩阵。

6.根据权利要求1所述的术像一体的外科手术规划与导航方法，其特征在于，所述步骤4中：

根据手术室坐标系下患者靶标位置、以及手术室坐标系到虚拟影像坐标系的齐次变换矩阵，将实时观测的患者固定好的靶标于立体光学跟踪仪下的位姿转换到手术室坐标系下，从而在虚拟场景中实现动态随动。

7.根据权利要求1所述的术像一体的外科手术规划与导航方法，其特征在于，所述步骤4中：

投影仪坐标系与三维重建模型的坐标系中投射内容相同；所述投射内容与患者待手术部分位姿相同；

根据手术室坐标系下投影仪与患者待手术区域的位置关系，将观测视点的位置设置为投影仪于手术室坐标系下的位置；

根据路径点与虚拟影像坐标系的转换关系，将手术入路显示于虚拟影像坐标系下的三维重建模型中。

8.根据权利要求1所述的术像一体的外科手术规划与导航方法，其特征在于，所述步骤4中：

术前将患者CT图像进行三维重建，保存生成的三维重建模型，并减少三维重建模型面片数，赋予所述三维重建模型对应材质的参数；并将手术器具模型导入，以实现虚实结合的人机交互操作；

所述力反馈器根据虚拟手术器具对于患者待手术区域的操作，实时将力的感受反馈至操作者，实现虚拟现实功能，以辅助手术操作。

Images