CN113197666A - 用于手术导航的装置及系统 - Google Patents

Abstract

一种用于手术导航的装置，包括红外定位跟踪单元、手术场景摄像单元、控制单元和计算单元。红外定位跟踪单元仅包含一个红外相机和红外光源，手术场景摄像单元包含至少一个可见光相机。控制单元向所有红外相机和可见光相机发出曝光信号，触发所有红外相机和可见光相机在同一时间开始曝光，红外相机和可见光相机输出采集到的图像，通过控制图像采集频率，使得在控制单元发出下一次曝光信号前完成图像采集并传输至计算单元。本发明提供的装置，各个相机同步曝光，画面的卡顿现象或延迟现象得以改善。红外定位跟踪单元、手术场景摄像单元、控制单元和计算单元均被置于一个外壳内，提高了装置的整体性，可手持实现手术导航操作。

Description

用于手术导航的装置及系统

技术领域

本发明涉及一种实施手术的方案，尤其涉及一种用于引导手术的装置，以及与其它工具组成的手术导航系统。

背景技术

手术导航系统已经被广泛应用于神经外科、骨科、耳鼻喉科等临床领域，在手术时，导航系统将手术工具相对于人体的位置，转化为工具相对于三维医学图像的位置在计算机屏幕上呈现，为医生手术实时提供目标位置或重要位置的图像信息引导。手术导航系统一般由三部分构成：显示及计算主机、红外双目位置跟踪器以及手术工具；譬如可参考美国Medtronics公司的StealthStation神经外科导航产品。常规的手术导航系统虽然安装了运动脚轮，但因体积及重量较大，无法随身携带；使用时也占据手术室较大的空间，造成手术室拥挤不便；红外双目位置跟踪器远离手术区域，容易造成跟踪器视线被遮挡，从而中断手术，用户体验不佳。

增强现实技术，实现了现实世界与虚拟世界的混合。在医学领域，大量研究人员探索将手术计划等虚拟信息叠加至现实世界中实际手术区域，譬如试图通过肉眼即可在病人手术部位看到目标切除结构(譬如可参考International Journal of Computer AssistedRadiology and Surgery(2020)15：101-1021)。目前，现有增强现实系统因缺少整体化设计考虑，容易出现低精度、画面延迟和卡顿现象。

发明内容

本发明的一个目的在于提供一种用于手术导航的装置，更便捷地对手术实施导航操作。

本发明的另一个目的在于提供一种用于手术导航的装置，改善增强现实的画面延迟和卡顿现象。

本发明的再一个目的在于提供一种手术导航系统，实现术中快速配准(注册)，提高手术引导应用的便捷性。

一种用于手术导航的装置，包括：

红外定位跟踪单元，其仅包含一个红外相机和红外光源，相机仅包含一个感光芯片用于成像；

手术场景摄像单元，其包含至少一个可见光相机，每个相机仅包含一个感光芯片用于成像；

控制单元，其向红外相机和可见光相机发出曝光信号，触发红外相机和可见光相机在同一时间开始曝光；

红外相机和可见光相机输出采集到的图像，通过控制图像采集频率，使得相机在控制单元发出下一次曝光信号前完成图像采集并传输至计算单元。

计算单元处理各种医学影像(比如：CT图像)，重建医学影像并生成目标区域的三维图像或模型，操作人员可以通过计算单元制定手术计划，在CT图像上标记手术入点、方向和区域等信息。医学影像和通过医学影像重建获得的三维图像或模型，以及操作者在这些图像及模型上标记的手术着手点、方向和区域等信息也在本发明中统称为手术计划信息，这些信息可能还包括其它非医学影像重建获得的图像或模型(譬如：用其它软件设计制作的，以stl格式表示的图像或模型)。

本发明的装置，其红外定位跟踪单元可以采用单相机或双相机(又称单目或双目)，手术场景摄像单元中可包括若干个可见光相机，如：1个、2个、3个、4个或5个等。

控制单元发出曝光脉冲后(即为一个定义的时间点)，各个可见光相机与红外相机同步采集和传输图像(即同一时间开始曝光，发出下一次曝光信号前完成图像采集并传输至计算单元)，计算单元接收红外相机的图像计算该时间点所有被跟踪目标的位置与姿态，同时计算单元获得该时间点若干个可见光相机同步采集的手术现场实景图像，实现增强现实效果。一种可实施的算法如下：

先通过标定，获得红外定位跟踪单元与手术场景摄像单元中所有相机之间的相对位置与相对姿态关系矩阵，这些关系矩阵可被预先存储在计算单元的存储器中。(比如：标定方法可以是Matlab软件中的Bouguet标定算法)将相机分为两个一组，对每一组使用该方法标定相机之间的位置与方向关系，进而获得所有相机之间的位置与方向关系；

然后，通过标定获取手术场景摄像单元中各相机的内部摄像参数(如：但不限于焦距、成像中心和畸变参数等，这些参数被存储在计算单元的存储器中)。一种可行的标定方法可参考Zhang，Zhengyou.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2000；

接着，完成图像引导手术的配准(如：使用ICP算法，Iterative Closest Point)获得配准矩阵，进而将CT图像坐标空间中的手术计划信息转换到红外定位跟踪单元的坐标系下；

最后，在各个相机的成像周期(由控制单元发出的1次曝光脉冲计为1个周期)获得的相对应图像上，获得增强现实。比如：执行以下操作：

通过已经确定的红外定位跟踪单元与手术场景摄像单元中各相机之间的相对位置与姿态关系矩阵，将红外定位跟踪单元坐标系下的手术计划信息转化至手术场景摄像单元中各相机坐标系下；使用手术场景摄像单元中的各相机的内部参数，逐个在计算单元中对手术计划信息进行虚拟成像(即使用相机的内部摄像参数以及手术计划信息与相机之间的相对位置与姿态关系，在计算单元中模拟相机的成像原理将手术计划信息投影到相机成像平面)；将虚拟成像得到的图像与手术场景摄像单元中对应相机获得的实际图像进行混合(如这种混合可以是两张图像像素数值按百分比例相加，这里并不限定混合的具体计算方式)。最终得到增强现实效果，于显示屏显示。

本发明的用于手术导航的装置，还与其它设备、装置或器件配合，组成用于实施手术的导航系统。比如：被跟踪目标，其由支架和设置于支架上的若干个可以反射红外线的球形标记构成，支架被固定于患者身体或手术工具上。

本发明的用于手术导航的装置，还包括壳体，壳体与手持式部件相连，整体性更好，可手持完成手术导航的操作，提高了手术导航设备的便携性。

一种用于手术导航的系统，包括：

被跟踪目标；用于手术导航的装置，其可被红外定位跟踪单元识别并附着在患者身体或手术工具上，并作为手术导航中位置信息的依据；

显示器，其提供手术导航的人机界面。

另一种用于手术导航的系统，还包括表面点云获取装置，用于实现面配准。

当使用反射红外光标记时，另一种用于手术导航的系统，还包含红外光源，用于在目标区域内形成均匀红外光场。

附图说明

图1为现有单目定位跟踪器一实施例的结构示意图；

图2为现有双目定位跟踪器一实施例的结构示意图；

图3为本发明用于手术导航装置的一实施例的示意图；

图4为图3所示装置另一角度的示意图；

图5为图3所示装置的俯视图；

图6为本发明用于手术导航的装置的另一实施例的示意图；

图7为图6所示装置另一角度的示意图；

图8为图6所示装置的俯视图；

图9为本发明的装置应用于手术中的一实施例的示意图；

图10为图9另一角度的示意图；

图11为带有表面点云获取装置的手术导航装置一实施例示意图。

具体实施方式

以下结合附图详细描述本发明的技术方案。本发明实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围中。

红外光学定位跟踪是目前图像引导手术设备(或称手术导航设备)常用的定位跟踪技术之一(其它方法还有如：磁跟踪等)。常见的红外光学定位跟踪器采用对红外光敏感的相机连续对被跟踪目标进行拍摄，并连续计算每一帧图像中被跟踪目标在跟踪器坐标系下的多个自由度(如：6个)位置和姿态数值。被跟踪目标由若干个可以发射特定波段红外光(如：850nm波段)的LED灯珠或可以强反射红外光的反光标记构成，它可以附着在手术工具上，或固定在人体手术部位。反光标记物具有特定规则形状，一般采用球形、圆片形或方形。当采用可以反射红外光的反光标记物时，相机端需要配备特定波段(如：850nm)的红外反射光源，在相机视野中形成一个均匀的红外光场。定位跟踪器的镜头端一般使用了滤光片，仅特定波段的红外光可以通过，用于去除环境中的其它波段红外光。这样，在相机图像中，被跟踪目标因发射或反射特定波段红外光而相对于图像背景具备极高的信噪比，可以使用算法进行区分识别(即图像背景中的物体因不具备红外光源以及强红外反射表面，其红外信号极低)。

本实施例的红外定位跟踪单元可以采用单相机、双相机或多相机实现(分别又可称为单目、双目或多目等种类)。比如：双相机红外定位跟踪已经普遍用于图像引导手术设备中(如：美国Medtronics公司和德国BrainLab公司的手术导航产品)，双相机以及多相机(如：三相机构成)的定位跟踪器可以参考加拿大NDI公司的Polaris以及Optotrak系列化产品。双相机和多相机的算法原理可参考Richard Hartley著，韦穗，章权兵等译《计算机视觉中的多视图几何》[P]，安徽大学出版社出版，2002。

单目定位跟踪单元的原理如图1所示，包括可较好的感受红外光的相机101、红外光源102环绕在相机101的镜头周边，呈圆周分布，被跟踪目标103由4个可以反射红外线的球形标记物1031构成(也可以是圆片形或方片形标记)，当被跟踪目标103的所有反射标记处于相机101的视野区域中时，被跟踪目标103就能被识别并定位。双目定位跟踪单元的原理如图2所示，包括两个红外相机101，以及两个红外光源102，两个相机视野的重叠区域104为双目定位跟踪单元的有效识别跟踪区域，即被跟踪目标103处于两个相机视野的重叠区域104中时才可被识别定位。

针对图1中采用的球形标记(或圆片形，方片形，也可以采用其它规则形状的标记，并不降低算法的适用性)构成被跟踪目标的情形，单目定位跟踪单元可以采用如下算法：

1)标定相机，获取其内参(包括：但不限于焦距和成像中心坐标)和镜头畸变参数(包括：但不限于径向畸变和切向畸变)；

2)采集图像，利用阈值分割算法去除图像背景，对非背景区域进行八邻域连通区域标记，并计算出每一个标记的连通区域的中心(在图像上的二维像素坐标)作为一个标记点；

3)依据连通区域的面积大小(或配合椭圆程度等)去除图像上的伪标记点(采用反射红外光或发射红外光的圆形标记作为被跟踪目标的构成要素)；

4)依次任取四个或以上连通区域的标记点形成标记组合，与被跟踪目标上的标记点(被跟踪目标包含四个或以上标记，这些标记之间的相对位置坐标已知)实际几何特征进行二维与三维匹配(例如：常用的PNP单目视觉定位算法)，并利用匹配结果将被跟踪目标标记点对应的三维坐标转换至三维相机坐标系，再利用步骤1中获取的相机内参和畸变参数将三维相机坐标系下的标记点重新投影到相机成像平面，而得到虚拟二维像素坐标，计算这些虚拟二维像素坐标(即重投影结果)与其在实际摄像形成的相机图像上实际位置的距离作为重投影误差(这里的实际位置指所选取的标记组合中各标记点的实际位置)；

5)取重投影误差最小的匹配结果计算被跟踪目标在单目定位跟踪单元坐标系下的位置与姿态。(匹配结果中已包含被跟踪目标在单目定位跟踪单元坐标系下的位置与姿态，此处仅需从匹配结果矩阵中提取对应参数)

以上各个步骤之间并不存在必然的先后执行的关系，可以是并行的。

当单目定位跟踪器靠近被跟踪目标时(此处的靠近指距离较近，譬如距离在0-25em内)，可能识别出大量的伪标记点，这些伪标记点通过前述单目定位方法步骤3)依然不能很好的去除，残余的伪标记点数量过多将导致计算步骤4)和步骤5)耗费的时间过长，而无法及时的提供计算结果。为此，本实施例还采用以下方法，减小剩余伪标记点的数量，同时保证手术过程的顺利进行，如：但不限于

1)将单目定位跟踪器置于被跟踪目标附近(0-25cm内)；

2)启动单目定位跟踪器开始采集一帧图像，并进入单目定位跟踪器的计算过程

3)根据去除伪标记点后剩余的标记点数量，计算标记组合的总排列组合数，并估算遍历组合的计算代价，譬如：计算时间。

4)当计算代价超过预设值时(譬如为保证定位跟踪器每秒输出30次数据，需要在33毫秒内完成所有遍历，并输出结果，可选取预设值为33ms内的某个值)，则进入步骤5)，否则，进入步骤7)；

5)控制单元通过动态调整单目定位跟踪器中光源的功率(譬如图2中的红外光源202)，动态调整光场中光线的强弱(这里的调整可以是线性调整，譬如等比例逐渐减弱)；

6)重新开始步骤2)、步骤3)及步骤4)，并开始循环，直至步骤4)中的计算代价小于预设值时停止循环，若在设定的时间值内(譬如1分钟)不能达到小于预设值，则控制单元报告错误，提示用户设备故障；

7)控制单元将使用当前设定的光源的功率值进行后续的持续单目定位跟踪计算。

上述步骤5)中亦可采用减少(譬如：呈线性的减少)单幅相机图像曝光时间的方法控制所获得图像的整体明暗度，达到等同于调整光源功率控制光场强度的效果。

图像引导手术设备(或称手术导航设备，本说明中“图像引导手术”与“导航手术”具有相同含义)已是诸如神经外科使用的常规设备，它可以在计算机屏幕上实时显示手术工具相对于医学影像(如：CT图像)中某一解剖结构的位置。此类设备一般由红外双目定位跟踪器，计算主机以及若干带有红外反射标记的手术工具构成，可参考(BrainLab Curve平台以及Medtronics StealthStation平台)。

以基于CT图像的图像引导手术为例，其主要构成元件即双目红外定位跟踪单元，它采用前述的双目定位跟踪原理(参考Richard Hartley著，韦穗，章权兵等译《计算机视觉中的多视图几何》[P]，安徽大学出版社出版，2002)；图像引导手术还需要使用配准算法(registration)，用于实现将CT图像坐标空间中的解剖结构目标(如：标志点或手术区域)与现实世界中的对应目标进行坐标转换，目前常见的配准方法有点配准算法和面配准算法。点配准算法要求在CT图像或CT图像重建的模型上选取一组解剖标志点，在患者手术部位，使用手术工具选取对应的一组标志点(用双目红外定位跟踪器坐标空间定义这组标志点位置)，两者之间使用常见的如：四元数算法和SVD矩阵分解法获得配准关系。面配准算法即在患者手术部位使用工具(如：Medtonics公司的探针工具或Brainlab公司的z-touch)连续获取大量表面点(大量表面点构成点云，相对于点配准选点更密集)，再使用算法(如：最近点迭代算法iterative closest point algorithm)与CT图像重建得到的手术部位表面模型点云进行配准。最终，通过配准，手术工具的位置和姿态、CT图像、CT图像中的目标位置或区域以及现实世界中病人手术区域对应的目标位置和区域都被转化到同一坐标系下(如：红外定位跟踪器坐标系，其它诸如工具坐标系或CT坐标系等)，这样就能实现在CT图像上实时追踪手术工具的当前位置。关于图像引导手术设备的更多描述可参考Springer出版，Sam Atallah著《Digital Surgery》第11章Navigation and Image-Guided Surgery。

增强现实技术用于实现在肉眼所见世界中加入虚拟元素，如：MicrosoftHololens增强现实眼镜，它可以通过眼镜在人眼视力范围内投射虚拟物体(optical see-though AR)。增强现实技术还可以通过其它方式实现，譬如使用可见光相机拍摄现实场景，并在场景中加入虚拟元素，最终通过显示终端(譬如计算机显示器或平板电脑、手机等)呈现现实与虚拟的混合(video-based AR)。增强现实手术即为在手术场景中加入虚拟的点、线、区域或模型等虚拟元素，这些虚拟元素可以是手术计划的一部分，这里的手术场景可以是通过比如增强现实眼镜在肉眼中呈现或是通过显示终端呈现。关于虚拟现实手术的更多细节描述可参考：Springer出版，Sam Atallah著《Digital Surgery》第10章The challengeofAugmented Reality in Surgery。

本实施例涉及的系统，其红外定位跟踪单元即可采用单目定位跟踪的形式实现，也可以采用双目定位跟踪的形式实现。

图3为本发明用于手术导航装置的一实施例的示意图，图4为图3所示装置另一角度的示意图。该装置包括的定位跟踪单元由相机101和红外光源102组成(为单目定位跟踪单元)，手术场景摄像单元由三个可见光相机301组成。此外，还包括控制单元302和计算单元303等。显示屏304可作为单独一部分，而与本实施例的装置构成一个导航系统。或通过一件外壳305将前述元件整合到一起。相机301以及相机101都采用外触发曝光模式，曝光信号由控制单元302输出，输出的信号(可以是任意一种周期性信号)同时触发4个相机同步曝光并同步输出采集到的图像(各相机的曝光时长可不一致，仅曝光开始时间点被统一，通过控制图像采集频率确保图像采集和传输至计算单元303的工作在下一次曝光信号出现前已完成)。每个相机仅包含一个感光芯片，用于连续拍摄。

红外光源102由若干可以发射特定波段(如：850nm波段)红外光的LED灯珠构成，其能持续发光，或以脉冲式发光。脉冲式发光时，其在相机101曝光期间光源被打开，其它时间光源被关闭。计算单元303在获取定位跟踪单元中相机101采集的图像后，采用前文提到的单目定位跟踪算法进行计算，获取被跟踪目标在每一帧图像中相对于相机101坐标系的三维空间位置与姿态。

图5为图3所示装置的俯视图。如图5所示，手术场景摄像单元包含的三个相机301互成夹角分布，分别对应三个拍摄方向501,502,503。使用多个相机时可以获得不同角度的视野实景，从而实现从不同角度实现增强现实效果，这有利于精确判断虚拟与现实之间的位置关系，有利于手术的执行。

显示屏304可以是触控显示屏，从而实现人机触控交互，304也可以是纯显示屏仅具备显示功能，此时可以通过在外壳305上增加按键、轨迹球或触摸板等完成交互。定位跟踪单元、手术场景摄像单元、计算单元和控制单元等均设置于外壳305内，使得装置的整体性提高。

图6为本发明用于手术导航的装置的另一实施例的示意图，图7为图6所示装置另一角度的示意图。如图6和图7所示，定位跟踪单元由两个相机101和两个红外光源102组成(为双目定位跟踪单元)，手术场景摄像单元由三个可见光相机301组成。在装置中，还包括控制单元302，计算单元303和显示屏304，以及外壳305，其用于将前述元件整合到一起的。相机301以及相机101都采用外触发曝光模式，曝光信号由控制单元302输出，302输出的信号(可以是任意一种周期性信号)同时触发5个相机同步曝光并同步输出采集到的图像(各相机的曝光时长可不一致，仅曝光开始时间点被统一，通过控制图像采集频率确保图像采集和传输至计算单元303的工作在下一次曝光信号出现前已完成)。每个相机仅包含一个感光芯片，用于连续拍摄。

计算单元303在获取定位跟踪单元中两个相机101采集的图像后，采用前文提到的双目目定位跟踪算法进行计算(参考Richard Hartley著，韦穗，章权兵等译《计算机视觉中的多视图几何》[P]，安徽大学出版社出版，2002)，获取被跟踪目标在每一帧图像中相对于定位跟踪单元坐标系的三维空间位置与姿态。

图8为图5所示装置的俯视图。如图8所示，红外定位跟踪单元由两个相机101组成。图中可以看出手术场景摄像单元包含的三个相机301互成夹角分布，分别对应三个拍摄方向501,502,503。使用多个相机时可以获得不同角度的视野实景，从而实现从不同角度实现增强现实效果，这有利于精确判断虚拟与现实之间的位置关系，有利于手术的执行。

本实施例并不限定手术场景摄像单元中相机的数量和曝光角度，可以为一个以及以上。如图3所示的实施例中使用了三个相机，亦可以增加或减少其相机数量；相机曝光方向之间的角度亦可以是任何更符合临床实际角度。

计算单元303可以处理CT图像，重建生成目标区域的三维图像或模型，操作人员可以通过计算单元制定手术计划，在CT图像上标记手术入点，方向，区域等信息；后文将CT图像和通过CT图像重建获得的三维图像或模型，以及操作者在以上图像及模型上标记的手术入点、方向、区域等信息统称为手术计划信息，这些信息可能还包括其它非CT图像重建获得的模型(譬如用其它软件设计制作的，stl格式表示的模型)。

通过计算单元303完成前文提到的点配准或面配准过程，即获得一个转换矩阵，实现从CT图像坐标系下某一个解剖位置点到红外定位跟踪单元坐标系下对应解剖位置点之间的转换关系，此转换关系用矩阵表示，被称为配准矩阵。通过配准矩阵，即可实现对于CT图像坐标空间中任一点，获得其在红外定位跟踪单元坐标空间中对应的位置坐标(从而也实现了将依据CT图像制定的手术计划信息转换至红外定位跟踪单元坐标空间下)；反之亦然，即也可以实现从红外定位跟踪单元坐标空间下任一位置坐标和方向到CT图像坐标空间下对应位置和方向的转换，从而实现将红外定位跟踪单元跟踪下手术工具(如：探针工具)的动态变化位置，实时转换至CT图像坐标空间，并叠加显示在CT图像上，实现图像引导手术的过程。以上描述为典型的基于CT图像引导的手术过程，由计算单元303完成。

在控制单元302的曝光脉冲发出后(定义为一个时间点)，各手术场景摄像单元相机与红外定位跟踪单元相机同步采集和传输图像，计算单元303通过红外定位跟踪单元相机的图像计算该时间点所有被跟踪目标的位置与姿态，同时计算单元获得该时间点若干个手术场景摄像单元相机同步采集的手术现场实景图像，并通过如下算法实现增强现实效果(相机曝光需要一定的时间周期，此处的时间点不应被侠义理解为一个时间瞬时)：

1)通过标定，获得红外定位跟踪单元与手术场景摄像单元中所有相机之间的精确相对位置与姿态关系矩阵，这些关系矩阵被存储在计算单元的存储器中。一种标定方法是Matlab软件中的Bouguet标定算法。将相机分为两个一组，对每一组使用该方法标定相机之间的位置与方向关系，进而获得所有相机之间的位置与姿态关系(本文中的相对姿态与相对方向关系含义相同)。

2)通过标定获取手术场景摄像单元中各相机的内部摄像参数(如：焦距、成像中心和畸变参数等，这些参数被存储在计算单元的存储器中)。一种可行的标定方法科参考Zhang，Zhengyou.A Flexible New Technique for Camera Calibration.[J].IEEETransactions on Pattern Analysis&Machine Intelligence，2000.。

3)完成前文描述的图像引导手术的配准(如：使用ICP算法)获得配准矩阵，进而实现将CT图像坐标空间中的手术计划信息转换到红外定位跟踪单元坐标系下。

4)在每一个控制单元302控制的相机成像周期获得的相对应图像上，执行以下操作：通过步骤1中确定的红外定位跟踪单元与手术场景摄像单元中各相机之间的相对位置与姿态关系矩阵，将红外定位跟踪单元坐标系下的手术计划信息(参考步骤3)转化至手术场景摄像单元中各相机坐标系下；使用手术场景摄像单元中的各相机的内部参数，逐个在计算单元303中对手术计划信息进行虚拟拍照成像(即使用相机的内部摄像参数以及手术计划信息与相机之间的相对位置与姿态关系，在计算单元中模拟相机的成像原理将手术计划信息投影到相机成像平面。)；将虚拟拍照成像得到的图像与手术场景摄像单元中对应相机获得的实际图像进行混合(譬如这种混合可以是两张图像像素数值按百分比例相加，这里并不限定混合的具体计算方式)，从而得到增强现实效果，并最终在显示屏304显示。

前述的实施例将导航手术以及增强现实手术的主要构成元件(红外定位跟踪单元及手术场景摄像单元)的运行同步化，并全部集中于一个整体外壳305中，使整个设备的构造更简单，外观更小巧，实现了真正的便携式；在保留常规图像引导手术(导航手术)特点的同时，可以从不同角度将手术计划信息叠加到现实手术场景中，并从屏幕上选择性观察，使手术操作更简单便利。

图9为本实施例用于手术导航的装置应用于手术中的一实施例的示意图，图10为图9另一角度的示意图。如图9所示，在患者手术部位902固定被跟踪目标103。使用手术工具903(包含类似被跟踪目标103的4个红外反光球，方便被定位跟踪单元识别)选取手术部位902的特征解剖标志点，在如图3和图4所示装置的实施例中，在CT图像上选取同一组点，两组点使用配准算法(即业内熟知的点配准算法)完成配准(Registration)，或可以使用手术工具903在手术部位表面保持接触地滑动选取表面点云(如：皮肤表面或骨组织表面)，再与CT图像重建得到的对应表面进行配准(即业内熟知的面配准算法)，配准完成后，即确定了前文提到的CT图像坐标空间与手术部位及手术工具所在的红外定位跟踪单元坐标空间之间的转换关系，随后即可开始图像引导手术过程，在屏幕上实时显示手术工具相对与CT影像的位置关系。此时，手术场景摄像单元的若干相机与红外定位跟踪单元同步拍摄，运用前文提到的增强现实算法，显示屏上将同步显示增强现实效果。图9中还展示了与装置配合的手柄901，具体的，手柄901与外壳连接，仅以单手握住手持式部件，就能完成手术导航的操作，提高了手术导航设备的便携性。手柄901与外壳连接为可拆卸结构，利于手柄901按需安装和拆卸，方便操作。

对于面配准，亦可通过在本实施例所记载的方案中加入表面点云获取装置实现。表面点云获取装置的实现方法有多种成熟方案，常见的如：飞行时间法(TOF)、结构光法或者双目相机法。如图11所示，可在图3和图4所示的装置中加入表面点云获取装置1101(如：由Intel公司生产的RealSense深度摄像头组件)，对物体表面进行扫描，获取物体表面的点云形态。此时，只需确定表面点云获取装置与红外定位跟踪单元之间的物理位置关系(一种方法是直接使用两者间的机械结构设计参数)，即可实现将表面点云获取装置获得的点云坐标转化至红外定位跟踪单元坐标系下；再使用前文提及的面配准算法(如：ICP算法)，将表面点云获取装置获得的点云(已转化至红外定位跟踪单元坐标空间下)与CT三维重建获得的三维表面点云(在CT图像坐标空间下)进行配准，获得CT图像坐标空间与手术部位及手术工具所在的红外定位跟踪单元坐标空间之间的转换关系，即完成了面配准过程，后续可依照前文算法描述进入图像引导及增强现实渲染。

将表面点云获取装置、红外定位跟踪单元以及手术场景摄像单元统一安装到外壳305中，即能获得高度集成的，外形小巧的导航手术装置或系统。通过表面点云获取装置实现面配准，可以省去使用手术工具手工选择解剖标志点或点云的过程，缩短了操作时间和学习难度，使整个手术操作过程更加流畅高效。

Claims (10)

1.一种用于手术导航的装置，其特征在于包括：

红外定位跟踪单元，其仅包含一个红外相机和红外光源，相机仅包含一个感光芯片用于成像；

手术场景摄像单元，其包含至少一个可见光相机，每个相机仅包含一个感光芯片用于成像；

控制单元，其向红外相机和可见光相机发出曝光信号，触发红外相机和可见光相机在同一时间开始曝光；

红外相机和可见光相机输出采集到的图像，通过控制图像采集频率，使得在控制单元发出下一次曝光信号前完成图像采集并传输至计算单元；

所述的红外定位跟踪单元、所述的手术场景摄像单元、所述的控制单元和所述的计算单元被置入一个壳体内，提高装置的整体性，所述的壳体还与手持式部件相连，可手持完成手术导航的操作，提高了手术导航设备的便携性。

2.根据权利要求1所述的用于手术导航的装置，其特征在于所述的控制单元发出曝光脉冲后，各个所示的可见光相机与所示的红外相机同步采集和传输图像。

3.根据权利要求1所述的用于手术导航的装置，其特征在于所述的计算单元接收所述的红外相机的图像计算该时间点所有被跟踪目标的位置与姿态，同时所述的计算单元获得该时间点所述的可见光相机同步采集的手术现场实景图像，实现增强现实效果。

4.根据权利要求1所述的用于手术导航的装置，其特征在于所述的计算单元实现增强现实效果的算法如下：

先通过标定，获得所述的红外定位跟踪单元与所述的手术场景摄像单元中所有相机之间的相对位置与相对姿态关系矩阵，这些所述的关系矩阵可被预先存储在所述的计算单元的存储器中；

然后，通过标定获取所述的手术场景摄像单元中各相机的内部摄像参数，所述的参数包括焦距、成像中心和畸变参数；

接着，完成图像引导手术的配准获得配准矩阵，进而将CT图像坐标空间中的手术计划信息转换到红外定位跟踪单元的坐标系下；

最后，在各个相机的成像周期获得的相对应图像上，实现增强现实。

5.根据权利要求4所述的用于手术导航的装置，其特征在于还包括通过已经确定的红外定位跟踪单元与手术场景摄像单元中各相机之间的相对位置与姿态关系矩阵，将红外定位跟踪单元坐标系下的手术计划信息转化至手术场景摄像单元中各相机坐标系下；使用手术场景摄像单元中的各相机的内部参数，逐个在计算单元中对手术计划信息进行虚拟成像；将虚拟成像得到的图像与手术场景摄像单元中对应相机获得的实际图像进行混合，最终得到增强现实效果；

所述的虚拟成像为使用所述相机的内部摄像参数以及手术计划信息与所述相机之间的相对位置与姿态关系，在所述的计算单元中模拟相机的成像原理将手术计划信息投影到所述的相机成像平面。

6.根据权利要求1所述的用于手术导航的装置，其特征在于所述的手术场景摄像单元中包括若干个所述的可见光相机。

7.根据权利要求1所述的用于手术导航的装置，其特征在于还包括表面点云获取装置。

8.根据权利要求7所述的手术导航系统，其特征在于所述的表面点云获取装置、所述的红外定位跟踪单元和所述的手术场景摄像单元被集成到一件外壳内。

9.一种用于手术导航的系统，其特征在于包括权利要求1～8之一所述的装置。

10.根据权利要求9所述的系统，其特征在于还包括

被跟踪目标；和

显示器，其提供手术导航的人机界面。

Images