CN117462257A - 用于脊柱内窥镜手术的导航方法、电子设备及导航系统 - Google Patents

Abstract

本发明涉及一种用于脊柱内窥镜手术的导航方法以及导航系统。所述方法包括如下步骤：三维影像获取步骤：获取脊柱的至少一部分的三维影像；图像获取步骤：实时获取内窥镜的图像；方位获取步骤：实时获取内窥镜末端的位置和方向；影像切割步骤：根据所述内窥镜末端的位置和方向对所述三维影像进行切割；融合步骤：将切割后的三维影像和所述图像进行融合；以及显示步骤：显示融合后的图像。本发明在脊柱内窥镜手术的场景中实现实时内窥镜视野与内窥镜周围的三维影像的增强现实融合，在脊柱手术中为医生提供更直观的内窥镜末端以及手术工具末端在脊柱结构中的方位信息，很大程度上避免误操作并增加脊柱手术的可靠性。

Description

用于脊柱内窥镜手术的导航方法、电子设备及导航系统

技术领域

本发明涉及医疗设备技术领域，尤其涉及手术导航系统，更具体地涉及基于图像融合的脊柱内窥镜手术的导航方法及导航系统。

背景技术

脊柱内窥镜手术技术，因其微创、患者出血少、住院时间短等的临床优点，而受到患者和微创脊柱外科医生的欢迎。但传统的脊柱内窥镜手术往往有非常陡峭的学习曲线，对医生的生理解剖基础和空间想象能力提出非常高的要求，极大限制了脊柱内窥镜手术技术的临床推广。

在传统的内窥镜手术中，单纯地使用内窥镜视野进行手术观察、工具操作与控制。而在只有内窥镜视野的情况下，医生因为缺乏骨性结构作为参考，非常难以辨识镜下二维平面影像中的软组织结构，容易失去全局视野、失去方向感而引起眼手协调困难，从而导致内镜无法正确抵达患处或减压不充分而导致无法实现既定手术目标。

在脊柱的内窥镜手术，尤其是在椎间孔镜手术中，由于脊柱内窥镜的特殊的结构，上述缺点更加明显。脊柱手术采用的内窥镜的相机和工具通道集成在同一个内窥镜伸入筒内。当医生转动内窥镜以转动内窥镜的相机从而观察想观察的位置时，手术工具也随内窥镜转动，手术工具相对于脊柱的方位也改变，因此医生更难以意识到手术工具在全局中相对于脊柱的方位，更容易发生误操作。

而且，在脊柱内窥镜微创手术中使用的工具例如包括在远端处具有倾斜角度的工具、具有柔性柄的工具、具有末端膨胀结构的工具等。因此医生仅依靠内窥镜的二维影像无法获知工具远端即工作端的实际方位，这同样容易引起误操作和手术的失误。

传统的导航技术，多用于脊柱内固定手术中引导椎弓根螺钉的置入过程中工具和植入物相对于患者生理结构的实时追踪和定位，辅助医生实现“精准、安全、微创”的临床目标。其中，光学导航因其定位精度高、不易受干扰、使用成本低等优点，在脊柱外科手术中正逐渐被临床所重视。

发明内容

本发明的目的旨在解决现有技术中存在的上述问题和缺陷的至少一个以及其它技术问题。

本发明一方面提供了一种脊柱内窥镜手术的导航方法，所述方法包括如下步骤：三维影像获取步骤：获取脊柱的至少一部分的三维影像；图像获取步骤：实时获取内窥镜的图像；方位获取步骤：实时获取内窥镜末端的位置和方向；三维影像切割步骤：根据所述内窥镜末端的位置和方向对所述三维影像进行切割；融合步骤：将切割后的三维影像和所述图像进行融合；以及显示步骤：显示融合后的图像。

在该针对脊柱内窥镜手术的导航方法中，将内窥镜的实时的真实图像与全局的三维影像进行增强现实的结合，这对于脊柱内窥镜手术的导航而言尤其有益。如背景技术中所描述的，由于脊柱内窥镜的特殊的结构，手术工具会随内窥镜相机同步转动，以及由于所采用的手术工具的特殊性，手术工具末端的方位多变，难以追踪，手术医生在观察内窥镜图像时更容易迷失方向，更难把握手术工具的末端的位置和方位。本发明通过导航系统在脊柱内窥镜手术的场景中实现实时内窥镜视野(手术工具末端在实时内窥镜视野中是可见的)与内窥镜周围的三维影像的增强现实融合，在脊柱手术中为医生提供更直观的内窥镜末端以及手术工具末端在脊柱结构中的方位信息，可以很大程度上避免误操作和增加脊柱手术的可靠性。

根据一种示例，在所述三维影像切割步骤中，对三维影像切割出圆柱体形状，其中所述圆柱体的直径根据操作者的输入而确定，从而确定对所述三维影像进行切割的范围，以得到操作者需要显示的范围的三维影像。

该示例性的方案实际上允许操作者根据需要对观察到的三维影像的范围进行选择，例如根据对下文将描述的缩放图标的操作而扩大或缩小圆柱体的直径，实现对观察到的三维影像的范围的自由缩放。这对于脊柱内窥镜手术尤其有益。由于内窥镜的视野范围非常小，某些情况下，即使是经验丰富的脊柱外科医生依然难以识别镜下覆盖的有限范围内的骨性结构，或者此刻骨性结构处于一个医生非常不熟悉的观察角度。手术医生有时需要看到更大范围或全局的三维影像，以辨别出内窥镜此刻相对于患者生理结构的精准位置和镜头朝向并做出相应调整。有时又需要看到放大三维影像(相应地显示范围缩小)以观察患者生理结构的细节。而这两种操作有时需要频繁切换。在该示例性的方案中将对三维影像的切割范围的大小能通过操作者交互来实现，满足操作者的实时的观察需求，尤其是通过提供的缩放功能来实现，突破了内窥镜视野狭小的制约，极大地方便了脊柱内窥镜手术的观察。

而且，如上所述，由于脊柱内窥镜的特殊的结构以及所采用的手术工具的特殊性，手术医生在观察内窥镜图像时更容易迷失方向。该方案不仅将实时内窥镜视野(手术工具末端在实时内窥镜视野中是可见的)与内窥镜周围的三维影像的增强现实融合，而且可以根据需要调整三维影像的显示范围或对三维影像的显示范围进行选择，能更好地观察内窥镜末端以及手术工具末端与周围三维影像(对应患者的骨性结构)的方位关系，可以很大程度上避免误操作和增加脊柱手术的可靠性。

根据一种示例，所述融合步骤还包括将所述内窥镜的图像大小与不同切割范围的三维影像相对应地缩放之后进行所述融合。

该示例性的方案使得内窥镜图像在整个融合后的图像中具有合适的占比。例如在三维影像的切割范围较小即相应地其显示比例较大时，医生可以观察此刻内窥镜视野中软组织下方的骨科结构；而三维影像的切割范围变大即相应地其显示比例缩小时，内窥镜图像随之缩小，医生此时可以观察内窥镜视野之外的周边的骨性结构，方便医生判断内窥镜的位置和朝向，进而调整操作。

根据一种示例，所述内窥镜末端的方向为所述内窥镜的相机的光轴方向，其中所述切割从所述内窥镜的相机的焦平面的位置开始，沿所述光轴方向延伸并贯穿所述三维影像的整个深度。贯穿三维影像的整个深度的切割能够更完整地呈现出内窥镜视野下及周边的脊柱的骨性结构。

根据一种示例，所述内窥镜的末端形成相对于所述内窥镜的纵向轴线倾斜的斜面，所述内窥镜的光轴方向垂直于所述斜面。

根据一个示例。在所述影像获取步骤中，将脊柱的至少一部分的术前三维影像与导航坐标系下的患者位姿进行配准。

根据一种示例，在融合步骤之前还包括畸变处理步骤，其中在所述畸变处理步骤中，能够根据操作者的输入而从如下的三种方式中进行选择：对获取的内窥镜的图像进行畸变校准，以至少部分地去除内窥镜相机的畸变效应，使得畸变校准后的内窥镜的图像与所述切割出的三维影像相匹配；或者，对切割出的三维影像根据内窥镜相机的参数进行畸变处理，使得畸变处理后的三维影像与实时获取的内窥镜的图像相匹配；或者，同时对内窥镜图像进行畸变校准以及对三维影像进行畸变处理，以使得两者的畸变程度相匹配，并且之后，与所述畸变处理步骤相应地，在融合步骤中，将畸变校准后的内窥镜的图像与所述切割出的三维影像进行融合，或将所述实时获取的内窥镜图像与畸变处理后的所述三维影像进行融合，或将畸变校准后的内窥镜的图像与畸变处理后的所述三维影像进行融合。

该示例提供给手术医生多种选择，从而手术医生能够根据其偏好灵活选择。在畸变处理时，利用内窥镜的相机畸变参数来对内窥镜的图像进行校准，以去除相机的畸变效应，产生与真实透视场景相同的视图，得到正常视野的图像，与无畸变的三维影像在视觉上更匹配，方便医生观看。也可以利用内窥镜的相机参数对切割后的三维影像进行畸变处理，使得该影像与内窥镜图像具有相同的畸变效应，与具有畸变的内窥镜实际图像在视觉上相匹配，即两者都具有畸变。这种方式对于习惯于观察带有畸变的内窥镜图像的手术医生而言更为方便。而且，也可以对既对内镜图像进行畸变校准，又对三维影像进行畸变处理，以使得两者的畸变程度相匹配。

根据一种示例，在所述融合步骤中，还能够根据操作者的输入而从如下的两种融合方式中进行选择或同时提供如下两种融合方式所获得的图像：

以切割后的三维影像置于所述实时获取内窥镜的图像下方的方式来进行所述融合；以及

通过将所述实时获取的内窥镜图像以对应于所述内窥镜末端的位置和方向的方式放置到在影像获取步骤中所获取的三维影像中来进行所述融合。

该示例提供给手术医生两种融合方式的选项，第一种融合方式有利于习惯于内窥镜视野的医生观看，第二种融合方式方便手术医生观看全局。从而手术医生能够根据其偏好灵活选择。

根据一种示例，在所述显示步骤中，将位于所述内窥镜末端后方的三维影像进行虚化处理和显示。

该示例提供给手术医生更直观的图像，以使其更好地掌握内窥镜的前进方向。

根据一种示例，所述导航方法还包括标定内窥镜的末端相对于内窥镜上的第一追踪器的位置关系的内窥镜末端标定步骤，其中所述内窥镜末端标定步骤包括通过标定工具而不通过内窥镜获取图像来进行。这减少了图像处理的工作量。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器运行时执行上述各示例中的方法中的步骤。

根据本发明的另一方面，还提供一种控制装置，其中所述控制装置包括存储器、处理器及存储在存储器上并能在处理器上运行的程序，其中在所述处理器运行所述程序时执行上述各示例中的方法。

根据本发明的另一方面，还提供了一种用于脊柱内窥镜手术的导航的电子设备，该电子设备包括显示装置和处理器，所述处理器具有数据接口，

其中所述数据接口能够连接到内窥镜，使得所述处理器能够实时获取内窥镜的图像并实时获取内窥镜末端的位置和方向；并且，

其中所述数据接口还使得所述处理器能够获取脊柱的至少一部分的三维影像；并且其中在所述处理器运行时在所述显示装置上显示融合后的图像，所述融合后的图像是将对应于所述内窥镜末端的位置和方向的三维影像与所述图像进行融合所获得的图像。

根据本发明的另一方面，还提供了一种用于脊柱内窥镜手术的导航系统，该导航系统包括追踪装置、显示装置和处理器；其中追踪装置用于追踪设置在内窥镜上的第一追踪器以及设置在患者目标部位处的第二追踪器；在所述处理器运行时执行上述各示例中的方法中的步骤，并通过所述显示装置实现所述导航方法中的显示。

根据本发明的再一方面，还提供一种用于脊柱内窥镜手术的导航系统，所述导航系统包括追踪装置和各示例中所述的电子设备。

根据一种示例，所述导航系统还包括所述内窥镜、所述第一追踪器和所述第二追踪器中的一者或多者。

根据一种示例，所述导航系统还包括用于标定所述内窥镜的末端相对于所述第一追踪器的位置的标定工具，其中所述标定工具上形成有多个标定孔，所述多个标定孔具有不同倾斜角度的底面和/或不同孔径，以分别标定具有不同的末端斜面倾角和/或筒径的内窥镜。

附图说明

下面参照附图经由示例性实施例对本发明进行详细描述。

图1示出根据本发明的一种示例性的实施例的用于脊柱内窥镜手术的导航方法的流程图。

图2示出根据本发明的一种示例性的实施例的用于脊柱内窥镜手术的导航系统的原理示意图。

图3a-3d示出根据操作者的缩放要求对三维影像切割以及将切割出的三维影像与图像融合的原理示意图，其中图3a示出以较小范围切割三维影像的原理示意图，图3b示出根据图3a切割出的三维影像与内窥镜图像融合后的图像，图3c示出以较大范围切割三维影像的原理示意图，图3d示出根据图3c切割出的三维影像与内窥镜图像融合后的图像。

图4a和4b示意性地示出两种融合方式所获得的图像。

图5示出了一种示例性的显示装置的示意图。

应说明的是，附图仅是示意性的。它们仅示出为了阐明本发明而需要的那些部分或步骤，而其它部分或步骤可能被省略或仅仅简单提及。除了附图中所示出的部件或步骤外，本发明还可以包括其它部件或步骤。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。下述参照附图对本发明实施方式的说明旨在对本发明的总体构思进行解释，而不应当理解为对本发明的限制。

以下作为示例，描述本发明的用于脊柱内窥镜手术的导航方法的具体步骤以及用于脊柱内窥镜手术的导航系统。在下面的详细描述中，以极为具体和详细的方式阐述了许多具体的细节、步骤以提供对实施例的全面理解。然而应当理解，一个或多个其他实施例在没有这些具体细节、步骤的情况下也可以被实施。

图1示出了根据本发明的一种示例的脊柱内窥镜手术的导航方法的流程图。其中，该方法包括获取脊柱的至少一部分的三维影像的影像获取步骤、实时获取内窥镜图像的图像获取步骤、实时获取脊柱内窥镜末端的方向和位置的方位获取步骤、根据内窥镜末端的位置和方向对三维影像进行切割的三维影像切割步骤、将切割后的三维影像和图像进行融合的融合步骤以及显示融合后的图像的显示步骤。应当理解的是，虽然在图1的流程图、权利要求书以及本文的描述中依次列出和描述了上述各步骤，但不代表这些步骤中的各个步骤之间具有特定的先后关系。例如影像获取步骤可以在图像获取步骤和/或方位获取步骤之前或之后或同时进行。图像获取步骤也可以在方位获取步骤之前或之后或同时进行。

如图1所示，在本发明提供的导航方法中，获取三维影像并实时获取内窥镜图像，并利用导航系统实时获取内窥镜末端的位置和方向，之后据此将三维影像以在位置和方向上与内窥镜末端对应的方式与内窥镜的实时获取的真实图像实现融合并显示。该实时的真实图像与全局的三维影像的增强现实的结合，对于脊柱内窥镜手术的导航而言尤其有益。如背景技术中所描述的，由于脊柱内窥镜的特殊的结构、所采用的手术工具的特殊性，手术医生在观察内窥镜图像时更容易迷失方向，更难把握手术工具的末端的位置和方位。本发明在脊柱内窥镜手术的场景中实现三维影像与实时内窥镜视野(手术工具末端在实时内窥镜视野中是可见的)的增强现实手术方案，融合导航系统，在术中为手术医生提供更直观的有效信息，可以很大程度上增加医生手术的可靠性。

在具体的实施例中，用于脊柱内窥镜手术的导航系统如图2所示包括追踪装置1、控制装置2和显示装置3。该追踪装置1可以为光学追踪装置(例如NDI导航仪)，相应地可在内窥镜上设置第一光学追踪器4并在患者目标部位处设置第二光学追踪器5。本领域技术人员可以理解，追踪装置1也可以为其他类型，例如电磁跟踪装置。作为一种具体的示例，控制装置2可以为通用计算机、专用计算机、嵌入式处理机，也可以为例如单片机、芯片等其他任何适当的可编程数据处理设备。该控制装置2可以包括处理器以及用于存储程序的存储器，然而也可以只包括处理器，在这种情况下处理器可以附接存储有程序的存储器。换言之，控制装置至少包括处理器。控制装置2(或处理器)和显示装置3可以集成为一体，也可以分开设置。该控制装置或处理器具有数据接口，该数据接口可包括能连接到内窥镜的数据接口，使得所述控制装置/处理器能够实时获取内窥镜的图像并实时获取内窥镜末端的位置和方向，数据接口也可包括连接到例如CT设备的接口，以所述处理器能够经由该数据接口获取脊柱的至少一部分的三维影像。作为一种示例，内窥镜、第一追踪器和第二追踪器中的一者或多者也可视为本发明的导航系统的一部分。

在图2中示意性地示出了内窥镜8。该内窥镜例如可以为椎间孔镜。通常，内窥镜的末端进入到患者的组织结构、骨性结构内部以对其进行观察和/或操作，内窥镜的近端(接近操作者的一端、与末端相反的一端)位于患者体外以供操作者操控。在导航系统中，通常在内窥镜的位于患者体外的近端处设置适于被追踪装置1追踪到的第一追踪器，即，导航系统能够实时获知内窥镜8上的第一追踪器4在导航坐标系中的方位。在本发明中，内窥镜的相机设置在内窥镜的伸入筒的末端。通过标定内窥镜伸入筒的末端相对于内窥镜上的第一追踪器4的相对位置关系，能够进而获知内窥镜的相机在导航坐标系下的方位。

具体地，在进行脊柱内窥镜手术及其导航之前，可以先标定内窥镜的相机相对于第一追踪器的相对位置关系。优选地，在本实施例中，该标定通过标定工具(图中未示出)而不需要借助内窥镜获取图像来进行。这减少了图像处理的工作量。本发明的导航系统可选地包括该标定工具。标定工具上形成有多个标定孔，这些标定孔具有不同倾斜角度的底面和/或不同孔径，以分别标定具有不同的末端斜面倾角和/或筒径的内窥镜。具体地，标定工具还包括固定在其支架上的第三追踪器，导航系统能够获知该第三追踪器在导航坐标系下的位置。并且，根据标定工具的设计尺寸可已知每个标定孔相对于第三追踪器的位置关系，进而这些标定孔在导航坐标系下的位置是已知的。将待标定的某一内窥镜的伸入筒的末端插入到与之相匹配的标定孔中，伸入筒的末端的倾斜面与标定孔的倾斜底面贴合，实现该内窥镜的定位。由于导航系统同时还能够获知内窥镜上的第一追踪器在导航坐标系下的位置，因此能够获知内窥镜伸入筒的末端相对于内窥镜上的第一追踪器的相对位置关系，完成该标定过程。

在术中通过追踪装置1实时获取内窥镜上第一追踪器的位置，即可间接地实时获取内窥镜末端的位置和方向，即内窥镜相机的位置和方向。根据本发明的导航方法中的上述方位获取步骤即通过这种方式进行。

在本发明的该具体的实施例中，在进行脊柱内窥镜手术及其导航操作之前，还可以标定内窥镜的相机参数。示例性地，相机参数的标定可以使用标定板，例如使用内窥镜在不同的方位角度对标定板进行拍摄，保存图像以及记录标定板规格。进而标定内窥镜相机的相机内参、畸变矩阵、和/或旋转和位移向量。这示例性地可通过OpenCV(一种跨平台的电脑视觉库，用来做相机相关的图像处理工作)提供的标定函数calibrateCamera来实现。在后文中将介绍的畸变校准过程中将使用该处所标定的内窥镜的相机参数。

根据本发明的导航方法，在三维影像获取步骤中，获取脊柱(至少是其一部分)的术前三维影像，例如术前CT影像，并将该术前三维影像配准到术中的导航坐标系下。也可以使用在术中例如通过CBCT所获取的三维影像。

之后，如图3a-3d所示，根据内窥镜末端的位置和方向对所获取的三维影像进行切割，以将内窥镜的实时图像与其周围的区域的三维影像进行融合，从而进行根据本发明的导航方法中的上述三维影像切割步骤和融合步骤。在图3a、3c示出的示例中，内窥镜的末端、即伸入筒的末端形成相对于内窥镜的纵向轴线倾斜的斜面，内窥镜相机的光轴方向6垂直于该斜面，与伸入筒的轴向方向具有一定夹角。对三维影像的切割的方向和位置根据该内窥镜末端的位置、光轴方向而变化，如图3a、3c所示，三维图像的观察视角的方向(图3a和3c中的箭头的方向)与光轴是同轴的，即与内窥镜的观察视角是同轴的，换言之，在融合后的图像中，三维影像是从内窥镜的观察视角来呈现的。在图3a、3c中，切割的圆柱体的端表面垂直于光轴方向6。

优选地，操作者例如手术医生可以根据需要选择待融合的三维影像的范围的大小，换言之，切割出的三维影像的范围能够根据操作者的实时输入而改变。例如，可以在显示装置上的显示界面上设置缩放图标9(图3b、3d和图5中示意性地示出了该图标)。操作者可以根据希望观察到的三维影像的范围，通过输入装置来操作该缩放图标。输入装置包括但不限于鼠标和键盘、触摸屏等。当操作者希望观看到内窥镜周围较大范围内的脊柱结构的三维影像时(相应地意味着显示比例变小，因此将缩放图标向缩小的方向操作)，则如图3c中所示，切割出的三维影像体(在图示的实施例中优选地为圆柱体)的直径增大。融合得到的图像如图3d所示，可以看到更多的脊柱结构的三维影像。当操作者希望放大以观察脊柱结构的细节时(相应地意味着显示比例变大，因此将缩放图标向放大的方向操作)，则如图3a中所示，切割出的圆柱体的直径变小。融合得到的图像如图3b所示，能够更清楚地看到脊柱三维结构的细节。该方案方便操作者根据需要对观察到的三维影像自由缩放。这对于脊柱手术尤其有益。由于手术医生有时需要看到更大范围或全局的三维影像，方便医生判断内窥镜的位置和朝向，进而调整操作。而在具体操作时又需要观察此刻内窥镜视野中软组织下方的三维影像的细节。在本发明中通过根据操作者的实时输入而改变三维影像的切割范围所提供的缩放功能极大地方便了脊柱内窥镜手术的操作。本领域技术人员可以理解，用来确定三维影像的切割范围的操作者的输入的方式不限于缩放图标的方式，也可以通过其他方式来进行，例如可提供给操作者若干种不同范围的选择，或通过操作者输入数值来确定切割范围。这例如可通过显示界面上显示的输入构件来实现，输入构件例如可为上述缩放图标、供操作者选择不同的三维影像显示范围的选项卡，或供操作者输入数值的对话框等。

优选地，对三维影像的切割贯穿三维影像的整个深度，这尤其适用于脊柱应用场景，因为所获得的脊柱的三维影像只涉及骨性结构，而没有其他软组织的干扰。贯穿三维影像的整个深度的切割能够更完整地呈现出相关脊柱的结构。在该具体的实施例中，如图3a、3c所示，所述的内窥镜末端的方向为内窥镜的相机的光轴方向6，对三维影像的切割从内窥镜的相机的焦平面7的位置开始，以d为直径，沿该光轴方向6延伸并贯穿所述三维影像的整个深度切割出圆柱体。

优选地，在融合步骤中，将内窥镜的图像大小随三维影像一起缩放，之后进行融合。对比图3a、3b和3c、3d，在如图3c所示地切割的范围相对于图3a中较大时，得到的融合及显示的三维影像的范围如图3d所示相比于图3b中范围较大，对应地，如图3d所示的三维影像的显示比例较小，相应地将内窥镜的图像也随之变小，以使得内窥镜图像在整个融合后的图像中具有合适的占比(参见图3d中示出的对应的融合图像)。

由于内窥镜的图像在内窥镜相机视野中具有畸变效应，为了更好地将内窥镜的图像与三维影像相匹配并方便操作者观看，可对内窥镜的图像进行畸变校准，或对三维影像进行畸变处理以使其具有与内窥镜图像的畸变一致的畸变，或既对内窥镜图像进行畸变校准又对三维影像进行畸变处理以使得两者的畸变程度相匹配。在本发明的该具体实施例的畸变校准步骤中，能够根据操作者的输入而选择上述三种方式中的任何一种，从而手术医生能够根据其偏好灵活选择。在该畸变处理步骤中，利用上文中所标定出的内窥镜的相机参数来对内窥镜的图像进行校准，以去除相机的畸变效应。内窥镜图像的获取例如可通过高清图像采集卡来进行，其将内窥镜影像采集转为视频流，之后可通过逐帧的畸变校准得到校准后的内窥镜图像。也可以根据手术医生的选择，不对内窥镜的图像进行校准，而是利用上文中所标定出的内窥镜的相机参数对切割后的三维影像进行畸变处理，使得该影像与内窥镜图像具有相同的畸变效应，这种方式对于习惯于观察带有畸变的内窥镜图像的手术医生而言更为方便。可替代地，也可以选择另一种方式，即同时对内窥镜图像进行畸变校准以及对三维影像进行畸变处理，以使得两者的畸变程度相匹配。

本发明的导航方法的具体实施例还为手术医生提供了两种图像融合方式的选择。具体地，在融合步骤中，本发明的方法还能够根据操作者的输入而从如下的两种融合方式中进行选择：第一种融合方式即以切割后的三维影像置于实时获取的内窥镜图像下方的方式来进行融合，图4b示出了以这种方式融合后的一种图像的示例。第二种融合方式即通过将实时获取的内窥镜图像以对应于内窥镜末端的位置和方向的方式放置到在影像获取步骤中所获取的三维影像中来进行融合，图4a示出了以这种方式融合后的一种图像的示例。第一种融合方式也称内窥镜视野融合，其维持内窥镜原生视野并且同时在下层叠加3D影像视野，保持医生的内窥镜使用习惯的同时提供宏观视野。第二种融合方式也称为3D视野融合，其根据导航系统获取的内窥镜末端的位置和视角方向(即内窥镜相机的光轴的方向)，在三维影像空间中的内窥镜末端位置处以内窥镜的视角方向放置内窥镜实时图像。第二种融合方式方便手术医生观看全局。本领域技术人员可以理解，也可以在显示装置上同时提供这两种融合方式所获得的图像。

在显示步骤中，还可以根据手术医生的选择而将位于内窥镜末端后方(即相对于内窥镜的末端位于更靠近近侧)的三维影像进行虚化处理和显示，该方式提供给手术医生更直观的图像，以使其更好地掌握内窥镜的前进方向。

本发明还提供一种电子设备，该电子设备包括显示装置3和处理器，在如图2所示的具体的实施例中，该处理器包括在控制装置3即图示的主机中。本领域技术人员可以理解，处理器和显示装置可以为一体或分体的。控制装置3或处理器具有数据接口。控制装置通过该数据接口电连接到内窥镜，以实时获取内窥镜的图像并实时获取内窥镜末端的位置和方向，还可包括例如与CT设备(例如CBCT，但本领域技术人员可以理解，不限于CT设备，例如也可以连接到存储有三维影像数据的存储装置)连接的数据接口，以通过该数据接口获取脊柱的至少一部分的三维影像。在所述处理器运行时，执行计算机程序(该计算机程序可以存储在控制装置所包括的存储器上，也可以存储在其他存储器上)，以在显示装置3上显示融合后的图像(图5中左侧图像)，该融合后的图像是将对应于所述内窥镜末端的位置和方向的三维影像与所述图像进行融合所获得的图像。该被融合的三维影像可以是如上文所描述的方法中根据内窥镜末端的位置和方向对三维影像进行切割(优选地根据操作者对缩放图标的实时操作而对三维影像的切割范围进行扩大或缩小)所获得的影像。

该显示界面上可具有输入构件，其中在所述融合后的图像中所显示的三维影像的范围依据操作者通过所述输入构件的输入来确定。该输入构件例如为缩放图标，并且在所述融合后的图像中所显示的三维影像的范围响应于操作者对所述缩放图标的操作而实时地扩大或缩小。示例性地，操作者的用于确定所显示的三维影像的范围的输入例如还可通过在显示装置的显示界面上的供操作者选择不同的三维影像显示范围的构件(例如选项卡)来实现。也可通过其他构件，例如供操作者输入例如关于圆柱体直径的数值的对话框等来实现。

作为一种示例，在显示装置3的显示界面上，还可显示三维导航视图，例如包括在拟合的二维透视或矢状面、冠状面、轴状面、沿工具的轴线的切面等各种三维切面上显示内窥镜和其视场角相对于患者生理结构的空间位置关系的视图。为此，在三维影像获取步骤中，获取术前CT影像或者术中CBCT三维影像用以导航。在图5中示例性地示出了这些视图中的一些。该显示界面中的各视图均随内窥镜末端的位置和方向的变化而实时更新。依此，操作者能够得到更全面的导航信息。本领域技术人员可以理解，在显示界面上能够显示的视图不限于该处所描述的视图以及附图5所示例性地示出的视图，可根据需要而显示其他切面、方位的视图或任何合适的视图。

示例性地，在显示装置的显示界面上还设置有供操作者操作以选择进行所述畸变校准或所述畸变处理的构件(图中未使出)。该构件可以为单选框、对话框等多种形式。从而提供给操作者选择对内窥镜的图像进行畸变校准或是利用上文中所标定出的内窥镜的相机参数对切割后的三维影像进行畸变处理或同时对内窥镜图像进行畸变校准以及对三维影像进行畸变处理，以使得两者的畸变程度相匹配。在显示装置的显示界面上还可设置供操作者操作以选择图像融合方式的构件(图中未使出)。该构件可以为单选框、复选框、对话框等多种形式。从而使得操作者能够灵活选择上文所述的第一种图像融合方式或第二种图像融合方式，或同时显示两种融合方式分别获得的图像。本领域技术人员可以理解，本文中所描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现所述方法。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明所述的流程或功能。该处计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。

如上所述，在该具体实施例中，导航系统包括控制装置2和显示装置3。控制装置2包括存储器、处理器及存储在存储器上并能在处理器上运行的程序，其中在处理器运行程序时执行上文所描述的导航方法，并通过显示装置3执行导航方法中的显示步骤。本领域技术人员可以理解，本发明的控制装置的存储器可以包括随机存取存储器(Random AccessMemory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个与处理器分开的存储装置。

控制装置的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

虽然本发明的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本发明总体构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。

Claims (25)

1.一种用于脊柱内窥镜手术的导航方法，其特征在于，所述方法包括如下步骤：

三维影像获取步骤：获取脊柱的至少一部分的三维影像；

图像获取步骤：实时获取内窥镜的图像；

方位获取步骤：实时获取内窥镜末端的位置和方向；

三维影像切割步骤：根据所述内窥镜末端的位置和方向对所述三维影像进行切割；

融合步骤：将切割后的三维影像和所述图像进行融合；以及

显示步骤：显示融合后的图像。

2.根据权利要求1所述的方法，其特征在于，在所述三维影像切割步骤中，对三维影像切割出圆柱体形状，其中所述圆柱体的直径根据操作者的输入而确定，从而确定对所述三维影像进行切割的范围，以得到操作者需要显示的范围的切割后的三维影像。

3.根据权利要求2所述的方法，其特征在于，所述融合步骤还包括将所述内窥镜的图像的大小与不同切割范围的所述三维影像相对应地缩放之后进行所述融合。

4.根据权利要求1所述的方法，其特征在于，内窥镜末端的方向为所述内窥镜的相机的光轴方向，其中所述切割从所述内窥镜的相机的焦平面的位置开始，沿所述光轴方向延伸并贯穿所述三维影像的整个深度。

5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述三维影像获取步骤中，将脊柱的至少一部分的术前三维影像与导航坐标系下的患者位姿进行配准。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在融合步骤之前还包括畸变处理步骤，其中，在所述畸变处理步骤中，能够根据操作者的输入而从如下的三种方式中进行选择：

对获取的内窥镜的图像进行畸变校准，以至少部分地去除内窥镜相机的畸变效应，使得畸变校准后的内窥镜的图像与所述切割出的三维影像相匹配；或者，

对切割出的三维影像根据内窥镜相机的参数进行畸变处理，使得畸变处理后的三维影像与实时获取的内窥镜的图像相匹配；或者

同时对内窥镜图像进行畸变校准以及对三维影像进行畸变处理，以使得两者的畸变程度相匹配，

并且，与所述畸变处理步骤相应地，在融合步骤中：

将畸变校准后的内窥镜的图像与所述切割出的三维影像进行融合，或，

将所述实时获取的内窥镜图像与畸变处理后的所述三维影像进行融合，或，将畸变校准后的内窥镜的图像与畸变处理后的所述三维影像进行融合。

7.根据权利要求1-6中任一项所述的方法，其特征在于，在所述融合步骤中，还能够根据操作者的输入而从如下的两种融合方式中进行选择或同时提供如下两种融合方式所获得的图像：

以切割后的三维影像置于所述实时获取内窥镜的图像下方的方式来进行所述融合；以及

通过将所述实时获取的内窥镜图像以对应于所述内窥镜末端的位置和方向的方式放置到在影像获取步骤中所获取的三维影像中来进行所述融合。

8.根据权利要求1-7中任一项所述的方法，其特征在于，在所述显示步骤中，将位于所述内窥镜末端后方的三维影像进行虚化处理并显示。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括标定内窥镜的末端相对于内窥镜上的第一追踪器的位置关系的内窥镜末端标定步骤，其中所述内窥镜末端标定步骤包括通过标定工具而不通过内窥镜获取图像来进行。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器运行时执行权利要求1-9中任一项所述的方法的步骤。

11.一种控制装置，其中所述控制装置包括存储器、处理器及存储在存储器上并能在处理器上运行的程序，其中在所述处理器运行所述程序时执行权利要求1-9中任一项所述的方法的步骤。

12.一种用于脊柱内窥镜手术的导航的电子设备，其特征在于，所述电子设备包括显示装置(3)和处理器，所述处理器具有数据接口，

其中所述数据接口能够连接到内窥镜，使得所述处理器能够实时获取内窥镜的图像并实时获取内窥镜末端的位置和方向；并且，

其中所述数据接口还使得所述处理器能够获取脊柱的至少一部分的三维影像；并且，

其中在所述处理器运行时在所述显示装置(3)上显示融合后的图像，所述融合后的图像是将对应于所述内窥镜末端的位置和方向的三维影像与所述实时获取的内窥镜的图像进行融合所获得的图像。

13.根据权利要求12所述的电子设备，其特征在于，在所述显示装置(3)的显示界面上具有输入构件，其中在所述融合后的图像中所显示的三维影像的范围依据操作者通过所述输入构件的输入来确定。

14.根据权利要求13所述的电子设备，其特征在于，所述输入构件包括用于三维影像的范围的缩放图标，或供操作者选择不同的三维影像显示范围的构件，或供操作者输入关于三维影像显示范围的数值的构件。

15.根据权利要求13或14所述的电子设备，其特征在于，其中在所述显示装置(3)上所显示的融合后的图像中的内窥镜的图像的大小与所显示的三维影像的范围相对应地缩放。

16.根据权利要求12-15中任一项所述的电子设备，其特征在于，其中在所述显示装置(3)上所显示的融合后的图像中的内窥镜的图像是畸变校准后的图像，其中所述畸变校准至少部分地去除内窥镜相机的畸变效应，使得畸变校准后的内窥镜的图像与所述三维影像相匹配；或者，

在所述显示装置(3)上所显示的融合后的图像中的三维影像是进行畸变处理后的三维影像，其中所述畸变处理根据内窥镜相机的参数来进行，使得畸变处理后的三维影像与实时获取的内窥镜的图像相匹配；或者，

在所述显示装置(3)上所显示的融合后的图像中的内窥镜的图像是畸变校准后的图像并且三维影像是进行畸变处理后的三维影像并且两者的畸变程度相匹配。

17.根据权利要求16所述的电子设备，其特征在于，在所述显示装置(3)上还设置有供操作者操作以选择进行所述畸变校准或所述畸变处理或两者同时进行的构件。

18.根据权利要求12-17中任一项所述的电子设备，其特征在于，在所述显示装置(3)上显示的融合后的图像中，位于所述内窥镜末端后方的三维影像被虚化处理。

19.根据权利要求12-18中任一项所述的电子设备，其特征在于，在所述显示装置的显示界面上，还显示基于所获取的三维影像而获得的在拟合的二维透视切面上的视图、矢状面的切面视图、冠状面的切面视图、轴状面的切面视图中的一者或多者，在这些视图中均显示内窥镜和其视场角相对于患者生理结构的空间位置关系。

20.一种用于脊柱内窥镜手术的导航系统，其特征在于，所述导航系统包括：

追踪装置(1)，所述追踪装置(1)用于追踪设置在内窥镜上的第一追踪器(4)以及设置在患者目标部位处的第二追踪器(5)；

显示装置(3)和处理器，所述处理器连接到所述追踪装置(1)和所述内窥镜，其中在所述处理器运行时执行权利要求1-9中任一项所述的方法，并通过所述显示装置(3)实现所述方法中的显示。

21.根据权利要求20所述的导航系统，其特征在于，所述导航系统还包括所述内窥镜、所述第一追踪器和所述第二追踪器中的一者或多者。

22.根据权利要求20或21所述的导航系统，其特征在于，还包括用于标定所述内窥镜的末端相对于所述第一追踪器的位置的标定工具，其中所述标定工具上形成有多个标定孔，所述多个标定孔具有不同倾斜角度的底面和/或不同孔径，以分别标定具有不同的末端斜面倾角和/或筒径的内窥镜。

23.一种用于脊柱内窥镜手术的导航系统，其特征在于，所述导航系统包括：

追踪装置(1)，所述追踪装置(1)用于追踪设置在内窥镜上的第一追踪器(4)以及设置在患者目标部位处的第二追踪器(5)；以及

根据权利要求12-19中任一项所述的电子设备，其中所述电子设备中的处理器连接到所述追踪装置(1)。

24.根据权利要求23所述的导航系统，其特征在于，所述导航系统还包括所述内窥镜、所述第一追踪器和所述第二追踪器中的一者或多者。

25.根据权利要求23或24所述的导航系统，其特征在于，还包括用于标定所述内窥镜的末端相对于所述第一追踪器的位置的标定工具，其中所述标定工具上形成有多个标定孔，所述多个标定孔具有不同倾斜角度的底面和/或不同孔径，以分别标定具有不同的末端斜面倾角和/或筒径的内窥镜。