CN107456278B - 一种内窥镜手术导航方法和系统 - Google Patents

Abstract

本发明提供一种内窥镜手术导航方法和系统，包括：读取多模态医学影像数据；以多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；对图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；使用快速配准方法完成CT导航影像与病人位姿的配准；通过凸包优化的表面点云快速校准；跟踪内窥镜和手术工具，并获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；依据得到的所述位姿关系，在虚拟场景中获取内窥镜的虚拟场景视图；对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现场景分层渲染。本发明提升了影像渲染速度，提高了导航精度。

Description

一种内窥镜手术导航方法和系统

技术领域

本发明涉及手术导航领域，具体地说，涉及一种内窥镜手术导航方法和系统。

背景技术

颅底肿瘤由于其发生位置较深，临近结构复杂难辨，诊疗过程涉及神经外科、耳鼻喉科和头颈外科等多学科技术，完整的肿瘤切除较为困难。经过百余年的发展，颅底肿瘤诊疗由裸眼开颅手术发展到内窥镜微创手术阶段。内镜微创技术术式简洁、术后恢复快，通过内窥镜图像引导避免了手术入路对于面部皮肤结构的破坏，降低了各种并发症发生的概率。

目前，常规鼻及鼻窦恶性肿瘤手术以及颅底肿瘤手术采用单纯鼻内窥镜视频导航，基于医学影像引导的手术导航系统目前大多能够提供较为准确的三视图信息，同时显示内窥镜图像或者能够显示当前位姿手术工具与人体的相对位姿，但是依然存在几个方面的缺陷：

1、单模态医学影像的组织结构信息较为单一，图像精度和成像质量对于手术导航影响较大，用于手术导航时效果不理想；

2、手术导航中对于手术器械与人体之间的相对位置与距离表现并不精确，无法达到精准引导的目的；

3、采用单一渲染方式的虚拟场景重建耗时长，显示解剖结构距离感不强，容易引起判断错误，结构不清晰，计算量大引起导航过程卡顿，均极大限制了导航系统的作用；

4、基于人工标志点的实时跟踪和配准方法的配准精度除受到图像质量的影响，还与医生配准的操作方法有关，人为增加了误差来源。

因此，迫切需要一种新型的内窥镜手术导航方案。

发明内容

为了克服上述技术问题，本发明提供了一种内窥镜手术导航方法和系统，提升了影像渲染速度，提高了导航精度。

为了实现上述目的，本发明提供了一种内窥镜手术导航方法，包括：

读取多模态医学影像数据；

以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；

对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；

以所述多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应所述参考点的标志点，使用ICP快速配准计算方法完成CT导航影像与病人位姿的配准；

完成病人位姿的配准后，跟踪所述内窥镜和手术工具，并获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；

依据得到的所述位姿关系，在所述虚拟场景中获取内窥镜的虚拟场景视图；

对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现场景分层渲染。

进一步地，所述对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景，具体包括：

对所述图像全仿射匹配后的影像数据中的关键结构进行分割和标注；

对分割和标注后的影像数据进行快速渲染；

对所述图像全仿射匹配后的影像数据进行基于移动立方体Marching Cube的体渲染；

针对所述快速渲染和所述体渲染的影像数据，采用基于CUDA加速方式进行重建场景混合渲染并得到虚拟场景。

进一步地，在跟踪手术工具并获取所述手术工具与所述病人身体之间的位姿关系前，还包括：

当病人在手术过程中出现移动时，获取病人面部的实时点云数据；

基于凸包优化匹配的方法快速配准所述实时点云数据，矫正所述导航影像与所述病人位姿的配准。

进一步地，所述以所述多模态医学影像数据中的任意一种医学影像数据为基准，以其他医学影像数据作为待配准图像，进行图像全仿射匹配，具体包括：

在所述待配准图像中选取标记点；

在所述基准图像中以预设定的顺序选取参考点，建立所述待配准图像的标记点与所述基准图像的参考点之间的对应集；

根据所述对应集，计算得到所述基准图像和所述待配准图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。

本发明还提供了一种内窥镜手术导航系统，包括：

计算机、双目摄像机、内窥镜和手术工具；

所述计算机用于读取多模态医学影像数据；以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；以所述多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应所述参考点的标志点，使用ICP快速配准计算方法完成所述CT导航影像与病人位姿的配准；

所述双目摄像机用于跟踪所述内窥镜和手术工具，并获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；依据得到的所述位姿关系，在所述虚拟场景中获取内窥镜的虚拟场景视图；

所述计算机还用于针对所述双目摄像机定位内窥镜，进而获取的所述内窥镜的虚拟场景视图，对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现分层渲染。

进一步地，所述计算机对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景，具体包括：

对所述图像全仿射匹配后的影像数据中的关键结构进行分割和标注；

对分割和标注后的影像数据进行快速渲染；

对所述图像全仿射匹配后的影像数据进行基于移动立方体Marching Cube的体渲染；

针对所述快速渲染和所述体渲染的影像数据，采用基于CUDA加速方式进行重建场景混合渲染并得到虚拟场景。

进一步地，所述系统还包括：

深度相机，用于当病人在手术过程中出现移动时，获取病人面部的实时点云数据；

所述计算机还用于基于凸包优化匹配的方法快速配准所述深度相机获取的所述实时点云数据，矫正所述导航影像与所述病人位姿的配准。

进一步地，所述计算机以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配，具体包括：

在所述待配准图像中选取标记点；

在所述基准图像中以预设定的顺序选取参考点，建立所述待配准图像的标记点与所述基准图像的参考点之间的对应集；

根据所述对应集，计算得到所述基准图像和所述待配准图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。

本发明实施例所述的内窥镜手术导航方法系统，首先读取多模态医学影像数据，并以多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配，然后对图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；以多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应参考点的标志点，使用ICP快速配准计算方法完成内窥镜采集的导航影像与病人位姿的配准；完成病人位姿的配准后，跟踪内窥镜和手术工具，并获取内窥镜和手术工具与病人身体之间的位姿关系，并依据位姿关系，在虚拟场景中获取内窥镜的虚拟场景视图；最后针对内窥镜的虚拟场景视图，对视图边缘进行高斯函数衰减，实现分层渲染。该方案不但提升渲染速度，并且通过对病人位姿的配准提高了导航精度，降低了误差，改进了内窥镜微创手术的安全性。

附图说明

图1为本发明实施例提供的内窥镜手术导航方法的流程图；

图2为本发明实施例提供的重建场景混合渲染的流程图；

图3为本发明实施例提供的基于表面点云快速配准的内窥镜手术导航方法的流程图；

图4为本发明实施例的内窥镜手术导航系统的应用场景示意图和导航示意图；

图5为本发明实施例的内窥镜手术导航系统的CPU与GPU处理模块图。

具体实施方式

下面参考附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其他附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件或处理的表示和描述。

下面结合附图对本发明做进一步描述。

本发明实施例提供了一种内窥镜手术导航方法，如图1所示，该方法包括：

101、读取多模态医学影像数据。

多模态医学影像指成像原理不同的影像数据，包括核磁共振(Nuclear magneticresonance，MRI)影像数据、CT扫描影像数据、X光影像数据、超声影像数据等。

102、以多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配。

图像的全仿射匹配具体包括：

(1)、在待配准图像中选取标记点。

具体的，可以选取MRI或CT影像数据做带配准图像。

(2)、在基准图像中以预设定的顺序选取参考点，建立待配准图像的标记点与基准图像的参考点之间的对应集。

(3)、根据对应集，计算得到基准图像和所述待配准图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。

具体的，采用基于ICP配准算法求取两幅图像之间的旋转和转换矩阵，使用Affine变换方法将两幅待配准图像进行配准变换，实现图像的全仿射匹配。

103、对图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景。

重建场景混合渲染的具体过程如图2所示，包括：

201、对图像全仿射匹配后的影像数据中的关键结构进行分割和标注。

该关键结构包括手术中比较重要的人体组织结构，如血管、神经、肿瘤等。

采用Otsu阈值法对CT和MRI中的显影值较高、目标组织信息较明显、有明显解剖结构的位置(例如骨骼)进行直接提取，多点分割的三维结构；而对目标组织信息不明显的解剖结构则进行初始分割，之后使用快速行进方法对初始分割区域进行二次分割，以获得更加准确的分割结果。该步骤得到的分割数据通过颜色映射，衰减加权的渲染为最终的融合显示提速和距离感知准确性提供保证。

202、对分割和标注后的影像数据进行快速渲染。

快速完成精确结构的重建渲染为虚拟场景渲染提供高速方法。

203、对图像全仿射匹配后的影像数据进行基于移动立方体(Marching Cube)的体渲染。

通过该步骤，可以表现出颅底结构前后遮挡关系。

204、针对快速渲染和体渲染的影像数据，采用基于CUDA(Compute UnifiedDevice Architecture)加速方式进行重建场景混合渲染并得到虚拟场景。

基于CUDA加速的混合渲染场景重建方式可以大大提高渲染效率，降低计算量，缩短重建时间。

104、以多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应参考点的标志点，使用ICP快速配准计算方法完成CT导航影像与病人位姿的配准。

105、跟踪内窥镜和手术工具，并获取内窥镜和手术工具与病人身体之间的位姿关系。

在完成病人位姿的配准后，根据该配准计算得到内窥镜和手术工具与病人身体之间的位姿关系。

106、依据得到的位姿关系，在虚拟场景中获取内窥镜的虚拟场景视图。

107、结合内窥镜的虚拟场景视图，对内窥镜实时图像边缘进行高斯函数衰减，实现分层渲染。

通过107，针对任意视角下的虚拟视角可以获得距离感更加真实的渲染，在增强场景中完成人体重建的同时将经过高斯边缘衰减(GED)处理的真实内窥镜图像融合，增强显示当前位姿状态下的解剖结构信息，同时能够针对性突出关键结构(血管、肿瘤等)的路径与走势，克服常见系统距离感知上的不足。

本发明实施例提供的内窥镜手术导航方法，具有以下优点：

a、采用基于区域生长和快速行进方法多种分割方法结合，能够克服医学图像质量和多模态影像中同一组织结构成像性质不同的情况，对于关键结构(血管、神经、肿瘤等)的分割更精确，能够更为快速的完成术前分割；

b、采用基于面绘制和移动立方体算法体渲染结合的混合渲染方式，能够在降低计算复杂度，加速渲染速度，显示效果提供更加准确的深度感知，为医生提供更加准确的辅助诊疗能力；

c、采用基于Affine变换的配准方法完成多模态影像半自动配准，结合多模态影像下同一组织成像性质不同，显示组织结构不同的特点，通过全仿射变换实现图像的不变性匹配，为同时利用多种模态影像的大量解剖结构信息提供了可能；

d、采用感兴趣区域分层渲染方式对观察区域实现增强现实引导，在显示和渲染区域上采用了移动立方体位置随内窥镜位姿变化而变化的方式，结合CUDA加速针对该区域同时对内窥镜图像和虚拟场景进行不同的渲染操作，提高渲染速度，在距离感知和场景沉浸感上均有提升；

e、采用高斯边缘衰减算法对内窥镜图像进行实时处理，实现内窥镜图像与虚拟场景融合的无缝过渡，在视觉上达到平滑的过渡，能够将内窥镜图像中的肉眼可见结构与重建结构良好的匹配与过渡，明显提升了手术导航中实时图像的提示效果；

f、基于深度相机的面形数据到三维体数据的配准方式，能够快速完成术中的病人位姿跟踪与配准，避免了人工标志点安放和遮挡等问题的不便，同时提高了配准和跟踪的效率，较少医生手术中的压力。

本发明实施例还提供了一种内窥镜手术导航方法，如图3所示，该方法在图1的基础上增加了步骤105a和105b。

105a、当病人在手术过程中出现移动时，获取病人面部的实时点云数据；

105b、基于凸包优化匹配的方法快速配准所述实时点云数据，矫正所述导航影像与所述病人位姿的配准。

通过步骤105a和105b，进一步改进手术中病人面部的实时配准。这一过程主要完成术中病人位姿的追踪，以便克服病人移动造成的跟踪不准的缺点。如果导航过程中如果病人位姿没有移动，则不会用到105a和105b。当病人位姿在手术中移动时，该方案具有重要的临床和实际意义，对系统跟踪中的实时显示效果更有帮助，不会在引导过程中出现影像的错位和渲染错误。

本发明实施例还提供了一种内窥镜手术导航系统，该系统包括：

计算机、双目摄像机、内窥镜和手术工具。

计算机用于读取多模态医学影像数据，以多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；对图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；以多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应所述参考点的标志点，使用ICP快速配准计算方法完成CT导航影像与病人位姿的配准；

双目摄像机用于跟踪内窥镜和手术工具，并获取内窥镜和手术工具与病人身体之间的位姿关系；依据得到的位姿关系，在虚拟场景中获取内窥镜的虚拟场景视图；

计算机还用于针对双目摄像机定位内窥镜，进而获取的内窥镜的虚拟场景视图，对内窥镜实时图像边缘进行高斯函数衰减，并与内窥镜的虚拟场景视图融合，实现分层渲染。

进一步的，计算机对图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景，具体包括：

对图像全仿射匹配后的影像数据中的关键结构进行分割和标注；

对分割和标注后的影像数据进行快速渲染；

对图像全仿射匹配后的影像数据进行基于移动立方体的体渲染；

针对快速渲染和体渲染的影像数据，采用基于CUDA加速方式进行重建场景混合渲染并得到虚拟场景。

进一步地，该系统还包括深度相机。

深度相机用于当病人在手术过程中出现移动时，获取病人面部的实时点云数据。计算机还用于基于凸包优化匹配的方法快速配准深度相机获取的实时点云数据，矫正所述导航影像与所述病人位姿的配准。

进一步地，计算机进行图像全仿射匹配，具体包括：

在待配准图像中选取标记点；

在基准图像中以预设定的顺序选取参考点，建立待配准图像的标记点与基准图像的参考点之间的对应集；

根据对应集，计算得到基准图像和待配准图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。

图4为本发明实施例的内窥镜手术导航系统的应用场景示意图和导航示意图。图中包括计算机41、双目摄像机42、内窥镜43和手术工具44、深度相机45以及病人人体46。在内窥镜43和手术工具44上设置标志点47，便于双目摄像机采集并获知位姿关系。

计算机41中包括中央处理器(Central Processing Unit,CPU)，用于执行数学计算和影像配置等功能。可选的还可以包括图形处理器(Graphics Processing Unit,GPU)。GPU主要执行与图形处理有关的功能。

图5示出了内窥镜手术导航系统的CPU与GPU处理模块图。

CPU的主要功能包括：读取多模态医学影像数据；影像数据中的关键结构进行分割和标注；基于Affine变换和ICP配准算法的多模态影像配准。

GPU的主要功能包括：基于CUDA的加速混合渲染重建；三维体数据图像与病人的配准；基于深度相机的实时跟踪与配准；手术工具与病人实体的位姿关系；获取任意位姿下手术工具与人体相对关系及虚拟视角；增强显示感兴趣区域分层渲染信息。

虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims (6)

1.一种内窥镜手术导航方法，其特征在于，包括：

读取多模态医学影像数据；

以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；

对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；

以所述多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应所述参考点的标志点，使用ICP快速配准计算方法完成CT导航影像与病人位姿的配准；

完成病人位姿的配准后，通过双目摄像机跟踪所述内窥镜和手术工具，并通过计算获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；

依据得到的所述位姿关系，在所述虚拟场景中获取内窥镜的虚拟场景视图；

对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现场景分层渲染；

所述对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景，具体包括：

对所述图像全仿射匹配后的影像数据中的关键结构进行分割和标注；

对分割和标注后的影像数据进行快速渲染；

对所述图像全仿射匹配后的影像数据进行基于移动立方体Marching Cube的体渲染；

针对所述快速渲染和所述体渲染的影像数据，采用基于CUDA加速方式进行重建场景混合渲染并得到虚拟场景。

2.根据权利要求1所述的方法，其特征在于，在跟踪手术工具并获取所述手术工具与所述病人身体之间的位姿关系前，还包括：

当病人在手术过程中出现移动时，获取病人面部的实时点云数据；

基于凸包优化匹配的方法快速配准所述实时点云数据，矫正所述导航影像与所述病人位姿的配准。

3.根据权利要求1所述的方法，其特征在于，所述以所述多模态医学影像数据中的任意一种医学影像数据为基准，以其他医学影像数据作为待配准图像，进行图像全仿射匹配，具体包括：

在所述待配准图像中选取标记点；

在所述基准图像中以预设定的顺序选取参考点，建立所述待配准图像的标记点与所述基准图像的参考点之间的对应集；

根据所述对应集，计算得到所述基准图像和所述待配准图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。

4.一种内窥镜手术导航系统，其特征在于，包括：

计算机、双目摄像机、内窥镜和手术工具；

所述计算机用于读取多模态医学影像数据；以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配；对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景；以所述多模态医学影像数据中的CT影像数据为准选取参考点，在病人身体上选择对应所述参考点的标志点，使用ICP快速配准计算方法完成所述CT导航影像与病人位姿的配准；

所述双目摄像机用于跟踪所述内窥镜和手术工具，并获取所述内窥镜和手术工具与所述病人身体之间的位姿关系；依据得到的所述位姿关系，在所述虚拟场景中获取内窥镜的虚拟场景视图；

所述计算机还用于针对所述双目摄像机定位内窥镜，进而获取的所述内窥镜的虚拟场景视图，对内窥镜实时图像边缘进行高斯函数衰减，并与所述内窥镜的虚拟场景视图融合，实现分层渲染；

所述计算机对所述图像全仿射匹配后的影像数据进行重建场景混合渲染并得到虚拟场景，具体包括：

对所述图像全仿射匹配后的影像数据中的关键结构进行分割和标注；

对分割和标注后的影像数据进行快速渲染；

对所述图像全仿射匹配后的影像数据进行基于移动立方体Marching Cube的体渲染；

针对所述快速渲染和所述体渲染的影像数据，采用基于CUDA加速方式进行重建场景混合渲染并得到虚拟场景。

5.根据权利要求4所述的系统，其特征在于，所述系统还包括：

深度相机，用于当病人在手术过程中出现移动时，获取病人面部的实时点云数据；

所述计算机还用于基于凸包优化匹配的方法快速配准所述深度相机获取的所述实时点云数据，矫正所述导航影像与所述病人位姿的配准。

6.根据权利要求4所述的系统，其特征在于，所述计算机以所述多模态医学影像数据中的任意一种医学影像数据为基准图像，以其他医学影像数据作为待配准图像，进行图像全仿射匹配，具体包括：

在所述待配准图像中选取标记点；

在所述基准图像中以预设定的顺序选取参考点，建立所述待配准图像的标记点与所述基准图像的参考点之间的对应集；

根据所述对应集，计算得到所述基准图像和所述待配准图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。

Images