CN106236263A - 基于场景分解的胃肠手术导航方法及系统 - Google Patents

Abstract

本发明公开了一种基于场景分解的胃肠手术导航方法及系统，该胃肠手术导航方法包括如下步骤：获取患者至少在手术部位的扫描图像数据，该扫描图像数据至少包括至少两个分场景的分场景数据；医疗器械进入时手术区域时，将其位置数据与各分场景数据的定位数据相对应，并获取对应的分场景数据的虚拟影像；将对应的分场景的虚拟影像输出用于进行手术的导航。本发明可以实现手术过程中的动态导航,为胃肠手术提供实时的跟踪效果。

Description

基于场景分解的胃肠手术导航方法及系统

技术领域

本发明涉及一种基于场景分解的胃肠手术导航方法及系统。

背景技术

随着技术和设备的成熟，医疗器械已在多个领域特别是胃肠外科被广泛使用,然而医疗器械的操作特点使其失去了传统开腹手术中的精细“触觉”，从而使得在腔镜下辨别解剖位置的“视觉”变得极其重要；而且医疗器械多为2D视野，缺少纵深感，尽管市面上能提供3D的镜头，但因费用昂贵在国内仍不能很好地推广；其次，医疗器械还有一个自身固有的局限性：术者的视野从开放手术的160度缩窄到70度，这种管状视野使术者不能同时间有效观察到腹腔内多个脏器和器械——大大降低了对全局的把握性，胃肠手术特别是胃癌手术，是基于以周围血管为指引的手术，血管的走行和变异对手术的策略具有重要意义。

基于胃肠手术的复杂环境，其手术场景复杂多变，不易跟踪，影响其匹配的精准，无法实现精确的定位。

发明内容

本发明的目的在于提供一种基于场景分解的胃肠手术导航方法及系统，本发明可以实现胃肠手术过程中的精确导航。

其技术方案如下：

基于场景分解的胃肠手术导航方法，

该方法包括如下步骤：

获取患者至少在手术部位的扫描图像数据，该扫描图像数据至少包括至少两个分场景的分场景数据；

医疗器械进入时手术区域时，将其位置数据与各分场景数据的定位数据相对应，并获取对应的分场景数据的虚拟影像；

将对应的分场景的虚拟影像输出用于进行手术的导航。

进一步的，所述医疗器械具有镜头，当其进入手术部位时，通过镜头获取镜头前端实时的光学影像；

跟踪元件跟踪医疗器械镜头的位置数据，并将该位置数据与前述扫描图像数据匹配，得到与光学影像相对应的虚拟影像；

将医疗器械前端实时的光学影像及虚拟影像输出用于进行手术的实时导航。

进一步的，所述分场景包括：中央区、右下区、左下区、右上区、肝胃区；

至少两个所述分场景数据为：左下区数据、右下区数据、右上区数据、中央区数据、肝胃区数据，在前述步骤中，将前述医疗器械镜头的位置数据与左下区数据、右下区数据、右上区数据、中央区数据或肝胃区数据中的定位数据进行对应，并显示与其相对应的虚拟影像。

进一步的，前述步骤中，医疗器械依次进入左下区、右下区、右上区、中央区、肝胃区，并显示与此相对应的虚拟影像。

进一步的，所述扫描图像数据包括子数据，该子数据包括有子虚拟影像，在前述步骤中，跟踪光学影像中的特征点，当光学影像中的部分区域的特征点出现翻转或移动，则调用该区域的子虚拟影像，并将该子虚拟影像叠加到前述虚拟影像中输出。

进一步的，前述扫描图像数据包括：至少在手术部位的图像数据及人体定位基点的定位数据；

将前述位置数据与定位数据相匹配，并显示该定位数据相对应的虚拟影像。

进一步的，在所述医疗器械上设有跟踪标记点，所述跟踪元件通过跟踪该跟踪标记点获取医疗器械镜头的位置数据。

进一步的，将医疗器械前端实时的光学影像及虚拟影像进行融合后形成融合图像，并向外输出该融合图像。

进一步的，在前述步骤中，获取镜头前端实时的光学影像后，提取该光学影像中的特征点，并根据该特征点与虚拟影像中的特征点相对应，识别出错误的特征点并将该错误的特征点运除；或者，计算光学影像与虚拟影像的偏差值，并根据该偏差值对虚拟影像进行纠偏。

基于场景分解的胃肠手术导航系统，该系统包括：

医疗器械，用于进入手术区域，用于进行手术操作；

跟踪元件，用于跟踪医疗器械的位置数据；

存储单元，用于存储事先获取的扫描图像数据，该扫描图像数据至少包括至少两个分场景的分场景数据；

匹配单元，用于将医疗器械的位置数据与对应的分场景数据进行匹配，并得到该分场景对应的虚拟影像；

输出单元，用于将所对应的分场景对应的虚拟影像至少部分向外输出。

下面对本发明的优点或原理进行说明：

1、在手术过程中，并且由于腹腔脏器的结构复杂，位置不固定，容易变形，为提高导航的精度，将手术场景分为多个分场景，进一步的提高其匹配的精度，实现高精度的导航。

2、该导航方法需事先获取患者至少在手术部位的扫描图像数据；手术时医疗器械获取其镜头前端的光学影像，同时跟踪元件会跟踪医疗器械的位置，并将镜头的位置数据与扫描图像数据匹配，得到与光学影像相对应的虚拟影像，实现手术的实时动态导航。

3、通过扫描事先获取的扫描图像数据中，包括有图像数据，还包括有其对应的定位数据；事先扫描时可以通过CT扫描或其他方式完成，扫描时可以在患者身上设置定位基点，也可以以患者身体的某些特征为定位基点，以准确的对该图像数据进行定位，以便后期通过数据处理逼真再现患者手术部位的三维影像。

4、为方便医务人员对手术的效果进行观察，将医疗器械前端实时的光学影像及虚拟影像进行融合后形成融合图像，并向外输出该融合图像。

5、对于胃肠手术而言，采用以下五个分场景：中央区、右下区、左下区、右上区、肝胃区，通过这五个分场景进行区分，可以更好的符合手术过程中的实际需要。

6、通过跟踪元件对医疗器械进行位置跟踪，并将手术场景与扫描图像数据进行匹配，但其精度仍然有待提高，此时，可以提取镜头前端的光学影像中的特征点，并与虚拟影像中的特征点相对应，再根据两者之间的偏差值进行纠正，以达到精度匹配的效果。

7、跟踪光学影像中的特征点，当光学影像中的部分区域的特征点出现翻转或移动，则调用该区域的子虚拟影像，并将该子虚拟影像叠加到前述虚拟影像中输出；这样，可以适应手术过程中的复杂情况，实现实时精确的导航。

8、在对光学影像与虚拟影像进行匹配时，将错误的特征点去除或者根据偏差进行纠偏，以达到精确的融合效果。

附图说明

图1是本发明实施例所述胃肠手术导航方法的流程图。

具体实施方式

下面对本发明的实施例进行详细说明。

如图1所示，基于场景分解的腹腔镜胃肠手术导航方法，该方法包括如下步骤：

医务人员事先通过CT扫描，获取患者在手术部位的扫描图像数据(该扫描图像数据包括至少在手术部位的图像数据及人体定位基点的定位数据)；将该扫描图像数据在存储单元中进行存储，在手术前将扫描图像数据导入该导航系统的处理器，重建三维的虚拟模型；

在手术过程中，医疗器械(本实施例中，医疗器械为腹腔镜，也可以为带有镜头的手术刀头或其他器械)进入手术部位，镜头进行视频采集，获取其前端实时的光学影像；

通过跟踪元件跟踪医疗器械镜头的位置，并基于该位置进行粗匹配；

再通过场景分割及图像特征的匹配实现精确的匹配；

通过场景融合将光学影像及虚拟模型融合在一起并向外输出。

现具体说明如下：

医疗器械具有镜头，当其进入手术部位时，通过镜头获取医疗器械跟踪元件跟踪医疗器械镜头的位置数据，并将该位置数据与前述扫描图像数据中的定位数据相匹配，得到与光学影像相对应的虚拟影像；将镜头前端实时的光学影像及虚拟影像输出用于进行手术的实时导航。

在所述医疗器械上设有跟踪标记点，所述跟踪元件通过跟踪该跟踪标记点获取医疗器械镜头的位置数据(此时，需要先对医疗器械镜头进行标定，其步骤如下：采用平面标定模板为12X9的方格图，方格边长为20mm，镜头输出平面分辨率为1280X720；①从不同的角度拍摄10幅方格图的图像；②检测方格图所有角点，利用其空间点和对应图像点之间的关系求解相机的焦距、坐标中心等内部参；③求解相机的畸变参数。④利用最终求出的径向畸变参数恢复无畸变的图像)。

将镜头前端实时的光学影像及虚拟影像进行融合后形成实时的融合图像，并向外输出该融合图像。

通过CT扫描获取患者的扫描图像数据时，该扫描图像数据包括多个分场景的分场景数据；医疗器械进入时手术区域时，将其位置数据与各分场景数据的定位数据相对应，并获取对应的分场景数据的虚拟影像；具体如下：

所述扫描图像数据被分割为五个分场景，即左下区(胃网膜左血管周围)、右下区(幽门下)、右上区(幽门上、肝十二指肠韧带)、中央区(腹腔动脉及其分支)、肝胃区肝胃之间，医疗器械进入时手术区域时，将其位置数据与各分场景数据的定位数据相对应，并显示对应的分场景数据的虚拟影像。采用该方法减少配准的误差，保证手术的精确性。

医疗器械进入五个分场景的顺序为:左下区、右下区、右上区、中央区、肝胃区。

医疗器械首次进入各分场景时，医疗器械先停顿并将此时的光学影像与所述虚拟影像进行匹配，并进入相应的分场景，显示对应的分场景数据的虚拟影像。

在进行导航时，获取镜头前端实时的光学影像后，提取该光学影像中的特征点，并根据该特征点与虚拟影像中的特征点相对应，识别出错误的特征点并将该错误的特征点运除；或者，计算光学影像与虚拟影像的偏差值，并根据该偏差值对虚拟影像进行纠偏，以达到精确定位的效果。具体是：采用一种基于双目视觉图像特征点的图像配准方法，实现三维模型在医疗器械双目视觉影像中的匹配。首先根据三维模型和医疗器械位置获得相应位置下虚拟医疗器械图像，利用Harris特征提取算法，检测虚拟影像和光学影像的特征点，然后针对错误的配准点，依据基于特征互相关及组织结构不变性来滤除掉这种错配点，最后在得到正确配准的特征点后，使用TPS变换得到配准后图像。基于多尺度Harris角点SAM的配准算法是一种新的算法，其实现的步骤是：首先利用小波多尺度积提取图像边缘信息；然后，引入多尺度Harris角点检测算子提取图像边缘信息；接着通过估计变换参数和定义相似性测度函数来确定最佳匹配点对，最后利用最小二乘求解变换参数。其优点在于：1.配准的精读和速度较高；2.利用小波多尺度积边缘检测，可消除噪音对特征点提取的干扰；3.引入角点的尺度空间表示，实现多分辨率图像间的配准。

在匹配的过程中，还需要解决虚实遮挡的问题，其解决的方法是采用离线处理及在线处理两方面：1、离线处理过程中，首先拍摄左右两幅图像，计算场景中每个像素点的深度值，然后对深度值进行改善，以便提取一个相对粗糙的遮挡边缘，同时计算场景中在HSV颜色空间中每个像素点的像素值，并采用锐化等图像增强处理得到较为清晰的轮廓；之后利用融合手段，结合粗糙遮挡边缘和轮廓信息，获得更高精度的遮挡边缘。2、在线处理过程中，首先跟踪特征点，根据特征点的位移计算目标轮廓的位移量，获得近似轮廓，然后以近似轮廓为中心的带状区域内求目标物体的精确轮廓，最后利用重绘技术获得遮挡关系正确的虚实合成图像。继续下一帧图像，将当前帧图像中求得的目标轮廓作为下一帧的初始轮廓，重复以上步骤即可。

由于腹腔脏器不固定，活动性较大，容易出现形变，所以其难点在于处理形变的问题；解决方法是：事先通过对患者进行CT扫描，并重建三维的虚拟模型后，可以通过处理再建立子数据，该子数据包括有子虚拟影像(如部分血管处于垂直状态时的虚拟影像)，在手术过程中，跟踪光学影像中的特征点，当光学影像中的部分区域的特征点出现翻转或移动，则调用该区域的子虚拟影像(如部分血管处于垂直状态时的虚拟影像)，并将该子虚拟影像叠加到前述虚拟影像中输出。

本实施例具有如下优点：

1、该导航方法需事先获取患者至少在手术部位的扫描图像数据；手术时医疗器械获取其镜头前端的光学影像，同时跟踪元件会跟踪医疗器械的位置，并将镜头的位置数据与到扫描图像匹配，得到与光学影像相对应的虚拟影像，实现手术的实时动态导航。

2、通过扫描事先获取的扫描图像数据中，包括有图像数据，还包括有其对应的定位数据；事先扫描时可以通过CT扫描或其他方式完成，扫描时可以在患者身上设置定位基点，也可以以患者身体的某些特征为定位基点，以准确的对该图像数据进行定位，以便和光学影像实现精准的匹配。

3、为方便医务人员对手术的效果进行观察，将镜头前端实时的光学影像及虚拟影像进行融合后形成融合图像，并向外输出该融合图像。

4、在手术过程中，并且由于腹腔脏器的结构复杂，位置不固定，容易变形，镜头前端的光学影像与重建的虚拟影像之间会存在配准的误差，为提高配准的精度，将手术场景分为多个分场景。

5、对于胃肠手术而言，采用以下五个分场景：中央区、右下区、左下区、右上区、肝胃区，通过这五个分场景进行区分，可以更好的符合手术过程中的实际需要。

6、通过跟踪元件对医疗器械进行位置跟踪，并将手术场景与扫描图像数据进行匹配，但其精度仍然有待提高，此时，可以提取镜头前端的光学影像中的特征点，并与虚拟影像中的特征点相对应，再根据两者之间的偏差值进行纠正，以达到精度匹配的效果。

7、跟踪光学影像中的特征点，当光学影像中的部分区域的特征点出现翻转或移动，则调用该区域的子虚拟影像，并将该子虚拟影像叠加到前述虚拟影像中输出；这样，可以适应手术过程中的脏器和血管位置的变化，实现实时精确的导航。

8、在对光学影像与虚拟影像进行匹配时，将错误的特征点去除或者根据偏差进行纠偏，以达到精确的融合效果。

以上仅为本发明的具体实施例，并不以此限定本发明的保护范围；在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。

Claims (10)

1.基于场景分解的胃肠手术导航方法，其特征在于，

该方法包括如下步骤：

获取患者至少在手术部位的扫描图像数据，该扫描图像数据至少包括至少两个分场景的分场景数据；

医疗器械进入时手术区域时，将其位置数据与各分场景数据的定位数据相对应，并获取对应的分场景数据的虚拟影像；

将对应的分场景的虚拟影像输出用于进行手术的导航。

2.如权利要求1所述基于场景分解的胃肠手术导航方法，其特征在于，

所述医疗器械具有镜头，当其进入手术部位时，通过镜头获取镜头前端实时的光学影像；

跟踪元件跟踪医疗器械镜头的位置数据，并将该位置数据与前述扫描图像数据匹配，得到与光学影像相对应的虚拟影像；

将医疗器械前端实时的光学影像及虚拟影像输出用于进行手术的实时导航。

3.如权利要求2所述基于场景分解的胃肠手术导航方法，其特征在于，

所述分场景包括：中央区、右下区、左下区、右上区、肝胃区；

至少两个所述分场景数据为：左下区数据、右下区数据、右上区数据、中央区数据、肝胃区数据，在前述步骤中，将前述医疗器械镜头的位置数据与左下区数据、右下区数据、右上区数据、中央区数据或肝胃区数据中的定位数据进行对应，并显示与其相对应的虚拟影像。

4.如权利要求3所述基于场景分解的胃肠手术导航方法，其特征在于，

前述步骤中，医疗器械依次进入中央区、右下区、左下区、右上区、肝胃区，并输出与此相对应的虚拟影像。

5.如权利要求3所述基于场景分解的胃肠手术导航方法，其特征在于，

所述扫描图像数据包括子数据，该子数据包括有子虚拟影像，在前述步骤中，跟踪光学影像中的特征点，当光学影像中的部分区域的特征点出现翻转或移动，则调用该区域的子虚拟影像，并将该子虚拟影像叠加到前述虚拟影像中输出。

6.如权利要求1至5中任一项所述基于场景分解的胃肠手术导航方法，其特征在于，

前述扫描图像数据包括：至少在手术部位的图像数据及人体定位基点的定位数据；

将前述位置数据与定位数据相匹配，并显示该定位数据相对应的虚拟影像。

7.如权利要求1至5中任一项所述基于场景分解的胃肠手术导航方法，其特征在于，

在所述医疗器械上设有跟踪标记点，所述跟踪元件通过跟踪该跟踪标记点获取医疗器械镜头的位置数据。

8.如权利要求1至5中任一项所述基于场景分解的胃肠手术导航方法，其特征在于，

将医疗器械前端实时的光学影像及虚拟影像进行融合后形成融合图像，并向外输出该融合图像。

9.如权利要求1至5中任一项所述基于场景分解的胃肠手术导航方法，其特征在于，

在前述步骤中，获取镜头前端实时的光学影像后，提取该光学影像中的特征点，并根据该特征点与虚拟影像中的特征点相对应，识别出错误的特征点并将该错误的特征点运除；或者，计算光学影像与虚拟影像的偏差值，并根据该偏差值对虚拟影像进行纠偏。

10.基于场景分解的胃肠手术导航系统，其特征在于，

该系统包括：

医疗器械，用于进入手术区域，用于进行手术操作；

跟踪元件，用于跟踪医疗器械的位置数据；

存储单元，用于存储事先获取的扫描图像数据，该扫描图像数据至少包括至少两个分场景的分场景数据；

匹配单元，用于将医疗器械的位置数据与对应的分场景数据进行匹配，并得到该分场景对应的虚拟影像；

输出单元，用于将所对应的分场景对应的虚拟影像至少部分向外输出。