CN110025378A - 一种基于光学定位法的手术辅助导航方法 - Google Patents

Abstract

本发明涉及一种基于光学定位法的手术辅助导航方法，人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示。本发明将智能手势识别与手术导航系统相结合，结合病人的CTA扫描数据，利用深度实感相机对病人病灶进行精确定位，并利用openGL实时显示出来病灶位置，以及手术器械当前的位置，局部建模更有针对性，减少硬件资源的耗费，提升系统的运行效率。

Description

一种基于光学定位法的手术辅助导航方法

技术领域

本发明涉及计算机视觉和虚拟医疗智能领域，具体地说是一种基于光学定位法的手术辅助导航方法。

背景技术

手术导航(surgical navigation)是现代影像技术、立体定向技术与先进的计算机技术在医学应用中有机结合的成果。手术导航系统主要用于神经外科、耳鼻喉科、矫形科等的微侵袭手术辅助设备。它包括医学图像工作站及一套与之相连的空间定位装置。手术导航系统对于减少手术损伤、提高手术定位精度以及手术成功率等具有十分重要的意义。

手术辅助导航系统主要由两部分组成，一部分影像采集和处理，另外一部分是三维定位系统、而三维定位系统是保证手术精度的重要工具，摄像机、标记物、标定精度等都是影响导航系统精度的重要因素。

目前在各种不同的手术导航定位系统中，光学定位方法是最具发展前景的一种定位方法，该方法在当今手术导航领域中使用最为广泛、定位精度最高。光学定位方法通过摄像机观察装有自主发光或者能够反射光线的标记点的目标，然后根据立体视觉原理精确的定位目标上的标记点，从而重建出目标的空间位置。

目前标记点定位最好的方式是红外光学定位，精度高，可三维定位，不受手术室内其他设备以及手术环境的干扰。但是红外光学定位系统价格昂贵，目前国内的医院无法承受。因此开发定位精确、价格适中的红外光学三维定位系统，具有很现实的意义。

发明内容

针对现有技术的不足，本发明提供一种基于光学定位法的手术辅助导航方法，结合病人的CTA扫描数据，利用深度实感相机对病人病灶进行精确定位，并利用openGL实时显示出来病灶位置，以及手术器械当前的位置。

本发明为实现上述目的所采用的技术方案是：

一种基于光学定位法的手术辅助导航方法，包括以下步骤：

步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；

步骤2：通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；

步骤3：实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示。

所述通过光学定位法对手术刀进行初始建模包括以下过程：

步骤1：采集当前手术环境的彩色图像和深度图像；

步骤2：对彩色图像依据其对应深度图像中的深度范围进行滤波，得到感兴趣深度范围的彩色图像；

步骤3：在手术刀上设定两个mark点，根据两个mark点的HSV值，在感兴趣深度范围的彩色图像上分别对其进行阈值分割，获取两个mark点的ROI区域二值图像；

步骤4：分别对两个mark点的ROI区域二值图像进行轮廓查找，找出面积最大的轮廓，即为mark点的轮廓，该轮廓的最小外接圆圆心即为mark点的中心点坐标；

步骤5：根据mark点的中心点坐标对应到深度图像的三维世界坐标点；

步骤6：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立初始手术刀模型。

依据彩色图像对应深度图像中的深度范围进行滤波为：

手术过程中，手术器械活动的区域会在人身体附近的固定空间内，根据此固定空间与摄像头原点位置的距离对深度图像进行滤波，只保留该固定空间内的深度值对应的深度图像，对应彩色图像保留有对应深度图像深度信息的彩色像素点，从而滤波后的彩色图像和其对应的深度图像。

所述两个mark点分别为颜色不同的彩色mark点。

对所述两个mark点的ROI区域二值图像进行精细化处理，包括：

步骤1：对二值图像进行开操作，去除噪点；

步骤2：对去除噪点后的二值图像进行闭操作，连接连通域；

步骤3：对连接连通域后的二值图像进行高斯滤波，消除图像中混入的噪声；从而得到处理后的二值图像。

所述实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模包括以下过程：

步骤1：依据mark点的轮廓获取Camshift跟踪算法的跟踪区域；

步骤2：通过Camshift跟踪算法，对跟踪区域进行实时跟踪，以跟踪区域的中心点作为手术刀mark点的定位点；

步骤3：根据mark点的定位点坐标对应到深度图像的三维世界坐标点；

步骤4：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立手术刀模型。

所述Camshift跟踪算法的跟踪区域为矩形区域，该矩形边长为轮廓的最小外接圆半径缩放一定比例。该矩形的实际大小依据轮廓最小外接圆半径，即与mark点的实际大小相关，一般在16*16像素到25*25像素之间。

本发明具有以下有益效果及优点：

1.本发明有别于其他直接在彩色图中进行跟踪目标手术器械，本发明在获取到彩色图像和深度图像之后，会依据病人距离深度摄像头的范围，建立一个感兴趣深度，依据次深度范围对彩色图中的不在此深度范围内的像素点，全部滤除掉，用黑色覆盖，这样在跟踪的时候就可以更加的稳定而不受前景和背景的干扰，深度信息滤波后的彩色图像；

2.本发明采用Camshift算法跟踪手术刀的位置，与其他Camshifts算法在使用上有区别的是，该系统在跟踪时，初始跟踪区域自动选定而不需要手动选定；可以大大减少人为选定时的不确定性，降低了操作的复杂性；提高了系统的智能性；

3.由于我们已知手术器械上的两个点大小基本是固定的，在利用Camshift时对跟踪区域的大小进行限定,这样可以大大降低手术器械跟丢的可能性；

4.为了增加系统的可靠性本发明创新性地采用了手术器械的实际物理距离这一约束条件进行Camshift跟踪丢失判定并对跟丢进行处理；在实际跟踪过程中，如果两个mark点跟踪结果得到的距离与手术器械的真实距离偏差较大，判定为跟丢，这时重新根据mark点的HSV范围进行阈值分割，并重新选定跟踪区域，开始新一次的跟踪；

5.本发明满足了手术过程中要使用不同器械的要求，依据手术器械实际形状实时建立手术器械的三维模型，并利用openGL实时显示。

附图说明

图1为本发明的方法流程图。

图2为camshift跟踪算法详解流程示意图。

图3为camshift初始跟踪区域选定工作示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示为本发明的方法流程图图。

本发明方法从功能上看主要分为两大功能：1)人体模型和手术刀模型实际物理坐标的实时显示、2)手势信号的识别与编码

人体三维模型获取过程包括操作前获取人体CT数据转换成的点云数据以及手术刀位置的点云数据利用openGL显示出来，然后获取手术刀位置的点云信息，并在人体模型的openGL显示窗口中实时显示手术刀模型，手术过程中通过按键信号与手术辅助导航系统进行人机交互。

1.人体模型的建立及实时显示

首先获得患者医疗CTA图片数据，使用3D Slicer打开数据，并建立三维人体模型导出点云数据，然后将点云数据使用openMesh载入，在openGL显示窗口中显示。

2.手术器械跟踪及其三维模型建立并实时显示手术器械的空间位置。

如图2所示为camshift跟踪算法详解流程示意图。

步骤2.1：利用realsenses实感相机采集当前手术环境的彩色图像，同时获取深度图像。

步骤2.2：对采集到的彩色图像依据深度进行滤波，留下感兴趣深度范围的彩色图像。

步骤2.3：根据手术刀上的两个彩色mark点的HSV值，分别对经过深度滤波后的彩色图像进行分割，获取跟踪ROI区域二值图像；对两张跟踪ROI区域二值图像开操作闭操作等处理，获取两张处理后的ROI区域二值图像。

步骤2.4：分别对两张二值图进行轮廓查找操作，利用轮廓面积作为筛选依据，在每一张二值图中找出最大面积的轮廓，即是彩色mark点的轮廓。

步骤2.5：获取Camshift初始跟踪区域；以轮廓的最小外接圆圆心为跟踪的中心位置，分别对两张二值图进行轮廓查找操作，利用轮廓面积作为筛选依据，在每一张二值图中找出最大面积的轮廓，即是彩色mark点的轮廓，以轮廓的最小外接圆圆心为跟踪的初始中心位置，从深度滤波后的彩色图中选取以这两个中心位置为中心的正方形邻域作为Camshift算法的初始跟踪区域，区域的边长为轮廓的最小外接圆半径缩放一定比例。

如图3所示为camshift初始跟踪区域选取的工作流程图。

步骤2.6：以步骤2.5中的选定的跟踪区域作为Camshift算法初始跟踪区域，获得跟踪结果后，将下一次跟踪的跟踪区域的范围固定在一定范围内，大大降低的误跟踪和跟丢的可能性，重复上述步骤，可实时获得两个mark点的像素坐标，从而在深度图中获取该mark点在实际物理坐标系中的三维信息；依据两点的三维信息在openGL中建立三维手术刀模型并显示。

步骤2.7：camshift跟踪mark点丢失的处理，依据两mark点的实际物理距离作为判断依据，与深度摄像头获得的两mark点的坐标相比较，小于或超出一定范围判定为跟踪丢失，返回到步骤2.3，重新执行检测。

本发明通过光学定位法，结合病人的CTA扫描数据，利用深度实感相机对病人病灶进行精确定位，并利用openGL实时显示出来病灶位置，以及手术器械当前的位置；为了提高系统的人机交互性，本系统将智能手势识别与手术导航系统相结合，使手术导航系统的人机交互性更加友好。本系统从功能上分为三大部分，分别为病人人体模型的获取与显示、手术器械空间位置的实时定位及其三维模型的建立与显示、和通过智能手势识别的人机交互。1.其中病人人体模型的获取创新性地使用3Dslicer软件，基于病人CTA数据对人体局部建模并openGL显示,局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率，避免模型太大，而降低系统的工作效率。2.手术器械空间位置实时定位采用了光学定位法，创新性地利用基于结构光的3D实感相机对病人病灶和手术器械进行一个空间位置的实时的定位，并对手术器械进行实施建模及三维显示。

Claims (7)

1.一种基于光学定位法的手术辅助导航方法，其特征在于：包括以下步骤：

步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；

步骤2：通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；

步骤3：实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示。

2.根据权利要求1所述的基于光学定位法的手术辅助导航方法，其特征在于：所述通过光学定位法对手术刀进行初始建模包括以下过程：

步骤1：采集当前手术环境的彩色图像和深度图像；

步骤2：对彩色图像依据其对应深度图像中的深度范围进行滤波，得到感兴趣深度范围的彩色图像；

步骤3：在手术刀上设定两个mark点，根据两个mark点的HSV值，在感兴趣深度范围的彩色图像上分别对其进行阈值分割，获取两个mark点的ROI区域二值图像；

步骤4：分别对两个mark点的ROI区域二值图像进行轮廓查找，找出面积最大的轮廓，即为mark点的轮廓，该轮廓的最小外接圆圆心即为mark点的中心点坐标；

步骤5：根据mark点的中心点坐标对应到深度图像的三维世界坐标点；

步骤6：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立初始手术刀模型。

3.根据权利要求2所述的基于光学定位法的手术辅助导航方法，其特征在于：依据彩色图像对应深度图像中的深度范围进行滤波为：

手术器械活动的区域会在人身体附近的固定空间内，根据此固定空间与摄像头原点位置的距离对深度图像进行滤波，只保留该固定空间内的深度值对应的深度图像，对应彩色图像保留有对应深度图像深度信息的彩色像素点，从而滤波后的彩色图像和其对应的深度图像。

4.根据权利要求2所述的基于光学定位法的手术辅助导航方法，其特征在于：所述两个mark点分别为颜色不同的彩色mark点。

5.根据权利要求2所述的基于光学定位法的手术辅助导航方法，其特征在于：对所述两个mark点的ROI区域二值图像进行精细化处理，包括：

步骤1：对二值图像进行开操作，去除噪点；

步骤2：对去除噪点后的二值图像进行闭操作，连接连通域；

步骤3：对连接连通域后的二值图像进行高斯滤波，消除图像中混入的噪声；从而得到处理后的二值图像。

6.根据权利要求1所述的基于光学定位法的手术辅助导航方法，其特征在于：所述实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模包括以下过程：

步骤1：依据mark点的轮廓获取Camshift跟踪算法的跟踪区域；

步骤2：通过Camshift跟踪算法，对跟踪区域进行实时跟踪，以跟踪区域的中心点作为手术刀mark点的定位点；

步骤3：根据mark点的定位点坐标对应到深度图像的三维世界坐标点；

步骤4：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立手术刀模型。

7.根据权利要求6所述的基于光学定位法的手术辅助导航方法，其特征在于：所述Camshift跟踪算法的跟踪区域为矩形区域，该矩形边长为轮廓的最小外接圆半径成比例缩放。