CN110025377A - 一种基于手势识别控制的手术辅助导航方法 - Google Patents

Abstract

本发明涉及一种基于手势识别控制的手术辅助导航方法，人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；实时对手术刀的空间位置进行定位，对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示；建立个人特征库；采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。本发明利用Camshift时对跟踪区域的大小进行限定,降低手术器械跟丢的可能性，在手术过程中允许对病人病灶的三维模型360度无死角观测，方便了医生手术时对模型的操作降低了操作的复杂性；提高系统的智能性。

Description

一种基于手势识别控制的手术辅助导航方法

技术领域

本发明涉及计算机视觉和人工智能领域，具体地说是一种基于手势识别控制的手术辅助导航方法。

背景技术

手术导航(surgical navigation)是现代影像技术、立体定向技术与先进的计算机技术在医学应用中有机结合的成果。手术导航系统主要用于神经外科、耳鼻喉科、矫形科等的微侵袭手术辅助设备。它包括医学图像工作站及一套与之相连的空间定位装置。手术导航系统对于减少手术损伤、提高手术定位精度以及手术成功率等具有十分重要的意义。

手术辅助导航系统主要由两部分组成，一部分影像采集和处理，另外一部分是三维定位系统、而三维定位系统是保证手术精度的重要工具，摄像机、标记物、标定精度等都是影响导航系统精度的重要因素。

目前在各种不同的手术导航定位系统中，光学定位方法是最具发展前景的一种定位方法，该方法在当今手术导航领域中使用最为广泛、定位精度最高。光学定位方法通过摄像机观察装有自主发光或者能够反射光线的标记点的目标，然后根据立体视觉原理精确的定位目标上的标记点，从而重建出目标的空间位置。目前标记点定位最好的方式是红外光学定位，精度高，可三维定位，不受手术室内其他设备以及手术环境的干扰。但是红外光学定位系统价格昂贵，目前国内的医院无法承受。因此开发定位精确、价格适中的红外光学三维定位系统，具有很现实的意义。

手势是人与人之间非语言交流的最重要方式，若把手势交互运用到手术辅助导航系统控制上，可使系统与人更方便自然地交互。二者紧密协调，有利于人机共融的实现。手势识别是人与机器人手势交互的重要组成部分，手势识别的准确性和快速性直接影响人与机器人交互的准确性、流畅性和自然性。基于视觉的手势交互，用户无需穿戴设备，具有交互方便、表达丰富和交互自然的优点，符合人机自然交互的大趋势，适用范围广。

然而目前的手术辅助系统在交互方式还是传统的触摸和键盘鼠标等接触式人机交互方式。这种基于接触式设备的控制方式对医生而言并非是一种符合人类本能习惯的交互方式，并且接触式的交互不能保证医生的无菌操作；但如果发明一种符合人类自然交互习惯的、通过手势对无人机进行操控的技术，则这将是迈向更自然的人机交互的一大步。并且，这种可靠性高、实时性好的手势识别在人机协作领域中，应用前景广泛。

发明内容

针对现有技术的不足，本发明提供一种基于手势识别控制的手术辅助导航方法。

本发明为实现上述目的所采用的技术方案是：

一种基于手势识别控制的手术辅助导航方法，包括以下过程：

步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；

步骤2：通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；

步骤3：实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示；

步骤4：根据手部HSV信息和手部特征信息建立个人特征库；

步骤5：采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。

所述通过光学定位法对手术刀进行初始建模包括以下过程：

步骤1：采集当前手术环境的彩色图像和深度图像；

步骤2：对彩色图像依据其对应深度图像中的深度范围进行滤波，得到感兴趣深度范围的彩色图像；

步骤3：在手术刀上设定两个mark点，根据两个mark点的HSV值，在感兴趣深度范围的彩色图像上分别对其进行阈值分割，获取两个mark点的ROI区域二值图像；

步骤4：分别对两个mark点的ROI区域二值图像进行轮廓查找，找出面积最大的轮廓，即为mark点的轮廓，该轮廓的最小外接圆圆心即为mark点的中心点坐标；

步骤5：根据mark点的中心点坐标对应到深度图像的三维世界坐标点；

步骤6：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立初始手术刀模型。

依据彩色图像对应深度图像中的深度范围进行滤波为：

在手术过程中，手术器械活动的区域会在人身体附近的固定空间内，根据此固定空间与摄像头原点位置的距离对深度图像进行滤波，只保留该固定空间内的深度值对应的深度图像，对应彩色图像保留有对应深度图像深度信息的彩色像素点，从而滤波后的彩色图像和其对应的深度图像。

所述两个mark点分别为颜色不同的彩色mark点。

对所述两个mark点的ROI区域二值图像进行精细化处理，包括：

步骤1：对二值图像进行开操作，去除噪点；

步骤2：对去除噪点后的二值图像进行闭操作，连接连通域；

步骤3：对连接连通域后的二值图像进行高斯滤波，消除图像中混入的噪声；从而得到处理后的二值图像。

所述实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模包括以下过程：

步骤1：依据mark点的轮廓获取Camshift跟踪算法的跟踪区域；

步骤2：通过Camshift跟踪算法，对跟踪区域进行实时跟踪，以跟踪区域的中心点作为手术刀mark点的定位点；

步骤3：根据mark点的定位点坐标对应到深度图像的三维世界坐标点；

步骤4：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立手术刀模型。

所述Camshift跟踪算法的跟踪区域为矩形区域，该矩形边长为轮廓的最小外接圆半径成比例缩放。

根据手部HSV信息建立个人特征库包括以下过程：

步骤1：分别获取多帧图像的HSV信息；

步骤2：计算HSV信息的均值和方差；

步骤3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库。

根据手部特征信息建立个人特征库包括以下过程：

步骤1：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤2：对每帧图像的手部区域进行二值化，获取每帧图像的手部区域的二值图像；

步骤3：提取二值图像的手部特征信息；

步骤4：计算手部特征信息的均值和方差，并将手部特征信息的均值和方差存储在个人特征库。

所述提取二值图像的手部特征信息包括以下过程：

步骤1：对手部区域的二值图像进行meanshift聚类，得到聚类中心区域；

步骤2：对聚类中心区域利用PCA主成分分析法，得到手掌的横宽比θ₁，以及偏转角度θ₂；

步骤3：对聚类中心区域同时进行凸包性分析，将手部各顶点连线，得到手部的凸多边形面积S1和手部二值图高亮面积S2，将二者相除，得到手部凸包性参数θ₃＝S1/S2。

所述采用多特征分层滤波算法识别当前手势信息包括以下过程：

根据个人特征库存储的ROI区域的HSV空间对当前手势图像进行分割，获取手部特征信息θ_i，并带入公式(1)、(2)获得当前手势图像与个人特征库中第n个手势的相似概率权重ρ_n，如果ρ_n＝0，则表示当前手势是未知手势，否则，ρ_n最大时对应的序号n为识别出的个人特征库中第n个手势的序号；

ρ_n＝P_n1×ρ_n2×ρ_n3 (2)

其中，μ_ni和δ_ni分别是个人特征库中样本手势n的第i个特征的均值和方差，θ_i是当前手势的第i个特征，ρ_ni为当前手势图像与个人特征库中第n个手势第i个特征的相似权重；ρ_n为当前手势图像与个人特征库中第n个手势的相似概率权重；i＝1，2，3分别对应手部形状、手部旋转角度、手部凸包性。

本发明具有以下有益效果及优点：

1.本发明实时将用于人机交互的手势信息进行编码，每种特定的手势信号对应控制三维人体模型执行一种动作。可以让医生无接触的操作三维人体模型显示，并在手术过程中允许对病人病灶的三维模型360度无死角观测，大的方便了医生手术时对模型的操作，也是对病人健康的一种负责；

2.本发明病人人体模型的获取创新性地使用3Dslicer软件，基于病人CTA数据对人体局部建模并openGL显示，局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率，避免模型太大，而降低系统的工作效率；

3.本发明采用了实时特征预提取与训练技术，在保证实时性的同时使手势正确识别率达到了99％以上，满足了手势控制手术辅助系统实时性与安全性的需求，同时还使该系统具备了个性化手势定制功能；

4.本发明有别于其他直接在彩色图中进行跟踪目标手术器械，本发明在获取到彩色图像和深度图像之后，会依据病人距离深度摄像头的范围，建立一个感兴趣深度，依据次深度范围对彩色图中的不在此深度范围内的像素点，全部滤除掉，用黑色覆盖，这样在跟踪的时候就可以更加的稳定而不受前景和背景的干扰，深度信息滤波后的彩色图像；

5.本发明采用Camshift算法跟踪手术刀的位置，与其他Camshifts算法在使用上有区别的是，该系统在跟踪时，初始跟踪区域自动选定而不需要手动选定；可以大大减少人为选定时的不确定性，降低了操作的复杂性；提高了系统的智能性；

6.由于我们已知手术器械上的两个点大小基本是固定的，在利用Camshift时对跟踪区域的大小进行限定,这样可以大大降低手术器械跟丢的可能性；

7.为了增加系统的可靠性本发明创新性地采用了手术器械的实际物理距离这一约束条件进行Camshift跟踪丢失判定并对跟丢进行处理；在实际跟踪过程中，如果两个mark点跟踪结果得到的距离与手术器械的真实距离偏差较大，判定为跟丢，这时重新根据mark点的HSV范围进行阈值分割，并重新选定跟踪区域，开始新一次的跟踪；

8.本发明满足了手术过程中要使用不同器械的要求，依据手术器械实际形状实时建立手术器械的三维模型，并利用openGL实时显示。

附图说明

图1是本发明的方法流程图；

图2是camshift跟踪算法详解流程示意图；

图3是camshift初始跟踪区域选定工作示意图；

图4是手势静态识别工作流程图；

图5是手势特征与手势信息对照图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示为本发明的方法流程图。

本方法包括以下过程：

步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；

步骤2：通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；

步骤3：实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示；

步骤4：根据手部HSV信息和手部特征信息建立个人特征库；

步骤5：采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。

人体三维模型获取过程包括操作前获取人体CT数据转换成的点云数据以及手术刀位置的点云数据利用openGL显示出来，然后获取手术刀位置的点云信息，并在人体模型的openGL显示窗口中实时显示手术刀模型，手术过程中通过按键信号与手术辅助导航系统进行人机交互。

1.人体模型的建立及实时显示

首先获得患者医疗CTA图片数据，使用3D Slicer打开数据，并建立三维人体模型导出点云数据，然后将点云数据使用openMesh载入，在openGL显示窗口中显示。

2.手术器械跟踪及其三维模型建立并实时显示手术器械的空间位置。

如图2所示为camshift跟踪算法详解流程示意图。

步骤2.1：利用realsenses实感相机采集当前手术环境的彩色图像，同时获取深度图像。

步骤2.2：对采集到的彩色图像依据深度进行滤波，留下感兴趣深度范围的彩色图像。

步骤2.3：根据手术刀上的两个彩色mark点的HSV值，分别对经过深度滤波后的彩色图像进行分割，获取跟踪ROI区域二值图像；对两张跟踪ROI区域二值图像开操作闭操作等处理，获取两张处理后的ROI区域二值图像。

步骤2.4：分别对两张二值图进行轮廓查找操作，利用轮廓面积作为筛选依据，在每一张二值图中找出最大面积的轮廓，即是彩色mark点的轮廓。

步骤2.5：获取Camshift初始跟踪区域；以轮廓的最小外接圆圆心为跟踪的中心位置，分别对两张二值图进行轮廓查找操作，利用轮廓面积作为筛选依据，在每一张二值图中找出最大面积的轮廓，即是彩色mark点的轮廓，以轮廓的最小外接圆圆心为跟踪的初始中心位置，从深度滤波后的彩色图中选取以这两个中心位置为中心的正方形邻域作为Camshift算法的初始跟踪区域，区域的边长为轮廓的最小外接圆半径缩放一定比例。

如图3所示为camshift初始跟踪区域选取的工作流程图。

步骤2.6：以步骤2.5中的选定的跟踪区域作为Camshift算法初始跟踪区域，获得跟踪结果后，将下一次跟踪的跟踪区域的范围固定在一定范围内，大大降低的误跟踪和跟丢的可能性，重复上述步骤，可实时获得两个mark点的像素坐标，从而在深度图中获取该mark点在实际物理坐标系中的三维信息；依据两点的三维信息在openGL中建立三维手术刀模型并显示。

步骤2.7：camshift跟踪mark点丢失的处理，依据两mark点的实际物理距离作为判断依据，与深度摄像头获得的两mark点的坐标相比较，小于或超出一定范围判定为跟踪丢失，返回到步骤2.3，重新执行检测。

3.手术过程中通过手势与手术辅助导航系统进行人机交互。

如图4所示为本发明的手势静态识别工作流程图。

步骤3.1：分别获取多帧图像的HSV信息，

步骤3.2：计算HSV信息的均值和方差，

步骤3.3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库；

步骤3.4：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤3.5：获取每帧图像的手部区域的二值图像，

步骤3.6：分别计算每帧图像的二值图像的手部特征信息、并计算手部特征信息的均值和方差；

步骤3.7：将手部特征信息的均值和方差存储在个人特征库；

步骤3.8：操作中利用相机采集当前手势图像，采用多特征分层滤波算法处理并识别当前手势；实时将手势信息进行编码，每种特定的手势信号对应控制三维人体模型执行一种动作，如图5所示为本发明的手势特征与手势信息对照图。例如放大缩小，左旋转、右旋转；将编码发送给openGL模型控制信号输入口，使模型执行动作。共使用竖掌、横掌、竖刀、横刀四种手势，左右手组合后共有12种编码组合方式，本处只使用了7种编码组合方式。分别为左竖掌右竖刀对应三维模型绕x轴顺时针旋转、左竖掌右竖掌使得模型绕x轴逆时针旋转、左横掌右竖掌使模型放大，左横掌右竖刀使模型缩小、左横掌右横刀使模型绕y轴顺时针旋转、左横掌右横掌使模型绕y轴逆时针旋转、左竖刀右竖掌使模型停止动作。

通过光学定位法，结合病人的CTA扫描数据，利用深度实感相机对病人病灶进行精确定位，并利用openGL实时显示出来病灶位置，以及手术器械当前的位置；为了提高系统的人机交互性，本系统将智能手势识别与手术导航系统相结合，使手术导航系统的人机交互性更加友好。本系统从功能上分为三大部分，分别为病人人体模型的获取与显示、手术器械空间位置的实时定位及其三维模型的建立与显示、和通过智能手势识别的人机交互。1.其中病人人体模型的获取创新性地使用3Dslicer软件，基于病人CTA数据对人体局部建模并openGL显示,局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率，避免模型太大，而降低系统的工作效率。2.手术器械空间位置实时定位采用了光学定位法，创新性地利用基于结构光的3D实感相机对病人病灶和手术器械进行一个空间位置的实时的定位，并对手术器械进行实施建模及三维显示。

病人人体模型的获取创新性地使用3Dslicer软件，基于病人CTA数据对人体局部建模并openGL显示,局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率，避免模型太大，而降低系统的工作效率。

视觉手势识别模块创新性地采用了实时特征预提取与训练技术，在保证实时性的同时使手势正确识别率达到了99％以上，满足了手势控制手术辅助系统实时性与安全性的需求，同时还使该系统具备了个性化手势定制功能。

Claims (11)

1.一种基于手势识别控制的手术辅助导航方法，其特征在于：包括以下过程：

步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；

步骤2：通过光学定位法对手术刀进行初始建模，得到初始手术刀模型；

步骤3：实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模，将手术刀模型在三维人体模型的空间上实时显示；

步骤4：根据手部HSV信息和手部特征信息建立个人特征库；

步骤5：采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。

2.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述通过光学定位法对手术刀进行初始建模包括以下过程：

步骤1：采集当前手术环境的彩色图像和深度图像；

步骤2：对彩色图像依据其对应深度图像中的深度范围进行滤波，得到感兴趣深度范围的彩色图像；

步骤3：在手术刀上设定两个mark点，根据两个mark点的HSV值，在感兴趣深度范围的彩色图像上分别对其进行阈值分割，获取两个mark点的ROI区域二值图像；

步骤4：分别对两个mark点的ROI区域二值图像进行轮廓查找，找出面积最大的轮廓，即为mark点的轮廓，该轮廓的最小外接圆圆心即为mark点的中心点坐标；

步骤5：根据mark点的中心点坐标对应到深度图像的三维世界坐标点；

步骤6：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立初始手术刀模型。

3.根据权利要求2所述的基于手势识别控制的手术辅助导航方法，其特征在于：依据彩色图像对应深度图像中的深度范围进行滤波为：

手术器械活动的区域会在人身体附近的固定空间内，根据此固定空间与摄像头原点位置的距离对深度图像进行滤波，只保留该固定空间内的深度值对应的深度图像，对应彩色图像保留有对应深度图像深度信息的彩色像素点，从而滤波后的彩色图像和其对应的深度图像。

4.根据权利要求2所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述两个mark点分别为颜色不同的彩色mark点。

5.根据权利要求2所述的基于手势识别控制的手术辅助导航方法，其特征在于：对所述两个mark点的ROI区域二值图像进行精细化处理，包括：

步骤1：对二值图像进行开操作，去除噪点；

步骤2：对去除噪点后的二值图像进行闭操作，连接连通域；

步骤3：对连接连通域后的二值图像进行高斯滤波，消除图像中混入的噪声；从而得到处理后的二值图像。

6.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述实时对手术刀的空间位置进行定位，并对定位后的手术刀进行实时建模包括以下过程：

步骤1：依据mark点的轮廓获取Camshift跟踪算法的跟踪区域；

步骤2：通过Camshift跟踪算法，对跟踪区域进行实时跟踪，以跟踪区域的中心点作为手术刀mark点的定位点；

步骤3：根据mark点的定位点坐标对应到深度图像的三维世界坐标点；

步骤4：根据两个mark点的深度图像的三维世界坐标点之间的实际距离，计算出手术刀的长度，建立手术刀模型。

7.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述Camshift跟踪算法的跟踪区域为矩形区域，该矩形边长为轮廓的最小外接圆半径成比例缩放。

8.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：根据手部HSV信息建立个人特征库包括以下过程：

步骤1：分别获取多帧图像的HSV信息；

步骤2：计算HSV信息的均值和方差；

步骤3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库。

9.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：根据手部特征信息建立个人特征库包括以下过程：

步骤1：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤2：对每帧图像的手部区域进行二值化，获取每帧图像的手部区域的二值图像；

步骤3：提取二值图像的手部特征信息；

步骤4：计算手部特征信息的均值和方差，并将手部特征信息的均值和方差存储在个人特征库。

10.根据权利要求9所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述提取二值图像的手部特征信息包括以下过程：

步骤1：对手部区域的二值图像进行meanshift聚类，得到聚类中心区域；

步骤2：对聚类中心区域利用PCA主成分分析法，得到手掌的横宽比θ₁，以及偏转角度θ₂；

步骤3：对聚类中心区域同时进行凸包性分析，将手部各顶点连线，得到手部的凸多边形面积S1和手部二值图高亮面积S2，将二者相除，得到手部凸包性参数θ₃＝S1/S2。

11.根据权利要求1所述的基于手势识别控制的手术辅助导航方法，其特征在于：所述采用多特征分层滤波算法识别当前手势信息包括以下过程：

根据个人特征库存储的ROI区域的HSV空间对当前手势图像进行分割，获取手部特征信息θ_i，并带入公式(1)、(2)获得当前手势图像与个人特征库中第n个手势的相似概率权重ρ_n，如果ρ_n＝0，则表示当前手势是未知手势，否则，ρ_n最大时对应的序号n为识别出的个人特征库中第n个手势的序号；

ρ_n＝ρ_n1×ρ_n2×ρ_n3 (2)

其中，μ_ni和δ_ni分别是个人特征库中样本手势n的第i个特征的均值和方差，θ_i是当前手势的第i个特征，ρ_ni为当前手势图像与个人特征库中第n个手势第i个特征的相似权重；ρ_n为当前手势图像与个人特征库中第n个手势的相似概率权重；i＝1，2，3分别对应手部形状、手部旋转角度、手部凸包性。