CN110032270B - 一种基于手势识别的人机交互方法 - Google Patents

Abstract

本发明涉及一种基于手势识别的人机交互方法，人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；根据手部HSV信息和手部特征信息建立个人特征库；操作中，采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。本发明局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率；采用了实时特征预提取与训练技术，在保证实时性的同时使手势正确识别率达到了99％以上，满足了手势控制手术辅助系统实时性与安全性的需求，同时还使该系统具备了个性化手势定制功能。

Description

一种基于手势识别的人机交互方法

技术领域

本发明涉及计算机视觉和人工智能领域，具体地说是一种基于手势识别的人机交互方法。

背景技术

手势是人与人之间非语言交流的最重要方式，若把手势交互运用到手术辅助导航系统控制上，可使系统与人更方便自然地交互。二者紧密协调，有利于人机共融的实现。手势识别是人与机器人手势交互的重要组成部分，手势识别的准确性和快速性直接影响人与机器人交互的准确性、流畅性和自然性。基于视觉的手势交互，用户无需穿戴设备，具有交互方便、表达丰富和交互自然的优点，符合人机自然交互的大趋势，适用范围广。

然而目前的手术辅助系统在交互方式还是传统的触摸和键盘鼠标等接触式人机交互方式。这种基于接触式设备的控制方式对医生而言并非是一种符合人类本能习惯的交互方式，并且接触式的交互不能保证医生的无菌操作；但如果发明一种符合人类自然交互习惯的、通过手势对无人机进行操控的技术，则这将是迈向更自然的人机交互的一大步。并且，这种可靠性高、实时性好的手势识别在人机协作领域中，应用前景广泛。

发明内容

针对现有技术的不足，本发明提供一种基于手势识别的人机交互方法。

本发明为实现上述目的所采用的技术方案是：

一种基于手势识别的人机交互方法，包括以下步骤：

步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；

步骤2：操作前，根据手部HSV信息和手部特征信息建立个人特征库；

步骤3：操作中，采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。

根据手部HSV信息建立个人特征库包括以下过程：

步骤1：分别获取多帧图像的HSV信息；

步骤2：计算HSV信息的均值和方差；

步骤3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库。

根据手部特征信息建立个人特征库包括以下过程：

步骤1：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤2：对每帧图像的手部区域进行二值化，获取每帧图像的手部区域的二值图像；

步骤3：提取二值图像的手部特征信息；

步骤4：计算手部特征信息的均值和方差，并将手部特征信息的均值和方差存储在个人特征库。

所述提取二值图像的手部特征信息包括以下过程：

步骤1：对手部区域的二值图像进行meanshift聚类，得到聚类中心区域；

步骤2：对聚类中心区域利用PCA主成分分析法，得到手掌的横宽比θ₁，以及偏转角度θ₂；

步骤3：对聚类中心区域同时进行凸包性分析，将手部各顶点连线，得到手部的凸多边形面积S1和手部二值图高亮面积S2，将二者相除，得到手部凸包性参数θ₃＝S1/S2。

所述采用多特征分层滤波算法识别当前手势信息包括以下过程：

根据个人特征库存储的ROI区域的HSV空间对当前手势图像进行分割，获取手部特征信息θ_i，并带入公式(1)、(2)获得当前手势图像与个人特征库中第n个手势的相似概率权重ρ_n，如果ρ_n＝0，则表示当前手势是未知手势，否则，ρ_n最大时对应的序号n为识别出的个人特征库中第n个手势的序号；

ρ_n＝ρ_n1×ρ_n2×ρ_n3 (2)

其中，μ_ni和δ_ni分别是个人特征库中样本手势n的第i个特征的均值和方差，θ_i是当前手势的第i个特征，ρ_ni为当前手势图像与个人特征库中第n个手势第i个特征的相似权重；ρ_n为当前手势图像与个人特征库中第n个手势的相似概率权重；i＝1，2，3分别对应手部形状、手部旋转角度、手部凸包性。

本发明具有以下有益效果及优点：

1.本发明实时将用于人机交互的手势信息进行编码，每种特定的手势信号对应控制三维人体模型执行一种动作。可以让医生无接触的操作三维人体模型显示，并在手术过程中允许对病人病灶的三维模型360度无死角观测，大的方便了医生手术时对模型的操作，也是对病人健康的一种负责；

2.本发明病人人体模型的获取创新性地使用3Dslicer软件，基于病人CTA数据对人体局部建模并openGL显示，局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率，避免模型太大，而降低系统的工作效率；

3.本发明采用了实时特征预提取与训练技术，在保证实时性的同时使手势正确识别率达到了99％以上，满足了手势控制手术辅助系统实时性与安全性的需求，同时还使该系统具备了个性化手势定制功能。

附图说明

图1是本发明的方法流程图；

图2是本发明的手势静态识别工作流程图；

图3是本发明的手势特征与手势信息对照图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示为本发明的方法流程图。

本发明方法从功能上看主要分为两大大功能：1)三维人体模型实时显示、2)手势信号的识别与对显示系统的手势控制编码；

其中人体模型建模的工作包括操作前获取人体CT数据转换成的点云数据利用openGL显示出来；

1.人体模型的建立及实时显示

首先获得患者医疗CTA图片数据，使用3D Slicer打开数据，并建立三维人体模型导出点云数据，然后将点云数据使用openMesh载入，在openGL显示窗口中显示。CTA扫描数据建立三维模型、点云数据导出、openGL显示三维模型。

2.手术过程中通过手势与手术辅助导航系统进行人机交互。

如图2所示为本发明的手势静态识别工作流程图。

步骤2.1：分别获取多帧图像的HSV信息，

步骤2.2：计算HSV信息的均值和方差，

步骤2.3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库；

步骤2.4：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤2.5：获取每帧图像的手部区域的二值图像，

步骤2.6：分别计算每帧图像的二值图像的手部特征信息、并计算手部特征信息的均值和方差；

步骤2.7：将手部特征信息的均值和方差存储在个人特征库；

步骤2.8：操作中利用相机采集当前手势图像，采用多特征分层滤波算法处理并识别当前手势；实时将手势信息进行编码，每种特定的手势信号对应控制三维人体模型执行一种动作，如图3所示为本发明的手势特征与手势信息对照图。例如放大缩小，左旋转、右旋转；将编码发送给openGL模型控制信号输入口，使模型执行动作。共使用竖掌、横掌、竖刀、横刀四种手势，左右手组合后共有12种编码组合方式，本处只使用了7种编码组合方式。分别为左竖掌右竖刀对应三维模型绕x轴顺时针旋转、左竖掌右竖掌使得模型绕x轴逆时针旋转、左横掌右竖掌使模型放大，左横掌右竖刀使模型缩小、左横掌右横刀使模型绕y轴顺时针旋转、左横掌右横掌使模型绕y轴逆时针旋转、左竖刀右竖掌使模型停止动作。

本系统从功能上分为两大部分，分别为病人人体模型的获取与显示和通过智能手势识别的人机交互。

1.其中病人人体模型的获取创新性地使用3Dslicer软件，基于病人CTA数据对人体局部建模并openGL显示,局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率，避免模型太大，而降低系统的工作效率。

2.其中视觉手势识别模块创新性地采用了实时特征预提取与训练技术，在保证实时性的同时使手势正确识别率达到了99％以上，满足了手势控制手术辅助系统实时性与安全性的需求，同时还使该系统具备了个性化手势定制功能。

Claims (4)

1.一种基于手势识别的人机交互方法，其特征在于：包括以下步骤：

步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；

步骤2：操作前，根据手部HSV信息和手部特征信息建立个人特征库；

步骤3：操作中，采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作；

所述采用多特征分层滤波算法识别当前手势信息包括以下过程：

根据个人特征库存储的ROI区域的HSV空间对当前手势图像进行分割，获取手部特征信息θ_i，并带入公式(1)、(2)获得当前手势图像与个人特征库中第n个手势的相似概率权重ρ_n，如果ρ_n＝0，则表示当前手势是未知手势，否则，ρ_n最大时对应的序号n为识别出的个人特征库中第n个手势的序号；

ρ_n＝ρ_n1×ρ_n2×ρ_n3 (2)

其中，μ_ni和δ_ni分别是个人特征库中样本手势n的第i个特征的均值和方差，θ_i是当前手势的第i个特征，ρ_ni为当前手势图像与个人特征库中第n个手势第i个特征的相似权重；ρ_n为当前手势图像与个人特征库中第n个手势的相似概率权重；i＝1，2，3分别对应手部形状、手部旋转角度、手部凸包性。

2.根据权利要求1所述的基于手势识别的人机交互方法，其特征在于：根据手部HSV信息建立个人特征库包括以下过程：

步骤1：分别获取多帧图像的HSV信息；

步骤2：计算HSV信息的均值和方差；

步骤3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库。

3.根据权利要求1所述的基于手势识别的人机交互方法，其特征在于：根据手部特征信息建立个人特征库包括以下过程：

步骤1：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤2：对每帧图像的手部区域进行二值化，获取每帧图像的手部区域的二值图像；

步骤3：提取二值图像的手部特征信息；

步骤4：计算手部特征信息的均值和方差，并将手部特征信息的均值和方差存储在个人特征库。

4.根据权利要求3所述的基于手势识别的人机交互方法，其特征在于：所述提取二值图像的手部特征信息包括以下过程：

步骤1：对手部区域的二值图像进行meanshift聚类，得到聚类中心区域；

步骤2：对聚类中心区域利用PCA主成分分析法，得到手掌的横宽比θ₁，以及偏转角度θ₂；

步骤3：对聚类中心区域同时进行凸包性分析，将手部各顶点连线，得到手部的凸多边形面积S1和手部二值图高亮面积S2，将二者相除，得到手部凸包性参数θ₃＝S1/S2。

Images