CN103226387B - 基于Kinect的视频人手指尖定位方法 - Google Patents

Abstract

本发明提供了一种基于Kinect的视频人手指尖定位方法，包括如下步骤：（1）采集视频信息；（2）分析处理并分割视频信息，获取用户手部；（3）对用户手部的手掌进行椭圆拟合得到椭圆，将所述椭圆的圆心作为手掌心点；（4）对用户手臂点进行定位；（5）对用户指尖进行定位，所述定位包括多指定位和单指定位。具有鲁棒性好等优点。

Description

基于Kinect的视频人手指尖定位方法

技术领域

本发明涉及一种计算机图像处理及模式识别技术，特别涉及一种基于Kinect的视频人手指尖定位方法，本方法以Kinect传感器为取像工具。

背景技术

近年来，基于人手的智能人机交互技术由于其灵活、自然等特性占据着越来越重要的地位。相比传统需要接触硬件设备的技术手段，它更加接近于人机交互的核心理念，拥有着更良好的用户体验。而当中指尖的高自由和灵活性使其蕴含了相对其他部分更加丰富的内涵。指尖数目的变化，位置的变动可以映射为丰富的语义。在此基础上得以发展出一系列应用，如虚拟书写绘画、远程手势控制、虚拟键盘，体感游戏等等。因此绝大部分的人机交互技术都会涉及到指尖的定位。

当前指尖定位的技术总体可以分为两个领域：基于二维视觉的方法还有基于三维建模的方法。前者的主流算法是模板匹配法还有局部曲率最大法，这些方法依赖于人手分割的结果，对局部噪声敏感。另外，它们无法处理指尖正对着摄像头的情况。而三维建模的方法可以取得精确的定位结果，但是传统的三维建模依赖于高精度的摄像头如TOF相机，或者特殊的仪器如数据手套。这些设备由于其高昂的价格制约着它们成为一种真正实用性的应用技术。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于Kinect的视频人手指尖定位方法，这是一种更加鲁棒性的指尖定位方法。借助微软的Kinect传感器来捕捉视角内的用户手部彩色图信息和深度图信息，分割人手和定位指尖位置。指尖定位部分分为“多指定位”和“单指定位”两种情况。其中“多指定位”下，通过分析手部轮廓与其凸外形得到凸缺陷。计算凸缺陷顶点与相邻两谷底点形成的曲率得到候选指尖点。然后根据掌心点和手臂点的位置信息对指尖点进行筛除获得真实指尖数目与位置。在“单指定位”下，针对只需要定位单指的特殊情况。采用一种更精确的指尖定位方法。它针对手部不同的形态方向定义了两种指尖定位模式，并构建一个物理模型来确定在两种模式的切换选择。

本发明的目的通过下述技术方案实现：基于Kinect的视频人手指尖定位方法，包括如下步骤：

（1）通过Kinect采集视频信息，包括彩色图像，还有深度图像；

（2）分析处理并分割视频信息，获取用户手部；

（3）对用户手部的手掌进行椭圆拟合得到椭圆，将所述椭圆的圆心作为手掌心点；

（4）对用户手臂点进行定位；

（5）对用户指尖进行定位，所述定位包括多指定位和单指定位。

所述步骤（5）中：

所述多指定位的步骤如下：

（A）对分割得到的手部轮廓进行多边形拟合，得到拟合多边形；

（B）对轮廓的拟合多边形求凸外形，并由拟合多边形和凸外形这两个闭合曲线得到轮廓凸形缺陷；

（C）求取凸形缺陷各个顶点的曲率，曲率大于一定阈值的被当做候选指尖点；

（D）对手的部分进行分区并且筛除掉上一步的误判指尖点得到最后真实的指尖点数和位置；

所述单指定位的步骤如下：

（a）用最远模式求分割得到的手部区域距离手臂点的二维欧氏距离最大点作为该模式下候选单指尖点；

（b）用最前模式求分割得到的手部区域的最前点作为该模式下候选单指尖点；

（c）根据物理模型在两模式得到结果中选一作为最后真实的指尖点位置。

所述步骤（1）中，采用微软的Kinect传感器采集视频信息，所述视频信息包括彩色图像和深度图像，所述Kinect传感器自身还提供标示当前成像位置里面哪些像素属于用户这一功能（用户图），将用户从背景中分离出来。

所述步骤（3）中，所述椭圆拟合采用迭代拟合，所述迭代拟合的步骤如下：

①在对用户的手的建模中，可以将用户的手掌视为一个椭圆，手指视为圆柱，在求手掌的椭圆拟合里面需要去除手指的影响；

②这里先是对整个手部的轮廓进行第一次最小二乘椭圆线拟合；

③将第一次拟合得到的椭圆与原手部的重叠区域作为第二次椭圆拟合的对象；

④把第二次椭圆拟合的对象与原手部的重叠区域作为第三次椭圆拟合的对象；

⑤第三次椭圆拟合得到准确的手掌的一个椭圆拟合域，设定所述椭圆拟合域的中心为掌心点p_palm。

所述步骤（4）中，对用户手臂点进行定位的方法采用了一种二次深度阈值分割求取手臂点方法，所述二次深度阈值分割求取手臂点方法的步骤如下：

Ⅰ、Kinect自身提供一个视场范围内的用户深度图，基于人体在深度上连续的这一特性和人手需要处于整个人体的最前方的假设。利用Kinect提供的用户图（标示着当前视像里面那些像素属于用户）和深度图（标示着当前视像里面每一个像素位置的景物距离Kinect传感器的距离）。先求整个人体距离Kinect的最近距离点（该点应该为手的最前端）。先使用预设的深度阈值（这个深度阈值的物理意义是手的最前端到手腕的深度范围），将人手从图像中分割出来；

Ⅱ、增加上一步的深度阈值，对原深度图再次进行一次深度阈值分割，

Ⅲ、步骤Ⅰ和步骤Ⅱ的分割得到两个二值图，计算两个二值图的差值图，差值部分可视作手臂的一部分，统计差值部分的中心即为手臂点p_arm。

所述步骤（A）中，所述多边形拟合去除因分割不当造成的局部噪声，并且保留手部的基本形状信息；

所述步骤（B）中，根据所属轮廓凸形缺陷，初步定位指尖的候选位置。考虑到手的形态特征，指尖总处在凸形缺陷的顶点处，而手指间的间隔总处在凸形缺陷的谷底点处；

所述步骤（C）中，求一个顶点（候选指尖点）p_top的曲率时候使用的是顶点p_top和相邻两个谷底点（可能的指尖的间隔处）p_bottom1和p_bottom2，曲率cur计算如下：

$\mathrm{cur}=\frac{<p_{\mathrm{bottom}1}-p_{\mathrm{top}},p_{\mathrm{bottom}2}-p_{\mathrm{top}}>}{\left|\right|p_{\mathrm{ottom}1}-p_{\mathrm{top}}\left|\right|\&CenterDot;\left|\right|p_{\mathrm{bottom}2}-p_{\mathrm{top}}\left|\right|};$

所述步骤（D）中，采用了一个分区来筛除误判的候选指尖点，该分区的确定如下：经过掌心并且与掌心点和手臂点连线垂直的一条直线将分割得到的手部区域分为两部分，当中指尖总不会落在包含手臂的那一块。所以在上一步中得到的候选点如落在此区域，则被排除其作为指尖的可能性。最后剩下的顶点将被视作指尖点，如个数超过5，则按照曲率由大到小取前5个。

所述单指定位使用了一种双模式切换的指尖定位法，所述步骤（a）中采用最远模式，所述最远模式，考虑的是指尖不指向Kinect的情况，在这种情况下，考虑到手部姿态和物理约束，在二维视觉成像里面，指尖点应该距离手臂点最远。通过寻找分割得到的手部区域R_hand里面，距离手臂点p_arm最大二维欧氏距离的点p_farthest作为候选指尖点：

$p_{\mathrm{farthest}}={\arg \max }_{p\&Element;R_{\mathrm{hand}}}\left|\right|p-p_{\mathrm{arm}}\left|\right|,$

符号||·||即计算两个点的二维欧氏距离，上面公式的意义是对每一个属于手部区域R_hand的点P,计算它与点P_arm的二维欧式距离，然后取与P_arm的距离最大者赋值给p_farthest。

所述单指定位使用了一种双模式切换的指尖定位法，所述步骤（b）中，采用最前模式，所述考虑的是指尖指向Kinect的情况，在这种情况下，考虑到手部姿态和物理约束，指尖点应该属于整个人手距离Kinect最近的点。通过寻找分割得到的手部区域R_hand中，在对应的深度图里面有着最小深度值的点p_frontal作为候选指尖点：

$p_{\mathrm{frontal}}={\arg \min }_{p\&Element;R_{\mathrm{hand}}}d\left(p\right),$

其中d(p)表示在深度图中位于点p的深度值。

所述单指定位使用了一种双模式切换的指尖定位法，所述步骤（c）中，建立了一个手部模型来确定选用那一种模式的结果。在实验和观察中，当指尖并非指向Kinect的时候，一方面，考虑到手的形态约束，指尖总不会处在手掌的椭圆拟合域之内；另一方面，指尖与掌心p_palm的连线和手的方向（手臂点p_arm指向掌心点）形成的交角θ总需要小于一个指定角度阈值30°，其中θ计算如下：

当使用最远模式得到的候选指尖点p_farthest不满足以上两个条件当中的任何一个，则意味着手的当前形态应该为正指向Kinect，这时候选用最前模式的结果p_frontal，否则，使用p_farthest。

本发明可运用到如下应用领域：

1、体感游戏中手势控制交互。

2、空中虚拟手写绘画。

3、手势远程操控智能机器人。

4、虚拟键盘。

除上述的领域，还可以运用到其他需要远程手势操控的应用场合

本发明相对于现有技术具有如下的优点及效果：

1、通过一种迭代椭圆拟合的方法去除手指的影响而得到一个更加准确的手掌椭圆拟合域和掌心点位置。

2、手臂点定位使用了一种深度阈值二次分割的定位方法，能够有效得到手臂点的位置。手臂点和掌心点两者构成了描述手部方向形态的一个重要信息。

3、“多指定位”下，采用了对分割的手部轮廓求取多边形拟合的方法来去除局部噪声同时保留了原始的手部形状特点。

3、“多指定位”下，通过掌心点和手臂点两者的位置信息将手部分割为两个区域，并以此筛除错误定位的指尖点。使得指尖定位对轮廓（特别是手臂后部分）的噪声有更好的鲁棒性。

4、“单指定位”下，两种模式的切换可以有效针对手的不同形态采用不同的指尖定位模式策略。其中“最远模式”相比传统二维视觉方法对人手分割的质量好坏敏感度更低。而“最前模式”则解决了二维视觉方法无法解决的指尖正对摄像头情况下的定位难题。

5、构建了一个手部的物理模型，并用来判断当手处于不同姿态方向时候在两种指尖定位模式中的切换选择。

附图说明

图1为本发明的系统结构框图。

图2为多指定位示意图，其中虚线是手部轮廓的凸外形，五边形是凸外形的谷底点，三角形是凸外形的顶点，圆形是手臂点，矩形是掌心点，椭圆形是手掌的一个椭圆拟合域。

图3为单个手指定位的手部物理模型示意图,其中的圆形代表手臂点，矩形是掌心点，菱形是单指定位“最远模式”下得到的候选指尖点，θ是指尖与掌心的连线和手的方向，即手臂点指向掌心点所形成的交角，是手部物理模型的一个角度阈值，椭圆形是手掌的一个椭圆拟合域。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，为本发明的系统结构框图，通过Kinect获取用户手写视频后，进行人手分割，将手部这一感兴趣区域从背景中分离。分割后对手掌进行椭圆拟合并且得到掌心点。然后通过二次深度阈值分割方法得到手臂点。此后系统分为两个模块：“多指定位”模块与“多指定位”模块。在“多指定位”模块中，对手部轮廓进行多边形拟合去除轮廓噪点。然后求取其凸外形，利用拟合多边形和凸外形构成凸缺陷。通过计算凸缺陷顶点的曲率得到候选指尖点。对手的部分进行分区并且筛除掉上一步的误判指尖。“单指定位”模块中用“最远模式”和“最前模式”两种指尖定位方法对指尖定位，然后通过一个物理模型来确定在两种模式的切换选择。

本实施例包括如下主要步骤：

1、获取用户手写视频；

本发明的第一步是获取用户的手写视频。系统采用了微软的Kinect作为视频采集的传感器。它提供了帧率为30fps的大小为640*480的彩色图信息和深度图信息，可以满足一个实时手写系统的需求。深度信息的引入可以更好地辅助人手分割和指尖的定位。同时，Kinect向外提供API调用,其中包括标示当前成像位置里面哪些像素属于用户这一功能，这帮助将用户由复杂背景中分离出来。

2、人手分割；

为实现有效而鲁棒性好的人手分割，本发明采用是采用了一种混合模型的分割算法，它对肤色模型、深度模型和背景模型分别建模。最后的分割结果是三个模型分割结果的一种动态综合。

3、手掌椭圆拟合和掌心定位；

这里采用了一种迭代拟合的方法。在对手的建模中，可以将手掌视为一个椭圆，手指为圆柱。在求手掌的椭圆拟合里面需要去除手指的影响。这里先是对整个手部的轮廓进行一次“最小二乘”意义上的椭圆拟合。将一次拟合得到的椭圆与原手部的重叠区域作为第二次椭圆拟合的对象，如此迭代三次之后可以得到准确的手掌的一个椭圆拟合域。并且此椭圆拟合域的中心可以视作掌心点，即p_palm。示意图2和3的椭圆即为最后所得到的手掌椭圆拟合域。图中的矩形点是最终拟合得到的椭圆中心点，也就是需要求取的掌心点p_palm。

4、深度二次阈值分割求手臂点；

Kinect自身提供一个视场范围内的用户深度图，基于人体在深度上连续的这一特性和人手需要处于整个人体的最前方的假设。利用Kinect提供的用户图（标示着当前视像里面那些像素属于用户）和深度图（标示着当前视像里面每一个像素位置的景物距离Kinect传感器的距离）。先求整个人体距离Kinect的最近距离点（该点应该为手的最前端）。先使用一个经验的深度阈值（这个深度阈值的物理意义是手的最前端到手腕的深度范围），将人手从图像中分割出来。此后，增加这一深度阈值再次对原深度图进行一次深度阈值分割，前后两次得到的二值图的差值可视作属于手臂的一部分，统计该差值部分的中心即为手臂点p_arm。示意图2、3的圆点是得到的手臂点p_arm。

5、“多指定位”中对手部轮廓求多边形拟合；

在多指定位分析手部轮廓的形态特征时候，采用了多边形拟合的技术，拟合曲线可以去除因分割不当造成的局部噪声，同时保留了手部的基本形状信息。

6、“多指定位”中求拟合多边形的凸外形和凸缺陷；

求拟合多边形的凸外形。两者得到的轮廓凸形缺陷，初步定位了指尖的候选位置。考虑到手的形态特征，指尖总处在凸形缺陷的顶点处，而手指间的间隔总处在凸形缺陷的谷底点处。示意图2的三角形是凸缺陷的顶点，五边形是凸缺陷的谷底点。在凸缺陷的所有顶点中，靠近手臂的两个顶点不属于指尖，需要被排除。

7、“多指定位”中求取凸形缺陷各个顶点的曲率得候选指尖点；

求一个顶点p_top的曲率时候使用的是顶点（候选指尖点）p_top和相邻两个谷底点（可能的指尖间隔处）p_bottom1和p_bottom2。曲率cur计算如下：

$\mathrm{cur}=\frac{<p_{\mathrm{bottom}1}-p_{\mathrm{top}},p_{\mathrm{bottom}2}-p_{\mathrm{top}}>}{\left|\right|p_{\mathrm{ottom}1}-p_{\mathrm{top}}\left|\right|\&CenterDot;\left|\right|p_{\mathrm{bottom}2}-p_{\mathrm{top}}\left|\right|}$

凸缺陷的顶点曲率如果大于一个指定阈值，则被初步视作定位得到的候选指尖点，但还需要对这些候选点进行筛除。

8、对手分区并且筛除掉误判指尖点；

该分区的确定如下：经过掌心并且与掌心点和手臂点连线垂直的一条直线将分割得到的手部区域分为“指尖-手掌”和“手掌-手臂”这两部分，指尖总不会落在包含手臂的那一块。所以在上一步中得到的候选点如落在此区域，则被排除其作为指尖的可能性。示意图2靠近手臂的两个凸缺陷的顶点属于“手掌-手臂”分区，可以被有效排除。最后剩下的顶点将被视作指尖点。如果筛选剩下的指尖点个数超过5，则按照曲率由大到小取前5个。

9、“单指定位”的“最远模式”定位候选指尖点；

它考虑的是指尖不指向Kinect的情况。在这种情况下，考虑到手部姿态和物理约束，在二维视觉成像里面，指尖点应该距离手臂点最远。通过寻找分割得到的手部区域R_hand里面，距离手臂点p_arm有着最大二维欧氏距离的点p_farthest作为候选指尖点：

$p_{\mathrm{farthest}}={\arg \max }_{p\&Element;R_{\mathrm{hand}}}\left|\right|p-p_{\mathrm{arm}}\left|\right|,$

符号||·||即计算两个点的二维欧氏距离，上面公式的意义是对每一个属于手部区域R_hand的点P,计算它与点P_arm的二维欧式距离，然后取与P_arm的距离最大者赋值给p_farthest。

示意图3的棱形点即为在“最远模式”下定位得到的候选指尖点p_farthest。显然在示意图3这种指尖非指向摄像头的情况下，它没有落在手掌的椭圆拟合域之内，同时基于人手的一种物理上的约束，它与掌心的连线和手的方向（手臂点指向掌心点）形成的夹角θ也应该在一个约束的范围内(30°以内)。

10、“单指定位”的“最前模式”定位候选指尖点；

它考虑的是指尖指向Kinect的情况。在这种情况下，考虑到手部姿态和物理约束，指尖点应该属于整个人手距离Kinect最近的点。这个距离的概念可以通过Kinect传感器的深度图得到。通过寻找分割得到的手部区域R_hand中，在对应的深度图里面有着最小深度值的点p_frontal作为候选指尖点：

$p_{\mathrm{frontal}}={\arg \min }_{p\&Element;R_{\mathrm{hand}}}d\left(p\right),$

其中d(p)表示在深度图中位于点p的深度值。

11、物理模型在两模式得到结果中选择其一；

图3建立了一个手部物理模型来确定选用那一种模式的结果。在实验和观察中，当指尖并非指向Kinect的时候，一方面，考虑到手的形态，指尖总不会处在手掌的椭圆拟合域之内；另一方面，指尖与掌心p_palm的连线和手的方向（手臂点p_arm指向掌心点）形成的交角θ总需要小于一个指定角度阈值其中θ计算如下：

当使用“最远模式”得到的候选指尖点p_farthest不满足以上两个条件当中的任何一个，则意味着手的当前形态应该为正指向Kinect。这时候选用“最前模式”的结果p_frontal，否则，使用p_farthest。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、

替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种视频人手指尖定位方法，其特征在于，包括如下步骤：

(1)通过Kinect捕捉视频信息；

(2)通过分析视频信息，将用户的手部从背景中分割出来；手部分割是基于空中写字时手部距离摄像头最近的假设，从最前点向后一个深度阈值内的点即为分割出的手部区域；

(3)在人手分割的结果上对手部进行三视图投影；将正视图的深度数据逐点转换成右视图和俯视图的深度数据，并统计分割出手部在图像中的不同行、列的厚度；

(4)在投影的结果上，利用不同视图的信息计算出手指的像素点；

(5)手指的区域内具有若干候选手指像素，从候选手指像素中定位指尖点；

步骤(1)中，所述视频信息包括彩色图像和深度图像；同时，OpenNI的标示当前帧的用户区域的功能将用户从复杂背景中分离出来。

2.根据权利要求1所述的视频人手指尖定位方法，其特征在于，所述步骤(3)中，所述三视图投影的投影方法为：正视图的每一点转换成右视图中相同高度的一行，该点在正视图中的深度即为其在右视图中到最左边的距离，逐行地、从左到右地将正视图的点转换到右视图，在右视图即为从远到近地给像素赋值，并且较近的点会覆盖较远的点，生成俯视图过程与之相似，正视图的每一点转换成俯视图中的一列，该点在正视图中的深度即为其在俯视图中到最前边的距离，从左到右地将正视图的点转换到俯视图，在俯视图即为从远到近地给像素赋值，并且较近的点会覆盖较远的点，通过深度信息采用所述用三视图投影的投影方法生成任意方向的投影视图，依据需要选取投影图。

3.根据权利要求1所述的视频人手指尖定位方法，其特征在于，步骤(3)中，在生成所述右视图和俯视图的过程中，统计手部不同厚度的像素数，在生成右视图的投影过程中，正视图每一行中的点从左到右地扫描，当遇到前景像素时开始计数，再次遇到背景像素时停止计数，该计数值即为手部在该行的厚度；处理俯视图时，正视图每一列中的点从上到下地扫描，当遇到前景像素时开始计数，再次遇到背景像素时停止计数，该计数值即为手部在该列的厚度。

4.根据权利要求1所述的视频人手指尖定位方法,其特征在于，所述步骤(3)中，利用厚度直方图来区分所述手部的拳部和伸出的手指。

5.根据权利要求1所述的视频人手指尖定位方法，其特征在于，所述步骤(5)包括以下步骤：

(A)将每个候选点与拳部中心点和前臂点连接构成一个夹角，并利用手部弯曲在物理上的约束将构成夹角小于90°的候选手指像素移除；

(B)从剩下的候选手指像素中选取距离拳部中心点最远的点，作为指尖点。

6.根据权利要求5所述的视频人手指尖定位方法，其特征在于，所述步骤(A)中，所述前臂点利用了加大步骤(2)中用于分割出手部的深度阈值来获得；利用Kinect获得的深度图以及OpenNI的提取用户区域功能，获得用户区域深度图；基于人体在深度上连续的这一特性，先在最前点使用一个深度阈值将人手第一次分割出来，之后通过增加深度阈值的数值将人手第二次分割，第一次分隔出来的人手与第二次分割出来的人手的差值属于手臂的一部分，所述差值的中心点即为前臂点。

7.根据权利要求5所述的视频人手指尖定位方法，其特征在于，所述步骤(B)中，选取手指上离拳部中心点最远的点作为指尖点；首先计算拳部所有像素点三维空间上坐标的平均值定义为拳部中心点，然后从步骤(A)筛选剩下的候选手指像素中，选取距离拳部中心点最远的点，作为指尖点。

8.根据权利要求5所述的视频人手指尖定位方法，其特征在于，所述步骤(A)中，将每个候选点与拳部中心点和前臂点连接构成一个夹角θ，将构成夹角小于90°的候选手指像素移除；所述构成夹角小于90°的候选手指像素是拳部的具有手指的厚度特征的特殊点，利用手部弯曲的物理约束移除后，剩下的候选点即为正确的手指区域点。