CN105046199A - 基于像素分类器和椭圆拟合的指尖点提取方法 - Google Patents

Abstract

本发明涉及一种基于像素分类器和椭圆拟合的指尖点提取方法，利用OpenNI（开放式自然交互）提供的手心点坐标，将手区域分割出来，然后利用贝叶斯肤色模型去除非肤色区域，提取精确的手区域；定义了一种像素分类器将手指区域聚类，然后提取手指区域的轮廓，最后采用最小二乘法进行椭圆拟合，将椭圆长轴两端点中距离手心点最远的那个点为指尖点。优点在于：本发明是基于纯视觉方法实时准确的检测指尖点，与数据手套和彩色手套方法相比，本方法更加自然和舒适。

Description

基于像素分类器和椭圆拟合的指尖点提取方法

技术领域

本发明涉及一种基于像素分类器和椭圆拟合的指尖点提取方法，基于Kinect深度相机，通过OpenNI跟踪的手心点三维坐标，首先将手区域分割出来，肤色模型提取精确的手区域，然后将指尖点精确的提取出来。

背景技术

在Kinect等深度相机出来之后，很多研究者利用Kinect做了手势识别的研究。Raheja等利用Kinect进行手区域的分割，然后根据指尖点具有最小深度值这一事实去搜索深度图，找到指尖点的位置，该方法在手运动较快，出现运动模糊的情况下效果不佳。Ren等利用Kinect的深度图，并在手腕处绑一个黑色的带子来得到精确的手区域，然后生成该手区域的时间序列图像，在时间序列图像上进行阈值判断得到指尖点的位置，最后给出了基于FEMD(Finger_EarthMover^，sDistance)的手势识别方法。该指尖检测算法必须要求手区域很精确，若包含手臂区域则会出现多余的检测，因此他需要利用一个黑色带子作为辅助，这违背了裸手交互的原则。Harrison等将Kinect和一个投影仪结合起来，通过检测指尖位置和识别指尖与平面的触碰等技术，实现了让用户可以同投影到任意平面上的虚拟物体进行交互的技术。

手势识别首先进行手势的分割，手势分割属于计算机视觉领域中的图像分割问题，由于图像中存在背景、光照和阴影等方面的多方面问题，它始终是一个手势识别研究领域的难点。针对手势分割领域存在的种种困难，以前的研究者进行了大量的研究。在这些工作中，肤色是最为广泛的特征。

手势分割完成后，进行二维特征点提取。Pan等通过对每个轮廓点根据不同的邻接跨度计算多个夹角，然后取最大的夹角做阈值判断并对相隔较近的指尖候选点进行椭圆拟合的方式得到指尖点，这种方法能在一定的程度上克服基于轮廓方法的缺点。Dung等首先利用open操作得到手指区域，然后利用几何计算的方式求得精确的指尖位置。该方法的一个缺点是确定合适的open操作窗口大小是不容易的。

发明内容

本发明的目的在于提供一种基于像素分类器和椭圆拟合的指尖点提取方法，解决了现有技术存在的上述问题。由于指尖点区域相对较小而且属于手区域边缘点，本发明采用基于像素分类和椭圆拟合的方法精确提取指尖点。本发明将指尖点检测出来，及OpenNI跟踪的手心点，根据这几个检测点的位置设计手势识别，将手势识别与虚拟现实结合起来，设计了两个应用。

本发明的上述目的通过以下技术方案实现：

基于像素分类器和椭圆拟合的指尖点提取方法，利用OpenNI跟踪的手心点坐标，将手区域分割出来，然后利用贝叶斯肤色模型去除非肤色区域，提取精确的手区域；定义了一种像素分类器将手指区域聚类，然后提取手指区域的轮廓，最后采用最小二乘法进行椭圆拟合，将椭圆长轴两端点中距离手心点最远的那个点为指尖点；具体步骤如下：

（1）手区域分割；

（2）贝叶斯肤色模型提取精确的手区域；

（3）对提取的精确手区域进行基于像素分类器的方法提取手指区域，然后形态学去噪，对手指区域提取轮廓，对轮廓进行椭圆拟合，提取指尖点。

所述的步骤（1）手区域分割的步骤是：

（1.1）二维方向的分割：以OpenNI跟踪的手心点的为中心，在二维方向上设定一个包含手区域的矩形。

（1.2）深度方向的分割：二维方向的分割会包含背景，所以深度方向上将背景剔除掉，以手心点的深度值为参考，前后设定一个深度范围，再此深度范围内的物体被分割出来；这样有效的将背景去除。

所述的步骤（2）贝叶斯肤色模型提取精确的手区域是：分割出的手区域比较粗糙，所以要用肤色模型去除那些非肤色区域，提取精确的手区域；采用YCbCr颜色空间来构建肤色模型，其原因是它的离散性与人的视觉感知的同一性，亮度和色度分离以及肤色聚集区域紧凑等特性；在YCbCr颜色空间中，亮度信息用单个分量Y来表示，彩色信息用两个色差分量Cb和Cr来存储，Cb表示蓝色色度，Cr表示红色的色度；具体步骤是：

（2.1）创建肤色模型

首先，采集一些手的肤色图片，然后每张图片图像处理软件制作相应的二进制掩码图；掩码图中，用0表示非肤色，1表示肤色；

在制作完样本图像后，将样本的彩色图像从RGB颜色空间转化为YCrCb颜色空间，因为与亮度分量相比，皮肤色调与色度分量关系更大，所以选择YCrCb空间的Cr和Cb分量的贝叶斯分布；利用这些转化后的YCrCb和其对应的掩码图，然后建立肤色模型；建立肤色模型的过程就是建立肤色直方图和非肤色直方图的过程，如果掩码图某个像素为1，表示是该像素是手区域，相对应的YCrCb图像的该像素的[Cr][Cb]分量在直方图的高度加1个单位；如果掩码图的某像素为0，表示该像素不是手区域，相对应的YCrCb图像的该像素的不是肤色，该像素的[Cr][Cb]分量在非肤色直方图中的高度加1个单位；

（2.2）贝叶斯肤色计算

根据直方图提供的数据，再利用贝叶斯分类器计算每个[Cr][Cb]分量是肤色的概率；概率大于60%被认为为肤色，并在相应的数据结构中记录下；给定任意图像，将其转换为YCbCr颜色空间，通过查找表，得到该图像的哪些像素为肤色，哪些像素为非肤色，将肤色像素点显示为白色，非肤色显示为黑色，这样得到提取肤色后的二值图像。

所述的步骤（3）中提取指尖点的步骤是：

（3.1）基于像素分类方法提取指尖区域

根据指尖的几何特点，定义一个正方形作为像素分类器，根据手区域与正方形交点的个数，对像素进行分类；

（3.2）指尖点的提取

指尖点提取分两步：一、提取手指区域，然后形态学去噪，对手指区域提取轮廓；二、用最小二乘法对轮廓进行椭圆拟合，求得指尖点。

将得到的提尖点中的食指指尖点和手心点的连成直线，根据直线与坐标轴的夹角定义了食指指向的手势，并应用到虚拟漫游和增强现实场景中。

本发明的有益效果在于：本发明基于纯视觉的方法实现手指尖点的检测，与数据手套和颜色手套的手势识别相比，裸手交互更加自然，成本低。在基于视觉的手势识别研究中，基于模板匹配和轮廓的方法对稍微有点弯曲的手指检测效果不好，基于形态学去噪的方法速度比较慢，经常误检测到指尖点，本发明基于像素分类和椭圆拟合的方法实时准确的检测到指尖点。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的提取精确手区域的流程图；

图2为本发明的输入的彩色图像。

图3为本发明的深度图像。

图4为本发明的分割出的手区域的二值图像。

图5为本发明的将手区域的二值图像作为掩码图，从图2中提取的手区域的彩色图；

图6为本发明的贝叶斯肤色直方图；

图7为本发明的贝叶斯非肤色直方图；

图8为本发明的贝叶斯肤色模型提取精确手及手臂区域，分割出的手及手臂的彩色图；

图9为本发明贝叶斯提取的手及手臂区域；

图10至图17为本发明的手区域像素分类的示意图；

图18为本发明的基于像素分类的流程图；

图19为本发明的基于深度和肤色模型分割出的二值图像；

图20为本发明的基于像素分类的结果图；

图21为本发明的像素分类结果、提取手指和指尖区域、提取的轮廓及椭圆拟合求得指尖点的示意图；

图22为本发明的五指的手指宽度训练图；

图23为本发明的范围确定手指的指向流程图，其中；

图24为本发明的上指、右指、左指、下指图；

图25为本发明的手势识别应用于虚拟漫游系统的框架图；

图26至图29为本发明的食指指向在虚拟现实中的应用场景图。

具体实施方式

下面结合附图进一步说明本发明的详细内容及其具体实施方式。

参见图1至图29所示，本发明的基于像素分类器和椭圆拟合的指尖点提取方法，利用OpenNI跟踪的手心点坐标，将手区域分割出来，然后利用贝叶斯肤色模型去除非肤色区域，提取精确的手区域；定义了一种像素分类器将手指区域聚类，然后提取手指区域的轮廓，最后采用最小二乘法进行椭圆拟合，将椭圆长轴两端点中距离手心点最远的那个点为指尖点；具体步骤如下：

（1）手区域分割；

（2）贝叶斯肤色模型提取精确的手区域；

（3）对提取的精确手区域进行基于像素分类器的方法提取手指区域，然后形态学去噪，对手指区域提取轮廓，对轮廓进行椭圆拟合，提取指尖点。

所述的步骤（1）手区域分割的步骤是：

（1.1）二维方向的分割：以OpenNI跟踪的手心点的为中心，在二维方向上设定一个包含手区域的矩形。

（1.2）深度方向的分割：二维方向的分割会包含背景，所以深度方向上将背景剔除掉，以手心点的深度值为参考，前后设定一个深度范围，再此深度范围内的物体被分割出来；这样有效的将背景去除。

所述的步骤（2）贝叶斯肤色模型提取精确的手区域是：分割出的手区域比较粗糙，所以要用肤色模型去除那些非肤色区域，提取精确的手区域；采用YCbCr颜色空间来构建肤色模型，其原因是它的离散性与人的视觉感知的同一性，亮度和色度分离以及肤色聚集区域紧凑等特性；在YCbCr颜色空间中，亮度信息用单个分量Y来表示，彩色信息用两个色差分量Cb和Cr来存储，Cb表示蓝色色度，Cr表示红色的色度；具体步骤是：

（2.1）创建肤色模型

首先，采集一些手的肤色图片，然后每张图片图像处理软件制作相应的二进制掩码图；掩码图中，用0表示非肤色，1表示肤色；

在制作完样本图像后，将样本的彩色图像从RGB颜色空间转化为YCrCb颜色空间，因为与亮度分量相比，皮肤色调与色度分量关系更大，所以选择YCrCb空间的Cr和Cb分量的贝叶斯分布；利用这些转化后的YCrCb和其对应的掩码图，然后建立肤色模型；建立肤色模型的过程就是建立肤色直方图和非肤色直方图的过程，如果掩码图某个像素为1，表示是该像素是手区域，相对应的YCrCb图像的该像素的[Cr][Cb]分量在直方图的高度加1个单位；如果掩码图的某像素为0，表示该像素不是手区域，相对应的YCrCb图像的该像素的不是肤色，该像素的[Cr][Cb]分量在非肤色直方图中的高度加1个单位；

（2.2）贝叶斯肤色计算

根据直方图提供的数据，再利用贝叶斯分类器计算每个[Cr][Cb]分量是肤色的概率；概率大于60%被认为为肤色，并在相应的数据结构中记录下；给定任意图像，将其转换为YCbCr颜色空间，通过查找表，得到该图像的哪些像素为肤色，哪些像素为非肤色，将肤色像素点显示为白色，非肤色显示为黑色，这样得到提取肤色后的二值图像。

所述的步骤（3）中提取指尖点的步骤是：

（3.1）基于像素分类方法提取指尖区域

根据指尖的几何特点，定义一个正方形作为像素分类器，根据手区域与正方形交点的个数，对像素进行分类；

（3.2）指尖点的提取

指尖点提取分两步：一、提取手指区域，然后形态学去噪，对手指区域提取轮廓；二、用最小二乘法对轮廓进行椭圆拟合，求得指尖点。

将得到的提尖点中的食指指尖点和手心点的连成直线，根据直线与坐标轴的夹角定义了食指指向的手势，并应用到虚拟漫游和增强现实场景中。

实施例1：

手区域的分割：

参见图1至图5所示，二维方向上的分割：首先利用OpenNI跟踪手心点位置，先在二维方向上将手及手臂区域分割：手心点为矩形的中心，分割一个包含手及手臂区域的矩形。

为手心点在二维方向上的坐标。表示矩形的边长。

在深度方向的分割：根据Kinect提供的深度图，提取手点的深度值，确定手及手臂区域。如果并且该点深度值满足，是手及手臂区域内的点，即：

其中标记像素点是否为手及手臂区域，表示跟踪到的手点的深度值，表示像素点处的深度值，k表示手及手臂的最大深度范围，本文取为160mm。

实施例2：

提取肤色区域：

参见图6至图9所示，由于Kinect数据的特点，导致手及手臂区域的边缘锯齿比较明显，这会影响后面轮廓提取的准确性。因此，在得到手及手臂区域后，应用贝叶斯肤色模型，去除那些不是肤色的地方，得到精确的手及手臂区域。

1.肤色模型的创建

本文采用YCbCr颜色空间来构建肤色模型，其原因是它的离散性与人的视觉感知的同一性，亮度和色度分离以及肤色聚集区域紧凑等特性。在YCbCr颜色空间中，亮度信息用单个分量Y来表示，彩色信息用两个色差分量Cb和Cr来存储，Cb表示蓝色色度，Cr表示红色的色度。

首先，采集一些手的肤色图片，然后每张图片图像处理软件制作相应的二进制掩码图。掩码图中，用0表示非肤色，1表示肤色。

在制作完样本图像后，将样本的彩色图像从RGB颜色空间转化为YCrCb颜色空间，因为与亮度分量相比，皮肤色调与色度分量关系更大，所以选择YCrCb空间的Cr和Cb分量的贝叶斯分布。利用这些转化后的YCrCb和其对应的掩码图，然后建立肤色模型。建立肤色模型的过程就是建立肤色直方图和非肤色直方图的过程，如果掩码图某个像素为1，表示是该像素是手区域，相对应的YCrCb图像的该像素的[Cr][Cb]分量在直方图的高度加1个单位。如果掩码图的某像素为0，表示该像素不是手区域，相对应的YCrCb图像的该像素的不是肤色，该像素的[Cr][Cb]分量在非肤色直方图中的高度加1个单位。

2.贝叶斯肤色的计算

，

计算每个分量的肤色的概率：

当时，就认为是肤色，在相应的数据结构中标记的记录为true，否则为false。其实贝叶斯肤色型就是创建了一个肤色查找表，这个查找表里的记录了每个分量是否为肤色。给定任意YCrCb颜色的分量，只要查找相应数据结构的记录是否为true。

实施例3：

参见图10至图21所示，由于手区域的检测是根据Kinect提供的深度值来进行的，但是Kinect提供的深度值是具有误差，这就导致了在运动的时候手区域的轮廓是不准确的，因为运动模糊现象的存在，效果就会更加差。基于模板和轮廓的指尖检测算法对于稍稍弯曲的手指尖的检测准确率不高，而基于形态学操作的指尖检测算法速度会比较慢，耗时较多且频繁的误检测到指尖点。所以，本发明选择了基于像素分类器的方法提取手指和指尖区域，然后用椭圆拟合求取指尖点的位置。

（1）基于像素分类器的方法提取手指区域

根据指尖的几何特点，本文定义了一个正方形作为像素分类器，根据手区域与正方形交点的个数，对像素进行分类。

遍历图像中的每个像素点，如果像素点值为0，表示是背景区域，否则，以该点P为中心，L为边长，做平行于坐标轴的正方形，判断正方形与手区域的交点个数，关于正方形的边长L的选取在后面像素分类器参数训练部分讨论。

特征1：交点个数为0，P点表示该像素点是手掌或手臂内部像素点，如图16所示。

特征2：交点个数为4，P点表示该像素点为手指区域，如图12所示。

特征3：交点个数为2，如果正方形存在相邻两边与手区域的交点个数至少有一边为0并且两边相交的顶点像素值不为0，表示P点为手或手臂区域的边缘像素点，如图11和图13所示，否则为特征4或特征5。

特征4：计算两交点之间的距离，如果距离小于边长L（确保P点与手指尖区域接近），P像素点为指尖区域像素点，如图14和图15所示。

特征5：计算两交点之间的距离，如果距离大于等于边长L，该像素点为手臂下边缘像素点。

如果正方形的一边切好相切与手指尖的一点，这种情况是4个交点，不是3个，如图17所示。本文这样计算交点个数：遍历正方形边上的像素点，如果相邻像素点的值相异，这条边与手区域的交点个数加1。如果正方形的一边正好跟手指尖的一点相切，切点的像素值为1，而切点左边相邻的像素值为0，存在相邻两点像素值相异，计数一次；切点右边相邻像素值为0，与切点相异，再计数一次。其实如图17的情况是4点交点，即手指像素。

图20为根据分割出的二值图像的像素分类结果图，红色为指尖区域，黄色为手指，黑色为手及手臂区域的边缘，蓝色为手的内部区域，绿色为手臂。

（2）指尖点的提取

指尖点提取分两步：一，提取手指区域，然后形态学去噪，提取轮廓；二，用最小二乘法对轮廓进行椭圆拟合，求得指尖点。

利用上一步得到的像素分类结果，提取手指区域和指尖点区域，也就是黄色和红色区域，然后形态学去噪，提取手指区域和指尖点区域的轮廓，然后对轮廓进行椭圆拟合，椭圆长轴有两个端点，分别计算这两个端点距离手心点的距离，将椭圆长轴端点中距离手心点较远的那个点作为指尖点。如图21所示。

（3）关于像素分类器的训练

在基于像素分类提取指尖区域时，由于人的五个手指的宽度不同，而人与人的手指的宽度又有差异，以及距离深度相机的远近不同等原因，正方形边长的长度的选择是至关重要的，直接影响到指尖提取的精确度。

本发明的像素分类器的训练过程：在选定的深度范围内，每次伸出一个手指，手指要伸直不要弯曲，在此深度范围内前后缓慢移动，在移动的过程中采用基于轮廓的方法提取指尖点，以提取的指尖点为圆心，设定长度r=20为半径做圆，此圆与手指有两个交点，计算两个交点的距离，即手指的宽度，在此深度范围内，隔一段时间换五指中其他手指，反复测试，提取不同手指的在此深度范围内的宽度。本文选择了六个深度范围，将每个深度范围的手指宽度值输出，求得手指宽度的范围，取手指宽度范围的中间值加3px作为正方形的边长。图22为手指宽度的训练结果图。

深度值范围手指的宽度范围正方形边长选取()

[1001mm，1100mm][10px，13px]12px+

[901mm,1000mm][12px，16px]14px+

[801mm,900mm][15px,20px]17px+

[701mm,800mm][18px，23px]20px+

[601mm,700mm][23px,26px]24px+

[501mm,600mm][24px,28px]26px+

实施例4：

参见图23至图29，食指指向手势的设计及应用：

（1）手势的定义及计算方法

食指是五指中比较灵活且最常用于指示方向和位置，通过计算指尖点和手点的位置确定食指的指向。

设食指指尖点为：，手心点为：，两点确定的直线与坐标轴轴正向的夹角为：。

（2）食指指向的应用设计

在虚拟漫游场景中，通常通过鼠标键盘的来控制虚拟人物或第一人称视角的走向。通过手势识别来取代鼠标键盘，控制虚拟场景中的漫游走向。例如，食指向上指在，虚拟漫游场景中的虚拟人物就前进。食指向左指在，虚拟人物向左走。图25为食指指向手势应用到虚拟虚拟漫游系统的框架图。

以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于像素分类器和椭圆拟合的指尖点提取方法，其特征在于：利用OpenNI提供的手心点坐标，将手区域分割出来，然后利用贝叶斯肤色模型去除非肤色区域，提取精确的手区域；定义了一种像素分类器将手指区域聚类，然后提取手指区域的轮廓，最后采用最小二乘法进行椭圆拟合，将椭圆长轴两端点中距离手心点最远的那个点为指尖点；具体步骤如下：

（1）手区域分割；

（2）贝叶斯肤色模型提取精确的手区域；

（3）对提取的精确手区域进行基于像素分类器的方法提取手指区域，然后形态学去噪，对手指区域提取轮廓，对轮廓进行椭圆拟合，提取指尖点。

2.根据权利要求1所述的基于像素分类器和椭圆拟合的指尖点提取方法，其特征在于：所述的步骤（1）手区域分割的步骤是：

（1.1）二维方向的分割：以OpenNI跟踪的手心点为中心，在二维方向上设定一个包含手区域的矩形；

（1.2）深度方向的分割：二维方向的分割会包含背景，所以深度方向上将背景剔除掉，以手心点的深度值为参考，前后设定一个深度范围，再此深度范围内的物体被分割出来；这样有效的将背景去除。

3.根据权利要求1所述的基于像素分类器和椭圆拟合的指尖点提取方法，其特征在于：所述的步骤（2）贝叶斯肤色模型提取精确的手区域是：分割出的手区域比较粗糙，所以要用肤色模型去除那些非肤色区域，提取精确的手区域；采用YCbCr颜色空间来构建肤色模型，其原因是它的离散性与人的视觉感知的同一性，亮度和色度分离以及肤色聚集区域紧凑；在YCbCr颜色空间中，亮度信息用单个分量Y来表示，彩色信息用两个色差分量Cb和Cr来存储，Cb表示蓝色色度，Cr表示红色的色度；具体步骤是：

（2.1）创建肤色模型

首先，采集一些手的肤色图片，然后每张图片图像处理软件制作相应的二进制掩码图；掩码图中，用0表示非肤色，1表示肤色；

在制作完样本图像后，将样本的彩色图像从RGB颜色空间转化为YCrCb颜色空间，因为与亮度分量相比，皮肤色调与色度分量关系更大，所以选择YCrCb空间的Cr和Cb分量的贝叶斯分布；利用这些转化后的YCrCb和其对应的掩码图，然后建立肤色模型；建立肤色模型的过程就是建立肤色直方图和非肤色直方图的过程，如果掩码图某个像素为1，表示是该像素是手区域，相对应的YCrCb图像的该像素的[Cr][Cb]分量在直方图的高度加1个单位；如果掩码图的某像素为0，表示该像素不是手区域，相对应的YCrCb图像的该像素的不是肤色，该像素的[Cr][Cb]分量在非肤色直方图中的高度加1个单位；

（2.2）贝叶斯肤色计算

根据直方图提供的数据，再利用贝叶斯分类器计算每个[Cr][Cb]分量是肤色的概率；概率大于60%被认为为肤色，并在相应的数据结构中记录下；给定任意图像，将其转换为YCbCr颜色空间，通过查找表，得到该图像的哪些像素为肤色，哪些像素为非肤色，将肤色像素点显示为白色，非肤色显示为黑色，这样得到提取肤色后的二值图像。

4.根据权利要求1所述的基于像素分类器和椭圆拟合的指尖点提取方法，其特征在于：所述的步骤（3）中提取指尖点的步骤是：

（3.1）基于像素分类方法提取指尖区域

根据指尖的几何特点，定义一个正方形作为像素分类器，根据手区域与正方形交点的个数，对像素进行分类；

（3.2）指尖点的提取

指尖点提取分两步：一、提取手指区域，然后形态学去噪，对手指区域提取轮廓；二、用最小二乘法对轮廓进行椭圆拟合，求得指尖点。

5.根据权利要求1或4所述的基于像素分类器和椭圆拟合的指尖点提取方法，其特征在于：将得到的提尖点中的食指指尖点和手心点的连成直线，根据直线与坐标轴的夹角定义了食指指向的手势，并应用到虚拟漫游和增强现实场景中。