CN102622601A - 一种指尖检测方法 - Google Patents

Abstract

本发明公开了一种指尖检测方法，包括如下步骤：S11从输入的二值化图像序列中提取边缘信息得到肤色区域的边缘轮廓；S12：对肤色区域的边缘轮廓点序列进行插值，以保证轮廓上的点序列疏密均匀；S13：计算轮廓边缘上点的曲率，通过设定边缘点曲率的阀值筛选出类指尖点的集合；S14：进行类指尖点聚类，以从类指尖点的集合中选取若干个点作为类指尖点。本发明基于曲率的类指尖点检测，通过边缘检测、跟踪、边缘点插值等，为类指尖点检测提供基本条件，之后通过手指间凹槽点过滤以及手臂点过滤，将″类指尖点″确认为″指尖点″，其大部分操作是基于″类指尖点″，因此整体效率较高，足够满足系统的实时性需求，提高系统性能。

Description

一种指尖检测方法

技术领域

本发明属于手势识别技术领域，尤其涉及一种指尖检测方法，可高效、快速地定位指尖位置。

背景技术

目前，随着科技的逐渐发展，人机交互界面越来越向着友好、便捷的方向发展。近年来，各种新型的人机互动系统涌现在消费者面前，例如：触摸屏、数据手套、体感游戏、遥控手柄以及徒手等等。其中，触摸屏、数据手套以及遥控手柄等因为识别率高，实现简单，被普遍的用在商业、游戏以及消费电子产品领域。而通过识别普通摄像头采集的手势图像来进行徒手操作则因为其成本低廉、操作人性化，逐渐成为消费者瞩目的焦点，开始获得消费者的青睐。徒手操作的关键在于手势识别，手势识别率的高低以及能否快速有效识别成为徒手操作的关键。

在现有的手势识别技术中，完成数据采集后需要对手进行建模，常见的手部特征主要有肤色特征，纹理特征，轮廓特征等等。关于手特征的选取和建模，其中对指尖位置的检测和提取是一种常用的技术。如中国专利申请第200910198196.9号公开的指示手势的手指尖定位方法，其通过计算指示手势的手部区域重心C_x，C_y，以及指示手势的手部区域轮廓线上各点的像素坐标i，j到重心C_x，C_y的距离D，将距离D具有最大值的像素坐标i，j确定为指示手势的手指尖位置P_x，P_y。另外，还有采用计算掌心与轮廓边缘的距离检测单个指尖的位置等方法。但由于背景的复杂性和系统的实时性要求，现有的方法都很难高效，快速地进行指尖检测，指尖的精确定位仍然是一个具有挑战性的课题。

故，实有必要进行研究，提供一种指尖检测方法以解决目前现有技术中存在的问题，实现高效快速地进行指尖检测，对指尖快速准确地定位。

发明内容

本发明实施例的目的在于提供一种指尖检测方法，以高效快速地进行指尖检测，对指尖快速准确地定位。

本发明实施例是这样实现的，一种指尖检测方法，包括如下步骤：

S11：从输入的二值化图像序列中提取边缘信息，获取肤色区域边缘，得到肤色区域的边缘轮廓；

S12：对肤色区域的边缘轮廓点序列进行插值，以保证轮廓上的点序列疏密均匀；

S13：计算轮廓边缘上点的曲率，通过设定边缘点曲率的阀值筛选出类指尖点的集合；

S14：进行类指尖点聚类，以从类指尖点的集合中选取若干个点作为类指尖点。

进一步地，所述步骤S11具体包括如下步骤：

S110：肤色区域边缘提取；

S111：肤色区域跟踪。

进一步地，所述步骤S110中，在获取肤色区域边缘之后，同时还计算出每个边缘轮廓的外接矩形以及最小包围矩形。

进一步地，在所述步骤S12中，当边缘点序列中相邻的两个点间的Manhattan距离大于2时，则通过插值法在其中插入若干点。

进一步地，在所述步骤S 13中，求出肤色区域边缘轮廓上每个点的曲率后，通过设定一个阈值T，将曲率大于等于T的所有点筛选出来，构成一个类指尖点的集合。

进一步地，所述步骤S13还包括一下步骤：

S130：手指间凹槽点过滤；

S131：手臂点过滤。

进一步地，在所述步骤S13中，采用如下方法定义轮廓上的点p的曲率：

给出一个常数L，取轮廓上p点的前面第L个点p1，及后继第L个点p2，则使用向量与向量

的夹角p1-p-p2的余弦值作为点p的曲率。

进一步地，在所述步骤S14中，对于每个一维区间，选取其中的中位点作为其代表点，以作为候选的类指尖点。

本发明基于曲率的类指尖点检测，通过边缘检测、跟踪、边缘点插值等等，为类指尖点检测提供基本条件，之后通过手指间凹槽点过滤以及手臂点过滤，将类指尖点确认为指尖点，其大部分操作是基于类指尖点，而类指尖点的数量在每一帧中很少，一般不超过10个，因此整体效率较高，足够满足系统的实时性需求，提高效率。

附图说明

图1是本发明指尖检测方法的流程图示。

图2是本发明计算出边缘轮廓上每个点的曲率后的效果图。

图3是本发明的凹槽点和指尖点的区别示意图。

图4是本发明的凹槽点过滤效果图。

图5是本发明的手向向量图。

图6是本发明的指尖点聚类后效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参照图1所示，本发明指尖检测方法，包括如下步骤：

S11：从输入的二值化图像序列中提取边缘信息，获取肤色区域边缘，得到肤色区域的边缘轮廓；

S12：对肤色区域的边缘轮廓点序列进行插值，以保证轮廓上的点序列疏密均匀；

S13：计算轮廓边缘上点的曲率，通过设定边缘点曲率的阀值筛选出类指尖点的集合；

S14：进行类指尖点聚类，以从类指尖点的集合中选取若干个点作为类指尖点。

具体地，所述步骤S11具体包括如下步骤：

S110：肤色区域边缘提取

从输入的二值化图像序列中提取边缘信息，所述二值化图像系视频流中基于肤色信息分割好的二值化图像。本发明实施例中，采用Canny算子提取边缘信息使用OpenCV自带的cvCanny和cvFindContours库函数来完成边缘检测。在边缘检测时，为了避免由于光照条件的影响而造成手部区域的边缘可能不连续，采用形态学中的膨胀/腐蚀操作使得边缘连续。在本发明实施例中，使用2次连续的膨胀操作cvDilate以及1次腐蚀操作cvErode，以保证边缘检测时能检测出完整的手部边缘。另外，在获取肤色区域边缘之后，同时还计算出每个边缘轮廓的外接矩形(各边平行于坐标轴的外接矩形)以及最小包围矩形(各边不一定平行于坐标轴的最小外接矩形)。

S111：肤色区域跟踪

对于输入图像序列的每一帧，本发明都获取了图像中的边缘轮廓信息。但是在帧与帧之间，这些信息相互之间是独立的，并不知道诸如″这一帧中的轮廓Contour2是由上一帧的轮廓Contour1发生了一定位移、或发生了一些形变、或静止不动而产生的，Contour1和Contour2其实本质上是同一个物体(Object )″这样的信息，为了在帧序列之间建立这样的信息传递，采取进行肤色区域跟踪。

将一个肤色区域的轮廓(或简称为一个肤色区域)称为一个Object。在全局变量中，保存一个vector<Object>objects用于记录场景中出现的所有Object。给每一个Object增加了一个score参量，用来评价这个Object在图像中出现的频率。当一个Object的score足够大时，就可以认为这个Object在每一帧中都出现了。

具体地，当对一帧图像进行边缘检测时，能输出若干个肤色区域vector<Object>frame Objects。将frame Objects与全局objects中的肤色区域进行两两对比。一旦frame Obj ects中的某个肤色区域region1和全局objects中的某个肤色区域region2为同一个Object的不同形态时，便用region1的新信息来更新region2的信息，将region1从frame Objects中移除(因为已找到objects中对应的肤色区域)，同时，将对应的region2的score值增加10.0；对于frameObject中那些无法跟objects中任意一个肤色区域配对的肤色区域，则视其为″出现了一个新的肤色区域″，并将其插入objects，设该区域的初始score为-10.0。另外，在每一个帧循环内，将所有的objects中的肤色区域的score值均减少5.0，当某个肤色区域的score值小于-20.0时，则意味着″该区域已经很久没有被匹配上了，很有可能该肤色区域已经从摄像头范围内移出″。此时即可将该肤色区域从objects中移除。

在本发明实施例中，对于两个肤色区域region1和region2，若它们的外接矩形rect1和rect2的面积比在[0.5，2.0]之间，并且rect1和rect2相交出的矩形的面积intersect Area达到了两个父矩形中面积较小者的面积的2倍或以上，则可判定为region1与region2是同一个Object的不同形态。

在所述步骤S12中，对肤色区域的边缘轮廓点序列进行插值，以保证相邻点之间的距离大致相等。具体地，若边缘点序列中相邻的两个点为p 1和p2，当p1与p2的Manhattan距离大于2时，则在其中插入若干点。插值方法为：从p1开始，在x方向和y方向分别向p2靠近1个像素并产生插值点，再次继续从两个方向分别向p2靠近1个像素并产生插值点，反复进行下去。在插值的过程中若x方向与y方向中的某一个维度上已经达到p2对应维度上的值，则该维度上的值保持不变，另一个维度上继续增加，直到插值点就是p2为止，停止插值。

例如，若p1＝(2，8)，p2＝(5，13)，则插值点序列为：

p 1＝(2，8)→(3，9)→(4，10)→(5，11)→(5，12)→(5，13)＝p2

在所述步骤S13中，采用如下方法定义轮廓上的点p的曲率：

给出一个常数L，取轮廓上p点的前面第L个点p1，及后继第L个点p2，则使用向量

与向量的夹角p1-p-p2的余弦值作为点p的曲率。计算时采用向量夹角公式，即：

$\cos \mathrm{\&alpha;}=\frac{\stackrel{\&RightArrow;}{\mathrm{pp}1}\&CenterDot;\stackrel{\&RightArrow;}{\mathrm{pp}2}}{\left|\mathrm{pp}1\right|\left|\mathrm{pp}2\right|}$

本发明实施例中，选取的L值并不是固定的常数，而是一个区间[L1，L2]。p点的曲率被定义为在这个区间范围内的所有L中向量与向量

的夹角p1-p-p2的余弦值最大的数。显然，每个边缘点的曲率在区间[-1，1]内。

求出肤色区域边缘轮廓上每个点的曲率后，通过设定一个阈值T，将曲率大于等于T的所有点筛选出来，构成一个集合。

如图2所示，除了指尖附近的轮廓点拥有较大曲率外，那些位于两个手指之间的凹槽的轮廓点(简称为凹槽点)以及手掌末端与手臂连接处的轮廓点(简称手臂点)也有较大的曲率，这将导致位于两个手指之间的凹槽的轮廓点、以及手掌末端与手臂连接处的点容易被误判为指尖点，为避免由此产生的误判，步骤S13中还包括如下步骤：

S130：手指间凹槽点过滤

如图3所示，以位于指尖的点rp和凹槽的点lp为例，在保证边缘轮廓点总是按逆时针序(或总是按顺时针序)排列时，分别对于点lp和rp考虑向量

与向量

的叉积(向量积)的符号，即

的符号，当p为指尖点时叉积的符号与当p为凹槽点时叉积的符号不同。因此，在保证边缘轮廓点的顺序是恒定时，可以根据

的符号来判断某个点p是属于指尖点集合还是凹槽点集合，并过滤掉凹槽点。凹槽点过滤后的效果如图4所示。

S131：手臂点过滤

求出一个手向向量

用于反映当前手的大致朝向。其中，计算手向向量

分为两种方法：第一种方法适用于当手第一次出现时的图像；第二种方法适用于之后的图像，即已知上一帧中手的手向向量，要求这一帧的手向向量。

当一只手刚进入图像时，由于此时没有“上一帧时该手的手向向量”信息，因此，想要求出初始的手向向量，可用的信息只有这一帧中的数据。

取手的最小包围矩形minRect的4个顶点和各边中点共8个点，分别计算这8个点到该手内所有类指尖点的距离和(此处“距离”的定义采用Euclidean距离)，选取其中距离和最大的点作为初始手向向量的起点。确定了向量起点后，再选择“对面”的点作为向量的终点。这里“对面”的定义对于minRect的顶点而言，则是对角顶点；对于minRect的某条边的中点而言，则是对边中点。

当已知上一帧中手的手向向量，要求这一帧的手向向量时，可用“上一帧时该手的手向向量”预测“这一帧时该手的手向向量”，同时再结合该帧中的数据即可。具体地，在已知上一帧时该手的手向向量

时，取minRect的4个顶点和各边中点共8个点，构造出这8个点与其“对面”点所构成的8个候选向量。在这8个候选向量中，选出与“上一帧时该手的手向向量

”最接近(夹角最小)的两个候选向量

和

然后，在这两个候选向量中选择一个最合适用来描述该帧的手向向量即可。具体为：求该手内所有类指尖点到候选向量的到角(用到角而非夹角，到角的范围在[-π，π]之间)，用所有到角中最大和最小的到角的平均值的绝对值作为候选向量的权，权值越小越好，权值越小，说明该候选向量越接近最外两个类指尖点的中垂线。手向向量

的计算效果如图5所示。

计算出手向向量后，借助物理学中″场″和″势″的概念，假设在该平面中存在一个平行场F，手向向量

为场强方向，定义的起点的势为0，

的终点的势为1，并假设势沿场强方向均匀增加。这样，就可以根据场F来计算平面中任意一个点的势。那么对于包括手臂点在内的所有类指尖点，分别计算该类指尖点的势，并将势太低的类指尖点判定为手臂点，去掉即可。经过了以上方法处理后，剩余的类指尖点即可判定为指尖点。

经过步骤S13后，对于肤色区域的边缘轮廓上的每一个边缘点p都求出了对应的曲率。设定一个阈值T，当某个点p的曲率小于T时则将其曲率置为-1，否则保持不变。筛选之后效果如图2所示。

如图2所示，曲率超过T的边缘轮廓点均集中地、连续地分布在手指指尖附近。如果考虑环状轮廓点序列所对应的环状曲率序列，那么序列中大部分的值都是-1，少部分非负的值均集中、连续地分布在若干个一维区间(由于一开始采集了很多的point，计算了每个point的曲率degrees。根据阈值T，很多点的degrees被设成了-1，于是degrees这个数组就成了{...-1-10.90.8-1-1...}，其中0.90.8就是被认为的类指尖点，一维区间就是一维序列，即曲率序列上的部分片段)内。在步骤S14中，通过聚类方法，将每个一维区间找出，并从每个一维区间中选出一个代表点作为聚类的结果即可。

在本发明实施例中，采取如下方式聚类：每个一维区间允许出现极少量的曲率为-1的点(这样的点不允许出现在区间端点处)。对于每个一维区间，选取其中的中位点(当一维区间的下标范围是[l，r]时，称下标为(l+r)/2的点为区间的中位点)作为其代表点，即候选的类指尖点。聚类效果如图6所示，该方法对于每一个区间选出了中位点作为类指尖点的代表，即可反映指尖的位置，效果良好。

本方法大部分操作是基于″类指尖点″，而″类指尖点″的数量在每一帧中很少，一般不超过10个，因此算法整体效率较高，足够满足系统的实时性需求。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种指尖检测方法，其特征在于，包括如下步骤：

S11：从输入的二值化图像序列中提取边缘信息，获取肤色区域边缘，得到肤色区域的边缘轮廓；

S12：对肤色区域的边缘轮廓点序列进行插值，以保证轮廓上的点序列疏密均匀；

S13：计算轮廓边缘上点的曲率，通过设定边缘点曲率的阀值筛选出类指尖点的集合；

S14：进行类指尖点聚类，以从类指尖点的集合中选取若干个点作为类指尖点。

2.如权利要求1所述的指尖检测方法，其特征在于：所述步骤S11具体包括如下步骤：

S110：肤色区域边缘提取；

S111：肤色区域跟踪。

3.如权利要求2所述的指尖检测方法，其特征在于：所述步骤S110中，在获取肤色区域边缘之后，同时还计算出每个边缘轮廓的外接矩形以及最小包围矩形。

4.如权利要求3所述的指尖检测方法，其特征在于：在所述步骤S12中，当边缘点序列中相邻的两个点间的Manhattan距离大于2时，则通过插值法在其中插入若干点。

5.如权利要求4所述的指尖检测方法，其特征在于：在所述步骤S13中，求出肤色区域边缘轮廓上每个点的曲率后，通过设定一个阈值T，将曲率大于等于T的所有点筛选出来，构成一个类指尖点的集合。

6.如权利要求5所述的指尖检测方法，其特征在于：所述步骤S13还包括以下步骤：

S130：手指间凹槽点过滤；

S131：手臂点过滤。

7.如权利要求6所述的指尖检测方法，其特征在于，在所述步骤S13中，采用如下方法定义轮廓上的点p的曲率：

给出一个常数L，取轮廓上p点的前面第L个点p1，及后继第L个点p2，则使用向量与向量

的夹角p1-p-p2的余弦值作为点p的曲率。

8.如权利要求7所述的指尖检测方法，其特征在于：在所述步骤S14中，对于每个一维区间，选取其中的中位点作为其代表点，以作为候选的类指尖点。

9.如权利要求2所述的指尖检测方法，其特征在于：所述步骤S110中，使用2次连续的膨胀操作以及1次腐蚀操作，以保证边缘检测时能检测出完整的手部边缘。

Images