CN108846356A - 一种基于实时手势识别的手心追踪定位的方法 - Google Patents

Abstract

本发明公开一种基于实时手势识别的手心追踪定位的方法。该方法首先对输入视频进行分割视频帧和图像预处理，然后通过动态阈值背景法检测算法抽取部分视频帧建立背景模，在此基础上利用YCrCb色彩空间肤色分割算法分割出手势图像，最后通过采用生物学的优化手心定位方法对手势跟踪定位后实现手势识别。本发明方法避免了误检视频中类肤色区域，提高了手势跟踪准确度和鲁棒性。

Description

一种基于实时手势识别的手心追踪定位的方法

技术领域

本发明涉及通过有线技术将计算机系统与用户相互连接，使用户的手势信息完整无误地传送至识别系统中，并通过数学算法来识别人类手势，特别是基于实时手势识别的手心追踪定位算法，该算法是在现有手势识别技术基础上通过解决手心追踪定位问题来实现手势识别的实时性和高效性。

背景技术

随着现代科技的高速发展及生活方式的转变，人们越发追求生活、工作中的智能化，希望享有简便、高效、人性化的智能操作控制方式。而伴随计算机的微型化，人机交互需求越来越高，人机友好交互也日益成为研发的热点。目前，人们已不仅仅满足按键式的操作控制，其目光已转向利用人体动作、表情变化等更加方便、友好、直观地应用智能化交互控制体系方面。

手势是人们交互的重要信息，随着计算机视觉的发展，基于计算机视觉的手势识别方法已成为近些年来人机交互领域。将手势识别系统用于人机接口，从而

实现直接的、自然的人机交互方式，是手势识别的发展趋势和基本目标。根据手势的输入介质不同，可以将手势识别系统分为两种:一是利用数据手套，二是,基于计算机视觉。

近年来，手势识别方法主要有模变化来实现手势的检测与识别板匹配法(Template Matching)、神经网络法(Neural Network，NN)、动态时间规整法(Dynamic TimeWarping，DTW)及隐马尔可夫模型法(Hidden Markov Model，HMM)等。其中，模板匹配法多用于静态手势识别中而基于隐马尔可夫模型的识别和基于动态时间规整的识别则主要用于动态手势识。

发明内容

技术问题：本发明公开一种基于实时手势识别的手心追踪定位算法设计的方法，通过解决手心追踪定位来实现手势识别。本发明方法能够避免了将背景中接近肤色的区域误检测为手势区域的情况，解决手心追踪定位问题。

技术方案：本发明所述方法首先将平均背景法运动检测算法与采用YCrCb色彩空间肤色分割算法相结合，分割出手势图像，并通过解决手心追踪定位来实现手势识别。

本发明的一种基于实时手势识别的手心追踪定位的方法包括以下步骤：

步骤1、运动检测采用平均背景法进行运动检测，

步骤2、采用YCrCb色彩空间肤色分割，

步骤3、区域分割

步骤31、剔除与手势无关的脸部、另一只无效手部、以及其它类肤色背景的干扰，进而精确定位有效的目标手势区域；

步骤32、使用cvFind-Contours函数对已获取的二值化图像进行轮廓查找，可得到二值化图像中的轮廓总数，继而通过统计每一个轮廓区域占肤色区域总面积的百分比，并判断其百分比的大小，来认定其是否为干扰区域；

步骤33、剔除所有干扰区域后，即可得到若干块较大面积的肤色区域；

步骤34、为了在此若干块肤区域中确定目标手势区域，根据仿生学原理，提出“周积比”的概念并以此作为有效手势区域的判别标准；

步骤35、“周积比”概念来确定张开手指的手势区域，经实际测试，在肤色区域块正常识别的情况下，此种方法可以精确地将伸出手指的手势区域与脸部区域区分开来，从而有效确定出手势区域；

步骤4、利用“手心定位法”进行手势识别。

其中，

所述步骤1中，运动检测采用平均背景法进行运动检测，具体步骤如下：

步骤11、计算每个像素的平均值和标准差作为它的背景模型，首先对前K幅图像进行累计学习；

步骤12、用函数cvAbsDiff()计算每帧图像间的绝对差图像，累积到K帧图像后，用这个累计的图像除以输入图像累计的数目K，来计算平均原始图像和绝对差分图像；

步骤13、选取平均原始图像即初始背景与绝对差分图像的适当倍数作为分割的上、下限，将输入图像像素点与设定的阈值范围进行比较，阈值范围内的为背景，否则为前景。

所述步骤2中，采用YCrCb色彩空间肤色分割，具体步骤如下：

步骤21、YCrCb转换到RGB的公式如下，RGB取值范围均为0～255:

将其色彩空间由RGB转化到YCrCb；

步骤22、通常，当Cr和Cb满足:n₁≤Cr≤m₁，n₂≤Cb≤m₂时，即可认为是肤色区域；通过对当前时刻的Cr和Cb阈值进行经验性调整，便可更加精确地确定肤色区域，若将肤色区域像素点的像素分量调为X，非肤色区域像素点的像素分量调为Y，即可得到肤色区域的二值化图像。

所述步骤3中，所述的“周积比”即某孤立区域的周长与面积的比值，生态学特征理念之中，生物表面积与体重的比值越大，说明延展度越大。

所述步骤4中，具体步骤为：

步骤41、首先确定手掌最宽及上下沿位置；

步骤42、对手势所在区域进行初次扫描，确定区域之中最宽一行记为CD，并记录最宽像素个数Lmax所在行数iCD，而后再一次扫描，找出手掌上边沿AB和手掌下边沿EF；

步骤43、对手掌上下边沿的界定方法如下：手掌上沿:手势区域中首次满足行数不大于iCD且连续肤色像素点个数大于2*Lmax/3的像素行，记为AB，行数为iAB；手掌下沿:手势区域中满足行数不小于iCD且连续肤色像素点个数大于Lmax/2的像素行中肤色像素点变化率最大的一行，记为EF，行数为iEF；其中，系数AB/CD、EF/CD分别为正常人手五指张开时上沿与最宽部位、下沿与最宽部位的近似比值；

步骤44、中点圆弧曲线的确定AB、CD、EF后，分别取其中点，记为M、K、N，其坐标依次为:M(X_M，Y_M)、K(X_K，Y_K)、N(X_N，Y_N)；

步骤45、根据三角函数方法可求出经由三个中点的圆弧曲线中心及半径，即:首先求得M_K和N_K方程:

M_K：(X_N-Y_K)y-(Y_M-Y_K)x+X_KY_M-X_MY_K＝0 (2)

N_K：(X_N-X_K)y-(Y_N-Y_K)x+X_KY_N-X_NY_K＝0 (3)

进而求得直线M_K、N_K的中垂线方程L1、L2:

L1：2(Y_M-Y_K)y-2(X_M-X_K)x+Y² _K-Y² _M+X² _K-X² _M (4)

L2：2(Y_N-Y_K)y-2(X_N-X_K)x+Y² _K+Y² _N+X² _K-X² _N (5)

随后求得L1与L2的交点，此交点即为由三点确定的唯一圆的圆心，其圆心坐标及半径的表达式分别如下:

R＝(X_k-X_O)2+(Y_k-Y_O)² (8)

步骤46、备选点及最大内接圆的确定，在圆O的圆弧MN中均匀选取若干备选手心点(本发明在此选取十个备选点)。设其中某备选点为P，而后分别计算P点到手掌的上、下、左、右四个边缘的距离Lp1、Lp2、Lp3、Lp4并取其中最小值Lp＝MIN(Lp1，Lp2，Lp3，Lp4)作为P点在有效手势区域内的最大内接圆半径的近似值；通过对十个备选点分别计算近似最大内接圆的半径，而后取其最大者Rmax作为所需的手掌内最大内接圆半径，并令对应的圆心为Q。Q点即为所需确定的手心位置近似点；

步骤47、手指交割圆的确定，以近似手心位置的Q点为圆心，以H倍Rmax为半径做圆，并通过逐一检测此圆上像素点的突变情况，来判定是否交割于手指，由此得出具体伸出的那几根手指，进而获得该手势的实际含义。并在此基础上进行了传输速率分析，推导出传输速率的闭合表达式。

有益效果：本发明提出一种基于实时手势识别的手心追踪定位算法设计，具体有益效果如下：

1)本发明所述的基于实时手势识别的手心追踪定位算法设计，本发明方法能够避免了将背景中接近肤色的区域误检测为手势区域的情况，解决手心追踪定位问题，实现了定位部分被遮挡目标、解决了多个对象的胶着问题。

2)本发明首次采用将平均背景法运动检测算法与采用YCrCb色彩空间肤色分割算法相结合，分割出手势图像，并通过解决手心追踪定位来实现手势识别。

3)本发明中通过Monte Carlo仿真结果证明，通过设置不同的门限值，采用了增量中继技术的协作网络不仅可以达到很高的分集增益，同时也能够为系统节省一定量的资源。而且增量中继技术具有很大的灵活性，可以通过设置不同的中继判决门限值，来满足不同信道质量的QoS服务要求。

附图说明

图1是基于实时手势识别的手心追踪定位方法的流程图。

图2检测图像。

图3手心定位方法示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

根据附图1所示基于实时手势识别的手心追踪定位方法的流程图，附图2所示检测到的图像，附图3所示手心定位方法示意图，本发明具体实施方式为：

步骤1、从所录含有手势变化的录像中，采用平均背景法进行运动检测，具体步骤如下：

步骤11、计算每个像素的平均值和标准差作为它的背景模型(首先对前35幅图像进行累计学习)。

步骤12、用函数计算每帧图像间的绝对差图像，累积到35帧图像后，用这个累计的图像除以输入图像累计的数目35，来计算平均原始图像和绝对差分图像。

步骤13、选取平均原始图像(初始背景)与绝对差分图像的适当倍数作为分割的上、下限，将输入图像像素点与设定的阈值范围进行比较，阈值范围内的为背景，否则为前景。如图3所示。

步骤2、采用YCrCb色彩空间肤色分割，具体步骤如下：

步骤21、YCrCb转换到RGB的公式如下(RGB取值范围均为0～255):

将其色彩空间由RGB转化到YCrCb。

步骤22、通常，当Cr和Cb满足:n₁≤Cr≤m₁，n₂≤Cb≤m₂时时，即可认为是肤色区域。通过对当前时刻的Cr和Cb阈值进行经验性调整，便可更加精确地确定肤色区域。若将肤色区域像素点的像素分量调为X，非肤色区域像素点的像素分量调为Y，即可得到肤色区域的二值化图像。

步骤3、区域分割

步骤31、剔除与手势无关的脸部、另一只无效手部、以及其它类肤色背景的干扰，进而精确定位有效的目标手势区域。

步骤32、使用cvFind-Contours函数对已获取的二值化图像进行轮廓查找，可得到二值化图像中的轮廓总数，继而通过统计每一个轮廓区域占肤色区域总面积的百分比，并判断其百分比的大小，来认定其是否为干扰区域。

步骤33、剔除所有干扰区域后，即可得到若干块较大面积的肤色区域。

步骤34、为了在此若干块肤区域中确定目标手势区域，根据仿生学原理，本发明尝试性地提出“周积比”的概念并以此作为有效手势区域的判别标准。(“周积比”即某孤立区域的周长与面积的比值，生态学特征理念之中，生物表面积与体重的比值越大，说明延展度越大)

步骤35、“周积比”概念来确定张开手指的手势区域。经实际测试，在肤色区域块正常识别的情况下，此种方法可以精确地将伸出手指的手势区域与脸部区域区分开来，从而有效确定出手势区域。

步骤4、利用“手心定位法”进行手势识别，步骤如下：

步骤41、首先确定手掌最宽及上下沿位置。

步骤42、对手势所在区域进行初次扫描，确定区域之中最宽一行记为CD，并记录最宽像素个数Lmax所在行数iCD，而后再一次扫描，找出手掌上边沿AB和手掌下边沿EF。

步骤43、本发明对手掌上下边沿的界定方法如下。手掌上沿:手势区域中首次满足行数不大于iCD且连续肤色像素点个数大于2*Lmax/3的像素行，记为AB，行数为iAB。手掌下沿:手势区域中满足行数不小于iCD且连续肤色像素点个数大于Lmax/2的像素行中肤色像素点变化率最大的一行，记为EF，行数为iEF。(其中，系数2/3、1/2分别为正常人手五指张开时上沿与最宽部位、下沿与最宽部位的近似比值)

步骤44、中点圆弧曲线的确定AB、CD、EF后，分别取其中点，记为M、K、N，其坐标依次为:M(X_M，Y_M)、K(X_K，Y_K)、N(X_N、Y_N)。

步骤45、根据三角函数方法可求出经由三个中点的圆弧曲线中心及半径。即:首先求得M_K和N_K方程:

N_K：(X_N-X_K)y-(Y_N-Y_K)x+X_KY_N-X_NY_K＝0 (2)

N_K：(X_N-X_K)y-(Y_N-Y_K)x+X_KY_N-X_NY_K＝0 (3)

进而求得直线M_K、N_K的中垂线方程L1、L2:

L1：2(Y_M-Y_K)y-2(X_M-X_K)x+Y² _K-Y² _M+X² _K-X² _M (4)

L₂：2(Y_N-Y_K)y-2(X_N-X_K)x+Y² _K-Y² _N+X² _K-X² _N (5)

随后求得L1与L2的交点，此交点即为由三点确定的唯一圆的圆心，其圆心坐标及半径的表达式分别如下:

R＝(X_k-X_o)²+(Y_k-Y_o)² (8)

步骤46、备选点及最大内接圆的确定。在圆O的圆弧MN中均匀选取若干备选手心点(本发明在此选取十个备选点)。设其中某备选点为P，而后分别计算P点到手掌的上、下、左、右四个边缘的距离Lp1，Lp2，Lp3，Lp4并取其中最小值Lp＝MIN(Lp1，Lp2，Lp3，Lp4)作为P点在有效手势区域内的最大内接圆半径的近似值。通过对十个备选点分别计算近似最大内接圆的半径，而后取其最大者Rmax作为所需的手掌内最大内接圆半径，并令对应的圆心为Q。Q点即为所需确定的手心位置近似点。

步骤47、手指交割圆的确定。以近似手心位置的Q点为圆心，以HH倍Rmax为半径做圆，并通过逐一检测此圆上像素点的突变情况，来判定是否交割于手指，由此得出具体伸出的那几根手指，进而获得该手势的实际含义。并在此基础上进行了传输速率分析，推导出传输速率的闭合表达式。

Claims (5)

1.一种基于实时手势识别的手心追踪定位的方法，其特征在于，该方法包括以下步骤：

步骤1、运动检测采用平均背景法进行运动检测，

步骤2、采用YCrCb色彩空间肤色分割，

步骤3、区域分割

步骤31、剔除与手势无关的脸部、另一只无效手部、以及其它类肤色背景的干扰，进而精确定位有效的目标手势区域；

步骤32、使用cvFind-Contours函数对已获取的二值化图像进行轮廓查找，可得到二值化图像中的轮廓总数，继而通过统计每一个轮廓区域占肤色区域总面积的百分比，并判断其百分比的大小，来认定其是否为干扰区域；

步骤33、剔除所有干扰区域后，即可得到若干块较大面积的肤色区域；

步骤34、为了在此若干块肤区域中确定目标手势区域，根据仿生学原理，提出“周积比”的概念并以此作为有效手势区域的判别标准；

步骤35、“周积比”概念来确定张开手指的手势区域，经实际测试，在肤色区域块正常识别的情况下，此种方法可以精确地将伸出手指的手势区域与脸部区域区分开来，从而有效确定出手势区域；

步骤4、利用“手心定位法”进行手势识别。

2.根据权利要求1所述的一种基于实时手势识别的手心追踪定位的方法，其特征在于，所述步骤1中，运动检测采用平均背景法进行运动检测，具体步骤如下：

步骤11、计算每个像素的平均值和标准差作为它的背景模型，首先对前K幅图像进行累计学习；

步骤12、用函数cvAbsDiff()计算每帧图像间的绝对差图像，累积到K帧图像后，用这个累计的图像除以输入图像累计的数目K，来计算平均原始图像和绝对差分图像；

步骤13、选取平均原始图像即初始背景与绝对差分图像的适当倍数作为分割的上、下限，将输入图像像素点与设定的阈值范围进行比较，阈值范围内的为背景，否则为前景。

3.根据权利要求1所述的一种基于实时手势识别的手心追踪定位的方法，其特征在于，所述步骤2中，采用YCrCb色彩空间肤色分割，具体步骤如下：

步骤21、YCrCb转换到RGB的公式如下，RGB取值范围均为0～255:

将其色彩空间由RGB转化到YCrCb；

步骤22、通常，当Cr和Cb满足:n₁≤Cr≤m₁，n₂≤Cb≤m₂时，即可认为是肤色区域；通过对当前时刻的Cr和Cb阈值进行经验性调整，便可更加精确地确定肤色区域，若将肤色区域像素点的像素分量调为X，非肤色区域像素点的像素分量调为Y，即可得到肤色区域的二值化图像。

4.根据权利要求1所述的一种基于实时手势识别的手心追踪定位的方法，其特征在于，所述步骤3中，所述的“周积比”即某孤立区域的周长与面积的比值，生态学特征理念之中，生物表面积与体重的比值越大，说明延展度越大。

5.根据权利要求1所述的一种基于实时手势识别的手心追踪定位的方法，其特征在于，所述步骤41中，具体步骤为：

步骤41、首先确定手掌最宽及上下沿位置；

步骤42、对手势所在区域进行初次扫描，确定区域之中最宽一行记为CD，并记录最宽像素个数Lmax所在行数iCD，而后再一次扫描，找出手掌上边沿AB和手掌下边沿EF；

步骤43、对手掌上下边沿的界定方法如下：手掌上沿:手势区域中首次满足行数不大于iCD且连续肤色像素点个数大于2*Lmax/3的像素行，记为AB，行数为iAB；手掌下沿:手势区域中满足行数不小于iCD且连续肤色像素点个数大于Lmax/2的像素行中肤色像素点变化率最大的一行，记为EF，行数为iEF；其中，系数AB/CD、EF/CD分别为正常人手五指张开时上沿与最宽部位、下沿与最宽部位的近似比值；

步骤44、中点圆弧曲线的确定AB、CD、EF后，分别取其中点，记为M、K、N，其坐标依次为:M(X_M，Y_M)、K(X_K，Y_K)、N(X_N，Y_N)；

步骤45、根据三角函数方法可求出经由三个中点的圆弧曲线中心及半径，即:首先求得M_K和N_K方程:

M_K：(X_M-Y_K)y-(Y_M-Y_K)x+X_KY_M-X_MY_K＝0 (2)

N_K：(X_N-X_K)y-(Y_N-Y_K)x+X_KY_N-X_NY_K＝0 (3)

进而求得直线M_K、N_K的中垂线方程L1、L2:

L1：2(Y_M-Y_K)y-2(X_M-X_K)x+Y² _K-Y² _M+X² _K-X² _M (4)

L2：2(Y_N-Y_K)y-2(X_N-X_K)x+Y² _K-Y² _N+X² _K-X² _N (5)

随后求得L1与L2的交点，此交点即为由三点确定的唯一圆的圆心，其圆心坐标及半径的表达式分别如下:

R＝(X_k-X_o)²+(Y_k-Y_o)² (8)

步骤46、备选点及最大内接圆的确定，在圆O的圆弧MN中均匀选取若干备选手心点设其中某备选点为P，而后分别计算P点到手掌的上、下、左、右四个边缘的距离Lp1、Lp2、Lp3、Lp4并取其中最小值Lp＝MIN(Lp1，Lp2，Lp3，Lp4)作为P点在有效手势区域内的最大内接圆半径的近似值；通过对十个备选点分别计算近似最大内接圆的半径，而后取其最大者Rmax作为所需的手掌内最大内接圆半径，并令对应的圆心为Q。Q点即为所需确定的手心位置近似点；

步骤47、手指交割圆的确定，以近似手心位置的Q点为圆心，以H倍Rmax为半径做圆，并通过逐一检测此圆上像素点的突变情况，来判定是否交割于手指，由此得出具体伸出的那几根手指，进而获得该手势的实际含义。并在此基础上进行了传输速率分析，推导出传输速率的闭合表达式。