CN104766055A - 一种手势识别中的手腕图像去除方法 - Google Patents

Abstract

本发明的一种手势识别中的手腕去除方法，包括以下步骤：步骤1，保留初始图像中手腕和手掌部分的图像，并且将初始图像的其余部分设置为背景图像；步骤2，确定经步骤1处理获得的图像中手腕的延伸方向，在手腕和手掌的图像范围内遍历垂直于该延伸方向的切线段，根据切线段的长度变化规律，确定手腕与手掌的交界切线段；步骤3，判断出交界切线段一侧的手腕部分图像，并将该手腕部分的图像设置为背景图像。本发明的有益效果是：能够较为高效、精准地去除实际图像中的手腕部分图像，只剩下手掌部分的图像，从而为手势识别打下关键基础。而且对操作者要求不高，操作者可以自由地露出手腕，方便进行示范应用。

Description

一种手势识别中的手腕图像去除方法

技术领域

本发明涉及一种手势识别中的手腕图像去除方法。

背景技术

近年来，在多媒体系统引入互动机制以增加操作便利性的方式已成为热门的技术，其中手势识别更成为取代传统鼠标、摇杆或遥控器的重要技术。作为最常用的人体动作,手势动作以其丰富多变的含义和灵活方便的执行方式,被广泛用于人类生活的方方面面。手势识别是指利用计算机来检测、分析和解释人所执行的手势动作，从而用于判断动作意图并提供相应的服务。在手势识别中，往往依赖于一个手势库，手势库中的手势往往没有手腕部分。但是，实际图像分割得到的手势一般都有胳膊部分。这样，就给手势识别造成很大的困难。有的识别系统直接要求操作者必须穿上长袖衣服，用衣服把胳膊遮挡起来，这样再根据肤色与背景的不同，把手势从背景中分割出来，且没有胳膊。该方法的主要问题是对于操作者的这种要求过于严苛，很难示范应用。另一种常用的方法是用动态时间规整算法(DTW)去除手腕部分。但该方法的误差比较大，影响识别精度。

发明内容

为解决以上技术上的不足，本发明提供了一种手势识别中的手腕图像去除方法，能够比较精确地从手势图像中将手腕部分滤除掉，而且对操作者要求不高，为手势识别打下关键基础。

本发明是通过以下措施实现的：

本发明的一种手势识别中的手腕去除方法，包括以下步骤：

步骤1，保留初始图像中手腕和手掌部分的图像，并且将初始图像的其余部分设置为背景图像；

步骤2，确定经步骤1处理获得的图像中手腕的延伸方向，在手腕和手掌的图像范围内遍历垂直于该延伸方向的切线段，根据切线段的长度变化规律，确定手腕与手掌的交界切线段；

步骤3，判断出交界切线段一侧的手腕部分图像，并将该手腕部分的图像设置为背景图像。

上述在步骤2中确定经步骤1处理获得的图像中手腕的延伸方向包括以下步骤：

步骤a，求出经步骤1处理后图像中手腕和手掌部分图像的最小包围盒，并比较其宽度和高度；如果宽度大于高度，则说明手腕和手掌为左右方向延伸并判断出手腕在左边还是右边，如果宽度小于高度，则说明手腕和手掌为上下方向延伸并判断出手腕在上边还是下边；

步骤b，根据步骤a中判断出的手腕方向裁剪图像，使图像边界线仅与手腕一边相交，选取两者相交的相交线中点作为起点，选取与起点最远距离的手势点作为终点；

步骤c，根据起点和终点确定手腕延伸方向的中心轴。

上述在步骤2中确定手腕与手掌的交界切线段包括以下步骤：

步骤Ⅰ，在手腕和手掌的图像范围内，沿步骤c中确定的手腕和手掌延伸方向的中心轴做出若干条垂直于该中心轴的切线段，并获得每条切线段的长度，切线段的长度代表了手腕或手掌的宽度；

步骤Ⅱ，将切线段沿中心轴依次分成若干组，计算每组若干切线段长度的平均值AvgWristWidth，并比较每组中的每个切线段长度值与该组平均长度值的差值；

步骤Ⅲ，如果一组中所有切线段长度值与该组平均长度值差值最小，则在该组中进行遍寻，如果存在连续四条切线段长度WristWidth[i]，满足WristWidth[i]/AvgWristWidth<0.7，则这四条切线段中处在中间位置的一条切线段作为手腕与手掌的交界切线段。

上述在步骤1中，首先根据宽度和高度要求，分别将初始背景图像和实时前景图像分割成N*N的分块图像；然后将背景图像和前景图像对应分块图像的像素相减，如果相减后像素R、G、B分量小于阈值，则将前景图像所对应的分块图像置为背景色，反之，则保持前景图像所对应的分块图像不变；然后再对前景图像进行去噪、腐蚀、膨胀处理，利用HSV肤色模型，将非肤色点置为背景。

上述在步骤a中，利用方格划分图像，求出方格与前景图像交点的个数，如果方格的四条边与前景图像交点的个数小于2，将该方格内所有颜色置为背景色，进而求出经步骤1处理后图像中手腕和手掌部分图像的最小包围盒。

上述在步骤a中，比较左右两个方向或上下两个方向上最大连续手势点像素数，如果左边像素数大于右边像素数，则认为手腕在右边；否则，手腕在左边；如果上边像素数大于下边像素数，则认为手腕在下边；否则，手腕在上边。

本发明的有益效果是：能够较为高效、精准地去除实际图像中的手腕部分图像，只剩下手掌部分的图像，从而为手势识别打下关键基础。而且对操作者要求不高，操作者可以自由地露出手腕，方便进行示范应用。

附图说明

图1为发明的实施例中用到的示意图。

具体实施方式

下面结合附图对本发明做进一步详细的描述：

本发明的手势识别中的手腕图像去除方法，首先保留初始图像中手腕和手掌部分的图像，并且将初始图像的其余部分设置为背景图像。然后确定图像中手腕的延伸方向，在手腕和手掌的图像范围内遍历垂直于该延伸方向的切线段，根据切线段的长度变化规律，确定手腕与手掌的交界切线段。最后判断出交界切线段一侧的手腕部分图像，并将该手腕部分的图像设置为背景图像。

在对初始图像进行处理时，首先根据宽度和高度要求，分割初始背景图像和实时前景图像，获得背景和前景图像的数据指针、宽度和高度。分别将初始背景图像和实时前景图像分割成N*N的分块图像；然后将背景图像和前景图像对应分块图像的像素相减，如果相减后像素R、G、B分量小于阈值，阈值设置为60，则将前景图像所对应的分块图像置为背景色，反之，则保持前景图像所对应的分块图像不变；然后再对前景图像进行去噪、腐蚀、膨胀处理，利用HSV肤色模型，将非肤色点置为背景。其中，RGB颜色空间到HSV颜色空间转换公式：

$H=\left\{\begin{array}{cccc}\mathrm{undefined},& \mathrm{if}& \max =\min & \\ 60*\frac{G-B}{\max -\min }+0,& \mathrm{if}& \max =\mathrm{R\; and}& G\&GreaterEqual;B\\ 60*\frac{G-B}{\max -\min }+360,& \mathrm{if}& \max =\mathrm{R\; and}& G<B\\ 60*\frac{B-R}{\max -\min }+120,& \mathrm{if}& \max =G& \\ 60*\frac{R-g}{\max -\min }+240,& \mathrm{if}& \max =B& \end{array}\right.$

$S=\left\{\begin{array}{c}0,\mathrm{if}\max =0\\ \frac{\max -\min }{\max },\mathrm{otherwise}\end{array}\right.$

V＝max(R,G,B)

whereH∈[0,360],S∈[0,1],V,R,G,B∈[0,255]

确定图像中手腕的延伸方向包括以下步骤：

步骤a，首先求出经处理后图像中手腕和手掌部分图像的最小包围盒，并比较其宽度和高度；如果宽度大于高度，则说明手腕和手掌为左右方向延伸并判断出手腕在左边还是右边，如果宽度小于高度，则说明手腕和手掌为上下方向延伸并判断出手腕在上边还是下边；

步骤b，根据步骤a中判断出的手腕方向裁剪图像，使图像边界线仅与手腕一边相交，选取两者相交的相交线中点作为起点，选取与起点最远距离的手势点作为终点；

步骤c，根据起点和终点确定手腕延伸方向的中心轴。

在步骤a中，获得减背景分割后一帧bmp图像，及图像的宽度、高度、存放数据的指针。利用方格划分图像，求出方格与前景图像交点的个数，如果方格的四条边与前景图像交点的个数小于2，将该方格内所有颜色置为背景色，进而求出处理后图像中手腕和手掌部分图像的最小包围盒。以左右方向为例，左边方向向右5列，右边方向向左5列，分别计算每列中最大连续手势点像素数，再求出5列中最大连续手势点像素数，得到左右方向两个最大连续手势点像素数。比较左右方向两个最大连续手势点像素数，如果左边大于右边，则认为手腕在右边；否则，手腕在左边。判断胳膊在包围盒的哪一边后，沿着次边再一次将图像裁剪。此时，手势与裁剪后图像只有胳膊一边与图像有交线。

确定手腕与手掌的交界切线段包括以下步骤：

步骤Ⅰ，在手腕和手掌的图像范围内，沿步骤c中确定的手腕和手掌延伸方向的中心轴做出若干条垂直于该中心轴的切线段，并获得每条切线段的长度，切线段的长度代表了手腕或手掌的宽度；

步骤Ⅱ，将切线段沿中心轴依次分成若干组，计算每组若干切线段长度的平均值AvgWristWidth，并比较每组中的每个切线段长度值与该组平均长度值的差值；

步骤Ⅲ，如果一组中所有切线段长度值与该组平均长度值差值最小，则在该组中进行遍寻，如果存在连续四条切线段长度WristWidth[i]，满足WristWidth[i]/AvgWristWidth<0.7，则这四条切线段中处在中间位置的一条切线段作为手腕与手掌的交界切线段。

现在结合附图1进行具体地说明：

1.获得减背景分割后一帧bmp图像，及图像的宽度、高度、存放数据的指针。

2.确定手腕与窗口交线，计算交线上手腕中心坐标。

①分别计算窗口的四条边界x＝0、x＝width-1、y＝0、y＝height-1上手腕中心坐标。

②对每一条边界，计算从边界向内平行于边界10条边的平均手腕中心坐标A。如果一条边界计算出手腕的平均中心坐标，则其余的边界不再计算。

3.确定手腕的方向AB，与该方向垂直的方向就是切线方向。

①确定边界后，在窗口里面沿与边界平行的30-40距离内做10条切线，计算这10条切线的平均手腕中心坐标B。

②以边界中心点为起始点A，AB方向就是手腕方向，与该方向垂直的方向就是切线方向。

4.确定手腕方向上距离边界最远的手势点C。

①经过A、B两点且沿AB方向的直线，在窗口内计算这条直线上距离A点最远的手势点C。OC＝OB+tAB，每次增加t的值，直到C到达窗口边界，记录这条直线上最后一个手势点为C。

②以边界中心点为起始点A，AC方向就是手腕方向，与该方向垂直的方向就是切线方向。切线的移动范围在线段AC之间。

5.确定切线与窗口边界的交点MN。

①将A、C两点间的线段均分50等份。计算每等份在AC线段上的坐标点，经过此点做垂直于AC方向的切线。

②计算切线与窗口边界的两个交点---M点和N点。

③切线斜率不存在的情况下，M点是切线与y＝0的交点，N点是切线与y＝height-1的交点；

④切线斜率为0情况下，M点是切线与x＝0的交点，N点是切线与x＝width-1的交点；

⑤切线斜率存在的情况下，沿x方向，从左到右遍历确定M点；沿x方向，从右往左遍历确定N点。

6.获得手腕的宽度。沿切线方向，从M点遍历到N点，获得切线上手势的起始点D和末点E，DE就是手腕的宽度。如果切线上D点和E点存在，则每条切线获得一个手腕宽度。

7.寻找手腕与手掌分界处的切线。

①将切线段沿中心轴依次分成若干组，计算每组若干切线段长度的平均值AvgWristWidth，并比较每组中的每个切线段长度值与该组平均长度值的差值。如果一组中所有切线段长度值与该组平均长度值差值最小，则选定该组。

②判断该组切线距离手指近还是距离手腕近。以手指中心点和手腕中心点连线的中心位置作为分界线，如果靠近手指，沿中心轴向手腕方向寻找手腕与手掌分界处；如果靠近手腕，沿中心轴向手指方向寻找手腕与手掌分界处。

③如果该组中有连续4个手腕的宽度WristWidth[i]，存在WristWidth[i]/AvgWristWidth<0.7，，则这四条切线段中处在中间位置的一条切线段作为手腕与手掌的交界切线段。

8.去除切线一侧的手腕部分。判断A点与切线的位置关系，将和A点在同一侧的手势点置为背景色，从而去除手腕。

①根据手腕边界中心点相对切线方程的位置从而去除边界中心点一边的多余手势。

②切线斜率不存在时，如果手腕边界中心点在切线的左边，并将垂线左边置为背景；如果手腕边界中心点在切线的右边，并将垂线右边置为背景。

③切线斜率存在时，如果手腕边界中心点在切线的下边，并将切线下边置为背景；如果手腕边界中心点在切线的上边，并将切线上边置为背景。

以上所述仅是本专利的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本专利的保护范围。

Claims (6)

1.一种手势识别中的手腕去除方法，其特征在于，包括以下步骤：

步骤1，保留初始图像中手腕和手掌部分的图像，并且将初始图像的其余部分设置为背景图像；

步骤2，确定经步骤1处理获得的图像中手腕的延伸方向，在手腕和手掌的图像范围内遍历垂直于该延伸方向的切线段，根据切线段的长度变化规律，确定手腕与手掌的交界切线段；

步骤3，判断出交界切线段一侧的手腕部分图像，并将该手腕部分的图像设置为背景图像。

2.根据权利要求1所述手势识别中的手腕去除方法，其特征在于，在步骤2中确定经步骤1处理获得的图像中手腕的延伸方向包括以下步骤：

步骤a，求出经步骤1处理后图像中手腕和手掌部分图像的最小包围盒，并比较其宽度和高度；如果宽度大于高度，则说明手腕和手掌为左右方向延伸并判断出手腕在左边还是右边，如果宽度小于高度，则说明手腕和手掌为上下方向延伸并判断出手腕在上边还是下边；

步骤b，根据步骤a中判断出的手腕方向裁剪图像，使图像边界线仅与手腕一边相交，选取两者相交的相交线中点作为起点，选取与起点最远距离的手势点作为终点；

步骤c，根据起点和终点确定手腕延伸方向的中心轴。

3.根据权利要求1所述手势识别中的手腕去除方法，其特征在于，在步骤2中确定手腕与手掌的交界切线段包括以下步骤：

步骤Ⅰ，在手腕和手掌的图像范围内，沿步骤c中确定的手腕和手掌延伸方向的中心轴做出若干条垂直于该中心轴的切线段，并获得每条切线段的长度，切线段的长度代表了手腕或手掌的宽度；

步骤Ⅱ，将切线段沿中心轴依次分成若干组，计算每组若干切线段长度的平均值AvgWristWidth，并比较每组中的每个切线段长度值与该组平均长度值的差值；

步骤Ⅲ，如果一组中所有切线段长度值与该组平均长度值差值最小，则在该组中进行遍寻，如果存在连续四条切线段长度WristWidth[i]，满足WristWidth[i]/AvgWristWidth<0.7，则这四条切线段中处在中间位置的一条切线段作为手腕与手掌的交界切线段。

4.根据权利要求1所述手势识别中的手腕去除方法，其特征在于：在步骤1中，首先根据宽度和高度要求，分别将初始背景图像和实时前景图像分割成N*N的分块图像；然后将背景图像和前景图像对应分块图像的像素相减，如果相减后像素R、G、B分量小于阈值，则将前景图像所对应的分块图像置为背景色，反之，则保持前景图像所对应的分块图像不变；然后再对前景图像进行去噪、腐蚀、膨胀处理，利用HSV肤色模型，将非肤色点置为背景。

5.根据权利要求2所述手势识别中的手腕去除方法，其特征在于：在步骤a中，利用方格划分图像，求出方格与前景图像交点的个数，如果方格的四条边与前景图像交点的个数小于2，将该方格内所有颜色置为背景色，进而求出经步骤1处理后图像中手腕和手掌部分图像的最小包围盒。

6.根据权利要求2所述手势识别中的手腕去除方法，其特征在于：在步骤a中，比较左右两个方向或上下两个方向上最大连续手势点像素数，如果左边像素数大于右边像素数，则认为手腕在右边；否则，手腕在左边；如果上边像素数大于下边像素数，则认为手腕在下边；否则，手腕在上边。