CN104850232A - 一种摄像头条件下获取远程手势轨迹的方法 - Google Patents

Abstract

本发明提供了一种摄像头条件下获取远程手势轨迹的方法，属于计算机人机交互界面领域。该方法包括：(1).通过摄像头获得n帧bmp图像，以及图像的宽度、高度、存放数据的指针；(2).依次对n帧图像进行处理，获得手势图像的质心坐标；(3).输出步骤(2)得到的n帧手势图像的n帧质心坐标，然后将n帧质心坐标经过三次B样条拟合得到三次B样条拟合函数；(4).通过三次B样条拟合函数，画出n帧图像的轨迹曲线。

Description

一种摄像头条件下获取远程手势轨迹的方法

技术领域

本发明属于计算机人机交互界面领域，具体涉及一种摄像头条件下获取远程手势轨迹的方法。

背景技术

在像平面上，每帧手势有一个重心位置，当手运动时，各帧手势重心位置形成一个轨迹，该轨迹就是手势轨迹。目前获取手势轨迹主要方法是采用卡尔曼滤波器或粒子滤波器等跟踪器跟踪每帧手势重心位置，进而得到手势轨迹。该方法存在的主要问题是：它们需要逐帧处理，所以速度慢，延迟严重，影响手势轨迹的实用性。因此，人手在运动过程中，连续的手势质心点形成手势运动轨迹曲线。现有算法主要是利用跟踪器逐帧跟踪手势质心得到手势运动轨迹，算法速度慢，时间延迟。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种摄像头条件下获取远程手势轨迹的方法，利用摄像头捕获人手运动图像，获得平滑的手势运动轨迹曲线。

本发明是通过以下技术方案实现的：

一种摄像头条件下获取远程手势轨迹的方法，包括：

(1).通过摄像头获得n帧bmp图像，以及图像的宽度、高度、存放数据的指针；

(2).依次对n帧图像进行处理，获得手势图像的质心坐标；

(3).输出步骤(2)得到的n帧手势图像的n帧质心坐标，然后将n帧质心坐标经过三次B样条拟合得到三次B样条拟合函数；

(5).通过三次B样条拟合函数，画出n帧图像的轨迹曲线。

所述步骤(2)是这样实现的：

(21)获得图像的历史帧数n、n帧图像序列的首地址、图像的宽度和高度；

(22)对图像进行处理，将手势图像从背景图像中分割出来；

(23)对分割出的手势图像去噪处理；

(24)对手势图像进行腐蚀、膨胀形态学处理；

(25)获得手势图像的质心坐标并将质心坐标存放在数组CentroidCurve[n]；

(26)循环步骤(22)-(26)，直到处理完n帧图像序列；

(27)返回n帧图像的手势轨迹坐标CentroidCurve[]。

所述步骤(22)是这样实现的：

(A1)、获得图像的首地址和图像的高度、宽度及每行字节数；

(A2)、遍历图像上每个像素点，求出像素点的b、g、r分量；

(A3)、根据手势的肤色模型，判断图像中每个像素的r、g、b分量，若满足r＞95&&g＞40&&b＞20&&abs(r-g)＞15&&r＞g&&r＞b条件，则判断为肤色，将像素点置为手势颜色，否则判断为非肤色，将像素点置为背景色；

(A4)循环步骤(A2)到(A3)，直到处理完图像的全部像素点。

所述步骤(23)采用8邻域去噪处理方法实现去噪处理。

所述步骤(23)是这样实现的：

(B1)获得图像的首地址和图像的高度、宽度及每行字节数；

(B2)为防越界，不处理最左边、最右边、最上边和最下边四边的像素，从第2行第2列开始，遍历图像的像素点；

(B3)求出像素点的b、g、r分量，判断像素点是背景色还是分割的手势颜色，如果是手势颜色，则计算该像素点的上、下、左、右、左上、左下、右上、右下八个方向的像素点对应的b、g、r分量；

(B4)判断八个邻域中，如果有大于或等于4个点是白点，则认为此点是噪声点，并将该点置为背景色；

(B5)循环步骤(B3)～(B4)，直到处理完原图的全部像素点。

所述步骤(24)中的腐蚀处理如下：

(C1)获得图像的首地址和图像的高度、宽度及每行字节数；

(C2)开辟一块内存缓冲区；

(C3)定义一个一维数组B[9]：

B[9]＝{1，0，1，

0，0，0，

1，0，1}

(C4)为防越界，不处理最左边、最右边、最上边和最下边四边的像素，从第2行第2列开始，将指向的目标图像的像素的值赋值给目标点像素点，检查这个像素点，利用结构元素数组判断该像素点的前一点、后一点、上一点、下一点这四点中是否有背景点，有则将检查的像素点的灰度值赋值为255，否则保持不变；

(C5)循环步骤(C4)，直到处理完原图的全部像素点；

(C6)将结果暂存在内存缓冲区中；

(C7)将结果从内存复制到原图的数据区。

所述步骤(24)中的膨胀处理是这样实现的：

(D1)获得图像的首地址和图像的高度、宽度及每行字节数；

(D2)开辟一块内存缓冲区；

(D3)定义一个一维数组：

B[9]＝{1，0，1，

0，0，0，

1，0，1}

(D4)为防越界，不处理最左边、最右边、最上边和最下边四边的像素，从第2行第2列开始，将指向的目标图像的像素的值赋值给目标点像素点，检查这个像素点，利用结构元素数组判断该像素点的前一点、后一点、上一点、下一点这四点中是否有相交点，有则将检查的像素点的灰度值赋值为0，否则保持不变；

(D5)循环步骤(D4)，直到处理完原图的全部像素点；

(D6)将结果暂存在内存缓冲区中；

(D7)将结果从内存复制到原图的数据区。

所述步骤(25)中获得手势图像的质心坐标是这样实现的：

(E1)获得图像的首地址和图像的高度、宽度及每行字节数；

(E2)遍历图像，求得所有手势点的x、y值之和并分别统计手势点的个数；

(E3)将手势点x、y值的和，除以手势点个数得到质心坐标。

与现有技术相比，本发明的有益效果是：现有技术主要利用跟踪器逐帧跟踪手势质心，根据手势质心序列形成手势轨迹。本发明在获得手势质心序列的基础上利用三次B样条对手势质心序列进行拟合，得到平滑的手势运动轨迹。

附图说明

图1本发明方法的步骤框图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

如图1所示，本发明方法包括：

1.通过摄像头获得n帧bmp图像，及图像的宽度、高度、存放数据的指针。

2.对n帧图像依次进行如下处理：

{

(1)利用肤色模型(即r＞95&&g＞40&&b＞20&&abs(r-g)＞15&&r＞g&&r＞b)，提取手势图像(某像素点满足肤色模型，则认为是手势，否则认为是背景)，二值化处理，即将肤色像素点置成一种颜色(如红色)，背景像素点置成另一种颜色(如白色)，颜色改变是通过像素点对应的r、g和b分量来进行设置的；

(2)对提取出的手势图像(手势图像是指从背景提取出的手势，手势区域置成红色，背景区域置成白色)进行8邻域去噪处理得到去噪处理后的手势图像。

(3)对所述去噪处理后的手势图像进行腐蚀、膨胀形态学处理。

(4)通过分割后的手势图像(即经过步骤(3)处理的手势图像)获得手势图像的质心坐标。

}

3.通过步骤2输出n帧手势图像的n帧质心坐标(每一帧得到一个质心坐标)，然后将n帧质心坐标经过三次B样条拟合。

4.通过三次B样条函数，画出n帧图像的轨迹曲线。

所用到的函数具体如下：

1、n帧手势质心序列函数void GetTrackCurve(int n，BYTE*pImageBuffer[]，D2POINT CentroidCurve[]，int Width，int Height)

输入：图像的历史帧数n、n帧图像序列、图像的宽度和高度

输出：n帧图像的手势质心坐标CentroidCurve[]

具体步骤如下：

①获得图像的历史帧数n、n帧图像序列的首地址、图像的宽度和高度

②对图像序列，调用分割函数GetRedHand()将手势从背景中分割出来(对应前面的“二值化处理、置红色、置白色”)。

③调用函数Del_Noise()对分割出的图像进一步去噪处理。

④调用函数Corrosion()和Dilation()分别对手势图像进行腐蚀、膨胀形态学处理。

⑤通过函数CentroidFuction()获得手势的质心坐标并将质心坐标存放在数组CentroidCurve[n]。

⑥循环步骤②～⑥，直到处理完n帧图像序列。

⑦最后返回n帧图像的手势轨迹坐标CentroidCurve[](手势轨迹坐标就是指的手势运动的质心坐标集)。

2、三次B样条拟合函数void BSpline(D2POINT pw[]，int n)

输入：拟合点集的坐标pw，拟合点数n

输出：拟合后的手势轨迹曲线

B样条曲线定义：给定m+n+1个平面或空间顶点Pi(i＝0，1，...，m+n)，称n次参数曲线段：

为第k段n次B样条曲线段(k＝0，1，...，m)，这些曲线段的全体称为n次B样条曲线。其中，基函数G_i，n(t)定义为：

$G_{i,n}\left(t\right)=\frac{1}{n!}\underset{j=0}{\overset{n-i}{\mathrm{\Σ}}}{(-1)}^j{C}_{n+1}^j{(t+n-i-j)}^n,t\∈\left[\mathrm{0,1}\right],i=\mathrm{0,1},...,n$

主要思想：B样条曲线是在贝齐尔曲线的基础上发展而来的，主要区别再与他们的混合函数不同，其中n为控制点个数减1，k为控制曲线连续性的阶。B样条曲线主要由控制点位置、参数k以及所给定的节点值ti来决定。

具体步骤：

①首先使得端点处的一阶导数同相近的两个控制点有关，其方向相同于两点的连线方向。按这样的要求确定端点值，根据数据点的坐标来更新第一个点和最后一个点的坐标X、Y，间隔取t＝1.0/1000。

②根据三次B样条的基函数的公式，每四个控制点确定一条曲线，并计算基函数a，b，c，d。

③由给定的数据点的坐标X、Y和基函数，根据B样条插值曲线的公式，分别计算出插值点的坐标X、Y。其中用到了三次B样条曲线的公式，利用基函数公式G_i，n(t)，取n＝3，则有三次B样条曲线的基函数如下：

$\begin{array}{cc}\left\{\begin{array}{c}{G}_{\mathrm{0,3}}\left(t\right)=\frac{1}{6}(-t^3+3t^2-3t+1),\\ G_{\mathrm{1,3}}\left(t\right)=\frac{1}{6}(3t^3-6t^2+4),\\ G_{\mathrm{2,3}}\left(t\right)=\frac{1}{6}(-3t^3+3t^2+3t+1),\\ G_{\mathrm{3,3}}\left(t\right)=\frac{1}{6}{t}^3,\end{array}\right.& t\∈\left[\mathrm{0,1}\right]\end{array}$

④根据基函数，计算出的X、Y值进行连线。

⑤如果所有的数据点都遍历完成，结束，否则执行步骤②。

3、手势分割函数void GetRedHand(BYTE *pImageBuffer，int width，intheight，int bytesPerLine)

输入：图像的首地址和图像的高度、宽度及每行字节数

输出：分割后手势图像的首地址plmageBuffer

具体步骤：

①获得图像的首地址和图像的高度、宽度及每行字节数。

②遍历图像上每个像素点，求出像素点的b、g、r分量(表示三原色蓝、绿和红)。

③根据手势的肤色模型，判断图像中每个像素的r、g、b分量，若满足r＞95&&g＞40&&b＞20&&abs(r-g)＞15&&r＞g&&r＞b条件，则判断为肤色，将像素点置为红色，否则，判断为非肤色，将像素点置为白色；

④循环步骤②～③，直到处理完原图的全部像素点。

4、八邻域去噪函数void Del_Noise(BYTE *pImageBuffer，int width，intheight，int bytesPerLine，int points)

输入：图像的首地址和图像的高度、宽度及每行字节数

输出：去除噪声手势图像的首地址pImageBuffer

具体步骤：

①获得图像的首地址和图像的高度、宽度及每行字节数。

②为防越界，不处理最左边、最右边、最上边和最下边四边的像素，从第2行第2列开始，遍历图像的像素点。

③求出像素点的b、g、r分量，判断像素点是背景色还是分割的手势颜色，如果是手势颜色即红色，计算该像素点的上、下、左、右、左上、左下、右上、右下八个方向的像素点对应的b、g、r分量。

④判断八个邻域中，如果有points个点(八个邻域中非手势像素点个数，本发明中points＞＝4)是白点，则认为此点是噪声点，并将该点置为背景点(白点)。

⑤循环步骤③～④，直到处理完原图的全部像素点。

5、全方向腐蚀函数void Corrosion(BYTE *pImageBuffer，int width，intheight，int bytesPerLine)

输入：图像的首地址和图像的高度、宽度及每行字节数

输出：腐蚀后手势图像的首地址pImageBuffer

作用：对提取出的手势图像进行腐蚀处理。用3x3的结构元素，扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0。

具体步骤：

①获得图像的首地址和图像的高度、宽度及每行字节数。

②开辟一块内存缓冲区。

③为用到3×3的模块，所以需定义一个一维数组B[9]：

B[9]＝{1，0，1，

0，0，0，

1，0，1}

④为防越界，不处理最左边、最右边、最上边和最下边四边的像素，从第2行第2列开始，将指向的目标图像的像素的值赋值给目标点像素点，检查这个像素点，利用结构元素数组判断该像素点的前一点、后一点、上一点、下一点这四点中是否有背景点，有则将检查的像素点的灰度值赋值为255，否则保持不变。当然可以定义不同形状的结构元素B来进行不同的腐蚀，方法是检查B中为0所对应的像素点是否全部为物体，是则保留该点，否则置为255。

⑤循环步骤④，直到处理完原图的全部像素点。

⑥将结果暂存在内存缓冲区中。

⑦将结果从内存复制到原图的数据区。

6、全方向膨胀函数void Dilation(BYTE *pImageBuffer，int width，intheight，int bytesPerLine)

输入：图像的首地址和图像的高度、宽度及每行字节数

输出：膨胀后手势图像的首地址plmageBuffer

作用：对手势图像进行膨胀处理。用3x3的结构元素，扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“或”操作，如果都为0，结果图像的该像素为0，否则为1。

具体步骤：

①获得图像的首地址和图像的高度、宽度及每行字节数。

②开辟一块内存缓冲区。

③为用到3×3的模块，所以需定义一个一维数组：

B[9]＝{1，0，1，

0，0，0，

1，0，1}

④为防越界，不处理最左边、最右边、最上边和最下边四边的像素，从第2行第2列开始，将指向的目标图像的像素的值赋值给目标点像素点，检查这个像素点，利用结构元素数组判断该像素点的前一点、后一点、上一点、下一点这四点中是否有相交点，有则将检查的像素点的灰度值赋值为0，否则保持不变。当然可以定义不同形状的结构元素B来进行膨胀，方法是检查B中为0所对应的像素点是否与物体相交不为空，是则保留该点，否则置为255。

⑤循环步骤④，直到处理完原图的全部像素点。

⑥将结果暂存在内存缓冲区中。

⑦将结果从内存复制到原图的数据区。

7、函数D2POINT CentroidFuction(BYTE *pImageBuffer，int width，intheight，int bytesPerLine)(在第一个函数GetTrackCurve()中需要调用这个函数)

输入：图像的首地址和图像的高度、宽度及每行字节数

输出：手势质心坐标

具体步骤：

①获得图像的首地址和图像的高度、宽度及每行字节数。

②遍历图像，求所有手势点的x、y值之和并分别统计手势点的个数。

③将手势点x、y值的和，除以手势点个数得质心坐标。

函数返回手势质心坐标CentroidPoint。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (8)

1.一种摄像头条件下获取远程手势轨迹的方法，其特征在于：所述方法包括：

(1).通过摄像头获得n帧bmp图像，以及图像的宽度、高度、存放数据的指针；

(2).依次对n帧图像进行处理，获得手势图像的质心坐标；

(3).输出步骤(2)得到的n帧手势图像的n帧质心坐标，然后将n帧质心坐标经过三次B样条拟合得到三次B样条拟合函数；

(4).通过三次B样条拟合函数，画出n帧图像的轨迹曲线。

2.根据权利要求1所述的摄像头条件下获取远程手势轨迹的方法，其特征在于：所述步骤(2)是这样实现的：

(21)获得图像的历史帧数n、n帧图像序列的首地址、图像的宽度和高度；

(22)对图像进行处理，将手势图像从背景图像中分割出来；

(23)对分割出的手势图像去噪处理；

(24)对手势图像进行腐蚀、膨胀形态学处理；

(25)获得手势图像的质心坐标并将质心坐标存放在数组CentroidCurve[n]；

(26)循环步骤(22)-(26)，直到处理完n帧图像序列；

(27)返回n帧图像的手势轨迹坐标CentroidCurve[]。

3.根据权利要求2所述的摄像头条件下获取远程手势轨迹的方法，其特征在于：所述步骤(22)是这样实现的：

(A1)、获得图像的首地址和图像的高度、宽度及每行字节数；

(A2)、遍历图像上每个像素点，求出像素点的b、g、r分量；

(A3)、根据手势的肤色模型，判断图像中每个像素的r、g、b分量，若满足r＞95&&g＞40&&b＞20&&abs(r-g)＞15&&r＞g&&r＞b条件，则判断为肤色，将像素点置为手势颜色，否则判断为非肤色，将像素点置为背景色；

(A4)循环步骤(A2)到(A3)，直到处理完图像的全部像素点。

4.根据权利要求3所述的摄像头条件下获取远程手势轨迹的方法，其特征在于：所述步骤(23)采用8邻域去噪处理方法实现去噪处理。

5.根据权利要求4所述的摄像头条件下获取远程手势轨迹的方法，其特征在于：所述步骤(23)是这样实现的：

(B1)获得图像的首地址和图像的高度、宽度及每行字节数；

(B2)为防越界，不处理最左边、最右边、最上边和最下边四边的像素，从第2行第2列开始，遍历图像的像素点；

(B3)求出像素点的b、g、r分量，判断像素点是背景色还是分割的手势颜色，如果是手势颜色，则计算该像素点的上、下、左、右、左上、左下、右上、右下八个方向的像素点对应的b、g、r分量；

(B4)判断八个邻域中，如果有大于或等于4个点是白点，则认为此点是噪声点，并将该点置为背景色；

(B5)循环步骤(B3)～(B4)，直到处理完原图的全部像素点。

6.根据权利要求5所述的摄像头条件下获取远程手势轨迹的方法，其特征在于：所述步骤(24)中的腐蚀处理如下：

(C1)获得图像的首地址和图像的高度、宽度及每行字节数；

(C2)开辟一块内存缓冲区；

(C3)定义一个一维数组B[9]：

B[9]＝{1，0，1，

0，0，0，

1，0，1}

(C4)为防越界，不处理最左边、最右边、最上边和最下边四边的像素，从第2行第2列开始，将指向的目标图像的像素的值赋值给目标点像素点，检查这个像素点，利用结构元素数组判断该像素点的前一点、后一点、上一点、下一点这四点中是否有背景点，有则将检查的像素点的灰度值赋值为255，否则保持不变；

(C5)循环步骤(C4)，直到处理完原图的全部像素点；

(C6)将结果暂存在内存缓冲区中；

(C7)将结果从内存复制到原图的数据区。

7.根据权利要求6所述的摄像头条件下获取远程手势轨迹的方法，其特征在于：所述步骤(24)中的膨胀处理是这样实现的：

(D1)获得图像的首地址和图像的高度、宽度及每行字节数；

(D2)开辟一块内存缓冲区；

(D3)定义一个一维数组：

B[9]＝{1，0，1，

0，0，0，

1，0，1}

(D4)为防越界，不处理最左边、最右边、最上边和最下边四边的像素，从第2行第2列开始，将指向的目标图像的像素的值赋值给目标点像素点，检查这个像素点，利用结构元素数组判断该像素点的前一点、后一点、上一点、下一点这四点中是否有相交点，有则将检查的像素点的灰度值赋值为0，否则保持不变；

(D5)循环步骤(D4)，直到处理完原图的全部像素点；

(D6)将结果暂存在内存缓冲区中；

(D7)将结果从内存复制到原图的数据区。

8.根据权利要求7所述的摄像头条件下获取远程手势轨迹的方法，其特征在于：所述步骤(25)中获得手势图像的质心坐标是这样实现的：

(F1)获得图像的首地址和图像的高度、宽度及每行字节数；

(E2)遍历图像，求得所有手势点的x、y值之和并分别统计手势点的个数；

(E3)将手势点x、y值的和，除以手势点个数得到质心坐标。