CN103927016B - 一种基于双目视觉的实时三维双手手势识别方法及其系统 - Google Patents

Abstract

本发明提供了一种基于双目视觉的实时三维双手手势识别方法及其系统，首先将图像进行初始标定校正，然后提取手势的轮廓，将提取的手势轮廓完成对二维手势的识别并计算手势轮廓的质心，将计算得到的质心进行立体匹配，实现三维手势识别，结合三维手势识别在人机交互模块实现对应的手势显示。本发明能够利用双目视觉信息，实现计算机对基于三维空间的双手手势变化的人机交互，同时还满足很高的实时性和有效性并降低了对硬件的要求，同时本发明达到了人机互动的效果，可以很好的满足了实时性和有效性。

Description

一种基于双目视觉的实时三维双手手势识别方法及其系统

技术领域

本发明涉及一种人机交互系统及其方法，尤其是手势识别的人机交互系统和方法。

背景技术

手势语言是一种依靠动作和视觉进行交际的特殊语言，它是包含信息量最多的人体语言。就人机交互而言，手势识别是一个重要研究领域，其本质是根据用户的手势，识别出所表达的意义。它以人手的影像作为计算机的直接输入设备，用户可简单定义多种手势与计算机进行交互。然而目前的手势识别系统侧重于二维手势识别，局限性较大，而三维手势识别能够判断出三维空间内的手势变化，以更为自然、直观的交互方式得到广泛关注，但是目前来讲，一些交互设备使用了数据手套，虽然数据手套存在识别率高的优点，但是也失去了手势交互的自然性，费用也很昂贵；另一些实现人机交互的方法需要高速摄像头和红外探测器，热点注册等硬件或方法实现，存在对硬件要求偏高、费用高昂，另外这些方法同时存在实时性和有效性太低，识别手势个数少，人机交互效果有限的问题。

发明内容

为了克服现有手势交互技术多侧重于使用二维图像进行的手势识别往往局限于二维及单手的问题，本发明设计并搭建了一种基于双目视觉实时的三维双手手势识别系统，本发明能够基于双目视觉信息计算出所有人特定的双手手势三维信息，并能基于二维手势识别实现对所有人双手手势的三维手势识别，同时能实现三维空间里双手手势的变化对计算机进行操作，实时的完成人机交互的问题。

本发明还提供一种三维双手手势识别系统的方法，步骤如下：

步骤一：本发明基于双目视觉的双手手势识别系统，将两个摄像头固定在一个支架上水平设置，先对两个摄像头进行标定和校正，获取系统所需要的内外参数，当更换计算机环境或者摄像头时，需要重新进标定；

步骤二：启动两个摄像头，采用肤色分割算法对两个图像中每一帧图像进行肤色分割，同时对图像进行中值滤波处理和形态学处理，其中形态学处理是对边缘存在毛刺和内部空洞的图像进行开、闭运算，然后运用Canny边缘算子对形态学处理后的图像进行边缘检测，最后用八邻域搜索法提取出手势中的轮廓，并提取两个视频图像中手势轮廓的一阶矩作为手势的质心；

步骤三：利用步骤二提取出的手势的质心进行立体匹配后求出视差，再求出左右双手手势质心到两个摄像头连线的垂直距离作为手势的深度信息；

立体匹配及求视差方法如下：

(1)求得左右图像对的手势质心点分别为(x_l,c,y_l,c)、(x_r,c,y_r,c)，x_l,c和y_l,c是左图像手势质心横纵坐标，x_r,c和y_r,c是右图像手势质心横纵坐标；

(2)应用极线约束规则：若|y_l,c-y_r,c|≤10，记下此时左右质心点坐标作为有效数据，并对下一帧图像继续执行步骤(1)，若不满足，则舍弃该数据，并对下一幅图像继续执行步骤(1)；

(3)取连续5帧图像中的有效质心点坐标数据做均值运算，最终求得的均值分别为则为的匹配点；

(4)计算视差d：

基于立体匹配得到的视差信息d，运用双目立体视觉原理，计算出手势质心点相对左右摄像头光心的三维坐标；

步骤四：对步骤二图像预处理过程中提取出的手势轮廓进行去除检测噪声，手势轮廓多边形拟合操作，对手势轮廓进行手势特征提取，得到手势特征的手势的凸包及凸缺陷特征，根据手势的凸包及凸缺陷特征对二维手势进行识别；

步骤五：通过步骤四的二维手势结合手势质心的空间三维坐标实现手势的三维空间识别：双手手势分别在两个摄像头前同时变化，系统可以实时的得到手势图，左手手势深度信息为d1，右手手势深度信息是d2，左手手势与右手手势质心水平距离为X，左手手势与右手手势质心垂直距离为Y，左手手势为S1，右手手势为S2，左右双手手势个数相同，同为n个，当不考虑d1，d2，X，Y时，可以识别的双手手势个数为：N＝2ⁿ；当考虑双手手势左右或者前后移动变化时，d1，d2，X，Y是连续变化的，只要四个参数中有一个变化，本发明就识别为新的双手手势，上述四个参数结合双手手势个数N＝2ⁿ，可定义更多不同的响应，所以可以识别多种三维的双手手势；

步骤六：在人机交互模块预先设定识别的多种手势，在双摄像头前双手分别做出人机交互模块预先设定的多种手势，计算机就会做出手势对应的人机交互效果。

本发明所述的三维双手手势识别系统，首先在系统标定校正模块将图像进行初始标定校正，然后在图像预处理模块中提取手势的轮廓，将提取的手势轮廓一面在二维手势特征提取模块中完成对二维手势的识别，一面计算手势轮廓的质心，将计算得到的质心在深度信息获取模块中进行立体匹配，将深度信息获取模块和二维手势特征提取模块处理后的图像相结合实现三维手势识别，结合三维手势识别在人机交互模块实现对应的手势显示。

所述的三维双手手势识别系统的各个模块为：

(1)系统标定校正模块：在一个支架上水平设置两个摄像头，用标定板对两个摄像头进行标定和校正，并获取两个摄像头的内外参数；

(2)图像预处理模块：启动两个摄像头，将系统标定校正模块中两个摄像头采集到的图像分别存在不同的缓存部分，手势色度空间转化之后对缓存部分可以进行释放，采用肤色分割算法对两个摄像头采集到的两个图像中每一帧图像进行肤色分割，然后对图像进行中值滤波处理和形态学处理，其中形态学处理即对边缘存在毛刺和内部空洞的图像进行开、闭运算，对形态学处理后的图像边缘检测运用的是Canny边缘算子，最后用八邻域搜索法提取出两个图像中手势中的轮廓，并提取两个图像中手势轮廓的一阶矩作为手势的质心；

(3)深度信息获取模块：利用图像预处理模块已提取的手势质心进行立体匹配，以手势质心到两个摄像头连线的垂直距离作为手势的深度信息；

(4)二维手势特征提取与识别模块：对图像预处理模块中得到的用八邻域搜索法分割好的手势轮廓，进行手势轮廓多边形拟合，然后提取手势凸包及凸缺陷特征，用手势凸包及凸缺陷特征完成对二维手势的识别；

(5)三维手势识别模块：二维手势特征提取与识别模块中二维手势凸包及凸缺陷特征结合深度信息获取模块中的深度信息,获取双手手势深度信息实现三维的双手手势；

(6)人机交互模块：将三维手势识别模块中三维的双手手势，通过预设的手势变化，转换成计算机指令。

本发明的有益效果是由于采用了一种基于双目视觉的实时三维双手手势识别系统，该系统能够利用双目视觉信息，双手分别在双摄像头前作出特定手势，实现了计算机对基于三维空间的双手手势变化的人机交互，同时还满足很高的实时性和有效性以及降低了对硬件的要求。任何人的双手分别在双摄像头前，做出手势的变化，系统能够快速的识别出为哪种手势；同时，本发明利用预先定义识别双手手势的变化达到了人机互动的效果，同时很好的满足了实时性和有效性原则。用户只需要在双摄像头前进行双手手势变化或操作，就能实现上述人机交互的过程，无需修改计算机系统。同时，本系统基于可定义的开放的手势模板库，可根据不同的用户需求，定义特定的手势添加到手势库中，扩展可识别的手势种类。本发明原则上可以识别多种双手手势，这里演示的三种双手手势为剪刀、手掌、拳头，在人机交互过程中，用双手手势的三种变化来实现对计算机的简单操控。

附图说明

图1是是本发明工作的系统框图。

图2本发明中使用的标定板。

图3是手掌凸包特征。

图4三种单手手势凸包及凸缺陷示意图，其中a是二维手掌手势，b是二维剪刀手势，c是二维拳头手势。

图5是深度信息相同的双手手势。

图6是深度信息不相同的双手手势。

图7是双手手势识别原理图，其中X为左手手势与右手手势质心水平距离，Y为左手手势与右手手势质心垂直距离，S1为左手手势，S2为右手手势，d1为左手手势深度信息，d2为右手手势深度信息。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明不需要特定的运行环境，普通的计算机配两个普通的网络摄像头即可，同时也不需要大型的手势模型数据库。如图1所示，是本发明的主要系统框图，首先对含有两个摄像头的双目摄像头模组进行标定与校正，将获取的标定与校正的参数写入系统中。运行双目摄像头进行视频拍摄，将摄入视频流传输给计算机，计算机在WIN7平台上对双摄像头进行驱动，并调用Opencv数据库对输入的视频进行处理，完成图像预处理、二维手势特征提出与识别、深度信息获取、三维手势识别及人际交互模块的处理。

本发明实施过程中包括以下步骤：

步骤一：本发明基于双目视觉的双手手势识别系统，将两个普通网络摄像头固定在一个支架上水平设置，先对双摄像头进行标定和校正，获取系统所需要的内外参数，当更换计算机环境或者摄像头时，需要重新进标定。首先，运行本发明时，如图1先启动并运行双摄像头设备，接下来在双摄像头前放置如图2所示的标定板，对双摄像头进行标定和校正。成像采用针孔模型，标定采用平面模板两步标定法。标定板如图2是一张黑白方块交替排列的7×7大小的棋盘格，每个正方形格子宽度是28mm。在标定板上指定多个控制点，控制点数目大于等于4，利用模板上控制点与其图像上的对应点之间的约束关系，求解出摄像头的内外参数。其中，内部参数是由摄像机内部光学与几何特性决定的固有参数，外部参数是指表征图像坐标系与世界坐标系之间相对位置与方向信息的参数。然后使用Bouguet算法进行立体校正，即使用了两台标定摄像机的旋转和平移参数，将所获得的参数写入系统中。

标定和校正后，在检测运行循环中，双摄像头实时以25帧每秒捕获摄像头前方图像，采集到的图像大小为640×480的RGB彩色空间的数字图像，同时在计算机里分别开辟两个存储空间分别存储两个摄像头拍摄的图像。为了体现实时性和有效性，在这个过程中，电脑CPU会并行的分别处理两个摄像头拍摄好的图片，对图片帧进行预处理和深度信息提取，对双手手势识别后映射为特定的系统交互响应。

步骤二：启动两个摄像头，采用肤色分割算法对两个图像中每一帧图像进行肤色分割，同时对图像进行中值滤波处理和形态学处理，其中形态学处理是对边缘存在毛刺和内部空洞的图像进行开、闭运算，然后运用Canny边缘算子对形态学处理后的图像进行边缘检测，最后用八邻域搜索法提取出手势中的轮廓，并提取两个视频图像中手势轮廓的一阶矩作为手势的质心。

本发明采用对每帧图像将RGB颜色空间转化成YCbCr颜色空间的肤色分割算法，然后进行中值滤波处理，为了处理二值图像边缘的毛刺和内部的空洞，采用了先腐蚀再膨胀的开运算，再进行先膨胀后腐蚀的闭运算，边缘检测运用了现在比较成熟的Canny算子，同时为了保证手势分割的准确性，最后用八邻域搜索法提取出手势中的轮廓，图像预处理的最后，再计算手势轮廓的一阶矩，作为手势质心的坐标位置。本发明实验结果证明，本方法对复杂的背景有一定的适应能力。

图像预处理的详细过程如下：

1.首先将RGB颜色空间转化成YCbCr颜色空间，分别提取图像Cb和Cr分量,设置肤色特定的阈值Cb∈(79,129)&&Cb∈(133,166)；

2.将符合阈值区间的像素灰度置为255，其余置为0，完成图像的人手分割及二值化；

3.对每帧图像进行二值化处理后，采用5×5的模板，在图像中漫游，将模板中心与图像中某个位置重合，读取模板中各像素的灰度值，并将这些灰度值从小到大排列，找出排在中间的一个，同时将这个中间值赋给对应模板中心位置的像素；

4.对二值图像进行中值滤波后，再进行图像形态学处理，这里采用先腐蚀再膨胀的开运算，再进行先膨胀后腐蚀的闭运算，有效的去处了二值图像的孔洞和噪声；

5.形态学处理后，进行Canny边缘算子检测，然后采用八邻域搜索法对二值图像的轮廓进行提取，得到以链码形式表示的手势图像的轮廓；

6.上面步骤完成后，计算轮廓的一阶矩，作为手部质心位置；

7.重复步骤1-6的操作，不断迭代直到处理完所有图像。

步骤三：利用步骤二提取出的手势的质心进行立体匹配后求出视差，再求出左右双手手势质心到两个摄像头连线的垂直距离作为手势的深度信息。

深度信息提取：为了识别三维手势，除了要有二维信息外，还要有这里要提取的深度信息作为第三维数据，这里所说的深度信息指手势质心到双摄像头水平连线的垂直距离。通过左右图像对的手势质心坐标的处理，快速得到左右图像的视差d，由视差d计算出手势质心点相对左(右)摄像头光心的三维坐标。深度信息提取的结果是实时的快速获得了左右图像中手势质心的三维坐标，特定的左右双手手势中的任何一个移动都能快速的重新获得新的三维坐标。

步骤四：对步骤二图像预处理过程中提取出的手势轮廓进行去除检测噪声，手势轮廓多边形拟合操作，对手势轮廓进行手势特征提取，得到手势特征的手势的凸包及凸缺陷特征，根据手势的凸包及凸缺陷特征对二维手势进行识别。

二维手势特征提取与识别：本发明采取的方式是通过对手势特征凸包及凸缺陷的提取，达到对二维手势的识别，如图3是手掌凸包及凸缺陷图。利用手势轮廓多边形拟合去除噪声，同时凸包及凸缺陷对于手指数不同的手势识别特别有效，提高了识别率，如图4是定义的三种手势凸包及凸缺陷，以此可以清楚的识别出二维手势。

步骤五：通过步骤四的二维手势结合手势质心的空间三维坐标实现手势的三维空间识别：双手手势分别在两个摄像头前同时变化，系统可以实时的得到手势图，左手手势深度信息为d1，右手手势深度信息是d2，左手手势与右手手势质心水平距离为X，左手手势与右手手势质心垂直距离为Y，左手手势为S1，右手手势为S2，左右双手手势个数相同，同为n个，当不考虑d1，d2，X，Y时，可以识别的双手手势个数为：N＝2ⁿ；当考虑双手手势左右或者前后移动变化时，d1，d2，X，Y是连续变化的，只要四个参数中有一个变化，本发明就识别为新的双手手势，上述四个参数结合双手手势个数N＝2ⁿ，可定义更多不同的响应，所以可以识别多种三维的双手手势。

三维双手手势识别：本发明的三维双手手势识别是通过深度信息模块获得的手势质心点的三维坐标结合已识别出的二维手势来完成的。双手手势分别在两个摄像头前同时变化，系统可以实时的得到双手手势图，如图5是识别出的双手手势深度信息相同的手势图，双手手势也可以在相对于摄像头距离不一样的情况下进行变化，系统也可以实时的进行识别，如图6是识别出的双手手势深度信息不相同的手势图。该发明能识别多种双手手势，原理如图7所示，只要双手手势在双摄像头前有效拍摄距离范围内的任意位置进行变化，本系统所用的某型号的摄像头的有效拍摄距离是0.3至1.3米，计算机都能由三维坐标结合二维手势识别出这是新的双手手势，原则上来说，本发明可以识别出极多种双手手势。

步骤六：在人机交互模块预先设定识别的多种手势，在双摄像头前双手分别做出人机交互模块预先设定的多种手势，计算机就会做出手势对应的人机交互效果。

人机交互：为了达到人机交互演示的特效，本发明预先定义了三种双手手势，如图5所示，深度信息相同的手掌、剪刀和拳头。任何使用发明的人，在双摄像头前有效拍摄距离范围内，双手分别做出如表1左一栏所示手势的变化：

双手手势	交互响应
		双手手掌变成拳头	双手拳头左右移动
双手拳头左右移动	图片随手掌移动
		双手拳头变成剪刀	开始三维操作
左手手掌不动，右手剪刀前移	图片放大
		左手手掌不动，右手剪刀后移	图片缩小

表1是双手手势以及对应的交互响应

计算机就会映射出如表1右一栏的人机交互特效。该部分可以定义其它的人机交互效果，同时除了预先定义深度信息相同的手掌、剪刀和拳头三种双手手势外，也完全可以定义其它的手势，比如可以双手手势的深度信息不相同，也可以二维手势定义为一个手指或者多个手指等，一次来映射为别的计算机响应，这些都是本发明很容易能达到的效果。

Claims (2)

1.一种基于双目视觉的实时三维双手手势识别系统的方法，其特征在于包括下述步骤：

步骤一：本发明基于双目视觉的双手手势识别系统，将两个摄像头固定在一个支架上水平设置，先对两个摄像头进行标定和校正，获取系统所需要的内外参数，当更换计算机环境或者摄像头时，需要重新进标定；

步骤二：启动两个摄像头，采用肤色分割算法对两个图像中每一帧图像进行肤色分割，同时对图像进行中值滤波处理和形态学处理，其中形态学处理是对边缘存在毛刺和内部空洞的图像进行开、闭运算，然后运用Canny边缘算子对形态学处理后的图像进行边缘检测，最后用八邻域搜索法提取出手势中的轮廓，并提取两个视频图像中手势轮廓的一阶矩作为手势的质心；

步骤三：利用步骤二提取出的手势的质心进行立体匹配后求出视差，再求出左右双手手势质心到两个摄像头连线的垂直距离作为手势的深度信息；

立体匹配及求视差方法如下：

(1)求得左右图像对的手势质心点分别为(x_l,c,y_l,c)、(x_r,c,y_r,c)，x_l,c和y_l,c是左图像手势质心横纵坐标，x_r,c和y_r,c是右图像手势质心横纵坐标；

(2)应用极线约束规则：若|y_l,c-y_r,c|≤10，记下此时左右质心点坐标作为有效数据，并对下一帧图像继续执行步骤(1)，若不满足，则舍弃该数据，并对下一幅图像继续执行步骤(1)；

(3)取连续5帧图像中的有效质心点坐标数据做均值运算，最终求得的均值分别为则为的匹配点；

(4)计算视差d：

基于立体匹配得到的视差信息d，运用双目立体视觉原理，计算出手势质心点相对左右摄像头光心的三维坐标；

步骤四：对步骤二图像预处理过程中提取出的手势轮廓进行去除检测噪声，手势轮廓多边形拟合操作，对手势轮廓进行手势特征提取，得到手势特征的手势的凸包及凸缺陷特征，根据手势的凸包及凸缺陷特征对二维手势进行识别；

步骤五：通过步骤四的二维手势结合手势质心的空间三维坐标实现手势的三维空间识别：双手手势分别在两个摄像头前同时变化，系统可以实时的得到手势图，左手手势深度信息为d1，右手手势深度信息是d2，左手手势与右手手势质心水平距离为X，左手手势与右手手势质心垂直距离为Y，左手手势为S1，右手手势为S2，左右双手手势个数相同，同为n个，当不考虑d1，d2，X，Y时，可以识别的双手手势个数为：N＝2ⁿ；当考虑双手手势左右或者前后移动变化时，d1，d2，X，Y是连续变化的，只要四个参数中有一个变化，本发明就识别为新的双手手势，上述四个参数结合双手手势个数N＝2ⁿ，可定义更多不同的响应，所以可以识别多种三维的双手手势；

步骤六：在人机交互模块预先设定识别的多种手势，在双摄像头前双手分别做出人机交互模块预先设定的多种手势，计算机就会做出手势对应的人机交互效果。

2.一种实现权利要求1所述方法的基于双目视觉的实时三维双手手势识别系统，其特征在于：所述的三维双手手势识别系统包括如下模块：

(1)系统标定校正模块：在一个支架上水平设置两个摄像头，用标定板对两个摄像头进行标定和校正，并获取两个摄像头的内外参数；

(2)图像预处理模块：启动两个摄像头，将系统标定校正模块中两个摄像头采集到的图像分别存在不同的缓存部分，手势色度空间转化之后对缓存部分可以进行释放，采用肤色分割算法对两个摄像头采集到的两个图像中每一帧图像进行肤色分割，然后对图像进行中值滤波处理和形态学处理，其中形态学处理即对边缘存在毛刺和内部空洞的图像进行开、闭运算，对形态学处理后的图像边缘检测运用的是Canny边缘算子，最后用八邻域搜索法提取出两个图像中手势中的轮廓，并提取两个图像中手势轮廓的一阶矩作为手势的质心；

(3)深度信息获取模块：利用图像预处理模块已提取的手势质心进行立体匹配，以手势质心到两个摄像头连线的垂直距离作为手势的深度信息；

(4)二维手势特征提取与识别模块：对图像预处理模块中得到的用八邻域搜索法分割好的手势轮廓，进行手势轮廓多边形拟合，然后提取手势凸包及凸缺陷特征，用手势凸包及凸缺陷特征完成对二维手势的识别；

(5)三维手势识别模块：二维手势特征提取与识别模块中二维手势凸包及凸缺陷特征结合深度信息获取模块中的深度信息,获取双手手势深度信息实现三维的双手手势；

(6)人机交互模块：将三维手势识别模块中三维的双手手势，通过预设的手势变化，转换成计算机指令。