CN102073878B - 非穿戴指势视觉识别方法 - Google Patents

Abstract

本发明涉及一种非穿戴指势视觉识别方法。本方法是根据小波变换在时域和空域均具有优异的局部化特征，采用背景差分法，利用小波多尺度特性，提取指势用户对象，根据指势手指空间几何特征与人眼特征，确定手指尖与人眼的位置，通过对不同指势用户手指不同目标的样本学习与训练，对指势用户在指向不同目标时的指势视觉特征进行分类，确定所指目标。本发明方法不需要特定的硬件支持以及限定用户活动范围等约束，方法简便、灵活、易实现。

Description

非穿戴指势视觉识别方法

技术领域

本发明涉及一种非穿戴指势视觉识别方法，用于视频数字图像分析与理解。属于智能信息处理技术领域。

背景技术

指势是人们日常生活中用手指对空间感兴趣目标的反映，是人类语系发展和个体发生学的重要先驱，可揭示人类社会智力，是一种理想的自然人机交互模式。应用指势进行人机交互，则可充分利用人类的日常技能，摆脱目前使用常规输入设备(如键盘、鼠标器和触摸屏等)进行输入的束缚，其中，有效进行指势人机交互的关键是指势识别。

指势识别分为穿戴式和非穿戴式两类。前者基于数据头盔、数据手套和身体标记等，这类方法虽可获得较准确的用户位置和用户行动，但该类方法为侵入式，用户需专门训练，操作不便；后者基于非接触传感器（如摄像机）进行指势识别，支持自然的人机交互。由于在人类的日常生活中，人类习惯并大量使用非精确的信息交流，允许使用模糊的表达手段，避免不必要的认识负荷，以提高交互活动的自然性和高效性，且在人类信息的获取中，80%以上来自于视觉，因此，非穿戴的指势视觉识别方法倍受青睐。有效的非穿戴指势视觉识别，在教育、影视、娱乐、制造、医学、商业、军事等领域，具有重要的实用意义和价值。

虽然人类在日常生活中频繁地使用指势进行信息交流，且可以很容易地识别出所指目标，但对计算机而言，却是一个难题。目前，已经提出了许多非穿戴指势视觉识别方法。主要有基于立体匹配方法和基于特征分析方法。前者通过二个或二个以上摄像机获取图像，采用立体匹配方法，进行指势视觉识别，确定所指目标。但由于立体匹配存在歧义性，且计算量大、运算复杂，需特定的硬件支持以实现实时处理。后者通过指势对象特征提取，进行指势视觉识别，确定所指目标。但这类方法要求用户站立于事先指定的范围内，用户周围无遮挡或障碍物，且要求背景简单、单一。该类方法在很大程度上制约了用户活动的自由性，不符合人类自然交流习惯。

发明内容

本发明的目的在于针对现有非穿戴指势视觉识别方法要求用户站立于事先指定的范围，其周围无遮挡或障碍物，背景简单、单一等假设信息，以及对动态场景变化敏感、噪声干扰大、运算复杂，提供一种非穿戴指势视觉识别方法，根据指势视觉特征与所指目标存在对应关系，基于指势特征与指向目标的样本学习与训练的机器学习方法进行指势视觉识别，可在多种条件下，实现指向目标的确定。

为达到上述目的，本发明的构思是：基于小波变换在时域和空域均具有优异的局部化特征，采用背景差分法，利用小波多尺度特性，提取指势用户对象，根据指势手指空间几何位置关系与人眼分布特征，提取手指与人眼等指势视觉特征，基于指势视觉特征与所指目标的样本学习与训练，对指势视觉特征进行模式分类，确定所指目标。

根据上述发明构思，本发明采用下述技术方案：

一种非穿戴指势视觉识别方法，其特征在于具体步骤如下：

1)    启动指势图像采集系统：采集视频图像；

2）获取背景图像

连续采集不包含指势用户的场景图像，当某设定时间间隔内两图像差小于某个设定阈值时，则将该时间间隔内的某一幅图像作为背景图像，否则重新采集，直到满足设定的时间间隔内的两图像差小于某个设定阈值；

3） 指势用户对象分割

由摄像机采集的当前帧图像与步骤2）获取的背景图像相减，采用小波变换方法分割出指势用户对象区域；

4）确定指势用户对象的人眼位置与指势手指尖位置；

5）样本学习与训练；

6）指向目标确定。

上述步骤3）的具体操作步骤如下：

（1）当前帧图像I ₁(x,y)与背景图像I ₂(x,y)相减，得到差分图像D(x,y)：

D(x,y)=I ₁(x,y)-I ₂(x,y)；

（2）差分图像多尺度小波变换：

；

其中，D为差分图像，h，v分别为水平、垂直方向上的滤波算子，

为卷积；

（3）指势用户对象区域的确定：确定差分图像多尺度小波变换E的阈值T，将E值高于T的所有像素组成的区域，确定为指势用户对象区域。

上述步骤4）的具体操作步骤如下：

（1）肤色区域提取：根据RGB色彩空间中的R/G、R/B的比值具有较好的肤色聚类特性，分别确定R/G以及R/B的阈值T ₁，T ₂，T ₃，T ₄，将满足下式的所有像素组成的区域，确定为肤色区域S：

其中，

为“逻辑与”操作符；

（2）候选人脸区域与手部区域提取：将同时满足步骤3）与步骤（1）的图像区域，作为候选的指势用户的肤色区域；

（3）人脸区域提取：对步骤（2）的二值图像进行连通区域搜索，计算连通区域高S _l 与宽S _w 的比值，以及连通区域中的孔洞数H和连通区域大小W，将满足下式的所有像素组成的区域视为人脸区域：

其中，T ₅，T ₆，T ₇为阈值；

（4）人眼定位：基于步骤（3）所得区域进行Haar人眼特征检测，确定人眼位置；

（5）指势手部区域提取：根据指势过程中，指势手部区域高于非指势手部区域，从经步骤（2）所得的肤色区域中，剔除人脸区域以及因噪声引起的面积较小的肤色区域，确定指势手部区域；

（6）指势手指尖定位：计算经步骤（5）所得的指势手部区域的曲率，根据手指尖具有大的曲率变化特性，确定手指尖位置。

上述步骤5）的具体操作步骤如下：

（1）按照步骤4），通过采集不同指势用户对象在指向不同目标T _i 时的人眼位置E _i 和指势手指尖位置H _i ，构成训练样本的数据集合D _i =｛E _i ，H _i ｝和指向目标的标记集合C _i =｛T _i ｝；

（2）选择分类器，对上述数据集合D _i 和标记集合C _i 构成的样本集合（D _i ，C _i ）进行监督学习，并调整分类器中参数，使分类效果达到最佳。

上述步骤6）的具体操作步骤如下：

（1）按照步骤4），采集指势用户对象在指向目标时的人眼位置AE _i 和指势手指尖位置AH _i ，构成测试数据集合AD _i =｛AE _i ，AH _i ｝；

（2）根据步骤5）所确定的分类器及其参数，对测试数据集合AD _i 进行分类判别，根据判别函数的最大值确定指向目标。

本发明的原理如下：在本发明的技术方案中，基于指势进行人机交互时，所指目标由指势手指尖与人眼视线的连线与所指目标所在平面的交点确定，根据背景差分法能提供较完全的特征数据，基于场景中任何可察觉的目标运动都会体现在场景图像序列的变化中，利用当前图像与背景图像之间的差分，根据小波变换在时域和频域均具有局部化特征，从视频图像中分割出指势用户对象，并提取相应的手指尖和人眼等指势视觉特征。根据指势视觉特征与所指目标存在对应关系，基于指势视觉特征与指向目标的样本学习与训练的机器学习方法，确定指向目标。

设时间间隔Dt内，分别获得t _n-1与t _n 两时刻的两帧图像f(t _n-1, x, y)，f(t _n , x, y)，将两幅图像逐象素求差值，得差分图像Diff(x, y)：

其中，DiffR，DiffG，DiffB分别对应差分图像红、绿、蓝三分量，|f|为f的绝对值。

若时间间隔

内的两序列图像f(t _n-1, x, y)，f(t _n , x, y)的差值，其中，T为阈值，｜为“逻辑或”运算符，表明时间间隔内没有变化物体，从而可将t _n ~t _n-1之间某一时刻的图像，作为背景图像。

利用所得背景图像，根据当前获取的当前帧图像，采用背景差分法和小波变换，分割出指势用户区域。根据二维图像I（x, y）在尺度2 ^j  和k方向上的小波变换：

则在x，y方向上的小波函数可表示为：

                                  

 

式中，

为平滑滤波函数。

由此可确定图像I(x, y)经函数

平滑滤波后，在不同尺度下的小波变换为：

若梯度幅度

沿下列梯度方向达到局部极大，则图像中该点(x, y)为多尺度边缘点

据此，可确定不同尺度下的边缘点。由于噪声对尺度变化敏感，因此，采用上述寻求局部幅度极大值，不能有效压制噪声。为有效克服这一影响，通过寻求梯度幅度高于某阈值方法，替代寻求局部幅度极大值，确定不同尺度的边缘点。

其中，h，v分别为水平、垂直方向上的滤波算子，T为阈值，

为卷积算子。

同时，尽管人类肤色因人而异，且千差万别，但在RGB色彩空间中的R/G以及R/B的分布上，处在一个稳定的范围内，并呈现良好的聚类特性，且对姿态变化不敏感，可克服旋转、表情等变化影响，具有强的鲁棒性。在RGB色彩空间中，R，G，B分别表示红、绿、蓝三色的强度分量。

在当前获取的图像中，将满足

条件的像素，作为当前图像的肤色区域，其中，T ₁，T ₂，T ₃，T ₄为阈值，为“逻辑与”操作符。为克服当前图像中类肤色信息（如木地板、木柜等）的影响，将同时满足该肤色条件所提取的肤色区域和上述采用背景差分法和小波变换分割出的指势用户区域，作为指势用户肤色区域。

由于人眼、眉毛、嘴唇等色彩特征区别于人脸肤色，因此，在提取的人脸区域中将存在孔洞，且人脸肤色区域的高、宽的比值，分布在一个稳定的范围内，从而将满足

条件的像素，作为人脸区域，其中，S _l ，S _w 分别为人脸连通区域的高与宽，H为人脸连通区域的孔洞数，W为人脸连通区域的大小，T ₅，T ₆，T ₇为阈值，

为“逻辑与”操作符。根据在指势过程中，指势手部区域高于非指势手部区域，且具有一定大小，基于已提取的指势用户肤色区域和已确定的人脸区域，确定指势手部区域。

基于已确定的人脸区域和指势手部区域，分别根据人眼具有明显的Haar特征和手指尖具有最大的曲率变化特征，确定人眼位置和手指尖位置。

通过采集不同指势用户对象在指向不同目标T _i 时的人眼位置E _i 和指势手指尖位置H _i ，构成训练样本的数据集合D _i =｛E _i ，H _i ｝和指向目标的标记集合C _i =｛T _i ｝。对这些数据进行机器学习和训练，通过反复修正判决规则及参数，得到一种分类器模型，使之正确识别率达到设计要求。

利用所得分类器模型，通过对由指势用户指向不同目标时的人眼位置AE _i 和指势手指尖位置AH _i 构成的数据集合AD _i =｛AE _i ，AH _i ｝，进行分类判别，根据判别函数的最大值确定对应的指向目标。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明根据小波变换在时域和空域均具有优异的局部化特征，采用背景差分法，利用小波多尺度特性，提取指势用户对象，根据指势手指空间几何位置关系与人眼分布特征，提取手指尖与人眼等指势视觉特征，基于指势视觉特征与所指目标的样本学习与训练，对指势视觉特征进行模式分类，确定指向目标，运算简便、灵活，容易实现，解决了进行非穿戴指势视觉识别时，要求背景简单，对动态场景变化敏感、噪声干扰大、运算复杂，以及要求用户站立于事先指定范围，用户周围无遮挡或障碍物的不足；提高了非穿戴指势视觉识别的鲁棒性，可适应复杂背景条件下的非穿戴指势视觉识别。

附图说明

图1是本发明方法的操作程序框图。

图2是本发明一个实施例的视频原始背景图像。

图3是本发明一个实施例的视频原始当前帧图像。

图4是图2示例中分割出的二值指势用户区域图像。

图5是图2示例中分割出的指势用户区域图像。

图6是图2示例中分割出的二值指势用户肤色区域图像。

图7是图2示例中的指势用户人眼与手指尖定位图像。

图8是本发明一个实施例的指势用户未手指前方目标时的场景图像。

图9 是图8示例指势用户徒手指向前方一目标时（前方目标被点亮—方框）的场景图像。

具体实施方式

    本发明的一个具体实施例是：本非穿戴指势视觉识别方法的操作程序如图1所示。本例的原始背景图像如图2所示，当前帧图像如图3所示。对图3与图2所示的图像进行差分，对所得差分图像进行小波多尺度变换，进行前景对象区域分割，提取指势用户对象，根据指势手指空间几何位置关系与人眼分布特征，提取手指与人眼等指势视觉特征，基于指势视觉特征与所指目标的样本学习与训练，对指势视觉特征进行模式分类，确定指向目标；具体步骤如下：

1） 启动指势图像采集系统：采集视频图像；

2）  获取背景图像：连续采集不包含指势用户的场景图像，当某设定时间间隔内两图像差小于某个设定阈值时，则将该时间间隔内的某一幅图像作为背景图像，否则重新采集，直到满足设定的时间间隔内的两图像差小于某个设定阈值；

3）指势用户对象分割：具体操作步骤如下：

（1）背景差分：由摄像机采集的如图3的当前帧图像I ₁(x,y)与如图2的背景图像I ₂(x,y)相减，得到差分图像D(x,y)。

D(x,y)=I ₁(x,y)-I ₂(x,y)

（2）差分图像多尺度小波变换：

其中，D为差分图像，h，v分别为水平、垂直方向上的滤波算子，

为卷积。

（3）指势用户对象区域的确定：确定差分图像多尺度小波变换E的阈值T，将E值高于T的所有像素组成的区域，确定为指势用户对象区域。

图4为经上述所得的二值指势用户对象区域，图5为分割出的指势用户对象。

4）确定指势用户对象的人眼位置与指势手指尖位置

具体操作步骤如下：

（1）肤色区域提取：根据RGB色彩空间中的R/G、R/B的比值具有较好的肤色聚类特性，分别确定R/G以及R/B的阈值范围，将满足下式的所有像素组成的区域，确定为肤色区域S：

其中， 

为“逻辑与”操作符；

（2）候选人脸区域与手部区域提取：将同时满足步骤3）与步骤（1）的图像区域，作为候选的指势用户的肤色区域，如图6所示；

（3）人脸区域提取：对步骤（2）的二值图像进行连通区域搜索，计算连通区域高S _l 与宽S _w 的比值，以及连通区域中的孔洞数H和连通区域大小W，将满足下式的所有像素组成的区域视为人脸区域：

（4）人眼定位：基于步骤（3）所得区域进行Haar人眼特征检测，确定人眼位置；

（5）指势手部区域提取：根据指势过程中，指势手部区域高于非指势手部区域，从经步骤（2）所得的肤色区域中，剔除人脸区域以及因噪声引起的面积较小的肤色区域，确定指势手部区域；

（6）指势手指尖定位：计算经步骤（5）所得的指势手部区域的曲率，根据手指尖具有大的曲率变化特性，确定手指尖位置。图7中十字叉所示为经上述所得的人眼与手指尖位置。

5）样本学习与训练：采集多个不同指势用户对象在指向不同目标T _i 时的视频图像，获取他们的人眼位置E _i 和指势手指尖位置H _i ，构成训练样本的数据集合D _i =｛E _i ，H _i ｝和指向目标的标记集合C _i =｛T _i ｝，采用支持向量机并选择径向基核函数，对上述数据集合D _i 和标记集合C _i 构成的样本集合（D _i ，C _i ）进行学习和训练，不断修改径向基核函数中的惩罚因子参数γ，使正确识别率达到最高。

6）指向目标确定：通过采集指势用户在指势过程中指向不同目标时的视频图像，获取人眼位置AE _i 和指势手指尖位置AH _i ，构成指势视觉特征数据集合AD _i =｛AE _i ，AH _i ｝，采用已确定的惩罚因子参数γ进行基于径向基核函数的支持向量机分类判别，根据判别函数的最大值确定指向目标。

Claims (1)

1.一种非穿戴指势视觉识别方法，其特征在于具体步骤如下：

1）启动指势图像采集系统，采集视频图像；

2）获取背景图像：连续采集不包含指势用户的场景图像，当某设定时间间隔内两图像差小于某个设定阈值时，则将该时间间隔内的某一幅图像作为背景图像，否则重新采集，直到满足设定的时间间隔内的两图像差小于某个设定阈值；

3）指势用户对象分割：由摄像机采集的当前帧图像与步骤2)获取的背景图像相减，采用小波变换方法分割出指势用户对象区域；

4）确定指势用户对象的人眼位置与指势手指尖位置；

5）样本学习与训练；

6）指向目标确定；

所述步骤3）指势用户对象分割的具体操作步骤如下：

（1）当前帧图像I ₁(x,y)与背景图像I ₂(x,y)相减，得到差分图像D(x,y)：

D(x,y)=I ₁(x,y)-I ₂(x,y)；

（2）差分图像多尺度小波变换：

；

其中，D为差分图像，h，v分别为水平、垂直方向上的滤波算子，

为卷积；

（3）指势用户对象区域的确定：确定差分图像多尺度小波变换E的阈值T，将E值高于T的所有像素组成的区域，确定为指势用户对象区域；

所述步骤4）确定指势用户对象的人眼位置与指势手指尖位置的具体操作步骤如下：

（1）肤色区域提取：根据RGB色彩空间中的R/G、R/B的比值具有较好的肤色聚类特性，分别确定R/G以及R/B的阈值T ₁，T ₂，T ₃，T ₄，将满足下式的所有像素组成的区域，确定为肤色区域S：

其中， 

为“逻辑与”操作符；

（2）候选人脸区域与手部区域提取：将同时满足步骤3）与步骤（1）的图像区域，作为候选的指势用户的肤色区域；

（3）人脸区域提取：对步骤（2）的二值图像进行连通区域搜索，计算连通区域高S _l 与宽S _w 的比值，以及连通区域中的孔洞数H和连通区域大小W，将满足下式的所有像素组成的区域视为人脸区域：

其中，T ₅，T ₆，T ₇为阈值；

（4）人眼定位：基于步骤（3）所得区域进行Haar人眼特征检测，确定人眼位置；

（5）指势手部区域提取：根据指势过程中，指势手部区域高于非指势手部区域，从经步骤（2）所得的肤色区域中，剔除人脸区域以及因噪声引起的面积较小的肤色区域，确定指势手部区域；

（6）指势手指尖定位：计算经步骤（5）所得的指势手部区域的曲率，根据手指尖具有大的曲率变化特性，确定手指尖位置；

所述步骤5）样本学习与训练的具体操作步骤如下：

（1）按照步骤4），通过采集不同指势用户对象在指向不同目标T _i 时的人眼位置E _i 和指势手指尖位置H _i ，构成训练样本的数据集合D _i =｛E _i ，H _i ｝和指向目标的标记集合C _i =｛T _i ｝；

（2）选择分类器，对上述数据集合D _i 和标记集合C _i 构成的样本集合（D _i ，C _i ）进行监督学习，并调整分类器中参数，使分类效果达到最佳；

所述步骤6）指向目标确定的具体操作步骤如下：

（1）按照步骤4），采集指势用户对象在指向目标时的人眼位置AE _i 和指势手指尖位置AH _i ，构成测试数据集合AD _i =｛AE _i ，AH _i ｝；

（2）根据步骤5）所确定的分类器及其参数，对测试数据集合AD _i 进行分类判别，根据判别函数的最大值确定指向目标。

Images