CN103400118B - 一种映射关系自适应调整的手势控制方法 - Google Patents

Abstract

本发明公开了一种映射关系自适应调整的手势控制方法，包括如下步骤：1.开机；2.用户伸出控制手并悬停；3.摄像头对手势，面部等进行识别；4.确定中心参考点；5.系统根据识别数据确定人脸宽度L,从而确定触发映射参数改变的多个距离梯度值；6.用户移动控制手，系统确定绝对距离S；7.比对S与各梯度值的大小关系，确定相应区间；8.调用该区间特定梯度值所对应的映射关系；9.重复进行步骤6、7、8，根据手的位置实时调整映射关系；10.系统在一定时间周期抽样记录映射参数并根据抽样统计值对梯度值和映射关系进行微调，改善映射参数。具有提升了用户非接触手势操作体验等优点。

Description

一种映射关系自适应调整的手势控制方法

技术领域

本发明涉及一种人机交互技术，特别涉及一种映射关系自适应调整的手势控制方法。

背景技术

随着技术的不断发展，现代社会越来越智能化和人性化。手势控制、语音控制、人脸识别等非接触式操作方式为人们的生活和工作带来了极大的便利。现阶段，人机交互的控制方法主要是鼠标、键盘、遥控器和触控屏等，也有比较前沿的控制方式，如手势控制、语音控制等。

目前在手势控制方法上，专利申请号为PCT/CN2012/075798提供了一种非接触式手势控制方法及装置，通过手势进行非接触式操作，实现对目标的远距离操作需要。

目前的非接触手势控制方法存在如下缺陷：映射方式单一固定，不能良好适应各种操作情况，在某些情况下给用户带来了较大的操作难度，降低了用户的使用体验。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种映射关系自适应调整的手势控制方法，该方法可以根据用户控制手的实际操作特点，动态调整手势识别的映射参数，使得用户的操作更加流畅，提升用户非接触手势操作的体验。

本发明的目的通过下述技术方案实现：一种映射关系自适应调整的手势控制方法，包括以下步骤：

A.开机；

B.用户以自然状态伸出控制手并在舒适的位置上悬停；

C.摄像头对手势，面部，躯干等重要部位进行识别；

D.根据步骤C获得的数据，确定以初始状态的控制手手掌所在位置作为手操作距离的中心参考点；

E.根据步骤D中确定的中心参考点，结合面部，躯干等的重要部位识别数据,确定人脸宽度L，后台控制系统确定触发映射参数改变的距离梯度值a₁L、a₂L、a₃L，其中a_xL(x=0,1,2,3…)为长度常数；

F.用户移动控制手，控制系统根据摄像头此时识别的用户手掌与中心参考点的距离，确定当前用户手掌距离中心参考点在整个图像中的绝对距离S；

G.结合步骤E中的距离梯度值a_xL及步骤F中绝对距离S，比对S与a_xL的大小关系，确定区间a_x-1L＜S＜a_xL；

H.根据步骤G中的确定区间，调用a_xL所对应的映射关系Y=b_xX，其中b_x表示对应于人手实际操作距离的线性映射比例参数，b_x>b_x-1，X为人手实际操作距离，Y为在屏幕上的映射移动距离；

I.重复进行步骤F、G、H，不断实时根据手势位置调整手势映射关系Y=b_xX中的参数b_x；

J.抽样记录用户在当前时刻的线性映射比例参数b_x，在一定时间周期根据抽样统计值不断对a_xL和b_xX进行微调，逐渐逼近每个个体用户最舒适的映射比例参数。

本发明可以根据用户控制手的实际操作特点，动态调整手势识别的映射参数，使得用户的操作更加流畅，提升用户非接触手势操作的体验。

前述技术方案进一步细化的技术方案可以是：

在所述C步骤中，摄像头会对手势，面部，躯干等重要部位都进行识别，获得手势，面部，躯干等的图像识别数据；

在所述D步骤中，结合控制手手掌与面部，躯干等重要部位的相对位置及在摄像头捕捉画面的绝对位置，确定出中心参考点；

在所述E步骤中，根据所制定的中心参考点，结合图像识别中人脸的绝对长度L，按一定比例关系确定映射参数改变的距离梯度值a_xL；

在所述F步骤中，动态识别用户控制手手势，不断更新手势的位置信息，确定当前用户手掌距离中心参考点在整个图像中的绝对距离S；

在所述G步骤中，结合步骤E中的距离梯度值a_xL及步骤F中绝对距离S，比对S与a_xL的大小关系，确定S的实际所在区间；

在所述H步骤中，每一个距离梯度值a_xL都有一个对应的线性映射关系Y=b_xX，系统后台根据实时确定的S所在距离梯度值a_xL，调用相应的线性映射比例参数b_x；

在所述I步骤中，距离值S的确定和调用相应的线性映射关系Y=b_xX都是实时更新，动态变化，不断进行调整的；

在所述J步骤中，线性映射比例参数b_x作为抽样样本，在经过数据处理后为距离梯度值a_xL和线性映射比例参数b_x的微调提供参考和数据支持，逐渐逼近每个个体用户最舒适的映射比例参数。

本发明中，通过摄像头获取或跟踪双手的图像，或者对图像进行数字处理，并将处理结果作相应的数学运算，这些已是现有的技术。在对图像进行处理或运算的过程中，可以采用多种数学算法来实现。

本发明相对于现有技术具有如下的优点及效果：

1、本发明可以根据用户控制手的实际操作特点，动态调整手势识别的映射参数，使得用户的操作更加流畅，提升用户非接触手势操作的体验。

2、相对已有的非接触手势控制方法及映射方法来说，本手势控制方法可以实时动态的进行手势控制方法的调整。

3、相对已有的非接触手势控制方法及映射方法来说，本手势控制方法以人自然状态下的手掌所处位置作为中心参考点，充分考虑了用户手势控制操作的舒适度，更好的满足用户体验需求。

附图说明

图1是映射关系自适应调整的手势控制方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，一种映射关系自适应调整的手势控制方法，包括如下步骤：

A.开机；

B.用户以自然状态伸出控制手并在舒适的位置上悬停；

C.摄像头对手势，面部，躯干等重要部位进行识别；

D.根据步骤C获得的数据，确定以初始状态的控制手手掌所在位置作为手操作距离的中心参考点；

E.根据步骤D中确定的中心参考点，结合面部，躯干等的重要部位识别数据,确定人脸宽度L，后台控制系统确定触发映射参数改变的距离梯度值a₁L、a₂L、a₃L，其中a_xL(x=0,1,2,3…)为长度常数；

F.用户移动控制手，控制系统根据摄像头此时识别的用户手掌与中心参考点的距离，确定当前用户手掌距离中心参考点在整个图像中的绝对距离S；

G.结合步骤E中的距离梯度值a_xL及步骤F中绝对距离S，比对S与a_xL的大小关系，确定区间a_x-1L＜S＜a_xL；

H.根据步骤G中的确定区间，调用a_xL所对应的映射关系Y=b_xX，其中b_x表示对应于人手实际操作距离的线性映射比例参数，b_x>b_x-1，X为人手实际操作距离，Y为在屏幕上的映射移动距离；

I.重复进行步骤F、G、H，不断实时根据手势位置调整手势映射关系Y=b_xX中的参数b_x；

J.抽样记录用户在当前时刻的线性映射比例参数b_x，在一定时间周期根据抽样统计值不断对a_xL和b_xX进行微调，逐渐逼近每个个体用户最舒适的映射比例参数。

在所述C步骤中，摄像头会对手势，面部，躯干等重要部位都进行识别，获得手势，面部，躯干等的图像识别数据；

在所述D步骤中，结合控制手手掌与面部，躯干等重要部位的相对位置及在摄像头捕捉画面的绝对位置，确定出中心参考点；

在所述E步骤中，根据所制定的中心参考点，结合图像识别中人脸的绝对长度L，按一定比例关系确定映射参数改变的距离梯度值a_xL；

在所述F步骤中，动态识别用户控制手手势，不断更新手势的位置信息，确定当前用户手掌距离中心参考点在整个图像中的绝对距离S；

在所述G步骤中，结合步骤E中的距离梯度值a_xL及步骤F中绝对距离S，比对S与a_xL的大小关系，确定S的实际所在区间；

在所述H步骤中，每一个距离梯度值a_xL都有一个对应的线性映射关系Y=b_xX，系统后台根据实时确定的S所在距离梯度值a_xL，调用相应的线性映射比例参数b_x；

在所述I步骤中，距离值S的确定和调用相应的线性映射关系Y=b_xX都是实时更新，动态变化，不断进行调整的；

在所述J步骤中，线性映射比例参数b_x作为抽样样本，在经过数据处理后为距离梯度值a_xL和线性映射比例参数b_x的微调提供参考和数据支持，逐渐逼近每个个体用户最舒适的映射比例参数。

具体而言，本实施例所述方法及该方法所采用的算法如下：

系统开机，此时系统处于用户搜索状态，即：

1、摄像头采集用户图像，在图像中根据人脸检测算法在图像中搜索人脸，通过检测图像中是否有人脸来判别是否有用户存在；

2、在检测到人脸之后进行后续操作，在人脸附近设立敏感区域，在敏感区域中搜索人手，摄像头在敏感区域中搜索是否有手掌面向摄像头，若无，系统处于待机状态，摄像头重新采集图像序列；当摄像头在敏感区域中搜索到有一只手的手掌面向摄像头，且为有效手势，则判定该手为控制手；当摄像头在敏感区域中同时搜索到有两只手的手掌面向摄像头，且均为有效手势，则默认判定用户的右手为控制手；

3、在确定控制手之后，系统进入用户控制状态。

如上所述的人脸检测算法，使用Harr-like特征表示人脸，使用积分图实现特征数值的快速计算；使用AdaBoost算法挑选出一些最能代表人脸的矩形特征的弱分类器，按照加权投票的方式将弱分类器构造成一个强分类器；将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级联结构能有效地提高分类器的检测速度；使用得到的分类器对图像中人脸区域与非人脸区域进行分类，并最终找出人脸区域，找到人脸区域后，记录人脸所在矩形，其左上角为(X_f,Y_f)，宽为a_f，高为b_f。

如上所述的通过人脸位置建立的敏感区域为矩形，左上角坐标为(X_s,Y_s)，宽为a_s,高为b_s。

在这里我们取值：

X_s=X_f-a_f,

Y_s=Y_f+b_f,

a_s=3×a_f,

b_s=2.5×b_f,

在敏感区域内搜索人手的方法，使用基于肤色分割的快速手势检测方法，分为三个步骤：首先使用肤色提取方法，检测出敏感区域内的肤色区域；其次通过先验知识初步排除一些不可能是人手的区域。最后通过形态判断确认剩余的连通区域是否为人手。

所述的肤色分割方法，是基于YCbCr色彩空间的高斯概率概率模型肤色分割方法。首先用下面的公式将RGB色彩空间转换到YCbCr色彩空间。

Y=0.257R+0.504G+0.098B+16

Cb=-0.148R-0.219G+0.439B+128

Cr=0.439R-0.368G-0.071B+128，

在YCbCr色彩空间中，采集不同条件下的肤色样本训练，得到肤色概率计算参数。通过肤色概率计算公式计算出像素点是肤色点的概率。肤色概率计算公式如下：

p(Cb,Cr)=exp[-0.5(x-m)^ΓC^-1(x-m)]

其中：

x=(Cb,Cr)^Γ,为CbCr空间中的像素点

m=E{x},为CbCr空间中所有像素的均值

C=E{(x-m)(x-m^Γ)},为CbCr空间中所有像素的方差，

最终计算出p(C_b,C_r)的值，取0.6为阈值，其概率超过0.6就认为是肤色像素点。

在肤色检测过后，得到肤色检测区域的二值图像，对二值图像进行闭操作，填补空洞，消除噪点。对敏感区域内的每个肤色区域做初步判别，排除一些完全不可能为人手区域的联通区域。判断依据如下：

1、根据联通区域面积判断：面积小于300像素的联通区域必然不是有效人手区域。用户脸区域面积为a_fb_f，那么在其对于的敏感区域内面积小于的联通区域必然不是有效人手区域。

2、根据联通区域长宽比判断：如果联通区域的长与宽的比值大于5或小于0.2，那么必然不是人手区域。

对联通区域使用Sobel算子进行边缘提取，搜索边缘并计算每一个点的曲率，曲率在一定区域内达到极大值的点可确定为指尖点，检测到五个手指时，系统识别为人手。

系统处于用户控制状态时：

1、识别用户初始状态时手掌所在整个图像的绝对位置，确定此绝对位置的质心为中心参考点；

2、识别人脸，确定人脸识别宽度L，然后确定梯度值a₁L、a₂L、a₃L等与映射算法的对应关系，其中a_xL(x=0,1,2,3…)为长度常数；

3、跟踪识别用户手势，确定当前用户手掌距离中心参考点在整个图像中的绝对距离S；

4、比对S与a_xL的大小关系，若a_x-1L＜S＜a_xL,则调用对应a_xL的线性映射比例参数b_x，代入相应的映射关系Y=b_xX；其中定义a₀L=0，b_x表示对应于人手实际操作距离的线性映射比例参数，b_x>b_x-1，X为人手实际操作距离，Y为在屏幕上的映射移动距离；

5、重复进行步骤3、4，不断实时根据手势位置调整手势映射关系Y=b_xX中的参数b_x；

抽样记录用户在当前时刻的线性映射比例参数b_x，在一定时间周期根据抽样统计值不断对a_xL和b_xX进行微调，逐渐逼近每个个体用户最舒适的映射比例参数。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种映射关系自适应调整的手势控制方法，其特征在于，包括以下步骤：

A、开机；

B、用户伸出并悬停控制手于相应的位置；

C、摄像头对用户的控制手的手势、面部和躯干进行识别，并获取控制手的手势、面部和躯干的识别数据；

D、根据步骤C获得的数据，确定以初始状态的控制手的手掌所在位置作为手操作距离的中心参考点；

E.根据步骤D中确定的中心参考点、结合面部和躯干的重要部位识别数据,确定人脸宽度L，后台控制系统确定触发映射参数改变的距离梯度值a_xL为长度常数；

F、用户移动控制手，控制系统根据摄像头识别的用户移动后的控制手的手掌与中心参考点的距离，确定当前用户手掌距离中心参考点在整个图像中的绝对距离S；

G、结合步骤E中的距离梯度值及步骤F中绝对距离S，比较绝对距离S与a_xL的大小，以确定绝对距离S的取值区间，x＝1，2，3…；

H、根据步骤G中确定的取值区间，当确定区间a_x-1L＜S＜a_xL时，调用a_xL所对应的映射关系Y＝b_xX，其中b_x表示对应于人手实际操作距离的线性映射比例参数，b_x>b_x-1，X为人手实际操作距离，Y为在屏幕上的映射移动距离；

I、重复进行步骤F至H，不断实时根据手势位置调整手势映射关系Y＝b_xX中的参数b_x；

J、抽样记录用户在当前时刻的线性映射比例参数b_x，在相应的时间周期根据抽样统计值不断对a_xL和b_xX进行微调，逐渐逼近每个用户所需的映射比例参数。

2.根据权利要求1所述的映射关系自适应调整的手势控制方法，其特征在于，所述C步骤中，所述识别数据为图像识别数据。

3.根据权利要求1所述的映射关系自适应调整的手势控制方法，其特征在于，所述D步骤中，结合控制手的手掌、面部和躯干的相对位置以及在摄像头捕捉画面的绝对位置，确定出中心参考点。

4.根据权利要求1所述的映射关系自适应调整的手势控制方法，其特征在于，所述E步骤中，根据所制定的中心参考点，结合图像识别中人脸的绝对长度L，按比例关系确定映射参数改变的距离梯度值a_xL。

5.根据权利要求1所述的映射关系自适应调整的手势控制方法，其特征在于，所述F步骤中，摄像头动态识别用户控制手手势，并实时更新手势的位置信息，确定当前用户手掌距离中心参考点在整个图像中的绝对距离S。

6.根据权利要求1所述的映射关系自适应调整的手势控制方法，其特征在于，所述G步骤中，结合步骤E中的距离梯度值a_xL及步骤F中的绝对距离S，比较绝对距离S与a_xL的大小关系，确定S的实际所在区间。

7.根据权利要求1所述的映射关系自适应调整的手势控制方法，其特征在于，所述H步骤中，每一个距离梯度值a_xL都唯一对应一个线性映射关系Y＝b_xX，系统后台根据实时确定的S所在距离梯度值a_xL，调用相应的线性映射比例参数b_x。

8.根据权利要求1所述的映射关系自适应调整的手势控制方法，其特征在于，所述I步骤中，实时更新距离值S和相应的线性映射关系Y＝b_xX。

9.根据权利要求1所述的映射关系自适应调整的手势控制方法，其特征在于，所述J步骤中，线性映射比例参数b_x作为抽样样本，在经过数据处理后为距离梯度值a_xL和线性映射比例参数b_x的微调提供参考和数据支持，逐渐逼近每个用户所需的映射比例参数。