CN103488294B - 一种基于用户交互习惯的非接触手势控制映射调整方法 - Google Patents

Abstract

本发明公开了一种基于用户交互习惯的非接触手势控制映射调整方法，包括以下步骤：识别用户初始状态时整个图像的绝对位置；计算用户脸部或手掌的区域面积，估计人到摄像头的距离；初始化人手移动速度与光标移动速度的初映射关系；将屏幕上光标移动距离划分为近中远三个距离等级；记录用户每次操作过程中人手移动速度以及对应的光标移动速度；比对相对距离S与近中远距离等级的大小，分别处理统计光标移动速度，调整近中远三个距离等级对应的映射关系，使映射关系符合该用户的使用习惯。本发明提出的方法将人手所在位置作为手操作距离的中心参考点，在人手移动的过程中，计算人手与光标的相对距离和人手移动速度，也将极大地提高识别效果。

Description

一种基于用户交互习惯的非接触手势控制映射调整方法

技术领域

本发明涉及非接触手势控制的技术领域，特别涉及一种基于用户交互习惯的非接触手势控制映射调整方法。

背景技术

目前存在的人机交互非接触手势控制系统可以完成对人手和身体的运动进行跟踪，完成自然的人机交互，能够通过视觉存贮设备将视觉信号(如手势的运动、姿势的变化)转换为命令，有望能全面代替键盘和显示器。其设备的摄像头能捕捉到手部运动，从而转换成对应的命令执行。人们可以利用该系统用手在空中画出各种图形，或选择空中不同的点来构型，此交互系统可以立即将这些手上动作转化成图形或操作命令，可以完成对计算机或其他系统的控制。现有的非接触手势控制具有如下缺点：1、在不同的光照条件下皮肤颜色变化较大,经常导致面部或其他人体区域不能够被有效识别；2、现有系统未能将用户的人脸面部特征与手势信息有机的结合在一起，这也导致其不能够有效地记忆用户的个性化信息，不能使系统更加符合该用户的使用习惯。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于用户交互习惯的非接触手势控制映射调整方法。

本发明的目的通过下述技术方案实现：

本发明一种基于用户交互习惯的非接触手势控制映射调整方法，包括以下步骤：

步骤1.开机；

步骤2.用户以自然状态伸出控制手并在舒适的位置上悬停，获取控制权；

步骤3.摄像头对手势、面部和躯干部位进行识别；

步骤4.根据步骤3的人脸识别，确定用户信息，记录用户的交互历史；

步骤5.以初始状态的控制手手掌所在位置作为手操作距离的中心参考点，划定用户在摄像头中舒适的人手移动范围；

步骤6.根据步骤3获得的用户脸部或手掌的面积大小，估计人到摄像头的距离；

步骤7.结合步骤5、6的数据，初始化人手移动速度与光标移动速度的初映射关系；

步骤8.将屏幕上光标移动距离划分为近中远三个距离等级；

步骤9.用户移动控制手，将用户两次目标点击的光标移动距离定义为相对距离S，将移动该段距离所用的时间定义为移动时间T；

步骤10.记录用户每次操作过程中人手移动速度V_hand以及对应的光标移动速度V_cursor；

步骤11.比对相对距离S与近中远距离等级的大小，确定S的距离等级，同时确定该次移动操作中，光标移动速度V_cursor为相应距离等级光标移动速度；

步骤12.重复步骤9～11，一段时间后，分别处理统计近中远各距离等级光标移动速度，并根据统计处理结果，调整近中远三个距离等级对应的映射关系，使映射关系符合该用户的使用习惯。

优选的，步骤3中，摄像头对手势、面部、躯干部位都进行识别后，获得手势、面部、躯干的图像识别数据。

优选的，步骤4中还包括：摄像头对用户进行人脸识别，确定用户信息，为用户建立独立文档，记录该用户的交互历史。

优选的，步骤5具体为：

结合控制手掌与面部，躯干部位的相对位置及在摄像头捕捉画面的绝对位置，确定出中心参考点，并规定距离参考中心点d距离范围内为人手移动的合适范围，将中心参考点以及人手移动范围记录为用户个人信息。

优选的，步骤7具体为：结合用户个性化信息以及估算得到的人到摄像头的距离，划定人手移动速度界限V_hand1、V_hand2，建立人手移动速度V_hand与光标移动速度V_cursor的初始映射关系：

$V_{cursor}=\left\{\begin{array}{cc}{A}_1*V_{hand},& V_{hand}\&le;V_{hand1}\\ A_2*V_{hand}+B_2,& V_{hand1}<V_{hand}\&le;V_{hand2}\\ A_3*V_{hand}+B_3,& V_{hand}>V_{hand2}\end{array}\right.,$

其中A_x、B_x为映射参数。

优选的，步骤10还包括：根据跟踪算法和摄像头的参数得到人手移动速度V_hand，并通过系统获得屏幕上光标移动速度V_cursor。

优选的，步骤11具体为：

对记录的人手移动速度V_hand以及对应的光标移动速度V_cursor进行数据处理：

若S为近距离，则比较移动时间T与T₀的大小，其中T₀为用户每次移动适宜的移动时间；若此次移动时间T》T₀，则修正光标移动速度V′_cursor＝ V_cursor*T₀/T，修正后的光标移动速度V′_cursor标记为新的光标移动速度；若此次移动时间不满足T》T₀，则无需调整；根据统计的近距离移动中人手移动速度与光标移动速度，调整近距离移动的映射关系V_cursor＝ A₁*V_hand；

若S为中距离，则分别求人手移动速度V_hand以及光标移动速度V_cursor的平均速度根据近距离移动映射方程在V_hand＝ V_hand1时的临界点与( )调整中距离移动的映射关系V_cursor＝ A₂*V_hand+B₂；

若S为远距离，则比较远距离光标移动速度V_cursor与V₀的大小，其中V₀为远距离移动的临界移动速度，V₀＝2d/T₀即人手移动的最大距离与每次移动的适宜移动时间的比值；若V_cursor《V₀，则修正光标移动速度V′_cursor＝ V_{curs or}*2d/S，将修正后的光标移动速度V′_cursor标记为新的光标移动速度，和人手移动速度V_hand代入短距离移动的映射关系，调整映射参数A₃、B₃；若此次移动时间不满足V_cursor《V₀，则无需调整；根据统计的远距离移动中人手移动速度与光标移动速度，调整远距离移动的映射关系V_cursor＝ A₃*V_hand+B₃。

本发明相对于现有技术具有如下的优点及效果：

专利提出的基于用户交互习惯的非接触手势控制映射调整方法，利用了人脸识别，从而可以确定用户信息，调用出记录在系统中的用户的交互历史，从而避免了繁琐的学习步骤及过程，使得系统更加符合该用户的使用习惯。与此同时，本专利提出的方法将人手所在位置作为手操作距离的中心参考点，在人手移动的过程中，计算人手与光标的相对距离和人手移动速度，也将极大地提高识别效果。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例一种基于用户交互习惯的非接触手势控制映射调整方法，该方法包括以下步骤：

步骤1.开机；

步骤2.用户以自然状态伸出控制手并在舒适的位置上悬停，获取控制权；

步骤3.摄像头对手势，面部，躯干等重要部位进行识别；

步骤4.根据步骤3的人脸识别，确定用户信息，记录用户的交互历史；

步骤5.以初始状态的控制手手掌所在位置作为手操作距离的中心参考点，划定用户在摄像头中舒适的人手移动范围；

步骤6.根据步骤3获得的用户脸部或手掌的面积大小，估计人到摄像头的距离；

步骤7.结合步骤5、6的数据，初始化人手移动速度与光标移动速度的初映射关系；

步骤8.将屏幕上光标移动距离划分为近中远三个距离等级；

步骤9.用户移动控制手，将用户两次目标点击的光标移动距离定义为相对距离S，将移动该段距离所用的时间定义为移动时间T；

步骤10.记录用户每次操作过程中人手移动速度V_hand以及对应的光标移动速度V_cursor；

步骤11.比对相对距离S与近中远距离等级的大小，确定S的距离等级，同时确定该次移动操作中，光标移动速度V_cursor为相应距离等级光标移动速度；

步骤12.重复步骤9～11，一段时间后，分别处理统计近中远各距离等级光标移动速度，并根据统计处理结果，调整近中远三个距离等级对应的映射关系，使映射关系符合该用户的使用习惯。

在所述步骤3中，摄像头会对手势，面部，躯干等重要部位都进行识别，获得手势，面部，躯干等的图像识别数据；

在所述步骤4中，摄像头对用户进行人脸识别，确定用户信息，为用户建立独立文档，记录该用户的交互历史；

在所述步骤5中，结合控制手手掌与面部，躯干等重要部位的相对位置及在摄像头捕捉画面的绝对位置，确定出中心参考点，并规定距离参考中心点d距离范围内为人手移动的合适范围，将中心参考点以及人手移动范围记录为用户个人信息；

在所述步骤6中，根据摄像头获得用户脸部、手掌相对面积大小，与实际人体脸部、手掌的面积大小进行相对计算，可大致获得人到摄像头的距离；

在所述步骤7中，结合用户个性化信息以及估算得到的人到摄像头的距离，划定人手移动速度界限V_hand1、V_hand2，建立人手移动速度V_hand与光标移动速度V_cursor的初始映射关系：

$V_{cursor}=\left\{\begin{array}{cc}{A}_1*V_{hand},& V_{hand}\&le;V_{hand1}\\ A_2*V_{hand}+B_2,& V_{hand1}<V_{hand}\&le;V_{hand2}\\ A_3*V_{hand}+B_3,& V_{hand}>V_{hand2}\end{array}\right.,$

其中A_x、B_x为映射参数；

在所述步骤8中，根据屏幕大小以及实验得到的数据，合理划分光标移动近中远三个距离等级；

在所述步骤10中，根据跟踪算法和摄像头的参数得到人手移动速度V_hand，并通过系统获得屏幕上光标移动速度V_{curso r}；

在所述步骤11中，比对相对距离S与近中远距离等级的大小，确定S的距离等级，并根据S的距离等级确定该次光标移动速度V_cursor为相应距离等级光标移动速度；

对记录的人手移动速度V_hand以及对应的光标移动速度V_cursor进行数据处理：

若S为近距离，则比较移动时间T与T₀的大小，其中T₀为用户每次移动适宜的移动时间。若此次移动时间T》T₀，则修正光标移动速度V′_cursor＝ V_cursor*T₀/T，修正后的光标移动速度V′_cursor标记为新的光标移动速度；若此次移动时间不满足T》T₀，则无需调整。根据统计的近距离移动中人手移动速度与光标移动速度，调整近距离移动的映射关系V_cursor＝ A₁*V_hand；

若S为中距离，则分别求人手移动速度V_hand以及光标移动速度V_cursor的平均速度根据近距离移动映射方程在V_hand＝ V_hand1时的临界点与( )调整中距离移动的映射关系V_cursor＝ A₂*V_hand+B₂；

若S为远距离，则比较远距离光标移动速度V_cursor与V₀的大小，其中V₀为远距离移动的临界移动速度，V₀＝2d/T₀即人手移动的最大距离与每次移动的适宜移动时间的比值。若V_cursor《V₀，则修正光标移动速度V′_cursor＝ V_cursor*2d/S，将修正后的光标移动速度V′_cursor标记为新的光标移动速度，和人手移动速度V_hand代入短距离移动的映射关系，调整映射参数A₃、B₃；若此次移动时间不满足V_cursor《V₀，则无需调整。根据统计的远距离移动中人手移动速度与光标移动速度，调整远距离移动的映射关系V_cursor＝ A₃*V_hand+B₃；

具体而言，本实施例所述方法及该方法所采用的算法如下：

系统开机，此时系统处于用户搜索状态，即：

1、摄像头采集用户图像，在图像中根据人脸检测算法在图像中搜索人脸，通过检测图像中是否有人脸来判别是否有用户存在。

2、在检测到人脸之后对用户进行人脸识别，搜索系统中是否有该用户信息。若没有则建立用户个人档案，记录用户交互历史，若已具有该用户信息，则直接进入下一步骤。

3、在识别的人脸附近设立敏感区域，在敏感区域中搜索人手，摄像头在敏感区域中搜索是否有手掌面向摄像头，若无，系统处于待机状态，摄像头重新采集图像序列；当摄像头在敏感区域中搜索到有一只手的手掌面向摄像头，且为有效手势，则判定该手为控制手；当摄像头在敏感区域中同时搜索到有两只手的手掌面向摄像头，且均为有效手势，则默认判定用户的右手为控制手。

4、在确定控制手之后，系统进入用户控制状态。

如上所述的人脸检测算法，使用Harr-like特征表示人脸，使用积分图实现特征数值的快速计算；使用AdaBoost算法挑选出一些最能代表人脸的矩形特征的弱分类器，按照加权投票的方式将弱分类器构造成一个强分类器；将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级联结构能有效地提高分类器的检测速度；使用得到的分类器对图像中人脸区域与非人脸区域进行分类，并最终找出人脸区域，找到人脸区域后，记录人脸所在矩形，其左上角为(X_f,Y_f)，宽为a_f，高为b_f。

如上所述的通过人脸位置建立的敏感区域为矩形，左上角坐标为(X_s,Y_s)，宽为a_s，高为b_s。

在这里我们取值：

X_s＝ X_f-a_f

Y_s＝ Y_f+b_f

a_s＝ 3×a_f

b_s＝ 2.5×b_f

在敏感区域内搜索人手的方法，使用基于肤色分割的快速手势检测方法，分为三个步骤：首先使用肤色提取方法，检测出敏感区域内的肤色区域；其次通过先验知识初步排除一些不可能是人手的区域。最后通过形态判断确认剩余的连通区域是否为人手。

所述的肤色分割方法，是基于YCbCr色彩空间的高斯概率概率模型肤色分割方法。首先用下面的公式将RGB色彩空间转换到YCbCr色彩空间。

Y＝0.257R+0.504G+0.098B+16

Cb＝-0.148R-0.219G+0.439B+128

Cr＝0.439R-0.368G-0.071B+128

在YCbCr色彩空间中，采集不同条件下的肤色样本训练，得到肤色概率计算参数。通过肤色概率计算公式计算出像素点是肤色点的概率。肤色概率计算公式如下：

p(Cb,Cr)＝exp[-0.5(x-m)^ΓC^-1(x-m)]

其中：

x＝(Cb,Cr)^Γ,为CbCr空间中的像素点

m＝E{x},为CbCr空间中所有像素的均值

C＝E{(x-m)(x-m^Γ)},为CbCr空间中所有像素的方差

最终计算出p(Cb,Cr)的值，取0.6为阈值，其概率超过0.6就认为是肤色像素点。

在肤色检测过后，得到肤色检测区域的二值图像，对二值图像进行闭操作，填补空洞，消除噪点。对敏感区域内的每个肤色区域做初步判别，排除一些完全不可能为人手区域的联通区域。判断依据如下：

1、根据联通区域面积判断：面积小于300像素的联通区域必然不是有效人手区域。用户脸区域面积为a_fb_f，那么在其对于的敏感区域内面积小于1/5a_fb_f的联通区域必然不是有效人手区域。

2、根据联通区域长宽比判断：如果联通区域的长与宽的比值大于5或小于0.2，那么必然不是人手区域。

3、对联通区域使用Sobel算子进行边缘提取，搜索边缘并计算每一个点的曲率，曲率在一定区域内达到极大值的点可确定为指尖点，检测到五个手指时，系统识别为人手。

系统处于用户控制状态时：

1、识别用户初始状态时手掌所在整个图像的绝对位置，确定此绝对位置的质心为中心参考点，划定用户在摄像头中舒适的人手移动范围；

2、计算用户脸部或手掌的区域面积，估计人到摄像头的距离；

3、初始化人手移动速度与光标移动速度的初映射关系；

4、将屏幕上光标移动距离划分为近中远三个距离等级；

5、用户移动控制手，将用户两次目标点击的光标移动距离定义为相对距离S，将移动该段距离所用的时间定义为移动时间T；

6、记录用户每次操作过程中人手移动速度V_hand以及对应的光标移动速度V_{curso r}；

7、比对相对距离S与近中远距离等级的大小，确定S的距离等级，同时确定该次移动操作中，光标移动速度V_cursor为相应距离等级光标移动速度；

8、重复步骤5～7，一段时间后，分别处理统计近中远各距离等级光标移动速度，并根据统计处理结果，调整近中远三个距离等级对应的映射关系，使映射关系符合该用户的使用习惯。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于用户交互习惯的非接触手势控制映射调整方法，其特征在于，包括以下步骤：

步骤1.开机；

步骤2.用户以自然状态伸出控制手并在舒适的位置上悬停，获取控制权；

步骤3.摄像头对手势、面部和躯干部位进行识别；

步骤4.根据步骤3的人脸识别，确定用户信息，记录用户的交互历史；

步骤5.以初始状态的控制手手掌所在位置作为手操作距离的中心参考点，划定用户在摄像头中舒适的人手移动范围；

步骤6.根据步骤3获得的用户脸部或手掌的面积大小，估计人到摄像头的距离；

步骤7.结合步骤5、6的数据，初始化人手移动速度与光标移动速度的初映射关系：

结合用户个性化信息以及估算得到的人到摄像头的距离，划定人手移动速度界限V_hand1、V_hand2，建立人手移动速度V_hand与光标移动速度V_cursor的初始映射关系：

$V_{cursor}=\left\{\begin{array}{cc}{A}_1*V_{hand},& V_{hand}\&le;V_{hand1}\\ A_2*V_{hand}+B_2,& V_{hand1}<V_{hand}\&le;V_{hand2}\\ A_3*V_{hand}+B_3,& V_{hand}>V_{hand2}\end{array}\right.,$

其中A_x、B_x为映射参数；

步骤8.将屏幕上光标移动距离划分为近中远三个距离等级；

步骤9.用户移动控制手，将用户两次目标点击的光标移动距离定义为相对距离S，将移动该段距离所用的时间定义为移动时间T；

步骤10.记录用户每次操作过程中人手移动速度V_hand以及对应的光标移动速度V_cursor；

步骤11.比对相对距离S与近中远距离等级的大小，确定S的距离等级，同时确定该次移动操作中，光标移动速度V_cursor为相应距离等级光标移动速度，具体为：

对记录的人手移动速度V_hand以及对应的光标移动速度V_cursor进行数据处理：

若S为近距离，则比较移动时间T与T₀的大小，其中T₀为用户每次移动适宜的移动时间；若此次移动时间T》T₀，则修正光标移动速度V′_cursor＝V_cursor*T₀/T，修正后的光标移动速度V′_cursor标记为新的光标移动速度；若此次移动时间不满足T》T₀，则无需调整；根据统计的近距离移动中人手移动速度与光标移动速度，调整近距离移动的映射关系V_cursor＝A₁*V_hand；

若S为中距离，则分别求人手移动速度V_hand以及光标移动速度V_cursor的平均速度根据近距离移动映射方程在V_hand＝V_hand1时的临界点与 调整中距离移动的映射关系V_cursor＝A₂*V_hand+B₂；

若S为远距离，则比较远距离光标移动速度V_cursor与V₀的大小，其中V₀为远距离移动的临界移动速度，V₀＝2d/T₀即人手移动的最大距离与每次移动的适宜移动时间的比值；若V_cursor《V₀，则修正光标移动速度V′_cursor＝V_cursor*2d/S，将修正后的光标移动速度V′_cursor标记为新的光标移动速度，和人手移动速度V_hand代入短距离移动的映射关系，调整映射参数A₃、B₃；若此次移动时间不满足V_cursor《V₀，则无需调整；根据统计的远距离移动中人手移动速度与光标移动速度，调整远距离移动的映射关系V_cursor＝A₃*V_hand+B₃；

步骤12.重复步骤9～11，一段时间后，分别处理统计近中远各距离等级光标移动速度，并根据统计处理结果，调整近中远三个距离等级对应的映射关系，使映射关系符合该用户的使用习惯。

2.根据权利要求1所述基于用户交互习惯的非接触手势控制映射调整方法，其特征在于，步骤3中，摄像头对手势、面部、躯干部位都进行识别后，获得手势、面部、躯干的图像识别数据。

3.根据权利要求1所述基于用户交互习惯的非接触手势控制映射调整方法，其特征在于，步骤4中还包括：摄像头对用户进行人脸识别，确定用户信息，为用户建立独立文档，记录该用户的交互历史。

4.根据权利要求1所述基于用户交互习惯的非接触手势控制映射调整方法，其特征在于，步骤5具体为：

结合控制手掌与面部，躯干部位的相对位置及在摄像头捕捉画面的绝对位置，确定出中心参考点，并规定距离参考中心点d距离范围内为人手移动的合适范围，将中心参考点以及人手移动范围记录为用户个人信息。

5.根据权利要求1所述基于用户交互习惯的非接触手势控制映射调整方法，其特征在于，步骤10还包括：根据跟踪算法和摄像头的参数得到人手移动速度V_hand，并通过系统获得屏幕上光标移动速度V_cursor。