CN105912126A

CN105912126A - 一种手势运动映射到界面的增益自适应调整方法

Info

Publication number: CN105912126A
Application number: CN201610272446.9A
Authority: CN
Inventors: 区则君; 徐向民; 许望
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2016-04-26
Filing date: 2016-04-26
Publication date: 2016-08-31
Anticipated expiration: 2036-04-26
Also published as: CN105912126B

Abstract

本发明公开了一种手势运动映射到界面的增益自适应调整方法，包括如下顺序步骤：S1.采集视频；S2.检测用户手部和脸部；S3.识别视频中手部的宽度信息；S4.获取用户手部运动的位置信息；S5.计算用户手部在物理操作空间的移动速度；S6.采用针对当前手势交互系统构造的光标与人手移动速度间的增益关于人手移动速度的函数，计算自适应的光标移动速度；S7.对光标移动速度进行加权求和，平滑处理；S8.计算光标在显示屏上帧间输出的移动增量；S9.在显示屏上做出响应；重复执行步骤S4‑9。本方法在用户的手与摄像头在光轴方向上的距离变化时，仍能保持光标与人手间增益的相对稳定，实现对光标自然稳定的操控。

Description

一种手势运动映射到界面的增益自适应调整方法

技术领域

本发明涉及机器视觉技术和人机交互控制领域，特别涉及一种手势运动映射到界面的增益自适应调整方法。

背景技术

近年来，基于视觉的手势交互技术由于其自然、直接、能摆脱设备束缚、便于共享等优点，正日益成为非接触式人机交互技术的主要发展方向，并逐步广泛应用在大屏幕终端的交互技术上。其常用的操作方式为手势漫游，即将用户手掌在物理空间中的运动映射为光标在显示屏上的移动，实现对光标的操作。在该领域中，速度导向映射方式得到了普遍的运用。

在基于视觉的手势交互过程中，由于摄像头的成像原理，从人手到摄像机的映射往往是不稳定的。实际工作中，受设备因素(屏幕大小、分辨率)、用户因素(视力、娱乐类型)或环境因素(障碍物、家具摆设)等影响，用户与摄像头的距离的变化范围是不确定的，无法预判用户与摄像头的距离为设置合适的映射关系带来了困难。而交互过程中距离的变化也可能是极大的，比如用户进行游戏时，可能从2m移动到1m处，人手映射到屏幕界面的移动距离与人手在空中的移动距离的增益(符号g，以下简称CD增益)变为原来的2倍。

以三星电视的手势控制系统为例(见图1)，当用户站在距离电视屏幕大约1.6m的位置以中等速度利用手势交互方式控制光标移动时，大概需要d＝15cm的移动幅度就能使光标水平横跨屏幕。然而，当用户在距离屏幕大约3.0m的位置以同样的速度移动时，则需要d’＝30cm的手部移动幅度。也就是说，此时CD增益会随着用户-摄像头距离的增加而下降，反之亦然。这种CD增益的改变，使得交互任务的运动要求和任务的视觉尺度产生变化，导致了不自然和不可意料的移动，容易引起操作错误。过小或过大的CD增益值都会对交互精确度、用户疲劳度、控制的稳定性等造成影响，降低交互可用性，使用户的体验感降低。

发明内容

本发明要解决的技术问题在于，提供一种手势运动映射到界面的增益自适应调整方法，以一种更加符合人的自然反馈、便于操作的基于视觉的手势运动映射到光标界面的增益自适应调整方法，即使用户的手与摄像头在光轴方向上的距离有所改变的情况下,本方法仍能实现对光标自然稳定的控制。

为解决上述技术问题，本发明提供如下技术方案：一种手势运动映射到界面的增益自适应调整方法，包括以下步骤：

S1.摄像头采集视频图像；

S2.对采集所得的摄像视频图像进行处理和分析：进行肤色分割，框定检测到的人手和人脸区域作为感兴趣的区域，检测到有效手势，用户进一步获取手势控制权；

S3.跟踪用户手部的运动轨迹，识别视频图像中用户手掌的宽度信息x，并通过人脸识别来判断用户的性别，确定人类手掌的平均宽度h₀；

S4.获取在前一帧以及本帧图像中用户手部运动的位置信息，计算人手在摄像机跟踪的视频序列的移动速度V_t；

S5.根据视频序列的移动速度V_t、用户手掌的宽度信息x以及人类手掌的平均宽度h₀，计算用户手部在物理操作空间的人手移动速度V_h；

S6.构造光标移动速度V_c与人手移动速度V_h的增益g关于人手移动速度V_h的映射函数g＝g(V_h)，自适应光标移动速度为V_c＝g(V_h)·V_h；

或构造光标移动速度V_c关于人手移动速度V_h的映射函数V_c＝V_c(V_h)，自适应的光标移动速度为V_c＝V_c(V_h)；

S7.进一步对光标移动速度V_c进行加权求和、平滑处理；

S8.根据经过进一步处理的光标移动速度V_c，计算光标在显示屏上连续两帧之间输出的移动增量M_c；

S9.根据所得的光标的移动增量M_c，相应地在显示屏上做出响应；

S10.重复执行步骤S4-S9，光标跟随人手操作在界面中连续地漫游。

进一步地，所述步骤S2中有效手势的表达方式，包括：五指张开、手面与屏幕平行、握拳。

进一步地，所述步骤S2中的对于手势控制权的判定，包括：搜索摄像视频中是否有手掌面向摄像头，若无，则系统处于待机状态且继续搜索摄像视频；当搜索到摄像视频中有一只手的手掌面向摄像头，且为有效手势，则判定该手为控制手；当摄像视频中同时搜索到有两只手的手掌面向摄像头，且均为有效手势，则默认判定用户的右手为控制手。

进一步地，所述步骤S5中物理操作空间的人手移动速度V_h的计算方式为：

V_{h} = \frac{h_{0}}{x} V_{t}

式中，根据所述步骤S3对用户性别的判断，若判断用户性别为男性，则所述h₀＝a，所述a为男性的手掌的平均宽度；若为女性，则所述h₀＝b，所述b为女性的手掌的平均宽度。

进一步地，所述步骤S6中的映射函数V_c＝V_c(V_h)是单调递增的分段线性函数，其表达式如下：

V_{c} = \{\begin{matrix} 0, & V_{h} \leq a_{0} \\ \frac{b_{1}}{a_{1}} V_{h}, & a_{0} < V_{h} \leq a_{1} \\ \frac{b_{1} - b_{2}}{a_{1} - a_{2}} V_{h} + b_{2} - \frac{b_{1} - b_{2}}{a_{1} - a_{2}} a_{2}, & a_{1} < V_{h} \leq a_{2} \\ \frac{b_{2} - b_{3}}{a_{2} - a_{3}} V_{h} + b_{3} - \frac{b_{2} - b_{3}}{a_{2} - a_{3}} a_{3}, & V_{h} > a_{2} \end{matrix}

式中，根据人手漫游速度感受的划分、半空人手舒适的活动范围和显示屏以及图标分辨率来确定方程中的未知参数a₀、a₁、a₂、a₃、b₁、b₂、b₃，得出最终的映射函数，所述未知参数a₀、a₁、a₂、a₃、b₁、b₂、b₃根据用户需求来确定具体数值。

进一步地，所述分段线性函数g＝g(V_h)按需增设更多的线性分段，包括：a₂＜V_h≤a₃，a₃＜V_h≤a₄，并对函数图像进行微调，实现更平滑的映射。

进一步地，所述一种手势运动映射到界面的增益自适应调整方法需通过至少一款交互设备来实现，在已知一款交互设备a的映射函数g(V_h)或V_c(V_h)的情况下，需要确立另一款交互设备b的映射函数或根据以下的公式进行调整得到：

\tilde{g} (V_{h}) = \frac{\tilde{S}}{S} \cdot g (V_{h})

\tilde{V_{c}} (V_{h}) = \frac{\tilde{S}}{S} \cdot V_{c} (V_{h})

式中，S为所述设备a显示屏的分辨率,为所述设备b显示屏的分辨率。

进一步地，所述步骤S7中对光标移动速度V_c进行加权求和、平滑处理的方式为：

处理后的光标移动速度＝0.5*上一帧的光标移动速度+0.5*当前帧滤波前的光标移动速度。

进一步地，所述步骤S8中移动增量M_c计算方式为：

M_{c} = \frac{V_{c}}{U}

式中，U为显示屏的刷新率。

采用上述技术方案后，本发明至少具有如下有益效果：

1、本发明采用针对当前手势交互系统构造的光标移动速度V_c与人手移动速度V_h的增益g关于V_h的函数g＝g(V_h)，并可按系统情况进行调整，提高交互效率和易用性。

2、本发明避免了因用户位置与摄像头的相对距离发生变化时所引起的CD增益变化问题，保持了光标与人手之间的映射CD增益值的相对稳定，实现CD增益的自适应调整。进一步地，本发明可解决因不适宜的CD增益所造成的下述三个问题，从而提高了交互可用性：

(1)交互精确度下降的问题，保持了一定的CD增益以保证小目标获取时有足够的交互精度；

(2)用户疲劳度上升的问题，避免所需的手部活动幅度过大，减少未到或越过目标的失误，提高完成选中目标操作的效率，减少用户控制的体力消耗进一步增加；

(3)控制的稳定性问题，避免了用作消抖的低速阈值法的灵敏度偏大或偏小，使得方法能正常排除用户无意识的移动、手部抖动或者部分的跟踪错误。

3、本发明解决了当用户与摄像头间的距离发生改变时，CD增益的不稳定容易产生的操作，即视觉认知分歧问题，当视觉界面的视觉尺度的变化与交互的运动要求的变化不一致时，用户需要额外地练习以适应新的情况。本发明能有效减少了不自然和不可意料的移动，提升用户进行交互操控的体验感。

4、本发明针对目前广泛使用的单目摄像头人机交互系统，能便捷有效地估计所需的深度信息，解决了3D摄影机价格昂贵，且大屏幕手势交互系统一般采用的普通彩色摄像头不具备深度信息感知功能的问题。

附图说明

图1为人机距离对摄像头成像的影响示意图。

图2为本发明一种手势运动映射到界面的增益自适应调整方法的工作流程示意图。

图3为图2所述方法中采用的手势交互的传递函数模型图像。

图4为图2所述方法中用户手部、视频图像、显示屏三个平面空间之间的映射关系示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

实施例

以往机器视觉手势交互中计算CD增益时，是将手势交互分为两组映射，如图4所示：1)手部在操作空间中的移动与摄像机跟踪结果之间的映射，这里称为手部跟踪映射，可用输入精度k来衡量，即在上物理空间中单位长度在摄像头图像中所形成的像素数，可用算得，由手部跟踪算法和摄像头的规格共同决定；2)跟踪结果与光标移动之间的映射，这里称为跟踪光标映射，可用算得。其中，V_c表示显示屏上光标的移动速度，L为摄像头在上的分辨率，α为摄像头水平或垂直方向的视场角，如图1所示。U为屏幕的刷新率，R为跟踪光标映射比例，P为摄像头采集视频的帧率/跟踪算法的速率。故传统方法中机器视觉手势交互CD增益

对于相同的系统配置，P和U是常量，摄像头的规格可以认为是不变的，所以L、α是恒定的，R可以由系统根据软件机制进行调节。故在上述g的表达式中，除人机距离D外，其他变量都是由计算机系统所决定的。因此人手到摄像头距离D的变化是导致机器视觉手势交互CD增益不稳定的主要因素。当用户与摄像头之间的距离发生变化时，同样的手部移动距离在视频序列中的成像效果是不一样的。为了保证映射关系的稳定，需要设计针对距离变化的映射关系稳定机制。

本发明的手势识别方法基于远距离大屏幕的机器视觉手势交互系统，本实施例的交互系统由图像采集模块和图像处理模块组成，图像采集模块包括摄像头，负责实时采集用户的图像并传输到图像处理模块中。

图像处理模块由计算机完成，其中图像处理模块运行各种图像处理算法实时分析用户图像，将用户手部的运动及其运动的信息处理后反馈至显示屏的光标指针移动。

如图2所示，本实施例的机器视觉手势交互自适应映射调整方法，包括以下步骤：

S1.开机，摄像头采集视频图像。

要注意的是，用户在以手部动作控制光标移动的过程中，手部运动的方向与手掌面应尽量保持与光轴方向垂直。由于普通摄像头获取到图像是二维的，因此获得的手部运动速度是与光轴方向垂直的平面上的分速度，注意手部运动方向，才能使手部实际运动速度与摄像头获取到的手部运动速度尽量一致；

S2.对前端传感器捕捉到的视频图像序列进行分析处理与肤色分割，框定检测到的人手和人脸区域作为感兴趣区域，检测到五指张开手势、手面与屏幕平行或者握拳手势，用户获取控制权；

步骤S2中的手势检测算法包含以下几步：

第一步，将待检测的图像进行预处理，然后进行肤色建模，分割出肤色区域，作为级联分类器检测的输入；

第二步，Real AdaBoost算法：用一组弱分类器按照一定的规则组合成一个强分类器，每一个强分类器又是分类树结构的一个结点，通过每次改变样本的不同分布，训练出固定手势检测分类器；

第三步，用训练好的固定手势检测分类器检测五指张开手势和握拳手势，对分割后的肤色区域，进行级联检测。具体的过程是：采用金字塔式的缩放方法对图像进行缩放，对每次缩放后的图像，用大小为检测窗口扫描肤色区域，同时计算检测窗口里的Haar特征，用加载的级联分类器进行检测，只有通过所有分类器，才是含有人手的区域，并框出人手的位置；

其中，第一步所述的肤色分割方法，是基于YCbCr色彩空间的高斯概率概率模型肤色分割方法；首先用下面的公式将RGB色彩空间转换到YCbCr色彩空间：

Y＝0.257R+0.504G+0.098B+16

Cb＝-0.148R-0.219G+0.439B+128

Cr＝0.439R-0.368G-0.071B+128

在YCbCr色彩空间中，采集不同条件下的肤色样本训练，得到肤色概率计算参数，通过肤色概率计算公式计算出像素点是肤色点的概率，肤色概率计算公式如下：

p(Cb,Cr)＝exp[-0.5(x-m)ΓC-1(x-m)]

其中：

x＝(Cb,Cr)Γ,为CbCr空间中的像素点；

m＝E{x},为CbCr空间中所有像素的均值；

C＝E{(x-m)(x-mΓ)},为CbCr空间中所有像素的方差；

最终计算出p(Cb,Cr)的值，取0.6为阈值，其概率超过0.6就认为是肤色像素点；

进一步地，采用相似的方法实现人脸检测；

步骤S2中的人脸检测算法，使用Harr-like特征表示人脸，使用积分图实现特征数值的快速计算；使用AdaBoost算法挑选出一些最能代表人脸的矩形特征的弱分类器，按照加权投票的方式将弱分类器构造成一个强分类器；将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级联结构能有效地提高分类器的检测速度；使用得到的分类器对图像中人脸区域与非人脸区域进行分类，并最终找出人脸区域；

步骤S2中手势控制权的判定，搜索摄像视频是否有手掌面向摄像头，若无，则系统处于待机状态，且继续搜索摄像图像序列；当搜索到摄像视频有一只手的手掌面向摄像头且为有效手势时，则判定该手为控制手；当摄像视频中同时搜索到有两只手的手掌面向摄像头，且均为有效手势时，则默认判定用户的右手为控制手；

S3.跟踪用户手部的运动，识别视频图像中用户手掌的宽度信息x(pixel)，通过人脸识别来判断用户性别并显示在屏幕上，进一步地，用户可主动更改性别识别结果；

S4.获取前一帧以及本帧图像中用户手部运动的位置信息；

S5.由手部运动的位置信息的变化计算人手在摄像机跟踪的视频序列的移动速度V_t(pixel/s)，用户手部在物理操作空间的移动速度估计值为

V_{h} = \frac{h_{0}}{x} V_{t}

其中，常数h₀为人类手掌的平均宽度，其大小一般可在7～9.24cm的范围内取值；若识别用户性别为男性，h₀＝a；若为女性，h₀＝b(对一般中国人来说，可取a＝8.6cm，b＝7.5cm)；

S6.采用针对当前手势交互系统构造的光标移动速度V_c与人手移动速度V_h的增益g关于V_h的函数g＝g(V_h)，自适应CD增益值为g(V_h)，自适应光标移动速度为g(V_h)·V_h；

或，采用构造V_c关于V_h的函数V_c＝V_c(V_h)的方法，相似地得出自适应的光标移动速度为V_c(V_h)；

优选地，步骤S6中，映射函数V_c＝V_c(V_h)是单调递增的分段线性函数，如图3所示，其中(a₀,0)，(a₁,b₁)，(a₂,b₂)，(a₃,b₃)是手势交互的映射函数模型图像中区分速度等级的关键点，该映射函数的表达式如下：

V_{c} = \{\begin{matrix} 0, & V_{h} \leq a_{0} \\ \frac{b_{1}}{a_{1}} V_{h}, & a_{0} < V_{h} \leq a_{1} \\ \frac{b_{1} - b_{2}}{a_{1} - a_{2}} V_{h} + b_{2} - \frac{b_{1} - b_{2}}{a_{1} - a_{2}} a_{2}, & a_{1} < V_{h} \leq a_{2} \\ \frac{b_{2} - b_{3}}{a_{2} - a_{3}} V_{h} + b_{3} - \frac{b_{2} - b_{3}}{a_{2} - a_{3}} a_{3}, & V_{h} > a_{2} \end{matrix}

根据人手漫游速度感受的划分、半空人手舒适的活动范围和显示屏及图标分辨率等来确定方程中的未知参数a₀、a₁、a₂、a₃、b₁、b₂、b₃，得出最终的映射函数，未知参数a₀、a₁、a₂、a₃、b₁、b₂、b₃根据用户需求来确定具体数值；

更优选地，所述分段的线性函数按需增设更多的线性分段，如a₂＜V_h≤a₃，a₃＜V_h≤a₄等，并对函数图像进行微调，实现更平滑的映射；

优选地，步骤S6中，为该交互系统构造出若干V_c＝V_c(V_h)函数，通过实验测试比较得出更优的映射方程及其参数，测试映射函数过程中保持不同用户的手与摄像头在光轴方向上的距离D不变；

优选地，步骤S6中，在已知至少一款交互设备a的映射函数g(V_h)或V_c(V_h)的情况下，如果需要确立另一款交互设备b的映射函数或且该交互系统中图标大小与显示屏的分辨率之比与原系统相差不大，可根据以下的公式进行调整得到：

\tilde{g} (V_{h}) = \frac{\tilde{S}}{S} \cdot g (V_{h})

\tilde{V_{c}} (V_{h}) = \frac{\tilde{S}}{S} \cdot V_{c} (V_{h})

其中，S和分别为设备a和b的显示屏的分辨率；

S7.对光标移动速度进行加权求和，平滑处理：对当前映射的光标移动速度与前一帧得到的光标移动速度做加权求和，避免跟踪过程中光标的显示速度在交互视觉上发生突变，公式如下：

处理后的光标移动速度＝0.5*上一帧的光标移动速度+0.5*当前帧滤波前的光标移动速度；

S8.计算光标在显示屏上连续两帧之间输出的移动增量

M_{c} = \frac{V_{c}}{U}

其中，U为显示屏的刷新率；

优选地，上述的速度、分辨率、增益值以及移动增量等都在水平和垂直两个维度上分别计算；

S9.以上述所得的光标的移动增量M_c在显示屏上做出相应的响应；

遵循以上方法，本发明能使交互系统在同一用户与摄像头距离不断改变的情况下，仍保持CD增益值的稳定，从而改善操控的稳定性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims

1.一种手势运动映射到界面的增益自适应调整方法，其特征在于，包括以下步骤：

S1.摄像头采集视频图像；

S7.进一步对光标移动速度V_c进行加权求和、平滑处理；

2.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S2中有效手势的表达方式，包括：五指张开、手面与屏幕平行、握拳。

3.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S2中的对于手势控制权的判定，包括：搜索摄像视频中是否有手掌面向摄像头，若无，则系统处于待机状态且继续搜索摄像视频；当搜索到摄像视频中有一只手的手掌面向摄像头，且为有效手势，则判定该手为控制手；当摄像视频中同时搜索到有两只手的手掌均面向摄像头，且均为有效手势，则默认判定用户的右手为控制手。

4.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S5中物理操作空间的人手移动速度V_h的计算方式为：

V_{h} = \frac{h_{0}}{x} V_{t}

5.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S6中的映射函数V_c＝V_c(V_h)是单调递增的分段线性函数，其表达式如下：

V_{c} = \{\begin{matrix} 0, & V_{h} \leq a_{0} \\ \frac{b_{1}}{a_{1}} V_{h}, & a_{0} < V_{h} \leq a_{1} \\ \frac{b_{1} - b_{2}}{a_{1} - a_{2}} V_{h} + b_{2} - \frac{b_{1} - b_{2}}{a_{1} - a_{2}} a_{2}, & a_{1} < V_{h} \leq a_{2} \\ \frac{b_{2} - b_{3}}{a_{2} - a_{3}} V_{h} + b_{3} - \frac{b_{2} - b_{3}}{a_{2} - a_{3}} a_{3}, & V_{h} > a_{2} \end{matrix}

6.根据权利要求5所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述分段线性函数g＝g(V_h)按需增设更多的线性分段，包括：a₂＜V_h≤a₃，a₃＜V_h≤a₄，并对函数图像进行微调，实现更平滑的映射。

7.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述一种手势运动映射到界面的增益自适应调整方法需通过至少一款交互设备来实现，在已知一款交互设备a的映射函数g(V_h)或V_c(V_h)的情况下，需要确立另一款交互设备b的映射函数或根据以下的公式进行调整得到：

\tilde{g} (V_{h}) = \frac{\tilde{S}}{S} \cdot g (V_{h})

{\tilde{V}}_{c} (V_{h}) = \frac{\tilde{S}}{S} \cdot V_{c} (V_{h})

8.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S7中对光标移动速度V_c进行加权求和、平滑处理的方式为：

9.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S8中移动增量M_c计算方式为：

M_{c} = \frac{V_{c}}{U}

式中，U为显示屏的刷新率。