CN104914996B - 一种改变三维手势状态的方法 - Google Patents

Abstract

本发明提供了一种改变三维手势状态的方法，属于计算机视觉领域。所述方法包括：第1步：建立三维手势数据库；第2步：用户手势进入摄像机场景，识别出用户手势，从数据库中得到与用户手势对应的三维手势模型；第3步：首先计算用户手势的运动向量V，然后，计算机把与手势的运动向量V相反的向量‑V施加于三维手势模型，使得该三维手势模型同时沿着与用户手势运动相反的方向运动；判断用户手势与三维手势模型是否相同，如果是，则进入第4步，如果否，则返回第3步；第4步：返回三维手势模型有关参数，即完成三维手势模型的初始化。

Description

一种改变三维手势状态的方法

技术领域

本发明属于计算机视觉领域，具体涉及一种改变三维手势状态的方法。

背景技术

基于计算机视觉的三维(3D)自然人手跟踪将为现实或虚拟环境里的HCI提供新的模式，从而实现更直接、更自然、更和谐的人机交互，目前已经引起了国际上的高度重视。三维手势模型跟踪是基于手势的三维交互理论研究和应用研究的核心内容和关键技术，一般用粒子滤波作为数学工具进行跟踪，但该方法是递归算法，必须要告诉跟踪器三维手势模型的初始状态。

一种方法是单帧姿态估计方法(具体请参考文献“Tomasi,C.,Petrov,S.,Sastry,A.:3D tracking＝classification+interpolation.In:The NinthIEEE International Conference on Computer Vision,pp.1441–1448(2003)”)，它是建立在局部搜索的基础上，这种方法可以很好的使用在初始阶段，因为没有更多的历史信息可被使用。单姿态估计方法的鲜明特色之一是可以从手图像数据库中检索手势。但该方法只能检索出手形等部分信息，手势的大小、方向、位置等关键信息无法获取。Martinde LaGorce等人(具体请参考文献“LaGorce,M.,Paragios,N.,Fleet,D.:Model based hand trackingwith texture,shading and self-occlusions.IEEE Proc.IEEE Conf.Comput.Vis.Pattern Recogn.pp.1–8(2008)”)要求用户手势手掌垂直于相机光轴。

2010年，冯志全等人提出一种新的手势初始化方法。整个初始化阶段分为三个阶段完成：手势识别，粗调整和精调整。主要创新点在于，项目组首次把三种技术——人机交互，认知行为建模以及信息可视化，融合到初始化过程中。首先，计算机识别出操作者的大致手势；然后，操作者根据可视化信息调整手势。(发明专利号：200910015471.9)。

最常用的方法是要求操作者按照事先规定的距离、角度、位置和形状摆好手势，作为开始运动的“初始状态”。

当前方法存在的主要问题是：用户的操作负荷重；对用户要求过多，过于僵化，用户体验度差；速度慢，计算时间长。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种改变三维手势状态的方法，基于迎合性计算模型对三维手势模型进行初始化。

本发明是通过以下技术方案实现的：

一种改变三维手势状态的方法，包括：

第1步：建立三维手势数据库；

第2步：用户手势进入摄像机场景，识别出用户手势，从数据库中得到与用户手势对应的三维手势模型；

第3步：首先计算用户手势的运动向量V，然后，计算机把与手势的运动向量V相反的向量-V施加于三维手势模型，使得该三维手势模型同时沿着与用户手势运动相反的方向运动；判断用户手势与三维手势模型是否相同，如果是，则进入第4步，如果否，则返回第3步；

第4步：返回三维手势模型有关参数，即完成三维手势模型的初始化。

所述第3步中的运动向量具体如下：

用V＝(P,Q,θ)表示手势运动向量，其中，P表示三维手势的重心位置坐标，Q表示手掌所在面的法线向量，θ是手势关节的20维向量，即每个手指有4个自由度，其中，根关节2个自由度，其余两个关节各一个自由度。

所述第3步是这样实现的：

第3.1步，计算用户手势的初始状态(S_0,hg)和三维手势模型的初始状态(S_{0, so})；

第3.2步，用户做一个基本操作，即用户基本操作向量V_OPERATOR，在该基本操作下，用户手势由(S_0,hg)变为S₁；与此同时，计算机做一个基本操作，即计算机基本操作向量V_COMPUTER，取V_COMPUTER＝-V_OPERATOR，计算机将计算机基本操作向量V_COMPUTER施加于三维手势模型，三维手势模型由(S_0,so)变为S₁，即：

S₁＝V_OPERATOR(S_0,hg) (1)

S₁＝V_COMPUTER(S_0,so) (2)其中，要求V_OPERATOR和V_COMPUTER的方向相反，即满足

$V_{OPERATOR}\&CircleTimes;V_{COMPUTER}<0---\left(3\right)$

其中，表示两个向量的点积计算。

所述第3.1步是这样实现的：

在首帧用户手势图像轮廓点集就是用户手势的初始状态(S_0,hg)，采用图像分割方法得到；

根据用户手势图像从数据库中检索出的三维手势模型就是三维手势模型的初始状态(S_0,so)。

所述第3.2步中的用户基本操作向量V_OPERATOR包括：平移手势、缩小手势、放大手势和旋转手势这四种基本操作，每个基本操作是一个手势图像序列，该序列就是用户基本操作向量。

所述平移手势、缩小手势、放大手势和旋转手势的判断方法如下：

如果手形不变，仅仅重心位置发生移动，则判断为平移手势；

如果手形不变，且手势图像包围盒逐渐减小，则判断为缩小手势；

如果手形不变，且手势图像包围盒逐渐变大，则判断为放大手势；

从手势数据库中识别旋转手势。

所述第3步中判断用户手势与三维手势模型是否相同是这样实现的：

判断以下条件是否成立：

Ψ(S₁，I)<ε. (4)

其中，Ψ是指评价S₁的函数，这里是指三维手势模型S₁在像批量上的平面上的投影与对应帧图像I之间的Hausdorff距离，ε是一个非负经验阈值，如果该条件成立，则判断为用户手势与三维手势模型相同，如果不成立，则判断为用户手势与三维手势模型不相同。

所述ε的取值为50～80。

与现有技术相比，本发明的有益效果是：本发明降低了用户的操作负荷，并提供给用户愉悦的交互体验。本发明方法让计算机主动地“向人靠近”，即计算机采用主动“迎合”人，从而极大地降低用户负荷。例如，但计算机“感知到”操作者的手朝左边运动时，它就会“主动地”把三维手势模型朝右边平移。这样，从理论上讲，用户手移动的距离降低一半，从而降低了用户的操作负荷。

附图说明

图1本发明方法的步骤框图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

如图1所示，本发明方法包括：

第1步：建立三维手势数据库(具体请参考申请号为200910015471.9的发明专利“一种三维手势模型的初始化方法及系统”)；

第2步：用户手势进入摄像机场景，识别出用户手势，从数据库中得到与用户手势对应的三维手势模型(具体请参考申请号为200910015471.9的发明专利“一种三维手势模型的初始化方法及系统”)；

第3步：首先计算用户手势的运动向量V，然后，计算机把与手势的运动向量V相反的向量-V施加于三维手势模型，使得该三维手势模型同时沿着与用户手势运动相反的方向运动；

其中，运动向量如下：

用V＝(P,Q,θ)表示手势运动向量。其中，P表示三维手势的重心位置坐标(向量P实际上是(x,y z)坐标)，Q表示手掌所在面的法线向量，θ是手势关节20维向量，即每个手指有4各自由度，其中，根关节2个，其余两个关节各一个自由度。

第3步的具体方法为：

3.1计算用户手势的初始状态(S_0,hg),三维手势模型的初始状态(S_0,so)：

在首帧(即时刻0)用户手势图像轮廓点集就是用户手势的初始状态(S_0,hg)，采用图像分割方法就可以得到(具体方法请参考发明专利200910015471.9)。根据用户手势图像从数据库中检索出的三维手势模型就是三维手势模型的初始状态(S_0,so)(具体请参考申请号为200910015471.9的发明专利“一种三维手势模型的初始化方法及系统”)。

3.2用户做一个基本操作V_OPERATOR(基本操作向量)(下面有定义，即平移、缩小、放大和旋转手势四种基本操作，每个基本操作是一个手势图像序列，该序列就是向量)，在该基本动作下，用户手势由(S_0,hg)变为S₁；与此同时，计算机做一个基本操作V_COMPUTER(取V_COMPUTER＝-V_OPERATOR，也就是说，由V_OPERATOR就可以计算出V_COMPUTER。计算机将基本操作V_COMPUTER施加于三维手势模型。例如，用户手势变大，则三维手势模型就变小。)在该基本操作下，三维手势模型由(S_0,so)变为S₁。即

S₁＝V_OPERATOR(S_0,hg) (1)

S₁＝V_COMPUTER(S_0,so) (2)

其中，要求V_OPERATOR和V_COMPUTER的方向相反，即满足

$V_{OPERATOR}\&CircleTimes;V_{COMPUTER}<0---\left(3\right)$

表示两个向量的点积计算。

用户基本操作的判断如下：

(1)平移手势

手形不变，仅仅重心位置发生移动。

(2)“缩小”手势

如果手形不变，且手势图像包围盒逐渐减小，则为“缩小”手势。

(3)“放大”手势

如果手形不变，且手势图像包围盒逐渐变大，则为“放大”手势。

(4)“旋转”手势

“旋转”手势放到手势数据库中进行识别。

第4步：如果满足条件：

Ψ(S₁，I)<ε. (4)

则返回三维手势模型有关参数，即完成三维手势模型的初始化；否则转步骤3.其中，Ψ是指评价S₁的函数，这里是指三维手势模型在像批量上的平面上的投影与对应帧图像之间的Hausdorff距离，ε是一个非负经验阈值(推荐值是50～80.)。Hausdorff距离越小，说明三维手势模型与用户的实际手势越接近。

具体如下：

设S₁在当前手势像平面上的投影点集为集合A,当前手势图像I点集为集合B，则

ψ(S₁,I)＝hl(A,B)+hl(B,A) (4)

式中，hl(A,B)和hl(B,A)分别表示点集A到点集B和点集B到点集A的单向类-Hausdorff距离，用数学公式表述分别为

$hl(A,B)=\sqrt{\frac{1}{N_A}{\mathrm{\&Sigma;}}_{a\&Element;A}\underset{b\&Element;B}{\min }\left|\right|a-b\left|\right|}---\left(5\right)$

$hl(B,A)=\sqrt{\frac{1}{N_B}{\mathrm{\&Sigma;}}_{b\&Element;B}\underset{a\&Element;A}{\min }\left|\right|b-a\left|\right|}---\left(6\right)$

式中，hl(A,B)表示累加计算出点集A中每一点到点集B中最近一点的距离后的均值；N_A为点集A中特征点的个数；选取欧氏距离Dis(a,b)作为||a-b||的距离范式，如公式(7)所示。同理可计算hl(B,A)。

所述三维手势模型有关参数包括26个参数，具体如下：人手的每个指节用圆柱进行仿真，其半径和长度的设置在初始化阶段完成。手掌用矩形模拟，其主要参数有2个：手掌面的法线向量和手指自然伸直时手指的方向(大拇指除外)。除大拇指外的每个手指上的所有关节点位于同一平面内，该平面与手掌面垂直。除指根有2个自由度外，其余每个关节的自由度为1。大拇指与其它手指的区别在于，关节点所在平面与手掌面不一定垂直。显然，该模型共有20个自由度(DOF)。同一手指上相邻指节之间方向变化角度为[-3°,90°]，4个关节所在平面与平面ζ之间的夹角(大拇指除外)变化范围为[-20°,20°]，这里的平面ζ是指满足下列2个条件的平面：①与手掌面垂直；②与中指自然伸直时所在方向一致。另外，指头之间不得出现交叠。在实验中，允许人手作旋转和平移运动，即可以有26个自由度。手势库中的模型可以自动调整有关几何尺度，例如指节长度、手掌大小等。具体方法可以参考发明专利200910015471.9，也可以采用其它已知方法来建立人手三维模型，在此不再赘述。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (6)

1.一种改变三维手势状态的方法，其特征在于：所述方法包括：

第1步：建立三维手势数据库；

第2步：用户手势进入摄像机场景，识别出用户手势，从数据库中得到与用户手势对应的三维手势模型；

第3步：首先计算用户手势的运动向量V，然后，计算机把与手势的运动向量V相反的向量-V施加于三维手势模型，使得该三维手势模型同时沿着与用户手势运动相反的方向运动；判断用户手势与三维手势模型是否相同，如果是，则进入第4步，如果否，则返回第3步；

第4步：返回三维手势模型有关参数，即完成三维手势模型的初始化；

所述第3步中的运动向量具体如下：

用V＝(P,Q,θ)表示手势运动向量，其中，P表示三维手势的重心位置坐标，Q表示手掌所在面的法线向量，θ是手势关节的20维向量，即每个手指有4个自由度，其中，根关节2个自由度，其余两个关节各一个自由度；

所述第3步是这样实现的：

第3.1步，计算用户手势的初始状态(S_0,hg)和三维手势模型的初始状态(S_{0, so})；

第3.2步，用户做一个基本操作，即用户基本操作向量V_OPERATOR，在该基本操作下，用户手势由(S_0,hg)变为S₁；与此同时，计算机做一个基本操作，即计算机基本操作向量V_COMPUTER，取V_COMPUTER＝-V_OPERATOR，计算机将计算机基本操作向量V_COMPUTER施加于三维手势模型，三维手势模型由(S_0,so)变为S₁，即：

S₁＝V_OPERATOR(S_0,hg) (1)

S₁＝V_COMPUTER(S_0,so) (2)

其中，要求V_OPERATOR和V_COMPUTER的方向相反，即满足

$V_{OPERATOR}\&CircleTimes;V_{COMPUTER}<0---\left(3\right)$

其中，表示两个向量的点积计算。

2.根据权利要求1所述的改变三维手势状态的方法，其特征在于：所述第3.1步是这样实现的：

在首帧用户手势图像轮廓点集就是用户手势的初始状态(S_0,hg)，采用图像分割方法得到；

根据用户手势图像从数据库中检索出的三维手势模型就是三维手势模型的初始状态(S_0,so)。

3.根据权利要求2所述的改变三维手势状态的方法，其特征在于：所述第3.2步中的用户基本操作向量V_OPERATOR包括：平移手势、缩小手势、放大手势和旋转手势这四种基本操作，每个基本操作是一个手势图像序列，该序列就是用户基本操作向量。

4.根据权利要求3所述的改变三维手势状态的方法，其特征在于：所述平移手势、缩小手势、放大手势和旋转手势的判断方法如下：

如果手形不变，仅仅重心位置发生移动，则判断为平移手势；

如果手形不变，且手势图像包围盒逐渐减小，则判断为缩小手势；

如果手形不变，且手势图像包围盒逐渐变大，则判断为放大手势；

从手势数据库中识别旋转手势。

5.根据权利要求4所述的改变三维手势状态的方法，其特征在于：所述第3步中判断用户手势与三维手势模型是否相同是这样实现的：

判断以下条件是否成立：

Ψ(S₁)<ε. (4)

其中，Ψ是指评价S₁的函数，这里是指三维手势模型S₁在像批量上的平面上的投影与对应帧图像I之间的Hausdorff距离，ε是一个非负经验阈值，如果该条件成立，则判断为用户手势与三维手势模型相同，如果不成立，则判断为用户手势与三维手势模型不相同。

6.根据权利要求5所述的改变三维手势状态的方法，其特征在于：所述ε的取值为50～80。