CN105045373A - 一种面向用户心理模型表达的三维手势交互方法 - Google Patents

Abstract

本发明的面向用户心理模型表达的三维手势交互方法，从速度、轨迹和视角三个方面提出一种基于单目视觉的人手运动风格表达算法。首先，建立交互实验平台，利用摄像头、数据手套和位置跟踪仪，建立手势行为模型；其次，根据行为模型，分阶段建立人手运动的速度、轨迹和视角模型。最后，通过手势图像和运动模型，获得人手运动风格，使三维虚拟手势运动风格与实际人手运动风格保持一致，并实时显示，从而顺利完成和谐、自然、方便的人机交互任务。本发明的有益效果是：本发明将基于行为模型的手势风格算法运用到自然交互界面的设计中，表达用户的心理模型，降低用户的认知负荷，改善用户的交互体验。

Description

一种面向用户心理模型表达的三维手势交互方法

技术领域

本发明涉及一种面向用户心理模型表达的三维手势交互方法。

背景技术

自然人机交互是利用人的日常技能进行的，强调无需特别训练或不需要训练。在基于人脸、头部、手臂、人手、人眼以及整个人体的输入方式中，由于在通信和操作中的灵巧性，人手是最有效、用途最多的输入工具。手势是一种自然、直观、易于学习的人机交互手段，以人手直接作为计算机的输入方式，人机间的通讯将不再需要中间媒体，用户可以简单地定义一种适当的手势来对周围的机器进行控制；手势是人与人之间的一种非口头交流形式，它包括从用手指示方向和移动物体的简单动作到能够表达感情以及允许彼此交流的复杂手势。考虑到人们拥有做手势的大量经验知识，如果人们能够把这些技能从日常的经验中转换过来并用在人机交互方面，就可以期盼直观的、操作简便的、功能强大的人机接口。手势交互运用手势来表达交互意图，其中包含了大量的信息和符合人的心理模型。与传统的交互方式相比，手势交互可以使用户摆脱鼠标和键盘束缚。目前，手势交互正向着自然、直接、舒适和智能化的趋势发展。运动风格是个人习惯、生活背景和主观情绪等综合因素的表现形式，是运动的高层属性。由于用户间的差异性，会出现不同的运动风格。Urtasun等人将速度看作是运动的风格，特定的个体进行参数化的位移活动，并使用主成分分析(Principalcomponentanalysis,PCA)系数合成多种风格的行走运动，包括跑步、跳跃和行走动作等。Amaya等人认为运动风格表现在速度和步幅上，提出一种情感动画模型，这种方法可以计算特定的情感变换，并将变换后的情感模型应用到中性动作上，是动作具有特定的情感表现形式，对其进行参数化并修改，以得到不同风格化的运动序列。Rose等人提出了一种利用基本动作的进行插值合成方法。基本动作来自运动捕捉或通过传统的动画制作工具生成，将描述行为动作的副词看作风格信息，并使用径向基函数(radialbasisfunction，RBF)实现种风格间的平滑切换。参数化插值方法对所需的数据规模要求较高，所需的动作样本数据个数随控制参数的维数增长而急剧增长。Xia等人将风格看作用户自定义参数所张成的连续空间，并构建了一个层次化模型来刻画同样内容、同样风格的运动之间的细微差异。蓝荣祎和孙怀江提出一种基于重构式独立成分分析(Reconstructiveindependentcomponentanalysis,RICA)的运动风格分析方法，该方法能够有效地分析出行走、跳跃和踢腿等运动中代表风格的独立成分,并根据用户对风格的编辑,实时地生成自然、平滑的运动。DeLasa等人从物理学角度建立了人体运动风格模型,将风格定义为质心、角动量等物理参数,通过调整这些物理参数并优化相应的目标函数生成风格不同的运动.吴小毛等人通过将运动风格传输问题表达为对运动统计量的概率分布的传输问题，提出了一个实时、方便的人体运动风格传输算法。算法运行速度快，占用内存少，非常适合于实时的场合。本文的运动风格主要表现在为运动速度、运动轨迹和运动方向的不同。对人手运动风格的研究主要借助人体运动自动生成特定的手势动作。Majkowska等人为了减少的运动数据样本规模，提出了运动拼接技术(MotionSplicingorComposition),将人体划分为不同的身体部位，如上半身和下半身，躯干和手臂等，不同身体部位的动作姿态基于不同的运动数据生成。等人通过查找人体和手指运动数据库，自动在人体动作上添加手指动作，生成交谈、讨论和指挥等类型的手势。这种通过人体大范围运动自动合成手势运动的方法，没有考虑实际人手运动速度。Oshita等人提出一种从人体运动生成手势动作的方法，假定人体运动可以估计人手状态。利用支持向量机(SVM)从四种可能的关键手势中选择一种。训练模型由一系列包含人手状态关键帧的人体运动组成，输出连续的手部动作。Wheatland等人通过少量标记捕捉手势动作从视频中生成反应人手运动风格的手势动画，利用主成分分析方法从手势库中生成复杂的手势动作。马万里等人对运动数据进行主旋转分析，提取运动内容和风格，动态构建风格图，根据风格图生成风格可控的运动。Huang等人建立运动图模型，图中每个结点代表上肢运动关键帧，每条边代表一段运动序列，通过识别关键帧，遍历图结点，进行上肢运动速度控制，这种方法，可以控制人体上肢运动速度，但存在一定延时。

在三维交互过程中不同用户的手势具有不同的运动风格，无论是不同的操作者做同一种运动还是同一个操作者重复一种运动，都存在差异性。目前有关手势风格的关注并藉此表达用户心理模型(MentalModel)的研究尚不多见。利用手势动画库实现基于手势输入的三维自然交互界面，是实现快速、鲁棒人机交互的重要途径之一。从手势库中检索出的手势动画，可能仅仅意味着它与用户的实际手势语义具有一致性，但它与用户手势的运动方向、运动速度等运动风格可能很有差异，怎样获取施加于动画手势的数学变换，使得变换后的手势动画与用户的运动风格一致，并实时显示，顺利完成人机交互任务，是要解决的核心问题。

发明内容

为解决以上技术上的不足，本发明提供了一种降低用户的认知负荷，改善用户的交互体验的面向用户心理模型表达的三维手势交互方法。

本发明是通过以下措施实现的：

本发明的一种面向用户心理模型表达的三维手势交互方法，包括以下步骤：

步骤1，在计算机中建立三维虚拟手势模型，并构建虚拟场景，在虚拟场景中搭建人机交互平台，实验者利用摄像头、数据手套和位置跟踪仪进行包含人手初次平移、抓取物体、再次平移、释放物体四个阶段的人机交互实验；

步骤2，统计步骤1中人机交互实验中关于手势姿态、平移速度、平移视角、运动轨迹以及抓取和释放物体的实验数据，分阶段建立人手的抓取和释放物体模型、平移速度模型、人手运动轨迹模型和观察视角模型；

步骤3，将步骤2分析出的人手抓取和释放物体模型、平移速度模型、人手运动轨迹模型和观察视角模型应用到三维虚拟手势模型中，通过三维虚拟手势模型表达人手运动风格。

在步骤2中，人手在抓取和释放物体阶段，人手的关节角度变化量与对应的人手面积变化量之间的关系近似高斯曲线和抛物线，利用高斯曲线和二次多项式进行拟合，人手抓取和释放物体模型的表达式：

抓取阶段： $y_i=a_i{e}^{-{\left(\frac{x-b_i}{c_i}\right)}^2}+m_i{e}^{-{\left(\frac{x-n_i}{k_i}\right)}^2}$

释放阶段：y_i＝p_ix²+q_ix+r_i

其中，a_i、b_i、c_i、m_i、n_i、k_i、p_i、q_i和r_i是第i个自由度拟合系数，x是人手面积变化量，y_i是第i个自由度变化量。

在步骤2中，人手初次平移和再次平移阶段，手势平移速度V_r是横向速度和纵向速度的叠加，其中手势质心速度V_H表示横向速度，手势包围盒速度V_V表示纵向速度；

手势包围盒速度V_V表示为：

$V_V=\sqrt{V_w^2+V_h^2}$

其中，V_w和V_h分别表示为手势包围盒水平速度和手势包围盒垂直速度；

手势平移速度模型表示为：

$V_T=\sqrt{V_H^2+V_V^2}$

其中，V_H和V_V分别表示为手势质心速度和包围盒速度。

在步骤2中，手势平移的过程中，选用Berizer曲线对用户的平移轨迹进行曲线拟合，采用三次Berizer曲线生成光滑轨迹曲线，从始点到终点的人手轨迹模型表示为：

P(t)＝(1-t)³P₀+3t(1-t)²P₁+3t²(1-t)P₂+t³P₃

其中，P₀是轨迹的始点，P₃是轨迹的终点，P₁和P₂是介于P₀和P₃之间的控制点。

上述在三维手势交互过程中，平移视角确定时，假设视点到目标物体的距离不变，并且视点沿球面运动，若物体的中心位置O(x0,y0,z0)，则视点A(x,y,z)的观察视角模型表示为：

其中r、θ和是球面的参数方程系数

本发明的有益效果是：本发明将基于行为模型的手势风格算法运用到自然交互界面的设计中，表达用户的心理模型，降低用户的认知负荷，改善用户的交互体验。而且采用本发明的方法，在人机交互界面中手势表达简单、自然，符合人类交流的习惯，体现了一种自然的和常见的表达方式。

具体实施方式

为体现用户的不同运动风格，本发明从速度、轨迹和视角三个方面提出一种基于单目视觉的人手运动风格表达算法。首先，建立交互实验平台，利用摄像头、数据手套和位置跟踪仪，建立手势行为模型；其次，根据行为模型，分阶段建立人手运动的速度、轨迹和视角模型。最后，通过手势图像和运动模型，获得人手运动风格，使三维虚拟手势运动风格与实际人手运动风格保持一致，并实时显示，从而顺利完成和谐、自然、方便的人机交互任务。

首先在计算机中建立三维虚拟手势模型，并构建虚拟场景，在虚拟场景中搭建人机交互平台，实验者利用摄像头、数据手套和位置跟踪仪进行包含人手初次平移、抓取物体、再次平移、释放物体四个阶段的人机交互实验。

为了获取手势图像与关节角度数据，建立基于数据手套、位置跟踪仪和普通USB摄像头的虚拟平台。手势交互过程是由一个一个的基本操作完成的，这些基本操作包括“抓”、“放”、“平移”等。把这些基本操作的一般数学表达称为手势行为模型。在交互过程中，屏幕上出现与操作者手势亦步亦趋的三维手势动画模型，该3D手势动画模型的显示方式就是手势风格问题。

根据人手在运动过程中不同的运动形式，将行为模型分为四个阶段，其中第一阶段是初次平移阶段，人手由初始位置移动到物体位置；第二阶段是抓取物体阶段，人手抓取物体；第三阶段是再次平移阶段，人手抓取物体后，由物体位置移动到目标位置；第四阶段是释放物体阶段，人手在目标位置将物体放下。在平移阶段，手掌平移运动，手指关节角度几乎不变。在抓取和释放阶段，手指关节角度发生变化，手掌几乎不动。在每个阶段，人手的表达风格不同。在平移阶段，主要表达轨迹、视角和平移速度风格，在抓取阶段，主要表达人手抓取物体的速度风格，在释放阶段，主要表达人手释放物体的速度风格。

一、建立手势平移速度模型。人手初次平移和再次平移阶段，手势平移速度V_r是横向速度和纵向速度的叠加，其中手势质心速度V_H表示横向速度，手势包围盒速度V_V表示纵向速度；

手势包围盒速度V_V表示为：

$V_V=\sqrt{V_w^2+V_h^2}$ ①

其中，V_w和V_h分别表示为手势包围盒水平速度和手势包围盒垂直速度；

手势平移速度模型表示为：

$V_T=\sqrt{V_H^2+V_V^2}$ ②

其中，V_H和V_V分别表示为手势质心速度和包围盒速度。

二、建立人手抓取和释放物体模型。

人手在抓取和释放物体阶段，人手的关节角度变化量与对应的人手面积变化量之间的关系近似高斯曲线和抛物线，利用高斯曲线和二次多项式进行拟合，人手抓取和释放物体模型的表达式：

抓取阶段： $y_i=a_i{e}^{-{\left(\frac{x-b_i}{c_i}\right)}^2}+m_i{e}^{-{\left(\frac{x-n_i}{k_i}\right)}^2}$ ③

释放阶段：y_i＝p_ix²+q_ix+r_i④

其中，a_i、b_i、c_i、m_i、n_i、k_i、p_i、q_i和r_i是第i个自由度拟合系数，x是人手面积变化量，y_i是第i个自由度变化量。

选取人手抓取和释放物体过程中的任意时刻t，t>0时，计算t时刻的人手面积与初始时刻人手面积的变化量x(t)，并带入步骤2中的数学表达式内计算出人手关节角度变化量y(t)，结合初始时刻的人手关节角度值，得出t时刻的人手关节角度值，并作为自由度参数实时输入给三维虚拟手势模型。

三、建立人手轨迹模型。

势在抓取物体完成后，下一步就是要将物体移动到目标位置，如果操作者的实际手势是线性的，但其心理模型可能是非线性的。为此，本文采用曲线轨迹表达操作者的直线平移运动。在手势平移的过程中，不同用户从始点到终点轨迹会出现差异，为了表现出用户轨迹的不同，我们对用户的轨迹进行曲线拟合。我们希望轨迹具有1、总体形状和起伏剧烈程度可控，2、经过始点和终点，3、曲线光滑，4、形状随机的特点。因此，选用Berizer曲线进行曲线拟合。理论上讲，如果有n+1个控制点，可以选用n次Berizer曲线进行拟合。但是，高次Berizer曲线的计算量比较大，而且阶次越高，曲线在局部偏离控制点越远。所以，采用三次Berizer曲线生成光滑轨迹曲线。从始点到终点的人手轨迹模型表示为：

P(t)＝(1-t)³P₀+3t(1-t)²P₁+3t²(1-t)P₂+t³P₃⑤

其中，P₀是轨迹的始点，P₃是轨迹的终点，P₁和P₂是介于P₀和P₃之间的控制点。

四、建立观察视角模型。

在三维手势交互过程中，平移视角确定时，假设视点到目标物体的距离不变，并且视点沿球面运动，若物体的中心位置O(x0,y0,z0)，则视点A(x,y,z)的观察视角模型表示为：

⑥

其中r、θ和是球面的参数方程系数

在平移阶段，主要表达轨迹、视角和平移速度风格。具体为：

(1)利用肤色分割算法找出所有肤色区域，去除小块类肤色区域，获得手势区域，得到人手的最小包围盒和重心坐标；

(2)根据平移速度模型，计算包围盒水平速度和垂直速度，根据公式①得到手势包围盒速度，然后计算手势质心运动速度，根据公式②得到人手平移速度V_T。那么，三维手势的运动速度：V_G＝αV_T；其中，α为常量参数；

(3)手势位置为始点，目标位置作为终点。在始点和终点之间随机生成两个控制点，根据轨迹模型，通过四个控制点，根据公式⑤生成三次Berizer曲线，将这条曲线作为手势运动轨迹。三维手势以速度V_G在轨迹方向上的运动。如果用户对生成的轨迹不满意，用户手势可以静止不动，延迟一定时间。随后，系统会按照上述方法，自动生成另一条轨迹，直到用户满意为止；

手势在平移过程中，用户可以从不同的角度观察场景中的物体。按照视角模型，本文分为两种视角变换，一种是平行于物体所在平面的视角转换，另一种是垂直于物体所在平面的视角转换。

手势在抓取或释放物体时，根据手势图像估计手势运动速度。具体为：

(1)初始时刻t＝t₀时，计算分割后的人手初始面积S(t₀)，此时，三维手势各个自由度为θ_i(t₀)；

(2)任意时刻t>t₀时，获得手势图像面积S(t)，根据计算当前时刻与初始时刻人手面积的变化量x(t)；

(3)根据速度模型，计算时刻t手势各个自由度变化量y(t)；

(4)根据y_i(t)＝|θ_i(t)-θ_i(0)|得到任意时刻t手势自由度值θ_i(t)；

(5)更新，t←t+1。

手势表达简单、自然，符合人类交流的习惯，是一种自然的和常见的表达方式。手势已成为自然交互界面设计中重要的输入方式。本文将基于行为模型的手势风格算法运用到自然交互界面的设计中，表达用户的心理模型，降低用户的认知负荷，改善用户的交互体验。

具体步骤如下：

(1)自动初始化。利用基于认知行为模型的方法实现手势模型自动初始化，记录手势初始状态；

(2)选择对象。在三维场景中有多个物体，用“令牌环”技术从多个物体中选择要抓取的物体；

(3)生成轨迹。根据轨迹模型，从手势位置到目标位置生成轨迹曲线；

(4)平移运动。计算手势速度V_G，手势以速度V_G沿轨迹运动。人手在平移过程中，用户可以从平行于物体所在平面或者垂直于物体所在平面观察物体；

(5)抓取物体。在人手平移到目标物体位置处，进行碰撞检测。如果人手掌心到目标物体的距离小于一定阈值时，认为发生碰撞检测。先进行手势识别，然后抓取物体。在抓取物体过程中，根据人手图像面积估计抓取速度；

(6)生成轨迹。根据轨迹模型，从被抓物体位置到目标位置生成轨迹曲线；

(7)平移运动。计算手势速度V_G，人手和物体以速度V_G沿轨迹运动。人手和物体在平移过程中，用户可以从平行于物体所在平面或者垂直于物体所在平面观察被抓物体；

(8)释放物体。在人手和物体平移到目标位置处，利用包围盒技术实现碰撞检测。如果人手掌心到目标位置的距离小于一定阈值时，认为发生碰撞检测，释放物体。在释放过程中，根据人手图像面积估计释放速度；

(9)循环。如果场景中物体全部抓取完毕，则退出；否则，转向步骤(2)。

以上所述仅是本专利的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本专利的保护范围。

Claims (5)

1.一种面向用户心理模型表达的三维手势交互方法，其特征在于，包括以下步骤：

步骤1，在计算机中建立三维虚拟手势模型，并构建虚拟场景，在虚拟场景中搭建人机交互平台，实验者利用摄像头、数据手套和位置跟踪仪进行包含人手初次平移、抓取物体、再次平移、释放物体四个阶段的人机交互实验；

步骤2，统计步骤1中人机交互实验中关于手势姿态、平移速度、平移视角、运动轨迹以及抓取和释放物体的实验数据，分阶段建立人手的抓取和释放物体模型、平移速度模型、人手运动轨迹模型和观察视角模型；

步骤3，将步骤2分析出的人手抓取和释放物体模型、平移速度模型、人手运动轨迹模型和观察视角模型应用到三维虚拟手势模型中，通过三维虚拟手势模型表达人手运动风格。

2.根据权利要求1所述面向用户心理模型表达的三维手势交互方法，其特征在于：在步骤2中，人手在抓取和释放物体阶段，人手的关节角度变化量与对应的人手面积变化量之间的关系近似高斯曲线和抛物线，利用高斯曲线和二次多项式进行拟合，人手抓取和释放物体模型的表达式：

抓取阶段： $y_i=a_i{e}^{-{\left(\frac{x-b_i}{c_i}\right)}^2}+m_i{e}^{-{\left(\frac{x-n_i}{k_i}\right)}^2}$

释放阶段：y_i＝p_ix²+q_ix+r_i

其中，a_i、b_i、c_i、m_i、n_i、k_i、p_i、q_i和r_i是第i个自由度拟合系数，x是人手面积变化量，y_i是第i个自由度变化量。

3.根据权利要求1所述面向用户心理模型表达的三维手势交互方法，其特征在于：在步骤2中，人手初次平移和再次平移阶段，手势平移速度V_r是横向速度和纵向速度的叠加，其中手势质心速度V_H表示横向速度，手势包围盒速度V_V表示纵向速度；

手势包围盒速度V_V表示为：

$V_V=\sqrt{V_w^2+V_h^2}$

其中，V_w和V_h分别表示为手势包围盒水平速度和手势包围盒垂直速度；

手势平移速度模型表示为：

$V_T=\sqrt{V_H^2+V_V^2}$

其中，V_H和V_V分别表示为手势质心速度和包围盒速度。

4.根据权利要求1所述面向用户心理模型表达的三维手势交互方法，其特征在于：在步骤2中，手势平移的过程中，选用Berizer曲线对用户的平移轨迹进行曲线拟合，采用三次Berizer曲线生成光滑轨迹曲线，从始点到终点的人手轨迹模型表示为：

P(t)＝(1-t)³P₀+3t(1-t)²P₁+3t²(1-t)P₂+t³P₃

其中，P₀是轨迹的始点，P₃是轨迹的终点，P₁和P₂是介于P₀和P₃之间的控制点。

5.根据权利要求1所述面向用户心理模型表达的三维手势交互方法，其特征在于：在三维手势交互过程中，平移视角确定时，假设视点到目标物体的距离不变，并且视点沿球面运动，若物体的中心位置O(x0,y0,z0)，则视点A(x,y,z)的观察视角模型表示为：

其中r、θ和是球面的参数方程系数(0≤θ≤2π，)。