CN104615984A - 基于用户任务的手势识别方法 - Google Patents

Abstract

本发明提供了一种基于用户任务的手势识别方法，包括：获取交互对象；穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比，基于产品功能来区分用户与产品之间有意义的交互手势，把用户无意识的手势操作分离出来，最后仅执行并反馈有意义的用户手势的结果。本发明能够减少手势识别中需要检测和处理的数据，提高手势识别的效率和准确率。

Description

基于用户任务的手势识别方法

技术领域

本发明涉及人机交互技术领域，特别是涉及一种基于用户任务的手势识别方法。

背景技术

手势是人类表达非语言类的意图感知的主要载体，随着科技的发展，对于手势识别的研究越来越热门。

目前对手势识别的研究主要以手势检测、捕捉、跟踪等为主，研究者们总是力求准确的识别出用户的每一个手势，尽量真实的还原与展现在智能设备上，想以此提高人机交互的真实性。

然而，用户在与智能设备的交互中，有些手势是无意图、无目的，按照当前对手势的研究并不能区分出这些无意图的手势，这无疑会给手势识别系统增加过多的处理数据，使原本已经很复杂的算法及处理过程更加冗杂，势必会造成处理效率低下；更为严重的是，这些无意图手势还可能造成交互设备的误反馈、误操作，导致手势识别的准确性大大降低，用户体验降低。

发明内容

本发明的目的在于提出一种基于用户任务的手势识别方法，以根据产品功能划分用户与产品交互手势的意图和目的，由此把用户无意识的手势操作区分出来，减少手势识别中需要检测和处理的数据，从而提高手势识别的效率和准确率。

为了解决上述技术问题，本发明的技术方案如下：

基于用户任务的手势识别方法，包括：

步骤A、获取交互对象；

步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；

步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；

步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比：

子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则执行第N个用户手势命令，其中N为自然数；

子步骤D2，当第N+1个用户手势也与所述手势集知识库中的手势特征向量匹配时，则判断第N+1个用户手势和第N个用户手势是否属于同一个用户任务里面按照顺序且连接的两个用户手势，如果是，则执行第N+1个用户手势命令。

在子步骤D2中，如果第N+1个用户手势和第N个用户手势不属于同一个用户任务里面按照顺序且连接的两个用户手势，则根据第N+1个用户手势改进所述交互对象的执行方式，获得改良设计的交互对象。

本发明的优点是：

第一，预先设定产品各项功能对应的用户任务，得到用户任务表。由于基于用户任务的手势识别方法能够在具有主观性，随意性，模糊性的手势中分离出有意义的手势，过滤掉大量的无意义手势，从而大为减少了需要检测和处理的手势数据，提高手势识别的效率和准确率；

第二，能够根据用户用目的明确但操作方式与产品设计不符的手势，获知用户表达出来的对产品的预期，由此改进产品设计，使产品更贴近用户需求和预期，提升产品的用户接收度以及用户体验；

第三，一定程度上预测用户行为，通过设定好的用户任务，当用户执行某个操作时，判断这个操作存在哪个用户任务中，从而知道用户下一步可能的操作，能提高交互对象对手势作出反馈的速度。

附图说明

图1是本发明的步骤流程图；

图2是本发明实施例中执行煮食的用户任务的用户手势指令序列图；

图3(a)是本发明实施例中抓取物体的手势示例图；

图3(b)是本发明实施例中旋转物体的手势示例图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例

如图1，基于用户任务的手势识别方法，包括

步骤A、获取交互对象；

步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；

步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；

步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比：

子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则执行第N个用户手势命令，其中N为自然数；

子步骤D2，当第N+1个用户手势也与所述手势集知识库中的手势特征向量匹配时，则判断第N+1个用户手势和第N个用户手势是否属于同一个用户任务里面按照顺序且连接的两个用户手势，如果是，则执行第N+1个用户手势命令。

其中，本发明所指的交互对象，是能够与用户进行交互的客体，例如虚拟产品或产品3D模型，具有一定的感知用户行为并作出反馈的能力。在这样的一交互对象中，执行某一个产品功能的初始状态到目标状态需要经历的所有行为操作构成了一种用户任务，一个产品有多个功能，于是一个产品对应于多个用户任务，多个用户任务组合在一起，形成了用户任务表。每个用户任务并不一定是唯一的，从初始状态到目标状态往往存在多种行为操作的组合，以打电话为例：

用户任务一：“打开通讯录”、“选择某人”、“拨打电话”

用户任务二：“打开拨号盘”、“输入号码”、“拨打电话”

提出用户任务主要是因为用户对一个产品的意象往往是模糊的，这让产品设计师难以捕捉用户意图，特别是通过非语言类的姿势表达，如果要将用户模糊的信息转化为适当的产品设计元素，使设计出来的产品尽可能与用户的意象模型相一致，甚至超出其期望，这无论是对设计师还是感知系统来说，都难以承受，需要处理过多的未知变量和运算量。

用户任务概念的提出能够很好的处理这个问题。主要是用户任务有很清晰的用户目标。基于用户任务对用户手势所表达的意图感知进行识别时，可以把用户意图分为三种类型：第一种是系统预期的意图I1，也就是系统期望用户会执行的操作；第二种是用户可能选择执行但不是系统预期的意图I2，这一类型往往是用户按照自己的理解去执行某个操作，但是这个操作是错误的；第三种类型就是无意义的用户行为I3，这一类型的操作是最多的，系统可以完全忽略的，把这一类型归类为无意义行为可以大大减少未知变量和运算量，从而让系统准确而高效的感知用户意图。

如图2所示，现以阿迪锅产品设计为例讲述如何通过用户任务的方法获取用户意图。阿迪锅与人的手势交互任务如表一所示，包含四个用户任务：移动，煮食，获取食物，清洗对象。为了更好的描述计算机视觉手势，将每一个任务分解成一个或者多个子任务，并赋给每个子任务一个用户手势指令Gi(i＝{1，2……n，n为正整数})。

表一：阿迪锅的用户任务

为了让手势捕捉具有更一般的通用性，本实施例采用基于计算机视觉的手势识别方案，基于用户任务的用户意图感知在计算机视觉手势界面方面的解决效果尤其明显。最经典的就是能够有效避免计算机视觉手势界面中的经典难题——“点石成金Midas Touch”问题。用户意图模糊性以及“Midas Touch”问题，是用户意图感知以及计算机视觉手势识别的关键问题。由于用户手势是跟一个产品或者一项服务有关的，一个产品或者一个服务系统的功能是有限的，这就意味着一个手势系统中，有意义的手势总是有限的，从而能够穷举并预先总结出用户任务表。如表一所示的阿迪锅用户任务表，其中用户手势指令G7与G13就构成了一个“Midas Touch”问题：当用户顺时针旋转锅盖时，执行用户手势指令G7，用户目标是子任务密封，这个动作完成之后用户的手势会有一个恢复期，即逆时针恢复到正常状态，但是这时候会有一个有效但非预期的用户手势指令G13，即“打开锅盖”，虽然用户做了打开锅盖的手势，但是用户并没有打开锅盖的用户目标，这就是用户意图的第二种类型。这个时候手势系统正确的执行指令应该是不采取任何响应。本发明正是预先设计好了用户任务表，穷举了用户与阿迪锅交互的手势，只有属于表一的用户手势才能被系统判断为有效的操作并执行对应指令，其他的用户手势则会被判断为无交互语义的行为。就如本例子中的G7与G13，因为在用户任务表中并不存在G7到G13或者G13到G7，所以当手势从旋转恢复到正常状态时，就被判定为无意义的操作语义而不反馈交互结果。

可见，上述的用户手势识别方法预先设定产品各项功能对应的用户手势指令序列，得到用户任务表，由此在手势识别过程中可预判出用户所要执行的产品功能，进而区分出哪些是用户无目的的操作或者有目的但操作方式与产品设计不符的操作，仅执行属于用户任务表中的手势特征量即可，从而大为减少了需要检测和处理的手势数据，提高手势识别的效率和准确率。

用户在使用产品或者系统过程中往往会以自己的方式来理解产品，有可能用户的理解与产品实际的工作原理完全不符，用户的操作也完全有可能不符合系统预期。设计师可以在用户执行任务的过程中捕捉到用户行为的真实操作意图，对目标用户的意象感知进行清晰、准确的描述，研究系统的预期为什么不像用户想要的那样，从而对产品进行修正与改良，让产品更加以人为本。

由此，在子步骤D2中，如果第N+1个用户手势和第N个用户手势不属于同一个用户任务里面按照顺序且连接的两个用户手势，则根据第N+1个用户手势改进所述交互对象的执行方式，获得改良设计的交互对象。其能够根据用户用目的明确但操作方式与产品设计不符的手势，获知用户表达出来的对产品的预期，由此改进产品设计，使产品更贴近用户需求和预期，提升产品的用户接收度以及用户体验。

根据阿迪锅交互任务的特点，即用户手部跟阿迪锅的交互主要有：指选、移动、旋转等自然手部动作。可以根据这些手部动作，提取5个关键特征点，分别是：拇指尖、食指尖、掌心、拇指与食指之间的凹点以及手内所包含的中空区。为了证明方法的有效性以及可复制性，本文采用较小的典型样本，通过少数典型测试用户执行表一所示的用户任务。实验环境也尽可能的简单，在实验工作台上面仅安装了一个摄像头，用于捕捉用户手势，识别用户手势指令。

如图2，以“煮食”这个用户任务为例，假设用户场景是这样的，阿迪锅锅盖正盖在阿迪锅上面，食物放在锅外面，现在要求用户完成煮食这个任务。用户任务的每个行为操作分解如图2所示，细线的箭头是系统根据用户的手势判断出有可能发生的行为操作I2，粗线的箭头是系统预期发生的操作I1，而另一条点划线表示所有无意义的手势I3。

定义用户行为操作，形成一个有意义的用户手势集知识库G＝{G1,G2,G3……Gn}，其中Gi(i＝{1，2……n})代表具体的某一个用户手势，如第一个粗线箭头的G13代表打开锅盖的用户手势，每一个用户手势具有一组共同的手势特征向量，由于本实例中使用了5个特征向量，所以手势特征向量是一个五阶矩阵。可以构建手势分类器，提取手势特征进行训练，通过机器学习，建立用户手势的数据库。

根据图2，跟手势系统无关的操作视为无意义，那么此时手势系统将会预测用户的操作意图要么是密封锅盖，这时的手势是顺时针旋转锅盖，要么就是打开锅盖，这时手势是抓取，移动，放下。用这种基于用户任务的手势识别有两个好处：1、不需要识别太多的无意义的手势，从而减少运算量；2、能够感知用户意图，预测用户行为，比如当手去抓锅盖时，能够预测用户要么是密封要么是打开锅盖。

用户任务要求用户打开锅盖G13，计算机视觉手势系统预先设计旋转锅盖的手势，其完整的手势是：抓住—逆时针方向旋转，如图3(a)、(b)所示。

系统先记录用户手掌的起始位置，记为R0(xR0,yR0)，当手势旋转一定角度时，记为R1(xR1,yR1)，再记物体质心位置为RC(xRc,yRc)，则这三点的夹角∠R₀R_cR₁为手势绕坐标轴旋转的角度，由下列公式可计算得到。

$\∠R_0{R}_c{R}_1=\arccos (\stackrel{\→}{R_c{R}_0},\stackrel{\→}{R_c{R}_1})=\arccos \left(\frac{\stackrel{\→}{R_c{R}_0}\·\stackrel{\→}{R_c{R}_1}}{\left|\stackrel{\→}{R_c{R}_0}\right|\left|\stackrel{\→}{R_c{R}_1}\right|}\right)$

当yR1>yR0时，表示逆时针旋转，否则为顺时针旋转。

本发明对实际应用效果进行了实验。用户任务“煮食”对应的用户手势指令序列为G13→G5→G6→G7，在实验中，总共有10名用户参加测试，全部都是目标用户，年龄在30到50岁之间的家庭主妇。以打开盖子G13为例，10个测试用户当中，手势系统捕捉到其中有2位用户试图通过锅盖上的旋钮打开锅盖，其手势特征量符合图3(b)的描述，用户的这种操作属于用户意图的第二种类型I2。从这里看出，本实验方案不仅能够通过用户的行为感知用户意图，从而帮助设计产品，还能用于产品的测试与评估，找出产品的可用性问题，进而改进产品。这也跟前面提到的用户心里模型吻合，用户会根据他(或她)过去对这一产品或相关产品的经验(甚至是偏见)形成目前的产品应该是什么样子的这一思维概念上的心里模型，在这里，用户认为旋钮是可以用于打开锅盖，证明旋钮的设计起到错误的引导性，不符合用户的心里期望。

上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。

Claims (2)

1.基于用户任务的手势识别方法，其特征在于，包括：

步骤A、获取交互对象；

步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；

步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；

步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比：

子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则执行第N个用户手势命令，其中N为自然数；

子步骤D2，当第N+1个用户手势也与所述手势集知识库中的手势特征向量匹配时，则判断第N+1个用户手势和第N个用户手势是否属于同一个用户任务里面按照顺序且连接的两个用户手势，如果是，则执行第N+1个用户手势命令。

2.根据权利要求1所述的基于用户任务的手势识别方法，其特征在于，在子步骤D2中，如果第N+1个用户手势和第N个用户手势不属于同一个用户任务里面按照顺序且连接的两个用户手势，则根据第N+1个用户手势改进所述交互对象的执行方式，获得改良设计的交互对象。