CN106406518A - 手势控制装置及手势识别方法 - Google Patents

Abstract

本发明提供了一种手势控制装置及手势识别方法，手势控制装置包括：计算终端，用于进行离线的自然手势建模和在线的手势识别；多个传感器，分别设置在被测对象的小臂、大臂以及躯干处以相应地采集小臂、大臂以及躯干的姿态坐标，且各传感器通信连接于计算终端。其中，在在线的手势识别过程中，计算终端基于各传感器采集到的数据进行计算处理，经过计算处理得到的被测对象的实际状态与计算终端在离线的自然手势建模过程中得到的手势模型自动比对以完成被测对象的手势识别。在本发明的手势控制装置中，计算终端能够处理重复动作，简化了离线的自然手势建模过程和在线的手势识别过程，提高了手势识别率，并使得接近人习惯的自然手势控制成为可能。

Description

手势控制装置及手势识别方法

技术领域

本发明涉及通信与信息领域，尤其涉及一种手势控制装置及手势识别方法。

背景技术

随着电子技术的发展，越来越多的数字设备例如手机、电脑和智能家电等成为日常生活中不可或缺的部分。在未来，这一趋势仍将持续，现有产品将功能继续加强并逐步智能化，新的产品如机器人，智能汽车也将逐步走进大众的生活。目前，对这些产品的操控主要通过遥控器、键盘、鼠标及触控板等输入设备完成。这种方式较为繁琐，用户学习成本高。

手势控制作为一种新兴的操作方式，具有灵活、自然、直观等特点，因而有广阔的应用前景。现有的手势控制装置大多采用摄像头方案，如通过普通单目、双目视觉，或通过深度摄像机如微软体感器(Kinect)采集人体运动信息，识别出其代表的指令，再对设备进行控制。这种基于外部视觉的方案，受到使用空间和环境光线的限制，给手势控制带来诸多不便。此外，在现有手势识别方法上，绝大多数使用手掌的运动轨迹表示或建模手势，其中轨迹又以简单的直线或者平面图形如圆、三角形等为主；进而使用隐马尔可夫模型、支持向量机、人工神经网络等方法进行识别。这种方式存在很大的问题：简单的直线运动易于掌握，但种类少，区分度不高，难以表达复杂的含义；复杂的图形与人们日常使用的手势有较大的差别，不自然，用户学习成本高；现有建模及识别方法需要大量的训练数据，无法方便地添加新手势或修改已定义的手势。

发明内容

鉴于背景技术中存在的问题，本发明的目的在于提供一种手势控制装置及手势识别方法，手势控制装置中能够存储大量的手势模型，且用户可以方便地定义和修改手势模型，而手势识别方法无需进行大规模的样本采集与参数学习过程即可完成手势建模，简化了自然手势建模和手势识别过程，提高了手势识别率，并使得接近人习惯的自然手势控制成为可能。

为了实现上述目的，在第一方面，本发明提供了一种手势控制装置，其包括：计算终端，用于进行离线的自然手势建模和在线的手势识别；多个传感器，分别设置在被测对象的小臂、大臂以及躯干处以相应地采集小臂、大臂以及躯干的姿态坐标，且各传感器通信连接于计算终端。其中，在在线的手势识别过程中，计算终端基于各传感器采集到的数据进行计算处理，经过计算处理得到的被测对象的实际状态与计算终端在离线的自然手势建模过程中得到的手势模型自动比对以完成被测对象的手势识别。

为了实现上述目的，在第二方面，本发明提供了一种手势识别方法，其由本发明第一方面所述的手势控制装置来实现，包括步骤：S1，在离线状态下，计算终端通过被测对象的大臂、小臂以及躯干在指定状态下的姿态信息建立手势模型并存入计算终端的手势库中；S2，在在线状态下，计算终端分别接收各传感器在每个采样周期内采集到的被测对象的小臂的姿态坐标q_f、大臂的姿态坐标q_u以及躯干的姿态坐标q_b；S3，计算终端对步骤S2中得到的姿态坐标分别进行处理计算，得到小臂相对躯干的相对姿态坐标a_f、大臂相对躯干的相对姿态坐标a_u以及各关节的关节角度大小和运动状态；S4，计算出各关节在每个采样周期内处于各运动状态的概率；S5，计算出手势库中的每个手势模型与被测对象在当前采样周期中的实际状态之间的相似程度；以及S6，比较手势库中所有手势模型的总相似度，求出拥有最大总相似度的手势模型，若该手势的总相似度大于设定的阈值，则将该手势作为识别结果返回。

本发明的有益效果如下：

在根据本发明的手势控制装置中，计算终端能够处理重复动作，简化了离线的自然手势建模过程和在线的手势识别过程，提高了手势识别率，并使得接近人习惯的自然手势控制成为可能。此外，本发明的手势控制装置不受使用空间和环境光线的限制，且用户可以任意的定义和修改手势库中现有的手势模型。

在本发明的手势识别方法中，在离线状态下，无需进行大规模的样本采集与参数学习过程即可完成离线的自然手势建模。而在在线状态下，手势控制装置能够充分利用被测对象的以躯干为基准的小臂、大臂的姿态信息、各关节的关节角度大小及运动状态来完成在线的手势识别，手势识别率高，并使得接近人习惯的自然手势控制成为可能。

附图说明

图1是根据本发明的手势控制装置的简化示意图；

图2是被测对象的各部位的坐标系及各关节角度示意图。

其中，附图标记说明如下：

1 计算终端 31 小臂

2 传感器 32 大臂

3 被测对象 33 躯干

具体实施方式

下面参照附图来详细说明根据本发明的手势控制装置及手势识别方法。

首先说明本发明第一方面的手势控制装置。

参照图1，根据本发明的手势控制装置包括：计算终端1，用于进行离线的自然手势建模(得到的手势模型自动存入计算终端1的手势库中)和在线的手势识别；多个传感器2，分别设置在被测对象3的小臂31、大臂32以及躯干33处以相应地采集小臂31、大臂32以及躯干33的姿态坐标，且各传感器2通信连接于计算终端1。其中，在在线的手势识别过程中，计算终端1基于各传感器2采集到的数据进行计算处理，经过计算处理得到的被测对象3的实际状态与计算终端1在离线的自然手势建模过程中得到的手势模型自动比对以完成被测对象3的手势识别。

在根据本发明的手势控制装置中，计算终端1能够处理重复动作，简化了离线的自然手势建模过程和在线的手势识别过程，提高了手势识别率，并使得接近人习惯的自然手势控制成为可能。此外，本发明的手势控制装置不受使用空间和环境光线的限制，且用户可以任意的定义和修改手势库中现有的手势模型。

在本发明的手势控制装置中，传感器2可套设于被测对象3的不同部位或传感器2集成于被测对象3。

在本发明的手势控制装置中，计算终端1可为手机、电脑、单片机或智能手表等。

其次说明本发明第二方面的手势识别方法。

参照图1和图2，根据本发明的手势识别方法，其由本发明第一方面所述的手势控制装置来实现，包括步骤：S1，在离线状态下，计算终端1通过指定被测对象3的大臂32、小臂31以及躯干33的姿态、各关节的关节角度大小及运动状态建立手势模型并存入计算终端1的手势库中；S2，在在线状态下，计算终端1分别接收各传感器2在每个采样周期内采集到的被测对象3的小臂31的姿态坐标q_f、大臂32的姿态坐标q_u以及躯干33的姿态坐标q_b；S3，计算终端1对步骤S2中得到的姿态坐标分别进行处理计算，得到小臂31相对躯干33的相对姿态坐标a_f、大臂32相对躯干33的相对姿态坐标a_u以及各关节的关节角度大小和运动状态；S4，计算出各关节在每个采样周期内处于各运动状态的概率；S5，计算出手势库中的每个手势模型与被测对象3在当前采样周期中的实际状态之间的相似程度；以及S6，比较手势库中所有手势模型的总相似度，求出拥有最大总相似度的手势模型，若该手势的总相似度大于设定的阈值，则将该手势作为识别结果返回。

在本发明的手势识别方法中，在离线状态下，无需进行大规模的样本采集与参数学习过程即可完成离线的自然手势建模。而在在线状态下，手势控制装置能够充分利用被测对象3的以躯干33为基准的小臂31、大臂32的姿态信息(即方向信息)、各关节的关节角度大小及运动状态来完成在线的手势识别，手势识别率高，并使得接近人习惯的自然手势控制成为可能。

在这里补充说明的是，在上述步骤S6中提到的“阈值”，可以根据被测对象3的运动特性以及手势库中的手势模型的复杂程度来进行适当的设置。

根据本发明的手势识别方法，在步骤S1中，q_f、q_u、q_b可由四元数表征。但不仅限如此，q_f、q_u、q_b也可用欧拉角或矩阵形式表示。

根据本发明的手势识别方法，参照图2，步骤S3可包括步骤：S31，分别建立小臂坐标系O_f-X_fY_fZ_f、大臂坐标系O_u-X_uY_uZ_u以及躯干坐标系O_ref-X_refY_refZ_ref；S32，解算出小臂31相对躯干33的相对姿态坐标a_f、大臂32相对躯干33的相对姿态坐标a_u；以及S33，解算出各关节的关节角度大小和运动状态。其中，a_f为小臂坐标系中任一个坐标轴在躯干坐标系下的坐标向量，a_u为大臂坐标系中任一个坐标轴在躯干坐标系下的坐标向量。

在这里补充说明的是，小臂坐标系的Z_f轴沿着小臂31指向肘关节，而Y_f轴和X_f轴的方向可以采用如下方法确定：即向前平伸小臂31，使手掌朝上，Y_f轴指向与手掌朝向相同，X_f轴指向身体右侧。同理，大臂坐标系的建立方法与小臂坐标系一致，即大臂坐标系的Z_u轴沿着大臂32指向肩关节，而Y_u轴指向与手掌朝向相同，X_u轴指向身体右侧。而躯干坐标系的X_ref轴指向躯干33右侧，Y_ref轴指向前方，Z_ref轴指向上方。

在根据本发明的手势识别方法中，关节包括连接小臂31与大臂32的肘关节和连接大臂32与躯干33的肩关节。肘关节的关节角度包括小臂扭转角τ和肘关节角ε，肩关节的关节角度包括大臂方位角大臂仰角θ和大臂扭转角ω，如图2所示。

在步骤S32中，求解小臂31相对躯干33的相对姿态坐标a_f的计算公式为：

求解大臂32相对躯干33的相对姿态坐标a_u的计算公式为：

其中，a_ref为躯干33坐标系中任一个坐标轴在自身坐标系下的坐标向量。

在步骤S33中，肘关节的关节角度计算式为：

ε＝arccos(z_u·z_f)

τ＝arccos(x_u·x′_f)

q_rot＝(cos(-ε/2),sin(-ε/2)x_u)

肩关节的关节角度计算式为：

θ＝arccos(z_u,z_ref)

ω＝arccos(x_ref,y′_u)

q_rot2＝(cos(-θ/2),sin(-θ/2)x_ref)

q_yu＝(0,y_u)

x_f、z_f为小臂坐标系中的X_f轴、Z_f轴在躯干坐标系下的坐标向量，x_u、y_u、z_u为大臂坐标系中的X_u轴、Y_u轴、Z_u轴在躯干坐标系下的坐标向量，z_u-xy为z_u在躯干坐标系的X_ref-Y_ref平面中的投影，x_ref、z_ref为躯干坐标系中的X_ref轴、Z_ref轴在自身坐标系下的坐标向量。

根据本发明的手势识别方法，在步骤S3中，各关节的运动状态可为相对静止、正向运动、反向运动或往复运动。

根据本发明的手势识别方法，步骤S4可包括步骤：S41，将各关节的当前采样周期的关节角度与上一采样周期的关节角度作差，得到本周期的运动幅值；S42，根据得到的运动幅值的大小判断各关节在当前采样周期的运动状态(这里具体指相对静止、正向运动或反向运动)；以及S43，根据步骤S42中的运动状态判断结果分别计算出当前采样周期的各关节处于相对静止、正向运动、反向运动以及往复运动的概率。

在这里补充说明的是，在步骤S42中，对于任意一个关节，当运动幅值大于某一阈值(如0.01rad)时，当前采样周期的该关节的运动状态为正向运动；当运动幅值小于另一阈值(如-0.01rad)时，当前采样周期的该关节的运动状态为反向运动；而当运动幅值介于这两个阈值之间时，当前采样周期的该关节的运动状态为相对静止。其中本段所述的这两个“阈值”可以根据被测对象3的运动特性以及手势库中的手势模型的复杂程度来进行适当的设置。

在步骤S43中，对于任意一个关节，若判定该关节在当前采样周期的运动状态为相对静止，则：该关节处于静止的概率为p(t)＝p(t-1)+δ，处于正向运动的概率为p(t)＝p(t-1)-δ，处于反向运动的概率为p(t)＝p(t-1)-δ。

若判定该关节在当前采样周期的运动状态为正向运动，则：该关节处于静止的概率为p(t)＝p(t-1)-δ，处于正向运动的概率为处于反向运动的概率为p(t)＝p(t-1)-2δ。

若判定该关节在当前采样周期的运动状态为反向运动，则：该关节处于静止的概率为p(t)＝p(t-1)-δ，处于正向运动的概率为p(t)＝p(t-1)-2δ，处于反向运动的概率为

其中，p(t)为当前采样周期的各关节处于该运动状态的概率，p(t-1)为上一采样周期的各关节处于该运动状态的概率，δ为相邻两个采样周期之间的概率更新量，A为累计运动幅值(即从当前采样周期往前搜索，累加运动幅值，直到某采样周期的运动状态与当前采样周期运动状态不同)，A_max为该关节的最大可能运动幅值。

进一步地，在步骤S43中，当判定某关节在当前采样周期的运动状态为正向运动或反向运动，且该关节的当前采样周期的该运动状态为该关节往复运动的一部分时，则当前采样周期的该关节处于该运动状态的概率为：

其中，C为正向运动与反向运动之间的转换次数(即从当前采样周期往前搜索，直到某采样周期的运动状态为相对静止)，A为所有幅值的绝对值之和，A_max为该关节的最大可能运动幅值。

根据本发明的手势识别方法，手势库中的每个手势模型由三类判据确定。具体地，第一类判据为小臂31或大臂32相对躯干33的朝向(即小臂31相对躯干33的相对姿态坐标或大臂32相对躯干33的相对姿态坐标)；第二类判据为各关节的关节角度大小；第三类判据为各关节的运动状态。其中，对于第一类判据、第二类判据和第三类判据中的任一一类判据来说，都可以有一条或多条判据。

当基于小臂31或大臂32相对躯干33的朝向计算相似度时，相似度的计算公式为：

S＝a·v_ref

其中，S为相似程度，a表示小臂31或大臂32的某坐标轴的实际的单位向量，v_ref为手势模型中判据指定单位向量；

当基于各关节的关节角度大小计算相似度时，相似度的计算公式为：

S＝cos(α-ε_ref)

其中，α为对应关节的实际角度，ε_ref是手势模型中判据指定的参考角度；

当基于各关节的运动状态计算相似度时，相似度等于对应关节处于手势模型指定的运动状态的概率。

根据本发明的手势识别方法，在步骤S6中，每个手势模型的总相似度的计算公式为：

其中n为该模型的判据总数，S_i为每个判据的相似程度，S_overall为总相似度。

根据本发明的手势识别方法，在一实施例中，手势模型的第一条判据为a_f＝(1,0,0)，第二条判据为肘关节角ε做往复运动，第三条判据为大臂仰角θ＝π/2。其中，第一条判据中的a_f为小臂坐标系中的y轴在躯干坐标系下的坐标向量，属于大臂32和小臂31相对躯干33的姿态；第二条判据属于关节的运动状态；而第三条判据属于关节的关节角度大小。所述三类判据描述了一个向右挥手的动作，其对应的指令可设置为“右转”或“右移”。

Claims (10)

1.一种手势控制装置，其特征在于，包括：

计算终端(1)，传感器(2)用于进行离线的自然手势建模和在线的手势识别；以及

多个传感器(2)，分别设置在被测对象(3)的小臂(31)、大臂(32)以及躯干(33)处以相应地采集小臂(31)、大臂(32)以及躯干(33)的姿态坐标，且各传感器(2)通信连接于计算终端(1)；

其中，在在线的手势识别过程中，计算终端(1)基于各传感器(2)采集到的数据进行计算处理，经过计算处理得到的被测对象(3)的实际状态与计算终端(1)在离线的自然手势建模过程中得到的手势模型自动比对以完成被测对象(3)的手势识别。

2.一种手势识别方法，由权利要求1中所述的手势控制装置来实现，其特征在于，手势识别方法包括步骤：

S1，离线状态下，计算终端(1)通过指定被测对象(3)的大臂(32)、小臂(31)以及躯干(33)的姿态、各关节的关节角度大小及运动状态建立手势模型并存入计算终端(1)的手势库中；

S2，在线状态下，计算终端(1)分别接收各传感器(2)在每个采样周期内采集到的被测对象(3)的小臂(31)的姿态坐标q_f、大臂(32)的姿态坐标q_u以及躯干(33)的姿态坐标q_b；

S3，计算终端(1)对步骤S2中得到的姿态坐标分别进行处理计算，得到小臂(31)相对躯干(33)的相对姿态坐标a_f、大臂(32)相对躯干(33)的相对姿态坐标a_u以及各关节的关节角度大小和运动状态；

S4，计算出各关节在每个采样周期内处于各运动状态的概率；

S5，计算出手势库中的每个手势模型与被测对象(3)在当前采样周期中的实际状态之间的相似程度；

S6，比较手势库中所有手势模型的总相似度，求出拥有最大总相似度的手势模型，若该手势的总相似度大于设定的阈值，则将该手势作为识别结果返回。

3.根据权利要求2所述的手势识别方法，其特征在于，步骤S3包括步骤：

S31，分别建立小臂坐标系O_f-X_fY_fZ_f、大臂坐标系O_u-X_uY_uZ_u以及躯干坐标系O_ref-X_refY_refZ_ref；

S32，解算出小臂(31)相对躯干(33)的相对姿态坐标a_f、大臂(32)相对躯干(33)的相对姿态坐标a_u；以及

S33，解算出各关节的关节角度大小和运动状态；

其中，a_f为小臂坐标系中任一个坐标轴在躯干坐标系下的坐标向量，a_u为大臂坐标系中任一个坐标轴在躯干坐标系下的坐标向量。

4.根据权利要求3所述的手势识别方法，其特征在于，

关节包括连接小臂(31)与大臂(32)的肘关节和连接大臂(32)与躯干(33)的肩关节；

肘关节的关节角度包括小臂扭转角τ和肘关节角ε；

肩关节的关节角度包括大臂方位角大臂仰角θ和大臂扭转角ω；

在步骤S32中，求解小臂(31)相对躯干(33)的相对姿态坐标a_f的计算公式为：

$a_f=\mathrm{Im}(q_b^{-1}\⊗q_f\⊗(0,a_{ref})\⊗q_f^{-1}\⊗q_b)$

求解大臂(32)相对躯干(33)的相对姿态坐标a_u的计算公式为：

$a_u=\mathrm{Im}(q_b^{-1}\⊗q_u\⊗(0,a_{ref})\⊗q_u^{-1}\⊗q_b)$

其中，a_ref为躯干坐标系中任一个坐标轴在自身坐标系下的坐标向量；

在步骤S33中，肘关节的关节角度计算式为：

ε＝arccos(z_u·z_f)

τ＝arccos(x_u·x′_f)

$x_f^{\′}=\mathrm{Im}(q_{rot}\⊗q_{x_f}\⊗q_{rot}^{-1})$

q_rot＝(cos(-ε/2),sin(-ε/2)x_u)

$q_{x_f}=(0,x_f)$

肩关节的关节角度计算式为：

θ＝arccos(z_u,z_ref)

ω＝arccos(x_ref,y′_u)

$y_u^{\′}=\mathrm{Im}(q_{rot2}\⊗q_{rot1}\⊗q_{y_u}\⊗q_{rot1}^{-1}\⊗q_{rot2}^{-1})$

q_rot2＝(cos(-θ/2),sin(-θ/2)x_ref)

$q_{y_u}=(0,y_u)$

x_f、z_f为小臂坐标系中的X_f轴、Z_f轴在躯干坐标系下的坐标向量，x_u、y_u、z_u为大臂坐标系中的X_u轴、Y_u轴、Z_u轴在躯干坐标系下的坐标向量，z_u-xy为z_u在躯干坐标系的X_ref-Y_ref平面中的投影，x_ref、z_ref为躯干坐标系中的X_ref轴、Z_ref轴在自身坐标系下的坐标向量。

5.根据权利要求3所述的手势识别方法，其特征在于，步骤S4包括步骤：

S41，将各关节的当前采样周期的关节角度与上一采样周期的关节角度作差，得到本周期的运动幅值；

S42，根据得到的运动幅值的大小判断各关节在当前采样周期的运动状态；以及

S43，根据步骤S42中的运动状态判断结果分别计算出当前采样周期的各关节处于相对静止、正向运动、反向运动以及往复运动的概率。

6.根据权利要求5所述的手势识别方法，其特征在于，在步骤S43中，对于任意一个关节，

若判定该关节在当前采样周期的运动状态为相对静止，则：该关节处于静止的概率为p(t)＝p(t-1)+δ，处于正向运动的概率为p(t)＝p(t-1)-δ，处于反向运动的概率为p(t)＝p(t-1)-δ；

若判定该关节在当前采样周期的运动状态为正向运动，则：该关节处于静止的概率为p(t)＝p(t-1)-δ，处于正向运动的概率为处于反向运动的概率为p(t)＝p(t-1)-2δ；

若判定该关节在当前采样周期的运动状态为反向运动，则：该关节处于静止的概率为p(t)＝p(t-1)-δ，处于正向运动的概率为p(t)＝p(t-1)-2δ，处于反向运动的概率为

其中，p(t)为当前采样周期的各关节处于该运动状态的概率，p(t-1)为上一采样周期的各关节处于该运动状态的概率，δ为相邻两个采样周期之间的概率更新量，A为累计运动幅值，A_max为该关节的最大可能运动幅值。

7.根据权利要求6所述的手势识别方法，其特征在于，

当判定某关节在当前采样周期的运动状态为正向运动或反向运动，且该关节的当前采样周期的该运动状态为该关节往复运动的一部分时，则当前采样周期的该关节处于该运动状态的概率为：

$p\left(t\right)=max(\frac{A}{(C+1)A_{max}},p(t-1)-\mathrm{\δ})$

其中，C为正向运动与反向运动之间的转换次数，A为所有幅值的绝对值之和。

8.根据权利要求2所述的手势识别方法，其特征在于，

手势库中的每个手势模型由三类判据确定；

第一类判据为小臂(31)或大臂(32)相对躯干(33)的朝向；

第二类判据为各关节的关节角度大小；

第三类判据为各关节的运动状态。

9.根据权利要求8所述的手势识别方法，其特征在于，

当基于小臂(31)或大臂(32)相对躯干(33)的朝向计算相似度时，相似度的计算公式为：

S＝a·v_ref

其中，S为相似程度，a表示小臂(31)或大臂(32)的某坐标轴的实际的单位向量，v_ref为手势模型中判据指定的单位向量；

当基于各关节的关节角度值计算相似度时，相似度的计算公式为：

S＝cos(α-ε_ref)

其中，α为对应关节的实际角度，ε_ref是手势模型中判据指定的参考角度；

当基于各关节的运动状态计算相似度时，相似度等于对应关节处于手势模型指定的运动状态的概率。

10.根据权利要求9所述的手势识别方法，其特征在于，在步骤S6中，每个手势模型的总相似度的计算公式为：

$S_{overall}=\sqrt[n]{\underset{i=1}{\overset{n}{\Σ}}{S}_i}$

其中n为该模型的判据总数，S_i为每个判据的相似程度，S_overall为总相似度。