CN103914149A - 一种面向互动电视的手势交互方法和系统 - Google Patents

Abstract

本发明属于人机交互技术领域，具体为一种面向互动电视的手势交互方法和系统。本发明采用简单高效的时域特征提取方法，对加速度信号进行平稳降噪、去冗余和归一化处理，并用SVM进行分类和识别。手势识别结果应用于基于Android平台的机顶盒原型系统，实现用户与电视的实时交互。实验结果表明本发明实现了电视常用手势的准确识别，识别率达到了96%，手势动作的识别时间介于48~63ms。

Description

一种面向互动电视的手势交互方法和系统

技术领域

本发明属于人机交互技术领域，具体涉及一种面向互动电视的手势交互方法和系统。 

背景技术

电视数字化和网络化的发展在增强电视功能性和互动性的同时，也为人机交互的研究带来了挑战^[1][2]。用户如何快捷而高效地操控电视成为一个关键问题。一般而言，电视用户倚靠在沙发上，并与电视机有1~3米的距离。对于这种有一定距离的交互场景，目前用户仍广泛使用传统式红外遥控器。遥控器面板相应地增加了更多的按键，一定程度上满足了操控大量节目频道和多种功能选项的需求，但也随之带来可扩展性差、占用视觉注意的问题^[3]。基于鼠标和键盘的人机交互模式极大地方便了人们操作和访问计算机上成千上万的资源，但它并不适用于电视场景和“沙发文化”^[4][5]。文献[6]指出，相比手持式设备，使用无线鼠标和键盘的错误率显著增加。基于视觉的手势交互通过摄像头采集并识别用户动作信息，对周围环境的光线和用户所处的位置方向等有强烈的依赖性^[5][7]，因此应用有一定的局限性。 

加速度传感器以其低功耗、低成本、高灵敏度和小体积而广泛应用于智能终端上，可以检测宿主设备的三维运动信息，且不受外部环境条件的限制。基于加速度传感器的手势交互逐步引起重视^[8]。同时，以手机为代表的智能移动终端不断发展和普及，且具有“随时随身”、操作轻便、用户个性化的特点，也为基于手势的实时交互提供了契机和支撑环境。 

手势特征选取和分类器设计是影响手势识别效果及速度的两个关键问题。文献[9]将加速度数据量化后直接利用HMM(Hidden Markov Model, 隐马尔科夫)模型对手势建模。文献[10]基于DTW(Dynamic Time Warping, 动态时间归整)算法实现手势识别。然而，人手的自由度和噪声等因素给手势识别带来了很大的困难，如何克服这些困难以获得更加简洁干净的手势数据成为难点。文献[11]设计了一种基于帧描述的手势特征提取方法，结合了信号的频域特征和时域特征。但是频域特征的提取需要对手势数据进行离散傅里叶变换，计算复杂度是O(n ² )，不适用于计算能力受限的智能移动设备。 

另外，现有的手势识别研究成果多是使用加速度传感器采集数据后在PC平台上处理得到，不利于手势识别技术的推广。 

为解决上述问题，本发明解决的问题有：(1)选择内置加速度传感器的智能移动终端作为交互载体；(2)针对智能移动终端计算能力受限的特性，采用复杂度为O(n)的时域特征提取方法，对手势数据依次进行平稳降噪、去冗余和归一化处理，减小同类手势不同采样数据间的差异性，降低随机噪声的影响，提升识别质量。由于SVM(Support Vector Machine, 支持向量机)在解决小样本、非线性及高维模式识别问题中具有一定的鲁棒性，系统采用SVM分类器实现手势的建模和识别；(3)将实时识别的手势动作结果以指令的形式发送到应用模块，实现对电视机顶盒的遥控。 

发明内容

本发明的目的在于设计一种对实时手势识别准确率高，且响应及时的面向互动电视的手势交互方法和系统。 

本发明设计的面向互动电视的手势交互方法，具体步骤如下： 

1、特征提取。 

特征提取的主要任务和难点是如何去除原始信号的噪声及冗余，减小同类手势不同采样数据间的差异性，保留手势动作的主要特征，便于后期进行建模和识别。一个手势G可以定义为： 

         (1)

其中a _T 代表X, Y, Z三维加速度向量，L是手势序列的长度，即采样点数。采集的手势序列是X, Y, Z三维方向上以时间为横轴的向量，且三轴向量的长度相等。

1.1平稳降噪。手势加速度信号在采集或传输过程中会不同程度地受到随机噪声的干扰，同时，用户在做手势过程中不可避免的轻微抖动也会引入噪声。本发明采用均值滤波的方法对手势加速度数据序列进行平稳降噪处理，以减缓短时波动，使得加速度数据更好地反映手势动作的整体运动趋势。如图1所示，“向左”手势的z轴加速度值初始信号及均值滤波后的信号，降噪后的手势信号显然提升了手势的整体动作趋势。 

1.2去冗余。在手势动作数据的采集过程中，并非所有数据都反映了手势信息，在开始和结束时采集的数据是手势操作前后的动作调整，属于冗余数据，应当去除。本发明设计并采用简单移动窗口(Simple Moving Window, SMW)方法。具体算法为： 

(1)从起始点开始计算窗口振动幅度(用ξ ₁ 表示，如公式(2))。当ξ ₁ 的值大于0，记录下样本点i的值。

   (2) 

(2)从结束点开始计算窗口振动幅度(用ξ ₂ 表示，如公式(3))。当ξ ₂ 的值大于0，记录下样本点j的值。

  (3) 

(3)截取样本中从i到j段的手势数据，即为去冗余之后的手势信号。

该算法核心是移动窗口的宽度α和加速度数据门限阈值β。移动窗口的宽度太大会导致去冗余过程过快结束，部分冗余数据没有被删除；太小会因部分数据突变导致去冗余过程异常结束。β大小的设置关系到过滤数据的振幅。本发明一般采用α=9，β=0.2m/s²。 

1.3 归一化。由于手势动作产生的加速度信号是等间隔采样，相同的手势动作由于完成速度的差异，导致采样数据点个数各不相同。此外，不同用户做出指定手势动作的幅度和力度也各不相同，导致采集的手势动作加速度数据振幅存在较大差异。为保证特征识别的准确性，必须对所有特征数据值进行归一化，以消除采样点长度和加速度信号幅度的差异对识别结果的影响。具体计算方式如下所述： 

(1) 长度归一化。加速度传感器采集的数据序列的长度，对于归一化长度，本发明采用手势序列长度的均值。对于第个采样点，归一化结果为：

                     (4)

(2) 振幅归一化。对于加速度幅值，本发明将其归一化至[-1,+1]的区间，即归一化结果为：

   (5)。

2、 基于SVM手势分类和识别。 

传统的基于机器学习的方法要求采集大量的训练样本，但该过程枯燥乏味，会大大降低用户对基于手势识别的交互系统的使用兴趣。SVM对处理高维非线性分类问题，尤其是当训练样本数据量比较小时优于其他机器学习方法。对于两种手势分类问题，SVM的基本思想是：通过核函数将样本空间映射到高维空间，使其在高维空间变得线性可分，然后在高维空间构造最优分类超平面，使超平面与不同类样本集之间的距离最大。本系统支持的手势类型不只两种，故采用一对多SVM分类器(One-against-the-rest Method)，即将某个手势类别从多类中区分出来，这可以通过转化为两类分类问题来解决。对于k类手势，构造k个SVM子分类器。在构造第j个SVM子分类器时，将属于第j类别的样本数据标记为正类，不属于j类别的样本数据标记为负类。然后对手势数据分别计算各个子分类器的决策函数值，并选取函数值最大所对应的类别即是相应识别的手势动作。 

本发明使用LIBSVM^[12]开源库作为SVM算法包来进行手势数据的分类建模及识别，其算法步骤如下： 

(1)将特征提取后的手势数据按照如下格式进行标记，生成特征值向量：

<label> <index1>:<value1> <index2>:<value2> …

其中<label>用来标识当前数据所属的类别，本发明类别值共有6种，0为“向右”，1为“向左”，2为“向上”，3为“向下”，4为“确定”，5为“返回”；<index>是从1开始的连续整数，代表采样序列；<value>为实数，是实际记录的加速度向量值；

(2) 选取径向基函数(RBF), 即，作为SVM的核函数。采用交叉验证法确定SVM的误差惩罚系数和RBF核参数的最佳值：；

(3)使用最佳参数对整个训练集进行训练，获得支持向量机模型；

(4)利用训练的模型对手势数据进行预测识别。

本发明设计的基于上述的方法的面向互动电视的手势交互系统，其结构如图2所示，该系统包括手势数据采集模块、手势识别模块和手势应用模块。手势数据采集模块用于对用户手势动作的加速度信号采集获取，并传输给手势识别模块。手势识别模块用于提取加速度信号的时域特征，利用SVM完成手势的建模和识别。手势应用模块将手势识别结果反馈给用户，同时解析成电视机顶盒系统能够响应的命令，以实现对电视的实时控制。本发明的核心是手势识别模块和手势应用模块。其中手势识别模块又分为离线SVM模型训练子模块和在线手势识别子模块两部分。 

系统的手持端是iPod Touch4，它内置三维加速度传感器以及用于通信的Wifi模块，加速度数据通过系统API获取并传送到手势识别模块。离线SVM模型训练子模块运行在PC端，在线手势识别子模块运行在手持端。系统的电视机顶盒端的硬件平台为sigma8654开发板，硬件配置为1GHz CPU，512MRAM，通过LAN接口与无线路由器连接，搭载了Android 2.2系统。 

本发明中，手势数据采集模块采集手势数据时，用户对系统支持的6组基本手势进行交互实验。加速度数据采样频率为50Hz。离线训练阶段，手势数据传输到PC端进行后续的特征提取及建模。在线识别阶段，手势数据将保留在iPod Touch4端。一个手势动作的开始和结束由智能移动终端上的按钮触发，按下按钮表示开始执行一个手势动作，释放按钮表示一个手势动作结束，即可触发手势特征提取算法，进而训练或识别。以6类手势动作实现对电视机顶盒的控制，依次是向右、向左、向上、向下、确定和返回，如图3所示。 

本发明中，手势应用模块主要有两大功能：一是展示手势识别结果，由智能移动终端通过语音的形式为用户提供反馈，同时为系统的手势识别率统计提供直观的依据，二是将识别结果应用于实际用途，即用手势进行电视机顶盒的遥控，检验本发明算法的实际效果。 

智能移动终端对电视机顶盒的遥控需要二者建立稳定可靠的通信协议。本系统借鉴FTP协议的架构，定义在TCP/IP协议的应用层，并在协议的命令中加入机顶盒系统能够识别的命令。遥控器作为客户端与机顶盒服务器端的连接流程如图4所示。 

根据制定的通信协议，客户端发送手势命令(手势命令对照如表1所示)，服务器端接受到这些命令后，解析命令格式为系统的模拟按键信息，并将按键事件插入到系统的按键事件的队列，由此做出正确的响应。 

表1 系统采用的手势语义命令对照表 

本发明设计并实现了面向互动电视的实时手势交互系统。不同于以往HMM及DTW方法中直接对加速度信号建模，该系统在建模之前首先对加速度数据进行特征提取，依次进行平稳降噪、去冗余和归一化处理，消除随机噪声以及手势动作速度和幅度等因素的影响，减小了同一手势不同数据间的差异性。对于高维非线性的手势向量，利用多类SVM分类器对手势动作进行分类和识别。系统将识别结果转换成控制命令，实现基于手势动作的电视机顶盒实时控制。 

附图说明

图1：手势信号均值滤波前后对照。 

图2：面向互动电视的手势交互系统结构。 

图3：实现对电视机顶盒的控制的6类手势动作。 

图4：系统建立连接流程图。 

图5：手势识别率。 

图6：手势识别响应耗时。 

具体实施方式

选择7名用户对系统支持的6组基本手势进行交互实验。加速度数据采样频率为50Hz。离线训练阶段，手势数据传输到PC端进行后续的特征提取及建模。在线识别阶段，手势数据将保留在iPod Touch4端。 

7名实验用户包括6名男性、1名女性，年龄均在21至25岁之间。用户在不同环境和时间完成上述6组手势，每个手势共完成80次，一共获得了3360组数据。 

准确率评测。本发明将采集的3360组数据一半作为SVM模型训练的样本，另一半用于手势在线识别，与SVM模型进行匹配，识别结果如图5所示，其中横轴表示定义的手势，纵轴表示手势识别的准确率，手势识别率一般在96%左右。 

耗时分析。主要考察从手势动作结束到电视机顶盒解析指令并做出响应所花费的时间。计时方式为：记录遥控器端释放按钮的时间和机顶盒端解析和执行命令完成后的时间，两者相减即为总时间。为了保持两边的时间同步，两者都采用NTP协议获取网络时间，wifi环境下误差在0.1ms以内。测试过程中，系统状态为遥控器端与服务器端已连接，且连接状态稳定。遥控器端处于“飞行模式”。实验结果如图6所示，横轴表示定义的手势，竖轴表示响应时间，单位为毫秒。 

由图6可知，每组手势动作的识别时间在48~63ms之间，目前主流电视遥控器的响应时间从几毫秒到几十毫秒不等，可见该系统的手势识别耗时与传统遥控器相比是相当的，可以保证以较小的耗时在完成手势识别。 

通过具体实施表明，本发明采用的时域特征提取方法可以有效地标识手势动作，具有较高的识别率，可有效的实现对电视机顶盒的遥控。本研究工作为基于智能移动终端和加速度信号的手势交互研究推进至实用场合进行了一次有意义的尝试。 

Claims (6)

1.一种面向互动电视的手势交互方法，其特征在于具体步骤如下：

（1）特征提取

设一个手势G定义为：

         (1)

其中，a _T 代表X, Y, Z三维加速度向量，L是手势序列的长度，即采样点数；采集的手势加速度数据序列是X, Y, Z三维方向上以时间为横轴的向量，且三轴向量的长度相等； 

（1.1）平稳降噪

采用均值滤波的方法对手势加速度数据序列进行平稳降噪处理，以减缓短时波动，使得加速度数据更好地反映手势动作的整体运动趋势；

（1.2）去冗余

采用移动窗口算法，具体步骤为：

(1.2.1)从起始点开始计算窗口振动幅度ξ ₁ ，如公式(2)： 

   (2)

当ξ ₁ 的值大于0，记录下样本点i的值；

(1.2.2)从结束点开始计算窗口振动幅度ξ ₂ ，如公式(3)： 

  (3)

当ξ ₂ 的值大于0，记录下样本点j的值；

(1.2.3)截取样本中从i到j段的手势数据，即为去冗余之后的手势信号；

其中，参数α=9，β=0.2m/s²；

（1.3） 归一化

对所有特征数据值进行归一化，以消除采样点长度和加速度信号幅度的差异对识别结果的影响，具体计算方式如下：

（1.3.1）长度归一化

加速度传感器采集的数据序列的长度，对于归一化长度，采用手势序列长度的均值；对于第个采样点，归一化结果为：

                     (4)

(1.3.2) 振幅归一化

对于加速度幅值，将其归一化至[-1,+1]的区间，即归一化结果为：

   (5)

（2） 基于SVM手势分类和识别

采用一对多SVM分类器，即将某个手势类别从多类中区分出来，这可以通过转化为两类分类问题来解决；对于k类手势，构造k个SVM子分类器，在构造第j个SVM子分类器时，将属于第j类别的样本数据标记为正类，不属于j类别的样本数据标记为负类；然后对手势数据分别计算各个子分类器的决策函数值，并选取函数值最大所对应的类别即是相应识别的手势动作。

2.根据权利要求1所述的面向互动电视的手势交互方法，其特征在于所述基于SVM手势分类和识别，使用LIBSVM开源库作为SVM算法包进行手势数据的分类及识别，其算法步骤如下： 

 （1）将特征提取后的手势数据按照如下格式进行标记，生成特征值向量：

<label> <index1>:<value1> <index2>:<value2> …

其中，<label>用来标识当前数据所属的类别，类别值共有6种，0为“向右”，1为“向左”，2为“向上”，3为“向下”，4为“确定”，5为“返回”；<index>是从1开始的连续整数，代表采样序列；<value>为实数，是实际记录的加速度向量值；

 （2）选取径向基函数(RBF), 即，作为SVM的核函数；采用交叉验证法确定SVM的误差惩罚系数和RBF核参数的最佳值：；

（3）使用最佳参数对整个训练集进行训练，获得支持向量机模型；

（4）利用训练的模型对手势数据进行预测识别。

3.一种基于权利要求1或2所述方法的面向互动电视的手势交互系统，其特征在于手势数据采集模块、手势识别模块和手势应用模块；其中，手势数据采集模块用于对用户手势动作的加速度信号采集获取，并传输给手势识别模块；手势识别模块用于提取加速度信号的时域特征，利用SVM完成手势的建模和识别；手势应用模块将手势识别结果反馈给用户，同时解析成电视机顶盒系统能够响应的命令，以实现对电视的实时控制；手势识别模块又分为离线SVM模型训练子模块和在线手势识别子模块两部分；

系统的手持端是iPod Touch4，它内置三维加速度传感器以及用于通信的Wifi模块，加速度数据通过系统API获取并传送到手势识别模块；离线SVM模型训练子模块运行在PC端，在线手势识别子模块运行在手持端；系统的电视机顶盒端的硬件平台为sigma8654开发板，硬件配置为1GHz CPU，512MRAM，通过LAN接口与无线路由器连接，搭载了Android 2.2系统。

4.根据权利要求3所述的面向互动电视的手势交互系统，其特征在于手势数据采集模块采集手势数据时，用户对系统支持的6组基本手势进行交互实验；离线训练阶段，手势数据传输到PC端进行后续的特征提取及建模；在线识别阶段，手势数据保留在iPod Touch4端；一个手势动作的开始和结束由智能移动终端上的按钮触发，按下按钮表示开始执行一个手势动作，释放按钮表示一个手势动作结束，即可触发手势特征提取算法，进而训练或识别；以6类手势动作实现对电视机顶盒的控制，依次是向右、向左、向上、向下、确定和返回。

5.根据权利要求4所述的面向互动电视的手势交互系统，其特征在于手势应用模块主要有两大功能：一是展示手势识别结果，由智能移动终端通过语音的形式为用户提供反馈，同时为系统的手势识别率统计提供直观的依据，二是将识别结果应用于实际用途，即用手势进行电视机顶盒的遥控，检验本发明算法的实际效果。

6.根据权利要求4所述的面向互动电视的手势交互系统，其特征在于智能移动终端对电视机顶盒的遥控通过二者之间建立的稳定可靠的通信协议实现；借鉴FTP协议的架构，所述通信协议定义在TCP/IP协议的应用层，并在协议的命令中加入机顶盒系统能够识别的命令；

根据制定的通信协议，客户端发送手势命令，服务器端接受到这些命令后，解析命令格式为系统的模拟按键信息，并将按键事件插入到系统的按键事件的队列，由此做出正确的响应。