CN107480697B - 一种肌电手势识别方法和系统 - Google Patents

Abstract

本发明涉及一种肌电手势识别方法和系统，该方法由三个步骤组成：特征集构建，利用肌电臂环获取用户肌电手势数据，经过卡尔曼滤波、矩形滑动窗口机制分割和经验模态分解等预处理操作之后，提取该肌电手势数据的时域、频域特征构建特征集；基于标准空间的特征表示，将特征集输入位置预测模型，预测当前肌电臂环佩戴位置，根据位置预测结果将原始特征转化为标准空间的特征表示；手势识别，根据标准空间的特征，构建手势识别模型，识别用户手势。本发明提出的方法能够解决手势识别过程中，因肌电臂环佩戴位置变化造成的识别精度降低的问题，具有识别精度高等方面的优势。

Description

一种肌电手势识别方法和系统

技术领域

本发明涉及信号处理、人机交互以及普适计算等领域，具体地说，本发明 涉及一种可穿戴肌电手势识别方法。

背景技术

近年来，随着生物电信号感知技术的不断发展，基于可穿戴肌电信号(Electromyography，EMG)的手势识别应用正在不断普及，已经成为继基于 计算机视觉、运动传感器、超声波、电磁波等手势识别方案之后的主要手势识 别方法，具有可识别精细手势、不受光线和环境噪声影响、非侵扰、响应速度 快等方面的优势。相关专利有CN201610824475.1、CN201610396781.X、 CN201610112032.X、CN201510704995.4、CN201310568203.6、 CN201310531766.8等。

基于的肌电信号手势识别是一种新型的非接触式手势识别方法，该方法通 过肌电信号判断前臂上端当前活跃区域及活动强度，进而识别用户手势。肌电 信号是骨骼肌收缩时产生的一种生物电信号，可通过佩戴于前臂上端的肌电仪 测量得到。传统的肌电仪形态主要有两种，一种由固定于皮肤表面的电极构成， 具有位置固定、测量精准的优势，但穿戴不便；另一种由大规模电极阵列组成， 能够测量前臂多个区域的肌肉活动变化，但需要很多电极且设备配置复杂。针 对以上两种肌电信号感知设备的不足，能够同时兼顾精准、可穿戴要求的电臂 环逐渐出现并扮演者越来越重要的角色。

肌电信号的强烈位置相关性要求肌电臂环使用过程中必须保持佩戴位置 一致，细微的位置改变，都将造成识别准确率降低。该要求不仅降低使用过程 中的用户体验，而且无法避免因外力影响造成的佩戴位置位移问题。

发明内容

为解决上述问题，本发明提出了一种肌电手势识别方法，如图1所示。该 方法由三个阶段组成：特征集构建、基于标准空间的特征表示、手势识别。特 征集构建阶段，利用肌电臂环获取用户手势数据，经过滤波、分割、分解等预 处理操作之后，提取肌电信号时域、频域特征构建特征集；基于标准空间的特 征表示阶段，将特征集输入位置预测模型，预测当前肌电臂环佩戴位置，接着， 根据位置预测结果将原始特征转化为标准空间的特征表示；手势识别阶段，根 据标准空间的特征，构建手势识别模型，识别用户手势。本发明提出的方法能 够解决手势识别过程中，因肌电臂环佩戴位置变化造成的识别精度降低的问题。

具体来说，本发明涉及一种肌电手势识别方法，其特征在于包括：

步骤1、采集手势的肌电信号，对该手势肌电信号进行数据分割并分解为 本征模函数分量；对该手势肌电信号和该本征模函数分量提取细粒度特征，将 该细粒度特征按手势特征构建手势特征集；使用该手势特征集对肌电臂环上的 佩戴位置预测模型进行训练；

步骤2、使用该手势特征集通过肌电臂环上的佩戴位置预测模型进行肌电 臂环位置预测，得到该手势肌电臂环位置预测结果；根据该预测结果，将该手 势特征集进行以标准空间表示的变换，生成标准空间表示的手势特征集；将该 标准空间表示的手势特征集建立手势识别模型，并采用随机森林算法对该手势 识别模型进行训练；

步骤3、采集当前时刻肌电信号，经数据分割、分解、细粒度特征提取后， 构建当前时刻肌电信号的特征集，对该特征集进行以标准空间表示的变换，生 成当前时刻标准空间表示的特征集，将该当前时刻标准空间表示的特征集通过 手势识别模型得到当前时刻手势识别结果。

本发明所述的肌电手势识别方法，手势为手指运动手势、手腕运动手势， 手掌运动手势中的任一手势。

本发明所述的肌电手势识别方法，细粒度特征包括：绝对平均值、第一修 正绝对平均值、第二修正绝对平均值、平均绝对值偏差、均方根值、方差、波 形长度共7项时域和频率中位数、频率平均数、修正频率中值共3项频域特征：

绝对值平均

第一修正绝对值平均

第二修正绝对值平均

平均绝对值偏差MAVS_k＝MAV_k+1-MAV_k

均方根值

方差

波形长度

频率中位数

频率平均数

修正频率中值

其中，x_i代表原始肌电信号，N表示一个窗口内肌电信号数据长度，M表 示功率谱密度长度，PSD_i表示功率谱密度，f_i和A_i分别表示频域肌电信号分箱 后的频率和振幅谱。

本发明所述的肌电手势识别方法，标准空间表示包括：

标准空间是肌电臂环佩戴位置无关的特征表示空间，在该空间中，肌电信 号特征分布不受设备初始位置和外力影响，具有信号特征分布高鲁棒性的特 点。标准空间建立在肌电臂环的感知电极均匀分布的前提下，此时，假定人体 前臂上端存在一组均匀分布的信号采集点{Q₁，Q₂，……，Q_w，w＝E_num}，其 中E_num为肌电臂环的电极数目；并且，肌电臂环上存在一个标准采集点P。当 标准采集点P和前臂上端的采集点Q₁重合时，为肌电臂环标准佩戴位置，满 足∠POQ₁＝0的要求，如图2.(a)所示，此时的表示规则为标准空间的特征表示。另外，根据肌电臂环旋转角度的不同，本发明定义了整格旋转和非整格旋转两 种佩戴方式，分别如图2.(b)和图2.(c)所示，标准空间的特征表示目的是将整 格旋转和非整格旋转时的肌电信号特征转化为标准空间表示。

工作流程如下：

1)根据位置预测模型，识别肌电臂环佩戴位置L_i；

2)建立L_i与∠POQ₁的映射关系：∠POQ₁＝2π(L_i-1)/E_num；

3)若L_i为整数，此时为整格旋转，旋转角度θ_i＝2π·k/E_num,k∈{0,1,...,E_num-1}，其中k＝L_i-1，肌电臂环佩戴位置和肌电信号变换规则为：

其中，

4)非整格旋转时L_i不为整数，旋转角度θ_i＝2π·k/E_num,k∈{0,1,...,E_num-1}，其中k＝L_i-1，首先对L_i求近似值

肌电臂环佩戴位置和肌电信号变换 规则为：

w₁＝|L'_i-L_i|

w₂＝1-w₁ (6)

手势识别模型以随机森林(Random Forest，RF)为基础，根据标准空间 中的肌电信号特征，识别用户手势。随机森林算法由N棵深度均为D的分类回 归树(Classificationand Regression Tree，CART)构成，对每棵分类回归树而 言，使用Gini指数选择最优特征，同时决定该特征的最优二值切分点。使用 Gini指数决策的过程，即是寻找使Gini指数提升最大的分类特征和判定阈值 的过程：

其中，Gini、GiniLeft、GiniRight分别表示分类回归树中父节点和左右子节点的Gini指数，f是分类特征，α是判定阈值，p_k表示当前特征空间中手势为k的概 率，G为手势总数。对于一个确定手势集合而言，Gini指数表示该集合的不确 定性，数值越大手势集合的不确定性越大。

佩戴位置无关的手势识别模型如图3所示，假设训练集为S，特征集合为C， 对每棵分类回归树分别采用有放回随机抽样方式，抽取大小和S一样的训练集 S(i)做为根节点样本。每棵分类回归树训练过程中，若当前节点没有达到终止 条件，则采用无放回的抽样方式，从特征集合C中抽取c维特征，并从中选择 最优特征做为分类特征。根据标准空间中的肌电信号特征F_i预测分类过程中， 使用每棵分类回归树分别预测用户手势，假定第n棵分类回归树对手势的预测 概率为P_i,j,n，则联合N棵分类回归树的最终预测结果为：

其中G_i为当前时刻手势识别结果，G为手势总数，N为分类回归树总数， i为时间参数，j、n为序数，G_i、G、N、j、n均为正整数。

附图说明

图1肌电手势识别方法框架图

图2标准空间表示示意图

图3手势识别模型

图4特征集构建工作流程图

图5手势定义图

图6 Myo臂环

图7肌电采集位置

图8基于标准空间的特征表示工作流程图

图9离线训练工作流程图

图10在线手势识别工作流程图

图11手势识别精度

图12手势识别精度标准差分析

具体实施方式

具体来说，本发明涉及一种肌电手势识别方法，其特征在于包括：

步骤1、采集手势的肌电信号，对该手势肌电信号进行数据分割并分解为 本征模函数分量；对该手势肌电信号和该本征模函数分量提取细粒度特征，将 该细粒度特征按手势特征构建手势特征集；使用该手势特征集对肌电臂环上的 佩戴位置预测模型进行训练；

步骤2、使用该手势特征集通过肌电臂环上的佩戴位置预测模型进行肌电 臂环位置预测，得到该手势肌电臂环位置预测结果；根据该预测结果，将该手 势特征集进行以标准空间表示的变换，生成标准空间表示的手势特征集；将该 标准空间表示的手势特征集建立手势识别模型，并采用随机森林算法对该手势 识别模型进行训练；

步骤3、采采集当前时刻肌电信号，经数据分割、分解、细粒度特征提取 后，构建当前时刻肌电信号的特征集，对该特征集进行以标准空间表示的变换， 生成当前时刻标准空间表示的特征集，将该当前时刻标准空间表示的特征集通 过手势识别模型得到当前时刻手势识别结果。

本发明所述的肌电手势识别方法，手势为手指运动手势、手腕运动手势， 手掌运动手势中的任一手势。

本发明所述的肌电手势识别方法，细粒度特征包括：绝对平均值、第一修 正绝对平均值、第二修正绝对平均值、平均绝对值偏差、均方根值、方差、波 形长度共7项时域和频率中位数、频率平均数、修正频率中值共3项频域特征。

本发明所述的肌电手势识别方法，标准空间表示包括：

标准空间是肌电臂环佩戴位置无关的特征表示空间，在该空间中，肌电信 号特征分布不受设备初始位置和外力影响，具有信号特征分布高鲁棒性的特 点。标准空间建立在肌电臂环的感知电极均匀分布的前提下，此时，假定人体 前臂上端存在一组均匀分布的信号采集点{Q₁，Q₂，……，Q_w，w＝E_num}，其 中E_num为肌电臂环的电极数目；并且，肌电臂环上存在一个标准采集点P。当 标准采集点P和前臂上端的采集点Q₁重合时，为肌电臂环标准佩戴位置，满 足∠POQ₁＝0的要求，如图2.(a)所示，此时的表示规则为标准空间的特征表示。另外，根据肌电臂环旋转角度的不同，本发明定义了整格旋转和非整格旋转两 种佩戴方式，分别如图2.(b)和图2.(c)所示，标准空间的特征表示目的是将整 格旋转和非整格旋转时的肌电信号特征转化为标准空间表示。

工作流程如下：

1)根据位置预测模型，识别肌电臂环佩戴位置L_i；

2)建立L_i与∠POQ₁的映射关系：∠POQ₁＝2π(L_i-1)/E_num；

3)若L_i为整数，此时为整格旋转，旋转角度θ_i＝2π·k/E_num,k∈{0,1,...,E_num-1}，其中k＝L_i-1，肌电臂环佩戴位置和肌电信号变换规则为：

其中，

4)非整格旋转时L_i不为整数，旋转角度θ_i＝2π·k/E_num,k∈{0,1,...,E_num-1}，其中k＝L_i-1，首先对L_i求近似值

肌电臂环佩戴位置和肌电信号变换 规则为：

w₁＝|L'_i-L_i|

w₂＝1-w₁ (6)

本发明所述的肌电手势识别方法，手势的在线位置识别包括：

佩戴位置无关的手势识别模型以随机森林(Random Forest，RF)为基础， 根据标准空间中的肌电信号特征，识别用户手势。随机森林算法由N棵深度均 为D的分类回归树(Classification and Regression Tree，CART)构成，对每棵 分类回归树而言，使用Gini指数选择最优特征，同时决定该特征的最优二值 切分点。使用Gini指数决策的过程，即是寻找使Gini指数提升最大的分类特 征和判定阈值的过程：

其中，Gini、GiniLeft、GiniRight分别表示分类回归树中父节点和左右子节点的Gini指数，f是分类特征，α是判定阈值，p_k表示当前特征空间中手势为k的概 率，G为手势总数。对于一个确定手势集合而言，Gini指数表示该集合的不确 定性，数值越大手势集合的不确定性越大。

佩戴位置无关的手势识别模型如图3所示，假设训练集为S，特征集合为C， 对每棵分类回归树分别采用有放回随机抽样方式，抽取大小和S一样的训练集 S(i)做为根节点样本。每棵分类回归树训练过程中，若当前节点没有达到终止 条件，则采用无放回的抽样方式，从特征集合C中抽取c维特征，并从中选择 最优特征做为分类特征。根据标准空间中的肌电信号特征F_i预测分类过程中， 使用每棵分类回归树分别预测用户手势，假定第n棵分类回归树对手势的预测 概率为P_i,j,n，则联合N棵分类回归树的最终预测结果为：

其中G_i为当前时刻手势识别结果，G为手势总数，N为分类回归树总数，i为 时间参数，j、n为序数，G_i、G、N、j、n均为正整数。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对 本发明提出的佩戴位置无关的可穿戴肌电手势识别方法进一步详细说明。应当 理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。

1、特征集构建

特征集构建工作流程图如图4所示，主要包括以下步骤：

1)手势定义。本发明中定义的手势如图5所示的，共15种手势，包括以 手指运动为主手势，如Thumb、Index等；腕部运动为主手势，如Flex、Extend 等；其他类型的手势，如Palm、Spread等。

2)肌电信号采集。信号采集使用Myo肌电臂环，如图6所示，Myo共有 8块肌电电极，呈环状均匀排列，支持以任意旋转角度佩戴于前臂上端，采样 频率为200kHz。肌电信号采集过程中，Myo按照图7所示的方式放置于前臂 上端，由于Myo含有8块电极，所以获取的肌电信号包括8个通道数据。

3)原始信号滤波。为降低原始肌电信号的信号噪声，使用卡尔曼滤波方 法对原始肌电信号进行滤波处理。

4)手势分割。采用矩形滑动窗机制对肌电信号进行手势分割处理，并将 其作为特征提取和手势识别的最小单位。为保证感知精度，窗口大小设置为 1s，窗间重叠为50％，手势感知的最小时间间隔为0.5s。

5)肌电信号分解。肌电信号做为一种生物电信号，具有非线性、非平稳 特点，针对信号特性，使用经验模态分解(Empirical Mode Decomposition，EMD) 信号处理思想，根据原始肌电信号的自身特性将其分解为不同尺度分量，以获 取肌电信号的细粒度表示。

6)特征提取。对分解后的肌电信号不同尺度分量和分解之前肌电信号， 分别提取时域和频域特征，构建特征集。本发明中提取的特征包括7种时域特 征和3种频域特征。其中，x_i代表原始肌电信号，N表示一个窗口内肌电信号 数据长度，M表示功率谱密度长度，PSD_i表示功率谱密度，f_i和A_i分别表示频 域肌电信号分箱后的频率和振幅谱

绝对值平均

第一修正绝对值平均

第二修正绝对值平均

平均绝对值偏差MAVS_k＝MAV_k+1-MAV_k

均方根值

方差

波形长度

频率中位数

频率平均数

修正频率中值

7)结束。

2、基于标准空间的特征表示

基于标准空间的特征表示如图8所示，主要包括以下步骤：

1)构建特征集。根据特征集的构建方法，构建肌电信号特征集。

2)肌电臂环位置预测。根据肌电信号特征集，使用随机森林算法训练肌 电臂环佩戴位置预测模型，进而预测肌电臂环佩戴位置L_i。随机森林算法由规 模为N＝100的分类回归树构成，每棵分类回归树深度均满足D＝8。

3)根据L_i是否为整数，判断肌电臂环旋转模式是整格旋转还是非整格旋 转。

4)若L_i为整数，此时为整格旋转。按照公式(1)矫正肌电臂环佩戴位置， 并按照公式(2)变换肌电信号特征表示规则。

5)若L_i不为整数，此时为非整格旋转。按照公式(4)矫正肌电臂环佩戴位 置，并按照公式(5)变换肌电信号特征表示规则。

6)结束。

3、手势识别

手势识别方法包含两个阶段：模型离线训练和在线位置识别。

模型离线训练的过程如图9所示，主要步骤包括：

1)肌电手势信号采集。使用Myo以200kHz的采样频率采集肌电信号， Myo按照图7所示的方式放置于前臂上端，并分别采集15种预先定义手势的 八个位置Q₁,Q₂,Q₃,Q₄,Q₅,Q₆,Q₇,Q₈的肌电信号数据，由于Myo含有8块电极， 所以获取的肌电信号共包括8个通道数据；

2)构建特征集。按照特征集构建方法，对采集的信号进行卡尔曼滤波、 滑动窗分割、经验模态分解、特征提取等处理操作，构建手势特征集。

3)基于标准空间的特征表示。按照基于标准空间的特征表示方法，将原 始手势特征集转化为标准空间表示。

4)训练集S、特征集C生成。为各种手势样本分别赋予相应的类别标号 (如第1个手势数据，类别标号为1；……；第N个位置数据，类别标号为N)， 由手势特征形成训练集S、特征集C。

5)模型训练。设置分类回归树规模为100，树深度为8，初始化i＝1。

6)第i棵分类回归树训练集生成。对每棵分类回归树分别采用有放回随 机抽样方式，抽取大小和S一样的训练集做为根节点样本。

7)第i棵分类回归树训练。将训练数据集S(i)随机分成10份，用于交叉 验证，随机选出其中的9份用于训练分类回归树，剩余的1份数据用来测试模 型的精度，将整个过程重复10次，用平均识别准确率作为最终的位置预测准 确率。

8)判断是否满足i>N，若不满足，转到步骤6)，继续下一棵分类回归 树训练；否则，继续下一步骤。

9)完成离线训练。

10)结束。

手势识别结果如图11所示，本发明提出的方法对手势的平均识别精度为 91.47％(由图中A5表示)，相比较于没有使用标准空间表示的方法(由图中 A6表示，精度为86.34％)，精度提升5.13％。通过图12所示的标准差分析 发现，基于标准空间表示的方法除能够提升手势识别精度外，还能增加手势识 别的稳定性，本发明方法八个位置识别精度的标准差仅为0.0212，相比较于没 有使用标准空间表示的方法(标准差为0.0639)，标准差降低0.0427。

在线位置识别的过程如图10所示，主要步骤包括：

1)使用Myo以200kHz的采样频率采集肌电信号，Myo按照图7所示的 方式放置于前臂上端，由于Myo含有8块电极，所以获取的肌电信号共包括 8个通道数据。

2)第i时刻原始信号特征构建。对采集到的第i时刻的肌电信号进行卡尔 曼滤波、滑动窗分割、经验模态分解、特征提取等处理操作，处理方法和离线 训练阶段相同。

3)第i时刻特征的标准空间表示。按照基于标准空间的特征表示方法， 将原始手势特征集转化为标准空间表示，处理方法和离线训练阶段相同，生成 第i时刻预测样本。

4)基于随机森林模型手势在线识别。将第i时刻预测样本输入到手势识 别模型中，并初始化j＝1。

5)手势识别。将预测样本输入到第j棵分类回归树中，输出第i时刻手势 识别概率向量P_i,j,n；。

6)判断是否满足j>N，若不满足，转到步骤6)，继续下一棵分类回归 树识别；否则，继续下一步骤。

7)按照公式(9)求出最终手势识别结果，并输出。

8)结束。

Claims (10)

1.一种肌电手势识别方法，其特征在于包括：

步骤1、采集手势的肌电信号，对该手势肌电信号进行数据分割并分解为本征模函数分量；对该手势肌电信号和该本征模函数分量提取细粒度特征，将该细粒度特征按手势特征构建手势特征集；使用该手势特征集对肌电臂环上的佩戴位置预测模型进行训练；

步骤2、使用该手势特征集通过肌电臂环上的佩戴位置预测模型进行肌电臂环位置预测，得到该手势肌电臂环位置预测结果；根据该预测结果，将该手势特征集进行以标准空间表示的变换，生成标准空间表示的手势特征集；将该标准空间表示的手势特征集建立手势识别模型，并采用随机森林算法对该手势识别模型进行训练；其中，该标准空间为与肌电臂环佩戴位置无关的特征表示空间；

步骤3、采集当前时刻肌电信号，经数据分割、分解、细粒度特征提取后，构建当前时刻肌电信号的特征集，对该特征集进行以标准空间表示的变换，生成当前时刻标准空间表示的特征集，将该当前时刻标准空间表示的特征集通过手势识别模型得到当前时刻手势识别结果。

2.如权利要求1所述的肌电手势识别方法，其特征在于，该手势为手指运动手势、手腕运动手势，手掌运动手势中的任一手势。

3.如权利要求1所述的肌电手势识别方法，其特征在于，该细粒度特征包括：绝对平均值、第一修正绝对平均值、第二修正绝对平均值、平均绝对值偏差、均方根值、方差、波形长度共7项时域特征和频率中位数、频率平均数、修正频率中值共3项频域特征。

4.如权利要求1所述的肌电手势识别方法，其特征在于，进行以标准空间表示的变换包括：

在得到该手势肌电臂环位置预测结果L_i后，L_i∈[1,2,...,E_num+1)，将该手势特征集EMG_i,j变换成标准空间表示的特征集EMG'_i,j：

其中

E_num为肌电臂环的电极数目。

5.如权利要求1所述的肌电手势识别方法，其特征在于，步骤3包括：

采集第i时刻肌电信号，对该肌电信号进行滤波、滑动窗分割、经验模态分解、特征提取处理操作，按照基于标准空间表示的变换方法，将原始手势特征集变换成标准空间表示的手势特征集，生成第i时刻预测样本，将该预测样本输入到分类回归树中，输出第i时刻手势识别概率向量P_i,j,n，按照公式

得出第i时刻手势识别结果；其中G_i为当前时刻手势识别结果，G为手势总数，N为分类回归树总数，i为时间参数，j、n为序数，G_i、G、N、j、n均为正整数。

6.一种肌电手势识别系统，其特征在于，包括：

特征集构建模块，用于根据手势特征采集肌电信号，对该信号进行滑动窗口分割、基于经验模态的本征模函数分解，并建立该手势特征的训练集和特征集；

基于标准空间的特征表示模块，用于将该手势特征的训练集和特征集通过肌电臂环上的佩戴位置预测模型，并转化为基于标准空间的特征表示；其中，该标准空间为与肌电臂环佩戴位置无关的特征表示空间；

手势识别模块，用于生成手势识别模型，并利用该模型进行手势识别。

7.如权利要求6所述的肌电手势识别系统，其特征在于，特征构建模块包括：

细粒度特征提取模块，用于提取绝对平均值、第一修正绝对平均值、第二修正绝对平均值、平均绝对值偏差、均方根值、方差、波形长度7项时域特征和频率中位数、频率平均数、修正频率中值3项频域特征。

8.如权利要求6所述的肌电手势识别系统，其特征在于，基于标准空间的特征表示模块包括：

标准空间表示模块，用于根据肌电臂环的佩戴位置预测结果，将该手势肌电信号特征集进行以标准空间表示的变换，生成标准空间表示的特征集。

9.如权利要求6所述的肌电手势识别系统，其特征在于，手势识别模块包括：

模型离线训练模块，用于将完成标准空间表示变换的手势肌电信号特征集，构建手势识别模型，并采用随机森林算法对该模型进行训练。

10.如权利要求6所述的肌电手势识别系统，其特征在于，手势识别模块包括：

在线位置预测模块，用于将完成标准空间表示的变换的手势肌电信号特征集，通过经训练的手势识别模型，得到手势识别结果。

Images