CN110618754B - 基于表面肌电信号的手势识别方法和手势识别臂带 - Google Patents

Abstract

本发明公开了一种基于表面肌电信号的手势识别方法和手势识别臂带，采集每个基准手势的多通道表面肌电信号，对每个表面肌电信号分别提取特征并进行编码，得到每个基准手势对应的特征向量，在需要进行手势识别时，采用相同方法获取特定手势的特征向量，计算其与各个基准手势特征向量之间相似度，从而进行手势识别。本发明通过对多个位置表面肌电信号提取特征，提高手势识别的准确率。

Description

基于表面肌电信号的手势识别方法和手势识别臂带

技术领域

本发明属于手势识别技术领域，更为具体地讲，涉及一种基于表面肌电信号的手势识别方法和手势识别臂带。

背景技术

手势识别在人机交互、手语识别、医疗诊断、远程教育和动作捕获等方面有着重要的应用价值。目前多数手势识别装置是基于计算机视觉来实现的，使用的传感器是摄像头。这种方式有几点不足：第一，手势识别受摄像头视野的限制，当手的部位被遮挡或者环境光线不佳时，识别效果不好；第二，对微小动作的识别难度大，对一些非显见肢体动作识别效果不佳，对于小幅度精细动作无法识别；第三，对于手掌或者手指残疾人士，无法通过视觉的方法来捕获动作意图。因此业内一直在探索手势识别的其他途径。

MYO腕带(手势控制臂环)是加拿大创业公司Thalmic Labs推出的臂环，采用体表肌肉电信号的模式识别方法来判断动作。MYO腕带可以佩戴在任何一条胳膊的肘关节上方，探测用户的肌肉产生的电活动，它通过低功率的蓝牙设备与其他电子产品进行无线连接，以实现手势控制。MYO腕带存在如下不足之处：第一就结构上而言，MYO腕带使用的是金属电极，并且整体是硬塑料结构，长时间贴皮肤穿戴不太舒适；第二从使用的角度而言，MYO腕带便携性能欠缺，且每次使用前先要进行校准训练，实际使用时还是有点累赘；第三，单纯的EMG肌电信号的精确度不高，噪声大而且测量点不是单纯的环状；第四，MYO腕带无法进行比例控制，他只是把动作的特征提取出来，组成一个状态空间，然后等信号进来的时候，去判断信号的特征与某个状态接近，手势识别的准确率有待提高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于表面肌电信号的手势识别方法和手势识别臂带，通过对多个位置表面肌电信号提取特征，提高手势识别的准确率。

为了实现以上发明目的，本发明基于表面肌电信号的手势识别方法包括以下步骤：

S1：根据需要设置N个基准手势，由人员依次做出各个基准手势，在每个基准手势动作过程中，采用K个表面肌电信号传感器在手臂不同位置采集表面肌电信号S_n,k，n＝1,2,…,N，k＝1,2,…,K；

S2：对于每个表面肌电信号S_n,k，分别提取得到其特征f_n,k，特征类型可以根据需要进行设置；对每个特征f_n,k进行编码，得到对应的编码值d_n,k，从而得到每个基准手势的特征向量D_n＝(d_n,1,d_n,2,…,d_n,K)；

S3：在需要进行手势识别时，人员进行特定手势动作，在此过程中按照基准手势采集时的表面肌电信号传感器位置，采用K个表面肌电信号传感器在手臂相应位置采集表面肌电信号S′_k；

S4：对于每个表面肌电信号S′_k，分别提取得到其特征f′_k，并对每个特征f′_k进行编码，得到对应的编码值d′_k，从而得到特定手势的特征向量D′＝(d′₁,d′₂,…,d′_K)；

S5：分别计算特定手势的特征向量D′＝(d′₁,d′₂,…,d′_K)和N个基准手势的特征向量D_n＝(d_n,1,d_n,2,…,d_n,K)之间的相似度R_k，筛选出最大相似度R_max，如果最大相似度R_max大于预设的阈值，则判定特定手势为最大相似度R_max所对应的基准手势，手势识别成功，否则认为特定手势不是K个基准手势之一，手势识别失败，提示重新进行特定手势采集。

本发明还提供一种基于表面肌电信号的手势识别臂带，包括臂带基层、N个表面肌电信号传感器、N个信号调理模块、主控模块和电源模块，其中：

臂带基层采用一块具有伸缩功能的柔性织物，其与皮肤接触一侧为背面，另一侧为正面；

N个表面肌电信号传感器分布安装于臂背基层的正面，其电极延伸至臂带基层的背面，用于采集表面肌电信号并发送给对应的信号调理模块；

N个信号调理模块分布安装于臂背基层的正面，用于分别对所接收的表面肌电信号进行信号调理，将得到的表面肌电信号发送给主控模块；

主控模块安装于臂背基层的正面，包括两种工作模式：训练模式和识别模式，当工作在训练模式时，采用权利要求1所述的基于表面肌电信号的手势识别方法中的基准手势的特征向量获取方法，得到每个基准手势的特征向量；当工作在识别模式时，采用权利要求1所述的基于表面肌电信号的手势识别方法中的特定手势的特征向量获取方法，得到特定手势的特征向量，并计算其与每个基准手势的特征向量的相似度，实现手势识别；当手势识别成功，根据识别得到的基准手势生成对应的控制指令并无线发送给控制对象，当手势识别失败，提示重新进行特定手势采集；

电源模块安装于臂背基层的正面，用于为N个表面肌电信号传感器2、N个信号调理模块、主控模块提供电源。

本发明基于表面肌电信号的手势识别方法和手势识别臂带，采集每个基准手势的多通道表面肌电信号，对每个表面肌电信号分别提取特征并进行编码，得到每个基准手势对应的特征向量，在需要进行手势识别时，采用相同方法获取特定手势的特征向量，计算其与各个基准手势特征向量之间相似度，从而进行手势识别。本发明通过对多个位置表面肌电信号提取特征，提高手势识别的准确率。

附图说明

图1是本发明基于表面肌电信号的手势识别方法的具体实施方式流程图；

图2是本实施例中基于平均能量的编码值确定方法的流程图；

图3是本发明中基于表面肌电信号的手势识别臂带的具体实施方式结构图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于表面肌电信号的手势识别方法的具体实施方式流程图。如图1所示，本发明基于表面肌电信号的手势识别方法具体包括以下步骤：

S101：采集基准手势表面肌电信号：

根据需要设置N个基准手势，由人员依次做出各个基准手势，在每个基准手势动作过程中，采用K个表面肌电信号传感器在手臂不同位置采集表面肌电信号S_n,k，n＝1,2,…,N，k＝1,2,…,K。

在实际应用中，可以对每个基准手势采集若干组表面肌电信号，对各个肌电信号传感器采集得到的表面肌电信号进行平均，将得到的平均表面肌电作为表面肌电信号S_n,k。这样可以减少采集时噪声的影响。

S102：获取基准手势特征向量：

对于每个表面肌电信号S_n,k，分别提取得到其特征f_n,k，特征类型可以根据需要进行设置。对每个特征f_n,k进行编码，得到对应的编码值d_n,k，从而得到每个基准手势的特征向量D_n＝(d_n,1,d_n,2,…,d_n,K)。

本实施例中基准手势包括6种：握拳、伸掌、屈腕、伸腕、尺侧屈腕和双击大拇指与中指。所设置的表面肌电信号S_n,k的特征为表面肌电信号S_n,k的平均能量。本实施例中设计三个阈值A、B、C，且C＞＞B＞A＞0，其中阈值A用于判定表面肌电信号传感器有无明显检测到肌电信号，特征f_n,k低于阈值A的则认为表面肌电信号传感器没有检测到相应信号，阈值B用于判定表面肌电信号传感器是否检测到较强的表面肌电信号，特征f_n,k高于阈值B则认为表面肌电信号传感器检测到很强的信号，特征f_n,k在阈值A和阈值B中间则认为表面肌电信号传感传感器检测到正常强度的信号，阈值C设置为远大于阈值B的值，阈值C表示该表面肌电信号传感传感器的所采集到的表面肌电信号的平均能量值超过正常范围，表明采集到的表面肌电信号异常(例如混有大量噪声)。三个阈值可以根据经验值进行设置。

通过以上三个阈值对平均能量进行判定，从而实现对特征f_n,k进行编码，得到各个表面肌电信号S_n,k的特征向量。图2是本实施例中基于平均能量的编码值确定方法的流程图。如图2所示，本实施例中基于平均能量的编码值确定方法的具体步骤包括：

S201：提取平均能量特征：

设置一个长度为L的滑动窗口，在表面肌电信号的数据序列上以滑动步长λ进行滑动，λ＜L，从而将表面肌电信号划分为P个子信号s_p，其中p＝1,2,…,P。也就是说，相邻两个子信号存在部分重叠。计算每个子信号s_p的平均能量e_p，这P个平均能量e_p即作为表面肌电信号的特征。

S202：平均能量排序：

将表面肌电信号的P个子信号s_p的平均能量e_p从大到小进行排序，得到平均能量序列。

S203：初始化评估次数t＝1。

S204：计算平均能量均值：

选择平均能量序列中第t个至第Q+t个平均能量，计算得到平均能量均值

Q根据实际需要设置。

S205：判断是否

如果是，进入步骤S206，否则进入步骤S207。

S206：基于阈值确定编码值：

采用以下公式获取表面肌电信号对应的编码值d：

编码结束。

S207：判断是否t＜t_max，t_max表示最大评估次数，显然t_max≤P-Q。如果t＜t_max，进入步骤S208，否则进入步骤S209。

S208：令t＝t+1，返回步骤S204。

S209：令表面肌电信号的编码值d＝ω，ω为预设负常数，编码结束。

本实施例中基于平均能量的特征向量提取方法对平均能量均值采用多次评估，可以有效避免噪声导致编码错误。假设本实施例中表面肌电信号传感器有8个，那么得到的特征向量包括8个编码值，如00110N21，此处以N表示预设负常数ω。

S103：采集特定手势表面肌电信号：

在需要进行手势识别时，人员进行特定手势动作，在此过程中按照基准手势采集时的表面肌电信号传感器位置，采用K个表面肌电信号传感器在手臂相应位置采集表面肌电信号S′_k。

S104：获取特定手势特征向量：

对于每个表面肌电信号S′_k，分别提取得到其特征f′_k，并对每个特征f′_k进行编码，得到对应的编码值d′_k，从而得到特定手势的特征向量D′＝(d′₁,d′₂,…,d′_K)。

S105：手势匹配：

分别计算特定手势的特征向量D′＝(d′₁,d′₂,…,d′_K)和N个基准手势的特征向量D_n＝(d_n,1,d_n,2,…,d_n,K)之间的相似度R_k，筛选出最大相似度R_max，如果最大相似度R_max大于预设的阈值，则判定特定手势为最大相似度R_max所对应的基准手势，否则认为特定手势不是N个基准手势之一，手势识别失败，提示重新进行特定手势采集。

为了实现本发明基于表面肌电信号的手势识别方法，本发明还提出了一种基于表面肌电信号的手势识别臂带。图3是本发明中基于表面肌电信号的手势识别臂带的具体实施方式结构图。如图3所示，本发明中基于表面肌电信号的手势识别臂带包括臂带基层1、N个表面肌电信号传感器2、N个信号调理模块3、主控模块4和电源模块5。

臂带基层1采用一块具有伸缩功能的柔性织物，其与皮肤接触一侧为背面，另一侧为正面。为了便于穿戴，可以在臂带基层1的两端设置对插式锁扣，用于佩戴时固定臂带。

N个表面肌电信号传感器2分布安装于臂背基层1的正面，其电极延伸至臂带基层1的背面，用于采集表面肌电信号并发送给对应的信号调理模块3。

N个信号调理模块3分布安装于臂背基层1的正面，用于分别对所接收的表面肌电信号进行信号调理，一般包括放大和去噪，将得到的表面肌电信号发送给主控模块4。

主控模块4安装于臂背基层1的正面，包括两种工作模式：训练模式和识别模式，当工作在训练模式时，采用本发明基于表面肌电信号的手势识别方法中的基准手势的特征向量获取方法，得到每个基准手势的特征向量；当工作在识别模式时，采用本发明基于表面肌电信号的手势识别方法中的特定手势的特征向量获取方法，得到特定手势的特征向量，并计算其与每个基准手势的特征向量的相似度，实现手势识别；当手势识别成功，根据识别得到的基准手势生成对应的控制指令并无线发送给控制对象，当手势识别失败，提示重新进行特定手势采集，可以采用语音提示，也可以在主控模块4上配置指示灯或显示屏，采用灯光、文字或图案提示。

电源模块5安装于臂背基层1的正面，用于为N个表面肌电信号传感器2、N个信号调理模块3、主控模块4提供电源。

为了增加基准手势间的差异，扩大基准手势数量，以扩大应用场景，还可以在主控模块4中增加一个惯性传感器6，用于采集惯性信号并发送给主控模块4。主控模块4在工作在训练模式时，还会提取惯性信号的角度，作为某个基准手势的特征；主控模块4在工作在识别模式时，首先提取特定手势所采集到的惯性信号的角度，分别计算其与将角度特征作为特征的各个基准手势的角度差，筛选出最小角度差，如果最小角度差小于预设阈值，则判定特定手势为最小角度差对应的基准手势，手势识别成功，否则基于惯性信号的手势识别失败，再基于表面肌电信号进行手势识别。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于表面肌电信号的手势识别方法，其特征在于，包括以下步骤：

S1：根据需要设置N个基准手势，由人员依次做出各个基准手势，在每个基准手势动作过程中，采用K表面肌电信号传感器在手臂不同位置采集表面肌电信号S_n,k，n＝1,2,…,N，k＝1,2,…,K；

S2：对于每个表面肌电信号S_n,k，分别提取得到其特征f_n,k，特征类型可以根据需要进行设置；对每个特征f_n,k进行编码，得到对应的编码值d_n,k，从而得到每个基准手势的特征向量D_n＝(d_n,1,d_n,2,…,d_n,K)；其中表面肌电信号的编码值基于平均能量确定，包括以下步骤：

S2.1：设置一个长度为L的滑动窗口，在表面肌电信号的数据序列上以滑动步长λ进行滑动，λ＜L，从而将表面肌电信号划分为P个子信号s_p，其中p＝1,2,…,P；计算每个子信号s_p的平均能量e_p，这P个平均能量e_p即作为表面肌电信号的特征；

S2.2：将表面肌电信号的P个子信号s_p的平均能量e_p从大到小进行排序，得到平均能量序列；

S2.3：初始化评估次数t＝1；

S2.4：选择平均能量序列中第t个至第Q+t个平均能量，计算得到平均能量均值

Q根据实际需要设置；

S2.5：判断是否

如果是，进入步骤S2.6，否则进入步骤S2.7；

S2.6：采用以下公式获取表面肌电信号对应的编码值d：

编码结束；

S2.7：判断是否t＜t_max，t_max表示最大评估次数，如果t＜t_max，进入步骤S2.8，否则进入步骤S2.9；

S2.8：令t＝t+1，返回步骤S2.4；

S2.9：令表面肌电信号的编码值d＝ω，ω为预设负常数，编码结束；

S3：在需要进行手势识别时，人员进行特定手势动作，在此过程中按照基准手势采集时的表面肌电信号传感器位置，采用K个表面肌电信号传感器在手臂相应位置采集表面肌电信号S′_k；

S4：对于每个表面肌电信号S′_k，分别提取得到其特征f′_k，并对每个特征f′_k进行编码，得到对应的编码值d′_k，从而得到特定手势的特征向量D′＝(d′₁,d′₂,…,d′_K)；

S5：分别计算特定手势的特征向量D′＝(d′₁,d′₂,…,d′_K)和N个基准手势的特征向量D_n＝(d_n,1,d_n,2,…,d_n,K)之间的相似度R_k，筛选出最大相似度R_max，如果最大相似度R_max大于预设的阈值，则判定特定手势为最大相似度R_max所对应的基准手势，手势识别成功，否则认为特定手势不是K个基准手势之一，手势识别失败，提示重新进行特定手势采集。

2.一种基于表面肌电信号的手势识别臂带，其特征在于，包括臂带基层、N个表面肌电信号传感器、N个信号调理模块、主控模块和电源模块，其中：

臂带基层采用一块具有伸缩功能的柔性织物，其与皮肤接触一侧为背面，另一侧为正面；

N个表面肌电信号传感器分布安装于臂背基层的正面，其电极延伸至臂带背基层的背面，用于采集表面肌电信号并发送给对应的信号调理模块；

N个信号调理模块分布安装于臂背基层的正面，用于分别对所接收的表面肌电信号进行信号调理，将得到的表面肌电信号发送给主控模块；

主控模块安装于臂背基层的正面，包括两种工作模式：训练模式和识别模式，当工作在训练模式时，采用权利要求1所述的基于表面肌电信号的手势识别方法中的基准手势的特征向量获取方法，得到每个基准手势的特征向量；当工作在识别模式时，采用权利要求1所述的基于表面肌电信号的手势识别方法中的特征手势的特征向量获取方法，得到特定手势的特征向量，并计算其与每个基准手势的特征向量的相似度，实现手势识别；当手势识别成功，根据识别得到的基准手势生成对应的控制指令并无线发送给控制对象，当手势识别失败，提示重新进行特定手势采集；

电源模块安装于臂背基层的正面，用于为N个表面肌电信号传感器2、N个信号调理模块、主控模块提供电源。

3.根据权利要求2所述的手势识别臂带，其特征在于，在主控模块中增加一个惯性传感器，用于采集惯性信号并发送给主控模块；主控模块在工作在训练模式时，还会提取惯性信号的角度，作为某个基准手势的特征；主控模块在工作在识别模式时，首先提取特定手势所采集到的惯性信号的角度，分别计算其与将角度特征作为特征的各个基准手势的角度差，筛选出最小角度差，如果最小角度差小于预设阈值，则判定特定手势为最小角度差对应的基准手势，手势识别成功，否则基于惯性信号的手势识别失败，再基于表面肌电信号进行手势识别。

Images