CN107480697A - 一种肌电手势识别方法和系统 - Google Patents
一种肌电手势识别方法和系统 Download PDFInfo
- Publication number
- CN107480697A CN107480697A CN201710566320.7A CN201710566320A CN107480697A CN 107480697 A CN107480697 A CN 107480697A CN 201710566320 A CN201710566320 A CN 201710566320A CN 107480697 A CN107480697 A CN 107480697A
- Authority
- CN
- China
- Prior art keywords
- gesture
- gesture recognition
- feature
- electromyographic
- feature set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 11
- 238000010276 construction Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000003183 myoelectrical effect Effects 0.000 claims description 66
- 238000012549 training Methods 0.000 claims description 32
- 238000007637 random forest analysis Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 4
- 230000005057 finger movement Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 16
- 210000000245 forearm Anatomy 0.000 description 11
- 238000005070 sampling Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 4
- 238000002567 electromyography Methods 0.000 description 3
- 102100023727 Mitochondrial antiviral-signaling protein Human genes 0.000 description 2
- 101710142315 Mitochondrial antiviral-signaling protein Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000003899 penis Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种肌电手势识别方法和系统,该方法由三个步骤组成:特征集构建,利用肌电臂环获取用户肌电手势数据,经过卡尔曼滤波、矩形滑动窗口机制分割和经验模态分解等预处理操作之后,提取该肌电手势数据的时域、频域特征构建特征集;基于标准空间的特征表示,将特征集输入位置预测模型,预测当前肌电臂环佩戴位置,根据位置预测结果将原始特征转化为标准空间的特征表示;手势识别,根据标准空间的特征,构建手势识别模型,识别用户手势。本发明提出的方法能够解决手势识别过程中,因肌电臂环佩戴位置变化造成的识别精度降低的问题,具有识别精度高等方面的优势。
Description
技术领域
本发明涉及信号处理、人机交互以及普适计算等领域,具体地说,本发明 涉及一种可穿戴肌电手势识别方法。
背景技术
近年来,随着生物电信号感知技术的不断发展,基于可穿戴肌电信号(Electromyography,EMG)的手势识别应用正在不断普及,已经成为继基于 计算机视觉、运动传感器、超声波、电磁波等手势识别方案之后的主要手势识 别方法,具有可识别精细手势、不受光线和环境噪声影响、非侵扰、响应速度 快等方面的优势。相关专利有CN201610824475.1、CN201610396781.X、 CN201610112032.X、CN201510704995.4、CN201310568203.6、 CN201310531766.8等。
基于的肌电信号手势识别是一种新型的非接触式手势识别方法,该方法通 过肌电信号判断前臂上端当前活跃区域及活动强度,进而识别用户手势。肌电 信号是骨骼肌收缩时产生的一种生物电信号,可通过佩戴于前臂上端的肌电仪 测量得到。传统的肌电仪形态主要有两种,一种由固定于皮肤表面的电极构成, 具有位置固定、测量精准的优势,但穿戴不便;另一种由大规模电极阵列组成, 能够测量前臂多个区域的肌肉活动变化,但需要很多电极且设备配置复杂。针 对以上两种肌电信号感知设备的不足,能够同时兼顾精准、可穿戴要求的电臂 环逐渐出现并扮演者越来越重要的角色。
肌电信号的强烈位置相关性要求肌电臂环使用过程中必须保持佩戴位置 一致,细微的位置改变,都将造成识别准确率降低。该要求不仅降低使用过程 中的用户体验,而且无法避免因外力影响造成的佩戴位置位移问题。
发明内容
为解决上述问题,本发明提出了一种肌电手势识别方法,如图1所示。该 方法由三个阶段组成:特征集构建、基于标准空间的特征表示、手势识别。特 征集构建阶段,利用肌电臂环获取用户手势数据,经过滤波、分割、分解等预 处理操作之后,提取肌电信号时域、频域特征构建特征集;基于标准空间的特 征表示阶段,将特征集输入位置预测模型,预测当前肌电臂环佩戴位置,接着, 根据位置预测结果将原始特征转化为标准空间的特征表示;手势识别阶段,根 据标准空间的特征,构建手势识别模型,识别用户手势。本发明提出的方法能 够解决手势识别过程中,因肌电臂环佩戴位置变化造成的识别精度降低的问题。
具体来说,本发明涉及一种肌电手势识别方法,其特征在于包括:
步骤1、采集手势的肌电信号,对该手势肌电信号进行数据分割并分解为 本征模函数分量;对该手势肌电信号和该本征模函数分量提取细粒度特征,将 该细粒度特征按手势特征构建手势特征集;使用该手势特征集对肌电臂环上的 佩戴位置预测模型进行训练;
步骤2、使用该手势特征集通过肌电臂环上的佩戴位置预测模型进行肌电 臂环位置预测,得到该手势肌电臂环位置预测结果;根据该预测结果,将该手 势特征集进行以标准空间表示的变换,生成标准空间表示的手势特征集;将该 标准空间表示的手势特征集建立手势识别模型,并采用随机森林算法对该手势 识别模型进行训练;
步骤3、采集当前时刻肌电信号,经数据分割、分解、细粒度特征提取后, 构建当前时刻肌电信号的特征集,对该特征集进行以标准空间表示的变换,生 成当前时刻标准空间表示的特征集,将该当前时刻标准空间表示的特征集通过 手势识别模型得到当前时刻手势识别结果。
本发明所述的肌电手势识别方法,手势为手指运动手势、手腕运动手势, 手掌运动手势中的任一手势。
本发明所述的肌电手势识别方法,细粒度特征包括:绝对平均值、第一修 正绝对平均值、第二修正绝对平均值、平均绝对值偏差、均方根值、方差、波 形长度共7项时域和频率中位数、频率平均数、修正频率中值共3项频域特征:
绝对值平均
第一修正绝对值平均
第二修正绝对值平均
平均绝对值偏差MAVSk=MAVk+1-MAVk
均方根值
方差
波形长度
频率中位数
频率平均数
修正频率中值
其中,xi代表原始肌电信号,N表示一个窗口内肌电信号数据长度,M表 示功率谱密度长度,PSDi表示功率谱密度,fi和Ai分别表示频域肌电信号分箱 后的频率和振幅谱。
本发明所述的肌电手势识别方法,标准空间表示包括:
标准空间是肌电臂环佩戴位置无关的特征表示空间,在该空间中,肌电信 号特征分布不受设备初始位置和外力影响,具有信号特征分布高鲁棒性的特 点。标准空间建立在肌电臂环的感知电极均匀分布的前提下,此时,假定人体 前臂上端存在一组均匀分布的信号采集点{Q1,Q2,……,Qw,w=Enum},其 中Enum为肌电臂环的电极数目;并且,肌电臂环上存在一个标准采集点P。当 标准采集点P和前臂上端的采集点Q1重合时,为肌电臂环标准佩戴位置,满 足∠POQ1=0的要求,如图2.(a)所示,此时的表示规则为标准空间的特征表示。另外,根据肌电臂环旋转角度的不同,本发明定义了整格旋转和非整格旋转两 种佩戴方式,分别如图2.(b)和图2.(c)所示,标准空间的特征表示目的是将整 格旋转和非整格旋转时的肌电信号特征转化为标准空间表示。
工作流程如下:
1)根据位置预测模型,识别肌电臂环佩戴位置Li;
2)建立Li与∠POQ1的映射关系:∠POQ1=2π(Li-1)/Enum;
3)若Li为整数,此时为整格旋转,旋转角度θi=2π·k/Enum,k∈{0,1,...,Enum-1},其中k=Li-1,肌电臂环佩戴位置和肌电信号变换规则为:
其中,
4)非整格旋转时Li不为整数,旋转角度θi=2π·k/Enum,k∈{0,1,...,Enum-1},其中k=Li-1,首先对Li求近似值肌电臂环佩戴位置和肌电信号变换 规则为:
w1=|L'i-Li|
w2=1-w1 (6)
手势识别模型以随机森林(Random Forest,RF)为基础,根据标准空间 中的肌电信号特征,识别用户手势。随机森林算法由N棵深度均为D的分类回 归树(Classificationand Regression Tree,CART)构成,对每棵分类回归树而 言,使用Gini指数选择最优特征,同时决定该特征的最优二值切分点。使用 Gini指数决策的过程,即是寻找使Gini指数提升最大的分类特征和判定阈值 的过程:
其中,Gini、GiniLeft、GiniRight分别表示分类回归树中父节点和左右子节点的Gini指数,f是分类特征,α是判定阈值,pk表示当前特征空间中手势为k的概 率,G为手势总数。对于一个确定手势集合而言,Gini指数表示该集合的不确 定性,数值越大手势集合的不确定性越大。
佩戴位置无关的手势识别模型如图3所示,假设训练集为S,特征集合为C, 对每棵分类回归树分别采用有放回随机抽样方式,抽取大小和S一样的训练集 S(i)做为根节点样本。每棵分类回归树训练过程中,若当前节点没有达到终止 条件,则采用无放回的抽样方式,从特征集合C中抽取c维特征,并从中选择 最优特征做为分类特征。根据标准空间中的肌电信号特征Fi预测分类过程中, 使用每棵分类回归树分别预测用户手势,假定第n棵分类回归树对手势的预测 概率为Pi,j,n,则联合N棵分类回归树的最终预测结果为:
其中Gi为当前时刻手势识别结果,G为手势总数,N为分类回归树总数, i为时间参数,j、n为序数,Gi、G、N、j、n均为正整数。
附图说明
图1肌电手势识别方法框架图
图2标准空间表示示意图
图3手势识别模型
图4特征集构建工作流程图
图5手势定义图
图6 Myo臂环
图7肌电采集位置
图8基于标准空间的特征表示工作流程图
图9离线训练工作流程图
图10在线手势识别工作流程图
图11手势识别精度
图12手势识别精度标准差分析
具体实施方式
具体来说,本发明涉及一种肌电手势识别方法,其特征在于包括:
步骤1、采集手势的肌电信号,对该手势肌电信号进行数据分割并分解为 本征模函数分量;对该手势肌电信号和该本征模函数分量提取细粒度特征,将 该细粒度特征按手势特征构建手势特征集;使用该手势特征集对肌电臂环上的 佩戴位置预测模型进行训练;
步骤2、使用该手势特征集通过肌电臂环上的佩戴位置预测模型进行肌电 臂环位置预测,得到该手势肌电臂环位置预测结果;根据该预测结果,将该手 势特征集进行以标准空间表示的变换,生成标准空间表示的手势特征集;将该 标准空间表示的手势特征集建立手势识别模型,并采用随机森林算法对该手势 识别模型进行训练;
步骤3、采采集当前时刻肌电信号,经数据分割、分解、细粒度特征提取 后,构建当前时刻肌电信号的特征集,对该特征集进行以标准空间表示的变换, 生成当前时刻标准空间表示的特征集,将该当前时刻标准空间表示的特征集通 过手势识别模型得到当前时刻手势识别结果。
本发明所述的肌电手势识别方法,手势为手指运动手势、手腕运动手势, 手掌运动手势中的任一手势。
本发明所述的肌电手势识别方法,细粒度特征包括:绝对平均值、第一修 正绝对平均值、第二修正绝对平均值、平均绝对值偏差、均方根值、方差、波 形长度共7项时域和频率中位数、频率平均数、修正频率中值共3项频域特征。
本发明所述的肌电手势识别方法,标准空间表示包括:
标准空间是肌电臂环佩戴位置无关的特征表示空间,在该空间中,肌电信 号特征分布不受设备初始位置和外力影响,具有信号特征分布高鲁棒性的特 点。标准空间建立在肌电臂环的感知电极均匀分布的前提下,此时,假定人体 前臂上端存在一组均匀分布的信号采集点{Q1,Q2,……,Qw,w=Enum},其 中Enum为肌电臂环的电极数目;并且,肌电臂环上存在一个标准采集点P。当 标准采集点P和前臂上端的采集点Q1重合时,为肌电臂环标准佩戴位置,满 足∠POQ1=0的要求,如图2.(a)所示,此时的表示规则为标准空间的特征表示。另外,根据肌电臂环旋转角度的不同,本发明定义了整格旋转和非整格旋转两 种佩戴方式,分别如图2.(b)和图2.(c)所示,标准空间的特征表示目的是将整 格旋转和非整格旋转时的肌电信号特征转化为标准空间表示。
工作流程如下:
1)根据位置预测模型,识别肌电臂环佩戴位置Li;
2)建立Li与∠POQ1的映射关系:∠POQ1=2π(Li-1)/Enum;
3)若Li为整数,此时为整格旋转,旋转角度θi=2π·k/Enum,k∈{0,1,...,Enum-1},其中k=Li-1,肌电臂环佩戴位置和肌电信号变换规则为:
其中,
4)非整格旋转时Li不为整数,旋转角度θi=2π·k/Enum,k∈{0,1,...,Enum-1},其中k=Li-1,首先对Li求近似值肌电臂环佩戴位置和肌电信号变换 规则为:
w1=|L'i-Li|
w2=1-w1 (6)
本发明所述的肌电手势识别方法,手势的在线位置识别包括:
佩戴位置无关的手势识别模型以随机森林(Random Forest,RF)为基础, 根据标准空间中的肌电信号特征,识别用户手势。随机森林算法由N棵深度均 为D的分类回归树(Classification and Regression Tree,CART)构成,对每棵 分类回归树而言,使用Gini指数选择最优特征,同时决定该特征的最优二值 切分点。使用Gini指数决策的过程,即是寻找使Gini指数提升最大的分类特 征和判定阈值的过程:
其中,Gini、GiniLeft、GiniRight分别表示分类回归树中父节点和左右子节点的Gini指数,f是分类特征,α是判定阈值,pk表示当前特征空间中手势为k的概 率,G为手势总数。对于一个确定手势集合而言,Gini指数表示该集合的不确 定性,数值越大手势集合的不确定性越大。
佩戴位置无关的手势识别模型如图3所示,假设训练集为S,特征集合为C, 对每棵分类回归树分别采用有放回随机抽样方式,抽取大小和S一样的训练集 S(i)做为根节点样本。每棵分类回归树训练过程中,若当前节点没有达到终止 条件,则采用无放回的抽样方式,从特征集合C中抽取c维特征,并从中选择 最优特征做为分类特征。根据标准空间中的肌电信号特征Fi预测分类过程中, 使用每棵分类回归树分别预测用户手势,假定第n棵分类回归树对手势的预测 概率为Pi,j,n,则联合N棵分类回归树的最终预测结果为:
其中Gi为当前时刻手势识别结果,G为手势总数,N为分类回归树总数,i为 时间参数,j、n为序数,Gi、G、N、j、n均为正整数。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对 本发明提出的佩戴位置无关的可穿戴肌电手势识别方法进一步详细说明。应当 理解,此处所描述的具体实施方法仅仅用以解释本发明,并不用于限定本发明。
1、特征集构建
特征集构建工作流程图如图4所示,主要包括以下步骤:
1)手势定义。本发明中定义的手势如图5所示的,共15种手势,包括以 手指运动为主手势,如Thumb、Index等;腕部运动为主手势,如Flex、Extend 等;其他类型的手势,如Palm、Spread等。
2)肌电信号采集。信号采集使用Myo肌电臂环,如图6所示,Myo共有 8块肌电电极,呈环状均匀排列,支持以任意旋转角度佩戴于前臂上端,采样 频率为200kHz。肌电信号采集过程中,Myo按照图7所示的方式放置于前臂 上端,由于Myo含有8块电极,所以获取的肌电信号包括8个通道数据。
3)原始信号滤波。为降低原始肌电信号的信号噪声,使用卡尔曼滤波方 法对原始肌电信号进行滤波处理。
4)手势分割。采用矩形滑动窗机制对肌电信号进行手势分割处理,并将 其作为特征提取和手势识别的最小单位。为保证感知精度,窗口大小设置为 1s,窗间重叠为50%,手势感知的最小时间间隔为0.5s。
5)肌电信号分解。肌电信号做为一种生物电信号,具有非线性、非平稳 特点,针对信号特性,使用经验模态分解(Empirical Mode Decomposition,EMD) 信号处理思想,根据原始肌电信号的自身特性将其分解为不同尺度分量,以获 取肌电信号的细粒度表示。
6)特征提取。对分解后的肌电信号不同尺度分量和分解之前肌电信号, 分别提取时域和频域特征,构建特征集。本发明中提取的特征包括7种时域特 征和3种频域特征。其中,xi代表原始肌电信号,N表示一个窗口内肌电信号 数据长度,M表示功率谱密度长度,PSDi表示功率谱密度,fi和Ai分别表示频 域肌电信号分箱后的频率和振幅谱
绝对值平均
第一修正绝对值平均
第二修正绝对值平均
平均绝对值偏差MAVSk=MAVk+1-MAVk
均方根值
方差
波形长度
频率中位数
频率平均数
修正频率中值
7)结束。
2、基于标准空间的特征表示
基于标准空间的特征表示如图8所示,主要包括以下步骤:
1)构建特征集。根据特征集的构建方法,构建肌电信号特征集。
2)肌电臂环位置预测。根据肌电信号特征集,使用随机森林算法训练肌 电臂环佩戴位置预测模型,进而预测肌电臂环佩戴位置Li。随机森林算法由规 模为N=100的分类回归树构成,每棵分类回归树深度均满足D=8。
3)根据Li是否为整数,判断肌电臂环旋转模式是整格旋转还是非整格旋 转。
4)若Li为整数,此时为整格旋转。按照公式(1)矫正肌电臂环佩戴位置, 并按照公式(2)变换肌电信号特征表示规则。
5)若Li不为整数,此时为非整格旋转。按照公式(4)矫正肌电臂环佩戴位 置,并按照公式(5)变换肌电信号特征表示规则。
6)结束。
3、手势识别
手势识别方法包含两个阶段:模型离线训练和在线位置识别。
模型离线训练的过程如图9所示,主要步骤包括:
1)肌电手势信号采集。使用Myo以200kHz的采样频率采集肌电信号, Myo按照图7所示的方式放置于前臂上端,并分别采集15种预先定义手势的 八个位置Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8的肌电信号数据,由于Myo含有8块电极, 所以获取的肌电信号共包括8个通道数据;
2)构建特征集。按照特征集构建方法,对采集的信号进行卡尔曼滤波、 滑动窗分割、经验模态分解、特征提取等处理操作,构建手势特征集。
3)基于标准空间的特征表示。按照基于标准空间的特征表示方法,将原 始手势特征集转化为标准空间表示。
4)训练集S、特征集C生成。为各种手势样本分别赋予相应的类别标号 (如第1个手势数据,类别标号为1;……;第N个位置数据,类别标号为N), 由手势特征形成训练集S、特征集C。
5)模型训练。设置分类回归树规模为100,树深度为8,初始化i=1。
6)第i棵分类回归树训练集生成。对每棵分类回归树分别采用有放回随 机抽样方式,抽取大小和S一样的训练集做为根节点样本。
7)第i棵分类回归树训练。将训练数据集S(i)随机分成10份,用于交叉 验证,随机选出其中的9份用于训练分类回归树,剩余的1份数据用来测试模 型的精度,将整个过程重复10次,用平均识别准确率作为最终的位置预测准 确率。
8)判断是否满足i>N,若不满足,转到步骤6),继续下一棵分类回归 树训练;否则,继续下一步骤。
9)完成离线训练。
10)结束。
手势识别结果如图11所示,本发明提出的方法对手势的平均识别精度为 91.47%(由图中A5表示),相比较于没有使用标准空间表示的方法(由图中 A6表示,精度为86.34%),精度提升5.13%。通过图12所示的标准差分析 发现,基于标准空间表示的方法除能够提升手势识别精度外,还能增加手势识 别的稳定性,本发明方法八个位置识别精度的标准差仅为0.0212,相比较于没 有使用标准空间表示的方法(标准差为0.0639),标准差降低0.0427。
在线位置识别的过程如图10所示,主要步骤包括:
1)使用Myo以200kHz的采样频率采集肌电信号,Myo按照图7所示的 方式放置于前臂上端,由于Myo含有8块电极,所以获取的肌电信号共包括 8个通道数据。
2)第i时刻原始信号特征构建。对采集到的第i时刻的肌电信号进行卡尔 曼滤波、滑动窗分割、经验模态分解、特征提取等处理操作,处理方法和离线 训练阶段相同。
3)第i时刻特征的标准空间表示。按照基于标准空间的特征表示方法, 将原始手势特征集转化为标准空间表示,处理方法和离线训练阶段相同,生成 第i时刻预测样本。
4)基于随机森林模型手势在线识别。将第i时刻预测样本输入到手势识 别模型中,并初始化j=1。
5)手势识别。将预测样本输入到第j棵分类回归树中,输出第i时刻手势 识别概率向量Pi,j,n;。
6)判断是否满足j>N,若不满足,转到步骤6),继续下一棵分类回归 树识别;否则,继续下一步骤。
7)按照公式(9)求出最终手势识别结果,并输出。
8)结束。
Claims (10)
1.一种肌电手势识别方法,其特征在于包括:
步骤1、采集手势的肌电信号,对该手势肌电信号进行数据分割并分解为本征模函数分量;对该手势肌电信号和该本征模函数分量提取细粒度特征,将该细粒度特征按手势特征构建手势特征集;使用该手势特征集对肌电臂环上的佩戴位置预测模型进行训练;
步骤2、使用该手势特征集通过肌电臂环上的佩戴位置预测模型进行肌电臂环位置预测,得到该手势肌电臂环位置预测结果;根据该预测结果,将该手势特征集进行以标准空间表示的变换,生成标准空间表示的手势特征集;将该标准空间表示的手势特征集建立手势识别模型,并采用随机森林算法对该手势识别模型进行训练;
步骤3、采集当前时刻肌电信号,经数据分割、分解、细粒度特征提取后,构建当前时刻肌电信号的特征集,对该特征集进行以标准空间表示的变换,生成当前时刻标准空间表示的特征集,将该当前时刻标准空间表示的特征集通过手势识别模型得到当前时刻手势识别结果。
2.如权利要求1所述的肌电手势识别方法,其特征在于,该手势为手指运动手势、手腕运动手势,手掌运动手势中的任一手势。
3.如权利要求1所述的肌电手势识别方法,其特征在于,该细粒度特征包括:绝对平均值、第一修正绝对平均值、第二修正绝对平均值、平均绝对值偏差、均方根值、方差、波形长度共7项时域和频率中位数、频率平均数、修正频率中值共3项频域特征。
4.如权利要求1所述的肌电手势识别方法,其特征在于,进行以标准空间表示的变换包括:
在得到该手势肌电臂环位置预测结果Li后,Li∈[1,2,...,Enum+1),将该手势特征集EMGi,j变换成标准空间表示的特征集EMG'i,j:
<mrow>
<msubsup>
<mi>EMG</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>EMG</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>v</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>+</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>EMG</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>v</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>+</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>,</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>></mo>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>EMG</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>v</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>+</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>EMG</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>v</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>+</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>,</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo><</mo>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>EMG</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>v</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>+</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>,</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>,</mo>
</mrow>
其中Enum为肌电臂环的电极数目。
5.如权利要求1所述的肌电手势识别方法,其特征在于,步骤3包括:
采集第i时刻肌电信号,对该肌电信号进行滤波、滑动窗分割、经验模态分解、特征提取等处理操作,按照基于标准空间表示的变换方法,将原始手势特征集变换成标准空间表示的手势特征集,生成第i时刻预测样本,将该预测样本输入到分类回归树中,输出第i时刻手势识别概率向量Pi,j,n,按照公式得出第i时刻手势识别结果;其中Gi为当前时刻手势识别结果,G为手势总数,N为分类回归树总数,i为时间参数,j、n为序数,Gi、G、N、j、n均为正整数。
6.肌电手势识别系统,其特征在于包括:
特征集构建模块,用于根据手势特征采集肌电信号,对该信号进行滑动窗口分割、基于经验模态的本征模函数分解,并建立该手势特征的训练集和特征集;
基于标准空间的特征表示模块,用于将该手势特征的训练集和特征集通过肌电臂环上的佩戴位置预测模型,并转化为基于标准空间的特征表示;
手势识别模块,用于生成手势识别模型,并利用该模型进行手势识别。
7.如权利要求6所述的肌电手势识别系统,其特征在于,特征构建模块包括:
细粒度特征提取模块,用于提取绝对平均值、第一修正绝对平均值、第二修正绝对平均值、平均绝对值偏差、均方根值、方差、波形长度7项时域和频率中位数、频率平均数、修正频率中值3项频域特征。
8.如权利要求6所述的肌电手势识别系统,其特征在于,基于标准空间的特征表示模块包括:
标准空间表示模块,用于根据肌电臂环的佩戴位置预测结果,将该手势肌电信号特征集进行以标准空间表示的变换,生成标准空间表示的特征集。
9.如权利要求6所述的肌电手势识别系统,其特征在于,手势识别模块包括:
模型离线训练模块,用于将完成标准空间表示变换的手势肌电信号特征集,构建手势识别模型,并采用随机森林算法对该模型进行训练。
10.如权利要求6所述的肌电手势识别系统,其特征在于,手势识别模块包括:
在线位置预测模块,用于将完成标准空间表示的变换的手势肌电信号特征集,通过经训练的手势识别模型,得到手势识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710566320.7A CN107480697B (zh) | 2017-07-12 | 2017-07-12 | 一种肌电手势识别方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710566320.7A CN107480697B (zh) | 2017-07-12 | 2017-07-12 | 一种肌电手势识别方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107480697A true CN107480697A (zh) | 2017-12-15 |
CN107480697B CN107480697B (zh) | 2020-04-03 |
Family
ID=60596438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710566320.7A Active CN107480697B (zh) | 2017-07-12 | 2017-07-12 | 一种肌电手势识别方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107480697B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108325077A (zh) * | 2018-01-23 | 2018-07-27 | 佛山科学技术学院 | 一种基于虚拟现实技术的手功能康复系统 |
CN108564105A (zh) * | 2018-02-28 | 2018-09-21 | 浙江工业大学 | 一种针对肌电个体差异问题的在线手势识别方法 |
CN108681685A (zh) * | 2018-03-23 | 2018-10-19 | 天津科技大学 | 一种基于人体表面肌电信号的躯干动作意图识别方法 |
CN110604578A (zh) * | 2019-09-04 | 2019-12-24 | 平顶山学院 | 基于semg的人手手内动作识别方法 |
CN110703915A (zh) * | 2019-09-27 | 2020-01-17 | 杭州电子科技大学 | 一种用于同步识别手势和抓取力的粒子化方法及粒子化分析法 |
CN111046731A (zh) * | 2019-11-11 | 2020-04-21 | 中国科学院计算技术研究所 | 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 |
CN111367399A (zh) * | 2018-12-26 | 2020-07-03 | 中国科学院沈阳自动化研究所 | 一种表面肌电信号手势识别方法 |
CN111695446A (zh) * | 2020-05-26 | 2020-09-22 | 浙江工业大学 | 一种融合sEMG和AUS的手势识别方法 |
CN111714122A (zh) * | 2020-06-22 | 2020-09-29 | 北京海益同展信息科技有限公司 | 肌电模式识别方法、装置、设备和计算机可读存储介质 |
CN112861796A (zh) * | 2021-03-12 | 2021-05-28 | 中国科学院计算技术研究所 | 特征自适应的动作识别方法 |
CN115114962A (zh) * | 2022-07-19 | 2022-09-27 | 歌尔股份有限公司 | 基于表面肌电信号的控制方法、装置及可穿戴设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103777752A (zh) * | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
CN104134060A (zh) * | 2014-08-03 | 2014-11-05 | 上海威璞电子科技有限公司 | 基于肌电信号和运动传感器的手语翻译和显示发声系统 |
CN105608432A (zh) * | 2015-12-21 | 2016-05-25 | 浙江大学 | 一种基于瞬时肌电图像的手势识别方法 |
CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
CN106383579A (zh) * | 2016-09-14 | 2017-02-08 | 西安电子科技大学 | 一种基于emg和fsr的精细手势识别系统及方法 |
-
2017
- 2017-07-12 CN CN201710566320.7A patent/CN107480697B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103777752A (zh) * | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
CN104134060A (zh) * | 2014-08-03 | 2014-11-05 | 上海威璞电子科技有限公司 | 基于肌电信号和运动传感器的手语翻译和显示发声系统 |
CN105608432A (zh) * | 2015-12-21 | 2016-05-25 | 浙江大学 | 一种基于瞬时肌电图像的手势识别方法 |
CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
CN106383579A (zh) * | 2016-09-14 | 2017-02-08 | 西安电子科技大学 | 一种基于emg和fsr的精细手势识别系统及方法 |
Non-Patent Citations (5)
Title |
---|
CHRISTOPH AMMA 等: "dvancing Muscle-Computer Interfaces with High-Density Electromyography", 《CHI"15 PROCEEDINGS OF THE 33RD ANNUAL ACM CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS. ACM》 * |
KEVIN R.W.等: "Device control using gestures sensed from EMG", 《PROCEEDINGS OF THE 2003 IEEE INTERNATIONAL WORKSHOP ON SOFT COMPUTING IN INDUSTRIAL APPLICATIONS》 * |
YANJUAN GENG 等: "Toward attenuating the impact of arm positions on electromyography pattern-recognition based motion classification in transradial amputees", 《JOURNAL OF NEUROENGINEERING AND REHABILITATION 2012》 * |
李云: "基于肌电模式的中国手语识别研究及康复应用探索", 《中国博士学位论文全文数据库 医药卫生科技辑》 * |
顾景: "基于视觉与肌电信号的手势识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108325077A (zh) * | 2018-01-23 | 2018-07-27 | 佛山科学技术学院 | 一种基于虚拟现实技术的手功能康复系统 |
CN108564105A (zh) * | 2018-02-28 | 2018-09-21 | 浙江工业大学 | 一种针对肌电个体差异问题的在线手势识别方法 |
CN108681685A (zh) * | 2018-03-23 | 2018-10-19 | 天津科技大学 | 一种基于人体表面肌电信号的躯干动作意图识别方法 |
CN111367399A (zh) * | 2018-12-26 | 2020-07-03 | 中国科学院沈阳自动化研究所 | 一种表面肌电信号手势识别方法 |
CN111367399B (zh) * | 2018-12-26 | 2021-03-16 | 中国科学院沈阳自动化研究所 | 一种表面肌电信号手势识别方法 |
CN110604578A (zh) * | 2019-09-04 | 2019-12-24 | 平顶山学院 | 基于semg的人手手内动作识别方法 |
CN110703915A (zh) * | 2019-09-27 | 2020-01-17 | 杭州电子科技大学 | 一种用于同步识别手势和抓取力的粒子化方法及粒子化分析法 |
CN111046731A (zh) * | 2019-11-11 | 2020-04-21 | 中国科学院计算技术研究所 | 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 |
CN111695446A (zh) * | 2020-05-26 | 2020-09-22 | 浙江工业大学 | 一种融合sEMG和AUS的手势识别方法 |
CN111714122A (zh) * | 2020-06-22 | 2020-09-29 | 北京海益同展信息科技有限公司 | 肌电模式识别方法、装置、设备和计算机可读存储介质 |
CN112861796A (zh) * | 2021-03-12 | 2021-05-28 | 中国科学院计算技术研究所 | 特征自适应的动作识别方法 |
CN115114962A (zh) * | 2022-07-19 | 2022-09-27 | 歌尔股份有限公司 | 基于表面肌电信号的控制方法、装置及可穿戴设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107480697B (zh) | 2020-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107480697B (zh) | 一种肌电手势识别方法和系统 | |
Li et al. | Sign language/gesture recognition based on cumulative distribution density features using UWB radar | |
Raurale et al. | Real-time embedded EMG signal analysis for wrist-hand pose identification | |
Lu et al. | Robust single accelerometer-based activity recognition using modified recurrence plot | |
CN110826625B (zh) | 一种基于表面肌电信号的手指手势分类方法 | |
Miften et al. | A new framework for classification of multi-category hand grasps using EMG signals | |
CN111046731B (zh) | 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 | |
Dehzangi et al. | IMU-based robust human activity recognition using feature analysis, extraction, and reduction | |
Fang et al. | Attribute-driven granular model for EMG-based pinch and fingertip force grand recognition | |
Xiao et al. | GADF/GASF-HOG: feature extraction methods for hand movement classification from surface electromyography | |
Wan et al. | A new subtle hand gestures recognition algorithm based on EMG and FSR | |
Mahmood et al. | Different model for hand gesture recognition with a novel line feature extraction | |
Lv et al. | Hand gestures recognition from surface electromyogram signal based on self-organizing mapping and radial basis function network | |
KR101307515B1 (ko) | 생체 신호 인식 장치 및 그 방법 | |
Fan et al. | Wearable motion attitude detection and data analysis based on Internet of Things | |
Sharma et al. | Trbaggboost: An ensemble-based transfer learning method applied to Indian Sign Language recognition | |
Kanoga et al. | Subject transfer framework based on source selection and semi-supervised style transfer mapping for sEMG pattern recognition | |
Chang et al. | A hierarchical hand motions recognition method based on IMU and sEMG sensors | |
Srinivasan et al. | Finger movement classification from myoelectric signals using convolutional neural networks | |
Wu et al. | Unknown motion rejection in myoelectric pattern recognition using convolutional prototype network | |
Samadani | EMG channel selection for improved hand gesture classification | |
Lyu et al. | Multiscale echo self-attention memory network for multivariate time series classification | |
CN106845348A (zh) | 一种基于手臂表面肌电信号的手势识别方法 | |
Emimal et al. | Classification of EMG signals with CNN features and voting ensemble classifier | |
Tomczyński et al. | Hand gesture-based interface with multichannel sEMG band enabling unknown gesture discrimination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |