CN112603758A - 一种基于sEMG与IMU信息融合的手势识别方法 - Google Patents
一种基于sEMG与IMU信息融合的手势识别方法 Download PDFInfo
- Publication number
- CN112603758A CN112603758A CN202011518714.3A CN202011518714A CN112603758A CN 112603758 A CN112603758 A CN 112603758A CN 202011518714 A CN202011518714 A CN 202011518714A CN 112603758 A CN112603758 A CN 112603758A
- Authority
- CN
- China
- Prior art keywords
- semg
- imu
- matrix
- recognition method
- information fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004927 fusion Effects 0.000 title claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000010587 phase diagram Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 206010049565 Muscle fatigue Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 210000000245 forearm Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims 1
- 210000000852 deltoid muscle Anatomy 0.000 claims 1
- 230000000994 depressogenic effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 5
- 230000003183 myoelectrical effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000002567 electromyography Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- NIOPZPCMRQGZCE-WEVVVXLNSA-N 2,4-dinitro-6-(octan-2-yl)phenyl (E)-but-2-enoate Chemical compound CCCCCCC(C)C1=CC([N+]([O-])=O)=CC([N+]([O-])=O)=C1OC(=O)\C=C\C NIOPZPCMRQGZCE-WEVVVXLNSA-N 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010601 detection of muscle activity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
- A61H1/0237—Stretching or bending or torsioning apparatus for exercising for the lower limbs
- A61H1/0255—Both knee and hip of a patient, e.g. in supine or sitting position, the feet being moved together in a plane substantially parallel to the body-symmetrical plane
- A61H1/0262—Walking movement; Appliances for aiding disabled persons to walk
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1657—Movement of interface, i.e. force application means
- A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2230/00—Measuring physical parameters of the user
- A61H2230/08—Other bio-electrical signals
- A61H2230/085—Other bio-electrical signals used as a control parameter for the apparatus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2230/00—Measuring physical parameters of the user
- A61H2230/62—Posture
- A61H2230/625—Posture used as a control parameter for the apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Rehabilitation Therapy (AREA)
- Physical Education & Sports Medicine (AREA)
- Pain & Pain Management (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于sEMG与IMU信息融合的手势识别方法，涉及生物信号识别和深度学习技术领域，包括S100、手势离散动作划分；S200、多通道sEMG与IMU信号采集；S300、sEMG信号滤波去噪预处理；S400、sEMG图像化处理；S500、IMU多轴数据图像化表示；S600、sEMG多通道灰度图与IMU多轴数据灰度图融合；S700、分类器训练。本发明选用对二维图像处理性能非常好的卷积神经网络结构进行特征学习和分类训练，使得手势动作识别准确率和特征提取处理效率更高。
Description
技术领域
本发明涉及生物信号识别和深度学习技术领域，尤其涉及一种基于sEMG与IMU信息融合的手势识别方法。
背景技术
表面肌电信号(surface electromyography，缩写sEMG)是一种不平稳非周期的微弱信号，它是肌肉收缩时伴随的电信号，能够反应肌肉运动并提供肢体活动信息。sEMG采集技术成熟，蕴含信息丰富，且因可以在体表对肌肉活动进行无创检测而被广泛使用。惯性测量单元(intertial measurement unit，缩写IMU)是测量物体三轴姿态角以及加速度的装置，包含陀螺仪、加速度计和磁力计。通过获取、融合sEMG与IMU姿态信息并进一步识别人体的运动意图是辅助康复机器人、外骨骼助力机器人等设备的重要技术，是人机交互中的研究热点问题。
基于sEMG和IMU的意图识别主要包含信号特征提取与分类器设计两大问题。常用的多传感器融合融合方法是对sEMG和IMU信号分别提取时域或者频域等特征并在一维向量层次进行数据融合，之后对特征向量进行识别分类。但是sEMG是一种不平稳非周期的时序信号，其所提取的时域、频域特征具有不稳定性等局限性。
针对时域频域等特征在sEMG特征识别中的困难，一些学者开始从肌肉生物机理分析建模，Chen X，Yin Y，Fan Y.在EMG oscillator model-based energy kernel methodfor haracterizing muscle intrinsic property under isometric contraction[J].Chinese Science Bulletin，2014，59(14)：1556-1567提出能量核方法来估计肌肉收缩力及肌肉的一些固有特征，并通过实验证明该特征的鲁棒性和较强的泛化能力。对于sEMG能量核特征的研究，主要集中在如何更高效地计算能量核相图椭圆分布面积的方法上，缺乏统一的参数标准，还会遗漏能量核相图的其它特征导致特征提取不充分。对于IMU数据，常用特征提取方法为利用加速度、磁力计、陀螺仪数据进行姿态解算求解出姿态角度，也会导致特征提取不充分，计算时间复杂度较高等问题。
因此，本领域的技术人员致力于开发一种基于sEMG与IMU信息融合的手势识别方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题提高识别分类精度，克服sEMG与IMU数据融合时能量核特征提取与姿态解算的缺点。
发明人引入卷积神经网络(Convolutional Neural Network，CNN)对融合后的特征图进行网络学习与特征提取，新框架提取能量核相图以及将IMU数据进行时间窗灰度图表示，之后将两者融合并利用卷积神经网络特征图自动学习与训练，在一维特征向量上的融合会学习到更全面的特征并且更快，同时数据层次的二维图像融合方式省去了能量核面积计算和IMU姿态角结算的步骤，保留了数据信息，识别准确率将会更高。
发明人采用多通道肌电传感器获取sEMG信号，利用IMU采集加速度、陀螺仪和磁力计数据，本发明的一个实施例中，包括以下步骤：
S100、手势离散动作划分；
S200、多通道sEMG与IMU信号采集；
S300、sEMG信号滤波去噪预处理；
S400、sEMG图像化处理；
S500、IMU多轴数据图像化表示；
S600、sEMG多通道灰度图与IMU多轴数据灰度图融合；
S700、分类器训练；
可选地，在上述实施例中的基于sEMG与IMU信息融合的手势识别方法中，步骤S100的手势离散动作包括握拳、伸展、内挥手、外挥手、手枪手、剪刀手。
可选地，在上述任一实施例中的基于sEMG与IMU信息融合的手势识别方法中，步骤S200具体包括：
S210、在三角肌、上臂(肱二头肌和肱三头肌)、伸肌群放置三组肌电电极，分别有3、3、2个肌电电极，以1000Hz采样频率采集sEMG信号；
S220、在前臂和手背上放置两组IMU，以100Hz采样频率采集IMU信号；
S230、每个手势离散动作重复10次，每次间隔5秒钟，采用间歇性休息策略来避免肌肉疲劳，每一组动作做完休息5分钟。
可选地，在上述任一实施例中的基于sEMG与IMU信息融合的手势识别方法中，步骤S300包括：
S310、消除工频噪声，使用IIR数字陷波器对原始信号进行陷波处理；
S320、去除高频噪声，根据sEMG主要频率集中在0～500Hz，采用二阶巴特沃兹带通滤波器进行滤波。
进一步地，在上述实施例中的基于sEMG与IMU信息融合的手势识别方法中，所述二阶巴特沃兹带通滤波器通频带内频率响应曲线最大限度平坦，没有纹路，而在阻频带则逐渐下降为零，频率响应的模平方公式为：
其中N为滤波器阶数，N越大通带和阻带的近似性越好，过渡带也会越陡，ω是频率，ωc是截止频率，|H(jω)|2为幅度平方，优选N＝2，ωc＝500Hz。
可选地，在上述任一实施例中的基于sEMG与IMU信息融合的手势识别方法中，步骤S400包括：
S410、能量核相图制作，使用滑动时间窗法分割信号段，将预处理后的肌电信号按照“时间窗+增量窗”的方式进行分割，K时刻划取信号的时间窗长度为WT，与K+1时刻相比有ST长度的增量，ST即增量窗。时间窗和增量窗大小分别是200ms与100ms，在每个时间窗内分别提取各个采样点的幅值作为横坐标x，幅值对时间的变化作为纵坐标y，在x-y平面内绘制sEMG能量核相图；
S420、干扰点滤除，sEMG能量核相位图呈椭圆区域分布，将偏离椭圆中心较远的离散点进行过滤，使得相图分布更加准确；
S430、矩阵计数，采用大小为18*18的矩阵覆盖相图，矩阵每个单元格的大小如下计算：
width＝(xmax-xmin)/N1，length＝(ymax-ymin)/N2
其中：xmax、ymax、xmin、ymin分别表示手势sEMG信号能量核x-y相图坐标的最大值与最小值；N1,N2表示计数矩阵的尺寸，统计矩阵各个单元格内的样本点的数目，每个通道肌电信号在一个时间窗内对应一个计数矩阵；
S440、滑动滤波，为了避免矩阵图像中心出现凹陷，采用移动平均的方法对矩阵图像进行滑动滤波，公式如下：
S450、添加面积因子，为每个计数矩阵添加面积因子，用来降低矩阵单元格大小不同带来的影响，形成18*18的灰度图像：
image＝matrix*(width*length)。
其中，image表示处理后的灰度图，matrix为计数矩阵，width和length分别表示计数矩阵单元格的宽和长。
可选地，在上述任一实施例中的基于sEMG与IMU信息融合的手势识别方法中，步骤S500包括：
S510、矩阵化表示，对采集的两个IMU数据共18轴数据滤波去噪后分别按照X、Y、Z轴方向数据分组进行排列，采取“时间窗+增量窗”的方式分段，时间窗为180ms(18采样点)，增量窗为90ms(9采样点)，将每个时间窗内各个信号的幅值矩阵化表示，形成18*18的矩阵，矩阵的每个元素对应时间窗覆盖的各轴采样点幅值；
S520、归一化处理，对幅值矩阵各元素数值进行归一化，映射处理成为像素值分布在0～255的灰度图像。
可选地，在上述任一实施例中的基于sEMG与IMU信息融合的手势识别方法中，步骤S300和步骤S400串行进行，步骤S300和S400与步骤S500可并行进行，无先后顺序要求。
可选地，在上述任一实施例中的基于sEMG与IMU信息融合的手势识别方法中，步骤S600包括：
S610、将sEMG多通道灰度图和IMU多轴数据灰度图按照肌电电极与IMU传感器的空间相对位置进行融合；
S620、按照空间排列顺序拼接成54*54的灰度图像，并为每一张融合后的图像打上动作标签。
可选地，在上述任一实施例中的基于sEMG与IMU信息融合的手势识别方法中，步骤S700包括：
S710、搭建卷积神经网络，包含三层卷积层、三层池化层，激活函数采用线性整流函数(Rectified Linear Unit,ReLU)，池化采用最大(Max pooling)策略，损失函数为交叉熵函数，优化器为Adam，采用随机梯度下降优化算法，学习率为lr＝0.0001；
S720、对训练集采用5折交叉验证进行参数优化，根据交叉验证结果确定卷积神经网络的损失函数变化判断过拟合现象，确定卷积神经网络的迭代次数，采取Dropout正则化每次训练随机丢弃50％的输出特征来降低过拟合程度；
S730、输出层采用softmax多分类器，公式如下：
其中，z是softmax的输入，维度为C，yi是预测对象属于第C类的概率。
本发明的sEMG能量核相图与IMU多轴数据融合的卷积神经网络手势识别方法将多传感器数据在二维层次上进行图像融合，分别将sEMG与IMU数据用能量核相图和时间窗灰度图像表示，既克服了sEMG时域与频域特征提取的局限性以及能量核面积计算的过程，又省去了IMU姿态解算的步骤，充分保留了传感器数据信息，选用对二维图像处理性能非常好的卷积神经网络结构进行特征学习和分类训练，使得手势动作识别准确率和特征提取处理效率更高。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是图示根据示例性实施例的基于sEMG与IMU信息融合的手势识别方法流程图；
图2是图示根据示例性实施例的sEMG图像化处理流程图；
图3是图示根据示例性实施例的滑动时间窗法分割信号段示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方示意性地适当夸大了部件的厚度。
发明人采用多通道肌电传感器获取sEMG信号，利用IMU采集加速度、陀螺仪和磁力计数据，本设计了一种基于sEMG与IMU信息融合的手势识别方法，包括以下步骤：
S100、手势离散动作划分，包括握拳、伸展、内挥手、外挥手、手枪手、剪刀手；
S200、多通道sEMG与IMU信号采集，具体包括：
S210、在三角肌、上臂(肱二头肌和肱三头肌)、伸肌群放置三组肌电电极，分别有3、3、2个肌电电极，以1000Hz采样频率采集sEMG信号；
S220、在前臂和手背上放置两组IMU，以100Hz采样频率采集IMU信号；
S230、每个手势离散动作重复10次，每次间隔5秒钟，采用间歇性休息策略来避免肌肉疲劳，每一组动作做完休息5分钟；
S300、sEMG信号滤波去噪预处理，具体包括：
S310、消除工频噪声，使用IIR数字陷波器对原始信号进行陷波处理；
S320、去除高频噪声，根据sEMG主要频率集中在0～500Hz，采用二阶巴特沃兹带通滤波器进行滤波，二阶巴特沃兹带通滤波器通频带内频率响应曲线最大限度平坦，没有纹路，而在阻频带则逐渐下降为零，频率响应的模平方公式为：
其中N为滤波器阶数，N越大通带和阻带的近似性越好，过渡带也会越陡，ω是频率，ωc是截止频率，|H(jω)|2为幅度平方，优选N＝2，ωc＝500Hz；
S400、sEMG图像化处理，如图2所示，具体包括：
S410、能量核相图制作，使用滑动时间窗法分割信号段，将预处理后的肌电信号按照“时间窗+增量窗”的方式进行分割，如图3所示，K时刻划取信号的时间窗长度为WT，与K+1时刻相比有ST长度的增量，ST即增量窗。时间窗和增量窗大小分别是200ms与100ms，在每个时间窗内分别提取各个采样点的幅值作为横坐标x，幅值对时间的变化作为纵坐标y，在x-y平面内绘制sEMG能量核相图；
S420、干扰点滤除，sEMG能量核相位图呈椭圆区域分布，将偏离椭圆中心较远的离散点进行过滤，使得相图分布更加准确；
S430、矩阵计数，采用大小为18*18的矩阵覆盖相图，矩阵每个单元格的大小如下计算：
width＝(xmax-xmin)/N1，length＝(ymax-ymin)/N2
其中：xmax、ymax、xmin、ymin分别表示手势sEMG信号能量核x-y相图坐标的最大值与最小值；N1,N2表示计数矩阵的尺寸，统计矩阵各个单元格内的样本点的数目，每个通道肌电信号在一个时间窗内对应一个计数矩阵；
S440、滑动滤波，为了避免矩阵图像中心出现凹陷，采用移动平均的方法对矩阵图像进行滑动滤波，公式如下：
S450、添加面积因子，为每个计数矩阵添加面积因子，用来降低矩阵单元格大小不同带来的影响，形成18*18的灰度图像：
image＝matrix*(width*length)。
其中，image表示处理后的灰度图，matrix为计数矩阵，width和length分别表示计数矩阵单元格的宽和长；
S500、IMU多轴数据图像化表示，具体包括：
S510、矩阵化表示，对采集的两个IMU数据共18轴数据滤波去噪后分别按照X、Y、Z轴方向数据分组进行排列，采取“时间窗+增量窗”的方式分段，时间窗为180ms(18采样点)，增量窗为90ms(9采样点)，将每个时间窗内各个信号的幅值矩阵化表示，形成18*18的矩阵，矩阵的每个元素对应时间窗覆盖的各轴采样点幅值；
S520、归一化处理，对幅值矩阵各元素数值进行归一化，映射处理成为像素值分布在0～255的灰度图像；
S600、sEMG多通道灰度图与IMU多轴数据灰度图融合，具体包括：
S610、将sEMG多通道灰度图和IMU多轴数据灰度图按照肌电电极与IMU传感器的空间相对位置进行融合；
S620、按照空间排列顺序拼接成54*54的灰度图像，并为每一张融合后的图像打上动作标签；
S700、分类器训练，具体包括：
S710、搭建卷积神经网络，包含三层卷积层、三层池化层，激活函数采用线性整流函数(Rectified Linear Unit,ReLU)，池化采用最大(Max pooling)策略，损失函数为交叉熵函数，优化器为Adam，采用随机梯度下降优化算法，学习率为lr＝0.0001；
S720、对训练集采用5折交叉验证进行参数优化，根据交叉验证结果确定卷积神经网络的损失函数变化判断过拟合现象，确定卷积神经网络的迭代次数，采取Dropout正则化每次训练随机丢弃50％的输出特征来降低过拟合程度；
S730、输出层采用softmax多分类器，公式如下：
其中，z是softmax的输入，维度为C，yi是预测对象属于第C类的概率。
以上步骤S300和步骤S400串行进行，步骤S300和S400与步骤S500可并行进行，无先后顺序要求。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于sEMG与IMU信息融合的手势识别方法，其特征在于，包括如下步骤：
S100、手势离散动作划分；
S200、多通道sEMG与IMU信号采集；
S300、sEMG信号滤波去噪预处理；
S400、sEMG图像化处理；
S500、IMU多轴数据图像化表示；
S600、sEMG多通道灰度图与IMU多轴数据灰度图融合；
S700、分类器训练。
2.如权利要求1所述的基于sEMG与IMU信息融合的手势识别方法，其特征在于，所述手势离散动作包括握拳、伸展、内挥手、外挥手、手枪手、剪刀手。
3.如权利要求2所述的基于sEMG与IMU信息融合的手势识别方法，其特征在于，所述步骤S200具体包括：
S210、在三角肌、上臂、伸肌群放置三组肌电电极，分别有3、3、2个所述肌电电极，以1000Hz采样频率采集sEMG信号；
S220、在前臂和手背上放置两组IMU，以100Hz采样频率采集IMU信号；
S230、每个所述手势离散动作重复10次，每次间隔5秒钟，采用间歇性休息策略来避免肌肉疲劳，每一组动作做完休息5分钟。
4.如权利要求3所述的基于sEMG与IMU信息融合的手势识别方法，其特征在于，所述步骤S300包括：
S310、消除工频噪声，使用IIR数字陷波器对原始信号进行陷波处理；
S320、去除高频噪声，根据sEMG主要频率集中在0～500Hz，采用二阶巴特沃兹带通滤波器进行滤波。
5.如权利要求4所述的基于sEMG与IMU信息融合的手势识别方法，其特征在于，所述二阶巴特沃兹带通滤波器通频带内频率响应曲线最大限度平坦，没有纹路，而在阻频带则逐渐下降为零，频率响应的模平方公式为：
6.如权利要求4所述的基于sEMG与IMU信息融合的手势识别方法，其特征在于，所述步骤S400包括：
S410、能量核相图制作，使用滑动时间窗法分割信号段，将预处理后的肌电信号按照“时间窗+增量窗”的方式进行分割，K时刻划取信号的时间窗长度为WT，与K+1时刻相比有ST长度的增量，ST即增量窗，在每个所述时间窗内分别提取各个采样点的幅值作为横坐标x，所述幅值对时间的变化作为纵坐标y，在x-y平面内绘制sEMG能量核相图；
S420、干扰点滤除，所述sEMG能量核相位图呈椭圆区域分布，将偏离椭圆中心较远的离散点进行过滤，使得所述sEMG能量核分布更加准确；
S430、矩阵计数，采用大小为18*18的矩阵覆盖相图，所述矩阵每个单元格的大小如下计算：
width＝(xmax-xmin)/N1，length＝(ymax-ymin)/N2，
统计所述矩阵各个单元格内的样本点的数目，每个通道肌电信号在一个时间窗内对应一个计数矩阵；
S440、滑动滤波，为了避免矩阵图像中心出现凹陷，采用移动平均的方法对所述矩阵图像进行滑动滤波，公式如下：
S450、添加面积因子，为每个所述计数矩阵添加面积因子，形成18*18的sEMG多通道灰度图：
image＝matrix*(width*length)。
7.如权利要求6所述的基于sEMG与IMU信息融合的手势识别方法，其特征在于，所述步骤S500包括：
S510、矩阵化表示，对采集的两个IMU数据共18轴数据滤波去噪后分别按照X、Y、Z轴方向数据分组进行排列，采取“时间窗+增量窗”的方式分段，所述时间窗为180ms，所述增量窗为90ms，将每个所述时间窗内各个信号的幅值矩阵化表示，形成18*18的矩阵，所述矩阵的每个元素对应时间窗覆盖的各轴采样点幅值；
S520、归一化处理，对所述幅值矩阵各元素数值进行归一化，映射处理成为像素值分布在0～255的IMU多轴数据灰度图。
8.如权利要求7所述的基于sEMG与IMU信息融合的手势识别方法，其特征在于，所述步骤S300和所述步骤S400串行进行，所述步骤S300和所述步骤S400与所述步骤S500可并行进行，无先后顺序要求。
9.如权利要求7所述的基于sEMG与IMU信息融合的手势识别方法，其特征在于，所述步骤S600包括：
S610、将所述sEMG多通道灰度图和所述IMU多轴数据灰度图按照肌电电极与IMU传感器的空间相对位置进行融合；
S620、按照空间排列顺序拼接成54*54的灰度图像，并为每一张融合后的图像打上动作标签。
10.如权利要求9所述的基于sEMG与IMU信息融合的手势识别方法，其特征在于，所述步骤S700包括：
S710、搭建卷积神经网络，包含三层卷积层、三层池化层，激活函数采用线性整流函数，池化采用最大策略，损失函数为交叉熵函数，优化器为Adam，采用随机梯度下降优化算法，学习率为lr＝0.0001；
S720、对训练集采用5折交叉验证进行参数优化，根据交叉验证结果确定所述卷积神经网络的损失函数变化判断过拟合现象，确定所述卷积神经网络的迭代次数，采取Dropout正则化每次训练随机丢弃50％的输出特征来降低过拟合程度；
S730、输出层采用softmax多分类器，公式如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011518714.3A CN112603758A (zh) | 2020-12-21 | 2020-12-21 | 一种基于sEMG与IMU信息融合的手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011518714.3A CN112603758A (zh) | 2020-12-21 | 2020-12-21 | 一种基于sEMG与IMU信息融合的手势识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112603758A true CN112603758A (zh) | 2021-04-06 |
Family
ID=75243864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011518714.3A Pending CN112603758A (zh) | 2020-12-21 | 2020-12-21 | 一种基于sEMG与IMU信息融合的手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112603758A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205074A (zh) * | 2021-05-29 | 2021-08-03 | 浙江大学 | 一种融合肌电和微惯性测量单元多模态信号的手势识别方法 |
| CN113970968A (zh) * | 2021-12-22 | 2022-01-25 | 深圳市心流科技有限公司 | 一种智能仿生手的动作预判方法 |
| CN114115531A (zh) * | 2021-11-11 | 2022-03-01 | 合肥工业大学 | 一种基于注意力机制的端到端手语识别方法 |
| CN114265498A (zh) * | 2021-12-16 | 2022-04-01 | 中国电子科技集团公司第二十八研究所 | 一种多模态手势识别和视觉反馈机制结合的方法 |
| CN114683292A (zh) * | 2022-06-01 | 2022-07-01 | 深圳市心流科技有限公司 | 肌电设备的采样频率控制方法、智能仿生手及存储介质 |
| CN114863572A (zh) * | 2022-07-07 | 2022-08-05 | 四川大学 | 一种多通道异构传感器的肌电手势识别方法 |
| CN115980298A (zh) * | 2023-03-20 | 2023-04-18 | 山东思睿环境设备科技有限公司 | 一种基于多参数适应性水质检测分析方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106569606A (zh) * | 2016-11-08 | 2017-04-19 | 上海交通大学 | 一种基于自然手势识别的智能家居红外控制系统与方法 |
| CN109271901A (zh) * | 2018-08-31 | 2019-01-25 | 武汉大学 | 一种基于多源信息融合的手语识别方法 |
| CN110443309A (zh) * | 2019-08-07 | 2019-11-12 | 浙江大学 | 一种结合跨模态关联关系模型的肌电信号手势识别方法 |
| CN111722713A (zh) * | 2020-06-12 | 2020-09-29 | 天津大学 | 多模态融合的手势键盘输入方法、设备、系统及存储介质 |
-
2020
- 2020-12-21 CN CN202011518714.3A patent/CN112603758A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106569606A (zh) * | 2016-11-08 | 2017-04-19 | 上海交通大学 | 一种基于自然手势识别的智能家居红外控制系统与方法 |
| CN109271901A (zh) * | 2018-08-31 | 2019-01-25 | 武汉大学 | 一种基于多源信息融合的手语识别方法 |
| CN110443309A (zh) * | 2019-08-07 | 2019-11-12 | 浙江大学 | 一种结合跨模态关联关系模型的肌电信号手势识别方法 |
| CN111722713A (zh) * | 2020-06-12 | 2020-09-29 | 天津大学 | 多模态融合的手势键盘输入方法、设备、系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张贤富: "面向多人机差异场景的肌电步态识别影响研究及应用", 《中国博士学位论文全文数据库信息科技辑》, 15 August 2020 (2020-08-15), pages 67 - 82 * |
| 石欣: "基于改进能量核的下肢表面肌电信号特征提取方法", 《仪器仪表学报》, 31 January 2020 (2020-01-31), pages 122 - 125 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205074A (zh) * | 2021-05-29 | 2021-08-03 | 浙江大学 | 一种融合肌电和微惯性测量单元多模态信号的手势识别方法 |
| CN114115531A (zh) * | 2021-11-11 | 2022-03-01 | 合肥工业大学 | 一种基于注意力机制的端到端手语识别方法 |
| CN114265498A (zh) * | 2021-12-16 | 2022-04-01 | 中国电子科技集团公司第二十八研究所 | 一种多模态手势识别和视觉反馈机制结合的方法 |
| CN114265498B (zh) * | 2021-12-16 | 2023-10-27 | 中国电子科技集团公司第二十八研究所 | 一种多模态手势识别和视觉反馈机制结合的方法 |
| CN113970968A (zh) * | 2021-12-22 | 2022-01-25 | 深圳市心流科技有限公司 | 一种智能仿生手的动作预判方法 |
| CN113970968B (zh) * | 2021-12-22 | 2022-05-17 | 深圳市心流科技有限公司 | 一种智能仿生手的动作预判方法 |
| CN114683292A (zh) * | 2022-06-01 | 2022-07-01 | 深圳市心流科技有限公司 | 肌电设备的采样频率控制方法、智能仿生手及存储介质 |
| CN114863572A (zh) * | 2022-07-07 | 2022-08-05 | 四川大学 | 一种多通道异构传感器的肌电手势识别方法 |
| CN114863572B (zh) * | 2022-07-07 | 2022-09-23 | 四川大学 | 一种多通道异构传感器的肌电手势识别方法 |
| CN115980298A (zh) * | 2023-03-20 | 2023-04-18 | 山东思睿环境设备科技有限公司 | 一种基于多参数适应性水质检测分析方法及装置 |
| CN115980298B (zh) * | 2023-03-20 | 2023-07-21 | 山东思睿环境设备科技有限公司 | 一种基于多参数适应性水质检测分析方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112603758A (zh) | 一种基于sEMG与IMU信息融合的手势识别方法 | |
| Shen et al. | Movements classification of multi-channel sEMG based on CNN and stacking ensemble learning | |
| CN113505822B (zh) | 基于表面肌电信号的多尺度信息融合上肢动作分类方法 | |
| CN110555468A (zh) | 一种联合递归图和cnn的脑电信号识别方法及系统 | |
| CN110610158A (zh) | 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统 | |
| CN113128552A (zh) | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 | |
| WO2021184599A1 (zh) | 一种基于ms-cnn的p300信号识别方法、装置及存储介质 | |
| CN112732092B (zh) | 基于双视图多尺度卷积神经网络的表面肌电信号识别方法 | |
| CN111178288A (zh) | 基于局部误差逐层训练的人体姿态识别方法和装置 | |
| CN111783719A (zh) | 一种肌电控制方法及装置 | |
| CN113598759A (zh) | 一种基于肌电特征优化的下肢动作识别方法及系统 | |
| CN113143676A (zh) | 一种基于脑肌电协同的外肢体手指的控制方法 | |
| CN115238796A (zh) | 基于并行damscn-lstm的运动想象脑电信号分类方法 | |
| CN112883922B (zh) | 基于CNN-BiGRU神经网络融合的手语识别方法 | |
| CN111950460B (zh) | 一种自适应肌力的卒中患者手部康复训练动作识别方法 | |
| CN112998725A (zh) | 一种基于运动观察的脑机接口技术的康复方法与系统 | |
| CN112405539B (zh) | 一种基于肌电信号和脑电错误电位的机器人自然控制方法 | |
| KR100994408B1 (ko) | 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치 | |
| CN108874137A (zh) | 一种基于脑电信号的手势动作意图检测的通用模型 | |
| CN116910464A (zh) | 一种肌电信号假肢手控制系统及方法 | |
| Krishnapriya et al. | Surface electromyography based hand gesture signal classification using 1d cnn | |
| CN114159080B (zh) | 上肢康复机器人运动意图识别模型训练、识别方法及装置 | |
| Fukuda et al. | Bimodal control of a vision-based myoelectric hand | |
| Qi et al. | Recognition of composite motions based on sEMG via deep learning | |
| CN114298978A (zh) | 基于近红外摄像与深度学习的人手腕脉口位置精准定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210406 |