CN110794961A - 一种穿戴式手势解析系统 - Google Patents
一种穿戴式手势解析系统 Download PDFInfo
- Publication number
- CN110794961A CN110794961A CN201910972003.4A CN201910972003A CN110794961A CN 110794961 A CN110794961 A CN 110794961A CN 201910972003 A CN201910972003 A CN 201910972003A CN 110794961 A CN110794961 A CN 110794961A
- Authority
- CN
- China
- Prior art keywords
- module
- gesture
- unit
- electrically connected
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 9
- 230000033001 locomotion Effects 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 210000000245 forearm Anatomy 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Biomedical Technology (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Probability & Statistics with Applications (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种穿戴式手势解析系统，涉及手势识别领域，其包括主控模块、手臂驱动电路、机械手臂、多路表面电极模块、数据手套模块，所述主控模块包括分类器训练模块、手势识别模块、信号处理模块、个体参数微调模块、运控控制模块，所述表面电极模块与所述信号处理模块电连接，所述信号处理模块、所述分类器训练模块、所述个体参数微调模块均与所述手势识别模块电连接，所述手势识别模块与所述运动控制模块电连接，本方案能够将表面肌电信号与手势建立对应关系，可实时将表面肌电信号转换为对应手势指令，这样能够将解析后的手势指令通过无线方式传输至远端，也可将手势指令翻译为机械手控制指令，实现表面肌电信号控制机械手的精细化动作。
Description
技术领域
本发明涉及手势识别领域，尤其涉及一种穿戴式手势解析系统。
背景技术
手势识别是通过传感器获取与手势有关的信息，以模式识别的方法判别手势的种类。手势识别具有对电子设备与电器的控制、残疾人的生活辅助、交互式游戏娱乐、作战指挥等多方面的用途。
当做某种手势时，相应的肌肉会产生微弱的生物电流，即表面肌电信号（sEMG）。对相应的表面肌电信号提取特征参数和分析可以识别出相应的手势。现有的基于表面肌电的手势解析系统难以同时做到高准确率和低时延，一些科研级设备虽然能识别多种手势但往往体积庞大，并不适合假肢和外骨骼等应用场景。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种穿戴式手势解析系统。
为了实现上述目的，本发明采用了如下技术方案：
一种穿戴式手势解析系统，包括主控模块、手臂驱动电路、机械手臂、多路表面电极模块、数据手套模块，所述主控模块包括分类器训练模块、手势识别模块、信号处理模块、个体参数微调模块、运控控制模块，所述表面电极模块与所述信号处理模块电连接，所述信号处理模块、所述分类器训练模块、所述个体参数微调模块均与所述手势识别模块电连接，所述手势识别模块与所述运动控制模块电连接，所述运动控制模块与所述手臂驱动电路无线信号连接；
所述分类器训练模块包括信号预处理单元、数据存储单元、手势分类器、手势分类参数存储单元，所述信号预处理单元与所述表面电极模块和所述数据手套模块电连接，所述信号预处理单元与所述数据存储单员电连接，所述型号处理单元与所述手势分类器电连接，所述手势分类器与所述手势参数存储单元电连接；
多路的所述表面电极模块包括均匀分布在前臂挽桡肱关节处的8个电极以及对应指浅屈肌和指长伸肌主要活动点上的各一个电极，单个所述表面电极模块包括高通滤波单元、仪表放大单元、差分偏置单元，所述高通滤波单元与所述仪表放大单元电连接，所述仪表放大单元与所述差分偏置单元电连接。
优选的，所述高通滤波单元的截止频率18Hz，用于滤除电极与皮肤相对运动的低频噪声，所述仪表放大单元用于将微弱的sEMG信号放大为可用模数转换器采集的大信号，所述差分偏置单元用于将仪表放大器输出的单端信号转换为差分信号。
优选的，所述手势分类器是通过基于深度卷积网路的手势分类器进行分类训练，所述深度卷积网络包括第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层和softmax函数。
优选的，所述第一卷积层每层包含32个卷积核，卷积核尺寸为5x5，步长为1，所述第二卷积层每层包含64个卷积核，卷积核尺寸为3x3，步长为1，所述全连接层包含128个单元。
优选的，所述手势分类器训练方法为梯度下降法。
本方案通过在肢体表面相应肌群上放置电极采集信号，并将采集到的信号进行放大预处理，利用这些信号对人的动作意图进行识别，最后根据识别的结果驱动假肢的电动机作出相应的动作，采用深度机器学习框架来从信号集中识别手势，该框架具有两个阶段：离线训练阶段和在线识别阶段。在训练阶段，给定预先采集的表面肌电信信号和对应手势，训练分类器用于识别肌电信号集属于哪个手势；在识别阶段，使用训练好的分类器识别信号集对应的手势。
本方案中用户佩戴设备后，系统使用采集到的标定数据适配预先训练好的模型，用户一般只需要将各种手势各做一遍即可得到高准确率的适配模型，将表面肌电信号与手势建立对应关系后，可实时将表面肌电信号转换为对应手势指令，这样能够将解析后的手势指令通过无线方式传输至远端，也可将手势指令翻译为机械手控制指令，实现表面肌电信号控制机械手的精细化动作。
附图说明
图1为本发明的模块示意图。
图2为本发明的表面电极模块示意图。
图3为本发明的分类器训练模块示意图。
图4为本发明的深度卷积网络结构示意图。
图5为本发明的电极位置布置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-5 一种穿戴式手势解析系统，包括主控模块、手臂驱动电路、机械手臂、多路表面电极模块、数据手套模块，主控模块包括分类器训练模块、手势识别模块、信号处理模块、个体参数微调模块、运控控制模块，表面电极模块与 信号处理模块电连接，信号处理模块、分类器训练模块、个体参数微调模块均与手势识别模块电连接，手势识别模块与运动控制模块电连接，运动控制模块与手臂驱动电路无线信号连接；
分类器训练模块包括信号预处理单元、数据存储单元、手势分类器、手势分类参数存储单元，信号预处理单元与表面电极模块和数据手套模块电连接，信号预处理单元与数据存储单员电连接，型号处理单元与 手势分类器电连接，手势分类器与手势参数存储单元电连接；
多路的所述表面电极模块包括均匀分布在前臂挽桡肱关节处的8个电极以及对应指浅屈肌和指长伸肌主要活动点上的各一个电极，前臂挽桡肱关节集中了除拇指外其他手指活动的肌肉，可以检测到较强的肌肉电信号，浅屈肌和指长伸肌与拇指活动关联，在这两处放置电极有助于系统整体的手势识别准确度，单个所述表面电极模块包括高通滤波单元、仪表放大单元、差分偏置单元， 高通滤波单元与仪表放大单元电连接，仪表放大单元与差分偏置单元电连接，高通滤波单元为高通滤波器，仪表放大单元为仪表放大器。
高通滤波单元的截止频率18Hz，用于滤除电极与皮肤相对运动的低频噪声，仪表放大单元用于将微弱的sEMG信号放大为可用模数转换器（ADC）采集的大信号，差分偏置单元用于将仪表放大器输出的单端信号转换为差分信号，便于通过电极线时抗干扰模拟信号传输，同时对差分信号进行偏置使其满足ADC量程要求。
手势分类器是通过基于深度卷积网路的手势分类器进行分类训练，深度卷积网络包括第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层和softmax函数。
第一卷积层每层包含32个卷积核，卷积核尺寸为5x5，步长为1， 第二卷积层每层包含64个卷积核，卷积核尺寸为3x3，步长为1， 全连接层包含128个单元， 手势分类器训练方法为梯度下降法。
本发明中，表面电极阵列模块将检测到的表面肌电信号数字化后通过USB传输到分类器训练模块，同时由数据手套模块给定同步的手势标签，经过带通滤波、全波整流等预处理后存储到数据储存单元，将所有所需做出分类判别的手势各重复一定次数，作为手势分类器的训练样本，通过手势分类器的训练最终得出分类参数并存储到手势分类参数存储单元中，通过设置的手势识别模块比对分类参数来识别手势后，将对应手势信息传递给运动控制模块，运动控制模块通过无线将识别出来的手势信息传递给手臂驱动电路，通过手臂驱动电路控制机械手臂做出对应的手势。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种穿戴式手势解析系统，其特征在于，包括主控模块、手臂驱动电路、机械手臂、多路的表面电极模块、数据手套模块，所述主控模块包括分类器训练模块、手势识别模块、信号处理模块、个体参数微调模块、运控控制模块，所述表面电极模块与所述信号处理模块电连接，所述信号处理模块、所述分类器训练模块、所述个体参数微调模块均与所述手势识别模块电连接，所述手势识别模块与所述运动控制模块电连接，所述运动控制模块与所述手臂驱动电路无线信号连接；
所述分类器训练模块包括信号预处理单元、数据存储单元、手势分类器、手势分类参数存储单元，所述信号预处理单元与所述表面电极模块和所述数据手套模块电连接，所述信号预处理单元与所述数据存储单员电连接，所述型号处理单元与所述手势分类器电连接，所述手势分类器与所述手势参数存储单元电连接；
多路的所述表面电极模块包括均匀分布在前臂挽桡肱关节处的8个电极以及对应指浅屈肌和指长伸肌主要活动点上的各一个电极，单个所述表面电极模块包括高通滤波单元、仪表放大单元、差分偏置单元，所述高通滤波单元与所述仪表放大单元电连接，所述仪表放大单元与所述差分偏置单元电连接。
2.根据权利要求1所述的一种穿戴式手势解析系统，其特征在于，所述高通滤波单元的截止频率18Hz，用于滤除电极与皮肤相对运动的低频噪声，所述仪表放大单元用于将微弱的sEMG信号放大为可用模数转换器采集的大信号，所述差分偏置单元用于将仪表放大器输出的单端信号转换为差分信号。
3.根据权利要求1或2或3所述的一种穿戴式手势解析系统，其特征在于，所述手势分类器是通过基于深度卷积网路的手势分类器进行分类训练，所述深度卷积网络包括第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层和softmax函数。
4.根据权利要求4所述的一种穿戴式手势解析系统，其特征在于，所述第一卷积层每层包含32个卷积核，卷积核尺寸为5x5，步长为1，所述第二卷积层每层包含64个卷积核，卷积核尺寸为3x3，步长为1，所述全连接层包含128个单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910972003.4A CN110794961A (zh) | 2019-10-14 | 2019-10-14 | 一种穿戴式手势解析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910972003.4A CN110794961A (zh) | 2019-10-14 | 2019-10-14 | 一种穿戴式手势解析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110794961A true CN110794961A (zh) | 2020-02-14 |
Family
ID=69439095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910972003.4A Pending CN110794961A (zh) | 2019-10-14 | 2019-10-14 | 一种穿戴式手势解析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110794961A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101298A (zh) * | 2020-10-15 | 2020-12-18 | 福州大学 | 基于肌肉电阻抗信号的手势识别系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103777752A (zh) * | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
| CN106980367A (zh) * | 2017-02-27 | 2017-07-25 | 浙江工业大学 | 一种基于肌电地形图的手势识别方法 |
| CN108196668A (zh) * | 2017-12-05 | 2018-06-22 | 重庆中电大宇卫星应用技术研究所 | 一种便携式手势识别系统及方法 |
| CN110039507A (zh) * | 2019-04-09 | 2019-07-23 | 华南理工大学 | 一种基于外骨骼数据手套和肌电手环的遥操作系统与方法 |
-
2019
- 2019-10-14 CN CN201910972003.4A patent/CN110794961A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103777752A (zh) * | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
| CN106980367A (zh) * | 2017-02-27 | 2017-07-25 | 浙江工业大学 | 一种基于肌电地形图的手势识别方法 |
| CN108196668A (zh) * | 2017-12-05 | 2018-06-22 | 重庆中电大宇卫星应用技术研究所 | 一种便携式手势识别系统及方法 |
| CN110039507A (zh) * | 2019-04-09 | 2019-07-23 | 华南理工大学 | 一种基于外骨骼数据手套和肌电手环的遥操作系统与方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101298A (zh) * | 2020-10-15 | 2020-12-18 | 福州大学 | 基于肌肉电阻抗信号的手势识别系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bright et al. | EEG-based brain controlled prosthetic arm | |
| CN111553307B (zh) | 一种融合生物电阻抗信息和肌电信息的手势识别系统 | |
| CN105181998B (zh) | 一种检测投篮时手臂的semg与动作轨迹的方法 | |
| CN102499797B (zh) | 假肢控制方法及系统 | |
| CN107861628A (zh) | 一种基于人体表面肌电信号的手部姿态识别系统 | |
| CN105012057B (zh) | 基于双臂肌电、姿态信息采集的智能假肢及运动分类方法 | |
| CN202288542U (zh) | 假肢控制装置 | |
| CN103777752A (zh) | 基于手臂肌肉电流检测和运动传感器的手势识别设备 | |
| Crepin et al. | Real-time hand motion recognition using sEMG patterns classification | |
| CN101332136A (zh) | 脑电肌电联合控制的电动假手以及控制方法 | |
| CN104267807A (zh) | 基于手部动作肌音信号的人机交互方法及交互系统 | |
| CN105138133A (zh) | 生物信号手势识别设备及方法 | |
| CN107822629A (zh) | 四肢表面肌电轴的检测方法 | |
| CN110639169B (zh) | 基于游戏和肌电信号的cpm下肢康复训练方法及系统 | |
| Oweis et al. | ANN-based EMG classification for myoelectric control | |
| CN113871028A (zh) | 一种基于肌电智能穿戴的交互式康复系统 | |
| Yu et al. | A novel hand gesture recognition method based on 2-channel sEMG | |
| CN203829261U (zh) | 一种上肢康复机器人数据采集处理系统 | |
| CN110794961A (zh) | 一种穿戴式手势解析系统 | |
| CN112405539B (zh) | 一种基于肌电信号和脑电错误电位的机器人自然控制方法 | |
| CN103617411A (zh) | 基于复杂度和分维数及分形长度的肌电信号识别方法 | |
| CN106843509B (zh) | 一种脑机接口系统 | |
| CN205083477U (zh) | 基于体表肌电的实时控制装置 | |
| CN204909750U (zh) | 基于双臂肌电、姿态信息采集的智能假肢 | |
| CN112101298A (zh) | 基于肌肉电阻抗信号的手势识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200214 |
|
| WD01 | Invention patent application deemed withdrawn after publication |