CN100546553C - 采用肌电和脑电协同控制的假肢手及其控制方法 - Google Patents
采用肌电和脑电协同控制的假肢手及其控制方法 Download PDFInfo
- Publication number
- CN100546553C CN100546553C CNB2007100573713A CN200710057371A CN100546553C CN 100546553 C CN100546553 C CN 100546553C CN B2007100573713 A CNB2007100573713 A CN B2007100573713A CN 200710057371 A CN200710057371 A CN 200710057371A CN 100546553 C CN100546553 C CN 100546553C
- Authority
- CN
- China
- Prior art keywords
- signal
- prosthetic hand
- myoelectricity
- brain electricity
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Prostheses (AREA)
Abstract
采用肌电和脑电协同控制的假肢手，肌电脑电拾电电极、肌电脑电信号处理模块、A/D转换数据采集、肌电信号运动模式识别和轨迹预测模块，电动假肢手、触滑觉一体化传感器，系统反馈刺激装置、力量及速度调节模块。采用肌电和脑电协同控制假肢手的方法，包括下列步骤：肌电信号进行采集和放大；征提取和模式识别；检测被抓物体的抓取情况；当被抓物没有抓取好，给操控者一定形式的物理刺激信号；检测脑电信息；输出到力量及速度调节模块；输出信号完成对电动手的进一步控制。本发明有效地克服了仅以肌电信号为信号源的局限性。
Description
技术领域
本发明涉及一种人手的取代物及其控制方法，特别涉及一种采用肌电和脑电协同控制的假肢手及其控制方法。
背景技术
自第二次世界大战以来，假肢手技术得到了显著发展尤其是肌电控制假肢手得到了广泛的应用。肌电假肢手是一种利用生物电控制的人-机系统，通过人体肌电信号与假肢进行的信患交换，控制假肢手的开合动作。
国内外肌电假肢手的研制已具有一定的基础，如德国Otto Bock研制的自动SUVA感应手，通过肌电信号的强弱来控制假肢手的握力和张、合速度，使抓取动作简单、自然。目前的肌电假肢手还具有集成多种传感器的反馈功能，如假肢手带有触觉和滑觉的功能，能自适应控制握力来抓取物体。
在中国专利文献CN1582866A中披露了一种带触觉的肌电仿生电动假手，将假手触觉与假手的肌电控制有机结合，使假手控制过程收到肌电信号和感觉信号的双重制约，达到了比较理想的仿生控制。
但是，仅采用肌电信号作为假肢信号源也有一定局限：操控者长时间工作，肌肉容易产生疲劳；肌肉的疲劳、电极位置的改变、体能波动等都会使肌电信号的特征值发生变化，造成控制的准确度和信息模式的重复再现性不好；另外，高位截肢患者或因瘫痪导致肌肉萎缩时，不能提供足够的肌电控制信息。
发明内容
本发明的任务是采用肌电信号和诱发脑电协同控制的办法实现对假肢手的控制，克服仅以肌电信号作为假肢信号源的局限。
采用肌电和脑电协同控制的假肢手，包括装在残臂上的拾电电极、与电极对应的肌电信号处理模块、A/D转换数据采集、由计算机完成肌电信号运动模式识别和轨迹预测模块，由模式识别和轨迹预测模块输出控制信号经驱动电路带动的电动假肢手、触滑觉一体化传感器，其特征在于，还包括：
一根据触滑觉一体化传感器信号决定是否启动的系统反馈刺激装置；
检测事件相关电位中的P300脑电波的拾电电极；
与拾电电极对应的脑电信号处理模块；
脑电A/D转换数据采集部分；
输出信号与电动假肢手驱动电路相连的力量及速度调节模块。
采用肌电和脑电协同控制假肢手的方法，包括下列步骤：
(1)系统首先通过处理模块对肌电信号进行采集和放大；
(2)然后对肌电信号进行特征提取和模式识别；
(3)触滑觉一体化传感器测得被抓物体的抓取情况的信号，
(4)当信号反映被抓物没有抓取好，反馈刺激装置给操控者一定形式的物理刺激信号；
(5)脑电的拾电电极检测事件相关电位中的P300脑电波
(6)脑电波经脑电信号处理模块处理后输出到力量及速度调节模块；
(7)调节模块的输出信号完成对电动假肢手的进一步控制。
上述述步骤(1)中对肌电信号的采集中，放大和滤波功能分四级实现；第一级采用仪用放大器将采集到的生物信号放大数十倍；第二级采用无源双T型陷波电路，电路的电阻和电容经过匹配，可以很好地滤除50Hz干扰；第三级采用高通滤波器，滤除极化电势产生的直流电位；第四级采用低通滤波器，滤除高频干扰，脑电信号的截止频率设置在30Hz，肌电信号的截止频率设在500Hz；该低通滤波器还可作为A/D转换前的防混迭滤波器；从人体的安全性考虑，在电路中采用高速数字光耦隔离。
上述步骤(2)中采用小波包和主元神经网络相结合的特征提取办法和LVQ网络分类器对受试者动作进行模式识别。
上述步骤(2)中对握拳、展拳、手臂内旋、手臂外旋和自然放松五种状态进行特征提取和模式识别。
上述步骤(4)中物理刺激的方式可以为电刺激或振动。
采用肌脑电协同控制的方案有效地克服了仅以肌电信号为信号源的局限性，对诱发脑电进行了进一步的探索研究，为假肢手实现完成更多、更复杂的动作模式提供了有效的途径，使假肢手的功能更接近于人手。
附图说明
图1肌电、脑电信号的协同控制原理示意图；
图2生物信号采集系统；
具体实施方式
系统首先通过处理模块对肌电信号进行采集，如图2所示，采集系统的放大和滤波功能分四级实现，第一级采用仪用放大器将采集到的生物信号放大数十倍。第二级采用无源双T型陷波电路，电路的电阻和电容经过匹配，可以很好地滤除50Hz干扰。第三级采用高通滤波器，滤除极化电势产生的直流电位。第四级采用低通滤波器，滤除高频干扰，脑电信号的截止频率设置在30Hz，肌电信号的截止频率设在500Hz。该低通滤波器还作为A/D转换前的防混迭滤波器。从人体的安全性考虑，在电路中采用高速数字光耦隔离。
然后对肌电信号进行特征提取和模式识别，我们采用小波包和主元神经网络相结合的特征提取办法和LVQ网络分类器对受试者动作进行模式识别。我们让受试者依次完成握拳、展拳、手臂内旋、手臂外旋和自然放松五种状态，通过实验证明，在满足实时控制的要求下，采用小波包和主元神经网络相结合的办法，特征提取和模式识别处理时间不到100ms，识别准确率高，达89.5％。
进行模式识别后，电机控制假肢手完成各项抓取动作，本发明引入触滑觉传感器和诱发脑电主要是进一步提高假肢手的控制性能和仿生功能。触滑觉一体化传感器用于反馈被抓物体的抓取情况，通过刺激的形式告知操作者，操控者对各种刺激进行识别，由此诱发的P300脑电位映射不同的动作指令来调整多指的位置、抓取的力量、速度等，从而实现对假肢手的进一步控制。
事件相关电位(Event-Related Potential，ERP)中的P300脑诱发电位是一种与认知相关的脑诱发ERPs的内源性成分。在记录时无需太多叠加次数，甚至1次就可以出现，并且具有诱发电位的优点。引起P300电位至少需要两种刺激，将刺激随机编成刺激序列，其中需要受试者注意并加以辨认的刺激是靶刺激事件(Target Stimulus，TS)，为小概率事件；另外以大概率出现的刺激为非靶刺激事件Non-Target Stimulus，NTS)，受试者不需要对此作出反应。当受试者注意并辨认TS后300ms左右就会引起P300波。并且概率越小，P300波越明显。
拟利用P300电位来实现对假肢手多种抓取动作的精确控制。采用体感刺激引发P300波，对人体残臂部位进行多种不同的振动刺激，对应于操控者的不同动作意愿。现设n种电振动刺激分别为T1，T2，...，Tn。当受试者要进行某一动作时(设其对应的电振动刺激为Tx)，受试者对不规律出现的n种刺激进行识别。并刻意注意Tx。这样就会在Tx出现后在脑电中出现P300波，检查并记录下出现P300波的位置，对应到相应的刺激，即可识别出受试者的意愿。
我们在假肢手的大拇指、食指和中指上都装有触滑觉一体化传感器，反馈信号通过振动刺激产生诱发脑电，我们尝试的控制策略如下：基于肌电信号的模式识别，如要实现抓握的动作，拇指、食指和中指电机分别控制电机正转，实现“合”的动作。当假肢手接触到物体时，触滑觉信号反馈给人体，诱发脑电模式开启，各手指是否再需“合”的动作由诱发脑电信号控制。当假肢手抓取物体发生滑动时，如食指有滑觉信号反馈，刺激装置产生强烈振动，产生诱发脑电，再通过对诱发脑电的模式识别，继续控制食指电机正转，直至确认物体不再滑动时，电机转动停止。对其它动作模式和各手指的控制方法都与之类似。
当假肢手仅为了完成某种手势而无需抓握物体时，我们关断脑电信号，只采用对肌电信号的模式识别来完成这些手势。
Claims (5)
1、采用肌电和脑电协同控制的假肢手，包括装在残臂上的拾电电极、与电极对应的肌电信号处理模块、A/D转换数据采集部分、由计算机完成的肌电信号运动模式识别和轨迹预测模块，由模式识别和轨迹预测模块输出控制信号经驱动电路带动的电动假肢手、触滑觉一体化传感器，其特征在于，还包括：
一根据触滑觉一体化传感器信号决定是否启动的系统反馈刺激装置，该刺激装置提供电刺激或振动；
检测由刺激装置触发的事件相关电位中的P300脑电波的拾电电极；
与检测脑电波的拾电电极对应的脑电信号处理模块；
脑电A/D转换数据采集部分；
输出信号与电动假肢手驱动电路相连的力量及速度调节模块。
2、采用肌电和脑电协同控制假肢手的方法，包括下列步骤：
(1)系统首先通过处理模块对肌电信号进行采集和放大；
(2)然后对肌电信号进行特征提取和模式识别；
(3)触滑觉一体化传感器测得被抓物体的抓取情况的信号，
(4)当信号反映被抓物没有抓取好，反馈刺激装置给操控者一定形式的物理刺激信号，该物理刺激信号的刺激方式是电刺激或振动；
(5)脑电的拾电电极检测由物理刺激信号诱发的事件相关电位中的P300脑电波；
(6)脑电波经脑电信号处理模块处理后输出到力量及速度调节模块；
(7)调节模块的输出信号完成对电动假肢手的进一步控制。
3、如权利要求2所述采用肌电和脑电协同控制假肢手的方法，其特征在于，所述步骤(1)中对肌电信号的采集中，放大和滤波功能分四级实现；第一级采用仪用放大器将采集到的生物信号放大数十倍；第二级采用无源双T型陷波电路，电路的电阻和电容经过匹配，可以很好地滤除50Hz干扰；第三级采用高通滤波器，滤除极化电势产生的直流电位；第四级采用低通滤波器，滤除高频干扰，脑电信号的截止频率设置在30Hz，肌电信号的截止频率设在500Hz；该低通滤波器还作为A/D转换前的防混迭滤波器；从人体的安全性考虑，在电路中采用高速数字光耦隔离。
4、如权利要求2所述采用肌电和脑电协同控制假肢手的方法，其特征在于，所述步骤(2)中采用小波包和主元神经网络相结合的特征提取办法和LVQ网络分类器对受试者动作进行模式识别。
5、如权利要求2所述采用肌电和脑电协同控制假肢手的方法，其特征在于，所述步骤(2)中对握拳、展拳、手臂内旋、手臂外旋和自然放松五种状态进行特征提取和模式识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2007100573713A CN100546553C (zh) | 2007-05-18 | 2007-05-18 | 采用肌电和脑电协同控制的假肢手及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2007100573713A CN100546553C (zh) | 2007-05-18 | 2007-05-18 | 采用肌电和脑电协同控制的假肢手及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101057795A CN101057795A (zh) | 2007-10-24 |
| CN100546553C true CN100546553C (zh) | 2009-10-07 |
Family
ID=38864205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2007100573713A Expired - Fee Related CN100546553C (zh) | 2007-05-18 | 2007-05-18 | 采用肌电和脑电协同控制的假肢手及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100546553C (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103358311A (zh) * | 2012-04-01 | 2013-10-23 | 中国科学院深圳先进技术研究院 | 基于生物电信号解码的机器人操控方法及系统 |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101305939B (zh) * | 2008-05-26 | 2010-06-02 | 哈尔滨工业大学 | 一种用于仿人型肌电假手感觉反馈的电刺激器 |
| US9727139B2 (en) | 2008-12-12 | 2017-08-08 | Immersion Corporation | Method and apparatus for providing a haptic monitoring system using multiple sensors |
| CN101455596A (zh) * | 2008-12-18 | 2009-06-17 | 西安交通大学苏州研究院 | 脑机接口驱动控制的神经义肢手及其控制方法 |
| CN101569569B (zh) * | 2009-06-12 | 2011-05-11 | 东北大学 | 微功率无线通讯模式下人脑-机械手接口系统 |
| CN101711709B (zh) * | 2009-12-07 | 2012-05-23 | 杭州电子科技大学 | 利用眼电和脑电信息的电动假手控制方法 |
| CN101856284B (zh) * | 2010-06-10 | 2012-07-04 | 上海理工大学 | 一种具有实时调速功能的肌电假手控制方法 |
| CN101856285A (zh) * | 2010-06-18 | 2010-10-13 | 上海理工大学 | 具有动态增益的肌电假手控制系统 |
| CN102133139B (zh) * | 2011-01-21 | 2013-05-15 | 华南理工大学 | 一种假手控制系统及其控制方法 |
| CN102228399A (zh) * | 2011-06-17 | 2011-11-02 | 东南大学 | 基于模糊控制器的肌电假手握力控制方法 |
| CN102488514B (zh) * | 2011-12-09 | 2013-10-23 | 天津大学 | 基于自主、刺激动作模态下的脑肌电相关性的分析方法 |
| CN103892945B (zh) * | 2012-12-27 | 2017-03-08 | 中国科学院深圳先进技术研究院 | 肌电假肢控制系统 |
| CN103876867B (zh) * | 2013-08-01 | 2018-01-19 | 中南大学 | 一种假肢手抓握物体初始参考力模糊估计方法 |
| CN104107134B (zh) * | 2013-12-10 | 2017-08-01 | 中山大学 | 基于肌电反馈的上肢训练方法及系统 |
| CN104721012B (zh) * | 2013-12-24 | 2017-03-15 | 上银科技股份有限公司 | 感应式力量反馈机构 |
| CN103926445B (zh) * | 2014-03-21 | 2018-03-02 | 上海傲意信息科技有限公司 | 一种寻找肌肉电流信号起始点和终止点的算法 |
| CN104398325B (zh) * | 2014-11-05 | 2016-08-03 | 西安交通大学 | 基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法 |
| CN104511894B (zh) * | 2014-12-05 | 2016-04-13 | 上海交通大学 | 活性离体骨骼肌驱动的生机电一体化假手 |
| CN104398326B (zh) * | 2014-12-10 | 2017-01-25 | 重庆大学 | 用于稳定肌电假肢手力量输出的电刺激诱发肌电反馈控制方法及装置 |
| CN106155300A (zh) * | 2015-04-23 | 2016-11-23 | 宁波市美灵思医疗科技有限公司 | 一种基于肌电流和多传感器协同作用的人机交互设备及其使用方法 |
| CN104825256B (zh) * | 2015-04-30 | 2017-05-31 | 南京信息工程大学 | 一种带有感知反馈功能的假肢系统 |
| CN105640677B (zh) * | 2015-12-25 | 2018-07-13 | 上海交通大学 | 一种用于假肢手感知反馈的电刺激感知反馈系统 |
| CN105676639B (zh) * | 2016-01-12 | 2018-12-07 | 西安交通大学 | 一种假手完整抓取操作的并行多模态脑控方法 |
| CN106691639B (zh) * | 2017-01-10 | 2018-12-07 | 云南巨能科技发展有限公司 | 一种基于生物电阻测量的仿生假肢 |
| CN106943217A (zh) * | 2017-05-03 | 2017-07-14 | 广东工业大学 | 一种反馈式人体假肢控制方法和系统 |
| CN107137092B (zh) * | 2017-07-17 | 2024-03-08 | 中国科学院心理研究所 | 一种操作动作手势诱发检测系统及其方法 |
| CN107463259B (zh) * | 2017-08-07 | 2021-03-16 | 北京汽车集团有限公司 | 车载显示设备以及用于车载显示设备的交互方法、装置 |
| CN109419575B (zh) * | 2017-08-29 | 2023-06-16 | 上海科生假肢有限公司 | 肌电控制假手的创新控制方法 |
| CN107957783B (zh) * | 2017-12-21 | 2020-09-18 | 北京航天测控技术有限公司 | 一种基于脑电与肌电信息的多模式智能控制系统及方法 |
| CN108415560B (zh) * | 2018-02-11 | 2020-12-04 | Oppo广东移动通信有限公司 | 电子装置、操作控制方法及相关产品 |
| CN108681396B (zh) * | 2018-04-28 | 2021-07-06 | 北京机械设备研究所 | 基于脑-肌电双模态神经信号的人机交互系统及其方法 |
| CN109620651B (zh) * | 2018-11-16 | 2020-03-31 | 中国科学技术大学 | 基于同步脑肌电的智能辅助康复设备 |
| CN109598219B (zh) * | 2018-11-20 | 2022-09-02 | 中国科学技术大学 | 一种用于鲁棒肌电控制的自适应电极配准方法 |
| CN110569968B (zh) * | 2019-10-18 | 2021-09-03 | 上海大学 | 基于电生理信号的创业失败恢复力评估方法及评估系统 |
| CN112828882B (zh) * | 2020-12-11 | 2023-03-31 | 天津大学 | 一种分布式外肢体手指机器人控制系统 |
| CN113885696A (zh) * | 2021-08-20 | 2022-01-04 | 深圳先进技术研究院 | 外骨骼装置交互控制方法及其交互控制装置 |
| CN113952091A (zh) * | 2021-12-06 | 2022-01-21 | 福州大学 | 一种多传感器融合的假肢手抓握力反馈控制方法 |
| CN114756136B (zh) * | 2022-06-15 | 2022-09-27 | 深圳市心流科技有限公司 | 一种针对肌电信号与脑电信号的训练达标提示方法及装置 |
| CN116449966A (zh) * | 2023-06-20 | 2023-07-18 | 浙江强脑科技有限公司 | 仿生手教具及其控制方法、主控设备 |
-
2007
- 2007-05-18 CN CNB2007100573713A patent/CN100546553C/zh not_active Expired - Fee Related
Non-Patent Citations (11)
| Title |
|---|
| 一种新型脑电信号的采集方法和应用. 陈永华，朱林剑，包海涛，孙守林.传感器与微系统，第25卷第3期. 2006 |
| 基于思维脑电信号的假手的研究. 许涛朱林剑包海涛.医疗保健器具，第6期. 2006 |
| 基于思维脑电信号的假手的研究. 许涛，朱林剑，包海涛.医疗保健器具，第6期. 2006 * |
| 基于脑电信号识别采集的假肢控制系统. 刘芳，张臻.现代生物医学进展，第6卷第12期. 2006 |
| 基于脑电信号识别采集的假肢控制系统. 刘芳，张臻.现代生物医学进展，第6卷第12期. 2006 * |
| 基于视觉诱发电位的脑机接口实验研究. 何庆华，彭承琳，吴宝明，王禾.生物医学工程学杂志，第21卷第1期. 2004 |
| 基于视觉诱发电位的脑机接口实验研究. 何庆华，彭承琳，吴宝明，王禾.生物医学工程学杂志，第21卷第1期. 2004 * |
| 肌电信号控制仿生手的研究. 李醒飞，李大鹏，张国雄，卢志扬.中国机械工程，第17卷第5期. 2006 |
| 肌电信号控制仿生手的研究. 李醒飞，李大鹏，张国雄，卢志扬.中国机械工程，第17卷第5期. 2006 * |
| 脑机接口中一种改进的模式识别方法. 杨帮华，颜国正，张永怀，付西光.中国生物医学工程学报，第25卷第2期. 2006 |
| 脑电信号控制上肢假肢的研究现状. 姜波，朱林剑，孙守林，包海涛.中国康复医学杂志，第20卷第3期. 2005 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103358311A (zh) * | 2012-04-01 | 2013-10-23 | 中国科学院深圳先进技术研究院 | 基于生物电信号解码的机器人操控方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101057795A (zh) | 2007-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100546553C (zh) | 采用肌电和脑电协同控制的假肢手及其控制方法 | |
| Raspopovic et al. | On the identification of sensory information from mixed nerves by using single-channel cuff electrodes | |
| Pfurtscheller et al. | Rehabilitation with brain-computer interface systems | |
| Hargrove et al. | Multiple binary classifications via linear discriminant analysis for improved controllability of a powered prosthesis | |
| CN101987048B (zh) | 假肢控制方法和系统 | |
| Micera et al. | Decoding information from neural signals recorded using intraneural electrodes: toward the development of a neurocontrolled hand prosthesis | |
| CN105012057B (zh) | 基于双臂肌电、姿态信息采集的智能假肢及运动分类方法 | |
| CN102499797B (zh) | 假肢控制方法及系统 | |
| CN202288542U (zh) | 假肢控制装置 | |
| Kakoty et al. | Recognition of grasp types through principal components of DWT based EMG features | |
| Gauthaam et al. | EMG controlled bionic arm | |
| Bian et al. | SVM based simultaneous hand movements classification using sEMG signals | |
| WO2020118797A1 (zh) | 假肢控制方法、装置、系统、设备和存储介质 | |
| CN101371804A (zh) | 基于sEMG建立的人手姿态模式在线识别方法 | |
| Oleinikov et al. | Feature extraction and real-time recognition of hand motion intentions from EMGs via artificial neural networks | |
| CN107822629A (zh) | 四肢表面肌电轴的检测方法 | |
| CN1582866A (zh) | 带触觉的肌电仿生电动假手及其控制方法 | |
| Narayan et al. | Pattern recognition of sEMG signals using DWT based feature and SVM Classifier | |
| CN106955111A (zh) | 基于表面肌电信号的脑瘫儿步态识别方法 | |
| Wang et al. | Deep convolutional neural network for decoding EMG for human computer interaction | |
| Yadav et al. | Recent trends and challenges of surface electromyography in prosthetic applications | |
| WO2022099807A1 (zh) | 一种基于肌电信号和脑电错误电位的机器人自然控制方法 | |
| Geng et al. | Comparison of electromyography and mechanomyogram in control of prosthetic system in multiple limb positions | |
| Geng et al. | Recognition of combined arm motions using support vector machine | |
| CN111360792A (zh) | 面向仿生机械手的可穿戴便携式实时控制动作识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091007 Termination date: 20100518 |