CN103358311B - 基于生物电信号解码的机器人操控方法及系统 - Google Patents

基于生物电信号解码的机器人操控方法及系统 Download PDF

Info

Publication number
CN103358311B
CN103358311B CN201210096032.7A CN201210096032A CN103358311B CN 103358311 B CN103358311 B CN 103358311B CN 201210096032 A CN201210096032 A CN 201210096032A CN 103358311 B CN103358311 B CN 103358311B
Authority
CN
China
Prior art keywords
bioelectrical signals
robot
motion intention
arm
manipulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210096032.7A
Other languages
English (en)
Other versions
CN103358311A (zh
Inventor
李光林
武振兴
毕亚雷
夏侯耀红
田岚
张浩诗
邹国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201210096032.7A priority Critical patent/CN103358311B/zh
Publication of CN103358311A publication Critical patent/CN103358311A/zh
Application granted granted Critical
Publication of CN103358311B publication Critical patent/CN103358311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Prostheses (AREA)

Abstract

本发明提供了一种基于生物电信号解码的机器人操控方法及系统。所述方法包括:检测生物电信号;根据所述生物电信号识别运动意图;按照所述运动意图操控机器人。所述系统包括:检测装置,用于检测生物电信号;识别装置,用于根据所述生物电信号识别运动意图;操控装置,用于按照所述运动意图操控机器人。采用本发明操控简便且提高了灵活性。

Description

基于生物电信号解码的机器人操控方法及系统
技术领域
本发明涉及交互技术,特别是涉及基于生物电信号解码的机器人操控方法及系统。
背景技术
机器人广泛应用于工业、医学等领域。机器人系统一般由操作机(即机器人)、驱动单元、控制器和为操控机器人而连接的外部设备组成。在工业机器人系统的机器人中,机器手臂的外形出现得最多,例如,机器手臂在制造业的生产线上代替人进行焊接、装配、搬去、加工、喷涂以及码垛等作业。为控制机器人进行作业,大多采用离线编程的方式,通过内嵌PID(Proportion Integration Differentiation,比例积分微分)控制算法、模糊控制算法以及神经网络控制模型等一种或多种融合算法的控制方式实现机器人的操控,但是,这一控制方式所能够应用的场合非常有限,无法满足应用的需要。
然而,机器人系统还可以通过光学摄像头捕捉人肢体的动作,以接收人的运动信息,并进行后处理得到人体的运动特征,从而控制机器人实现运动。然而,在这一个基于视觉捕捉的人机交互方式中,需要多个摄像机同时采集人体运动区域的三维信息,并且需要在人体上佩戴感光点,其后处理的工作量大,摄像机与操作者之间不允许有障碍物,标定也非常繁琐,尚无法应用于任何实用化的机器人系统。
发明内容
基于此,有必要提供一种操控简便且能提高灵活性的基于生物电信号解码的机器人操控方法。
此外,还有必要提供一种操控简便且能提高灵活性的基于生物电信号解码的机器人操控系统。
一种基于生物电信号解码的机器人操控方法,包括如下步骤:
检测生物电信号;
根据所述生物电信号识别运动意图;
按照所述运动意图操控机器人。
在其中一个实施例中,所述生物电信号为表面肌电信号,所述检测生物电信号的步骤为:
通过分布于操控者手臂的传感器采集表面肌电信号;
处理所述表面肌电信号,并转化为数字信号。
在其中一个实施例中,所述传感器为多个表面肌电电极。
在其中一个实施例中,所述根据所述生物电信号识别运动意图的步骤为:
从所述数字信号中提取特征参数;
将所述特征参数输入动作分类器得到对应的运动意图。
在其中一个实施例中,所述按照所述运动意图操控机器人的步骤为:
根据所述运动意图生成控制指令;
通过所述控制指令控制机器人手臂。
一种基于生物电信号解码的机器人操控系统,包括:
检测装置,用于检测生物电信号;
识别装置,用于根据所述生物电信号识别运动意图;
操控装置,用于按照所述运动意图操控机器人。
在其中一个实施例中,所述生物电信号为表面肌电信号,所述检测装置包括:
传感器,分布于操控者手臂,用于采集表面肌电信号;
处理模块,用于处理所述表面肌电信号,并转化为数字信号。
在其中一个实施例中,所述传感器为多个表面肌电电极。
在其中一个实施例中,所述识别装置包括:
特征提取模块,用于从所述数字信号中提取特征参数;
动作分类器,用于根据所述特征参数得到对应的运动意图。
在其中一个实施例中,所述操控装置包括:
指令生成模块,用于根据所述运动意图生成控制指令;
手臂控制模块,用于通过所述控制指令控制机器人手臂。
上述基于生物电信号解码的机器人操控方法及系统,以生物电信号作为信息源,经过生物电信号的解码之后得到操控者的运动意图,并将其传递给机器人,使机器人模仿操控者的动作,不需要对机器人进行复杂的操作训练,非常易于实现,操控简便,并且提高了灵活性。
附图说明
图1为一个实施例中基于生物电信号解码的机器人操控方法的流程图;
图2为图1中检测生物电信号的方法流程图;
图3为图1中根据生物电信号识别运动意图的方法流程图;
图4为图1中按照运动意图操控机器人的方法流程图;
图5为一个实施例中基于生物电信号解码的机器人操控系统的结构示意图;
图6为图5中检测装置的结构示意图;
图7为图5中识别装置的结构示意图;
图8为图5中操控装置的结构示意图。
具体实施方式
如图1所示,在一个实施例中,一种基于生物电信号解码的机器人操控方法,包括如下步骤:
步骤S10,检测生物电信号。
本实施例中,生物电信号可以是操控者的脑电信号、周围神经电信号、侵入式深层肌电信号以及表面肌电信号等,作为信息源用于获取操控者的运动信息。在对机器人进行控制的过程中对操控者进行生物电信号的检测进而方便感知得到操控者当前发生的动作。
如图2所示,在一个实施例中,生物电信号为表面肌电信号,上述步骤S10的具体过程为:
步骤S110,通过分布于操控者手臂的传感器采集表面肌电信号。
本实施例中,分布于操控者手臂中的传感器根据控制精度的需要可以安置一个或者多个。表面肌电信号是运动神经信息的一种外在表现,通过分布安置于操控者前臂和/或上臂的传感器获取得到的,例如,当操控者做上肢动作时,大脑将指令以神经脉冲的形式传递给手臂肌肉,使手臂肌肉收缩产生表面肌电信号,此时,分布于操控者手臂上的传感器将采集到操控者做肢体动作时的表面肌电信号。在优选的实施例中,传感器为多个表面肌电电极,并分布安置于操控者的前臂和上臂,以采集到多通道肌电信号,精确地获取操控者的运动神经信息。由于表面肌电电极在操控者手臂上佩戴简单、轻便,使得通过表面肌电电极所进行的特征电信号采集非常易于实施,操作过程中不受束缚,可直观地实现机器人操控,无需考虑操控者与机器人之间的距离以及操控者所在的环境等外界因素,屏蔽了各种外界因素干扰。
步骤S130,处理表面肌电信号,并转化为数字信号。
本实施例中,对采集的表面肌电信号进行放大以及滤波等处理后通过模-数转换器量化为数字信号。具体的,表面肌电信号的放大为伏级量别,与采集电路的电平相一致,进行的滤波处理为带通滤波,以消除表面肌电信号的低频伪迹和高频干扰。
步骤S30,根据生物电信号识别运动意图。
本实施例中,可通过基于训练模型的模式识别算法对生物电信号进行识别以得到相应的运动意图,该运动意图表征了操控者所做的肢体动作,具体地,该模式识别算法可以是线性判别分析法(Linear Discriminant Analysis,简称LDA)或人工神经网络算法。
如图3所示,在一个实施例中,上述步骤S30的具体过程包括:
步骤S310,从数字信号中提取特征参数。
本实施例中,特征参数表征了表面肌电信号中的肢体动作模式,包括了时域特征参数和频域特征参数等。
步骤S330,将特征参数输入动作分类器得到对应的运动意图。
本实施例中,将特征参数与动作分类器进行匹配得到与该特征参数对应的运动意图。动作分类器可以是通过对多组表征了不同肢体动作的运动意图所对应的特征参数进行训练所得到的分类器。具体的,动作分类器可以是人工神经网络分类器(ArtificialNeural Network,简称ANN),也可以是隐马尔可夫模型(Hidden Markov Models,简称HMM)。
步骤S50,按照运动意图操控机器人。
本实施例中,机器人是模仿人的操作在三维空间中完成各种作业的机电一体化设备,可广泛应用于各种领域包括:人不适合或不能够进行临场操作的场合,如在危险、艰苦作业条件下的爆破拆弹、输油气管道的检修、救灾、地下矿井作业条件、高温严寒环境作业等;人力所不能及的情况,例如,代人负重等。
按照识别得到的运动意图来实现机器人的操控,此时,机器人将模仿操控者的手臂执行相应的动作,实现操控者对机器人自然、直观地控制,降低了操控者的负担和操控机器人的复杂度。
此外,由于机器人执行的动作只与采集到的生物电信号相关,因此,可以通过轻微瞬时的肌肉发力来实现非常细微的动作,大大地提高了机器人动作的精确度以及增加了机器人所能够执行的动作类型。
如图4所示,在一个实施例中,上述步骤S50的具体过程包括:
步骤S510,根据运动意图生成控制指令。
本实施例中,根据动作分类器输出的运动意图,可通过控制接口电路生成控制指令,并传递到机器人手臂中的执行电机,以控制机器人手臂执行相应的动作。
步骤S530,通过控制指令控制机器人手臂。
如图5所示,在一个实施例中,一种基于生物电信号解码的机器人操控系统,包括检测装置10、识别装置30、操控装置50以及机器人70。
检测装置10,用于检测生物电信号。
本实施例中,生物电信号可以是操控者的脑电信号、周围神经电信号、侵入式深层肌电信号以及表面肌电信号等,作为信息源用于获取操控者的运动信息。检测装置10在对机器人进行控制的过程中对操控者进行生物电信号的检测进而方便感知得到操控者当前发生的动作。
如图6所示,在一个实施例中,生物电信号为表面肌电信号,上述检测装置10包括传感器110以及处理模块130。
传感器110,分布于操控者手臂,用于采集表面肌电信号。
本实施例中,分布于操控者手臂中的传感器110根据控制精度的需要可以安置一个或者多个。表面肌电信号是运动神经信息的一种外在表现,通过分布安置于操控者前臂和/或上臂的传感器110获取得到的,例如,当操控者做上肢动作时,大脑将指令以神经脉冲的形式传递给手臂肌肉,使手臂肌肉收缩产生表面肌电信号,此时,分布于操控者手臂上的传感器110将采集到操控者做肢体动作时的表面肌电信号。在优选的实施例中,传感器110为多个表面肌电电极,并分布安置于操控者的前臂和上臂,以采集到多通道肌电信号,精确地获取操控者的运动神经信息。由于表面肌电电极在操控者手臂上佩戴简单、轻便,使得通过表面肌电电极所进行的特征电信号采集非常易于实施,操作过程中不受束缚,可直观地实现机器人操控,无需考虑操控者与机器人之间的距离以及操控者所在的环境等外界因素,屏蔽了各种外界因素干扰。
处理模块130,用于处理表面肌电信号,并转化为数字信号。
本实施例中,处理模块130对采集的表面肌电信号进行放大以及滤波等处理后通过模-数转换器量化为数字信号。具体的,表面肌电信号的放大为伏级量别,与采集电路的电平相一致,处理模块130进行的滤波处理为带通滤波,以消除表面肌电信号的低频伪迹和高频干扰。
识别装置30,用于根据生物电信号识别运动意图。
本实施例中,识别装置30可通过基于训练模型的模式识别算法对生物电信号进行识别以得到相应的运动意图,该运动意图表征了操控者所做的肢体动作,具体地,该模式识别算法可以是线性判别分析法或人工神经网络算法。
如图7所示,在一个实施例中,上述识别装置30包括特征提取模块310以及动作分类器330。
特征提取模块310,用于从数字信号中提取特征参数。
本实施例中,特征参数表征了表面肌电信号中的肢体动作模式,包括了时域特征参数和频域特征参数等。
动作分类器330,用于根据特征参数得到对应的运动意图。
本实施例中,动作分类器330将特征参数与动作分类器进行匹配得到与该特征参数对应的运动意图。动作分类器330可以是通过对多组表征了不同肢体动作的运动意图所对应的特征参数进行训练所得到的分类器。具体的,动作分类器可以是人工神经网络分类器,也可以是隐马尔可夫模型。
操控装置50,用于按照运动意图操控机器人。
本实施例中,机器人70是模仿人的操作在三维空间中完成各种作业的机电一体化设备,可广泛应用于各种领域包括:人不适合或不能够进行临场操作的场合,如在危险、艰苦作业条件下的爆破拆弹、输油气管道的检修、救灾、地下矿井作业条件、高温严寒环境作业等;人力所不能及的情况,例如,代人负重等。
操控装置50按照识别得到的运动意图来实现机器人70的操控,此时,机器人70将模仿操控者的手臂执行相应的动作,实现操控者对机器人70自然、直观地控制,降低了操控者的负担和操控机器人的复杂度。
此外,由于机器人70执行的动作只与采集到的生物电信号相关,因此,可以通过轻微瞬时的肌肉发力来实现非常细微的动作,大大地提高了机器人动作的精确度以及增加了机器人70所能够执行的动作类型。
如图8所示,在一个实施例中,上述操控装置50包括指令生成模块510以及手臂控制模块530。
指令生成模块510,用于根据运动意图生成控制指令。
本实施例中,指令生成模块510根据动作分类器输出的运动意图,可通过生成控制指令,并传递到机器人手臂中的执行电机,以控制机器人手臂执行相应的动作。在一个实施例中指令生成模块510可以是控制接口电路。
手臂控制模块530,用于通过控制指令控制机器人手臂。
在一个具体的实验中,上述基于生物电信号解码的机器人操控方法及系统在操控者上肢前臂佩戴4个表面肌电电极采集表面肌电信号,对于常用的腕部与手部动作机器人手臂执行的精确度达到95%以上,进一步说明了从生物电信号中获取运动意图的机器人操控可以实现高精度的控制。
上述基于生物电信号解码的机器人操控方法及系统,以生物电信号作为信息源,经过识别得到操控者的运动意图,并将其传递给机器人,使机器人模仿操控者的动作,不需要对机器人进行复杂的操作训练,非常易于实现,操控简便,并提高了灵活性。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于生物电信号解码的机器人操控方法,包括如下步骤:
检测生物电信号;
根据所述生物电信号识别运动意图;
根据所述运动意图,通过控制接口电路生成控制指令;
通过所述控制指令控制机器人手臂;
其中,所述生物电信号为表面肌电信号,所述检测生物电信号的步骤为:
通过分布于操控者手臂的传感器采集表面肌电信号,
处理所述表面肌电信号,并转化为数字信号;
其中,所述机器人是模仿人的操作在三维空间中完成各种作业的机电一体化设备。
2.根据权利要求1所述的基于生物电信号解码的机器人操控方法,其特征在于,所述传感器为多个表面肌电电极。
3.根据权利要求1所述的基于生物电信号解码的机器人操控方法,其特征在于,所述根据所述生物电信号识别运动意图的步骤为:
从所述数字信号中提取特征参数;
将所述特征参数输入动作分类器得到对应的运动意图。
4.一种基于生物电信号解码的机器人操控系统,其特征在于,包括:
检测装置,用于检测生物电信号,所述生物电信号为表面肌电信号,所述检测装置包括:
传感器,分布于操控者手臂,用于采集表面肌电信号,
处理模块,用于处理所述表面肌电信号,并转化为数字信号;
识别装置,用于根据所述生物电信号识别运动意图;
操控装置,用于按照所述运动意图操控机器人,所述操控装置包括指令生成模块和手臂控制模块,所述指令生成模块用于根据所述运动意图生成控制指令,所述手臂控制模块用于通过所述控制指令控制机器人手臂,所述指令生成模块是控制接口电路;
其中,所述机器人是模仿人的操作在三维空间中完成各种作业的机电一体化设备。
5.根据权利要求4所述的基于生物电信号解码的机器人操控系统,其特征在于,所述传感器为多个表面肌电电极。
6.根据权利要求4所述的基于生物电信号解码的机器人操控系统,其特征在于,所述识别装置包括:
特征提取模块,用于从所述数字信号中提取特征参数;
动作分类器,用于根据所述特征参数得到对应的运动意图。
CN201210096032.7A 2012-04-01 2012-04-01 基于生物电信号解码的机器人操控方法及系统 Active CN103358311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210096032.7A CN103358311B (zh) 2012-04-01 2012-04-01 基于生物电信号解码的机器人操控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210096032.7A CN103358311B (zh) 2012-04-01 2012-04-01 基于生物电信号解码的机器人操控方法及系统

Publications (2)

Publication Number Publication Date
CN103358311A CN103358311A (zh) 2013-10-23
CN103358311B true CN103358311B (zh) 2017-02-08

Family

ID=49361008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210096032.7A Active CN103358311B (zh) 2012-04-01 2012-04-01 基于生物电信号解码的机器人操控方法及系统

Country Status (1)

Country Link
CN (1) CN103358311B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104523403B (zh) * 2014-11-05 2019-06-18 陶宇虹 一种判断外骨骼助行机器人穿戴者下肢行动意图的方法
CN107520853A (zh) * 2016-06-20 2017-12-29 宁波原子智能技术有限公司 机械手臂的控制方法和控制装置
CN106073776B (zh) * 2016-08-29 2019-06-25 吉林大学 Cacc驾驶员肢体等速多通道肌电信号特征提取方法
CN108197607A (zh) * 2018-02-01 2018-06-22 四川东鼎里智信息技术有限责任公司 一种基于可穿戴的运动神经元预警系统
CN108319368A (zh) * 2018-02-01 2018-07-24 四川东鼎里智信息技术有限责任公司 一种可穿戴的ai动作学习系统
CN108309240A (zh) * 2018-02-01 2018-07-24 四川东鼎里智信息技术有限责任公司 一种基于可穿戴的脑部疲劳预警系统
CN108305682A (zh) * 2018-02-01 2018-07-20 四川东鼎里智信息技术有限责任公司 一种基于可穿戴的脚部肌肉恢复系统
CN111419230A (zh) * 2020-04-17 2020-07-17 上海交通大学 一种用于运动单元解码的表面肌电信号采集系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101822540A (zh) * 2010-04-28 2010-09-08 上海诺诚电气有限公司 肌电放大器及采样肌电信号的方法
CN101995947A (zh) * 2009-08-21 2011-03-30 香港中文大学 通过网络感知用户动作的系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582866A (zh) * 2004-06-02 2005-02-23 杭州电子科技大学 带触觉的肌电仿生电动假手及其控制方法
JP4617467B2 (ja) * 2005-11-22 2011-01-26 国立大学法人東京工業大学 学習支援装置、仮想ヒューマンインタフェース装置、仮想ヒューマンインタフェース方法、仮想ヒューマンインタフェースシステム、これらの装置を実現するプログラムおよび記録媒体
CN100546553C (zh) * 2007-05-18 2009-10-07 天津大学 采用肌电和脑电协同控制的假肢手及其控制方法
CN101987048B (zh) * 2009-08-03 2013-07-03 深圳先进技术研究院 假肢控制方法和系统
CN101874758B (zh) * 2010-05-07 2012-02-22 中国科学院深圳先进技术研究院 辅助运动系统及其控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101995947A (zh) * 2009-08-21 2011-03-30 香港中文大学 通过网络感知用户动作的系统和方法
CN101822540A (zh) * 2010-04-28 2010-09-08 上海诺诚电气有限公司 肌电放大器及采样肌电信号的方法

Also Published As

Publication number Publication date
CN103358311A (zh) 2013-10-23

Similar Documents

Publication Publication Date Title
CN103358311B (zh) 基于生物电信号解码的机器人操控方法及系统
CN101987048B (zh) 假肢控制方法和系统
US20220095989A1 (en) Multimodal human-robot interaction system for upper limb rehabilitation
CN105549743A (zh) 一种基于脑-机接口的机器人系统及实现方法
CN102499797B (zh) 假肢控制方法及系统
CN104799984B (zh) 基于脑控移动眼的残疾人辅助系统及其控制方法
CN104850231B (zh) 一种基于表面肌电和肌音信号融合的人机接口系统
CN109009586B (zh) 一种假手腕关节人机自然驱动角度的肌电连续解码方法
CN105563495B (zh) 基于精细化运动想象脑电信号控制的机械手系统及方法
CN107273798A (zh) 一种基于表面肌电信号的手势识别方法
CN105708587A (zh) 一种运动想象模式脑机接口触发的下肢外骨骼训练方法及系统
Wei et al. EMG and visual based HMI for hands-free control of an intelligent wheelchair
CN105012057B (zh) 基于双臂肌电、姿态信息采集的智能假肢及运动分类方法
CN107957783A (zh) 一种基于脑电与肌电信息的多模式智能控制系统及方法
WO2003073175A2 (en) Method and system for an intelligent supervisory control system
CN103699226A (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN108563324B (zh) 一种面向过程控制的运动想象脑-机接口设计方法
CN105739444A (zh) 机械手多参数控制脑机接口
CN105335727A (zh) 基于图像和体感分析的身份认证系统与方法
CN108958620A (zh) 一种基于前臂表面肌电的虚拟键盘设计方法
CN107822629A (zh) 四肢表面肌电轴的检测方法
CN111714339B (zh) 人体下肢运动的脑-肌电融合小世界神经网络预测方法
CN107961120A (zh) 一种基于脑电控制的智能轮椅控制系统
CN109343704A (zh) 一种基于labview平台的康复机器人手部在线动作识别系统
Kaysa et al. Design of Brain-computer interface platform for semi real-time commanding electrical wheelchair simulator movement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant