CN115990876A - 一种基于多通道肌电信号的仿真机械臂控制方法 - Google Patents

一种基于多通道肌电信号的仿真机械臂控制方法 Download PDF

Info

Publication number
CN115990876A
CN115990876A CN202211464316.7A CN202211464316A CN115990876A CN 115990876 A CN115990876 A CN 115990876A CN 202211464316 A CN202211464316 A CN 202211464316A CN 115990876 A CN115990876 A CN 115990876A
Authority
CN
China
Prior art keywords
mechanical arm
electromyographic signals
multichannel
electromyographic
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211464316.7A
Other languages
English (en)
Inventor
付荣荣
李棋森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202211464316.7A priority Critical patent/CN115990876A/zh
Publication of CN115990876A publication Critical patent/CN115990876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Prostheses (AREA)

Abstract

本发明公开了一种基于多通道肌电信号的仿真机械臂控制方法,属于肌电信号技术领域,包括以下步骤:肌电采集:通过多通道肌肉电传感器采集人体肌电信号,将肌电信号经过放大与滤波处理后传输至电脑;数据显示:通过将多通道肌肉电传感器采集的多通道的肌电信号进行数据与波形可视化展示;仿真机械臂控制:定义不同通道不同肌肉状态时机械臂的不同操作,并根据采集的多通道肌电信号对机械臂进行实时控制;多通道协同控制:多通道肌电信号对机械臂的协同控制。本发明通过采集多通道人体肌肉的收缩或舒张的肌电信号,进行条件判断并控制仿真机械臂,且能够自由定义不同通道不同肌肉状态时机械臂的不同操作,如机械爪的开合、多机械臂不同结点的扭转。

Description

一种基于多通道肌电信号的仿真机械臂控制方法
技术领域
本发明涉及肌电信号技术领域,尤其是一种基于多通道肌电信号的仿真机械臂控制方法。
背景技术
人在回路的遥操作是现阶段机械臂控制的主流技术方式,即依靠操作人员参与并给出控制指令以保证任务的顺利完成,遥操作系统有着巨大的研究意义和应用价值。在远距离传输信号时,无法避免地会发生信号延迟或时间延迟问题。在机器人控制回路中,由操纵者发出的机器人控制命令需要从操控者一端发送到远端的机器人,展示运行情况的相关信息需要发送回控制者一端。通信延迟和信号时延的干扰不仅会影响实时操作,导致图像干扰和机器人仪器超调或振荡,甚至会破坏机器人系统的稳定性,这些偏差给原本可控和安全的操作环境带来了不可预见性、低效和不准确性。
随着先进信号处理技术以及预测控制算法的发展,使得基于生物电信号采集系统可以作为遥操作系统的一类人机交互设备。其中,基于生物电信号的控制方式可以直接解码出动作意图,省去了意识产生到动作执行这一段时间,加速被控机械臂的快速执行能力,缩短遥操作任务执行的延迟时间。利用生物电信号相对操控决策的时间超前性,可进一步缩短遥操作回路时间,降低风险,且可以方便机械臂实现复杂的操作任务。未来在提高遥操作自主性的同时减小时延影响、增强复杂遥操作交互的可靠性和灵活性,是该领域的一个重要趋势。
目前通过隐马尔可夫模型(Hidden MarkovModel)或聚类之高斯混合模型(Gaussian Mixture Model)等进行运动编码及在线学习的方式,可以使得远端机械臂根据间断且稀疏的数据流进行运动再生,有效提高了遥操作的灵活性和鲁棒性,引起该领域研究者的普遍关注。但该类方法仍没有对时延本身做出改善,而且需要复杂的操控界面,并要求操作员较高的专业性,不利于人直接控制机器人进行训练或干预。
发明内容
本发明需要解决的技术问题是提供一种基于多通道肌电信号的仿真机械臂控制方法,通过采集多通道人体肌肉的收缩或舒张的肌电信号,进行条件判断并控制仿真机械臂,且能够自由定义不同通道不同肌肉状态时机械臂的不同操作,如机械爪的开合、多机械臂不同结点的扭转。
为解决上述技术问题,本发明所采用的技术方案是:
一种基于多通道肌电信号的仿真机械臂控制方法,包括以下步骤:
S1、肌电采集:通过多通道肌肉电传感器采集人体肌电信号,将肌电信号经过放大与滤波处理后传输至电脑;
S2、数据显示:通过将多通道肌肉电传感器采集的多通道的肌电信号进行数据与波形可视化展示;
S3、仿真机械臂控制:定义不同通道不同肌肉状态时机械臂的不同操作,并根据采集的多通道肌电信号对机械臂进行实时控制;
S4、多通道协同控制:多通道肌电信号对机械臂的协同控制。
本发明技术方案的进一步改进在于:所述多通道肌肉电传感器为六导联肌肉电传感器,设置1~6 通道,利用六导联肌肉电传感器进行前端最多6个通道的模拟电路的采集。
本发明技术方案的进一步改进在于:S1中,具体包括以下步骤:
S11、将三导联线的一端接入多通道肌肉电传感器,另一端与待测肌肉相连,三导联线连接的第一电极作为参考电极连接没有肌肉活动的区域,第二电极与第三电极与待测肌肉相连;
S12、对多通道肌肉电传感器采集的肌电信号进行放大、滤波和解码,并传输给电脑。
本发明技术方案的进一步改进在于:S3中,具体包括以下步骤:
S31、打开机器人仿真平台, 添加机械臂与机械爪,将机械爪绑定于机械臂端头并为其添加控制开合的脚本;
S32、设定肌电信号电位阈值与操作延时判定规则;
S33、根据各通道肌电信号电位阈值,定义不同肌肉状态时机械臂的不同操作。
本发明技术方案的进一步改进在于:所述肌电信号电位阈值设置为600μV。
本发明技术方案的进一步改进在于:操作延时判定规则为进行延时阈值判定,延时阈值为50ms。
本发明技术方案的进一步改进在于:S4中,具体包括以下步骤:
S4.1直接应用多通道肌电信号对机械臂进行协同控制;
S4.2根据对应动作的多通道肌电信号建立数据库,并根据数据库对机械臂进行指定控制或者预测控制。
本发明技术方案的进一步改进在于:S4.2中,具体包括以下步骤:
S4.2.1分别将多条三导联线接入手臂各个部位的表面,采集各基本动作下的多通道的肌电信号,转化为机械臂控制信号,并建立数据库;
S4.2.2当机械臂需要完成指定动作时,调用数据库中对应动作的机械臂控制信号完成协同控制;
S4.2.3当手部做出对应动作时,程序会根据数据库内容显示手臂正在进行的动作,并调用数据库完成后续动作,并通过点选需要控制的机械臂关节部位,通过手臂动作直接对其进行控制。
由于采用了上述技术方案,本发明取得的技术进步是:
1、本发明针对遥操作的时间延迟问题,利用生物电信息决策较传统行为决策的超前特性,提出了基于肌电信号直接控制仿真机械臂的遥操作方法,有效缩短了信息传输的路径,减小了时间延迟对遥操作的影响。
2、本发明通过多通道采集肌电信号,为操作设置延时判定规则,对仿真机械臂的控制方法实现了多元化、实时化、简易化、推广化。
3、本发明支持肌电信号实时控制仿真机械臂,支持根据需求自定义包括但不限于判定阈值、不同肌电通道的功能、仿真机械爪的开合、仿真机械臂关节的移动方向、度数等,降低了操作门槛,增强了可扩展性。
附图说明
图1是本发明的流程示意图;
图2是肌肉电传感器接线图;
图3是仿真机械臂平台所选用的UR3机械臂与RG2机械爪;
图4是单通道肌电信号实时控制仿真机械臂的示意图,肌肉放松时,机械爪关闭;
图5是单通道肌电信号实时控制仿真机械臂的示意图,肌肉用力时,机械爪打开。
具体实施方式
下面结合附图及实施例对本发明做进一步详细说明:
在本发明的描述中,需要理解的是,术语“第一”、“第二”……仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”……的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“若干个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
如图1所示,一种基于多通道肌电信号的仿真机械臂控制方法,包括以下步骤:
S1、肌电采集:通过多通道肌肉电传感器采集人体肌电信号,将肌电信号经过放大与滤波处理后传输至电脑;
本实施例中,多通道肌肉电传感器为六导联肌肉电传感器,设置1~6 通道,六导联肌肉电传感器可以来监测肌肉组织的活动。利用六导联肌肉电传感器进行前端最多6个通道的模拟电路的采集。在待测肌肉处粘贴电极贴片,将三导联线的端口接入电极贴片。前端采集电路通过 1~6 通道采集人体手臂或者腿部的肌电信号,将肌电信号经过一系列的放大与滤波处理后,通过USB端口实时传输至电脑,即可通过后置程序对这些数据进行显示与处理。
如图2所示,S1具体包括以下步骤:
S11、将三导联线的一端接入多通道肌肉电传感器,另一端与待测肌肉相连,三导联线连接的第一电极作为参考电极连接没有肌肉活动的区域,第二电极与第三电极与待测肌肉相连;
本实施例中,第一电极外部设置为红色,第二电极外部设置为黄色,第三电极外部设置为绿色,加以区分;参考电极的位置可以选择在肘部。
S12、对多通道肌肉电传感器采集的肌电信号进行放大、滤波和解码,并传输给电脑。
本实施例中,应用ARDUINO开发板对肌电信号进行放大与滤波,并通过USB端口与电脑相连,在电脑的设备管理器的端口(COM和LPT)中确认端口串行号。
S2、数据显示:通过将多通道肌肉电传感器采集的多通道的肌电信号进行数据与波形可视化展示;
本实施例中,分别设置多通道肌电信号USB的输入端口串行号,运行程序,可以看到肌电信号图已经可以实时显示所采集的肌电信号大小与波形。
S3、仿真机械臂控制:定义不同通道不同肌肉状态时机械臂的不同操作,并根据采集的多通道肌电信号对机械臂进行实时控制。
本发明可以自由定义不同通道不同肌肉状态时机械臂的不同操作,通过采集人体肌肉的收缩或舒张的肌电信号,进行条件判断并直接控制仿真机械臂;
本实施例中,仿真机械臂模块主要基于CoppeliaSim软件平台,在此平台添加模拟仿真机械臂型号为UR3、机械爪型号为RG2,通过自主编写的肌电信号控制程序可以实现输入端的肌电信号对该仿真机械臂与机械爪的实时控制。此外可以自由定义不同通道不同肌肉状态时机械臂的不同操作,如一通道肌电信号对应机械爪的开合、多通道肌电信号分别对应机械臂不同结点的扭转等。
如图3所示, S3具体包括以下步骤:
S31、打开机器人仿真平台, 添加机械臂与机械爪,将机械爪绑定于机械臂端头并为其添加控制开合的脚本;
本实施例中,打开Coppeliasim机器人仿真平台, 添加UR3机械臂与RG2机械爪,将机械爪绑定于机械臂端头并为其添加控制开合的脚本;
S32、设定肌电信号电位阈值与操作延时判定规则;
本实施例中,程序初始设置肌电信号电位阈值为600μV,电位值超过600μV时判定机械爪开爪,各个通道根据控制需求自由调整肌电信号电位阈值。
由于程序运行时,肌电信号实时采集并生成连续波形图,如果连续进行肌电信号值的判定必然会占用大量时间与存储空间,因此设置操作延时判定规则,以防止过快执行机械臂开合指令导致波形图显示延迟,造成手臂实际用力情况、波形图和仿真机械臂开合情况对不上的情况。操作延时判定规则为进行延时阈值判定,延时阈值为50ms,即每50ms进行一次判定。后续可根据程序运行情况对延时时间、阈值大小等判定条件进行修改。
S33、根据各通道肌电信号电位阈值,定义不同肌肉状态时机械臂的不同操作。
如图4、图5所示,设置完成后,可以看到程序可以正常运行,当肌肉放松时机械爪处于关闭状态,当肌肉用力时机械爪处于打开状态。
程序运行逻辑为:当所采集肌电信号的电位值小于所肌电信号电位阈值时,执行关闭机械爪操作,当所采集肌电信号的电位值大于肌电信号电位阈值时,执行打开机械爪操作。除了机械爪的开合,也可以实现机械臂关节的旋转。
本实施例中,除了控制机械爪的开合,还可以控制机械臂的旋转,在主程序中加入robot.rotateCertainAnglePositive(x, angle)或robot.rotateCertainAngleNegative(x, angle)代码控制机械臂正转或反转。其中x取0~5,分别对应机械臂的不同自由度;angle取希望机械臂每次转动的任意角度。
S4、多通道协同控制:多通道肌电信号对机械臂的协同控制;
S4.1直接应用多通道肌电信号对机械臂进行协同控制;
分别将多条三导联线接入手臂各个部位的表面,采集多通道的肌电信号,可以协同实现对手臂多部位复杂操作的协同控制,并通过程序可以看到肌电信号图实时显示所采集的多通道肌电信号大小与波形,不同通道的波形以不同颜色标出。
S4.2根据对应动作的多通道肌电信号建立数据库,并根据数据库对机械臂进行指定控制或者预测控制;具体包括以下步骤:
S4.2.1分别将多条三导联线接入手臂各个部位的表面,采集各基本动作下的多通道的肌电信号,转化为机械臂控制信号,并建立数据库;基本动作包括手腕顺时针旋转、手腕逆时针旋转、屈臂、伸臂、握拳、松拳、静止;
S4.2.2当机械臂需要完成指定动作时,调用数据库中对应动作的机械臂控制信号完成协同控制;
S4.2.3当手部做出对应动作时,程序会根据数据库内容显示手臂正在进行的动作,并调用数据库完成后续动作,并通过点选需要控制的机械臂关节部位,通过手臂动作直接对其进行控制,如手腕顺时针旋转时,该关节也进行顺时针旋转操作;选择夹爪,当握拳时,机械爪也对应夹合等,实现符合人类直观意图的控制,可以减少反应时间,从而降低延时。
综上所述,本发明通过采集多通道人体肌肉的收缩或舒张的肌电信号,进行条件判断并控制仿真机械臂,且能够自由定义不同通道不同肌肉状态时机械臂的不同操作,如机械爪的开合、多机械臂不同结点的扭转,并通过多通道肌电信号对机械臂的协同控制。

Claims (8)

1.一种基于多通道肌电信号的仿真机械臂控制方法,其特征在于:包括以下步骤:
S1、肌电采集:通过多通道肌肉电传感器采集人体肌电信号,将肌电信号经过放大与滤波处理后传输至电脑;
S2、数据显示:通过将多通道肌肉电传感器采集的多通道的肌电信号进行数据与波形可视化展示;
S3、仿真机械臂控制:定义不同通道不同肌肉状态时机械臂的不同操作,并根据采集的多通道肌电信号对机械臂进行实时控制;
S4、多通道协同控制:多通道肌电信号对机械臂的协同控制。
2.根据权利要求1所述的一种基于多通道肌电信号的仿真机械臂控制方法,其特征在于:所述多通道肌肉电传感器为六导联肌肉电传感器,设置1~6 通道,利用六导联肌肉电传感器进行前端最多6个通道的模拟电路的采集。
3.根据权利要求1所述的一种基于多通道肌电信号的仿真机械臂控制方法,其特征在于:S1中,具体包括以下步骤:
S11、将三导联线的一端接入多通道肌肉电传感器,另一端与待测肌肉相连,三导联线连接的第一电极作为参考电极连接没有肌肉活动的区域,第二电极与第三电极与待测肌肉相连;
S12、对多通道肌肉电传感器采集的肌电信号进行放大、滤波和解码,并传输给电脑。
4.根据权利要求1所述的一种基于多通道肌电信号的仿真机械臂控制方法,其特征在于:S3中,具体包括以下步骤:
S31、打开机器人仿真平台, 添加机械臂与机械爪,将机械爪绑定于机械臂端头并为其添加控制开合的脚本;
S32、设定肌电信号电位阈值与操作延时判定规则;
S33、根据各通道肌电信号电位阈值,定义不同肌肉状态时机械臂的不同操作。
5.根据权利要求4所述的一种基于多通道肌电信号的仿真机械臂控制方法,其特征在于:所述肌电信号电位阈值设置为600μV。
6.根据权利要求4所述的一种基于多通道肌电信号的仿真机械臂控制方法,其特征在于:操作延时判定规则为进行延时阈值判定,延时阈值为50ms。
7.根据权利要求1所述的一种基于多通道肌电信号的仿真机械臂控制方法,其特征在于:S4中,具体包括以下步骤:
S4.1直接应用多通道肌电信号对机械臂进行协同控制;
S4.2根据对应动作的多通道肌电信号建立数据库,并根据数据库对机械臂进行指定控制或者预测控制。
8.根据权利要求7所述的一种基于多通道肌电信号的仿真机械臂控制方法,其特征在于:S4.2中,具体包括以下步骤:
S4.2.1分别将多条三导联线接入手臂各个部位的表面,采集各基本动作下的多通道的肌电信号,转化为机械臂控制信号,并建立数据库;
S4.2.2当机械臂需要完成指定动作时,调用数据库中对应动作的机械臂控制信号完成协同控制;
S4.2.3当手部做出对应动作时,程序会根据数据库内容显示手臂正在进行的动作,并调用数据库完成后续动作,并通过点选需要控制的机械臂关节部位,通过手臂动作直接对其进行控制。
CN202211464316.7A 2022-11-22 2022-11-22 一种基于多通道肌电信号的仿真机械臂控制方法 Pending CN115990876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211464316.7A CN115990876A (zh) 2022-11-22 2022-11-22 一种基于多通道肌电信号的仿真机械臂控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211464316.7A CN115990876A (zh) 2022-11-22 2022-11-22 一种基于多通道肌电信号的仿真机械臂控制方法

Publications (1)

Publication Number Publication Date
CN115990876A true CN115990876A (zh) 2023-04-21

Family

ID=85991361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211464316.7A Pending CN115990876A (zh) 2022-11-22 2022-11-22 一种基于多通道肌电信号的仿真机械臂控制方法

Country Status (1)

Country Link
CN (1) CN115990876A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120232675A1 (en) * 2009-09-02 2012-09-13 Luis Armando Bravo Castillo System and method for acquiring and processing myoelectric signals in order to control a prosthetic arm
CN106923942A (zh) * 2017-02-15 2017-07-07 上海术理智能科技有限公司 基于人体肌电信号控制的上下肢运动辅助系统
CN207323594U (zh) * 2016-12-05 2018-05-08 常熟理工学院 基于肌电信号的机械臂控制系统
CN113805696A (zh) * 2021-09-01 2021-12-17 肩并肩智能技术(北京)有限公司 一种基于表面肌电信号和动捕技术的机器学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120232675A1 (en) * 2009-09-02 2012-09-13 Luis Armando Bravo Castillo System and method for acquiring and processing myoelectric signals in order to control a prosthetic arm
CN207323594U (zh) * 2016-12-05 2018-05-08 常熟理工学院 基于肌电信号的机械臂控制系统
CN106923942A (zh) * 2017-02-15 2017-07-07 上海术理智能科技有限公司 基于人体肌电信号控制的上下肢运动辅助系统
CN113805696A (zh) * 2021-09-01 2021-12-17 肩并肩智能技术(北京)有限公司 一种基于表面肌电信号和动捕技术的机器学习方法

Similar Documents

Publication Publication Date Title
CN106808461B (zh) 磁流变力反馈式数据手套及应用其实现远程操作的方法
Carrino et al. A self-paced BCI system to control an electric wheelchair: Evaluation of a commercial, low-cost EEG device
Yang et al. An EMG-based deep learning approach for multi-DOF wrist movement decoding
CN104586608A (zh) 基于肌电控制的可穿戴式助力手指及其控制方法
CN112494276B (zh) 一种手部康复机器人系统
CN103558786A (zh) 基于嵌入Android移动终端及FPGA的手部功能康复机器人人机交互控制系统
CN105012057A (zh) 基于双臂肌电、姿态信息采集的智能假肢及运动分类方法
Nowak et al. Simultaneous and proportional real-time myocontrol of up to three degrees of freedom of the wrist and hand
CN111616847B (zh) 基于肌肉协同和人机语音交互的上臂假肢控制系统和方法
CN109521880B (zh) 一种基于混合生物电信号驱动的遥操作机器人系统及方法
CN106491251B (zh) 一种基于非侵入式脑机接口机器臂控制系统及其控制方法
CN114327048B (zh) 一种基于脑电信号和眼电信号的机械臂控制方法及系统
CN105138133A (zh) 生物信号手势识别设备及方法
JP2659653B2 (ja) ロボットハンド制御装置
CN113370172B (zh) 基于多传感器和力反馈的辅助机械手系统及其使用方法
Garcia et al. EEG control of an industrial robot manipulator
Meattini et al. Combining unsupervised muscle co-contraction estimation with bio-feedback allows augmented kinesthetic teaching
CN113730190A (zh) 一种三维空间运动的上肢康复机器人系统
CN115990876A (zh) 一种基于多通道肌电信号的仿真机械臂控制方法
Patel et al. EMG-based human machine interface control
CN204909750U (zh) 基于双臂肌电、姿态信息采集的智能假肢
Lim et al. Convolutional neural network based electroencephalogram controlled robotic arm
Martisius et al. Design of a neural interface based system for control of robotic devices
CN210189826U (zh) 仿生手系统
Popović et al. A new approach to reaching control for tetraplegic subjects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination