CN114138111A - 一种肌电智能仿生手的全系统控制交互方法 - Google Patents

一种肌电智能仿生手的全系统控制交互方法 Download PDF

Info

Publication number
CN114138111A
CN114138111A CN202111337725.6A CN202111337725A CN114138111A CN 114138111 A CN114138111 A CN 114138111A CN 202111337725 A CN202111337725 A CN 202111337725A CN 114138111 A CN114138111 A CN 114138111A
Authority
CN
China
Prior art keywords
bionic
gesture
hand
bionic hand
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111337725.6A
Other languages
English (en)
Other versions
CN114138111B (zh
Inventor
韩璧丞
黄琦
周建吾
梁茂星
张之
王俊霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mental Flow Technology Co Ltd
Original Assignee
Shenzhen Mental Flow Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mental Flow Technology Co Ltd filed Critical Shenzhen Mental Flow Technology Co Ltd
Priority to CN202111337725.6A priority Critical patent/CN114138111B/zh
Publication of CN114138111A publication Critical patent/CN114138111A/zh
Application granted granted Critical
Publication of CN114138111B publication Critical patent/CN114138111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/54Artificial arms or hands or parts thereof
    • A61F2/58Elbows; Wrists ; Other joints; Hands
    • A61F2/583Hands; Wrist joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2/70Operating or control means electrical
    • A61F2/72Bioelectric control, e.g. myoelectric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Transplantation (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Vascular Medicine (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及仿生手技术领域,具体是涉及一种肌电智能仿生手的全系统控制交互方法。监测使用者产生的信号数据,得到信号监测数据;获取仿生手的离线动作,所述离线动作为所述仿生手脱离所述信号监测数据所做的动作;依据所述信号监测数据和所述离线动作,控制所述仿生手。本发明既采用使用者发出的信号控制仿生手的动作,又采用设定的离线动作控制仿生手的动作,其中离线动作为当使用者还没有产生肌电信号时,仿生手也会做出相应的离线动作,而不是僵硬地放在那不动,前者会让仿生手看起来更接近于真实的手,从而达到仿生手的使用效果。两者相互配合能够让仿生手所做出的动作更接近于真实的人手所做出的动作。

Description

一种肌电智能仿生手的全系统控制交互方法
技术领域
本发明涉及仿生手技术领域,具体是涉及一种肌电智能仿生手的全系统控制交互方法。
背景技术
智能仿生手是利用经过处理的控制人类肢体的生物电信号来控制代替人手的机械装置,以实现人手的基本功能与外界环境的交流。其是将生理学、机械学、仿生学以及微电子技术、传感技术、自动控制技术等与生物医学工程相关的技术融合于一体的多学科、多技术的系统工程,以此制作出与人手结构、功能相仿的仿生手,是无功能假手的延伸。
人体运动时,来自脊髓神经的控制信号通过神经肌肉接头传递到肌肉纤维,肌纤维细胞通过去极化和复极化过程,在神经肌肉接头处产生动作电位,并沿肌肉纤维向两端肌腱处传播,同时在其周围组织中产生细胞外电场。经过周围组织的滤波,可以由针电极或表面电极检测得到动作电位,而记录这种肌肉动作电位的曲线称为肌电图,即肌电信号。
由于肌电信号比较容易获取,表面肌电的电压信号一般可以通过安放在患者残余肌肉的电极来获取。而表面肌电信号是与人体运动相关联的,肢体做不同的动作会产生不同的肌电信号。肢体不同的动作则会产生不同的肌肉运动状态,而不同的肌肉运动状态对应的表面肌电信号特征也不同。因此,可以利用产生肌电信号的不同特征来区分对应的肢体动作,从而可以利用肌电信号对仿生手的动作进行控制。肌电信号控制可以让使用者用意识来控制仿生手的伸、握、旋转动作,得到很广泛的应用。
所谓肌电控制方法,就是在与行为密切相关的肌肉上采集肌电原始信号,再经过放大、滤波等预处理后,进行特征提取和模式识别分类。然后作为信号源来驱动相应动力关节的电机、气泵或油压泵等机构,进而来实现控制执行机构运动的目的。
现有技术只通过使用者发出的信号(使用者的意识)控制仿生手的动作,而作为患者的使用者难以持续稳定地发出控制仿生手的信号,一旦信号中断,则会导致仿生手不再发生动作上的改变,即仿生手呈现动作僵持状,从而导致仿生手所呈现的使用效果偏离真实的人手使用效果。
综上所述,现有的仿生手控制方法导致仿生手所呈现的使用效果偏离真实的人手使用效果。
因此,现有技术还有待改进和提高。
发明内容
为解决上述技术问题,本发明提供了一种肌电智能仿生手的全系统控制交互方法,解决了现有的仿生手控制方法导致仿生手所呈现的使用效果偏离真实的人手使用效果的问题。
为实现上述目的,本发明采用了以下技术方案:
第一方面,本发明提供一种肌电智能仿生手的全系统控制交互方法,其中,包括:
监测使用者产生的信号数据,得到信号监测数据;
获取仿生手的离线动作,所述离线动作为所述仿生手脱离所述信号监测数据所做的动作;
依据所述信号监测数据和所述离线动作,控制所述仿生手。
在一种实现方式中,所述依据所述信号监测数据和所述离线动作,控制所述仿生手,包括:
当所述信号监测数据所对应的信号强度小于设定值时,依据所述离线动作控制所述仿生手;
当所述信号监测数据所对应的信号强度大于等于设定值时,依据所述信号监测数据控制所述仿生手。
在一种实现方式中,所述当所述信号监测数据所对应的信号强度小于设定值时,依据所述离线动作控制所述仿生手,包括:
依据所述离线动作,得到所述离线动作中的所述仿生手的第一离线仿生手势、第二离线仿生手势、第三离线仿生手势,所述第一离线仿生手势、第二离线仿生手势、第三离线仿生手势彼此相异;
控制所述仿生手的手指依次交替循环呈现所述第一离线仿生手势、所述第二离线仿生手势、所述第三离线仿生手势。
在一种实现方式中,所述控制所述仿生手的手指依次交替循环呈现所述第一离线仿生手势、所述第二离线仿生手势、所述第三离线仿生手势,包括:
当所述手指呈现所述第一离线仿生手势的持续时间大于第一设定时间时,通过控制驱动器将所述手指从所述第一离线仿生手势变换到所述第二离线仿生手势,所述驱动器用于通过驱动所述手指的关节运动;
当所述手指呈现所述第二离线仿生手势的持续时间大于第二设定时间时,通过控制所述驱动器将所述手指从所述第二离线仿生手势变换到所述第三离线仿生手势。
在一种实现方式中,所述当所述信号监测数据所对应的信号强度大于等于设定值时,依据所述信号监测数据控制所述仿生手,包括:
依据所述信号监测数据,得到所述信号监测数据中的肌电监测信号;
获取样本数据库,所述样本数据库包括样本肌电信号、与所述样本肌电信号所对应的样本手势;
依据所述肌电监测信号,得到与所述肌电监测信号所匹配的所述样本肌电信号;
依据所述样本肌电信号,得到与所述样本肌电信号所对应的所述样本手势;
依据所述样本手势,控制所述仿生手。
在一种实现方式中,所述方法还包括:
设定所述仿生手的手指的初始位置、手指的自由状态、手指的锁定状态;
控制所述手指依次循环所述初始位置、所述自由状态和所述锁定状态。
在一种实现方式中,所述方法还包括:
通过蓝牙设备获取所述仿生手的主板序列号和马达板序列号;
获取与所述主板序列号相对应的主板标准序列号、与所述马达板序列号相对应的马达板标准序列号;
若马达板序列号与所述马达板标准序列号不一致,则所述仿生手为组装仿生手;
若马达板序列号与所述马达板标准序列号一致,则根据所述主板序列号和主板标准序列号,获取所述主板是否更换的信息。
第二方面,本发明实施例还提供一种仿生手的控制系统,其中,所述控制系统包括如下组成部分:
电池控制模块,用于控制所述仿生手的电池工作状态;
蓝牙控制模块,用于控制蓝牙信号的连接;
更新控制模块,用于控制所述仿生手的应用程序升级;
设定手势控制模块,用于控制所述仿生手按照设定手势运行;
仿生手势控制系统,用于监测使用者所发出的信号数据和获取仿生手的离线动作,并依据所述信号监测数据和所述离线动作,控制所述仿生手。
第三方面,本发明实施例还提供一种终端设备,其中,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的仿生手的控制程序,所述处理器执行所述仿生手的控制程序时,实现上述所述的肌电智能仿生手的全系统控制交互方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有仿生手的控制程序,所述仿生手的控制程序被处理器执行时,实现上述所述的肌电智能仿生手的全系统控制交互方法的步骤。
有益效果:本发明结合了使用者发出的信号和离线动作控制仿生手的动作,当作为患者的使用者难以持续稳定地发出信号以控制仿生手的动作时,本发明可以依据设定的离线动作控制仿生手做出相应的动作,而不会因作为患者的使用者因身体原因不能发出信号导致仿生手保持僵持状;当作为患者的使用者可以持续稳定地发出信号以控制仿生手的动作时,仿生手便根据使用者发出的信号完成使用者需要仿生手完成的动作。
综上所述,本发明既采用使用者发出的信号控制仿生手的动作,又采用设定的离线动作控制仿生手的动作。两者相互配合能够让仿生手所做出的动作更接近于真实的人手所做出的动作。
附图说明
图1为本发明的整体流程图;
图2为本发明的信号监测数据所对应的信号强度大于等于设定值时,控制仿生手的流程图;
图3为本发明的电池控制模块;
图4为本发明的控制仿生手的两种方式;
图5为本发明的仿生手的离线模式;
图6为本发明的仿生手自由控制模式;
图7实施例提供的终端设备的内部结构原理框图。
具体实施方式
以下结合实施例和说明书附图,对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
经研究发现,智能仿生手是利用经过处理的控制人类肢体的生物电信号来控制代替人手的机械装置,以实现人手的基本功能与外界环境的交流。其是将生理学、机械学、仿生学以及微电子技术、传感技术、自动控制技术等与生物医学工程相关的技术融合于一体的多学科、多技术的系统工程,以此制作出与人手结构、功能相仿的仿生手,是无功能假手的延伸。人体运动时,来自脊髓神经的控制信号通过神经肌肉接头传递到肌肉纤维,肌纤维细胞通过去极化和复极化过程,在神经肌肉接头处产生动作电位,并沿肌肉纤维向两端肌腱处传播,同时在其周围组织中产生细胞外电场。经过周围组织的滤波,可以由针电极或表面电极检测得到动作电位,而记录这种肌肉动作电位的曲线称为肌电图,即肌电信号。由于肌电信号比较容易获取,表面肌电的电压信号一般可以通过安放在患者残余肌肉的电极来获取。而表面肌电信号是与人体的运动相关联的,肢体做不同的动作会产生不同的肌电信号。肢体不同的动作则会产生不同的肌肉运动状态,而不同的肌肉运动状态对应的表面肌电信号特征也不同。因此,可以利用产生肌电信号的不同特征来区分对应的肢体动作,从而可以利用肌电信号对仿生手的动作进行控制。肌电信号控制可以让使用者用意识来控制仿生手的伸、握、旋转动作,得到很广泛的应用。所谓肌电控制方法,就是在与行为密切相关的肌肉上采集肌电原始信号,再经过放大、滤波等预处理后,进行特征提取和模式识别分类。然后作为信号源来驱动相应动力关节的电机、气泵或油压泵等机构,进而来实现控制执行机构运动的目的。现有技术只通过使用者发出的信号(使用者的意识)控制仿生手的动作,而作为患者的使用者难以持续稳定地发出控制仿生手的信号,一旦信号中断,则会导致仿生手不再发生动作上的改变,即仿生手呈现动作僵持状,从而导致仿生手所呈现的使用效果偏离真实的人手使用效果。
为解决上述技术问题,本发明提供了一种肌电智能仿生手的全系统控制交互方法,解决了现有的仿生手控制方法导致仿生手所呈现的使用效果偏离真实的人手使用效果的问题。具体实施时,监测使用者所发出的信号数据;获取仿生手的离线动作;依据所述信号监测数据和所述离线动作,控制所述仿生手。本发明既采用使用者发出的信号控制仿生手的动作,又采用设定的离线动作控制仿生手的动作。两者相互配合能够让仿生手所做出的动作更接近于真实的人手所做出的动作。
举例说明,有的时候使用者因不需要和别人握手、不需要拿取东西,而不想刻意发出信号去控制仿生手做动作。此时仿生手就会保持一个动作不变,因为真实的手即使人不需要握手不需要拿取东西也会很随意的做一些小动作,因此为了让仿生手在使用者不发出信号时也能更接近真实的手,会控制仿生手做出一些接近真实手所做出的小动作,即根据离线动作控制仿生手做出类似于手指小幅度弯曲的动作等。本实施例的离线动作不是根据使用者发出的信号而产生的动作,而是设定在仿生手内部的动作,以保证即使使用者不发出信号也可以让仿生手动作,从而使得仿生手更接近于真实手的使用效果。
示例性方法
本实施例的一种肌电智能仿生手的全系统控制交互方法可应用于终端设备中,所述终端设备可为具有控制功能的终端产品,比如电脑等。在本实施例中,如图1中所示,所述肌电智能仿生手的全系统控制交互方法具体包括如下步骤:
S100,监测使用者产生的信号数据,得到信号监测数据。
本实施例实时监测使用者的肌电信号,采用肌电感应的信号处理方式替代了传统仿生手中的固定训练方式,采集到患者残肢上的肌电信号从而可以精准地判断其将要完成的动作,通过算法转化来控制动力系统,使智能仿生手手指带动患者完成相应的内收/外展运动,实现肌电控制运动功能。
可以将肌电信号作为信号监测数据以控制仿生手,也可以将使用者的脑电波信号以及语音信号作为信号监测数据以控制仿生手。本实施例优选肌电信号作为信号监测数据以控制仿生手。这是因为脑电波信号中含有与控制仿生手无关的其它信号,其它信号的存在会干扰对仿生手的信号。而如果使用者通过语音实现对仿生手的控制,会给使用者带来诸多不变,尤其在嘈杂公众场合会导致仿生手难以识别出使用者的语音信号。
S200,获取仿生手的离线动作,所述离线动作为所述仿生手脱离所述信号监测数据所做的动作。
本实施例仿生手的离线动作就是没有使用者的肌电信号参与的情况下仿生手所做出的动作。
本实施例的离线动作包括如图5所示的选定离线手势X(初始状态是手势1)、复位状态、离线手势X初始位置。比如选定离线手势X可以是OK的手势,复位状态可以是五个手指张开(复位状态即仿生手出厂时的状态),离线手势X初始位置可以是OK手势中其中两个手指与另外三个手指之间的距离,该距离为设定距离。
S300,依据所述信号监测数据和所述离线动作,控制所述仿生手。
步骤S300包括信号监测数据所对应的信号强度(肌电信号的强度)小于设定值时和信号监测数据所对应的信号强度大于等于设定值这两种情况:
当信号监测数据所对应的信号强度小于设定值时,步骤S300包括如下的步骤S301、S302:
S301,依据所述离线动作,得到所述离线动作中的所述仿生手的第一离线仿生手势、第二离线仿生手势、第三离线仿生手势,所述第一离线仿生手势、第二离线仿生手势、第三离线仿生手势彼此相异。
本实施例的第一离线仿生手势即步骤S200中的选定离线手势X,第二离线仿生手势即步骤S200中的复位状态,第三离线仿生手势即步骤S200中的离线手势X初始位置,第一离线仿生手势、第二离线仿生手势、第三离线仿生手势是仿生手脱离使用者的肌电信号所呈现出来的手势,是由仿生手按照设定的程序自动实现的手势。
S302,控制所述仿生手的手指依次交替循环呈现所述第一离线仿生手势、所述第二离线仿生手势、所述第三离线仿生手势。
本实施例,当使用者的肌电信号强度为零(即使用者还没有向仿生手发送肌电信号时,仿生手也会做出相应的动作(第一离线仿生手势、第二离线仿生手势、第三离线仿生手势交替循环)),而不是僵硬地放在那不动,前者会让仿生手看起来更接近于真实的手,从而达到仿生手的使用效果。
第一离线仿生手势、第二离线仿生手势、第三离线仿生手势在交替循环的过程中会出现堵转状态(即从其中一个离线仿生手势不能变化成另一个仿生手势)。
当所述手指呈现所述第一离线仿生手势的持续时间大于第一设定时间(2s)时,即第一离线仿生手势变换成第二离线仿生手势的过程中出现堵转状态,可以通过控制驱动器将所述手指从所述第一离线仿生手势变换到所述第二离线仿生手势(驱动器即安装在手指关节处的电机,通过控制电机的正反转将手指的手势变换成第二离线仿生手势);同样,当所述手指呈现所述第二离线仿生手势的持续时间大于第二设定时间时,通过控制所述驱动器将所述手指从所述第二离线仿生手势变换到所述第三离线仿生手势。
信号监测数据所对应的信号强度大于等于设定值,步骤S300包括如图2所示的步骤S303、S304、S305、S306、S307:
S303,依据所述信号监测数据,得到所述信号监测数据中的肌电监测信号。
S304,获取样本数据库,所述样本数据库包括样本肌电信号、与所述样本肌电信号所对应的样本手势。
采集使用者的样本数据库,比如样本肌电信号A,通过使用者的表述可知使用者想做的手势为a;样本肌电信号B,通过使用者的表述可知使用者想做的手势为b。
S305,依据所述肌电监测信号,得到与所述肌电监测信号所匹配的所述样本肌电信号。
S306,依据所述样本肌电信号,得到与所述样本肌电信号所对应的所述样本手势。
S307,依据所述样本手势,控制所述仿生手。
举例说明步骤S305-S307的过程:当检测到使用者的肌电监测信号C,将C与A和B进行比较,当得到C比较接近于A时,则与C相对应的手势为手势a,否则手势为手势b。
本实施例中,步骤S300中可以只包括步骤S301和S302,也可以只包括S303、S304、S305、S306、S307,也可以包括S301、S302、S303、S304、S305、S306、S307。当将仿生手放在展厅里展示只需要步骤S301和S302即可;当刚开始启动仿生手,使用者还没有来得及给仿生手施加肌电信号时,步骤S300就需要包括S301、S302、S303、S304、S305、S306、S307,这样能够使得仿生手看起来更接近于真实的手。
步骤S301、S302、S303、S304、S305、S306、S307都属于仿生手的手势控制模式,如图6所示仿生手还包括自由控制模式,当仿生手处于自由控制模式时,步骤300包括如下的步骤:
S308,设定所述仿生手的手指的初始位置、手指的自由状态、手指的锁定状态。
S309,控制所述手指依次循环所述初始位置、所述自由状态和所述锁定状态。
手指的自由状态是与仿生手内部设定的肌电信号相对应,而仿生手内部设定的肌电信号并不是使用者真实发出的肌电信号信号,只是类似于使用者真实发出的肌电信号。之所以设置自由控制模式,是为了给那些产生不了肌电信号的患者使用,这类患者即使产生不了肌电信号也可以让仿生手的手势发生变化,以使仿生手呈现动态状态,从而使得仿生手看起来更接近于真实的手。
综上,本发明结合了使用者发出的信号和离线动作控制仿生手的动作,当作为患者的使用者难以持续稳定地发出信号以控制仿生手的动作时,本发明可以依据设定的离线动作控制仿生手做出相应的动作,而不会因作为患者的使用者因身体原因不能发出信号导致仿生手不动地保持僵持状;当作为患者的使用者可以持续稳定地发出信号以控制仿生手的动作时,仿生手便根据使用者发出的信号完成使用者需要仿生手完成的动作。本发明既采用使用者发出的信号控制仿生手的动作,又采用设定的离线动作控制仿生手的动作。两者相互配合能够让仿生手所做出的动作更接近于真实的人手所做出的动作。
示例性系统
本实施例还提供一种仿生手的控制系统,所述控制系统包括如下组成部分:
电池控制模块,用于控制所述仿生手的电池工作状态;
蓝牙控制模块,用于控制蓝牙信号的连接;
更新控制模块,用于控制所述仿生手的应用程序升级;
设定手势控制模块,用于控制所述仿生手按照设定手势运行;
仿生手势控制系统,用于监测使用者所发出的信号数据和获取仿生手的离线动作,并依据所述信号监测数据和所述离线动作,控制所述仿生手。
下面分别对其进行介绍:
电池控制模块包括监测主板上电的状态信号、低电压警告信号、充电与否信号、充电是否完成信号。
如图3所示,当控制系统处于电池控制模式时,使用者启动仿生手,在等待仿生手的主板上电时,可以通过信号灯,判断仿生手能否处于正常的工作状态,按动电源开关关机,高端版等待20s&标准版立即进入,来实现关机状态。当发出电压低于6.8V、高于6.5V的信号时会发出低电压反馈信号,设置低电压反馈是为了保护电源。当将仿生手通过充电线、充电器连接市电时,该系统会进入充电控制模块,实现充电状态、满电状态、电池保护状态的反馈信号与实时控制。
蓝牙控制模块,即蓝牙测试与APP控制系统模块,包括蓝牙广播等待蓝牙连接信号、与APP建立连接信号、断开与APP连接信号,其中APP中保存有仿生手的系统程序。
控制系统处于蓝牙测试与APP控制系统模块控制状态时,出现蓝牙广播信号(主板:开机,手背灯:常亮绿色),然后可通过蓝牙来实现与开发的APP连接与断开,与APP第一次连接时,而该控制系统可以依据是否是第一次连接到蓝牙,迅速做出判断,在APP上根据蓝牙设备名选择连接到相应的仿生手,该系统可以自动保存设备名,并自动与用户信息实现绑定操作,通过连接服务器,匹配与手腕板SN号符合的仿生手整体SN号(SN即序列号),从而查询服务器端登记的主板、马达板SN号;进而判定连接是否通过,具备双重报警功能(报警:该假手出厂后重新拆装过、报警:曾经更换过主板,需要重新下载模型)。
当蓝牙保持开放时,且如图3所示的假手处于正常工作状态时,进入到如图4所示的仿生手控制模块。
更新控制模块包括固件升级信号、是否在录数据训练模型信号。当控制系统处于更新控制模式时,如果固件在升级主板:开机(不接受使用者的肌电信号及手背灯按键指令)显示(手背灯:闪烁浅蓝色充电指示灯:灭,APP:连接),否则看其是否在录数据训练模型,依据手背灯常亮蓝色或常亮绿色来判定。
设定手势控制模块包括初始位置信号、自由控制信号、锁定状态信号。当控制系统处于设定手势模式时,在初始状态时,智能仿生手会根据肌电TF2模型(仿生手内部根据设定的肌电信号而设定的手势)输出进入到自由控制状态,此时手背绿灯常亮,当任一手指堵转,且持续检测到弯曲指令N1秒时,则长按手背按键N2秒,会进入堵转状态;堵转状态下长按手背按键N2秒,即可实现初始位置,持续肌电五指张开N1秒,即可再次进入自由控制状态。其中手背按键是控制位于手指关节处的电机的开关。
仿生手势控制系统包括选定离线手势X信号、复位状态信号、堵转状态信号、离线手势X初始位置信号、手势控制状态信号(选定离线手势X+1信号、未选定手势中立手势信号、锁定状态信号、选定离线手势Y信号)。当控制系统处于仿生手势模式时,此时主板开机,不接受肌电控制指令,手背灯为绿色常亮,会自动进入复位状态,检测复位完成,自动进入选定离线手势X初始位置,瞬时肌电握拳,仿生手沿预定轨迹前进、瞬时仿生手的五指张开或仿生手沿预定轨迹后退,进入手势控制状态,堵转且持续肌电五指张开N1秒,可进入未选择手势(中立手势)。持续肌电Y手势N3秒,即可进入选定离线手势Y,短按手背按键,均可实现复位状态,持续肌电五指张开N1秒,可实现锁定状态进入到手势控制状态,长按手背按键N2秒,也可由锁定状态进入未选择手势状态。
基于上述实施例,本发明还提供了一种终端设备,其原理框图可以如图7所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中,该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种肌电智能仿生手的全系统控制交互方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该终端设备的温度传感器是预先在终端设备内部设置,用于检测内部设备的运行温度。
本领域技术人员可以理解,图7中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端设备的限定,具体的终端设备以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种终端设备,终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的仿生手的控制程序,处理器执行仿生手的控制程序时,实现如下操作指令:
监测使用者产生的信号数据,得到信号监测数据;
获取仿生手的离线动作,所述离线动作为所述仿生手脱离所述信号监测数据所做的动作;
依据所述信号监测数据和所述离线动作,控制所述仿生手。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上,本发明公开了一种肌电智能仿生手的全系统控制交互方法,所述方法包括:监测使用者产生的信号数据,得到信号监测数据;获取仿生手的离线动作,所述离线动作为所述仿生手脱离所述信号监测数据所做的动作;依据所述信号监测数据和所述离线动作,控制所述仿生手。本发明既采用使用者发出的信号控制仿生手的动作,又采用设定的离线动作控制仿生手的动作。两者相互配合能够让仿生手所做出的动作更接近于真实的人手所做出的动作。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种肌电智能仿生手的全系统控制交互方法,其特征在于,包括:
监测使用者产生的信号数据,得到信号监测数据;
获取仿生手的离线动作,所述离线动作为所述仿生手脱离所述信号监测数据所做的动作;
依据所述信号监测数据和所述离线动作,控制所述仿生手与使用者进行交互。
2.如权利要求1所述的肌电智能仿生手的全系统控制交互方法,其特征在于,所述依据所述信号监测数据和所述离线动作,控制所述仿生手,包括:
当所述信号监测数据所对应的信号强度小于设定值时,依据所述离线动作控制所述仿生手;
当所述信号监测数据所对应的信号强度大于或等于设定值时,依据所述信号监测数据控制所述仿生手。
3.如权利要求2所述的肌电智能仿生手的全系统控制交互方法,其特征在于,所述当所述信号监测数据所对应的信号强度小于设定值时,依据所述离线动作控制所述仿生手,包括:
依据所述离线动作,得到所述离线动作中的所述仿生手的第一离线仿生手势、第二离线仿生手势、第三离线仿生手势,所述第一离线仿生手势、第二离线仿生手势、第三离线仿生手势彼此相异;
控制所述仿生手的手指依次交替循环呈现所述第一离线仿生手势、所述第二离线仿生手势、所述第三离线仿生手势。
4.如权利要求3所述的肌电智能仿生手的全系统控制交互方法,其特征在于,所述控制所述仿生手的手指依次交替循环呈现所述第一离线仿生手势、所述第二离线仿生手势、所述第三离线仿生手势,包括:
当所述手指呈现所述第一离线仿生手势的持续时间大于第一设定时间时,通过控制驱动器将所述手指从所述第一离线仿生手势变换到所述第二离线仿生手势,所述驱动器用于通过驱动所述手指的关节运动;
当所述手指呈现所述第二离线仿生手势的持续时间大于第二设定时间时,通过控制所述驱动器将所述手指从所述第二离线仿生手势变换到所述第三离线仿生手势。
5.如权利要求2所述的肌电智能仿生手的全系统控制交互方法,其特征在于,所述当所述信号监测数据所对应的信号强度大于等于设定值时,依据所述信号监测数据控制所述仿生手,包括:
依据所述信号监测数据,得到所述信号监测数据中的肌电监测信号;
获取样本数据库,所述样本数据库包括样本肌电信号、与所述样本肌电信号所对应的样本手势;
依据所述肌电监测信号,得到与所述肌电监测信号所匹配的所述样本肌电信号;
依据所述样本肌电信号,得到与所述样本肌电信号所对应的所述样本手势;
依据所述样本手势,控制所述仿生手。
6.如权利要求1所述的肌电智能仿生手的全系统控制交互方法,其特征在于,所述方法还包括:
设定所述仿生手的手指的初始位置、手指的自由状态、手指的锁定状态;
控制所述手指依次循环所述初始位置、所述自由状态和所述锁定状态。
7.如权利要求1所述的肌电智能仿生手的全系统控制交互方法,其特征在于,所述方法还包括:
通过蓝牙设备获取所述仿生手的主板序列号和马达板序列号;
获取与所述主板序列号相对应的主板标准序列号、与所述马达板序列号相对应的马达板标准序列号;
若马达板序列号与所述马达板标准序列号不一致,则所述仿生手为组装仿生手;
若马达板序列号与所述马达板标准序列号一致,则根据所述主板序列号和主板标准序列号,获取所述主板是否更换的信息。
8.一种仿生手的控制系统,其特征在于,所述控制系统包括如下组成部分:
电池控制模块,用于控制所述仿生手的电池工作状态;
蓝牙控制模块,用于控制蓝牙信号的连接;
更新控制模块,用于控制所述仿生手的应用程序升级;
设定手势控制模块,用于控制所述仿生手按照设定手势运行;
仿生手势控制系统,用于监测使用者所发出的信号数据和获取仿生手的离线动作,并依据所述信号监测数据和所述离线动作,控制所述仿生手与使用者进行交互。
9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的仿生手的控制程序,所述处理器执行所述仿生手的控制程序时,实现如权利要求1-7任一项所述的肌电智能仿生手的全系统控制交互方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有仿生手的控制程序,所述仿生手的控制程序被处理器执行时,实现如权利要求1-7任一项所述的肌电智能仿生手的全系统控制交互方法的步骤。
CN202111337725.6A 2021-11-11 2021-11-11 一种肌电智能仿生手的全系统控制交互方法 Active CN114138111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111337725.6A CN114138111B (zh) 2021-11-11 2021-11-11 一种肌电智能仿生手的全系统控制交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111337725.6A CN114138111B (zh) 2021-11-11 2021-11-11 一种肌电智能仿生手的全系统控制交互方法

Publications (2)

Publication Number Publication Date
CN114138111A true CN114138111A (zh) 2022-03-04
CN114138111B CN114138111B (zh) 2022-09-23

Family

ID=80393704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111337725.6A Active CN114138111B (zh) 2021-11-11 2021-11-11 一种肌电智能仿生手的全系统控制交互方法

Country Status (1)

Country Link
CN (1) CN114138111B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676737A (zh) * 2022-05-26 2022-06-28 深圳市心流科技有限公司 一种肌电信号的采样频率的动态调节方法
CN117752479A (zh) * 2024-02-22 2024-03-26 浙江强脑科技有限公司 一种仿生手的抓握手势控制方法、装置、终端及介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104107134A (zh) * 2013-12-10 2014-10-22 中山大学 基于肌电反馈的上肢训练方法及系统
US20150301609A1 (en) * 2014-04-22 2015-10-22 Samsung Electronics Co., Ltd. Gesture recognition method and gesture recognition apparatus
US20160150987A1 (en) * 2014-11-27 2016-06-02 Samsung Electronics Co., Ltd. Biosignal processing apparatus and method
CN106420124A (zh) * 2016-10-10 2017-02-22 上海电机学院 一种肌电控制虚拟机器人假手仿真系统的方法
CN106726030A (zh) * 2016-11-24 2017-05-31 浙江大学 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN106923942A (zh) * 2017-02-15 2017-07-07 上海术理智能科技有限公司 基于人体肌电信号控制的上下肢运动辅助系统
US20170296363A1 (en) * 2016-04-15 2017-10-19 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
EP3235540A1 (en) * 2014-12-09 2017-10-25 Beijing Galaxy Raintai Technology Co., Ltd. Auxiliary device for training and auxiliary method for training
WO2018111138A1 (ru) * 2016-12-14 2018-06-21 Общество с ограниченной ответственностью "Бионик Натали" Способ и система управления интеллектуальной бионической конечностью
KR20180078164A (ko) * 2016-12-29 2018-07-09 주식회사 인바디 착용형 단말기 및 그 동작 방법
CN108703824A (zh) * 2018-03-15 2018-10-26 哈工大机器人(合肥)国际创新研究院 一种基于肌电手环的仿生手控制系统及控制方法
CN109998742A (zh) * 2019-05-07 2019-07-12 北京通和营润智能科技发展有限公司 一种多自由度肌电仿生假肢控制系统
CN110413107A (zh) * 2019-06-21 2019-11-05 浙江科技学院 基于肌电信号模式识别和粒子群优化的仿生机械手交互控制方法
CN110568929A (zh) * 2019-09-06 2019-12-13 诺百爱(杭州)科技有限责任公司 一种虚拟场景交互的方法、装置和电子设备
CN111176441A (zh) * 2019-11-27 2020-05-19 广州雪利昂生物科技有限公司 基于表面肌电的人机交互训练方法、装置及存储介质
WO2020118797A1 (zh) * 2018-12-13 2020-06-18 深圳先进技术研究院 假肢控制方法、装置、系统、设备和存储介质
CN111603162A (zh) * 2020-05-07 2020-09-01 北京海益同展信息科技有限公司 肌电信号处理方法、装置、智能可穿戴设备及存储介质
CN111773027A (zh) * 2020-07-03 2020-10-16 上海师范大学 一种柔性驱动的手功能康复机器人控制系统及控制方法
WO2021090979A1 (ko) * 2019-11-05 2021-05-14 근로복지공단 근전 전동의수의 엄지와 검지기반 손동작 제어시스템 및 그 제어방법
CN113262088A (zh) * 2021-05-27 2021-08-17 山东大学 一种具有力反馈的多自由度混合控制假肢手及控制方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104107134A (zh) * 2013-12-10 2014-10-22 中山大学 基于肌电反馈的上肢训练方法及系统
US20150301609A1 (en) * 2014-04-22 2015-10-22 Samsung Electronics Co., Ltd. Gesture recognition method and gesture recognition apparatus
US20160150987A1 (en) * 2014-11-27 2016-06-02 Samsung Electronics Co., Ltd. Biosignal processing apparatus and method
EP3235540A1 (en) * 2014-12-09 2017-10-25 Beijing Galaxy Raintai Technology Co., Ltd. Auxiliary device for training and auxiliary method for training
US20170296363A1 (en) * 2016-04-15 2017-10-19 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
CN106420124A (zh) * 2016-10-10 2017-02-22 上海电机学院 一种肌电控制虚拟机器人假手仿真系统的方法
CN106726030A (zh) * 2016-11-24 2017-05-31 浙江大学 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
WO2018111138A1 (ru) * 2016-12-14 2018-06-21 Общество с ограниченной ответственностью "Бионик Натали" Способ и система управления интеллектуальной бионической конечностью
KR20180078164A (ko) * 2016-12-29 2018-07-09 주식회사 인바디 착용형 단말기 및 그 동작 방법
CN106923942A (zh) * 2017-02-15 2017-07-07 上海术理智能科技有限公司 基于人体肌电信号控制的上下肢运动辅助系统
CN108703824A (zh) * 2018-03-15 2018-10-26 哈工大机器人(合肥)国际创新研究院 一种基于肌电手环的仿生手控制系统及控制方法
WO2020118797A1 (zh) * 2018-12-13 2020-06-18 深圳先进技术研究院 假肢控制方法、装置、系统、设备和存储介质
CN109998742A (zh) * 2019-05-07 2019-07-12 北京通和营润智能科技发展有限公司 一种多自由度肌电仿生假肢控制系统
CN110413107A (zh) * 2019-06-21 2019-11-05 浙江科技学院 基于肌电信号模式识别和粒子群优化的仿生机械手交互控制方法
CN110568929A (zh) * 2019-09-06 2019-12-13 诺百爱(杭州)科技有限责任公司 一种虚拟场景交互的方法、装置和电子设备
WO2021090979A1 (ko) * 2019-11-05 2021-05-14 근로복지공단 근전 전동의수의 엄지와 검지기반 손동작 제어시스템 및 그 제어방법
CN111176441A (zh) * 2019-11-27 2020-05-19 广州雪利昂生物科技有限公司 基于表面肌电的人机交互训练方法、装置及存储介质
CN111603162A (zh) * 2020-05-07 2020-09-01 北京海益同展信息科技有限公司 肌电信号处理方法、装置、智能可穿戴设备及存储介质
CN111773027A (zh) * 2020-07-03 2020-10-16 上海师范大学 一种柔性驱动的手功能康复机器人控制系统及控制方法
CN113262088A (zh) * 2021-05-27 2021-08-17 山东大学 一种具有力反馈的多自由度混合控制假肢手及控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
谭文波: "基于表面肌电的肌电生物反馈训练与治疗系统设计", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *
高清: "基于肌电信号的手势动作识别", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676737A (zh) * 2022-05-26 2022-06-28 深圳市心流科技有限公司 一种肌电信号的采样频率的动态调节方法
CN117752479A (zh) * 2024-02-22 2024-03-26 浙江强脑科技有限公司 一种仿生手的抓握手势控制方法、装置、终端及介质

Also Published As

Publication number Publication date
CN114138111B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN114138111B (zh) 一种肌电智能仿生手的全系统控制交互方法
Tam et al. Intuitive real-time control strategy for high-density myoelectric hand prosthesis using deep and transfer learning
Connan et al. Assessment of a wearable force-and electromyography device and comparison of the related signals for myocontrol
Pulliam et al. EMG-based neural network control of transhumeral prostheses
RU2635632C1 (ru) Способ и система управления интеллектуальной бионической конечностью
Castellini et al. Proceedings of the first workshop on peripheral machine interfaces: Going beyond traditional surface electromyography
CN103491848B (zh) 医疗用内窥镜系统
CN110710970B (zh) 肢体动作的识别方法、装置、计算机设备及存储介质
Cognolato et al. Hand gesture classification in transradial amputees using the Myo armband classifier
CN108261274A (zh) 一种用于假肢手控制与感知的双向残肢接口系统
Nowak et al. Simultaneous and proportional real-time myocontrol of up to three degrees of freedom of the wrist and hand
JP2009531077A (ja) エフェクターのリアル・タイム制御のための装置と方法
Sabani et al. Android based control and monitoring system for leg orthosis
Cutipa-Puma et al. A low-cost robotic hand prosthesis with apparent haptic sense controlled by electroencephalographic signals
CN108319367B (zh) 一种基于运动起始诱发电位的脑机接口方法
Jiang et al. A novel hybrid closed-loop control approach for dexterous prosthetic hand based on myoelectric control and electrical stimulation
CN114849063B (zh) 体外充电器、程控系统和计算机可读存储介质
Cardona et al. Impact of diverse aspects in user-prosthesis interfaces for myoelectric upper-limb prostheses
Castellini et al. EMG-based prediction of multi-DOF activations using single-DOF training: a preliminary result
CN115414057A (zh) 康复训练方法、装置、训练仪及介质
KR102326552B1 (ko) 근전 전동의수의 엄지와 검지기반 손동작 제어시스템 및 그 제어방법
CN111399641A (zh) 一种上肢肌电假肢操作装置
Fougner Robust, Coordinated and Proportional Myoelectric Control of Upper-Limb Prostheses
Cinotti The e-glove: design, production and validation of a wearable device for rehabilitation of the neurological hand
CN104586390A (zh) 一种信息处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant