CN111616847B - 基于肌肉协同和人机语音交互的上臂假肢控制系统和方法 - Google Patents

基于肌肉协同和人机语音交互的上臂假肢控制系统和方法 Download PDF

Info

Publication number
CN111616847B
CN111616847B CN202010490728.2A CN202010490728A CN111616847B CN 111616847 B CN111616847 B CN 111616847B CN 202010490728 A CN202010490728 A CN 202010490728A CN 111616847 B CN111616847 B CN 111616847B
Authority
CN
China
Prior art keywords
joint
muscle
voice
matrix
limb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010490728.2A
Other languages
English (en)
Other versions
CN111616847A (zh
Inventor
李智军
黄金
高洪波
李国欣
任晓前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Advanced Technology University of Science and Technology of China
Original Assignee
Institute of Advanced Technology University of Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Advanced Technology University of Science and Technology of China filed Critical Institute of Advanced Technology University of Science and Technology of China
Priority to CN202010490728.2A priority Critical patent/CN111616847B/zh
Publication of CN111616847A publication Critical patent/CN111616847A/zh
Application granted granted Critical
Publication of CN111616847B publication Critical patent/CN111616847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/54Artificial arms or hands or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/54Artificial arms or hands or parts thereof
    • A61F2/58Elbows; Wrists ; Other joints; Hands
    • A61F2/582Elbow joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/54Artificial arms or hands or parts thereof
    • A61F2/58Elbows; Wrists ; Other joints; Hands
    • A61F2/583Hands; Wrist joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/54Artificial arms or hands or parts thereof
    • A61F2/58Elbows; Wrists ; Other joints; Hands
    • A61F2/583Hands; Wrist joints
    • A61F2/585Wrist joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2/70Operating or control means electrical
    • A61F2/72Bioelectric control, e.g. myoelectric
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2002/6809Operating or control means acoustic
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2/70Operating or control means electrical
    • A61F2002/704Operating or control means electrical computer-controlled, e.g. robotic control

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Transplantation (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Power Engineering (AREA)
  • Prostheses (AREA)

Abstract

本发明提供了一种基于肌肉协同和人机语音交互的上臂假肢控制系统和方法,包括上臂假肢多关节连续运动估计和人机语音交互。多关节连续运动估计根据肌肉协同理论,首先利用非负矩阵分解算法对采集并预处理完的肌电信号进行解耦,得到上肢单自由度运动的协同元模型,接着利用支持向量回归法建立肌肉群激活系数和上肢关节角度的协同模型,实现上肢多关节同步估计的运动角度信息到假肢对应自由度的映射。人机语音交互包括语音采集单元、语音认证单元、语音识别单元和指令发布单元,能帮助截肢患者更好的操纵假肢,实现健肢和残肢的良好配合,提高了假肢的使用效率并增强了用户体验。

Description

基于肌肉协同和人机语音交互的上臂假肢控制系统和方法
技术领域
本发明涉及医疗器械和康复辅助器具领域,具体地,涉及一种基于肌肉协同和人机语音交互的上臂假肢控制系统和方法。
背景技术
人体肌肉活动会产生电生理信号,即表面肌电信号sEMG,可以实时反应肌体的运动意图和运动状态。肌电控制技术目前主要采用模式识别分类控制方法,通过对肌电信号进行特征提取、分类来识别肌体动作,有较高的准确率。但是此方法无法实现假肢的连续控制,因为假肢的运动相关轨迹都被提前设定好,而无法体现正常肢体运动的自然连续性。因此,有必要利用肌电信号连续估计肢体的运动状态,实现自然连续的假肢关节运动。
专利文献CN103892945B公开一种肌电假肢控制系统,包括肌电假肢控制器和上位机。用户佩戴好肌电假肢,将肌电假肢控制器通过通信模块与上位机连接,用户根据上位机显示的动作提示,利用幻肢完成相应动作,肌电电极采集用户肢体表面产生的肌电信号,肌电信号采集模块将肌电信号转换为肌电数据,控制模块将肌电数据通过通信模块传送到上位机;上位机对肌电数据进行模式训练得到动作分类器,并将动作分类器通过通信模块发送至控制模块。断开肌电假肢控制器与上位机之间的连接后,当用户利用幻肢执行某一动作时,控制模块根据动作分类器对接收到的肌电数据进行动作类型识别并输出分类结果,电机驱动模块根据分类结果驱动肌电假肢完成相应的动作。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于肌肉协同和人机语音交互的上臂假肢控制方法和系统。
根据本发明提供的一种基于肌肉协同和人机语音交互的上臂假肢控制方法,包括:
肌电信号处理步骤:在关节独立动作过程中采集健肢腕关节的表面肌电信号,对表面肌电信号预处理后进行积分运算,构建肌肉激活水平矩阵,创建肌肉协同模型,利用非负矩阵分解方式对肌肉激活水平矩阵进行肌肉协同分析;
肌电控制步骤:根据肌肉协同分析生成肌电控制指令,通过通信传输肌电控制指令给上臂假肢,实现假肢运行;
人机交互步骤:收集截肢患者的语音信息,对语音信息进行认证,认证成功后进行语音识别,生成假肢控制指令并发布,认证不成功则不进行语音识别。
优选地,所述肌电信号处理步骤包括:
信号采集预处理步骤:采集截肢患者健肢腕关节单独屈伸、单独内旋和单独外旋、肘关节单独屈伸,以及手部张合的运动过程中的表面肌电信号,令表面肌电信号进行去基线、全波整流和低通滤波处理,并进行积分计算,构建肌肉激活水平矩阵f(E),创建肌肉协同模型
Figure BDA0002520981990000021
其中n表示预处理过程中设定的分析窗口的窗口长度,xi表示分析窗口中第i个肌电信号的采样值(i=1,2,...,n);
肌肉协同分析步骤:将肌肉激活水平矩阵分解为协同元矩阵和激活系数矩阵,协同元矩阵采用非负最小二乘算法提取激活系数矩阵,代入求解模型中,获取最优解,所述求解模型是
Figure BDA0002520981990000022
其中f(E)N×T表示肌肉激活水平矩阵,WN×K表示协同元矩阵,HK×T表示激活系数矩阵,N为肌电信号通道数目,K为所设定的肌肉协同元数目,T为样本的时间序列长度,F为范数,是已知的数学符号;
多关节角度估计步骤:利用向量回归建立手部、腕关节和肘关节的激活系数序列和关节角度信息的协同激活模型,实现对上肢手部、腕关节和肘关节角度的同步估计。
优选地,所述多关节角度估计步骤包括:
模型训练步骤:采集表面肌电信号,形成肌电信号训练数据集和对应关节角度,通过三维空间运动捕捉采集上肢手部、腕关节和肘关节各自对应的运动角度,计算出协同元矩阵WNxK,从各自由度独立运动产生的肌电信号训练数据集中计算出激活系数矩阵HK×T,利用每个通道的最大值对激活系数矩阵进行归一化后,作为向量回归的输入,以手部、腕关节和肘关节所组成的四个自由度对应的角度值作为目标值训练;
估计步骤:令向量回归的输出作为估计角度值,以控制仿生手运动,令估计角度值进行滑动平均滤波处理,若估计角度值超出实际关节角度的最大值,则将此时角度设置为实际关节角度最大值。
优选地,所述根据肌肉协同分析生成肌电控制指令是采用多自由度并行比例肌电控制,将估计的关节角度信息转换为假肢的连续运行位移,将相应的手部和关节移位指令发送至上臂假肢,实现假肢运行;
所述连续运行位移Xi=αi·θii(i=1,2,3),i=1对应手部张合,i=2对应腕关节屈或者腕关节伸,i=3对应腕关节内旋或者腕关节外旋,i=4对应肘关节屈或者肘关节伸;θi表示健肢运动中估计出的角度,βi是修正系数。
优选地,所述人机交互步骤包括:
语音采集步骤:提前录入截肢患者的语音信息作为患者识别信息,所述语音信息包括日常生活动作;
语音认证步骤:对患者识别信息进行存储,存储包括语速、语调和语音指令,将患者识别信息与实时语音信息进行比对,若比对一致则认定认证成功,否则则认定认证失败;
语音识别步骤:对认证成功的实时语音信息进行识别,生成假肢控制指令,对认证失败的实时语音信息进行屏蔽;
指令发布步骤:令假肢控制指令进行发布。
根据本发明提供的一种基于肌肉协同和人机语音交互的上臂假肢控制系统,包括:
肌电信号处理模块:在关节独立动作过程中采集健肢腕关节的表面肌电信号,对表面肌电信号预处理后进行积分运算,构建肌肉激活水平矩阵,创建肌肉协同模型,利用非负矩阵分解方式对肌肉激活水平矩阵进行肌肉协同分析;
肌电控制模块:根据肌肉协同分析生成肌电控制指令,通过通信传输肌电控制指令给上臂假肢,实现假肢运行;
人机交互模块:收集截肢患者的语音信息,对语音信息进行认证,认证成功后进行语音识别,生成假肢控制指令并发布,认证不成功则不进行语音识别。
优选地,所述肌电信号处理模块包括:
信号采集预处理模块:采集截肢患者健肢腕关节单独屈伸、单独内旋和单独外旋、肘关节单独屈伸,以及手部张合的运动过程中的表面肌电信号,令表面肌电信号进行去基线、全波整流和低通滤波处理,并进行积分计算,构建肌肉激活水平矩阵f(E),创建肌肉协同模型
Figure BDA0002520981990000031
其中n表示预处理过程中设定的分析窗口的窗口长度,xi表示分析窗口中第i个肌电信号的采样值(i=1,2,...,n);
肌肉协同分析模块:将肌肉激活水平矩阵分解为协同元矩阵和激活系数矩阵,协同元矩阵采用非负最小二乘算法提取激活系数矩阵,代入求解模型中,获取最优解,所述求解模型是
Figure BDA0002520981990000041
其中f(E)N×T表示肌肉激活水平矩阵,WN×K表示协同元矩阵,HK×T表示激活系数矩阵,N为肌电信号通道数目,K为所设定的肌肉协同元数目,T为样本的时间序列长度,F为范数,是已知的数学符号;
多关节角度估计模块:利用向量回归建立手部、腕关节和肘关节的激活系数序列和关节角度信息的协同激活模型,实现对上肢手部、腕关节和肘关节角度的同步估计。
优选地,所述多关节角度估计模块包括:
模型训练模块:采集表面肌电信号,形成肌电信号训练数据集和对应关节角度,通过三维空间运动捕捉采集上肢手部、腕关节和肘关节各自对应的运动角度,计算出协同元矩阵WNxK,从各自由度独立运动产生的肌电信号训练数据集中计算出激活系数矩阵HK×T,利用每个通道的最大值对激活系数矩阵进行归一化后,作为向量回归的输入,以手部、腕关节和肘关节所组成的四个自由度对应的角度值作为目标值训练;
估计模块:令向量回归的输出作为估计角度值,以控制仿生手运动,令估计角度值进行滑动平均滤波处理,若估计角度值超出实际关节角度的最大值,则将此时角度设置为实际关节角度最大值。
优选地,所述人机交互模块包括:
语音采集模块:提前录入截肢患者的语音信息作为患者识别信息,所述语音信息包括日常生活动作;
语音认证模块:对患者识别信息进行存储,存储包括语速、语调和语音指令,将患者识别信息与实时语音信息进行比对,若比对一致则认定认证成功,否则则认定认证失败;
语音识别模块:对认证成功的实时语音信息进行识别,生成假肢控制指令,对认证失败的实时语音信息进行屏蔽;
指令发布模块:令假肢控制指令进行发布。
与现有技术相比,本发明具有如下的有益效果:
1、本发明基于肌肉协同和人机语音交互,使得上臂假肢控制简单稳定;
2、本发明利用向量回归法建立激活系数序列和上肢关节角度的协同激活模型,通过上肢多关节、多自由度同步估计的连续运动角度信息到假肢对应自由度的映射,使假肢能自然流畅的运行。
3、本发明通过人机语音交互帮助截肢患者能更好的操纵假肢,实现健肢和残肢的良好配合,提高了假肢的使用效率并增强了用户体验感。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明的控制方法整体流程图;;
图2为本发明的协同矩阵和激活系数提取流程图;
图3为本发明的整体控制结构框图;
图4为本发明的假肢佩戴示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
肌肉协同作为中枢神经系统募集骨骼肌完成各种肢体运动的最小单位,可以解释肌肉控制机制,是实现肢体连续运动估计的一个很好的方法。本发明从肌肉协同基本理论出发,构建协同激活模型以及上肢多关节同步比例肌电控制系统,实现假肢多自由度的同步连续运动控制,同时为了方便截肢患者与假肢进行人机交互,尽快熟悉假肢的功能和动作模式,本发明包含人机语音交互模块,实现了假肢运动的灵活自然性以及使用的方便高效性,解决了现有的假肢关节连续运动效果不佳,动作不自然的问题,同时增强人机交互体验,提高假肢使用效率。
本发明主要面对对象是上臂高位截肢,残肢肌电信号不宜采集,需采集健肢肌电信号的截肢患者,以及残肢肌电信号不宜采集,需要采集健肢肌电信号的截肢患者。针对上臂高位截肢患者,其残肢肌电信号微弱且有部分丧失,本发明则对健肢信号进行采集,将采集到的肌电信号预处理后进行非负矩阵分解,获取了稳定的协同元激活系数序列。其中共设定了手张/合,腕屈/伸,腕内旋/外旋,肘屈/伸8个协同元,利用向量回归法建立的激活系数序列和上肢关节角度的协同激活模型,通过上肢多关节、多自由度同步估计的连续运动角度信息到假肢对应自由度的映射,使假肢能自然流畅的运行。多关节连续运动估计根据肌肉协同理论,首先利用非负矩阵分解算法对采集并预处理完的肌电信号进行解耦,得到上肢单自由度运动的协同元模型,接着利用支持向量回归法建立肌肉群激活系数和上肢关节角度的协同模型,实现上肢多关节同步估计的运动角度信息到假肢对应自由度的映射。人机语音交互包括语音采集单元、语音认证单元、语音识别单元和指令发布单元,能帮助截肢患者更好的操纵假肢,实现健肢和残肢的良好配合,提高了假肢的使用效率并增强了用户体验。
如图1所示,采集截肢患者健肢腕关节单独屈伸、内旋外旋和肘关节单独屈伸以及手部单独张合运动过程中的表面肌电信号。肌电电极放置在与手张合、腕屈伸、腕内旋外旋和肘屈伸运动相关的八块肌肉表面,分别是肱肌、肱二头肌、肱三头肌、肱桡肌、桡侧腕长伸肌、桡侧腕屈肌、尺侧腕屈肌和尺侧腕伸肌,肌电电极采集八通道肌电信号。
将训练阶段关节独立运动采集的表面肌电信号进行去基线和全波整流、低通滤波处理,对预处理之后的sEMG信号进行积分计算,并将其作为肌肉激活度矩阵f(E),创建肌肉协同模型:
Figure BDA0002520981990000061
其中n表示预处理过程中设定的分析窗口的窗口长度,xi表示分析窗口中第i个肌电信号的采样值(i=1,2,...,n)。
然后利用非负矩阵分解(NMF)方法,进行肌肉协同分析,具体包括以下几个部分:
肌肉激活水平矩阵f(E)NxT,可以分解为协同元矩阵WNxK和激活系数矩阵HKxT,即f(E)N×T=WN×K×H(t)K×T,其中N为肌电信号通道数目,K为所设定的肌肉协同元数目,T为样本的时间序列长度。
对单个运动设立独立的协同元,对单独手张/合运动时的肌肉激活度进行非负矩阵(NMF)分解,得到两个肌肉协同元WA,WB;对单独腕关节屈/伸运动时的肌肉激活度进行NMF分解,得到两个肌肉协同元WC,WD;对单独腕关节内旋/外旋运动时的肌肉激活度进行NMF分解,得到两个肌肉协同元WE,WF;对单独肘关节屈/伸运动时的肌肉激活度进行NMF分解,得到两个肌肉协同元WG,WH。可以构成协同元矩阵WNxK=[WA WB WC WD WE WF WG WH],其中Wi=[w1i,w2i,w3i,...,wNi],(i=A~J),wni(n=1,2,...,N)表示第n块肌肉对第i个肌肉协同元Wi的贡献度。
利用协同元矩阵WNxK,采用非负最小二乘法来提取激活系数HKxT。其中求解模型见下:
Figure BDA0002520981990000062
按照下式的乘法迭代规则获取最优解。
Figure BDA0002520981990000071
Figure BDA0002520981990000072
利用支持向量回归(SVR)方法,建立手部、腕关节和肘关节的激活系数序列和关节角度信息的协同激活模型,实现对上肢手部、腕、肘关节角度的同步估计,其可以分为模拟训练阶段和估计阶段。
模拟训练阶段中,采集表面肌电信号训练数据集和对应关节角度,然后通过三维空间运动捕捉系统同时采集上肢手部、腕、肘关节各自对应的运动角度,可以对运动角度进行滑动平滑滤波,计算出协同矩阵WNxK,进而从各自由度独立运动产生的肌电信号训练数据集中计算出激活系数矩阵HKxT,并利用每个通道的最大值对激活系数进行归一化处理,作为向量回归算法的输入,以手、腕、肘所组成的四个自由度对应的角度值作为目标值训练。也就是说,对于激活系数矩阵HKxT,首先进行低通滤波,归一化到[0,1]区间,预处理完后,作为协同激活模型的输入。利用三维动作捕捉系统获取的健肢实测角度,也归一化到相同区间,作为目标值,完成模型的训练。
估计阶段中,从采集的肌电信号中提取激活系数,进行归一化处理后输入到向量回归算法中,输出则作为估计的角度值,进而控制仿生手运动;对估计的角度值进行滑动平均滤波处理,如果角度估计值超出实际关节角度的最大值,则将此时的角度设为实际关节角度最大值。
进入运动估计阶段时,实时采集完表面肌电信号,按照上述方法提取肌肉激活度矩阵f(E),结合模型训练阶段获取的协同元矩阵W,提取激活系数序列H(t),和训练阶段一样,进行预处理和归一化,再输入到训练完的SVR协同激活模型中。最后按照训练阶段的实测角度归一化参数对输出值进行反归一化,就能得到估计的角度值。
采取多自由度并行比例肌电控制方法,将估计的关节角度信息转换为假肢的连续运行位移。其中Xi=αi·θii(i=1,2,3),i=1对应手部张合,i=2对应腕关节屈/伸,i=3对应腕关节内旋/外旋,i=4对应肘关节屈/伸。θi表示健肢运动中估计出的角度,βi是修正系数。然后将相应的手部和关节位移指令发送给上臂假肢,实现假肢运行。
人机语音交互首先录入患者的语音信息,进行语音识别匹配,此后只有患者的语音指令才会被假肢识别接收。如图1所示,人机语音交互包括语音采集单元、语音认证单元、语音识别单元和指令发布单元。语音采集单元用于手机截肢患者的语音信息;语音认证单元包括信息存储子单元和信息对比子单元,信息存储子单元提前录入患者的语速、语调及语音指令,信息对比子单元用于判别采集到的语音信息与患者语音信息是否一致,一致时才会认证成功,进入语音识别单元,否则屏蔽采集到的语音;语音识别单元用于识别截肢患者语音描述的动作,同时生成假肢控制指令;指令发布单元用于向假肢发布控制指令。
首次使用时,人机语音交互通过语音采集单元提前录入截肢患者的语音信息,每次患者发出语音信息时,信息对比子单元都会对其进行判别,只有两者一致时假肢控制系统才会认定该语音信息有效,患者就可以顺利地发布指令了,从而避免其他噪音影响语音交互的正常工作。
用户说出“开启语音”指令即进入语音控制模式,说出“关闭语音”指令则退出语音控制模式。当患者说出“暂停”指令时,假肢停止运动,此时健肢再做相应的动作,实现假肢和健肢的相互配合,可以完成一些较高难度的动作,例如搬运物品、系鞋带、穿针线等。用户说出相应的指令时,比如“倒水”、“开门”、“梳头”,即可开启假肢的自主模式,即匹配假肢控制系统提前录入的20种日常生活动作集,包括倒水、开门、梳头、洗漱等动作。当患者说出相应的指令时,则开启“自主模式”,假肢就会按照预先设定的动作,完成相对应的任务,以提高假肢的使用效率,增强用户体验。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种基于肌肉协同和人机语音交互的上臂假肢控制方法,其特征在于,包括:
肌电信号处理步骤:在关节独立动作过程中采集健肢腕关节的表面肌电信号,对表面肌电信号预处理后进行积分运算,构建肌肉激活水平矩阵,创建肌肉协同模型,利用非负矩阵分解方式对肌肉激活水平矩阵进行肌肉协同分析;
肌电控制步骤:根据肌肉协同分析生成肌电控制指令,通过通信传输肌电控制指令给上臂假肢,实现假肢运行;
人机交互步骤:收集截肢患者的语音信息,对语音信息进行认证,认证成功后进行语音识别,生成假肢控制指令并发布,认证不成功则不进行语音识别;
所述肌电信号处理步骤包括:
信号采集预处理步骤:采集截肢患者健肢腕关节单独屈伸、单独内旋和单独外旋、肘关节单独屈伸,以及手部张合的运动过程中的表面肌电信号,令表面肌电信号进行去基线、全波整流和低通滤波处理,并进行积分计算,构建肌肉激活水平矩阵f(E),创建肌肉协同模型
Figure FDA0003115193170000011
其中n表示预处理过程中设定的分析窗口的窗口长度,xi表示分析窗口中第i个肌电信号的采样值(i=1,2,...,n);
肌肉协同分析步骤:将肌肉激活水平矩阵分解为协同元矩阵和激活系数矩阵,协同元矩阵采用非负最小二乘算法提取激活系数矩阵,代入求解模型中,获取最优解,所述求解模型是
Figure FDA0003115193170000012
其中f(E)N×T表示肌肉激活水平矩阵,WN×K表示协同元矩阵,HK×T表示激活系数矩阵,N为肌电信号通道数目,K为所设定的肌肉协同元数目,T为样本的时间序列长度,F为范数,是已知的数学符号;
多关节角度估计步骤:利用向量回归建立手部、腕关节和肘关节的激活系数序列和关节角度信息的协同激活模型,实现对上肢手部、腕关节和肘关节角度的同步估计;
所述人机交互步骤包括:
语音采集步骤:提前录入截肢患者的语音信息作为患者识别信息,所述语音信息包括日常生活动作;
语音认证步骤:对患者识别信息进行存储,存储包括语速、语调和语音指令,将患者识别信息与实时语音信息进行比对,若比对一致则认定认证成功,否则则认定认证失败;
语音识别步骤:对认证成功的实时语音信息进行识别,生成假肢控制指令,对认证失败的实时语音信息进行屏蔽;
指令发布步骤:令假肢控制指令进行发布。
2.根据权利要求1所述的基于肌肉协同和人机语音交互的上臂假肢控制方法,其特征在于,所述多关节角度估计步骤包括:
模型训练步骤:采集表面肌电信号,形成肌电信号训练数据集和对应关节角度,通过三维空间运动捕捉采集上肢手部、腕关节和肘关节各自对应的运动角度,计算出协同元矩阵WNxK,从各自由度独立运动产生的肌电信号训练数据集中计算出激活系数矩阵HK×T,利用每个通道的最大值对激活系数矩阵进行归一化后,作为向量回归的输入,以手部、腕关节和肘关节所组成的四个自由度对应的角度值作为目标值训练;
估计步骤:令向量回归的输出作为估计角度值,以控制仿生手运动,令估计角度值进行滑动平均滤波处理,若估计角度值超出实际关节角度的最大值,则将此时角度设置为实际关节角度最大值。
3.根据权利要求2所述的基于肌肉协同和人机语音交互的上臂假肢控制方法,其特征在于,所述根据肌肉协同分析生成肌电控制指令是采用多自由度并行比例肌电控制,将估计的关节角度信息转换为假肢的连续运行位移,将相应的手部和关节移位指令发送至上臂假肢,实现假肢运行;
所述连续运行位移Xi=αi·θii(i=1,2,3),i=1对应手部张合,i=2对应腕关节屈或者腕关节伸,i=3对应腕关节内旋或者腕关节外旋,i=4对应肘关节屈或者肘关节伸;θi表示健肢运动中估计出的角度,βi是修正系数。
4.一种基于肌肉协同和人机语音交互的上臂假肢控制系统,其特征在于,包括:
肌电信号处理模块:在关节独立动作过程中采集健肢腕关节的表面肌电信号,对表面肌电信号预处理后进行积分运算,构建肌肉激活水平矩阵,创建肌肉协同模型,利用非负矩阵分解方式对肌肉激活水平矩阵进行肌肉协同分析;
肌电控制模块:根据肌肉协同分析生成肌电控制指令,通过通信传输肌电控制指令给上臂假肢,实现假肢运行;
人机交互模块:收集截肢患者的语音信息,对语音信息进行认证,认证成功后进行语音识别,生成假肢控制指令并发布,认证不成功则不进行语音识别;
所述肌电信号处理模块包括:
信号采集预处理模块:采集截肢患者健肢腕关节单独屈伸、单独内旋和单独外旋、肘关节单独屈伸,以及手部张合的运动过程中的表面肌电信号,令表面肌电信号进行去基线、全波整流和低通滤波处理,并进行积分计算,构建肌肉激活水平矩阵f(E),创建肌肉协同模型
Figure FDA0003115193170000031
其中n表示预处理过程中设定的分析窗口的窗口长度,xi表示分析窗口中第i个肌电信号的采样值(i=1,2,...,n);
肌肉协同分析模块:将肌肉激活水平矩阵分解为协同元矩阵和激活系数矩阵,协同元矩阵采用非负最小二乘算法提取激活系数矩阵,代入求解模型中,获取最优解,所述求解模型是
Figure FDA0003115193170000032
其中f(E)N×T表示肌肉激活水平矩阵,WN×K表示协同元矩阵,HK×T表示激活系数矩阵,N为肌电信号通道数目,K为所设定的肌肉协同元数目,T为样本的时间序列长度,F为范数,是已知的数学符号;
多关节角度估计模块:利用向量回归建立手部、腕关节和肘关节的激活系数序列和关节角度信息的协同激活模型,实现对上肢手部、腕关节和肘关节角度的同步估计;
所述人机交互模块包括:
语音采集模块:提前录入截肢患者的语音信息作为患者识别信息,所述语音信息包括日常生活动作;
语音认证模块:对患者识别信息进行存储,存储包括语速、语调和语音指令,将患者识别信息与实时语音信息进行比对,若比对一致则认定认证成功,否则则认定认证失败;
语音识别模块:对认证成功的实时语音信息进行识别,生成假肢控制指令,对认证失败的实时语音信息进行屏蔽;
指令发布模块:令假肢控制指令进行发布。
5.根据权利要求4所述的基于肌肉协同和人机语音交互的上臂假肢控制系统,其特征在于,所述多关节角度估计模块包括:
模型训练模块:采集表面肌电信号,形成肌电信号训练数据集和对应关节角度,通过三维空间运动捕捉采集上肢手部、腕关节和肘关节各自对应的运动角度,计算出协同元矩阵WNxK,从各自由度独立运动产生的肌电信号训练数据集中计算出激活系数矩阵HK×T,利用每个通道的最大值对激活系数矩阵进行归一化后,作为向量回归的输入,以手部、腕关节和肘关节所组成的四个自由度对应的角度值作为目标值训练;
估计模块:令向量回归的输出作为估计角度值,以控制仿生手运动,令估计角度值进行滑动平均滤波处理,若估计角度值超出实际关节角度的最大值,则将此时角度设置为实际关节角度最大值。
6.根据权利要求5所述的基于肌肉协同和人机语音交互的上臂假肢控制系统,其特征在于,所述根据肌肉协同分析生成肌电控制指令是采用多自由度并行比例肌电控制,将估计的关节角度信息转换为假肢的连续运行位移,将相应的手部和关节移位指令发送至上臂假肢,实现假肢运行;
所述连续运行位移Xi=αi·θii(i=1,2,3),i=1对应手部张合,i=2对应腕关节屈或者腕关节伸,i=3对应腕关节内旋或者腕关节外旋,i=4对应肘关节屈或者肘关节伸;θi表示健肢运动中估计出的角度,βi是修正系数。
CN202010490728.2A 2020-06-02 2020-06-02 基于肌肉协同和人机语音交互的上臂假肢控制系统和方法 Active CN111616847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010490728.2A CN111616847B (zh) 2020-06-02 2020-06-02 基于肌肉协同和人机语音交互的上臂假肢控制系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010490728.2A CN111616847B (zh) 2020-06-02 2020-06-02 基于肌肉协同和人机语音交互的上臂假肢控制系统和方法

Publications (2)

Publication Number Publication Date
CN111616847A CN111616847A (zh) 2020-09-04
CN111616847B true CN111616847B (zh) 2021-08-03

Family

ID=72255277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010490728.2A Active CN111616847B (zh) 2020-06-02 2020-06-02 基于肌肉协同和人机语音交互的上臂假肢控制系统和方法

Country Status (1)

Country Link
CN (1) CN111616847B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
CN115859697B (zh) * 2023-03-01 2023-05-16 国家康复辅具研究中心 一种基于上肢假肢与用户智能协同的控制系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101987047A (zh) * 2009-08-03 2011-03-23 深圳先进技术研究院 基于语音与肌电信息识别的假肢控制系统和方法
CN202128568U (zh) * 2010-12-28 2012-02-01 上海理工大学 双信号源控制的人体假手
CN106067178A (zh) * 2016-05-30 2016-11-02 杭州电子科技大学 一种基于肌肉协同激活模型的手部关节运动连续估计方法
CN109172066A (zh) * 2018-08-18 2019-01-11 华中科技大学 基于语音控制与视觉识别的智能假肢手及其系统和方法
CN109262618A (zh) * 2018-12-12 2019-01-25 武汉理工大学 基于肌肉协同的上肢多关节同步比例肌电控制方法与系统
US10448857B2 (en) * 2015-06-19 2019-10-22 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts Powered, multi-functional limb movement auxiliary device, particularly prosthesis and movement-assisting orthosis, with combined estimation regimes
CN110931105A (zh) * 2019-12-17 2020-03-27 中山大学 一种匹配多套肌肉协同模式的方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101987047A (zh) * 2009-08-03 2011-03-23 深圳先进技术研究院 基于语音与肌电信息识别的假肢控制系统和方法
CN202128568U (zh) * 2010-12-28 2012-02-01 上海理工大学 双信号源控制的人体假手
US10448857B2 (en) * 2015-06-19 2019-10-22 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts Powered, multi-functional limb movement auxiliary device, particularly prosthesis and movement-assisting orthosis, with combined estimation regimes
CN106067178A (zh) * 2016-05-30 2016-11-02 杭州电子科技大学 一种基于肌肉协同激活模型的手部关节运动连续估计方法
CN109172066A (zh) * 2018-08-18 2019-01-11 华中科技大学 基于语音控制与视觉识别的智能假肢手及其系统和方法
CN109262618A (zh) * 2018-12-12 2019-01-25 武汉理工大学 基于肌肉协同的上肢多关节同步比例肌电控制方法与系统
CN110931105A (zh) * 2019-12-17 2020-03-27 中山大学 一种匹配多套肌肉协同模式的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
New Control Strategies for Multifunctional Prostheses that Combine Electromyographic and Speech Signals;Peng Fang,et al.;《IEEE Intelligent Systems》;20150831;第30卷(第4期);第47-53页 *

Also Published As

Publication number Publication date
CN111616847A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111616847B (zh) 基于肌肉协同和人机语音交互的上臂假肢控制系统和方法
CN109262618B (zh) 基于肌肉协同的上肢多关节同步比例肌电控制方法与系统
CN107378944B (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
Xu et al. Advances and disturbances in sEMG-based intentions and movements recognition: A review
CN106726030B (zh) 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN107273798A (zh) 一种基于表面肌电信号的手势识别方法
CN109009586B (zh) 一种假手腕关节人机自然驱动角度的肌电连续解码方法
Duan et al. A gesture recognition system based on time domain features and linear discriminant analysis
CN102499797B (zh) 假肢控制方法及系统
Kiguchi et al. Motion estimation based on EMG and EEG signals to control wearable robots
JP2913611B2 (ja) 学習型筋電パターン認識ロボットハンド制御装置
CN110675933A (zh) 一种手指镜像康复训练系统
Li et al. Wireless sEMG-based identification in a virtual reality environment
CN114822761A (zh) 基于肌肉协同和变刚度阻抗控制的手腕部康复训练系统
Tang et al. Continuous estimation of human upper limb joint angles by using PSO-LSTM model
Stival et al. Online subject-independent modeling of semg signals for the motion of a single robot joint
Alkhafaf et al. Improved prosthetic hand control with synchronous use of voice recognition and inertial measurements
Turgunov et al. Comparative analysis of the results of EMG signal classification based on machine learning algorithms
CN113730190A (zh) 一种三维空间运动的上肢康复机器人系统
KR100994408B1 (ko) 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치
Hai et al. Simultaneous Estimation of Hand Joints’ Angles Toward sEMG-Driven Human–Robot Interaction
Castellini et al. EMG-based prediction of multi-DOF activations using single-DOF training: a preliminary result
CN111973388B (zh) 一种基于sEMG的手部康复机器人控制方法
CN111973184B (zh) 一种针对非理想sEMG信号的模型训练数据优化方法
Soma et al. Classification of upper limb motions from around-shoulder muscle activities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant