CN111714339A - 人体下肢运动的脑-肌电融合小世界神经网络预测方法 - Google Patents

人体下肢运动的脑-肌电融合小世界神经网络预测方法 Download PDF

Info

Publication number
CN111714339A
CN111714339A CN202010681624.XA CN202010681624A CN111714339A CN 111714339 A CN111714339 A CN 111714339A CN 202010681624 A CN202010681624 A CN 202010681624A CN 111714339 A CN111714339 A CN 111714339A
Authority
CN
China
Prior art keywords
lower limb
brain
neural network
layer
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010681624.XA
Other languages
English (en)
Other versions
CN111714339B (zh
Inventor
张小栋
尹贵
刘广跃
李亮亮
孙沁漪
董润霖
李瀚哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010681624.XA priority Critical patent/CN111714339B/zh
Publication of CN111714339A publication Critical patent/CN111714339A/zh
Application granted granted Critical
Publication of CN111714339B publication Critical patent/CN111714339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H2003/005—Appliances for aiding patients or disabled persons to walk about with knee, leg or stump rests
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H2003/007—Appliances for aiding patients or disabled persons to walk about secured to the patient, e.g. with belts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2205/00—Devices for specific parts of the body
    • A61H2205/10—Leg
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/08—Other bio-electrical signals
    • A61H2230/085—Other bio-electrical signals used as a control parameter for the apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/08—Other bio-electrical signals
    • A61H2230/10—Electroencephalographic signals
    • A61H2230/105—Electroencephalographic signals used as a control parameter for the apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/62—Posture
    • A61H2230/625—Posture used as a control parameter for the apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Fuzzy Systems (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

本发明公开了一种人体下肢运动的脑‑肌电融合小世界神经网络预测方法，实时检测表面肌电信号和脑电信号，提取脑电信号特征向量和表面肌电信号特征向量，融合得到新的脑‑肌特征向量O；同步记录人体下肢行走运动三维坐标，通过人体下肢运动学建模方法计算下肢关节的运动角度；将融合后的脑‑肌电特征向量和下肢关节运动角度输入小世界神经网络中，利用小世界神经网络精确解码运动，预测相应的下肢关节运动角度。本发明利用能够反映大脑神经网络复杂的结构特征和人脑神经思维的小世界特性的小世界神经网络，根据脑‑肌电融合的特征信息，实时解码受试者下肢关节的运动角度，实现人体下肢运动的连续精准预测和精细感知。

Description

人体下肢运动的脑-肌电融合小世界神经网络预测方法
技术领域
本发明属于康复机器人人机交互技术领域，具体涉及一种人体下肢运动的脑-肌电融合小世界神经网络预测方法。
背景技术
目前国内外有许多研究人员在开展康复机器人的研究工作，但已有的康复机器人，训练动作种类比较少，动作范围具有局限性，运动幅度较小，多数忽略了患者下肢的主动运动，不利于激发患者的主动意识及参与康复训练的兴趣，很难达到理想的康复训练要求。目前，下肢外骨骼技术已广泛应用于神经康复领域。其中，针对下肢外骨骼中人体运动的准确快速识别是其核心研究内容。
现有针对外骨骼康复系统中人体运动的识别方法主要有基于力学信息的意图识别和基于生物电信息的意图识别，其中，采用力学信息的意图识别主要利用人体运动学和动力学信息，而采用生物电信号的运动识别方法主要采用单一肌电的识别。力学信息较生物电信号采集方便，且信号平稳，然而由于信息本身的特点，只有使用者开始运动后才能得到，具有较为严重的滞后性。基于生物电信息的意图识别可以很好的解决基于力学信息识别意图带来的控制滞后的问题。其中，肌电信号是众多肌纤维中运动单元运动准备电位在时间和空间上的叠加，与使用者的行走模式紧密相关的同时，还能精准地反映其运动。但是相较于力学信息，肌电个体差异性大，具有显著的时变特性，会受干扰(如毛发、汗液等)；脑电信号是中枢神经活动在大脑皮层或头皮的反映，相较肌电，它更加微弱且易受干扰，无法进行人体精细活动的解析，还处于实验室阶段，但它直接反应人体大脑活动，蕴含丰富的意图信息，具有实现解码人体运动的潜力，且有较好的时间超前性，能够提前感应人体运动，解决了其他信息源时间滞后的问题，可较好实现运动的预测。而采用单一肌电或单一脑电的运动识别具有明显的不足，融合二者的特性，相互弥补各自的缺陷，极大提高识别的鲁棒性和准确性，实现对更多运动模式的精准预测。
现有的脑肌信息融合多注重于决策层的融合，在此层级的融合计算简便，但会丢失大量原始信息，引起识别率的下降；而特征级的融合，不会丢失大量原始信息，将极大地提高识别系统的准确性和鲁棒性。还有一种基于脑、肌信息融合的运动识别方法，主要是进行模式分类，不能解码下肢关节运动角度，不能连续地实现运动的精准预测。以上意图识别方法的不足，都极大地降低了下肢外骨骼机器人的人机协调性，阻碍了其发展，不利于外骨骼技术的推广。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种人体下肢运动的脑-肌电融合小世界神经网络预测方法，能够实时识别、动态解码人体运动的脑-肌电融合信号。
本发明采用以下技术方案：
人体下肢运动的脑-肌电融合小世界神经网络预测方法，实时检测表面肌电信号和脑电信号，并实时获取关节运动角度信号；对采集到的脑电信号和表面肌电信号进行放大和滤波预处理，采用独立成分分析法提取脑电信号特征向量N，采用主成分分析法提取表面肌电信号特征向量M，对脑电信号的特征向量N和表面肌电信号的特征向量M进行融合得到新的脑-肌特征向量O；同步记录人体下肢行走运动三维坐标，通过人体下肢运动学建模方法计算下肢运动关节的运动角度；将融合后的脑-肌电特征向量和下肢运动关节角度输入小世界神经网络中，利用小世界神经网络精确解码运动，预测相应的下肢关节运动角度。
具体的，计算下肢运动关节的运动角度具体为：
首先建立世界坐标系，X轴方向指向人体运动正前方，Z轴竖直向上，两者构成平面为矢状面，而X轴与Y轴构成水平面，Y轴与Z轴构成额状面；
建立骨盆坐标系、大腿坐标系和小腿坐标系，针对建立的局部坐标系，定义2个关节的屈伸角度：髋关节屈/伸角θh为kThigh在骨盆坐标系矢状面的投影与竖直轴的夹角；膝关节屈/伸角θk为kCalf在大腿坐标系矢状面的投影与竖直轴的夹角。
进一步的，髋关节屈/伸角θh和膝关节屈/伸角θk为：
θh＝arccos(T1kThigh·kPelvis)
θk＝arccos(T2kCalf·kThigh)
其中，T1、T2分别为从大腿坐标系到骨盆坐标系和小腿坐标系到大腿坐标系的转化矩阵。kPelvis、kThigh分别为骨盆坐标系和大腿坐标系k轴上的单位矢量。
具体的，对脑电信号的特征向量N和表面肌电信号的特征向量M进行融合具体为：对脑电信号的特征向量N和表面肌电信号的特征向量M分别进行CCA降维，将综合的新变量串行融合为特征矢量O。
具体的，将融合后新的脑-肌特征向量O作为输入量，以计算所得关节运动角度作为输出量构建训练集，建立脑-肌电融合解码下肢运动的预测模型；将融合后新的脑-肌特征向量O输入NW小世界神经网络模型中；利用下肢运动的小世界神经网络解码脑-肌电融合解码下肢运动的预测模型，获得人体下肢运动的关节角度预测值。
进一步的，建立脑-肌电融合解码下肢运动预测模型具体为：
S601、初始为一个排成环形的包含N+M个节点的规则网络，每个顶点同它的K个邻居相连；
S602、以某一概率p添加神经网络中某一神经元向后跨层连接，选择后层神经元j产生新的连接，添加新的权值连接，不对网络中最后两层神经元间的连接进行随机加边，排除自环和重连边；
S603、重复步骤S602，遍历除最后两个隐层的所有连接，建立脑-肌电融合解码下肢运动预测模型。
进一步的，获得人体下肢关节的运动角度预测值具体为：
S701、将融合后新的脑-肌特征向量O作为输入量输入建立的NW小世界神经网络模型中；
S702、计算第h层到第k层的权值连接的调整值ΔWhk；
S703、利用误差反向传播机制，直至网络实际输出和期望输出的误差满足精度要求，小世界神经网络输出脑-肌电融合预测的下肢髋关节和膝关节角度，实现脑肌电融合的下肢运动实时解码。
更进一步的，步骤S701中，输入的学习样本集为X＝[X1,X2,…Xk,XN]，对应任一学习样本为Xk＝[xk1,xk2,xkl],(k＝1,2,…N)，与Xk相对应的网络实际输出Yk＝[yk1,yk2,…yko]，期望输出为dk＝[dk1,dk2,…dko]，将输出层的误差分配到各层之中；根据输出层确定小世界神经网络隐含层的误差。
更进一步的，若第k层为输出层，(k-1)层误差为输出层误差的直接反向传播，小世界神经网络隐含层的误差计算公式为：
Figure BDA0002586062640000041
若第k层不为输出层，则小世界神经网络隐含层的误差计算公式为：
Figure BDA0002586062640000051
其中，
Figure BDA0002586062640000052
为第(k-1)隐含层神经元p的误差，f(k-1)'(netp)为第(k-1)层神经元p激活函数的微分函数值，ωpm(q＝1,2,…m)为第(k-1)层的神经元p到第k层神经元q的连接权值，
Figure BDA0002586062640000053
为第k层神经元q的误差.n为网络层数(n+1层为输出层)，t为输出层神经元个数，
Figure BDA0002586062640000054
为第n层神经元p到输出层神经元s的连接权值，
Figure BDA0002586062640000055
为输出层神经元s的误差。
进一步的，步骤S702中，第h层到第k层的权值连接的调整值ΔWhk计算如下：
Figure BDA0002586062640000056
其中，β为动量常数，α为学习速率。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种人体下肢运动的脑-肌电融合小世界神经网络预测方法，根据能够根据人类脑神经思维的小世界特性，构建小世界神经网络，它与真实的生物神经网络在结构上更接近，能反映大脑神经网络复杂的结构特征，更能真实的模拟人类神经思维的特征；对脑-肌电信息进行了特征层的融合，相比于大多数决策层的融合，不会丢失大量原始信息，不会引起识别率的下降；将极大地提高识别系统的准确性和鲁棒性；能够实时的解码下肢关节角度，而不只是进行脑-肌电的模式分类识别，能够实现运动的精准预测和精细感知。
进一步的，根据三维空间坐标，通过运动学模型关系计算可得下肢各关节的运动角度，这样做的目的或好处是可以通过VICON光学运动捕捉系统捕捉受试者身上的被动发光点(标记点)，然后，利用标记点的三维坐标信息可以进行实时在线或离线运动分析。相比其他运动捕捉系统，VICON运动捕捉系统精度高、稳定性好，同时该系统可以与第三方硬件系统(如脑电采集设备，肌电采集仪等)同步使用。此外，VICON系统还有一个优点是：当局部捕捉标记点即使被身体挡住，经过软件处理后仍然可以得到令人满意的标记点位置坐标输出，进而仍可以获得下肢运动的关节角度。
进一步的，由于单一通道的表面肌电信号只能反映特定肌肉的工作过程，而人体下肢运动是多个肌群协同工作的结果。因而，对于多通道的表面肌电信号的处理，采用CCA方法进行降维，获取和肌电相关联的脑电特征，以获得最优特征表达,从复杂的、多通道的表面肌电信号中提取连续的、鲁棒的和无冗余信息的信号特征。
进一步的，利用脑肌融合后的特征向量作为输入量，不会丢失大量原始信息，不会引起识别率的下降；将极大地提高识别系统的准确性和鲁棒性；以计算的实测下肢关节运动角度作为输出量构建训练集，可以确定下肢运动期望的目标输出向量，对小世界神经网络进行建模和实时在线训练。
进一步的，采用小世界神经网络，更符合人类脑神经思维的小世界特性，它与真实的生物神经网络在结构上更接近，能反映大脑神经网络复杂的结构特征，更能真实的模拟人类神经思维的特征；使预测模型更加科学合理，可靠。小世界神经网络模型，对规则互连神经网络以某一概率p随机化加边，将脑电信号加入到肌电信号中，它们合理的叠加，描述了客观世界具有的这种有序和无序的混杂特征，更符合人脑神经思维的小世界特性。NW模型用随机化加边代替了随机化重连，从而避免了产生孤立节点的可能。而且，该模型更容易分析，因为规则网络没有被拆开，图的任何部分都不可能与剩余部分分离。
进一步的，由于肌电信号的产生比实际运动超前，能够根据受试者的运动意图，对受试者的运动进行实时连续的解码，提前获得精确的受试者下肢运动关节角度值，便于下肢康复训练机器人设备的实时控制，实现受试者和康复机器人的同步协调运动。
进一步的，利用脑肌融合的特征向量进行解码，这种特征层的融合，不会丢失大量原始信息，不会引起识别率的下降；将极大地提高系统解码的准确性和鲁棒性。同时，将输出层的误差分配到各层之中；根据输出层反推确定小世界神经网络隐含层的误差。因此,将输出层的误差有效地分配到各层之中，将在一定程度上提高神经网络的收敛速度。
进一步的，误差反向传播，各层的权值调整都不尽相同，将输出层的误差通过其权值加权反向传递到所有隐含层,各层共同分摊输出层的误差，这使得网络对于位置较为靠前层的权值调整更加有效,同时也减少了网络的学习次数，加快收敛速度。
综上所述，本发明利用能够反映大脑神经网络复杂的结构特征和人脑神经思维的小世界特性的小世界神经网络，根据脑-肌电融合的特征信息，实时解码受试者下肢运动的关节角度，进而，实现人体下肢运动的连续精准预测和精细感知；而不仅仅是简单的模式分类识别。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明预测方法框图；
图2为脑电采集位置分布图；
图3为下肢运动坐标系布置和标记点位置分布示意图；
图4为小世界神经网络图，其中，(a)为概念示意图，(b)为结构图；
图5为小世界神经网络的解码预测结果图。
具体实施方式
本发明提供了一种人体下肢运动的脑-肌电融合小世界神经网络预测方法，实时检测的表面肌电信号和脑电信号，同时，利用光学运动捕捉系统，实时获取的关节运动角度信号。然后，通过对采集到的脑电信号和表面肌电信号进行放大和滤波预处理，再提取患者运动时脑电信号和表面肌电信号的特征，对脑电特征和肌电特征进行融合；最后，将融合后的脑-肌电特征向量和获取的下肢运动关节角度输入到小世界神经网络中，利用小世界神经网络精确解码的运动，预测出相应的下肢关节运动角度。
请参阅图1，本发明一种人体下肢运动的脑-肌电融合小世界神经网络预测方法，包括以下步骤：
S1、实时采集脑电信号和肌电信号；
实时采集大脑感觉运动皮层的脑电信号，以及股直肌、股二头肌、股内侧肌和胫骨前肌的表面肌电信号。
S2、对采集到的脑电信号和表面肌电信号进行放大、滤波，去除伪迹和噪声等预处理；
预处理过程中，放大倍数为2000倍；脑电信号高通滤波的频率为1Hz，且进行基线校准，并在振幅标准上去除了带有伪影的EEG的信号段；肌电信号带通滤波的频率为5～200Hz，且不包含50Hz陷波信号，去除工频干扰。
S3、通过特征提取方法，分别获取脑电信号的特征向量N和表面肌电信号的特征向量M；
采用独立成分分析法提取脑电信号特征向量N，采用主成分分析法提取表面肌电信号特征向量M。
S4、利用光学运动捕捉系统同步记录人体下肢行走运动三维坐标，通过人体下肢运动学建模方法计算下肢髋关节和膝关节的运动角度；
首先建立世界坐标系，X轴方向指向人体运动正前方，Z轴竖直向上，两者构成平面为矢状面，而X轴与Y轴构成水平面，Y轴与Z轴构成额状面；其中，下肢运动坐标系布置和标记点位置分布如图3所示。
然后，建立骨盆坐标系、大腿坐标系和小腿坐标系等局部参考坐标系。针对建立的局部坐标系，定义2个关节的屈伸角度：
髋关节屈/伸角θh为kThigh在骨盆坐标系矢状面的投影与竖直轴的夹角；
膝关节屈/伸角θk为kCalf在大腿坐标系矢状面的投影与竖直轴的夹角。
具体计算公式如下：
θh＝arccos(T1kThigh·kPelvis)
θk＝arccos(T2kCalf·kThigh)
其中，T1、T2分别为从大腿坐标系到骨盆坐标系和小腿坐标系到大腿坐标系的转化矩阵。kPelvis、kThigh分别为骨盆坐标系和大腿坐标系k轴上的单位矢量。
S5、将步骤S3获得的脑电信号的特征向量N和表面肌电信号的特征向量M分别进行CCA降维后，再将综合的新变量串行融合为特征矢量；
O＝[N1,N2,N3…Nn,M1,M2,M3…Mm]
其中，Ni，Mj分别表示脑电信号i通道的特征和肌电信号j通道的特征，i＝1，2，3，...，n；j＝1，2，3，...，m。
S6、建立脑-肌电融合解码下肢运动(关节角度)的小世界神经网络预测模型，将融合后新的脑-肌特征向量O作为输入量，以步骤S4计算所得关节运动角度作为输出量构建训练集，根据脑神经思维的小世界特性，使用小世界神经网络，建立脑-肌电融合解码下肢运动(关节角度)的预测模型；具体包括下述子步骤：
S601、初始为一个排成环形的包含N+M个节点的规则网络，便于融合后的特征向量进行输入，每个顶点同它的K个邻居相连；
S602、以某一概率p添加神经网络中某一神经元向后跨层连接，选择后层神经元j产生新的连接，添加新的权值连接，不对网络中最后两层神经元间的连接进行随机加边，排除自环和重连边；
S603、重复步骤S602，遍历除最后两个隐层的所有连接；
S7、将融合后新的脑-肌特征向量O输入NW小世界神经网络模型中；利用下肢运动的小世界神经网络解码预测模型，获得人体下肢髋关节和膝关节的运动角度预测值；步骤如下：
S701、将步骤S5获得的融合后新的脑-肌特征向量O作为输入量输入到步骤S6建立的NW小世界神经网络模型中；
输入的学习样本集为X＝[X1,X2,…Xk,XN]，对应任一学习样本为Xk＝[xk1,xk2,xkl],(k＝1,2,…N)，与Xk相对应的网络实际输出Yk＝[yk1,yk2,…yko]，期望输出为dk＝[dk1,dk2,…dko]。
输入信号从输入层经隐层单元传向输出层，在输出端产生输出信号。网络的实际输出与期望输出之间的差值即为误差信号，误差信号由输出层开始向回传播，这是误差信号的反向传播。不同于以往的BP神经网络，为了提高神经网络的收敛速度，在本发明的小世界神经网络中，将输出层的误差有效地分配到各层之中；若第k层为输出层，则由于(k-1)层误差为输出层误差的直接反向传播，小世界神经网络隐含层的误差计算如下：
Figure BDA0002586062640000111
若第k层不为输出层，小世界神经网络隐含层的误差计算如下：
Figure BDA0002586062640000112
其中，
Figure BDA0002586062640000113
为第(k-1)隐含层神经元p的误差，f(k-1)'(netp)为第(k-1)层神经元p激活函数的微分函数值，ωpm(q＝1,2,…m)为第(k-1)层的神经元p到第k层神经元q的连接权值，
Figure BDA0002586062640000114
为第k层神经元q的误差.n为网络层数(n+1层为输出层)，t为输出层神经元个数，
Figure BDA0002586062640000115
为第n层神经元p到输出层神经元s的连接权值，
Figure BDA0002586062640000116
为输出层神经元s的误差。
S702、权值调整值的计算；
以ΔWhk表示第h层到第k层的权值连接的调整值，根据Delta法则，有
Figure BDA0002586062640000117
其中，β为动量常数，α为学习速率。
S703、利用误差反向传播机制，直至网络实际输出和期望输出的误差满足精度要求，小世界神经网络输出脑-肌电融合预测的下肢髋关节和膝关节角度，实现脑肌电融合的下肢运动实时精确解码。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
S1、分别用16导联脑电采集仪Neuroscan采集大脑感觉运动皮层的脑电信号，其中脑电电极位置的放置如图2所示；用肌电采集仪实时采集下肢股直肌、股二头肌、股内侧肌和胫骨前肌的表面肌电信号；
S2、脑电信号和肌电信号的放大倍数为2000倍；对脑电信号进行1Hz的高通滤波，且进行基线校准，并在振幅标准上去除带有伪影的EEG的信号段；对肌电信号进行5～200Hz带通滤波，且不包含50Hz陷波信号，陷波滤波器去除工频干扰，伪迹和噪声；
S3、通过独立成分分析特征提取方法，获取脑电信号的独立成分特征向量N，采用主成分分析法提取运动过程中表面肌电信号的主成分特征向量M；
S4、首先建立世界坐标系，X轴方向指向人体运动正前方，Z轴竖直向上，两者构成平面为矢状面，而X轴与Y轴构成水平面，Y轴与Z轴构成额状面；其中下肢运动坐标系布置和标记点位置分布如图3所示。
然后，建立骨盆坐标系、大腿坐标系和小腿坐标系等局部参考坐标系。针对建立的局部坐标系，定义2个关节的屈伸角度：髋关节屈/伸角θh为kThigh在骨盆坐标系矢状面的投影与竖直轴的夹角；膝关节屈/伸角θk为kCalf在大腿坐标系矢状面的投影与竖直轴的夹角；
具体计算公式如下：
θh＝arccos(T1kThigh·kPelvis)
θk＝arccos(T2kCalf·kThigh)
其中，T1、T2分别为从大腿坐标系到骨盆坐标系和小腿坐标系到大腿坐标系的转化矩阵。kPelvis、kThigh分别为骨盆坐标系和大腿坐标系k轴上的单位矢量。
S5、将步骤S3获得的脑电特征向量和肌电特征向量分别进行CCA降维后，再将综合的新变量串行融合为特征矢量：
O＝[N1,N2,N3…Nn,M1,M2,M3…Mm]
其中，Ni，Mj分别表示脑电信号i通道的特征和肌电信号j通道的特征，i＝1，2，3，...，n；j＝1，2，3，...，m。
S6、将融合后新的脑-肌特征向量O作为输入量，以步骤S4计算所得关节运动角度作为输出量构建训练集，根据脑神经思维的小世界特性，使用小世界神经网络，建立脑-肌电融合解码下肢运动(关节角度)的预测模型，如图4所示；具体包括下述子步骤：
S601、初始为一个排成环形的包含N+M个节点的规则网络，便于融合后的特征向量进行输入，每个顶点同它的K个邻居相连(每一侧有K/2个连接)；
S602、以某一概率p添加神经网络中某一神经元向后跨层连接，选择后层神经元j产生新的连接，添加新的权值连接，不对网络中最后两层神经元间的连接进行随机加边，排除自环和重连边；
S603、重复步骤S602，遍历除最后两个隐层的所有连接；
S7、下肢运动的精准预测，具体包括下述子步骤：
S701、将步骤S5获得的融合后新的特征向量O作为输入量输入到步骤S6建立的NW小世界神经网络模型中；
输入的学习样本集为X＝[X1,X2,…Xk,XN]，对应任一学习样本为Xk＝[xk1,xk2,xkl],(k＝1,2,…N)，与Xk相对应的网络实际输出Yk＝[yk1,yk2,…yko]，期望输出为dk＝[dk1,dk2,…dko]。
输入信号从输入层经隐层单元传向输出层，在输出端产生输出信号。网络的实际输出与期望输出之间的差值即为误差信号，误差信号由输出层开始向回传播，这是误差信号的反向传播。不同于以往的BP神经网络，为了提高神经网络的收敛速度，在本小世界神经网络中，将输出层的误差有效地分配到各层之中；若第k层为输出层，则由于(k-1)层误差为输出层误差的直接反向传播,小世界神经网络隐含层的误差计算公式为：
Figure BDA0002586062640000141
若第k层不为输出层,则小世界神经网络隐含层的误差计算公式为：
Figure BDA0002586062640000142
其中，
Figure BDA0002586062640000143
为第(k-1)隐含层神经元p的误差，f(k-1)'(netp)为第(k-1)层神经元p激活函数的微分函数值，ωpm(q＝1,2,…m)为第(k-1)层的神经元p到第k层神经元q的连接权值，
Figure BDA0002586062640000144
为第k层神经元q的误差.n为网络层数(n+1层为输出层)，t为输出层神经元个数，
Figure BDA0002586062640000145
为第n层神经元p到输出层神经元s的连接权值，
Figure BDA0002586062640000146
为输出层神经元s的误差。
S702、以ΔWhk表示第h层到第k层的权值连接的调整值，根据Delta法则，有
Figure BDA0002586062640000147
其中，β为动量常数，α为学习速率。
S703、利用误差反向传播机制，直至网络实际输出和期望输出的误差满足精度要求，小世界神经网络输出脑-肌电融合预测的下肢髋关节和膝关节角度，实现脑肌电融合的下肢运动实时精确解码。
请参阅图5，通过脑肌电融合特征的实时连续解码，使用小世界神经网络方法预测下肢关节运动角度的实时解码预测结果如图5所示，从图5可以看出，人体下肢运动的脑-肌电融合小世界神经网络预测方法能够有效稳定、实时精确的预测下肢关节运动角度，进而，实现受试者下肢运动的连续精准预测和精细感知；可用于下肢康复机器人的主动康复训练控制。
综上所述，本发明一种人体下肢运动的脑-肌电融合小世界神经网络预测方法，实时检测受试者的表面肌电信号和脑电信号；同时，利用光学运动捕捉系统，实时捕捉受试者的三维运动轨迹，通过运动学建模实时获取受试者的关节运动角度信号。其次，对采取到的脑电信号和表面肌电信号进行放大、滤波等预处理，再分别提取受试者运动时脑电信号的独立成分特征和表面肌电信号的主成分特征，并进行降维；然后，对脑电特征和肌电特征进行融合。再次，根据人脑神经思维的小世界特性，用能够反映大脑神经网络复杂结构特征的小世界神经网络建立脑-肌电融合解码下肢运动(关节角度)的预测模型。最后，将融合后的脑-肌电特征向量和实时获取的受试者下肢运动关节角度输入到小世界神经网络中，解码出相应的下肢关节运动角度，实现受试者下肢关节运动的精准预测和实时连续解码。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，实时检测表面肌电信号和脑电信号，并实时获取关节运动角度信号；对采集到的脑电信号和表面肌电信号进行放大和滤波预处理，采用独立成分分析法提取脑电信号特征向量N，采用主成分分析法提取表面肌电信号特征向量M，对脑电信号的特征向量N和表面肌电信号的特征向量M进行融合得到新的脑-肌特征向量O；同步记录人体下肢行走运动三维坐标，通过人体下肢运动学建模方法计算下肢运动关节的运动角度；将融合后的脑-肌电特征向量和下肢运动关节角度输入小世界神经网络中，利用小世界神经网络精确解码运动，预测相应的下肢关节运动角度。
2.根据权利要求1所述的人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，计算下肢运动关节的运动角度具体为：
首先建立世界坐标系，X轴方向指向人体运动正前方，Z轴竖直向上，两者构成平面为矢状面，而X轴与Y轴构成水平面，Y轴与Z轴构成额状面；
建立骨盆坐标系、大腿坐标系和小腿坐标系，针对建立的局部坐标系，定义2个关节的屈伸角度：髋关节屈/伸角θh为kThigh在骨盆坐标系矢状面的投影与竖直轴的夹角；膝关节屈/伸角θk为kCalf在大腿坐标系矢状面的投影与竖直轴的夹角。
3.根据权利要求2所述的人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，髋关节屈/伸角θh和膝关节屈/伸角θk为：
θh＝arccos(T1kThigh·kPelvis)
θk＝arccos(T2kCalf·kThigh)
其中，T1、T2分别为从大腿坐标系到骨盆坐标系和小腿坐标系到大腿坐标系的转化矩阵。kPelvis、kThigh分别为骨盆坐标系和大腿坐标系k轴上的单位矢量。
4.根据权利要求1所述的人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，对脑电信号的特征向量N和表面肌电信号的特征向量M进行融合具体为：对脑电信号的特征向量N和表面肌电信号的特征向量M分别进行CCA降维，将综合的新变量串行融合为特征矢量O。
5.根据权利要求1所述的人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，将融合后新的脑-肌特征向量O作为输入量，以计算所得关节运动角度作为输出量构建训练集，建立脑-肌电融合解码下肢运动的预测模型；将融合后新的脑-肌特征向量O输入NW小世界神经网络模型中；利用下肢运动的小世界神经网络解码脑-肌电融合解码下肢运动的预测模型，获得人体下肢运动的关节角度预测值。
6.根据权利要求5所述的人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，建立脑-肌电融合解码下肢运动预测模型具体为：
S601、初始为一个排成环形的包含N+M个节点的规则网络，每个顶点同它的K个邻居相连；
S602、以某一概率p添加神经网络中某一神经元向后跨层连接，选择后层神经元j产生新的连接，添加新的权值连接，不对网络中最后两层神经元间的连接进行随机加边，排除自环和重连边；
S603、重复步骤S602，遍历除最后两个隐层的所有连接，建立脑-肌电融合解码下肢运动预测模型。
7.根据权利要求5所述的人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，获得人体下肢关节的运动角度预测值具体为：
S701、将融合后新的脑-肌特征向量O作为输入量输入建立的NW小世界神经网络模型中；
S702、计算第h层到第k层的权值连接的调整值ΔWhk；
S703、利用误差反向传播机制，直至网络实际输出和期望输出的误差满足精度要求，小世界神经网络输出脑-肌电融合预测的下肢髋关节和膝关节角度，实现脑肌电融合的下肢运动实时解码。
8.根据权利要求7所述的人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，步骤S701中，输入的学习样本集为X＝[X1,X2,…Xk,XN]，对应任一学习样本为Xk＝[xk1,xk2,xkl],(k＝1,2,…N)，与Xk相对应的网络实际输出Yk＝[yk1,yk2,…yko]，期望输出为dk＝[dk1,dk2,…dko]，将输出层的误差分配到各层之中；根据输出层确定小世界神经网络隐含层的误差。
9.根据权利要求8所述的人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，若第k层为输出层，(k-1)层误差为输出层误差的直接反向传播，小世界神经网络隐含层的误差计算公式为：
Figure FDA0002586062630000031
若第k层不为输出层，则小世界神经网络隐含层的误差计算公式为：
Figure FDA0002586062630000032
其中，
Figure FDA0002586062630000033
为第(k-1)隐含层神经元p的误差，f(k-1)'(netp)为第(k-1)层神经元p激活函数的微分函数值，ωpm(q＝1,2,…m)为第(k-1)层的神经元p到第k层神经元q的连接权值，
Figure FDA0002586062630000034
为第k层神经元q的误差.n为网络层数(n+1层为输出层)，t为输出层神经元个数，
Figure FDA0002586062630000035
为第n层神经元p到输出层神经元s的连接权值，
Figure FDA0002586062630000036
为输出层神经元s的误差。
10.根据权利要求7所述的人体下肢运动的脑-肌电融合小世界神经网络预测方法，其特征在于，步骤S702中，第h层到第k层的权值连接的调整值ΔWhk计算如下：
Figure FDA0002586062630000041
其中，β为动量常数，α为学习速率。
CN202010681624.XA 2020-07-15 2020-07-15 人体下肢运动的脑-肌电融合小世界神经网络预测方法 Active CN111714339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010681624.XA CN111714339B (zh) 2020-07-15 2020-07-15 人体下肢运动的脑-肌电融合小世界神经网络预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010681624.XA CN111714339B (zh) 2020-07-15 2020-07-15 人体下肢运动的脑-肌电融合小世界神经网络预测方法

Publications (2)

Publication Number Publication Date
CN111714339A true CN111714339A (zh) 2020-09-29
CN111714339B CN111714339B (zh) 2021-09-07

Family

ID=72572511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010681624.XA Active CN111714339B (zh) 2020-07-15 2020-07-15 人体下肢运动的脑-肌电融合小世界神经网络预测方法

Country Status (1)

Country Link
CN (1) CN111714339B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836617A (zh) * 2021-01-28 2021-05-25 北京理工大学前沿技术研究院 一种基于ipso-bpnn的长时人体下肢运动预测方法
CN112842261A (zh) * 2020-12-30 2021-05-28 西安交通大学 一种基于复杂网络的婴儿三维自发运动智能化评估系统
CN113239744A (zh) * 2021-04-25 2021-08-10 西安电子科技大学 基于深度学习的脑电-肌电信号融合识别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0433626A2 (en) * 1989-11-17 1991-06-26 Wayne State University Physiologic waveform analysis
CN105615890A (zh) * 2015-12-24 2016-06-01 西安交通大学 人体下肢行走关节角度肌电连续解码方法
RU2618161C1 (ru) * 2016-03-15 2017-05-02 Государственное бюджетное образовательное учреждение высшего профессионального образования "Рязанский государственный медицинский университет имени академика И.П. Павлова" Министерства здравоохранения Российской Федерации Способ прогнозирования реакции на гипервентиляционную нагрузку у практически здоровых лиц на основе показателей электроэнцефалограммы, характеристик вариабельности сердечного ритма и активности сегментарного мотонейронного аппарата
US20170251985A1 (en) * 2016-02-12 2017-09-07 Newton Howard Detection Of Disease Conditions And Comorbidities
US20180330178A1 (en) * 2017-05-09 2018-11-15 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
CN109344816A (zh) * 2018-12-14 2019-02-15 中航华东光电（上海）有限公司 一种基于脑电实时检测面部动作的方法
CN109394476A (zh) * 2018-12-06 2019-03-01 上海神添实业有限公司 脑肌信息自动意图识别与上肢智能控制方法及系统
CN109589247A (zh) * 2018-10-24 2019-04-09 天津大学 一种基于脑-机-肌信息环路的助行机器人系统
CN109620185A (zh) * 2019-01-31 2019-04-16 山东大学 基于多模态信息的自闭症辅助诊断系统、设备及介质
CN110025322A (zh) * 2019-04-11 2019-07-19 辽宁师范大学 基于滤波与集成分类器的多模态生理信号情感分类方法
CN110163347A (zh) * 2019-05-24 2019-08-23 刘斌 一种煤矿井下人体姿态监测方法
CN110569968A (zh) * 2019-10-18 2019-12-13 上海大学 基于电生理信号的创业失败恢复力评估方法及评估系统
US20200110464A1 (en) * 2018-03-23 2020-04-09 Abl Ip Holding Llc Electroencephalography control of controllable device

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0433626A2 (en) * 1989-11-17 1991-06-26 Wayne State University Physiologic waveform analysis
CN105615890A (zh) * 2015-12-24 2016-06-01 西安交通大学 人体下肢行走关节角度肌电连续解码方法
US20170251985A1 (en) * 2016-02-12 2017-09-07 Newton Howard Detection Of Disease Conditions And Comorbidities
RU2618161C1 (ru) * 2016-03-15 2017-05-02 Государственное бюджетное образовательное учреждение высшего профессионального образования "Рязанский государственный медицинский университет имени академика И.П. Павлова" Министерства здравоохранения Российской Федерации Способ прогнозирования реакции на гипервентиляционную нагрузку у практически здоровых лиц на основе показателей электроэнцефалограммы, характеристик вариабельности сердечного ритма и активности сегментарного мотонейронного аппарата
US20180330178A1 (en) * 2017-05-09 2018-11-15 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
US20200110464A1 (en) * 2018-03-23 2020-04-09 Abl Ip Holding Llc Electroencephalography control of controllable device
CN109589247A (zh) * 2018-10-24 2019-04-09 天津大学 一种基于脑-机-肌信息环路的助行机器人系统
CN109394476A (zh) * 2018-12-06 2019-03-01 上海神添实业有限公司 脑肌信息自动意图识别与上肢智能控制方法及系统
CN109344816A (zh) * 2018-12-14 2019-02-15 中航华东光电（上海）有限公司 一种基于脑电实时检测面部动作的方法
CN109620185A (zh) * 2019-01-31 2019-04-16 山东大学 基于多模态信息的自闭症辅助诊断系统、设备及介质
CN110025322A (zh) * 2019-04-11 2019-07-19 辽宁师范大学 基于滤波与集成分类器的多模态生理信号情感分类方法
CN110163347A (zh) * 2019-05-24 2019-08-23 刘斌 一种煤矿井下人体姿态监测方法
CN110569968A (zh) * 2019-10-18 2019-12-13 上海大学 基于电生理信号的创业失败恢复力评估方法及评估系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOFENG SUN, XIAODONG ZHANG: "sEMG Based Continuous Estimation of Wrist Joint Angle using BP", 《PROCEEDINGS OF 9TH IEEE INTERNATIONAL CONFERENCE》 *
汤爱汤 胡红军 杨明波: "《计算机在材料工程中的应用》", 30 June 2008 *
郭勇智: "面向外骨骼机器人的EEG-EMG混合信息人体运动意图识别方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112842261A (zh) * 2020-12-30 2021-05-28 西安交通大学 一种基于复杂网络的婴儿三维自发运动智能化评估系统
CN112842261B (zh) * 2020-12-30 2021-12-28 西安交通大学 一种基于复杂网络的婴儿三维自发运动智能化评估系统
CN112836617A (zh) * 2021-01-28 2021-05-25 北京理工大学前沿技术研究院 一种基于ipso-bpnn的长时人体下肢运动预测方法
CN112836617B (zh) * 2021-01-28 2023-02-03 北京理工大学前沿技术研究院 一种基于ipso-bpnn的长时人体下肢运动预测方法
CN113239744A (zh) * 2021-04-25 2021-08-10 西安电子科技大学 基于深度学习的脑电-肌电信号融合识别方法
CN113239744B (zh) * 2021-04-25 2024-04-19 西安电子科技大学 基于深度学习的脑电-肌电信号融合识别方法

Also Published As

Publication number Publication date
CN111714339B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN111714339B (zh) 人体下肢运动的脑-肌电融合小世界神经网络预测方法
CN107397649B (zh) 一种基于径向基神经网络上肢外骨骼运动意图识别方法
CN104382595B (zh) 一种基于肌电信号与虚拟现实交互技术的上肢康复系统及方法
CN109009586B (zh) 一种假手腕关节人机自然驱动角度的肌电连续解码方法
Chen et al. A continuous estimation model of upper limb joint angles by using surface electromyography and deep learning method
He et al. Spatial information enhances myoelectric control performance with only two channels
Mohamed et al. Comparison of EEG signal decomposition methods in classification of motor-imagery BCI
Chen et al. Cross-comparison of EMG-to-force methods for multi-DoF finger force prediction using one-DoF training
Chai et al. A novel method based on long short term memory network and discrete-time zeroing neural algorithm for upper-limb continuous estimation using sEMG signals
Yu et al. EEG-based brain-controlled lower extremity exoskeleton rehabilitation robot
Stapornchaisit et al. Finger angle estimation from array EMG system using linear regression model with independent component analysis
CN109126045A (zh) 智能化运动分析和训练系统
Zhang et al. Homology characteristics of Eeg and Emg for lower limb voluntary movement intention
Feng et al. Feature extraction algorithm based on csp and wavelet packet for motor imagery eeg signals
CN110464348A (zh) 基于肌电信号的下肢关节连续运动量识别方法及系统
Zhang et al. Electroencephalogram and surface electromyogram fusion-based precise detection of lower limb voluntary movement using convolution neural network-long short-term memory model
Zeng et al. Cross modality knowledge distillation between A-mode ultrasound and surface electromyography
Li et al. An enhanced EMG-driven Musculoskeletal model based on non-negative matrix factorization
Li et al. Prediction of knee joint moment by surface electromyography of the antagonistic and agonistic muscle pairs
Leelakittisin et al. Enhanced Lightweight CNN Using Joint Classification with Averaging Probability for sEMG-Based Subject-Independent Hand Gesture Recognition
Cho et al. Estimating simultaneous and proportional finger force intention based on sEMG using a constrained autoencoder
Li et al. Motion intention prediction of upper limb in stroke survivors using sEMG signal and attention mechanism
Yang et al. Comparison of Isometric Force Estimation Methods for Upper Limb Elbow Joints
Shi et al. A novel multimodal human-exoskeleton interface based on EEG and sEMG activity for rehabilitation training
Ahmed et al. A non Invasive Brain-Computer-Interface for Service Robotics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant