CN107378944B - 一种基于主成分分析法的多维表面肌电信号假手控制方法 - Google Patents

一种基于主成分分析法的多维表面肌电信号假手控制方法 Download PDF

Info

Publication number
CN107378944B
CN107378944B CN201710477543.6A CN201710477543A CN107378944B CN 107378944 B CN107378944 B CN 107378944B CN 201710477543 A CN201710477543 A CN 201710477543A CN 107378944 B CN107378944 B CN 107378944B
Authority
CN
China
Prior art keywords
finger
data
motion
training
principal component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710477543.6A
Other languages
English (en)
Other versions
CN107378944A (zh
Inventor
宋爱国
胡旭晖
曾洪
徐宝国
李会军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201710477543.6A priority Critical patent/CN107378944B/zh
Publication of CN107378944A publication Critical patent/CN107378944A/zh
Priority to US16/475,680 priority patent/US10959863B2/en
Priority to PCT/CN2018/088055 priority patent/WO2018233435A1/zh
Application granted granted Critical
Publication of CN107378944B publication Critical patent/CN107378944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A61F2/58—Elbows; Wrists ; Other joints; Hands
    • A61F2/583—Hands; Wrist joints
    • A61F2/586—Fingers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0009—Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/1075—Programme-controlled manipulators characterised by positioning means for manipulator elements with muscles or tendons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A61F2/58—Elbows; Wrists ; Other joints; Hands
    • A61F2/583—Hands; Wrist joints
    • A61F2/586—Fingers
    • A61F2002/587—Thumbs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/701—Operating or control means electrical operated by electrically controlled means, e.g. solenoids or torque motors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Transplantation (AREA)
  • Medical Informatics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Cardiology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Neurosurgery (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)

Abstract

本发明公开了一种基于主成分分析法的多维表面肌电信号假手控制方法，包括如下步骤：首先将设有24通道阵列肌电传感器的臂环佩戴至受试者前臂，将五个手指关节姿态传感器分别佩戴在受试者拇指的远节指骨和其余手指的中节指骨处；受试者进行五指独立弯曲伸展训练，同时采集肌电传感阵列数据与手指关节姿态传感器数据；使用主成分分析方法对肌电传感数据进行解耦，组成手指运动训练集；训练完毕后将佩戴在手指上的传感器移除；采取神经网络方法对上述手指运动训练集进行数据拟合，构建手指连续运动预测模型；使用手指连续运动模型预测当前手指的弯曲角度。本发明能够克服离散动作模态分类的非连贯性，最终达到对假手更加平滑流畅的控制。

Description

一种基于主成分分析法的多维表面肌电信号假手控制方法
技术领域
本发明涉及机械手控制方法，尤其涉及一种基于主成分分析法的多维表面肌电信号假手控制方法。
背景技术
生机电一体化灵巧操作假肢是一种能与环境、人和其他机器人协同工作的智能交互设备，其通过采集人体的生物电信号，辨识操作者的动作意图。人工假肢的研究可以带动残疾人功能重建康复工程领域的技术创新，延伸和发展装备制造的科学内涵。其科学技术成果可辐射应用到高端医疗装备、生机电一体化智能机器人、危险环境勘查和灾难救援装备、国防装备等有关国计民生的重大领域，具有重要的战略意义。
目前受广泛关注的一种生物电信号是表面肌电信号。由于表面肌电蕴含信息丰富，并且是无创采集，因而收到众多研究人员的青睐。将表面肌电应用于交互领域最成熟的方法是离散手势动作的模式识别，与离散动作的分类相比，关节连续运动估计对实现机器人运动的平滑控制更有价值，但在该方面的公开研究成果相对较少。
由于不同受试者的前臂肌肉发达程度不同、操作习惯不同，往往较难提取出针对所有个体的普适运动规律，
人的手指活动十分复杂，现有研究主要针对孤立手势进行识别，鲜有对手势的连续动作进行识别。本技术使用主成分分析法对手部的复杂肌肉活动进行解耦，能够解析出各手指的连续活动情况，目前尚未有文献对手指的连续运动估计进行研究。
发明内容
发明目的：为了解决现有技术存在的不足，本发明提供了一种利用肌电信号识别人体动作意图、基于主成分分析法进行肌电数据解耦，以实现对手指的连续运动进行有效预测和估计的多维表面肌电信号假手控制方法。
技术方案：本发明的一种基于主成分分析法的多维表面肌电信号假手控制方法，包括如下步骤：
(1)将设有阵列式肌电传感器的臂环佩戴至受试者前臂，将五个手指关节姿态传感器分别佩戴在受试者拇指的远节指骨和其余手指的中节指骨处；所述阵列式肌电传感器为24通道阵列肌电传感器；
(2)受试者进行五指独立弯曲伸展训练，同时采集肌电传感阵列数据与手指关节姿态传感器数据；
(3)使用主成分分析方法对肌电传感数据进行解耦，组成该受试者的手指运动训练集；所述手指运动训练集用矩阵表示，矩阵的行数为样本个数，列数为肌电传感器阵列通道数，使用主成分分析法将原24维数据降至5维；训练完毕后将佩戴在手指上的传感器移除；
(4)采取神经网络方法对上述手指运动训练集进行数据拟合，构建手指连续运动预测模型；
(5)使用步骤(4)中的手指连续运动模型预测当前手指的弯曲角度。
所述步骤(2)中的五指独立弯曲伸展训练具体包括：每根手指重复弯曲伸展动作十次，5根手指完成一轮动作后，间歇30秒，再进行第二组，一共两组；采集训练过程中的肌电信号并进行预处理，间歇时不进行采集；将原始肌电数据用肌肉活跃度表示；所述预处理包括肌电信号的肌肉活跃度表示和归一化处理，以及姿态数据的四元数解算。
所述步骤(4)中，使用三层神经网络结构，输入层神经元个数为5，隐藏层神经元个数为15，输出层神经元个数为5；神经网络的隐藏层和输出层的传输函数分别为 Sigmoid函数和线性函数；使用步骤(3)收集的手指运动训练集作为样本进行误差反向传播计算，求解其网络参数。
步骤(5)中，预测出当前手指的弯曲角度后，再将手指弯曲的角度变化量转化为电机实际控制量，具体包括如下步骤：
(6.1)设计假手手指欠驱动控制模型；
(6.2)通过分析假手手指运动轨迹计算预计手指弯曲角度与步进电机旋转角度的运动方程；
(6.3)将预计手指弯曲角度代入步骤(6.2)的运动方程，得到步进电机输出旋转角；
(6.4)通过微控制器控制步进电机旋转相应角度。
有益效果：首先，与传统肌电信号的采集控制系统不同，本发明使用可穿戴式肌电臂环和手指关节姿态传感器分别采集受试者的表面肌电信号和手指关节弯曲角度，对肌电传感器电极的位置没有严格要求，在训练时能节省大量调试时间，因此本发明可针对每个训练个体训练出个体神经网络参数，在允许训练时间范围内，显著提高了预测精度；其次，本发明使用主成分分析法对大量的冗余数据进行解耦，拾取与手指关节相关的运动信息，一方面缩短了神经网络的训练时间和运算时间，另一方面也对探索肌电信号与手指连续运动间的联系有了直观的分析；最后，本发明将手指关节连续运动估计应用于生机电一体化灵巧手控制，提出的手指控制策略具有控制线少、运行稳定、结构简明等优点。
附图说明
图1为本发明的方法流程图；
图2(a)和图2(b)为肌电传感阵列与手指关节姿态传感器的穿戴示意图；
图3为本发明中规定的受试者在训练阶段完成的预定动作集；
图4为假手手指欠驱动控制方式示意图。
具体实施方式
本发明基于主成分分析方法解耦多维表面肌电数据，根据有监督型机器学习的算法架构，主要包括训练部分和预测部分，如图1所示。
训练部分包括：
a.佩戴肌电传感阵列和手指关节姿态传感器。
b.受试者依照预设规定动作进行训练，同时使用计算机采集肌电传感阵列数据与手指关节姿态传感器数据。
c.对肌电传感阵列数据与手指关节姿态传感器数据进行预处理，包括肌电信号的肌肉活跃度表示和归一化处理、姿态数据的四元数解算等信号处理流程。
d.将上述数据封装为矩阵形式作为神经网络的训练样本，使用误差反向传播算法(BP神经网络)计算神经网络的各个连接权值。得到的前馈神经网络即为手指连续运动预测模型。
预测部分包括：
a.佩戴肌电传感阵列。
b.每10ms执行一次前馈神经网络的运算。将24维肌电数据用一列向量表示，然后与主成分分析变换矩阵相乘得到一5维列向量。将该列向量代入训练完毕的神经网络模型进行计算，得到预计手指弯曲角度。
c.利用神经网络计算出预计手指弯曲角度后，再将手指弯曲的角度变化量转化为电机实际控制量。
下面结合实施例和附图对本发明的技术方案作进一步详细说明。
本实施例作为优选方案，具体包括以下步骤：
(1)将24通道阵列肌电传感器和五个手指关节姿态传感器穿戴正确，以下给出传感器的穿戴方法：
(1.1)受试者呈坐姿，上臂肌肉呈放松状态；受试者前臂水平，腕部呈放松状态；其目的是尽可能降低上臂、腕部等其他附加动作产生的肌电信号与手部动作产生的肌电信号相互混叠；
(1.2)针对不同受试者的前臂尺寸，设计肌电传感阵列臂环；该臂环通过调整松紧程度可使肌电传感阵列紧贴皮肤表面，防止传感器表面电极与皮肤发生移位或分离，如图2(a)和图2(b)所示；
(1.3)将手指关节姿态传感器分别佩戴在拇指的远节指骨和其余手指的中节指骨处，如图2(a)和图2(b)所示。
(2)受试者依照预设规定动作进行训练，同时使用计算机采集肌电传感阵列数据与手指关节姿态传感器数据，具体包含如下步骤：
(2.1)指导受试者进行五根手指的独立弯曲伸展训练，每根手指重复弯曲伸展动作十次，5根手指完成一轮动作后，间歇30秒，再进行第二组，一共两组，如图3所示；
(2.2)在训练开始到训练结束期间，使用1KHz的采样率对该时间段进行肌电信号采样，然后分别使用25Hz和4Hz的Butterworth滤波器进行高通和低通滤波，最后使用均值滤波法获得采集频率为100Hz的肌电信号预处理原始数据；
(2.3)使用100Hz的采集频率读取手指关节姿态传感器的三轴加速度计、陀螺仪数据，然后使用四元数姿态解算算法获得三轴姿态角数据。使用反应手指弯曲角度的其中一维数据作为手指实际弯曲角度的反馈数据。训练完毕后将佩戴在手指上的传感器移除。
(3)使用主成分分析方法对肌电传感数据进行解耦，组成该受试者的手指运动训练集；主成分分析法(Principle Component Analysis)使用正交变换，将一组线性相关的向量组变为一组线性无关的向量组；主成分用向量表示，其个数小于等于原矩阵中列向量的个数。具体包含如下步骤：
(3.1)对步骤(2.1)中采集到的肌电数据做归一化处理，具体方法是：首先计算出训练样本中同一维数据的均值和标准差，然后将位于同一维的原始数据减去该均值，再除以该标准差；公式为：
Figure GDA0002766894740000041
Figure GDA0002766894740000042
Figure GDA0002766894740000043
(3.2)根据步骤(3.1)计算得到的归一化数据，计算协方差矩阵。取前5列主成分列向量作为主成分分析变换矩阵；
(3.3)使用矩阵变换公式计算解耦后的五维肌电数据。
(4)采取神经网络方法对已有手指运动训练集进行数据拟合，构建手指连续运动预测模型。首先将任意时刻的肌电传感阵列数据(归一化后)与姿态传感器数据组成一对输入输出训练数据，其中输入数据作为神经网络的特征向量，输出数据作为样本的标签。随后对输入数据进行解耦，将24维的特征向量与主成分分析变换矩阵相乘运算得到解耦后的5维特征向量。神经网络分类器的使用包括训练过程与预测过程两部分，首先将步骤(3.3)中计算得到的解耦样本进行划分，按60％、20％、20％的比例分成训练集、交叉验证集合和测试集。训练集的样本数据用于利用反向传播算法(BP神经网络)计算神经网络的各个连接权值；交叉验证集用于确定神经网络的正则化参数，用于提高预测精度；测试集用于衡量该手指连续运动预测模型好坏的量化指标。
(5)使用步骤(4)中的手指连续运动模型预测当前手指运动情况，即五指的弯曲角度。由已述具体实施方式可知，获取数据样本的频率为100Hz，因此本发明设定神经网络的执行周期为10ms。假设某一时刻获取到的数据是经归一化后的24维肌电数据，下面给出该时刻使用神经网络分类器进行手势意图识别的优选实例：
(5.1)将24维肌电数据用一列向量表示，然后与主成分分析变换矩阵相乘得到一5维列向量；
(6)利用神经网络计算出预计手指弯曲角度后，再将手指弯曲的角度变化量转化为电机实际控制量。利用神经网络计算出预计手指弯曲角度后，再将手指弯曲的角度变化量转化为电机实际控制量，用于控(5.2)将步骤(5.1)中的5维列向量代入训练完毕的神经网络模型进行计算，得到预计手指弯曲角度。
制假手手指的弯曲伸展，具体包含如下步骤：
(1)设计如图4的假手手指欠驱动控制模型；其中，不锈钢丝2通过通孔3绕制在卷线器4上，通过步进电机1旋转拉动非弹性的不锈钢丝2将假手远节指骨5拉起，假手远节指骨5绕旋转关节6旋转，用于模拟手指的弯曲动作；依靠各指骨间弹簧7产生的回复力可在放松钢丝时模拟手的指舒展动作；
(2)通过分析假手手指运动轨迹计算预计手指弯曲角度与步进电机1旋转角度的运动方程；
(3)将预计手指弯曲角度代入上述的运动方程，得到步进电机1输出旋转角；
(4)通过微控制器(单片机、计算机)控制步进电机1旋转相应角度。
步进电机1通过施加一定频率的脉冲改变其转子旋转速度，且其旋转角度受发送的脉冲个数精确定位。在系统断电前将当前的预计手指弯曲角度存入该系统中的非易失性存储单元内，当系统再次运行时，可以确认上次电机的运转位置，从而避免了步进电机多次进行零为调校，和防止步进电机运转错误。
如上所述，尽管参照特定的优选实施例已经表述和阐明了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (3)

1.一种基于主成分分析法的多维表面肌电信号假手控制方法，其特征在于，包括如下步骤：
（1）将设有阵列式肌电传感器的臂环佩戴至受试者前臂，将五个手指关节姿态传感器分别佩戴在受试者拇指的远节指骨和其余手指的中节指骨处；所述阵列式肌电传感器为24通道阵列肌电传感器；
（2）受试者进行五指独立弯曲伸展训练，同时采集阵列式肌电传感器的阵列数据与手指关节姿态传感器数据；所述五指独立弯曲伸展训练具体包括：每根手指重复弯曲伸展动作十次，5根手指完成一轮动作后，间歇30秒，再进行第二组，一共两组；采集训练过程中的肌电传感数据并进行预处理，所述肌电传感数据包括阵列式肌电传感器的阵列数据和手指关节姿态传感器数据，间歇时不进行采集；将原始肌电传感数据用肌肉活跃度表示；
（3）使用主成分分析方法对所述肌电传感数据进行解耦，组成该受试者的手指运动训练集；所述手指运动训练集用矩阵表示，矩阵的行数为样本个数，列数为肌电传感器阵列通道数，使用主成分分析法将原24维数据降至5维；训练完毕后将佩戴在手指上的手指关节姿态传感器移除；
（4）采取神经网络方法对上述手指运动训练集进行数据拟合，构建手指连续运动预测模型；使用三层神经网络结构，输入层神经元个数为5，隐藏层神经元个数为15，输出层神经元个数为5；神经网络的隐藏层和输出层的传输函数分别为Sigmoid函数和线性函数；使用步骤（3）收集的手指运动训练集作为样本进行误差反向传播计算，求解其网络参数；
（5）使用步骤（4）中的手指连续运动模型预测当前手指的弯曲角度。
2.根据权利要求1所述的多维表面肌电信号假手控制方法，其特征在于：所述预处理包括肌电传感数据的肌肉活跃度表示和归一化处理，以及姿态数据的四元数解算。
3.根据权利要求1所述的多维表面肌电信号假手控制方法，其特征在于：步骤（5）中，预测出当前手指的弯曲角度后，再将手指弯曲的角度变化量转化为步进电机实际控制量，具体包括如下步骤：
（5.1）设计假手手指欠驱动控制模型；
（5.2） 通过分析假手手指运动轨迹计算预计手指弯曲角度与步进电机旋转角度的运动方程；
（5.3）将预计手指弯曲角度代入步骤（5.2）的运动方程，得到步进电机输出旋转角；
（5.4）通过微控制器控制步进电机旋转相应的旋转角。
CN201710477543.6A 2017-06-20 2017-06-20 一种基于主成分分析法的多维表面肌电信号假手控制方法 Active CN107378944B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710477543.6A CN107378944B (zh) 2017-06-20 2017-06-20 一种基于主成分分析法的多维表面肌电信号假手控制方法
US16/475,680 US10959863B2 (en) 2017-06-20 2018-05-23 Multi-dimensional surface electromyogram signal prosthetic hand control method based on principal component analysis
PCT/CN2018/088055 WO2018233435A1 (zh) 2017-06-20 2018-05-23 一种基于主成分分析法的多维表面肌电信号假手控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710477543.6A CN107378944B (zh) 2017-06-20 2017-06-20 一种基于主成分分析法的多维表面肌电信号假手控制方法

Publications (2)

Publication Number Publication Date
CN107378944A CN107378944A (zh) 2017-11-24
CN107378944B true CN107378944B (zh) 2020-12-25

Family

ID=60333413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710477543.6A Active CN107378944B (zh) 2017-06-20 2017-06-20 一种基于主成分分析法的多维表面肌电信号假手控制方法

Country Status (3)

Country Link
US (1) US10959863B2 (zh)
CN (1) CN107378944B (zh)
WO (1) WO2018233435A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107378944B (zh) 2017-06-20 2020-12-25 东南大学 一种基于主成分分析法的多维表面肌电信号假手控制方法
CN108073283B (zh) * 2017-12-07 2021-02-09 广州深灵科技有限公司 手部关节的计算方法及手套
TWI668674B (zh) * 2018-03-28 2019-08-11 國立交通大學 以日常生活動作為判斷基準之跌倒感測系統及其方法
CN109085918B (zh) * 2018-06-28 2020-05-12 天津大学 基于肌电的针灸行针手法训练方法
CN108983973B (zh) * 2018-07-03 2021-01-26 东南大学 一种基于手势识别的仿人灵巧肌电假手控制方法
CN108874149B (zh) * 2018-07-28 2020-06-02 华中科技大学 一种基于表面肌电信号连续估计人体关节角度的方法
US11803241B2 (en) * 2019-06-21 2023-10-31 Rehabilitation Institute Of Chicago Wearable joint tracking device with muscle activity and methods thereof
CN110900638B (zh) * 2019-10-31 2022-10-14 东北大学 基于多信号融合的上肢可穿戴式搬运机器人运动识别系统
CN111256905B (zh) * 2020-02-14 2020-09-18 金陵科技学院 一种噪声环境下多维力传感器的解耦方法
CN111360792A (zh) * 2020-03-30 2020-07-03 哈尔滨工业大学 面向仿生机械手的可穿戴便携式实时控制动作识别系统
CN111421567B (zh) * 2020-05-22 2023-07-18 西安建筑科技大学 一种齿轮差动式欠驱动三关节机械手指结构及其操作方法
CN111897415B (zh) * 2020-06-22 2024-05-10 东南大学 基于肌电信号和变刚度控制的虚拟假手柔顺直观控制方法
CN111783719A (zh) * 2020-07-13 2020-10-16 中国科学技术大学 一种肌电控制方法及装置
CN112515915B (zh) * 2020-11-30 2023-01-17 重庆电子工程职业学院 可穿戴式手指康复机器人
CN112998654B (zh) * 2021-02-23 2022-08-19 山东大学 可分离视觉监督的伸手抓取运动学协调性测试分析系统
CN112842825B (zh) * 2021-02-24 2023-06-09 郑州铁路职业技术学院 一种下肢康复恢复的训练装置
CN113081703A (zh) * 2021-03-10 2021-07-09 上海理工大学 一种助行器使用者方向意图判别方法及装置
WO2023044136A1 (en) * 2021-09-19 2023-03-23 Regents Of The University Of Minnesota Artificial intelligence enabled neuroprosthetic hand
CN113940856B (zh) * 2021-10-22 2023-01-03 燕山大学 一种基于肌电-惯性信息的手部康复训练装置及方法
WO2023082148A1 (zh) * 2021-11-11 2023-05-19 中国科学院苏州生物医学工程技术研究所 具有意图感知功能的手功能康复装置
CN114248283B (zh) * 2021-12-30 2024-05-24 湖南农业大学 一种蓝牙感知的外骨骼维修机器手
CN116512254B (zh) * 2023-04-11 2024-01-23 中国人民解放军军事科学院国防科技创新研究院 基于方向的机械臂智能控制方法及系统、设备、存储介质
CN116619422A (zh) * 2023-06-21 2023-08-22 哈尔滨理工大学 一种基于人体特征信号的动作捕捉及腕关节角度估计的机械臂映射方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2913611B2 (ja) * 1991-10-22 1999-06-28 日本電信電話株式会社 学習型筋電パターン認識ロボットハンド制御装置
US6244873B1 (en) * 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
DE60010789T2 (de) 1999-03-22 2004-10-07 Advanced Control Res Ltd Gliederprothesen
DE60215504T2 (de) * 2002-10-07 2007-09-06 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
US8447704B2 (en) * 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US9265625B2 (en) * 2009-08-20 2016-02-23 Vanderbilt University Jointed mechanical devices
CN102133139B (zh) * 2011-01-21 2013-05-15 华南理工大学 一种假手控制系统及其控制方法
CN202235787U (zh) 2011-08-25 2012-05-30 东南大学 肌电假手的手部动作/肌电信号关联性的测量装置
US9891718B2 (en) * 2015-04-22 2018-02-13 Medibotics Llc Devices for measuring finger motion and recognizing hand gestures
US10543111B2 (en) * 2012-11-08 2020-01-28 The University Of Akron Biomimetic controller for increased dexterity prosthesis
US10061389B2 (en) * 2014-06-03 2018-08-28 Beijing TransBorder Information Technology Co., Ltd. Gesture recognition system and gesture recognition method
JP5991498B2 (ja) * 2014-07-08 2016-09-14 パナソニックＩｐマネジメント株式会社 筋電位計測装置及び筋電位計測方法
US10488936B2 (en) * 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
CN104665962B (zh) * 2015-02-05 2017-04-05 华南理工大学 可穿戴式功能增强机器手系统及其辅助手指和控制方法
CN104586608B (zh) * 2015-02-05 2017-04-05 华南理工大学 基于肌电控制的可穿戴式助力手指及其控制方法
CN204765638U (zh) * 2015-05-25 2015-11-18 叶可涵 表面肌电信号数据采集系统
EP4137196A1 (en) * 2015-06-02 2023-02-22 Battelle Memorial Institute Systems for neural bridging of the nervous system
US10852835B2 (en) * 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
CN105943206A (zh) * 2016-06-01 2016-09-21 上海师范大学 一种基于myo臂环的假肢手控制方法
CN206048251U (zh) * 2016-07-04 2017-03-29 浙江理工大学 基于多传感器融合的手势识别仿人机械手系统
US10990174B2 (en) * 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
CN106236336A (zh) * 2016-08-15 2016-12-21 中国科学院重庆绿色智能技术研究院 一种肌电假肢手势及力度控制方法
CN106527738B (zh) * 2016-12-08 2019-06-25 东北大学 一种用于虚拟现实系统的多信息体感交互手套系统及方法
US20180221177A1 (en) * 2017-02-03 2018-08-09 David Kaltenbach Digital interface system and method
CN106695794A (zh) * 2017-02-20 2017-05-24 苏州晨本智能科技有限公司 一种基于表面肌电信号的移动机器臂系统及其控制方法
CN107378944B (zh) 2017-06-20 2020-12-25 东南大学 一种基于主成分分析法的多维表面肌电信号假手控制方法
EP3927282A4 (en) * 2019-02-19 2022-03-23 Coapt LLC ELECTROMYOGRAPHIC CONTROL SYSTEMS AND METHODS FOR ACCOMPANYING EXOPROSTHETIC USERS
US11633847B2 (en) * 2019-04-11 2023-04-25 Massachusetts Institute Of Technology Sensing and control systems

Also Published As

Publication number Publication date
CN107378944A (zh) 2017-11-24
US20190343662A1 (en) 2019-11-14
WO2018233435A1 (zh) 2018-12-27
US10959863B2 (en) 2021-03-30

Similar Documents

Publication Publication Date Title
CN107378944B (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
Xiong et al. Deep learning for EMG-based human-machine interaction: A review
Bi et al. A review on EMG-based motor intention prediction of continuous human upper limb motion for human-robot collaboration
US11069148B2 (en) Visualization of reconstructed handstate information
Jiang et al. Emerging wearable interfaces and algorithms for hand gesture recognition: A survey
CN109549821B (zh) 基于肌电和惯导信号融合的外骨骼机器人助力控制系统及方法
CN111902077A (zh) 利用神经肌肉信号进行手部状态表示建模的校准技术
CN110675933B (zh) 一种手指镜像康复训练系统
Arslan et al. Prediction of externally applied forces to human hands using frequency content of surface EMG signals
CN112022619A (zh) 一种上肢康复机器人多模态信息融合感知系统
Chang et al. A hierarchical hand motions recognition method based on IMU and sEMG sensors
Chapman et al. A wearable, open-source, lightweight forcemyography armband: on intuitive, robust muscle-machine interfaces
KR100994408B1 (ko) 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치
Cho et al. Estimating simultaneous and proportional finger force intention based on sEMG using a constrained autoencoder
Dwivedi et al. High-density electromyography based control of robotic devices: On the execution of dexterous manipulation tasks
Kim et al. Using common spatial pattern algorithm for unsupervised real-time estimation of fingertip forces from sEMG signals
Wang et al. Interval estimation of motion intensity variation using the improved inception-V3 model
Dalal et al. Design and analysis of EMG controlled anthropomorphic Prosthetic hand
Guo et al. A novel fuzzy neural network-based rehabilitation stage classifying method for the upper limb rehabilitation robotic system
Dwivedi Analysis, development, and evaluation of muscle machine interfaces for the intuitive control of robotic devices
Chegani et al. Pilot study on fine finger movement regression, using FMG
Loi et al. Proportional Myoelectric Control in a Virtual Reality Environment
Ayling et al. Pose estimation from ELECTROMYOGRAPHICAL data using convolutional neural networks
Benitez Pattern classification and its applications to control of biomechatronic systems
Zhao et al. A multimodal-signals-based gesture recognition method for human machine interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant