CN113952091A - 一种多传感器融合的假肢手抓握力反馈控制方法 - Google Patents

一种多传感器融合的假肢手抓握力反馈控制方法 Download PDF

Info

Publication number
CN113952091A
CN113952091A CN202111472020.5A CN202111472020A CN113952091A CN 113952091 A CN113952091 A CN 113952091A CN 202111472020 A CN202111472020 A CN 202111472020A CN 113952091 A CN113952091 A CN 113952091A
Authority
CN
China
Prior art keywords
gripping
sensor
ijk
signals
cmac
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111472020.5A
Other languages
English (en)
Inventor
姜海燕
黄书萍
李竹韵
杜民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202111472020.5A priority Critical patent/CN113952091A/zh
Publication of CN113952091A publication Critical patent/CN113952091A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/54—Artificial arms or hands or parts thereof
    • A61F2/58—Elbows; Wrists ; Other joints; Hands
    • A61F2/583—Hands; Wrist joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2002/5058—Prostheses not implantable in the body having means for restoring the perception of senses
    • A61F2002/5061—Prostheses not implantable in the body having means for restoring the perception of senses the sense of touch
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2002/5058—Prostheses not implantable in the body having means for restoring the perception of senses
    • A61F2002/5063—Prostheses not implantable in the body having means for restoring the perception of senses the feeling of temperature, i.e. of warmth or cold
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2002/6827—Feedback system for providing user sensation, e.g. by force, contact or position

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Transplantation (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Cardiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Prostheses (AREA)

Abstract

本发明提出一种多传感器融合的假肢手抓握力反馈控制方法，包括多传感器融合与反馈方法、握力预测方法及基于PD的CMAC机械手抓握控制方法；多传感器融合与反馈方法中，包括对肌肉采集其表面肌电信号，对被假肢手抓握的物体采集其温度、接触力、滑动状态、采集抓握动作对应的关节加速度及角速度及对假肢手的抓握动作采集其实际握力；握力预测方法预测当前抓握动作的抓握力；多传感器融合及反馈方法是对数据进行融合以生成当前抓握动作的假肢端感受信息；本发明让使用者能及时调整实际抓握力和抓握动作，实现准确、稳定地抓握物体，同时在抓握过程中检测被抓握物体的实时温度和接触力，通过振动及显示模块将触觉信息反馈给使用者。

Description

一种多传感器融合的假肢手抓握力反馈控制方法
技术领域
本发明涉及假肢技术领域，尤其是一种多传感器融合的假肢手抓握力反馈控制方法。
背景技术
目前假肢手技术主要是实现手部特定的模式识别，只具有张合控制，缺乏力的控制，无法针对不同刚度不同重量的物体实施稳定地抓握。表面肌电信号(sEMG)与肌肉收缩力之间存在相关关系，通过相关肌肉的sEMG来表征假肢手抓握力变化，能够有效反映出使用者的抓握意图。
仅利用肌电信号预测假肢手的抓握力，由于缺乏对环境的感知功能，所以在抓握过程中无法感知被抓物体的稳定状态，难以自适应调整抓握力度，保证物体稳定抓取。人手之所以能够针对不同的对象使用相应的握紧力，关键在于人手上的感受器，依靠触觉、滑觉、压觉以及痛觉反应出外界的机械刺激，并对相应的刺激做出适当的反应。
本发明公开一种基于表面肌电信号的多传感器融合假肢手抓握力反馈控制方法。通过将改进的TSK模糊递归小脑模型神经网络和非线性小脑模型关节控制器(CMAC)相结合，并采用压力、触滑觉、加速度、角速度等多传感器作为反馈信号调整实际抓握力和抓握动作，实现准确、稳定地抓握物体。同时在抓握过程中检测被抓握物体的实时温度和接触力，通过振动及显示模块将触觉信息反馈给使用者。
发明内容
本发明提出一种多传感器融合的假肢手抓握力反馈控制方法，通过将改进的TSK模糊递归小脑模型神经网络和非线性小脑模型关节控制器(CMAC)相结合，并采用压力、触滑觉、加速度、角速度等多传感器作为反馈信号，让使用者能及时调整实际抓握力和抓握动作，实现准确、稳定地抓握物体，同时在抓握过程中检测被抓握物体的实时温度和接触力，通过振动及显示模块将触觉信息反馈给使用者。
本发明采用以下技术方案。
一种多传感器融合的假肢手抓握力反馈控制方法，所述假肢手包括基于PD的CMAC机械手抓握力控制器，其控制方法包括多传感器融合与反馈方法、握力预测方法及基于PD的CMAC机械手抓握控制方法；
所述多传感器融合与反馈方法中，以多传感器组成的传感器阵列对前臂、假肢手进行反馈信号与感知信号采集，对所采集的信号进行融合，包括对与手抓握运动相关的前臂肌肉采集其表面肌电信号，对被假肢手抓握的物体采集其温度、接触力、滑动状态、采集抓握动作对应的关节加速度及角速度及对假肢手的抓握动作采集其实际握力；
所述握力预测方法是通过改进的TSK模糊递归小脑模型，以预处理后的肌电信号中的有效特征信息预测当前抓握动作的抓握力；
所述基于PD的CMAC机械手抓握控制方法为改进的小脑模型关节控制器中非线性量化CMAC-PD控制方法；
所述多传感器融合及反馈方法是对信号采集数据进行融合以生成当前抓握动作的假肢端感受信息。
所述多传感器融合及反馈方法中，以多传感器融合信号处理模块对信号采集数据进行融合并生成假肢端感受信息；所述传感器阵列中的传感器包括设于佩戴假肢手的前臂处用于采集肌电信号的融合表面肌电传感器、设于假肢手处的加速度传感器和设于假肢手处的角速度传感器，还包括设于假肢手手指处的分布式压力传感器、分布式触滑觉传感器，以及包括设于假肢手手掌中央处的红外测温传感器。
所述感受信息反馈方法中，把生成的假肢端感受信息通过振动单元或显示屏反馈给假肢手使用者；所述振动单元为配置于使用者手臂处且可发出震动信号；所述显示屏为设于使用者手环处的显示屏或是设于假肢手处的显示屏。
所述握力预测方法中，通过对与手抓握运动相关的前臂肌肉的表面肌电信号进行滤波预处理，选取时域特征RMS作为抓握力预测的特征向量，通过加窗对信号特征进行窗内平均处理，得到需要的数据点数，最后将特征值放入与TSK模糊推理相结合的递归小脑模型神经网络进行训练预测，得到所需的抓握力；
所述递归小脑模型计算预测值与参考力之间的相关系数和均方根误差，作为模型的评价指标分析预测结果的线性度和相对误差。
所述与手抓握运动相关的前臂肌肉包括包括桡侧腕屈肌、尺侧腕屈肌、指伸肌、指浅屈肌、拇长伸肌等。
所述递归小脑模型神经网络预测假肢手抓握力大小时，将递归小脑模型神经网络与TSK模糊推理相结合，并采用小波函数作为隶属度函数，以提高网络的泛化能力和学习性能，递归小脑模型神经网络的模型结构包括输入层、联想记忆层、接收域层、权值记忆层、输出层以及递归单元；
递归小脑模型神经网络包括以下模糊推理规则
Rλ：如果x1是μ1jk,x2是μ2jk,......,并且xn是μnjk,
则wjk＝c1jkx1+c2jkx2+……cnjkxn，j＝1,2,...,nj，k＝1,2,...,nk
其中，xi是第i个输入值，μijk是第i个输入、第j层、第k块的模糊集，wjk是后续部分TSK型输出的权重；
所述联想记忆层将多个元素累积为一个块，移动每个元素后得到不同区块，每个区块执行一个接收域基函数。采用高斯型小波函数作为隶属度函数，即利用高斯函数的一阶导数构造小波函数，具体的计算公式为
Figure BDA0003392867780000031
其中，xrijk是输入信号，mijk和vijk分别是小波函数的平移和扩张参数，对应于第i个输入、第j层、第k块的隶属基函数。
递归单元函数如下：
xrijk(t)＝xi(t)+wrijkμijk(t-1) 公式二；
其中，t是数据的时间序列，wrijk是该递归单元的权重，表示上一时刻的输出对这一刻的影响程度，μijk(t-1)表示上一时刻的输出结果，μijk为联想记忆层的输出结果。因此该时刻的输出包含该时刻的数据和上一时刻对其的影响；
所述接收域层利用与运算实现模糊乘积推理，其公式为
Figure BDA0003392867780000041
所述权值记忆层具有TSK模糊输出的权重，采用输入的多项式函数表示以获得更准确的近似能力，公式为
Figure BDA0003392867780000042
其中cijk为常数，表示第j层、第k块与第i个输入的连接权值；
递归小脑模型神经网络的输出y为接收域与激活权值的代数和，即为预测的抓握力，公式为
Figure BDA0003392867780000043
递归小脑模型的更新参数为mijk、vijk、wrijk和cijk，其用于描述更新算法的误差函数定义为
Figure BDA0003392867780000044
采用动量梯度下降法对参数进行更新，通过计算梯度的指数加权平均数来更新权重，w为mijk、vijk、wrijk和cijk，有公式为
Vdw＝β*Vdw+(1-β)*dw 公式七；
w＝w+α*Vdw 公式八；
其中，β为动量系数，β*Vdw为动量项，(1-β)*dw为梯度下降量，Vdw为指数加权平均和，乘以学习衰减率α得到参数更新量。
所述多传感器融合及反馈方法中，以多传感器组成的传感器阵列对前臂、假肢手进行感知反馈信号采集，包括对与手抓握运动相关的前臂肌肉采集其表面肌电信号，对被假肢手抓握的物体采集其温度、接触力其滑动状态、对假肢手的抓握动作采集其实际握力；
所述多传感器融合及反馈方法中，以多传感器融合信号处理模块对信号采集数据进行融合并生成假肢端感受信息；所述传感器阵列中的传感器包括设于佩戴假肢手的前臂处用于采集肌电信号的融合表面肌电传感器、设于假肢手处的加速度传感器和设于假肢手处的角速度传感器，还包括设于假肢手手指处的分布式压力传感器、分布式触滑觉传感器，以及包括设于假肢手手掌中央处的红外测温传感器。
所述感受信息反馈方法中，把生成的假肢端感受信息通过振动单元或显示屏反馈给假肢手使用者；所述振动单元为配置于使用者手臂处且可发出震动信号；所述显示屏为设于使用者手环处的显示屏或是设于假肢手处的显示屏。
所述基于PD的CMAC机械手抓握力控制方法用于改进的小脑模型关节控制器中的非线性量化CMAC-PD控制器；
当小脑模型关节控制器的CMAC机械手抓握力控制器控制假肢手时，以采集得到的肌电信号判断使用者的抓握意图及使用者的出力意图，所述假肢手的控制系统把假肢手施力过程采样的每个状态点作为输入信号发送给CMAC，并把小脑模型响应使用者肌电信号而得出的预测值作为驱动信号，控制假肢手调节力的下一个时间点，即采用CMAC做前馈控制以提高系统的响应速度与控制精度，采用PD为负反馈控制，利用多融合信号与PD控制算法对CMAC权值进行调整，以加快系统逼近速度并保障系统的稳定性；当进行采样时，采用非均匀量化方法来拟合采样分布的正弦密度。
所述假肢手的控制系统采集分布式压力传感器、分布式触滑觉传感器、加速度传感器、角速度传感器、红外测温传感器信号，经过模糊融合模型，得到其输出的模型抓握力等多种输出，并将输出反馈给改进的小脑模型关节控制器的PD环节和CMAC控制器进行驱动及控制，对假肢手的当前动作进行调整，具体为：将多传感器信号进行融合作为反馈信号，采用分布式触滑觉传感器检测假肢手与物体的接触情况，再将分布式压力传感器采集的实际抓握力与触滑觉传感器检测的滑觉状态，经过改进的小脑模型关节控制器调节抓握力；同时采集加速度和角速度信号并结合触滑觉信号实时调整假肢手的关节角度；将多传感器信号进行融合作为反馈信号，同时以振动单元或显示屏把温度信息和接触力信息反馈给假肢手使用者，优化抓握物体的稳定性。
所述振动单元为假肢手处设置的压力触滑觉振动感知模块，当假肢手接触到物体时，随着施力的变大，配置的振动模块会逐渐增强振感；在抓起物体时若发生相对滑动，则振动模块改变振动方式，提醒使用者物体有滑落的可能。
当假肢手靠近待抓取的物体时，红外测温传感器检测物体温度，检测的温度实时显示在显示屏上。
本发明的目的是提供一种基于表面肌电信号的多传感器融合假肢手抓握力控制方法。在抓握过程中，利用表面肌电信号，通过改进的TSK模糊小脑模型神经网络预测抓握力的大小，采用压力与触滑觉传感器采集实际抓握力与被握物体滑动状态，反馈给非线性量化CMAC-PD控制器，并加入加速度与角速度传感器实时调整假肢手抓握动作及抓握力度。双闭环反馈控制保证了抓握的稳定性和可靠性，可以抓握起软硬度不同的物体并不破坏物体。，同时通过检测物体温度做实时显示，为使用者提供压力振动感知，为假肢手进行抓握事件和接触周围环境提供了安全保障，能够更为人性化地为使用者提供帮助，提高用户体验感。
本发明利用表面肌电信号，同时结合压力信号、滑觉信号、加速度信号及角速度信号来实施假肢手的抓握操作，双闭环反馈控制保证了抓握的稳定性和可靠性，并且通过温度感知反馈为假肢手进行抓握事件和接触周围环境提供了安全保障。
本发明通过将改进的TSK模糊递归小脑模型神经网络和非线性小脑模型关节控制器(CMAC)相结合，对前臂的相关肌肉的表面肌电信号进行滤波等预处理，提取有效特征信息，利用改进的TSK模糊递归小脑模型预测抓握力的大小，并采用压力、触滑觉、加速度、角速度等多传感器作为反馈信号来通知使用者，让使用者及时调整实际抓握力和抓握动作，实现准确、稳定地抓握物体。同时在抓握过程中检测被抓握物体的实时温度和接触力，通过振动及显示模块将感受信息反馈给使用者，能实现假肢手的多感知闭环反馈控制。
为了更好的控制机械手稳定的抓取物体，本发明提出了基于PD的CMAC机械手抓握力控制器，并采用非线性量化的方法在输入层进行自适应划分，提高系统的响应速度与控制精度。并在肌电假肢上放置红外测温传感器，当假肢手靠近接触物时检测物体温度，检测的温度实时显示在手环上(或在假肢手手背配置温度显示屏)，使用者可即时了解接触物体温度；并且设置温度过高过低提醒，预先设定不同范围的温度，当检测的温度在某个范围内，手臂上配置的振动单元发出对应范围的震动强度以警示使用者。
本发明的方案中提出了一种改进的小脑模型神经网络，将TSK模糊系统与CMNN结合起来。在TSK模糊推理模型中，一般模糊推理过程中的常数被基于TSK的输入变量的多项式函数所取代，可以丰富映射，获得更准确的近似性能，在处理多变量不确定非线性系统方面更为强大。同时采用小波函数作为隶属度函数，由于小波函数具有时频局部化特性，可以更好的处理平稳信号和非平稳信号。
本发明采用多传感器融合技术与双闭环前-反馈控制系统相结合，在保证假肢手可以准确地对物体施加预期抓握力的同时，对抓握力细微地调整，确保假肢手可以稳定地抓握起软硬度不同的物体并不破坏物体。且在接触物体的过程中，实时将被抓握物体的温度反馈给使用者，能够更为人性化地为使用者提供帮助，提高用户体验感。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明的原理示意图；
附图2是本发明的握力预测的流程示意图(基于表面肌电信号的假肢手抓握力预测)；
附图3是本发明中小脑模型神经网络的模型结构示意图；
附图4是本发明中小脑模型关节控制器的原理结构示意图。
具体实施方式
如图所示，一种多传感器融合的假肢手抓握力反馈控制方法，所述假肢手包括基于PD的CMAC机械手抓握力控制器，其控制方法包括多传感器融合与反馈方法、握力预测方法及基于PD的CMAC机械手抓握控制方法；
所述多传感器融合与反馈方法中，以多传感器组成的传感器阵列对前臂、假肢手进行反馈信号与感知信号采集，对所采集的信号进行融合，包括对与手抓握运动相关的前臂肌肉采集其表面肌电信号，对被假肢手抓握的物体采集其温度、接触力、滑动状态、采集抓握动作对应的关节加速度及角速度及对假肢手的抓握动作采集其实际握力；
所述握力预测方法是通过改进的TSK模糊递归小脑模型，以预处理后的肌电信号中的有效特征信息预测当前抓握动作的抓握力；
所述基于PD的CMAC机械手抓握控制方法为改进的小脑模型关节控制器中非线性量化CMAC-PD控制方法
所述多传感器融合及反馈方法是对信号采集数据进行融合以生成当前抓握动作的假肢端感受信息。
所述多传感器融合及反馈方法中，以多传感器融合信号处理模块对信号采集数据进行融合并生成假肢端感受信息；所述传感器阵列中的传感器包括设于佩戴假肢手的前臂处用于采集肌电信号的融合表面肌电传感器、设于假肢手处的加速度传感器和设于假肢手处的角速度传感器，还包括设于假肢手手指处的分布式压力传感器、分布式触滑觉传感器，以及包括设于假肢手手掌中央处的红外测温传感器。
所述感受信息反馈方法中，把生成的假肢端感受信息通过振动单元或显示屏反馈给假肢手使用者；所述振动单元为配置于使用者手臂处且可发出震动信号；所述显示屏为设于使用者手环处的显示屏或是设于假肢手处的显示屏。
所述握力预测方法中，通过对与手抓握运动相关的前臂肌肉的表面肌电信号进行滤波预处理，选取时域特征RMS作为抓握力预测的特征向量，通过加窗对信号特征进行窗内平均处理，得到需要的数据点数，最后将特征值放入与TSK模糊推理相结合的递归小脑模型神经网络进行训练预测，得到所需的抓握力；
所述递归小脑模型计算预测值与参考力之间的相关系数和均方根误差，作为模型的评价指标分析预测结果的线性度和相对误差。
所述与手抓握运动相关的前臂肌肉包括包括桡侧腕屈肌、尺侧腕屈肌、指伸肌、指浅屈肌、拇长伸肌等。
所述递归小脑模型神经网络预测假肢手抓握力大小时，将递归小脑模型神经网络与TSK模糊推理相结合，并采用小波函数作为隶属度函数，以提高网络的泛化能力和学习性能，递归小脑模型神经网络的模型结构包括输入层、联想记忆层、接收域层、权值记忆层、输出层以及递归单元；
递归小脑模型神经网络包括以下模糊推理规则
Rλ：如果x1是μ1jk,x2是μ2jk,......,并且xn是μnjk,
则wjk＝c1jkx1+c2jkx2+......cnjkxn，j＝1,2,...,nj，k＝1,2,...,nk
其中，xi是第i个输入值，μijk是第i个输入、第j层、第k块的模糊集，wjk是后续部分TSK型输出的权重；
所述联想记忆层将多个元素累积为一个块，移动每个元素后得到不同区块，每个区块执行一个接收域基函数。采用高斯型小波函数作为隶属度函数，即利用高斯函数的一阶导数构造小波函数，具体的计算公式为
Figure BDA0003392867780000091
其中，xrijk是输入信号，mijk和vijk分别是小波函数的平移和扩张参数，对应于第i个输入、第j层、第k块的隶属基函数。
递归单元函数如下：
xrijk(t)＝xi(t)+wrijkμijk(t-1) 公式二；
其中，t是数据的时间序列，wrijk是该递归单元的权重，表示上一时刻的输出对这一刻的影响程度，μijk(t-1)表示上一时刻的输出结果，μijk为联想记忆层的输出结果。因此该时刻的输出包含该时刻的数据和上一时刻对其的影响；
所述接收域层利用与运算实现模糊乘积推理，其公式为
Figure BDA0003392867780000092
所述权值记忆层具有TSK模糊输出的权重，采用输入的多项式函数表示以获得更准确的近似能力，公式为
Figure BDA0003392867780000093
其中cijk为常数，表示第j层、第k块与第i个输入的连接权值；
递归小脑模型神经网络的输出y为接收域与激活权值的代数和，即为预测的抓握力，公式为
Figure BDA0003392867780000101
递归小脑模型的更新参数为mijk、vijk、wrijk和cijk，其用于描述更新算法的误差函数定义为
Figure BDA0003392867780000102
采用动量梯度下降法对参数进行更新，通过计算梯度的指数加权平均数来更新权重，w为mijk、vijk、wrijk和cijk，有公式为
Vdw＝β*Vdw+(1-β)*dw 公式七；
w＝w+α*Vdw 公式八；
其中，β为动量系数，β*Vdw为动量项，(1-β)*dw为梯度下降量，Vdw为指数加权平均和，乘以学习衰减率α得到参数更新量。
所述多传感器融合及反馈方法中，以多传感器融合信号处理模块对信号采集数据进行融合并生成假肢端感受信息；所述传感器阵列中的传感器包括设于佩戴假肢手的前臂处用于采集肌电信号的融合表面肌电传感器、设于假肢手处的加速度传感器和设于假肢手处的角速度传感器，还包括设于假肢手手指处的分布式压力传感器、分布式触滑觉传感器，以及包括设于假肢手手掌中央处的红外测温传感器。
所述多传感器融合及反馈方法中，把生成的假肢端感受信息通过振动单元或显示屏反馈给假肢手使用者；所述振动单元为配置于使用者手臂处且可发出震动信号；所述显示屏为设于使用者手环处的显示屏或是设于假肢手处的显示屏。
所述基于PD的CMAC机械手抓握力控制方法用于改进的小脑模型关节控制器中的非线性量化CMAC-PD控制器；
所述假肢手的控制系统包括分布式压力传感器、分布式触滑觉传感器、加速度传感器、角速度传感器、红外测温传感器，经过模糊融合模型，得到其输出的模型抓握力等多种输出，并将输出反馈给改进的小脑模型关节控制器的PD环节和CMAC控制器进行驱动及控制，对假肢手的当前动作进行调整，具体为：将多传感器信号进行融合作为反馈信号，采用分布式触滑觉传感器检测假肢手与物体的接触情况，再将分布式压力传感器采集的实际抓握力与触滑觉传感器检测的滑觉状态，经过改进的小脑模型关节控制器调节抓握力；同时采集加速度和角速度信号并结合触滑觉信号实时调整假肢手的关节角度；将多传感器信号进行融合作为反馈信号，同时以振动单元或显示屏把温度信息和接触力信息反馈给假肢手使用者，优化抓握物体的稳定性。
当小脑模型关节控制器的CMAC机械手抓握力控制器控制假肢手时，以采集得到的肌电信号判断使用者的抓握意图及使用者的出力意图，所述假肢手的控制系统把假肢手施力过程采样的每个状态点作为输入信号发送给CMAC，并把小脑模型响应使用者肌电信号而得出的预测值作为驱动信号，控制假肢手调节力的下一个时间点，即采用CMAC做前馈控制以提高系统的响应速度与控制精度，采用PD做负反馈控制，利用多融合信号与PD控制算法对CMAC权值进行调整，以加快系统逼近速度并保障系统的稳定性；
当进行采样时，采用非均匀量化方法来拟合采样分布的正弦密度。
所述振动单元为假肢手处设置的压力触滑觉振动感知模块，当假肢手接触到物体时，随着施力的变大，配置的振动模块会逐渐增强振感；在抓起物体时若发生相对滑动，则振动模块改变振动方式，提醒使用者物体有滑落的可能。
当假肢手靠近待抓取的物体时，红外测温传感器检测物体温度，检测的温度实时显示在显示屏上。

Claims (5)

1.一种多传感器融合的假肢手抓握力反馈控制方法，其特征在于：所述假肢手包括基于PD的CMAC机械手抓握力控制器，其控制方法包括多传感器融合与反馈方法、握力预测方法及基于PD的CMAC机械手抓握控制方法；
所述多传感器融合与反馈方法中，以多传感器组成的传感器阵列对前臂、假肢手进行反馈信号与感知信号采集，对所采集的信号进行融合，包括对与手抓握运动相关的前臂肌肉采集其表面肌电信号，对被假肢手抓握的物体采集其温度、接触力、滑动状态、采集抓握动作对应的关节加速度及角速度及对假肢手的抓握动作采集其实际握力；
所述握力预测方法是通过改进的TSK模糊递归小脑模型，以预处理后的肌电信号中的有效特征信息预测当前抓握动作的抓握力；
所述基于PD的CMAC机械手抓握控制方法为改进的小脑模型关节控制器中非线性量化CMAC-PD控制方法。
2.根据权利要求1所述的一种多传感器融合的假肢手抓握力反馈控制方法，其特征在于：所述改进的小脑模型神经网络预测假肢手抓握力大小时，通过对与手抓握运动相关的前臂肌肉的表面肌电信号进行滤波预处理，将递归小脑模型神经网络与TSK模糊推理相结合，并采用小波函数作为隶属度函数，以提高网络的泛化能力和学习性能，递归小脑模型神经网络的模型结构包括输入层、联想记忆层、接收域层、权值记忆层、输出层以及递归单元；
递归小脑模型神经网络包括以下模糊推理规则
Rλ：如果x1是μ1jk,x2是μ2jk,......,并且xn是μnjk,
则wjk＝c1jkx1+c2jkx2+……cnjkxn，j＝1,2,...,nj，k＝1,2,...,nk
其中，xi是第i个输入值，μijk是第i个输入、第j层、第k块的模糊集，wjk是后续部分TSK型输出的权重；
所述联想记忆层将多个元素累积为一个块，移动每个元素后得到不同区块，每个区块执行一个接收域基函数。采用高斯型小波函数作为隶属度函数，即利用高斯函数的一阶导数构造小波函数，具体的计算公式为
Figure FDA0003392867770000021
其中，xrijk是输入信号，mijk和vijk分别是小波函数的平移和扩张参数，对应于第i个输入、第j层、第k块的隶属基函数。
递归单元函数如下：
xrijk(t)＝xi(t)+wrijkμijk(t-1) 公式二；
其中，t是数据的时间序列，wrijk是该递归单元的权重，表示上一时刻的输出对这一刻的影响程度，μijk(t-1)表示上一时刻的输出结果，μijk为联想记忆层的输出结果。因此该时刻的输出包含该时刻的数据和上一时刻对其的影响；
所述接收域层利用与运算实现模糊乘积推理，其公式为
Figure FDA0003392867770000022
所述权值记忆层具有TSK模糊输出的权重，采用输入的多项式函数表示以获得更准确的近似能力，公式为
Figure FDA0003392867770000023
其中cijk为常数，表示第j层、第k块与第i个输入的连接权值；
递归小脑模型神经网络的输出y为接收域与激活权值的代数和，即为预测的抓握力，公式为
Figure FDA0003392867770000024
递归小脑模型的更新参数为mijk、vijk、wrijk和cijk，其用于描述更新算法的误差函数定义为
Figure FDA0003392867770000025
采用动量梯度下降法对参数进行更新，通过计算梯度的指数加权平均数来更新权重，w为mijk、vijk、wrijk和cijk，有公式为
Vdw＝β*Vdw+(1-β)*dw 公式七；
w＝w+α*Vdw 公式八；
其中，β为动量系数，β*Vdw为动量项，(1-β)*dw为梯度下降量，Vdw为指数加权平均和，乘以学习衰减率α得到参数更新量。
3.根据权利要求1所述的一种多传感器融合的假肢手抓握力反馈控制方法，其特征在于：所述多传感器融合及反馈方法中，以多传感器融合信号处理模块对信号采集数据进行融合并生成假肢端感受信息；所述传感器阵列中的传感器包括设于佩戴假肢手的前臂处用于采集肌电信号的融合表面肌电传感器、设于假肢手处的加速度传感器和设于假肢手处的角速度传感器，还包括设于假肢手手指处的分布式压力传感器、分布式触滑觉传感器，以及包括设于假肢手手掌中央处的红外测温传感器。
4.根据权利要求1所述的一种多传感器融合的假肢手抓握力反馈控制方法，其特征在于：所述基于PD的CMAC机械手抓握力控制方法用于改进的小脑模型关节控制器中的非线性量化CMAC-PD控制器；
所述假肢手的控制系统采集分布式压力传感器、分布式触滑觉传感器、加速度传感器、角速度传感器、红外测温传感器信号，经过模糊融合模型，得到其输出的模型抓握动作，并将输出反馈给改进的小脑模型关节控制器的PD环节和CMAC控制器进行驱动及控制，对假肢手的当前动作进行调整，具体为：将多传感器信号进行融合作为反馈信号，采用分布式触滑觉传感器检测假肢手与物体的接触情况，再将分布式压力传感器采集的实际抓握力与触滑觉传感器检测的滑觉状态，经过改进的小脑模型关节控制器调节抓握力；同时采集加速度和角速度信号并结合触滑觉信号实时调整假肢手的关节角度；将多传感器信号进行融合作为反馈信号，同时以振动单元或显示屏把温度信息和接触力信息反馈给假肢手使用者，优化抓握物体的稳定性。
5.根据权利要求4所述的一种多传感器融合的假肢手抓握力反馈控制方法，其特征在于：当小脑模型关节控制器的CMAC机械手抓握力控制器控制假肢手时，以采集得到的肌电信号判断使用者的抓握意图及使用者的出力意图，所述假肢手的控制系统把假肢手施力过程采样的每个状态点作为输入信号发送给CMAC，并把小脑模型响应使用者肌电信号而得出的预测值作为驱动信号，控制假肢手调节力的下一个时间点，即采用CMAC做前馈控制以提高系统的响应速度与控制精度，采用PD为负反馈控制，利用多融合信号与PD控制算法对CMAC权值进行调整，以加快系统逼近速度并保障系统的稳定性；
当进行采样时，采用非均匀量化方法来拟合采样分布的正弦密度。
CN202111472020.5A 2021-12-06 2021-12-06 一种多传感器融合的假肢手抓握力反馈控制方法 Pending CN113952091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111472020.5A CN113952091A (zh) 2021-12-06 2021-12-06 一种多传感器融合的假肢手抓握力反馈控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111472020.5A CN113952091A (zh) 2021-12-06 2021-12-06 一种多传感器融合的假肢手抓握力反馈控制方法

Publications (1)

Publication Number Publication Date
CN113952091A true CN113952091A (zh) 2022-01-21

Family

ID=79472898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111472020.5A Pending CN113952091A (zh) 2021-12-06 2021-12-06 一种多传感器融合的假肢手抓握力反馈控制方法

Country Status (1)

Country Link
CN (1) CN113952091A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114681172A (zh) * 2022-03-11 2022-07-01 哈尔滨工业大学 一种用于上肢截肢患者的模块化闭环假肢操控系统
CN117084835A (zh) * 2023-10-20 2023-11-21 北京大学 智能假肢系统及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057795A (zh) * 2007-05-18 2007-10-24 天津大学 采用肌电和脑电协同控制的假肢手及其控制方法
CN103417315A (zh) * 2013-08-01 2013-12-04 中南大学 一种假肢手的拟人反射控制方法
CN106236336A (zh) * 2016-08-15 2016-12-21 中国科学院重庆绿色智能技术研究院 一种肌电假肢手势及力度控制方法
CN106890038A (zh) * 2017-03-21 2017-06-27 上海师范大学 基于myo臂环的假肢手控制系统及其控制方法
RU2635632C1 (ru) * 2016-12-14 2017-11-14 Общество с ограниченной ответственностью "Бионик Натали" Способ и система управления интеллектуальной бионической конечностью

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057795A (zh) * 2007-05-18 2007-10-24 天津大学 采用肌电和脑电协同控制的假肢手及其控制方法
CN103417315A (zh) * 2013-08-01 2013-12-04 中南大学 一种假肢手的拟人反射控制方法
CN106236336A (zh) * 2016-08-15 2016-12-21 中国科学院重庆绿色智能技术研究院 一种肌电假肢手势及力度控制方法
RU2635632C1 (ru) * 2016-12-14 2017-11-14 Общество с ограниченной ответственностью "Бионик Натали" Способ и система управления интеллектуальной бионической конечностью
CN106890038A (zh) * 2017-03-21 2017-06-27 上海师范大学 基于myo臂环的假肢手控制系统及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
喻洪流上海理工大学生物力学与康复工程研究所;钱省三;沈凌上海理工大学生物力学与康复工程研究所;张意斌上海理工大学生物力学与康复工程研究所;: "基于小脑模型神经网络控制的步速跟随智能膝上假肢", 中国组织工程研究与临床康复, no. 31, 5 August 2007 (2007-08-05), pages 123 - 125 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114681172A (zh) * 2022-03-11 2022-07-01 哈尔滨工业大学 一种用于上肢截肢患者的模块化闭环假肢操控系统
CN114681172B (zh) * 2022-03-11 2024-05-14 哈尔滨工业大学 一种用于上肢截肢患者的模块化闭环假肢操控系统
CN117084835A (zh) * 2023-10-20 2023-11-21 北京大学 智能假肢系统及控制方法
CN117084835B (zh) * 2023-10-20 2024-03-12 北京大学 智能假肢系统及控制方法

Similar Documents

Publication Publication Date Title
US9392954B2 (en) Classification estimating system and classification estimating program
CN113952091A (zh) 一种多传感器融合的假肢手抓握力反馈控制方法
Fukuda et al. A human-assisting manipulator teleoperated by EMG signals and arm motions
Zhao et al. Levenberg-Marquardt based neural network control for a five-fingered prosthetic hand
Nishikawa et al. EMG prosthetic hand controller using real-time learning method
Shrirao et al. Neural network committees for finger joint angle estimation from surface EMG signals
Ha et al. Performance of forearm FMG for estimating hand gestures and prosthetic hand control
Zhao et al. A five-fingered underactuated prosthetic hand system
Zhao et al. EMG control for a five-fingered underactuated prosthetic hand based on wavelet transform and sample entropy
CN111399640A (zh) 一种面向柔性臂的多模态人机交互控制方法
Zhao et al. A five-fingered underactuated prosthetic hand control scheme
CN106890038A (zh) 基于myo臂环的假肢手控制系统及其控制方法
Wahyunggoro et al. Effect of window length on performance of the elbow-joint angle prediction based on electromyography
JP2558599B2 (ja) ロボット制御装置
Sakr et al. Exploratory evaluation of the force myography (FMG) signals usage for admittance control of a linear actuator
Zhao et al. EMG control for a five-fingered prosthetic hand based on wavelet transform and autoregressive model
Zhang et al. Stiffness-estimation-based grasping force fuzzy control for underactuated prosthetic hands
KR100994408B1 (ko) 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치
Triwiyanto et al. State-of-the-art method in prosthetic hand design: A review
Su et al. Ankle joint torque prediction based on surface Electromyographic and angular velocity signals
JP2542336B2 (ja) ロボット制御装置
DaSalla et al. Robot control using electromyography (EMG) signals of the wrist
Tsuji et al. Biomimetic impedance control of an EMG-based robotic hand
Dasanayake et al. Estimation of prosthetic arm motions using stump arm kinematics
Tawfik et al. Grasping force controlling by slip detection for specific artificial hand (ottobock 8e37)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination