CN110827987A - 一种多抓取模式下腕关节力矩的肌电连续预测方法及系统 - Google Patents
一种多抓取模式下腕关节力矩的肌电连续预测方法及系统 Download PDFInfo
- Publication number
- CN110827987A CN110827987A CN201911077156.9A CN201911077156A CN110827987A CN 110827987 A CN110827987 A CN 110827987A CN 201911077156 A CN201911077156 A CN 201911077156A CN 110827987 A CN110827987 A CN 110827987A
- Authority
- CN
- China
- Prior art keywords
- wrist joint
- moment
- grabbing
- model
- joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种多抓取模式下腕关节力矩的肌电连续预测方法及系统,预测方法通过采集各抓取模式下前臂表面肌电信号,进行预处理与特征提取;将各抓取模式下的肌电信号特征输入关节力矩预测模型,输出手腕关节力矩预测值,通过计算腕关节力矩预测值与参考力矩之间的线性相关系数,评价多抓取模式下腕关节力矩的肌电连续预测模型的准确性。通过利用残肢在多种抓取模式下的肌电信号连续预测使用者对假手腕关节的操作意图,并准确按照操作意图驱动假手腕关节实现类人手自然操作,提高了在不同模式下的鲁棒性,从而实现假手的人机自然驱动。
Description
技术领域
本发明属于生机电融合领域,涉及一种多抓取模式下腕关节力矩的肌电连续预测方法及系统。
背景技术
肌电信号是人体肌肉在运动时产生的一种生物电信号,其频率、幅值等特征和肌肉的运动状态、负载大小有密切关系,因此肌电信号特征可以用来描述肌肉当前运动状态、所受载荷等情况。目前用肌电信号估计关节力矩主要涉及下肢关节,在估计方法上主要有使用等速肌力测量仪器直接测量和以Hill模型为基础建立肌骨模型。使用等速肌力测量仪器直接测量方式所用仪器庞大且价格昂贵,因此备受局限。中国专利CN109559826A所提出的基于表面肌电和运动信号的膝关节力矩估计方法,使用膝关节伸屈运动下主动肌和拮抗肌的sEMG、膝关节角度、以及膝关节角速度等建立离线模型进行关节力矩在线估计,模型建立过程中并未考虑在多种工作状态下的差异,因而具有一定的局限性。中国专利CN109259739A所提出的手腕关节运动力矩的肌电估计方法,以Hill模型为基础得到肌肉力对预测关节的力矩表达式。将关节运动简化为刚体运动,建立动力学模型,根据运动学数据求得关节运动参考力矩。使用共轭梯度法对基于Hill模型的关节力矩预测模型进行标定,得到手腕关节运动力矩的肌电估计模型。该方法建模过程复杂,且涉及多个生理学参数,模型误差难以避免。此外该专利中并未考虑不同抓取模式对肌电信号的影响,因此不能胜任变化工况。假手手腕关节作为连接假手手掌与前臂的关节,其在手掌实现精确抓取功能方面具有重要作用。然而现有肌电假手在功能上主要是利用残肢肌电信号识别特定的动作模式,仅有少部分假手利用残肢肌电信号对手腕关节连续力矩预测功能,但是其构建的模型仅针对某些特定抓取模式下的力矩预测,当抓取模式改变引起肌电信号变化时,力矩预测将会出现较大偏差。因此提高假手在多抓取模式情况下的鲁棒性,利用残肢肌电信号连续预测使用者对假手腕关节的操作意图,并准确按照操作意图驱动假手腕关节实现类人手自然操作显得极其重要。
基于此,利用手臂表面肌电信号连续预测多抓取模式下手腕关节力矩,为假手腕关节提供合适的驱动力矩实现假手的人机自然驱动是当前研究的关键点。
发明内容
为了解决上述手腕关节力矩预测方面的不足,本发明的目的在于提供一种多抓取模式下腕关节力矩的肌电连续预测方法及系统,该方法以实现在多种抓取模式下,利用前臂肌电信号对腕关节运动力矩进行连续预测。
为实现上述目的,本发明采用如下技术方案:
一种多抓取模式下腕关节力矩的肌电连续预测方法,包括以下步骤:
S100:使用多种手势抓取不同大小的负载;
S200:记录手腕关节在各抓取模式下弯曲/伸展运动过程中手腕弯曲/伸展角度信息;
S300:将各抓取模式下的人手运动简化为刚体运动,利用得到的关节角度信息,建立该抓取模式下腕关节动力学模型,根据逆动力学求解出运动过程中关节力矩,作为该抓取模式下腕关节力矩肌电连续预测模型的参考力矩;
S400:采集各抓取模式下运动过程中前臂肌肉的表面肌电信号;
S500:对各抓取模式下所采集的肌电信号进行预处理与特征提取,通过加窗方法对表面肌电信号特征进行窗内平均处理,使之与抓取模式具有相同的数据点数;
S600:利用机器学习的方法,以所有抓取模式下的表面肌电信号特征作为模型输入,以关节参考力矩作为模型输出,建立基于Elman神经网络的多抓取模式下腕关节力矩的肌电连续预测模型,完成对模型的训练;
S700:采集各抓取模式下前臂表面肌电信号,进行预处理与特征提取;将各抓取模式下的肌电信号特征输入关节力矩预测模型,输出手腕关节力矩预测值,通过计算腕关节力矩预测值与参考力矩之间的线性相关系数,评价多抓取模式下腕关节力矩的肌电连续预测模型的准确性。
可选的,S200中利用三维运动捕捉系统记录手腕弯曲/伸展角度信息。
可选的,S200中计算腕关节弯曲伸展角度包括:
S201:手腕关节Mark点位置布局与运动学数据采集
大臂与手掌水平抬起,掌心向下,在手背上中指掌指关节处放置Mark点,记为R1;手背上靠近手腕关节处放置Mark点R2,使得R1、R2连线垂直于弯曲/伸展轴;前臂接近腕关节处放置Mark点R3、R4,使得R3、R4连线垂直于手腕弯曲伸展轴;手腕弯曲伸展运动时,记录各Mark点在世界坐标系下运动的x、y、z坐标;
S202:第s种手势抓取第n种负载模式下手腕关节运动角度求解
可选的,S300中,求解腕关节运动过程中关节力矩的具体方法如下:
将手臂及身体其他部分简化为基座,将人手及负载简化为刚体,刚体形状和手势相关;
建立腕关节动力学方程,并求解方程得到腕关节弯曲伸展力矩。
可选的,S400中,利用肌电采集装置采集肌电信号,前臂相关肌肉包括桡侧腕长伸肌、桡侧腕屈肌、尺侧腕长伸肌、尺侧腕屈肌、指总伸肌和指浅屈肌。
可选的,S500的具体方法如下:
S501:表面肌电信号预处理;
S502:表面肌电的特征提取:将预处理后的肌电信号进行全波整流,并进行归一化处理,得到肌电活跃度信息,并将所有肌电信号特征整合为一个特征矩阵;
S503:利用加窗方法对上述所得肌电活跃度数据进行窗内平均处理得到肌电活跃度特征,处理后的肌电信号特征与所有抓取模式下关节角度值具有相同的数据点数。
可选的,S600中构建Elman神经网络的具体方法如下:
S601:Elman网络模型结构:隐含层神经元激活函数选择sigmoid非线性函数;
S602:Elman神经网络模型的训练:分别将各个抓取模式下前臂表面肌电的特征以及对应的腕关节力矩输入模型进行训练。
可选的,训练过程具体包括如下步骤:
设网络t时刻输入层输入的特征向量X(t)=[x1 x2 x3 x4 x5 x6]T,输出力矩预测值y=y*,隐含层神经元输出为:
其中f(·)为sigmoid激活函数,gj(t)为t时刻隐含层神经元输出值,y*为力矩预测值,为第i个输入神经元到隐含层第j个神经元之间的权重,为第j个承接单元到隐含层第j个神经元之间的权重,xc,j(t)为第j个承接单元输出,其值等于:
xc,j(t)=gj(t-1)
输出层输出为:
定义误差函数为
其中yd(t)为t时刻根据腕关节逆动力学模型解算的关节力矩值,Nt为训练所用的数据量;
利用梯度下降法更新权值,即每个权值均沿着E对该权值偏导数的负方向改变,直到误差函数收敛到设定值。
可选的,S700中测试并评价所训练的模型具体方法如下:
S701:多抓取模式下腕关节力矩的肌电连续预测模型的测试
采集前臂不同抓取模式下腕关节运动时前臂表面肌电信号,经过S500处理后得到特征,将特征值输入到所训练的多抓取模式下表面肌电信号连续预测腕关节弯曲/伸展的力矩预测模型,计算得到手腕关节弯曲伸展力矩预测值;
S702:多抓取模式下腕关节力矩的肌电连续预测模型的评价
根据S200、S300计算得到的腕关节力矩,计算其与模型预测结果之间的线性相关系数,来评价两者之间线性相关程度,计算公式如下:
其中yd为根据逆动力学计算出的关节参考力矩,y*为模型预测关节力矩,Cov(yd,y*)为yd与y*之间的协方差,Var[yd]和Var[y*]分别为yd与y*的方差;若|r(yd,y*)|越接近1,则表明相关性越强,即预测模型预测性能越好,否则越差。
一种多抓取模式下腕关节力矩的肌电连续预测系统,包括:
三维运动捕捉系统,用于在多种手势抓取不同大小的负载时,记录手腕关节在各抓取模式下弯曲/伸展运动过程中手腕弯曲/伸展角度信息;
关节力矩预测模型单元,用于将各抓取模式下的人手运动简化为刚体运动,利用得到的关节角度信息,建立该抓取模式下腕关节动力学模型,根据逆动力学求解出运动过程中关节力矩,作为该抓取模式下腕关节力矩肌电连续预测模型的参考力矩;
肌电采集装置,用于采集各抓取模式下运动过程中前臂肌肉的表面肌电信号;
预处理与特征提取单元,对各抓取模式下所采集的肌电信号进行预处理与特征提取,通过加窗方法对表面肌电信号特征进行窗内平均处理,使之与三维运动捕捉系统所得的角度信息具有相同的数据点数;
肌电连续预测模型单元,用于利用机器学习的方法,以所有抓取模式下的表面肌电信号特征作为模型输入,以关节参考力矩作为模型输出,建立基于Elman神经网络的多抓取模式下腕关节力矩的肌电连续预测模型,完成对模型的训练。
与现有技术相比,本发明具有以下技术效果:
本发明针对传统的关节力矩预测模型在预测不同抓取模式时精度降低的问题,考虑了不同抓取模式引起的差异,提出了一种多抓取模式下腕关节力矩的肌电连续预测方法,通过利用残肢在多种抓取模式下的肌电信号连续预测使用者对假手腕关节的操作意图,并准确按照操作意图驱动假手腕关节实现类人手自然操作,提高了在不同模式下的鲁棒性,从而实现假手的人机自然驱动,具有如下优越性:(1)针对目前腕关节运动力矩预测缺失,以及在不同抓取模式下鲁棒性低的问题,提出了腕关节力矩的肌电连续预测方法,连续预测周期为10ms;(2)所提出的一种多抓取模式下腕关节力矩的肌电连续预测方法,通过采集多种抓取模式下前臂肌电信号,建立基于Elman网络的多抓取模式下腕关节力矩的肌电连续预测模型,提高了在抓取模式改变时关节力矩预测模型的鲁棒性,准确预测使用者对假手腕关节的操作意图,为实现假手类人手自然操作提供了技术支持。
本发明的系统通过三维运动捕捉系统、关节力矩预测模型单元、肌电采集装置、预处理与特征提取单元及肌电连续预测模型单元形成了一种多抓取模式下腕关节力矩的肌电连续预测系统,该系统采集各抓取模式下前臂表面肌电信号,进行预处理与特征提取;将各抓取模式下的肌电信号特征输入关节力矩预测模型,输出手腕关节力矩预测值,通过计算腕关节力矩预测值与参考力矩之间的线性相关系数,评价多抓取模式下腕关节力矩的肌电连续预测模型的准确性。
附图说明
图1是多抓取模式下腕关节力矩的肌电连续预测方法框图;
图2是Mark点布局图;
图3是第s种手势抓取第n种负载模式下手腕运动模型简化图;
图4是Elman神经网络结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,不是全部的实施例,而并非要限制本发明公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要的混淆本发明公开的概念。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明公开的上下文中,当将一层/元件称作位于另一层/元件“上”时,该层/元件可以直接位于该另一层/元件上,或者它们之间可以存在居中层/元件。另外,如果在一种朝向中一层/元件位于另一层/元件“上”,那么当调转朝向时,该层/元件可以位于该另一层/元件“下”。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明一种多抓取模式下腕关节力矩的肌电连续预测方法,包括以下步骤:
S100:所述多抓取模式包括,使用多种手势抓取不同大小的负载,手势包括但不限于手握抓取手势、拇指食指及中指三指对捏等G种手势,负载包括但不限于60g、480g、960g等N种常用的负载,不同手势和负载构成I=G*N种抓取模式;
S200:利用三维运动捕捉系统记录手腕关节在各抓取模式下弯曲/伸展运动过程中手腕弯曲/伸展角度信息,本发明中所用三维运动捕捉系统采集频率为100Hz;
S300:将各抓取模式下的人手运动简化为刚体运动,利用得到的关节角度信息,建立该抓取模式下腕关节动力学模型,根据逆动力学求解出运动过程中关节力矩,作为该抓取模式下腕关节力矩肌电连续预测模型的参考力矩;
S400:利用肌电采集设备采集各抓取模式下运动过程中前臂六块肌肉的表面肌电信号,六块肌肉分别为桡侧腕长伸肌、桡侧腕屈肌、尺侧腕长伸肌、尺侧腕屈肌、指总伸肌和指浅屈肌,本发明中所用肌电采集设备采集频率为1000Hz;
S500:对各抓取模式下所采集的肌电信号进行预处理与特征提取,通过加窗方法对表面肌电信号特征进行窗内平均处理,使之与三维运动捕捉系统具有相同的数据点数;
S600:利用机器学习的方法,以所有抓取模式下的表面肌电信号特征作为模型输入,以关节参考力矩作为模型输出,建立基于Elman神经网络的多抓取模式下腕关节力矩的肌电连续预测模型,完成对模型的训练;
S700:多抓取模式下腕关节力矩的肌电连续预测模型的测试与评估。采集各抓取模式下前臂表面肌电信号,进行预处理与特征提取;将各抓取模式下的肌电信号特征输入关节力矩预测模型,输出手腕关节力矩预测值,通过计算腕关节力矩预测值与参考力矩之间的线性相关系数,评价多抓取模式下腕关节力矩的肌电连续预测模型的准确性。
上述方法中,S200计算腕关节弯曲伸展角度的具体方法如下:
S201:手腕关节Mark点位置布局与运动学数据采集
大臂与手掌水平抬起,掌心向下,在手背上中指掌指关节处放置Mark点,记为R1;手背上靠近手腕关节处放置Mark点R2,使得R1、R2连线垂直于弯曲/伸展轴;前臂接近腕关节处放置Mark点R3、R4,使得R3、R4连线垂直于手腕弯曲伸展轴;手腕弯曲伸展运动时,记录各Mark点在世界坐标系下运动的x、y、z坐标。
S202:第s种手势抓取第n种负载模式下手腕关节运动角度求解
S300,以第s种手势抓取第n种负载为例,求解腕关节运动过程中关节力矩的具体方法如下:
S301:将手臂及身体其他部分简化为基座,将人手及负载简化为刚体,刚体形状S(ls,ws,hs)和手势相关,简化模型如图3所示。
假设腕关节运动所需力矩为Ts,n,建立腕关节动力学方程如下:
因此腕关节弯曲伸展力矩为
S500的具体方法如下:
S501:表面肌电信号预处理。预处理包括使用四阶巴特沃斯滤波器进行20-490Hz带通滤波以及使用陷波滤波进行50Hz陷波处理。
S502:表面肌电的特征提取。将预处理后的肌电信号进行全波整流,并进行归一化处理,得到肌电活跃度信息,并将所有肌电信号特征整合为一个特征矩阵。
S503:利用加窗方法对上述所得肌电活跃度数据进行窗内平均处理得到肌电活跃度特征,处理后的特征与三维运动捕捉系统具有相同的数据点数,窗口长度计算公式为:
式中,nwindow为窗口长度,fEMG为肌电信号采样频率,fmotion为三维运动捕捉系统采样频率。本发明中所用肌电采集设备采集频率为1000Hz,三维运动捕捉系统采集频率为100Hz,因此本发明中窗口长度为nwindow=10,预测的关节力矩离散周期为
S600中构建Elman神经网络的具体方法如下:
S601:Elman网络模型结构。隐含层神经元激活函数选择sigmoid非线性函数。输入层神经元个数为6个,输出层神经元个数为1,隐含层及承接层节点数的选取按下面公式确定:
其中,Nh为隐含层节点个数,NI为输入层节点个数,NO为输出层节点个数,C=3~10为调节常数;取C=6,所以隐含层和承接层神经元个数均为9个。
S602:Elman神经网络模型的训练。分别将各个抓取模式下前臂表面肌电的特征以及对应的腕关节力矩输入模型进行训练,训练过程如下:
设网络t时刻输入层输入的特征向量X(t)=[x1x2x3x4x5x6]T,输出力矩预测值y=y*,隐含层神经元输出为:
xc,j(t)=gj(t-1)
输出层输出为:
定义误差函数为
其中yd(t)为t时刻根据腕关节逆动力学模型解算的关节力矩值,Nt为训练所用的数据量。
利用梯度下降法更新权值,即每个权值均沿着E对该权值偏导数的负方向改变,直到误差函数收敛到设定值。
S700中测试并评价所训练的模型具体方法如下:
S701:多抓取模式下腕关节力矩的肌电连续预测模型的测试
采集前臂不同抓取模式下腕关节运动时前臂表面肌电信号,经过S500处理后得到特征,将特征值输入到所训练的多抓取模式下表面肌电信号连续预测腕关节弯曲/伸展的力矩预测模型,计算得到手腕关节弯曲伸展力矩预测值;
S702:多抓取模式下腕关节力矩的肌电连续预测模型的评价
根据S200、S300计算得到的腕关节力矩,计算其与模型预测结果之间的线性相关系数,来评价两者之间线性相关程度,计算公式如下:
其中yd为根据逆动力学计算出的关节参考力矩,y*为模型预测关节力矩,Cov(yd,y*)为yd与y*之间的协方差,Var[yd]和Var[y*]分别为yd与y*的方差。若|r(yd,y*)|越接近1,则表明相关性越强,即预测模型预测性能越好,否则越差。
本发明还提供一种实现多抓取模式下腕关节力矩的肌电连续预测的系统,包括:
三维运动捕捉系统,用于在多种手势抓取不同大小的负载时,记录手腕关节在各抓取模式下弯曲/伸展运动过程中手腕弯曲/伸展角度信息;
关节力矩预测模型单元,用于将各抓取模式下的人手运动简化为刚体运动,利用得到的关节角度信息,建立该抓取模式下腕关节动力学模型,根据逆动力学求解出运动过程中关节力矩,作为该抓取模式下腕关节力矩肌电连续预测模型的参考力矩;
肌电采集装置,用于采集各抓取模式下运动过程中前臂肌肉的表面肌电信号;
预处理与特征提取单元,对各抓取模式下所采集的肌电信号进行预处理与特征提取,通过加窗方法对表面肌电信号特征进行窗内平均处理,使之与三维运动捕捉系统具有相同的数据点数;
肌电连续预测模型单元,用于利用机器学习的方法,以所有抓取模式下的表面肌电信号特征作为模型输入,以关节参考力矩作为模型输出,建立基于Elman神经网络的多抓取模式下腕关节力矩的肌电连续预测模型,完成对模型的训练。
当多抓取模式下腕关节力矩的肌电连续预测模型的测试与评估时,采集各抓取模式下前臂表面肌电信号,进行预处理与特征提取;将各抓取模式下的肌电信号特征输入关节力矩预测模型,输出手腕关节力矩预测值,通过计算腕关节力矩预测值与参考力矩之间的线性相关系数,评价多抓取模式下腕关节力矩的肌电连续预测模型的准确性。
下面结合附图对本发明做进一步详细描述:
实施例1
一种多抓取模式下腕关节力矩的肌电连续预测方法,包括以下步骤:
S100,所述多抓取模式包括,使用多种手势抓取不同大小的负载,手势包括但不限于手握抓取手势、拇指食指及中指三指对捏等G种手势,负载包括但不限于60g、480g、960g等N种常用的负载,使用不同手势抓取不同负载共构成I=G*N种抓取模式;数据采集过程中,当完成一种抓取模式下肌电信号和运动信息的采集后,更换抓取模式,继续采集数据。下面以第s种手势抓取第n种负载为例,进行详细说明;
S200,利用三维运动捕捉系统记录手腕关节在第s种手势抓取第n种负载抓取模式下弯曲/伸展运动过程中手腕弯曲/伸展角度信息,具体包括以下步骤:
S201,如图2所示,大臂与手掌水平抬起,掌心向下,在手背上中指掌指关节处放置Mark点,记为R1;手背上靠近手腕关节处放置Mark点R2,使得R1、R2连线垂直于弯曲/伸展轴;前臂接近腕关节处放置Mark点R3、R4,使得R3、R4连线垂直于手腕弯曲伸展轴;手腕从弯曲极限位置运动至伸展最大位过程中时,三维运动捕捉系统记录各Mark点在世界坐标系下运动的x、y、z坐标。
S300,以第s种手势抓取第n种负载模式为例,求解腕关节运动过程中关节力矩的具体方法如下:
S301:将手臂及身体其他部分简化为基座,将人手简化成刚体,刚体形状S(ls,ws,hs)和手势相关,简化模型如图3所示。
假设腕关节运动所需力矩为Ts,n,建立腕关节动力学方程如下:
因此腕关节弯曲伸展力矩为
S400,利用肌电采集装置采集各个抓取模式下腕关节运动过程中前臂相关肌肉的肌电信号,相关肌肉分别为桡侧腕长伸肌、桡侧腕屈肌、尺侧腕长伸肌、尺侧腕屈肌、指总伸肌和指浅屈肌;
S500,对所采集的表面肌电信号进行预处理与特征提取,通过加窗方法对表面肌电信号特征进行窗内平均处理,使之与三维运动捕捉系统具有相同的数据点数,本发明中所用肌电采集设备采集频率为1000Hz,三维运动捕捉系统采集频率为100Hz;具体包括以下步骤:
S501,表面肌电信号预处理。预处理包括使用四阶巴特沃斯滤波器进行20-490Hz带通滤波以及50Hz陷波处理。
S502,表面肌电的特征提取。将预处理后的肌电信号进行全波整流,进行归一化处理,得到肌电活跃度信息,并将所有肌电信号特征整合为一个特征矩阵。
S503,利用加窗方法对上述所得肌电活跃度信息进行窗内平均处理得到肌电活跃度特征,处理后的特征与三维运动捕捉系统具有相同的数据点数,窗口长度为:
式中,nwindow为窗口长度,fEMG为肌电信号采样频率,fmotion为三维运动捕捉系统采样频率。本发明中所用肌电采集设备采集频率为1000Hz,三维运动捕捉系统采集频率为100Hz,因此本发明中窗口长度为nwindow=10,预测的关节力矩离散周期为
S600,利用机器学习的方法,以肌电信号的特征矩阵作为输入,以关节力矩值作为输出,建立基于Elman神经网络的多抓取模式下腕关节力矩的肌电连续预测模型,实现对模型的训练,其中Elman神经网络结构如图4所示,具体包括以下步骤:
S601,Elman网络模型结构。隐含层神经元激活函数选择sigmoid非线性函数。输入层神经元个数为6个,输出层神经元个数为1,隐含层及承接层节点数的选取按下面公式确定:
其中,Nh为隐含层节点个数,NI为输入层节点个数,NO为输出层节点个数,C=3~10为调节常数;取C=6,所以隐含层和承接层神经元个数均为9个。
S602,Elman神经网络模型的训练。设网络t时刻输入层输入的特征向量X(t)=[x1x2 x3 x4 x5 x6]T,输出力矩预测值y=y*,隐含层神经元输出为:
xc,j(t)=gj(t-1)
输出层输出为:
定义误差函数为
其中yd(t)为t时刻根据腕关节逆动力学模型解算的关节力矩值,Nt为训练所用的数据量。
利用梯度下降法更新权值,即每个权值均沿着E对该权值偏导数的负方向改变,直到误差函数收敛到设定值。
S700,测试并评价所训练的模型包含具体步骤如下:
S701,采集前臂不同抓取模式下腕关节运动时前臂表面肌电信号,经过S500处理后得到特征,将特征值输入到所训练的多抓取模式下表面肌电信号连续预测腕关节弯曲/伸展的力矩预测模型,得到手腕关节弯曲伸展力矩预测值;
S702,根据S200、S300计算得到的腕关节力矩,计算其与模型预测结果之间的线性相关系数,来评价两者之间线性相关程度,计算公式如下:
其中yd为根据逆动力学计算出的关节参考力矩,y*为模型预测关节力矩,Cov(yd,y*)为yd与y*之间的协方差,Var[yd]和Var[y*]分别为yd与y*的方差。若|r(yd,y*)|越接近1,则表明相关性越强,即预测模型预测性能越好,否则越差。
基于以上所提出的方法,本发明通过采集多种抓取模式下手腕在运动过程中前臂表面肌电信号,同时利用三维运动捕捉系统获取手腕运动角度,构建手腕运动的逆动力学模型,求得手腕运动过程中的参考力矩,基于Elman神经网络建立多抓取模式下腕关节力矩的肌电连续预测模型,从而可以连续预测腕关节运动所需力矩,为假手腕关节的精密操控提供所需力矩以供参考。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单的推演或替换,都应当视为属于本发明所提交的权利要求书确定的专利保护范围。
Claims (10)
1.一种多抓取模式下腕关节力矩的肌电连续预测方法,其特征在于,包括以下步骤:
S100:使用多种手势抓取不同大小的负载;
S200:记录手腕关节在各抓取模式下弯曲/伸展运动过程中手腕弯曲/伸展角度信息;
S300:将各抓取模式下的人手运动简化为刚体运动,利用得到的关节角度信息,建立该抓取模式下腕关节动力学模型,根据逆动力学求解出运动过程中关节力矩,作为该抓取模式下腕关节力矩肌电连续预测模型的参考力矩;
S400:采集各抓取模式下运动过程中前臂肌肉的表面肌电信号;
S500:对各抓取模式下所采集的肌电信号进行预处理与特征提取,通过加窗方法对表面肌电信号特征进行窗内平均处理,使之与抓取模式具有相同的数据点数;
S600:利用机器学习的方法,以所有抓取模式下的表面肌电信号特征作为模型输入,以关节参考力矩作为模型输出,建立基于Elman神经网络的多抓取模式下腕关节力矩的肌电连续预测模型,完成对模型的训练;
S700:采集各抓取模式下前臂表面肌电信号,进行预处理与特征提取;将各抓取模式下的肌电信号特征输入关节力矩预测模型,输出手腕关节力矩预测值,通过计算腕关节力矩预测值与参考力矩之间的线性相关系数,评价多抓取模式下腕关节力矩的肌电连续预测模型的准确性。
2.根据权利要求1所述的多抓取模式下腕关节力矩的肌电连续预测方法,其特征在于,S200中利用三维运动捕捉系统记录手腕弯曲/伸展角度信息。
4.根据权利要求1所述的多抓取模式下腕关节力矩的肌电连续预测方法,其特征在于,S300中,求解腕关节运动过程中关节力矩的具体方法如下:
将手臂及身体其他部分简化为基座,将人手及负载简化为刚体,刚体形状和手势相关;
建立腕关节动力学方程,并求解方程得到腕关节弯曲伸展力矩。
5.根据权利要求1所述的多抓取模式下腕关节力矩的肌电连续预测方法,其特征在于,S400中,利用肌电采集装置采集肌电信号,前臂相关肌肉包括桡侧腕长伸肌、桡侧腕屈肌、尺侧腕长伸肌、尺侧腕屈肌、指总伸肌和指浅屈肌。
6.根据权利要求1所述的多抓取模式下腕关节力矩的肌电连续预测方法,其特征在于,S500的具体方法如下:
S501:表面肌电信号预处理;
S502:表面肌电的特征提取:将预处理后的肌电信号进行全波整流,并进行归一化处理,得到肌电活跃度信息,并将所有肌电信号特征整合为一个特征矩阵;
S503:利用加窗方法对上述所得肌电活跃度数据进行窗内平均处理得到肌电活跃度特征,处理后的肌电信号特征与所有抓取模式下关节角度值具有相同的数据点数。
7.根据权利要求1所述的多抓取模式下腕关节力矩的肌电连续预测方法,其特征在于,S600中构建Elman神经网络的具体方法如下:
S601:Elman网络模型结构:隐含层神经元激活函数选择sigmoid非线性函数;
S602:Elman神经网络模型的训练:分别将各个抓取模式下前臂表面肌电的特征以及对应的腕关节力矩输入模型进行训练。
8.根据权利要求7所述的多抓取模式下腕关节力矩的肌电连续预测方法,其特征在于,训练过程具体包括如下步骤:
设网络t时刻输入层输入的特征向量X(t)=[x1 x2 x3 x4 x5 x6]T,输出力矩预测值y=y*,隐含层神经元输出为:
其中f(·)为sigmoid激活函数,gj(t)为t时刻隐含层神经元输出值,y*为力矩预测值,为第i个输入神经元到隐含层第j个神经元之间的权重,为第j个承接单元到隐含层第j个神经元之间的权重,xc,j(t)为第j个承接单元输出,其值等于:
xc,j(t)=gj(t-1)
输出层输出为:
定义误差函数为
其中yd(t)为t时刻根据腕关节逆动力学模型解算的关节力矩值,Nt为训练所用的数据量;
利用梯度下降法更新权值,即每个权值均沿着E对该权值偏导数的负方向改变,直到误差函数收敛到设定值。
9.根据权利要求1所述的多抓取模式下腕关节力矩的肌电连续预测方法,其特征在于,S700中测试并评价所训练的模型具体方法如下:
S701:多抓取模式下腕关节力矩的肌电连续预测模型的测试
采集前臂不同抓取模式下腕关节运动时前臂表面肌电信号,经过S500处理后得到特征,将特征值输入到所训练的多抓取模式下表面肌电信号连续预测腕关节弯曲/伸展的力矩预测模型,计算得到手腕关节弯曲伸展力矩预测值;
S702:多抓取模式下腕关节力矩的肌电连续预测模型的评价
根据S200、S300计算得到的腕关节力矩,计算其与模型预测结果之间的线性相关系数,来评价两者之间线性相关程度,计算公式如下:
其中yd为根据逆动力学计算出的关节参考力矩,y*为模型预测关节力矩,Cov(yd,y*)为yd与y*之间的协方差,Var[yd]和Var[y*]分别为yd与y*的方差;若|r(yd,y*)|越接近1,则表明相关性越强,即预测模型预测性能越好,否则越差。
10.一种多抓取模式下腕关节力矩的肌电连续预测系统,其特征在于,包括:
三维运动捕捉系统,用于在多种手势抓取不同大小的负载时,记录手腕关节在各抓取模式下弯曲/伸展运动过程中手腕弯曲/伸展角度信息;
关节力矩预测模型单元,用于将各抓取模式下的人手运动简化为刚体运动,利用得到的关节角度信息,建立该抓取模式下腕关节动力学模型,根据逆动力学求解出运动过程中关节力矩,作为该抓取模式下腕关节力矩肌电连续预测模型的参考力矩;
肌电采集装置,用于采集各抓取模式下运动过程中前臂肌肉的表面肌电信号;
预处理与特征提取单元,对各抓取模式下所采集的肌电信号进行预处理与特征提取,通过加窗方法对表面肌电信号特征进行窗内平均处理,使之与三维运动捕捉系统所得的角度信息具有相同的数据点数;
肌电连续预测模型单元,用于利用机器学习的方法,以所有抓取模式下的表面肌电信号特征作为模型输入,以关节参考力矩作为模型输出,建立基于Elman神经网络的多抓取模式下腕关节力矩的肌电连续预测模型,完成对模型的训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911077156.9A CN110827987B (zh) | 2019-11-06 | 2019-11-06 | 一种多抓取模式下腕关节力矩的肌电连续预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911077156.9A CN110827987B (zh) | 2019-11-06 | 2019-11-06 | 一种多抓取模式下腕关节力矩的肌电连续预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110827987A true CN110827987A (zh) | 2020-02-21 |
CN110827987B CN110827987B (zh) | 2021-03-23 |
Family
ID=69552885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911077156.9A Active CN110827987B (zh) | 2019-11-06 | 2019-11-06 | 一种多抓取模式下腕关节力矩的肌电连续预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110827987B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111207875A (zh) * | 2020-02-25 | 2020-05-29 | 青岛理工大学 | 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法 |
CN112205990A (zh) * | 2020-09-07 | 2021-01-12 | 武汉科技大学 | 一种基于sEMG的不同负载下手腕角度预测方法及装置 |
CN112587242A (zh) * | 2020-12-11 | 2021-04-02 | 天津大学医疗机器人与智能系统研究院 | 手术机器人主手模拟方法、主手和应用 |
CN113367698A (zh) * | 2021-05-14 | 2021-09-10 | 华南理工大学 | 一种基于机器学习的肌肉运动状态监测方法及系统 |
CN117153379A (zh) * | 2023-10-31 | 2023-12-01 | 深圳市前海蛇口自贸区医院 | 一种胸廓出口综合征的预测装置 |
CN118171117A (zh) * | 2024-05-13 | 2024-06-11 | 浙江强脑科技有限公司 | 仿生手的手势训练方法、训练装置、存储介质和仿生手 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073881A (zh) * | 2011-01-17 | 2011-05-25 | 武汉理工大学 | 人体表面肌电信号消噪、特征提取和模式识别方法 |
US20140368474A1 (en) * | 2013-06-17 | 2014-12-18 | Samsung Electronics Co., Ltd. | Device, method, and system to recognize motion using gripped object |
US20150265164A1 (en) * | 2013-12-12 | 2015-09-24 | Alivecor, Inc. | Methods and systems for arrhythmia tracking and scoring |
CN109009586A (zh) * | 2018-06-25 | 2018-12-18 | 西安交通大学 | 一种假手腕关节人机自然驱动角度的肌电连续解码方法 |
CN109259739A (zh) * | 2018-11-16 | 2019-01-25 | 西安交通大学 | 一种手腕关节运动力矩的肌电估计方法 |
-
2019
- 2019-11-06 CN CN201911077156.9A patent/CN110827987B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073881A (zh) * | 2011-01-17 | 2011-05-25 | 武汉理工大学 | 人体表面肌电信号消噪、特征提取和模式识别方法 |
US20140368474A1 (en) * | 2013-06-17 | 2014-12-18 | Samsung Electronics Co., Ltd. | Device, method, and system to recognize motion using gripped object |
US20180284912A1 (en) * | 2013-06-17 | 2018-10-04 | Samsung Electronics Co., Ltd. | Device, method, and system to recognize motion using gripped object |
US20150265164A1 (en) * | 2013-12-12 | 2015-09-24 | Alivecor, Inc. | Methods and systems for arrhythmia tracking and scoring |
CN109009586A (zh) * | 2018-06-25 | 2018-12-18 | 西安交通大学 | 一种假手腕关节人机自然驱动角度的肌电连续解码方法 |
CN109259739A (zh) * | 2018-11-16 | 2019-01-25 | 西安交通大学 | 一种手腕关节运动力矩的肌电估计方法 |
Non-Patent Citations (2)
Title |
---|
XIAOFENG SUN 等: "sEMG Based Continuous Estimation of Wrist Joint Angle using BP Neural Network", 《PROCEEDINGS OF 9TH IEEE INTERNATIONAL CONFERENCE ON CYBER TECHNOLOGY IN AUTOMATION, CONTROL, AND INTELLIGENT SYSTEMS》 * |
梅品高,罗志增: "基于小波包分析和Elman网络的肌电信号处理", 《机电工程》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111207875A (zh) * | 2020-02-25 | 2020-05-29 | 青岛理工大学 | 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法 |
CN112205990A (zh) * | 2020-09-07 | 2021-01-12 | 武汉科技大学 | 一种基于sEMG的不同负载下手腕角度预测方法及装置 |
CN112205990B (zh) * | 2020-09-07 | 2023-07-14 | 武汉科技大学 | 一种基于sEMG的不同负载下手腕角度预测方法及装置 |
CN112587242A (zh) * | 2020-12-11 | 2021-04-02 | 天津大学医疗机器人与智能系统研究院 | 手术机器人主手模拟方法、主手和应用 |
CN112587242B (zh) * | 2020-12-11 | 2023-02-03 | 山东威高手术机器人有限公司 | 手术机器人主手模拟方法、主手和应用 |
CN113367698A (zh) * | 2021-05-14 | 2021-09-10 | 华南理工大学 | 一种基于机器学习的肌肉运动状态监测方法及系统 |
CN113367698B (zh) * | 2021-05-14 | 2023-07-18 | 华南理工大学 | 一种基于机器学习的肌肉运动状态监测方法及系统 |
CN117153379A (zh) * | 2023-10-31 | 2023-12-01 | 深圳市前海蛇口自贸区医院 | 一种胸廓出口综合征的预测装置 |
CN117153379B (zh) * | 2023-10-31 | 2024-02-20 | 深圳市前海蛇口自贸区医院 | 一种胸廓出口综合征的预测装置 |
CN118171117A (zh) * | 2024-05-13 | 2024-06-11 | 浙江强脑科技有限公司 | 仿生手的手势训练方法、训练装置、存储介质和仿生手 |
Also Published As
Publication number | Publication date |
---|---|
CN110827987B (zh) | 2021-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110827987B (zh) | 一种多抓取模式下腕关节力矩的肌电连续预测方法及系统 | |
CN109259739B (zh) | 一种手腕关节运动力矩的肌电估计方法 | |
CN107397649B (zh) | 一种基于径向基神经网络上肢外骨骼运动意图识别方法 | |
CN109009586B (zh) | 一种假手腕关节人机自然驱动角度的肌电连续解码方法 | |
CN106527738B (zh) | 一种用于虚拟现实系统的多信息体感交互手套系统及方法 | |
Rosen et al. | Performances of Hill-type and neural network muscle models—toward a myosignal-based exoskeleton | |
US20190343662A1 (en) | Multi-dimensional surface electromyogram signal prosthetic hand control method based on principal component analysis | |
Yang et al. | EMG pattern recognition and grasping force estimation: Improvement to the myocontrol of multi-DOF prosthetic hands | |
CN111531537B (zh) | 基于多传感器的机械臂控制方法 | |
Zhao et al. | A five-fingered underactuated prosthetic hand system | |
Zhao et al. | A five-fingered underactuated prosthetic hand control scheme | |
CN111419237A (zh) | 脑卒中手部运动功能Carroll评分预测方法 | |
Zhao et al. | EMG control for a five-fingered prosthetic hand based on wavelet transform and autoregressive model | |
KR100994408B1 (ko) | 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치 | |
CN110179470A (zh) | 脑卒中患者运动功能及疲劳状态综合评估方法 | |
Zhang et al. | A novel wrist joint torque prediction method based on EMG and LSTM | |
Wang et al. | EMG signal classification for myoelectric teleoperating a dexterous robot hand | |
CN110103226B (zh) | 一种辅助机器人控制方法及系统 | |
Pan et al. | A reliable multi-user EMG interface based on a generic-musculoskeletal model against loading weight changes | |
Wang et al. | sEMG-based torque estimation using time-delay ANN for control of an upper-limb rehabilitation robot | |
Tsuji et al. | Biomimetic impedance control of an EMG-based robotic hand | |
Alazrai et al. | An ensemble-based regression approach for continuous estimation of wrist and fingers movements from surface electromyography | |
Li et al. | A novel method for estimating continuous motion and time-varying stiffness of human elbow joint | |
Liu et al. | A biomimetic impedance controller for robotic hand variable stiffness grasping | |
Li et al. | Continuous sEMG estimation method of upper limb shoulder elbow torque based on CNN-LSTM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |