CN110900638B - 基于多信号融合的上肢可穿戴式搬运机器人运动识别系统 - Google Patents
基于多信号融合的上肢可穿戴式搬运机器人运动识别系统 Download PDFInfo
- Publication number
- CN110900638B CN110900638B CN201911050460.4A CN201911050460A CN110900638B CN 110900638 B CN110900638 B CN 110900638B CN 201911050460 A CN201911050460 A CN 201911050460A CN 110900638 B CN110900638 B CN 110900638B
- Authority
- CN
- China
- Prior art keywords
- upper limb
- module
- joint angle
- value
- limb joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0006—Exoskeletons, i.e. resembling a human figure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及意图识别技术领域,提供一种基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,包括传感器系统、数据处理系统;传感器系统包括表面干电极肌电传感器、六轴惯性传感器、连接有气压传感器的硅胶气囊;数据处理系统为集成人体生理信息计算模块、肌电信号特征值计算模块、上肢关节角度计算模块、四阶段处理模块、阻抗调整器的上位机,四阶段处理模块包括神经网络模块、主成分分析模块、滑动平均滤波模块、If‑Then决策器模块;传感器系统的输出端与数据处理系统的输入端电连接,数据处理系统的输出端与机器人控制器的输入端电连接。本发明能够解决生理信号的个体差异性问题,提高意图识别的准确性及人机交互的有效性和安全性。
Description
技术领域
本发明涉及意图识别技术领域,特别是涉及一种基于多信号融合的上肢可穿戴式搬运机器人运动识别系统。
背景技术
表面肌电信号(sEMG)是神经肌肉系统的生物点变化在皮肤表面加以引导、放大,并记录和显示所得到的一维时间序列。采集后得到的sEMG信号包含了多个运动单位点活动在时间和空间上的叠加,因此可以表征相关肌肉的活性,所以通常作为外骨骼机器人、假肢和动力矫形器的控制信号,例如通过放大一组拮抗肌肉的肌电信号控制单关节外骨骼机器人的肘关节屈曲、伸展运动;又如通过解读肱二头肌长头、肱三头肌中头、锁骨处胸大肌以及肩胛骨处三角肌的sEMG信号,建立骨骼肌肉模型,调整上肢外骨骼机器人肩关节和肘关节的刚度。然而,上肢sEMG信号在采集过程中容易混入运动信号等噪声信号,同时,运动性肌肉疲劳也会对sEMG信号产生干扰。另外,由于不同人的上肢肌肉力量是不同的,sEMG信号的个体差异性较大。因此,单一的sEMG信号不适宜作为控制信号。
针对单一的sEMG信号无法得到可靠的控制信号这一问题,有效的办法是多种信号融合并构建相关的意图识别模型指导上肢可穿戴式搬运机器人实现安全的人机交互过程。其中,意图识别模型是根据穿戴者的生理信息与运动信息基于某种分类器或函数模型分析由穿戴者的动作引起的状态变化来识别穿戴者运动意图。相较于基于脑电、肌电融合,基于力、角度和肌电的多信号感知融合的运动识别系统穿戴更为方便,不需要穿戴者在使用前完成长期的训练,意图判断的可靠程度更高,因此更加适合完成搬运、托举、负重等人机交互任务。
但是,造成个体差异的根本原因是穿戴者的上肢肌肉力量与发力习惯不同。对于每一个健康的穿戴者,BMI指数和人体肌肉质量直接影响了上肢肌肉力量。而现有的上肢可穿戴式搬运机器人运动识别系统没有完全解决sEGM等生理信号的个体差异性问题,使得运动识别系统仅可以输出抬臂、落臂、平举等简单的运动类别,不能输出较为有效的参考轨迹,降低了意图识别的准确性及上肢可穿戴式搬运机器人人机交互的有效性和安全性。
发明内容
针对现有技术存在的问题,本发明提供一种基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,能够解决sEGM等生理信号的个体差异性问题,提高意图识别的准确性及人机交互的有效性和安全性。
本发明的技术方案为:
一种基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,其特征在于:包括传感器系统、数据处理系统;
所述传感器系统包括表面干电极肌电传感器、六轴惯性传感器、硅胶气囊;所述六轴惯性传感器包括前臂六轴惯性传感器、上臂六轴惯性传感器,所述硅胶气囊的一端连接有气压传感器;
所述数据处理系统为集成人体生理信息计算模块、肌电信号特征值计算模块、上肢关节角度计算模块、四阶段处理模块、阻抗调整器的上位机,所述四阶段处理模块包括依次连接的神经网络模块、主成分分析模块、滑动平均滤波模块、If-Then决策器模块;
所述表面干电极肌电传感器、六轴惯性传感器、气压传感器的输出端均与所述数据处理系统的输入端电连接,所述数据处理系统的输出端与所述上肢可穿戴式搬运机器人的控制器的输入端电连接;
所述表面干电极肌电传感器用于测量上肢肌电信号,对上肢肌电信号进行放大和滤波处理,并将滤波处理后的上肢肌电信号传输给数据处理系统;所述前臂六轴惯性传感器、上臂六轴惯性传感器分别用于测量前臂、上臂的绕三轴旋转角度,并将前臂、上臂的绕三轴旋转角度传输给数据处理系统;所述气压传感器用于测量硅胶气囊的气压值,并将气压值传输给数据处理系统;
所述人体生理信息计算模块用于计算人体生理信息,并将人体生理信息传输给神经网络模块、主成分分析模块,所述人体生理信息包括BMI指数、人体肌肉质量;所述肌电信号特征值计算模块用于计算上肢肌电信号在一段时间间隔内的平均幅值并对平均幅值进行规范化处理得到正则化平均幅值,根据上肢肌电信号计算上肢肌肉激活程度,并将正则化平均幅值传输给神经网络模块、主成分分析模块、滑动平均滤波模块,将上肢肌肉激活程度传输给主成分分析模块、滑动平均滤波模块;所述上肢关节角度计算模块用于根据前臂、上臂的绕水平两轴旋转角度计算上肢关节角度,并将上肢关节角度传输给主成分分析模块、If-Then决策器模块;
所述神经网络模块用于根据正则化平均幅值、人体生理信息估算负载质量标签,并将负载质量标签估计值传输给主成分分析模块、滑动平均滤波模块;
所述主成分分析模块用于根据负载质量标签估计值、正则化平均幅值、上肢肌肉激活程度、人体生理信息、上肢关节角度利用主成分分析法构建并求解低维度的上肢关节角度估算模型,并将求解出的上肢关节角度估算模型传输给滑动平均滤波模块;
所述滑动平均滤波模块用于对上肢关节角度估算模型进行滑动平均滤波,并根据滤波处理后的上肢关节角度估算模型计算前一时刻、当前时刻、下一时刻的上肢关节角度估计值,并将前一时刻和当前时刻的上肢关节角度估计值传输给If-Then决策器模块,将下一时刻的上肢关节角度估计值传输给阻抗调整器;
所述If-Then决策器模块用于根据前一时刻和当前时刻的上肢关节角度估计值和当前时刻的上肢关节角度估算运动意图,并将运动意图传输给阻抗调整器;
所述阻抗调整器用于根据气压值计算人机交互力,根据人机交互力计算上肢关节角度变化量,结合运动意图对下一时刻的上肢关节角度估计值进行调整,并将调整后的上肢关节角度估计值传输给上肢可穿戴式搬运机器人的控制器。
进一步地,所述人体生理信息计算模块用于计算人体生理信息包括:
根据人体的身高、体重计算BMI指数为BMI=体重(千克)/(身高(米)*身高(米))(1)
对体质秤多次测量的人体肌肉质量取平均值作为人体肌肉质量MM。
进一步地,所述肌电信号特征值计算模块用于计算上肢肌电信号在一段时间间隔内的平均幅值并对平均幅值进行规范化处理得到正则化平均幅值,根据上肢肌电信号计算上肢肌肉激活程度,包括:
计算上肢肌电信号u(t)在一段时间间隔Ti内的平均幅值MAVi为
其中,Ti为第i个时间间隔,i∈{1,2,...,n},n为时间间隔总数,t为时间;
对平均幅值MAVi进行规范化处理,得到正则化平均幅值为
根据上肢肌电信号u(t)计算上肢肌肉激活程度A(t)为
其中,λ为参数,-3<λ<0。
进一步地,所述上肢关节角度计算模块用于根据前臂、上臂的绕水平两轴旋转角度计算上肢关节角度包括:
根据前臂六轴惯性传感器测得的前臂的绕x轴、y轴旋转角度θx1、θy1及上臂六轴惯性传感器测得的上臂的绕x轴、y轴旋转角度θx2、θy2计算上肢关节角度q为
其中,q0为成年男子前臂近似为圆台体后的近似锥角,θy20为上臂六轴惯性传感器的初始角度。
进一步地,所述神经网络模块包括训练后的基于ANN神经网络的负载质量估算模型和负载质量标签计算模块;
所述负载质量估算模型用于根据输入的正则化平均幅值、BMI指数、人体肌肉质量,输出负载质量估计向量;
所述负载质量标签计算模块用于将负载质量估计向量转换为负载质量标签估计值。
进一步地,所述负载质量估算模型为基于BP神经网络的负载质量估算模型,所述负载质量估算模型的输出层节点数为4;
负载质量估计向量为(M1,M2,M3,M4),Mj∈{0,1},j∈{1,2,3,4},Mj=1代表负载质量属于第j种负载质量,Mj=0代表负载质量不属于第j种负载质量,第1、2、3、4种负载质量分别为0kg、(0kg,1kg]、(1kg,2kg]、(2kg,+∞);
所述负载质量标签计算模块用于将负载质量估计向量(M1,M2,M3,M4)转换为负载质量标签估计值M;其中,当Mj=1时M=j。
进一步地,所述主成分分析模块用于根据负载质量标签估计值、正则化平均幅值、上肢肌肉激活程度、人体生理信息、上肢关节角度利用主成分分析法构建并求解低维度的上肢关节角度估算模型包括:
利用主成分分析法构建低维度的上肢关节角度估算模型为
其中,ask为线性参数,L为阶数;Y1、Y2为降维后的主成分,α1、β1、γ1、χ1、δ1为主成分Y1各项的系数,α2、β2、γ2、χ2、δ2为主成分Y2各项的系数,M为负载质量标签估计值,为正则化平均幅值,A上肢肌肉激活程度,BMI为BMI指数,MM为人体肌肉质量;
根据负载质量标签估计值、正则化平均幅值、上肢肌肉激活程度、人体生理信息、上肢关节角度的一组历史数据求解所述上肢关节角度估算模型。
进一步地,所述If-Then决策器模块用于根据前一时刻和当前时刻的上肢关节角度估计值和当前时刻的上肢关节角度估算运动意图包括:
进一步地,所述阻抗调整器用于根据气压值计算人机交互力,根据人机交互力计算上肢关节角度变化量,结合运动意图对下一时刻的上肢关节角度估计值进行调整包括:
根据气压值计算人机交互力F为
其中,K为线性系数,P1为人机接触前的气压值,P2为人机接触后的气压值,E为弹性模量,I为惯性系数,V为硅胶气囊内部体积,e为硅胶气囊壁厚,l为硅胶气囊长度;
根据人机交互力计算人机交互力矩τint为
τint=JT(F-Fd) (8)
其中,Fd为人机交互力的期望值,JT为上肢可穿戴式搬运机器人雅克比矩阵的转置;
根据公式(9)利用人机交互力矩τint计算上肢关节角度变化量Δq
利用Δq,结合运动意图对下一时刻的上肢关节角度估计值进行调整。
本发明的有益效果为:
本发明通过将人机交互过程中穿戴者的上肢肌电信号、运动信号、人体生理信息等多种信号融合为运动意图信号,并结合人机交互力和运动意图对上肢关节角度估计值进行调整,能够指导上肢可穿戴式搬运机器人完成有效的人机交互任务。
其中,本发明的四阶段处理模块改善了不同上肢肌肉力量对运动意图的影响,而所配合使用的阻抗调整器中的运动控制算法改善了不同人发力习惯对运动意图的影响,解决了sEGM等生理信号的个体差异性问题,能够将运动意图转化为机器人直接可执行的运动任务,提高意图识别的准确性和上肢可穿戴式搬运机器人人机交互的安全性。
附图说明
图1为本发明的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统中传感器系统在人体上肢的安装示意图。
图2为本发明的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统中硅胶气囊与气压传感器的连接关系示意图。
图3为本发明的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统中四阶段处理模块的结构示意图。
图4为具体实施方式中单臂托举实验的示意图。
图5为具体实施方式中训练后的负载质量估算模型的验证结果示意图。
图6为具体实施方式中主成分分析的结果示意图。
图7为具体实施方式中拟合后的上肢关节角度估算模型的验证结果示意图。
图8为具体实施方式中实验组B的上肢关节角度估算曲线经4阶滑动平均滤波后得到的曲线示意图。
图9为具体实施方式中三自由度上肢可穿戴式搬运机器人的结构简图。
图10为具体实施方式中实验组B在人机交互过程中的肘关节曲线示意图。
图11为具体实施方式中If-Then决策器的验证结果示意图。
图12为本发明的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统中阻抗调整器的结构示意图。
图13为具体实施方式中经阻抗调整器调整后的上肢关节角度估算曲线示意图。
图中,1—表面干电极肌电传感器,2-1—上臂六轴惯性传感器,2-2—前臂六轴惯性传感器,3—硅胶气囊,4—气压传感器。
具体实施方式
下面将结合附图和具体实施方式,对本发明作进一步描述。
本发明的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,包括传感器系统、数据处理系统。本实施例中,将本发明的系统用于上肢外骨骼机器人协助穿戴者完成托举搬运动作。
如图1所示,所述传感器系统包括表面干电极肌电传感器1、六轴惯性传感器、硅胶气囊3;所述六轴惯性传感器包括前臂六轴惯性传感器2-2、上臂六轴惯性传感器2-1。
如图2所示,所述硅胶气囊3的一端连接有气压传感器4。
其中,表面干电极肌电传感器1安装在人体上肢,前臂六轴惯性传感器2-2、上臂六轴惯性传感器2-1分别安装在人体前臂、上臂,硅胶气囊3安装在人与上肢可穿戴式搬运机器人的交互处。
所述数据处理系统为集成人体生理信息计算模块、肌电信号特征值计算模块、上肢关节角度计算模块、四阶段处理模块、阻抗调整器的上位机。
如图3所示,所述四阶段处理模块包括依次连接的神经网络模块ANN、主成分分析模块PCA、滑动平均滤波模块SM、If-Then决策器模块。
所述表面干电极肌电传感器1、六轴惯性传感器、气压传感器4的输出端均与所述数据处理系统的输入端电连接,所述数据处理系统的输出端与所述上肢可穿戴式搬运机器人的控制器的输入端电连接。
其中,所述人体生理信息计算模块用于计算人体生理信息,并将人体生理信息传输给神经网络模块、主成分分析模块,所述人体生理信息包括BMI指数、人体肌肉质量:
根据人体的身高、体重计算BMI指数为
BMI=体重(千克)/(身高(米)*身高(米)) (1)
对体质秤多次测量的人体肌肉质量取平均值作为人体肌肉质量MM。
本实施例中,选择了7位不同体质的18至30岁成年男性作为研究对象,其中6名作为实验组A,另1名作为实验组B。将实验组A作为训练组,实验组B作为验证组。经过计算,7名实验者的人体生理信息如下表1所示。
表1
所述表面干电极肌电传感器用于测量上肢肌电信号。表面干电极肌电传感器对上肢肌电信号通过放大器和陷波滤波器进行放大和滤波处理后,得到幅值为0.5V~1.5V、通带频率为10~500Hz的肌电信号u(t)。其中,采样频率取100Hz。然后将滤波处理后的上肢肌电信号u(t)传输给数据处理系统。
所述肌电信号特征值计算模块用于计算上肢肌电信号在一段时间间隔内的平均幅值并对平均幅值进行规范化处理得到正则化平均幅值,根据上肢肌电信号计算上肢肌肉激活程度,并将正则化平均幅值传输给神经网络模块、主成分分析模块、滑动平均滤波模块,将上肢肌肉激活程度传输给主成分分析模块、滑动平均滤波模块:
计算上肢肌电信号u(t)在一段时间间隔Ti内的平均幅值MAVi为
其中,Ti为第i个时间间隔,i∈{1,2,...,n},n为时间间隔总数,t为时间;
对平均幅值MAVi进行规范化处理,将平均幅值规范化为[0,1]区间的无量纲序列,得到正则化平均幅值为
根据上肢肌电信号u(t)计算上肢肌肉激活程度A(t)为
其中,λ为参数,-3<λ<0。
所述前臂六轴惯性传感器2-2、上臂六轴惯性传感器2-1分别用于测量前臂、上臂的绕三轴旋转角度,并将前臂、上臂的绕三轴旋转角度传输给数据处理系统。
所述上肢关节角度计算模块用于根据前臂、上臂的绕水平两轴旋转角度计算上肢关节角度,并将上肢关节角度传输给主成分分析模块、If-Then决策器模块:
根据前臂六轴惯性传感器测得的前臂的绕x轴、y轴旋转角度θx1、θy1及上臂六轴惯性传感器测得的上臂的绕x轴、y轴旋转角度θx2、θy2计算上肢关节角度q为
其中,q0为成年男子前臂近似为圆台体后的近似锥角,θy20为上臂六轴惯性传感器的初始角度。
由于人体的大臂、小臂并非是平面而是曲面的,为了方便计算,将人的大臂和小臂近似为圆台体,根据公式(5)计算上肢关节角度q。
对实验组A测试后发现,成年男子前臂近似为圆台体后的近似锥角q0的取值范围为[3.06,5.38]°,取平均值为4.22°。
四阶段处理模块中集成的算法是一种多信号融合算法,经过四阶段处理后,识别系统将输出意图信息指导上肢可穿戴式搬运机器人完成搬运任务。
四阶段处理模块的第一阶段模块为神经网络模块。所述神经网络模块用于根据正则化平均幅值、人体生理信息估算负载质量标签,并将负载质量标签估计值传输给主成分分析模块、滑动平均滤波模块。
所述神经网络模块包括训练后的基于ANN神经网络的负载质量估算模型和负载质量标签计算模块。
所述负载质量估算模型用于根据输入的正则化平均幅值、BMI指数、人体肌肉质量,输出负载质量估计向量。
所述负载质量标签计算模块用于将负载质量估计向量转换为负载质量标签估计值。
利用神经网络的分类能力,构建基于ANN神经网络的负载质量估算模型来估算所搬运的重物的负载质量。考虑到每名穿戴者的个体差异,神经网络的输入项包括正则化平均幅值、BMI指数、人体肌肉质量。考虑到模型需要具有的普适能力,单臂所承担的负载质量(kg)的实际范围为[0,3]。
本实施例中,所述负载质量估算模型为基于BP神经网络的负载质量估算模型,网格结构为3-10-4。其中,3个输入项分别为正则化平均幅值、BMI指数、人体肌肉质量;负载质量估算模型的隐含层节点数为10、输出层节点数为4,输出为负载质量估计向量(M1,M2,M3,M4)。其中,Mj∈{0,1},j∈{1,2,3,4},Mj=1代表负载质量属于第j种负载质量,Mj=0代表负载质量不属于第j种负载质量,第1、2、3、4种负载质量分别为0kg、(0kg,1kg]、(1kg,2kg]、(2kg,+∞),分别对应无负载、非常轻的负载、较轻的负载、较重的负载。
所述负载质量标签计算模块用于将负载质量估计向量(M1,M2,M3,M4)转换为负载质量标签估计值M;其中,当Mj=1时M=j。
由实验组A的数据训练所述负载质量估算模型的未知参数,而实验组B用于验证训练后的模型的效果。
实验组A共进行了3天的负重单臂托举测试,过程见图4。实验者在每次的托举实验前要保持手臂竖直向下并自然放松的状态,在托举信号指令发出后缓慢抬起前臂至水平位置,保持3至5秒后,缓慢落下。每次托举前后休息1min以缓解肌肉疲劳。
将收集后的实验数据筛选出有效的1000组数据用于模型拟合。训练后的神经网络的权重值和偏移量见表2、表3、表4及表5。其中,表2中的参数为输入层传递至隐含层的权重值,权重Wij代表第i个输入结点传递至隐含层中第j个结点;表3中的参数为隐含层传递至输出层的权重值,权重Wj-k代表隐含层的第j个结点传递至输出层第k个结点。表4和表5为偏移表,偏移bij代表第i层的第j个结点的偏移量。
实验组B以相同过程进行测试,用实验组B的数据来验证训练后的负载质量估算模型的准确性,得到如图5所示的验证结果。由图5可以看出,本发明的训练后的负载质量估算模型的准确性很高。
表2
表3
表4
表5
四阶段处理模块的第二阶段模块为主成分分析模块。所述主成分分析模块用于根据负载质量标签估计值、正则化平均幅值、上肢肌肉激活程度、人体生理信息、上肢关节角度利用主成分分析法构建并求解低维度的上肢关节角度估算模型,并将求解出的上肢关节角度估算模型传输给滑动平均滤波模块。
利用主成分分析法构建低维度的上肢关节角度估算模型为
其中,ask为线性参数,L为阶数;Y1、Y2为降维后的主成分,α1、β1、γ1、χ1、δ1为主成分Y1各项的系数,α2、β2、γ2、χ2、δ2为主成分Y2各项的系数,M为负载质量标签估计值,为正则化平均幅值,A上肢肌肉激活程度,BMI为BMI指数,MM为人体肌肉质量;
利用主成分分析PCA的降维能力,基于PCA方法构建上肢关节角度估算模型。所利用的高维数据包括负载质量标签估计值M、正则化平均幅值上肢肌肉激活程度A、BMI指数BMI、人体肌肉质量MM。根据负载质量标签估计值、正则化平均幅值、上肢肌肉激活程度、人体生理信息、上肢关节角度的一组历史数据求解所述上肢关节角度估算模型。
收集实验组A和实验组B的上述高维数据。将实验组A的高维数据利用SPSS软件中降维功能下的因子分析得到主成分函数中的参数α1、β1、γ1、χ1、δ1、α2、β2、γ2、χ2、δ2如表6所示。其中,主成分分析的结果和元件矩阵如图6所示,将各自主成分的元件矩阵除以各自主成分特征值的算术平方根,来计算参数α1、β1、γ1、χ1、δ1、α2、β2、γ2、χ2、δ2。
表6
利用求解出的主成分公式计算各主成分。通过Matlab对主成分数据和上肢关节角度数据利用线性多项式拟合曲线轨迹,得到上肢关节角度估算模型的未知系数。本实施例中,阶数L=2,拟合后的模型为:
q(Y1,Y2)=a00+a10Y2+a11Y1+a20Y2 2+a21Y1Y2+a22Y1 2
=-350300-1789Y2+15040Y1-1.757Y2 2+39.48Y1Y2-161.1Y1 2
利用实验组B的高维数据对拟合后的上肢关节角度估算模型进行验证,结果如图7所示。
四阶段处理模块的第三阶段模块为滑动平均滤波模块。所述滑动平均滤波模块用于对上肢关节角度估算模型进行滑动平均滤波,并根据滤波处理后的上肢关节角度估算模型计算前一时刻、当前时刻、下一时刻的上肢关节角度估计值,并将前一时刻和当前时刻的上肢关节角度估计值传输给If-Then决策器模块,将下一时刻的上肢关节角度估计值传输给阻抗调整器。
滑动平均滤波是指先在RAM中建立一个数据缓冲区,依顺序存放N个采样数据,每采进一个新数据,就将最早采集的那个数据丢掉,而后求包括新数据在内的N个数据的算术平均值或加权平均值。
由于拟合后的上肢关节角度估算模型对应的曲线存在波动,因此引入滑动平均滤波器对生成的曲线再次处理,使得轨迹更为光滑、柔顺,更加符合人体运动规则。
本实施例中,经反复测试,兼顾算法的实时性和平滑的实际效果,选择4阶滑动平均滤波器。4阶滑动平均滤波的算法原理如下:
定义窗口大小N,4阶滑动滤波器窗口大小即N=4
定义缓存区,长度为N
本实施例中,实验组B的上肢关节角度估算曲线经4阶滑动平均滤波后得到的曲线如图8所示。
四阶段处理模块的第四阶段模块为If-Then决策器模块。所述If-Then决策器模块用于根据前一时刻和当前时刻的上肢关节角度估计值和当前时刻的上肢关节角度估算运动意图,并将运动意图传输给阻抗调整器。
If-Then决策器是一种定义于特征空间下基于逻辑运算的快速决策方法。本实施例中,根据前一时刻和当前时刻的上肢关节角度估计值和当前时刻的上肢关节角度构建决策模型如表7所示。
表7
表7中的内容具体如下:
对于If-Then模型中的阈值qT1,由于个人习惯不同,一般取[3.5,5]°,针对实验组B的实际情况,qT1取5°。
对于阈值qT2,由于机器人的关节刚度一般较大,因此人机角度不一致则会影响系统的安全性,因此取值不宜过大,而考虑到穿戴者的舒适性,取值过小则容易造成不适。配合如图9所示的3自由度机器人系统,实验者B在人机交互过程中的肘关节曲线如图10所示;图10中的虚线为人的肘关节角度轨迹,实线为机器人的肘关节角度轨迹。由图10可以看出,qT2的较适宜的取值应不大于10°。
根据所给出的阈值,利用实验组B的经滑动平均滤波处理后得到的平滑数据对If-Then决策器进行验证,得到的验证结果如图11所示。图11中,-1表示下降,0表示保持,1表示抬起。经统计,实验结果的正确率为91%。
根据四阶段处理模块的处理后,得到了动作意图和运动角度两种意图信息。这些意图信息在系统的控制中作为指令信号,在系统中起到重要的指导作用。如果上肢可穿戴式搬运机器人直接按估算的运动角度进行位置跟踪,则存在人机交互接口处接触力过大而导致的危险,轻则产生不适感,重则产生安全性风险。因此,为了保证运动过程中人机操作的灵活性和实时性,在运动过程中实时检测人机交互力,利用阻抗调整器根据阻抗模型计算结果配合意图识别的估计结果,调整上肢可穿戴式搬运机器人的关节角度,使得关节角度更加柔顺,能够更好地完成人机交互任务。
所述阻抗调整器在应用中需要使用力传感器,即硅胶气囊。该气囊所用的硅胶采用DragonSkin公司的Fx-pro材料。由于气囊是封闭的,因此当气囊的接触面受到外力后气压将发生变化,实际测试中近似满足理想气体状态方程。硅胶气囊所连接的气压传感器用于测量硅胶气囊的气压值,并将气压值传输给数据处理系统,气压的变化值将用于计算接触力即人机交互力。
如图12所示,所述阻抗调整器用于根据气压值计算人机交互力,根据人机交互力计算上肢关节角度变化量,结合运动意图对下一时刻的上肢关节角度估计值进行调整,并将调整后的上肢关节角度估计值传输给上肢可穿戴式搬运机器人的控制器。
本实施例中,根据气压值计算人机交互力F为
其中,K为线性系数,P1为人机接触前的气压值,P2为人机接触后的气压值,E为弹性模量,I为惯性系数,V为硅胶气囊内部体积,e为硅胶气囊壁厚,l为硅胶气囊长度。
根据人机交互力计算人机交互力矩τint为
τint=JT(F-Fd) (8)
其中,Fd为人机交互力的期望值,JT为上肢可穿戴式搬运机器人雅克比矩阵的转置。
根据公式(9)利用人机交互力矩τint计算上肢关节角度变化量Δq
利用Δq,结合运动意图对下一时刻的上肢关节角度估计值进行调整。
阻抗调整器将得到的运动信息转化为执行器跟踪的期望角度。根据公式(9)所示出的原理,阻抗调整器将根据实际的人机交互力矩对估算的角度进行再次调整,得到更为安全的、柔顺的关节角度。
本实施例中,设定刚度系数K1为50,阻尼系数B为10,并设定较为安全的人机交互力矩期望值Fd为2Nm。其中,2Nm是参考了健康人做指鼻运动时上肢关节力矩的最大值,因此该值是安全的且是全体实验者都可以轻易实现的。
本实施例中,通过阻抗调整器对实验组B的上肢关节角度估计值进行调整,得到调整后的上肢关节角度估算曲线如图13所示。对比图8与图13可知,阻抗调整器调整后的上肢关节角度估算曲线更加光滑,上肢可穿戴式搬运机器人的关节运动将更加柔顺。
显然,上述实施例仅仅是本发明的一部分实施例,而不是全部的实施例。上述实施例仅用于解释本发明,并不构成对本发明保护范围的限定。基于上述实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等,均落在本发明要求的保护范围内。
Claims (9)
1.一种基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,其特征在于:包括传感器系统、数据处理系统;
所述传感器系统包括表面干电极肌电传感器、六轴惯性传感器、硅胶气囊;所述六轴惯性传感器包括前臂六轴惯性传感器、上臂六轴惯性传感器,所述硅胶气囊的一端连接有气压传感器;
所述数据处理系统为集成人体生理信息计算模块、肌电信号特征值计算模块、上肢关节角度计算模块、四阶段处理模块、阻抗调整器的上位机,所述四阶段处理模块包括依次连接的神经网络模块、主成分分析模块、滑动平均滤波模块、If-Then决策器模块;
所述表面干电极肌电传感器、六轴惯性传感器、气压传感器的输出端均与所述数据处理系统的输入端电连接,所述数据处理系统的输出端与所述上肢可穿戴式搬运机器人的控制器的输入端电连接;
所述表面干电极肌电传感器用于测量上肢肌电信号,对上肢肌电信号进行放大和滤波处理,并将滤波处理后的上肢肌电信号传输给数据处理系统;所述前臂六轴惯性传感器、上臂六轴惯性传感器分别用于测量前臂、上臂的绕三轴旋转角度,并将前臂、上臂的绕三轴旋转角度传输给数据处理系统;所述气压传感器用于测量硅胶气囊的气压值,并将气压值传输给数据处理系统;
所述人体生理信息计算模块用于计算人体生理信息,并将人体生理信息传输给神经网络模块、主成分分析模块,所述人体生理信息包括BMI指数、人体肌肉质量;所述肌电信号特征值计算模块用于计算上肢肌电信号在一段时间间隔内的平均幅值并对平均幅值进行规范化处理得到正则化平均幅值,根据上肢肌电信号计算上肢肌肉激活程度,并将正则化平均幅值传输给神经网络模块、主成分分析模块、滑动平均滤波模块,将上肢肌肉激活程度传输给主成分分析模块、滑动平均滤波模块;所述上肢关节角度计算模块用于根据前臂、上臂的绕水平两轴旋转角度计算上肢关节角度,并将上肢关节角度传输给主成分分析模块、If-Then决策器模块;
所述神经网络模块用于根据正则化平均幅值、人体生理信息估算负载质量标签,并将负载质量标签估计值传输给主成分分析模块、滑动平均滤波模块;
所述主成分分析模块用于根据负载质量标签估计值、正则化平均幅值、上肢肌肉激活程度、人体生理信息、上肢关节角度利用主成分分析法构建并求解低维度的上肢关节角度估算模型,并将求解出的上肢关节角度估算模型传输给滑动平均滤波模块;
所述滑动平均滤波模块用于对上肢关节角度估算模型进行滑动平均滤波,并根据滤波处理后的上肢关节角度估算模型计算前一时刻、当前时刻、下一时刻的上肢关节角度估计值,并将前一时刻和当前时刻的上肢关节角度估计值传输给If-Then决策器模块,将下一时刻的上肢关节角度估计值传输给阻抗调整器;
所述If-Then决策器模块用于根据前一时刻和当前时刻的上肢关节角度估计值和当前时刻的上肢关节角度估算运动意图,并将运动意图传输给阻抗调整器;
所述阻抗调整器用于根据气压值计算人机交互力,根据人机交互力计算上肢关节角度变化量,结合运动意图对下一时刻的上肢关节角度估计值进行调整,并将调整后的上肢关节角度估计值传输给上肢可穿戴式搬运机器人的控制器。
2.根据权利要求1所述的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,其特征在于,所述人体生理信息计算模块用于计算人体生理信息包括:
根据人体的身高、体重计算BMI指数为
BMI=体重(千克)/(身高(米)*身高(米)) (1)
对体质秤多次测量的人体肌肉质量取平均值作为人体肌肉质量MM。
3.根据权利要求1所述的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,其特征在于,所述肌电信号特征值计算模块用于计算上肢肌电信号在一段时间间隔内的平均幅值并对平均幅值进行规范化处理得到正则化平均幅值,根据上肢肌电信号计算上肢肌肉激活程度,包括:
计算上肢肌电信号u(t)在一段时间间隔Ti内的平均幅值MAVi为
其中,Ti为第i个时间间隔,i∈{1,2,...,n},n为时间间隔总数,t为时间;
对平均幅值MAVi进行规范化处理,得到正则化平均幅值为
根据上肢肌电信号u(t)计算上肢肌肉激活程度A(t)为
其中,λ为参数,-3<λ<0。
5.根据权利要求1所述的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,其特征在于,所述神经网络模块包括训练后的基于ANN神经网络的负载质量估算模型和负载质量标签计算模块;
所述负载质量估算模型用于根据输入的正则化平均幅值、BMI指数、人体肌肉质量,输出负载质量估计向量;
所述负载质量标签计算模块用于将负载质量估计向量转换为负载质量标签估计值。
6.根据权利要求5所述的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,其特征在于,所述负载质量估算模型为基于BP神经网络的负载质量估算模型,所述负载质量估算模型的输出层节点数为4;
负载质量估计向量为(M1,M2,M3,M4),Mj∈{0,1},j∈{1,2,3,4},Mj=1代表负载质量属于第j种负载质量,Mj=0代表负载质量不属于第j种负载质量,第1、2、3、4种负载质量分别为0kg、(0kg,1kg]、(1kg,2kg]、(2kg,+∞);
所述负载质量标签计算模块用于将负载质量估计向量(M1,M2,M3,M4)转换为负载质量标签估计值M;其中,当Mj=1时M=j。
7.根据权利要求1所述的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,其特征在于,所述主成分分析模块用于根据负载质量标签估计值、正则化平均幅值、上肢肌肉激活程度、人体生理信息、上肢关节角度利用主成分分析法构建并求解低维度的上肢关节角度估算模型包括:
利用主成分分析法构建低维度的上肢关节角度估算模型为
其中,ask为线性参数,L为阶数;Y1、Y2为降维后的主成分,α1、β1、γ1、χ1、δ1为主成分Y1各项的系数,α2、β2、γ2、χ2、δ2为主成分Y2各项的系数,M为负载质量标签估计值,为正则化平均幅值,A上肢肌肉激活程度,BMI为BMI指数,MM为人体肌肉质量;
根据负载质量标签估计值、正则化平均幅值、上肢肌肉激活程度、人体生理信息、上肢关节角度的一组历史数据求解所述上肢关节角度估算模型。
9.根据权利要求1所述的基于多信号融合的上肢可穿戴式搬运机器人运动识别系统,其特征在于,所述阻抗调整器用于根据气压值计算人机交互力,根据人机交互力计算上肢关节角度变化量,结合运动意图对下一时刻的上肢关节角度估计值进行调整包括:
根据气压值计算人机交互力F为
其中,K为线性系数,P1为人机接触前的气压值,P2为人机接触后的气压值,E为弹性模量,I为惯性系数,V为硅胶气囊内部体积,e为硅胶气囊壁厚,l为硅胶气囊长度;
根据人机交互力计算人机交互力矩τint为
τint=JT(F-Fd) (8)
其中,Fd为人机交互力的期望值,JT为上肢可穿戴式搬运机器人雅克比矩阵的转置;
根据公式(9)利用人机交互力矩τint计算上肢关节角度变化量Δq
利用Δq,结合运动意图对下一时刻的上肢关节角度估计值进行调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911050460.4A CN110900638B (zh) | 2019-10-31 | 2019-10-31 | 基于多信号融合的上肢可穿戴式搬运机器人运动识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911050460.4A CN110900638B (zh) | 2019-10-31 | 2019-10-31 | 基于多信号融合的上肢可穿戴式搬运机器人运动识别系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110900638A CN110900638A (zh) | 2020-03-24 |
CN110900638B true CN110900638B (zh) | 2022-10-14 |
Family
ID=69816179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911050460.4A Active CN110900638B (zh) | 2019-10-31 | 2019-10-31 | 基于多信号融合的上肢可穿戴式搬运机器人运动识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110900638B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111714324A (zh) * | 2020-05-07 | 2020-09-29 | 广西科技大学 | 人机交互力采集系统 |
CN113043248B (zh) * | 2021-03-16 | 2022-03-11 | 东北大学 | 基于多源传感器的搬运装配全身外骨骼系统及控制方法 |
WO2023133139A1 (en) * | 2022-01-04 | 2023-07-13 | Meta Platforms Technologies, Llc | Adjusting an operational characteristic of one or more neuromuscular-signal sensors to maintain desired impedances, and systems, wearable devices, and methods of use thereof |
CN114800440B (zh) * | 2022-03-09 | 2023-07-25 | 东南大学 | 基于变刚度的外肢体机器人辅助支撑方法 |
CN115463003A (zh) * | 2022-09-09 | 2022-12-13 | 燕山大学 | 一种基于信息融合的上肢康复机器人控制方法 |
CN117012362B (zh) * | 2023-10-07 | 2024-01-12 | 中国康复科学所(中国残联残疾预防与控制研究中心) | 一种适配数据识别方法、系统、设备及存储介质 |
CN117281667B (zh) * | 2023-11-09 | 2024-04-09 | 浙江强脑科技有限公司 | 运动模式识别方法、装置、智能假肢、终端及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6142146B2 (ja) * | 2012-11-28 | 2017-06-07 | 株式会社国際電気通信基礎技術研究所 | 外骨格型ロボットおよびリハビリテーション装置 |
CN104997523B (zh) * | 2014-04-18 | 2019-05-28 | 东北大学 | 一种上肢康复机器人康复训练运动功能评价方法 |
CN109310561B (zh) * | 2016-06-08 | 2021-04-09 | 株式会社国际电气通信基础技术研究所 | 运动示教系统和运动示教方法 |
US11596346B2 (en) * | 2016-08-01 | 2023-03-07 | University Of Utah Research Foundation | Signal processing for decoding intended movements from electromyographic signals |
CN107378944B (zh) * | 2017-06-20 | 2020-12-25 | 东南大学 | 一种基于主成分分析法的多维表面肌电信号假手控制方法 |
CN107397649B (zh) * | 2017-08-10 | 2020-08-14 | 燕山大学 | 一种基于径向基神经网络上肢外骨骼运动意图识别方法 |
CN109620651B (zh) * | 2018-11-16 | 2020-03-31 | 中国科学技术大学 | 基于同步脑肌电的智能辅助康复设备 |
CN110141239B (zh) * | 2019-05-30 | 2020-08-04 | 东北大学 | 一种用于下肢外骨骼的运动意图识别及装置方法 |
-
2019
- 2019-10-31 CN CN201911050460.4A patent/CN110900638B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110900638A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110900638B (zh) | 基于多信号融合的上肢可穿戴式搬运机器人运动识别系统 | |
Cai et al. | SVM-based classification of sEMG signals for upper-limb self-rehabilitation training | |
CN109549821B (zh) | 基于肌电和惯导信号融合的外骨骼机器人助力控制系统及方法 | |
US10959863B2 (en) | Multi-dimensional surface electromyogram signal prosthetic hand control method based on principal component analysis | |
CN110653817B (zh) | 一种基于神经网络的外骨骼机器人助力控制系统与方法 | |
Khan et al. | Accelerometer signal-based human activity recognition using augmented autoregressive model coefficients and artificial neural nets | |
CN104398263B (zh) | 一种基于近似熵和互近似熵的帕金森患者震颤症状量化评测方法 | |
JP7477309B2 (ja) | 生体信号が表す情報を識別するためのシステム | |
CN102622605A (zh) | 一种表面肌电信号的特征提取及动作模式识别方法 | |
Raurale et al. | Emg acquisition and hand pose classification for bionic hands from randomly-placed sensors | |
Inam et al. | A brief review of strategies used for EMG signal classification | |
Raj et al. | Elbow joint angle and elbow movement velocity estimation using NARX-multiple layer perceptron neural network model with surface EMG time domain parameters | |
CN106890038A (zh) | 基于myo臂环的假肢手控制系统及其控制方法 | |
KR100994408B1 (ko) | 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치 | |
Triwiyanto et al. | Single Lead EMG signal to Control an Upper Limb Exoskeleton Using Embedded Machine Learning on Raspberry Pi | |
Li et al. | Joint torque closed-loop estimation using NARX neural network based on sEMG signals | |
Kim et al. | Tele-operation system with reliable grasping force estimation to compensate for the time-varying sEMG feature | |
CN111297366A (zh) | 基于日常生活用品的辅助疾病诊断的数据处理方法和诊断装置 | |
Peng et al. | An sEMG-driven neuromusculoskeletal model of upper limb for rehabilitation robot control | |
Soma et al. | Classification of upper limb motions from around-shoulder muscle activities | |
Guo et al. | A novel fuzzy neural network-based rehabilitation stage classifying method for the upper limb rehabilitation robotic system | |
Ali et al. | EMG based control of a quadcopter | |
Shair et al. | EMG pattern recognition using TFD for future control of in-car electronic equipment | |
Shima et al. | An MMG-based human-assisting manipulator using acceleration sensors | |
Lento et al. | The control concept for upper limb exoskeleton |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |