CN114344077A - 基于semg运动意图识别的柔顺上肢康复机器人系统 - Google Patents
基于semg运动意图识别的柔顺上肢康复机器人系统 Download PDFInfo
- Publication number
- CN114344077A CN114344077A CN202111486230.XA CN202111486230A CN114344077A CN 114344077 A CN114344077 A CN 114344077A CN 202111486230 A CN202111486230 A CN 202111486230A CN 114344077 A CN114344077 A CN 114344077A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- user
- application program
- computer application
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 101000739754 Homo sapiens Semenogelin-1 Proteins 0.000 title claims abstract description 16
- 102100037550 Semenogelin-1 Human genes 0.000 title claims abstract description 16
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 16
- 210000003414 extremity Anatomy 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000003993 interaction Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 18
- 230000003183 myoelectrical effect Effects 0.000 claims description 15
- 210000003205 muscle Anatomy 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000013526 transfer learning Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 238000004883 computer application Methods 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 208000006011 Stroke Diseases 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000002567 electromyography Methods 0.000 description 8
- 230000006378 damage Effects 0.000 description 4
- 210000003169 central nervous system Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010019468 Hemiplegia Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Landscapes
- Rehabilitation Tools (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于SEMG运动意图识别的柔顺上肢康复机器人系统，包括肌电采集设备、计算机应用程序、力传感器、机械臂、把手等。本发明通过把手辅助使用者将患肢固定到机械臂末端，然后应用程序会对肌电采集设备传送过来的肌电信号进行预处理、特征提取以及分类识别，从而得出使用者的运动意图，然后应用程序会结合力传感器的数据以及根据肌电信号识别得到的控制命令，计算出期望的各个关节的速度，然后发送给机械臂控制器，完成机械臂的柔顺控制，使得机械臂能够带动使用者的患肢往被试的期望方向运动，辅助使用者完成康复疗程，起到康复锻炼的同时增加使用者在康复疗程中的参与度并且降低康复训练的成本的作用。
Description
技术领域
本发明涉及肌电信号处理、模式识别以及机械臂控制的技术领域，尤其是指一种基于SEMG运动意图识别的柔顺上肢康复机器人系统。
背景技术
脑卒中，又称中风，是一种高致死率和致残率的疾病。中风病人，通常在中风后，将会致残。中风患者中有偏瘫症状的占85％，该情况在年龄较大的人群中出现率极高。目前，中国有800多万中风患者，其中致残率高达75％。对于中风致残患者而言，其致残的根本原因不是肢体本身受到了伤害造成骨骼或肌肉的损伤而形成的，而是他们的中枢神经系统由于中风的原因受到了损伤，导致中枢神经系统无法对躯体进行有效的控制。对于他们而言，在经过外科手术等急性的临床处理后，后期的康复治疗活动成为帮助他们恢复自我生活能力的重要途径。
然而，这些康复活动往往需要一个很长的周期。在传统的康复治疗活动里，患者的康复活动往往需要理疗师辅助患者进行肢体活动，这种康复方式一般比较耗时，康复成本较高；而且，由于患者的主动控制比较难实现，因此患肢的训练过程一般都是被动的，训练方式比较单一。
为了改善致残患者的康复疗效和康复成本，需要设计一套能够辅助患者完成康复运动，增加患者在康复运动中的参与度并且能够保证患者在参与康复运动过程中的安全性，确保患者在使用过程中不会受到过大的拉力的康复系统来辅助患者完成康复运动。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种安全可靠的基于SEMG运动意图识别的柔顺上肢康复机器人系统。
为实现上述目的，本发明所提供的技术方案为：基于SEMG运动意图识别的柔顺上肢康复机器人系统，包括用于采集肌电信号的肌电采集设备、负责根据肌电信号提取运动意图以及对机械臂进行柔顺运动控制和展示人机交互界面的计算机应用程序、用于采集受力信息的力传感器、机械臂和把手，其中：
所述肌电采集设备通过数据发送器将采集到的肌电信号传送给计算机应用程序；
所述计算机应用程序中的运动意图识别模块对肌电采集设备传送过来的肌电信号进行预处理、特征提取和分类识别，从而提取出用户的运动意图，并且将该运动意图转换为机械臂的控制指令；
所述力传感器会将采集到的外力信息传送给计算机应用程序；
所述计算机应用程序中的机械臂控制模块对力传感器传送回来的数据进行分析，判断机械臂末端与使用者之间的相互作用力是否超过预先设定的阈值，如果超过阈值，那么就进入机械臂柔顺控制模式，沿着外力方向运动，避免对使用者造成伤害，否则，按照之前提取出来的控制指令对机械臂进行控制，使其按照使用者的运动意图移动；
所述计算机应用程序会获取当前机械臂的状态信息，包括机械臂当前的末端速度、末端位置、外力信息，并会呈现一个人机交互界面给使用者，该界面会反馈当前机械臂末端的位置以及呈现一个目标点，用于指引使用者往目标点移动，当计算机应用程序获取到机械臂状态信息的时候，会在人机交互界面上实时刷新对应的数据；
所述机械臂在计算机应用程序的控制下会牵引使用者的患肢往期望方向移动；
所述把手用于辅助使用者将患肢手部放置在机械臂的末端上。
进一步，所述肌电采集设备通过多通道的电极来采集使用者上臂肌肉的肌电信号，通过数据发送器将采集到的肌电信号传送给计算机应用程序。
进一步，所述计算机应用程序中的运动意图识别模块会对肌电采集程序传送回来的肌电信号进行预处理操作，预处理操作包括对肌电信号进行50HZ的自适应陷波处理，用来去除工频干扰，然后再使用1-100HZ的带通滤波器来提取肌电信号的有效成分；对于提取得到的有效成分，运动意图识别模块会进行特征提取操作，特征提取操作主要是使用Gabor小波变换来对肌电信号进行时频域特征提取操作，提取了肌电信号中以1、2、3、4、5、6、7、9、12、16、21、27、36、48、64、85这16个频率为中心频率的子带信号作为肌电信号的特征，提取后的特征经过降采样以及交换维度的方式转换为12*8*16维的输入特征，用于后续的分类识别。
进一步，所述计算机应用程序中的运动意图识别模块会将提取到的特征输入到后续的基于卷积神经网络的分类器中；在进行分类器设计的时候，考虑到肌电信号是一个时间序列，在设计基于卷积神经网络的分类器的时候，除了考虑让卷积核在空间维度上进行卷积，使其能够识别信号的空间特征以外，还要让卷积核在时间维度上进行卷积，使其能够识别信号的空间特征随着时间的变化特征，为此，这里使用了慢融合模型的设计方式，该方式能够缓慢地融合整个网络中的时间信息，以便更高的层在空间和时间维度上获得越来越多的全局信息，具体的做法是：通过在时间维度上扩展所有的卷积层的连通性来实现的，相当于在对空间进行卷积的同时还对时间进行卷积，此外，为了能够充分利用其他被试者的训练数据，在进行分类器设计的时候，采用了迁移学习的网络架构，最终的目标网络由两个网络组成，第一个网络称为源网络，通过预训练的数据集来进行训练，在进行迁移学习的时候会冻结源网络中除了BN层以外的所有参数；第二个网络的结构与第一个网络相同，源网络通过一个额外的连接层参数来将预训练得到的模型的每一模块的输出与第二个网络中的前一个模块的输出连接到一起，作为下一个模块的输入，通过调整连接层的参数就能够控制源网络对第二个网络的影响程度，从而使得基于预训练模型的迁移学习能够更好地完成；分类器在实际使用过程中，会根据输入的信号特征，最终识别出使用者的运动意图，然后将运动意图转换为相应的控制指令。
进一步，所述力传感器通过螺栓固定在机械臂的末端上，能够采集X轴、Y轴、Z轴的外力以及X轴、Y轴、Z轴的扭矩信息，采集到的相关信息会传送给计算机应用程序。
进一步，所述计算机应用程序中的机械臂控制模块会对力传感器传送回来的数据进行分析，判断外力的大小是否超过预设的阈值，如果超过，则进入柔顺控制模式，此时机械臂会对外力表现出一种顺从的状态，即沿着外力方向移动，机械臂控制模块采用自适应阻抗控制算法来完成机械臂的柔顺控制，自适应阻抗控制算法会让机械臂往受力方向移动，直到机械臂末端的受力削减到0为止；如果检测到的外力大小小于阈值，那么就按照使用者的控制命令移动，但是如果机械臂末端当前的位置已经到达了移动的边界，那么机械臂不会越过预设的边界，而是停在边界上，不再移动，确保安全；经过上述处理后，机械臂控制模块会先得出机械臂的末端速度，接下来，机械臂控制模块通过其ROS控制器将机械臂的末端速度转换为各个关节的期望速度，并将这些期望速度发送给机械臂控制器，完成机械臂的运动控制；此外，机械臂控制模块会采集当前机械臂的状态信息，包括当前机械臂末端的位置、速度、受力信息。
进一步，所述计算机应用程序会展示一个人机交互界面给使用者，通过交互界面来引导使用者积极参与到康复训练中；交互界面包括用于表示当前机械臂末端位置的小点以及用于表示期望位置的图标，使用者通过控制健肢侧手部肌肉完成不同的动作，从而控制机械臂往期望位置移动；每当计算机应用程序采集到机械臂状态数据的时候，都会对交互界面进行刷新。
进一步，所述机械臂用于牵引使用者的患肢来进行康复训练，计算机应用程序根据采集到的外力信息以及基于肌电信号识别得到的控制命令得出机械臂不同关节在下一个控制周期的期望速度，然后将这些期望速度发送给机械臂控制模块的机械臂控制器，从而控制机械臂末端牵引使用者的患肢往期望方向移动。
进一步，所述把手通过螺栓与力传感器相连，主要用于辅助使用者将患肢手部放置在机械臂末端上，让机械臂能够更好地牵引使用者的患肢，从而完成相应的康复运动；此外，对把手施加的外力大小会被力传感器检测，用于后续的相关控制。
本发明与现有技术相比，具有如下优点与有益效果：
本发明通过肌电采集设备来采集使用者健肢侧活动肌肉的肌电信号，对采集到的肌电信号进行预处理以及特征提取操作，提取到的特征信号输入到基于卷积神经网络的分类器中进行分类识别，根据分类识别的结果得到使用者的控制命令，然后计算机应用程序会先根据力传感器传送回来的信号判断当前康复机器人对使用者的牵引力是否过大，如果过大的话，就进入柔顺控制模式，通过自适应阻抗控制算法来控制机械臂往受力方向移动，避免牵引力过大，对使用者造成伤害，否则，计算机应用程序根据识别得到的控制命令控制机械臂往期望方向移动，使用者的患肢手部通过把手的辅助固定到机械臂的末端上，因此当机械臂在往期望方向移动的同时，也会牵引患者的患肢往期望方向移动，从而达到了辅助患者完成康复疗程的作用。此外，通过人机交互界面来给使用者呈现移动目标位置的方式可以增加使用者在康复过程中的参与度与乐趣。本发明在无需康复师的情况下，可以由使用者通过控制健肢侧的肌肉来表达自身的运动意图，进而控制机械臂带动患肢侧往期望方向移动，起到了康复锻炼的同时增加了使用者在康复疗程中的参与度并且降低了康复训练的成本。此外，通过引入自适应控制算法，避免了无意中机械臂对使用者的牵引力过大而导致拉伤使用者情况的出现。
附图说明
图1为本发明系统的机械结构组成图。
图2为本发明系统的工作流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
本实施例公开了一种基于SEMG运动意图识别的柔顺上肢康复机器人系统，包括用于采集肌电信号的肌电采集设备、负责根据肌电信号提取运动意图以及对机械臂进行柔顺运动控制和展示人机交互界面的计算机应用程序、用于采集受力信息的力传感器、机械臂、把手等。见图1所示，图中1为机械臂，由计算机应用程序通过网络将控制命令发送给机械臂的控制器，进而完成机械臂不同关节的速度控制，此外，为了保证机械臂整体的稳定性，机械臂的支座通过螺栓固定在支架上；图中2为力传感器，通过螺栓固定在机械臂1的末端，跟随机械臂1末端移动，用于采集人与机械臂1之间的交互力数据；图中3为把手，通过螺栓与力传感器2相连，对把手3施加外力的时候，可以通过力传感器2检测出来，使用者可以通过把手3的辅助，将患肢侧的手部固定在机械臂1末端，使得手部可以跟随机械臂1的末端移动，让机械臂1能够更好地牵引使用者的患肢，从而完成相应的康复运动，此外，对把手3施加的外力大小会被力传感器2检测，用于后续的相关控制。
见图2所示，所述的肌电采集设备通过多通道的电极来采集使用者上臂肌肉的肌电信号，通过数据发送器将采集到的肌电信号传送给计算机应用程序。所述计算机应用程序中的运动意图识别模块对肌电采集设备传送过来的肌电信号进行预处理、特征提取和分类识别，从而提取出用户的运动意图，并且将该运动意图转换为机械臂的控制指令。所述力传感器会将采集到的外力信息传送给计算机应用程序。所述计算机应用程序中的机械臂控制模块对力传感器传送回来的数据进行分析，判断机械臂末端与使用者之间的相互作用力是否超过预先设定的阈值，如果超过了阈值，那么就进入机械臂柔顺控制模式，沿着外力方向运动，避免对使用者造成伤害，否则，按照之前提取出来的控制指令对机械臂进行控制，使其按照使用者的运动意图移动。所述计算机应用程序会获取机械臂当前的末端速度、末端位置、外力等状态信息。所述计算机应用程序会呈现一个人机交互界面给使用者，该界面会反馈当前机械臂末端的位置以及呈现一个目标点，用以指引使用者往目标点移动，当计算机应用程序获取到机械臂状态信息的时候，会在人机交互界面上实时刷新对应的数据。
所述计算机应用程序中的运动意图识别模块会对肌电采集程序传送回来的肌电信号进行预处理操作，预处理操作包括对肌电信号进行50HZ的自适应陷波处理，用来去除工频干扰，然后再使用1-100HZ的带通滤波器来提取肌电信号的有效成分。对于提取得到的有效成分，运动意图识别模块会进行特征提取操作，特征提取操作主要是使用Gabor小波变换来对肌电信号进行时频域特征提取操作，这里主要是提取了肌电信号中以1、2、3、4、5、6、7、9、12、16、21、27、36、48、64、85这16个频率为中心频率的子带信号作为肌电信号的特征，提取后的特征经过降采样以及交换维度的方式转换为12*8*16维的输入特征，用于后续的分类识别。
所述计算机应用程序中的运动意图识别模块会将提取到的特征输入到后续的基于卷积神经网络的分类器中。在进行分类器设计的时候，考虑到肌电信号是一个时间序列，在设计基于卷积神经网络的分类器的时候，除了可以考虑让卷积核在空间维度上进行卷积，使其可以识别信号的空间特征以外，还可以让卷积核在时间维度上进行卷积，使其可以识别信号的空间特征随着时间的变化特征，为此，这里使用了慢融合模型的设计方式，该方法可以缓慢地融合整个网络中的时间信息，以便更高的层在空间和时间维度上获得越来越多的全局信息。具体的做法是通过在时间维度上扩展所有的卷积层的连通性来实现的，相当于在对空间进行卷积的同时还对时间进行卷积。此外，为了能够充分利用其它被试的训练数据，在进行分类器设计的时候，采用了迁移学习的网络架构，最终的目标网络由两个网络组成，第一个网络也被称为源网络，通过预训练的数据集来进行训练，在进行迁移学习的时候会冻结源网络中除了BN层以外的所有参数；第二个网络的结构与第一个网络相同。源网络通过一个额外的连接层参数来将预训练得到的模型的每一模块的输出与第二个网络中的前一个模块的输出连接到一起，作为下一个模块的输入，通过调整连接层的参数就可以控制源网络对第二个网络的影响程度，从而使得基于预训练模型的迁移学习能够更好地完成。分类器在实际使用过程中，会根据输入的信号特征，最终识别出使用者的运动意图，然后将运动意图转换为相应的控制指令。
所述计算机应用程序中的机械臂控制模块会对力传感器传送回来的数据进行分析，判断外力的大小是否超过预设的阈值，如果超过了的话，会进入柔顺控制模式，此时机械臂会对外力表现出一种顺从的状态，即沿着外力方向移动，具体来讲，这里采用自适应阻抗控制算法来完成机械臂的柔顺控制，自适应阻抗控制算法会让机械臂往受力方向移动，直到机械臂末端的受力削减到0为止；如果检测到的外力大小小于阈值的话，那么就按照使用者的控制命令移动，但是如果机械臂末端当前的位置已经到达了移动的边界的话，那么机械臂不会越过预设的边界，而是停在边界上，不再移动，确保安全。经过上述处理后，机械臂控制模块先得出了机械臂的末端速度，接下来，机械臂控制模块通过ROS控制器程序将机械臂末端速度转换为各个关节的期望速度，并将这些期望速度发送给机械臂控制器，完成机械臂的运动控制。此外，机械臂控制模块会采集当前机械臂的状态信息，包括了当前机械臂末端的位置、速度、受力信息等。
所述计算机应用程序会展示一个人机交互界面给使用者，通过交互界面来引导使用者积极参与到康复训练中。具体来讲，交互界面包括了用于表示当前机械臂末端位置的小点以及用于表示期望位置的图标，使用者通过控制健肢侧手部肌肉完成不同的动作从而控制机械臂往期望位置移动。每当计算机应用程序采集到机械臂状态数据的时候，都会对交互界面进行刷新。
下面为本实施例上述基于SEMG运动意图识别的柔顺上肢康复机器人系统的工作流程，具体过程如下：
首先，使用者需要先将肌电采集设备的电极牢固固定在上臂肌肉处。
接下来，使用者可以根据预先设置的手势和控制命令的映射关系，根据自身的运动意图，控制健肢侧的肌肉来完成不同的手势动作。当使用者在做出指定的手势动作的时候，肌电采集设备会采集此时的表面肌电信号，然后通过数据发送器将数据传送给计算机应用程序，计算机应用程序中的运动意图识别模块会先对传送回来的肌电信号进行预处理操作，预处理操作包括对肌电信号进行50HZ的自适应陷波处理，用来去除工频干扰，然后再使用1-100HZ的带通滤波器来提取肌电信号的有效成分。对于提取得到的有效成分，运动意图识别模块会对进行特征提取操作，特征提取操作主要是使用Gabor小波变换来对肌电信号进行时频域特征提取操作，这里主要是提取了肌电信号中以1、2、3、4、5、6、7、9、12、16、21、27、36、48、64、85这16个频率为中心频率的子带信号作为肌电信号的特征，提取后的特征经过降采样以及交换维度的方式转换为12*8*16维的输入特征。得到的输入特征会输入到后续的基于卷积神经网络的分类器中，识别出使用者的运动意图，得出最终的控制命令。在进行分类器设计的时候，考虑到肌电信号是一个时间序列，在使用基于卷积神经网络的分类器的时候，除了可以考虑让卷积核在空间维度上进行卷积，使其可以识别信号的空间特征以外，还可以让卷积核在时间维度上进行卷积，使其可以识别信号的空间特征随着时间的变化特征，为此，这里使用了慢融合模型的设计方式，该方法可以缓慢地融合整个网络中的时间信息，以便更高的层在空间和时间维度上获得越来越多的全局信息。具体的做法是通过在时间维度上扩展所有的卷积层的连通性来实现的，相当于在对空间进行卷积的同时还对时间进行卷积。此外，为了能够充分利用其它被试的训练数据，在进行分类器设计的时候，采用了迁移学习的网络架构，最终的目标网络由两个网络组成，第一个网络也被称为源网络，通过预训练的数据集来进行训练，在进行迁移学习的时候会冻结源网络中除了BN层以外的所有参数；第二个网络的结构与第一个网络相同。源网络通过一个额外的连接层参数来将预训练得到的模型的每一模块的输出与第二个网络中的前一个模块的输出连接到一起，作为下一个模块的输入，通过调整连接层的参数就可以控制源网络对第二个网络的影响程度，从而使得基于预训练模型的迁移学习能够更好地完成。分类器在实际使用过程中，会根据输入的信号特征，最终识别出使用者的运动意图，然后将运动意图转换为相应的控制指令。
计算机应用程序在得到控制命令的同时，也会监测来自力传感器的信息，力传感器可以采集三轴(X轴、Y轴、Z轴)的外力以及三轴(X轴、Y轴、Z轴)的扭矩信息。计算机应用程序中的机械臂控制模块会先判断外力的大小是否超过预设的阈值，如果超过了的话，会进入柔顺控制模式，此时机械臂会对外力表现出一种顺从的状态，即沿着外力方向移动，具体来讲，这里采用自适应阻抗控制算法来完成机械臂的柔顺控制，自适应阻抗控制算法会让机械臂往受力方向移动，直到机械臂末端的受力削减到0为止；如果检测到的外力大小小于阈值的话，那么就按照使用者的控制命令移动，但是如果机械臂末端当前的位置已经到达了移动的边界的话，那么机械臂不会越过预设的边界，而是停在边界上，不再移动，确保安全。经过上述处理后，机械臂控制模块先得出了机械臂的末端速度，接下来，机械臂控制模块通过ROS控制器程序将机械臂末端速度转换为各个关节的期望速度，并将这些期望速度发送给机械臂控制器，完成机械臂的运动控制。此外，机械臂控制模块会采集当前机械臂的状态信息，包括了当前机械臂末端的位置、速度、受力信息等。
为了能够提高使用者在康复过程中的参与度以及趣味性，计算机应用程序会展示一个人机交互界面给使用者，通过交互界面来引导使用者积极参与到康复训练中。具体来讲，交互界面包括了用于表示当前机械臂末端位置的小点以及用于表示期望位置的图标，使用者通过控制健肢侧手部肌肉完成不同的动作从而控制机械臂往期望位置移动。每当计算机应用程序采集到机械臂状态数据的时候，都会对交互界面进行刷新。
使用者患肢侧手部通过把手的辅助固定在机械臂的末端上，根据前述内容，使用者可以通过健肢完成不同的手势动作，进而控制机械臂往期望方向移动，机械臂在移动的同时会牵引患肢往期望方向移动，从而达到对患肢进行康复锻炼的作用。
综上所述，本发明系统可以由使用者通过控制健肢侧的肌肉来表达自身的运动意图，进而控制机械臂带动患肢侧往期望方向移动，起到了康复锻炼的同时增加了使用者在康复疗程中的参与度并且降低了康复训练的成本。此外，通过引入自适应控制算法，避免了无意中机械臂对使用者的牵引力过大而导致拉伤使用者情况的出现，值得推广。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.基于SEMG运动意图识别的柔顺上肢康复机器人系统，其特征在于，包括用于采集肌电信号的肌电采集设备、负责根据肌电信号提取运动意图以及对机械臂进行柔顺运动控制和展示人机交互界面的计算机应用程序、用于采集受力信息的力传感器、机械臂和把手，其中：
所述肌电采集设备通过数据发送器将采集到的肌电信号传送给计算机应用程序；
所述计算机应用程序中的运动意图识别模块对肌电采集设备传送过来的肌电信号进行预处理、特征提取和分类识别，从而提取出用户的运动意图，并且将该运动意图转换为机械臂的控制指令；
所述力传感器会将采集到的外力信息传送给计算机应用程序；
所述计算机应用程序中的机械臂控制模块对力传感器传送回来的数据进行分析，判断机械臂末端与使用者之间的相互作用力是否超过预先设定的阈值，如果超过阈值，那么就进入机械臂柔顺控制模式，沿着外力方向运动，避免对使用者造成伤害，否则，按照之前提取出来的控制指令对机械臂进行控制，使其按照使用者的运动意图移动；
所述计算机应用程序会获取当前机械臂的状态信息，包括机械臂当前的末端速度、末端位置、外力信息，并会呈现一个人机交互界面给使用者，该界面会反馈当前机械臂末端的位置以及呈现一个目标点，用于指引使用者往目标点移动，当计算机应用程序获取到机械臂状态信息的时候，会在人机交互界面上实时刷新对应的数据；
所述机械臂在计算机应用程序的控制下会牵引使用者的患肢往期望方向移动；
所述把手用于辅助使用者将患肢手部放置在机械臂的末端上。
2.根据权利要求1所述的基于SEMG运动意图识别的柔顺上肢康复机器人系统，其特征在于，所述肌电采集设备通过多通道的电极来采集使用者上臂肌肉的肌电信号，通过数据发送器将采集到的肌电信号传送给计算机应用程序。
3.根据权利要求1所述的基于SEMG运动意图识别的柔顺上肢康复机器人系统，其特征在于，所述计算机应用程序中的运动意图识别模块会对肌电采集程序传送回来的肌电信号进行预处理操作，预处理操作包括对肌电信号进行50HZ的自适应陷波处理，用来去除工频干扰，然后再使用1-100HZ的带通滤波器来提取肌电信号的有效成分；对于提取得到的有效成分，运动意图识别模块会-进行特征提取操作，特征提取操作主要是使用Gabor小波变换来对肌电信号进行时频域特征提取操作，提取了肌电信号中以1、2、3、4、5、6、7、9、12、16、21、27、36、48、64、85这16个频率为中心频率的子带信号作为肌电信号的特征，提取后的特征经过降采样以及交换维度的方式转换为12*8*16维的输入特征，用于后续的分类识别。
4.根据权利要求1所述的基于SEMG运动意图识别的柔顺上肢康复机器人系统，其特征在于，所述计算机应用程序中的运动意图识别模块会将提取到的特征输入到后续的基于卷积神经网络的分类器中；在进行分类器设计的时候，考虑到肌电信号是一个时间序列，在设计基于卷积神经网络的分类器的时候，除了考虑让卷积核在空间维度上进行卷积，使其能够识别信号的空间特征以外，还要让卷积核在时间维度上进行卷积，使其能够识别信号的空间特征随着时间的变化特征，为此，这里使用了慢融合模型的设计方式，该方式能够缓慢地融合整个网络中的时间信息，以便更高的层在空间和时间维度上获得越来越多的全局信息，具体的做法是：通过在时间维度上扩展所有的卷积层的连通性来实现的，相当于在对空间进行卷积的同时还对时间进行卷积，此外，为了能够充分利用其他被试者的训练数据，在进行分类器设计的时候，采用了迁移学习的网络架构，最终的目标网络由两个网络组成，第一个网络称为源网络，通过预训练的数据集来进行训练，在进行迁移学习的时候会冻结源网络中除了BN层以外的所有参数；第二个网络的结构与第一个网络相同，源网络通过一个额外的连接层参数来将预训练得到的模型的每一模块的输出与第二个网络中的前一个模块的输出连接到一起，作为下一个模块的输入，通过调整连接层的参数就能够控制源网络对第二个网络的影响程度，从而使得基于预训练模型的迁移学习能够更好地完成；分类器在实际使用过程中，会根据输入的信号特征，最终识别出使用者的运动意图，然后将运动意图转换为相应的控制指令。
5.根据权利要求1所述的基于SEMG运动意图识别的柔顺上肢康复机器人系统，其特征在于，所述力传感器通过螺栓固定在机械臂的末端上，能够采集X轴、Y轴、Z轴的外力以及X轴、Y轴、Z轴的扭矩信息，采集到的相关信息会传送给计算机应用程序。
6.根据权利要求1所述的基于SEMG运动意图识别的柔顺上肢康复机器人系统，其特征在于，所述计算机应用程序中的机械臂控制模块会对力传感器传送回来的数据进行分析，判断外力的大小是否超过预设的阈值，如果超过，则进入柔顺控制模式，此时机械臂会对外力表现出一种顺从的状态，即沿着外力方向移动，机械臂控制模块采用自适应阻抗控制算法来完成机械臂的柔顺控制，自适应阻抗控制算法会让机械臂往受力方向移动，直到机械臂末端的受力削减到0为止；如果检测到的外力大小小于阈值，那么就按照使用者的控制命令移动，但是如果机械臂末端当前的位置已经到达了移动的边界，那么机械臂不会越过预设的边界，而是停在边界上，不再移动，确保安全；经过上述处理后，机械臂控制模块会先得出机械臂的末端速度，接下来，机械臂控制模块通过其ROS控制器将机械臂的末端速度转换为各个关节的期望速度，并将这些期望速度发送给机械臂控制器，完成机械臂的运动控制；此外，机械臂控制模块会采集当前机械臂的状态信息，包括当前机械臂末端的位置、速度、受力信息。
7.根据权利要求1所述的基于SEMG运动意图识别的柔顺上肢康复机器人系统，其特征在于，所述计算机应用程序会展示一个人机交互界面给使用者，通过交互界面来引导使用者积极参与到康复训练中；交互界面包括用于表示当前机械臂末端位置的小点以及用于表示期望位置的图标，使用者通过控制健肢侧手部肌肉完成不同的动作，从而控制机械臂往期望位置移动；每当计算机应用程序采集到机械臂状态数据的时候，都会对交互界面进行刷新。
8.根据权利要求1所述的基于SEMG运动意图识别的柔顺上肢康复机器人系统，其特征在于，所述机械臂用于牵引使用者的患肢来进行康复训练，计算机应用程序根据采集到的外力信息以及基于肌电信号识别得到的控制命令得出机械臂不同关节在下一个控制周期的期望速度，然后将这些期望速度发送给机械臂控制模块的机械臂控制器，从而控制机械臂末端牵引使用者的患肢往期望方向移动。
9.根据权利要求1所述的基于SEMG运动意图识别的柔顺上肢康复机器人系统，其特征在于，所述把手通过螺栓与力传感器相连，主要用于辅助使用者将患肢手部放置在机械臂末端上，让机械臂能够更好地牵引使用者的患肢，从而完成相应的康复运动；此外，对把手施加的外力大小会被力传感器检测，用于后续的相关控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111486230.XA CN114344077A (zh) | 2021-12-07 | 2021-12-07 | 基于semg运动意图识别的柔顺上肢康复机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111486230.XA CN114344077A (zh) | 2021-12-07 | 2021-12-07 | 基于semg运动意图识别的柔顺上肢康复机器人系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114344077A true CN114344077A (zh) | 2022-04-15 |
Family
ID=81096820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111486230.XA Pending CN114344077A (zh) | 2021-12-07 | 2021-12-07 | 基于semg运动意图识别的柔顺上肢康复机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114344077A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101301250A (zh) * | 2008-07-08 | 2008-11-12 | 哈尔滨工业大学 | 五自由度外骨骼式上肢康复机器人交互康复训练控制策略 |
| CN102499853A (zh) * | 2011-11-17 | 2012-06-20 | 北京理工大学 | 拥有主被动模式的上肢康复训练系统 |
| CN105213153A (zh) * | 2015-09-14 | 2016-01-06 | 西安交通大学 | 基于脑肌信息变阻抗的下肢康复机器人控制方法 |
| CN107053179A (zh) * | 2017-04-21 | 2017-08-18 | 哈尔滨思哲睿智能医疗设备有限公司 | 一种基于模糊强化学习的机械臂柔顺力控制方法 |
| CN107320285A (zh) * | 2017-07-28 | 2017-11-07 | 上海逸动医学科技有限公司 | 一种多功能智能康复训练与评估系统 |
| CN107440716A (zh) * | 2017-07-26 | 2017-12-08 | 电子科技大学 | 基于单通道肌电信号的人体下肢运动动作分类辨识方法 |
| CN107753241A (zh) * | 2017-11-20 | 2018-03-06 | 中航创世机器人（东莞）有限公司 | 一种下肢康复治疗智能外骨骼机器人的控制方法 |
| CN110948468A (zh) * | 2018-09-27 | 2020-04-03 | 电装波动株式会社 | 机器人的控制方法和控制装置 |
| CN111531537A (zh) * | 2020-05-07 | 2020-08-14 | 金陵科技学院 | 基于多传感器的机械臂控制方法 |
| CN111956452A (zh) * | 2020-08-29 | 2020-11-20 | 上海电气集团股份有限公司 | 一种上肢康复机器人控制方法及装置 |
| CN112022633A (zh) * | 2020-09-28 | 2020-12-04 | 河南科技大学 | 一种末端牵引上肢康复训练装置 |
| CN112276944A (zh) * | 2020-10-19 | 2021-01-29 | 哈尔滨理工大学 | 一种基于意图识别的人机协作系统控制方法 |
| CN113143676A (zh) * | 2020-12-15 | 2021-07-23 | 天津大学 | 一种基于脑肌电协同的外肢体手指的控制方法 |
| CN113730190A (zh) * | 2021-09-18 | 2021-12-03 | 上海交通大学 | 一种三维空间运动的上肢康复机器人系统 |
-
2021
- 2021-12-07 CN CN202111486230.XA patent/CN114344077A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101301250A (zh) * | 2008-07-08 | 2008-11-12 | 哈尔滨工业大学 | 五自由度外骨骼式上肢康复机器人交互康复训练控制策略 |
| CN102499853A (zh) * | 2011-11-17 | 2012-06-20 | 北京理工大学 | 拥有主被动模式的上肢康复训练系统 |
| CN105213153A (zh) * | 2015-09-14 | 2016-01-06 | 西安交通大学 | 基于脑肌信息变阻抗的下肢康复机器人控制方法 |
| CN107053179A (zh) * | 2017-04-21 | 2017-08-18 | 哈尔滨思哲睿智能医疗设备有限公司 | 一种基于模糊强化学习的机械臂柔顺力控制方法 |
| CN107440716A (zh) * | 2017-07-26 | 2017-12-08 | 电子科技大学 | 基于单通道肌电信号的人体下肢运动动作分类辨识方法 |
| CN107320285A (zh) * | 2017-07-28 | 2017-11-07 | 上海逸动医学科技有限公司 | 一种多功能智能康复训练与评估系统 |
| CN107753241A (zh) * | 2017-11-20 | 2018-03-06 | 中航创世机器人（东莞）有限公司 | 一种下肢康复治疗智能外骨骼机器人的控制方法 |
| CN110948468A (zh) * | 2018-09-27 | 2020-04-03 | 电装波动株式会社 | 机器人的控制方法和控制装置 |
| CN111531537A (zh) * | 2020-05-07 | 2020-08-14 | 金陵科技学院 | 基于多传感器的机械臂控制方法 |
| CN111956452A (zh) * | 2020-08-29 | 2020-11-20 | 上海电气集团股份有限公司 | 一种上肢康复机器人控制方法及装置 |
| CN112022633A (zh) * | 2020-09-28 | 2020-12-04 | 河南科技大学 | 一种末端牵引上肢康复训练装置 |
| CN112276944A (zh) * | 2020-10-19 | 2021-01-29 | 哈尔滨理工大学 | 一种基于意图识别的人机协作系统控制方法 |
| CN113143676A (zh) * | 2020-12-15 | 2021-07-23 | 天津大学 | 一种基于脑肌电协同的外肢体手指的控制方法 |
| CN113730190A (zh) * | 2021-09-18 | 2021-12-03 | 上海交通大学 | 一种三维空间运动的上肢康复机器人系统 |
Non-Patent Citations (1)
| Title |
|---|
| 汤佳易: "基于运动想象的迁移学习分类算法研究", 《中国优秀硕士学位论文全文数据库》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109394476B (zh) | 脑肌信息自动意图识别与上肢智能控制方法及系统 | |
| CN107378944B (zh) | 一种基于主成分分析法的多维表面肌电信号假手控制方法 | |
| Zhang et al. | A survey on robots controlled by motor imagery brain-computer interfaces | |
| CN100594867C (zh) | 一种穿戴式手功能康复机器人及其控制系统 | |
| CN105563495B (zh) | 基于精细化运动想象脑电信号控制的机械手系统及方法 | |
| CN105012057B (zh) | 基于双臂肌电、姿态信息采集的智能假肢及运动分类方法 | |
| CN111584031B (zh) | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 | |
| CN109199783B (zh) | 一种利用sEMG来控制踝关节康复设备刚度的控制方法 | |
| CN105892676A (zh) | 一种血管介入手术送丝机构的人机交互装置、系统及方法 | |
| CN114206292A (zh) | 具有意图感知功能的手功能康复装置 | |
| Anatolievich et al. | Combined use of command-proportional control of external robotic devices based on electromyography signals | |
| CN113730190A (zh) | 一种三维空间运动的上肢康复机器人系统 | |
| Shair et al. | Finger movement discrimination of EMG signals towards improved prosthetic control using TFD | |
| WO2022099807A1 (zh) | 一种基于肌电信号和脑电错误电位的机器人自然控制方法 | |
| Li et al. | Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion | |
| CN108888482B (zh) | 基于运动皮层相关电位的下肢外骨骼康复训练系统 | |
| CN114344077A (zh) | 基于semg运动意图识别的柔顺上肢康复机器人系统 | |
| Bhardwaj et al. | Electromyography in physical rehabilitation: a review | |
| CN115024735A (zh) | 一种基于运动意图识别模型的脑卒中患者康复方法及系统 | |
| Li et al. | The Human–Machine Interface Design Based on sEMG and Motor Imagery EEG for Lower Limb Exoskeleton Assistance System | |
| Liang et al. | Estimation of EMG signal for shoulder joint based on EEG signals for the control of upper-limb power assistance devices | |
| Yu et al. | Continuous estimation of wrist torques with stack-autoencoder based deep neural network: A preliminary study | |
| Ali et al. | EMG based control of a quadcopter | |
| CN111973388A (zh) | 一种基于sEMG的手部康复机器人控制方法 | |
| Cheng et al. | A review of brain information processing for robot control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220415 |