CN109887570B - 一种基于rgb-d相机与imu传感器的机器人辅助康复训练方法 - Google Patents

Abstract

本发明公开了一种基于RGB‑D相机与IMU传感器的机器人辅助康复训练方法，方法通过包括RGB‑D相机和IMU传感器的康复机器人实现，包括：利用RGB‑D相机采集肢体的三维空间方位轨迹数据，利用IMU传感器采集肢体的姿态角信息数据；分别基于三维空间方位轨迹数据和姿态角信息数据采用算法分别得到两组肩关节外展内收角、肩关节屈伸角、肩关节内外旋角和肘关节屈伸角数据；通过融合滤波器将上述求得的两组角度数据融合得到目标患者稳定可靠的运动轨迹数据；搭建辅助康复训练虚拟环境，并将运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，基于实时控制数据控制控制康复机器人辅助目标患者进行康复训练运动；本发明可提高康复训练的工作效率，优化训练效果。

Description

一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法

技术领域

本发明属于康复机器人传感与治疗控制技术领域，具体涉及一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法。

背景技术

世界各国社会老龄化现象愈发加深，老龄化社会中相当一部分老年人群体会产生脑卒中疾病，此类疾病通常是由于脑血管内血块堵塞或者脑血管内动脉破裂导致脑补供血中断而损坏部分大脑功能所引起的。由现代神经康复医学临床实验结果证实，人体大脑的中枢神经系统具有高度的可塑性，因此，对于由脑卒中引起的肢体运动功能障碍的病患来说，康复治疗中配合适当科学的康复训练疗法，让病患主动参与运动康复治疗能够一定程度上恢复受损的肢体功能。

康复机器人技术是近年来发展起来的一种新型的运动神经康复技术，它克服了传统基于康复医师的手把手训练方法效率低下、强度偏弱、评价主观的缺陷。采用机器人装置辅助中风患者进行康复治疗日益明显。首先，机器人能根据患者对训练强度的不同需求确定治疗方案、分析运动数据、优化训练内容并改进康复机器人的功能；其次，康复机器人可以客观记录患者在康复训练中的位置信息、方向、速度等数据供康复医师分析，以评估康复治疗的效果。最后，康复机器人技术与多媒体技术相结合给患者提供丰富多彩的训练内容，提高患者康复训练的积极性，并能及时得到训练治疗的反馈信息。康复机器人作为一种新型的康复治疗设备，以康复理论为重要依据，通过辅助患者患肢进行合理地、科学地、有效地康复训练，最终实现患者重获运动障碍的功能。而在机器人辅助康复训练过程中虚拟康复训练环境是康复机器人系统不可分割的一部分，因此，开展机器人辅助康复训练技术的研究和应用有着广阔的发展前景。

发明内容

针对上述传统康复方法效率低、强度偏弱的问题，本发明于提出一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，该方法能提高康复训练方法的训练效果及安全性，具体技术方案如下：

一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，所述方法通过包括RGB-D相机和IMU传感器的康复机器人实现，方法具体包括步骤：

S1、利用所述RGB-D相机采集目标患者在训练过程中的三维空间方位轨迹数据，以及利用IMU传感器采集目标患者在训练过程中的姿态角信息数据；

S2、基于所述三维空间方位轨迹数据采用肢体空间方位-关节角转换算法得到目标患者肢体的第一肩关节外展内收角α₁、第一肩关节屈伸角α₂、第一肩关节内外旋角α₃和第一肘关节屈伸角α₄，并基于所述姿态角信息数据采用指定算法获得目标患者肢体的第二肩关节外展内收角β₁、第二肩关节屈伸角β₂、第二肩关节内外旋角β₃和第二肘关节屈伸角β₄；

S3、通过动态加权的融合滤波器的融合算法将所述第一肩关节外展内收角α₁、第一肩关节屈伸角α₂、第一肩关节内外旋角α₃和第一肘关节屈伸角α₄与所述第二肩关节外展内收角β₁、第二肩关节屈伸角β₂、第二肩关节内外旋角β₃和第二肘关节屈伸角β₄融合得到目标患者稳定可靠且与康复医师演示对应的运动轨迹数据；

S4、基于所述运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，并将所述运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，基于所述实时控制数据控制控制所述康复机器人辅助目标患者进行康复训练运动。

进一步的，所述步骤S1中，所述三维空间方位轨迹数据由所述RGB-D相机采集目标患者肢体的二维彩色轮廓和三维图像转化形成。

进一步的，包括两个分别同向佩戴于目标患者的大臂和小臂指定位置处的所述IMU传感器，采集所述IMU传感器基于对应目标患者肢体运动的旋转数据。

进一步的，所述步骤S3中还包括，判断所述三维空间方位轨迹数据的有效性：

设定一所述RGB-D相机输出的置信度数据的信任度阈值，若所述三维空间方位轨迹数据对应的所述置信度数据大于所述信任度阈值，表示所述三维空间方位轨迹数据有效，并将所述三维空间方位轨迹数据与所述姿态角信息数据作为一组输入所述融合滤波器的观测值；否则，舍弃所述三维空间方位轨迹数据，仅输入所述姿态角信息数据至所述融合滤波器作为观测值。

进一步的，步骤S4中，所述基于所述运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，包括：

设计所述3D引擎软件与所述融合算法互通的通讯接口，通过所述通讯接口接收所述运动轨迹数据，并设计康复训练肢体的3D模型；

编写所述康复训练肢体对应的控制程序，基于所述控制程序控制所述康复训练肢体的位置和姿态；

所述控制程序读取所述运动轨迹数据，基于所述运动轨迹数据控制所述3D模型的旋转和位置。

进一步的，所述运动轨迹数据存储在PC机上。

进一步的，步骤S4中，所述将所述运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，包括：

通过网络连接所述PC机与所述康复机器人；并在所述PC机上采用指定软件开发编写所述控制程序和控制所述康复机器人增量消抖算法，实现对所述康复机器人各关节的的角度位置控制。

本发明的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，通过将RGB-D相机和IMU传感器装设在康复机器人上，通过RGB-D相机捕获目标患者康复肢体动作的三维空间方位轨迹数据，并对三维空间方位轨迹数据的置信度与设定信任度阈值比较，若置信度小于信任度阈值，则舍弃对应的三维空间方位轨迹数据，否则保存并与通过将传感器装设在目标患者的大臂和小臂上获取的姿态角信息数据输入融合滤波器得到与目标患者肢体动作相符的运动轨迹数据；再通过3D引擎软件搭建康复训练虚拟环境，采用空间坐标变化方法将运动轨迹数据转换为康复机器人的控制程序，基于控制程序控制康复机器人辅助患者进行康复训练动作；与现有技术相比，本发明可提高康复医师工作效率，标准化训练动作，优化训练效果并提高训练的安全性。

附图说明

图1是采用本发明实施例中所述基于RGB-D相机与IMU传感器的机器人辅助康复训练方法的实现流程框图示意；

图2是本发明实施例中所述康复机器人的结构示意图；

图3是实现本发明所述基于RGB-D相机与IMU传感器的机器人辅助康复训练方法的实施示意图；

图4是本发明实施例中所述RGB-D相机和IMU传感器的建系图示意。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明实施例中，提供了一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，方法通过康复机器人辅助患者进行康复动作训练，参阅图2，图示为康复机器人的结构图，康复机器人中集成有RGB-D相机和IMU传感器；参阅图1并结合图3，本发明方法具体包括步骤：

首先，利用RGB-D相机采集目标患者在训练过程中的三维空间方位轨迹数据，以及利用IMU传感器采集目标患者在训练过程中的姿态角信息数据；

在本发明实施例中，基于RGB-D相机构建基座标系O_xyz的三维空间方位轨迹数据，构成患者上肢的“点线时”骨架模型，模型可以与实际患者的肢体相契合，如与手臂契合的模型，或者与腿契合的模型，具体可根据实际需求进行设定；如果模型是基于手臂的，则模型包括上肢关节点

上肢肘关节点

以及上肢腕关节点

三维空间方位轨迹数据由RGB-D相机采集目标患者肢体的二维彩色轮廓和三维图像转化形成，其中，二维彩色轮廓和三维图像通过现有的RGB-D相机内部算法转化形成所述三维空间方位轨迹数据。

结合图4，假设人体手臂基座标系O₀于监管节点，坐标轴x₀垂直于人体冠状面背部，坐标轴y₀垂直于人体横断面上，坐标轴z₀＝x_0×y₀；利用上肢关节点

上肢肘关节点

以及上肢腕关节点

通过平移旋转变换可得上肢三个关节点基于人体手臂基座标系O₀的三维坐标位置

和

可得向量

和向量

则基于三维空间方位轨迹数据通过下述公式可求得到目标患者肢体的第一肩关节外展内收角α₁、第一肩关节屈伸角α₂、第一肩关节内外旋角α₃和第一肘关节屈伸角α₄的值：

优选的，本发明中为了获取全面的肢体运动数据，设置有两个IMU传感器，从图4中可知，本发明包括IMU传感器S₀和IMU传感器S₁，其中，IMU传感器S₀佩戴于目标患者的大臂指定位置，IMU传感器S₁佩戴于小臂指定位置处，通过采集IMU传感器基于对应目标患者肢体运动的旋转数据，经过计算，获取关节角轨迹；具体的，IMU传感器S₀和IMU传感器S₁测量得到实时姿态到原始坐标姿态的旋转矩阵R₁、R₂；由旋转矩阵R₀利用常规转换方法可求出第二肩关节外展内收角β₁，第二肩关节屈伸角β₂和第二肩关节内外旋角β₃；另外，第二肘关节屈伸角β₄可通过公式

计算求得，其中，

然后，通过动态加权的融合滤波器的融合算法将第一肩关节外展内收角α₁、第一肩关节屈伸角α₂、第一肩关节内外旋角α₃和第一肘关节屈伸角α₄与第二肩关节外展内收角β₁、第二肩关节屈伸角β₂、第二肩关节内外旋角β₃和第二肘关节屈伸角β₄融合得到目标患者稳定可靠的运动轨迹数据；并且设定一RGB-D相机输出的置信度数据的信任度阈值，判断三维空间方位轨迹数据的有效性，本实施例将信任度阈值设置为0.5，则若三维空间方位轨迹数据对应的置信度数据大于0.5，表示三维空间方位轨迹数据有效，并将三维空间方位轨迹数据与姿态角信息数据作为一组输入融合滤波器的观测值：

首先，假设观测向量为w₁、w₂，且

其中，观测向量w₁、w₂满足：

其中，e₁、e₂为测量误差，且服从

分布(i＝1,2)；然后，对各关节角的估计向量

Q＝(q₁,q₂)为RGB-D相机与IMU传感器的测量权重，估计误差

在实际操作中，代价函数

表示观测向量与真实值的偏差，由于

为无偏估计，有E(x-q₁w₁+q₂w₂)＝0；且E(e₁)＝E(e₂)＝0，则可得q₂＝1-q₁，代价函数J＝E((q₁w₁)²+(q₂w₂)²+2q₁q₂w₁w₂)，结合误差分布特性，可得：

E(e₁,e₂)＝0；因此，代价函数

在对代价函数J求关于Q的偏导得出最优动态权值：

再分别赋予RGB-D相机观测数据与IMU传感器观测数据以最优动态权值q₁、q₂，即可计算出偏差最小的估计值。

否则，若三维空间方位轨迹数据对应的置信度数据小于0.5，表明由RGB-D相机获取的数据不可靠，仅输入姿态角信息数据至融合滤波器作为观测值。

优选的，本发明通过RGB-D相机和IMU传感器获取得到的运动轨迹数据均存储在PC机上。

最后，基于运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，并将运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，基于实时控制数据控制控制康复机器人辅助目标患者进行康复训练运动；其中，基于运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，包括：设计3D引擎软件与融合算法互通的通讯接口，通过通讯接口接收运动轨迹数据，并设计康复训练肢体的3D模型；编写康复训练肢体对应的控制程序，即控制对康复机器人的肢肩、肘和腕关节进行控制，实现康复训练肢体的位置和姿态的调整；控制程序读取所述运动轨迹数据，基于运动轨迹数据控制所述3D模型的旋转和位置。

上述将运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，包括：将PC机与康复机器人通过有限或者无线网络连接；在PC机上采用指定软件开发编写控制康复机器人运动的控制程序和控制康复机器人的增量消抖算法，实现对康复机器人各关节的的角度位置控制；其中，所述增量消抖算法的具体步骤如下：

首先，定义控制步长thp；正负控制计数器c1、c2；控制阈值thc；计数器溢出值the算法输入角度控制量θ_i；算法当前输出角度值θ_o；其中，若θ_i＞θ_o且|θ_i-θ_o|＞thc，则c1自增1；若θ_i＜θ_o且|θ_o-θ_i|＞thc，则c2自增1；否则c1、c2维持原值；当c1或者c2值大于计数器溢出值the时，相应地，算法输出角度值θ_o增加或减小thp个步长；最后，控制角度通过增量消抖算法处理后输出的控制角度值θ_o送入四自由度机械臂控制程序，对各个关节进行角度位置控制；具体的，增量消抖算法伪代码为：

输入：实时角度控制值CurrentVal；正负控制计数器c1、c2IncCnt、DecCnt；控制阈值ThresholdVal；最小步长：CtrlStep。

输出：机械臂控制角度值RealTimeVal。

综上可知，患者可在佩戴上康复机械人后按照上述方法进行指定的康复训练项目，康复训练项目的牵引方式通过患者主动握持机械臂末端或者手臂与机械臂被动绑定等等，具体如何，可视具体康复训练项目具体实施方式而定。

本发明的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，通过将RGB-D相机和IMU传感器装设在康复机器人上，通过RGB-D相机捕获目标患者康复肢体动作的三维空间方位轨迹数据，并对三维空间方位轨迹数据的置信度与设定信任度阈值比较，若置信度小于信任度阈值，则舍弃对应的三维空间方位轨迹数据，否则保存并与通过将传感器装设在目标患者的大臂和小臂上获取的姿态角信息数据输入融合滤波器得到与目标患者肢体动作相符的运动轨迹数据；再通过3D引擎软件搭建康复训练虚拟环境，采用空间坐标变化方法将运动轨迹数据转换为康复机器人的控制程序，基于控制程序控制康复机器人辅助患者进行康复训练动作；与现有技术相比，本发明可提高康复医师工作效率，标准化训练动作，优化训练效果并提高训练的安全性。

以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (7)

1.一种基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，所述方法通过包括RGB-D相机和IMU传感器的康复机器人实现，方法具体包括步骤：

S1、利用所述RGB-D相机采集目标患者在训练过程中的三维空间方位轨迹数据，以及利用IMU传感器采集目标患者在训练过程中的姿态角信息数据；

S2、基于所述三维空间方位轨迹数据采用肢体空间方位-关节角转换算法得到目标患者肢体的第一肩关节外展内收角α₁、第一肩关节屈伸角α₂、第一肩关节内外旋角α₃和第一肘关节屈伸角α₄，并基于所述姿态角信息数据采用指定算法获得目标患者肢体的第二肩关节外展内收角β₁、第二肩关节屈伸角β₂、第二肩关节内外旋角β₃和第二肘关节屈伸角β₄；

S3、通过动态加权的融合滤波器的融合算法将所述第一肩关节外展内收角α₁、第一肩关节屈伸角α₂、第一肩关节内外旋角α₃和第一肘关节屈伸角α₄与所述第二肩关节外展内收角β₁、第二肩关节屈伸角β₂、第二肩关节内外旋角β₃和第二肘关节屈伸角β₄融合得到目标患者稳定可靠且与康复医师演示对应的运动轨迹数据；

S4、基于所述运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，并将所述运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，基于所述实时控制数据控制所述康复机器人辅助目标患者进行康复训练运动。

2.如权利要求1所述的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，所述步骤S1中，所述三维空间方位轨迹数据由所述RGB-D相机采集目标患者肢体的二维彩色轮廓和三维图像转化形成。

3.如权利要求1所述的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，包括两个分别同向佩戴于目标患者的大臂和小臂指定位置处的所述IMU传感器，采集所述IMU传感器基于对应目标患者肢体运动的旋转数据。

4.如权利要求1所述的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，所述步骤S3中还包括，判断所述三维空间方位轨迹数据的有效性：

设定一所述RGB-D相机输出的置信度数据的信任度阈值，若所述三维空间方位轨迹数据对应的所述置信度数据大于所述信任度阈值，表示所述三维空间方位轨迹数据有效，并将所述三维空间方位轨迹数据与所述姿态角信息数据作为一组输入所述融合滤波器的观测值；否则，舍弃所述三维空间方位轨迹数据，仅输入所述姿态角信息数据至所述融合滤波器作为观测值。

5.如权利要求1所述的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，步骤S4中，所述基于所述运动轨迹数据利用指定的3D引擎软件搭建辅助康复训练虚拟环境，包括：

设计所述3D引擎软件与所述融合算法互通的通讯接口，通过所述通讯接口接收所述运动轨迹数据，并设计康复训练肢体的3D模型；

编写所述康复训练肢体对应的控制程序，基于所述控制程序控制所述康复训练肢体的位置和姿态；

所述控制程序读取所述运动轨迹数据，基于所述运动轨迹数据控制所述3D模型的旋转和位置。

6.如权利要求1所述的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，所述运动轨迹数据存储在PC机上。

7.如权利要求6所述的基于RGB-D相机与IMU传感器的机器人辅助康复训练方法，其特征在于，步骤S4中，所述将所述运动轨迹数据进行坐标变换得到康复机器人对应的实时控制数据，包括：

通过网络连接所述PC机与所述康复机器人；并在所述PC机上采用指定软件开发编写控制程序和控制所述康复机器人增量消抖算法，实现对所述康复机器人各关节的角度位置控制。

Images