CN113144524A - 一种基于深度传感器的康复训练方法 - Google Patents

Abstract

一种基于深度传感器的康复训练方法，通过深度传感器获取患者康复训练过程中的动作信息，包括患者位置的三维坐标和身体25个关节点的旋转四元数；计算更新康复训练场景中虚拟人物模型的位置和康复训练场景中虚拟人物模型的关节点四元数；完成患者的动作和场景中虚拟人物动作上的镜像同步；康复训练场景随机生成一个作为当前训练动作；患者完成场景中出现的训练动作，系统根据定义好的动作评定方法和完成度计算公式获取患者完成当前动作的完成分。该方法基于位置三维坐标的计算更新和身体主要关节点四元数的计算更新，实现了患者和康复训练系统中虚拟人物在动作上的镜像同步，提升了康复训练过程的交互性和参与感，可以有效提高患者康复训练的积极性。

Description

一种基于深度传感器的康复训练方法

技术领域

本发明属于康复训练技术领域，具体涉及一种基于深度传感器的康复训练方法。

背景技术

世界正在迅速老龄化，老龄化问题在发达国家表现的尤为突出，因为经济条件优越，发达国家居民的预期寿命在持续走高。据统计，到2050年左右，美国65岁及以上的人口规模将从现有的4000万增加到8800万左右，有接近一倍的增长。随着老年人口的不断增加，保持健康和减少某些疾病的发病率将增加保健和其他相关的生活支持服务的需求，从而帮助老年人安享晚年。根据世卫组织的一项调查，超过10亿人(占世界人口的15％)患有某种形式的身体残疾。其中，约有1.5亿人表现出严重的肢体功能障碍。康复训练是多发性损伤或运动障碍患者治疗的重要组成部分。有效的康复方案有助于调整患者的生理、心理和社会功能水平，帮助其更快更好地恢复到最佳状态，并相应地减少住院时间、再住院率和一些宝贵的保健资源的使用。因此，为老年人或患有肢体功能障碍的残疾人提供合理的运动康复方案是一个很重要的问题。居家锻炼永远是最方便，最快捷的。因此，对方便居家康复的电脑辅助设备有了很大的需求。

虚拟现实(VR)提供了一种可行的解决方案，具有更真实和丰富的交互。它允许用户直接与计算机模拟的环境交互，会带来更加沉浸式的体验，提高运动的参与感。许多虚拟现实系统是专门为康复而开发的，以提高患者的运动技能。由于信息和通信技术的进步，使用虚拟现实技术设计的设备，如任天堂Wii和微软XboxKinect，正变得更便宜，更容易被用作康复设备。任天堂Wii使用了一个可以挂在手上的控制器，使动作成为一种输入形式，而微软XboxKinect采用了一个摄像头来跟踪玩家的骨骼点，我们可以根据Kinect采集到的信息，结合自身需要做数据的再处理，实现相应的功能。

对于需要患者手持遥控器才能完成的运动锻炼，会存在一个很大的弊端，就是对于一些严重运动损伤的患者来说很不友好,因为对于他们来说再手持一个设备本身就是很大的负担。在任天堂Wii和索尼PlayStation等平台游戏盛行之后，因为手持控制器过度使用和重复动作引起的身体上的损伤经常被报道。因为不像真正的体育锻炼运动量那么大，居家游戏性质的运动持续时间可能更长，手持遥控器的弊端会更加凸显。微软XboxKinect允许用户通过身体手势与机器互动，而不需要任何手持控制器，这被认为是能够显著防止肌肉骨骼损伤发生的原因。

Kinect体积小，价格适中，不需要手持，是家庭运动恢复使用的绝佳工具。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于深度传感器的康复训练方法，基于位置三维坐标的计算更新和身体主要关节点四元数的计算更新，实现了患者和康复训练系统中虚拟人物在动作上的镜像同步，提升了康复训练过程的交互性和参与感，可以有效提高患者康复训练的积极性。

本发明提供一种基于深度传感器的康复训练方法，包括如下步骤，

步骤S1、通过深度传感器获取患者康复训练过程中的动作信息，信息包括患者位置的三维坐标和身体25个关节点的旋转四元数；

步骤S2、根据患者位置的三维坐标计算更新康复训练场景中虚拟人物模型的位置，根据身体25个关节点的旋转四元数计算更新康复训练场景中虚拟人物模型的关节点四元数；完成患者的动作和场景中虚拟人物动作上的镜像同步；

步骤S3、康复训练场景从定义好的一组训练动作和尚未完成的训练动作中随机生成一个作为当前训练动作；

步骤S4、患者完成场景中出现的训练动作，系统根据定义好的动作评定方法和完成度计算公式获取患者完成当前动作的完成分。

作为本发明的进一步技术方案，深度传感器采用Kinectv2在前端采集原始数据，康复训练场景由Unity搭建。

进一步的，步骤S2中，计算更新康复训练场景中虚拟人物模型的位置的具体方法为，

步骤S21、计算第一帧位置偏移；获取第一帧时患者在深度传感器坐标系中的三维坐标α1(x1，y1，z1)，将深度传感器坐标系中的位置转换为Unity坐标系中的位置β1(xoffset，yoffset，zoffset)，人物模型在场景中的移动速度为speed，第一帧时患者的位置偏移计算公式为

x_offset＝-x₁*speed

y_offset＝y₁*speed

z_offset＝-z₁*speed；

步骤S22、获取每一帧患者在深度传感器坐标系下的坐标为α(x，y，z)，将深度传感器坐标位置转化为人物模型局部坐标系下的位置记为β(x_pose，y_pose，z_pose)，计算公式为

x_pose＝-x*speed-x_offset

y_pose＝y*speed-y_offset

z_pose＝-z*speed-z_offset；

记人物模型上一帧的局部坐标为β′，当前帧局部坐标为β，在当前帧，将人物模型的localPosition属性由β′更新为β。

进一步的，步骤S2中计算更新康复训练场景中虚拟人物模型的关节点四元数的具体方法为，

1)获取人物模型的右肘ElbowRight在初始姿态下的rotation属性，得到的四元数记为q_i；

2)获取由深度传感器计算的当前人的左肘关节相对于深度传感器的旋转四元数，记为q_j；

3)忽略父物体旋转的模型右肘关节的旋转四元数q_ij＝q_jq_i，四元数q_ij转换成的欧拉角记为α；

4:当前人物模型的父物体的rotation属性对应的四元数记为q_o，四元数q_o对应的欧拉角记为β；

5)当前帧人物模型的右肘关节旋转对应的欧拉角γ＝α+β，欧拉角γ转换成的四元数记为q；

6)q即为当前帧人物模型右肘关节旋转对应的四元数。假设上一帧人物模型右肘关节的旋转四元数为q′，只要在当前帧将此关节的rotation属性由q′更新为q。

进一步的，定义好的一组训练动作包括侧平举、侧平举抬左腿、侧平举抬右腿、前平举、前平举抬左腿、前平举抬右腿、前平举下蹲、抬左腿、抬右腿、下蹲、左手上举、右手上举、双手上举。

进一步的，定义好的侧平举的判断条件为

upperY<＝0.2&&upperX>＝Head.y-KneeLeft.y-0.2；

动作完成度为

左肩，左肘，左手腕，右肩，右肘，右手腕6个关节坐标的y轴分量的最大值和最小值的差值记为upperY，左右手腕坐标x轴分量差值的绝对值记为upperX；头关节点为Head，左膝关节点为KneeLeft。

进一步的，定义好的抬左腿的判断条件为270＝<α₁<＝315，左腿动作完成度为

抬右腿的判断条件为270＝<α₂<＝315，抬右腿动作完成度为

深度传感器获取的左髋关节旋转欧拉角x轴分量为α₁，右髋关节旋转欧拉角x轴分量为α₂。

进一步的，定义好的下蹲的判断条件为270＝<α₁<＝315&&270＝<α₂<＝315，下蹲的动作完成度squatScore＝(lLegLiftScore+rLegLiftScore)/2；深度传感器获取的左髋关节旋转欧拉角x轴分量为α₁，右髋关节旋转欧拉角x轴分量为α₂。进一步的，定义好的右手上举的判断条件为

upperxSE<＝0.2&&upperxEW<＝0.2&&WristRight.y-ShoulderRight.y>＝Head.y-Neck.y，右手上举动作完成度

其中，右肩和右肘坐标x轴分量差值绝对值为upperxSE，右肘和右手腕坐标x轴分量差值绝对值为upperxEW，头关节点为Head，脖子为Neck，右手腕为WristRight，右肩为ShoulderRigh。

进一步的，定义好的左手上举的判断条件为

upperxSE<＝0.2&&upperxEW<＝0.2&&WristLeft.y-ShoulderLeft.y>＝Head.y-Neck.y，左手上举动作完成度

左肩和左肘坐标x轴分量差值绝对值为upperxSE，左肘和左手腕坐标x轴分量差值绝对值为upperxEW，头关节点为Head，脖子为Neck，左手腕为WristLeft，左肩为ShoulderLeft；

定义好的前平举的判断条件为

upperY<＝0.25&&upperRightX<＝0.2&&upperLeftX<＝0.2；

前平举的动作完成度为

左手，左手腕，左肘，左肩坐标x轴分量最大值和最小值的差值为upperLeftX，记右手，右手腕，右肘，右肩坐标x轴分量最大值和最小值的差值为upperRightX，上述8个关节点坐标y轴分量上最大值和最小值的差值为upperY。

本发明的优点在于，让有四肢功能障碍的患者可以摆脱穿戴设备进行恢复性训练，减少因为负重造成训练二次损伤的风险。通过将患者与虚拟人物模型进行绑定，训练过程中，患者可以直接观察虚拟人物模型的动作来纠正自己的动作，这样可以减少医护人员的指导，让居家恢复锻炼成为可能，节约康复训练的成本，同时这种实时的交互与反馈会提高患者的训练积极性，改善锻炼效果。通过本发明对肢体动作判断和肢体动作完成度的计算方法，可以用分数量化每一次的康复训练效果，帮助患者发现恢复锻炼中的不足。

附图说明

图1为本发明的方法流程示意图；

图2为本发明的Unity局部坐标系与深度传感器坐标系示意图；

图3为本发明中抬左腿过程中髋关节旋转示意图。

具体实施方式

请参阅图1，本实施例提供一种康复训练系统来帮助四肢功能障碍患者可以居家康复训练。该系统通过深度传感器来追踪患者25个关节点的姿态信息，不需要患者手持任何其他设备，减轻四肢负担，该系统通过Unity软件产生康复训练的场景，场景中有一个虚拟的人物模型，通过将深度传感器追踪到的患者的位置和25个关节点的旋转信息和虚拟人物模型进行绑定，人物模型就能跟随患者做镜像运动，在此基础上，康复训练场景中患者需要完成十三个和四肢有关的锻炼动作，系统会根据患者每个动作的完成情况给出得分，所有训练动作完成会有一个总分。该总分的高低反应了患者的训练情况，分数越高，动作越标准，训练效果越好。

将患者的动作和虚拟人物模型动作绑定的方法分为4个步骤：

步骤S1、通过深度传感器获取患者康复训练过程中的动作信息，信息包括患者位置的三维坐标和身体25个关节点的旋转四元数；

步骤S2、根据患者位置的三维坐标计算更新康复训练场景中虚拟人物模型的位置，根据身体25个关节点的旋转四元数计算更新康复训练场景中虚拟人物模型的关节点四元数；完成患者的动作和场景中虚拟人物动作上的镜像同步；

步骤S3、康复训练场景从定义好的一组训练动作和尚未完成的训练动作中随机生成一个作为当前训练动作；

步骤S4、患者完成场景中出现的训练动作，系统根据定义好的动作评定方法和完成度计算公式获取患者完成当前动作的完成分。

深度传感器采用Kinectv2在前端采集原始数据，康复训练场景由Unity搭建。

步骤S2中，计算更新康复训练场景中虚拟人物模型的位置的具体方法为，

步骤S21、计算第一帧位置偏移；获取第一帧时患者在深度传感器坐标系中的三维坐标α1(x1,y1,z1)，将深度传感器坐标系中的位置转换为Unity坐标系中的位置β1(xoffset,yoffset,zoffset)，人物模型在场景中的移动速度为speed，第一帧时患者的位置偏移计算公式为

x_offset＝-x₁*speed

y_offset＝y₁*speed

z_offset＝-z₁*speed；

步骤S22、获取每一帧患者在深度传感器坐标系下的坐标为α(x,y,z),将深度传感器坐标位置转化为人物模型局部坐标系下的位置记为β(x_pose,y_pose,z_pose)，计算公式为

x_pose＝-x*speed-x_offset

y_pose＝y*speed-y_offset

z_pose＝-z*speed-z_offset；

记人物模型上一帧的局部坐标为β′，当前帧局部坐标为β，在当前帧，将人物模型的localPosition属性由β′更新为β。

步骤S2中计算更新康复训练场景中虚拟人物模型的关节点四元数的具体方法为，

1)获取人物模型的右肘ElbowRight在初始姿态下的rotation属性，得到的四元数记为q_i；

2)获取由深度传感器计算的当前人的左肘关节相对于深度传感器的旋转四元数，记为q_j；

3)忽略父物体旋转的模型右肘关节的旋转四元数q_ij＝q_jq_i，四元数q_ij转换成的欧拉角记为α；

4：当前人物模型的父物体的rotation属性对应的四元数记为q_o，四元数q_o对应的欧拉角记为β；

5)当前帧人物模型的右肘关节旋转对应的欧拉角γ＝α+β，欧拉角γ转换成的四元数记为q；

6)q即为当前帧人物模型右肘关节旋转对应的四元数。假设上一帧人物模型右肘关节的旋转四元数为q′，只要在当前帧将此关节的rotation属性由q′更新为q。

定义好的一组训练动作包括侧平举、侧平举抬左腿、侧平举抬右腿、前平举、前平举抬左腿、前平举抬右腿、前平举下蹲、抬左腿、抬右腿、下蹲、左手上举、右手上举、双手上举。

在康复训练过程中，患者需要完成诸如侧平举，侧平举抬左腿，侧平举抬右腿，前平举，前平举抬左腿，前平举抬右腿，前平举下蹲，抬左腿，抬右腿，下蹲，左手上举，右手上举，双手上举等十三个涉及四肢运动的动作。这组动作可以分解成侧平举，抬腿，下蹲，手上举和前平举这几个基本动作，针对这几个基本动作，本发明给出动作判断和肢体动作完成度的评判方法。

注：深度传感器返回的骨骼点的三维坐标的单位为m(米)

骨骼点三维坐标的x,y,z轴的分量用骨骼点的英文加.x,.y,.z表示

定义好的侧平举的判断条件为

upperY<＝0.2&&upperX>＝Head.y-KneeLeft.y-0.2；

动作完成度为

左肩，左肘，左手腕，右肩，右肘，右手腕6个关节坐标的y轴分量的最大值和最小值的差值记为upperY，左右手腕坐标x轴分量差值的绝对值记为upperX；头关节点为Head，左膝关节点为KneeLeft。

定义好的抬左腿的判断条件为270＝<α₁<＝315，左腿动作完成度为

抬右腿的判断条件为270＝<α₂<＝315，抬右腿动作完成度为

深度传感器获取的左髋关节旋转欧拉角x轴分量为α₁，右髋关节旋转欧拉角x轴分量为α₂。

定义好的下蹲的判断条件为270＝<α₁<＝315&&270＝<α₂<＝315，下蹲的动作完成度squatScore＝(lLegLiftScore+rLegLiftScore)/2；深度传感器获取的左髋关节旋转欧拉角x轴分量为α₁，右髋关节旋转欧拉角x轴分量为α₂。

进一步的，定义好的右手上举的判断条件为

upperxSE<＝0.2&&upperxEW<＝0.2&&WristRight.y-ShoulderRight.y>＝Head.y-Neck.y，右手上举动作完成度

其中，右肩和右肘坐标x轴分量差值绝对值为upperxSE，右肘和右手腕坐标x轴分量差值绝对值为upperxEW，头关节点为Head，脖子为Neck，右手腕为WristRight，右肩为ShoulderRigh。

进一步的，定义好的左手上举的判断条件为

upperxSE<＝0.2&&upperxEW<＝0.2&&WristLeft.y-ShoulderLeft.y>＝Head.y-Neck.y，左手上举动作完成度

左肩和左肘坐标x轴分量差值绝对值为upperxSE，左肘和左手腕坐标x轴分量差值绝对值为upperxEW，头关节点为Head，脖子为Neck，左手腕为WristLeft，左肩为ShoulderLeft；

定义好的前平举的判断条件为

upperY<＝0.25&&upperRightX<＝0.2&&upperLeftX<＝0.2；

前平举的动作完成度为

左手，左手腕，左肘，左肩坐标x轴分量最大值和最小值的差值为upperLeftX，记右手，右手腕，右肘，右肩坐标x轴分量最大值和最小值的差值为upperRightX，上述8个关节点坐标y轴分量上最大值和最小值的差值为upperY。

本实施例通过利用深度传感器摄像头做数据的采集，避免了四肢康复训练过程中辅助设备的佩戴，减轻四肢负担。通过位置和关节点四元数的计算和更新，实现了患者与虚拟人物模型动作的绑定，患者可以通过观察人物模型的姿态知道自己的动作状态，增加互动的方式可以极大地增加训练的参与感，减少枯燥乏味感。通过本方明提出的针对侧平举，抬左腿，抬右腿，下蹲，右手上举，左手上举和前平举动作完成度的计算方法，患者可以做基于这些动作的康复训练，并以分数的直观形式了解康复动作的完成情况。该系统硬件需求不高，无需辅助设备，使用方便，成本低廉，这使得患者可以方便地在家完成康复训练过程，减少了医疗资源的占用，节省了成本，有很好的应用前景。

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

Claims (10)

1.一种基于深度传感器的康复训练方法，其特征在于，包括如下步骤，

步骤S1、通过深度传感器获取患者康复训练过程中的动作信息，所述信息包括患者位置的三维坐标和身体25个关节点的旋转四元数；

步骤S2、根据患者位置的三维坐标计算更新康复训练场景中虚拟人物模型的位置，根据身体25个关节点的旋转四元数计算更新康复训练场景中虚拟人物模型的关节点四元数；完成患者的动作和场景中虚拟人物动作上的镜像同步；

步骤S3、康复训练场景从定义好的一组训练动作和尚未完成的训练动作中随机生成一个作为当前训练动作；

步骤S4、患者完成场景中出现的训练动作，系统根据定义好的动作评定方法和完成度计算公式获取患者完成当前动作的完成分。

2.根据权利要求1所述的一种基于深度传感器的康复训练方法，其特征在于，所述深度传感器采用Kinectv2在前端采集原始数据，所述康复训练场景由Unity搭建。

3.根据权利要求1所述的一种基于深度传感器的康复训练方法，其特征在于，所述步骤S2中，计算更新康复训练场景中虚拟人物模型的位置的具体方法为，

步骤S21、计算第一帧位置偏移；获取第一帧时患者在深度传感器坐标系中的三维坐标α₁(x₁，y₁，z₁)，将深度传感器坐标系中的位置转换为Unity坐标系中的位置β₁(x_offset，y_offset，z_offset)，人物模型在场景中的移动速度为speed，第一帧时患者的位置偏移计算公式为

x_offset＝-x₁*speed

y_offset＝y₁*speed

z_offset＝-z₁*speed；

步骤S22、获取每一帧患者在深度传感器坐标系下的坐标为α(x，y，z)，将深度传感器坐标位置转化为人物模型局部坐标系下的位置记为β(x_pose，y_pose，z_pose)，计算公式为

x_pose＝-x*speed-x_offset

y_pose＝y*speed-y_offset

z_pose＝-z*speed-z_offset；

记人物模型上一帧的局部坐标为β′,当前帧局部坐标为β，在当前帧，将人物模型的localPosition属性由β′更新为β。

4.根据权利要求1所述的一种基于深度传感器的康复训练方法，其特征在于，所述步骤S2中计算更新康复训练场景中虚拟人物模型的关节点四元数的具体方法为，

1)获取人物模型的右肘ElbowRight在初始姿态下的rotation属性，得到的四元数记为q_i；

2)获取由深度传感器计算的当前人的左肘关节相对于深度传感器的旋转四元数，记为q_j；

3)忽略父物体旋转的模型右肘关节的旋转四元数q_ij＝q_jq_i，四元数q_ij转换成的欧拉角记为α；

4:当前人物模型的父物体的rotation属性对应的四元数记为q_o，四元数q_o对应的欧拉角记为β；

5)当前帧人物模型的右肘关节旋转对应的欧拉角γ＝α+β，欧拉角γ转换成的四元数记为q；

6)q即为当前帧人物模型右肘关节旋转对应的四元数。假设上一帧人物模型右肘关节的旋转四元数为q′，只要在当前帧将此关节的rotation属性由q′更新为q。

5.根据权利要求1所述的一种基于深度传感器的康复训练方法，其特征在于，定义好的一组训练动作包括侧平举、侧平举抬左腿、侧平举抬右腿、前平举、前平举抬左腿、前平举抬右腿、前平举下蹲、抬左腿、抬右腿、下蹲、左手上举、右手上举、双手上举。

6.根据权利要求1所述的一种基于深度传感器的康复训练方法，其特征在于，定义好的侧平举的判断条件为

upperY<＝0.2&&upperX>＝Head.y-KneeLeft.y-0.2；

动作完成度为

左肩，左肘，左手腕，右肩，右肘，右手腕6个关节坐标的y轴分量的最大值和最小值的差值记为upperY，左右手腕坐标x轴分量差值的绝对值记为upperX；头关节点为Head，左膝关节点为KneeLeft。

7.根据权利要求1所述的一种基于深度传感器的康复训练方法，其特征在于，定义好的抬左腿的判断条件为270＝<α₁<＝315，左腿动作完成度为

抬右腿的判断条件为270＝<α₂<＝315，抬右腿动作完成度为

深度传感器获取的左髋关节旋转欧拉角x轴分量为α₁，右髋关节旋转欧拉角x轴分量为α₂。

8.根据权利要求1所述的一种基于深度传感器的康复训练方法，其特征在于，定义好的下蹲的判断条件为270＝<α₁<＝315&&270＝<α₂<＝315，下蹲的动作完成度squatScore＝(lLegLiftScore+rLegLiftScore)/2；深度传感器获取的左髋关节旋转欧拉角x轴分量为α₁，右髋关节旋转欧拉角x轴分量为α₂。

9.根据权利要求1所述的一种基于深度传感器的康复训练方法，其特征在于，定义好的右手上举的判断条件为

upperxSE<＝0.2&&upperxEW<＝0.2&&WristRight.y-ShoulderRight.y>＝Head.y-Neck.y，右手上举动作完成度

其中，右肩和右肘坐标x轴分量差值绝对值为upperxSE，右肘和右手腕坐标x轴分量差值绝对值为upperxEW，头关节点为Head，脖子为Neck，右手腕为WristRight，右肩为ShoulderRigh。

10.根据权利要求1所述的一种基于深度传感器的康复训练方法，其特征在于，定义好的左手上举的判断条件为

upperxSE<＝0.2&&upperxEW<＝0.2&&WristLeft.y-ShoulderLeft.y>＝Head.y-Neck.y，左手上举动作完成度

左肩和左肘坐标x轴分量差值绝对值为upperxSE，左肘和左手腕坐标x轴分量差值绝对值为upperxEW，头关节点为Head，脖子为Neck，左手腕为WristLeft，左肩为ShoulderLeft；

定义好的前平举的判断条件为

upperY<＝0.25&&upperRightX<＝0.2&&upperLeftX<＝0.2；

前平举的动作完成度为

左手，左手腕，左肘，左肩坐标x轴分量最大值和最小值的差值为upperLeftX，记右手，右手腕，右肘，右肩坐标x轴分量最大值和最小值的差值为upperRightX，上述8个关节点坐标y轴分量上最大值和最小值的差值为upperY。

Images