CN103230664B - 一种基于Kinect传感器的上肢运动康复训练系统及其训练方法 - Google Patents

Abstract

本发明公开了一种基于Kinect传感器的上肢运动康复训练系统及其训练方法。系统包括一台Kinect传感器，一台搭载上肢运动康复训练模块的计算机，Kinect传感器与计算机通过数据线相连，并安装在计算机显示屏的上方；上肢运动康复训练模块包括单关节康复训练模块、综合康复训练模块、评分模块和纠正模块，可以进行上肢的单关节训练和肩、肘、腕关节的综合训练。患者无需佩戴和操作任何交互设备，只需面对Kinect传感器，按照显示屏的文字或语音提示完成康复训练动作，Kinect传感器对上肢各关节进行位置捕捉，实时记录及反馈患者上肢关节的空间位置信息，引导患者通过体感交互完成康复训练，并对不规范的训练动作进行纠正。本发明训练方法简单，易掌握，趣味性强，使用设备成本低。

Description

一种基于Kinect传感器的上肢运动康复训练系统及其训练方法

技术领域

本发明涉及到医学信息智能处理领域，具体来说涉及一种基于Kinect传感器的上肢运动康复训练系统及其训练方法，适合肌力2-5级的上肢轻瘫患者在社区或家庭进行长期的自我康复训练。

背景技术

功能训练是肢体功能障碍患者非常有效的康复训练方法。目前国内运动功能训练的康复治疗仍以治疗师的手法操作为主，或在一些简单的训练器械的辅助下，进行被动运动、辅助运动、主动运动和抗阻运动训练等模式来达到防止肌肉萎缩，促进神经功能恢复。在这种康复模式下，每个治疗师在同一时间仅能对一名患者进行治疗，康复效率较低，而且训练过程单调无趣，不利于促使患者积极主动的参与到治疗中，增加康复的信心；其次，治疗师不容易及时了解其训练程度和效果。而在我国，康复机构少，肢体残疾者分布广，经济条件差，进行模块的、机构式的康复训练非常困难，也不现实。为使尽可能多的残疾人得到康复训练，必须研究进行康复训练的新理论、新方法和新手段，鼓励、提倡残疾者掌握简易训练技术，在社区和家庭进行自我康复训练。

发明内容

本发明提出了一种基于Kinect传感器的上肢运动康复训练系统及其训练方法，患者无需佩戴和操作任何交互设备，只需面对Kinect传感器，按照屏幕的文字或语音提示完成康复训练动作，Kinect传感器对上肢各关节进行位置捕捉，实时记录及反馈患者上肢关节的空间位置信息，引导患者通过体感交互完成康复训练，并对不合理的康复训练动作进行纠正。本发明训练方法简单，易掌握。趣味性强，使用设备成本低，适合肌力2-5级的上肢轻瘫患者在社区或家庭进行长期的自我康复训练。

本发明通过以下的技术方案实现的：

一种基于Kinect传感器的上肢运动康复训练系统，基于Kinect传感器的上肢运动康复训练系统包括Kinect传感器和一台搭载上肢运动康复训练模块的计算机，Kinect传感器与所述计算机通过数据线相连，并安装在计算机显示屏的上方，上肢运动康复训练模块包括人机交互界面与后台处理模块，后台处理模块包括单关节康复训练模块、综合康复训练模块、评分模块和纠正模块。

本发明的进一步改进在于：单关节康复训练模块用于上肢肩、肘、腕单关节活动度恢复的训练，综合康复训练模块用于上肢肩、肘、腕关节的综合控制协调能力的训练，单关节康复训练模块和综合康复训练模块均有不同的难度等级，患者可以根据自身康复情况挑战相应的难度；评分模块通过计时和计分的方式对患者的完成情况进行等级评定；纠正模块则对患者的不规范动作进行纠错，并指导患者进行正确的操作。

本发明的进一步改进在于：训练方法包括单关节训练方法和肩、肘、腕关节综合训练方法。

本发明的进一步改进在于：单关节训练方法需要对患者躯干的位置进行约束，单关节训练方法利用Kinect for Windows SDK中NUI的API函数可获取骨架节点数据，得到各关节的空间坐标点，躯干部位的7个节点坐标分别为肩锁骨节点                                                、脊柱中心节点、盆骨中心节点、右肩关节节点、左肩关节节点、右髋关节节点、左髋关节节点，躯干部位的这7个节点的活动范围应限定在由8个顶点~构建的立方体内，在训练的不同难度等级下，立方体的大小不尽相同，难度越高立方体越小；当患者位于Kinect传感器正前方时，单关节康复训练模块显示了上肢部位节点和骨架以及躯干部位节点；当进行训练时，患者需要调整自身体位，使躯干部位的节点处于立方体内，从而可以开始搬运图形的任务，单关节康复训练模块的训练任务是要求患者将一侧指定区域内的矩形和圆搬运至另一侧的指定区域内；在训练过程中，患者可以利用上肢的肘、腕和手等上肢部位节点进入指定区域内去拾取图形，将其搬运到另一处的指定区域，从而得分。立方体限定了患者躯干部位的活动范围，即躯干部位节点超出立方体，训练将无法进行；由于图形元素的放置区域位于患者位置的两侧，患者必须进行相应的肩部运动去触碰相应图形，立方体的区域限制可以降低患者完全依赖躯干移动、侧屈等运动的代偿；在训练进行时，纠正模块对患者的不合理操作通过文字和语音的方法进行提示和纠错，帮助患者回到正确的训练操作中；患者完成一次搬运得1分，每一次的训练时间为1-3分钟，评分模块会在训练结束时打分并评定等级。

本发明的进一步改进在于：肩、肘、腕关节综合训练方法需要对患者上肢活动的位置和姿态进行捕捉、比对，以检测动作的准确程度和完成情况，因此，需要对上肢各关节部位的位置和姿态进行判定，具体判定如下：

和是相邻关节的节点，坐标分别为(,,)和(,,)，矢量在、和方向的分量为、和，在康复训练时，患者的体位一般是正对、侧对或背对Kinect传感器，通过计算上肢各关节部位与人体冠状面(与面平行)、矢状面(与面平行)或轴向面(与面平行)的夹角，可以确定相应关节的位姿信息，根据空间几何关系，可以求解出与、和平面的夹角、和，即分别与、和矢量的夹角：

，，，

肩关节与肘关节、肘关节与腕关节等相邻节点可以视为和节点，由此可以对人体上肢关节进行位置和姿态的判定；所述肩、肘、腕关节综合训练方法是根据交警道路交通指挥手势设计的一种训练方法，在交互界面上，虚拟木偶会像交警一样，根据交通信号灯指示情况，做出直行、减速慢行、停止、左转弯、右转弯等动作指令，患者需要跟着虚拟木偶进行动作的模仿和学习；纠正模块的文字和语音提示信息包含了信号灯状态的描述，肩、肘、腕及手部的实时位置及上肢偏离规定位置的纠正信息，患者需要完成综合康复训练模块随机生成的不同信号灯状态下直行、减速慢行等交通指挥动作，患者每完成一次交通手势指挥动作得1分，训练时间为3-6分钟，最终，评分模块会根据患者的得分情况评议训练等级。

本发明与现有技术相比具有如下优点：

(1)、本发明采用体感人机交互方式，患者完全摆脱了传统的鼠标和键盘等交互设备对身体位置的限制，无需佩戴复杂的动作捕捉设备，直接以上肢体动作与训练模块交互，交互方式更自然，更便捷；

(2)、本发明的训练模块及训练方法以完成任务的形式指导患者进行各种康复动作的训练，通过文字和语音提示的方法进行训练动作的实时纠正、训练效果实时反馈，患者可以在没有治疗师的帮助下自主完成训练；

(3)、使用的设备成本低廉：该训练方法使用的设备简单，成本低，只需一台Kinect传感器和家用计算机即可，特别适宜肌力在2-5级的上肢轻瘫患者进行长期的家庭康复训练。

附图说明

图1为本发明的工作原理图；

图2为本发明的模块图；

图3为单关节训练时躯干的位置约束图；

图4为肩、肘、腕关节综合训练的关节点空间矢量图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

如图1和图2所示，一种基于Kinect传感器的上肢运动康复训练系统包括Kinect传感器和一台搭载上肢运动康复训练模块的计算机，Kinect传感器与计算机通过数据线相连，Kinect传感器安装在计算机显示屏的上方，上肢运动康复训练模块包括人机交互界面与后台处理模块，所述后台处理模块包括单关节康复训练模块、综合康复训练模块、评分模块和纠正模块。单关节康复训练模块用于上肢肩、肘、腕单关节活动度恢复的训练，综合康复训练模块用于上肢肩、肘、腕关节的综合控制协调能力的训练，单关节康复训练模块和综合康复训练模块均有不同的难度等级，患者可以根据自身康复情况挑战相应的难度；所述评分模块通过计时和计分的方式患者的完成情况进行等级评定；所述纠正模块则对患者的不规范动作进行纠错，并指导患者进行正确的操作。

根据上述的一种基于Kinect传感器的上肢运动康复训练系统的训练方法，包括单关节训练方法和肩、肘、腕关节综合训练方法。

由脑卒中、脑损伤引起中风的患者的手臂功能障碍主要为肩胛活动差，肩带压低，盂肱关节的肌肉控制不良，即肩外展、前屈差。训练过程中，患者经常以过度的上抬肩带或用躯干侧屈来代偿。针对这一问题，根据特定训练的要求，需要对躯干部位的节点坐标活动范围进行限制。单关节训练方法需要对患者躯干的位置进行约束，所述单关节训练方法利用Kinect for Windows SDK中NUI的API函数可获取骨架节点数据，得到各关节的空间坐标点，躯干部位的7个节点坐标分别为肩锁骨节点、脊柱中心节点、盆骨中心节点、右肩关节节点、左肩关节节点、右髋关节节点、左髋关节节点。如图3所示，躯干部位的这7个节点的活动范围应限定在由8个顶点~构建的立方体内。在训练的不同难度等级下，立方体的大小不尽相同，难度越高立方体越小；当患者位于Kinect传感器正前方时，单关节康复训练模块显示了上肢部位节点和骨架以及躯干部位节点；当进行训练时，患者需要调整自身体位，使躯干部位的节点处于立方体内，从而可以开始搬运图形的任务，单关节康复训练模块的训练任务是要求患者将一侧指定区域内的矩形和圆搬运至另一侧的指定区域内；在训练过程中，患者可以利用上肢的肘、腕和手等上肢部位节点进入指定区域内去拾取图形，将其搬运到另一处的指定区域，从而得分。立方体限定了患者躯干部位的活动范围，即躯干部位节点超出立方体，训练将无法进行；由于图形元素的放置区域位于患者位置的两侧，患者必须进行相应的肩部运动去触碰相应图形，立方体的区域限制可以降低患者完全依赖躯干移动、侧屈等运动的代偿；在训练进行时，纠正模块对患者的不合理操作通过文字和语音的方法进行提示和纠错，帮助患者回到正确的训练操作中；患者完成一次搬运得1分，每一次的训练时间为1-3分钟，评分模块会在训练结束时打分并评定等级。

肩、肘、腕关节综合训练方法需要对患者上肢活动的位置和姿态进行捕捉、比对，以检测动作的准确程度和完成情况，因此，需要对上肢各关节部位的位置和姿态进行判定，具体判定如下：

如图4所示，和是相邻关节的节点，坐标分别为(,,)和(,,)，矢量在、和方向的分量为、和，在康复训练时，患者的体位一般是正对、侧对或背对Kinect传感器，通过计算上肢各关节部位与人体冠状面(与面平行)、矢状面(与面平行)或轴向面(与面平行)的夹角，可以确定相应关节的位姿信息，根据空间几何关系，可以求解出与、和平面的夹角、和，即分别与、和矢量的夹角：

，，，

肩关节与肘关节、肘关节与腕关节等相邻节点可以视为和节点，由此可以对人体上肢关节进行位置和姿态的判定；所述肩、肘、腕关节综合训练方法是根据交警道路交通指挥手势设计的一种综合训练项目，在交互界面上，虚拟木偶会像交警一样，根据交通信号灯指示情况，做出直行、减速慢行、停止、左转弯、右转弯等动作指令，患者需要跟着虚拟木偶进行动作的模仿和学习；纠正模块的文字和语音提示信息包含了信号灯状态的描述，肩、肘、腕及手部的实时位置及上肢偏离规定位置的纠正信息，患者需要完成综合康复训练模块随机生成的不同信号灯状态下直行、减速慢行等交通指挥动作，患者每完成一次交通手势指挥动作得1分，训练时间为3-6分钟，最终，评分模块会根据患者的得分情况评议训练等级。

患者使用系统进行上肢运动康复训练时，根据计算机中人机交互界面的提示，自行选择康复训练模块。进入单关节康复训练模块或综合康复训练模块之后，患者根据界面文字和语音提示，按要求执行规定动作。Kinect传感器利用红外线发射器发出的连续光照射在患者身上，通过红外线CMOS摄像头记录测量空间的每一个散斑，结合这些散斑数据，对测量空间进行编码。Kinect传感器中的感应器读取编码的光线，芯片运算进行解码，生成所需的上肢关节的彩色图像数据、骨架数据和深度图像数据，由此将患者的运动数据传至计算机。通过计算机处理，人机交互界面将信息通过文字和语音方式反馈给患者。

本系统的康复训练主要作为三级康复阶段提升患者日常生活能力的辅助训练。患者可以选择肩、肘、腕等单一关节训练进行针对性训练，同时也可以选择综合训练进行各关节运动协调性的训练。初次使用训练系统的患者可以进行试操作，每天训练2次，每次训练时间控制在10分钟以内，每周训练至少3天，训练难度等级调至最低。待患者熟悉后，训练仍可每天2 次，每次训练时间为30至45分钟，每周训练5至7 天，而训练难度可以根据训练完成的流畅程度和等级评定情况逐步提升。训练难度的提升包括适当缩短训练时间和提高动作精度。

本发明采用体感人机交互方式，患者完全摆脱了传统的鼠标和键盘等交互设备对身体位置的限制，无需佩戴复杂的动作捕捉设备，直接以上肢体动作与训练系统交互，交互方式更自然，更便捷；本发明的训练系统及训练方法指导患者完成各种康复训练动作，通过文字和语音提示对不规范的训练动作进行纠正、实时反馈训练效果，患者可以在没有治疗师的帮助下自主完成训练；本发明训练方法简单，易掌握。趣味性强，使用设备成本低，只需一台Kinect传感器和家用计算机即可，适合肌力2-5级的上肢轻瘫患者在社区或家庭进行长期的自我康复训练。

Claims (1)

1.一种基于Kinect传感器的上肢运动康复训练系统的训练方法，该系统包括Kinect传感器和一台搭载上肢运动康复训练模块的计算机，所述Kinect传感器与所述计算机通过数据线相连，并安装在计算机显示屏的上方，所述上肢运动康复训练模块包括人机交互界面与后台处理模块，所述后台处理模块包括单关节康复训练模块、综合康复训练模块、评分模块和纠正模块，所述单关节康复训练模块用于上肢肩、肘、腕单关节活动度恢复的训练，所述综合康复训练模块用于上肢肩、肘、腕关节的综合控制协调能力的训练，所述单关节康复训练模块和综合康复训练模块均有不同的难度等级，患者根据自身康复情况挑战相应的难度；所述评分模块通过计时和计分的方式对患者的完成情况进行等级评定；所述纠正模块则对患者的不规范动作进行纠错，并指导患者进行正确的操作；其特征在于：所述训练方法包括单关节训练方法和肩、肘、腕关节综合训练方法；所述单关节训练方法需要对患者躯干的位置进行约束，所述单关节训练方法利用Kinect for Windows SDK中NUI的API函数可获取骨架节点数据，得到各关节的空间坐标点，躯干部位的7个节点坐标分别为肩锁骨节点                                                、脊柱中心节点、盆骨中心节点、右肩关节节点、左肩关节节点、右髋关节节点、左髋关节节点，躯干部位的这7个节点的活动范围应限定在由8个顶点~构建的立方体内，在训练的不同难度等级下，立方体的大小不尽相同，难度越高立方体越小；当患者位于Kinect传感器正前方时，所述单关节康复训练模块显示了上肢部位节点和骨架以及躯干部位节点；当进行训练时，患者需要调整自身体位，使躯干部位的节点处于立方体内，从而开始搬运图形的任务，所述单关节康复训练模块的训练任务是要求患者将一侧指定区域内的矩形和圆搬运至另一侧的指定区域内；在训练过程中，患者利用上肢部位节点进入指定区域内去拾取图形，将其搬运到另一处的指定区域，从而得分；立方体限定了患者躯干部位的活动范围，即躯干部位节点超出立方体，训练将无法进行；由于图形元素的放置区域位于患者位置的两侧，患者必须进行相应的肩部运动去触碰相应图形，立方体的区域限制降低患者完全依赖躯干移动、侧屈的代偿；在训练进行时，纠正模块对患者的不合理操作通过文字和语音的方法进行提示和纠错，帮助患者回到正确的训练操作中；患者完成一次搬运得1分，每一次的训练时间为1-3分钟，评分模块会在训练结束时打分并评定等级；所述肩、肘、腕关节综合训练方法需要对患者上肢活动的位置和姿态进行捕捉、比对，以检测动作的准确程度和完成情况，因此，需要对上肢各关节部位的位置和姿态进行判定，具体判定如下：

和是相邻关节的节点，坐标分别为(,,)和(,,)，矢量在、和方向的分量为、和，在康复训练时，患者的体位一般是正对、侧对或背对Kinect传感器，通过计算上肢各关节部位与人体冠状面、矢状面或轴向面的夹角，确定相应关节的位置和姿态信息，根据空间几何关系，求解出与、和平面的夹角、和，即分别与、和矢量的夹角：

，，，

肩关节与肘关节、肘关节与腕关节的相邻节点视为和节点，由此对人体上肢关节进行位置和姿态的判定；所述肩、肘、腕关节综合训练方法是根据交警道路交通指挥手势设计的一种训练方法，在交互界面上，虚拟木偶会像交警一样，根据交通信号灯指示情况，做出直行、减速慢行、停止、左转弯、右转弯的动作指令，患者需要跟着虚拟木偶进行动作的模仿和学习；纠正模块的文字和语音提示信息包含了信号灯状态的描述，肩、肘、腕及手部的实时位置及上肢偏离规定位置的纠正信息，患者需要完成所述综合康复训练模块随机生成的不同信号灯状态下直行、减速慢行、停止、左转弯、右转弯的交通指挥动作，患者每完成一次交通手势指挥动作得1分，训练时间为3-6分钟，最终，评分模块会根据患者的得分情况评议训练等级。