CN102727362B - 基于体感外设手臂运动追踪的康复训练系统及其训练方法 - Google Patents

Abstract

本发明公开一种基于体感周边外设手臂运动追踪的康复训练系统，该系统包含基于体感外设的骨骼数据处理子系统，电路连接基于体感外设的骨骼数据处理子系统输出端的机械手臂控制子系统，以及电路连接机械手臂控制子系统输出端的康复机械手臂；基于体感外设的骨骼数据处理子系统采用微软公司的Kinect设备。本发明采用Kinect设备捕获的手臂三维坐标数据，控制外部机械手臂运动，通过机械手臂带动患者进行康复运动，不用理疗师戴任何电子器件，解决了传统理疗师只能一对一治疗中风患者的限制，同时还提升了患者进行多次康复性训练的精准度，不仅减轻了理疗师的负担，也增强了患者接受康复性训练后的效果。

Description

基于体感外设手臂运动追踪的康复训练系统及其训练方法

技术领域

本发明涉及一种属于生物医学工程、计算机和自动控制领域的康复训练技术，具体涉及一种基于体感外设的手臂运动追踪的康复训练系统及其训练方法。

背景技术

体感（Natural User Interface）是一种识别三维空间中肢体动作的人机交互技术，近年来受到广泛的关注。

微软公司推出的Kinect设备（即体感外设），由一个RGB摄像头和两个深度摄像头构成，能够捕捉深度信息，提供丰富和准确的三维运动信息。

中风后的功能缺失是一种常见的后遗症，所以病人通常需要进行长期的康复性训练恢复功能。在传统的功能康复治疗中，主要是靠理疗师来一对一的进行病人的康复训练，这样的方式使得工作效率较低。

在新颖的体感技术下，理疗师站在Kinect传感器前做一些康复性动作，Kinect实时地捕获到理疗师各个关节的三维坐标，通过对三维坐标的解析实时给出机械手臂控制命令，实现机械手臂带动患者进行康复性训练。这种技术不但可以实时处理理疗师的动作，还能根据需要存储理疗师的动作，以方便单个甚至多个患者进行准确的、周期的康复性训练。这些是传统理疗师对病人进行康复性训练做不到的。

发明内容

本发明提供一种基于体感周边外设手臂运动追踪的康复训练系统及其训练方法，通过理疗师示范指导性的康复动作，精准地映射成机械手臂控制命令，通过机械手臂运动带动患者手臂进行准确地、重复地、长期地训练，最终提升中风患者康复效果。

为实现上述目的，本发明提供一种基于体感周边外设手臂运动追踪的康复训练系统，其特点是，该系统包含基于体感外设的骨骼数据处理子系统，电路连接基于体感外设的骨骼数据处理子系统输出端的机械手臂控制子系统，以及电路连接机械手臂控制子系统输出端的康复机械手臂。

上述的基于体感外设的骨骼数据处理子系统采用微软公司的Kinect设备。

上述的康复机械手臂包含上臂部件，分别设置在上臂部件两端的下臂部件和肩部部件，以及机械手臂基座；

上述下臂部件与上臂部件之间还设有肘部屈伸旋转部件，下臂部件与上臂部件通过该肘部屈伸旋转部件转动连接；

上述上臂部件与肩部部件之间还设有肩关节前后转动部件，上臂部件与肩部部件通过该肩关节前后转动部件转动连接；

上述肩部部件的顶端设有肩关节上下转动部件，肩部部件通过该肩关节上下转动部件与机械手臂基座转动连接；

上述肘部屈伸旋转部件通过转轴连接有肘部屈伸旋转驱动电机；

上述肩关节前后转动部件通过转轴连接有肩部前后旋转驱动电机；

上述肩关节上下转动部件通过转轴连接有肩部上下旋转电机。

上述上臂部件与下臂部件都设有呈半圆弧形的支撑结构。

一种适用于基于体感外设手臂运动追踪的康复训练系统的训练方法，其特点是，该方法包含以下步骤：

步骤1、基于体感外设的骨骼数据处理子系统每秒对手腕、手肘、肩、双肩中点、另一侧肩的关节点捕获30次三维坐标；取各点最近五次的三维坐标数值，并分别计算取其平均数值；

步骤2、基于体感外设的骨骼数据处理子系统每次捕获上述五个关节点的三维坐标后，计算肘部关节的旋转关系和肩部关节的前后旋转关系；

步骤2.1、基于体感外设的骨骼数据处理子系统计算肘部关节的旋转关系，设手腕的三维坐标为A、手肘的三维坐标为B、肩的三维坐标为C；

计算关节旋转角度的公式如下：

                                                 

其中，所得的∠ABC即为肘部关节的旋转角度；

步骤2.2、基于体感外设的骨骼数据处理子系统计算肩部关节的前后旋转关系，设手肘的三维坐标为A、肩的三维坐标为B、双肩中点的三维坐标为C，

计算关节旋转角度的公式如下：

 

其中，所得的∠ABC即为肩部关节的前后旋转角度；

步骤3、基于体感外设的骨骼数据处理子系统通过手腕、手肘、肩和另一侧肩的关节点的三维坐标，判断手臂在身体的前方还是右侧；

步骤3.1、计算过手腕、手肘、肩三点三维坐标的平面方程的表达式（Ax +By +Cz +D =0），跳转到步骤3.2；

步骤3.2、计算另一侧肩的三维坐标到手腕、手肘、肩三点所在平面的距离，跳转到步骤3.3；

步骤3.3、判断另一侧肩的三维坐标到手腕、手肘、肩三点所在平面的距离是否大于0.2米，若是，则判定手臂在身前运动，并跳转到步骤4；若否，则判定手臂在身侧运动，并跳转到步骤4；

步骤4、基于体感外设的骨骼数据处理子系统通过储存任意一个被测关节的任意相邻两个时刻的三维坐标，计算出该关节的运动速度；

关节点的速度计算公式如下：

 

其中，p1是前一时刻被测关节三维坐标，p2是后一时刻被测关节三维坐标，0.033为相邻两次三维坐标捕获时刻的时间间隔；

步骤5、基于体感外设的骨骼数据处理子系统将获取和计算得的关节运动的角度和速度数值实时传输至机械手臂控制子系统；

机械手臂控制子系统根据关节运动的角度和速度数值，向康复机械手臂发送控制指令；

步骤6、康复机械手臂根据机械手臂控制子系统所发送的控制指令带动患者的手臂进行康复运动。

本发明基于体感外设手臂运动追踪的康复训练系统及其训练方法和现有技术的复健方式相比，其优点在于，本发明采用Kinect设备捕获的手臂三维坐标数据，控制外部机械手臂运动，通过机械手臂带动患者进行康复运动，不用理疗师戴任何电子器件，甚至可以坐着；不但解决了传统理疗师只能一对一治疗中风患者的限制，同时还提升了患者进行多次康复性训练的精准度，不仅减轻了理疗师的负担，也增强了患者接受康复性训练后的效果。

附图说明

图1为本发明基于体感外设手臂运动追踪的康复训练系统的结构框图；

图2为本发明基于体感外设手臂运动追踪的康复训练系统的康复机械手臂的结构示意图；

图3为本发明基于体感外设手臂运动追踪的康复训练系统的训练方法的流程图；

图4为本发明基于体感外设手臂运动追踪的康复训练方法中关节点选取示意图。

具体实施方式

以下结合附图，进一步说明本发明的具体实施例。

如图1所示，本发明公开一种基于体感外设手臂运动追踪的康复训练系统，该系统包含基于体感外设的骨骼数据处理子系统1，以及与该基于体感外设的骨骼数据处理子系统1的输出端电路连接的机械手臂控制子系统2。

基于体感外设的骨骼数据处理子系统1即采用微软公司的Kinect设备，该基于体感外设的骨骼数据处理子系统1用于实时探测和获取理疗师的三维人体骨骼坐标数据，并着重对手臂关节数据进行分析，计算出每个关节之间的旋转角度，最后实时把控制指令传输给机械手臂控制子系统2。

机械手臂控制子系统2的输出端电路连接康复机械手臂22。机械手臂控制子系统2实时接收基于体感外设的骨骼数据处理子系统1发出的三维骨骼运动数据，并向康复机械手臂22发出运动指令。

康复机械手臂22实时接收机械手臂控制子系统2发出的运动指令，根据指令，带动患者进行康复训练。

如图2所示，康复机械手臂22实现了三个自由度，三个自由度的机械手臂运动在一定程度上还是比较复杂，但Kinect骨骼追踪使得人机交互变得简单，为了实现控制，本发明中把运动控制限定在三个旋转电机上。

康复机械手臂22包含肩部部件221，与肩部部件221转动连接的上臂部件224，与上臂部件224转动连接的下臂部件226，以及机械手臂基座。

肩部部件221顶端设有肩关节上下转动部件222，肩部部件221通过肩部部件221与机械手臂基座转动连接。该肩关节上下转动部件222通过转轴连接肩部上下旋转电机227，肩部上下旋转电机227通过肩关节上下转动部件222带动肩部部件221、上臂部件224、下臂部件226一起做上下旋转运动，该肩关节上下转动部件222可带动机械手臂在侧向竖直面内做上下旋转运动，其旋转范围为180度，使肩部部件221能带动患者的肩部在肩关节上下转动部件222的正上方与正下方之间旋转。

肩部部件221与上臂部件224之间通过肩关节前后转动部件223转动连接，该肩关节前后转动部件223通过转轴连接有肩部前后旋转驱动电机228。肩部前后旋转电机228通过肩关节前后转动部件223带动上臂部件224、下臂部件226一起在正向竖直面中做前后运动，其旋转范围为180度，使上臂部件224能带动患者的上臂在肩关节前后转动部件223的正上方与正下方之间旋转。

上臂部件224与、下臂部件226之间通过肘部屈伸旋转部件225转动连接。该肘部屈伸旋转部件225通过转轴连接有肘部屈伸旋转驱动电机229，肘部屈伸旋转驱动电机229通过肘部屈伸旋转部件225带动下臂部件226在正向竖直面中做屈伸运动，其旋转范围为180度，即使下臂部件226能带动患者下臂在与上臂部件224折叠的位置，以及与上臂部件224呈直线的位置之间做旋转屈伸运动。

本康复机械手臂22的上臂部件224与下臂部件226都设有呈半圆弧形的支撑结构，该上臂部件224与下臂部件226的支撑结构分别与人体的上臂和下臂相适配，使患者的手臂能恰好地、舒适地固定在康复机械手臂22中。

如图3所示，本发明公开的一种适用于基于体感外设手臂运动追踪的康复训练系统的训练方法，其包含以下步骤：

步骤1、如图4所示，本实施例中，以右手臂作为例子说明，选取五个人体关节；右手腕3、右手肘4、右肩5、双肩中点6、左肩7。

基于体感外设的骨骼数据处理子系统1，即Kinect设备，每秒对上述的右手腕3、右手肘4、右肩5、双肩中点6、左肩7的五个关节点捕获30次三维坐标。

取各点最近五次的三维坐标数值，并计算取其平均数值。取上述五点的三维坐标的平均数值，可以获取比较稳定的计算结果。

步骤2、基于体感外设的骨骼数据处理子系统1每次捕获上述五个关节点的三维坐标后，计算肘部关节的旋转关系和肩部关节的前后旋转关系。

假设某三个关节的三维坐标分别为A、B、C，需要计算∠ABC，则此系统计算关节旋转角度的公式如下：

步骤2.1、本实施例中，基于体感外设的骨骼数据处理子系统1计算肘部关节的旋转关系，即通过获取右手腕3、右手肘4、右肩5，三点的三维坐标，设右手腕3的三维坐标为A、右手肘4的三维坐标为B、右肩5的三维坐标为C，通过计算关节旋转角度的公式：

 

计算所得的∠ABC为肘部关节的旋转关系，即可获得肘部关节的旋转角度。

步骤2.2、基于体感外设的骨骼数据处理子系统1计算肩部关节的前后旋转关系，即通过获取右手肘4、右肩5、双肩中点6，三点的三维坐标，设右手肘4的三维坐标为A、右肩5的三维坐标为B、双肩中点6的三维坐标为C，通过计算关节旋转角度的公式：

 

计算所得的∠ABC为肩部关节的前后旋转关系，即可获得肩部关节的前后旋转角度。

步骤3、基于体感外设的骨骼数据处理子系统1通过右手腕3、右手肘4、右肩5和左肩7的关节点的三维坐标，判断手臂在身体的前方还是右侧。

步骤3.1、基于体感外设的骨骼数据处理子系统1通过右手腕3、右手肘4、右肩5，该三点的三位坐标，计算出过该三点的平面方程的表达式（Ax +By +Cz +D =0），跳转到步骤3.2。

步骤3.2、基于体感外设的骨骼数据处理子系统1计算左肩7的三维坐标到上述的右手腕3、右手肘4、右肩5三点所在平面的距离，跳转到步骤3.3。

步骤3.3、基于体感外设的骨骼数据处理子系统1判断左肩7的三维坐标到上述的右手腕3、右手肘4、右肩5三点所在平面的距离是否大于0.2米，若是，左肩7的三维坐标到右手腕3、右手肘4、右肩5三点所在平面的距离大于0.2米，则判定手臂在身前运动，并跳转到步骤4。若否，左肩7的三维坐标到右手腕3、右手肘4、右肩5三点所在平面的距离小于等于0.2米，则判定手臂在身侧运动，并跳转到步骤4。

步骤4、基于体感外设的骨骼数据处理子系统1通过储存任意一个关节前一时刻及其后一时刻（即该关节点的任意相邻两个时刻）的三维坐标，计算出该关节的运动速度。相邻两时刻之间的时间间隔取的是基于体感外设的骨骼数据处理子系统1相邻两次捕获三维坐标的时间间隔。

假设前一时刻一个被测关节的三维坐标是p1，后一时刻该被测关节的三维坐标是p2，由于基于体感外设的骨骼数据处理子系统1相邻两次骨骼数据获取时间间隔是0.033秒，则此关节点的速度计算公式如下：

 

其中，p1是前一时刻被测关节三维坐标，p2是后一时刻被测关节三维坐标，0.033为相邻两次三维坐标捕获时刻的时间间隔。

本发明所公开的系统中，主要只计算腕关节和肘关节的运动速度，而肩关节由于固定不动则不进行计算。

步骤5、基于体感外设的骨骼数据处理子系统1将获取和计算得的关节运动的角度和速度数值实时传输至机械手臂控制子系统2，机械手臂控制子系统2根据上述关节运动的角度和速度数值，向康复机械手臂22发送控制指令。

步骤6、康复机械手臂22根据机械手臂控制子系统2所发送的控制指令，带动康复机械手臂22中所固定的患者的手臂进行康复运动。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (3)

1.一种基于体感外设手臂运动追踪的康复训练系统，其特征在于，该系统包含基于体感外设的骨骼数据处理子系统（1），电路连接所述基于体感外设的骨骼数据处理子系统（1）输出端的机械手臂控制子系统（2），以及电路连接所述机械手臂控制子系统（2）输出端的康复机械手臂（22）；

所述的康复机械手臂（22）包含上臂部件（224），分别设置在上臂部件（224）两端的下臂部件（226）和肩部部件（221），以及机械手臂基座；

所述下臂部件（226）与上臂部件（224）之间还设有肘部屈伸旋转部件（225），下臂部件（226）与上臂部件（224）通过该肘部屈伸旋转部件（225）转动连接；

所述上臂部件（224）与肩部部件（221）之间还设有肩关节前后转动部件（223），上臂部件（224）与肩部部件（221）通过该肩关节前后转动部件（223）转动连接；

所述肩部部件（221）的顶端设有肩关节上下转动部件（222），肩部部件（221）通过该肩关节上下转动部件（222）与机械手臂基座转动连接；

所述肘部屈伸旋转部件（225）通过转轴连接有肘部屈伸旋转驱动电机（229）；

所述肩关节前后转动部件（223）通过转轴连接有肩部前后旋转驱动电机（228）；

所述肩关节上下转动部件（222）通过转轴连接有肩部上下旋转电机（227）。

2.如权利要求1所述的基于体感外设手臂运动追踪的康复训练系统，其特征在于，所述的基于体感外设的骨骼数据处理子系统（1）采用微软公司的Kinect设备。

3.如权利要求2所述的基于体感外设手臂运动追踪的康复训练系统，其特征在于，所述上臂部件（224）与下臂部件（226）都设有呈半圆弧形的支撑结构。