CN114067953A - 康复训练方法、系统及计算机可读存储介质 - Google Patents

Abstract

本发明公开一种康复训练方法、系统及计算机可读存储介质，该康复训练方法包括：采用普通单目相机获取虚拟训练场景及用户的运动数据，虚拟训练场景包括运动的目标位姿；根据获取的用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果；根据三维位姿当前估计值及意图识别结果预测下一时刻的三维位姿，并根据预测的下一时刻的三维位姿构建用户的运动模型，以实时更新并渲染虚拟训练场景，并显示虚拟训练场景。本发明一种可在家庭环境中搭建使用、具备非接触交互能力、可实时指导康复训练的、低成本的康复训练方法，以满足后期家庭康复训练的需求。

Description

康复训练方法、系统及计算机可读存储介质

技术领域

本发明涉及虚拟现实交互技术领域，特别涉及一种康复训练方法、系统及计算机可读存储介质。

背景技术

脑卒中康复一般分为三个阶段：早期、中期及后期，对应地康复训练分别在医院、康复机构及家庭环境中进行。在后期家庭康复训练过程中，缺乏康复师的临场指导，难以对患者的康复训练做及时的评价和反馈，而且容易因为康复过程不仅枯燥乏味，主动参与的积极性较低，导致康复效果不佳。

发明内容

本发明的主要目的是提出一种康复训练方法、系统及计算机可读存储介质，旨在解决满足后期家庭康复训练的需求。

为实现上述目的，本发明提出一种康复训练方法，所述康复训练方法包括：

采用普通单目相机获取虚拟训练场景及用户的运动数据，所述虚拟训练场景包括运动的目标位姿；

根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果；

根据所述三维位姿当前估计值及意图识别结果预测下一时刻的三维位姿，并根据预测的下一时刻的三维位姿构建用户的运动模型，以实时更新并渲染所述虚拟训练场景，并显示所述虚拟训练场景。

可选地，所述康复训练方法还包括：

将所述三维位姿当前估计值中的肢体末端三维位姿作为起始点，将所述目标位姿作为目标点，根据所述起始点和所述目标点生成示教符号，并显示于所述虚拟训练场景中。

可选地，在所述获取虚拟训练场景及用户的运动数据的步骤之前，所述康复训练方法还包括：

获取存储的历史训练数据，并根据所述历史训练数据评估用户的训练情况并生成状态评估报告，以使用户根据所述状态评估报告选择对应的虚拟训练场景。

可选地，所述根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果的步骤具体包括：

根据所述用户的运动数据，获取用户运动时的二维关键点分布；

根据所述用户运动时的二维关键点分布以及生成对抗网络估计用户的当前三维位姿，以获得三维位姿当前估计值。

可选地，所述根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果的步骤具体包括：

根据获取的所述用户的运动数据估计用户的运动时三维位姿，以获得三维位姿序列；

并根据所述用户的三维位姿序列以及循环神经网络估计用户的运动意图，以获得意图识别结果。

可选地，在所述根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果的步骤之后，所述康复训练方法还包括：

将所述实时估计的用户的当前三维位姿存储为历史训练数据；

将所述历史训练数据发送至外部存储设备。

可选地，所述获取虚拟训练场景及用户的运动数据的步骤包括：

获取用户运动时的图像信息，并对所述图像信息进行图像处理，以得到所述用户的运动数据。

可选地，所述运动的目标位姿的数量为多个；

在所述获取虚拟训练场景及用户的运动数据的步骤之前，所述康复训练方法还包括：

获取用户的康复情况，从多个所述运动的目标位姿中选择与所述用户的康复情况适配的一个，并添加至所述虚拟训练场景中。

本发明还提出一种康复训练系统，所述康复训练系统包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的康复训练程序，其中所述康复训练程序被所述处理器执行时实现如上所述的康复训练方法的步骤。

可选地，所述康复训练系统还包括：

图像采集设备，与所述处理器电连接，用于采集用户运动时的图像信息，并输出至所述处理器；

显示设备，与所述处理器电连接，用于对所述处理器输出的虚拟训练场景进行显示。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有康复训练程序，所述康复训练程序被处理器执行时实现如上所述的康复训练方法的步骤。

本发明通过获取虚拟训练场景及用户的运动数据，所述虚拟训练场景包括运动的目标位姿，并根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果，从而根据所述三维位姿当前估计值及意图识别结果预测下一时刻的三维位姿，并根据预测的下一时刻的三维位姿构建用户的运动模型，以实时更新并渲染所述虚拟训练场景，并显示所述虚拟训练场景。本发明构建的虚拟场景中包含用户的化身及示教角色，可预测用户的动作并同步显示。本发明是一种可在家庭环境中搭建使用、具备非接触交互能力、可实时指导康复训练的、低成本的康复训练方法，可以满足后期家庭康复训练的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明康复训练方法一实施例的流程示意图；

图2为本发明康复训练方法另一实施例的流程示意图；

图3为本发明康复训练方法又一实施例的流程示意图；

图4为图3中步骤S200一实施例的细化流程示意图；

图5为图3中步骤S200另一实施例的细化流程示意图；

图6为本发明康复训练方法再一实施例的流程示意图；

图7为本发明康复训练系统一实施例的结构示意图；

图8为本发明康复训练方法涉及的人体二维姿态关键点分布示意图；

图9为本发明康复训练方法涉及的三维姿态估计的生成对抗网络示意图；

图10为本发明康复训练方法涉及的意图识别的循环网络示意图；

图11为本发明康复训练方法涉及位姿预测及示教符号示意图；

图12为本发明实施例方案涉及的康复训练装置硬件运行环境的终端结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明提出一种康复训练方法。

随着老龄化社会的到来，脑卒中患者数量逐年增加。脑卒中易引起偏瘫，患者需进行长时间的康复训练。早期、中期及后期的康复训练分别在医院、康复机构及家庭环境中进行。目前，适合后期家用康复训练的上、下肢辅助训练设备较为欠缺。另外，在后期家庭康复训练过程中，缺乏康复师的临场指导，难以对患者的康复训练做及时的评价和反馈。现有的康复训练设备需采集患者的运动信息，加装了大量穿戴式传感设备，对于患者在家庭环境中的使用带来诸多不便。另外，现有的康复训练设备一般仅适用于医院或康复机构，需要专人操作，使用维护成本高，难以满足家庭康复训练的要求。

为了解决上述问题，参照图1至图12，在本发明一实施例中，康复训练方法包括：

步骤S100、获取用户选择的虚拟训练场景及用户的运动数据，所述虚拟训练场景包括运动的目标位姿；

本实施中，虚拟训练场景具有多个，可以根据用户的需求提供不同的应用场景，例如可以针对用户的上肢康复训练需求，设置对应的应用场景，也可以针对用户的下肢康复训练需求，设置对应的应用场景，或者针对用户的全身，设置对应的应用场景。具体而言，针对用户的上肢康复训练需求，可以提供切水果、钓鱼、桌球、模拟驾驶等虚拟场景。针对下肢康复训练，可以提供漫步、上下台阶、踢球等虚拟场景。例如，可以利用驾驶训练游戏和捕鱼达人训练游戏来完成上肢水平方向的康复训练；可以利用鲨鱼吃小鱼训练游戏来完成上肢垂直方向的康复训练；利用跑酷训练游戏来完成下肢方向的康复训练。虚拟训练场景可以利用Unity 3D平台开发适合用户康复的生活场景，同时在场景中设计一些基本生活技能训练作为康复任务。经渲染以增强用户训练的沉浸感与真实感。

虚拟训练场景可以基于用户的选择而配置，例如可以在显示装置上以菜单、按钮等方式进行展示，用户可以通过鼠标、键盘、触摸屏等方式进行选择，基于用户的选择，获取对应的虚拟训练场景，并进行显示。也即可以通过图形界面显示的方式向用户显示康复训练的各个虚拟训练场景，用户以鼠标点击、触摸等方式来实现虚拟训练场景的选择和设置，随后基于用户选择的虚拟训练场景，可以进行虚拟训练场景的初始化，例如虚拟训练场景图像的载入，以及配置完成虚拟训练的其他数据等。

每一虚拟训练场景中，显示的内容均不同，例如模拟驾驶时，虚拟场景可以包括道路，道路两旁的风景等等。在模拟踢球时，虚拟场景可以包括球场、观众席等等，可以提高用户的体验感，使用户能够融入和沉浸至康复环境中，以提高康复训练效果。用户的运动数据可以包括用户的运动状态，在获取用户的运动状态时，可以以一定帧率去获取，运动状态包括但不限于用户身体关节的位置即姿态。目标位姿为每一虚拟训练场景对应的康复训练标准动作的目标点，包括目标位置和姿态，在同一虚拟训练场景下，可以设置有多个目标位姿，每一目标位姿可以根据用户完成康复训练标准动作的难易程度进行设置，具体而言，在用户进行康复训练的初始阶段，完成康复训练标准动作是较难的，则此时目标位姿可以设置得较低，在用户进行康复训练的中间阶段，完成康复训练标准动作有所提升，则此时目标位姿可以设置得相应的增加，在用户进行康复训练的结束阶段，完成康复训练标准动作是较容易的，则此时目标位姿可以设置得较高。以抬手臂的康复训练为例，在进行抬右手臂的康复训练时，用户的下肢和左手臂可以不进行运动，根据动作的难易程度可以分为用户的右手臂要进行上肢前伸至与躯体呈45°夹角，上肢抬升到水平高度，上肢举起至头顶。对应地，上肢前伸至与躯体呈45°夹角时，目标位姿则处于肢体末端与躯体呈45°夹角位置，上肢抬升到水平高度时，目标位姿则处于肢体末端与躯体呈90°夹角位置，上肢举起至头顶时，目标位姿则处于肢体末端与躯体呈180°夹角位置。运动数据还可以包括用户的身高、性别、运动轨迹、用户做每一动作所花费的时间、用户做每一动作与康复训练标准动作之间的对比等等。

在用户选择好虚拟训练场景后，系统初始化基于虚拟现实的康复训练模型，例如游戏模型，配置与用户选择的虚拟训练场景所对应的康复训练类别、康复训练模式、康复训练时间、康复训练场景难易程度类别等。康复训练模式可以上肢训练模式、下肢训练模式，单手训练模式，双手训练模式等等。

步骤S200、根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果；

本实施例中，用户的当前三维位姿可以以身体的躯干作为参考，用户的当前三维位姿也可以是为绝对位置及姿态。根据用户正在进行康复训练不同，用户的当前三维位姿也就不同，例如在用户进行切水果训练动作与钓鱼切水果训练动作时的三维位姿均是不同的，并且根据训练进展度的不同，也会随之发生变化，例如，当前三维位姿与上一时刻的三维位姿，以及下一时刻的三维位姿均会有所改变。运动数据为实时记录的每一时刻的运动数据的集合，并且根据所记录的运动数据序列，识别出用户的运动意图，其中运动意图可以包括但不限于即上肢前伸、上肢前伸后放下、上肢侧伸、上肢侧伸后放下、上肢举起、上肢举起后放下、迈步、站立等等。

步骤S300、根据所述三维位姿当前估计值及意图识别结果预测下一时刻的三维位姿，并根据预测的下一时刻的三维位姿构建用户的运动模型，以实时更新并渲染所述虚拟训练场景，并显示所述虚拟训练场景。

本实施例中，下一时刻的三维位姿可以为超前当前三维位姿一定时间的动作，例如超前0.5s，1s等时间，用户将作出的动作，根据预测的下一时刻的三维位姿，可以利用虚拟现实引擎Unity的逆运动学方法构造用户的运动模型，即已知肢体末端三维位姿，推算出肢体其它关节的三维位姿并建立整个肢体模型，在虚拟场景中映射出虚拟的游戏角色或者肢体，在虚拟场景中相应位置用这些三维位姿映射出虚拟的肢体，其姿势和相对位置与真实用户的三维位姿相一致，使肢体的动作与虚拟训练场景进行交互，以此作为用户在虚拟场景中的化身，完成康复训练的指定动作。具体而言，在训练过程中，可以根据用户的运动数据中每一时刻的三维位姿，转换为虚拟训练场景的更新和渲染数据，例如模拟开车的康复训练中，用户在做出向左转动的动作时，汽车模型就会向左等比例转动，这样就把用户带入到游戏中，使用户沉浸于虚拟现实中完成特定的康复训练。运用以上方法建立在虚拟场景中的动作超前于用户当前的动作，可起到运动引导和示教的作用。

本发明通过获取虚拟训练场景及用户的运动数据，所述虚拟训练场景包括运动的目标位姿，并根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果，从而根据所述三维位姿当前估计值及意图识别结果预测下一时刻的三维位姿，并根据预测的下一时刻的三维位姿构建用户的运动模型，以实时更新并渲染所述虚拟训练场景，并显示所述虚拟训练场景。本发明构建的虚拟场景中包含用户的化身，可预测用户的动作并同步显示。本发明一种可在家庭环境中搭建使用、具备非接触交互能力、可实时指导康复训练的、低成本的技术方案，以满足后期家庭康复训练的需求。

参照图2和图11，在一实施例中，所述康复训练方法还包括：

步骤S400、将所述三维位姿当前估计值中的肢体末端三维位姿作为起始点，将所述目标位姿作为目标点，根据所述起始点和所述目标点生成示教符号，并显示于所述虚拟训练场景中。

需要说明的是，由于用户的运动状态与标准动作之间存在差异，以用户腕部或踝关节当前三维位姿为起始点，并以标准动作对应的三维位姿为目标点，二者连线所得矢量作为示教符号，示教符号可扩展为运动物体等游戏角色，例如该虚拟场景示教符号可以是箭头、金币、苹果、小鱼或者其他与正在进行的康复虚拟训练场景匹配的符合，该示教符号会随着康复虚拟训练动作的进行，实时更新并渲染，并显示在虚拟场景中，代替康复师做动作示教。如此，本发明康复训练方法包含动作示教与指导角色，可对用户的动作进行示教和纠正，起到现场指导的作用。

参照图3，在一实施例中，在所述获取虚拟训练场景及用户的运动数据的步骤之前，所述康复训练方法还包括：

步骤S500、获取存储的历史训练数据，并根据所述历史训练数据评估用户的训练情况并生成状态评估报告，以使用户根据所述状态评估报告选择对应的虚拟训练场景。

可以理解的是，用户在每一康复虚拟训练场景下做的动作均会被记录和存储为历史训练数据，从而实时评估用户利用康复虚拟训练场景实施康复训练的训练情况并给与用户反馈，在康复训练结束后上传训练数据并生成评估报告。即根据用户康复程度实施对应的康复训练，具体可以由上位机程序实时获取康复训练时的角度数据，与康复训练的虚拟现实进行交互，完成实时评估和即时运动反馈；并在游戏结束后上位机程序自动分析训练数据，并生成训练结果报告。具体地，用户利用康复游戏实施四肢康复训练时在左右方向旋转、上下方向摆动或踝关节运动的运动数据，依据运动数据，将用户做的动作与标准动作进行比较，或者将每一时刻的三维位姿数据所用时间与标准动作所需的时间进行比较，同时还可以根据每一时刻的三维位姿数据绘制动作曲线趋势图等等，形式生成实时评估报告。状态评估报告还可以包括每一动作的训练完成情况、训练完成时间、目标动作是否完成情况等等，在一些实施例中，还可以根据获取的用户的运动数据得出用户训练的分数，并生成直观的表格、扇形图、柱状图等等，以分析每个康复训练的目标动作完成度情况，以及具体的上肢、下肢动作是否连贯、是否存在障碍等情况分析等等。

参照图4，在一实施例中，所述根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果的步骤具体包括：

步骤S211、根据所述用户的运动数据，获取用户运动时的二维关键点分布；

步骤S212、根据所述用户运动时的二维关键点分布以及生成对抗网络估计用户的当前三维位姿，以获得三维位姿当前估计值。

本实施例中，如图7，图7为用户二维关键点的分布和定义，含头部、肩部、肘部、腕部、髋关节、膝关节和踝关节共17个关键点。如图9所示，本发明具体采用VGG16网络结构估计用户的二维关键点。该网络共有16个隐藏层，含13个卷积层和3个全连接层，卷积核大小为3×3，步长为1，其中的最大化池化层大小为2×2。从单目摄像头采集的视频中提取每秒30帧的大小为224×224的RGB图像，作为VGG16网络输入，并使用MPII数据集对该VGG16网络进行训练和测试，以估计用户每一时刻的二维关键点，并得到二维关键点位置估计的结果。本实施例同时采用生成对抗网络估计用户的每一时刻三维姿态，该生成对抗网络包括生成网络G和判别网络D。生成网络G以二维关键点位置估计的结果为输入，生成三维姿态的预测值，然后将三维预测结果投影到特定方向上，模拟特定视角下用户姿态的观察结果，例如模拟实际康复时，康复训练师所处位置对用户姿态控进行观察时的视角。判别网络D评估预测结果的准确性，也即将三维预测结果投影到特定方向上时获得二维投影数据与真实的二维投影数据进行比较，以得到评估结果，利用sigmoid函数将评估结果反馈给生成网络，由此训练生成网络生成，使其输出更具真实性的三维预测结果。本发明采用Human3.6M作为生成对抗网络的用户三维姿态估计训练和测试数据集。

参照图5，在一实施例中，所述根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果的步骤具体包括：

步骤S221、根据获取的所述用户的运动数据估计用户的运动时三维位姿，以获得三维位姿序列；

步骤S222、并根据所述用户的三维位姿序列以及循环神经网络估计用户的运动意图，以获得意图识别结果。

本实施例中，在用户训练的过程中会实时记录和存储每一时刻的用户的运动时三维位姿，多个时刻的用户的运动时三维位姿可以形成三维位姿序列，具体可以包括用户当前时刻的三维位姿及此前一段时间内不同时点的三维位姿，在获取到用户的三维位姿序列后，如图10所示，本实施可以采用循环神经网络(RNN)估计用户的运动意图。本实施例中，循环神经网络模型可以是权为三维张量的循环神经网络，三维张量的循环神经网络具有隐藏层、输入层和输出层，W_xh表示输入到隐层的权值矩阵、W_hh表示上一隐层到当前隐层权值矩阵，W_hz表示隐层到输出的权值矩阵。其中，X_t表示t时刻的输入向量，本实施例中X_t为t时刻的三维姿态数据(具体可以表示为当前时刻的三维姿态)，作为循环神经网络t时刻的输入，X_t+1则表示为下一时刻的三维姿态。Z_t为t时刻的运动意图(具体可以表示为当前时刻的运动意图)，Z_t+1为下一时刻的运动意图，运动意图共分为8种，即上肢前伸、上肢前伸后放下、上肢侧伸、上肢侧伸后放下、上肢举起、上肢举起后放下、迈步、站立。H_t为隐层状态向量，本实施例中h_t为t时刻存储的运动状态记忆信息(具体可以表示为当前时刻的运动状态记忆信息)。

参照图6，在一实施例中，在步骤S200、所述根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果的步骤之后，所述康复训练方法还包括：

步骤S600、将所述实时估计的用户的当前三维位姿存储为历史训练数据；

将所述历史训练数据输出至外部存储设备。

本实施例中，可以对用户运动过程中每一时刻的运动数据进行同步存储，在康复训练完成后将训练数据存储到本地数据库，还可以通过有线或者无线的方式把训练数据同步到云端的数据库，远程诊疗系统、康复训练大数据系统等等。如此，用户自身或者康复训练师等可以根据需求查看用户的康复训练相关数据，例如存储于本地数据库或者外部存储设备时，用户可以在本地终端或者外部存储设备的显示界面中，通过点击、滑选、语音输入等方式调取本地数据库的存储的历史训练数据，该历史训练数据可以以相应的评估报告方式反馈给本地终端或者外部存储设备中，由本地终端或者外部存储设备在显示界面中显示相应的评估报告。

在一实施例中，所述获取虚拟训练场景及用户的运动数据的步骤包括：

获取用户运动时的图像信息，并对所述图像信息进行图像处理，以得到所述用户的运动数据。

本实施例中，具体可以采用图像采集设备以一定帧率拍摄用户自身的运动状态，并实时发送给用于执行和处理上述康复训练方法的处理器。处理器可以完成图像处理及人体姿态估计，实时更新并渲染虚拟场景，并在显示设备上显示虚拟场景。图像采集设备可以采用单目相机、摄像头、手机、电脑等单目图像采集设备进行图像采集，本发明通过单目图像采集设备来进行图像采集，可以实现低成本实时识别，无需GPU、双目相机或深度相机，所需采集设备采用大众化单目图像采集类设备，相较于专业的高端图像采集设备，可实现化更普遍，仅使用现有的手机等单目图像采集设备就能实现本方案所实现的技术效果，应用范围更广。本发明基于单目图像采集设备进行用户运动时的图像信息，同时搭配上述康复训练方法的算法识别，可以实现在低成本硬件平台上，完成用户的运动数据的实时识别。

此外，在发明实施例中，单目图像采集设备采集的图像数据，用户运动时的二维关键点分布，也即从单目图像采集设备采集的图像信息中检测人体的二维关键点，通过关键点描述，得到二维关键点位置估计的结果。本发明采用单目视觉实时估计患者的姿态，提供一种非接触式的交互技术方案，可避免繁复的设备穿戴工作，更适合在家庭环境中使用。

在一具体实施例中，康复训练过程中，单目相机视野内通常只有一个人；若有多人存在，则取视野中间位置作为兴趣区域，以最靠近中间部位的人作为检测对象。

在一实施例中，所述运动的目标位姿的数量为多个；

在所述获取虚拟训练场景及用户的运动数据的步骤之前，所述康复训练方法还包括：

获取用户的康复情况，从多个所述运动的目标位姿中选择与所述用户的康复情况适配的一个，并添加至所述虚拟训练场景中。

本实施例中，随着用户自身的身体恢复以及康复训练的进行，用户的肢体运动会越来越灵活，因此针对用户不同阶段的康复情况，训练难度也会有所不同，以实现对用户进行循序渐进的康复训练，因此在同一个虚拟训练场景中进行同一个肢体运动的康复训练时，针对用户的康复情况，训练难度也会有所不同，具体可以体现为目标位姿、训练时长等的不同，具体的，目标位姿的不同，可以包括目标位置的高度，关节直接弯折程度等不同。例如，在初始阶段，目标位姿可以设置于与用户的肢体末端呈直线设置的位置，在训练中期阶段，目标位姿可以设置于与用户的肢体末端呈直线的位置，且高于初始阶段的高度，在训练末期阶段，目标位姿可以设置于与用户的肢体末端呈折线的位置，例如在上肢运动时，可以是举高+横移的组合动作等等。本实施例的虚拟训练场景可以至少包括两种康复训练难易程度类别，以供用户选择，并且获取用户的康复情况，从多个所述运动的目标位姿中选择与所述用户的康复情况适配的一个，并添加至所述虚拟训练场景中，使得在康复训练的过程中，用户可以以该目标位姿对应的实际三维位姿作为运动终点进行康复训练。

本发明还提出一种康复训练系统，所述康复训练系统包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的康复训练程序，其中所述康复训练程序被所述处理器执行时实现如上所述的康复训练方法的步骤。

参照图7和图12，本实施例康复训练系统可以是单目相机、电脑主机，后台服务器，云端服务器等，其中，康复训练系统包括：处理器1001，例如CPU(Central ProcessingUnit，中央处理器1001)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真Wireless-Fidelity，Wi-Fi接口)。存储器1005可以是高速RAM存储器1005，也可以是稳定的存储器1005(non-volatile memory)，例如磁盘存储器1005。存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图12中示出的康复训练系统结构并不构成对康复训练系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的康复训练程序，并执行上述康复训练方法。存储器1005还可以存储有康复训练过程中产生的历史训练数据。

本实施例中，处理器可以进行图像处理、人体位姿实时估计、动态虚拟场景实时生成与渲染，图像处理主要完成图像滤波、图像增强等前处理工作，本实施还可以设置有对外软件接口，对外软件接口可以为与之进行数据交互的康复训练大数据平台、远程诊疗系统及健康云平台的数据接口。系统启动后，用户自身或看护人根据历史训练数据及用户自身康复情况选择合适的虚拟训练场景，系统完成虚拟场景的初始化。随后基于单目视觉获取用户的运动数据，并对用户的人体位姿实时估计，以人体位姿估计结果形成的用户自身动作序列为输入，识别用户自身的运动意图，生成用户自身在虚拟场景中的肢体化身及示教信号。系统按一定频率实时更新动态虚拟场景、用户自身位姿及示教信号。用户自身训练过程中生成的三维位姿信息可作为历史数据存储在本地电脑或云端，用于训练效果评价。本发明采用基于单目视觉交互的人体位姿实时估计技术，并通过实时构建虚拟现实康复训练场景，兼具互动和示教的功能，适合家庭环境中的上、下肢康复训练。本发明可将目前需在康复机构中进行的至少一个月的康复训练转移至家庭环境中，可为用户自身节约住院及训练费用，同时可显著减少康复师的工作量，对于缓解我国康复训练资源不足、康复费用高的问题具有重要意义。本发明可采用手机、电视机及家用电脑等家用电器作为系统硬件，无需采购额外的设备，其成本显著低于现有康复训练设备。另外，本发明可与康养社区的远程诊疗系统、康复训练大数据系统对接，有助于增加康养社区的服务功能，提高其智能化水平。

参照图7，在一实施例中，所述康复训练系统还包括：

图像采集设备1007，与所述处理器电连接，用于采集用户运动时的图像信息，并输出至所述处理器；

显示设备1008，与所述处理器电连接，用于对所述处理器输出的虚拟训练场景进行显示。

本实例中，显示设备1008可以是大屏幕电视机、投影设备等等，图像采集设备1007可以为数码摄像头、手机摄像头等等，本发明采用单目视觉实时估计患者的姿态，无需设置传感器等与用户接触，是一种非接触式的交互技术方案，可避免繁复的设备穿戴工作，更适合在家庭环境中使用。本发明构建的虚拟场景中包含患者的化身，可预测患者的动作并通过显示设备1008同步显示。另外，本发明还可以在显示设备1008上进行动作示教与指导，可对患者的动作进行示教和纠正，起到现场指导的作用。图像采集设备1007以一定帧率拍摄患者的运动状态，并实时发送给处理器。处理器完成图像处理及人体姿态估计，实时更新并渲染虚拟场景，并在显示设备1008上显示虚拟场景。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有康复训练程序，所述康复训练程序被处理器执行时实现如上所述的康复训练方法的步骤。在本发明提供的计算机可读存储介质的实施例中，包含了上述康复训练装置康复训练方法各实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。

以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (11)

1.一种康复训练方法，其特征在于，所述康复训练方法包括：

采用普通单目相机获取虚拟训练场景及用户的运动数据，所述虚拟训练场景包括运动的目标位姿；

根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果；

根据所述三维位姿当前估计值及意图识别结果预测下一时刻的三维位姿，并根据预测的下一时刻的三维位姿构建用户的运动模型，以实时更新并渲染所述虚拟训练场景，并显示所述虚拟训练场景。

2.如权利要求1所述的康复训练方法，其特征在于，所述康复训练方法还包括：

将所述三维位姿当前估计值中的肢体末端三维位姿作为起始点，将所述目标位姿作为目标点，根据所述起始点和所述目标点生成示教符号，并显示于所述虚拟训练场景中。

3.如权利要求1所述的康复训练方法，其特征在于，在所述获取虚拟训练场景及用户的运动数据的步骤之前，所述康复训练方法还包括：

获取存储的历史训练数据，并根据所述历史训练数据评估用户的训练情况并生成状态评估报告，以使用户根据所述状态评估报告选择对应的虚拟训练场景。

4.如权利要求1所述的康复训练方法，其特征在于，所述根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果的步骤具体包括：

根据所述用户的运动数据，获取用户运动时的二维关键点分布；

根据所述用户运动时的二维关键点分布以及生成对抗网络估计用户的当前三维位姿，以获得三维位姿当前估计值。

5.如权利要求1所述的康复训练方法，其特征在于，所述根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果的步骤具体包括：

根据获取的所述用户的运动数据估计用户的运动时三维位姿，以获得三维位姿序列；

并根据所述用户的三维位姿序列以及循环神经网络估计用户的运动意图，以获得意图识别结果。

6.如权利要求1所述的康复训练方法，其特征在于，在所述根据获取的所述用户的运动数据实时估计用户的当前三维位姿以及用户的运动意图，以获得三维位姿当前估计值及意图识别结果的步骤之后，所述康复训练方法还包括：

将所述实时估计的用户的当前三维位姿存储为历史训练数据；

将所述历史训练数据发送至外部存储设备。

7.如权利要求1所述的康复训练方法，其特征在于，所述获取虚拟训练场景及用户的运动数据的步骤包括：

获取用户运动时的图像信息，并对所述图像信息进行图像处理，以得到所述用户的运动数据。

8.如权利要求1至7任意一项所述的康复训练方法，其特征在于，所述运动的目标位姿的数量为多个；

在所述获取虚拟训练场景及用户的运动数据的步骤之前，所述康复训练方法还包括：

获取用户的康复情况，从多个所述运动的目标位姿中选择与所述用户的康复情况适配的一个，并添加至所述虚拟训练场景中。

9.一种康复训练系统，其特征在于，所述康复训练系统包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的康复训练程序，其中所述康复训练程序被所述处理器执行时实现如权利要求1至8中任意一项所述的康复训练方法的步骤。

10.如权利要求9所述的康复训练系统，其特征在于，所述康复训练系统还包括：

采用单目相机作为图像采集设备，与所述处理器电连接，用于采集用户运动时的图像信息，并输出至所述处理器；

显示设备，与所述处理器电连接，用于对所述处理器输出的虚拟训练场景进行显示。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有康复训练程序，所述康复训练程序被处理器执行时实现如权利要求1至8中任意一项所述的康复训练方法的步骤。

Images