CN115985461A

CN115985461A - 一种基于虚拟现实的康复训练系统

Info

Publication number: CN115985461A
Application number: CN202211571251.6A
Authority: CN
Inventors: 张莹; 许希斌; 粟欣
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2022-12-08
Filing date: 2022-12-08
Publication date: 2023-04-18

Abstract

本发明属于医疗康复产品技术领域，具体涉及一种基于虚拟现实的康复训练系统；该方法包括：信息采集模块、数据处理模块、控制模块、虚拟场景模块和评价建议模块；信息采集模块用于采集用户的患者骨骼数据和用户主动输入信息；数据处理模块用于对患者骨骼数据进行处理，得到数据处理结果；控制模块用于根据骨骼数据处理结果，生成同步患者和人物模型的动作控制指令；虚拟场景模块用于根据用户主动输入信息建立虚拟场景并根据动作控制指令控制虚拟场景中的人物模型；评价建议模块用于对用户的运动行为进行评分并输出下一步康复训练建议；本发明解决了自遮挡问题，采集的运动数据更加准确，康复训练效果良好。

Description

一种基于虚拟现实的康复训练系统

技术领域

本发明属于医疗康复产品技术领域，具体涉及一种基于虚拟现实的康复训练系统。

背景技术

虚拟现实技术需要大量的数据传输、存储和计算功能，这些数据和计算密集型任务如果转移到云端，就能利用云端服务器的数据存储和高速计算能力。但是现在的第四代移动通信技术(the 4th Generation Mobile Communication Technology，4G)网速并不能完全地满足VR的需求，这导致了VR的发展有些许的低谷。当人们在体验VR技术时候，往往会伴随着头晕和目眩等症状，而这很大程度是因为网络延迟导致的，因为整个系统从监测动作到将运动反映到VR视野中会有一定的延迟滞后，此时体验者就会有眩晕的感觉。而5G因低时延、大带宽、大连接等特点，将是目前VR体验不佳的最好解决途径，也将更进一步促进VR通讯的发展进步。如VR直播业务在4G时代很难实现，因为该业务对数据传输要求极高。但5G时代，更高的网速，让用户不但可以看到面前的场景，还可以看到360度周围的环境，同时通过缩小或放大，随意观察现场的一些细节，保障了远程互动过程如现场对话般流畅。为了更贴切感受虚拟现实应用中的沉浸式体验，动作捕捉技术是其中至关重要的隐形钥匙，其中的关键在于获得精确的骨骼点数据。而Kinect由于其低廉的价格，使用者不用佩戴任何传感器，只需自由地站立在Kinect感应环境中，即可完成骨骼坐标获取全过程，极大地简化了运动康复训练的场地与设施。因此，它作为康复医疗游戏的外设来做简单的空间定位是一个极佳的选择。目前将Kinect技术与5G康复训练进行有机融合的研究相对较少。Kinect的优点是可以在VR中重建出身体，所以自我呈现甚至是其他用户都会有一个比较真实的形象，且不用拿控制器。然而，使用Kinect进行骨骼点获取时的数据精度较低，骨骼数据抖动，也无法保持关节长度的一致性，捕捉范围有限，不能够直接应用于3D模型驱动。现有技术提出了多种去除Kinect运动数据噪声的方法并取得良好效果；但由于自遮挡，有的基于Kinect的动作捕捉系统普遍存在着关节缺失等不足。用来做交互并不能做到较高的自然度，会出现操作失误和识别不了的情况。现有的一种丢失关节修复算法和骨骼动作平滑处理算法，解决了连续丢失多个关节点的问题和肢体末端关节抖动问题，但它对缺失了3个或以上的关节点效果不佳。因此，针对目前基于Kinect的动作捕捉系统存在的问题，对Kinect采集的骨骼数据进行修复，保持关节长度的一致性和解决自遮挡问题是非常有必要的。

如今，VR技术已被应用于康复治疗的方方面面，如在上肢失衡等运动障碍方面的康复，注意力集中等方面的认知康复，抑郁等情绪障碍的康复领域都取得了很好的康复疗效。其中运动功能障碍的康复训练是康复医疗的重要内容之一。研究发现设计趣味性的康复训练系统并根据医疗康复辅助需求的特性对系统的安全性及强度等各方面进行整合，比传统意义上的步态训练更能提高帕金森患者的步态平衡以及认知方面的功能。因此，提供一种基于虚拟现实的医疗康复训练系统是有必要的。

发明内容

针对现有技术存在的不足，本发明提出了一种基于虚拟现实的康复训练系统，该方法包括：信息采集模块、数据处理模块、控制模块、虚拟场景模块和评价建议模块；

所述信息采集模块用于采集患者骨骼数据和用户主动输入信息；用户主动输入信息包括患者主动输入信息和医生主动输入信息；

所述数据处理模块用于对患者骨骼数据进行处理，得到骨骼数据处理结果；

所述控制模块用于根据骨骼数据处理结果，生成同步患者和人物模型的动作控制指令；

所述虚拟场景模块用于根据患者主动输入信息建立虚拟场景并根据动作控制指令控制虚拟场景中的人物模型；

所述评价建议模块用于对用户的运动行为进行评分并输出下一步康复训练建议。

优选的，信息采集模块包括患者信息采集模块和医生信息采集模块；患者信息采集模块用于采集患者骨骼数据和患者主动输入信息，医生信息采集模块用于采集医生主动输入信息。

优选的，患者主动输入信息包括患者登录信息和虚拟场景选择信息；医生主动输入信息包括医生登录信息和医生对患者的评价建议信息。

优选的，采集患者骨骼数据的过程包括：采用多个kinect传感器采集用户肢体运动图像，根据机器学习算法实时获取用户25个骨骼点坐标，得到患者每个关节位置的时间序列作为肢体运动数据即患者骨骼数据。

优选的，控制模块上运行Unity3D软件，Unity3D软件中的实时3D引擎将骨骼数据处理结果与人物模型的骨骼数据相对应，生成动作控制指令并将动作控制指令发送给虚拟场景模块。

优选的，虚拟场景模块包括图像模块和音效模块，图像模块中存储有多个虚拟场景，音效模块中存储有与虚拟场景对应的音效，图像模块根据用户主动输入信息和动作控制指令实时显示动态的虚拟场景，该虚拟场景包括与患者同步运动的人物模型和虚拟场景本身的动态变化；音效模块根据虚拟场景播放对应的音效。

优选的，评价建议模块存储评有评分计算标准，评价建议模块根据用户的运动数据，结合评分计算标准对用户的运动行为进行评分，输出评分结果或医生的评价建议信息。

本发明的有益效果为：本发明的基于虚拟现实的康复训练系统借助Unity3D软件的VR开发能力，可以打破传统医疗的时间、空间限制，使患者能随时居家完成恢复训练，且在每次训练中根据用户训练表现，提供训练评分及下一步训练建议，帮助患者能够系统地有效地完成恢复，使用多个传感器获取患者的运动数据，解决了自遮挡问题，采集的运动数据更加准确，使得最终人物模型与患者的同步运动更加及时和流畅。同时，本发明还可以提高患者的参与积极性，保证患者的训练参与度。

附图说明

图1为本发明中基于虚拟现实的康复训练系统模块示意图；

图2为本发明中一优选实施例的虚拟场景示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于虚拟现实的康复训练系统，如图1所示，所述方法包括：信息采集模块、数据处理模块、控制模块、虚拟场景模块和评价建议模块；

所述信息采集模块用于采集患者骨骼数据和用户主动输入信息；用户主动输入信息包括患者主动输入信息和医生主动输入信息。

信息采集模块包括患者信息采集模块和医生信息采集模块；患者信息采集模块用于采集患者骨骼数据和患者主动输入信息，医生信息采集模块用于采集医生主动输入信息。其中，患者主动输入信息包括患者登录信息和虚拟场景选择信息；医生主动输入信息包括医生登录信息和医生对患者的评价建议信息。

采集患者骨骼数据的过程包括：采用多个kinect传感器采集用户肢体运动图像，根据机器学习算法实时获取用户25个骨骼点坐标，得到患者每个关节位置的时间序列作为肢体运动数据即患者骨骼数据；优选的，本发明的康复训练系统采用3个Kinect传感器，每个Kinect间隔120度放置在患者周围，以全方位获取患者的骨骼点数据，为避免由于自遮挡导致的某些关节点缺失或单个Kinect捕捉范围有限的问题。每个Kinect采用飞行时间(Time of Flight,TOF)深度探测方案，由红外发射器主动投射调制的红外线，红外线照到视野里的物体上将会发生反射，用红外相机接收反射回来的红外线，通过计算发射红外线与接收红外线的时间差(通常是通过相位差来计算的)，可得到物体的深度(即物体到深度相机的距离)。kinect传感器采集到用户肢体运动图像后，为了将人体从复杂的背景中区分出来，在这个阶段，Kinect采取图像分割方法，从用户肢体运动图像中为每个被跟踪的人剔除背景图像。最后通过机器学习算法中的决策树森林算法实时计算患者的25个骨骼点坐标，得到患者每个关节位置的时间序列作为肢体运动数据即患者骨骼数据；其中，3个Kinect传感器可获得来自3个不同坐标系的25个骨骼点坐标。

本发明的基于虚拟现实的康复训练系统具有登录界面，界面上显示登录和注册选项；当点击登入按钮时，判断用户是否已经存在，若存在就直接登入，并加载用户数据；若不存在提示登入失败。当点击注册按钮时会判断用户是否已经存在，如果已经存在，提示注册失败，用户名已经存在，若用户不存在，提示注册成功。当用户登入成功后，显示虚拟场景选择，用户可选择想要的虚拟场景。

所述数据处理模块用于对患者骨骼数据进行处理，得到骨骼数据处理结果。

根据上述由3个Kinect收集的不同坐标系骨骼点坐标，首先统一坐标系，把三组坐标点统一为世界坐标系下的点。由于传感器在采集数据时会存在噪声，所以随后将每组坐标点通过均值滤波处理，使骨骼数据更加平滑，减少坐标数据的随机抖动；然后再利用神经网络对3个Kinect的数据进行融合，转为一组数据输出。传统的融合算法如卡尔曼滤波，它主要用于线性动力学模型，但本系统是非线性模型，因此不适用传统融合算法。新型的人工智能方法如卷积神经网络法，其具有强容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射处理时间序列问题。在3个Kinect传感器系统中，由于神经网络具有根据当前系统所接受的样本相似性在权值分布上确定分类标准，同时可采用学习算法来获取知识，得到不确定性推理机制的特点。因此，利用卷积神经网络的信号处理能力和自动推理功能，让每组传感器输出的数据通过均值滤波作为卷积神经网络的输入，再通过3层卷积后输出，得到3个Kinect传感器融合后的数据即骨骼数据处理结果，即可解决因自身姿势遮挡而产生的关节缺失和单个Kinect捕捉范围受限的问题。

所述控制模块用于根据骨骼数据处理结果，生成同步患者和人物模型的动作控制指令。

控制模块基于Unity3D引擎，在Unity3D软件上进行脚本开发，使用Kinect体感设备来控制人物。Unity3D软件上的实时3D引擎收到3个Kinect经过滤波处理融合后的数据即骨骼数据处理结果，将骨骼数据处理结果赋在Demo中的人物模型上，使得骨骼数据处理结果与人物模型的骨骼数据相对应，生成动作控制指令并将动作控制指令发送给虚拟场景模块，从而实现将人的动作实时同步到虚拟人物上。

Kinect与Unity交互过程如下：安装Kinect SDK，在unity3D工程中，导入卡耐基梅隆插件，在游戏场景中创建一个空物体，并将Kinect Manager脚本挂到此空物体上，其中，KineManager是Kinect组件中最基础的部分，能获取颜色、深度流以及Kinect空间中主体和关节的位置。它控制着传感器并对数据流进行处理，其他所有组件都依赖于它提供的数据，这样就可将Unity3D软件与Kinect联系起来了。然后将控制脚本AvatarController拖拽到人物模型(空物体)上，为了让人物模型跟上人的节奏，将模型上控制模型运动的关键骨骼点拖放到控制脚本中的合适变量，即将Kinect识别到的人的骨骼点与模型中的骨骼点绑定起来。将骨骼点绑定好以后，就能使用Kinect来控制Unity中的人物移动了。

所述虚拟场景模块用于根据患者主动输入信息建立虚拟场景并根据动作控制指令控制虚拟场景中的人物模型。

虚拟场景模块包括图像模块和音效模块，图像模块中存储有多个虚拟场景，音效模块中存储有与虚拟场景对应的音效，图像模块根据用户主动输入信息(如场景选择、训练难度等)和动作控制指令实时显示动态的虚拟场景，该虚拟场景包括与患者同步运动的人物模型和虚拟场景本身的动态变化；音效模块根据虚拟场景播放对应的音效。

评价建议模块存储评有评分计算标准，评价建议模块根据用户的运动数据，结合评分计算标准对用户的运动行为进行评分，输出评分结果或医生的评价建议信息。

在一些优选实施例中，如图2所示，患者用户登录系统并选择虚拟场景为草坪并设置难度等级，不同等级对应不同的蝴蝶数量和飞舞速度，该草坪上出现很多动态随机飞舞的蝴蝶，评分计算标准设置为用户手指捕捉到蝴蝶5秒计数1分，在康复训练时间段内捕捉的蝴蝶总数为总评分；医生用户可登录系统对患者用户的训练结果进行评价建议，患者用户可接收到系统给出的评分结果或医生的评价建议信息。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于虚拟现实的康复训练系统，其特征在于，包括：信息采集模块、数据处理模块、控制模块、虚拟场景模块和评价建议模块；

2.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，信息采集模块包括患者信息采集模块和医生信息采集模块；患者信息采集模块用于采集患者骨骼数据和患者主动输入信息，医生信息采集模块用于采集医生主动输入信息。

3.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，患者主动输入信息包括患者登录信息和虚拟场景选择信息；医生主动输入信息包括医生登录信息和医生对患者的评价建议信息。

4.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，采集患者骨骼数据的过程包括：采用多个kinect传感器采集用户肢体运动图像，根据机器学习算法实时获取用户25个骨骼点坐标，得到患者每个关节位置的时间序列作为肢体运动数据即患者骨骼数据。

5.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，所述控制模块上运行Unity3D软件，Unity3D软件中的实时3D引擎将骨骼数据处理结果与人物模型的骨骼数据相对应，生成动作控制指令并将动作控制指令发送给虚拟场景模块。

6.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，所述虚拟场景模块包括图像模块和音效模块，图像模块中存储有多个虚拟场景，音效模块中存储有与虚拟场景对应的音效，图像模块根据用户主动输入信息和动作控制指令实时显示动态的虚拟场景，该虚拟场景包括与患者同步运动的人物模型和虚拟场景本身的动态变化；音效模块根据虚拟场景播放对应的音效。

7.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，所述评价建议模块存储评有评分计算标准，评价建议模块根据用户的运动数据，结合评分计算标准对用户的运动行为进行评分，输出评分结果或医生的评价建议信息。