CN109558003A - 基于虚拟现实技术的认知训练和恢复系统 - Google Patents

Abstract

本发明公开了一种基于虚拟现实技术的认知训练和恢复系统，包括登陆模块、任务模块、动画模块、控制模块和数据库；登陆模块用于任务执行前的准备阶段，根据控制面板进行参数设置，设置完成后进行场景切换，切换完成后使用save在控制面板进行存储；任务模块主要包括任务的生成、任务结果判断和任务结果反馈三个功能；动画模块分为动画设置和动画触发两个部分；控制模块分为控制触发、控制设置和控制存储三个部分；数据库将所有数据存储到数据库中，满足对不同条件的增删修改，从数据库导出每次实验结果到日志文件中。本发明可以帮助医护人员记录患者在运算和认知方面的情况，并通过固定训练和问卷进行改善。

Description

基于虚拟现实技术的认知训练和恢复系统

技术领域

本发明属于虚拟现实技术领域，更具体的说，是涉及一种基于虚拟现实技术的认知训练和恢复系统。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。VR已不仅仅被关注于计算机图象领域，它已涉及更广的领域，如电视会议、网络技术和分布计算技术，并向分布式虚拟现实发展。虚拟现实技术已成为新产品设计开发的重要手段。而随着HTCVive,GoogleOcclus等虚拟现实设备的成熟，我们可以使用这些设备进行研究并编写一些可用的应用程序。

为了能够进行虚拟现实应用开发，现在已经有很多种用于VR系统开发的工具包和API，如SteamVR等。在该系统中，我们使用unity开发引擎并采用SteamVR插件。SteamVR是一个VR插件，通过它可以让我们很容易在unity或unreal引擎编写虚拟现实应用程序。通过使用3dsmax建模和制作动画，我们将所有的模型和音频资源以脚本的形式整合到场景中帮助用户(也就是脑瘫患者)进行训练。

目前在国内在虚拟现实方面研究和应用已经取得了一些进展，但是基于虚拟现实系统的针对脑瘫患者认知测试和训练的系统比较少见，2007年在美国有人申请了Virtualreality tools and techniques for measuring cognitive ability and cognitiveimpairmen，但是该系统并没有实现患者的与环境交互功能，交互性相对较差，只能针对患者的认知障碍进行评估而不能改善。

我们通过创建不同的三维模型和动画作为患者完成训练的干扰，而这些干扰包括视觉，听觉以及视听三方面的干扰，通过不同的刺激时间、位移长度完成对患者的干扰。而患者需要在场景中完成我们预先设置的任务。该系统会根据患者的表现输出相应的日志文件以便测试人员进行调节和评估。

发明内容

本发明的目的是为了克服现有技术中的不足，帮助患者改善他们的认知障碍，提出一种针对脑瘫患儿的基于虚拟现实技术的认知训练和恢复系统，可以帮助医护人员记录患者在运算和认知方面的情况，并通过固定训练和问卷进行改善。

本发明的目的是通过以下技术方案实现的。

本发明的基于虚拟现实技术的认知训练和恢复系统，包括登陆模块、任务模块、动画模块、控制模块和数据库；

所述登陆模块用于任务执行前的准备阶段，根据控制面板进行参数设置，包括设置计算任务的运算符号、运算是否进位、几位运算，设置完成后进行场景切换，切换完成后使用save在控制面板进行存储；

所述任务模块主要包括任务的生成、任务结果判断和任务结果反馈三个功能，在用户超过限制的作答次数后系统会重新生成不同的任务，用户使用触发器作答后，系统会将用户选择结果与实际结果进行比对，如果作答正确，选项变为绿色对用户形成正向反馈，否则变为红色，用户继续进行作答，用户作答的结果和触发事件会保存到数据库中；

所述动画模块分为动画设置和动画触发两个部分，场景中存在20个不同的动画，默认设置为idle动画，触发后动画会从默认状态更改到别的状态，动画设置阶段设置场景中20个动画是否发生，发生顺序在程序运行过程中手动进行触发，动画触发后会改变动画播放状态以便引导或影响用户作答，同时数据库会记录动画触发时间；

所述控制模块分为控制触发、控制设置和控制存储三个部分，用户使用外设(htc手柄)完成任务作答，通过控制设置更改手柄上不同按键进行触发从而适应不同人的使用习惯，按键触发后，数据库会记录触发时间和作答结果；

所述数据库将所有数据存储到数据库中，满足对不同条件的增删修改，从数据库导出每次实验结果到日志文件中，便于每次测试后对不同用户的认知训练进行调整。

所述任务模块生成的任务包括不同性质、不同难度梯度的四则运算任务和Stroop认知干扰任务。

所述任务模块和控制模块之间存在两种类型的交互：

一种交互是用户与任务进行的交互：用户需要使用HTCVive手柄完成任务，手柄在场景中会被渲染成为虚拟的手臂和手掌；用户根据手柄的不同按键将手掌变成不同的姿势完成交互；在作答方面提供给用户关于任务是否正确的反馈；根据选项的数量n，每道题目用户有n+3的机会进行作答；正确的选项会变成绿色然后恢复，错误的选项会变红；

另一种交互是用户与环境之间的交互：为场景中所有的模型添加了与用户进行交互的动画；当用户在场景中长时间注视某个人物或者面对人物使用手柄的一些姿势，这些人物将会与用户进行交互(如打招呼之类的行为)，而这种交互有助于增加用户的临场感，使他们更加放松以及更易于收到我们的干扰从而得出期望的测试结果和训练效果。

与现有技术相比，本发明的技术方案所带来的有益效果是：

通过本发明在临床上测试结果，我们发现针对两种不同的任务，患儿基本上表现出来我们预期的效果。如：一个没有计算能力的患者，通过使用手柄进行交互，她可以在5分钟左右完成对交互本身的认知，训练效果从比较低的正确率到接近33％。而另一个有运算和认知能力的患者，花费了更多的时间完成任务，并有不错正确率。而且她更容易受到认知要求比较高的干扰。

根据我们的日志文件，医护人员会评估他们的认知情况，进行更加明确认知障碍的诊断，并根据系统中的干扰为不同的患儿设计更好的训练方案。

附图说明

图1是本发明的原理框图；

图2是本发明的程序流程图；

图3是本发明的运算参数设置示意图；

图4是本发明的干扰因素分布图；

图5是本发明的日志文件图。

具体实施方式

下面结合附图对本发明作进一步的描述。

小儿脑性瘫痪又称小儿大脑性瘫痪，俗称脑瘫。是指从出生后一个月内脑发育尚未成熟阶段，由于非进行性脑损伤所致的以姿势各运动功能障碍为主的综合征。是小儿时期常见的中枢神经障碍综合征，病变部位在脑，累及四肢，常伴有智力缺陷、癫痫、行为异常、精神障碍及视、听觉、语言障碍等症状。据统计，目前我国脑瘫病人总数约700万，其中全国每年新增脑瘫病例4—5万人。由于家长对其认知欠缺，加之延误诊疗及回避诊疗，导致我国脑瘫患儿致残率达42％-45％。为了帮助这些患者改善他们的认知障碍，本发明可以帮助医护人员记录患者在运算和认知方面的情况，并通过固定训练和问卷进行改善。

因为脑瘫患者在如运动，智力，语言和视听觉等多种方便存在障碍，再加上不同的患者拥有不同的教育背景、医疗背景等，我们希望该系统的设计尽量满足大多数数患儿的使用。因此在场景中我们设置一些从易而难，维度从单纯的视觉、听觉到视听综合，位移由远及近的干扰动画。干扰动画的性质从最基础的生理干扰到需要一定认知能力的干扰，涵盖了很多方面。这些干扰动画需要通过外置键盘来触发。每次测试开始时他们会播放idle动画。

如图1至图5所示，本发明的基于虚拟现实技术的认知训练和恢复系统，包括登陆模块、任务模块、动画模块、控制模块和数据库。

所述登录模块用于任务执行前的准备阶段，在此模块我们可以跟据控制面板进行参数设置，如设置计算任务的运算符号、运算是否进位、几位运算等，设置完成后可以进行场景切换，切换完成后可以使用save在控制面板进行存储，这样可以保证切换到别的场景中完成任务的参数和难度保持一致。

所述任务模块主要包括任务的生成、任务结果判断和任务结果反馈三个功能，在用户超过限制的作答次数后系统会重新生成不同的任务，用户使用触发器作答后，系统会将用户选择结果与实际结果进行比对，如果作答正确，选项变为绿色对用户形成正向反馈，否则变为红色，用户继续进行作答，用户作答的结果和触发事件会保存到数据库中。

而患者需要在我们提供场景中完成两种不同性质、不同难度梯度的任务：四则运算任务和Stroop认知干扰任务。任务参数可由医护人员提前进行设置。

四则运算任务可以体现为：+,-,*,/，是否进位等不同难度。

Stroop认知干扰任务分为：颜色，图形，实物等不同难度。

所述动画模块分为动画设置和动画触发两个部分，场景中存在20个不同的动画，他们默认设置为idle动画，触发后动画会从默认状态更改到别的状态，动画设置阶段我们可以设置场景中20个动画是否发生，发生顺序等或者可以在程序运行过程中手动进行触发，动画触发后会改变动画播放状态以便引导或影响用户作答，同时数据库会记录动画触发时间。

所述控制模块分为控制触发、控制设置和控制存储三个部分，用户使用外设(htc手柄)完成任务作答，通过控制设置可以更改手柄上不同按键进行触发从而适应不同人的使用习惯，按键触发后，数据库会记录触发时间和作答结果等。

所述数据库将所有数据存储到数据库中，可以满足对不同条件的增删修改，从数据库导出每次实验结果到日志文件中，便于每次测试后对不同用户的认知训练进行调整。

其中，任务模块和控制模块之间存在两种类型的交互：

一种交互是用户(患者)与任务进行的交互：一种是用户与任务进行的交互，用户需要使用HTCVive手柄完成任务，手柄在场景中会被渲染成为虚拟的手臂和手掌。用户可以根据手柄的不同按键讲手掌变成不同的姿势完成交互。在作答方面我们提供给用户关于任务是否正确的反馈。根据选项的数量n，每道题目用户可以有n+3的机会进行作答。正确的选项会变成绿色然后恢复，错误的选项会变红。

另一种交互是用户与环境之间的交互：我们为场景中所有的模型添加了与用户进行交互的动画。当用户在场景中长时间注视某个人物或者面对人物使用手柄的一些姿势，这些人物将会与用户进行交互(如打招呼之类的行为)，而这种交互有助于增加用户的临场感，使他们更加放松以及更易于收到我们的干扰从而得出我们期望的测试结果和训练效果。

本发明基于虚拟现实技术的认知训练和恢复系统的具体操作过程：

第一步，打开参数设置面板，选择任务类型和任务难度，点击保存即可。

第二步，打开测试场景，点击J键进行开始，然后观察患儿的作答。

第三步，根据患儿的表现了解他们对项目的熟悉程度和交互情况。

第四步，根据患儿本身的症状选择合适的干扰，在合适的时间进行触发。

第五步，继续进行第三步的观察，并确定患者接受干扰的程度。

第六步，继续根据患者的表现调节干扰的时间和次数。

第七步，根据患者的表现记录调查问卷。

第八步，打印日志文件并进行分析。

尽管上面结合附图对本发明的功能及工作过程进行了描述，但本发明并不局限于上述的具体功能和工作过程，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明的保护之内。

Claims (3)

1.一种基于虚拟现实技术的认知训练和恢复系统，其特征在于，包括登陆模块、任务模块、动画模块、控制模块和数据库；

所述登陆模块用于任务执行前的准备阶段，根据控制面板进行参数设置，包括设置计算任务的运算符号、运算是否进位、几位运算，设置完成后进行场景切换，切换完成后使用save在控制面板进行存储；

所述任务模块主要包括任务的生成、任务结果判断和任务结果反馈三个功能，在用户超过限制的作答次数后系统会重新生成不同的任务，用户使用触发器作答后，系统会将用户选择结果与实际结果进行比对，如果作答正确，选项变为绿色对用户形成正向反馈，否则变为红色，用户继续进行作答，用户作答的结果和触发事件会保存到数据库中；

所述动画模块分为动画设置和动画触发两个部分，场景中存在20个不同的动画，默认设置为idle动画，触发后动画会从默认状态更改到别的状态，动画设置阶段设置场景中20个动画是否发生，发生顺序在程序运行过程中手动进行触发，动画触发后会改变动画播放状态以便引导或影响用户作答，同时数据库会记录动画触发时间；

所述控制模块分为控制触发、控制设置和控制存储三个部分，用户使用外设(htc手柄)完成任务作答，通过控制设置更改手柄上不同按键进行触发从而适应不同人的使用习惯，按键触发后，数据库会记录触发时间和作答结果；

所述数据库将所有数据存储到数据库中，满足对不同条件的增删修改，从数据库导出每次实验结果到日志文件中，便于每次测试后对不同用户的认知训练进行调整。

2.根据权利要求1所述的基于虚拟现实技术的认知训练和恢复系统，其特征在于，所述任务模块生成的任务包括不同性质、不同难度梯度的四则运算任务和Stroop认知干扰任务。

3.根据权利要求1所述的基于虚拟现实技术的认知训练和恢复系统，其特征在于，所述任务模块和控制模块之间存在两种类型的交互：

一种交互是用户与任务进行的交互：用户需要使用HTCVive手柄完成任务，手柄在场景中会被渲染成为虚拟的手臂和手掌；用户根据手柄的不同按键将手掌变成不同的姿势完成交互；在作答方面提供给用户关于任务是否正确的反馈；根据选项的数量n，每道题目用户有n+3的机会进行作答；正确的选项会变成绿色然后恢复，错误的选项会变红；

另一种交互是用户与环境之间的交互：为场景中所有的模型添加了与用户进行交互的动画；当用户在场景中长时间注视某个人物或者面对人物使用手柄的一些姿势，这些人物将会与用户进行交互(如打招呼之类的行为)，而这种交互有助于增加用户的临场感，使他们更加放松以及更易于收到我们的干扰从而得出期望的测试结果和训练效果。