CN109192278A - 基于虚拟现实的互动方法及系统 - Google Patents

Abstract

本发明涉及一种基于虚拟现实的互动方法，本发明获取虚拟现实环境；根据所述虚拟现实环境，生成相应的互动信息；通过所述互动信息构建与现实环境相对应的虚拟现实场景。本发明能够通过虚拟现实的方法让患者感受到真实的环境，这样在没有实物的情况下让患者感受到真实而舞动或训练，避免在有实物的环境下受伤。

Description

基于虚拟现实的互动方法及系统

技术领域

本发明属于虚拟现实技术领域，具体涉及一种基于虚拟现实的互动方法及系统。

背景技术

可视化虚拟康复疗法相比于传统的康复疗法，虚拟现实技术可以让患者直观地看到自己在执行的操作，通过身临其境的虚拟环境体验，加强对训练动作的强化认知。虚拟现实的优越性主要体现在重复，反馈和动机三个关键环节上。重复是学习强化过程的必要手段，积极的反馈，包括虚拟现实技术中的激励条件，可以给患者训练体验带来正向的驱动力量，给患者更强烈的沉浸感。此外，明确的动机可以让患者在长时间的训练过程中，分化所要实现的目标，逐渐营造循序渐进的训练程序。可以使患者能以自然方式与具有多种感官刺激的虚拟环境中的对象进行交换，患者可以根据自己的情况反复观察模仿练习。在减少在真实环境中由错误操作导致的危险的同时由于虚拟环境与真实世界的高度相似性，在虚拟环境中习得的运动技能能更好的迁移到现实环境中。

相关技术中，有肢体或心理障碍的患者需要经过物理治疗帮助康复，比如：脑卒中的患者由于梗死灶或出血点会使中枢神经系统协调和整合的能力缺失，从而产生一系列功能障碍。但是在现实环境中进行训练或是舞动治疗时，比如抛出球或是跨越障碍，因为患者身体的不协调会导致摔倒出现危险。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于虚拟现实的互动方法及系统，以解决现有技术中在使用虚拟现实进行舞动模式或训练模式时无法确保患者的安全的问题。

为实现以上目的，本发明采用如下技术方案：一种基于虚拟现实的互动方法及系统，包括：

获取虚拟现实环境；

根据所述虚拟现实环境，生成相应的互动信息；

通过所述互动信息构建与现实环境相对应的虚拟现实场景。

进一步的，所述根据所述虚拟现实环境，生成相应的互动信息；包括：

根据虚拟现实环境，生成相应音乐及舞动模式；

根据虚拟现实环境，生成相应训练模式。

进一步的，根据虚拟现实环境，生成相应训练模式，包括：

平衡和协调康复训练；

行走运动康复训练；

上下肢康复训练；

日常生活能力训练；

认知障碍的训练。

进一步的，所述平衡和协调康复训练，包括：

抛接球训练，要求用户以横向行走的同时抛出或接住虚拟篮球：

传送带训练，要求用户从一条虚拟传送带上搬起虚拟木箱,并转身放到另虚拟传送带上；

躲避障碍物训练，要求用户向左或向右转向以躲避。

进一步的，所述行走运动康复训练，包括：

虚拟道路和虚拟视觉训练，为用户在行走训练的虚拟道路上设置一个视觉线索，使得用户在行走过程中，该线索始终位于患者脚面前方；

跨越虚拟障碍物训练，用户以跨越方式通过虚拟障碍物。

进一步的，所述上下肢康复训练，包括：

踝关节训练，通过虚拟飞行任务，用户将脚放在与设备相连的踏板上，利用脚驾驶虚拟飞机的运动以训练用户的踝关节控制能力；

健身车训练，以自行车骑行的活动方式训练以恢复受损的下肢；

移动训练，用户通过虚拟移动装置进行移动、抓、放操作以恢复受损的上肢。

进一步的，所述日常生活能力训练，包括：

虚拟家庭环境训练，用于训练用户倒茶、烹饪，打扫、购物日常活动；

虚拟超市环境训练，用于训练用户在虚拟超市中购物的程序；

虚拟饭店环境训练，用于训练用户在虚拟饭店中点餐及结帐现实信息处理；

虚拟驾车环境训练，用于用户训练用户驾驶模式、驾车技巧及各种交通事件应对；

虚拟打球环境训练，用于赛事模拟以训练用户传球、运球、平衡及场控；

虚拟乘车环境训练，用于模拟乘车及上下车体验；

虚拟电影院环境训练，用于训练用户买票、选座及虚拟实际观影体验；

虚拟咖啡厅环境训练，用于训练用户点餐及买卖过程；

虚拟图书馆环境训练，用于训练用户查找图书及不同分类；

虚拟旅游环境训练，用于虚拟用户到世界旅游，虚拟实际游玩体验。

进一步的，记忆障碍训练，对用户进行记忆能力及学习能力训练.

注意力障碍训练，用于用户在虚拟环境中接受长时间训练时，保持注意力集中；

空间认知障碍训练，用于构造三维虚拟建筑物等空间物体，传递与实际环境同样的刺激以刺激空间认知能力；

心理障碍训练，用于对用户的心理障碍进行训练。

进一步的，所述心理障碍训练，包括：

虚拟高度环境以训练用户的恐高、飞行恐惧；

虚拟烟环境刺激以帮助用户戒烟；

虚拟酒环境刺激以帮助用户戒酒；

虚拟赌博、股票以及投资环境刺激以帮助用户戒赌；

虚拟互动现实环境以帮助用户与其他人员进行交流；

虚拟考试环境以帮助用户克服考试压力。

本申请实施例提供一种基于虚拟现实的互动系统，包括：

获取模块，用于获取虚拟现实环境；

处理模块，用于根据虚拟现实场景生成相应的互动信息；

输出模块，用于通过所述互动信息构建与现实环境相对应的虚拟现实场景。

本发明采用以上技术方案，能够达到的有益效果包括：

通过虚拟现实的方法让患者感受到真实的环境，这样在没有实物的情况下让患者感受到真实而舞动或训练，避免在有实物的环境下受伤。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于虚拟现实的互动方法的步骤示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

下面结合附图介绍本申请实施例中提供的一个具体的基于虚拟现实的互动方法。

如图1所示，本申请实施例中提供的基于虚拟现实的互动方法包括，获取虚拟现实环境；根据所述虚拟现实环境，生成相应的互动信息；通过所述互动信息构建与现实环境相对应的虚拟现实场景。

互动方法的工作原理为：获取虚拟现实环境；根据虚拟现实环境，生成相应的互动信息，通过互动信息构建与现实环境相对应的虚拟现实场景。虚拟现实系统具有三大特征，交换性、沉浸性和构想性，VR作为一种虚拟现实技术,可以通过视，听，触，嗅，味觉等方面高度逼真的计算机模拟环境给患者营造的是在虚拟现实中的一种身临其境感。

一些实施例中，所述根据所述虚拟现实环境，生成相应的互动信息；包括：

根据虚拟现实环境，生成相应音乐及舞动模式；

根据虚拟现实环境，生成相应训练模式。

其中，舞动模式即采用的是舞动疗法，舞动疗法是以动作过程和音乐配合为媒介的治疗方法。舞动疗法使用于改善脑卒中后遗症患者运动障碍感觉障碍的一种有效方法。

舞动疗法，是以动作过程与音乐配合为媒介的治疗方法。舞动疗法强调2个主要方面：1、情绪和身体的相互连接；2、以舞动模式为核心。因为人的身体与意识是相关联的，精神及情感的问题经常隐含在身体的肌肉紧张、不舒服的动作模式上，而对于脑卒中患者来说，淡漠、焦虑、抑郁等等消极的情绪一直会伴随着他们，直接导致他们对治疗的不配合，运动功能恢复差，从而陷入恶性循环。舞动疗法涉及相应的适应患者的连贯性动作以及有节奏的舒缓的音乐，一方面可以使患者得到心理上的放松与舒适，同时音乐的节奏感能减轻肌肉僵硬，减轻焦虑，增加能量，从而带动和诱发整个完整的动作模式。另一方面，舞动模式可以根据患者的实际情况，来为患者设计适合他们当前阶段的动态连惯性动作，而这些动作可以是二维的、三维的、甚至是多维的，更重要的是我们所设计的动作会关注对患者感觉的输入，包括深感觉与浅感觉，这些感觉信息传入中枢后，经过学习的过程，可在中枢神经系统内留下痕迹，成为新的记忆，因此这些感觉的输入是完成完整协调动作不可缺少的条件之一。

舞动疗法依据“音乐全大脑感知”的理论可以知道，音乐对大脑激活、兴奋的范围是广泛的，音乐影响区在丘脑、额叶前部、边缘系统、胼胝体等部位均有分布。正是这种广泛性才体现出舞动疗法中音乐的重要性。患者在感受音乐、欣赏音乐的过程中，通过音乐的旋律，节奏和声、乐音等因素影响人的神经系统，从发挥治疗作用。

音乐进入大脑可提高运动皮质兴奋性，促进神经系统重组；此外，每一次舞动都伴随着听觉反馈，连续信息促进运动的形成，音调的变化和节律也可以帮助复杂运动的形成。舞动疗法可不同程度激活视觉皮质活动，视觉信息也可反馈听觉皮质，从而增加多种感觉整合。国外有研究者采用EEO记录皮质电活动，发现音乐训练后的皮质重组区不仅仅限制于皮质运动区，并且在听觉区，听觉——感觉运动区也有重组。研究认为，熟悉并喜欢的音乐可以使情感相关的边缘叶及其周围联系激活区更广泛，小部分的扣带回和额叶、颞叶包括运动皮质和Broca区对喜欢的音乐激活区也更广泛。具体的，对于脑卒中患者来说，舞动疗法通过增强运动相关脑区之间的连通性和改变信息流动方向来提高运动能力，即视觉输入，听觉输入，相关感觉输入等激活大脑区域，再进行大脑多区域整合，这是一种大脑区域间的代偿。对于病灶较大或刚刚进行舞动训练的脑卒中患者，可能他们的大脑整合能力较弱，动作表达会很差，但是由于舞动疗法大脑被激活的部位较多，而且舞动疗法训练的是整个舞动模式，大脑对任何动作模式都会产生一种亲和性，会有一种记忆功能，随着大脑每记住一种模式，相关输入的增强，使用虚拟现实技术使得舞动模式更加真实，使得患者随之舞动治疗患者肢体的不协调。

除此之外，音乐可以提高患者的注意力，主要为注意的深度与广度，这种三维或多维的舞动的控制力对患者是大有裨益的，有助于模式化动作的产生，且舞动大多是对称性的动作，有利于舞动的连贯、协调和舞动模式的组合、优化。实践证明，舞动与音乐是互促互进的，二者的结合效果更加显著。

与传统疗法相比舞动疗法的优点在于：1、舞动疗法可以激活大脑的很多区域；2、舞动疗法是三维的、甚至是多维的；3、舞动的模式是完整的；4、舞动疗法是大脑在记忆这种模式；5、舞动疗法将涉及运动的多个区域均进行训练与整合，这是完整的而非分解的。

一些实施例中，通过所述互动信息构建与现实环境相对应的虚拟现实场景，包括：

平衡和协调康复训练；

行走运动康复训练；

上下肢康复训练；

日常生活能力训练；

认知障碍的训练。

优选的，平衡和协调康复训练，包括：

抛接球训练，要求用户以横向行走的同时抛出或接住虚拟篮球：

传送带训练，要求用户从一条虚拟传送带上搬起虚拟木箱,并转身放到另虚拟传送带上；

躲避障碍物训练，要求用户向左或向右转向以躲避。

优选的，所述行走运动康复训练，包括：

虚拟道路和虚拟视觉训练，为用户在行走训练的虚拟道路上设置一个视觉线索，使得用户在行走过程中，该线索始终位于患者脚面前方；

跨越虚拟障碍物训练，用户以跨越方式通过虚拟障碍物。

优选的，所述上下肢康复训练，包括：

踝关节训练，通过虚拟飞行任务，用户将脚放在与设备相连的踏板上，利用脚驾驶虚拟飞机的运动以训练用户的踝关节控制能力；

健身车训练，以自行车骑行的活动方式训练以恢复受损的下肢；

移动训练，用户通过虚拟移动装置进行移动、抓、放操作以恢复受损的上肢。

通过上述虚拟运动训练方式，不仅能让患者真实感受训练，还能够让患者在进行训练的同时防止因为碰到障碍物或是其他实物而跌倒。

优选的，所述日常生活能力训练，包括：

虚拟家庭环境训练，用于训练用户倒茶、烹饪，打扫、购物日常活动；

虚拟超市环境训练，用于训练用户在虚拟超市中购物的程序；

虚拟饭店环境训练，用于训练用户在虚拟饭店中点餐及结帐现实信息处理；

虚拟驾车环境训练，用于用户训练用户驾驶模式、驾车技巧及各种交通事件应对；

虚拟打球环境训练，用于赛事模拟以训练用户传球、运球、平衡及场控；

虚拟乘车环境训练，用于模拟乘车及上下车体验；

虚拟电影院环境训练，用于训练用户买票、选座及虚拟实际观影体验；

虚拟咖啡厅环境训练，用于训练用户点餐及买卖过程；

虚拟图书馆环境训练，用于训练用户查找图书及不同分类；

虚拟旅游环境训练，用于虚拟用户到世界旅游，虚拟实际游玩体验。

优选的，所述认知障碍的训练，包括：

记忆障碍训练，对用户进行记忆能力及学习能力训练.

注意力障碍训练，用于用户在虚拟环境中接受长时间训练时，保持注意力集中；

空间认知障碍训练，用于构造三维虚拟建筑物等空间物体，传递与实际环境同样的刺激以刺激空间认知能力；

心理障碍训练，用于对用户的心理障碍进行训练。

优选的，所述心理障碍训练，包括：

虚拟高度环境以训练用户的恐高、飞行恐惧；

虚拟烟环境刺激以帮助用户戒烟；

虚拟酒环境刺激以帮助用户戒酒；

虚拟赌博、股票以及投资环境刺激以帮助用户戒赌；

虚拟互动现实环境以帮助用户与其他人员进行交流；

虚拟考试环境以帮助用户克服考试压力。

举例说明，有些儿童患有交往障碍，其中交往障碍包括有：例如自闭症，亚斯伯格症，多动症等，且在与人或同伴交往的过程中出现交流、互动、表达障碍者。虚拟环境可以为：遭遇打架，别人的无理要求，想与同伴玩耍等交流需求的现实环境，有些学生患有考试障碍，比如：平时爱学习，考试就砸锅的学生，此时可以模拟考试环境，提供各种心理能量支持，通过模拟现实减轻学生的恐惧心理。

具体说明：

虚拟旅游环境是做一个图库存入国内和几个国家的风景和知名景点的视频和图片，准备一个跑步机调成慢走的模式，准备一个照相机，让患者选择一个想去的地方，设定迷路问路，购买纪念品，拍照留念，导游讲解等环节。具体的，可以配备划船机，去热带雨林，巴比伦、宇宙等。

虚拟现实+康复运动器材，举例说明，例如：搭配脚踏车，模拟划船、坦克、骑马、直升机、赛车。

虚拟现实+养老，例如：与子女身临其境的见面，畅聊，对行动不便的老人模拟健身房、电影院、超市等，还可以模拟山川江河。

虚拟现实+舞动疗法，通过科学设计于舞蹈音乐结合，做节拍及背景处理，例如有水声处就出现雨滴及瀑布水流的场景，根据音乐节奏变化，设计体感线，伴随音乐做视觉呈现。

对本申请的场景进行举例：

1、脚踩钢琴键配合钢琴曲；

2、手切水果配合相应曲目；

3、运用动作激光打节拍，不同节拍拍出不同颜色，使用不同的激光，有不同剪头指向，还有有障碍物，使其肢体弯曲；

4、拳击性，节奏感游戏，对打模式设定，对方的出拳有节奏，活动关节活动度；

5、足球动作，守门员，运动员，需要音乐刺激，紧张欢快，反射性应用.

6、本申请的舞动模式包含了很多歌曲，根据节奏跳舞去击中不断出现的圆圈，滑块，和旋转条，正确击中才能获得分数。

优选的，本申请提供一种基于虚拟现实的互动系统，包括：

获取模块，用于获取虚拟现实环境；

处理模块，用于根据虚拟现实场景生成相应的互动信息；

输出模块，用于通过所述互动信息构建与现实环境相对应的虚拟现实场景。

综上所述，本发明提供一种虚拟现实技术，本发明通过虚拟现实进行躯干姿势控制，坐站转换，上肢运动，步行，平衡，膝关节与下肢运动，强化训练等控制多种虚拟游戏，成功应用于中风患者上肢，平衡与步行康复，髋膝关节置换术后康复，多发性硬化，帕金森病，老年性痴呆，心脏疾病患者康复与老年人的一般健适活动等。通过虚拟现实的方法让患者感受到真实的环境，这样在没有实物的情况下让患者感受到真实而舞动或训练，避免在有实物的环境下受伤。

可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于虚拟现实的互动方法，其特征在于，包括：

获取虚拟现实环境；

根据所述虚拟现实环境，生成相应的互动信息；

通过所述互动信息构建与现实环境相对应的虚拟现实场景。

2.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟现实环境，生成相应的互动信息，包括：

根据虚拟现实环境，生成相应音乐及舞动模式；

根据虚拟现实环境，生成相应训练模式。

3.根据权利要求2所述的方法，其特征在于，根据虚拟现实环境，生成相应训练模式，包括：

平衡和协调康复训练；

行走运动康复训练；

上下肢康复训练；

日常生活能力训练；

认知障碍的训练。

4.根据权利要求3所述的方法，其特征在于，所述平衡和协调康复训练，包括：

抛接球训练，要求用户以横向行走的同时抛出或接住虚拟篮球：

传送带训练，要求用户从一条虚拟传送带上搬起虚拟木箱,并转身放到另虚拟传送带上；

躲避障碍物训练，要求用户向左或向右转向以躲避。

5.根据权利要求3所述的方法，其特征在于，所述行走运动康复训练，包括：

虚拟道路和虚拟视觉训练，为用户在行走训练的虚拟道路上设置一个视觉线索，使得用户在行走过程中，该线索始终位于患者脚面前方；

跨越虚拟障碍物训练，用户以跨越方式通过虚拟障碍物。

6.根据权利要求3所述的方法，其特征在于，所述上下肢康复训练，包括：

踝关节训练，通过虚拟飞行任务，用户将脚放在与设备相连的踏板上，利用脚驾驶虚拟飞机的运动以训练用户的踝关节控制能力；

健身车训练，以自行车骑行的活动方式训练以恢复受损的下肢；

移动训练，用户通过虚拟移动装置进行移动、抓、放操作以恢复受损的上肢。

7.根据权利要求3所述的方法，其特征在于，所述日常生活能力训练，包括：

虚拟家庭环境训练，用于训练用户倒茶、烹饪，打扫、购物日常活动；

虚拟超市环境训练，用于训练用户在虚拟超市中购物的程序；

虚拟饭店环境训练，用于训练用户在虚拟饭店中点餐及结帐现实信息处理；

虚拟驾车环境训练，用于用户训练用户驾驶模式、驾车技巧及各种交通事件应对；

虚拟打球环境训练，用于赛事模拟以训练用户传球、运球、平衡及场控；

虚拟乘车环境训练，用于模拟乘车及上下车体验；

虚拟电影院环境训练，用于训练用户买票、选座及虚拟实际观影体验；

虚拟咖啡厅环境训练，用于训练用户点餐及买卖过程；

虚拟图书馆环境训练，用于训练用户查找图书及不同分类；

虚拟旅游环境训练，用于虚拟用户到世界旅游，虚拟实际游玩体验。

8.根据权利要求3所述的方法，其特征在于，所述认知障碍的训练，包括：

记忆障碍训练，对用户进行记忆能力及学习能力训练.

注意力障碍训练，用于用户在虚拟环境中接受长时间训练时，保持注意力集中；

空间认知障碍训练，用于构造三维虚拟建筑物等空间物体，传递与实际环境同样的刺激以刺激空间认知能力；

心理障碍训练，用于对用户的心理障碍进行训练。

9.根据权利要求8所述的方法，其特征在于，所述心理障碍训练，包括：虚拟高度环境以训练用户的恐高、飞行恐惧；

虚拟烟环境刺激以帮助用户戒烟；

虚拟酒环境刺激以帮助用户戒酒；

虚拟赌博、股票以及投资环境刺激以帮助用户戒赌；

虚拟互动现实环境以帮助用户与其他人员进行交流；

虚拟考试环境以帮助用户克服考试压力。

10.一种基于虚拟现实的互动系统，其特征在于，包括：

获取模块，用于获取虚拟现实环境；

处理模块，用于根据虚拟现实场景生成相应的互动信息；

输出模块，用于通过所述互动信息构建与现实环境相对应的虚拟现实场景。