CN115223685B - 基于vr技术的玩偶交互认知训练方法、系统及装置 - Google Patents

Abstract

本申请提出了一种基于VR技术的玩偶交互认知训练方法、系统及装置，结合VR技术和玩偶疗法为痴呆患者提供互动交谈、日常交互训练以及认知游戏训练等多阶段的互动方式，将训练融入于互动中。玩偶疗法与VR技术的结合，使得玩偶能够带给老人更丰富的情绪反馈，激发患者对于玩偶的依恋感，从而降低患者的激越行为，改善消极情绪。VR技术的沉浸式训练为用户提供了更逼真的训练环境，通过生理体征监测并创设更安全的互动环境保证了患者使用的安全。整体来说具有使用门槛低，康复训练效果好的优点。

Description

基于VR技术的玩偶交互认知训练方法、系统及装置

技术领域

本申请涉及VR领域，特别涉及基于VR技术的玩偶交互认知训练方法、系统及装置。

背景技术

老年痴呆是一种认知功能损害导致的综合能力减退综合征，包括阿兹海默病(AD)、血管性痴呆(VD)以及其他类型的痴呆。临床表现为记忆、抽象思维、判断、语言等多种功能的减退，可伴有幻觉、妄想、行为紊乱和人格改变。中晚期患者会出现一系列神经精神症状，如脾气古怪、容易动怒、猜疑、起居日夜颠倒、游走、产生幻觉、攻击他人，甚至会出现自杀倾向等。

随着老年痴呆患者数量的急剧增长，照护服务人力资源短缺成为一个社会、医疗关注的热点问题。在诊治方面，全国综合大医院里设置专门诊治老年痴呆的科室尚未普及，老年痴呆专业照护院也极少。绝大多数养老机构尚不具备接收患有老年痴呆等精神疾病老年人的能力，这些机构不仅缺乏相应的照护条件，也很难找到专业的照护人员。近两年出现了个别的接收痴呆老年人的养老机构，但是其有限的床位对于数以百万计、急需看护的痴呆老年人来说，显然是杯水车薪，总体来说供需矛盾十分突出。

针对老年痴呆患者的治疗主要有心理社会治疗和药物治疗。目前尚无法逆转或阻止痴呆的病情进展，但早期在支持、对症治疗策略基础上进行针对病因的干预治疗，可延缓患者日常生活质量减退。现有药物只能针对症状进行治疗，通常用以减轻患者的焦虑、抑郁或各种妄想幻觉症状，尚未出现可治愈该疾病的药物，且长期服用精神药物会让患者产生赖药性，久而久之使得精神药物的治疗效果不佳，会给患者身体带来不可逆转的其他损害。心理社会治疗主要是为了提高患者的生活质量，鼓励患者尽可能地参加各种社会活动，处理自己的日常生活；提供职业训练、音乐治疗和群体治疗等，以延缓衰退速度。调整环境，防止摔伤、自伤、外出不归等意外发生；有效的护理能延长患者生命及改善生活质量。玩偶疗法作为一种新兴的非药物疗法由此诞生。

目前实施的玩偶疗法(Doll Therapy)指在照护老年痴呆患者的过程中使用玩偶，使患者与玩偶的互动来促进患者健康状况的改善，减少认知症患者的躁动和挑战性等激越行为的非药物疗法。玩偶疗法用于治疗的形式有多种，包括握手、说话、搂抱或拥抱、喂食或打扮，适用于老年痴呆患者，具有激越、暴躁行为的患者辅助治疗和康复训练。对于痴呆病人而言，玩偶可能是一个“过渡性对象”，用以满足依恋需求，积极互动或积极工作是促进痴呆病人的沟通和增加幸福感的一种方式，这些互动包括玩耍、放松和促进。

现有常规的玩偶疗法只是提供一个安抚性的玩偶对象，但是玩偶没有生命不能给患者提供情绪上的反馈，无法与患者进行深入的互动，依旧是需要专门的医护人员对痴呆患者进行康复治疗，这种方式需要耗费大量的人力物力，同时康复治疗的效果不佳。

现有技术也有利用VR技术来对患者进行认知训练的方案，比如CN106388793A方案提供了一种基于VR技术与生理特征监测的老年痴呆症辅助治疗系统，其是用虚拟现实技术将用户经历的过往展示给用户以唤醒用户并利用生理特征数据表征患者的状态，这种方式仅是简单的通过内容刺激来刺激大脑的记忆区域以强行唤醒记忆，无法起到真正的康复治疗的效果，另外这种方式对于痴呆患者而言存在无法集中注意力的问题，且针对每个患者都需要量身定做VR的虚拟画面内容也存在实施成本过高的问题。另外还有些VR技术认知训练方案，采用一系列任务来训练痴呆患者的认知能力，任务内容缺乏吸引力且训练的方式需要痴呆患者在空间中移动，容易让痴呆患者产生晕眩感进而引发安全事故。

发明内容

本申请实施例提供了一种基于VR技术的玩偶交互认知训练方法、系统及装置，基于VR技术展示可与痴呆患者实现交互的虚拟玩偶，通过玩偶交互的方式对痴呆患者进行多感官的认知训练，在康复治疗的同时给痴呆患者提供情绪反馈价值，让痴呆患者在更轻松快乐的环境下实现康复。

第一方面，本申请实施例提供了一种基于VR技术的玩偶交互认知训练方法，所述方法包括：虚拟VR展示设备上以虚拟现实形式展示多个虚拟玩偶，数据处理平台获取用户的第一互动内容，基于所述第一互动内容选定虚拟玩偶并展示在所述虚拟VR展示设备上；

当数据处理平台处于互动交谈阶段时，数据处理平台获取用户的第二互动内容，基于所述第二互动内容选择回复内容，所述回复内容通过所述虚拟VR展示设备上反馈给用户；

当数据处理平台处于日常交互训练阶段时，虚拟VR展示设备上显示对应的日常互动场景，数据处理平台获取用户的第三互动内容，基于所述第三互动内容判断用户的情绪认知能力，基于不同的情绪认知能力选定不同的情绪反馈内容，所述情绪反馈内容通过所述虚拟VR展示设备反馈给用户；

当数据处理平台处于认知游戏训练阶段时，虚拟VR展示设备上显示对应的认知游戏互动场景，数据处理平台获取用户的第四互动内容，基于所述第四互动内容判断用户的行为认知能力，基于不同的行为认知能力选定不同的行为反馈内容，所述行为反馈内容通过所述虚拟VR展示设备反馈给用户。

第二方面，本申请实施例提供了一种基于VR技术的玩偶交互认知训练装置，包括：互动设备，所述互动设备采集用户的互动信息并发送给数据处理平台；

数据处理平台，基于所述互动信息调整展示画面，所述展示画面包括在不同互动训练场景下的不同虚拟现实场景的虚拟玩偶；

虚拟VR展示设备，所述虚拟VR展示设备和所述数据处理平台联通，以虚拟现实形式展示所述展示画面，

利用上述记载的基于VR技术的玩偶交互认知训练方法对痴呆用户进行认知训练。

第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的基于VR技术的玩偶交互认知训练方法。

本发明的主要贡献和创新点如下：

本申请实施例提供的基于VR技术的玩偶交互认知训练方法、系统及装置，通过与虚拟玩偶之间的互动训练给老年痴呆患者提供了多维度、多感官的训练模式。相较传统的玩偶疗法，结合VR技术能够使玩偶提供更丰富的情绪反馈，增加患者的依恋感，从而降低激越行为、改善消极情绪。VR技术的沉浸式训练为用户提供了更逼真的训练环境，通过生理体征监测并创设更安全的互动环境保证了患者使用的安全。整体来说具有使用门槛低，康复训练效果好的优点。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于VR技术的玩偶交互认知训练方法的流程图；

图2是根据本申请一种实施例的基于VR技术的玩偶交互认知训练方法的逻辑图；

图3是根据本申请一种实施例的基于VR技术的玩偶交互认知训练系统的示意图；

图4是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请旨在提出一种基于VR技术的玩偶交互认知训练方法、装置及装置，该方案结合玩偶疗法和VR技术，采用VR技术创设安全的环境使用户通过和虚拟玩偶在互动中训练来多方面改善老年痴呆患者的认知功能以及消极情绪。该方案保留了传统玩偶疗法的精神陪伴作用的同时，改善了传统玩偶疗法无法实现认知交互训练的缺陷，让痴呆患者以更容易接纳的方式实现有效的康复治疗。

本申请实施例提供了一种基于VR技术的玩偶交互认知训练系统，包括：

互动设备，所述互动设备采集用户的互动信息并发送给数据处理平台；

数据处理平台，基于所述互动信息调整展示画面，所述展示画面包括在不同互动训练场景下的不同虚拟现实场景的虚拟玩偶；

虚拟VR展示设备，所述虚拟VR展示设备和所述数据处理平台联通，以虚拟现实形式展示所述展示画面。

在一些实施例中，所述基于VR技术的玩偶交互认知训练系统还包括穿戴在用户身上的可穿戴设备，所述可穿戴设备采集用户的生理特征数据并发送给数据处理平台，此时，数据处理平台，基于所述互动信息和/或所述生理特征数据调整展示画面。

在一些实施例中，数据处理平台搭载在虚拟VR展示设备中作为虚拟VR展示设备的处理中心。所述数据处理平台内搭载多个训练场景、多个虚拟现实场景和多个虚拟画面，其中所述互动训练场景包括但不限于日常活动互动场景和认知游戏互动场景，其中日常互动场景包括但不限于穿衣互动场景、喂食互动场景和入睡互动场景，所述认知游戏互动场景包括但不限于物体识别场景、图像游戏场景以及计算游戏场景，不同的日常互动场景用于痴呆患者不同感官的康复治疗，以共同来帮助痴呆患者更好更快地恢复认知能力或者延缓认知能力的衰退。顾名思义，日常互动场景由于实现日常生活的交互互动，认知游戏互动场景用于通过游戏的形式实现对痴呆患者的认知能力的提升。所述虚拟现实场景以家庭环境、自然环境为模型构建，虚拟玩偶可在虚拟现实场景中和痴呆患者进行交互。所述虚拟玩偶以真实的婴儿为模型构建，且设定不同性别、体型的虚拟玩偶，以让痴呆患者选择自己喜爱的虚拟玩偶。

可穿戴设备包括但不限于智能手表、智能手环、脑电波采集设备。可穿戴设备可在互动训练过程中实时同步收集用户的生理参数指标，进而用于检测和评估用户的情绪状态和认知能力，生理参数指标包括但不限于脑电参数、心率、呼吸等参数。

互动设备可采集用户的互动内容并实时反馈给数据处理平台，其中互动内容包括但不限于互动动作以及互动语音，数据处理平台基于交互内容调整展示画面后显示在虚拟VR展示设备上。具体的，用户以第一人称视角出现在虚拟现实场景内，可以在虚拟现实场景内自由转动和移动。若虚拟现实场景为家庭环境的房间，则房间内布置有沙发、茶几以及大的窗户等家具，从窗户外可以见到自然景色，景色中有树、花，与自然相融合，光线是白色的自然光为主。

互动设备至少包括互动手柄，互动手柄用于采集用户的互动动作，此时，用户手持手柄后在虚拟现实场景中以双手的形式出现。由于本方案适用于玩偶疗法，这种手持手柄的方式可以让痴呆患者有触碰和拥抱虚拟玩偶的感觉，当触碰虚拟玩偶的不同部位时，虚拟玩偶会发出不同的声音和肢体动作做出响应。

具体的，配套基于VR技术的玩偶交互认知训练系统的基于VR技术的玩偶交互认知训练方法包括以下步骤：

虚拟VR展示设备上以虚拟现实形式展示多个虚拟玩偶，数据处理平台获取用户的第一互动内容，基于所述第一互动内容选定虚拟玩偶并展示在所述虚拟VR展示设备上；

当数据处理平台处于互动交谈阶段时，数据处理平台获取用户的第二互动内容，基于所述第二互动内容选择回复内容，所述回复内容通过所述虚拟VR展示设备上反馈给用户；

当数据处理平台处于日常交互训练阶段时，虚拟VR展示设备上显示对应的日常互动场景，数据处理平台获取用户的第三互动内容，基于所述第三互动内容判断用户的情绪认知能力，基于不同的情绪认知能力选定不同的情绪反馈内容，所述情绪反馈内容通过所述虚拟VR展示设备反馈给用户；

当数据处理平台处于认知游戏训练阶段时，虚拟VR展示设备上显示对应的认知游戏互动场景，数据处理平台获取用户的第四互动内容，基于所述第四互动内容判断用户的行为认知能力，基于不同的行为认知能力选定不同的行为反馈内容，所述行为反馈内容通过所述虚拟VR展示设备反馈给用户。

在本方案的实施例中，通过在虚拟VR展示设备上基于用户的各类互动内容实现虚拟玩偶的互动，虚拟玩偶在实现精神陪伴的同时实现了用户认知能力的康复训练。

本方案的基于VR技术的玩偶交互认知训练系统提供了多种类型样式的虚拟玩偶，可由用户自行选择自己喜爱的虚拟玩偶。这样做的好处在于：考虑到痴呆患者相较于普通人其注意力比较低下，通过由用户自行选择自己喜爱的虚拟玩偶的方式可提高痴呆患者的注意力。另外在与玩偶进行互动过程中，玩偶可以起到增加依恋情感，而降低孤独感。所以让用户可自主地选择虚拟玩偶是非常必要的。

本方案提供的虚拟玩偶以真人婴儿为模型，数据处理平台内预存有不同性别、不同年龄层次、不同体型以及不同面貌的虚拟玩偶，以满足用户个性化的选择。

在“数据处理平台获取用户的第一互动内容”步骤中，第一互动内容为玩偶选择内容。用户可通过互动设备在所述虚拟VR展示设备上选择心仪的虚拟玩偶，此时互动设备产生第一互动内容，第一互动内容被传送给数据处理平台。

在“基于所述第一互动内容选定虚拟玩偶并展示在所述虚拟VR展示设备上”步骤中，第一互动内容对应唯一的虚拟玩偶，数据处理平台基于所述第一互动内容选定唯一的虚拟玩偶，并将所述虚拟玩偶展示在虚拟VR展示设备上。此时，用户拥有专属于指定的虚拟玩偶。

值得一提的是，本方案提供的基于VR技术的玩偶交互认知训练系统可实现多个阶段的交互训练。当用户选定专属于自己的虚拟玩偶后，数据处理平台自发地进入互动交谈阶段，在互动交谈阶段，用户可和虚拟玩偶完成简单的互动交谈。

在“数据处理平台获取用户的第二互动内容，基于所述第二互动内容选择回复内容，所述回复内容通过所述虚拟VR展示设备上反馈给用户”步骤中，所述第二互动内容包括日常交谈内容以及互动动作，当所述第二互动内容为日常交谈内容时，所述数据处理平台内置的语音交互系统识别所述日常交谈内容并调取预设回答内容作为回复内容；当所述第二互动内容为互动动作，所述数据处理平台基于所述互动动作调取对应的肢体回应内容作为回复内容，所述回复内容通过所述虚拟VR展示设备反馈给用户。

所述数据处理平台内置的语音交互系统预存有大量预设回答内容，比如“我好开心”/“你好”/“我叫XX”等，预设回答内容根据实际需求可调整。具体的，所述数据处理平台的语音交互系统识别所述日常交谈内容中的关键词，并调取预设回答内容，所述预设回答内容作为回复内容在虚拟VR展示设备中通过虚拟玩偶被反馈。

示例性，用户询问虚拟玩偶“你叫什么呀？”，数据处理平台识别后调取预设回答内容“我叫XX”,并且从所述虚拟玩偶口中反馈给用户。

当用户使用互动设备触碰虚拟玩偶的不同部位时产生第二互动内容，此时第二互动内容为互动动作，其中互动动作记录互动肢体部位，所述数据处理平台基于所述互动动作识别所述互动肢体部位，并调取对应的肢体回应内容作为回复内容，所述回复内容通过所述虚拟VR展示设备反馈给用户。所述回复内容的形式包括但不限于语言、肢体动作。

示例性，用户用互动设备触碰虚拟玩偶的头部，此时回复内容为“虚拟玩偶眨眼”。

在一些实施例中，所述第二互动内容为：长时间没有互动内容。此时，所述数据处理平台选择回复内容，所述回复内容为问候内容，所述问候内容通过所述虚拟VR展示设备反馈给用户。

示例性，当用户长时间不做操作的话，玩偶会发出问候“抱抱我，来和我玩吧”。

本方案提供的基于VR技术的玩偶交互认知训练系统可选择性地进入日常交互训练阶段和认知游戏训练阶段。所述日常交互训练阶段又可细分为穿衣互动阶段、喂食互动阶段和入睡互动阶段。所述认知游戏训练阶段又可细分为物体识别互动阶段、图像互动阶段以及计算游戏互动阶段。

值得一提的是，日常交互训练阶段可根据用户的需求进行选择。当数据处理平台处于穿衣互动阶段时，虚拟VR展示设备显示对应的穿衣互动场景，虚拟玩偶置身于所述穿衣互动场景中，此时用户需要根据季节和天气提示给虚拟玩偶选择合适的衣服。数据处理平台获取用户的第三互动内容，此时所述第三互动内容记录选择的衣服，所述数据处理平台可根据选择的衣服判断用户的情绪认知能力，此时情绪认知能力以衣服是否适合为判断依据，可用于判断患者是否有自然环境判断能力，不同的情绪认知能力对应不同的情绪反馈内容。

示例性，若在夏天炎热的穿衣互动场景中，用户选择了棉袄作为第三互动内容，则数据处理平台控制虚拟玩偶反馈“不舒适”。

当数据处理平台处于喂食互动阶段时，虚拟VR展示设备显示对应的喂食互动场景，虚拟玩偶置身于喂食互动场景中，此时用户需要根据虚拟玩偶的需求提示来选择喂食的事物和数量。数据处理平台获取用户的第三互动内容，此时所述第三互动内容记录选择的食物和食物数量，所述数据处理平台可根据选择的食物和食物数量判断用户的情绪认知能力，此时情绪认知能力以食物和数量是否合适为判断依据，可用于判断患者是否有进食判断能力，不同的情绪认知能力对应不同的情绪反馈内容。

示例性，喂食互动场景为：在用户与玩偶之间出现茶几，玩偶拍拍肚子并发出声音“我想吃两根香蕉”，文字框显示《两根香蕉》，茶几上出现不同的水果和数量，用户可以通过互动设备选择水果以及数量作为第三互动内容，若所述互动内容对应的选择是正确的，玩偶会表示开心并发出声音“真好吃”；若所述互动内容对应的选择是错误的，玩偶会发出声音“这不是我想吃的，再想想”。

当数据处理平台位于入睡互动阶段时，虚拟VR展示设备显示对应的入睡互动场景，虚拟玩偶置身于入睡互动场景中，此时用户需要根据虚拟玩偶的需求提示来选择互动内容。数据处理平台获取用户的第三互动内容，此时所述第三互动内容记录选择的互动内容，所述数据处理平台可根据选择的互动内容判断用户的情绪认知能力，不同的情绪认知能力对应不同的情绪反馈内容。

示例性的，入睡互动场景为：玩偶发出请求：“我想睡觉了，给我唱首歌或者讲个小故事好不好？”此时虚拟VR展示设备中会出现唱歌和讲故事两个选项。用户选择“唱歌”或者“讲故事”作为第三互动内容，若选择讲故事将出现小故事的文字提示。玩偶入睡之后，系统会提示：轻轻的离开，让宝宝睡觉吧。入睡阶段结束后，程序结束。

值得一提的是，穿衣互动阶段和喂食互动阶段可以是自由选择的，也可以是依顺序递进完成的。

在一些实施例中，不同于日常互动训练阶段，所述认知游戏训练阶段的物体识别互动阶段、图像互动阶段以及计算游戏互动阶段是循序渐进的，用户在完成前一层级的互动阶段后进入后一阶段的互动阶段，这样的好处在于可以更加符合用户的康复认知训练进程。

所述认知游戏训练阶段均包括练习阶段和正式阶段，但在练习阶段和正式阶段的交互内容是相同的，故在此仅以正式阶段为例进行说明。

当数据处理平台处于物体识别互动阶段时，虚拟VR展示设备显示对应的入物体识别场景，虚拟玩偶置身于物体识别场景中，物体识别场景显示多种物体以及选择提示，用户基于所述选择提示选择物体作为第四互动内容，数据处理平台判断所述第四互动内容是否正确并作为用户的行为认知能力，基于不同的行为认知能力选定不同的行为反馈内容，所述行为反馈内容通过所述虚拟VR展示设备反馈给用户。

本方案可通过物体识别互动阶段来训练用户识别物体的物体识别认知能力，大部分痴呆患者的症状就是无法辨认物体，经常把身边亲近的人识别成陌生人，通过物体识别认知能力的训练可以改善这种情况。

所述第四互动内容对应的行为认知能力有三种可能性：1.识别正确，2.识别错误，3.不做识别。对应不同的行为认知能力产生不同的反馈内容。

示例性的，在物体识别场景中，虚拟玩偶发出声音：“我们来玩一个小游戏吧，我想要一支钢笔”，场景内出现文字框《哪一个是钢笔》并出现不同的物体需要用户作出选择，钢笔变亮并且闪烁以提示用户作出选择。根据用户的选择产生第四互动内容，若所述第四互动内容对应的结果是选择了正确的物体，则反馈内容是玩偶微笑拍手，并发出声音“答对了，你真棒”；若所述第四互动内容对应的结果是选择了错误的物体，则反馈内容是玩偶摇头反馈；若所述第四互动内容对应的结果是没有选择，则反馈内容是：语音提示“用手拿一下钢笔吧”。

当数据处理平台处于图像游戏阶段时，虚拟VR展示设备显示对应的图像游戏场景，虚拟玩偶置身于图像游戏场景中，图像游戏场景显示拼图框架和图像碎片，用户移动碎片至拼图框架作为第四互动内容，数据处理平台判断所述第四互动内容是否正确并作为用户的行为认知能力，基于不同的行为认知能力选定不同的行为反馈内容，所述行为反馈内容通过所述虚拟VR展示设备反馈给用户。

此时，所述第四互动内容对应的行为认知能力有三种可能性：1.识别正确，2.识别错误，3.不做识别。对应不同的行为认知能力产生不同的反馈内容。

通过图像游戏阶段可以提高痴呆患者对不同物体关联的逻辑能力，部分痴呆患者会出现左脚穿右鞋，右脚穿左鞋的情况，这正是因为患者对于物体关联的逻辑能力欠缺所导致的，通过图像游戏阶段可以改善以上情况。

示例性的，在图像游戏场景中，玩偶发出邀请：“我们来玩拼图(搭积木)吧”，场景内出现一个拼图框架和图片碎片，用户自己选择要完成的图形或是图案拼图，玩偶发出请求：“帮我把这个拼完吧”，用户需要自行完成拼图任务，移动碎片至拼图框架作为第四互动内容，若所述第四互动内容对应的结果是拼了一块，玩偶会发出声音“对了对了，你真棒”并鼓掌表示高兴；若所述第四互动内容对应的结果是拼错了，玩偶会发出声音“好像不是这样的，你再试试看”并表示疑问。

当数据处理平台处于计算游戏阶段时，虚拟VR展示设备显示对应的计算游戏场景，虚拟玩偶置身于计算游戏场景中，图像游戏场景显示需多个物体和物体价格，用户选择物体并且物体总价作为第四互动内容，数据处理平台判断所述第四互动内容是否正确并作为用户的行为认知能力，基于不同的行为认知能力选定不同的行为反馈内容，所述行为反馈内容通过所述虚拟VR展示设备反馈给用户。

计算游戏阶段主要是训练用户自行独立生活的能力，可以通过模拟购物的场景来提高用户的计算能力。在“用户选择物体并且物体总价作为第四互动内容”步骤中，用户选择多个物体后需要用户自行计算购买物体的物体总价，数据处理平台根据物体总价是否正确来做出反馈。

示例性，在计算游戏场景中，玩偶发出邀请：“我们去买点东西吧”，场景中出现超市货架，每个货物都标有价格。玩偶表示想要买3个棒棒糖和2个拨浪鼓，并询问：“我们一共需要付多少钱呀？”。用户需要自行把所需物品从货架中选择出来，选择之后会出现价格，需要用户自行计算并给出答案。可以通过语音回答也可以从虚拟钱包选择合适金额的钱。合适金额的钱作为第四互动内容，若所述第四互动内容对应的结果是：选择正确，触发玩偶微笑拍手：“我们再买点东西吧”，若所述第四互动内容对应的结果是：选择错误或者没有选择时，玩偶摇头并提示：“我们该付多少钱呢？”。

另外，值得一提的是，可穿戴设备实时地采集用户的生理特征数据，所述生理特征数据被反馈给数据处理平台进行分析，可通过后台的数据分析来判断用户的大脑状态，以对用户的症状做出科学、客观的评价。在一些实施例中，可通过可穿戴设备获取的生理特征数据来自定选择互动交谈阶段、日常交互训阶段、认知游戏训练阶段。

综上所述，本方案提供的基于VR技术的玩偶交互认知训练系统可结合虚拟玩偶针对老年痴呆患者实现多感官、多维度的认知交互训练，帮助患者缓解消极情绪的同时，更有效的进行认知康复训练。

实施例二

本实施例还提供了一种电子装置，参考图4，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项基于VR技术的玩偶交互认知训练方法方法实施例中的步骤。

具体地，上述处理器402可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecificIntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(HardDiskDrive，简称为HDD)、软盘驱动器、固态驱动器(SolidStateDrive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(Non-Volatile)存储器。在特定实施例中，存储器404包括只读存储器(Read-OnlyMemory，简称为ROM)和随机存取存储器(RandomAccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-OnlyMemory，简称为PROM)、可擦除PROM(ErasableProgrammableRead-OnlyMemory，简称为EPROM)、电可擦除PROM(ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM)、电可改写ROM(ElectricallyAlterableRead-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(StaticRandom-AccessMemory，简称为SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器404(FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM)、同步动态随机存取内存(SynchronousDynamicRandom-AccessMemory，简称SDRAM)等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种基于VR技术的玩偶交互认知训练方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是用户的交互内容等，输出的信息可以是虚拟玩偶的反馈内容。

可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：

虚拟VR展示设备上以虚拟现实形式展示多个虚拟玩偶，数据处理平台获取用户的第一互动内容，基于所述第一互动内容选定虚拟玩偶并展示在所述虚拟VR展示设备上；

当数据处理平台处于互动交谈阶段时，数据处理平台获取用户的第二互动内容，基于所述第二互动内容选择回复内容，所述回复内容通过所述虚拟VR展示设备上反馈给用户；

当数据处理平台处于日常交互训练阶段时，虚拟VR展示设备上显示对应的日常互动场景，数据处理平台获取用户的第三互动内容，基于所述第三互动内容判断用户的情绪认知能力，基于不同的情绪认知能力选定不同的情绪反馈内容，所述情绪反馈内容通过所述虚拟VR展示设备反馈给用户；

当数据处理平台处于认知游戏训练阶段时，虚拟VR展示设备上显示对应的认知游戏互动场景，数据处理平台获取用户的第四互动内容，基于所述第四互动内容判断用户的行为认知能力，基于不同的行为认知能力选定不同的行为反馈内容，所述行为反馈内容通过所述虚拟VR展示设备反馈给用户。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于VR技术的玩偶交互认知训练方法，其特征在于，包括以下步骤：

虚拟VR展示设备上以虚拟现实形式展示多个虚拟玩偶，数据处理平台获取用户的第一互动内容，基于所述第一互动内容选定虚拟玩偶并展示在所述虚拟VR展示设备上；

当数据处理平台处于互动交谈阶段时，数据处理平台获取用户的第二互动内容，所述第二互动内容包括日常交谈内容以及互动动作，当所述第二互动内容为日常交谈内容时，所述数据处理平台内置的语音交互系统识别所述日常交谈内容并调取预设回答内容作为回复内容；当所述第二互动内容为互动动作，所述数据处理平台基于所述互动动作调取对应的肢体回应内容作为回复内容，所述回复内容通过所述虚拟VR展示设备反馈给用户；

当数据处理平台处于日常交互训练阶段时，虚拟VR展示设备上显示对应的日常互动场景，数据处理平台获取用户的第三互动内容，基于所述第三互动内容判断用户的情绪认知能力，基于不同的情绪认知能力选定不同的情绪反馈内容，所述情绪反馈内容通过所述虚拟VR展示设备反馈给用户；

当数据处理平台处于认知游戏训练阶段时，所述认知游戏训练阶段包括物体识别互动阶段、图像互动阶段以及计算游戏互动阶段,认知游戏训练阶段的物体识别互动阶段、图像互动阶段以及计算游戏互动阶段是循序渐进的，用户在完成前一层级的互动阶段后进入后一阶段的互动阶段，当数据处理平台处于物体识别互动阶段时，虚拟VR展示设备显示对应的物体识别场景，虚拟玩偶置身于物体识别场景中，物体识别场景显示多种物体以及选择提示，用户基于所述选择提示选择物体作为第四互动内容；当数据处理平台处于图像游戏阶段时，虚拟VR展示设备显示对应的图像游戏场景，虚拟玩偶置身于图像游戏场景中，图像游戏场景显示拼图框架和图像碎片，用户移动碎片至拼图框架作为第四互动内容；当数据处理平台处于计算游戏阶段时，虚拟VR展示设备显示对应的计算游戏场景，虚拟玩偶置身于计算游戏场景中，图像游戏场景显示需多个物体和物体价格，用户选择物体并且物体总价作为第四互动内容；基于所述第四互动内容判断用户的行为认知能力，基于不同的行为认知能力选定不同的行为反馈内容，所述行为反馈内容通过所述虚拟VR展示设备反馈给用户。

2.根据权利要求1所述的基于VR技术的玩偶交互认知训练方法，其特征在于，在“基于所述第一互动内容选定虚拟玩偶并展示在所述虚拟VR展示设备上”步骤中，虚拟玩偶以真人婴儿为模型，数据处理平台内预存有不同性别、不同年龄层次、不同体型以及不同面貌的虚拟玩偶，第一互动内容对应唯一的虚拟玩偶，数据处理平台基于所述第一互动内容选定唯一的虚拟玩偶，并将所述虚拟玩偶展示在虚拟VR展示设备上。

3.根据权利要求1所述的基于VR技术的玩偶交互认知训练方法，其特征在于，当第二互动内容为互动动作时，其中互动动作记录互动肢体部位，所述数据处理平台基于所述互动动作识别所述互动肢体部位，并调取对应的肢体回应内容作为回复内容。

4.根据权利要求1所述的基于VR技术的玩偶交互认知训练方法，其特征在于，所述数据处理平台内置的语音交互系统预存有大量预设回答内容，所述数据处理平台的语音交互系统识别所述日常交谈内容中的关键词，并调取预设回答内容，所述预设回答内容作为回复内容。

5.根据权利要求1所述的基于VR技术的玩偶交互认知训练方法，其特征在于，所述第二互动内容为：长时间没有互动内容，所述数据处理平台选择回复内容，所述回复内容为问候内容，所述问候内容通过所述虚拟VR展示设备反馈给用户。

6.根据权利要求1所述的基于VR技术的玩偶交互认知训练方法，其特征在于，所述日常交互训练阶段包括穿衣互动阶段、喂食互动阶段和入睡互动阶段。

7.根据权利要求1所述的基于VR技术的玩偶交互认知训练方法，其特征在于，可穿戴设备实时地采集用户的生理特征数据，所述生理特征数据被反馈给数据处理平台进行分析。

8.一种基于VR技术的玩偶交互认知训练系统，其特征在于，包括：

穿戴在用户身上的可穿戴设备，可穿戴设备可在互动训练过程中实时同步收集用户的生理参数指标，进而用于检测和评估用户的情绪状态和认知能力，生理参数指标包括脑电参数、心率、呼吸；

互动设备，所述互动设备采集用户的互动信息并发送给数据处理平台；

数据处理平台，基于所述互动信息调整展示画面，所述展示画面包括在不同互动训练场景下的不同虚拟现实场景的虚拟玩偶；

虚拟VR展示设备，所述虚拟VR展示设备和所述数据处理平台联通，以虚拟现实形式展示所述展示画面，

根据权利要求1到7任一所述的基于VR技术的玩偶交互认知训练方法对痴呆用户进行认知训练。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到7任一所述的基于VR技术的玩偶交互认知训练方法。

Images