CN112562825A - 基于严肃游戏的自闭症儿童生活技能训练方法 - Google Patents

Abstract

本发明涉及一种基于严肃游戏的自闭症儿童生活技能训练方法，通过构建基于严肃游戏的虚拟生活场景，使虚拟生活场景含有至少一种虚拟化交互场景，在虚拟生活场景中生成自闭症儿童用户的虚拟待训练角色模型，根据自闭症儿童用户针对虚拟生活场景的多模态交互操作信息，实现自闭症儿童用户通过语音、姿态、手势或者表情方式将自己针对虚拟生活场景的交互情况反映到自己的替身‑虚拟待训练角色模型上，控制虚拟待训练角色模型执行对应的动作，且由虚拟生活场景将与虚拟待训练角色模型所执行动作相对应的响应展示给自闭症儿童用户，帮助自闭症儿童用户以直观观察虚拟生活场景方式了解虚拟生活场景中所对应的生活技能，有利于训练自闭症儿童生活技能。

Description

基于严肃游戏的自闭症儿童生活技能训练方法

技术领域

本发明涉及自闭症儿童生活技能训练领域，尤其涉及一种基于严肃游戏的自闭症儿童生活技能训练方法。

背景技术

自闭症，又称自闭症谱系障碍(Autism Spectrum Disorder,ASD)，它可被归类为一种由于神经系统失调导致的发育障碍，其病征包括不正常的社交能力、沟通能力、兴趣和行为模式。儿童在患自闭症后，会在情绪表达、社交互动、语言沟通和非语言沟通上存在异常，并且经常做出一些刻板和重复性的动作或者行为。

为了帮助儿童尽早摆脱自闭症的困扰，现在出现了很多专注于给自闭症儿童做康复训练的自闭症康复机构。这些康复机构会借助机器人给自闭症儿童开展基本生活技能训练或借助计算机游戏营造正常的生活场景，以训练自闭症儿童的身体协调或者表情活动，使这些儿童能慢慢适应正常的情绪表达和社交互动。当然，也有少数自闭症康复机构引入了严肃游戏(Serious Game)来训练自闭症儿童的交互能力。

但是，目前针对自闭症儿童生活技能训练的方法也存在一些问题：

首先，采用机器人对自闭症儿童开展生活技能训练时，由于机器人具有成本高昂且易坏的特点，会增加自闭症儿童生活技能训练的成本；而通过计算机游戏营造生活场景训练自闭症儿童时，存在游戏情节单一，仅仅能够训练自闭症儿童的身体协调或者表情活动，难以对自闭症儿童在面对生活场景时的诸如社交互动等生活技能做出有效训练。

其次，现有基于严肃游戏的自闭症儿童训练方法同样存在情节单一的问题，且严肃游戏中的角色无法给待训练的自闭症儿童做出诸如动作、言语和情绪上的反馈，难以对自闭症儿童的生活交际能力做出全面有效的训练。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种基于严肃游戏的自闭症儿童生活技能训练方法。

本发明解决上述技术问题所采用的技术方案为：基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，包括如下步骤：

步骤1，构建基于严肃游戏的虚拟生活场景；其中，虚拟生活场景至少包括一个虚拟交互场景，虚拟交互场景中具有虚拟物体和虚拟人物；

步骤2，在虚拟生活场景中生成与待训练用户相对应的虚拟待训练角色模型；其中，待训练用户为患有自闭症的用户；

步骤3，将虚拟生活场景展示给待训练用户，且接收待训练用户针对虚拟生活场景的多模态交互操作信息；其中，多模态交互操作信息包括语音交互信息、姿态交互信息、手势交互信息以及表情交互信息中的至少一种；

步骤4，控制虚拟待训练角色模型根据待训练用户的多模态交互操作信息执行对应的交互操作；

步骤5，控制虚拟生活场景的虚拟交互场景以响应虚拟待训练角色模型所执行的交互操作且将该响应反馈给待训练用户。

为了对待训练用户的训练结果做出评估，作为改进，该发明的基于严肃游戏的自闭症儿童生活技能训练方法还包括：根据虚拟待训练角色模型所执行交互操作的正误情况评定待训练用户的生活技能辅助训练效果。

为了让待训练用户在虚拟生活场景中及时获取辅助提示，以完成交互动作，再改进地，该发明的所述基于严肃游戏的自闭症儿童生活技能训练方法还包括：

步骤S1，在虚拟生活场景中生成虚拟主辅助训练角色模型；

步骤S2，控制虚拟主辅助训练角色模型向虚拟待训练角色模型执行提示操作；

步骤S3，根据虚拟待训练角色模型针对所述提示操作的响应做出判断处理：

当虚拟待训练角色模型的响应与所述提示操作相匹配时，判定待训练用户正确完成针对所述提示操作的生活技能辅助训练；否则，判定待训练用户未正确完成针对所述提示操作的生活技能辅助训练。

为了使得待训练用户能够在虚拟生活场景中获取更为丰富的交互场景，以提高待训练用户在不同交互场景下的交互能力，改进地，所述基于严肃游戏的自闭症儿童生活技能训练方法还包括：

步骤a1，在所述虚拟生活场景中构建至少一个交互式触发区域；其中，交互式触发区域与虚拟交互场景一一对应；

步骤a2，检测虚拟待训练角色模型在虚拟生活场景中的位移；

步骤a3，根据虚拟待训练角色模型的位移检测情况做出判断：

当虚拟待训练角色模型移动至交互式触发区域内时，控制虚拟主辅助训练角色模型向虚拟待训练角色模型执行与该交互式触发区域相对应的训练动作提示，转入步骤a4；否则，转入步骤a2；

步骤a4，根据虚拟待训练角色模型是否正确响应所述训练动作提示做出判断：

当虚拟待训练角色模型正确响应所述训练动作提示时，转入步骤a5；否则，判定待训练用户未正确完成针对所述训练动作提示的生活技能辅助训练；

步骤a5，对交互式触发区域内是否存在虚拟次辅助训练角色模型做出判断：

当存在虚拟次辅助训练角色模型时，控制虚拟次辅助训练角色模型向虚拟待训练角色模型展示交互反馈操作；否则，虚拟主辅助训练角色模型提示该虚拟待训练角色模型执行交互动作；其中，虚拟次辅助训练角色模型和虚拟主辅助训练角色模型的动作均反馈给待训练用户。

为了利用待训练用户的身体姿态动作实现对虚拟生活场景中所对应虚拟待训练角色模型的动作控制，再改进地，该发明的所述基于严肃游戏的自闭症儿童生活技能训练方法还包括：

步骤b1，根据待训练用户的身体姿态动作控制虚拟待训练角色模型在虚拟生活场景中的动作；

步骤b2，接收外部设备对虚拟生活场景中目标位置点的选择指令；

步骤b3，在虚拟生活场景中，将虚拟待训练角色模型的视点位置分别与目标位置点和地面所形成的两条连接线的交点作为该虚拟待训练角色模型在所述虚拟生活场景中的运动目标位置点；

步骤b4，控制虚拟待训练角色模型移动至虚拟生活场景中的运动目标位置点；

步骤b5，控制虚拟主辅助训练角色模型移动至所述运动目标位置点，且由虚拟主辅助训练角色模型向待训练用户展示待执行的交互动作。

为了满足待训练用户对虚拟生活场景中虚拟物体的交互动作，进一步改进地，所述基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，还包括：

步骤c1，对虚拟生活场景中的各虚拟物体的位置信息做初始化处理；

步骤c2，利用体感控制器识别待训练用户的手掌位置信息，并将识别的手掌位置信息映射到展示虚拟生活场景的显示装置上；其中，虚拟生活场景中虚拟待训练角色模型的虚拟手掌与该待训练用户的手掌相对应；

步骤c3，检测虚拟待训练角色模型的虚拟手掌的位移；

步骤c4，根据针对虚拟手掌的位移检测情况做出判断处理：

当虚拟手掌移向虚拟物体时，转入步骤c5；否则，转入步骤c3；

步骤c5，计算虚拟手掌与该虚拟物体之间的间隔距离；

步骤c6，根据计算的间隔距离做出判断处理：

当该间隔距离小于预设距离阈值时，控制该虚拟物体随虚拟手掌在虚拟生活场景中同步移动；否则，转入步骤c5。

再改进地，所述基于严肃游戏的自闭症儿童生活技能训练方法，还包括：

步骤d1，对虚拟生活场景中的各虚拟物体的位置信息做初始化处理；

步骤d2，识别待训练用户的关节点位置信息，并确定虚拟待训练角色模型的虚拟手掌在虚拟生活场景中的位置；

步骤d3，检测虚拟手掌在虚拟生活场景中的位移变化；

步骤d4，根据虚拟手掌的位移变化检测情况做出判断处理：

当虚拟手掌的位置变化满足预设条件时，控制虚拟生活场景中的虚拟物体执行对应的预设动作且展示给待训练用户；否则，控制虚拟生活场景中的虚拟物体不予执行动作，且转入步骤d3。

为了对待训练用户的情绪做出训练，再改进地，该发明的所述基于严肃游戏的自闭症儿童生活技能训练方法，还包括：根据虚拟生活场景中的场景变化，控制虚拟角色模型向待训练用户展示不同情绪；其中，虚拟角色模型为虚拟待训练角色模型或虚拟主辅助训练角色模型或虚拟次辅助训练角色模型。

进一步地，在所述基于严肃游戏的自闭症儿童生活技能训练方法中，按照如下步骤e1～e4的方式控制虚拟角色模型向待训练用户展示不同情绪：

步骤e1，获取虚拟生活场景中的场景信息；

步骤e2，根据获取的场景信息计算虚拟生活场景的当前安全动机强度和当前社交动机强度；

步骤e3，根据所得当前安全动机强度值和当前社交动机强度值做出判断处理：

当所述当前安全动机强度值和当前社交动机强度值中的最大值小于预设的阈值时，控制虚拟角色模型不向待训练用户展示情绪；否则，转入步骤e4；

步骤e4，当所述当前安全动机强度值和当前社交动机强度值中的最大值大于预设的阈值，且所述当前安全动机强度值大于所述当前社交动机强度值时，控制虚拟角色模型在虚拟生活场景中移离当前位置且向自闭症儿童展示恐慌情绪；否则，控制虚拟角色模型在向自闭症儿童展示预设的交互情绪之后，转入步骤e1。

再进一步地，在所述基于严肃游戏的自闭症儿童生活技能训练方法中，在步骤e2中：

所述当前安全动机强度按照如下步骤f1和步骤f2的方式计算得到：

步骤f1，预先设置虚拟角色模型与虚拟生活场景中危险源的最大距离值和最小距离值；

步骤f2，根据虚拟角色模型与虚拟生活场景中危险源的当前距离做出判断处理：

当该当前距离超过所述最大距离值时，将该虚拟角色模型所对应的当前安全动机强度设置为0；

当该当前距离小于所述最小距离值时，将该虚拟角色模型所对应的当前安全动机强度设置为1；

当该当前距离位于所述最小距离值和所述最大距离值之间时，将该虚拟角色模型所对应的当前安全动机强度按照距离进行线性插值计算设置；

所述当前社交动机强度按照如下步骤g1和步骤g2的方式计算得到：

步骤g1，预先设置虚拟角色模型与其他虚拟角色模型的最远社交距离值和最近社交距离值；

步骤g2，根据虚拟角色模型与其他虚拟角色模型之间的当前社交距离值做出判断处理：

当该当前社交距离值超过所述最远社交距离值时，将该虚拟角色模型所对应的社交动机强度设置为0；

当该当前社交距离值小于所述最近社交距离值时，将该虚拟角色模型所对应的社交动机强度设置为1；

当该当前社交距离值位于所述最近社交距离值与所述最远社交距离值之间时，将该虚拟角色模型所对应的社交动机强度按照距离进行线性插值计算设置。

与现有技术相比，本发明的优点在于：

首先，该发明通过构建基于严肃游戏的虚拟生活场景，虚拟生活场景中含有至少一种虚拟交互场景，并在虚拟生活场景中生成与待训练的自闭症儿童用户相匹配的虚拟待训练角色模型，然后根据自闭症儿童用户针对虚拟生活场景的多模态交互操作信息，实现自闭症儿童用户可以通过语音、姿态、手势或者表情这些多模态方式将自己针对虚拟生活场景的交互操作情况反映到自己在虚拟生活场景中的替身-虚拟待训练角色模型上，以控制虚拟待训练角色模型执行与该自闭症儿童用户相同的交互操作，且将虚拟生活场景的交互操作反馈(如展示)给该自闭症儿童用户，从而帮助自闭症儿童用户能够以直观观察虚拟生活场景的方式了解到虚拟生活场景中所对应的生活技能以及响应的交互操作，有利于训练自闭症儿童的生活技能。

其次，该发明的自闭症儿童生活技能训练方法还在虚拟生活场景中增加设置了可以向自闭症儿童用户展示情绪和动作等具有自主行为的虚拟辅助训练角色(虚拟主辅助训练角色模型和虚拟次辅助训练角色模型)，实现了可以利用这些具有自主行为的虚拟辅助训练角色来引导和训练自闭症儿童用户领悟虚拟生活场景含义以及做出对应的正常的交互反应，满足了对自闭症儿童面对日常不同交互式场景式的交互能力训练。

附图说明

图1为本发明实施例中基于严肃游戏的自闭症儿童生活技能训练方法流程示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本实施例提供一种基于严肃游戏的自闭症儿童生活技能训练方法。其中，实现该自闭症儿童生活技能训练方法的硬件设备包括控制器、显示屏、体感控制器Leap Motion、控制器、话筒、语音播放设备、摄像机和深度相机Kinect，话筒靠近待训练的自闭症儿童用户的嘴部设置，以采集到自闭症儿童用户的语音；摄像机设置在显示屏的上方且能够采集到该自闭症儿童用户的面部表情，深度相机Kinect设置在能够采集到自闭症儿童用户的四肢关节的位置。控制器可以采用计算机的主机，显示屏采用计算机的显示器。

具体地，参见图1所示，该基于严肃游戏的自闭症儿童生活技能训练方法，包括如下步骤：

步骤1，构建基于严肃游戏的虚拟生活场景；其中，虚拟生活场景包括水果店虚拟化交互场景、运动场虚拟化交互场景和公共厕所虚拟化交互场景，即在该虚拟生活场景中，会展示出虚拟化的水果店、虚拟化的运动场和虚拟化的公共厕所；该实施例中的“虚拟化交互场景”又可以称之为“虚拟交互场景”；

在水果店虚拟化交互场景中，含有虚拟化的各种水果以及虚拟化的水果店店员；

在运动场虚拟化交互场景中，含有虚拟化的草坪、虚拟化的球拍和虚拟化的羽毛球；

在公共厕所虚拟化交互场景中，公共厕所具有标识有“男厕”的厕所门和标识有“女厕”的厕所门；

步骤2，在虚拟生活场景中生成与待训练用户相对应的虚拟待训练角色模型；其中，这里的待训练用户为患有自闭症的儿童用户；虚拟待训练角色模型就是患有自闭症的儿童用户在上述虚拟生活场景中的替身，自闭症儿童用户在训练过程中的动作行为均由其替身(即虚拟待训练角色模型)在虚拟生活场景中表现出来；

步骤3，将含有水果店虚拟化交互场景、运动场虚拟化交互场景和公共厕所虚拟化交互场景的虚拟生活场景展示给待训练用户，且接收患有自闭症的儿童用户针对虚拟生活场景的多模态交互操作信息；其中，这里的多模态交互操作信息包括语音交互信息、姿态交互信息、手势交互信息以及表情交互信息；

步骤4，控制虚拟待训练角色模型根据待训练用户的多模态交互操作信息执行对应的交互操作；其中，这里的交互操作可以是动作、语言或者面部表情；

例如，在接收到自闭症儿童用户做出了向前握手的交互操作时，此时就控制自闭者儿童用户在虚拟化生活场景中的替身-虚拟待训练角色模型也在所处的虚拟化生活场景中做出向前握手的动作，且该虚拟待训练角色模型做出的动作通过显示设备(计算机的显示器)展示给该自闭者儿童用户。

步骤5，控制虚拟生活场景的虚拟化交互场景以响应虚拟待训练角色模型所执行的交互操作且将该响应反馈给训练中的该自闭者儿童用户。

比如说，在自闭症儿童用户看到虚拟化生活场景中的水果店虚拟化交互场景时，当自闭症儿童用户做出意图进入水果店内的动作时，虚拟待训练角色模型就走入到虚拟化的水果店内，水果店中的虚拟化的水果店店员面向该虚拟待训练角色模型做出微笑的反馈响应动作，并且虚拟化的水果店店员的微笑动作通过显示设备展示给当前的自闭症儿童用户。

在该实施例中，还可以根据虚拟待训练角色模型所执行交互操作的正误情况评定待训练用户的生活技能辅助训练效果，从而对自闭症儿童用户的训练结果做出评估。

为了辅助自闭症儿童用户在虚拟生活场景中及时获取提示，以完成交互动作，该实施例的基于严肃游戏的自闭症儿童生活技能训练方法还包括生成虚拟主辅助训练角色模型，以由虚拟主辅助训练角色模型帮助提示自闭症儿童用户做出交互动作的过程。具体地，虚拟主辅助训练角色模型帮助提示自闭症儿童用户做出交互动作的过程包括如下步骤S1～步骤S3：

步骤S1，在虚拟生活场景中生成虚拟主辅助训练角色模型；

步骤S2，控制虚拟主辅助训练角色模型向虚拟待训练角色模型执行提示操作；例如，在自闭症儿童用户的替身-虚拟待训练角色模型进入到虚拟化的水果店内时，虚拟主辅助训练角色模型就提示自闭症儿童用户挑选水果。

步骤S3，根据虚拟待训练角色模型针对上述提示操作的响应做出判断处理：

当虚拟待训练角色模型的响应与上述提示操作相匹配时，判定待训练用户正确完成针对所述提示操作的生活技能辅助训练；否则，判定待训练用户未正确完成针对所述提示操作的生活技能辅助训练。例如，在虚拟主辅助训练角色模型提示自闭症儿童用户挑选水果后，如果自闭症儿童用户通过动作使得其替身-虚拟待训练角色模型在虚拟化的水果店内挑选水果时，就说明该自闭症儿童用户正确完成了针对虚拟主辅助训练角色模型的提示操作，即正确完成了针对挑选水果这一项生活技能的辅助训练动作。当然，如果自闭症儿童用户的替身-虚拟待训练角色模型在虚拟化的水果店内没有挑选水果时，就判定该自闭症儿童用户未正确完成针对挑选水果这一项生活技能的辅助训练动作。

当然，为了使得自闭症儿童用户能够在虚拟生活场景中获取更为丰富的交互场景，以提高自闭症儿童用户在不同交互场景下的交互能力，该实施例的基于严肃游戏的自闭症儿童生活技能训练方法还包括根据虚拟化交互场景中是否存在虚拟次辅助训练角色模型，以实现生活技能辅助训练的过程。虚拟次辅助训练角色模型是不同于虚拟主辅助训练角色模型的角色模型。具体地，该过程包括如下步骤a1～a5：

步骤a1，在虚拟生活场景中构建至少一个交互式触发区域；其中，交互式触发区域与虚拟化交互场景一一对应；比如说，此处将虚拟化的水果店作为交互式触发区域；

步骤a2，检测虚拟待训练角色模型在虚拟生活场景中的位移；

步骤a3，根据虚拟待训练角色模型的位移检测情况做出判断：

当虚拟待训练角色模型移动至交互式触发区域内时，控制虚拟主辅助训练角色模型向虚拟待训练角色模型执行与该交互式触发区域相对应的训练动作提示；否则，转入步骤a2；也就是说，在针对该自闭症儿童用户做训练时，需要检测自闭症儿童用户替身-虚拟待训练角色模型在虚拟化生活场景中的位移情况；一旦检测到虚拟待训练角色模型进入到虚拟化的水果店内时，就控制虚拟主辅助训练角色模型提示虚拟待训练角色模型执行与该虚拟化的水果店相对应的训练动作提示，比如是挑选水果提示或者付费结账提示；虚拟主辅助训练角色模型的这种提示会通过显示设备展示给训练中的自闭症儿童；

步骤a4，根据虚拟待训练角色模型是否正确响应所述训练动作提示做出判断：

当虚拟待训练角色模型正确响应所述训练动作提示时，说明虚拟待训练角色模型正确响应的真正发出者-训练中的自闭症儿童用户可以对上述的训练动作提示做出正常的反应和响应，转入步骤a5；否则，判定待训练用户未正确完成针对所述训练动作提示的生活技能辅助训练；

步骤a5，对交互式触发区域内是否存在虚拟次辅助训练角色模型做出判断：

当存在虚拟次辅助训练角色模型时，控制虚拟次辅助训练角色模型向虚拟待训练角色模型展示交互反馈操作；否则，虚拟主辅助训练角色模型提示该虚拟待训练角色模型执行交互动作；其中，虚拟次辅助训练角色模型和虚拟主辅助训练角色模型的动作均反馈给待训练用户。

例如，假设经过虚拟主辅助训练角色模型做出付费结账提示后，虚拟化生活场景中的该虚拟待训练角色模型做出拿钱付账的动作时，此时水果店中的虚拟化店员就向该虚拟待训练角色模型展现出微小的表情以及收钱结账的动作，当然，虚拟化店员所做出的动作同步地展示给该虚拟待训练角色模型所对应的真正训练对象，即自闭症儿童用户。

在针对自闭症儿童用户的生活技能的实际训练过程中，该实施例的自闭症儿童生活技能训练方法还会通过自闭症儿童用户的身体姿态动作来完成其替身在虚拟化生活场景中的移动和交互动作。具体地，此处主要通过如下步骤b1～b5来完成：

步骤b1，根据自闭症儿童用户的身体姿态动作控制虚拟待训练角色模型在虚拟生活场景中的动作；

步骤b2，接收诸如鼠标或者体感设备等外部设备对虚拟生活场景中目标位置点的选择指令；

步骤b3，在虚拟生活场景中，将虚拟待训练角色模型的视点位置分别与目标位置点和地面所形成的两条连接线的交点作为该虚拟待训练角色模型在虚拟生活场景中的运动目标位置点；

步骤b4，控制虚拟待训练角色模型移动至虚拟生活场景中的运动目标位置点；

步骤b5，控制虚拟主辅助训练角色模型移动至上述的运动目标位置点，且由虚拟主辅助训练角色模型向待训练用户展示待执行的交互动作。

为了满足待训练用户对虚拟生活场景中虚拟物体的交互动作，该实施例的自闭症儿童生活技能训练方法还包括如下步骤c1～c6：

步骤c1，对虚拟生活场景中的各虚拟物体的位置信息做初始化处理；

步骤c2，利用Leap Motion体感控制器识别待训练用户的手掌位置信息，并将识别的手掌位置信息映射到展示虚拟生活场景的显示装置上；其中，虚拟生活场景中虚拟待训练角色模型的虚拟手掌与该待训练用户的手掌相对应；

步骤c3，检测虚拟待训练角色模型的虚拟手掌的位移；

步骤c4，根据针对虚拟手掌的位移检测情况做出判断处理：

当虚拟手掌移向虚拟物体时，转入步骤c5；否则，转入步骤c3；

步骤c5，计算虚拟手掌与该虚拟物体之间的间隔距离；

步骤c6，根据计算的间隔距离做出判断处理：

当该间隔距离小于预设距离阈值时，说明虚拟手掌在虚拟生活场景中已经靠近到了该虚拟物体，此时就控制该虚拟物体随虚拟手掌在虚拟生活场景中同步移动；否则，转入步骤c5。

为了训练自闭症儿童用户针对物体的执行动作，该实施例的自闭症儿童生活技能训练方法还做如下步骤d1～d4的设置操作：

步骤d1，对虚拟生活场景中的各虚拟物体的位置信息做初始化处理；

步骤d2，识别自闭症儿童用户的关节点位置信息，并确定虚拟待训练角色模型的虚拟手掌在虚拟生活场景中的位置；

步骤d3，检测虚拟手掌在虚拟生活场景中的位移变化；

步骤d4，根据虚拟手掌的位移变化检测情况做出判断处理：

当虚拟手掌的位置变化满足预设条件时，此种情况下就控制虚拟生活场景中的虚拟物体执行对应的预设动作且展示给自闭症儿童用户；否则，控制虚拟生活场景中的虚拟物体不予执行动作，且转入步骤d3。比如说，虚拟待训练角色模型的虚拟手掌的位置变化快速移向虚拟排球时，说明自闭症儿童用户将要发生拍球的动作，那么，就控制虚拟生活场景中的虚拟排球沿着虚拟手掌的移动方向作快速移动。

为了训练对待训练用户的情绪交互能力，在该实施例的自闭症儿童生活技能训练方法中，还会根据虚拟生活场景中的场景变化，控制虚拟角色模型向自闭症儿童展示不同情绪；其中，虚拟角色模型为虚拟待训练角色模型或虚拟主辅助训练角色模型或虚拟次辅助训练角色模型。具体地，此处按照如下步骤e1～e4的方式控制虚拟角色模型向自闭症儿童展示不同情绪：

步骤e1，获取虚拟生活场景中的场景信息；

步骤e2，根据获取的场景信息计算虚拟生活场景的当前安全动机强度和当前社交动机强度；具体地，所述当前安全动机强度按照如下步骤f1和步骤f2的方式计算得到：

步骤f1，预先设置虚拟角色模型与虚拟生活场景中危险源的最大距离值和最小距离值；

步骤f2，根据虚拟角色模型与虚拟生活场景中危险源的当前距离做出判断处理：

当该当前距离超过所述最大距离值时，将该虚拟角色模型所对应的当前安全动机强度设置为0；

当该当前距离小于所述最小距离值时，将该虚拟角色模型所对应的当前安全动机强度设置为1；

当该当前距离位于所述最小距离值和所述最大距离值之间时，将该虚拟角色模型所对应的当前安全动机强度按照距离进行线性插值计算设置。该实施例中所指的线性插值计算过程属于该领域的常规技术手段，此处不再做赘述。

所述当前社交动机强度按照如下步骤g1和步骤g2的方式计算得到：

步骤g1，预先设置虚拟角色模型与其他虚拟角色模型的最远社交距离值和最近社交距离值；

步骤g2，根据虚拟角色模型与其他虚拟角色模型之间的当前社交距离值做出判断处理：

当该当前社交距离值超过所述最远社交距离值时，将该虚拟角色模型所对应的社交动机强度设置为0；

当该当前社交距离值小于所述最近社交距离值时，将该虚拟角色模型所对应的社交动机强度设置为1；

当该当前社交距离值位于所述最近社交距离值与所述最远社交距离值之间时，将该虚拟角色模型所对应的社交动机强度按照距离进行线性插值计算设置。

步骤e3，根据所得当前安全动机强度值和当前社交动机强度值做出判断处理：

当所述当前安全动机强度值和当前社交动机强度值中的最大值小于预设的阈值时，控制虚拟角色模型不向自闭症儿童展示情绪；否则，转入步骤e4；

步骤e4，当所述当前安全动机强度值和当前社交动机强度值中的最大值大于预设的阈值，且所述当前安全动机强度值大于所述当前社交动机强度值时，控制虚拟角色模型在虚拟生活场景中移离当前位置且向自闭症儿童展示恐慌情绪；否则，控制虚拟角色模型在向自闭症儿童展示预设的交互情绪之后，转入步骤e1。

尽管以上详细地描述了本发明的优选实施例，但是应该清楚地理解，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，包括如下步骤：

步骤1，构建基于严肃游戏的虚拟生活场景；其中，虚拟生活场景至少包括一个虚拟交互场景，虚拟交互场景中具有虚拟物体和虚拟人物；

步骤2，在虚拟生活场景中生成与待训练用户相对应的虚拟待训练角色模型；其中，待训练用户为患有自闭症的用户；

步骤3，将虚拟生活场景展示给待训练用户，且接收待训练用户针对虚拟生活场景的多模态交互操作信息；其中，多模态交互操作信息包括语音交互信息、姿态交互信息、手势交互信息以及表情交互信息中的至少一种；

步骤4，控制虚拟待训练角色模型根据待训练用户的多模态交互操作信息执行对应的交互操作；

步骤5，控制虚拟生活场景的虚拟交互场景以响应虚拟待训练角色模型所执行的交互操作且将该响应反馈给待训练用户。

2.根据权利要求1所述的基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，还包括：根据虚拟待训练角色模型所执行交互操作的正误情况评定待训练用户的生活技能辅助训练效果。

3.根据权利要求1所述的基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，还包括：

步骤S1，在虚拟生活场景中生成虚拟主辅助训练角色模型；

步骤S2，控制虚拟主辅助训练角色模型向虚拟待训练角色模型执行提示操作；

步骤S3，根据虚拟待训练角色模型针对所述提示操作的响应做出判断处理：

当虚拟待训练角色模型的响应与所述提示操作相匹配时，判定待训练用户正确完成针对所述提示操作的生活技能辅助训练；否则，判定待训练用户未正确完成针对所述提示操作的生活技能辅助训练。

4.根据权利要求1所述的基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，还包括：

步骤a1，在所述虚拟生活场景中构建至少一个交互式触发区域；其中，交互式触发区域与虚拟交互场景一一对应；

步骤a2，检测虚拟待训练角色模型在虚拟生活场景中的位移；

步骤a3，根据虚拟待训练角色模型的位移检测情况做出判断：

当虚拟待训练角色模型移动至交互式触发区域内时，控制虚拟主辅助训练角色模型向虚拟待训练角色模型执行与该交互式触发区域相对应的训练动作提示，转入步骤a4；否则，转入步骤a2；

步骤a4，根据虚拟待训练角色模型是否正确响应所述训练动作提示做出判断：

当虚拟待训练角色模型正确响应所述训练动作提示时，转入步骤a5；否则，判定待训练用户未正确完成针对所述训练动作提示的生活技能辅助训练；

步骤a5，对交互式触发区域内是否存在虚拟次辅助训练角色模型做出判断：

当存在虚拟次辅助训练角色模型时，控制虚拟次辅助训练角色模型向虚拟待训练角色模型展示交互反馈操作；否则，虚拟主辅助训练角色模型提示该虚拟待训练角色模型执行交互动作；其中，虚拟次辅助训练角色模型和虚拟主辅助训练角色模型的动作均反馈给待训练用户。

5.根据权利要求3或4所述的基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，还包括：

步骤b1，根据待训练用户的身体姿态动作控制虚拟待训练角色模型在虚拟生活场景中的动作；

步骤b2，接收外部设备对虚拟生活场景中目标位置点的选择指令；

步骤b3，在虚拟生活场景中，将虚拟待训练角色模型的视点位置分别与目标位置点和地面所形成的两条连接线的交点作为该虚拟待训练角色模型在所述虚拟生活场景中的运动目标位置点；

步骤b4，控制虚拟待训练角色模型移动至虚拟生活场景中的运动目标位置点；

步骤b5，控制虚拟主辅助训练角色模型移动至所述运动目标位置点，且由虚拟主辅助训练角色模型向待训练用户展示待执行的交互动作。

6.根据权利要求5所述的基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，还包括：

步骤c1，对虚拟生活场景中的各虚拟物体的位置信息做初始化处理；

步骤c2，利用体感控制器识别待训练用户的手掌位置信息，并将识别的手掌位置信息映射到展示虚拟生活场景的显示装置上；其中，虚拟生活场景中虚拟待训练角色模型的虚拟手掌与该待训练用户的手掌相对应；

步骤c3，检测虚拟待训练角色模型的虚拟手掌的位移；

步骤c4，根据针对虚拟手掌的位移检测情况做出判断处理：

当虚拟手掌移向虚拟物体时，转入步骤c5；否则，转入步骤c3；

步骤c5，计算虚拟手掌与该虚拟物体之间的间隔距离；

步骤c6，根据计算的间隔距离做出判断处理：

当该间隔距离小于预设距离阈值时，控制该虚拟物体随虚拟手掌在虚拟生活场景中同步移动；否则，转入步骤c5。

7.根据权利要求4所述的基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，还包括：

步骤d1，对虚拟生活场景中的各虚拟物体的位置信息做初始化处理；

步骤d2，识别待训练用户的关节点位置信息，并确定虚拟待训练角色模型的虚拟手掌在虚拟生活场景中的位置；

步骤d3，检测虚拟手掌在虚拟生活场景中的位移变化；

步骤d4，根据虚拟手掌的位移变化检测情况做出判断处理：

当虚拟手掌的位置变化满足预设条件时，控制虚拟生活场景中的虚拟物体执行对应的预设动作且展示给待训练用户；否则，控制虚拟生活场景中的虚拟物体不予执行动作，且转入步骤d3。

8.根据权利要求4所述的基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，还包括：根据虚拟生活场景中的场景变化，控制虚拟角色模型向待训练用户展示不同情绪；其中，虚拟角色模型为虚拟待训练角色模型或虚拟主辅助训练角色模型或虚拟次辅助训练角色模型。

9.根据权利要求8所述的基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，按照如下步骤e1～e4的方式控制虚拟角色模型向待训练用户展示不同情绪：

步骤e1，获取虚拟生活场景中的场景信息；

步骤e2，根据获取的场景信息计算虚拟生活场景的当前安全动机强度和当前社交动机强度；

步骤e3，根据所得当前安全动机强度值和当前社交动机强度值做出判断处理：

当所述当前安全动机强度值和当前社交动机强度值中的最大值小于预设的阈值时，控制虚拟角色模型不向待训练用户展示情绪；否则，转入步骤e4；

步骤e4，当所述当前安全动机强度值和当前社交动机强度值中的最大值大于预设的阈值，且所述当前安全动机强度值大于所述当前社交动机强度值时，控制虚拟角色模型在虚拟生活场景中移离当前位置且向自闭症儿童展示恐慌情绪；否则，控制虚拟角色模型在向自闭症儿童展示预设的交互情绪之后，转入步骤e1。

10.根据权利要求9所述的基于严肃游戏的自闭症儿童生活技能训练方法，其特征在于，在步骤e2中：

所述当前安全动机强度按照如下步骤f1和步骤f2的方式计算得到：

步骤f1，预先设置虚拟角色模型与虚拟生活场景中危险源的最大距离值和最小距离值；

步骤f2，根据虚拟角色模型与虚拟生活场景中危险源的当前距离做出判断处理：

当该当前距离超过所述最大距离值时，将该虚拟角色模型所对应的当前安全动机强度设置为0；

当该当前距离小于所述最小距离值时，将该虚拟角色模型所对应的当前安全动机强度设置为1；

当该当前距离位于所述最小距离值和所述最大距离值之间时，将该虚拟角色模型所对应的当前安全动机强度按照距离进行线性插值计算设置；

所述当前社交动机强度按照如下步骤g1和步骤g2的方式计算得到：

步骤g1，预先设置虚拟角色模型与其他虚拟角色模型的最远社交距离值和最近社交距离值；

步骤g2，根据虚拟角色模型与其他虚拟角色模型之间的当前社交距离值做出判断处理：

当该当前社交距离值超过所述最远社交距离值时，将该虚拟角色模型所对应的社交动机强度设置为0；

当该当前社交距离值小于所述最近社交距离值时，将该虚拟角色模型所对应的社交动机强度设置为1；

当该当前社交距离值位于所述最近社交距离值与所述最远社交距离值之间时，将该虚拟角色模型所对应的社交动机强度按照距离进行线性插值计算设置。

Images