CN110890140B - 基于虚拟现实的自闭症康复训练及能力评估系统及方法 - Google Patents

Abstract

本发明提供一种基于虚拟现实的自闭症康复训练及能力评估系统及方法，包括计算反馈主控设备和虚拟现实模块，虚拟现实模块受所述计算反馈主控设备控制，为自闭症患者模拟虚拟现实场景，引导自闭症患者与虚拟现实场景交互，通过虚拟现实技术并结合适当的内容能够将被测者的行为模式放大，并结合人工智能技术对数据进行分析处理，且能够对被测者的神经回路进行一定程度的模拟，而通过与标准对照组及自闭症对照组进行比对，可以得到综合的评估结果，并可以结合实时反馈和阶段反馈调整康复训练的内容及流程，自适应自闭症患者的当前状态。

Description

基于虚拟现实的自闭症康复训练及能力评估系统及方法

技术领域

本发明涉及辅助康复训练领域，具体涉及一种基于虚拟现实的自闭症康复训练及能力评估系统及方法。

背景技术

自闭症谱系障碍(ASD)，是一种被归类为神经发育障碍的疾病。具有自闭症谱系障碍的个体通常会出现两种类型的症状：社交沟通或社交互动中的问题，以及行为、兴趣或活动的受限或重复模式。自闭症患者长期存在包括创建和保持社会交往关系方面的困难，以及维护工作以及执行日常任务的困难。自闭症的临床表现主要有语言障碍、社会交往障碍、兴趣范围狭窄、刻板的行为模式和智能障碍。语言与交流障碍是自闭症的重要症状，是大多数儿童就诊的主要原因。

目前，自闭症患者的康复训练主要分为两部分，一部分是康复机构的辅导人员通过感觉统合、教育干预、行为治疗等方式对自闭症患者进行辅导；另外一部分是家长通过长期的陪伴教育及行为干预进行疏导。两种方式均对家庭及社会造成巨大的压力，而且康复机构的辅导人员和家长均不是专业的治疗医师，很难通过自闭症患者的反馈来进行辅导的调整。而且目前，市面上的自闭症辅助康复系统主要是通过平板或大屏幕来进行辅助教育，这种辅助教育方式无法带给自闭症患者真正的模拟现实的各种体验，对自闭症患者的认知、行为及社交融合教育是灌输式的。目前，对自闭症患者的能力评估一般停留在通过主治医师的长期的观察或家长的一般叙述上来进行评估，主治医师的长期观察费时费力，难以普及，而家长的观察叙述又难以确保准确性。因此，快速的，同时又相对稳定的、准确的评估系统对自闭症患者的康复训练极其重要。

经检索，申请号为201711083891.1的专利申请，公开了一种基于虚拟现实的自闭症康复训练方法，应用于虚拟现实系统，该自闭症康复训练方法包括：根据用户的病况信息，确定第一训练难度，并根据第一训练难度，生成虚拟现实图形图像；将虚拟现实图形图像显示给用户，以供用户进行自闭症康复训练；在用户进行自闭症康复训练时，采集用户的表情信息、体征信息、运动轨迹和训练反馈信息；在用户完成训练后，根据训练完成度、表情信息、体征信息、运动轨迹和训练反馈信息，调整第一训练难度，以便于用户在调整后的第一训练难度下完成下一次自闭症康复训练。

但是上述专利存在以下不足：首先，上述专利没有结合眼动信息去对自闭症的能力进行评估反馈，而有无视觉交互，即眼动，是自闭症缺乏的核心能力之一，其次，上述专利是只在第一阶段后调整了一次难度，而无法进行相应的加强训练，同时也无法在训练时进行实时调整，从而使得康复训练无法得到理想的效果。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于虚拟现实的自闭症康复训练及能力评估系统及方法。

根据本发明的第一方面，提供一种基于虚拟现实的自闭症康复训练及能力评估系统，包括：

虚拟现实模块，提供模拟虚拟现实场景，引导自闭症患者与虚拟现实场景交互，获取自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息；

计算反馈主控设备，用于控制所述虚拟现实模块的工作，并根据所述虚拟现实模块得到的自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息进行康复训练以及能力评估；其中，

所述计算反馈主控设备包括：

康复训练模块，用于对自闭症患者进行认知及社交方面的康复训练，并生成自闭症患者的视觉注意力信息、行为方式信息和社会交往能力信息；

能力评估模块，用于收集所述康复训练模块生成的视觉注意力信息、行为方式信息和社会交往能力信息，并根据上述信息进行综合评估，生成综合评估结果；

反馈模块，用于将所述评估结果反馈至所述康复训练模块，对康复训练内容及流程进行适应性调整。

进一步的，所述基于虚拟现实的自闭症康复训练及能力评估系统的虚拟现实模块包括：

头戴式显示设备，佩戴于自闭症患者头上，用于为自闭症患者虚拟现实场景；

控制设备，自闭症患者通过手部控制所述控制设备，用于使自闭症患者通过控制设备与虚拟现实场景进行交互；

空间定位设备，用于对所述头戴式显示设备和所述控制设备的位置进行定位，并识别所述头戴式显示设备和所述控制设备的方向，生成自闭症患者的头手位置信息和头手方向信息；

体姿追踪设备，对自闭症患者的整体姿态进行识别及判断，得到的结果用于辅助所述空间定位设备追踪自闭症患者的整体姿态动作信息；

音频播放设备，用于配合虚拟现实场景播放虚拟现实场景的环境音及用于虚拟交互的引导提示音；

眼动追踪设备，用于追踪自闭症患者的眼部运动，并生成自闭症患者的眼动信息；

表情采集设备，用于采集自闭症患者的面部表情，并生成自闭症患者的表情信息；

语音记录设备，用于记录自闭症患者的声音，并生成自闭症患者的语音信息。

进一步的，所述眼动信息包括：扫视点坐标、扫视时长、注视点坐标、注视时长、双目及单目数据(双目和单目状态下各自的扫视点坐标、扫视时长、注视点坐标、注视时长)。

进一步的，所述康复训练模块包括：

所述康复训练模块包括：

脱敏接受训练单元，用于帮助初次接触本系统的自闭症患者摆脱其对所述虚拟现实模块的触觉敏感；

认知训练单元，用于通过虚拟现实环境帮助自闭症患者建立对事物属性的认知；

社交训练单元，虚拟环境中的虚拟人物通过设定的程序尝试引导并开始与自闭症患者进行日常生活交流，包括语音交流和/或行为交流，用于帮助自闭症患者进行社交康复训练。

进一步的，所述脱敏接受训练单元包括：

父母示范引导子单元，用于在新的自闭症患者正式尝试之前，先引导其父母戴上头戴式显示设备，为自闭症患者做出示例；

内部内容介绍子单元，用于在新的自闭症患者正式尝试之前，先引导其通过平面交互设备了解内部内容；所述内部内容介绍子单元，还用于在新的自闭症患者开始尝试的几次内，先引导其通过平面交互设备或凑近观看头盔来了解内部内容；

简单交互子单元，用于在新的自闭症患者开始尝试的几次内，通过使用简单的交互活动帮助自闭症患者接受所述头戴式显示设备及所述控制设备。

进一步的，所述认知训练单元包括：

交互引导子单元，通过声音提示对虚拟现实场景中的事物的不同属性进行解释，引导自闭症患者通过所述控制设备与提示相对应的虚拟物体进行交互；

归类判断子单元，在所述交互引导子单元的声音提示之后，使自闭症患者按照声音提示的要求对所述虚拟现实场景中相同属性的虚拟物体进行归类，交互方式为通过所述控制设备触碰虚拟物体并连线完成；

正误反馈子单元，在自闭症患者完成虚拟物体连线后，根据其训练表现判断连线正误，所述音频播放设备会出现相应的声音奖励或鼓励反馈。

进一步的，所述社交训练单元包括：

交流训练子单元，通过与虚拟现实人物的对话完成相应的语言交流活动，并帮助自闭症患者获得语言交流的能力；

注意力训练子单元，通过训练与虚拟人物的目光对视，和在虚拟人物的语言或动作提示下，完成与相应物体的注意力注视，帮助自闭症患者获得更好的视觉注意力能力；

动作训练子单元，通过虚拟人物的语言或动作提示完成相应的身体动作，帮助自闭症患者获得更好的动作表达能力；

表情训练子单元，通过虚拟人物的语言或动作或表情提示完成相应的表情动作，帮助自闭症患者获得更好的表情表达能力。

进一步的，所述能力评估模块，包括：

所述能力评估模块，包括：

语言行为评估单元，获取所述语音记录设备采集自闭症患者在所述社交训练单元中的语音信息，利用语音处理方法，对自闭症患者的语音信息进行语义性频率统计，对自闭症患者是否有语言刻板行为进行评估；

视觉注意力评估单元，对所述眼动追踪设备采集自闭症患者的眼动信息，利用深度神经网络建立模型模拟自闭症患者的视觉注意机制，获得对任意视觉刺激材料的自闭症患者的眼动分布的预测，将计算得到的自闭症患者的视觉注意机制模型与标准发育组及患者自身之前的数据进行相似性比较，对自闭症患者的视觉注意力进行评估；

行为评估单元，从所述空间定位设备得到自闭症患者的头手位置信息和头手方向信息，将所述头手位置信息和头手方向信息提取为重要身体部位或关节的三维轨迹坐标并结合自闭症患者的动作信息进行分析，将所述三维轨迹坐标与标准发育组及患者自身之前的三维轨迹坐标进行比较，对自闭症患者的刻板行为及在与虚拟人物交互时的动作行为进行评估；

表情行为评估子单元，对采集到的自闭症患者的表情信息进行分析，分析自闭症患者在特定情境下的表情行为信息，对自闭症患者在与虚拟人物交互时的表情行为进行评估。

进一步的，所述反馈模块包括：

实时反馈单元，将所述能力评估模块对自闭症患者的评估结果实时反馈到所述康复训练模块中，对康复训练的内容及流程进行调整；

阶段反馈单元，用于统计所述能力评估模块对自闭症患者的多次评估结果，阶段性地将所述多次评估结果反馈到所述康复训练模块中，对康复训练的内容及流程进行调整。

根据本发明的第二方面，提供一种基于虚拟现实的自闭症康复训练及能力评估方法，采用上述的基于虚拟现实的自闭症康复训练及能力评估系统，包括：

采用虚拟现实模块提供模拟虚拟现实场景，引导自闭症患者与虚拟现实场景交互，记录自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息；

采用计算反馈主控设备控制所述虚拟现实模块的工作，并根据自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息进行康复训练以及能力评估。

与现有技术相比，本发明具有如下至少一种有益效果：

本发明上述的基于虚拟现实的自闭症康复训练及能力评估系统和方法，通过使用虚拟现实技术进行互动式训练，患者更有沉浸感，可以提高康复训练效果。

本发明上述的基于虚拟现实的自闭症康复训练及能力评估系统和方法，结合适当的评估内容能够将被测者的行为模式放大(如在特定的社交场合信息下，自闭症的异常视觉注意，或刻板行为等会更加明显)，并结合深度神经网络等人工智能技术对数据进行分析处理，且能够对被测者的神经回路进行一定程度的模拟(眼动、表情和动作都会反应神经回路信息，通过对这些信息的分析拟合进而反应神经回路信息)，而通过标准对照组与自闭症对照组进行比对，可以得到综合的评估结果。

本发明上述的基于虚拟现实的自闭症康复训练及能力评估系统和方法，在得到评估结果后，可以结合实时反馈和阶段反馈调整康复训练的内容及流程，自适应自闭症患者的当前状态。

本发明上述的基于虚拟现实的自闭症康复训练及能力评估系统和方法，通过各个环节的评估结果来调整康复训练的内容及流程的调整，不仅仅是调整难度，调整的还有针对自闭症相关能力的缺乏度，进行相应的加强训练，而且不仅仅是阶段性的调整训练方案，更会在训练时进行实时的、针对性的调整，使得整个康复训练能达到尽可能理想的结果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一优选实施例中的系统结构框图；

图2为本发明一优选实施例中头动跟踪子系统的结构示意图；

图3为本发明一优选实施例中体姿追踪设备的示意图；

图中：计算反馈主控设备100，虚拟现实模块200；

康复训练模块110，能力评估模块120，反馈模块130，脱敏接受训练单元111，认知训练单元112，社交训练单元113；

父母示范引导子单元111a，内部内容介绍子单元111b，简单交互子单元111c，交互引导子单元112a，判断子单元112b，误反馈子单元112c，交流训练子单元113a，注意力训练子单元113b，动作训练子单元113c，表情训练子单元113d，语言行为评估单元121,视觉注意力评估单元122，动作行为评估单元123，表情行为评估单元124，实时反馈单元131，阶段反馈单元132；

头戴式显示设备210，控制设备220，体姿追踪设备240，音频播放设备250，眼动追踪设备260，表情采集设备270，语音记录设备280。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。以下没有详细说明的部分均可以采用现有技术实现。

参照图1所示，为本发明一优选实施例中的基于虚拟现实的自闭症康复训练及能力评估系统的结构框图，包括计算反馈主控设备100和虚拟现实模块200。其中，虚拟现实模块200提供模拟虚拟现实场景，引导自闭症患者与虚拟现实场景交互，记录自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息，并将采集的信息传给计算反馈主控设备100；计算反馈主控设备100控制虚拟现实模块的工作，并根据自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息进行康复训练以及能力评估，并可以进一步的，根据评估结果调整训练内容。

参照图1所示，上述实施例中，计算反馈主控设备100包括康复训练模块110、能力评估模块120和反馈模块130，其中：康复训练模块110对自闭症患者进行认知及社交方面的康复训练，并生成自闭症患者的视觉注意力信息、行为方式信息和社会交往能力信息；能力评估模块120收集康复训练模块110生成的视觉注意力信息、行为方式信息和社会交往能力信息，并根据上述信息进行综合评估，生成综合评估结果；反馈模块130将评估结果反馈至康复训练模块110，对康复训练内容及流程进行适应性调整。本实施例中，根据每种信息，对每一位自闭症患者生成对应的能力的评估结果，评估的判断可以是：有无相应的表情反馈，有无语音反馈，有无视觉交流，有无刻板行为等；每种信息得出一份评估结果，对于评估后得到的相应的结果，针对较差或提升较小的能力进行重复的训练，达到相应的效果。相应的，在重复训练过程中，可以根据评估结果对康复训练内容及流程进行适应性、针对性的调整，以使得整个康复训练能达到尽可能理想的结果。

在一较优实施例中，康复训练模块110包括脱敏接受训练单元111、认知训练单元112和社交训练单元113。其中：脱敏接受训练单元111，用于帮助初次接触本系统的自闭症患者摆脱其对虚拟现实模块的触觉敏感；认知训练单元112，用于通过虚拟现实环境帮助自闭症患者建立对事物属性的认知。其中，事物属性包括：物体颜色、形状、数量、简易工作原理、实际用途等；社交训练单元113采用虚拟环境中的虚拟人物通过设定的程序尝试引导并开始与自闭症患者进行日常生活交流，用于帮助自闭症患者进行社交康复训练。日常生活交流包括语音交流或行为交流，也可以包括语音交流和行为交流，通过引导交流进行康复训练。

在另一具体实施例中，脱敏接受训练单元包括：父母示范引导子单元111a，内部内容介绍子单元111b和简单交互子单元111c。其中：父母示范引导子单元111a，用于在新的自闭症患者正式尝试之前，先引导其父母戴上头戴式显示设备210，为自闭症患者做出示例；内部内容介绍子单元111b，用于在新的自闭症患者正式尝试之前，先引导其通过平面交互设备了解内部内容，内部内容介绍子单元111b还用于在新的自闭症患者开始尝试的几次内，先引导其通过平面交互设备或凑近观看头戴式显示设备210来了解内部内容；简单交互子单元111c，用于在新的自闭症患者开始尝试的几次内，通过使用简单的交互活动帮助自闭症患者接受头戴式显示设备210及控制设备220。脱敏接受训练单元采用父母示范引导方式，通过循序渐进的方法使自闭症患者逐渐地放松，摆脱敏感原，能更好地接受康复训练。

在本发明的一个具体实施例中，认知训练单元112包括：交互引导子单元112a，归类判断子单元112b和正误反馈子单元112c。其中：交互引导子单元112a，用于通过声音提示对虚拟现实中的事物的不同属性进行解释，引导自闭症患者通过控制设备220与提示相对应的虚拟物体进行交互；归类判断子单元112b，用于在交互引导子单元的声音提示之后，使自闭症患者按照声音提示的要求对相同属性的虚拟物体进行归类，交互方式以通过控制设备220触碰虚拟物体并连线完成；正误反馈子单元112c，用于在自闭症患者完成虚拟物体连线后，根据其训练表现判断连线正误，音频播放设备250会出现相应的声音奖励或鼓励反馈。

在本发明的一个具体实施例中，社交训练单元113包括：交流训练子单元113a，注意力训练子单元113b，动作训练子单元113c，表情训练子单元113d。其中：交流训练子单元113a，通过与虚拟现实人物在各个场景下的对话完成相应的语言交流活动帮助自闭症患者获得语言交流的能力；注意力训练子单元113b,通过训练与虚拟人物在各种社交场合下的目光对视，在虚拟人物的语言或动作提示下，完成与相应物体的注意力注视，帮助自闭症患者获得更好的视觉注意力能力；动作训练子单元113c，通过虚拟人物的语言或动作，让自闭症患者在各种社交场合下按提示完成相应的身体动作，帮助自闭症患者获得更好的动作表达能力；表情训练子单元113d，通过虚拟人物的语言或动作或表情提示完成相应的表情动作，帮助自闭症患者获得更好的表情表达能力。通过该单元设置，采用与虚拟现实人物的交互，让自闭症患者沉浸其中，从交流、注意力、动作和表情等方面，不断训练自闭症患者的各方面社交行为。

在本发明的一个具体实施例中，能力评估模块120包括：语言行为评估单元121,视觉注意力评估单元122，动作行为评估单元123，表情行为评估单元124；其中：

语言行为评估子单元121，用于通过的语音记录设备280采集自闭症患者在社交训练单元中的语音信息，利用语音处理方法，对自闭症患者的语音信息进行语义性频率统计，对自闭症患者是否有语言刻板行为，及是否针对虚拟人物的话语进行正确恰当的反馈进行评估，如一段时间一直重复同一句话，则认为存在语言刻板行为，评估结果为近期语言能力为提升或下降，如近期语言能力提升较小或有所下降，则通过阶段反馈模块及实时反馈模块进行相应的训练强度的加强或难度及内容的变化；

视觉注意力评估单元122，用于眼动追踪设备260采集自闭症患者的眼动信息，利用深度神经网络建立模型模拟自闭症患者的视觉注意机制，获得对任意视觉刺激材料的自闭症患者的眼动分布的预测，将计算得到的自闭症患者的视觉注意与标准发育组及患者自身之前的数据进行相似性比较，对自闭症患者的视觉注意力进行评估，比如：可以计算在特定刺激下的视觉注意的位置及时间差异，得到一个差异值，通过差异值反应视觉注意能力情况；深度神经网络建立模型模拟自闭症患者的视觉注意机制可以采用现有技术实现，评估结果为近期视觉注意能力的提升或下降，如近期视觉注意能力提升较小或有所下降，则通过阶段反馈模块及实时反馈模块进行相应的训练强度的加强或难度及内容的变化；

动作行为评估单元123，获取自闭症患者的头动信息和手动信息，将头动信息和手动信息提取为重要身体部位或关节的三维轨迹坐标，将三维轨迹坐标与标准发育组及患者自身之前的三维轨迹坐标进行比较，对自闭症患者的刻板行为进行评估，比如：将标准发育组及患者自身两者间的三维轨迹坐标及时间序列进行差异度比较，得到差异值，该差异值反应行为能力，评估结果为动作反馈能力的提升或下降，如近期动作反馈能力提升较小或有所下降，则通过阶段反馈模块及实时反馈模块进行相应的训练强度的加强或难度及内容的变化；

表情行为能力评估单元124，用于从虚拟现实表情采集模块获得的自闭症患者在特定情境下的表情信息与正常对照组及患者自身之前对比，对自闭症患者的表情反馈行为进行评估，评估结果为近期表情反馈能力的提升或下降，如近期表情反馈能力提升较小或有所下降，则通过阶段反馈模块及实时反馈模块进行相应的训练强度的加强或难度及内容的变化。比如，自闭症患者在虚拟环境中进行社交活动时，通过表情采集模块得到的表情数据与正常对照组及患者自身之前对比，看在特定的情境(虚拟环境中的社交活动)下的表情反馈有无变化，对自闭症患者的表情反馈行为进行评估。

在本发明的一个具体实施例中，反馈模块130包括实时反馈单元131和阶段反馈单元132；其中：实时反馈单元131，用于将能力评估模块对自闭症患者的评估结果实时反馈到康复训练模块中，对康复训练的内容及流程进行调整；阶段反馈单元132，用于统计能力评估模块对自闭症患者的五次评估结果，阶段性地将五次评估结果反馈到康复训练模块中，对康复训练的内容及流程进行调整。根据能力评估模块120对每一方面能力得出的结果，对康复训练的内容及流程进行调整，比如针对特定的缺乏的能力，加强训练次数，并同时改变虚拟人物的语气、声调、表情等信息给予反馈。

如图2所示，在本发明一个具体的实施例中，虚拟现实模块200包括：头戴式显示设备210、控制设备220、空间定位设备(图中未标出)、体姿追踪设备240、音频播放设备250、眼动追踪设备260、表情采集设备270和语音记录设备280。

头戴式显示设备210，佩戴于自闭症患者头上，用于为自闭症患者虚拟现实场景，头戴式显示设备210可作为独立显示系统，可通过有线或者无线的形式与计算反馈主控设备100相连，显示的内容由计算反馈主控设备100计算得到。比如，在一些实施例中，可以采用头戴式眼镜，头戴式头盔等形式的设备。头戴式显示设备210与计算反馈主控设备100可以分开设置，当然也可以为一体结构，比如，计算反馈主控设备100也可以内置于头戴式显示设备210内。

控制设备220，自闭症患者通过手部控制控制设备220，用于使自闭症患者通过控制设备220与虚拟现实场景进行交互，控制设备220可以是手握式或穿着佩戴式控制器，通过无线的连接方式与头戴式显示设备210连接，交互形式可以是通过按键或是触摸板。

空间定位设备，用于对头戴式显示设备210和控制设备220的位置进行定位，并识别头戴式显示设备210和控制设备220的方向，生成自闭症患者的头手位置信息和头手方向信息。空间定位设备可以通过头戴式显示设备210和控制设备220内置的陀螺仪等传感器作为定位信号源，也可以通过光学定位系统进行定位，上述的两种定位方式也可以结合使用。

如图3所示，体姿追踪设备240，采用视频捕捉设备，用于对自闭症患者的整体姿态进行识别及判断，得到的结果用于辅助空间定位设备追踪自闭症患者的整体姿态动作信息。

音频播放设备250，用于配合虚拟现实场景播放虚拟现实场景的环境音及用于虚拟交互的引导提示音。音频播放设备250可以采用现有技术中任一种。

眼动追踪设备260，用于追踪自闭症患者的眼部运动，并生成自闭症患者的眼动信息。眼动追踪设备260可以采用眼动仪实现眼动追踪。

表情采集设备270，用于采集自闭症患者的面部表情，并生成自闭症患者的表情信息。表情采集设备270可以采用现有技术，比如可以通过摄像头拍摄并识别生成。

语音记录设备280，用于记录自闭症患者的声音，并生成自闭症患者的语音信息。可以采用一般的拾音器或录音设备。

在上述任一实施例的基础上，眼动信息包括：扫视点坐标、扫视时长、注视点坐标、注视时长、双目及单目数据。这些信息均用于通过与正常标准对照组及患者本身之前的数据进行对比，分析自闭症患者的康复干预状态。

上述实施例中的系统，在具体使用时，首先让患者带上头戴式显示设备，头戴式显示设备显示虚拟现实场景，患者根据虚拟现实场景进行互动，同时，采集互动过程中关于患者的各种动作、语音、眼动、表情等信息，根据采集的各种信息，在互动中实现康复训练和能力评估。

在本发明另一实施例中，提供一种基于虚拟现实的自闭症康复训练及能力评估方法，采用上述的基于虚拟现实的自闭症康复训练及能力评估系统，包括：采用虚拟现实模块提供模拟虚拟现实场景，引导自闭症患者与虚拟现实场景交互，记录自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息；采用计算反馈主控设备控制所述虚拟现实模块的工作，并根据自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息进行康复训练以及能力评估。具体实现的技术特征与上述系统中各个子系统中对应，在此不再赘述。

本发明上述实施例使用虚拟现实技术并结合适当的内容能够将被测者的行为模式放大，并结合人工智能技术对数据进行分析处理，能够对被测者的神经回路进行一定程度的模拟，通过与标准对照组及自闭症对照组进行比对，可以得到综合的评估结果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种基于虚拟现实的自闭症康复训练及能力评估系统，其特征在于，包括：

虚拟现实模块，提供模拟虚拟现实场景，引导自闭症患者与虚拟现实场景交互，获取自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息；

计算反馈主控设备，用于控制所述虚拟现实模块的工作，并根据所述虚拟现实模块得到的自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息进行康复训练以及能力评估；其中，

所述计算反馈主控设备包括：

康复训练模块，用于对自闭症患者进行认知及社交方面的康复训练，并生成自闭症患者的视觉注意力信息、行为方式信息和社会交往能力信息；

能力评估模块，用于收集所述康复训练模块生成的视觉注意力信息、行为方式信息和社会交往能力信息，并根据上述信息进行综合评估，生成综合评估结果；

反馈模块，用于将所述评估结果反馈至所述康复训练模块，对康复训练内容及流程进行适应性调整；

所述虚拟现实模块包括：

头戴式显示设备，佩戴于自闭症患者头上，为自闭症患者虚拟现实场景，在所述虚拟现实场景中提供互动选择项；

控制设备，自闭症患者通过手部控制所述控制设备，使自闭症患者通过控制设备与虚拟现实场景进行交互；

空间定位设备，对所述头戴式显示设备和所述控制设备的位置进行定位，并识别所述头戴式显示设备和所述控制设备的方向，生成自闭症患者的头手位置信息和头手方向信息；

体姿追踪设备，对自闭症患者的整体姿态进行识别及判断，得到的结果用于辅助所述空间定位设备追踪自闭症患者的整体姿态动作信息；

音频播放设备，用于配合虚拟现实场景播放虚拟现实场景的环境音及用于虚拟交互的引导提示音；

眼动追踪设备，用于追踪自闭症患者的眼部运动，并生成自闭症患者的眼动信息；

表情采集设备，用于采集自闭症患者的面部表情，并生成自闭症患者的表情信息；

语音记录设备，用于记录自闭症患者的声音，并生成自闭症患者的语音信息；

所述康复训练模块包括：

脱敏接受训练单元，用于帮助初次接触本系统的自闭症患者摆脱其对所述虚拟现实模块的触觉敏感；

认知训练单元，用于通过虚拟现实环境帮助自闭症患者建立对事物属性的认知；

社交训练单元，虚拟环境中的虚拟人物通过设定的程序尝试引导并开始与自闭症患者进行日常生活交流，包括语音交流和/或行为交流，用于帮助自闭症患者进行社交康复训练；

所述能力评估模块，包括：

语言行为评估单元，获取所述语音记录设备采集自闭症患者在所述社交训练单元中的语音信息，利用语音处理方法，对自闭症患者的语音信息进行语义性频率统计，对自闭症患者是否有语言刻板行为进行评估；

视觉注意力评估单元，对所述眼动追踪设备采集自闭症患者的眼动信息，利用深度神经网络建立模型模拟自闭症患者的视觉注意机制，获得对任意视觉刺激材料的自闭症患者的眼动分布的预测，将计算得到的自闭症患者的视觉注意机制模型与标准发育组及患者自身之前的数据进行相似性比较，对自闭症患者的视觉注意力进行评估；

行为评估单元，从所述空间定位设备得到自闭症患者的头手位置信息和头手方向信息，将所述头手位置信息和头手方向信息提取为重要身体部位或关节的三维轨迹坐标并结合自闭症患者的动作信息进行分析，将所述三维轨迹坐标与标准发育组及患者自身之前的三维轨迹坐标进行比较，对自闭症患者的刻板行为及在与虚拟人物交互时的动作行为进行评估；

表情行为评估子单元，对采集到的自闭症患者的表情信息进行分析，分析自闭症患者在特定情境下的表情行为信息，对自闭症患者在与虚拟人物交互时的表情行为进行评估；

所述反馈模块包括：

实时反馈单元，将所述能力评估模块对自闭症患者的评估结果实时反馈到所述康复训练模块中，对康复训练的内容及流程进行调整；

阶段反馈单元，用于统计所述能力评估模块对自闭症患者的多次评估结果，阶段性地将所述多次评估结果反馈到所述康复训练模块中，对康复训练的内容及流程进行调整。

2.根据权利要求1所述一种基于虚拟现实的自闭症康复训练及能力评估系统，其特征在于，所述眼动信息包括：扫视点坐标、扫视时长、注视点坐标、注视时长、双目及单目数据。

3.根据权利要求1所述一种基于虚拟现实的自闭症康复训练及能力评估系统，其特征在于，所述脱敏接受训练单元包括：

父母示范引导子单元，用于在新的自闭症患者正式尝试之前，先引导其父母戴上头戴式显示设备，为自闭症患者做出示例；

内部内容介绍子单元，用于在新的自闭症患者正式尝试之前，先引导其通过平面交互设备了解内部内容；所述内部内容介绍子单元，还用于在新的自闭症患者开始尝试的几次内，先引导其通过平面交互设备或凑近观看头盔来了解内部内容；

简单交互子单元，用于在新的自闭症患者开始尝试的几次内，通过使用简单的交互活动帮助自闭症患者接受所述头戴式显示设备及所述控制设备。

4.根据权利要求1所述一种基于虚拟现实的自闭症康复训练及能力评估系统，其特征在于，所述认知训练单元包括：

交互引导子单元，通过声音提示对虚拟现实场景中的事物的不同属性进行解释，引导自闭症患者通过所述控制设备与提示相对应的虚拟物体进行交互；

归类判断子单元，在所述交互引导子单元的声音提示之后，使自闭症患者按照声音提示的要求对所述虚拟现实场景中相同属性的虚拟物体进行归类，交互方式为通过所述控制设备触碰虚拟物体并连线完成；

正误反馈子单元，在自闭症患者完成虚拟物体连线后，根据其训练表现判断连线正误，所述音频播放设备会出现相应的声音奖励或鼓励反馈。

5.根据权利要求1所述一种基于虚拟现实的自闭症康复训练及能力评估系统，其特征在于，所述社交训练单元包括：

交流训练子单元，通过与虚拟现实人物的对话完成相应的语言交流活动，并帮助自闭症患者获得语言交流的能力；

注意力训练子单元，通过训练与虚拟人物的目光对视，和在虚拟人物的语言或动作提示下，完成与相应物体的注意力注视，帮助自闭症患者获得更好的视觉注意力能力；

动作训练子单元，通过虚拟人物的语言或动作提示完成相应的身体动作，帮助自闭症患者获得更好的动作表达能力；

表情训练子单元，通过虚拟人物的语言或动作或表情提示完成相应的表情动作，帮助自闭症患者获得更好的表情表达能力。

6.一种基于虚拟现实的自闭症康复训练及能力评估方法，其特征在于，采用权利要求1-5任一项所述基于虚拟现实的自闭症康复训练及能力评估系统，包括：

采用虚拟现实模块提供模拟虚拟现实场景，引导自闭症患者与虚拟现实场景交互，记录自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息；

采用计算反馈主控设备控制所述虚拟现实模块的工作，并根据自闭症患者的头手位置信息、头手方向信息、眼动信息、表情信息及语音信息进行康复训练以及能力评估。

Images