CN109616179A - 自闭症谱系障碍混合现实康复训练系统及方法 - Google Patents

自闭症谱系障碍混合现实康复训练系统及方法 Download PDF

Info

Publication number
CN109616179A
CN109616179A CN201811492280.7A CN201811492280A CN109616179A CN 109616179 A CN109616179 A CN 109616179A CN 201811492280 A CN201811492280 A CN 201811492280A CN 109616179 A CN109616179 A CN 109616179A
Authority
CN
China
Prior art keywords
screen
training
fish
mixed reality
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811492280.7A
Other languages
English (en)
Other versions
CN109616179B (zh
Inventor
刘娟
卞玉龙
靳新培
耿文秀
盖伟
孟祥旭
杨承磊
赵燕帅
黄瑞晗
任伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Jinan Manjia Culture Communication Co Ltd Jining Branch
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Manjia Culture Communication Co Ltd Jining Branch, Shandong University filed Critical Jinan Manjia Culture Communication Co Ltd Jining Branch
Priority to CN201811492280.7A priority Critical patent/CN109616179B/zh
Publication of CN109616179A publication Critical patent/CN109616179A/zh
Application granted granted Critical
Publication of CN109616179B publication Critical patent/CN109616179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Public Health (AREA)
  • Developmental Disabilities (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种自闭症谱系障碍混合现实康复训练系统及方法，将自闭症儿童的临床康复训练课程内容与混合现实技术的优势相结合，在康复师的指导下，设计了一套训练课程。课程针对认知训练、理解训练、模仿训练三个方面，将传统训练内容融合到该系统中，构建了一个有趣、沉浸、游戏式的交互训练系统。本系统不需要昂贵的混合现实设备，能引起自闭症儿童更多的兴趣、更高的专注和更好的训练表现。

Description

自闭症谱系障碍混合现实康复训练系统及方法
技术领域
本公开涉及一种自闭症谱系障碍混合现实康复训练系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
自闭症谱系障碍(ASD，Autism spectrum disorder)是严重的发育障碍性疾病，患病后会严重影响其一生，早期干预是国内外自闭症领域的研究热点。大量的实证研究表明早期干预能够有效改善自闭症的早期症状，特别是对于处在发展关键期的儿童。目前，中国治疗ASD的主要方式多是通过一些传统的认知干预和行为干预来进行康复训练，然而，传统的训练形式和内容多为治疗师通过语言和简单教具来实施，这种方式缺乏具体形象性，不太符合早期儿童直观动作思维的特点，也缺乏对ASD儿童的吸引力。此外，由于患儿人群居多，医院的康复治疗师短缺，康复设施成本较高，导致医院的设备更新不及时，治疗手法也相对单一。
目前，针对ASD的计算机辅助技术(CAT，Computer-assisted technology)和计算机干预(CBIs，Computer-based interventions)在ASD康复训练中的作用已经得到初步证实。而且从自闭症患者的实验结果可以看出，虚拟现实技术和计算机辅助技术对于自闭症患者的康复训练具有较好的康复效果。但是，目前已有的自闭症VR康复系统很少有关注并适合低龄ASD儿童的。同时,目前大部分研究都忽视了基于动物形式的干预治疗在计算机辅助干预治疗中的作用。
发明内容
本公开为了解决上述问题，提出了一种自闭症谱系障碍混合现实康复训练系统及方法，本公开将自闭症儿童的临床康复训练课程内容与混合现实技术的优势相结合，对认知训练、理解训练、模仿训练三个方面，将传统训练内容融合到该系统中，构建了一个有趣、沉浸、游戏式的交互训练系统。本系统不需要昂贵的混合现实设备，能引起自闭症儿童更多的兴趣、更高的专注和更好的训练表现。
根据一些实施例，本公开采用如下技术方案：
一种自闭症谱系障碍混合现实康复训练系统，包括：
投影模块，包括一鱼缸和投影仪，鱼缸至少具有一面透明面，且该面上附着有一液晶调光膜，通过改变液晶调光膜的通电状态，使鱼缸的该面在透明状态和非透明状态之间转换，为所述投影仪形成投影屏幕；
交互模块，包括设置于所述鱼缸的另一个面的红外边框触摸屏，被配置为通过触摸操作将用户在物理空间中的操作转换为对虚拟场景中物体的操作；
场景渲染模块，被配置为利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；
多维训练模块，包括认知训练、理解训练和模仿训练子模块，所述认知训练子模块提供多幅图像，并保证多幅图像中至少相同的图片，并接收触屏操作结果，所述理解训练子模块，被配置为在场景中提供非水生动物，并接收接触信息，确定所选择的位置；所述模仿训练子模块，被配置为提供一鱼篓和多种类鱼图像，接收将对象拖拽到鱼篓中的拖拽操作。
作为进一步的限定，所述鱼缸表面的四周设置有红外触摸框，包括相互匹配的红外线发射与接收感测元件，在鱼缸的一个表面形成红外线探测网。
作为进一步的限定，所述红外触摸屏通过自带的USB数据线与上位机相连接，在鱼缸表面使用手指触摸，触摸屏会响应手指触摸操作，将触摸响应及触摸位置传递给上位机，从而进行交互操作。
作为进一步的限定，所述交互模块接收用户的点选或拖拽的触控操作，触摸屏会响应手指的触控操作，将触摸响应及触摸位置传递给多维训练模块，多维训练模块将得到的触控位置转换为虚拟渲染场景中对应的位置，实现与虚拟场景中物体的互动。
作为进一步的限定，所述场景渲染模块，还包括声音播放模块，被配置为在场景渲染时发出相应的动物的叫声或动作操作结果提示。
一种自闭症谱系障碍混合现实康复训练方法，包括：
改变液晶调光膜的通电状态，使鱼缸从透明状态转换为非透明状态，形成投影屏幕；
开启红外边框触摸屏，接收用户在物理空间中的触屏操作转换为对虚拟场景中物体的操作；
利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；
在认知训练环节中，接收用户对屏幕上两张相同的图片并用手指连接的触屏操作，判断连接是否正确；
在理解训练环节，接收用户对场景中的非水生动物的选择所在的位置结果，判断指定是否正确；
在模仿训练环节，接收用户将对象拖拽到鱼篓中的手指拖拽操作，并判断分类是否正确。
作为进一步的限定，在理解训练环节，根据手指点击位置是否位于非水生动物的坐标范围内进行判断，将每个非水生动物的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过WorldToScreenPoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等，将其屏幕坐标范围的半径大小设置为60像素点；获取当前手指点击的位置，记为(x,y)为屏幕坐标；以其中一个动物为例，如果(Abs(x-x1.screen)≤60)∩(Abs(y-y1.screen)≤60)，则判断手指点击的位置位于该动物的坐标范围内，即判断该操作成功。
作为进一步的限定，在每个场景的背景中，都有鱼群在来回的游来游去，通过路径动画实现，具体包括：创建多个关键点，使用WaypointCircuit脚本生成通过这些关键点的路径，在需要沿着路径移动的物体上添加Follow脚本，使对应的物体沿着既定路径运动。
作为进一步的限定，在模仿训练环节，根据鱼类动物位置最终是否位于鱼篓的坐标范围内进行判断，首先添加每个需要拖拽的对象，如果从摄像机发出到点击坐标的射线经过某个对象，则该对象被点击，获得点击位置的世界坐标，计算点击位置与该对象世界坐标的偏移量，通过实时计算手指点击位置的世界坐标加上偏移量，即可实时得到被拖拽对象的世界坐标，从而实现手指拖拽。
作为进一步的限定，将鱼篓的世界坐标记为(xyulou,yyulou)，通过WorldToScreenPoint转换为屏幕坐标，记为(xyulou.screen,yyulou.screen)，将其屏幕坐标范围的半径大小设置为100像素点；将被拖拽对象的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过WorldToScreenPoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等；以其中一个拖拽对象为例，如果(Abs(xyulou.screen-x1.screen)≤100)∩(Abs(yyulou.screen-y1.screen)≤100)，则判断该对象的位置位于鱼篓的坐标范围内，即该对象位于鱼篓中，则判断该操作成功。
与现有技术相比，本公开的有益效果为：
(1)本公开系统使用方便、易操作、康复成本较低；
(2)采用鱼缸、金鱼等真实物体作为系统载体，提高幼患的认知能力。对空间限制较少，适合家庭对幼患进行康复训练，有助于提高病患的认知能力、辨别能力、选择能力、模仿能力以及动手操作能力。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明的硬件组成结构示意图；
图2为改进鱼缸示意图；
图3为交互模块示意图；
图4为场景渲染模块示意图；
图5为多维训练模块流程图；
图6(a)为多维训练模块-认知训练的初始界面，6(b)为操作界面，6(c)为操作成功界面，6(d)为操作失败界面；
图7为认知训练环节的操作判断机制示意图；
图8(a)为多维训练模块-理解训练的初始界面，8(b)为操作界面，8(c)为操作成功界面，8(d)为操作失败界面；
图9(a)为多维训练模块-模仿训练的初始界面，9(b)为操作界面，9(c)为操作成功界面，9(d)为操作失败界面；
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。
本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。
一种自闭症谱系障碍混合现实康复训练系统，包括：
投影模块，包括一鱼缸和投影仪，鱼缸至少具有一面透明面，且该面上附着有一液晶调光膜，通过改变液晶调光膜的通电状态，使鱼缸的该面在透明状态和非透明状态之间转换，为所述投影仪形成投影屏幕；
交互模块，包括设置于所述鱼缸的另一个面的红外边框触摸屏，被配置为通过触摸操作将用户在物理空间中的操作转换为对虚拟场景中物体的操作；具有自闭症倾向的患儿通常无法长时间抓取某一件物品，并且他们学习肢体语言需要比常人更久的时间。对于自闭症儿童而言，触摸是一个非常重要的社会信号。用手指直接点击屏幕的操作方式比较简单和直接，更符合直观动作思维特点，降低认知载荷。患儿可以在较短时间内学会操作。
场景渲染模块，被配置为利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；将鱼缸这一真实物体作为系统载体，通过改造鱼缸将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果。这种渲染方式不仅贴近实际体验，而且更能吸引自闭症儿童的注意力。
多维训练模块，包括认知训练、理解训练和模仿训练子模块，所述认知训练子模块提供多幅图像，并保证多幅图像中至少相同的图片，并接收触屏操作结果，所述理解训练子模块，被配置为在场景中提供非水生动物，并接收接触信息，确定所选择的位置；所述模仿训练子模块，被配置为提供一鱼篓和多种类鱼图像，接收将对象拖拽到鱼篓中的拖拽操作。
液晶调光膜通电时，使普通玻璃处于透明状态，可保证普通玻璃的日常观赏功能；断电时，使普通玻璃处于非透明状态，使普通玻璃变为投影幕，供投影内容的显示。
如图1所示，本发明的硬件组成主要包括投影仪、主机和改进鱼缸。投影仪采用一般商用投影仪，主机选用一般显台式电脑主机，可运行三维动画。改进鱼缸是我们对普通鱼缸进行了改造，鱼缸的一面装有液晶调光膜，用于投影显示；另一面装有红外触摸屏，支持触控操作。在布置过程中，投影仪位于改进鱼缸装有液晶调光膜一侧的后方，投影仪与主机连接，将影像背投到鱼缸该面玻璃上；改进鱼缸装有红外触摸屏的一侧面向儿童，便于儿童的观看与互动操作。
如图2所示，本发明所使用的改进鱼缸，鱼缸的一面安装有红外触摸屏，其紧贴鱼缸表面，安装在鱼缸的四周并通过USB数据线与主机相连，其尺寸与鱼缸该面玻璃大小一致；鱼缸的另一面是由液晶调光膜组成的玻璃，与鱼缸该面正后方的投影仪组成调光投影系统。本发明所使用红外触摸屏尺寸与改进鱼缸该面玻璃尺寸的大小一致。
如图3所示，本发明的交互模块，利用改进鱼缸一侧的红外触摸屏，使鱼缸表面成为可以互动操作的交互界面。在鱼缸表面，用户可以实现手指的点选、拖拽等触控操作，触摸屏会响应手指的触控操作，将触摸响应及触摸位置传递给系统，系统将得到的触控位置转换为虚拟渲染场景中对应的位置，实现与虚拟场景中物体的互动。
如图4所示，本发明的场景渲染模块共包括五个部分：粒子动画、路径动画、关键帧动画、操作提示以及背景音乐播放，其中操作提示包括操作中的实时反馈和操作结果提示。
粒子动画：使用Unity3D的粒子系统模块制作场景中的水母、气泡、水草以及漂浮在水中的粒子等。粒子模块有Transform和Particle System两个组件，通过改变Transform组件控制粒子的世界或者局部坐标；通过调整Particle System组件的具体参数，改变粒子的属性，比如持续时间、发射模式、粒子大小、发射速度、发射形状等等，其中粒子的外观效果由渲染组件Renderer决定，即渲染粒子的材质球，通过选择合适的贴图，从而实现不同的粒子外观效果。
路径动画：在每个场景的背景中，都有鱼群在来回的游来游去，这个是通过路径动画实现的。首先创建几个关键点，使用WaypointCircuit脚本生成通过这几个关键点的路径，接着在需要沿着路径移动的物体上添加Follow脚本，即可使该物体沿着既定路径运动。
关键帧动画：场景中的动物，如鱼、猪、牛、羊、大雁、海星、乌龟等，自身均含有动画，如原地摆尾、挥动翅膀等。这些动画是使用Maya制作的关键帧动画，通过在不同的时刻设置关键的动画，其他时间的动画则可以通过Maya特定的插值方法得到，从而达到比较流畅的动画效果。
操作提示：包括操作中的实时反馈和操作结果提示。其中，操作中的实时反馈主要包括，在认知训练环节中手指滑动轨迹的实时显示，使用FingerGesture插件，添加FingerMove Path Renderer，从而使手指滑动的轨迹实时显示在屏幕上。操作结果提示主要包括每个训练环节中操作完成后的提示，操作成功后有一个语音反馈：“给你个赞”以及在屏幕上出现点赞手势，其中，“给你个赞”是使用科大讯飞语音合成技术合成的，将其添加到AudioSource中播放，点赞手势是一张图片，通过改变其Transform中Scale属性使其出现，并在语音反馈结束后消失；另外，在理解训练环节中，操作结果提示还包括出现动物的语音自我介绍及叫声，也是添加到AudioSource中播放，其中自我介绍语音也是使用科大讯飞语音合成技术合成的。
背景音乐播放：在每个训练环节均设置了不同的背景音乐，将其添加到AudioSource中循环播放。
如图5所示，本发明设计的多维训练模块共包括三个训练环节：认知训练环节、理解训练环节和模仿训练环节。图5为多维训练模块流程图，在进入系统后，ASD治疗师首先根据自闭症儿童当前的康复状态进行训练环节的选择，然后开启相应的训练环节，供儿童进行训练。当该项训练结束时，治疗师可以继续选择训练环节，或者停止训练。
如图6所示，本发明设计的认知训练环节。
训练目的：训练自闭症儿童的认知能力和辨别能力。
训练内容：如图6(a)所示，该训练环节的初始界面存在一组连线图片，分别是小丑鱼、小海龟和海星。自闭症儿童需要在治疗师的引导下，找到屏幕上两张相同的图片并用手指将其连接起来。系统设置了两组不同的连线图片，一组连线题全部连对后会自动跳转到下一组连线题。
训练要求：如图6(b)所示，在操作过程中，手指连线的轨迹会显示在屏幕上，且当前手指点击屏幕的位置有一个大且深色的圆圈，要求自闭症儿童按照治疗师的指令成功找到两张相同的图片并用手指将其连接起来，且要求连线的轨迹是一次完成的，即连续的。
训练反馈：根据连线是否正确来进行评价。如图6(c)所示，找到两张相同的图片并用手指一次将其连接起来，即为操作成功，此时系统会有一个正面的语音反馈：“给你个赞”，并在屏幕上出现一个点赞手势；如图6(d)所示，连接两张不同的图片，即为操作失败，此时系统不会有反面的反馈，避免对自闭症儿童产生负面刺激，而是由治疗师来引导自闭症儿童再次进行尝试。
训练操作判断机制：根据连线的起始坐标和终止坐标是否分别位于两张相投图片的坐标范围内进行判断。如图7所示，将两张相同图片中，左边图片左上角和右下角坐标分别记为(x1,y1)和(x2,y2)，右边图片左上角和右下角坐标分别记为(x3,y3)和(x4,y4)；使用FingerGesture插件判断手指的按下和抬起操作，并获取相应的屏幕坐标位置，记为(xstart,ystart)和(xend,yend)；如果(x1≤xstart≤x2)∩(y1≤ystart≤y2)，则判断手指按下的位置在左边图片的坐标范围内，同理，如果(x3≤xend≤x4)∩(y3≤yend≤y4)，则判断手指抬起的位置在右边图片的坐标范围内；如果手指按下和抬起的位置分别在两张相同图片的坐标范围内(不限制按下位置必须在左边图片的坐标范围内，在右边图片的坐标范围内也可以，抬起位置同理)，则判断该操作成功。
如图8所示，本发明设计的理解训练环节。
训练目的：训练自闭症儿童的认知能力和选择能力。
训练内容：如图8(a)所示，该训练环节的初始界面存在四种非水生动物，分别是猪、牛、羊和大雁。自闭症儿童需要在治疗师的引导下，找到场景中的非水生动物并用手指点击其所在的位置。
训练要求：如图8(b)所示，在操作过程中，当前手指点击屏幕的位置有一个大且深色的圆圈，要求自闭症儿童按照治疗师的指令成功找到目标动物并正确点击其位置，即圆圈的位置应与目标动物的位置一致。
训练反馈：根据是否找到非水生动物并正确点击其位置来进行评价。如图8(c)所示，如果自闭症儿童按照治疗师的指令成功找到大雁并正确点击其位置，即为操作正确，会有一个声音反馈：大雁会发出自己的叫声并有一个语音的自我介绍：“我是大雁”，大雁自我介绍结束后会消失，系统会有一个正面的语音反馈：“给你个赞”，并在屏幕上出现一个点赞手势；如8(d)所示，如果自闭症儿童没有按照治疗师的指令成功找到大雁，而是点击了水母等其他水生动物的位置，即为操作失败，此时系统不会有反面的反馈，而是由治疗师来引导自闭症儿童再次进行尝试。
训练操作判断机制：根据手指点击位置是否位于非水生动物的坐标范围内进行判断。将每个非水生动物的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过WorldToScreenPoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等，将其屏幕坐标范围的半径大小设置为60像素点；本环节通过Input.mousePosition来获取当前手指点击的位置，记为(x,y)为屏幕坐标；以其中一个动物为例，如果(Abs(x-x1.screen)≤60)∩(Abs(y-y1.screen)≤60)，则判断手指点击的位置位于该动物的坐标范围内，即判断该操作成功。
如图9所示，本发明设计的模仿训练环节。
训练目的：训练自闭症儿童的模仿能力和动手操作能力。
训练内容：如图9(a)所示，该训练环节的初始界面存在六个可拖拽的对象，分别是四条在原地摆尾游动的颜色分明的鱼和两个带有摆手动作的海星。自闭症儿童需要在治疗师的引导下，用手指操纵可拖拽的对象到鱼篓中。
训练要求：如图9(b)所示，在操作过程中，当前手指点击屏幕的位置有一个大且深色的圆圈，要求自闭症儿童按照治疗师的指令找到指定颜色的对象并成功将该对象拖动到鱼篓中，即要求圆圈的位置应一直与该对象的位置一致，且最终圆圈、对象与鱼篓的位置应该一致。
训练反馈：通过是否将对象拖拽到鱼篓中进行评价。如图9(c)所示，如果自闭症儿童按照治疗师的指令成功找到指定颜色的对象并将其拖动到鱼篓中，即为操作成功，此时系统会有一个正面的语音反馈：“给你个赞”，并且在屏幕上会出现一个点赞手势；如图9(d)所示，如果自闭症儿童没有成功将其拖动到鱼篓中，即为操作失败，此时系统不会有反面的反馈，而是由治疗师来引导自闭症儿童再次进行尝试。
训练操作判断机制：根据鱼类动物位置最终是否位于鱼篓的坐标范围内进行判断。首先给每个需要拖拽的对象添加Collider，如果从摄像机发出到点击坐标的射线经过某个对象，则该对象被点击，通过ScreenToWorldPoint获得点击位置的世界坐标，计算点击位置与该对象世界坐标的偏移量，通过实时计算手指点击位置的世界坐标加上偏移量，即可实时得到被拖拽对象的世界坐标，从而实现手指拖拽。将鱼篓的世界坐标记为(xyulou,yyulou)，通过WorldToScreenPoint转换为屏幕坐标，记为(xyulou.screen,yyulou.screen)，将其屏幕坐标范围的半径大小设置为100像素点；将被拖拽对象的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过WorldToScreenPoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等；以其中一个拖拽对象为例，如果(Abs(xyulou.screen-x1.screen)≤100)∩(Abs(yyulou.screen-y1.screen)≤100)，则判断该对象的位置位于鱼篓的坐标范围内，即该对象位于鱼篓中，则判断该操作成功。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种自闭症谱系障碍混合现实康复训练系统，其特征是：包括：
投影模块，包括一鱼缸和投影仪，鱼缸至少具有一面透明面，且该面上附着有一液晶调光膜，通过改变液晶调光膜的通电状态，使鱼缸的该面在透明状态和非透明状态之间转换，为所述投影仪形成投影屏幕；
交互模块，包括设置于所述鱼缸的另一个面的红外边框触摸屏，被配置为通过触摸操作将用户在物理空间中的操作转换为对虚拟场景中物体的操作；
场景渲染模块，被配置为利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；
多维训练模块，包括认知训练、理解训练和模仿训练子模块，所述认知训练模块子提供多幅图像，并保证多幅图像中至少相同的图片，并接收触屏操作结果，所述理解训练子模块，被配置为在场景中提供非水生动物，并接收接触信息，确定所选择的位置；所述模仿训练子模块，被配置为提供多个鱼篓和多种类鱼图像，接收将对象拖拽到鱼篓中的拖拽操作。
2.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述鱼缸表面的四周设置有红外触摸框，包括相互匹配的红外线发射与接收感测元件，在鱼缸的一个表面形成红外线探测网。
3.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述红外触摸屏通过自带的USB数据线与上位机相连接，在鱼缸表面使用手指触摸，触摸屏会响应手指触摸操作，将触摸响应及触摸位置传递给上位机，从而进行交互操作。
4.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述交互模块接收用户的点选或拖拽的触控操作，触摸屏会响应手指的触控操作，将触摸响应及触摸位置传递给多维训练模块，多维训练模块将得到的触控位置转换为虚拟渲染场景中对应的位置，实现与虚拟场景中物体的互动。
5.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述场景渲染模块，还包括声音播放模块，被配置为在场景渲染时发出相应的动物的叫声或动作操作结果提示。
6.一种自闭症谱系障碍混合现实康复训练方法，其特征是：包括：
改变液晶调光膜的通电状态，使鱼缸从透明状态转换为非透明状态，形成投影屏幕；
开启红外边框触摸屏，接收用户在物理空间中的触屏操作转换为对虚拟场景中物体的操作；
利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；
在认知训练环节中，接收用户对屏幕上两张相同的图片并用手指连接的触屏操作，判断连接是否正确；
在理解训练环节，接收用户对场景中的非水生动物的选择所在的位置结果，判断指定是否正确；
在模仿训练环节，接收用户将对象拖拽到鱼篓中的手指拖拽操作，并判断分类是否正确。
7.如权利要求6所述的一种自闭症谱系障碍混合现实康复训练方法，其特征是：在理解训练环节，根据手指点击位置是否位于非水生动物的坐标范围内进行判断，将每个非水生动物的世界坐标分别记为(x1,y1)，(x2,y2)等，将其转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等，将其屏幕坐标范围的半径大小设置为60像素点；获取当前手指点击的位置，记为(x,y)为屏幕坐标；如果一个动物(Abs(x-x1.screen)≤60)∩(Abs(y-y1.screen)≤60)，则判断手指点击的位置位于该动物的坐标范围内，即判断该操作成功。
8.如权利要求6所述的一种自闭症谱系障碍混合现实康复训练方法，其特征是：在每个场景的背景中，都有鱼群在来回的游来游去，通过路径动画实现，具体包括：创建多个关键点，生成通过这些关键点的路径，在需要沿着路径移动的物体上添加Follow脚本，使对应的物体沿着既定路径运动。
9.如权利要求6所述的一种自闭症谱系障碍混合现实康复训练方法，其特征是：在模仿训练环节，根据鱼类动物位置最终是否位于鱼篓的坐标范围内进行判断，首先添加每个需要拖拽的对象，如果从摄像机发出到点击坐标的射线经过某个对象，则该对象被点击，获得点击位置的世界坐标，计算点击位置与该对象世界坐标的偏移量，通过实时计算手指点击位置的世界坐标加上偏移量，即可实时得到被拖拽对象的世界坐标，从而实现手指拖拽。
10.如权利要求6所述的一种自闭症谱系障碍混合现实康复训练方法，其特征是：将鱼篓的世界坐标记为(xyulou,yyulou)，转换为屏幕坐标，记为(xyulou.screen,yyulou.screen)，将其屏幕坐标范围的半径大小设置为100像素点；将被拖拽对象的世界坐标分别记为(x1,y1)，(x2,y2)等，将其转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)；如果一个拖拽对象(Abs(xyulou.screen-x1.screen)≤100)∩(Abs(yyulou.screen-y1.screen)≤100)，则判断该对象的位置位于鱼篓的坐标范围内，即该对象位于鱼篓中，则判断该操作成功。
CN201811492280.7A 2018-12-07 2018-12-07 自闭症谱系障碍混合现实康复训练系统及方法 Active CN109616179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811492280.7A CN109616179B (zh) 2018-12-07 2018-12-07 自闭症谱系障碍混合现实康复训练系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811492280.7A CN109616179B (zh) 2018-12-07 2018-12-07 自闭症谱系障碍混合现实康复训练系统及方法

Publications (2)

Publication Number Publication Date
CN109616179A true CN109616179A (zh) 2019-04-12
CN109616179B CN109616179B (zh) 2022-06-21

Family

ID=66008313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811492280.7A Active CN109616179B (zh) 2018-12-07 2018-12-07 自闭症谱系障碍混合现实康复训练系统及方法

Country Status (1)

Country Link
CN (1) CN109616179B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110215373A (zh) * 2019-06-04 2019-09-10 北京虚实空间科技有限公司 一种基于沉浸视觉的训练系统和方法
CN111489808A (zh) * 2020-04-27 2020-08-04 成都工业学院 一种自闭症谱系障碍儿童康复训练辅助系统
CN111727924A (zh) * 2020-07-14 2020-10-02 山东大学 一种立体显示环境下混合现实鱼缸系统及生成方法
CN112216370A (zh) * 2020-10-16 2021-01-12 王华丽 基于认知、音乐和运动的益智训练系统及训练方法
CN113797525A (zh) * 2020-12-23 2021-12-17 广州富港生活智能科技有限公司 一种新型游戏系统
CN114968054A (zh) * 2022-05-11 2022-08-30 山东大学 一种基于混合现实的认知训练的交互系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201788490U (zh) * 2010-03-26 2011-04-06 陈涵鸥 多点触摸互动益智认知系统
CN103176733A (zh) * 2011-12-20 2013-06-26 西安天动数字科技有限公司 电子互动鱼缸系统
CN104219992A (zh) * 2012-03-21 2014-12-17 国立大学法人浜松医科大学 自闭症诊断辅助方法和系统以及自闭症诊断辅助装置
FR3048521A1 (fr) * 2016-03-04 2017-09-08 Renovation Plaisir Energie Dispositif d'interface homme machine avec des applications graphiques en trois dimensions
CN108062796A (zh) * 2017-11-24 2018-05-22 山东大学 基于移动终端的手工制品与虚拟现实体验系统及方法
KR101875550B1 (ko) * 2017-10-18 2018-07-06 주식회사 한컴지엠디 가상 현실 콘텐츠 제공 시스템
US20180247554A1 (en) * 2017-02-27 2018-08-30 Speech Kingdom Llc System and method for treatment of individuals on the autism spectrum by using interactive multimedia
CN108648797A (zh) * 2018-05-24 2018-10-12 中山大学孙逸仙纪念医院 基于虚拟现实设备实现前庭康复的家庭医院两用的便携式康复训练系统及方法
WO2018222589A1 (en) * 2017-05-30 2018-12-06 A.Y.Y.T. - Technological Applications And Data Update, Ltd. System and method for treating disorders with a virtual reality system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201788490U (zh) * 2010-03-26 2011-04-06 陈涵鸥 多点触摸互动益智认知系统
CN103176733A (zh) * 2011-12-20 2013-06-26 西安天动数字科技有限公司 电子互动鱼缸系统
CN104219992A (zh) * 2012-03-21 2014-12-17 国立大学法人浜松医科大学 自闭症诊断辅助方法和系统以及自闭症诊断辅助装置
FR3048521A1 (fr) * 2016-03-04 2017-09-08 Renovation Plaisir Energie Dispositif d'interface homme machine avec des applications graphiques en trois dimensions
US20180247554A1 (en) * 2017-02-27 2018-08-30 Speech Kingdom Llc System and method for treatment of individuals on the autism spectrum by using interactive multimedia
WO2018222589A1 (en) * 2017-05-30 2018-12-06 A.Y.Y.T. - Technological Applications And Data Update, Ltd. System and method for treating disorders with a virtual reality system
KR101875550B1 (ko) * 2017-10-18 2018-07-06 주식회사 한컴지엠디 가상 현실 콘텐츠 제공 시스템
CN108062796A (zh) * 2017-11-24 2018-05-22 山东大学 基于移动终端的手工制品与虚拟现实体验系统及方法
CN108648797A (zh) * 2018-05-24 2018-10-12 中山大学孙逸仙纪念医院 基于虚拟现实设备实现前庭康复的家庭医院两用的便携式康复训练系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALI ADJORLU 等: "Daily Living Skills Training in Virtual Reality to Help Children with Autism Spectrum Disorder in a Real Shopping Scenario", 《2017 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR-ADJUNCT)》 *
HORACE H.S.IP 等: "Enhance emotional and social adaptation skills for children with autism spectrum disorder: A virtual reality enabled approach", 《COMPUTERS & EDUCATION》 *
YUFANG CHENG 等: "Collaborative virtual environment technology for people with autism", 《5TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED LEARNING TECHNOLOGIES, PROCEEDINGS》 *
周晨: "三维建模交互软件的研制及其在特殊儿童干预中的应用", 《中国优秀博硕士学位论文全文数据库(硕士) 社会科学Ⅱ辑》 *
邹丽新 等: "《单片微型计算机原理及接口技术》", 31 August 2018, 苏州大学出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110215373A (zh) * 2019-06-04 2019-09-10 北京虚实空间科技有限公司 一种基于沉浸视觉的训练系统和方法
CN111489808A (zh) * 2020-04-27 2020-08-04 成都工业学院 一种自闭症谱系障碍儿童康复训练辅助系统
CN111727924A (zh) * 2020-07-14 2020-10-02 山东大学 一种立体显示环境下混合现实鱼缸系统及生成方法
CN111727924B (zh) * 2020-07-14 2022-03-18 山东大学 一种立体显示环境下混合现实鱼缸系统及生成方法
CN112216370A (zh) * 2020-10-16 2021-01-12 王华丽 基于认知、音乐和运动的益智训练系统及训练方法
CN113797525A (zh) * 2020-12-23 2021-12-17 广州富港生活智能科技有限公司 一种新型游戏系统
CN113797525B (zh) * 2020-12-23 2024-03-22 广州富港生活智能科技有限公司 一种新型游戏系统
CN114968054A (zh) * 2022-05-11 2022-08-30 山东大学 一种基于混合现实的认知训练的交互系统及方法
CN114968054B (zh) * 2022-05-11 2023-09-15 山东大学 一种基于混合现实的认知训练的交互系统及方法

Also Published As

Publication number Publication date
CN109616179B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN109616179A (zh) 自闭症谱系障碍混合现实康复训练系统及方法
Ishii Tangible bits: beyond pixels
Ishii Tangible user interfaces
Radu et al. Using children's developmental psychology to guide augmented-reality design and usability
Nacher et al. Interactive technologies for preschool game-based instruction: Experiences and future challenges
Jing et al. Application of 3D reality technology combined with CAD in animation modeling design
Brooks et al. Robot's play: interactive games with sociable machines
CN203812410U (zh) 触屏显示一体机益智体验设备
CN206558016U (zh) 一种多媒体互动国防教室
Marti Perceiving while being perceived
CN204791614U (zh) 智能少年学习机器人
CN109671317B (zh) 基于ar的脸谱互动教学方法
CN102999153A (zh) 基于自然人机交互的二维数据对象控制系统及其方法
CN107665693A (zh) 一种基于物联网的课用设备控制系统
Dow Understanding user engagement in immersive and interactive stories
CN105251219B (zh) 一种智能提线木偶偶人控制系统
KR20080078324A (ko) 자율적 감정표현 로봇 시스템
Wang et al. Construction of a somatosensory interactive system based on computer vision and augmented reality techniques using the kinect device for food and agricultural education
Ip et al. Smart ambience games for children with learning difficulties
Eisenberg et al. Real meets virtual: blending real-world artifacts with computational media
Zhong Analysis of convolution neural network technology on the visual effect of the game
CN211375555U (zh) 一种互动体验系统
Hornecker Physical affordances considered harmful!?
Adamo-Villani et al. An immersive game for K-5 math and science education
Cui et al. Immersive Virtual Experience Design Research of Jiaoshan Forest of Steles Calligraphy Art

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210831

Address after: 264209 No. 180, Wenhua West Road, Shandong, Weihai

Applicant after: SHANDONG University

Address before: 264209 No. 180, Wenhua West Road, Shandong, Weihai

Applicant before: SHANDONG University

Applicant before: JINING BRANCH OF JINAN MANJIA CULTURE COMMUNICATION Co.,Ltd.

GR01 Patent grant
GR01 Patent grant