CN117438038A - 基于混合现实的动作干预孤独症障碍儿童训练方法及系统 - Google Patents
基于混合现实的动作干预孤独症障碍儿童训练方法及系统 Download PDFInfo
- Publication number
- CN117438038A CN117438038A CN202311560030.3A CN202311560030A CN117438038A CN 117438038 A CN117438038 A CN 117438038A CN 202311560030 A CN202311560030 A CN 202311560030A CN 117438038 A CN117438038 A CN 117438038A
- Authority
- CN
- China
- Prior art keywords
- action
- asd
- child
- training
- intervention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 105
- 238000012549 training Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 52
- 206010003805 Autism Diseases 0.000 title claims abstract description 23
- 208000020706 Autistic disease Diseases 0.000 title claims abstract description 23
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims abstract description 65
- 230000000875 corresponding effect Effects 0.000 claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims abstract description 12
- 230000000638 stimulation Effects 0.000 claims abstract description 9
- 230000035943 smell Effects 0.000 claims abstract description 8
- 230000003993 interaction Effects 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 5
- 241000282414 Homo sapiens Species 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 208000029560 autism spectrum disease Diseases 0.000 description 77
- 238000010586 diagram Methods 0.000 description 10
- 230000003238 somatosensory effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002560 therapeutic procedure Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 125000002103 4,4'-dimethoxytriphenylmethyl group Chemical class [H]C1=C([H])C([H])=C(C([H])=C1[H])C(*)(C1=C([H])C([H])=C(OC([H])([H])[H])C([H])=C1[H])C1=C([H])C([H])=C(OC([H])([H])[H])C([H])=C1[H] 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011979 disease modifying therapy Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Primary Health Care (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Databases & Information Systems (AREA)
- Psychology (AREA)
- Physical Education & Sports Medicine (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了基于混合现实的动作干预孤独症障碍儿童训练方法及系统，涉及混合现实技术领域，包括：获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，跟练结束后，进入自主练习模式，捕捉ASD儿童动作时的骨骼信息，并基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3D空间中的时空特征信息，识别出儿童当前动作后提供正反馈。
Description
技术领域
本公开涉及混合现实技术领域，具体涉及基于混合现实的动作干预孤独症障碍儿童训练方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
舞蹈动作治疗(Dance/Movement Therapy,DMT)是一种心理干预方法，旨在通过舞蹈动作进行心理干预，以促进个人的情感、社会、认知和身体整合，改善健康和幸福感。DMT对于孤独症谱系障碍(ASD)儿童来说是一种积极且有效的干预疗法，可以有效提升ASD儿童的幸福感，缓解负面症状，改善他们社交和沟通。
混合现实(Mixed Reality,MR)融合了物理世界和数字世界，实现了自然、直观的三维互动，使人类、计算机和环境之间的融合成为可能。使用MR技术来补充ASD传统疗法的好处很多，包括增加吸引力和动力，安全可控，可重复等。
目前已存在一些基于MR的教学和训练技术方案，通过各种交互方式来学习动作。然而，当前的MR动作学习系统所面临的主要问题包括：
(1)许多MR动作学习系统在监测和提供实时反馈方面存在不足，这对于有效的动作干预至关重要，因为及时的监测和反馈可以帮助儿童更好的理解和改进他们的动作技巧。
(2)在一些情况下，MR动作学习系统可能缺乏多感官的刺激，没有足够的沉浸感，难以吸引ASD儿童的注意力和积极参与，这可能影响到干预的有效性。
(3)当前的MR动作学习系统尚未与针对ASD儿童的舞蹈动作干预计划相结合，为了有效满足ASD儿童的特殊需求，需要充分的针对ASD儿童的特点进行舞蹈动作课程设计。
(4)不同孩子需要不同的干预方法和难度水平，大多数现有的MR动作学习系统缺乏足够的个性化适应性，无法满足不同ASD儿童的个体差异。
发明内容
本公开为了解决上述问题，提出了基于混合现实的动作干预孤独症障碍儿童训练方法及系统，构建沉浸式舞蹈动作干预虚拟环境，用户置身于洞穴式自动虚拟环境(caveautomatic virtual environment,CAVE)，用户观察并学习虚拟代理的动作，识别用户的动作并提供视觉和听觉方面的正反馈。
根据一些实施例，本公开采用如下技术方案：
基于混合现实的动作干预孤独症障碍儿童训练方法，包括：
获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；
根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，跟练结束后，进入自主练习模式，捕捉ASD儿童动作时的骨骼信息，并基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3D空间中的时空特征信息，识别出儿童当前动作后提供正反馈。
根据一些实施例，本公开采用如下技术方案：
基于混合现实的动作干预孤独症障碍儿童训练系统，包括：
多投影拼接和融合模块，用于获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；
交互模块，用于根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，进入自主练习模式；
动作捕捉模块，用于捕捉ASD儿童动作时的骨骼信息；
动作识别模块，用于基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3D空间中的时空特征信息，识别出儿童当前动作；
反馈模块，用于根据识别出的儿童当前动作提供正反馈。
根据一些实施例，本公开采用如下技术方案：
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于混合现实的动作干预孤独症障碍儿童训练方法。
根据一些实施例，本公开采用如下技术方案：
一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于混合现实的动作干预孤独症障碍儿童训练方法。
与现有技术相比，本公开的有益效果为：
本公开提供了一种基于混合现实的动作干预孤独症障碍儿童训练方法及系统，通过动作识别模块和反馈模块，实现了对ASD儿童动作的实时监测和即时反馈；这一特点为干预师和儿童提供了关键的工具，有助于迅速纠正错误、增强动作技巧，以及提高干预的效果。
本公开通过引入视觉、听觉、触觉和嗅觉等多种感觉刺激，创造了更具沉浸感的虚拟环境，有助于吸引ASD儿童的注意力和积极参与，能够提供丰富、引人入胜的体验。
本公开通过深刻理解ASD儿童的特殊需求，充分融合了舞蹈动作干预训练计划；提供了专业的舞蹈动作干预课程，以满足不同孩子对难度水平的需求；系统能够为每个ASD儿童提供高度个性化的舞蹈动作干预，以更好地支持他们的发展和进步；确保了虚拟代理能够准确、生动地模仿舞蹈演员的动作。
本公开提供三种模式：分解教学模式，完整跟练模式和自主练习模式；分解教学模式中，虚拟代理逐步教授舞蹈的各个部分，确保学习的深入和理解；完整跟练模式中，虚拟代理引导ASD儿童跟随模仿，实现流畅的舞蹈表演；自主练习模式中，虚拟代理鼓励ASD儿童在训练过程中自主练习，享受成功的体验；户能够根据自身情况选择最适合自己的模式，循序渐进。
儿童无需戴着笨重的头戴式显示器，这减轻了他们在训练期间的身体负担，提供更出色的沉浸式体验。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例的系统硬件组成架构图；
图2为本公开实施例的系统流程图；
图3为本公开实施例的虚拟代理的T-pose模型；
图4为本公开实施例的专业舞蹈演员佩戴Noitom惯性传感器进行动作捕捉；
图5为本公开实施例的应用于具体实施例训练的实例图；
图6为本公开实施例的网络结构图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开的一种实施例中提供了一种基于混合现实的动作干预孤独症障碍儿童训练方法，包括：
获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；
根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，跟练结束后，进入自主练习模式，捕捉ASD儿童动作时的骨骼信息，并基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3D空间中的时空特征信息，识别出儿童当前动作后提供正反馈。
作为一种实施例，基于混合现实的动作干预孤独症障碍儿童训练方法具体的实施过程为：
步骤1：获取选择的舞蹈动作的干预训练模式，包括：选择对应舞蹈动作，通过触控为ASD儿童选择合适的训练进度，提供相应训练模式下的虚拟代理画面，负责将多个投影仪的图像投射到墙壁和地面上，使用多通道校正方法，在多投影拼接和融合模块进行几何校正、边缘融合和亮度调整。
多投影拼接和融合模块，包括一个客户端，其主要任务是管理和控制投影设备，确保将多个投影仪的图像无缝地映射到CAVE的墙壁和地面上，以实现连贯的视觉体验；该模块还具备对图像进行几何校正、边缘融合和亮度调整的能力，以确保图像投影的准确性和质量。
进一步的，多投影几何校正包括：CAVE投影硬件环境是平整的墙面和地面，由于投影仪摆放位置和角度、投影仪镜头扭曲、屏幕弯曲不平整和物理空间的限制等等因素的影响，投影仪画面难以完全对齐屏幕，会出现扭曲变形，所以需要用的几何校正方法主要是线性校正，几何校正就是把畸变投影图像校正成正常投影图像的过程，先用计算机程序将标准网格图像变成预畸变图像，再将此预畸变图像投影到屏幕上。
接着进行边缘融合和亮度调整过程，投影的重叠区域会呈现一条高亮的带状，这是因为两个投影仪作为光源，同时向同一屏幕位置投射光线。为了消除这块高亮度区域，也为了保证整体画面的亮度能够均匀且一致，需要采用边缘融合技术，来达到边缘平滑过渡的效果。通过创建拼接融合参数图并对其解码以及运算，最终渲染画面并从不同投影仪显示。
所述客户端包括至少一台主机、多台投影仪、一台气味播放器和一台改装后的风扇，用来将虚拟场景投影到不同的墙面和地面上，捕捉用户姿态，识别用户的动作；以多种感觉方式进行反馈。
还包括一个Kinect相机、四台红外雷达，用于提供用户姿态和交互数据，实现客户端之间的消息传递。
步骤2：利用分解教学模式，提供待学习的分解动作，虚拟代理将一套完整的舞蹈分解成多个舞蹈动作单元；每个动作单元都会由虚拟代理先以慢的速度演示一遍，同时讲解当前动作的要领与注意事项，再以正常速度演示一遍；当一个动作单元教学完成后，虚拟代理会恢复到初始的站立姿势，等待两秒钟后再进行下一个动作单元的教学，直至完成整套舞蹈中所有动作单元的教学。
步骤3：根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，包括：分解教学结束后，为ASD儿童选择完整跟练模式，虚拟代理先向ASD儿童声音传递信息并邀请ASD儿童跟练学习舞蹈；之后虚拟代理以正常速度连贯的演示一套舞蹈动作，同时播放与舞蹈节拍和内容相对应的音乐，进行视觉以及听觉的刺激。
具体的，跟踪练习对应动作的具体过程包括：
(1)训练开始前，播放轻缓地音乐使ASD儿童心情放松，干预师通过触控为ASD儿童选择合适的训练进度，首先进入分解教学模式。动画播放，开始训练；
(2)在分解教学模式中，虚拟代理将一套完整的舞蹈分解成多个舞蹈动作单元；每个动作单元都会由虚拟代理先以较慢的速度演示一遍，同时讲解当前动作的要领与注意事项，再以正常速度演示一遍；当一个动作单元教学完成后，虚拟代理会恢复到初始的站立姿势，等待两秒钟后再进行下一个动作单元的教学，直至完成整套舞蹈中所有动作单元的教学；
(3)分解教学结束后，干预师为ASD儿童选择完整跟练模式，虚拟代理先向ASD儿童声音传递打招呼并邀请ASD儿童与它一起学习舞蹈；接下来虚拟代理以正常速度连贯的演示一套舞蹈动作，同时系统将播放与舞蹈节拍和内容相对应的音乐；
(4)完整跟练结束后，干预师可以根据ASD儿童的掌握情况选择再次跟随分解教学和完整跟练模式学习或进入自主练习模式。
步骤4：跟练结束后，进入自主练习模式，自主练习模式的具体过程包括：
ASD儿童在训练区域内的中心位置开始练习，捕捉ASD儿童动作时的骨骼信息，识别到ASD儿童按照音乐节拍做出正确的舞蹈动作时，系统反馈呈现与动作相对应的动画，根据ASD儿童的练习反馈选择继续练习或者重新学习。具体的，包括：
(a)虚拟代理向ASD儿童打招呼并邀请ASD儿童与它一起跳舞，音乐播放，儿童在训练区域内的中心位置开始练习；
(b)当系统通过动作识别模块识别到ASD儿童按照音乐节拍做出正确的舞蹈动作时，系统反馈模块呈现与动作相对应的动画；
(c)一支舞蹈结束结束，干预师可以根据ASD儿童的练习表现选择继续练习或者重新学习。
进一步的，捕捉ASD儿童动作时的骨骼信息，包括：获取ASD儿童的关键骨骼点坐标，包括头部、手臂、腿部和躯干部位的位置信息，骨骼点包括32个关节，关节层次结构按照从人体中心向四肢的流向分布。
具体的，包括：利用Kinect相机获取到ASD儿童的骨骼坐标，骨架包括32个关节，关节层次结构按照从人体中心向四肢的流向分布。每个连接(骨骼)将父关节与子关节链接起来。将获取到的ASD儿童骨骼数据流发送到客户端，客户端接收数据流并利用深度学习算法识别ASD儿童当前的动作。客户端发送和接收的消息除了骨骼信息外，还有当前干预师选择的训练模式。
步骤5：基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3D空间中的时空特征信息，识别出儿童当前动作后提供正反馈。
当系统通过动作识别模块识别到ASD儿童按照音乐节拍做出正确的舞蹈动作时，系统反馈模块呈现与动作相对应的动画，并且虚拟代理提供口头表扬。
动作识别的具体方法为：利用深度学习的方法进行时序三维姿态识别，构建卷积神经网络(Convolutional Neural Network,CNN)和长短期记忆(Long Short-TermMemory,LSTM)递归网络的组合，如图6所示，通过几层卷积层后输入到LSTM里面，LSTM的的输出接分类器。
卷积神经网络获取骨骼关节在3D空间中的的位置相关的空间特征信息；使用LSTM递归神经网络捕捉与骨骼关键点的3D坐标的时间演变相关的时空特征信息。
进一步的，卷积神经网络(Convolutional Neural Network,CNN)和长短期记忆(Long Short-Term Memory,LSTM)递归网络的分为两阶段的训练，首先侧重于CNN训练，其次调整完整的方法；
包括：输入数据被布置在三维块中，该块的每个维度与第一维度中骨骼关节的数量N、第二维度中用于确定动作/姿势的连续帧的数量T以及第三维度中关节的三个空间坐标(x，y，z)一致；
在模型中，CNN考虑了数据的三维信息和一些时间维度(T时间步长)，以生成在输入块中检测到的特征。
为了集成在连续重叠块中检测到的特征，使用LSTM，LSTM的内部循环允许系统在最后T个时间步长之后维护信息。
实施例2
本公开的一种基于混合现实的动作干预孤独症障碍儿童训练系统，包括：
多投影拼接和融合模块，用于获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；
交互模块，用于根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，进入自主练习模式；
动作捕捉模块，用于捕捉ASD儿童动作时的骨骼信息；
动作识别模块，用于基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3D空间中的时空特征信息，识别出儿童当前动作；
反馈模块，用于根据识别出的儿童当前动作提供正反馈。
作为一种实施例，系统在CAVE内创造了一个DMT混合现实虚拟环境。在这个环境中，ASD儿童与虚拟代理互动，以学习和练习舞蹈动作。系统充分发挥混合现实技术的优势，为儿童提供了沉浸式的舞蹈动作干预体验，并提供视觉、听觉、嗅觉和触觉的多感官刺激，使儿童获得更丰富的感知体验。还给出了一种动作识别算法，用于识别儿童的舞蹈动作，并基于动作识别算法给予实时反馈，有助于儿童更好地理解和改进他们的动作技巧。通过系统的引导和反馈，ASD儿童可以更轻松地实现干预的目标，提高他们的自信心和康复效果，使干预变得更加有效和愉悦。
具体的，系统包括多投影拼接和融合模块、动作识别模块、交互模块、反馈模块、动作捕捉模块。多投影拼接和融合模块负责将多个投影仪的图像投射到墙壁和地面上，并实现无缝的过渡和融合效果。此过程包括使用多通道校正软件，以进行必要的几何校正、边缘融合和亮度调整，以确保投影图像的精确性和视觉质量达到最佳。
动作识别模块，采用Kinect相机来捕获ASD儿童的关键骨骼点坐标，其中包括头部、手臂、腿部和躯干等部位的位置信息。这些骨骼点坐标的采集是基于实时流数据，确保了高度准确的用户动作数据的获取。通过深度学习算法的运用，推断出ASD儿童的动作类型，实现了对ASD儿童动作的实时、准确识别。通过不断的实时识别，系统可以提供及时反馈，帮助儿童改善他们的动作技巧，从而实现更有效的互动和训练过程。
交互模块，通过体感交互、触控交互等多种交互方式，以满足不同情境下的需求。干预师可以选择恰当的交互方式来控制舞蹈动作干预的进度，ASD儿童可以使用自然而直观的体感交互来参与到训练中。
所述反馈模块，通过视觉、听觉、嗅觉和触觉多感官方式对训练内容做出反馈。如当ASD儿童做出正确的画彩虹或吹泡泡舞蹈动作时，虚拟场景的上方会出现一道彩虹或飞出七彩泡泡，同时虚拟代理对儿童说“太棒了”。当虚拟场景为春季时，气味播放器会播放花香。同时，放置在CAVE前方的改装风扇以低档转动，模仿春季的微风。
动作捕捉模块，舞蹈演员会执行一系列DMT中的的舞蹈动作，动作捕捉设备将实时记录和捕捉这些舞蹈动作的细节。这包括舞蹈动作的起始和结束点、速度、方向以及各个身体部位的运动轨迹。将动捕数据绑定到虚拟代理的模型上，确保捕获到的动作数据能够精确地应用于虚拟代理，以制作高质量的DMT课程。
基于房间式互动投影的动作学习系统的交互式展示方法，包括以下步骤：
(1)开启主机服务器，等待客户端的连接申请，开启客户端，申请与服务器建立连接。建立连接并进行传递消息。
(2)ASD儿童和干预师步入CAVE，ASD儿童在中心区域站定，干预师通过触控为ASD儿童选择合适的训练进度，如果是分解教学模式，跳转步骤(3)，如果是完整跟练模式，跳转步骤(4)，如果是自主练习模式，跳转步骤(5)；
(3)分解教学模式下，虚拟代理将一整套舞蹈分解成多个独立的舞蹈动作单元并逐步演示，详细讲解当前动作的关键要点和注意事项，确保儿童充分理解。动作单元的学习是循序渐进的，儿童可以逐渐构建和完善整套舞蹈的技能。
(4)完整跟练模式下，鼓励ASD儿童通过模仿虚拟代理的动作来学习舞蹈。虚拟代理以正常速度展示整套舞蹈动作，使ASD儿童能够全面观察并模仿，实现一体学习，提高动作的流畅性和协调性。
(5)自主练习模式下，用户跟随音乐自主学习和练习。通过动作识别模块，系统能够实时识别ASD儿童是否按照音乐节拍正确执行舞蹈动作。当系统识别到正确的动作时，反馈模块会呈现相应的动画以及语音反馈。
(6)利用动作识别模块，服务器端可以获取到ASD儿童的骨骼点坐标，用于识别儿童所做的舞蹈动作并提供实时的正反馈；
(7)判断系统使用是否结束。如果是，则结束；否则，跳转步骤(2)；
所述步骤(1)中，Kinect相机获取到ASD儿童的骨骼坐标，通过主机服务器发送到客户端。客户端发送和接收的消息除了骨骼信息外，还有当前干预师选择的训练模式。
所述步骤(3)中，具体方法包括：虚拟代理将一套完整的舞蹈分解成多个舞蹈动作单元；每个动作单元都会由虚拟代理先以较慢的速度演示一遍，同时讲解当前动作的要领与注意事项，再以正常速度演示一遍；当一个动作单元教学完成后，虚拟代理会恢复到初始的站立姿势，等待两秒钟后再进行下一个动作单元的教学，直至完成整套舞蹈中所有动作单元的教学；
所述步骤(4)中，具体方法包括：虚拟代理先向ASD儿童打招呼并邀请ASD儿童与它一起学习舞蹈；接下来虚拟代理以正常速度连贯的演示一套舞蹈动作，同时系统将播放与舞蹈节拍和内容相对应的音乐；
所述步骤(5)中，具体方法包括：
(5-1)虚拟代理向ASD儿童打招呼并邀请ASD儿童与它一起跳舞，音乐
播放，儿童在训练区域内的中心位置开始练习；
(5-2)当系统通过动作识别模块识别到ASD儿童按照音乐节拍做出正确的舞蹈动作时，系统反馈模块呈现与动作相对应的动画；
(5-3)一支舞蹈结束结束，干预师可以根据ASD儿童的练习表现选择继续练习或者重新学习。
所述步骤(5-2)中，动作识别的具体方法为：
使用一种基于深度学习的方法来解决时序三维姿态识别问题，该方法基于卷积神经网络(Convolutional Neural Network,CNN)和长短期记忆(Long Short-Term Memory,LSTM)递归网络的组合，该网络将专注于检测与骨骼关节处在3D空间中的位置相关的空间模式；
然后使用LSTM递归神经网络里捕捉与骨骼关键点的3D坐标的时间演变相关的时空模式；
使用一种两阶段的训练策略，首先侧重于CNN训练，其次调整完整的方法；
输入数据被布置在三维块中，该块的每个维度与第一维度中骨骼关节的数量N、第二维度中用于确定动作/姿势的连续帧的数量T以及第三维度中关节的三个空间坐标(x，y，z)一致；
在模型中，CNN考虑了数据的三维信息和一些时间维度(T时间步长)，以生成在输入块中检测到的特征；
为了集成在连续重叠块中检测到的特征，使用LSTM，LSTM的内部循环允许系统在最后T个时间步长之后维护信息。
作为一种典型实施例，如图1所示，本实施例的硬件架构主要由一台主机、四台投影仪、一台体感设备Azure Kinect DK，四台红外雷达，一台气味播放器，一台改装过的风扇，一套Noitom动作捕捉设备组成。所有设备都在同一个局域网里。主机连接了通过有线\无线方式连接了其他设备。
如图2所示，本实施例的系统流程图：
(1)开启投影仪组和雷达组，开启Kinect，开启气味播放器；
(2)开启服务器端程序；
(3)开启客户端程序；
(4)干预师通过触控交互在主界面选择适合当前ASD儿童的训练进度；
(5)首先进入分解教学模式；
(6)在进入完整跟练模式；
(7)最后进入自主练习模式；
(8)自主练习模式完成后，判断用户是否要退出系统。如果是，则结束；否则，跳转步骤(4)。
如图3为虚拟代理的T-pose模型。
如图4为专业舞蹈演员佩戴Noitom惯性传感器进行动作捕捉。
如图5所示，ASD儿童置身于一个包含三面墙和一面地板的CAVE内，进行DMT训练。儿童正前方放置一台Kinect体感相机。正前方投影墙上的虚拟代理正在演示由专业舞蹈演员动捕的舞蹈动作。儿童通过跟随虚拟代理进行训练。在图5中，儿童正练习春季舞蹈中的画彩虹动作。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，包括：
获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；
根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，跟练结束后，进入自主练习模式，捕捉ASD儿童动作时的骨骼信息，并基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3D空间中的时空特征信息，识别出儿童当前动作后提供正反馈。
2.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，获取选择的舞蹈动作的干预训练模式，包括：选择对应舞蹈动作，通过触控为ASD儿童选择合适的训练进度，提供相应训练模式下的虚拟代理画面，负责将多个投影仪的图像投射到墙壁和地面上，使用多通道校正方法，进行几何校正、边缘融合和亮度调整。
3.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，利用分解教学模式，提供待学习的分解动作，虚拟代理将一套完整的舞蹈分解成多个舞蹈动作单元；每个动作单元都会由虚拟代理先以慢的速度演示一遍，同时讲解当前动作的要领与注意事项，再以正常速度演示一遍；当一个动作单元教学完成后，虚拟代理会恢复到初始的站立姿势，等待两秒钟后再进行下一个动作单元的教学，直至完成整套舞蹈中所有动作单元的教学。
4.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，包括：分解教学结束后，为ASD儿童选择完整跟练模式，虚拟代理先向ASD儿童声音传递信息并邀请ASD儿童跟练学习舞蹈；之后虚拟代理以正常速度连贯的演示一套舞蹈动作，同时播放与舞蹈节拍和内容相对应的音乐，进行视觉以及听觉的刺激。
5.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，自主练习模式的具体过程包括：
ASD儿童在训练区域内的中心位置开始练习，捕捉ASD儿童动作时的骨骼信息，识别到ASD儿童按照音乐节拍做出正确的舞蹈动作时，系统反馈呈现与动作相对应的动画，根据ASD儿童的练习反馈选择继续练习或者重新学习。
6.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，捕捉ASD儿童动作时的骨骼信息，包括：获取ASD儿童的关键骨骼点坐标，包括头部、手臂、腿部和躯干部位的位置信息，骨骼点包括32个关节，关节层次结构按照从人体中心向四肢的流向分布。
7.如权利要求6所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，动作识别的具体方法为：利用深度学习的方法进行时序三维姿态识别，构建卷积神经网络和长短期记忆递归网络的组合，卷积神经网络获取骨骼关节在3D空间中的的位置相关的空间特征信息；使用LSTM递归神经网络捕捉与骨骼关键点的3D坐标的时间演变相关的时空特征信息。
8.基于混合现实的动作干预孤独症障碍儿童训练系统，其特征在于，包括：
多投影拼接和融合模块，用于获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；
交互模块，用于根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，进入自主练习模式；
动作捕捉模块，用于捕捉ASD儿童动作时的骨骼信息；
动作识别模块，用于基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3D空间中的时空特征信息，识别出儿童当前动作；
反馈模块，用于根据识别出的儿童当前动作提供正反馈。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于混合现实的动作干预孤独症障碍儿童训练方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于混合现实的动作干预孤独症障碍儿童训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311560030.3A CN117438038A (zh) | 2023-11-21 | 2023-11-21 | 基于混合现实的动作干预孤独症障碍儿童训练方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311560030.3A CN117438038A (zh) | 2023-11-21 | 2023-11-21 | 基于混合现实的动作干预孤独症障碍儿童训练方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117438038A true CN117438038A (zh) | 2024-01-23 |
Family
ID=89555186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311560030.3A Pending CN117438038A (zh) | 2023-11-21 | 2023-11-21 | 基于混合现实的动作干预孤独症障碍儿童训练方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117438038A (zh) |
-
2023
- 2023-11-21 CN CN202311560030.3A patent/CN117438038A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11514653B1 (en) | Streaming mixed-reality environments between multiple devices | |
| US9381426B1 (en) | Semi-automated digital puppetry control | |
| US11178456B2 (en) | Video distribution system, video distribution method, and storage medium storing video distribution program | |
| WO2020138107A1 (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
| TWI377055B (en) | Interactive rehabilitation method and system for upper and lower extremities | |
| US20240091489A1 (en) | Desensitization and reprocessing therapy | |
| US20090097757A1 (en) | System and method for teaching social skills, social thinking, and social awareness | |
| CN111047925A (zh) | 基于房间式互动投影的动作学习系统及方法 | |
| KR20130098770A (ko) | 입체감 확장형 가상 스포츠 체험 시스템 | |
| CN106178551B (zh) | 一种基于多通道交互的实时渲染互动影院系统及方法 | |
| CN112734946B (zh) | 一种声乐表演教学方法及系统 | |
| Nagendran et al. | AMITIES: Avatar-mediated interactive training and individualized experience system | |
| US20180052512A1 (en) | Behavioral rehearsal system and supporting software | |
| US20240303947A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
| CN109032339A (zh) | 一种实时智能体感同步的方法及系统 | |
| US11942206B2 (en) | Systems and methods for evaluating environmental and entertaining elements of digital therapeutic content | |
| EP4361775A1 (en) | Extended reality-based system and related methods for training individuals in social mirroring skills | |
| CN117438038A (zh) | 基于混合现实的动作干预孤独症障碍儿童训练方法及系统 | |
| CN116139471A (zh) | 一种互动观影系统-梦幻乘骑 | |
| CN108969864A (zh) | 基于vr技术的抑郁症康复治疗装置及其使用方法 | |
| CN107544677B (zh) | 利用模块化轨道和体感装置模拟运动场景的方法和系统 | |
| Kang et al. | One-Man Movie: A System to Assist Actor Recording in a Virtual Studio | |
| CN113038280A (zh) | 视频互动方法、装置及存储介质 | |
| CN112090062A (zh) | 交互式练习虚拟场景显示方法、系统、终端及介质 | |
| CN114356100B (zh) | 健身动作指导方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |