CN112259218A - 一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 - Google Patents
一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 Download PDFInfo
- Publication number
- CN112259218A CN112259218A CN202011046656.9A CN202011046656A CN112259218A CN 112259218 A CN112259218 A CN 112259218A CN 202011046656 A CN202011046656 A CN 202011046656A CN 112259218 A CN112259218 A CN 112259218A
- Authority
- CN
- China
- Prior art keywords
- children
- data
- autism
- game
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010003805 Autism Diseases 0.000 title claims abstract description 66
- 208000020706 Autistic disease Diseases 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000003993 interaction Effects 0.000 title claims abstract description 35
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 230000000638 stimulation Effects 0.000 title claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 27
- 239000011521 glass Substances 0.000 claims abstract description 18
- 230000014509 gene expression Effects 0.000 claims description 36
- 230000009471 action Effects 0.000 claims description 34
- 230000008447 perception Effects 0.000 claims description 17
- 230000008449 language Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 208000012239 Developmental disease Diseases 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 208000025890 Social Communication disease Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 208000010573 congenital nervous system disease Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000013403 hyperactivity Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000035824 paresthesia Diseases 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，包括以下步骤：S1、获取自闭症儿童的档案信息；S2、构建VR游戏模型；S3、输入档案信息，得到对应VR游戏及音频乐曲；S4、自闭症儿童及其家属同时佩戴VR眼镜和耳机；S5、实现自闭症儿童及其家属的交互；S6、对自闭症儿童的生命特征进行检测；S7、根据生命特征数据判断自闭症儿童的训练效果。有益效果：不仅能够根据不同自闭症儿童的个体差异输出适合的VR游戏及音频乐曲，而且还可以在VR游戏中实时与陪同家属进行互动，消除自闭症儿童单独面对陌生场景或人物的陌生感及不安全感，避免了自闭症儿童害羞、抵触心理的产生，从而有效地提高了其训练效果。
Description
技术领域
本发明涉及VR技术领域，具体来说，涉及一种基于VR交互技术的听觉刺激儿童自闭症的训练方法。
背景技术
自闭症属于先天性神经系统失调导致的发育障碍，以严重的、广泛的社会相互影响和沟通技能的损害以及刻板的行为、兴趣和活动为特征，自闭症儿童常表现为社会交流障碍，语言障碍突出，行为刻板，智力异常，感觉异常；容易伴随其他常见行为，如多动，注意力分散，发脾气，攻击，自伤等。
虚拟现实技术（VR）是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象。
目前，将虚拟现实技术应用于儿童自闭症的研究与干预是近些年来医学心理学研究领域的一个重点方向。采用虚拟现实技术训练一些自闭症儿童的优势与应用前景主要有以下几点：为患者营造安全的教育环境；为使用者解决干预训练中的多来源感知的障碍；根据自闭症儿童所特有的思维特点来拟定有效的信息呈现方式；促进患者习得技能的迁移；增进患者的认知灵活性；提高患者的心理理论能力等。
然而，现有的基于虚拟现实技术训练自闭症的方法未考虑不同自闭症儿童个体的差异，在训练方法中并未具体涉及个体化的评估，此外，对于一些自闭症儿童而言，可能由于单独面对虚拟场景中陌生的场景或人物时容易产生害羞、抵触的心理从而影响其训练效果。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，包括以下步骤：
S1、获取自闭症儿童的档案信息；
S2、采用预设方法构建VR游戏模型；
S3、输入所述档案信息，得到对应VR游戏及音频乐曲；
S4、所述自闭症儿童及其家属同时佩戴VR眼镜和耳机；
S5、通过预设原则实现所述自闭症儿童及其家属的交互；
S6、利用预设检测设备对自闭症儿童的生命特征进行检测；
S7、根据所述生命特征数据判断所述自闭症儿童的训练效果。
进一步的，所述S1中的档案信息包括所述自闭症儿童的家庭信息、基本信息、病况信息、需求信息和评估报告，其中，所述评估报告中包含所述自闭症儿童对不同VR图像颜色、形状、物体运动速度及空间大小因素的感知度，所述评估报告中还包含所述自闭症儿童对不同声音的声调、声色、频率及音量大小的感知度。
进一步的，所述S2采用预设方法构建VR游戏模型具体包括以下步骤：
S21、依据过往自闭症儿童的档案信息和训练数据通过机器学习算法进行训练，得到VR游戏模型；
S22、将测试档案信息输入所述VR游戏模型得到相应的VR游戏；
S23、通过训练人员对输出所述VR游戏的结果给予奖励和惩罚，并将所述奖励和惩罚结果反馈给所述VR游戏模型；
S24、所述VR游戏模型通过奖惩机制重新做出调整，循环直至所述VR游戏模型达到最优。
进一步的，所述S21依据过往自闭症儿童的档案信息和训练数据通过机器学习算法进行训练，得到VR游戏模型还包括以下步骤：
S211、卷积过程：采用一个可训练的滤波器fx对输入档案信息进行卷积处理，然后再加
一个偏置bx，得到卷积层Cx，所述卷积层Cx计算公式为：
；
S212、子采样过程：对每个相邻域内四个数据求和得到一个总数据，然后通过标量W加
权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射数据
Sx+1，所述特征映射数据Sx+1计算公式为：
，
其中，x、y为数据外接矩形的左上角坐标，i，j表示层数。
进一步的，所述S3输入所述档案信息，得到对应VR游戏及音频乐曲具体包括以下步骤：将所述自闭症儿童的档案信息输入所述VR游戏模型，得到适合所述自闭症儿童的VR游戏，同时根据所述自闭症儿童的档案信息获取对应的音频乐曲。
进一步的，所述S5通过预设原则实现所述自闭症儿童及其家属的交互具体包括以下步骤：
S51、获取所述自闭症儿童通过所述VR眼镜及耳机与所述VR游戏的交互数据；
S52、依据所述交互数据得到交互结果，所述自闭症儿童通过所述VR眼镜及耳机的反馈信息接收所述交互结果；
S53、所述家属的所述VR眼镜及耳机获取所述自闭症儿童与所述VR游戏的交互过程信息。
进一步的，所述S51中的所述VR游戏包括所述家属的虚拟化身，且所述虚拟化身与所述家属的语言、表情及动作实时同步。
进一步的，所述虚拟化身与所述家属的语言、表情及动作实时同步包括以下实现步骤：
获取所述家属的语言、表情及动作信息，其中，所述语言信息采用所述耳机进行实时同步；
对所述家属表情及动作信息进行特征提取，分别得到表情及动作特征；
采用预先训练的分类器依据所述表情及动作特征进行表情及动作分类，得到分类结果；
将所述分类结果分别与预设表情及动作数据库进行比对测试，得出相应的表情及动作识别结果；
根据所述表情及动作识别结果驱动所述虚拟化身实现语言、表情及动作的实时同步。
进一步的，所述S6中的生命特征包括所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据。
进一步的，所述S7根据所述生命特征数据判断所述自闭症儿童的训练效果具体包括以下步骤：
S71、分析所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据所呈现的数据变化特征，三类数据每m秒采集一次，n分钟内可记录n/m个数据特征，并作为判断所述自闭症儿童对所述VR游戏的感知关注度的基础数据；
S72、根据所述基础数据进行心率及眨眼均值分析，心率及眨眼变化率分析，手臂活动量大小及变化率分析；
S73、对每个所述自闭症儿童的生命特征数据进行每月，每季度和每半年的统计比较分析，判别出其对所述VR游戏的感知关注度的大小及变化情况，以此判断该训练过程的效果。
本发明的有益效果为：
1）、通过依据过往自闭症儿童的档案信息和训练数据利用机器学习算法进行训练并构建VR游戏模型，使得本发明可以依据自闭症儿童对某类颜色及图形等因素的感知度来设计适合该自闭症儿童的VR游戏及音频乐曲，充分的考虑了不同自闭症儿童的个体差异，从而使得其可以达到更好的训练效果。
2）、通过预先构建的VR游戏模型来输出适合不同自闭症儿童的对应VR游戏，使得本发明只需输入自闭症儿童的档案信息便可得到与之对应的VR游戏，无需单独设计适合自闭症儿童的VR游戏，从而可以及时的采用虚拟技术来实现自闭症儿童的训练。
3）、通过家属陪同自闭症儿童进入虚拟场景进行VR游戏，使得自闭症儿童可以在VR游戏中实时与陪同家属进行互动，可以有效地消除自闭症儿童单独面对陌生场景或人物的陌生感及不安全感，避免了自闭症儿童害羞、抵触心理的产生，从而有效地提高了其训练效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于VR交互技术的听觉刺激儿童自闭症的训练方法。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于VR交互技术的听觉刺激儿童自闭症的训练方法，包括以下步骤：
S1、获取自闭症儿童的档案信息；
其中，所述S1中的档案信息包括所述自闭症儿童的家庭信息、基本信息、病况信息、需求信息和评估报告，其中，所述评估报告中包含所述自闭症儿童对不同VR图像颜色、形状、物体运动速度及空间大小因素的感知度，所述评估报告中还包含所述自闭症儿童对不同声音的声调、声色、频率及音量大小的感知度。
S2、采用预设方法构建VR游戏模型；
其中，所述S2具体包括以下步骤：
S21、依据过往自闭症儿童的档案信息和训练数据通过机器学习算法进行训练，得到VR游戏模型；
具体的，所述S21还包括以下步骤：
S211、卷积过程：采用一个可训练的滤波器fx对输入档案信息进行卷积处理，然后再加
一个偏置bx，得到卷积层Cx，所述卷积层Cx计算公式为：
；
S212、子采样过程：对每个相邻域内四个数据求和得到一个总数据，然后通过标量W加
权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射数据
Sx+1，所述特征映射数据Sx+1计算公式为：
，
其中，x、y为数据外接矩形的左上角坐标，i，j表示层数。
S22、将测试档案信息输入所述VR游戏模型得到相应的VR游戏；
S23、通过训练人员对输出所述VR游戏的结果给予奖励和惩罚，并将所述奖励和惩罚结果反馈给所述VR游戏模型；
S24、所述VR游戏模型通过奖惩机制重新做出调整，循环直至所述VR游戏模型达到最优。
S3、输入所述档案信息，得到对应VR游戏及音频乐曲；
其中，其中，所述S3具体包括以下步骤：将所述自闭症儿童的档案信息输入所述VR游戏模型，得到适合所述自闭症儿童的VR游戏，同时根据所述自闭症儿童的档案信息获取对应的音频乐曲。
S4、所述自闭症儿童及其家属同时佩戴VR眼镜和耳机；
S5、通过预设原则实现所述自闭症儿童及其家属的交互；
其中，所述S5具体包括以下步骤：
S51、获取所述自闭症儿童通过所述VR眼镜及耳机与所述VR游戏的交互数据；具体的，所述S51中的所述VR游戏包括所述家属的虚拟化身，且所述虚拟化身与所述家属的语言、表情及动作实时同步。
此外，所述虚拟化身与所述家属的语言、表情及动作实时同步包括以下实现步骤：
获取所述家属的语言、表情及动作信息，其中，所述语言信息采用所述耳机进行实时同步；具体应用时，本实施例中的VR眼镜上搭载有用于采集动作及面部表情图像的跟踪设备，其可以具体为虚拟现实眼镜平台中搭载的一个或多个小型的高清摄像机，以捕捉佩戴者的动作及面部表情图像，并将所捕捉的动作及面部表情图像传输至服务器端进行存储。
对所述家属表情及动作信息进行特征提取，分别得到表情及动作特征；
采用预先训练的分类器依据所述表情及动作特征进行表情及动作分类，得到分类结果；
将所述分类结果分别与预设表情及动作数据库进行比对测试，得出相应的表情及动作识别结果；
根据所述表情及动作识别结果驱动所述虚拟化身实现语言、表情及动作的实时同步。
此外，本实施例在构建家属的虚拟化身时，可以通过人脸识别技术对家属的人脸进行虚拟重构，以使虚拟化身可以模拟家属的表情，实现虚拟化身和真人表情同步，与自闭症儿童语音交流等。具体地，可以通过对家属的表情进行捕捉，以高度还原家属的面部特征，完成虚拟化身的构建，并可以在Unity3D开发引擎中利用重定向技术完成人脸骨骼的绑定。
S52、依据所述交互数据得到交互结果，所述自闭症儿童通过所述VR眼镜及耳机的反馈信息接收所述交互结果；具体应用时，本实施中通过服务器端接收自闭症儿童所佩戴的VR眼镜所采集的交互数据，该交互数据例如可以是自闭症儿童的动作指令或者是手势信息。服务器端对交互数据进行识别、处理，得到虚拟信息反馈，并将这些虚拟信息返回给自闭症儿童所配到的VR眼镜，通过VR眼镜进行显示，使得自闭症儿童的动作与虚拟场景的操作达到协调一致。
S53、所述家属的所述VR眼镜及耳机获取所述自闭症儿童与所述VR游戏的交互过程信息。
S6、利用预设检测设备对自闭症儿童的生命特征进行检测；
其中，所述S6中的生命特征包括所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据。本实施例中通过微机电系统传感器来采集和储存自闭症儿童的心率数据和手臂活动量数据。
S7、根据所述生命特征数据判断所述自闭症儿童的训练效果。
其中，所述S7具体包括以下步骤：
S71、分析所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据所呈现的数据变化特征，三类数据每m秒采集一次，n分钟内可记录n/m个数据特征，并作为判断所述自闭症儿童对所述VR游戏的感知关注度的基础数据；
S72、根据所述基础数据进行心率及眨眼均值分析，心率及眨眼变化率分析，手臂活动量大小及变化率分析；本实施例中，根据所采集的三类数据所呈现的变化情况，每类数据选取2个数据统计特征，即均值、方差。均值可以体现出自闭症儿童在一个训练过程中的感知关注度，均值越大，代表其关注度越投入；反之，则身心感知关注度越低。方差体现自闭症儿童在一个训练过程中对视听内容的感知活跃性，方差小，代表其对视听内容不感兴趣，感知思维不活跃；方差越大，代表其对视听内容有较大兴趣，感知思维越活跃。
S73、对每个所述自闭症儿童的生命特征数据进行每月，每季度和每半年的统计比较分析，判别出其对所述VR游戏的感知关注度的大小及变化情况，以此判断该训练过程的效果。
综上所述，借助于本发明的上述技术方案，通过依据过往自闭症儿童的档案信息和训练数据利用机器学习算法进行训练并构建VR游戏模型，使得本发明可以依据自闭症儿童对某类颜色及图形等因素的感知度来设计适合该自闭症儿童的VR游戏及音频乐曲，充分的考虑了不同自闭症儿童的个体差异，从而使得其可以达到更好的训练效果。
此外，通过预先构建的VR游戏模型来输出适合不同自闭症儿童的对应VR游戏，使得本发明只需输入自闭症儿童的档案信息便可得到与之对应的VR游戏，无需单独设计适合自闭症儿童的VR游戏，从而可以及时的采用虚拟技术来实现自闭症儿童的训练。
此外，通过家属陪同自闭症儿童进入虚拟场景进行VR游戏，使得自闭症儿童可以在VR游戏中实时与陪同家属进行互动，可以有效地消除自闭症儿童单独面对陌生场景或人物的陌生感及不安全感，避免了自闭症儿童害羞、抵触心理的产生，从而有效地提高了其训练效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，包括以下步骤：
S1、获取自闭症儿童的档案信息；
S2、采用预设方法构建VR游戏模型；
S3、输入所述档案信息，得到对应VR游戏及音频乐曲；
S4、所述自闭症儿童及其家属同时佩戴VR眼镜和耳机；
S5、通过预设原则实现所述自闭症儿童及其家属的交互；
S6、利用预设检测设备对自闭症儿童的生命特征进行检测；
S7、根据所述生命特征数据判断所述自闭症儿童的训练效果。
2.根据权利要求1所述的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，所述S1中的档案信息包括所述自闭症儿童的家庭信息、基本信息、病况信息、需求信息和评估报告，其中，所述评估报告中包含所述自闭症儿童对不同VR图像颜色、形状、物体运动速度及空间大小因素的感知度，所述评估报告中还包含所述自闭症儿童对不同声音的声调、声色、频率及音量大小的感知度。
3.根据权利要求1所述的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，所述S2采用预设方法构建VR游戏模型具体包括以下步骤：
S21、依据过往自闭症儿童的档案信息和训练数据通过机器学习算法进行训练，得到VR游戏模型；
S22、将测试档案信息输入所述VR游戏模型得到相应的VR游戏；
S23、通过训练人员对输出所述VR游戏的结果给予奖励和惩罚，并将所述奖励和惩罚结果反馈给所述VR游戏模型；
S24、所述VR游戏模型通过奖惩机制重新做出调整，循环直至所述VR游戏模型达到最优。
4.根据权利要求3所述的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，所述S21依据过往自闭症儿童的档案信息和训练数据通过机器学习算法进行训练，得到VR游戏模型还包括以下步骤：
S211、卷积过程：采用一个可训练的滤波器fx对输入档案信息进行卷积处理，然后再加一个偏置bx，得到卷积层Cx，所述卷积层Cx计算公式为：
S212、子采样过程：对每个相邻域内四个数据求和得到一个总数据，然后通过标量W加
权，再增加偏置b，然后再通过一个sigmoid激活函数，产生一个缩小四倍的特征映射数据
Sx+1，所述特征映射数据Sx+1计算公式为：
，
其中，x、y为数据外接矩形的左上角坐标，i，j表示层数。
5.根据权利要求1所述的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，所述S3输入所述档案信息，得到对应VR游戏及音频乐曲具体包括以下步骤：将所述自闭症儿童的档案信息输入所述VR游戏模型，得到适合所述自闭症儿童的VR游戏，同时根据所述自闭症儿童的档案信息获取对应的音频乐曲。
6.根据权利要求1所述的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，所述S5通过预设原则实现所述自闭症儿童及其家属的交互具体包括以下步骤：
S51、获取所述自闭症儿童通过所述VR眼镜及耳机与所述VR游戏的交互数据；
S52、依据所述交互数据得到交互结果，所述自闭症儿童通过所述VR眼镜及耳机的反馈信息接收所述交互结果；
S53、所述家属的所述VR眼镜及耳机获取所述自闭症儿童与所述VR游戏的交互过程信息。
7.根据权利要求6所述的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，所述S51中的所述VR游戏包括所述家属的虚拟化身，且所述虚拟化身与所述家属的语言、表情及动作实时同步。
8.根据权利要求7所述的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，所述虚拟化身与所述家属的语言、表情及动作实时同步包括以下实现步骤：
获取所述家属的语言、表情及动作信息，其中，所述语言信息采用所述耳机进行实时同步；
对所述家属表情及动作信息进行特征提取，分别得到表情及动作特征；
采用预先训练的分类器依据所述表情及动作特征进行表情及动作分类，得到分类结果；
将所述分类结果分别与预设表情及动作数据库进行比对测试，得出相应的表情及动作识别结果；
根据所述表情及动作识别结果驱动所述虚拟化身实现语言、表情及动作的实时同步。
9.根据权利要求1所述的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，所述S6中的生命特征包括所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据。
10.根据权利要求9所述的一种基于VR交互技术的听觉刺激儿童自闭症的训练方法，其特征在于，所述S7根据所述生命特征数据判断所述自闭症儿童的训练效果具体包括以下步骤：
S71、分析所述自闭症儿童的心率数据、眨眼量数据及手臂活动量数据所呈现的数据变化特征，三类数据每m秒采集一次，n分钟内可记录n/m个数据特征，并作为判断所述自闭症儿童对所述VR游戏的感知关注度的基础数据；
S72、根据所述基础数据进行心率及眨眼均值分析，心率及眨眼变化率分析，手臂活动量大小及变化率分析；
S73、对每个所述自闭症儿童的生命特征数据进行每月，每季度和每半年的统计比较分析，判别出其对所述VR游戏的感知关注度的大小及变化情况，以此判断该训练过程的效果。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011046656.9A CN112259218A (zh) | 2020-09-29 | 2020-09-29 | 一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 |
| PCT/CN2020/119983 WO2022067871A1 (zh) | 2020-09-29 | 2020-10-09 | 一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011046656.9A CN112259218A (zh) | 2020-09-29 | 2020-09-29 | 一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112259218A true CN112259218A (zh) | 2021-01-22 |
Family
ID=74234460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011046656.9A Pending CN112259218A (zh) | 2020-09-29 | 2020-09-29 | 一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112259218A (zh) |
| WO (1) | WO2022067871A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113457121A (zh) * | 2021-06-11 | 2021-10-01 | 北京理工大学 | 基于vr的多任务训练游戏提升老年人认知能力的方法 |
| CN113628724A (zh) * | 2021-07-01 | 2021-11-09 | 江苏嘉纳宝医疗科技有限公司 | 基于虚拟现实技术对暴力恐惧心理的评估干预方法 |
| CN114201053A (zh) * | 2022-02-17 | 2022-03-18 | 北京智精灵科技有限公司 | 一种基于神经调控的认知提升训练方法及系统 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115223685B (zh) * | 2022-07-21 | 2023-03-14 | 杭州心景科技有限公司 | 基于vr技术的玩偶交互认知训练方法、系统及装置 |
| CN115870970A (zh) * | 2022-08-24 | 2023-03-31 | 哈尔滨工业大学（深圳） | 一种基于交互式干预机器人的图片交换沟通方法及系统 |
| CN116312081B (zh) * | 2022-09-07 | 2024-05-07 | 中山大学 | 一种基于球类游戏的儿童孤独症治疗装置 |
| CN118098600A (zh) * | 2024-04-23 | 2024-05-28 | 山东大学 | 基于多源数据驱动的儿童孤独症康复评估系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101284156A (zh) * | 2008-06-02 | 2008-10-15 | 西安电子科技大学 | 注意缺陷障碍症的个性化矫治方法及装置 |
| CN102354349A (zh) * | 2011-10-26 | 2012-02-15 | 华中师范大学 | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 |
| CN103164995A (zh) * | 2013-04-03 | 2013-06-19 | 湖南第一师范学院 | 儿童体感交互式学习系统及方法 |
| CN103258450A (zh) * | 2013-03-22 | 2013-08-21 | 华中师范大学 | 面向孤独症儿童的智能学习平台 |
| CN104537393A (zh) * | 2015-01-04 | 2015-04-22 | 大连理工大学 | 一种基于多分辨率卷积神经网络的交通标志识别方法 |
| CN107463780A (zh) * | 2017-08-04 | 2017-12-12 | 南京乐朋电子科技有限公司 | 一种3d虚拟自闭症治疗系统及治疗方法 |
| CN107591047A (zh) * | 2017-09-16 | 2018-01-16 | 深圳市赛亿科技开发有限公司 | 一种虚拟现实的教学系统 |
| CN108471991A (zh) * | 2015-08-28 | 2018-08-31 | 艾腾媞乌有限责任公司 | 认知技能训练系统和程序 |
| CN109350907A (zh) * | 2018-09-30 | 2019-02-19 | 浙江凡聚科技有限公司 | 基于虚拟现实的儿童注意力缺陷多动障碍测训方法和系统 |
| CN110931111A (zh) * | 2019-11-27 | 2020-03-27 | 昆山杜克大学 | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 |
| CN111258473A (zh) * | 2020-01-15 | 2020-06-09 | 西安理工大学 | 一种提高自闭症儿童泛化能力的训练方法 |
| CN111325109A (zh) * | 2020-01-22 | 2020-06-23 | 福建中医药大学 | 一种注意力训练方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050112534A1 (en) * | 2003-09-23 | 2005-05-26 | Mccarton Cecelia | Methods for the treatment of autistic spectrum disorders |
| CN107833611A (zh) * | 2017-11-06 | 2018-03-23 | 广州优涵信息技术有限公司 | 一种基于虚拟现实的自闭症康复训练方法 |
| CN109621151A (zh) * | 2018-12-12 | 2019-04-16 | 上海玺翎智能科技有限公司 | 一种虚拟现实vr+听觉统合治疗儿童自闭症及评估方法 |
| CN110433379B (zh) * | 2019-08-09 | 2021-06-18 | 南京市儿童医院 | 一种包含嗅觉刺激治疗儿童自闭症的系统 |
| CN111489808A (zh) * | 2020-04-27 | 2020-08-04 | 成都工业学院 | 一种自闭症谱系障碍儿童康复训练辅助系统 |
-
2020
- 2020-09-29 CN CN202011046656.9A patent/CN112259218A/zh active Pending
- 2020-10-09 WO PCT/CN2020/119983 patent/WO2022067871A1/zh active Application Filing
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101284156A (zh) * | 2008-06-02 | 2008-10-15 | 西安电子科技大学 | 注意缺陷障碍症的个性化矫治方法及装置 |
| CN102354349A (zh) * | 2011-10-26 | 2012-02-15 | 华中师范大学 | 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统 |
| CN103258450A (zh) * | 2013-03-22 | 2013-08-21 | 华中师范大学 | 面向孤独症儿童的智能学习平台 |
| CN103164995A (zh) * | 2013-04-03 | 2013-06-19 | 湖南第一师范学院 | 儿童体感交互式学习系统及方法 |
| CN104537393A (zh) * | 2015-01-04 | 2015-04-22 | 大连理工大学 | 一种基于多分辨率卷积神经网络的交通标志识别方法 |
| CN108471991A (zh) * | 2015-08-28 | 2018-08-31 | 艾腾媞乌有限责任公司 | 认知技能训练系统和程序 |
| CN107463780A (zh) * | 2017-08-04 | 2017-12-12 | 南京乐朋电子科技有限公司 | 一种3d虚拟自闭症治疗系统及治疗方法 |
| CN107591047A (zh) * | 2017-09-16 | 2018-01-16 | 深圳市赛亿科技开发有限公司 | 一种虚拟现实的教学系统 |
| CN109350907A (zh) * | 2018-09-30 | 2019-02-19 | 浙江凡聚科技有限公司 | 基于虚拟现实的儿童注意力缺陷多动障碍测训方法和系统 |
| CN110931111A (zh) * | 2019-11-27 | 2020-03-27 | 昆山杜克大学 | 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法 |
| CN111258473A (zh) * | 2020-01-15 | 2020-06-09 | 西安理工大学 | 一种提高自闭症儿童泛化能力的训练方法 |
| CN111325109A (zh) * | 2020-01-22 | 2020-06-23 | 福建中医药大学 | 一种注意力训练方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113457121A (zh) * | 2021-06-11 | 2021-10-01 | 北京理工大学 | 基于vr的多任务训练游戏提升老年人认知能力的方法 |
| CN113457121B (zh) * | 2021-06-11 | 2023-12-05 | 北京理工大学 | 基于vr的多任务训练游戏提升老年人认知能力的方法 |
| CN113628724A (zh) * | 2021-07-01 | 2021-11-09 | 江苏嘉纳宝医疗科技有限公司 | 基于虚拟现实技术对暴力恐惧心理的评估干预方法 |
| CN113628724B (zh) * | 2021-07-01 | 2024-03-12 | 江苏嘉纳宝医疗科技有限公司 | 基于虚拟现实技术对暴力恐惧心理的评估干预方法 |
| CN114201053A (zh) * | 2022-02-17 | 2022-03-18 | 北京智精灵科技有限公司 | 一种基于神经调控的认知提升训练方法及系统 |
| CN114201053B (zh) * | 2022-02-17 | 2022-06-28 | 北京智精灵科技有限公司 | 一种基于神经调控的认知提升训练方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022067871A1 (zh) | 2022-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112259218A (zh) | 一种基于vr交互技术的听觉刺激儿童自闭症的训练方法 | |
| Tian et al. | A review of cybersickness in head-mounted displays: raising attention to individual susceptibility | |
| Park et al. | A metaverse: Taxonomy, components, applications, and open challenges | |
| CN109620185B (zh) | 基于多模态信息的自闭症辅助诊断系统、设备及介质 | |
| Kim et al. | Vrsa net: Vr sickness assessment considering exceptional motion for 360 vr video | |
| Verma et al. | Expressear: Sensing fine-grained facial expressions with earables | |
| JP2020507835A (ja) | ロボット、サーバおよびヒューマン・マシン・インタラクション方法 | |
| Ravetto-Biagioli | The Digital Uncanny | |
| US11699072B2 (en) | Method for VR sickness assessment considering neural mismatch model and the apparatus thereof | |
| Baez et al. | How does social context influence our brain and behavior | |
| CN105653020A (zh) | 穿越时空的方法和装置以及使用其的眼镜或头盔 | |
| Tsutsui et al. | A computational model of early word learning from the infant's point of view | |
| Araujo et al. | Is the perceived comfort with cg characters increasing with their novelty? | |
| CN113284625A (zh) | 一种自闭症谱系障碍儿童社交沟通功能训练方法 | |
| Li et al. | Task modelling of sports event for personalized video streaming data in augmentative and alternative communication | |
| KR20170047099A (ko) | 영상정보를 통한 움직임의 양을 기반으로 하는 집단 감성 추론 시스템 | |
| Hou | Deep learning-based human emotion detection framework using facial expressions | |
| Kennedy | Acting and its double: A practice-led investigation of the nature of acting within performance capture | |
| CN117524417A (zh) | 自闭症康复训练系统、方法、设备及介质 | |
| Li et al. | Trends in virtual and augmented reality research: a review of latest eye tracking research papers and beyond | |
| Gaudi et al. | Affective computing: an introduction to the detection, measurement, and current applications | |
| Montanha et al. | Crafting Realistic Virtual Humans: Unveiling Perspectives on Human Perception, Crowds, and Embodied Conversational Agents | |
| Lee | How to use the Advantages of AR and VR Technique to Integrate Special Visual Training Strategies in Non-Verbal Communication Skills Training for Children with Autism | |
| Varsani et al. | Sensorial computing | |
| Eng et al. | An investigation of collective human behavior in large-scale mixed reality spaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |