CN110349667B - 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 - Google Patents
结合调查问卷及多模态范式行为数据分析的孤独症评估系统 Download PDFInfo
- Publication number
- CN110349667B CN110349667B CN201910606484.7A CN201910606484A CN110349667B CN 110349667 B CN110349667 B CN 110349667B CN 201910606484 A CN201910606484 A CN 201910606484A CN 110349667 B CN110349667 B CN 110349667B
- Authority
- CN
- China
- Prior art keywords
- paradigm
- test
- data
- autism
- testee
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010003805 Autism Diseases 0.000 title claims abstract description 79
- 208000020706 Autistic disease Diseases 0.000 title claims abstract description 79
- 238000007405 data analysis Methods 0.000 title claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 126
- 230000006399 behavior Effects 0.000 claims abstract description 39
- 238000010801 machine learning Methods 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 24
- 230000000638 stimulation Effects 0.000 claims description 23
- 210000001508 eye Anatomy 0.000 claims description 18
- 210000003128 head Anatomy 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 230000008451 emotion Effects 0.000 claims description 10
- 230000003542 behavioural effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012790 confirmation Methods 0.000 claims 1
- 230000001755 vocal effect Effects 0.000 claims 1
- 238000011156 evaluation Methods 0.000 description 23
- 230000004044 response Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 19
- 230000036544 posture Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 8
- 208000003251 Pruritus Diseases 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 7
- 230000003997 social interaction Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 230000035484 reaction time Effects 0.000 description 5
- 208000029560 autism spectrum disease Diseases 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000006748 scratching Methods 0.000 description 4
- 230000002393 scratching effect Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 241000272525 Anas platyrhynchos Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000003930 cognitive ability Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004141 dimensional analysis Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004973 motor coordination Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- RNFJDJUURJAICM-UHFFFAOYSA-N 2,2,4,4,6,6-hexaphenoxy-1,3,5-triaza-2$l^{5},4$l^{5},6$l^{5}-triphosphacyclohexa-1,3,5-triene Chemical compound N=1P(OC=2C=CC=CC=2)(OC=2C=CC=CC=2)=NP(OC=2C=CC=CC=2)(OC=2C=CC=CC=2)=NP=1(OC=1C=CC=CC=1)OC1=CC=CC=C1 RNFJDJUURJAICM-UHFFFAOYSA-N 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 240000004282 Grewia occidentalis Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008131 children development Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000003063 flame retardant Substances 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002369 psychoeducation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提出了一种结合调查问卷及多模态范式行为数据分析的孤独症评估系统，包括问卷数据采集模块、场景模块、多个深度图像采集模块、语音采集模块、控制模块、范式切换及确认模块、数据同步模块、数据储存模块、数据处理模块、结果呈现模块。本发明通过对被试者进行各项范式试验，根据各范式试验中被试者的相关特征信息及各范式试验规则对被试者的各项范式分数打分，并结合问卷数据通过机器学习算法计算被试者的不同指标分数及患孤独症的风险系数，从而更好地进行孤独症评估并进行干预。
Description
技术领域
本发明涉及图像处理、语音识别、行为信号分析领域，更具体地，涉及一种结合调查问卷及多模态范式行为数据分析的孤独症评估系统，通过进行各项范式试验并提取多种行为特征，同时结合问卷调查数据进行联合分析，以评估预测孤独症谱系障碍的装置、系统。
背景技术
孤独症谱系障碍(Autism Spectrum Disorder，ASD)在过去的几年里，愈发收到社会各界的关注。医学、心理学、计算机等领域的专家和研究机构，都在病因、诊断、治疗等方面先后取得了重要发现。对于孤独症，现阶段广泛使用的评估方法，主要采用了孤独症诊断观察量表(Autism Diagnostic Observation Schedule,ADOS)、儿童孤独症评定量表(Childhood Autism Rating Scale，CARS)等量表。ADOS等量表中，儿童的社会互动、语言交流及行为能力被观察评估。这些量表法是基于行为观察的半结构式诊断方法，通常需要经验丰富的专业医疗人员对孩子的行为进行使用，并进行长时间的实验，才能获得准确的评估结果。这不仅要求极高的诊断成本，也难以进行普及，减少了儿童孤独症被及时发现的机会。
随着计算机的发展，越来越多的人工智能孤独症评估或干预工具被开发，以服务于评估儿童孤独症。现有的计算机辅助工具中，不乏多模态系统。然而，目前大多数多模态工具被用于进行干预而非筛查，其原因在于孤独症筛查系统相对要求更高的专业性、准确性，并且对真实场景的模拟要求更加严格，多维度信息捕捉需要更加完全。普通的辅助工具难以创造儿童互动场景并获取互动反馈信息进行分析。因此，能够用于测评的工具少之又少。现有的孤独症评估工具中，总体按照刺激方式分为两类：基于机器刺激和基于真人刺激。
其中，基于机器刺激的辅助评估装置基本使用对儿童进行图像刺激，通过采集儿童看视频的反应进行评估。专利号为CN201380015493.X的专利申请文件公开了自闭症诊断辅助方法和系统以及自闭症诊断辅助装置，提出让儿童坐在电脑显示器前观看图像，通过分析儿童反馈的眼球运动等数据以进行评估；专利号为CN201810873155.4的专利申请文件公开了一种用于认知和发育状况的检测的系统和方法，提出一个椅状认知检测系统，通过采集被试者坐在椅中观看视频的反馈以进行评估。专利号为CN201811521265.0的专利申请文件公开了一种虚拟现实VR+听觉统合治疗儿童自闭症及评估方法，提出使用VR眼镜绷住儿童进学习和评估。然而，视频刺激模式通常会限制儿童的自由走动，或者要求儿童穿戴辅助装置，这些都无法模拟真实无限制的场景，难以较好地搜集并分析儿童自然真实的表现，进而影响筛查及评估结果。
基于真人刺激的分析系统主要采用在活动场地中布置采集设备的方式采集实验数据。专利号为CN201620172514.X的专利申请文件公开了一种基于音频特征的多模态同步行为数据采集系统，通过建立在一个较大的房间中建立多模态同步行为数据采集系统；专利号为CN201711083892.6的专利申请文件公开了一种自闭症儿童及家庭信息管理系统，提出采集儿童的家庭生活视频进行分析。然而，这些模式暴露摄像头等采集设备在场景中容易影响儿童情绪，并且采集设备基于固定房间布置，场地难以整体迁移，复制困难。
因此，如果能够完整模拟一个可整体移动的真实场景进行实验，隐藏摄像头、麦克风等设备，并全面采集试验中针对孤独症筛查定制的多个成套范式的声音、图像等多模态数据，将能更加有效地增加装置对孤独症评估的客观性，适合用于筛查及评估。
发明内容
针对现有技术的不足，本发明提出一种结合调查问卷及多模态范式行为数据分析的孤独症评估系统，能够提供一个真实且可以整体移动场景，不限制参与人员行动自由，多角度采集所有参与人员的多模态活动数据并结合调查问卷数据加以分析，从而准确、全面地评估患孤独症的风险系数。
本发明的技术方案是这样实现的：
一种结合调查问卷及多模态范式行为数据分析的孤独症评估系统，包括
问卷数据采集模块，用于采集被试者进行综合能力考量的调查问卷数据；
场景模块，用于进行各范式试验的可整体移动的一体化房间箱体；
多个深度图像采集模块，用于多视角多角度采集在场景装置内进行各范式试验过程中的视频数据，所述视频数据中包括图像的深度信息；
语音采集模块，用于采集在场景装置内进行各范式试验过程中的音频数据；
控制模块，用于控制启动所述问卷数据采集模块、深度图像采集模块及语音采集模块；
范式切换及确认模块，用于在试验过程中识别并标记评估者语音数据中的范式切换信号，并实时反馈给试验中的评估者进行范式试验；
数据同步模块，用于基于时间戳同步对齐所采集到的视频数据、音频数据，得到多模态音视频数据；
数据储存模块，用于储存所采集的多模态音视频数据及文件数据，并以个人档案形式储存；
数据处理模块，用于根据多模态音视频数据中各项范式试验的时间起点，识别并获取各范式试验中被试者的相关特征信息，并根据不同范式规则分别对各项范式分数进行打分；用于根据相关特征信息并结合问卷数据，通过机器学习算法计算被试者的不同指标分数及患孤独症的风险系数；其中，所述相关特征信息包括目光朝向信息、头部朝向信息、手势信息、姿势信息、面部表情信息、位置坐标信息、语言情绪信息和语音内容信息中的一种或多种；
结果呈现模块，用于展示被分析标签后的多模态音视频数据结果，包括被试者的各项范式分数、不同指标分数、孤独症风险系统、干预方案中的任意组合。
进一步的，还包括干预方案确定模块，用于根据被试者的不同指标分数及患孤独症的风险系数通过机器学习算法从干预方案库中选择相应强度课程，形成相应干预方案，所述课程包括重复时长。
进一步的，数据处理模块中，识别并获取目光朝向信息时，通过人脸检测与识别获取脸部特征点，从中选取出双眼的特征点，并利用空间坐标变换计算出双眼特征点的世界坐标系3D坐标；通过将双眼的3D坐标输入到目光追踪神经网络模型中，输出目光的朝向。
进一步的，所述深度图像采集模块为RGB-D摄像头，所述语音采集模块包括阵列麦克风和/或可穿戴麦克风。
进一步的，所述场景模块为一体化可移动房间箱体，所述多个深度图像采集模块隐藏安装于所述一体化可移动房间箱体的四周，用于多角度采集试验过程中的视频数据；当所述语音采集模块包含阵列麦克风时，所述阵列麦克风隐藏安装于所述一体化可移动房间箱体内。
进一步的，范式切换及确认模块，用于在试验中通过实时语音识别评估者的语音内容，当识别到切换范式的语音关键字时，标记该语音关键字的时间点并记录所切换的范式试验，并反馈信号到隐藏安装于一体化可移动房间箱体内的信号灯，以变换信号灯颜色通知评估者范式切换成功。
进一步的，还包括场景道具，用于布置在一体式可移动房间箱体中以辅助被试者进行各范式试验。
进一步的，所述场景道具包括显示装置、墙面海报、挂于墙上的可发出声音的玩具、放置于实验环境内的其他若干用于吸引被试者注意力的玩具。
进一步的，所述问卷数据包括言语行为评估量表问卷数据、自闭症行为评定量表问卷数据、心理教育评定量表问卷数据、修正婴幼儿自闭症检查量表问卷数据、自闭症行为评定量表问卷数据及婴幼儿评估、评监及课程计划系统问卷数据中的任意组合。
进一步的，所进行的范式试验包括叫名反应范式试验、非社会行声音刺激行为范式试验、响应性共同注意力范式试验、非社会性微笑范式试验、社会性社交微笑范式试验、加强依恋安全性范式、行为恰当性范式试验、立即性仿说范式试验、人称代词区分范式试验、语言指向性范式试验中的任意组合。
本发明通过对被试者进行各项范式试验，根据各范式试验中被试者的相关特征信息及各范式试验规则对被试者的各项范式分数打分，并结合问卷数据通过机器学习算法计算被试者的不同指标分数及患孤独症的风险系数，从而更好地进行孤独症评估并进行干预。本发明可根据被试者的不同指标分数通过机器学习算法从干预方案库中选择相应强度课程，形成相应方案，更利于对孤独症的治疗。
与现有技术相比，本发明具有以下优点：
(1)提出了模拟真实的试验场景，隐藏采集设备，提供自然舒适的试验环境，极大程度还原被试者的日常状态。
(2)提出了可整体迁移的试验场景装置，极大提升了试验场景的可复制性及迁移便携性，有利于装置的普及使用。
(3)提出了通过多个同步的隐藏的深度视频及眼动数据采集设备，捕捉引入坐标信息，多角度完整获取试验场景人、物的三维数据，相比普通RGB摄像头能更全面精准获取被试者的多模态数据。
(4)提出了结合问卷数据和范式试验数据使用机器学习方法进行评估，使得筛查及评估结果更加接近专业医生的分析，更加准确。
(5)提出了多图表及被标签视频的多维度分析报告模式，使得分析过程更有利于非专业人员的理解，且更有信服力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为利用本发明结合调查问卷及多模态范式行为数据分析的孤独症评估系统进行试验的流程图；
图2为一体化可移动房间箱体的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1及图2，本发明一实施方式公开了一种结合调查问卷及多模态范式行为数据分析的孤独症评估系统，包括
问卷数据采集模块，用于采集被试者进行综合能力考量的调查问卷数据；
场景模块，用于进行各范式试验的可整体移动的一体化房间箱体；
多个深度图像采集模块，用于多视角多角度采集在场景装置内进行各范式试验过程中的视频数据，所述视频数据中包括图像的深度信息；
语音采集模块，用于采集在场景装置内进行各范式试验过程中的音频数据；
控制模块，用于控制启动所述问卷数据采集模块、深度图像采集模块及语音采集模块；
范式切换及确认模块，用于在试验过程中识别并标记评估者语音数据中的范式切换信号，并实时反馈给试验中的评估者进行范式试验；由于需要进行多项范式试验以综合、准确地评估被试者的能力，因此需要通过识别多模态音视频数据中各项范式试验的时间起点，以便获取各范式试验中被试者的相关特征信息。
数据同步模块，用于基于时间戳同步对齐所采集到的视频数据、音频数据，得到多模态音视频数据；
数据储存模块，用于储存所采集的多模态音视频数据及文件数据，并以个人档案形式储存；
数据处理模块，用于根据多模态音视频数据中各项范式试验的时间起点，识别并获取各范式试验中被试者的相关特征信息，并根据不同范式规则分别对各项范式分数进行打分；用于根据相关特征信息并结合问卷数据，通过机器学习算法计算被试者的不同指标分数及患孤独症的风险系数；其中，所述相关特征信息包括目光朝向信息、头部朝向信息、手势信息、姿势信息、面部表情信息、位置坐标信息、语言情绪信息和语音内容信息中的一种或多种；
结果呈现模块，用于展示被分析标签后的多模态音视频数据结果，包括被试者的各项范式分数、不同指标分数、孤独症风险系统、干预方案中的任意组合。例如，以图表形式直观展现被试者的各项评分，并可通过结果显示电脑查询被试者各项能力分数与匹配的干预方案建议，并可进行打印病历。
根据多模态音视频数据，可以准确获得被试者及其他试验参与人员的坐标、朝向、目光、手势、姿势、表情、声音、动作、行人ID特征，针对不同范式的测量要求，对每个范式进行打分；然后根据范式中反应数据和问卷数据整理结果，使用机器学习算法，计算被试者的不同指标分数，比如沟通能力、社交、执行力、运动协调、自理、注意力、情绪管理、认知的能力分数，并计算其孤独症风险系数。
其中，各范式试验得分、被试者的不同指标分数、孤独症风险系数均通过机器学习算法进行评估或打分，不仅涵盖了孤独症的多个维度，而且采用计算机算法进行评估，避免了现有评估方法的主观性，可更准确、更完整、更客观地对孤独症进行评估。
本发明实施方式中，通过对已知孤独症情况的被试者进行各范式试验及问卷调查，并进行训练分类器，得到孤独症风险系统模型及其他打分模型；最后再根据被试者的各项范式试验打分情况及调查问卷数据，通过孤独症风险系统模型计算其孤独症风险系数，得出评估结果，为医生提供参考。
其中，问卷数据为基于个人信息、言语行为评估量表、自闭症行为评定量表、心理教育评定量表、修正婴幼儿自闭症检查量表、自闭症行为评定量表及婴幼儿评估、评监及课程计划系统中的问题进行筛选和/或修改组合而成的问卷调查数据。
本发明实施方式中，调查问卷是以言语行为评估量表(Verbal BehaviorMilestones Assessment and Placement Program，VB-MAPP)、自闭症行为评定量表(Autism Behavior Checklist，ABC)、心理教育评定量表(Psycho-educational Profile，PEP)、修正婴幼儿自闭症检查量表(Modified Checklist for Autism in Toddlers，M-CHAT)、自闭症行为评定量表(Autism Behavior Checklist，ABC)及婴幼儿评估、评监及课程计划系统(Assessment,Evaluation,and Programming System，AEPS)等量表为基础，参考我国《儿童发展指南》，综合整理形成了一套以自闭症儿童的社交沟通薄弱和兴趣狭窄为评估核心，同时综合考量被试者的关键发展能力,包括沟通能力、社交、执行力、运动协调、自理、注意力、情绪管理、认知、交流等能力进行考察的调查问卷，以便全面地被试者的各方面能力进行评估。其中，问卷调查由被试者父母或与被试者共同生活2周以上的人评定。
具体的，在进行问卷调查时，将问卷选择题的程度结果转化为数字结果，如：2＝非常频繁，1＝一般频率，0＝几乎没有，并整理成数组。将调查问卷问答题的回答通过关键词提取，转化为关键词的频次向量。将一个被试者各范式所获得的分数，与问卷分数，组成一个1维向量x，ASD系数为y，通过建立从x到y的映射，进行机器学习训练模型。使用训练好的模型可对新的被试者进行ASD系数的预测并对兴趣点、沟通能力、社交能力、游戏能力、自理能力、执行力、认知能力、运动能力及能力细节进行评分。
可以使用逻辑回归(Logistic Regression)，支持向量机(SVM)等机器学习算法进行训练分类器，以得到孤独症预测模型。例如，
使用逻辑回归进行训练分类器时，根据逻辑回归的方程：
t＝ω1x+b1
通过训练多个被标记被试者的数据可以得到w1和b1。当获得新的被试者数据特征的向量x′时，可以根据以上方程求出其对应的分类，进而得到孤独症预测模型。
而当使用支持向量机进行训练分类器时，通过找到能将已标记的患者与非患者数据点击分开的最大间隔超平面进行学习，超平面可以写作满足一下方程的点集x：
ω2·x-b2＝0
通过训练可以求得最优ω2。当获得新的被试者数据特征的向量x′时，可以根据ω2·x-b2计算结果求出其在超平面的哪一侧，进而进行孤独症评估。
进一步的，所进行的范式试验包括叫名反应范式试验、非社会行声音刺激行为范式试验、响应性共同注意力范式试验、非社会性微笑范式试验、社会性社交微笑范式试验、加强依恋安全性范式、行为恰当性范式试验、立即性仿说范式试验、人称代词区分范式试验、语言指向性范式试验中的任意组合。其中，
a.叫名反应范式
被试者在进行其他活动时，在其后方或侧后方进行无预告的叫名反应测试，跟据被试者回应的时间、回头的角度进行打分。
b.非社会性声音刺激行为范式
被试者在进行其他活动时，在其侧方或后方无预告开启发声玩具，跟据被试者转头关注玩具的时间、转头到角度、关注眼神的角度和时间、使用手指指示玩具的时间进行打分。
c.加强依恋安全性范式
被试者、照顾者、评估者三人在场景内活动游戏，监护人按照试验工作人员的指示，在被试者视线可及到方向上离开试验区域，并在被试者没有跟随时配合语言向被试者告别，稍后返回试验现场，跟据被试者是否跟跟随监护人离开或对监护人进行语言呼唤以及被试者是否迎接监护人的返回进行打分。
d.响应性共同注意力范式
试验工作人员转头看向场所内较远处某一件其他物品，并在转头的同时说出被试者的名字和看向的物品名称，重复多次观察被试者反应，根据被试者是否看向同一物品及反应时间进行打分。
e.社会性及分享性微笑范式
试验工作人员或其他参与人员面对面或通过显示屏的视屏电话向被试者微笑，赞美，打招呼，手绢躲猫猫，假装挠痒痒，挠痒痒等行为，根据被试者在不用刺激分别是否用笑容回应进行打分。
f.非社会性微笑范式
被试者观看幽默动画，根据被试者的微笑频率和程度进行打分。
当对被试者进行以上范式试验时，需要根据多模态音视频数据提取相应特征，包括：参与人员的坐标、头部朝向、目光朝向、手势、姿势、面部表情、语音内容、行人身份，通过这些特征信息，对被试者的在不同范式试验的表现分别进行打分。具体的，可通过一下方式获取相应特征信息：
(1)空间坐标
对于每个摄像头的RGB视频图像中的像素点，都可以根据其在RGB图像中的横坐标u、纵坐标v以及对应深度图中的深度数据d，结合预先获取的摄像机的内参，代入公式计算出该像素点相对摄像机坐标系的3D坐标(x,y,z)。
z＝d
其中，cx,cy,fx,fy都是摄像头组件光学参数。
(2)人脸检测与人脸识别
正脸检测：使用Dlib的MMOD人脸检测模块，能够在RGB视频中检测出人的正脸，得到每张人脸在图像中的矩形框，并识别出每张人脸的68个关键点(Landmark)的坐标。
侧脸检测：使用OpenCV深度神经网络工具包，其中的DNN人脸检测器能够检测出RGB彩色图像的人的侧脸，并得到其矩形框。
人脸识别：主要是针对被试者的人脸识别。根据人脸检测可以得到脸的矩形框，将其裁剪下来作为图片进行人脸对齐，然后输入到人脸识别模型中提取特征，与试验前预先保存的被试者正脸特征进行比对即可判断是否为被试者。我们的人脸识别模型使用了度量学习的方法在LFW数据集上进行训练。
(3)表情识别
使用ResNet在FER2013，CK+等人脸表情数据库上训练表情模型，该模型输出8种不同的表情概率得分，其中概率得分最大的即为分类表情。对RGB视频的每帧图像先进行人脸检测获得多个脸部矩形框，然后对脸部框做人脸对齐之后，输入到表情识别模型，输出得到每张人脸的表情分类。
(4)头部姿态估计
头部姿态估计主要是识别人的脸部朝向。先使用Dlib的正脸检测RGB视频图像帧中的人脸，获取脸部的68个landmark标记点，之后得到对应的深度图中的深度，根据公式对68个特征点计算每个点的世界空间坐标系的3D坐标，每个点组合起来就可以得到脸部在空间中的点云。根据脸部特征点的点云坐标，便可以计算脸部平面的法线向量，然后将法线向量转化为头部姿态的Yaw，Pitch，Roll的欧拉角表示。
(5)物体检测
使用Yolov3对RGB视频逐帧进行物体检测，每一帧都返回画面中识别出来的物体的矩形框四角坐标以及该物体所属种类，能够识别的物体种类为coco数据集的检测类别，一共80种。
(6)人物检测与身份重识别
首先是人物的检测，使用Yolov3框架对彩色视频的每一帧进行物体检测，可以得到目标检测的众多预选框，以人类为标签以及0.7为类别置信度阈值对预选框进行过滤，便可以得到人的矩形框。然后将截取的人矩形框与预先设置的查询人物框输入到深度神经网络中提取特征后进行特征比对，计算二者的欧式距离，欧式距离小则表明二者是属于同一个人物，否则为不同身份的人。身份重识别能够保证每个视频画面中出现的每个人都能被准确识别身份。
(8)手势检测与识别
主要是检测与识别被试者的手势动作。利用labelImg工具将大量的手势标注成PASCAL VOC数据集的格式，每个数据都包含了手部的矩形框的四角坐标以及手势的分类，然后使用Yolov3训练出一个手势的检测器，该检测器能检测画面中的手部，识别手势，并给出其矩形框坐标以及所属的手指的指向。
(9)姿态估计
姿态估计主要是对被测者进行人体姿势分析。首先是关键点检测的COCO数据集上训练深度神经网络HRNet(High-Resolution Net)，用来对人体关键点进行估计，将各关键点进行连线形成人体骨架图，进而可以估计人体的姿态。
(10)目光追踪
目光追踪用来跟踪被试者的目光朝向方向。首先通过人脸检测与识别获取脸部特征点，从中选取出双眼的特征点，并利用空间坐标变换计算出双眼特征点的世界坐标系3D坐标；通过将双眼的3D坐标输入到目光追踪神经网络模型中，输出目光的朝向。
(11)语音识别
通过语音识别实时获取说话者的语音进行文本转换，从而获取说话者的语音内容。
本发明通过对被试者进行多项范式试验，并结合问卷调查数据综合评估被试者的能力，从而对被试者进行孤独症评估，使得评估结果更加准确。
由于本发明实施方式主要用于儿童孤独症的早期评估，因此本发明实施方式中的被试者为儿童，但不限于儿童；评估者可为医生或其他医疗工作人员，照顾者可父母或者与被试者共同生活两周以上的人。
进一步的，结合调查问卷及多模态范式行为数据分析的孤独症评估系统还包括
干预方案确定模块，用于根据被试者的不同指标分数及患孤独症的风险系数通过机器学习算法从干预方案库中选择相应强度课程，形成相应干预方案，所述课程包括重复时长。
本发明实施方式中，根据多模态音视频数据获取被试者及其他试验特征数据，结合试验环境的数据，根据不同范式的规则计算被试者在不同范式试验中的分布得分，并结合问卷数据，通过机器学习方法计算被试者各指标分数(如沟通能力、社交、执行力、运动协调、自理、注意力、情绪管理、认知的能力等)、整个试验得分以及孤独症的风险系数，并从干预方案库中通过机器学习算法匹配个性化干预方案。由于已知被试者的各指标分数，因此通过机器学习算法从干预方案库中选择相应强度课程，形成个性化干预方案，从而有针对性地干预被试者孤独症。例如，当被试者的沟通能力较差时，则匹配相应用于提高沟通能力的课程，并根据其沟通能力的得分或测试过程，通过机器学习算法自动计算课程所要进行的时长等。
根据被试者能力进行干预方案制定时，参考婴幼儿评估、评监及课程计划系统(Assessment,Evaluation,and Programming System，AEPS)和《儿童发展指南》，并使用机器学习算法结合过往干预案例及疗效进行计算，使用机器学习模型从干预方案库中选取合适的干预方案并得到方案中每一种课程对应的强度及重复时长等定量结果，匹配各能力相应的判词解释和干预方案建议，形成分能力指标及课程难度的干预方案。
进一步的，所述深度图像采集模块为RGB-D摄像头，所述语音采集模块包括阵列麦克风和/或可穿戴麦克风。
其中，本发明实施方式中的深度图像采集装置可以是但不限于RGB-D摄像头，便于获取RGB图像及图像的深度信息；语音采集装置包括阵列麦克风和/或分别用于佩戴于照顾者、评估者、被试者身上的麦克风，用于多声道采集试验过程中的任务声音、环境声音及采集各说话人的声音信息。
进一步的，参阅图2，所述场景模块为一体化可移动房间箱体，所述多个深度图像采集模块隐藏安装于所述一体化可移动房间箱体的四周，用于多角度采集试验过程中的视频数据；当所述语音采集模块包含阵列麦克风时，所述阵列麦克风隐藏安装于所述一体化可移动房间箱体内。
为了能准确地获取被试者的相关特征信息，本发明实施方式将深度图像采集模块设置于一体化可移动房间箱体的四周，以便能多角度记录试验过程中被试者的行为变化。因此，在获取被试者的相关特征信息之前，先将多个摄像头所录制的视频数据基于时间戳进行同步对齐，再将视频数据与音频数据在时间轴上同步对齐后。
其中，一体化可移动房间箱体内设置有相应场景道具，用于布置在一体式可移动房间箱体中以辅助被试者进行各范式试验。具体的，场景道具包括显示装置、墙面海报、挂于墙上的可发出声音的玩具(如可发出声音的飞机)、放置于实验环境内的其他若干用于吸引被试者注意力的玩具和/或物件(如毛绒小鸭子、小火车、带有标记的手绢等)。
本发明实施方式中，场景装置为可整体式移动的一体化房间箱体，如：录音棚房间，活动板房，房车等。房间包含了隔音吸音墙壁，单向观察玻璃镜，用于范式试验的道具，用于储存道具的置物柜。房间内，可以安置数据采集设备(如深度图像采集装置等)并隐藏设备及线路，可以播放图像的显示屏，具体可参阅图2。其中，房间内桌椅、玩具及其他道具均使用绿色无害产品，保障被试者的身体健康。
具体的，本发明实施方式采用组装式4米×3米活动录音房作为场地。其中，彩钢阻燃消音棉作为墙体，柔和颜色的墙面装饰以测试所需的道具。房间内放置桌椅玩具，用于范式试验。桌椅靠近长边墙体，置于长边的两个摄像头之间，评估者的椅子靠墙置于紧邻两镜头的盲区，被试者的椅子在工作人员的正对面且可被各个摄像头捕捉。墙面贴有海报，挂有可发出声音的玩具飞机。场景道具包含毛绒小鸭子玩具一个，小火车一个，带有标记的手绢一块。
进一步的，范式切换及确认模块，用于在试验中通过实时语音识别评估者的语音内容，当识别到切换范式的语音关键字时，标记该语音关键字的时间点并记录所切换的范式试验，并反馈信号到隐藏安装于一体化可移动房间箱体内的信号灯，以变换信号灯颜色通知评估者范式切换成功。
试验过程中，通过实时的语音识别来识别评估者的语音，当识别出切换范式的语音关键词时，标记时间点并记录切换的范式；并通过无线信号反馈信号到隐藏安装于一体化可移动房间箱体内的信号灯，以通过变换信号灯颜色通知评估者范式切换成功以辅助指导试验。
本发明结合调查问卷及多模态范式行为数据分析的孤独症评估系统能够提供自由交互环境并开展结构化评估范式试验，采集并分析多模态多视角多范式行为数据，可对被试者的各方面能力进行评估，使得筛查或评估患孤独症的风险系数更加准确，并且可通过机器学习模型根据被试者的各方面能力(沟通能力、社交、执行力、运动协调、自理、注意力、情绪管理、认知的能力等)得分对孤独症被试者进行干预，降低了相关医疗工作者的工作强度及压力。
具体的，结合图2，利用本发明结合调查问卷及多模态范式行为数据分析的孤独症评估系统对被试者进行孤独症评估的流程如下所示：
预备步，知情同意
被试者的监护人阅读数据采集及分析的知情同意书，并在签署同意后方可进行试验；
第一步，问卷填写
照顾者(父母或者与被试者共同生活两周以上的人)在规定设备上填写问卷并做出回答，并将答案上传至处理器；
第二步，试验准备
工作人员布置试验场地，调整桌子及装饰物位置，不使用的无关场景道具需放置于储物柜中隐藏；工作人员调试道具，评估者与被试者相互熟悉；
第三步，进行范式试验
控制电脑打开场地内摄像头、麦克风以及音视频录制软件，评估者与被试者在场地内进行活动，活动内容，包括自由活动与范式测试；例如：
试验过程中，将“我们一起来玩xxx(游戏或玩具名称)吧？”的语音内容作为切换范式的信号，不同类型游戏或玩具名称分别对应不同范式类型。实时识别评估者的说话内容，根据其语音信息标记范式切换时间及范式类型，并通过切换小桌子下方的信号灯的颜色，反馈切换信息给评估者，以提醒评估者确认切换成功；
其中，范式测试可包括：叫名反应范式，非社会行声音刺激行为范式，响应性共同注意力范式，非社会性微笑范式，社会性社交微笑范式，加强依恋安全性范式，行为恰当性范式，立即性仿说范式，人称代词区分范式，语言指向性范式等。本次试验主要进行叫名反应范式、非社会行声音刺激行为范式、加强依恋安全性范式、社会性及分享性微笑范式、非社会性微笑范式。
第四步，数据同步
将6个RGB-D摄像头采集到的数据分别保存成6份RGB彩色视频以及深度数据图片文件夹，每个摄像头RGB视频的每一帧都与其深度文件夹中的图片一一对应；同时，三个麦克风采集到的语音数据也作为三通道的音轨与视频文件同步保存。
第五步，数据处理。
首先，问卷分数整理。处理缺失数据或格式错误的数据，整理形成数组。
然后，根据范式切换的标记时间切分同步后的音视频数据，并根据范式切换的信号语音内容按照范式类型根据对应的规则进行分析并打分。
(1)叫名反应范式
使用语音识别技术，识别和定位叫名测试时到时间点
使用人脸检测技术，检测
之后采集到的人脸特征；使用头部姿态估计技术，检测
之后采集到的被试者头部朝向；使用人脸识别技术，筛选检测到的人脸中被试者到人脸并定位被试者的转头时间点
使用人脸检测技术，
之后标记检测不到被试者的时间点
跟据公式
计算反应时间。
跟据公式
计算转头持续时间；跟据叫名至第一次检测到被试者人脸到叫名次数n1、反应时间
持续时间
被试者头部特征，对被试者叫名反应进行0,1,2三分类到打分。其中分数越高反应越明显，分数为0则没有回头反应。
(2)非社会性声音刺激行为范式
使用语音识别技术，识别和定位发声玩具开启到时间点
使用行人标记技术，标记场景中的被试者、被试者陪同亲属及试验参与工作人员；使用人脸检测和标记技术，检测
之后是否采集到被试者转头朝向发声玩具到人脸,及转头时间
使用目光检测技术，检测被试者的眼神方向是否看向发声玩具；使用手部检测技术，检测被试者手部的位置；使用手势识别技术，在被试者手部位置检测被试者食指指向发声玩具到时间
使用姿态估计技术，识别被试者在指向发声玩具时，被试者的姿势和手臂的角度；在被试者手部位置检测试验工作人员及其他陪同人员是否使用食指指向发声玩具引导被试者反应，及指物时间
跟据被试者是否转头及转头反应时间
的长短、是否目光看向发声玩具，是否在引导后才进行才反应，对被试者非社会性声音刺激的反应进行0,1,2三分类到打分。其中，分数越低反应越明显，分数为2则没有任何转头或其他的反应。
跟据被试者是否手指指向发光玩具及指物反应时间
是否在引导后才进行指物及引导时间
指物的姿势，对被试者指物反应进行0,1,2三分类到打分。其中，分数越高反应越明显，分数为0则没有指物的反应。
(3)加强依恋安全性范式
使用人物检测技术，获取视频中每个参与者的位置；使用身份重识别技术，标记视频中每个参与者的身份；使用声纹识别技术，识别出场所内监护人和被试者的语音部分；检测监护人的位置坐标，当其坐标离被试者坐标距离超过d时，记录并标记的时间点
获取并标记无法在视频中检测到监护人及监护人离开场地的时间点
检测在
时间后，监护人是否用语言告别，并记录语言时间
检测在
时间后，被试者头部朝向及目光是否指向监护人的活动轨迹；检测在
时间后，是否能在场所出口方向检测到被试者的正脸即检测到被试者转头看向出口，并标记转头时间点
检测被试者在
时间后的情绪；检测被试者在
时间后的语音是否包含呼唤监护人的语音以及呼唤时间点
检测被试者在
时间后的坐标是否进行移动，并缩短与监护人的坐标距离即追随监护人,开始移动的时间
检测被试者在
时间后的坐标是否进行移动，并靠近出口即追随监护人；检测监护人重新出现在试验场地的时间，并标记时间点为
检测被试者在
时间后的情绪；检测被试者在
时间后的语音是否包含呼唤监护人的语音以及呼唤时间点
检测被试者在
时间后的坐标是否进行移动，并缩短与监护人的坐标距离即追随监护人,开始移动的时间
检测被试者在
时间后的坐标是否进行移动，并靠近监护人。
根据被试者是否在监护人离开过程中的情绪变化、是否望向监护人、走向监护人、呼唤监护人，或被试者在监护人离开场所后的情绪变化、是否望向出口、走向出口、追随监护人，或被试者在监护人返回实验场地后的情绪变化、是否看向监护人、是否呼唤监护人以及时间间隔
对被试者依恋安全性范式的反应进行0,1,2打分。其中，分数越高反应越明显，分数为0则没有任何转头或呼唤或追随的反应。
(4)响应性共同注意力范式
使用语音识别技术，识别和定位侧方响应测试时间点
使用人脸检测以及人脸识别，筛选检测到的人脸中被试者的人脸并定位被试者的转头时间点
并利用头部姿态估计记录被试者转头至目标的最大朝向角度θ；当被试者转头回到初始位置时记录时间点
使用手部检测技术，检测被试者手部的位置；使用手势识别技术，在被试者手部位置检测被试者指向目标物体的时间
使用姿态估计技术，识别被试者在指向目标物体时，被试者的姿势和手臂的角度；跟据公式
计算反应时间；跟据公式
计算转头持续时间。
跟据被试者侧方响应的反应时间
转头持续时间
被试者转头最大朝向角度θ、手势和姿势，对被试者侧方反应进行0,1,2三分类到打分。其中，分数越高反应越明显，分数为0则没有转头反应。后方响应测试的技术手段同侧方响应测试。
(5)社会性及分享性微笑范式
使用语音识别技术，识别并标记试验工作人员说出微笑，赞美，打招呼，手绢躲猫猫，假装挠痒痒，挠痒痒中第i种微笑诱导刺激行为的时间分别为
(i＝1为微笑，i＝2为赞美，i＝3为打招呼，i＝4为手绢躲猫猫，i＝5为假装挠痒痒，i＝6为挠痒痒)；使用表情识别技术，识别被试者表情是否在
后笑，并分别标记对应笑容开始的时间点
和笑容结束的时间点
根据被试者在第i(i＝1,2,3,6)种微笑诱导刺激后的反应时间
笑容持续时间
对被试者社会性及分享性微笑范式的第i种刺激进行0,1,2三分类打分；其中，分数越高反应越明显，分数为0则没有微笑反应。
使用物体识别技术，识别并标记画面中第n(n＝1,2,3)次手绢诱导即第n(n＝1,2,3...)次出现手绢后手绢消失的时间
使用表情识别技术，识别被试者表情是否在
后笑，并分别标记对应笑容开始的时间点
和笑容结束的时间点
根据被试者在第4种微笑诱导第n次刺激后的反应时间
笑容持续时间
对被试者社会性及分享性微笑范式的第4种刺激进行0,1,2三分类打分；其中，分数越高反应越明显，分数为0则没有微笑反应；
使用语音识别技术，识别并标记画面中m(m＝1,2)次假装挠痒痒诱导刺激的时间
使用表情识别技术，识别被试者表情是否在
后笑，并分别标记对应笑容开始的时间点
和笑容结束的时间点
根据被试者在第5种微笑诱导第m次刺激后的反应时间
笑容持续时间
对被试者社会性及分享性微笑范式的第5种刺激进行0,1,2三分类打分；其中，分数越高反应越明显，分数为0则没有微笑反应。将五种刺激的范式分数进行排列，获得社会性及分享性微笑范式分数数组。
(6)非社会性微笑范式
记录幽默动画开始播放的时间点
使用表情识别技术，识别并标记被试者在
后开始第j(j＝1,2,3...)次笑容来时的时间
和本次笑容停止的时间
使用眼动识别技术，识别并标记被试者在
后观看动画全程的眼动轨迹热点A；记录动画播放结束的时间点
根据被试者在
之间，第j(j＝1,2,3...)次笑容的反应时间
第j(j＝1,2,3...)次笑容的持续时间
发出笑容的从次数max{j}，及眼动轨迹热点A对被试者非社会性微笑范式进行0,1,2三分类打分；其中，分数越高反应越明显，分数为0则没有微笑反应。
最后，结合各范式中反应时间间隔、动作幅度等行为数据及问卷分数，分析被试者各个范式得分、各项能力得分及孤独症风险系数。将各范式中个行为指标的详细数据与问卷各问题分数依次排列成向量，使用此向量根据机器学习算法对被试者进行分类，并计算各项能力分数，得出评估结果。根据其各项能力得分及评估结果，可通过机器学习算法匹配与被试者相匹配的干预计划。
第六步，数据储存
将被试者被采集的音视频数据，问卷数据，通过服务器内网以及储存到NAS(Network Attached Storage)网络储存设备中，存入数据档案库。
第七步，及结果呈现
在结果电脑上输入被试者的姓名和查询号码，可以显示个人档案评估结果。结果包括被试者的孤独症风险系数，代表被试者能力等级的多边形，各项能力的详细相关分析，以及相应的干预计划。并可打印结果，可以发送电子稿至被试者家长的电子设备终端。
本发明结合调查问卷及多模态范式行为数据分析的孤独症评估系统提供了一个可移动的模拟真实的试验场景，并且进行隐藏采集设备，提供了自然舒适的试验环境，极大程度还原被试者的日常状态；并且由于采用多角度完整获取试验场景人、物的三维数据，并结合问卷数据和范式试验数据使用机器学习方法进行评估，使得筛查及评估结果更加接近专业医生的分析，更加准确。
另外，本发明使用机器识别被试者试验反应的方法，使得范式分析的数据不在局限于人工打分的简单分数，而是包含更多机器识别的的反应时间、反应角度等更为准确的行为详细数据，避免了人工打分的主观性。并且，本发明根据评估结果可相应匹配干预方案，通过机器学习算法计算各范式得分、被试者能力得分及方案匹配，使得评估结果比传统的累计阀值计算法更为精确，并且提供了多图表及被标签视频的多维度分析报告模式，使得分析过程更有利于非专业人员的理解，且更有信服力。
本发明由于采用可整体迁移的试验场景装置，极大提升了试验场景的可复制性及迁移便携性，有利于装置的普及使用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，包括
问卷数据采集模块，用于采集被试者进行综合能力考量的调查问卷数据；
场景模块，用于进行各范式试验的可整体移动的一体化房间箱体；
多个深度图像采集模块，用于多视角多角度采集在场景装置内进行各范式试验过程中的视频数据，所述视频数据中包括图像的深度信息；
语音采集模块，用于采集在场景装置内进行各范式试验过程中的音频数据；
控制模块，用于控制启动所述问卷数据采集模块、深度图像采集模块及语音采集模块；
范式切换及确认模块，用于在试验过程中识别并标记评估者语音数据中的范式切换信号，并实时反馈给试验中的评估者进行范式试验；
数据同步模块，用于基于时间戳同步对齐所采集到的视频数据、音频数据，得到多模态音视频数据；
数据储存模块，用于储存所采集的多模态音视频数据及文件数据，并以个人档案形式储存；
数据处理模块，用于根据多模态音视频数据中各项范式试验的时间起点，识别并获取各范式试验中被试者的相关特征信息，并根据不同范式规则分别对各项范式分数进行打分；用于根据相关特征信息并结合问卷数据，通过机器学习算法计算被试者的不同指标分数及患孤独症的风险系数；其中，所述相关特征信息包括目光朝向信息、头部朝向信息、手势信息、姿势信息、面部表情信息、位置坐标信息、语言情绪信息和语音内容信息中的一种或多种；
结果呈现模块，用于展示被分析标签后的多模态音视频数据结果，包括被试者的各项范式分数、不同指标分数、孤独症风险系统、干预方案中的任意组合。
2.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，还包括干预方案确定模块，用于根据被试者的不同指标分数及患孤独症的风险系数通过机器学习算法从干预方案库中选择相应强度课程，形成相应干预方案，所述课程包括重复时长。
3.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，数据处理模块中，识别并获取目光朝向信息时，通过人脸检测与识别获取脸部特征点，从中选取出双眼的特征点，并利用空间坐标变换计算出双眼特征点的世界坐标系3D坐标；通过将双眼的3D坐标输入到目光追踪神经网络模型中，输出目光的朝向。
4.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所述深度图像采集模块为RGB-D摄像头，所述语音采集模块包括阵列麦克风和/或可穿戴麦克风。
5.如权利要求4所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所述场景模块为一体化可移动房间箱体，所述多个深度图像采集模块隐藏安装于所述一体化可移动房间箱体的四周，用于多角度采集试验过程中的视频数据；当所述语音采集模块包含阵列麦克风时，所述阵列麦克风隐藏安装于所述一体化可移动房间箱体内。
6.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，范式切换及确认模块，用于在试验中通过实时语音识别评估者的语音内容，当识别到切换范式的语音关键字时，标记该语音关键字的时间点并记录所切换的范式试验，并反馈信号到隐藏安装于一体化可移动房间箱体内的信号灯，以变换信号灯颜色通知评估者范式切换成功。
7.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，还包括场景道具，用于布置在一体式可移动房间箱体中以辅助被试者进行各范式试验。
8.如权利要求7所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所述场景道具包括显示装置、墙面海报、挂于墙上的可发出声音的玩具、放置于实验环境内的其他若干用于吸引被试者注意力的玩具。
9.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所述问卷数据为基于个人信息、言语行为评估量表、自闭症行为评定量表、心理教育评定量表、修正婴幼儿自闭症检查量表、自闭症行为评定量表及婴幼儿评估、评监及课程计划系统中的问题进行筛选和/或修改组合而成的问卷调查数据。
10.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所进行的范式试验包括叫名反应范式试验、非社会行声音刺激行为范式试验、响应性共同注意力范式试验、非社会性微笑范式试验、社会性社交微笑范式试验、加强依恋安全性范式、行为恰当性范式试验、立即性仿说范式试验、人称代词区分范式试验、语言指向性范式试验中的任意组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910606484.7A CN110349667B (zh) | 2019-07-05 | 2019-07-05 | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910606484.7A CN110349667B (zh) | 2019-07-05 | 2019-07-05 | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110349667A CN110349667A (zh) | 2019-10-18 |
| CN110349667B true CN110349667B (zh) | 2021-09-07 |
Family
ID=68177878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910606484.7A Active CN110349667B (zh) | 2019-07-05 | 2019-07-05 | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110349667B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837784B (zh) * | 2019-10-23 | 2023-06-20 | 中山大学 | 一种基于人体头部特征的考场偷窥作弊检测系统 |
| CN111128368B (zh) * | 2019-10-31 | 2023-04-07 | 东南大学 | 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置 |
| CN111081371A (zh) * | 2019-11-27 | 2020-04-28 | 昆山杜克大学 | 基于虚拟现实的孤独症早期筛查评估系统及方法 |
| CN112992295A (zh) * | 2019-12-13 | 2021-06-18 | 韩美营销集团 | 一种为糖尿病孕妇提供个性化信息的方法及装置 |
| CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及系统 |
| CN114038552A (zh) * | 2021-11-09 | 2022-02-11 | 北京康安启元科技有限公司 | 一种asd筛查与辅助诊断系统、方法、装置及电子设备 |
| CN114242235A (zh) * | 2021-12-16 | 2022-03-25 | 北京阿叟阿巴科技有限公司 | 一种基于多层级关键特征行为的孤独症患者画像方法 |
| CN114842958A (zh) * | 2022-04-07 | 2022-08-02 | 北京正在关怀科技有限公司 | 儿童综合能力评估分析系统及方法 |
| CN114974571B (zh) * | 2022-05-27 | 2023-03-24 | 浙江大学医学院附属儿童医院 | 多模态数据驱动的孤独症检测系统、设备及存储介质 |
| CN115565643A (zh) * | 2022-10-14 | 2023-01-03 | 杭州中暖科技有限公司 | 一种家庭教育及心理健康教育的评级管理系统 |
| CN115424108B (zh) * | 2022-11-08 | 2023-03-28 | 四川大学 | 一种基于视听融合感知的认知功能障碍评测方法 |
| CN116665892B (zh) * | 2023-03-24 | 2023-11-17 | 北京大学第六医院 | 孤独症评估系统、方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013071285A1 (en) * | 2011-11-11 | 2013-05-16 | Rutgers, The State University Of New Jersey | Methods for the diagnosis and treatment of neurological disorders |
| CN109431523B (zh) * | 2018-10-19 | 2022-08-30 | 昆山杜克大学 | 基于非社会性声音刺激行为范式的孤独症初级筛查装置 |
| CN109717878A (zh) * | 2018-12-28 | 2019-05-07 | 上海交通大学 | 一种用于孤独症共同注意诊断范式的检测系统及使用方法 |
-
2019
- 2019-07-05 CN CN201910606484.7A patent/CN110349667B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110349667A (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349667B (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
| CN110313923B (zh) | 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统 | |
| US10643487B2 (en) | Communication and skills training using interactive virtual humans | |
| CN110890140B (zh) | 基于虚拟现实的自闭症康复训练及能力评估系统及方法 | |
| CN109298779B (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
| Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
| CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| Gunes et al. | Bodily expression for automatic affect recognition | |
| CN110363129B (zh) | 基于微笑范式和音视频行为分析的孤独症早期筛查系统 | |
| CN111046823A (zh) | 基于课堂视频的学生课堂参与度分析系统 | |
| JP6850723B2 (ja) | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム | |
| CN111081371A (zh) | 基于虚拟现实的孤独症早期筛查评估系统及方法 | |
| US20050255434A1 (en) | Interactive virtual characters for training including medical diagnosis training | |
| US20180060757A1 (en) | Data annotation method and apparatus for enhanced machine learning | |
| Dubbaka et al. | Detecting learner engagement in MOOCs using automatic facial expression recognition | |
| Caridakis et al. | Multimodal user’s affective state analysis in naturalistic interaction | |
| CN117438048B (zh) | 一种精神科患者用心理障碍测评方法及系统 | |
| Wang et al. | Automated student engagement monitoring and evaluation during learning in the wild | |
| JP2018032164A (ja) | 面接システム | |
| WO2020128999A1 (en) | System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence | |
| CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、系统及介质 | |
| US20220383896A1 (en) | System and method for collecting behavioural data to assist interpersonal interaction | |
| CN110364260A (zh) | 基于指示性语言范式的孤独症早期评估装置及系统 | |
| Pise et al. | Estimation of learning affects experienced by learners: an approach using relational reasoning and adaptive mapping | |
| Cheng et al. | Computer-aided autism spectrum disorder diagnosis with behavior signal processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Ming Inventor after: Zou Xiaobing Inventor after: Pan Yueran Inventor after: Cai Kunjing Inventor before: Zou Xiaobing Inventor before: Pan Yueran Inventor before: Cai Kunjing |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |