CN110349667A - 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 - Google Patents

结合调查问卷及多模态范式行为数据分析的孤独症评估系统 Download PDF

Info

Publication number
CN110349667A
CN110349667A CN201910606484.7A CN201910606484A CN110349667A CN 110349667 A CN110349667 A CN 110349667A CN 201910606484 A CN201910606484 A CN 201910606484A CN 110349667 A CN110349667 A CN 110349667A
Authority
CN
China
Prior art keywords
normal form
data
subject
test
questionnaire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910606484.7A
Other languages
English (en)
Other versions
CN110349667B (zh
Inventor
邹小兵
潘悦然
蔡昆京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Duke Kunshan University
Third Affiliated Hospital Sun Yat Sen University
Original Assignee
Duke Kunshan University
Third Affiliated Hospital Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Duke Kunshan University, Third Affiliated Hospital Sun Yat Sen University filed Critical Duke Kunshan University
Priority to CN201910606484.7A priority Critical patent/CN110349667B/zh
Publication of CN110349667A publication Critical patent/CN110349667A/zh
Application granted granted Critical
Publication of CN110349667B publication Critical patent/CN110349667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提出了一种结合调查问卷及多模态范式行为数据分析的孤独症评估系统，包括问卷数据采集模块、场景模块、多个深度图像采集模块、语音采集模块、控制模块、范式切换及确认模块、数据同步模块、数据储存模块、数据处理模块、结果呈现模块。本发明通过对被试者进行各项范式试验，根据各范式试验中被试者的相关特征信息及各范式试验规则对被试者的各项范式分数打分，并结合问卷数据通过机器学习算法计算被试者的不同指标分数及患孤独症的风险系数，从而更好地进行孤独症评估并进行干预。

Description

结合调查问卷及多模态范式行为数据分析的孤独症评估系统
技术领域
本发明涉及图像处理、语音识别、行为信号分析领域，更具体地，涉及一种结合调查问 卷及多模态范式行为数据分析的孤独症评估系统，通过进行各项范式试验并提取多种行为特 征，同时结合问卷调查数据进行联合分析，以评估预测孤独症谱系障碍的装置、系统。
背景技术
孤独症谱系障碍(Autism Spectrum Disorder，ASD)在过去的几年里，愈发收到社会各 界的关注。医学、心理学、计算机等领域的专家和研究机构，都在病因、诊断、治疗等方面 先后取得了重要发现。对于孤独症，现阶段广泛使用的评估方法，主要采用了孤独症诊断观 察量表(Autism Diagnostic Observation Schedule,ADOS)、儿童孤独症评定量表(Childhood Autism Rating Scale，CARS)等量表。ADOS等量表中，儿童的社会互动、语言交流及行为 能力被观察评估。这些量表法是基于行为观察的半结构式诊断方法，通常需要经验丰富的专 业医疗人员对孩子的行为进行使用，并进行长时间的实验，才能获得准确的评估结果。这不 仅要求极高的诊断成本，也难以进行普及，减少了儿童孤独症被及时发现的机会。
随着计算机的发展，越来越多的人工智能孤独症评估或干预工具被开发，以服务于评估 儿童孤独症。现有的计算机辅助工具中，不乏多模态系统。然而，目前大多数多模态工具被 用于进行干预而非筛查，其原因在于孤独症筛查系统相对要求更高的专业性、准确性，并且 对真实场景的模拟要求更加严格，多维度信息捕捉需要更加完全。普通的辅助工具难以创造 儿童互动场景并获取互动反馈信息进行分析。因此，能够用于测评的工具少之又少。现有的 孤独症评估工具中，总体按照刺激方式分为两类：基于机器刺激和基于真人刺激。
其中，基于机器刺激的辅助评估装置基本使用对儿童进行图像刺激，通过采集儿童看视 频的反应进行评估。专利号为CN201380015493.X的专利申请文件公开了自闭症诊断辅助方 法和系统以及自闭症诊断辅助装置，提出让儿童坐在电脑显示器前观看图像，通过分析儿童 反馈的眼球运动等数据以进行评估；专利号为CN201810873155.4的专利申请文件公开了一种 用于认知和发育状况的检测的系统和方法，提出一个椅状认知检测系统，通过采集被试者坐 在椅中观看视频的反馈以进行评估。专利号为CN201811521265.0的专利申请文件公开了一种 虚拟现实VR+听觉统合治疗儿童自闭症及评估方法，提出使用VR眼镜绷住儿童进学习和评 估。然而，视频刺激模式通常会限制儿童的自由走动，或者要求儿童穿戴辅助装置，这些都 无法模拟真实无限制的场景，难以较好地搜集并分析儿童自然真实的表现，进而影响筛查及 评估结果。
基于真人刺激的分析系统主要采用在活动场地中布置采集设备的方式采集实验数据。专 利号为CN201620172514.X的专利申请文件公开了一种基于音频特征的多模态同步行为数据 采集系统，通过建立在一个较大的房间中建立多模态同步行为数据采集系统；专利号为 CN201711083892.6的专利申请文件公开了一种自闭症儿童及家庭信息管理系统，提出采集儿 童的家庭生活视频进行分析。然而，这些模式暴露摄像头等采集设备在场景中容易影响儿童 情绪，并且采集设备基于固定房间布置，场地难以整体迁移，复制困难。
因此，如果能够完整模拟一个可整体移动的真实场景进行实验，隐藏摄像头、麦克风等 设备，并全面采集试验中针对孤独症筛查定制的多个成套范式的声音、图像等多模态数据， 将能更加有效地增加装置对孤独症评估的客观性，适合用于筛查及评估。
发明内容
针对现有技术的不足，本发明提出一种结合调查问卷及多模态范式行为数据分析的孤独 症评估系统，能够提供一个真实且可以整体移动场景，不限制参与人员行动自由，多角度采 集所有参与人员的多模态活动数据并结合调查问卷数据加以分析，从而准确、全面地评估患 孤独症的风险系数。
本发明的技术方案是这样实现的：
一种结合调查问卷及多模态范式行为数据分析的孤独症评估系统，包括
问卷数据采集模块，用于采集被试者进行综合能力考量的调查问卷数据；
场景模块，用于进行各范式试验的可整体移动的一体化房间箱体；
多个深度图像采集模块，用于多视角多角度采集在场景装置内进行各范式试验过程中的 视频数据，所述视频数据中包括图像的深度信息；
语音采集模块，用于采集在场景装置内进行各范式试验过程中的音频数据；
控制模块，用于控制启动所述问卷数据采集模块、深度图像采集模块及语音采集模块；
范式切换及确认模块，用于在试验过程中识别并标记评估者语音数据中的范式切换信号， 并实时反馈给试验中的评估者进行范式试验；
数据同步模块，用于基于时间戳同步对齐所采集到的视频数据、音频数据，得到多模态 音视频数据；
数据储存模块，用于储存所采集的多模态音视频数据及文件数据，并以个人档案形式储 存；
数据处理模块，用于根据多模态音视频数据中各项范式试验的时间起点，识别并获取各 范式试验中被试者的相关特征信息，并根据不同范式规则分别对各项范式分数进行打分；用 于根据相关特征信息并结合问卷数据，通过机器学习算法计算被试者的不同指标分数及患孤 独症的风险系数；其中，所述相关特征信息包括目光朝向信息、头部朝向信息、手势信息、 姿势信息、面部表情信息、位置坐标信息、语言情绪信息和语音内容信息中的一种或多种；
结果呈现模块，用于展示被分析标签后的多模态音视频数据结果，包括被试者的各项范 式分数、不同指标分数、孤独症风险系统、干预方案中的任意组合。
进一步的，还包括干预方案确定模块，用于根据被试者的不同指标分数及患孤独症的风 险系数通过机器学习算法从干预方案库中选择相应强度课程，形成相应干预方案，所述课程 包括重复时长。
进一步的，数据处理模块中，识别并获取目光朝向信息时，通过人脸检测与识别获取脸 部特征点，从中选取出双眼的特征点，并利用空间坐标变换计算出双眼特征点的世界坐标系 3D坐标；通过将双眼的3D坐标输入到目光追踪神经网络模型中，输出目光的朝向。
进一步的，所述深度图像采集模块为RGB-D摄像头，所述语音采集模块包括阵列麦克风 和/或可穿戴麦克风。
进一步的，所述场景模块为一体化可移动房间箱体，所述多个深度图像采集模块隐藏安 装于所述一体化可移动房间箱体的四周，用于多角度采集试验过程中的视频数据；当所述语 音采集模块包含阵列麦克风时，所述阵列麦克风隐藏安装于所述一体化可移动房间箱体内。
进一步的，范式切换及确认模块，用于在试验中通过实时语音识别评估者的语音内容， 当识别到切换范式的语音关键字时，标记该语音关键字的时间点并记录所切换的范式试验， 并反馈信号到隐藏安装于一体化可移动房间箱体内的信号灯，以变换信号灯颜色通知评估者 范式切换成功。
进一步的，还包括场景道具，用于布置在一体式可移动房间箱体中以辅助被试者进行各 范式试验。
进一步的，所述场景道具包括显示装置、墙面海报、挂于墙上的可发出声音的玩具、放 置于实验环境内的其他若干用于吸引被试者注意力的玩具。
进一步的，所述问卷数据包括言语行为评估量表问卷数据、自闭症行为评定量表问卷数 据、心理教育评定量表问卷数据、修正婴幼儿自闭症检查量表问卷数据、自闭症行为评定量 表问卷数据及婴幼儿评估、评监及课程计划系统问卷数据中的任意组合。
进一步的，所进行的范式试验包括叫名反应范式试验、非社会行声音刺激行为范式试验、 响应性共同注意力范式试验、非社会性微笑范式试验、社会性社交微笑范式试验、加强依恋 安全性范式、行为恰当性范式试验、立即性仿说范式试验、人称代词区分范式试验、语言指 向性范式试验中的任意组合。
本发明通过对被试者进行各项范式试验，根据各范式试验中被试者的相关特征信息及各 范式试验规则对被试者的各项范式分数打分，并结合问卷数据通过机器学习算法计算被试者 的不同指标分数及患孤独症的风险系数，从而更好地进行孤独症评估并进行干预。本发明可 根据被试者的不同指标分数通过机器学习算法从干预方案库中选择相应强度课程，形成相应 方案，更利于对孤独症的治疗。
与现有技术相比，本发明具有以下优点：
(1)提出了模拟真实的试验场景，隐藏采集设备，提供自然舒适的试验环境，极大程度 还原被试者的日常状态。
(2)提出了可整体迁移的试验场景装置，极大提升了试验场景的可复制性及迁移便携性， 有利于装置的普及使用。
(3)提出了通过多个同步的隐藏的深度视频及眼动数据采集设备，捕捉引入坐标信息， 多角度完整获取试验场景人、物的三维数据，相比普通RGB摄像头能更全面精准获取被试者 的多模态数据。
(4)提出了结合问卷数据和范式试验数据使用机器学习方法进行评估，使得筛查及评估 结果更加接近专业医生的分析，更加准确。
(5)提出了多图表及被标签视频的多维度分析报告模式，使得分析过程更有利于非专业 人员的理解，且更有信服力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这 些附图获得其他的附图。
图1为利用本发明结合调查问卷及多模态范式行为数据分析的孤独症评估系统进行试验 的流程图；
图2为一体化可移动房间箱体的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
参阅图1及图2，本发明一实施方式公开了一种结合调查问卷及多模态范式行为数据分 析的孤独症评估系统，包括
问卷数据采集模块，用于采集被试者进行综合能力考量的调查问卷数据；
场景模块，用于进行各范式试验的可整体移动的一体化房间箱体；
多个深度图像采集模块，用于多视角多角度采集在场景装置内进行各范式试验过程中的 视频数据，所述视频数据中包括图像的深度信息；
语音采集模块，用于采集在场景装置内进行各范式试验过程中的音频数据；
控制模块，用于控制启动所述问卷数据采集模块、深度图像采集模块及语音采集模块；
范式切换及确认模块，用于在试验过程中识别并标记评估者语音数据中的范式切换信号， 并实时反馈给试验中的评估者进行范式试验；由于需要进行多项范式试验以综合、准确地评 估被试者的能力，因此需要通过识别多模态音视频数据中各项范式试验的时间起点，以便获 取各范式试验中被试者的相关特征信息。
数据同步模块，用于基于时间戳同步对齐所采集到的视频数据、音频数据，得到多模态 音视频数据；
数据储存模块，用于储存所采集的多模态音视频数据及文件数据，并以个人档案形式储 存；
数据处理模块，用于根据多模态音视频数据中各项范式试验的时间起点，识别并获取各 范式试验中被试者的相关特征信息，并根据不同范式规则分别对各项范式分数进行打分；用 于根据相关特征信息并结合问卷数据，通过机器学习算法计算被试者的不同指标分数及患孤 独症的风险系数；其中，所述相关特征信息包括目光朝向信息、头部朝向信息、手势信息、 姿势信息、面部表情信息、位置坐标信息、语言情绪信息和语音内容信息中的一种或多种；
结果呈现模块，用于展示被分析标签后的多模态音视频数据结果，包括被试者的各项范 式分数、不同指标分数、孤独症风险系统、干预方案中的任意组合。例如，以图表形式直观 展现被试者的各项评分，并可通过结果显示电脑查询被试者各项能力分数与匹配的干预方案 建议，并可进行打印病历。
根据多模态音视频数据，可以准确获得被试者及其他试验参与人员的坐标、朝向、目光、 手势、姿势、表情、声音、动作、行人ID特征，针对不同范式的测量要求，对每个范式进行 打分；然后根据范式中反应数据和问卷数据整理结果，使用机器学习算法，计算被试者的不 同指标分数，比如沟通能力、社交、执行力、运动协调、自理、注意力、情绪管理、认知的能力分数，并计算其孤独症风险系数。
其中，各范式试验得分、被试者的不同指标分数、孤独症风险系数均通过机器学习算法 进行评估或打分，不仅涵盖了孤独症的多个维度，而且采用计算机算法进行评估，避免了现 有评估方法的主观性，可更准确、更完整、更客观地对孤独症进行评估。
本发明实施方式中，通过对已知孤独症情况的被试者进行各范式试验及问卷调查，并进 行训练分类器，得到孤独症风险系统模型及其他打分模型；最后再根据被试者的各项范式试 验打分情况及调查问卷数据，通过孤独症风险系统模型计算其孤独症风险系数，得出评估结 果，为医生提供参考。
其中，问卷数据为基于个人信息、言语行为评估量表、自闭症行为评定量表、心理教育 评定量表、修正婴幼儿自闭症检查量表、自闭症行为评定量表及婴幼儿评估、评监及课程计 划系统中的问题进行筛选和/或修改组合而成的问卷调查数据。
本发明实施方式中，调查问卷是以言语行为评估量表(Verbal BehaviorMilestones Assessment and Placement Program，VB-MAPP)、自闭症行为评定量表(Autism Behavior Checklist，ABC)、心理教育评定量表(Psycho-educational Profile，PEP)、修正婴幼儿自闭症 检查量表(Modified Checklist for Autism in Toddlers，M-CHAT)、自闭症行为评定量表(Autism Behavior Checklist，ABC)及婴幼儿评估、评监及课程计划系统(Assessment,Evaluation,and Programming System，AEPS)等量表为基础，参考我国《儿童发展指南》，综合整理形成了一 套以自闭症儿童的社交沟通薄弱和兴趣狭窄为评估核心，同时综合考量被试者的关键发展能 力,包括沟通能力、社交、执行力、运动协调、自理、注意力、情绪管理、认知、交流等能力 进行考察的调查问卷，以便全面地被试者的各方面能力进行评估。其中，问卷调查由被试者 父母或与被试者共同生活2周以上的人评定。
具体的，在进行问卷调查时，将问卷选择题的程度结果转化为数字结果，如：2＝非常 频繁，1＝一般频率，0＝几乎没有，并整理成数组。将调查问卷问答题的回答通过关键词提 取，转化为关键词的频次向量。将一个被试者各范式所获得的分数，与问卷分数，组成一个 1维向量x，ASD系数为y，通过建立从x到y的映射，进行机器学习训练模型。使用训练好的模型可对新的被试者进行ASD系数的预测并对兴趣点、沟通能力、社交能力、游戏能力、自理能力、执行力、认知能力、运动能力及能力细节进行评分。
可以使用逻辑回归(Logistic Regression)，支持向量机(SVM)等机器学习算法进行训练 分类器，以得到孤独症预测模型。例如，
使用逻辑回归进行训练分类器时，根据逻辑回归的方程：
t＝ω1x+b1
通过训练多个被标记被试者的数据可以得到w1和b1。当获得新的被试者数据特征的向量 x′时，可以根据以上方程求出其对应的分类，进而得到孤独症预测模型。
而当使用支持向量机进行训练分类器时，通过找到能将已标记的患者与非患者数据点击 分开的最大间隔超平面进行学习，超平面可以写作满足一下方程的点集x：
ω2·x-b2＝0
通过训练可以求得最优ω2。当获得新的被试者数据特征的向量x′时，可以根据ω2·x-b2计算结果求出其在超平面的哪一侧，进而进行孤独症评估。
进一步的，所进行的范式试验包括叫名反应范式试验、非社会行声音刺激行为范式试验、 响应性共同注意力范式试验、非社会性微笑范式试验、社会性社交微笑范式试验、加强依恋 安全性范式、行为恰当性范式试验、立即性仿说范式试验、人称代词区分范式试验、语言指 向性范式试验中的任意组合。其中，
a.叫名反应范式
被试者在进行其他活动时，在其后方或侧后方进行无预告的叫名反应测试，跟据被试者 回应的时间、回头的角度进行打分。
b.非社会性声音刺激行为范式
被试者在进行其他活动时，在其侧方或后方无预告开启发声玩具，跟据被试者转头关注 玩具的时间、转头到角度、关注眼神的角度和时间、使用手指指示玩具的时间进行打分。
c.加强依恋安全性范式
被试者、照顾者、评估者三人在场景内活动游戏，监护人按照试验工作人员的指示，在 被试者视线可及到方向上离开试验区域，并在被试者没有跟随时配合语言向被试者告别，稍 后返回试验现场，跟据被试者是否跟跟随监护人离开或对监护人进行语言呼唤以及被试者是 否迎接监护人的返回进行打分。
d.响应性共同注意力范式
试验工作人员转头看向场所内较远处某一件其他物品，并在转头的同时说出被试者的名 字和看向的物品名称，重复多次观察被试者反应，根据被试者是否看向同一物品及反应时间 进行打分。
e.社会性及分享性微笑范式
试验工作人员或其他参与人员面对面或通过显示屏的视屏电话向被试者微笑，赞美，打 招呼，手绢躲猫猫，假装挠痒痒，挠痒痒等行为，根据被试者在不用刺激分别是否用笑容回 应进行打分。
f.非社会性微笑范式
被试者观看幽默动画，根据被试者的微笑频率和程度进行打分。
当对被试者进行以上范式试验时，需要根据多模态音视频数据提取相应特征，包括：参 与人员的坐标、头部朝向、目光朝向、手势、姿势、面部表情、语音内容、行人身份，通过 这些特征信息，对被试者的在不同范式试验的表现分别进行打分。具体的，可通过一下方式 获取相应特征信息：
(1)空间坐标
对于每个摄像头的RGB视频图像中的像素点，都可以根据其在RGB图像中的横坐标u、 纵坐标v以及对应深度图中的深度数据d，结合预先获取的摄像机的内参，代入公式计算出该 像素点相对摄像机坐标系的3D坐标(x，y，z)。
其中，cx，cy，fx，fy都是摄像头组件光学参数。
(2)人脸检测与人脸识别
正脸检测：使用Dlib的MMOD人脸检测模块，能够在RGB视频中检测出人的正脸，得到每张人脸在图像中的矩形框，并识别出每张人脸的68个关键点(Landmark)的坐标。
侧脸检测：使用OpenCV深度神经网络工具包，其中的DNN人脸检测器能够检测出RGB 彩色图像的人的侧脸，并得到其矩形框。
人脸识别：主要是针对被试者的人脸识别。根据人脸检测可以得到脸的矩形框，将其裁 剪下来作为图片进行人脸对齐，然后输入到人脸识别模型中提取特征，与试验前预先保存的 被试者正脸特征进行比对即可判断是否为被试者。我们的人脸识别模型使用了度量学习的方 法在LFW数据集上进行训练。
(3)表情识别
使用ResNet在FER2013，CK+等人脸表情数据库上训练表情模型，该模型输出8种不同 的表情概率得分，其中概率得分最大的即为分类表情。对RGB视频的每帧图像先进行人脸检 测获得多个脸部矩形框，然后对脸部框做人脸对齐之后，输入到表情识别模型，输出得到每 张人脸的表情分类。
(4)头部姿态估计
头部姿态估计主要是识别人的脸部朝向。先使用Dlib的正脸检测RGB视频图像帧中的 人脸，获取脸部的68个landmark标记点，之后得到对应的深度图中的深度，根据公式对68 个特征点计算每个点的世界空间坐标系的3D坐标，每个点组合起来就可以得到脸部在空间 中的点云。根据脸部特征点的点云坐标，便可以计算脸部平面的法线向量，然后将法线向量 转化为头部姿态的Yaw，Pitch，Roll的欧拉角表示。
(5)物体检测
使用Yolov3对RGB视频逐帧进行物体检测，每一帧都返回画面中识别出来的物体的矩 形框四角坐标以及该物体所属种类，能够识别的物体种类为coco数据集的检测类别，一共80 种。
(6)人物检测与身份重识别
首先是人物的检测，使用Yolov3框架对彩色视频的每一帧进行物体检测，可以得到目标 检测的众多预选框，以人类为标签以及0.7为类别置信度阈值对预选框进行过滤，便可以得 到人的矩形框。然后将截取的人矩形框与预先设置的查询人物框输入到深度神经网络中提取 特征后进行特征比对，计算二者的欧式距离，欧式距离小则表明二者是属于同一个人物，否 则为不同身份的人。身份重识别能够保证每个视频画面中出现的每个人都能被准确识别身份。
(8)手势检测与识别
主要是检测与识别被试者的手势动作。利用labelImg工具将大量的手势标注成PASCAL VOC数据集的格式，每个数据都包含了手部的矩形框的四角坐标以及手势的分类，然后使用 Yolov3训练出一个手势的检测器，该检测器能检测画面中的手部，识别手势，并给出其矩形 框坐标以及所属的手指的指向。
(9)姿态估计
姿态估计主要是对被测者进行人体姿势分析。首先是关键点检测的COCO数据集上训练 深度神经网络HRNet(High-Resolution Net)，用来对人体关键点进行估计，将各关键点进行连 线形成人体骨架图，进而可以估计人体的姿态。
(10)目光追踪
目光追踪用来跟踪被试者的目光朝向方向。首先通过人脸检测与识别获取脸部特征点， 从中选取出双眼的特征点，并利用空间坐标变换计算出双眼特征点的世界坐标系3D坐标； 通过将双眼的3D坐标输入到目光追踪神经网络模型中，输出目光的朝向。
(11)语音识别
通过语音识别实时获取说话者的语音进行文本转换，从而获取说话者的语音内容。
本发明通过对被试者进行多项范式试验，并结合问卷调查数据综合评估被试者的能力， 从而对被试者进行孤独症评估，使得评估结果更加准确。
由于本发明实施方式主要用于儿童孤独症的早期评估，因此本发明实施方式中的被试者 为儿童，但不限于儿童；评估者可为医生或其他医疗工作人员，照顾者可父母或者与被试者 共同生活两周以上的人。
进一步的，结合调查问卷及多模态范式行为数据分析的孤独症评估系统还包括
干预方案确定模块，用于根据被试者的不同指标分数及患孤独症的风险系数通过机器学 习算法从干预方案库中选择相应强度课程，形成相应干预方案，所述课程包括重复时长。
本发明实施方式中，根据多模态音视频数据获取被试者及其他试验特征数据，结合试验 环境的数据，根据不同范式的规则计算被试者在不同范式试验中的分布得分，并结合问卷数 据，通过机器学习方法计算被试者各指标分数(如沟通能力、社交、执行力、运动协调、自 理、注意力、情绪管理、认知的能力等)、整个试验得分以及孤独症的风险系数，并从干预方 案库中通过机器学习算法匹配个性化干预方案。由于已知被试者的各指标分数，因此通过机 器学习算法从干预方案库中选择相应强度课程，形成个性化干预方案，从而有针对性地干预 被试者孤独症。例如，当被试者的沟通能力较差时，则匹配相应用于提高沟通能力的课程， 并根据其沟通能力的得分或测试过程，通过机器学习算法自动计算课程所要进行的时长等。
根据被试者能力进行干预方案制定时，参考婴幼儿评估、评监及课程计划系统(Assessment, Evaluation,and Programming System，AEPS)和《儿童发展指南》，并使用机器学习算法结合 过往干预案例及疗效进行计算，使用机器学习模型从干预方案库中选取合适的干预方案并得 到方案中每一种课程对应的强度及重复时长等定量结果，匹配各能力相应的判词解释和干预 方案建议，形成分能力指标及课程难度的干预方案。
进一步的，所述深度图像采集模块为RGB-D摄像头，所述语音采集模块包括阵列麦克风 和/或可穿戴麦克风。
其中，本发明实施方式中的深度图像采集装置可以是但不限于RGB-D摄像头，便于获取 RGB图像及图像的深度信息；语音采集装置包括阵列麦克风和/或分别用于佩戴于照顾者、评 估者、被试者身上的麦克风，用于多声道采集试验过程中的任务声音、环境声音及采集各说 话人的声音信息。
进一步的，参阅图2，所述场景模块为一体化可移动房间箱体，所述多个深度图像采集 模块隐藏安装于所述一体化可移动房间箱体的四周，用于多角度采集试验过程中的视频数据； 当所述语音采集模块包含阵列麦克风时，所述阵列麦克风隐藏安装于所述一体化可移动房间 箱体内。
为了能准确地获取被试者的相关特征信息，本发明实施方式将深度图像采集模块设置于 一体化可移动房间箱体的四周，以便能多角度记录试验过程中被试者的行为变化。因此，在 获取被试者的相关特征信息之前，先将多个摄像头所录制的视频数据基于时间戳进行同步对 齐，再将视频数据与音频数据在时间轴上同步对齐后。
其中，一体化可移动房间箱体内设置有相应场景道具，用于布置在一体式可移动房间箱 体中以辅助被试者进行各范式试验。具体的，场景道具包括显示装置、墙面海报、挂于墙上 的可发出声音的玩具(如可发出声音的飞机)、放置于实验环境内的其他若干用于吸引被试者 注意力的玩具和/或物件(如毛绒小鸭子、小火车、带有标记的手绢等)。
本发明实施方式中，场景装置为可整体式移动的一体化房间箱体，如：录音棚房间，活 动板房，房车等。房间包含了隔音吸音墙壁，单向观察玻璃镜，用于范式试验的道具，用于 储存道具的置物柜。房间内，可以安置数据采集设备(如深度图像采集装置等)并隐藏设备 及线路，可以播放图像的显示屏，具体可参阅图2。其中，房间内桌椅、玩具及其他道具均使 用绿色无害产品，保障被试者的身体健康。
具体的，本发明实施方式采用组装式4米×3米活动录音房作为场地。其中，彩钢阻燃 消音棉作为墙体，柔和颜色的墙面装饰以测试所需的道具。房间内放置桌椅玩具，用于范式 试验。桌椅靠近长边墙体，置于长边的两个摄像头之间，评估者的椅子靠墙置于紧邻两镜头 的盲区，被试者的椅子在工作人员的正对面且可被各个摄像头捕捉。墙面贴有海报，挂有可 发出声音的玩具飞机。场景道具包含毛绒小鸭子玩具一个，小火车一个，带有标记的手绢一 块。
进一步的，范式切换及确认模块，用于在试验中通过实时语音识别评估者的语音内容， 当识别到切换范式的语音关键字时，标记该语音关键字的时间点并记录所切换的范式试验， 并反馈信号到隐藏安装于一体化可移动房间箱体内的信号灯，以变换信号灯颜色通知评估者 范式切换成功。
试验过程中，通过实时的语音识别来识别评估者的语音，当识别出切换范式的语音关键 词时，标记时间点并记录切换的范式；并通过无线信号反馈信号到隐藏安装于一体化可移动 房间箱体内的信号灯，以通过变换信号灯颜色通知评估者范式切换成功以辅助指导试验。
本发明结合调查问卷及多模态范式行为数据分析的孤独症评估系统能够提供自由交互环 境并开展结构化评估范式试验，采集并分析多模态多视角多范式行为数据，可对被试者的各 方面能力进行评估，使得筛查或评估患孤独症的风险系数更加准确，并且可通过机器学习模 型根据被试者的各方面能力(沟通能力、社交、执行力、运动协调、自理、注意力、情绪管 理、认知的能力等)得分对孤独症被试者进行干预，降低了相关医疗工作者的工作强度及压 力。
具体的，结合图2，利用本发明结合调查问卷及多模态范式行为数据分析的孤独症评估 系统对被试者进行孤独症评估的流程如下所示：
预备步，知情同意
被试者的监护人阅读数据采集及分析的知情同意书，并在签署同意后方可进行试验；
第一步，问卷填写
照顾者(父母或者与被试者共同生活两周以上的人)在规定设备上填写问卷并做出回答， 并将答案上传至处理器；
第二步，试验准备
工作人员布置试验场地，调整桌子及装饰物位置，不使用的无关场景道具需放置于储物 柜中隐藏；工作人员调试道具，评估者与被试者相互熟悉；
第三步，进行范式试验
控制电脑打开场地内摄像头、麦克风以及音视频录制软件，评估者与被试者在场地内进 行活动，活动内容，包括自由活动与范式测试；例如：
试验过程中，将“我们一起来玩xxx(游戏或玩具名称)吧？”的语音内容作为切换范式的信号，不同类型游戏或玩具名称分别对应不同范式类型。实时识别评估者的说话内容，根据其语音信息标记范式切换时间及范式类型，并通过切换小桌子下方的信号灯的颜色，反 馈切换信息给评估者，以提醒评估者确认切换成功；
其中，范式测试可包括：叫名反应范式，非社会行声音刺激行为范式，响应性共同注意 力范式，非社会性微笑范式，社会性社交微笑范式，加强依恋安全性范式，行为恰当性范式， 立即性仿说范式，人称代词区分范式，语言指向性范式等。本次试验主要进行叫名反应范式、 非社会行声音刺激行为范式、加强依恋安全性范式、社会性及分享性微笑范式、非社会性微 笑范式。
第四步，数据同步
将6个RGB-D摄像头采集到的数据分别保存成6份RGB彩色视频以及深度数据图片文 件夹，每个摄像头RGB视频的每一帧都与其深度文件夹中的图片一一对应；同时，三个麦克 风采集到的语音数据也作为三通道的音轨与视频文件同步保存。
第五步，数据处理。
首先，问卷分数整理。处理缺失数据或格式错误的数据，整理形成数组。
然后，根据范式切换的标记时间切分同步后的音视频数据，并根据范式切换的信号语音 内容按照范式类型根据对应的规则进行分析并打分。
(1)叫名反应范式
使用语音识别技术，识别和定位叫名测试时到时间点使用人脸检测技术，检测之 后采集到的人脸特征；使用头部姿态估计技术，检测之后采集到的被试者头部朝向；使用 人脸识别技术，筛选检测到的人脸中被试者到人脸并定位被试者的转头时间点使用人脸 检测技术，之后标记检测不到被试者的时间点跟据公式计算反应时间。
跟据公式计算转头持续时间；跟据叫名至第一次检测到被试者人脸到叫名次数n1、 反应时间持续时间被试者头部特征，对被试者叫名反应进行0,1,2三分类到 打分。其中分数越高反应越明显，分数为0则没有回头反应。
(2)非社会性声音刺激行为范式
使用语音识别技术，识别和定位发声玩具开启到时间点使用行人标记技术，标记场 景中的被试者、被试者陪同亲属及试验参与工作人员；使用人脸检测和标记技术，检测之 后是否采集到被试者转头朝向发声玩具到人脸,及转头时间使用目光检测技术，检测被试 者的眼神方向是否看向发声玩具；使用手部检测技术，检测被试者手部的位置；使用手势识 别技术，在被试者手部位置检测被试者食指指向发声玩具到时间使用姿态估计技术，识 别被试者在指向发声玩具时，被试者的姿势和手臂的角度；在被试者手部位置检测试验工作 人员及其他陪同人员是否使用食指指向发声玩具引导被试者反应，及指物时间
跟据被试者是否转头及转头反应时间的长短、是否目光看向发声玩具，是否在引 导后才进行才反应，对被试者非社会性声音刺激的反应进行0,1,2三分类到打分。其中，分数 越低反应越明显，分数为2则没有任何转头或其他的反应。
跟据被试者是否手指指向发光玩具及指物反应时间是否在引导后才进行指物及 引导时间指物的姿势，对被试者指物反应进行0,1,2三分类到打分。其中，分数越高 反应越明显，分数为0则没有指物的反应。
(3)加强依恋安全性范式
使用人物检测技术，获取视频中每个参与者的位置；使用身份重识别技术，标记视频中 每个参与者的身份；使用声纹识别技术，识别出场所内监护人和被试者的语音部分；检测监 护人的位置坐标，当其坐标离被试者坐标距离超过d时，记录并标记的时间点获取并标记 无法在视频中检测到监护人及监护人离开场地的时间点检测在时间后，监护人是否用 语言告别，并记录语言时间检测在时间后，被试者头部朝向及目光是否指向监护人的 活动轨迹；检测在时间后，是否能在场所出口方向检测到被试者的正脸即检测到被试者转 头看向出口，并标记转头时间点检测被试者在时间后的情绪；检测被试者在时间后 的语音是否包含呼唤监护人的语音以及呼唤时间点检测被试者在时间后的坐标是否进 行移动，并缩短与监护人的坐标距离即追随监护人,开始移动的时间检测被试者在时间 后的坐标是否进行移动，并靠近出口即追随监护人；检测监护人重新出现在试验场地的时间， 并标记时间点为检测被试者在时间后的情绪；检测被试者在时间后的语音是否包含 呼唤监护人的语音以及呼唤时间点检测被试者在时间后的坐标是否进行移动，并缩短 与监护人的坐标距离即追随监护人,开始移动的时间检测被试者在时间后的坐标是否进 行移动，并靠近监护人。
根据被试者是否在监护人离开过程中的情绪变化、是否望向监护人、走向监护人、呼唤 监护人，或被试者在监护人离开场所后的情绪变化、是否望向出口、走向出口、追随监护人， 或被试者在监护人返回实验场地后的情绪变化、是否看向监护人、是否呼唤监护人以及时间 间隔对被试者依恋安全性范式的反应进行0,1,2打分。其中， 分数越高反应越明显，分数为0则没有任何转头或呼唤或追随的反应。
(4)响应性共同注意力范式
使用语音识别技术，识别和定位侧方响应测试时间点使用人脸检测以及人脸识别， 筛选检测到的人脸中被试者的人脸并定位被试者的转头时间点并利用头部姿态估计记录 被试者转头至目标的最大朝向角度θ；当被试者转头回到初始位置时记录时间点使用手部 检测技术，检测被试者手部的位置；使用手势识别技术，在被试者手部位置检测被试者指向 目标物体的时间使用姿态估计技术，识别被试者在指向目标物体时，被试者的姿势和手 臂的角度；跟据公式计算反应时间；跟据公式计算转头持续时间。
跟据被试者侧方响应的反应时间转头持续时间被试者转头最大朝向角 度θ、手势和姿势，对被试者侧方反应进行0,1,2三分类到打分。其中，分数越高反应越明显， 分数为0则没有转头反应。后方响应测试的技术手段同侧方响应测试。
(5)社会性及分享性微笑范式
使用语音识别技术，识别并标记试验工作人员说出微笑，赞美，打招呼，手绢躲猫猫， 假装挠痒痒，挠痒痒中第i种微笑诱导刺激行为的时间分别为 为赞美，i＝3为打招呼，i＝4为手绢躲猫猫，i＝5为假装挠痒痒，i＝6为挠痒痒)； 使用表情识别技术，识别被试者表情是否在后笑，并分别标记对应笑容开始的 时间点和笑容结束的时间点根据被试者在第i(i＝1，2，3，6)种微笑诱导刺激后的反应时 间笑容持续时间对被试者社会性及分享性微笑范式的第i种刺激进行0,1,2 三分类打分；其中，分数越高反应越明显，分数为0则没有微笑反应。
使用物体识别技术，识别并标记画面中第n(n＝1，2，3)次手绢诱导即第n(n＝1，2，3...)次 出现手绢后手绢消失的时间使用表情识别技术，识别被试者表情是否在后笑，并分 别标记对应笑容开始的时间点和笑容结束的时间点根据被试者在第4种微笑诱导第 n次刺激后的反应时间笑容持续时间对被试者社会性及分享性微笑范 式的第4种刺激进行0,1,2三分类打分；其中，分数越高反应越明显，分数为0则没有微笑反 应；
使用语音识别技术，识别并标记画面中m(m＝1，2)次假装挠痒痒诱导刺激的时间使用表情识别技术，识别被试者表情是否在后笑，并分别标记对应笑容开始的时间点和笑容结束的时间点根据被试者在第5种微笑诱导第m次刺激后的反应时间笑容持续时间对被试者社会性及分享性微笑范式的第5种刺激进行0,1,2三分类 打分；其中，分数越高反应越明显，分数为0则没有微笑反应。将五种刺激的范式分数进行 排列，获得社会性及分享性微笑范式分数数组。
(6)非社会性微笑范式
记录幽默动画开始播放的时间点使用表情识别技术，识别并标记被试者在后开始 第j(j＝1，2，3...)次笑容来时的时间和本次笑容停止的时间使用眼动识别技术，识别并 标记被试者在后观看动画全程的眼动轨迹热点A；记录动画播放结束的时间点
根据被试者在之间，第j(j＝1，2，3...)次笑容的反应时间第j(j＝1，2，3...)次笑 容的持续时间发出笑容的从次数max{j}，及眼动轨迹热点A对被试者非社会性微笑 范式进行0,1,2三分类打分；其中，分数越高反应越明显，分数为0则没有微笑反应。
最后，结合各范式中反应时间间隔、动作幅度等行为数据及问卷分数，分析被试者各个 范式得分、各项能力得分及孤独症风险系数。将各范式中个行为指标的详细数据与问卷各问 题分数依次排列成向量，使用此向量根据机器学习算法对被试者进行分类，并计算各项能力 分数，得出评估结果。根据其各项能力得分及评估结果，可通过机器学习算法匹配与被试者 相匹配的干预计划。
第六步，数据储存
将被试者被采集的音视频数据，问卷数据，通过服务器内网以及储存到NAS(Network Attached Storage)网络储存设备中，存入数据档案库。
第七步，及结果呈现
在结果电脑上输入被试者的姓名和查询号码，可以显示个人档案评估结果。结果包括被 试者的孤独症风险系数，代表被试者能力等级的多边形，各项能力的详细相关分析，以及相 应的干预计划。并可打印结果，可以发送电子稿至被试者家长的电子设备终端。
本发明结合调查问卷及多模态范式行为数据分析的孤独症评估系统提供了一个可移动的 模拟真实的试验场景，并且进行隐藏采集设备，提供了自然舒适的试验环境，极大程度还原 被试者的日常状态；并且由于采用多角度完整获取试验场景人、物的三维数据，并结合问卷 数据和范式试验数据使用机器学习方法进行评估，使得筛查及评估结果更加接近专业医生的 分析，更加准确。
另外，本发明使用机器识别被试者试验反应的方法，使得范式分析的数据不在局限于人 工打分的简单分数，而是包含更多机器识别的的反应时间、反应角度等更为准确的行为详细 数据，避免了人工打分的主观性。并且，本发明根据评估结果可相应匹配干预方案，通过机 器学习算法计算各范式得分、被试者能力得分及方案匹配，使得评估结果比传统的累计阀值 计算法更为精确，并且提供了多图表及被标签视频的多维度分析报告模式，使得分析过程更 有利于非专业人员的理解，且更有信服力。
本发明由于采用可整体迁移的试验场景装置，极大提升了试验场景的可复制性及迁移便 携性，有利于装置的普及使用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原 则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，包括
问卷数据采集模块，用于采集被试者进行综合能力考量的调查问卷数据；
场景模块，用于进行各范式试验的可整体移动的一体化房间箱体；
多个深度图像采集模块，用于多视角多角度采集在场景装置内进行各范式试验过程中的视频数据，所述视频数据中包括图像的深度信息；
语音采集模块，用于采集在场景装置内进行各范式试验过程中的音频数据；
控制模块，用于控制启动所述问卷数据采集模块、深度图像采集模块及语音采集模块；
范式切换及确认模块，用于在试验过程中识别并标记评估者语音数据中的范式切换信号，并实时反馈给试验中的评估者进行范式试验；
数据同步模块，用于基于时间戳同步对齐所采集到的视频数据、音频数据，得到多模态音视频数据；
数据储存模块，用于储存所采集的多模态音视频数据及文件数据，并以个人档案形式储存；
数据处理模块，用于根据多模态音视频数据中各项范式试验的时间起点，识别并获取各范式试验中被试者的相关特征信息，并根据不同范式规则分别对各项范式分数进行打分；用于根据相关特征信息并结合问卷数据，通过机器学习算法计算被试者的不同指标分数及患孤独症的风险系数；其中，所述相关特征信息包括目光朝向信息、头部朝向信息、手势信息、姿势信息、面部表情信息、位置坐标信息、语言情绪信息和语音内容信息中的一种或多种；
结果呈现模块，用于展示被分析标签后的多模态音视频数据结果，包括被试者的各项范式分数、不同指标分数、孤独症风险系统、干预方案中的任意组合。
2.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，还包括干预方案确定模块，用于根据被试者的不同指标分数及患孤独症的风险系数通过机器学习算法从干预方案库中选择相应强度课程，形成相应干预方案，所述课程包括重复时长。
3.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，数据处理模块中，识别并获取目光朝向信息时，通过人脸检测与识别获取脸部特征点，从中选取出双眼的特征点，并利用空间坐标变换计算出双眼特征点的世界坐标系3D坐标；通过将双眼的3D坐标输入到目光追踪神经网络模型中，输出目光的朝向。
4.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所述深度图像采集模块为RGB-D摄像头，所述语音采集模块包括阵列麦克风和/或可穿戴麦克风。
5.如权利要求4所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所述场景模块为一体化可移动房间箱体，所述多个深度图像采集模块隐藏安装于所述一体化可移动房间箱体的四周，用于多角度采集试验过程中的视频数据；当所述语音采集模块包含阵列麦克风时，所述阵列麦克风隐藏安装于所述一体化可移动房间箱体内。
6.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，范式切换及确认模块，用于在试验中通过实时语音识别评估者的语音内容，当识别到切换范式的语音关键字时，标记该语音关键字的时间点并记录所切换的范式试验，并反馈信号到隐藏安装于一体化可移动房间箱体内的信号灯，以变换信号灯颜色通知评估者范式切换成功。
7.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，还包括场景道具，用于布置在一体式可移动房间箱体中以辅助被试者进行各范式试验。
8.如权利要求7所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所述场景道具包括显示装置、墙面海报、挂于墙上的可发出声音的玩具、放置于实验环境内的其他若干用于吸引被试者注意力的玩具。
9.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所述问卷数据为基于个人信息、言语行为评估量表、自闭症行为评定量表、心理教育评定量表、修正婴幼儿自闭症检查量表、自闭症行为评定量表及婴幼儿评估、评监及课程计划系统中的问题进行筛选和/或修改组合而成的问卷调查数据。
10.如权利要求1所述结合调查问卷及多模态范式行为数据分析的孤独症评估系统，其特征在于，所进行的范式试验包括叫名反应范式试验、非社会行声音刺激行为范式试验、响应性共同注意力范式试验、非社会性微笑范式试验、社会性社交微笑范式试验、加强依恋安全性范式、行为恰当性范式试验、立即性仿说范式试验、人称代词区分范式试验、语言指向性范式试验中的任意组合。
CN201910606484.7A 2019-07-05 2019-07-05 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 Active CN110349667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910606484.7A CN110349667B (zh) 2019-07-05 2019-07-05 结合调查问卷及多模态范式行为数据分析的孤独症评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910606484.7A CN110349667B (zh) 2019-07-05 2019-07-05 结合调查问卷及多模态范式行为数据分析的孤独症评估系统

Publications (2)

Publication Number Publication Date
CN110349667A true CN110349667A (zh) 2019-10-18
CN110349667B CN110349667B (zh) 2021-09-07

Family

ID=68177878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910606484.7A Active CN110349667B (zh) 2019-07-05 2019-07-05 结合调查问卷及多模态范式行为数据分析的孤独症评估系统

Country Status (1)

Country Link
CN (1) CN110349667B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837784A (zh) * 2019-10-23 2020-02-25 中山大学 一种基于人体头部特征的考场偷窥作弊检测系统
CN110934599A (zh) * 2019-12-20 2020-03-31 东南大学 一种自然场景下婴幼儿共同注意评估方法及系统
CN111081371A (zh) * 2019-11-27 2020-04-28 昆山杜克大学 基于虚拟现实的孤独症早期筛查评估系统及方法
CN111128368A (zh) * 2019-10-31 2020-05-08 东南大学 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置
CN112992295A (zh) * 2019-12-13 2021-06-18 韩美营销集团 一种为糖尿病孕妇提供个性化信息的方法及装置
CN114038552A (zh) * 2021-11-09 2022-02-11 北京康安启元科技有限公司 一种asd筛查与辅助诊断系统、方法、装置及电子设备
CN114242235A (zh) * 2021-12-16 2022-03-25 北京阿叟阿巴科技有限公司 一种基于多层级关键特征行为的孤独症患者画像方法
CN114842958A (zh) * 2022-04-07 2022-08-02 北京正在关怀科技有限公司 儿童综合能力评估分析系统及方法
CN114974571A (zh) * 2022-05-27 2022-08-30 浙江大学医学院附属儿童医院 多模态数据驱动的孤独症检测系统、设备及存储介质
CN115299947A (zh) * 2022-09-06 2022-11-08 济南大学 基于多模态生理数据的心理量表置信度评估方法及系统
CN115424108A (zh) * 2022-11-08 2022-12-02 四川大学 一种基于视听融合感知的认知功能障碍评测方法
CN115565643A (zh) * 2022-10-14 2023-01-03 杭州中暖科技有限公司 一种家庭教育及心理健康教育的评级管理系统
CN116665892A (zh) * 2023-03-24 2023-08-29 北京大学第六医院 孤独症评估系统、方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140336539A1 (en) * 2011-11-11 2014-11-13 Rutgers, The State University Of New Jersey Methods for the Diagnosis and Treatment of Neurological Disorders
CN109431523A (zh) * 2018-10-19 2019-03-08 昆山杜克大学 基于非社会性声音刺激行为范式的孤独症初级筛查装置
CN109717878A (zh) * 2018-12-28 2019-05-07 上海交通大学 一种用于孤独症共同注意诊断范式的检测系统及使用方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140336539A1 (en) * 2011-11-11 2014-11-13 Rutgers, The State University Of New Jersey Methods for the Diagnosis and Treatment of Neurological Disorders
CN109431523A (zh) * 2018-10-19 2019-03-08 昆山杜克大学 基于非社会性声音刺激行为范式的孤独症初级筛查装置
CN109717878A (zh) * 2018-12-28 2019-05-07 上海交通大学 一种用于孤独症共同注意诊断范式的检测系统及使用方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王田阳: "基于语音数据的有效特征分析及其在抑郁水平评估中的应用", 《中国优秀硕士学位论文全文数据库（电子期刊）（信息科技辑）》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837784B (zh) * 2019-10-23 2023-06-20 中山大学 一种基于人体头部特征的考场偷窥作弊检测系统
CN110837784A (zh) * 2019-10-23 2020-02-25 中山大学 一种基于人体头部特征的考场偷窥作弊检测系统
CN111128368B (zh) * 2019-10-31 2023-04-07 东南大学 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置
CN111128368A (zh) * 2019-10-31 2020-05-08 东南大学 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置
CN111081371A (zh) * 2019-11-27 2020-04-28 昆山杜克大学 基于虚拟现实的孤独症早期筛查评估系统及方法
CN112992295A (zh) * 2019-12-13 2021-06-18 韩美营销集团 一种为糖尿病孕妇提供个性化信息的方法及装置
CN110934599A (zh) * 2019-12-20 2020-03-31 东南大学 一种自然场景下婴幼儿共同注意评估方法及系统
CN114038552A (zh) * 2021-11-09 2022-02-11 北京康安启元科技有限公司 一种asd筛查与辅助诊断系统、方法、装置及电子设备
CN114242235A (zh) * 2021-12-16 2022-03-25 北京阿叟阿巴科技有限公司 一种基于多层级关键特征行为的孤独症患者画像方法
CN114842958A (zh) * 2022-04-07 2022-08-02 北京正在关怀科技有限公司 儿童综合能力评估分析系统及方法
CN114974571A (zh) * 2022-05-27 2022-08-30 浙江大学医学院附属儿童医院 多模态数据驱动的孤独症检测系统、设备及存储介质
CN115299947A (zh) * 2022-09-06 2022-11-08 济南大学 基于多模态生理数据的心理量表置信度评估方法及系统
CN115565643A (zh) * 2022-10-14 2023-01-03 杭州中暖科技有限公司 一种家庭教育及心理健康教育的评级管理系统
CN115424108A (zh) * 2022-11-08 2022-12-02 四川大学 一种基于视听融合感知的认知功能障碍评测方法
CN116665892A (zh) * 2023-03-24 2023-08-29 北京大学第六医院 孤独症评估系统、方法及装置
CN116665892B (zh) * 2023-03-24 2023-11-17 北京大学第六医院 孤独症评估系统、方法及装置

Also Published As

Publication number Publication date
CN110349667B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN110349667A (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
CN110313923B (zh) 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
US20220331028A1 (en) System for Capturing Movement Patterns and/or Vital Signs of a Person
CN109298779B (zh) 基于虚拟代理交互的虚拟训练系统与方法
CN109657529A (zh) 基于面部表情识别的课堂教学效果评价系统
CN111046823A (zh) 基于课堂视频的学生课堂参与度分析系统
CN110363129B (zh) 基于微笑范式和音视频行为分析的孤独症早期筛查系统
CN110349674A (zh) 基于不当行为观测分析的孤独症谱系障碍评估装置及系统
CN109765991A (zh) 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质
Alkabbany et al. Measuring student engagement level using facial information
WO2019141017A1 (zh) 一种人体感官数据测量系统及方法
Zaletelj Estimation of students' attention in the classroom from kinect features
CN117438048B (zh) 一种精神科患者用心理障碍测评方法及系统
Wang et al. Automated student engagement monitoring and evaluation during learning in the wild
CN111507592A (zh) 一种面向服刑人员的主动改造行为的评估方法
US20220067353A1 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
Salter et al. The tower game dataset: A multimodal dataset for analyzing social interaction predicates
CN110490173A (zh) 一种基于3d体感模型的智能动作打分系统
Celiktutan et al. Computational analysis of affect, personality, and engagement in human–robot interactions
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
Ashwin et al. Unobtrusive students' engagement analysis in computer science laboratory using deep learning techniques
CN114242235A (zh) 一种基于多层级关键特征行为的孤独症患者画像方法
Paithane Yoga posture detection using machine learning
Fotinea et al. Data acquisition towards defining a multimodal interaction model for human–assistive robot communication
Hachad et al. A novel architecture for student’s attention detection in classroom based on facial and body expressions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Ming

Inventor after: Zou Xiaobing

Inventor after: Pan Yueran

Inventor after: Cai Kunjing

Inventor before: Zou Xiaobing

Inventor before: Pan Yueran

Inventor before: Cai Kunjing

GR01 Patent grant
GR01 Patent grant