CN113269079A - 基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统 - Google Patents
基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统 Download PDFInfo
- Publication number
- CN113269079A CN113269079A CN202110552073.1A CN202110552073A CN113269079A CN 113269079 A CN113269079 A CN 113269079A CN 202110552073 A CN202110552073 A CN 202110552073A CN 113269079 A CN113269079 A CN 113269079A
- Authority
- CN
- China
- Prior art keywords
- video
- behavior
- module
- child
- parent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010003805 Autism Diseases 0.000 title claims abstract description 65
- 208000020706 Autistic disease Diseases 0.000 title claims abstract description 65
- 238000011156 evaluation Methods 0.000 title claims abstract description 37
- 238000004458 analytical method Methods 0.000 title claims abstract description 28
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 18
- 230000003542 behavioural effect Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 9
- 238000013210 evaluation model Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000002474 experimental method Methods 0.000 claims description 6
- 238000005406 washing Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000003909 pattern recognition Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 2
- 238000012216 screening Methods 0.000 abstract description 9
- 230000006399 behavior Effects 0.000 description 127
- 208000035475 disorder Diseases 0.000 description 16
- 238000012360 testing method Methods 0.000 description 12
- 208000029560 autism spectrum disease Diseases 0.000 description 6
- 241001672694 Citrus reticulata Species 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000726096 Aratinga Species 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
本发明涉及儿童孤独症早期评估技术领域，尤其涉及一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统，包括：数据采集演示模块、数据采集模块、数据上传模块、数据合理性判断模块、特征提取模块、分类器训练模块、预测评估模块。本发明的这种儿童孤独症早期评估装置及系统不仅能够降低对拍摄器材的要求，同时，不需要专业人员和陌生人的参与，试验者在家人陪伴下和在熟悉的环境中就能进行谱系障碍的早期筛查和评估，从而能够更为真实的反应实际情况。此外，该系统还充分考虑到儿童模拟不同行为范式的难易程度，从全局和局部两个角度对试验者的行为范式进行评估，从而更为准确的评估其谱系障碍的病情情况。
Description
技术领域
本发明涉及儿童孤独症早期评估技术领域，尤其涉及一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统。
背景技术
本发明背景技术中公开的信息仅仅旨在增加对本发明的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。
孤独症谱系障碍(ASD，Autism Spectrum Disorder，简称孤独症)，是一种脑部发育障碍的疾病，其主要表现为行为能力、语言能力和社交能力发展过缓，这些能力明显低于正常儿童。在早期，很多家长常常误以为这是由于儿童个体差异造成的，长大后会自动正常起来，即使有部分家长想对儿童进行评估，但是其筛查评估主要通过经验丰富的专业医疗人员和专家进行人工诊断来实现。然而，目前我国这方面的专业人员相对缺乏，且主要集中在一线城市，在偏远地区和欠发达地区，专业医疗人员和专家极度匮乏。随着人工智能技术的发展，越来越多的科研团队开始研究基于人工智能技术的儿童孤独症谱系障碍评估方法、系统和装置，期望能够解决当前的困境。
迄今为止，已经存在一些基于人工智能技术的儿童孤独症谱系障碍评估方法、系统和装置，例如：申请号为201910606482.8的中国专利申请“基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统”通过多个RGB-D摄像头和多个麦克风阵列获取对应的多视角和多模态数据，并提取对应的音频特征、面部情感特征、面部朝向、目光、手势、姿态特征，进一步地，通过机器学习技术对试验者进行谱系障碍疾病的评估。申请号为201910605989.1的中国专利“基于不当行为观测分析的孤独症谱系障碍评估装置及系统”同样通过4个深度图像采集装置和语音采集装置获取试验者的多视角和多模态数据，并提取音频特征、眼神方向特征、头部朝向特征、面部表情特征、手指姿势特征、语言情绪特征、位置坐标特征等，最后，通过机器学习算法依次训练多个弱分类器，并将它们级联为孤独症谱系障碍评估模型。
申请号为201811217575.3的中国专利申请“基于分离重聚范式和计算机视觉的孤独症初级筛查装置”、申请号为201910605990.4的中国专利“基于微笑范式和音视频行为分析的孤独症早期筛查系统”、申请号为201910606484.7的中国专利“结合调查问卷及多模态范式行为数据分析的孤独症评估系统”、申请号为201910053035.4的中国专利“一种基于视觉的自闭症辅助早筛方法及装置”以及申请号为201910605991.9的中国专利“基于鹦鹉学舌语言范式行为分析的孤独症评估装置及系统”，这些专利都是通过多个深度摄像头和麦克风阵列获取试验者的多视角和多模态数据，然而，对于大多数普通家庭来说，这些设备价格不仅比较昂贵，且需要在专业人员的指导下才能完成，这样，相关设备、系统就无法快速的普及到普通家庭。申请号为201910606484.7的中国专利“结合调查问卷及多模态范式行为数据分析的孤独症评估系统”通过调查问卷以及多模态数据进行儿童孤独症评估，虽然多源数据的使用能够提高儿童孤独症早期评估的准确度，但是其拍摄过程或提供的数据较为复杂，这也加大了其推广难度。
此外，本发明人还发现：现有技术在对疑似自闭症儿童进行评估时，同等对待每一个行为范式，但是对于很多疑似自闭症儿童来说，他们模拟每个行为范式的难易程度是不同的。因此，本发明认为如果能够简化视频拍摄的过程以及对拍摄装备的要求，且试验者不需要陌生人或专业人员的帮助，仅通过其家长就可以在熟悉的环境中进行评估，同时，充分考虑儿童行为范式的难易程度、自闭症儿童和家长做相同行为示范的差异性，这样，孤独症的早期评估系统不仅适宜快速推广，且能够对试验者进行更为高效和准确的评估，适合于早期的筛查和评估。
发明内容
针对上述的问题，本发明提供一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统，该系统不仅能够降低对拍摄器材的要求，同时，不需要专业人员和陌生人的参与，试验者在家人陪伴下和在熟悉的环境中就能进行谱系障碍的早期筛查和评估，从而能够更为真实的反应实际情况。此外，该系统还充分考虑到儿童模拟不同行为范式的难易程度，从全局和局部两个角度对试验者的行为范式进行评估，从而更为准确的评估其谱系障碍的病情情况。为实现上述目的，本发明的技术方案如下。
首先，本发明公开一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置，包括：数据采集演示模块、数据采集模块、数据上传模块、数据合理性判断模块、特征提取模块、分类器训练模块、预测评估模块，其中：
数据采集演示模块：该模块通过标记性装置指导试验者及其家长如何站位，如何进行视频采集等，所述试验者仅为疑似孤独症儿童，所述家长仅为两位该疑似孤独症儿童的家长，不需要专业人员或专家的介入。
数据采集模块：该模块用于所述家长按照所述数据采集演示模块的要求采集视频数据。
数据上传模块：该模块用于上传家长通过所述数据采集模块拍摄的视频数据。
数据合理性判断模块：该模块用于判断所述数据上传模块上传的家长拍摄的视频数据是否按照实验要求进行拍摄，是否满足实验条件，否则需要重新拍摄并上传。
特征提取模块：用于提取疑似孤独症儿童及其家人的层次化深度时空特征，对他们的等级行为范式进行高效表征。
分类器训练模块：使用带标签数据进行差异性等级行为范式分类器的训练，并构建层次化智能比对分析的孤独症评估模型。
预测评估模块：根据所述数据上传模块上传的家人所拍摄的视频、已经训练好的差异性行为范式分类器模型、层次化智能比对分析和等级行为范式的孤独症评估模型，对评估者的孤独症情况进行智能评估预测。
进一步地，所述数据采集演示模块中，仅需要一台能上网的图像采集终端、两个硬质圆形粘贴装置和三个交叉型粘贴装置，其中：所述两个圆形粘贴分别粘贴于儿童和家长的肩部顶端，所述交叉型装置放置于地板或地面上，大幅度降低对拍摄设备的要求。所述交叉型粘贴装置包括三个粘贴装置，其中：第三个粘贴装置放置于第一个和第二个粘贴装置的连线的垂直平分线上，所述儿童和一个家长分别站在第一个和第二个粘贴装置所在处，另一个家长站在第三个粘贴装置所在处。
可选地，第一个和第二个粘贴装置之间的直线距离为1m，第三个粘贴装置距离该连线的垂直距离为1.5～2m。
进一步地，所述数据合理性判断模块中，首先从视频中检测识别出儿童和家长以及对应的位置，如果视频中儿童和家长的数量少于或者多于2人，则所拍摄视频不满足要求，需要重新拍摄上传，如果视频中仅仅包括1位家长和1位儿童，则进一步从视频中检测儿童和家长肩部圆形粘贴是否存在以及对应的区域大小，如果圆形粘贴都存在，则分别计算圆形粘贴中像素数量，并比较这两个圆形粘贴的像素数量的比值以及计算圆形粘贴的像素数与整张图像像素数目的比值，如果圆形粘贴的像素数与整张图像像素数目的比值小于某个最低阈值或者大于某个最高阈值，则所拍摄视频无效，需要根据该比值的大小，建议拍摄者应该靠近或者远离拍摄目标，并重新拍摄视频并上传，同时，根据两个圆形粘贴中像素数量的比值，估计儿童和家长是否基本在同一条直线上，如果该比值接近于1，则认为儿童和家长的站位比较合理，否则参与实验的家长需要根据圆形粘贴像素的多少调整站位，重新拍摄视频并上传，最后，如果其中某个圆形粘贴不存在或都不存在，那么需要按要求重新上传，直到获得满足要求的视频为止。
进一步地，所述特征提取模块包括儿童和家长检测识别单元、家长行为示范开始和结束检测单元、视频行为范式构建单元、时空特征提取单元，其中：
所述儿童和家长检测识别单元通过视频图像识别出儿童和家长的身份；
所述家长行为示范开始和结束检测单元用于检测家长何时开始示范动作，何时结束示范动作，便于后续特征的提取；
所述视频行为范式构建单元用于从视频中形成层次化待识别的行为范式视频单元，便于后续的深度时空特征提取，其中层次化行为范式视频单元的帧数分别为8帧和16帧两个层次，且在形成视频单元的过程中，相邻视频单元之间存在帧的重叠，它们分别重叠4帧和8帧；
所述时空特征提取单元用于通过三维时空卷积网络对层次化视频行为范式单元提取对应的时空特征。
进一步地，所述分类器训练模块通过标记数据训练对应的儿童和家长行为范式分类器，获得差异性行为范式分类器模型，同时，根据这些模型的结果进一步获得层次化智能比对和等级行为范式的孤独症评估模型；该模型从两个层次对儿童孤独症谱系障碍进行早期评估，首先，从视频中形成视频单元为8帧，相邻窗口重叠4帧的若干连续的视频单元，并提取对应的时空特征，进一步地，通过动态时间规整优化模型从全局上判断家长和儿童的行为范式的相似性，获得其全局的相似概率，并与其总谱系障碍分数40相乘；其次，从视频中形成视频单元为16帧，相邻窗口重叠8帧的若干连续的视频单元，并提取对应的时空特征，通过差异性行为范式分类器模型对每个视频单元进行行为范式识别，获得对应的识别概率值和行为范式类别，如果整个视频中包含多个相同类别的视频行为单元，仅保留相同行为单元中识别概率值最大的单元，将该单元的识别概率值以及对应行为范式的谱系障碍分数相乘，获得对应行为谱系障碍分数，以此类推，可以获得所有行为范式的谱系障碍分数，将所有行为范式的谱系障碍分数求和，可以获得局部行为范式分类器模型的谱系障碍分数，其总分为60分；最后，将全局行为范式分类器的谱系障碍分数与局部行为范式分类器的谱系障碍分数相加获得最终的评估者谱系障碍分数，从而对儿童试验者的谱系障碍进行早期评估，供专业人员参考。
进一步地，所述的等级行为范式根据自闭症儿童模仿难易程度不同的行为范式动作，设置不同的谱系障碍分数，具体包括5个等级行为范式类别以及2个辅助行为范式，优选为：挥手、鼓掌、飞吻、洗脸、梳头、静止不动和双手交叉，其中：所述挥手的分数为8分，飞吻和鼓掌的分数都为10分，洗脸的动作为12分，梳头的分数为15分，其他动作分数为5分，双手交叉和静止不动的分数为0。
其次，本发明公开一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估系统，包括：所述基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置、数据采集时安装在儿童试验者熟悉环境下的图像采集设备、标记性装置，其中：所述图像采集装置用于在儿童试验者熟悉环境和其家长的帮助下，进行视频数据采集。所述标记性装置用于指示试验者及拍摄人员的站位以及判断试验者和拍摄人员是否站位合理；
进一步地，所述图像采集装置为任意一台能上网的智能设备终端，所述标记性装置为两个圆形粘贴装置和三个交叉型粘贴装置。
进一步地，在进行图像采集时，按照所述数据采集演示模块中的要求放置所述圆形粘贴和交叉型粘贴装置。
与现有技术相比，本发明具有以下有益效果：
(1)本发明提出了一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置，该装置仅仅需要一个智能终端设备以及几个标记性装置，由于没有特殊的设备要求，只要家庭拥有一台可上网的智能终端设备和几个标记性装置即可，设备成本低廉。同时，不需要专业人员和陌生人的参与，试验者能够在家长陪伴下，在熟悉的环境中进行谱系障碍的早期筛查和评估(试验者的家庭或熟悉的环境)，从而能够更为真实的反应实际情况。
(2)本发明的这种系统还充分考虑到儿童模拟不同行为范式的难易程度不同，从全局和局部两个角度对试验者的行为范式进行评估，从而更为准确的评估其谱系障碍系数情况。
(3)本发明的这种系统仅需要通过视频数据进行深入分析，不需要抓取对应的音频数据，这样，不仅可以避免儿童试验者常常无法正常发音或说话不清楚的情形，而且即使在偏远山区不会讲普通话的家庭都能够适用。因此，该系统更易于应用推广。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置的示意图。
图2为本发明的基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置的流程图。
图3为本发明基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统进行试验的流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
如图1至3所示，示例一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置，包括：数据采集演示模块10、数据采集模块20、数据上传模块30、数据合理性判断模块40、特征提取模块50、分类器训练模块60和预测评估模块70，其中：
所述数据采集演示模块10通过标记性装置指导儿童试验者及其家长如何站位，如何进行视频采集等；特别地，参与实验人员仅需要疑似孤独症儿童及其两位家长(父母或爷爷奶奶或姥姥姥爷或长期陪伴者)，不需要专业人员或专家的介入。具体的，为了更为准确地对待评估者进行评估，本实施例设定了一个非常容易布置的标准化实验环境，其中儿童试验者及1位家长试验者相聚在1米的平行位置处相对站立(家长下蹲)，手持智能终端的家长在儿童试验者及家长试验者连线的垂直平分线附近站立(也可以下蹲)，其距离儿童试验者及家长试验者的垂直距离在1.5～2m之间均可，具体实验环境配置如图1所示。由于儿童发音和说话可能不完整，这将导致语音信息不准确，因此，在整个过程本装置仅仅抓取视频信息，但是为了引起孩子的注意，参与试验家长在拍摄全程可以尝试通过各种不同的语音信息呼叫儿童试验者以及与其交流。在引起儿童试验者的注意后，为了获知家长试验者何时开始进行示范行为和何时结束示范行为，在拍摄过程中，要求家长试验者在开始进行行为示范和结束行为示范时都比划一个双手交叉动作，这样就可以完全消除对语音信息的依赖。
所述数据采集模块20(手持智能终端)用于待评估者家长按照数据采集演示模块10要求采集视频数据。所述数据上传模块30用于上传所述手持智能终端的家长所拍摄的视频数据。
所述数据合理性判断模块40用于判断家长拍摄的视频数据是否按照实验要求进行拍摄，是否满足实验条件，否则需要重新拍摄上传；具体地，首先从视频中检测识别出儿童和家长以及对应的位置，如果视频中儿童和家长的数量少于或者多于2人，则所拍摄视频不满足要求，需要重新拍摄上传，如果视频中仅仅包括1位家长和1位儿童，则进一步从视频中检测儿童和家长肩部圆形粘贴是否存在以及对应的区域大小，如果圆形粘贴都存在，则分别计算圆形粘贴中像素数量，并比较这两个圆形粘贴的像素数量的比值以及计算圆形粘贴的像素数与整张图像像素数目的比值，如果圆形粘贴的像素数与整张图像像素数目的比值小于某个最低阈值或者大于某个最高阈值，则所拍摄视频无效，需要根据该比值的大小，建议拍摄者应该靠近或者远离拍摄目标，并重新拍摄视频并上传，同时，根据两个圆形粘贴中像素数量的比值，估计儿童和家长是否基本在同一条直线上，如果该比值接近于1，则认为儿童和家长的站位比较合理，否则参与实验的家长需要根据圆形粘贴像素的多少调整站位，并重新拍摄视频并上传，最后，如果其中某个圆形粘贴不存在或都不存在，那么需要按要求重新上传，直到获得满足要求的视频为止。
具体地，针对儿童试验者、家长试验者以及圆形粘贴的目标检测识别，使用在目标检测领域广泛使用且效果良好的Yolov5网络，该网络初始化参数采用默认参数，然后通过收集的训练数据进一步构建儿童试验者、家长试验者以及圆形粘贴的目标检测器，从视频图像中检测出儿童试验者、家长试验者以及圆形粘贴的位置和类别。根据当前视频帧中儿童试验者和家长试验者的检测结果，判断当前视频是否满足仅有1名儿童和1名家长的要求，如果不满足，需要重新拍摄上传。如果视频满足要求，在圆形粘贴检测结果的基础上，进一步使用霍夫变换和霍夫梯度法进行圆形区域的精确查找，并计算儿童试验者和家长试验者身上对应圆形粘贴中像素数量，将它们分别标记为Pb和Pp，同时，也统计整个图像的像素数量PI，这样，首先分别计算儿童试验者身上圆形粘贴的像素数与整张图像像素数目的比值Circle_ratebaby以及家长试验者身上圆形粘贴的像素数与整张图像像素数目的比值Circle_rateparents，具体计算如下：
上述式(3)中：所述Thres1和Thres2分别表示当拍摄视频的家长站在远离试验者和试验者家长垂直距离1米和1.5米时，圆形粘贴的像素数与整张图像像素数目的最大比值和最小比值；Circle_rate表示Circle_ratebaby或者Circle_rateparents是否存在过大或者过小的情况；Circle_rate＝1表示所拍摄视频的家长按照试验要求进行了拍摄，否则需要家长重新拍摄视频并上传；如果Circle_ratebaby或者Circle_rateparents大于Thres1，则建议拍摄视频的家长稍微远离儿童试验者和家长试验者，如果Circle_ratebaby或者Circle_rateparents小于Thres2，则建议拍摄视频的家长稍微靠近儿童试验者和家长试验者。为了估计儿童试验者和家长试验者是否基本站在同一直线上，因此，计算Pb和Pp的像素比值Circle_pixel_rate，具体计算如下：
上述式(5)，所述Straight表示儿童试验者和家长试验者是否站位合理，如果Straight＝1，则认为儿童和家长的站位比较合理，否则参与实验的家长需要根据圆形粘贴像素的多少调整站位，如果Pp＞Pb，则试验者家长稍微远离一些拍摄设备，否则其需要靠近拍摄设备。关于Yolov5网络的详细介绍见相关链接https://doi.org/10.5281/zenodo.4679653，霍夫变换和霍夫梯度法见参考文献Ballard D H.Generalizing theHough transform to detect arbitrary shapes[J].Pattern Recognition,1981,13(2):111-122.
所述特征提取模块50用于提取评估者及其家人的深度时空特征，包括儿童和家长检测识别单元、家长行为示范开始和结束检测单元、视频行为范式构建单元、时空特征提取单元，其中：
所述儿童和家长检测识别单元通过视频图像识别出儿童和家长的身份，具体方案与数据合理性判断模块30中目标检测识别一样；这样做的目的是将儿童试验者和家长试验者的行为范式分开，这样可以避免家长试验者的行为范式对儿童行为范式的干扰，更能准确地识别其行为范式；
所述家长行为范式开始和结束检测单元用于检测家长何时开始示范动作，何时结束示范动作，便于后续特征的提取，这样，仅从视频信息获知家长试验者的何时开始和结束示范动作，可以消除对语音信息的依赖，减少系统在偏远山区，尤其是普通话没有得到普及地区的推广难度；
所述视频行为范式构建单元用于从视频中形成层次化待识别的行为范式视频单元，用于后续的深度时空特征提取，其中层次化行为范式视频单元的帧数分别为8帧和16帧两个层次，且在形成视频单元的过程中，相邻视频单元之间存在帧的重叠，它们分别重叠4帧和8帧，且根据儿童试验者和家长试验者的目标检测结果以及坐标信息，将视频从他们的中间位置进行分割开，并使用双线性插值方法对视频图像进行归一化处理，图像大小都归一化为160x160，这样就可以分别形成儿童试验者视频以及家长试验者视频。这样做的原因是：因为儿童试验者和家长试验者的行为范式还是存在一定的差异，单独为儿童试验者构建等级行为范式分类器模型能够更加准确地识别出儿童试验者的行为范式；特别地，在对视频进行儿童自闭症智能诊断开始前，仅对视频长度为16帧的家长视频单元进行判断，如果家长行为范式分类器检测到双手交叉动作，那么表示家长试验者马上开始做示范行为，系统需要对8帧和16帧的家长试验者和儿童试验者的层次化视频单元进行同步分析；如果家长行为范式分类器再次检测到双手交叉动作，则表示家长试验者和儿童试验者整个行为范式过程已经结束，手持智能终端设备的家长可以停止录制视频，即使继续录制，系统后续也不会对其进行分析；
所述时空特征提取单元用于通过三维时空卷积网络对层次化视频行为范式单元提取对应的时空特征，对所有8帧家长试验者视频行为范式单元和8帧儿童试验者视频行为范式单元都使用相同参数的P3D网络进行时空特征提取，并通过P3D网络最后的全链接层输出时空特征，其特征维度为512，而对16帧家长试验者的视频行为范式单元和16帧儿童试验者的视频行为范式单元同样使用P3D网络进行时空特征提取，但是它们需要根据各自的训练数据优化对应的网络；这样，不仅考虑到行为范式的共性，同时，又考虑到儿童试验者和家长试验者在做相同行为范式的差异性；具体P3D网络的技术细节见参考文献：Qiu Z,YaoT,Mei T.Learning Spatio-Temporal Representation with Pseudo-3D ResidualNetworks[C]//2017IEEE International Conference on Computer Vision(ICCV).IEEE,2017.
分类器训练模块60通过标记数据训练对应的儿童和家长行为范式分类器，获得差异性行为范式分类器模型，同时，根据这些模型的结果进一步获得层次化智能比对和等级行为范式的孤独症早期评估模型；进一步地，该儿童孤独症早期评估模型从两个层次对儿童孤独症谱系障碍进行评估，首先，根据所述的视频行为范式构建单元从视频中形成视频单元为8帧，相邻窗口重叠4帧的儿童试验者视频单元以及家长试验者的视频单元，并对每个单元提取对应的深度时空特征，这样儿童试验者视频和家长试验者视频就可以分别被一系列时空特征所表示。考虑到儿童试验者在看见家长试验者的行为范式后反应可能有一定的延时，且家长试验者和儿童试验者都可能重复某个行为范式，此外，传统方法常常从局部角度或某个视频单元去判断儿童试验者和家长试验者的行为范式的异同或相似性，没有考虑整个视频的全局或整体特征的关联特性，因此，本发明通过动态时间规整优化模型(Dynamic Time Warping，DTW)从全局上判断家长试验者和儿童试验者行为范式的相似性。具体地，假设儿童试验者的视频序列特征就可以由Vbaby＝{v1,v2,...vi...,vm}∈Rm×d表示，其中vi表示第i个8帧儿童试验者的时空特征，m表示整个儿童试验者视频被分为m个8帧视频单元，d表示深度时空特征的长度；同样，对于家长试验者的视频序列特征可以由Fparents＝{f1,f2,...fj...,fn}∈Rn×d表示，其中fj表示第j个8帧家长试验者的时空特征，n表示整个家长试验者视频被分为n个8帧视频单元，d表示深度时空特征的长度。Vbaby和Fparents序列间元素余弦距离记为ci,j＝consine(vi,fj)，其中1≤i≤m，1≤j≤n，ci,j越小，则表示两个序列元素越相似，其余弦距离矩阵可以表示如下：
从而获得儿童试验者的行为范式视频序列Vbaby和家长试验者的行为范式视频序列Fparents的全局相似性x，则全局余弦相似性x转化为概率表示，即：
所述式(7)中，Prob(V,F)表示Vbaby和Fparents序列的概率相似性，α＝min{x}表示训练数据中Vbaby和Fparents序列间最相似的元素，β＝max{x}表示训练数据中Vbaby和Fparents序列间最不相似的元素。在实际应用中，若x＜α，则x被直接设置为α，若x＞β，则x被直接设置为β。关于DTW的具体技术细节见参考文献Keogh E J,Pazzani M J.Derivative DynamicTime Warping[C]//First SIAM international conference on data mining.2001。
同时，为了进一步对儿童试验的行为范式进行评估，本发明同时从局部角度判断儿童试验者和家长试验者的行为范式的相似性，根据所述的视频行为范式构建单元从视频中形成视频单元为16帧，相邻窗口重叠8帧的若干连续的视频单元，并通过P3D深度学习网络提取对应的时空特征，由于考虑到儿童试验者和家长试验者在做相同行为范式存在很多的不同，因此，本发明针对儿童试验者和家长试验者分别构建差异性行为范式分类器模型，并通过对应的分类器模型对每个视频单元进行行为范式识别。这两个差异性行为范式分类器模型的网络结构一样，都是采用P3D的网络结构，其网络结构层数均为199层，其基础网络为ResNet152，其行为范式分类器模型为Softmax函数，具体的差异性行为范式分类器定义为：
所述式(8)和(9)中，pbaby和pparents分别表示儿童试验者和家长试验者的行为范式分类器模型，Tb和Tp分别表示儿童试验者和家长试验者的行为范式类别总数，zi表示第i个输出节点的值。这样，通过差异性行为范式分类器模型可以对每个视频单元进行行为范式识别，获得对应的识别概率值和行为范式类别；
为了进一步对儿童孤独症进行早期评估，在差异性行为范式分类器结果的基础上，设计了一种层次化智能比对和等级行为范式的儿童孤独症早期评估模型；该模型首先通过动态时间规整优化模型(Dynamic Time Warping，DTW)从全局上判断家长试验者和儿童试验者行为范式的相似性，获取对应的相似性概率，并与其全局谱系障碍分数相乘，同时，也从局部角度判断儿童试验者和家长试验者的行为范式类型以及概率，特别地，如果整个视频中包含多个相同类别行为范式的视频行为范式单元，仅保留相同行为范式单元中识别概率值最大的单元，将该单元的识别概率值以及对应行为的谱系障碍分数相乘，获得对应局部行为谱系障碍分数，以此类推，可以获得所有行为范式的谱系障碍分数，将所有行为范式的谱系障碍分数求和，可以获得局部行为范式分类器模型的谱系障碍分数。层次化智能比对和等级行为范式的儿童孤独症早期评估模型的具体定义为：
其中，所述TScore表示儿童孤独症早期评估模型估计出的谱系障碍最后分数，Prob(V,F)表示Vbaby和Fparents序列的概率相似性，DTWScore表示全局行为范式分类器的谱系障碍分数，在本发明中，其值设置为40，Tb表示儿童试验者行为范式分类器的类别总数，
表示整个视频中包含第c类行为范式的视频行为范式单元中识别概率最大的值；由于考虑到自闭症儿童模仿不同的行为范式时，其难易程度也不一样，因此，在本发明中为了难易程度不同的行为范式设置了不同的谱系障碍分数，难度越大，其分数也越高。具体地：5个等级行为范式以及2个辅助行为范式分别为(1)挥手、(2)鼓掌、(3)飞吻、(4)洗脸、(5)梳头、(6)静止不动、(7)其它，其中，挥手的分数为8分，飞吻和鼓掌的分数都为10分，洗脸的动作为12分，梳头的分数为15分，其它动作分数为5分，静止不动的分数为0，总体分数为60分。
表示对应第c类行为范式的谱系障碍分数。最后，将全局行为范式分类器的谱系障碍分数与局部行为范式分类器的谱系障碍分数相加获得最终的评估者谱系障碍分数TScore，这样就可以对儿童试验者的谱系障碍进行早期评估，供专业人员参考。
本发明中试验者可以在其熟悉的环境和熟悉的家人的帮助下进行，不需要任何陌生的任或专业人员的介入和参与，这样试验者没有任何的压力和紧张的情况，更能反应其真实的状态，同时，本发明还充分考虑到儿童模拟不同行为范式的难易程度不同，从全局和局部两个角度对试验者的行为范式进行评估，从而更为准确的评估其谱系障碍疾病情况，最后，该系统仅需要通过视频数据进行深入分析，不需要抓取对应的音频数据，这样，不仅可以避免儿童试验者常常无法正常发音或说话不清楚的情形，而且即使在偏远山区不会讲普通话的家庭都能够适用，因此，该系统更易于应用推广。
参阅图2，本发明实施方式还公开了一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估系统，包括所述基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置、数据采集时安装在儿童试验者熟悉环境下的图像采集设备、标记性装置，其中：
所述图像采集装置用于在儿童试验者熟悉环境和其家长的帮助下，进行视频数据采集。
所述标记性装置用于指示试验者及拍摄人员的站位以及判断试验者和拍摄人员是否站位合理。
所述图像采集装置为任意一台能上网的智能设备终端，所述标记性装置为三个交叉型粘贴装置和两个圆形粘贴装置。在进行图像采集时，按照图1中所述数据采集演示模块中的要求放置所述圆形粘贴和交叉型粘贴装置。
本实施发明中标记性装置可以是但不限于三个交叉型粘贴装置，也可以是三个用于吸引儿童的小脚丫粘贴，它们均放置于地板或地面上，其中两个交叉型装置平行放置，距离为1米，另一个交叉型装置放置于另外两个交叉装置的垂直平分线上，且其距离另外两个交叉装置的垂直距离在1米到1.5米。同时，试验者不需要穿戴任何的专业设备，只需要在其无意识的状态下，将圆形粘贴放置于其肩膀处。在录制过程中，仅仅采集视频信息，家长试验者可以使用儿童试验者所熟悉的任何语言或地方方言，家长试验者在引起儿童试验者注意的情况下，马上做出一个交叉动作，提醒另一位家长开始录制视频，同时，开始慢慢的进行行为范式示范，并提醒宝宝开始模仿家长的行为范式，例如,“宝宝，跟妈妈做”或“宝宝，跟爸爸做一样的动作”或“宝宝，fellow me”等。在行为范式示范时，可以做规定的任何行为范式，且在儿童示范者成功模仿某个行为范式时，家长可以进行语言性的鼓励，例如，“宝宝，你真棒”或“宝宝做的太对了”或者“宝宝做的完全正确”等。如果在进行行为范式示范时，儿童试验者在一分半钟内无法做出任何反应时，建议下次找时间再进行行为示范。
最后，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置，包括：
数据采集演示模块：该模块通过标记性装置指导试验者及其家长如何站位，如何进行视频采集等，所述试验者仅为疑似孤独症儿童，所述家长仅为两位该疑似孤独症儿童的家长；
数据采集模块：该模块用于所述家长按照所述数据采集演示模块的要求采集视频数据；
数据上传模块：该模块用于上传家长通过所述数据采集模块拍摄的视频数据；
数据合理性判断模块：该模块用于判断所述数据上传模块上传的家长拍摄的视频数据是否按照实验要求进行拍摄，是否满足实验条件，否则需要重新拍摄上传；
特征提取模块：用于提取疑似孤独症儿童及其家人的层次化深度时空特征，对他们的等级行为范式进行高效表征；
分类器训练模块：使用带标签数据进行差异性等级行为范式分类器的训练，并构建层次化智能比对分析的孤独症评估模型；
预测评估模块：根据所述数据上传模块上传的家人所拍摄的视频、已经训练好的差异性行为范式分类器模型、层次化智能比对分析和等级行为范式的孤独症评估模型，对评估者的孤独症情况进行智能评估预测。
2.根据权利要求1所述的儿童孤独症早期评估装置，其特征在于，所述数据采集演示模块中，仅需要一台能上网的图像采集终端、两个硬质圆形粘贴装置和三个交叉型粘贴装置，其中：所述两个圆形粘贴分别粘贴于儿童和家长的肩部顶端，所述交叉型装置放置于地板或地面上，大幅度降低对拍摄设备的要求；所述交叉型粘贴装置包括三个粘贴装置，其中：第三个粘贴装置放置于第一个和第二个粘贴装置的连线的垂直平分线上，所述儿童和一个家长分别站在第一个和第二个粘贴装置所在处，另一个家长站在第三个粘贴装置所在处。
3.根据权利要求2所述的儿童孤独症早期评估装置，其特征在于，第一个和第二个粘贴装置之间的直线距离为1m，第三个粘贴装置距离该连线的垂直距离为1.5~2m。
4.根据权利要求1所述的儿童孤独症早期评估装置，其特征在于，所述数据合理性判断模块中，首先从视频中检测识别出儿童和家长以及对应的位置，如果视频中儿童和家长的数量少于或者多于2人，则所拍摄视频不满足要求，需要重新拍摄上传，如果视频中仅仅包括1位家长和1位儿童，则进一步从视频中检测儿童和家长肩部圆形粘贴是否存在以及对应的区域大小，如果圆形粘贴都存在，则分别计算圆形粘贴中像素数量，并比较这两个圆形粘贴的像素数量的比值以及计算圆形粘贴的像素数与整张图像像素数目的比值，如果圆形粘贴的像素数与整张图像像素数目的比值小于某个最低阈值或者大于某个最高阈值，则所拍摄视频无效，需要根据该比值的大小，建议拍摄者应该靠近或者远离拍摄目标，并重新拍摄视频并上传，同时，根据两个圆形粘贴中像素数量的比值，估计儿童和家长是否基本在同一条直线上，如果该比值接近于1，则认为儿童和家长的站位比较合理，否则参与实验的家长需要根据圆形粘贴像素的多少调整站位，并重新拍摄视频并上传，最后，如果其中某个圆形粘贴不存在或都不存在，那么需要按要求重新上传，直到获得满足要求的视频为止。
5.根据权利要求1所述的儿童孤独症早期评估装置，其特征在于，所述特征提取模块包括儿童和家长检测识别单元、家长行为示范开始和结束检测单元、视频行为范式构建单元、时空特征提取单元，其中：
所述儿童和家长检测识别单元通过视频图像识别出儿童和家长的身份；
所述家长行为示范开始和结束检测单元用于检测家长何时开始示范动作，何时结束示范动作，便于后续特征的提取；
所述视频行为范式构建单元用于从视频中形成层次化待识别的行为范式视频单元，用于后续的深度时空特征提取，其中层次化行为范式视频单元的帧数分别为8帧和16帧两个层次，且在形成视频单元的过程中，相邻视频单元之间存在帧的重叠，它们分别重叠4帧和8帧；
所述时空特征提取单元用于通过三维时空卷积网络对层次化视频行为范式单元提取对应的时空特征。
6.根据权利要求1所述的儿童孤独症早期评估装置，其特征在于，所述分类器训练模块通过标记数据训练对应的儿童和家长行为范式分类器，获得差异性行为范式分类器模型，同时，根据这些模型的结果进一步获得层次化智能比对和等级行为范式的孤独症评估模型；该模型从两个层次对儿童孤独症谱系障碍进行早期评估，首先，从视频中形成视频单元为8帧，相邻窗口重叠4帧的若干连续的视频单元，并提取对应的时空特征，进一步地，通过动态时间规整优化模型从全局上判断家长和儿童的行为范式的相似性，获得其全局的相似概率，并与其总谱系障碍分数40相乘；其次，从视频中形成视频单元为16帧，相邻窗口重叠8帧的若干连续的视频单元，并提取对应的时空特征，通过差异性行为范式分类器模型对每个视频单元进行行为范式识别，获得对应的识别概率值和行为范式类别，如果整个视频中包含多个相同类别的视频行为单元，仅保留相同行为单元中识别概率值最大的单元，将该单元的识别概率值以及对应行为范式的谱系障碍分数相乘，获得对应行为谱系障碍分数，以此类推，可以获得所有行为范式的谱系障碍分数，将所有行为范式的谱系障碍分数求和，可以获得局部行为范式分类器模型的谱系障碍分数，其总分为60分；最后，将全局行为范式分类器的谱系障碍分数与局部行为范式分类器的谱系障碍分数相加获得最终的评估者谱系障碍分数，从而对儿童试验者的谱系障碍进行早期评估，供专业人员参考。
7.根据权利要求1-6任一项所述的儿童孤独症早期评估装置，其特征在于，所述的等级行为范式根据自闭症儿童模仿难易程度不同的行为范式动作，设置不同的谱系障碍分数，具体包括5个等级行为范式类别以及2个辅助行为范式，优选为：挥手、鼓掌、飞吻、洗脸、梳头、静止不动和双手交叉，其中：所述挥手的分数为8分，飞吻和鼓掌的分数都为10分，洗脸的动作为12分，梳头的分数为15分，双手交叉和静止不动的分数为0。
8.一种基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估系统，其特征在于，包括：权利要求1-7任一项所述的基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置、数据采集时安装在儿童试验者熟悉环境下的图像采集设备、标记性装置，其中：所述图像采集装置用于在儿童试验者熟悉环境和其家长的帮助下，进行视频数据采集；所述标记性装置用于指示试验者及拍摄人员的站位以及判断试验者和拍摄人员是否站位合理。
9.根据权利要求8所述的儿童孤独症早期评估系统，其特征在于，所述图像采集装置为任意一台能上网的智能设备终端，所述标记性装置为两个圆形粘贴装置和三个交叉型粘贴装置。
10.根据权利要求9所述的儿童孤独症早期评估系统，其特征在于，在进行图像采集时，按照所述数据采集演示模块中的要求放置所述圆形粘贴和交叉型粘贴装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110552073.1A CN113269079B (zh) | 2021-05-20 | 2021-05-20 | 基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110552073.1A CN113269079B (zh) | 2021-05-20 | 2021-05-20 | 基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113269079A true CN113269079A (zh) | 2021-08-17 |
| CN113269079B CN113269079B (zh) | 2024-01-05 |
Family
ID=77232078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110552073.1A Active CN113269079B (zh) | 2021-05-20 | 2021-05-20 | 基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113269079B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114038552A (zh) * | 2021-11-09 | 2022-02-11 | 北京康安启元科技有限公司 | 一种asd筛查与辅助诊断系统、方法、装置及电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103258450A (zh) * | 2013-03-22 | 2013-08-21 | 华中师范大学 | 面向孤独症儿童的智能学习平台 |
| US20140304200A1 (en) * | 2011-10-24 | 2014-10-09 | President And Fellows Of Harvard College | Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy |
| CN109381200A (zh) * | 2018-10-18 | 2019-02-26 | 昆山杜克大学 | 基于分离重聚范式和计算机视觉的孤独症初级筛查装置 |
| CN110349674A (zh) * | 2019-07-05 | 2019-10-18 | 昆山杜克大学 | 基于不当行为观测分析的孤独症谱系障碍评估装置及系统 |
| CN110363129A (zh) * | 2019-07-05 | 2019-10-22 | 昆山杜克大学 | 基于微笑范式和音视频行为分析的孤独症早期筛查系统 |
| CN110459327A (zh) * | 2019-08-07 | 2019-11-15 | 上海市精神卫生中心（上海市心理咨询培训中心） | 一种基于深度学习的自闭症刻板行为分析方法及系统 |
| US20190355454A1 (en) * | 2018-05-10 | 2019-11-21 | Opya, Inc. | Goal based therapy optimization for patient |
| CN110916689A (zh) * | 2019-11-29 | 2020-03-27 | 上海青鸿教育科技有限公司 | 一种自闭症的认知与注意力强化智能评估训练系统及方法 |
| CN111009321A (zh) * | 2019-08-14 | 2020-04-14 | 电子科技大学 | 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法 |
| CN111326253A (zh) * | 2018-12-14 | 2020-06-23 | 深圳先进技术研究院 | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 |
| WO2021067485A1 (en) * | 2019-09-30 | 2021-04-08 | Cognoa, Inc. | Efficient diagnosis of behavioral disorders, developmental delays, and neurological impairments |
| US20210133509A1 (en) * | 2019-03-22 | 2021-05-06 | Cognoa, Inc. | Model optimization and data analysis using machine learning techniques |
-
2021
- 2021-05-20 CN CN202110552073.1A patent/CN113269079B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140304200A1 (en) * | 2011-10-24 | 2014-10-09 | President And Fellows Of Harvard College | Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy |
| CN103258450A (zh) * | 2013-03-22 | 2013-08-21 | 华中师范大学 | 面向孤独症儿童的智能学习平台 |
| US20190355454A1 (en) * | 2018-05-10 | 2019-11-21 | Opya, Inc. | Goal based therapy optimization for patient |
| CN109381200A (zh) * | 2018-10-18 | 2019-02-26 | 昆山杜克大学 | 基于分离重聚范式和计算机视觉的孤独症初级筛查装置 |
| CN111326253A (zh) * | 2018-12-14 | 2020-06-23 | 深圳先进技术研究院 | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 |
| US20210133509A1 (en) * | 2019-03-22 | 2021-05-06 | Cognoa, Inc. | Model optimization and data analysis using machine learning techniques |
| CN110349674A (zh) * | 2019-07-05 | 2019-10-18 | 昆山杜克大学 | 基于不当行为观测分析的孤独症谱系障碍评估装置及系统 |
| CN110363129A (zh) * | 2019-07-05 | 2019-10-22 | 昆山杜克大学 | 基于微笑范式和音视频行为分析的孤独症早期筛查系统 |
| CN110459327A (zh) * | 2019-08-07 | 2019-11-15 | 上海市精神卫生中心（上海市心理咨询培训中心） | 一种基于深度学习的自闭症刻板行为分析方法及系统 |
| CN111009321A (zh) * | 2019-08-14 | 2020-04-14 | 电子科技大学 | 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法 |
| WO2021067485A1 (en) * | 2019-09-30 | 2021-04-08 | Cognoa, Inc. | Efficient diagnosis of behavioral disorders, developmental delays, and neurological impairments |
| CN110916689A (zh) * | 2019-11-29 | 2020-03-27 | 上海青鸿教育科技有限公司 | 一种自闭症的认知与注意力强化智能评估训练系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| HASHEMI, JORDAN: "Computer Vision Analysis for Quantification of Autism Risk Behaviors", IEEE TRANSACTIONS ON AFFECTIVE COMPUTING, pages 215 - 226 * |
| 唐传高: "深度空时婴幼儿表情识别模型下的ASD自动筛查", 中国图象图形学报, pages 2404 - 2414 * |
| 李天碧;胡艺箫;宋词;陆昊阳;易莉;: "孤独症谱系障碍重复刻板行为的测量与机制", 科学通报, no. 15, pages 26 - 39 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114038552A (zh) * | 2021-11-09 | 2022-02-11 | 北京康安启元科技有限公司 | 一种asd筛查与辅助诊断系统、方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113269079B (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020010785A1 (zh) | 一种课堂教学认知负荷测量系统 | |
| CN108399376B (zh) | 学生课堂学习兴趣智能分析方法及系统 | |
| CN110472531B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN110135242B (zh) | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 | |
| CN111915460B (zh) | 基于ai视觉的实验考试智能评分系统 | |
| CN113506624B (zh) | 基于逐层泛化推送逻辑的孤独症儿童认知能力评估干预系统 | |
| CN109063643B (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
| CN106250829A (zh) | 基于唇部纹理结构的数字识别方法 | |
| CN110751015B (zh) | 面部红外热图的灌注优化及人工智能情绪监测方法 | |
| CN114170537A (zh) | 一种多模态三维视觉注意力预测方法及其应用 | |
| CN116343284A (zh) | 基于注意力机制的多特征户外环境情绪识别方法 | |
| CN114242235A (zh) | 一种基于多层级关键特征行为的孤独症患者画像方法 | |
| CN113269079B (zh) | 基于视频层次化比对分析和等级行为范式的儿童孤独症早期评估装置及系统 | |
| CN113705725B (zh) | 一种基于多模态信息融合的用户人格特征预测方法和装置 | |
| CN112529054B (zh) | 一种多源异构数据的多维度卷积神经网络学习者建模方法 | |
| CN112183430B (zh) | 一种基于双神经网络的手语识别方法及装置 | |
| Ashwin et al. | Unobtrusive students' engagement analysis in computer science laboratory using deep learning techniques | |
| CN115797884B (zh) | 一种基于类人视觉注意力加权的车辆重识别方法 | |
| Tarek et al. | Yoga Trainer for Beginners Via Machine Learning | |
| CN114202565A (zh) | 一种基于学习过程情绪实时分析的智能化学习干预系统 | |
| CN115346149A (zh) | 基于时空图卷积网络的跳绳计数方法和系统 | |
| CN115905977A (zh) | 家庭同胞互动过程中负面情绪的监督系统及方法 | |
| CN113688739A (zh) | 基于情绪识别和视觉分析的课堂学习效率预测方法及系统 | |
| Zhang et al. | Skeleton-based action recognition with attention and temporal graph convolutional network | |
| CN113688789A (zh) | 一种基于深度学习的在线学习投入度识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |