CN110516611B - 一种自闭症检测系统及自闭症检测装置 - Google Patents

一种自闭症检测系统及自闭症检测装置 Download PDF

Info

Publication number
CN110516611B
CN110516611B CN201910804390.0A CN201910804390A CN110516611B CN 110516611 B CN110516611 B CN 110516611B CN 201910804390 A CN201910804390 A CN 201910804390A CN 110516611 B CN110516611 B CN 110516611B
Authority
CN
China
Prior art keywords
video
autism
video data
training
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910804390.0A
Other languages
English (en)
Other versions
CN110516611A (zh
Inventor
张凯捷
王威
王亮
单彩峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cas Artificial Intelligence Research Qingdao Co ltd
Original Assignee
Cas Artificial Intelligence Research Qingdao Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cas Artificial Intelligence Research Qingdao Co ltd filed Critical Cas Artificial Intelligence Research Qingdao Co ltd
Priority to CN201910804390.0A priority Critical patent/CN110516611B/zh
Publication of CN110516611A publication Critical patent/CN110516611A/zh
Application granted granted Critical
Publication of CN110516611B publication Critical patent/CN110516611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)

Abstract

本发明公开了一种自闭症检测系统及自闭症检测装置，该系统包括：模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，利用训练视频数据对自注意三维卷积神经网络检测模型中进行多次训练；自闭症检测模块，用于采集待检测者的多段待检测视频数据，并对其进行预处理和多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征经过多层全连接层后进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。

Description

一种自闭症检测系统及自闭症检测装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于自注意三维卷积神经网络的自闭症谱系障碍(ASD)检测系统及自闭症谱系障碍(ASD)检测装置。
背景技术
在传统的自闭症筛查中，往往依赖于专业的从医人员进行诊断和判别，这种方式往往耗时耗力，加上相关的专业人员数量少，这就给自闭症的早期筛查带来了一定的难度，从而也就容易使得一些自闭症患者不能在早期被筛查出来，尽早地进行干预治疗。对于自闭症而言，早期的干预治疗，对于后续的恢复或者减轻症状有着至关重要的作用。
近年来，随着计算机的计算能力提升以及人工智能技术的发展，可使用复杂的深度神经网络模型去解决许多复杂的问题。在计算机视觉领域，深度卷积神经网络已被用来解决许多具有挑战性的问题，如行人识别，行为识别，步态识别等等。而自闭症患者一个明显的特征就是行为上的异常，因此便可以利用计算机视觉领域相关技术寻找自闭症人群与正常人群之间的行为差异，从而更有效快速的对受试者进行自闭症的筛查。
发明人在研发过程中发现，现有的自闭症筛查方式主要依赖专业从医人员，存在耗时耗力，效率低的问题。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于自注意三维卷积神经网络的自闭症检测系统及自闭症检测装置，无需对受试者进行侵入性的实验，仅需根据其执行某一特定动作的视频便可进行相应的自闭症筛查。
本发明一方面提供的一种自闭症检测系统的技术方案是：
一种自闭症检测系统，该系统包括：
模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每段视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集待检测者的多段待检测视频数据，并对其进行预处理，对预处理后的每段视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征经过多层全连接层后进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。
本发明一方面提供的一种自闭症检测装置的技术方案是：
一种自闭症检测装置，该装置包括图像采集装置、处理器和存储器；
所述图像采集装置，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一特定动作的多段视频数据，以及待检测者执行在室内环境下某一特定动作的多段视频数据，并分别上传至处理器；
所述处理器，用于利用多段训练视频数据对自注意三维卷积神经网络检测模型进行训练，对多段检测视频数据进行预处理和多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中，得到每段视频相应的类别概率，根据概率的大小确定待检测者是否患有自闭症；
所述存储器，用于存储处理器输出的检测结果。
通过上述技术方案，本发明的有益效果是：
(1)本发明通过自注意三维卷积神经网络模型对受试者的视频数据进行处理，得到视频的类别概率，根据概率精确确定该视频中的受试者所属的类别，实现有效快速地对受试者进行自闭症的筛查；
(2)本发明不需要对受试者有侵入性的实验，在筛查阶段减少了对专业从医人员的依赖，能够很好地提高早期筛查的效率，而且也更加容易实行。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本申请，并不构成对本发明的不当限定。
图1是实施例一自闭症检测系统的结构图；
图2是实施例一中自注意三维卷积神经网络检测模型的结构示意图；
图3是实施例二自闭症检测装置的结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于自注意三维卷积的自闭症检测系统，请参阅附图1，该系统包括：
模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每个视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集待检测者的多段待检测数据，并对其进行预处理，对预处理后的每个视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，根据概率的大小确定待检测者是否患有自闭症。
具体地，所述模型训练模块包括训练数据采集模块、训练数据预处理模块、神经网络模型构建模块和神经网络模型训练模块，其中：
所述训练数据采集模块，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一特定动作的多段视频数据，并对所有的视频数据进行标签标注，自闭症受试者的视频数据标注为0，非自闭症受试者的视频数据标注为1。
在本实施例中，该某一特定动作可为拿水杯动作，该特定动作类别可根据模型训练时使用的视频动作而定。
所述训练数据预处理模块，用于对视频数据进行拆帧，并对每一帧视频数据进行高斯模糊降噪处理，再进行降采样处理，然后随机选取一定数量的视频数据，对所选取的每个视频数据进行一次随机采样，构成模型输入数据。
在本实施例中，对每一帧视频数据进行高斯模糊降噪处理后，再将每一帧视频数据降采样到112*112大小，然后随机选取一定批次大小的视频，对每个视频随机采样一次，每次采样连续的16帧视频数据。
所述神经网络模型构建模块，用于构建自注意三维卷积神经网络检测模型。
请参阅附图2，所述自注意三维卷积神经网络检测模型中，三维卷积网络包含8个卷积层，5个池化层构成，使用的卷积核大小为3*3*3。
所述神经网络模型训练模块，用于将每一个视频的一次连续采样数据输入到自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到紧接着的3层全连接层中，对最后一层全连接层输出结果进行分类操作，得到每一个视频相应的类别概率；根据每一个视频相应的类别概率以及该视频相应的标签，使用交叉熵损失函数计算误差；根据得到的误差，利用反向传播算法对模型中的参数进行更新，重复训练更新，直到误差基本已不再变化，即波动范围小于设定的阈值。
请参阅附图2，在采用自注意机制对提取到的特征进行重新加权时，需要将特征的维度重新排列成一维的数组，再输入到定义好的自注意机制中，自注意机制计算公式如下：
SelfAttention(X)＝Softmax(X·XT)·X
上式中Softmax表示如下：
Figure BDA0002183211900000061
上式中，Xi表示张量X中的一个元素，分母中的n为张量X中的元素总个数。
请参阅附图2，其中前两层全连接层的输出通道大小为4096，最后一层输出通道为2。
误差的计算公式为：
Loss＝-[y·log(p)+(1-y)·log(1-p)]
上式中，y表示相应的类别标签，本实施例为二分类模型，因此y取值仅为0或1，p为模型预测为正类(1)的概率。
具体地，所述自闭症检测模块包括待测数据采集模块、待测数据预处理模块和自闭症预测模块，其中：
所述待测数据采集模块，用于采集待检测者执行某一特定动作的多段视频数据；
所述待测数据预处理模块，用于对视频数据进行拆帧，并对每一帧视频数据进行高斯模糊降噪处理，再进行降采样处理，然后随机选取一定数量的视频，对所选取的每个视频进行多次随机连续采样，构成模型输入数据。
在本实施中，在同一个视频中进行多次采样(不低于10次)，每次采样连续的16帧。
所述自闭症预测模块，用于将每一个视频的多次连续采样数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到紧接着的3层全连接层中，对最后一层全连接层输出结果进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，最终根据概率的大小确定该待检测者是否患有自闭症。
在本实施例中，若在同一个视频中采样了10次，则需对这10次的预测结果进行平均作为该视频的分类结果。视频最终的二分类概率结果，即自闭症与非自闭症的概率，若该视频的自闭症概率大，则该待检测者患有自闭症；若该视频的非自闭症概率大，则该待检测者为正常人。
本实施例解决了自闭症谱系障碍(ASD)筛查耗时耗力的问题，在筛查阶段减少了对专业从医人员的依赖，能够很好地提高早期筛查的效率，而且也更加容易实行。
为了使本领域技术人员更好地了解本申请的技术方案，以某自闭症检测数据集为例说明。
该自闭症检测数据集采集了20名自闭症儿童以及20名正常儿童执行同一个动作(拿水杯动作)的视频，每位受试者采集了10-12段视频，均执行同一个动作，共采集了465段视频，其中每段视频仅截取了拿水杯过程的视频段，每段视频长度为几十帧到一百多帧。
由于该数据集训练样本不算大，因此为了更好地评估模型效果，训练过程采用了留一验证的方式进行训练，即每次训练时，取39个受试着的动作视频作为训练集，剩下的一个受试者的动作视频作为验证集，并利用这个验证集来评判训练出的模型的好坏，并挑选出在验证集上表现最好的模型作为最终的模型。由于一共有40位受试者，因此训练过程会按上述的训练步骤重复四十次，即每位受试者的动作视频都会作为一次验证集，而其余数据作为训练集来训练模型。根据此种训练方式，根据一种动作的视频数据训练，最终会获得40个预测模型。
表1给出了利用该数据集中的其中一种动作的视频数据进行模型训练的结果，表中的编号代表受试者的编号，其中编号1-20为患ASD的受试者，21-40号为正常受试者，记为TD，每个编号后跟着一个概率值，该概率值表示，利用除该受试者之外的数据训练的模型去预测该受试者，并预测正确的概率。
表1利用该数据集中的其中一种动作的视频数据进行模型训练的结果
Figure BDA0002183211900000081
Figure BDA0002183211900000091
从上述实验结果可以看出，该模型根据视频数据便能较好地区分出自闭症患者与正常受试者，40个模型中，37个模型均在验证集上预测正确。
总之，本实施例提出的一种端到端的基于自注意三维卷积神经网络模型的自闭症检测系统，不需要对受试者有侵入性的实验，仅需根据其执行某一特定动作的视频便可进行相应的自闭症筛查，相比于传统自闭症检测方法更加便于实施，同时也能具有比较好的预测效果。
实施例二
本实施例提供一种自闭症检测装置，请参阅附图3，该装置包括图像采集装置、处理器、存储器和显示装置。
所述图像采集装置，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一特定动作的多段训练视频数据，以及待检测者在室内环境下执行某一特定动作的多段检测视频数据，并分别上传至处理器。
所述处理器，用于对多段训练视频数据进行预处理，对预处理后的每个视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；对多段待检测数据进行预处理，对预处理后的每个视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，根据概率的大小确定待检测者是否患有自闭症。
所述存储器，用于存储处理器输出的检测结果。
所述显示装置，用于显示处理器输出的检测结果。
在本实施例中，所述处理器，包括：
模型训练模块，用于采集多段训练视频数据，并对其进行预处理，对预处理后的每个视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集多段待检测数据，并对其进行预处理，对预处理后的每个视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，根据概率的大小确定待检测者是否患有自闭症。
其中，本实施例的模型训练模块、自闭症检测模块的具体结构请参阅前面实施例的相关描述，在此不做赘述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种自闭症检测系统，其特征是，该系统包括：
模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每段视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集待检测者的多段待检测视频数据，并对其进行预处理，对预处理后的每段视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征经过多层全连接层后进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症；
所述模型训练模块包括：
神经网络模型构建模块，用于构建自注意三维卷积神经网络检测模型；
神经网络模型训练模块，用于将每段视频的一次连续采样数据输入到自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中，并对最后一层全连接层输出结果进行分类操作，得到每个视频相应的类别概率；根据每个视频相应的类别概率以及该视频相应的标签，使用交叉熵损失函数计算误差；根据得到的误差，利用反向传播算法对模型中的参数进行更新，重复多次训练更新，直到误差的波动范围小于设定的阈值。
2.根据权利要求1所述的自闭症检测系统，其特征是，所述模型训练模块还包括：
训练数据采集模块，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一指定动作的多段视频数据，并对所有的视频数据进行标签标注；
训练数据预处理模块，用于对视频数据进行拆帧，并对每一帧视频数据进行高斯模糊降噪和降采样处理，随机选取一定数量的视频数据，对所选取的每段视频数据进行一次随机采样。
3.根据权利要求1所述的自闭症检测系统，其特征是，所述自注意三维卷积神经网络检测模型的结构包括8个卷积层和5个池化层。
4.根据权利要求1所述的自闭症检测系统，其特征是，所述自闭症检测模块包括：
待测数据采集模块，用于采集待检测者执行某一指定动作的多段视频数据；
待测数据预处理模块，用于对视频数据进行拆帧，并对每一帧视频数据进行高斯模糊降噪和降采样处理，对每段视频进行多次随机连续采样。
5.根据权利要求4所述的自闭症检测系统，其特征是，所述自闭症检测模块还包括：
自闭症预测模块，用于将每段视频的多次连续采样数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中，对最后一层全连接层输出结果进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。
6.一种自闭症检测装置，基于如权利要求1-5任一所述的自闭症检测系统，其特征是，该装置包括图像采集装置、处理器和存储器；
所述图像采集装置，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一指定动作的多段视频数据，以及待检测者执行在室内环境下某一指定动作的多段视频数据，并分别上传至处理器；
所述处理器，用于利用多段训练视频数据对自注意三维卷积神经网络检测模型进行训练，对多段检测视频数据进行预处理和多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中，得到每段视频相应的类别概率，根据概率的大小确定待检测者是否患有自闭症；
所述存储器，用于存储处理器输出的检测结果。
7.根据权利要求6所述的自闭症检测装置，其特征是，所述处理器包括：
模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每段视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集待检测者的多段待检测视频数据，并对其进行预处理，对预处理后的每段视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征经过多层全连接层后进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。
8.根据权利要求6所述的自闭症检测装置，其特征是，还包括显示装置，所述显示装置，用于显示处理器输出的检测结果。
CN201910804390.0A 2019-08-28 2019-08-28 一种自闭症检测系统及自闭症检测装置 Active CN110516611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910804390.0A CN110516611B (zh) 2019-08-28 2019-08-28 一种自闭症检测系统及自闭症检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910804390.0A CN110516611B (zh) 2019-08-28 2019-08-28 一种自闭症检测系统及自闭症检测装置

Publications (2)

Publication Number Publication Date
CN110516611A CN110516611A (zh) 2019-11-29
CN110516611B true CN110516611B (zh) 2022-03-01

Family

ID=68627671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910804390.0A Active CN110516611B (zh) 2019-08-28 2019-08-28 一种自闭症检测系统及自闭症检测装置

Country Status (1)

Country Link
CN (1) CN110516611B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113990494B (zh) * 2021-12-24 2022-03-25 浙江大学 一种基于视频数据的抽动症辅助筛查系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089556B1 (en) * 2017-06-12 2018-10-02 Konica Minolta Laboratory U.S.A., Inc. Self-attention deep neural network for action recognition in surveillance videos
CN109063568B (zh) * 2018-07-04 2020-12-22 复旦大学 一种基于深度学习的花样滑冰视频自动打分的方法
CN109223002A (zh) * 2018-08-27 2019-01-18 上海铱硙医疗科技有限公司 自闭症患病预测方法、装置、设备及存储介质
CN110175580B (zh) * 2019-05-29 2020-10-30 复旦大学 一种基于时序因果卷积网络的视频行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning Spatiotemporal Features with 3D Convolutional Networks;Du Tran et al.;《https://arxiv.org/abs/1412.0767》;20151008;第1-16页 *
基于深度学习的人脸表情识别研究;孙文赟;《中国博士学位论文全文数据库 信息科技辑》;20190715;第2019年卷(第7期);第I138-55页 *

Also Published As

Publication number Publication date
CN110516611A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
Rahman et al. Improving malaria parasite detection from red blood cell using deep convolutional neural networks
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN112766355B (zh) 一种标签噪声下的脑电信号情绪识别方法
CN112580523A (zh) 行为识别方法、装置、设备及存储介质
CN112587153B (zh) 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法
CN111798440A (zh) 医学图像伪影自动识别方法、系统及存储介质
WO2021212715A1 (zh) 精神分裂症分类识别方法、运行控制装置及医疗设备
CN113995419A (zh) 一种基于心跳节律信号的房颤发生风险预测系统及其应用
Harshitha et al. Predicting the stages of diabetic retinopathy using deep learning
CN113269230A (zh) 一种基于时序高维特征提取的多肺炎ct分类方法及装置
Parsons et al. Automatic identification of Chagas disease vectors using data mining and deep learning techniques
CN110516611B (zh) 一种自闭症检测系统及自闭症检测装置
CN116091446A (zh) 食管内窥镜图像的异常检测方法、系统、介质及设备
CN113657022B (zh) 一种芯片故障识别方法及相关设备
CN115249302A (zh) 基于多尺度上下文信息与注意力机制的肠壁血管分割方法
CN111476775B (zh) Dr征象识别装置和方法
Saranya et al. Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model
Girdher et al. Detecting and Estimating Severity of Leaf Spot Disease in Golden Pothos using Hybrid Deep Learning Approach
CN111860949A (zh) 基于时序图像的预测方法及装置
CN117530684B (zh) 一种基于健康大数据的血糖异常检测与预警系统及方法
UmaMaheswaran et al. Enhanced non-contrast computed tomography images for early acute stroke detection using machine learning approach
CN116616800B (zh) 基于元迁移学习的头皮脑电高频振荡信号识别方法及装置
CN116665310B (zh) 基于弱监督学习的抽动障碍识别和分类方法及系统
CN115810016B (zh) 肺部感染cxr图像自动识别方法、系统、存储介质及终端
CN114445643B (zh) 一种基于显著稀疏强关联的fmri脑功能连接数据特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant