CN110516611A - 一种自闭症检测系统及自闭症检测装置 - Google Patents

一种自闭症检测系统及自闭症检测装置 Download PDF

Info

Publication number
CN110516611A
CN110516611A CN201910804390.0A CN201910804390A CN110516611A CN 110516611 A CN110516611 A CN 110516611A CN 201910804390 A CN201910804390 A CN 201910804390A CN 110516611 A CN110516611 A CN 110516611A
Authority
CN
China
Prior art keywords
video
self
closing disease
section
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910804390.0A
Other languages
English (en)
Other versions
CN110516611B (zh
Inventor
张凯捷
王威
王亮
单彩峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Science And Technology Institute Of Artificial Intelligence Innovation Technology (qingdao) Co Ltd
Original Assignee
China Science And Technology Institute Of Artificial Intelligence Innovation Technology (qingdao) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Science And Technology Institute Of Artificial Intelligence Innovation Technology (qingdao) Co Ltd filed Critical China Science And Technology Institute Of Artificial Intelligence Innovation Technology (qingdao) Co Ltd
Priority to CN201910804390.0A priority Critical patent/CN110516611B/zh
Publication of CN110516611A publication Critical patent/CN110516611A/zh
Application granted granted Critical
Publication of CN110516611B publication Critical patent/CN110516611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)

Abstract

本发明公开了一种自闭症检测系统及自闭症检测装置，该系统包括：模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，利用训练视频数据对自注意三维卷积神经网络检测模型中进行多次训练；自闭症检测模块，用于采集待检测者的多段待检测视频数据，并对其进行预处理和多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征经过多层全连接层后进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。

Description

一种自闭症检测系统及自闭症检测装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于自注意三维卷积神经网络的自闭症谱系障碍(ASD)检测系统及自闭症谱系障碍(ASD)检测装置。
背景技术
在传统的自闭症筛查中，往往依赖于专业的从医人员进行诊断和判别，这种方式往往耗时耗力，加上相关的专业人员数量少，这就给自闭症的早期筛查带来了一定的难度，从而也就容易使得一些自闭症患者不能在早期被筛查出来，尽早地进行干预治疗。对于自闭症而言，早期的干预治疗，对于后续的恢复或者减轻症状有着至关重要的作用。
近年来，随着计算机的计算能力提升以及人工智能技术的发展，可使用复杂的深度神经网络模型去解决许多复杂的问题。在计算机视觉领域，深度卷积神经网络已被用来解决许多具有挑战性的问题，如行人识别，行为识别，步态识别等等。而自闭症患者一个明显的特征就是行为上的异常，因此便可以利用计算机视觉领域相关技术寻找自闭症人群与正常人群之间的行为差异，从而更有效快速的对受试者进行自闭症的筛查。
发明人在研发过程中发现，现有的自闭症筛查方式主要依赖专业从医人员，存在耗时耗力，效率低的问题。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于自注意三维卷积神经网络的自闭症检测系统及自闭症检测装置，无需对受试者进行侵入性的实验，仅需根据其执行某一特定动作的视频便可进行相应的自闭症筛查。
本发明一方面提供的一种自闭症检测系统的技术方案是：
一种自闭症检测系统，该系统包括：
模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每段视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集待检测者的多段待检测视频数据，并对其进行预处理，对预处理后的每段视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征经过多层全连接层后进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。
本发明一方面提供的一种自闭症检测装置的技术方案是：
一种自闭症检测装置，该装置包括图像采集装置、处理器和存储器；
所述图像采集装置，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一特定动作的多段视频数据，以及待检测者执行在室内环境下某一特定动作的多段视频数据，并分别上传至处理器；
所述处理器，用于利用多段训练视频数据对自注意三维卷积神经网络检测模型进行训练，对多段检测视频数据进行预处理和多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中，得到每段视频相应的类别概率，根据概率的大小确定待检测者是否患有自闭症；
所述存储器，用于存储处理器输出的检测结果。
通过上述技术方案，本发明的有益效果是：
(1)本发明通过自注意三维卷积神经网络模型对受试者的视频数据进行处理，得到视频的类别概率，根据概率精确确定该视频中的受试者所属的类别，实现有效快速地对受试者进行自闭症的筛查；
(2)本发明不需要对受试者有侵入性的实验，在筛查阶段减少了对专业从医人员的依赖，能够很好地提高早期筛查的效率，而且也更加容易实行。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本申请，并不构成对本发明的不当限定。
图1是实施例一自闭症检测系统的结构图；
图2是实施例一中自注意三维卷积神经网络检测模型的结构示意图；
图3是实施例二自闭症检测装置的结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于自注意三维卷积的自闭症检测系统，请参阅附图1，该系统包括：
模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每个视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集待检测者的多段待检测数据，并对其进行预处理，对预处理后的每个视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，根据概率的大小确定待检测者是否患有自闭症。
具体地，所述模型训练模块包括训练数据采集模块、训练数据预处理模块、神经网络模型构建模块和神经网络模型训练模块，其中：
所述训练数据采集模块，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一特定动作的多段视频数据，并对所有的视频数据进行标签标注，自闭症受试者的视频数据标注为0，非自闭症受试者的视频数据标注为1。
在本实施例中，该某一特定动作可为拿水杯动作，该特定动作类别可根据模型训练时使用的视频动作而定。
所述训练数据预处理模块，用于对视频数据进行拆帧，并对每一帧视频数据进行高斯模糊降噪处理，再进行降采样处理，然后随机选取一定数量的视频数据，对所选取的每个视频数据进行一次随机采样，构成模型输入数据。
在本实施例中，对每一帧视频数据进行高斯模糊降噪处理后，再将每一帧视频数据降采样到112*112大小，然后随机选取一定批次大小的视频，对每个视频随机采样一次，每次采样连续的16帧视频数据。
所述神经网络模型构建模块，用于构建自注意三维卷积神经网络检测模型。
请参阅附图2，所述自注意三维卷积神经网络检测模型中，三维卷积网络包含8个卷积层，5个池化层构成，使用的卷积核大小为3*3*3。
所述神经网络模型训练模块，用于将每一个视频的一次连续采样数据输入到自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到紧接着的3层全连接层中，对最后一层全连接层输出结果进行分类操作，得到每一个视频相应的类别概率；根据每一个视频相应的类别概率以及该视频相应的标签，使用交叉熵损失函数计算误差；根据得到的误差，利用反向传播算法对模型中的参数进行更新，重复训练更新，直到误差基本已不再变化，即波动范围小于设定的阈值。
请参阅附图2，在采用自注意机制对提取到的特征进行重新加权时，需要将特征的维度重新排列成一维的数组，再输入到定义好的自注意机制中，自注意机制计算公式如下：
SelfAttention(X)＝Softmax(X·XT)·X
上式中Softmax表示如下：
上式中，Xi表示张量X中的一个元素，分母中的n为张量X中的元素总个数。
请参阅附图2，其中前两层全连接层的输出通道大小为4096，最后一层输出通道为2。
误差的计算公式为：
Loss＝-[y·log(p)+(1-y)·log(1-p)]
上式中，y表示相应的类别标签，本实施例为二分类模型，因此y取值仅为0或1，p为模型预测为正类(1)的概率。
具体地，所述自闭症检测模块包括待测数据采集模块、待测数据预处理模块和自闭症预测模块，其中：
所述待测数据采集模块，用于采集待检测者执行某一特定动作的多段视频数据；
所述待测数据预处理模块，用于对视频数据进行拆帧，并对每一帧视频数据进行高斯模糊降噪处理，再进行降采样处理，然后随机选取一定数量的视频，对所选取的每个视频进行多次随机连续采样，构成模型输入数据。
在本实施中，在同一个视频中进行多次采样(不低于10次)，每次采样连续的16帧。
所述自闭症预测模块，用于将每一个视频的多次连续采样数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到紧接着的3层全连接层中，对最后一层全连接层输出结果进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，最终根据概率的大小确定该待检测者是否患有自闭症。
在本实施例中，若在同一个视频中采样了10次，则需对这10次的预测结果进行平均作为该视频的分类结果。视频最终的二分类概率结果，即自闭症与非自闭症的概率，若该视频的自闭症概率大，则该待检测者患有自闭症；若该视频的非自闭症概率大，则该待检测者为正常人。
本实施例解决了自闭症谱系障碍(ASD)筛查耗时耗力的问题，在筛查阶段减少了对专业从医人员的依赖，能够很好地提高早期筛查的效率，而且也更加容易实行。
为了使本领域技术人员更好地了解本申请的技术方案，以某自闭症检测数据集为例说明。
该自闭症检测数据集采集了20名自闭症儿童以及20名正常儿童执行同一个动作(拿水杯动作)的视频，每位受试者采集了10-12段视频，均执行同一个动作，共采集了465段视频，其中每段视频仅截取了拿水杯过程的视频段，每段视频长度为几十帧到一百多帧。
由于该数据集训练样本不算大，因此为了更好地评估模型效果，训练过程采用了留一验证的方式进行训练，即每次训练时，取39个受试着的动作视频作为训练集，剩下的一个受试者的动作视频作为验证集，并利用这个验证集来评判训练出的模型的好坏，并挑选出在验证集上表现最好的模型作为最终的模型。由于一共有40位受试者，因此训练过程会按上述的训练步骤重复四十次，即每位受试者的动作视频都会作为一次验证集，而其余数据作为训练集来训练模型。根据此种训练方式，根据一种动作的视频数据训练，最终会获得40个预测模型。
表1给出了利用该数据集中的其中一种动作的视频数据进行模型训练的结果，表中的编号代表受试者的编号，其中编号1-20为患ASD的受试者，21-40号为正常受试者，记为TD，每个编号后跟着一个概率值，该概率值表示，利用除该受试者之外的数据训练的模型去预测该受试者，并预测正确的概率。
表1利用该数据集中的其中一种动作的视频数据进行模型训练的结果
从上述实验结果可以看出，该模型根据视频数据便能较好地区分出自闭症患者与正常受试者，40个模型中，37个模型均在验证集上预测正确。
总之，本实施例提出的一种端到端的基于自注意三维卷积神经网络模型的自闭症检测系统，不需要对受试者有侵入性的实验，仅需根据其执行某一特定动作的视频便可进行相应的自闭症筛查，相比于传统自闭症检测方法更加便于实施，同时也能具有比较好的预测效果。
实施例二
本实施例提供一种自闭症检测装置，请参阅附图3，该装置包括图像采集装置、处理器、存储器和显示装置。
所述图像采集装置，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一特定动作的多段训练视频数据，以及待检测者在室内环境下执行某一特定动作的多段检测视频数据，并分别上传至处理器。
所述处理器，用于对多段训练视频数据进行预处理，对预处理后的每个视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；对多段待检测数据进行预处理，对预处理后的每个视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，根据概率的大小确定待检测者是否患有自闭症。
所述存储器，用于存储处理器输出的检测结果。
所述显示装置，用于显示处理器输出的检测结果。
在本实施例中，所述处理器，包括：
模型训练模块，用于采集多段训练视频数据，并对其进行预处理，对预处理后的每个视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集多段待检测数据，并对其进行预处理，对预处理后的每个视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中进行分类操作，得到每一个视频相应的类别概率；对同一个视频相应的类别概率进行平均操作，得到该视频最终的二分类概率结果，即自闭症与非自闭症的概率，根据概率的大小确定待检测者是否患有自闭症。
其中，本实施例的模型训练模块、自闭症检测模块的具体结构请参阅前面实施例的相关描述，在此不做赘述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种自闭症检测系统，其特征是，该系统包括：
模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每段视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集待检测者的多段待检测视频数据，并对其进行预处理，对预处理后的每段视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征经过多层全连接层后进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。
2.根据权利要求1所述的自闭症检测系统，其特征是，所述模型训练模块包括：
训练数据采集模块，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一指定动作的多段视频数据，并对所有的视频数据进行标签标注；
训练数据预处理模块，用于对视频数据进行拆帧，并对每一帧视频数据进行高斯模糊降噪和降采样处理，随机选取一定数量的视频数据，对所选取的每段视频数据进行一次随机采样。
3.根据权利要求2所述的自闭症检测系统，其特征是，所述模型训练模块还包括：
神经网络模型构建模块，用于构建自注意三维卷积神经网络检测模型；
神经网络模型训练模块，用于将每段视频的一次连续采样数据输入到自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中，并对最后一层全连接层输出结果进行分类操作，得到每个视频相应的类别概率；根据每个视频相应的类别概率以及该视频相应的标签，使用交叉熵损失函数计算误差；根据得到的误差，利用反向传播算法对模型中的参数进行更新，重复多次训练更新，直到误差的波动范围小于设定的阈值。
4.根据权利要求3所述的自闭症检测系统，其特征是，所述自注意三维卷积神经网络检测模型的结构包括8个卷积层和5个池化层。
5.根据权利要求1所述的自闭症检测系统，其特征是，所述自闭症检测模块包括：
待测数据采集模块，用于采集待检测者执行某一指定动作的多段视频数据；
待测数据预处理模块，用于对视频数据进行拆帧，并对每一帧视频数据进行高斯模糊降噪和降采样处理，对每段视频进行多次随机连续采样。
6.根据权利要求5所述的自闭症检测系统，其特征是，所述自闭症检测模块还包括：
自闭症预测模块，用于将每段视频的多次连续采样数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征输入到多层全连接层中，对最后一层全连接层输出结果进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。
7.一种自闭症检测装置，其特征是，该装置包括图像采集装置、处理器和存储器；
所述图像采集装置，用于采集多个自闭症受试者和非自闭症受试者在室内环境下执行某一指定动作的多段视频数据，以及待检测者执行在室内环境下某一指定动作的多段视频数据，并分别上传至处理器；
所述处理器，用于利用多段训练视频数据对自注意三维卷积神经网络检测模型进行训练，对多段检测视频数据进行预处理和多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中，得到每段视频相应的类别概率，根据概率的大小确定待检测者是否患有自闭症；
所述存储器，用于存储处理器输出的检测结果。
8.根据权利要求7所述的自闭症检测装置，其特征是，所述处理器包括：
模型训练模块，用于采集多个受试者的多段训练视频数据，并对其进行预处理，对预处理后的每段视频数据进行一次随机采样，将采样后的数据输入自注意三维卷积神经网络检测模型中进行多次训练，得到训练好的自注意三维卷积神经网络检测模型；
自闭症检测模块，用于采集待检测者的多段待检测视频数据，并对其进行预处理，对预处理后的每段视频数据进行多次随机采样，将采样后的数据输入到训练好的自注意三维卷积神经网络检测模型中进行提取特征；采用自注意机制对提取到的特征进行重新加权，将重新加权后的特征经过多层全连接层后进行分类操作，得到每段视频相应的类别概率；对同一段视频相应的类别概率进行平均操作，得到该段视频的二分类概率，根据概率的大小确定该段视频的待检测者是否患有自闭症。
9.根据权利要求7所述的自闭症检测装置，其特征是，还包括显示装置，所述显示装置，用于显示处理器输出的检测结果。
CN201910804390.0A 2019-08-28 2019-08-28 一种自闭症检测系统及自闭症检测装置 Active CN110516611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910804390.0A CN110516611B (zh) 2019-08-28 2019-08-28 一种自闭症检测系统及自闭症检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910804390.0A CN110516611B (zh) 2019-08-28 2019-08-28 一种自闭症检测系统及自闭症检测装置

Publications (2)

Publication Number Publication Date
CN110516611A true CN110516611A (zh) 2019-11-29
CN110516611B CN110516611B (zh) 2022-03-01

Family

ID=68627671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910804390.0A Active CN110516611B (zh) 2019-08-28 2019-08-28 一种自闭症检测系统及自闭症检测装置

Country Status (1)

Country Link
CN (1) CN110516611B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116736A1 (zh) * 2021-12-24 2023-06-29 浙江大学 一种基于视频数据的抽动症辅助筛查系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089556B1 (en) * 2017-06-12 2018-10-02 Konica Minolta Laboratory U.S.A., Inc. Self-attention deep neural network for action recognition in surveillance videos
CN109063568A (zh) * 2018-07-04 2018-12-21 复旦大学 一种基于深度学习的花样滑冰视频自动打分的方法
CN109223002A (zh) * 2018-08-27 2019-01-18 上海铱硙医疗科技有限公司 自闭症患病预测方法、装置、设备及存储介质
CN110175580A (zh) * 2019-05-29 2019-08-27 复旦大学 一种基于时序因果卷积网络的视频行为识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089556B1 (en) * 2017-06-12 2018-10-02 Konica Minolta Laboratory U.S.A., Inc. Self-attention deep neural network for action recognition in surveillance videos
CN109063568A (zh) * 2018-07-04 2018-12-21 复旦大学 一种基于深度学习的花样滑冰视频自动打分的方法
CN109223002A (zh) * 2018-08-27 2019-01-18 上海铱硙医疗科技有限公司 自闭症患病预测方法、装置、设备及存储介质
CN110175580A (zh) * 2019-05-29 2019-08-27 复旦大学 一种基于时序因果卷积网络的视频行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DU TRAN ET AL.: "Learning Spatiotemporal Features with 3D Convolutional Networks", 《HTTPS://ARXIV.ORG/ABS/1412.0767》 *
孙文赟: "基于深度学习的人脸表情识别研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116736A1 (zh) * 2021-12-24 2023-06-29 浙江大学 一种基于视频数据的抽动症辅助筛查系统

Also Published As

Publication number Publication date
CN110516611B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
Zhao et al. Supervised segmentation of un-annotated retinal fundus images by synthesis
Wu et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation
Masood et al. Identification of diabetic retinopathy in eye images using transfer learning
Sharma et al. A New Dawn for Tomato-spotted wilt virus Detection and Intensity Classification: A CNN and LSTM Ensemble Model
Wu et al. U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation
CN110837803A (zh) 基于深度图网络的糖尿病视网膜病变分级方法
CN109508644A (zh) 基于深度视频数据分析的面瘫等级评估系统
CN112043260A (zh) 基于局部模式变换的心电图分类方法
CN112633257A (zh) 基于改良卷积神经网络的马铃薯病害识别方法
Sallam et al. Diabetic retinopathy grading using resnet convolutional neural network
Deshpande et al. Automated detection of Diabetic Retinopathy using VGG-16 architecture
Kumaraswamy Key challenges in the diagnosis of cancer using artificial intelligence methods
Kumar et al. A Novel Zero-Shot Learning Approach for Multi-Classification of Orange Sooty Mold Disease Severity Levels
Parsons et al. Automatic identification of Chagas disease vectors using data mining and deep learning techniques
Srinithi et al. Machine learning for diagnosis of polycystic ovarian syndrome (PCOS/PCOD)
Revathi et al. Particle Swarm Optimization based Detection of Diabetic Retinopathy using a Novel Deep CNN
Sudhakar et al. Brain Tumor Image Prediction from MR Images Using CNN Based Deep Learning Networks
Bhawarkar et al. Diabetic retinopathy detection from fundus images using multi-tasking model with EfficientNet B5
Selvaraj et al. Classification of COVID-19 patient based on multilayer perceptron neural networks optimized with garra rufa fish optimization using CT scan images
CN110516611A (zh) 一种自闭症检测系统及自闭症检测装置
Syed et al. A diagnosis model for detection and classification of diabetic retinopathy using deep learning
Seetah et al. A convolutional neural network approach to diabetic retinopathy detection and its automated classification
Parthiban et al. Efficientnet with optimal wavelet neural network for DR detection and grading
Darwish Improving Techniques for Convolutional Neural Networks Performance
Renukadevi et al. Categorization of diabetic retinopathy using deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant