CN113990494B - 一种基于视频数据的抽动症辅助筛查系统 - Google Patents

一种基于视频数据的抽动症辅助筛查系统 Download PDF

Info

Publication number
CN113990494B
CN113990494B CN202111594285.2A CN202111594285A CN113990494B CN 113990494 B CN113990494 B CN 113990494B CN 202111594285 A CN202111594285 A CN 202111594285A CN 113990494 B CN113990494 B CN 113990494B
Authority
CN
China
Prior art keywords
twitch
module
data
abnormal score
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111594285.2A
Other languages
English (en)
Other versions
CN113990494A (zh
Inventor
李劲松
吴君雅
周天舒
田雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111594285.2A priority Critical patent/CN113990494B/zh
Publication of CN113990494A publication Critical patent/CN113990494A/zh
Application granted granted Critical
Publication of CN113990494B publication Critical patent/CN113990494B/zh
Priority to PCT/CN2022/140523 priority patent/WO2023116736A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Abstract

本发明公开了一种基于视频数据的抽动症辅助筛查系统，利用视频数据自动识别抽动症状，通过基于多示例学习的三维卷积神经网络，采用结合三维通道注意力和三维空间注意力模块对三维卷积神经网络学习的特征进行优化，采用时间平滑约束对损失函数进行优化，能够提高模型对抽动检测能力，并且结合临床问诊转化的健康信息问卷数据，形成抽动症辅助筛查系统，提高筛查识别效率，并且通过非直接接触方式减少患者在陌生环境的紧张和不适。本发明通过视频数据采集和抽动检测的方式，简化其中最为耗时的症状观察过程，并通过数据融合分析和可视化，给筛查患者提供疾病的初步认知，也为医生后续诊断和治疗提供参考和依据。

Description

一种基于视频数据的抽动症辅助筛查系统
技术领域
本发明涉及医疗健康信息技术领域，尤其涉及一种基于视频数据的抽动症辅助筛查系统。
背景技术
根据中华医学会儿科学分会神经学组提出的《儿童抽动障碍诊断与治疗专家共识（2017实用版）》[1]，当一个人发病年龄在18岁以前，一年内同时表现出多种运动和一种或多种声音抽动，同时排除其他内科疾病（如病毒感染后脑炎等）或物质影响（如可卡因等）时，可确诊为多发性抽动症（Tourette syndrome，TS），其中持续性观察与检查性交谈部分需要花费较长时间。然而儿童一般天性好动，患者抽动症状产生时难以引起家长重视，使得多数患者儿童确诊时病情已经发展较为严重，影响治疗效果，加上不同患者症状严重程度差异较大，具有难以准确估计的长期预后，因此也需要定期前往医院就诊复查。
人工智能和机器学习技术在医学领域已广泛应用，在抽动症识别检测领域，利用抽动症患者大脑皮层网络活动数据对患者抽动动作进行检测[2]和利用可穿戴设备记录分析抽动症患者站立与行走期间的运动数据检测抽动动作[3]等方法都有较好的应用，但目前视频数据还很少应用。抽动患者视频数据分析模拟了医生临床诊断时对患者的观察过程，而在日常生活中，视频数据容易获取且实施过程简单。针对抽动症患者早期发现较为困难的问题，本发明利用深度学习领域的三维卷积神经网络模型来检测正面录制视频中的异常抽动动作，结合临床门诊的健康信息综合分析，提出基于视频数据的抽动检测方法及抽动症辅助筛查系统。
根据现有的诊断流程，医生需要花较长的时间去观察确认患者的抽动特征，需要跟病人和家属询问确认近期及之前发生的抽动特点、饮食习惯、生活习惯、家族病史等；并且在问诊过程中，患者可能会因为到新环境或者接触到陌生人而产生抑制性状态，不利于实际病情诊断和评估。目前抽动症患者抽动症状依靠主要通过根据抽动症临床诊断的复杂流程，且很多抽动患者抽动症状不易察觉的问题，而现有抽动检测方法依靠深度脑刺激或者穿戴式设备采集数据，数据采集方式较为复杂。
[1]中华医学会儿科学分会神经学组. 儿童抽动障碍诊断与治疗专家共识(2017实用版)[J]. 中华实用儿科临床杂志, 2017, 32(15): 1137–1140.
[2]Jonathan B. Shute et al., “Thalamocortical network activityenables chronic tic detection in humans with Tourette syndrome,” NeuroImage:Clinical, vol. 12, pp. 165–172, Feb. 2016, doi: 10.1016/j.nicl.2016.06.015.
[3]Michel. Bernabei et al., “Automatic detection of tic activity inthe Tourette Syndrome,” in 2010 Annual International Conference of the IEEEEngineering in Medicine and Biology, Aug. 2010, pp. 422–425, doi: 10.1109/IEMBS.2010.5627374。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于视频数据的抽动症辅助筛查系统，利用视频数据自动识别抽动症状，通过基于多示例学习的三维卷积神经网络，采用结合三维通道注意力和三维空间注意力模块对三维卷积神经网络学习的特征进行优化，采用时间平滑约束对损失函数进行优化，能够提高模型对抽动检测能力，并且结合临床问诊转化的健康信息问卷数据，形成抽动症辅助筛查系统，提高筛查识别效率，并且通过非直接接触方式减少患者在陌生环境的紧张和不适。本发明通过视频数据采集和抽动检测的方式，简化其中最为耗时的症状观察过程，并通过数据融合分析和可视化，给筛查患者提供疾病的初步认知，也为医生后续诊断和治疗提供参考和依据。
本发明的目的是通过以下技术方案来实现的：一种基于视频数据的抽动症辅助筛查系统，该系统包括抽动动作检测模块、健康信息采集处理模块、视觉数据获取模块和融合分析模块；
所述视觉数据获取模块用于采集筛查者面部视频数据，输入到抽动动作检测模块；
所述抽动动作检测模块包括数据预处理模块、视觉特征分析模块、抽动动作异常分数生成模块和多示例策略训练模块；
所述数据预处理模块将视觉数据获取模块采集的视频数据处理成适用于深度学习网络的时序图像数据，输入到视觉特征分析模块；
所述视觉特征分析模块通过基于三维通道注意力和三维空间注意力的三维卷积神经网络模型进行视频数据特征分析；所述三维卷积神经网络模型具有依次连接的p个包含一层三维卷积层的卷积块和q个包含两层三维卷积层的卷积块；所述q个包含两层三维卷积层的卷积块中均以并行方式接入三维通道注意力模块和三维空间注意力模块，提取卷积计算后的特征图的三维通道注意力特征和三维空间注意力特征，生成的特征图输入由全连接层网络模型组成的抽动动作异常分数生成模块，获得抽动动作异常分数值，通过异常分数阈值分析判断是否存在抽动动作；同时异常分数值形成时序数据输入到融合分析模块；
所述多示例策略训练模块基于对照组示例和抽动组示例对视觉特征分析模块中的网络模型进行多示例学习策略训练，所述对照组示例和抽动组示例分别通过各自的视频数据抽取若干段固定连续帧得到；通过视觉特征分析模块得到抽动组和对照组不同示例的抽动异常分数，基于排序损失函数计算每一次训练的损失值，并更新视觉特征分析模块中的网络模型参数；
所述健康信息采集处理模块基于抽动症临床诊断过程采集并统计筛查者的健康信息，并对采集的健康信息数据进行数值型转化，输入到融合分析模块；
所述融合分析模块用于将数值型处理后的健康信息数据和异常分数值形成的时序数据分别通过分类模型计算得到抽动或正常的识别概率，再利用贝叶斯加法融合规则进行两种结果的相加融合，将最大值对应类别作为判定结果；通过峰值检测算法得到抽动峰值个数和时序位点，从帧序列回溯原视频得到峰值时间定位，得到抽动发生时间；通过阈值筛选抽动峰值发生前后区间，定位得到每次抽动发生持续时间；根据异常分数值、抽动发生时间和每次抽动持续时间绘制对应分析视频的抽动异常分数值变化曲线和抽动动作热力图，并根据原视频时长计算每分钟抽动发生频次和持续时间；融合分析模块的分析结果为患者提供下一步检查建议以及提供自身抽动情况反馈信息，同时也为医生提供患者抽动情况辅助筛查信息。
进一步地，所述数据预处理模块对视频数据预处理过程具体为：将采集的面部视频数据经过人脸检测算法OpenFace定位每一帧视频图像中人脸的区域，去除原始视频图像中与抽动动作无关的环境信息，聚焦筛查者面部抽动动作，并保存处理后的图像。
进一步地，所述三维通道注意力模块将经过卷积和池化后的大小为（Channel, Dimension,Height,Weight）的特征图
Figure 357217DEST_PATH_IMAGE001
通过平均池化压缩成大小为（Channel,1,1,1）的 平均时序特征
Figure 612749DEST_PATH_IMAGE002
，通过多层感知机MLP和Sigmoid激活函数对每个通道的重要性进行预测 计算，得到三维通道注意力特征
Figure 331306DEST_PATH_IMAGE003
,具体计算为：
Figure 785421DEST_PATH_IMAGE004
。
进一步地，所述三维空间注意力模块将经过卷积和池化后的大小为（Channel, Dimension,Height,Weight）的特征
Figure 829600DEST_PATH_IMAGE001
通过平均池化压缩成大小为（1,Dimension,Height, Weight）的平均空间特征
Figure 369166DEST_PATH_IMAGE005
,然后通过Sigmoid激活函数得到空间注意力特征
Figure 91747DEST_PATH_IMAGE006
，具 体计算为：
Figure 400369DEST_PATH_IMAGE007
。
进一步地，所述三维通道注意力模块和三维空间注意力模块以并行方式接入包含 两层三维卷积层的三维卷积块中，分别与特征
Figure 349870DEST_PATH_IMAGE001
进行相乘并相加操作，最后得到输出特征
Figure 111153DEST_PATH_IMAGE008
的计算公式为：
Figure 437092DEST_PATH_IMAGE009
其中
Figure 600220DEST_PATH_IMAGE010
为相乘操作。
进一步地，所述多示例策略训练模块的训练过程具体如下：抽动组示例和对照组 示例分别构成抽动多示例包
Figure 986202DEST_PATH_IMAGE011
和对照多示例包
Figure 500360DEST_PATH_IMAGE012
，通过视觉特征分析模块中的网络模型 得到抽动组和对照组的所有示例的抽动异常分数集
Figure 364411DEST_PATH_IMAGE013
和
Figure 116466DEST_PATH_IMAGE014
，分别计算得到抽动多示例 包和对照多示例包中异常分数最大值
Figure 938928DEST_PATH_IMAGE015
和
Figure 409224DEST_PATH_IMAGE016
，获取抽动多示例包和对照多示例包异常分 数值最大值前后各两个示例的异常分数值，用
Figure 76966DEST_PATH_IMAGE017
和
Figure 949107DEST_PATH_IMAGE018
分别表示抽动多示例包和对照多示例包最大概率疑似抽动动 作发生持续阶段，用持续阶段异常分数平均值表示最大概率疑似抽动动作的异常分数值， 抽动多示例包中疑似存在抽动动作最大概率
Figure 676891DEST_PATH_IMAGE019
和对照多示例包中疑似抽动动作最大概率
Figure 897133DEST_PATH_IMAGE020
计算公式如下：
Figure 102986DEST_PATH_IMAGE021
其中，
Figure 95213DEST_PATH_IMAGE022
为抽动多示例包异常分数值最大值对应的第
Figure 993899DEST_PATH_IMAGE023
个示例，
Figure 438787DEST_PATH_IMAGE024
为对照多示例包中 异常分数值最大值对应的第
Figure 448331DEST_PATH_IMAGE024
个示例；计算过程中，若出现
Figure 560643DEST_PATH_IMAGE025
或者
Figure 364651DEST_PATH_IMAGE026
或者
Figure 562414DEST_PATH_IMAGE027
或者
Figure 906808DEST_PATH_IMAGE028
或者
Figure 76889DEST_PATH_IMAGE029
或者
Figure 51799DEST_PATH_IMAGE030
或者
Figure 736858DEST_PATH_IMAGE031
或者
Figure 88205DEST_PATH_IMAGE032
，则对应示例的异常分数值不存在，不计入均值计算；
Figure 706268DEST_PATH_IMAGE033
为抽动多示例包中示 例个数，
Figure 117658DEST_PATH_IMAGE034
为对照多示例包中示例个数；
通过排序损失函数计算每一次训练的损失值
Figure 24434DEST_PATH_IMAGE035
，并通过梯度下降算法和反向传播 更新视觉特征分析模块中的网络参数；基于多示例学习策略的排序损失
Figure 114225DEST_PATH_IMAGE036
计算公式如下：
Figure 852374DEST_PATH_IMAGE037
损失函数中添加平滑约束项
Figure 169086DEST_PATH_IMAGE038
，表达式如下：
Figure 563158DEST_PATH_IMAGE039
其中，
Figure 256308DEST_PATH_IMAGE040
为抽动多示例包
Figure 52225DEST_PATH_IMAGE011
中第
Figure 805418DEST_PATH_IMAGE041
个示例，
Figure 686786DEST_PATH_IMAGE033
表示抽动多示例包
Figure 918047DEST_PATH_IMAGE011
中示例个数；
基于多示例学习策略的排序损失函数
Figure 568471DEST_PATH_IMAGE035
表达如下：
Figure 492565DEST_PATH_IMAGE042
其中
Figure 861229DEST_PATH_IMAGE043
为惩罚系数，数值越高代表平滑约束项的惩罚越重。
进一步地，所述多示例策略训练模块的训练过程中，采用指数衰减函数进行学习 率
Figure 896182DEST_PATH_IMAGE044
的迭代，表达式为：
Figure 401112DEST_PATH_IMAGE045
其中，epoch_t为当前训练轮次，
Figure 496107DEST_PATH_IMAGE046
为初始学习率。
进一步地，所述多示例策略训练模块的训练过程中，将对照组示例的视频数据和抽动组示例的视频数据通过添加随机高斯噪声、随机颜色抖动、随机旋转、随机剪裁方式进行数据扩增，模拟视频数据采集过程中出现的成像质量变化、色彩变化、人脸方向变化、镜头远近变化情况。
进一步地，所述健康信息采集处理模块采集的健康信息包括人口统计学信息、生活习惯、饮食习惯、家族史和家庭观察记录。
进一步地，所述融合分析模块中，利用健康信息采集处理模块进行数值化处理后的健康信息数据训练高斯核SVM分类器，得到识别概率；视觉特征分析模块输出的数据包含时序信息，采用LSTM网络和Softmax函数进行训练分析，得到识别概率。
本发明的有益效果：
1.本发明通过非植入式非穿戴式的方式采集视频数据，方式便捷，摄像设备普适性好，系统可植入性高。
2.本发明利用视频数据分析检测抽动动作，患者不用和医生面对面交流的方式减少患者在陌生环境的紧张和不适，更能表现真实病情。
3.本发明通过视频数据分析和健康信息数据融合分析，抽动筛查结果可给患者和家长提供疾病知识普及，也可给医生对病情评估和管理提供参考。
4.本发明可通过通信网络实现远程抽动识别检测，减少患者及家长前往专科医院的次数，减少时间和旅途成本。
附图说明
图1为联合通道注意力和空间注意力模块的三维卷积神经网络结构示意图。
图2为视觉模型分析训练流程示意图。
图3为基于机器视觉的抽动症辅助筛查系统示意图。
图4为融合分析和可视化模块和筛查结果可视化示例示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
本发明根据抽动症筛查和诊断中的局限性，提出了一种基于视频数据的抽动症辅助筛查系统，该系统包括抽动动作检测模块、健康信息采集处理模块、视觉数据获取模块和融合分析模块；
视觉数据获取模块用于采集本系统分析所需视觉数据，通过两种方式实现：一是通过系统配置的摄像设备，正面采集筛查者即时面部视频数据；二是通过本地上传接口，传入筛查者以往采集并存留正面视频数据。为使后续分析结果顺利进行，采集的视频数据要求至少60秒，无上限设置。采集到的视频数据输入到抽动动作检测模块；
所述抽动动作检测模块包括数据预处理模块、视觉特征分析模块、抽动动作异常分数生成模块和多示例策略训练模块；
所述数据预处理模块将视觉数据获取模块采集的视频数据处理成适用于深度学习网络的时序图像数据，具体为：将采集的面部视频数据经过人脸检测算法OpenFace定位每一帧视频图像数据中人脸的区域，去除原始视频图像中与抽动动作无关的环境信息，聚焦筛查者面部抽动动作，并截取人脸区域部分，并且按照帧的顺序，并保存成128*128大小的图像。在后续训练过程中，通过添加随机高斯噪声、随机颜色抖动、随机旋转、随机剪裁等数据扩增方式增加训练过程中数据量，模拟视频录制过程中出现的成像质量变化、色彩变化、人脸方向变化、镜头远近变化等情况，增强数据特征提取能力，最终保存成112*112大小的图像，并输入到视觉特征分析模块。
所述视觉特征分析模块通过基于三维通道注意力和三维空间注意力的三维卷积神经网络模型进行视频数据特征分析；通过三维卷积核在时序数据上做卷积操作，可以同时考虑时间特征和空间特征，适用于视频数据分析。由于不同的抽动症患者抽动的部位不一定相同，除了对整个面部的特征提取还需要特别关注局部抽动部位特征，因此通过联合三维通道注意力模块（3D-Channel Attention）和三维空间注意力模块（3D-SpatialAttention）改进三维卷积神经网络以提升模型提取视觉特征能力。如图1所示，三维卷积神经网络由5个三维卷积块依次连接构成，包括2个由一层三维卷积层和一层最大池化层组成的ConvBlock-A（三维卷积组合A）和3个由两层三维卷积层、一层最大池化层、一个三维通道注意力模块和一个三维空间注意力模块组成的ConvBlock-B（三维卷积组合B）。
其中三维通道注意力模块是将卷积块中经过卷积和池化后产生大小为（Channel, Dimension,Height,Weight）的特征
Figure 352068DEST_PATH_IMAGE001
通过平均池化操作压缩成（Channel,1,1,1）大小的 平均时序特征
Figure 125464DEST_PATH_IMAGE002
，然后通过多层感知机MLP和Sigmoid激活函数对每个通道的重要性进行 预测计算，得到三维通道注意力特征
Figure 547218DEST_PATH_IMAGE003
,具体计算为：
Figure 813115DEST_PATH_IMAGE004
三维空间注意力模块是将卷积块中经过卷积和池化后产生大小为（Channel, Dimension,Height,Weight）的特征
Figure 890792DEST_PATH_IMAGE001
通过平均池化操作压缩成（1,Dimension,Height, Weight）平均空间特征
Figure 533126DEST_PATH_IMAGE005
,然后通过Sigmoid激活函数得到空间注意力特征
Figure 12649DEST_PATH_IMAGE047
，具体 计算为：
Figure 449446DEST_PATH_IMAGE007
为减少模型的复杂度和参数的计算量，三维通道注意力模块和三维空间注意力模 块以并行方式接入三维卷积块结构中，分别与前一过程特征
Figure 14420DEST_PATH_IMAGE001
进行相乘并相加操作，最后 得到ConvBlock-B输出的视觉特征
Figure 929286DEST_PATH_IMAGE008
的计算公式为：
Figure 528895DEST_PATH_IMAGE009
其中
Figure 136594DEST_PATH_IMAGE010
为相乘操作。
所述抽动动作异常分数生成模块将视觉特征分析模块输出的视觉特征
Figure 188863DEST_PATH_IMAGE008
输入到 抽动异常分数生成网络进行进一步分析，抽动异常分数生成网络模型由三层全连接层组 成，神经元个数分别为512、64、1，前两层全连接层通过ReLU函数激活，最后一层通过 Sigmoid函数激活，最后生成抽动异常分数，用于后续学习训练。
所述多示例策略训练模块通过基于多示例学习策略（Multi-Instance Learning，MIL）的排序损失函数Ranking Loss对视觉特征分析模块中的网络模型训练学习。
在经典的多示例方法下，模型对一个基于一组训练包的分类器进行学习，每个包bag由多个训练示例instance组成，阳性包至少包含一个正的示例，阴性包的所有示例都为负示例。待分析的视频数据视为多示例学习策略中的包，将视频数据分成连续不重合的16帧时序数据作为包中的示例，该模型利用构建的三维卷积网络模型，对每个示例的时序数据进行特征学习，并且通过构建的抽动异常分数生成网络得到每个示例对应的分数作为抽动动作异常分数值，分数值范围为0~1，0代表无抽动动作，1代表有抽动动作，分数值的高低代表存在抽动动作的可能性。所有示例中分数值最高的示例的分数代表整个包（即整段视频）存在抽动动作的可能性。
在模型训练阶段，通过事先采集的抽动症患者组和正常对照组自然状态下正面面 部视频数据各200分钟，每1分钟为一个示例包，每16帧图像作为一个示例。数据集按照训练 集70%、测试集30%的比例随机分配成两组。训练集用于模型训练，测试集用于模型测试。如 图2所示，每次由抽动组和对照组两组数据进行学习训练，对照组视频数据和抽动组视频数 据路径上的三维卷积神经网络模型实行模型参数共享机制，抽动组和对照组分别构成抽动 多示例包
Figure 907421DEST_PATH_IMAGE048
和对照多示例包
Figure 361536DEST_PATH_IMAGE049
，通过视觉特征分析模块中的网络得到抽动组和对照组的 所有示例的抽动异常分数集
Figure 140136DEST_PATH_IMAGE013
和
Figure 679702DEST_PATH_IMAGE014
，分别计算得到抽动多示例包和对照多示例包中异 常分数最大值
Figure 199020DEST_PATH_IMAGE015
和
Figure 507642DEST_PATH_IMAGE016
，根据抽动动作发生具有一定时长的持续性的特点，获取抽动多示例 包和对照多示例包异常分数值最大值前后各两个示例的异常分数值，用
Figure 457143DEST_PATH_IMAGE050
和
Figure 218426DEST_PATH_IMAGE051
分别表示抽动多示例包和对照多 示例包最大概率疑似抽动动作发生持续阶段，用持续阶段异常分数平均值表示最大概率疑 似抽动动作的异常分数值，排除由于如眨眼等普通动作产生的短暂动作发生，抽动多示例 包中疑似存在抽动动作最大概率
Figure 544365DEST_PATH_IMAGE052
和对照多示例包中疑似抽动动作最大概率
Figure 707493DEST_PATH_IMAGE020
计算公式 如下：
Figure 827896DEST_PATH_IMAGE053
其中，
Figure 342054DEST_PATH_IMAGE022
为抽动多示例包异常分数值最大值对应的第
Figure 206105DEST_PATH_IMAGE023
个示例，
Figure 223739DEST_PATH_IMAGE024
为对照多示例包中 异常分数值最大值对应的第
Figure 780622DEST_PATH_IMAGE024
个示例；计算过程中，若出现
Figure 516497DEST_PATH_IMAGE054
或者
Figure 918660DEST_PATH_IMAGE055
或者
Figure 56380DEST_PATH_IMAGE056
或者
Figure 784165DEST_PATH_IMAGE028
或者
Figure 741756DEST_PATH_IMAGE057
或者
Figure 210259DEST_PATH_IMAGE030
或者
Figure 202486DEST_PATH_IMAGE031
或者
Figure 835593DEST_PATH_IMAGE058
，则对应示例的异常分数值不存在，不计入均值计算；
Figure 546060DEST_PATH_IMAGE033
为抽动多示例包中示 例个数，
Figure 555604DEST_PATH_IMAGE034
为对照多示例包中示例个数；
通过排序损失函数计算每一次训练的损失值
Figure 887490DEST_PATH_IMAGE035
，并通过梯度下降算法和反向传播 更新视觉特征分析模块中的网络参数；基于多示例学习策略的排序损失
Figure 425919DEST_PATH_IMAGE036
计算公式如下：
Figure 644190DEST_PATH_IMAGE037
另外考虑到多示例包中的各个示例也具有时序性，因此在抽动组多示例包中每个 示例之间的抽动异常分数应该具有平滑性，由此在损失函数中增加平滑约束项
Figure 926267DEST_PATH_IMAGE038
，表达式 如下：
Figure 361927DEST_PATH_IMAGE039
其中
Figure 336837DEST_PATH_IMAGE040
代表抽动多示例包
Figure 21896DEST_PATH_IMAGE011
中的第
Figure 373243DEST_PATH_IMAGE059
个示例，
Figure 194568DEST_PATH_IMAGE033
表示抽动多示例包
Figure 340379DEST_PATH_IMAGE011
中示例个 数。
最终基于多示例学习策略的排序损失函数
Figure 247155DEST_PATH_IMAGE060
，具体表达式如下：
Figure 605455DEST_PATH_IMAGE061
其中
Figure 281287DEST_PATH_IMAGE043
为惩罚系数，数值越高代表平滑约束项的惩罚越重。本发明使用
Figure 863578DEST_PATH_IMAGE062
用 于模型训练。
在模型训练过程中，高分辨率训练模型性能好但训练速度慢，低分辨率训练模型 性能差但训练速度快，因此利用数值分析中多网格训练的方法，将批数量B、示例帧数K、视 频帧图像的长度H和宽度W等模型参数作为参数网格grid，从粗粒度到细粒度进行参数优 化。其中，批数量B、示例帧数K、视频帧图像的长度H和宽度W的默认值设定为B=8，K=16，H= 112，W=112，训练过程中参数网格以[
Figure 257650DEST_PATH_IMAGE063
，
Figure 747538DEST_PATH_IMAGE064
，
Figure 540526DEST_PATH_IMAGE065
，
Figure 293718DEST_PATH_IMAGE066
，
Figure 909507DEST_PATH_IMAGE067
]的顺序依次载入模型迭代 训练，每组参数持续2个轮次epoch，一共进行50个轮次训练截止。
为了提高模型收敛效率，采用指数衰减函数进行学习率
Figure 406348DEST_PATH_IMAGE044
的迭代，表达式为：
Figure 260034DEST_PATH_IMAGE068
其中epoch_t为当前训练轮次，
Figure 449707DEST_PATH_IMAGE069
为初始学习率。
在得到训练好的上述网络模型之后，在模型测试阶段，每个待分析视频视作一个多示例包，并按照16帧/个示例分成多个示例，每个示例通过学习好的三维卷积神经网络得到视觉特征，并通过抽动异常分数生成网络获得异常分数值，所有示例的异常分数值中最大的分数作为待分析视频的总体抽动异常分数值，根据统计概率以0.5为阈值，通过阈值分析判断是否存在抽动动作，同时所有示例的异常分数值形成时序数据输入到融合分析模块。测试结果如表1所示：
表1
Figure 818371DEST_PATH_IMAGE070
其中基线方法采用无修改的三维卷积神经网络和交叉熵函数组成的模型，*表示本发明结果和基线结果对比具有统计学差异，证明了本发明在视频数据抽动检测上的有效性。
抽动症辅助筛查系统融合健康问卷数据分析以及可视化分析，如图3所示，所述健康信息采集处理模块按照临床诊断过程，采集健康信息包括人口统计学信息、生活习惯、饮食习惯、家族史和家庭观察记录等，具体包括性别（男1，女0）、年龄、是否发现过异常抽动动作（是1，否0）、家族中是否有抽动症状患者（是1，否0）、睡眠是否正常（是1，否0）、是否晚睡（是1，否0）、是否喜欢喝茶或咖啡（是1，否0）、是否经常运动（是1，否0）等，根据统计信息绘制统计分布图，并根据括号内容对收集的数据进行数值型转化，输入到融合分析模块。
如图4所示，所述融合分析模块将数值型处理后的健康信息数据和异常分数值形 成的时序数据进行融合分析。在数据融合分析阶段，同一个体X的健康信息数据和异常分数 值形成的时序数据分别通过分类模型计算得到抽动或正常的识别概率，再利用贝叶斯融合 规则进行两种结果的相加融合。利用数值化处理后的健康信息数据训练高斯核SVM分类器， 得到识别概率
Figure 587744DEST_PATH_IMAGE071
，其中i为抽动或正常；异常分数值形成的时序数据包含时序信息， 因此构建单层128个神经元的LSTM网络和Softmax函数进行训练分析，得到识别概率
Figure 92675DEST_PATH_IMAGE072
，其中i为抽动或正常。由于上述两组数据特征是相互独立的，因此采用贝叶斯理论 的加法融合规则计算总体识别概率
Figure 187670DEST_PATH_IMAGE073
，其中
Figure 778051DEST_PATH_IMAGE074
为类别先验 概率，取值为0.5，M为总类别，取值为2，最后通过总体识别概率中最大值对应的类别作为判 定结果的规则
Figure 616694DEST_PATH_IMAGE075
得到最终判定结果，其中i为抽动或正常。通过峰值检 测算法得到抽动峰值个数和时序位点，从帧序列回溯原视频得到峰值时间定位，得到抽动 发生时间；通过阈值筛选抽动峰值发生前后区间，定位得到每次抽动发生持续时间；根据异 常分数值、抽动发生时间和每次抽动持续时间绘制对应分析视频的抽动异常分数值变化曲 线和抽动动作热力图，并根据原视频时长计算每分钟抽动发生频次和持续时间；作为视频 所属患者抽动严重程度的参考依据；根据融合分析模块的最终判定结果、抽动异常分数值 变化曲线、抽动动作热力图以及健康信息的统计分布图形成可视化的分析结果，为患者提 供下一步检查建议以及提供自身抽动情况反馈信息，同时也可为医生提供患者抽动概况， 为下一步诊断治疗提供辅助信息。
实施案例：
筛查者通过本发明系统首先进入健康信息采集处理模块，在系统中输入年龄、性别、疾病史、生活作息习惯等健康数据，然后通过视觉数据获取模块录制1-5分钟正面视频或者通过上传按钮传入个人手机上保存的正面视频，系统通过初步检测，判断视频是否符合分析要求，确认符合分析要求后，通过视觉特征分析模块对视频数据进行预处理、视频数据特征分析、抽动检测等过程，得到具有时序特征的异常分数值和抽动检测结果，再根据融合分析模块给出筛查结果，若筛查结果为阳性，则提示进行后续检查诊断，并给出可视化的分析结果和抽动片段给临床医生参考；若筛查结果为阴性，则提示未发现抽动异常和相关检测数据，供临床医生参考。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (10)

1.一种基于视频数据的抽动症辅助筛查系统，其特征在于，该系统包括抽动动作检测模块、健康信息采集处理模块、视觉数据获取模块和融合分析模块；
所述视觉数据获取模块用于采集筛查者面部视频数据，输入到抽动动作检测模块；
所述抽动动作检测模块包括数据预处理模块、视觉特征分析模块、抽动动作异常分数生成模块和多示例策略训练模块；
所述数据预处理模块将视觉数据获取模块采集的视频数据处理成适用于深度学习网络的时序图像数据，输入到视觉特征分析模块；
所述视觉特征分析模块通过基于三维通道注意力和三维空间注意力的三维卷积神经网络模型进行视频数据特征分析；所述三维卷积神经网络模型具有依次连接的p个包含一层三维卷积层的卷积块和q个包含两层三维卷积层的卷积块；所述q个包含两层三维卷积层的卷积块中均以并行方式接入三维通道注意力模块和三维空间注意力模块，提取卷积计算后的特征图的三维通道注意力特征和三维空间注意力特征，生成的特征图输入由全连接层网络模型组成的抽动动作异常分数生成模块，获得抽动动作异常分数值，通过异常分数阈值分析判断是否存在抽动动作；同时异常分数值形成时序数据输入到融合分析模块；
所述多示例策略训练模块基于对照组示例和抽动组示例对视觉特征分析模块中的网络模型进行多示例学习策略训练，对照组示例和抽动组示例分别通过各自的视频数据抽取若干段固定连续帧得到；通过视觉特征分析模块得到抽动组和对照组不同示例的抽动异常分数，基于排序损失函数计算每一次训练的损失值，并更新视觉特征分析模块中的网络模型参数；
所述健康信息采集处理模块基于抽动症临床诊断过程采集并统计筛查者的健康信息，并对采集的健康信息数据进行数值型转化，输入到融合分析模块；
所述融合分析模块用于将数值型处理后的健康信息数据和异常分数值形成的时序数据分别通过分类模型计算得到抽动或正常的识别概率，再利用贝叶斯加法融合规则进行两种结果的相加融合，将最大值对应类别作为判定结果；通过峰值检测算法得到抽动峰值个数和时序位点，从帧序列回溯原视频得到峰值时间定位，得到抽动发生时间；通过阈值筛选抽动峰值发生前后区间，定位得到每次抽动发生持续时间；根据异常分数值、抽动发生时间和每次抽动持续时间绘制对应分析视频的抽动异常分数值变化曲线和抽动动作热力图，并根据原视频时长计算每分钟抽动发生频次和持续时间；融合分析模块的分析结果为患者提供下一步检查建议以及提供自身抽动情况反馈信息，同时也为医生提供患者抽动情况辅助筛查信息。
2.根据权利要求1所述的一种基于视频数据的抽动症辅助筛查系统，其特征在于，所述数据预处理模块对视频数据预处理过程具体为：将采集的面部视频数据经过人脸检测算法OpenFace定位每一帧视频图像中人脸的区域，去除原始视频图像中与抽动动作无关的环境信息，聚焦筛查者面部抽动动作，并保存处理后的图像。
3.根据权利要求1所述的一种基于视频数据的抽动症辅助筛查系统，其特征在于，所述 三维通道注意力模块将经过卷积和池化后的大小为（Channel,Dimension,Height,Weight） 的特征图
Figure 182339DEST_PATH_IMAGE001
通过平均池化压缩成大小为（Channel,1,1,1）的平均时序特征
Figure 568321DEST_PATH_IMAGE002
，通过多层 感知机MLP和Sigmoid激活函数对每个通道的重要性进行预测计算，得到三维通道注意力特 征
Figure 816900DEST_PATH_IMAGE003
,具体计算为：
Figure 884213DEST_PATH_IMAGE004
。
4.根据权利要求3所述的一种基于视频数据的抽动症辅助筛查系统，其特征在于，所述 三维空间注意力模块将经过卷积和池化后的大小为（Channel,Dimension,Height,Weight） 的特征
Figure 964164DEST_PATH_IMAGE001
通过平均池化压缩成大小为（1,Dimension,Height,Weight）的平均空间特征
Figure 458731DEST_PATH_IMAGE005
,然后通过Sigmoid激活函数得到空间注意力特征
Figure 194605DEST_PATH_IMAGE006
，具体计算为：
Figure 862347DEST_PATH_IMAGE007
。
5.根据权利要求4所述的一种基于视频数据的抽动症辅助筛查系统，其特征在于，所述 三维通道注意力模块和三维空间注意力模块以并行方式接入包含两层三维卷积层的三维 卷积块中，分别与特征
Figure 67DEST_PATH_IMAGE001
进行相乘并相加操作，最后得到输出特征
Figure 702355DEST_PATH_IMAGE008
的计算公式为：
Figure 394367DEST_PATH_IMAGE009
其中
Figure 865800DEST_PATH_IMAGE010
为相乘操作。
6.根据权利要求1所述的一种基于视频数据的抽动症辅助筛查系统，其特征在于，所述 多示例策略训练模块的训练过程具体如下：抽动组示例和对照组示例分别构成抽动多示例 包
Figure 858026DEST_PATH_IMAGE011
和对照多示例包
Figure 959975DEST_PATH_IMAGE012
，通过视觉特征分析模块中的网络模型得到抽动组和对照组的所 有示例的抽动异常分数集
Figure 670442DEST_PATH_IMAGE013
和
Figure 414407DEST_PATH_IMAGE014
，分别计算得到抽动多示例包和对照多示例包中异常 分数最大值
Figure 526719DEST_PATH_IMAGE015
和
Figure 330727DEST_PATH_IMAGE016
，获取抽动多示例包和对照多示例包异常分数值最大值前后各两个示 例的异常分数值，用
Figure 525561DEST_PATH_IMAGE017
和
Figure 73217DEST_PATH_IMAGE018
分别表示抽 动多示例包和对照多示例包最大概率疑似抽动动作发生持续阶段，用持续阶段异常分数平 均值表示最大概率疑似抽动动作的异常分数值，抽动多示例包中疑似存在抽动动作最大概 率
Figure 40036DEST_PATH_IMAGE019
和对照多示例包中疑似抽动动作最大概率
Figure 280524DEST_PATH_IMAGE020
计算公式如下：
Figure 700004DEST_PATH_IMAGE021
其中，
Figure 51351DEST_PATH_IMAGE022
为抽动多示例包异常分数值最大值对应的第
Figure 872677DEST_PATH_IMAGE023
个示例，
Figure 284066DEST_PATH_IMAGE024
为对照多示例包中异常 分数值最大值对应的第
Figure 190842DEST_PATH_IMAGE025
个示例；计算过程中，若出现
Figure 80301DEST_PATH_IMAGE026
或者
Figure 21712DEST_PATH_IMAGE027
或者
Figure 604003DEST_PATH_IMAGE028
或者
Figure 998076DEST_PATH_IMAGE029
或者
Figure 691225DEST_PATH_IMAGE030
或者
Figure 221564DEST_PATH_IMAGE031
或者
Figure 974756DEST_PATH_IMAGE032
或者
Figure 853195DEST_PATH_IMAGE033
，则对应示例的异常分数值不存在，不计入均值计算；
Figure 350035DEST_PATH_IMAGE034
为抽动多示例包中示 例个数，
Figure 459DEST_PATH_IMAGE035
为对照多示例包中示例个数；
通过排序损失函数计算每一次训练的损失值
Figure 658974DEST_PATH_IMAGE036
，并通过梯度下降算法和反向传播更新 视觉特征分析模块中的网络参数；基于多示例学习策略的排序损失
Figure 27638DEST_PATH_IMAGE037
计算公式如下：
Figure 62590DEST_PATH_IMAGE038
损失函数中添加平滑约束项
Figure 833100DEST_PATH_IMAGE039
，表达式如下：
Figure 662516DEST_PATH_IMAGE040
其中，
Figure 518476DEST_PATH_IMAGE041
为抽动多示例包
Figure 357119DEST_PATH_IMAGE011
中第
Figure 716556DEST_PATH_IMAGE042
个示例，
Figure 982453DEST_PATH_IMAGE034
表示抽动多示例包
Figure 60130DEST_PATH_IMAGE011
中示例个数；
基于多示例学习策略的排序损失函数
Figure 702464DEST_PATH_IMAGE036
表达如下：
Figure 181987DEST_PATH_IMAGE043
其中
Figure 618785DEST_PATH_IMAGE044
为惩罚系数，数值越高代表平滑约束项的惩罚越重。
7.根据权利要求6所述的一种基于视频数据的抽动症辅助筛查系统，其特征在于，所述 多示例策略训练模块的训练过程中，采用指数衰减函数进行学习率
Figure 180828DEST_PATH_IMAGE045
的迭代，表达式为：
Figure 361274DEST_PATH_IMAGE046
其中，epoch_t为当前训练轮次，
Figure 695303DEST_PATH_IMAGE047
为初始学习率。
8.根据权利要求6所述的一种基于视频数据的抽动症辅助筛查系统，其特征在于，所述多示例策略训练模块的训练过程中，将对照组示例的视频数据和抽动组示例的视频数据通过添加随机高斯噪声、随机颜色抖动、随机旋转、随机剪裁方式进行数据扩增，模拟视频数据采集过程中出现的成像质量变化、色彩变化、人脸方向变化、镜头远近变化情况。
9.根据权利要求1所述的一种基于视频数据的抽动症辅助筛查系统，其特征在于，所述健康信息采集处理模块采集的健康信息包括人口统计学信息、生活习惯、饮食习惯、家族史和家庭观察记录。
10.根据权利要求1所述的一种基于视频数据的抽动症辅助筛查系统，其特征在于，所述融合分析模块中，利用健康信息采集处理模块进行数值化处理后的健康信息数据训练高斯核SVM分类器，得到识别概率；视觉特征分析模块输出的数据包含时序信息，采用LSTM网络和Softmax函数进行训练分析，得到识别概率。
CN202111594285.2A 2021-12-24 2021-12-24 一种基于视频数据的抽动症辅助筛查系统 Active CN113990494B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111594285.2A CN113990494B (zh) 2021-12-24 2021-12-24 一种基于视频数据的抽动症辅助筛查系统
PCT/CN2022/140523 WO2023116736A1 (zh) 2021-12-24 2022-12-21 一种基于视频数据的抽动症辅助筛查系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111594285.2A CN113990494B (zh) 2021-12-24 2021-12-24 一种基于视频数据的抽动症辅助筛查系统

Publications (2)

Publication Number Publication Date
CN113990494A CN113990494A (zh) 2022-01-28
CN113990494B true CN113990494B (zh) 2022-03-25

Family

ID=79734204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111594285.2A Active CN113990494B (zh) 2021-12-24 2021-12-24 一种基于视频数据的抽动症辅助筛查系统

Country Status (2)

Country Link
CN (1) CN113990494B (zh)
WO (1) WO2023116736A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113990494B (zh) * 2021-12-24 2022-03-25 浙江大学 一种基于视频数据的抽动症辅助筛查系统
CN114496235B (zh) * 2022-04-18 2022-07-19 浙江大学 一种基于深度强化学习的血透患者干体重辅助调节系统
CN115105075A (zh) * 2022-05-17 2022-09-27 清华大学 抽动障碍检测方法及装置
CN115714016B (zh) * 2022-11-16 2024-01-19 内蒙古卫数数据科技有限公司 一种基于机器学习的布鲁氏菌病筛查率提升方法
CN117437678A (zh) * 2023-11-01 2024-01-23 烟台持久钟表有限公司 正面人脸持续时间统计方法、系统、装置、存储介质
CN117807154B (zh) * 2024-02-28 2024-04-30 成都菲宇科技有限公司 一种用于展示系统的时序数据可视化方法、设备和介质
CN118155835B (zh) * 2024-05-11 2024-07-19 成都中医药大学附属医院(四川省中医医院) 一种基于对比学习的抽动障碍检测方法、系统及存储介质
CN118172800B (zh) * 2024-05-15 2024-08-16 沈阳医学院 一种改进实验动物行为图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111528859A (zh) * 2020-05-13 2020-08-14 浙江大学人工智能研究所德清研究院 基于多模态深度学习技术的儿童adhd筛查评估系统
CN111870253A (zh) * 2020-07-27 2020-11-03 上海大学 基于视觉和语音融合技术的抽动障碍症病情监测方法及其系统
CN113066576A (zh) * 2021-05-12 2021-07-02 北京大学深圳医院 一种基于三维掩模-区域卷积神经网络的肺癌筛查方法
CN214128817U (zh) * 2020-08-17 2021-09-07 浙江大学 一种用于固定抽动症患者肢体的固定装置
CN113611411A (zh) * 2021-10-09 2021-11-05 浙江大学 一种基于假阴性样本识别的体检辅助决策系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
US9767845B2 (en) * 2013-02-05 2017-09-19 Alc Holdings, Inc. Activating a video based on location in screen
CN110516611B (zh) * 2019-08-28 2022-03-01 中科人工智能创新技术研究院(青岛)有限公司 一种自闭症检测系统及自闭症检测装置
CN113990494B (zh) * 2021-12-24 2022-03-25 浙江大学 一种基于视频数据的抽动症辅助筛查系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111528859A (zh) * 2020-05-13 2020-08-14 浙江大学人工智能研究所德清研究院 基于多模态深度学习技术的儿童adhd筛查评估系统
CN111870253A (zh) * 2020-07-27 2020-11-03 上海大学 基于视觉和语音融合技术的抽动障碍症病情监测方法及其系统
CN214128817U (zh) * 2020-08-17 2021-09-07 浙江大学 一种用于固定抽动症患者肢体的固定装置
CN113066576A (zh) * 2021-05-12 2021-07-02 北京大学深圳医院 一种基于三维掩模-区域卷积神经网络的肺癌筛查方法
CN113611411A (zh) * 2021-10-09 2021-11-05 浙江大学 一种基于假阴性样本识别的体检辅助决策系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Privacy-Preserving Iot-Based Fire Detector;Abdullah H;《IEEE》;20210329;全文 *
Automatic detection of tic activity in the Tourette Syndrome;Michel Bernabei;《IEEE》;20101111;全文 *
基于深度学习的儿童抽动症动作检测与识别研究;茹画;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20210215;全文 *
基于深度学习的复杂场景人群动态理解研究;石天齐;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20200615;全文 *
平扫CT图像肾脏分割的深度学习算法研究;徐宏伟;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20210215;全文 *
肝郁脾虚证多发性抽动症大鼠模型的建立及评价;刘晓芳等;《世界中医药》;20181231(第12期);全文 *

Also Published As

Publication number Publication date
CN113990494A (zh) 2022-01-28
WO2023116736A1 (zh) 2023-06-29

Similar Documents

Publication Publication Date Title
CN113990494B (zh) 一种基于视频数据的抽动症辅助筛查系统
WO2022042122A1 (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN107392109A (zh) 一种基于深度神经网络的新生儿疼痛表情识别方法
Kumar et al. OPTICAL+: a frequency-based deep learning scheme for recognizing brain wave signals
Wu et al. Machine learning based autism spectrum disorder detection from videos
CN116072265B (zh) 基于时间自注意力与动态图卷积的睡眠分期分析系统及方法
CN110477907B (zh) 一种智能辅助识别痫性发作的建模方法
CN118044813B (zh) 基于多任务学习的心理健康状况评估方法及系统
CN116936108A (zh) 一种面向不平衡数据的疾病预测系统
CN113506274B (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
Herath et al. Autism spectrum disorder diagnosis support model using Inception V3
Chowdhury et al. Assessment of rehabilitation exercises from depth sensor data
Prabha et al. A Novel Analysis and Detection of Autism Spectrum Disorder in Artificial Intelligence Using Hybrid Machine Learning
Luo et al. Exploring adaptive graph topologies and temporal graph networks for EEG-based depression detection
CN117373595A (zh) 一种基于ai的内科患者个性化治疗方案生成系统
Jagadeesan et al. Behavioral features based autism spectrum disorder detection using decision trees
CN113869090A (zh) 一种跌倒风险评估方法及装置
CN115147768B (zh) 一种跌倒风险评估方法及系统
Sharma et al. Identification of Autism Spectrum Disorder (ASD) from Facial Expressions using Deep Learning
Boppana et al. Deep Learning Approach for an early stage detection of Neurodevelopmental Disorders
Nakisa Emotion classification using advanced machine learning techniques applied to wearable physiological signals data
Subah et al. A comprehensive study on atlas-based classification of autism spectrum disorder using functional connectivity features from resting-state functional magnetic resonance imaging
Fu et al. Agc-unet: a global context feature fusion method based on u-net for retinal vessel segmentation
Ajmi et al. A review of machine learning techniques for detecting autism spectrum disorders
Dai Evaluating the effect of different Mode's attributes on the subjective classification in the case of TCM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant