CN116386845A - 基于卷积神经网络和面部动态视频的精神分裂症诊断系统 - Google Patents
基于卷积神经网络和面部动态视频的精神分裂症诊断系统 Download PDFInfo
- Publication number
- CN116386845A CN116386845A CN202310108561.2A CN202310108561A CN116386845A CN 116386845 A CN116386845 A CN 116386845A CN 202310108561 A CN202310108561 A CN 202310108561A CN 116386845 A CN116386845 A CN 116386845A
- Authority
- CN
- China
- Prior art keywords
- neural network
- video
- convolutional neural
- video data
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 29
- 201000000980 schizophrenia Diseases 0.000 title claims abstract description 24
- 238000003745 diagnosis Methods 0.000 title claims abstract description 9
- 238000010586 diagram Methods 0.000 claims abstract description 16
- 230000008451 emotion Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000004913 activation Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000000638 stimulation Effects 0.000 claims abstract description 9
- 238000012800 visualization Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 230000002996 emotional effect Effects 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 description 6
- 230000000698 schizophrenic effect Effects 0.000 description 6
- 238000004873 anchoring Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010009244 Claustrophobia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 208000019899 phobic disease Diseases 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Primary Health Care (AREA)
- Psychology (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于卷积神经网络和面部动态视频的精神分裂症诊断系统，包括视频数据采集单元：用于采集被试者在情绪刺激任务下的面部视频；视频数据预处理单元：将采集的原始视频数据处理为能够输入到卷积神经网络的数据形式；卷积神经网络单元：提取面部视频数据的时空特征，经由全连接层进行分类，输出分类结果；可视化单元：输出卷积神经网络单元的可视化特征图和类激活图。本发明通过情绪刺激下的面部视频对精神分裂症患者和健康对照进行分类，从而对精神分裂症进行快速诊断，与其他精神分裂症的检测方法相比，具有简便快速高效的优点。
Description
技术领域
本发明涉及的是精神医学和人工智能领域，具体涉及一种基于卷积神经网络和面部动态视频的精神分裂症诊断系统。
背景技术
目前临床上精神分裂症的诊断和监测评估主要有以下方式：(1)临床量表；(2)脑影像学(3)；脑电信号。大多数诊断方式都集中在医学数据上，然而，这些数据采集方法既昂贵又复杂。量表评估花费的时间较长，精神分裂症患者受情绪影响，填写的量表，可信度不高。核磁共振成像花费高昂，且不能用于幽闭恐怖症患者。EEG采集步骤繁琐，信号易受干扰。
研究表明，精神分裂症患者不仅生理功能受损，而且社会功能受损。他们通常表现出情绪和言语表达障碍，这在他们的面部行为中可以观察到(Trémeau,2006；Bishay etal.,2018)。通过定义动作单元(AUs)激活的动态和强度特征，(Tron etal.,2015)发现了患者情感迟钝和积极情绪表达减少的证据。在(Tron et al.,2016)的另一项研究中，面部活动以七个面部簇的典型性、丰富性和分布为特征，并发现患者的面部活动主要以中性面部表情为特征。使用定义的面部特征，分类准确率为85％。面部行为分析一般分为面部情绪分析和面部AUs分析。根据(Jiang et al.,2022)，只有少数关于精神分裂症的研究使用面部行为分析，其中大多数是描述性的，而不是预测性的。在这些研究中，所有研究都是面部表情和面部活动分析，极少有研究直接使用面部动态视频来分析和预测精神分裂症。深度学习模型提供端到端的预测分析。因此，本发明提出的面部动态视频和深度学习技术相结合，可能提供一种更简单、更快的精神分裂症预测方法。本发明旨在通过直接使用面部视频对精神分裂症患者和健康人进行分类。
发明内容
针对现有技术上存在的不足，本发明目的是在于提供一种基于卷积神经网络和面部动态视频的精神分裂症诊断系统，通过情绪刺激下的面部视频对精神分裂症患者和健康对照进行分类，从而对精神分裂症进行快速诊断，与其他精神分裂症的检测方法相比，具有简便快速高效的优点。
为了实现上述目的，本发明是通过如下的技术方案来实现：基于卷积神经网络和面部动态视频的精神分裂症诊断系统，包括
视频数据采集单元：用于采集被试者在情绪刺激任务下的面部视频；
视频数据预处理单元：将采集的原始视频数据处理为能够输入到卷积神经网络的数据形式；
卷积神经网络单元：提取面部视频数据的时空特征，经由全连接层进行分类，输出分类结果；
可视化单元：输出卷积神经网络单元的可视化特征图和类激活图。
基于卷积神经网络和面部动态视频的精神分裂症预测方法，包括以下步骤：
1、采集在情绪刺激任务下受试者的面部视频,得到视频数据；2、面部视频预处理；
3、将输入视频以及经过精神科医师校验确认的视频标签组合为数据集，将数据集拆分为训练集和测试集；
4、神经网络模型构建与训练；
5、利用训练好的神经网络模型对测试集进行分类检测，从而实现对精神分裂症患者与健康对照组的自动诊断；6、输出分类结果后，输出卷积神经网络特征图和类激活图。所述的步骤2具体包括：
2.1、根据时间记录裁剪视频实验部分；
2.2、通过面孔检测判断每一帧是否存在人脸，存在人脸则裁剪人脸并对齐，不存在人脸则丢弃该帧；
2.3、调整帧大小并保存为新的视频；
2.4、新的视频根据神经网络的输入格式均匀抽取特定帧数作为输入。
本发明的有益效果：本发明将面部动态视频和深度学习技术相结合，提供一种更简单、更快的精神分裂症预测方法，能够通过直接使用面部视频对精神分裂症患者和健康人进行分类，效率更高，准确性更高。
附图说明
下面结合附图和具体实施方式来详细说明本发明；
图1为本发明的情绪刺激任务流程图；
图2为本发明的面部视频预处理流程图；
图3为本发明实施例的中间层特征图；
图4为本发明实施例的类激活图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。参照图1和图2，本具体实施方式采用以下技术方案：基于卷积神经网络和面部动态视频的精神分裂症诊断系统，包括视频数据采集单元：用于采集被试者在情绪刺激任务下的面部视频；
视频数据预处理单元：将采集的原始视频数据处理为能够输入到卷积神经网络的数据形式；
卷积神经网络单元：提取面部视频数据的时空特征，经由全连接层进行分类，输出分类结果；
可视化单元：输出卷积神经网络单元的可视化特征图和类激活图。
基于卷积神经网络和面部动态视频的精神分裂症预测方法，包括以下步骤：
1、采集在情绪刺激任务下受试者的面部视频,得到视频数据，情绪刺激任务流程如图1所示；
2、面部视频预处理。流程如图2所示：
2.1、根据时间记录裁剪视频实验部分；
2.2、通过面孔检测判断每一帧是否存在人脸，存在人脸则裁剪人脸并对齐，不存在人脸则丢弃该帧；
2.3、调整帧大小并保存为新的视频；
2.4、新的视频根据神经网络的输入格式均匀抽取特定帧数作为输入；
3、将输入视频以及经过精神科医师校验确认的视频标签组合为数据集，将数据集拆分为训练集和测试集；
4、神经网络模型构建与训练；
5、利用训练好的神经网络模型对测试集进行分类检测，从而实现对精神分裂症患者与健康对照组的自动诊断；6、输出分类结果后，输出卷积神经网络特征图和类激活图。实施例1：根据本发明阐述的数据采集方式，招募125名精神分裂症患者和75名健康对照，两组人群在人口学信息上无显著性差异。以这200个面部视频为例，介绍本发明。
1、数据获取
观看情绪刺激视频短片，每个约90s，经过正性、中性、负性情绪刺激任务得到200个面部视频。
2、面部视频预处理
根据实验记录的时间戳对每个视频进行时间维度裁剪，仅仅保留观看视频短片下的视频帧。对任务期间的视频帧使用Dlib工具包检测人脸，Dlib工具包会生成人脸锚定框和特征点坐标，检测到人脸则该帧为有效帧，如果没有检测到人脸则视为无效帧并舍弃。有效帧根据人脸鼻尖位置为基准点，锚定框最大边长加上50个像素为裁剪框，裁剪人脸，并调整尺寸为500像素，保存裁剪后的有效帧为新的视频。为了适应输入和降低计算量，对新的视频进行均匀采样100帧，保存为输入视频。
3、数据集制作
将精神分裂症患者的视频标记为“1”，健康对照的视频标记为“0”。分层抽样20％的视频作为测试集评估泛化性能，剩余作为训练验证集。使用十折交叉验证将训练验证集分层划分为十份训练-验证集。
4、卷积神经网络模型构建与训练
本实施例中构建的模型是基于Resnet18结构的三维卷积神经网络，使用三维卷积层和三维池化层替换二维卷积层和二维池化层，调整全连接层以适应输出。
5、模型测试
根据十折交叉验证得到的十个模型分别对测试集进行测试。
得到的结果如下所示。
| Fold | Accuracy | Precision | Recall | F1 score | AUC |
| 1 | 92.50％ | 89.29％ | 100.00％ | 94.34％ | 0.9680 |
| 2 | 92.50％ | 92.31％ | 96.00％ | 94.12％ | 0.9467 |
| 3 | 92.50％ | 89.29％ | 100.00％ | 94.34％ | 0.9493 |
| 4 | 90.00％ | 86.21％ | 100.00％ | 92.59％ | 0.9253 |
| 5 | 90.00％ | 88.89％ | 96.00％ | 92.31％ | 0.9467 |
| 6 | 87.50％ | 85.71％ | 96.00％ | 90.57％ | 0.9440 |
| 7 | 82.50％ | 80.00％ | 96.00％ | 87.27％ | 0.9360 |
| 8 | 87.50％ | 83.33％ | 100.00％ | 90.91％ | 0.9413 |
| 9 | 85.00％ | 85.19％ | 92.00％ | 88.46％ | 0.9120 |
| 10 | 90.00％ | 92.00％ | 92.00％ | 92.00％ | 0.9280 |
| mean | 89.00％ | 87.22％ | 96.80％ | 91.69％ | 0.9397 |
6、可视化
使用grad-cam技术生成中间层特征图和类激活图，其部分采样图如图3和图4所示。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.基于卷积神经网络和面部动态视频的精神分裂症诊断系统，其特征在于，包括：
视频数据采集单元：用于采集被试者在情绪刺激任务下的面部视频；
视频数据预处理单元：将采集的原始视频数据处理为能够输入到卷积神经网络的数据形式；
卷积神经网络单元：提取面部视频数据的时空特征，经由全连接层进行分类，输出分类结果；
可视化单元：输出卷积神经网络单元的可视化特征图和类激活图。
2.基于卷积神经网络和面部动态视频的精神分裂症预测方法，其特征在于，包括以下步骤：
(1)、采集在情绪刺激任务下受试者的面部视频,得到视频数据；
(2)、面部视频预处理；
(3)、将输入视频以及经过精神科医师校验确认的视频标签组合为数据集，将数据集拆分为训练集和测试集；
(4)、神经网络模型构建与训练；
(5)、利用训练好的神经网络模型对测试集进行分类检测，从而实现对精神分裂症患者与健康对照组的自动诊断；
(6)、输出分类结果后，输出卷积神经网络特征图和类激活图。
3.根据权利要求2所述的基于卷积神经网络和面部动态视频的精神分裂症预测方法，其特征在于，所述的步骤(2)具体包括：
(2.1)、根据时间记录裁剪视频实验部分；
(2.2)、通过面孔检测判断每一帧是否存在人脸，存在人脸则裁剪人脸并对齐，不存在人脸则丢弃该帧；
(2.3)、调整帧大小并保存为新的视频；
(2.4)、新的视频根据神经网络的输入格式均匀抽取特定帧数作为输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310108561.2A CN116386845A (zh) | 2023-06-06 | 2023-06-06 | 基于卷积神经网络和面部动态视频的精神分裂症诊断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310108561.2A CN116386845A (zh) | 2023-06-06 | 2023-06-06 | 基于卷积神经网络和面部动态视频的精神分裂症诊断系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116386845A true CN116386845A (zh) | 2023-07-04 |
Family
ID=86960479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310108561.2A Pending CN116386845A (zh) | 2023-06-06 | 2023-06-06 | 基于卷积神经网络和面部动态视频的精神分裂症诊断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116386845A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116994718A (zh) * | 2023-09-28 | 2023-11-03 | 南京元域绿洲科技有限公司 | 一种基于vr技术的精神障碍辅助治疗方法 |
-
2023
- 2023-06-06 CN CN202310108561.2A patent/CN116386845A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116994718A (zh) * | 2023-09-28 | 2023-11-03 | 南京元域绿洲科技有限公司 | 一种基于vr技术的精神障碍辅助治疗方法 |
| CN116994718B (zh) * | 2023-09-28 | 2023-12-01 | 南京元域绿洲科技有限公司 | 一种基于vr技术的精神障碍辅助治疗方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111728609B (zh) | 脑电信号的分类方法、分类模型的训练方法、装置及介质 | |
| US20220139543A1 (en) | Method and system for seizure detection | |
| CN103646183A (zh) | 一种基于人工神经网络和多模态mri的阿尔茨海默病智能判别分析方法 | |
| CN113768519B (zh) | 基于深度学习和静息态脑电数据分析病人意识水平的方法 | |
| CN114970599A (zh) | 注意缺陷关联脑电信号的识别方法、识别装置、存储介质 | |
| CN115359236B (zh) | 一种基于机器学习的工作记忆任务脑磁图分类系统 | |
| CN116386845A (zh) | 基于卷积神经网络和面部动态视频的精神分裂症诊断系统 | |
| WO2023198224A1 (zh) | 一种精神障碍类磁共振图像初步筛查模型构建方法 | |
| Zhao et al. | Two-stage spatial temporal deep learning framework for functional brain network modeling | |
| CN111128368B (zh) | 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置 | |
| Hu et al. | Acrophobia quantified by EEG based on CNN incorporating Granger causality | |
| Guan | Application of logistic regression algorithm in the diagnosis of expression disorder in Parkinson's disease | |
| CN114191665A (zh) | 机械通气过程中人机异步现象的分类方法和分类装置 | |
| CN117224080B (zh) | 大数据的人体数据监测方法装置 | |
| CN115736920A (zh) | 基于双模态融合的抑郁状态识别方法及系统 | |
| CN113283465B (zh) | 一种弥散张量成像数据分析方法及装置 | |
| CN114159071A (zh) | 一种基于心电图像的帕金森预测智能化方法及系统 | |
| Saaudi et al. | Clustering and Visualizing of Chest X-ray Images for Covid-19 Detection | |
| Zhang et al. | An Explainable Diagnostic Method for Autism Spectrum Disorder Using Neural Network. | |
| Pecundo et al. | Amyotrophic lateral sclerosis and post-stroke orofacial impairment video-based multi-class classification | |
| Mokatren et al. | Improved EEG Classification by factoring in sensor topography | |
| CN116458869B (zh) | 基于视觉脑网络的意识检测方法、系统、设备及介质 | |
| Subudhi et al. | DeEN: Deep Ensemble Framework for Neuroatypicality Classification | |
| Krishnapriya | EEG-Based Identification of Schizophrenia Using Deep Learning Techniques | |
| Su et al. | An Interpretable Deep Learning Optimized Wearable Daily Monitoring System for Parkinson's Disease Patients |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |