CN117137488B - 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法 - Google Patents
基于脑电数据与面部表情影像的抑郁症病症辅助识别方法 Download PDFInfo
- Publication number
- CN117137488B CN117137488B CN202311405231.6A CN202311405231A CN117137488B CN 117137488 B CN117137488 B CN 117137488B CN 202311405231 A CN202311405231 A CN 202311405231A CN 117137488 B CN117137488 B CN 117137488B
- Authority
- CN
- China
- Prior art keywords
- facial expression
- task
- feature
- module
- depression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 35
- 208000024891 symptom Diseases 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 210000004556 brain Anatomy 0.000 claims abstract description 18
- 230000001815 facial effect Effects 0.000 claims abstract description 17
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 12
- 230000000638 stimulation Effects 0.000 claims abstract description 10
- 238000002474 experimental method Methods 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 39
- 230000004927 fusion Effects 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000008451 emotion Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 208000020401 Depressive disease Diseases 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 230000000704 physical effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000010354 integration Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 36
- 238000011176 pooling Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 12
- 208000035475 disorder Diseases 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000012880 independent component analysis Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000994 depressogenic effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000011580 syndromic disease Diseases 0.000 description 2
- 208000017194 Affective disease Diseases 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 101001053263 Homo sapiens Insulin gene enhancer protein ISL-1 Proteins 0.000 description 1
- 102100024392 Insulin gene enhancer protein ISL-1 Human genes 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 208000007256 Nevus Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003001 depressive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000003050 experimental design method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000001595 mastoid Anatomy 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012422 test repetition Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Psychology (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Hospice & Palliative Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Fuzzy Systems (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
Abstract
本发明公开了一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，本发明的主要设计构思在于，围绕抑郁人群冲突处理障碍及负性偏向的核心症状，有机结合脑电生理指标及面部影像指标，评测其冲突处理障碍的程度，进而为抑郁症的识别及预估的提炼出客观、量化指标。具体是基于预设的实验范式执行脑电刺激实验，并同步采集被试的面部表情影像数据及个体脑电数据，经解析得到N270波形后，对面部表情影像数据及N270波形进行多特征提取，再将多特征整合后输入经训练的神经网络模型，输出抑郁症病症辅助识别结果。本发明不仅能够提供辅助医生利用实验波形及影像数据辨识抑郁症的客观指标，还具有准确性高、鲁棒性强、误差率低的优点。
Description
技术领域
本发明涉及人工智能技术应用领域，尤其涉及一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法。
背景技术
抑郁症作为常见的情感障碍性疾病，严重影响患者身心健康，而如何更佳地辅助医生辨识、判别、预测抑郁症的相关指征，探索客观指标的构建，成为辅助抑郁症诊疗的远期、重要目标。
事件相关电位（Event-related potentials，ERP）范式是一种神经生理学实验设计和分析方法，用于研究大脑对特定刺激或任务的电生理反应，又称“认知电位”，在揭示心理-认知过程方面极具优势。N270是前后两次刺激不完全匹配的时候在270ms处记录到的负波，反映了脑对冲突信息的处理能力，可以作为冲突处理能力的电活动指标，且特异性强。抑郁症患者存在明显的冲突处理能力障碍及负性偏向的核心症状，也是抑郁症患者不能正常进行社交、恢复社会功能的主要原因。因此，N270作为评判冲突信息处理能力的电活动指标，可以作为独立于抑郁症候群之外的预测抑郁症的特异性客观指标。既往影像研究表明抑郁症患者在工作及社会活动中冲突处理系统受损，由此本发明认为N270可以作为预测抑郁症的敏感性客观指标。
然而，既往已知的N270任务范式存在以下问题：1、信噪比较低，需要进行大量的试验重复和数据处理才能提取出可靠的成分，实验操作程序繁琐，被试者学习成本较高，导致实验的时间和工作量比较大；2、刺激呈现系统中，事件码与刺激码之间未做到精确计时，存在时间尺度的误差；3、范式所用素材主要为数字、字母、图形等，不能较好针对抑郁人群的负性偏向症状设计；4、尤其是考虑到单一应用N270脑电数据，其可靠性相对受限，为后续生成指导性报告带来一定影响。
发明内容
鉴于上述，本发明旨在提供一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，以解决前述提及的技术问题。
本发明采用的技术方案如下：
本发明提供了一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其中包括：
基于预设的实验范式执行脑电刺激实验，并同步采集被试的面部表情影像数据以及个体的脑电数据；
对脑电数据进行解析，得到N270波形；
对面部表情影像数据以及N270波形进行多特征提取；
将多特征整合后输入经训练的基于自注意力机制的神经网络模型，输出抑郁症病症辅助识别结果。
在其中至少一种可能的实现方式中，预设的实验范式的编辑过程包括：
基于Matlab及E-prime，使用物理性质一致的灰度照片；其中，灰度照片中的性别比例均衡，被试表情中性与负性比例均衡，且无任何面部标志，并对其中一半数量的照片进行面部局部遮挡处理；
设置既定数量的试次、单个试次的持续时间以及实验总时长。
在其中至少一种可能的实现方式中，所述多特征提取包括：
利用预先训练的多任务深度预测模型从所述面部表情影像数据提取面部特征、生理信号特征；
基于所述N270波形提取波形特征；
基于所述面部表情影像数据以及所述N270波形，获得情感特征向量。
在其中至少一种可能的实现方式中，所述多任务深度预测模型包括共有特征提取模块以及多任务特征融合模块；
所述共有特征提取模块用于提取各任务的特征并恢复粗糙的深度图、语义分割图、表面向量图；
所述多任务特征融合模块用于将所述共有特征提取模块提取到的特征进行多任务融合，且能够区分各任务的共有语义特征和各任务独有的语义特征。
在其中至少一种可能的实现方式中，所述共有特征提取模块采用单输入多输出型网络，并至少由如下四部分组成：编码器、多维解码器、多尺度特征融合子模块以及细化子模块；
所述编码器用于提取多种尺度的特征；
所述多维解码器用于经过上采样模块，逐步扩大所述编码器的最终特征，同时减少通道数量；
所述多尺度特征融合子模块用于将多个尺度的不同信息合并为一个；
所述细化子模块用于调整图像的输出大小以及通道数。
在其中至少一种可能的实现方式中，所述多任务特征融合模块采用多输入多输出型网络，并至少由如下两部分组成：多输入特征融合模块，用于将前一模块输出的多任务特征进行融合；特征解码部分为多输出解码器。
在其中至少一种可能的实现方式中，所述输出抑郁症病症辅助识别结果包括：
将多特征按时间顺序融合，得到时空特征向量；
将所述时空特征向量输入Transformer encoder模型，再经过softmax分类得到辅助识别结果。
与现有技术相比，本发明的主要设计构思在于，围绕抑郁人群冲突处理障碍及负性偏向的核心症状，有机结合脑电生理指标及面部影像指标，评测其冲突处理障碍的程度，进而为抑郁症的识别及预估的提炼出客观、量化指标。具体是基于预设的实验范式执行脑电刺激实验，并同步采集被试的面部表情影像数据及个体脑电数据，经解析得到N270波形后，对面部表情影像数据及N270波形进行多特征提取，再将多特征整合后输入经训练的神经网络模型，输出抑郁症病症辅助识别结果。本发明不仅能够提供辅助医生利用实验波形及影像数据辨识抑郁症的客观指标，还具有准确性高、鲁棒性强、误差率低的优点。
进一步地，将机器学习技术应用于抑郁症患者面部表情或微表情检测、特征提取，并结合多任务模块的深度学习，可以显著提高抑郁症指征辨识、预测的敏感性、准确性、特异性。
附图说明
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
图1为本发明实施例提供的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明提出了一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法的实施例，具体来说，如图1所示，其中包括：
步骤S1、基于预设的实验范式执行脑电刺激实验，并同步采集被试的面部表情影像数据（可以通过高清摄像头对面部表情进行特写采集并记录）以及个体的脑电数据（具体为，脑电图时域数据）；
这里提及的预设范式中，具体的编辑过程可以包括如下部分：基于Matlab及E-prime，使用物理性质一致的灰度照片；其中，灰度照片中的性别比例均衡，被试表情中性与负性比例均衡，且无任何面部标志(例如眼镜、胡须、皮肤痣、首饰等)，并对其中一半数量的照片进行面部局部遮挡处理；设置既定数量的试次、单个试次的持续时间以及实验总时长，例如设置至少180个试次，每个试次持续500ms，且先后呈现的图片与刺激间隔的总时长为8min左右。
该新型N270任务范式具有以下优点：1、实验流程简洁，被试操作简单；2、参数设计合理，诱发脑电波形重复性好、信噪比高，精确了校准计时系统，计时误差范围可控；3、图片素材覆盖负性、中性情绪，针对抑郁人群负性偏向的核心症状；4、任务敏感，特异性高，针对冲突处理能力障碍这一核心症状设计，可以作为早期预测抑郁症的客观指标。
此外，本发明经分析认为，抑郁症除了抑郁症候群、冲突处理障碍、负性偏向等核心症状外，同时也存在面部表情或微表情的变化，如悲伤负性表情增加，笑容正性表情越少。面部表情虽由肌肉收缩产生，但其变化与内在心理变化呈现一致性，可作为情绪、意图和欲望等信息的传递窗口。抑郁症患者受到冲突信息（冲突信息指的是与患者内心的信念、价值观或期望相冲突的信息）刺激时，由于冲突处理能力的减弱，会触发不安、焦虑和压力等负面情绪，面部表情则会进一步向负面情绪转化，如沮丧、绝望、无助等。基于此，被试在进行本发明提出的新N270范式刺激大脑冲突处理系统的任务时，可同步收集患者的面部表情作为特征补强，并可以优选借助AI辅助算法，对面部表情特征进行深度学习，由此进一步加深对抑郁人群冲突处理能力的辨识，对面部特征的提取及量化。
步骤S2、对脑电数据进行解析，得到N270波形；
在实际操作中，主要可以包括：
在导入所述脑电数据并进行独立成分分析后，设置N270分段时间窗；
将不同刺激和相同刺激的数据片段分别叠加再平均，以波形相减方式得到N270波形，且将N270波形确定为刺激呈现之后220ms~380ms之间的一个负向波。
完整的波形解读过程可参考如下：
a)导入数据：启动Matlab和EEGlab，选择相应的导入格式导入数据；
b)降采样：调整采样率为250Hz，压缩数据，减少高频信息影响；
c)导入通道信息：确定各个电极的坐标；剔除无用电极：按照实际情况与需要筛选导联；
d)重参考：以双侧乳突为参考；
e)滤波：进行0.5Hz-45Hz的带通滤波；
f)独立成分分析ICA：对数据进行ICA分析，为了去除信号中的伪迹
尤其是眼电伪迹，并去除噪声成分；
g)分段：N270分段时间窗设置为刺激前200ms和刺激后800ms；
h)基线校正：以刺激前200ms为基线进行校正；
i)叠加平均：把不同刺激和相同刺激的数据片段分别叠加平均，把人脸不相同刺激和人脸相同刺激的波形相减得到N270波形；
j)ERP成分辨认：N270为刺激呈现后220-380ms之间的一个负向波。
步骤S3、对面部表情影像数据以及N270波形进行多特征提取；
具体来说，所述多特征提取可以包括：
基于所述面部表情影像数据提取面部特征、生理信号特征；
基于所述N270波形提取波形特征；
基于所述面部表情影像数据以及所述N270波形，获得情感特征向量。
这里需说明的是，多任务特征整合的深度预测算法是一种既能提取出各个任务的相同特征，又能利用各任务的相互关系来进行彼此促进的算法，旨在执行任务交互的特征融合或参数共享。而目前多任务特征整合的模型存在的问题主要是特征融合的方式仅是使用参数共享，并未将共有特征对任务的帮助和各任务之间的特点表现出来，因此，本发明通过引入基于多任务模块的深度学习方法，可以有效解决这一问题。
针对上述各特征提取的过程，这里给出如下实施参考：
（1）面部特征
步骤S31、将面部表情影像数据进行分帧处理得到若干个图像序列；
步骤S32、利用预先训练的多任务深度预测模型对所述图像序列进行面部特征提取，得到面部帧序列；
步骤S33、采用光流法对所述面部帧序列的相邻帧提取光流，得到光流序列；
步骤S34、将所述面部帧序列和所述光流序列融合并展开，得到面部一维向量，再对所述面部一维向量进行线性映射得到面部嵌入向量。
（2）生理信号特征
步骤S310、利用所述多任务深度预测模型从所述图像序列中提取面颊部的感兴趣区，得到感兴趣序列；
步骤S320、对所述感兴趣序列进行展开得到感兴趣一维向量，再对所述感兴趣一维向量进行线性映射得到生理信号嵌入向量。
（3）波形特征
步骤S311、以帧为单位提取N270波形的基本特征，将所述基本特征组成波形一维向量，再对所述波形一维向量进行线性映射得到波形嵌入向量。
（4）情感特征
步骤S301、对所述图像序列提取多维度面部特征向量；
步骤S302、对N270波形进行傅里叶变换转为频域数据，以频率为基准将所述频域数据矩阵依据不同的频段范围进行区块划分，得到分块频域矩阵，计算所述分块频域矩阵的各个子块的协方差矩阵后，计算各个所述协方差矩阵的LES，得到LES特征向量；
步骤S303、将所述多维度面部特征向量与LES特征向量进行拼接，得到融合向量；将所述融合向量输入到预训练的情感特征提取模型，得到与图像序列对应的情感嵌入向量。
步骤S4、将多特征整合后输入经训练的基于自注意力机制的神经网络模型，输出抑郁症病症辅助识别结果。
对此步骤具体可以但不限于采用如下思路：
将多特征按时间顺序融合，得到时空特征向量；
将所述时空特征向量输入Transformer encoder模型，再经过softmax分类得到辅助识别结果。
进一步地，关于前文所述多任务深度预测模型，具体可以通过两个模块进行网络训练，其中一个是共有特征提取模块，负责提取各任务的特征并可以恢复粗糙的深度图、语义分割图、表面向量图；另一个模块是多任务特征融合模块，该模块负责将共有特征提取模块提取到的特征进行多任务的融合，网络将会区分各任务共有语义特征和各任务独有的语义特征，使得最后恢复的图像更具有结构性。具体来说：
（一）关于所述共有特征提取模块
（1）网络结构
共有特征提取模块包含四部分：编码器、多维解码器、多尺度特征融合子模块和细化子模块。具体地，编码器可由四个卷积层组成，负责提取1/4、1/8、1/16和1/32多种尺度的特征；多维解码器采用四个上采样模块，逐步扩大编码器的最终特征，同时减少通道数量；多尺度特征融合子模块使用向上采样和通道连接的方式来集成自编码器的四种不同比例特征：与编码器相对应，将编码器的四层输出（每个具有16个通道）分别以×2、×4、×8 和×16 的形式上采样，以便具有与最终输出相同的大小，这种上采样以通道连接方式完成，然后通过卷积层进一步变换以获得具有64个通道的输出，多尺度特征融合子模块的主要目的是将多个尺度的不同信息合并为一个，从而使编码器的下层输出保留了具有更精细空间分辨率的信息，有助于恢复由于多次下采样而丢失的细节信息；最后，细化子模块用于调整图像的输出大小以及通道数，分别对应三个任务采用三个卷积层，使得输出的通道数恢复为深度图像的1通道，语义分割图像的1通道和表面向量的3通道，便于进行损失的计算和反向传播。以上述实施例示意来说：
a)把面部表情影像数据及N270波形分别进行分帧处理得到多个图像序列；
b)图像编辑为320×240×3大小的RGB图像；
c)通过编码器的四个卷积层得到四层特征；
d)四层特征通过解码器的四个采样层进行解码；
e)完毕后，通过多尺度融合子模块将不同尺度的上采样输出融合在一起，最后通过细化子模块中不同的反卷积层恢复出深度图像、语义分割图、表面向量图的形状。
（2）训练过程
a)将RGB图像与深度图像、语义分割图、表面向量图与网络预测的对应图像之间建立损失函数，每次处理图像数量为4；
b)通过减小损失函数来更新网络参数；
c)经过迭代更新到损失函数收敛，设定迭代次数为100。
所述共有特征提取模块是单输入多输出型网络，在训练的过程中，需要网络根据数据集中RGB图像与深度图像、语义分割图、表面向量图与网络预测的对应图像之间建立损失函数，进行网络参数的更新、迭代直至损失函数收敛时，能够得到训练好的网络。由于需要同时处理3个任务，且保证各任务之间的相关性，所以上述损失函数可分为3个部分，具体特征提取损失函数为：
Ltask =Ldepth +Lseg +Lnormal
各部分损失函数的作用和目的如下：
（a）深度图损失函数，即：
Ldepth =L1 +Lgrad
该函数为L1损失函数与梯度损失函数之和， 其中对于每个像素点i，对应的预测深度与真实深度分别为di和Di，L1损失函数可以约束di与Di间的不同，为该损失函数的主要部分，提供了准确率的保证。
（b）语义分割损失函数，其为交叉熵函数，是语义分割问题中常用的损失函数，常用于描述两个概率之间的距离，在本模型中约束图像中物体的预测语义类别的概率，其表达式为：
其中，对于预测的语义分割图像S 和真值图像中的每个像素上s和，在classes个分类上都是非0即1的元素，对于每个像素仅有一个sj的值为 1，所以交叉熵损失只关心对正确类别的预测概率，只要其值足够大，就可以确保分类结果正确。
(c)表面向量损失函数，即测量估计深度图表面法线(n i d )相对于其真实数据表面法线(n i g )的准确性。表面向量损失同样是根据深度梯度计算得到的， 但其测量的是 两个表面法线之间的角度，因此该损失对深度结构很敏感，能够提升预测结构的一致性，表达式为：
(d)梯度损失函数，能约束点在x轴、y轴上的梯度变化(gx (ei )和gv (ei )，分别为x和y轴上的梯度损失)，敏感地检测出边缘信息，在物体的边界处深度通常是不连续的。需注意的是，梯度损失与前面的深度损失等是不同类型的误差，所以需要加权来训练的网络，其表达式为：
在该共有特征提取模块训练过程中，通过直接在网络的输出端得到 3个任务的图像并与其对应的真值之间设计损失函数，经过梯度下降的方式进行反向传播， 从而对网络的参数进行更新，当损失函数收敛时，可完成训练。在所述共有特征提取模块算法的训练某实施例中，设定迭代次数为100，每次处理图像数量为4，初始学习率为10-4，每经过20次迭代更新学习率为原来的十分之一，最后在经过100次迭代后得到的收敛损失函数值为0.1245。
（二）关于所述多任务特征融合模块
（1）网络结构
多任务特征融合模块由两部分组成，第一部分是多输入特征融合模块， 负责将上一模块输出的多任务特征进行融合，所使用的网络为密集连接的U-net；第二部分为特征解码部分，与上一部分的解码器部分类似，为多输出解码器，故不做赘述。结合前文示例，具体来说：
a)创建一个由多个流组成的编码路径，每个流都处理上一模块不同的任务的图像形式；
b)三个任务先分别通过U-net的编码器进行编码，任务1的图像在经过一次卷积池化操作之后得到的池化特征会与任务2的二次池化特征进行结合，通过卷积层后又与任务3的池化特征结合，保证特征的共用性；
c)得到的共用特征先通过一个上采样操作得到一个共有上采样特征；
d)将此上采样特征结合之前的池化特征一起进行解码，分别将其与三种任务不同尺度的池化特征送入解码器；
e)与之前的各任务提取的特征进行连接并通过上采样层，恢复各任务原来的形状；
f)将恢复的深度图像、语义分割图、和表面向量图与数据集中的真值进行损失比较，以更新网络中参数。
所述多任务特征融合模块在原U-net网络的基础上添加了密集连接的方法，能有效地增强多输入模式的特征提取能力，为了实现这种密集的连接模式，首先创建一个由多个流组成的编码路径，每个流都处理上一模块不同的任务的图像形式。对不同的图像形式采用单独的流的主要目的是分散原本会在早期融合的信息，从而限制了网络捕获模式之间复杂关系的学习能力。从网络结构中可以看出，3个任务先分别通过U-net的编码器进行编码，但不同点在于，在不同的卷积层传递时会产生交互，比如，任务1的图像在经过一次卷积池化操作之后，得到的池化特征会在任务2的二次池化特征进行结合，通过卷积层后又与任务3的池化特征结合。这样可以使特征在任务之间流动，保证特征的共用性。在解码器部分，将得到的共用特征先通过一个上采样操作得到一个共有上采样特征，再将此上采样特征结合之前的池化特征一起进行解码，分别将其与3种任务不同尺度的池化特征送入解码器，并与之前的各任务提取的特征进行连接并通过上采样层，恢复各任务原来的形状，再将恢复的深度图像、语义分割图、和表面向量图与数据集中的真值进行损失比较，以更新网络中参数。通过此种通道连接和下采样连接结合的方式可以进一步将不同任务的特征融合，促进各任务之间的转化，该方式与共有特征提取模块中的共有特征不同，在保留原有特征的情况下更能体现不同任务之间的联系，突出多任务特征之间的融合。
（2）训练过程
a)将输出与数据库中对应的深度图像、语义分割图、表面向量图真值之间的关系建立损失函数，每次处理图像数量为4；
b)通过减小损失函数来更新网络参数，损失函数采用与共有特征提取模块相同；
c)经过迭代更新到损失函数收敛，设定迭代次数为100。
所述多任务特征融合模块属于多输入多输出型网络，在训练中，需要将输出与数据库中对应的深度图像、语义分割图、表面向量图真值之间的关系建立损失函数，并通过减小损失函数来更新网络参数，经过迭代更新到损失函数收敛，得到训练好的网络。在训练网络时，可以将本模块与共有特征提取模块统一训练，以便形成一个端到端的神经网络，即输入为单张 RGB图像，输出为与其对应的深度图像、语义分割图、表面向量图。由于3个任务与共有特征提取模块相同，故采用相同的损失函数进行约束，故不详细说明。关于该模块训练的过程，本模型通过直接在网络的输出端得到3个任务的图像并与其对应的真值之间设计损失函数，经过梯度下降的方式进行反向传播，从而对网络的参数进行更新，当损失函数收敛时，可完成训练。在本模型算法的训练过程中，设定迭代次数为100，每次处理图像数量为4，初始学习率为10-4，每经过20次迭代更新学习率为原来的十分之一，最后在经过100次迭代后得到的收敛损失函数值为0.1159。
综上所述，本发明的主要设计构思在于，围绕抑郁人群冲突处理障碍及负性偏向的核心症状，有机结合脑电生理指标及面部影像指标，评测其冲突处理障碍的程度，进而为抑郁症的识别及预估的提炼出客观、量化指标。具体是基于预设的实验范式执行脑电刺激实验，并同步采集被试的面部表情影像数据及个体脑电数据，经解析得到N270波形后，对面部表情影像数据及N270波形进行多特征提取，再将多特征整合后输入经训练的神经网络模型，输出抑郁症病症辅助识别结果。本发明不仅能够提供辅助医生利用实验波形及影像数据辨识抑郁症的客观指标，还具有准确性高、鲁棒性强、误差率低的优点。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。
Claims (6)
1.一种基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，包括：
基于预设的实验范式执行脑电刺激实验，并同步采集被试的面部表情影像数据以及个体的脑电数据，其中预设的实验范式的编辑过程包括：基于Matlab及E-prime，使用物理性质一致的灰度照片；所述灰度照片中的性别比例均衡，被试表情中性与负性比例均衡，且无任何面部标志，并对其中一半数量的照片进行面部局部遮挡处理；设置既定数量的试次、单个试次的持续时间以及实验总时长；
对脑电数据进行解析，得到N270波形；
对面部表情影像数据以及N270波形进行多特征提取；
将多特征整合后输入经训练的基于自注意力机制的神经网络模型，输出抑郁症病症辅助识别结果。
2.根据权利要求1所述的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，所述多特征提取包括：
利用预先训练的多任务深度预测模型从所述面部表情影像数据提取面部特征、生理信号特征；
基于所述N270波形提取波形特征；
基于所述面部表情影像数据以及所述N270波形，获得情感特征向量。
3.根据权利要求2所述的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，所述多任务深度预测模型包括共有特征提取模块以及多任务特征融合模块；
所述共有特征提取模块用于提取各任务的特征并恢复粗糙的深度图、语义分割图、表面向量图；
所述多任务特征融合模块用于将所述共有特征提取模块提取到的特征进行多任务融合，且能够区分各任务的共有语义特征和各任务独有的语义特征。
4.根据权利要求3所述的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，所述共有特征提取模块采用单输入多输出型网络，并至少由如下四部分组成：编码器、多维解码器、多尺度特征融合子模块以及细化子模块；
所述编码器用于提取多种尺度的特征；
所述多维解码器用于经过上采样模块，逐步扩大所述编码器的最终特征，同时减少通道数量；
所述多尺度特征融合子模块用于将多个尺度的不同信息合并为一个；
所述细化子模块用于调整图像的输出大小以及通道数。
5.根据权利要求3所述的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，所述多任务特征融合模块采用多输入多输出型网络，并至少由如下两部分组成：多输入特征融合模块，用于将前一模块输出的多任务特征进行融合；特征解码部分为多输出解码器。
6.根据权利要求1～5任一项所述的基于脑电数据与面部表情影像的抑郁症病症辅助识别方法，其特征在于，所述输出抑郁症病症辅助识别结果包括：
将多特征按时间顺序融合，得到时空特征向量；
将所述时空特征向量输入Transformer encoder模型，再经过softmax分类得到辅助识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311405231.6A CN117137488B (zh) | 2023-10-27 | 2023-10-27 | 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311405231.6A CN117137488B (zh) | 2023-10-27 | 2023-10-27 | 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117137488A CN117137488A (zh) | 2023-12-01 |
| CN117137488B true CN117137488B (zh) | 2024-01-26 |
Family
ID=88902970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311405231.6A Active CN117137488B (zh) | 2023-10-27 | 2023-10-27 | 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117137488B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117633667A (zh) * | 2024-01-26 | 2024-03-01 | 吉林大学第一医院 | 基于n270波形的抑郁症病症识别方法、装置及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201360302Y (zh) * | 2009-02-12 | 2009-12-09 | 南靖万利达科技有限公司 | 电视电脑一体机 |
| CN109157231A (zh) * | 2018-10-24 | 2019-01-08 | 阿呆科技（北京）有限公司 | 基于情绪刺激任务的便携式多通道抑郁倾向评估系统 |
| CN109171769A (zh) * | 2018-07-12 | 2019-01-11 | 西北师范大学 | 一种应用于抑郁症检测的语音、面部特征提取方法及系统 |
| KR20190130808A (ko) * | 2018-05-15 | 2019-11-25 | 연세대학교 산학협력단 | 뇌파와 얼굴 이미지의 특징 융합을 이용한 감정 분류 장치 및 방법 |
| CN111797747A (zh) * | 2020-06-28 | 2020-10-20 | 道和安邦（天津）安防科技有限公司 | 一种基于eeg、bvp和微表情的潜在情绪识别方法 |
| WO2021104099A1 (zh) * | 2019-11-29 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种基于情景感知的多模态抑郁症检测方法和系统 |
| CN114748072A (zh) * | 2022-01-21 | 2022-07-15 | 上海大学 | 一种基于脑电的抑郁症辅助诊断的信息分析及康复训练系统及方法 |
| CN116467672A (zh) * | 2023-03-29 | 2023-07-21 | 吉林大学 | 基于脑电-语音双模态决策融合的抑郁症识别系统 |
| CN116602676A (zh) * | 2023-05-10 | 2023-08-18 | 浙江工业大学 | 一种基于多特征融合和clstn的脑电情绪识别方法和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210113129A1 (en) * | 2016-12-01 | 2021-04-22 | Sin-Ger Huang | A system for determining emotional or psychological states |
| US20210353224A1 (en) * | 2018-10-15 | 2021-11-18 | The Board Of Trustees Of The Leland Stanford Junior University | Treatment of depression using machine learning |
-
2023
- 2023-10-27 CN CN202311405231.6A patent/CN117137488B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201360302Y (zh) * | 2009-02-12 | 2009-12-09 | 南靖万利达科技有限公司 | 电视电脑一体机 |
| KR20190130808A (ko) * | 2018-05-15 | 2019-11-25 | 연세대학교 산학협력단 | 뇌파와 얼굴 이미지의 특징 융합을 이용한 감정 분류 장치 및 방법 |
| CN109171769A (zh) * | 2018-07-12 | 2019-01-11 | 西北师范大学 | 一种应用于抑郁症检测的语音、面部特征提取方法及系统 |
| CN109157231A (zh) * | 2018-10-24 | 2019-01-08 | 阿呆科技（北京）有限公司 | 基于情绪刺激任务的便携式多通道抑郁倾向评估系统 |
| WO2021104099A1 (zh) * | 2019-11-29 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种基于情景感知的多模态抑郁症检测方法和系统 |
| CN111797747A (zh) * | 2020-06-28 | 2020-10-20 | 道和安邦（天津）安防科技有限公司 | 一种基于eeg、bvp和微表情的潜在情绪识别方法 |
| CN114748072A (zh) * | 2022-01-21 | 2022-07-15 | 上海大学 | 一种基于脑电的抑郁症辅助诊断的信息分析及康复训练系统及方法 |
| CN116467672A (zh) * | 2023-03-29 | 2023-07-21 | 吉林大学 | 基于脑电-语音双模态决策融合的抑郁症识别系统 |
| CN116602676A (zh) * | 2023-05-10 | 2023-08-18 | 浙江工业大学 | 一种基于多特征融合和clstn的脑电情绪识别方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| Machine Learning Approaches for MDD Detection and Emotion Decoding Using EEG Signals;Lijuan Duan et al;《Frontiers in Human Neuroscience》;全文 * |
| 抑郁症患者冲突信息认知加工能力受损： 来自事件相关电位N270的证据;彭焱 等;《中国健康心理学杂志》;第30卷(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117137488A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Seal et al. | DeprNet: A deep convolution neural network framework for detecting depression using EEG | |
| CN109886273B (zh) | 一种cmr图像分割分类系统 | |
| CN111528859B (zh) | 基于多模态深度学习技术的儿童adhd筛查评估系统 | |
| CN117137488B (zh) | 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法 | |
| Pal et al. | Deep learning techniques for prediction and diagnosis of diabetes mellitus | |
| CN111920420A (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| CN117216546A (zh) | 模型训练方法、装置、电子设备、存储介质及程序产品 | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
| Zhang et al. | Multi-paradigm fMRI fusion via sparse tensor decomposition in brain functional connectivity study | |
| Liu et al. | PRA-Net: Part-and-Relation Attention Network for depression recognition from facial expression | |
| Creagh et al. | Interpretable deep learning for the remote characterisation of ambulation in multiple sclerosis using smartphones | |
| Afzali et al. | Automated major depressive disorder diagnosis using a dual-input deep learning model and image generation from EEG signals | |
| Maria et al. | A comparative study on prominent connectivity features for emotion recognition from EEG | |
| CN116452593B (zh) | 血管性认知障碍的ai评估模型的构建方法、装置及系统 | |
| CN117237351A (zh) | 一种超声图像分析方法以及相关装置 | |
| Qendro et al. | High frequency eeg artifact detection with uncertainty via early exit paradigm | |
| Wang et al. | Deep learning for single-channel EEG signals sleep stage scoring based on frequency domain representation | |
| CN115909438A (zh) | 基于深度时空域卷积神经网络的疼痛表情识别系统 | |
| CN116383618A (zh) | 一种基于多模态数据的学习专注度评估方法及装置 | |
| CN114246588A (zh) | 一种抑郁症研究方法 | |
| Nagarhalli et al. | Evaluating the Effectiveness of the Convolution Neural Network in Detecting Brain Tumors | |
| Luo et al. | Exploring adaptive graph topologies and temporal graph networks for eeg-based depression detection | |
| Sridurga et al. | Detecting Autism Spectrum Syndrome using VGG19 and Xception Networks | |
| CN115429272B (zh) | 基于多模态生理信号的心理健康状态评估方法及系统 | |
| Yuan et al. | Combining Informative Regions and Clips for Detecting Depression from Facial Expressions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |