CN113705328A - 基于面部特征点与面部运动单元的抑郁检测方法和系统 - Google Patents
基于面部特征点与面部运动单元的抑郁检测方法和系统 Download PDFInfo
- Publication number
- CN113705328A CN113705328A CN202110764279.0A CN202110764279A CN113705328A CN 113705328 A CN113705328 A CN 113705328A CN 202110764279 A CN202110764279 A CN 202110764279A CN 113705328 A CN113705328 A CN 113705328A
- Authority
- CN
- China
- Prior art keywords
- facial
- feature
- face
- conv
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 226
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 152
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000009467 reduction Effects 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000009826 distribution Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 30
- 230000004913 activation Effects 0.000 claims description 20
- 238000003066 decision tree Methods 0.000 claims description 20
- 238000000513 principal component analysis Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 230000001186 cumulative effect Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 5
- 230000002349 favourable effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 13
- 238000003745 diagnosis Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
本发明提供了一种基于面部特征点与面部运动单元的抑郁检测方法和系统，涉及抑郁状态检测技术领域。基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。实现了基于诊疗过程中采集到的监测数据进行抑郁状态检测。
Description
技术领域
本发明涉及抑郁状态检测技术领域，具体涉及一种基于面部特征点与面部运动单元的抑郁检测方法和系统。
背景技术
《2020抑郁症患者群体调查报告》显示，在中国登记的581万名严重精神障碍患者中，超过60％的抑郁症患者是通过网络上的抑郁自测问卷结果初次意识到自身可能存在抑郁状态。但当患者处于抑郁状态时，往往无法进行正确的自我评价，容易出现夸大或弱化自身抑郁状态的现象。由于至今尚未有任何明确的生物学指标能够可靠地诊断和预测抑郁症，抑郁症的诊断仍然高度依赖医生与患者之间的交流与观察，但专业机构中心理医疗资源有限、诊疗成本高昂，导致多数患者在未出现明显躯体症状前没有意愿主动寻求帮助
计算机视觉技术以其客观性、方便性与低成本等优点被广泛应用于抑郁状态的分析与检测领域，包含大量情感信息的面部被作为研究重点。
然而对用于检测抑郁状态的面部特征处理方法，现有的特征大多从单维度中提取，并未充分挖掘出特征的时序性特点，无法全面提供患者处于抑郁状态下的动态变化信息。且大量从诊疗过程中采集到的监测数据是非线性、非平稳的，现有的特征提取方法易导致特征冗余，无法提取与抑郁状态检测高度相关特征，影响抑郁检测效果。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于面部特征点与面部运动单元的抑郁检测方法和系统，解决了如何基于诊疗过程中采集到的监测数据进行抑郁状态检测的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，提供了一种基于面部特征点与面部运动单元的抑郁检测方法，该方法包括：
基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；
对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；
对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；
将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；
将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。
进一步的，所述基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据，包括：
通过点分布模型追踪视频中人脸，通过选择缩放进行人脸对齐操作；再利用可变型部件模型提取面部外观特征与几何特征；最后，使用支持向量机与支持向量回归检测各面部运动单元的出现的概率，且当概率大于阈值时，表示出现该运动单元。
进一步的，所述对面部运动单元数据进行标准化处理，得到面部运动单元特征向量，包括：
以时间序列索引最短的样本视频长度为标准，按比例将其余样本视频缩放至同一尺度；
通过softmax函数将同一样本内各运动单元统计数值压缩至(0,1)区间内，得到各面部运动单元之间的数量相对关系；
依据面部运动单元间的数量相对关系去除出现次数最高的面部运动单元，再对所有数据进行统一归一化处理，得到面部运动单元特征向量。
进一步的，所述对面部特征点数据降维，包括：
将经过T次采样的M维数据转化为T×M面部特征点矩阵
按中心化公式对
进行中心化，得到中心化矩阵
基于中心化矩阵
计算得到各维度的方差与两两维度之间的协方差，得到协方差矩阵C；
计算协方差矩阵C的特征值λi(i＝1,2,...,e)及其对应的正交化特征向量Pi(i＝1,2,...,e)，将特征值按λ1＞λ2＞...＞λe＞0顺序排列；
分别对协方差矩阵各个特征值计算其贡献率，将所有特征值贡献率进行相加，求累计贡献率G(k)，保留G(k)为98％的前主成分，且提取累计贡献率所对应的前k特征向量进行矩阵变换，将选择的特征向量与头部特征矩阵XL T×M点乘，得到目标特征矩阵LK×M；
使用决策树模型确定面部特征点矩阵的主成分维度值，循环遍历G(k)为98％时包含的维度数值，随机产生包含不同数量主成分的特征向量集，输入训练决策树模型进行抑郁状态监测二分类实验，将决策树模型的分类结果作为向量特征子集性能评价的标准，选择使决策树模型获得最优分类指标的主成分维度K，并以此选择面部特征点对应特征值的前K个主成分；
利用通道注意力机制对降维后的面部特征点数据进行处理，包括：
将经过主成分分析后所得的面部特征点数据利用特征映射投射至不同通道上，提取各尺度下面部特征点特征图信息。
L＝Convfm(YL)
其中，L∈RC×H×W代表通过主成分分析处理的面部特征点数据YL被Convfm映射到C通道上大小H×W为特征图；
通过自适应的通道注意力机制调整不同通道的权重分配，提取并选择有利于区分是否具有抑郁状态的面部特征点特征：
CAtt(L)＝σ(Convc3(Convc2(Convc1(L))+Convc1(L)))
其中，CAtt(L)为通过通道注意力机制后各通道所的权重分布，
表示同位元素积运算，L′为具有不同权重的面部特征点数据，σ表示sigmoid激活函数，Convcn代表通道卷积神经网络层，n为卷积层层数。
进一步的，所述将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量，包括：
将面部运动单元特征向量与面部特征点特征向量进行拼接操作，获得融合向量XFace；
XFace＝(XFAUs,XFLMs)
其中，XFace表示融合后的面部特征向量，XFAUs与XFLMs分别表示通过特征提取处理后的面部运动单元特征向量与面部特征点特征向量；
采用空间注意力模块来分配注意力权重，沿着通道轴应用卷积操作，生成有效的特征描述符：
SAtt(XFace)＝σ(Convs3(Convs2(Convs1(XFace))+Convs1(XFace)))
其中，SAtt(XFace)为通过空间注意力机制后的空间权重分布(空间注意图)，X′Face为具有不同权重的面部融合特征，
表示同位元素积运算，σ表示sigmoid激活函数，Convsn代表卷积空间神经网络层，n为卷积层层数。
进一步的，所述将面部融合特征向量输入特征展平层，得到抑郁状态检测结果，包括：
利用ReLU激活函数进行非线性激活，通过softmax层将全连接层多个神经元的输出映射到总和为1的(0,1)区间，且softmax函数为：
其中，zi为从最后全连接层输入softmax激活函数的第i类分值，Si(z)为第i类观测值z的估计概率分布；C为分类类别数；
使用交叉熵损失函数(Cross EntropyLoss Function)对softmax估计的输出概率分布和目标类概率分布的误差进行评估，二分类交叉熵损失函数表示为：
Loss＝E(P(z),S(z))＝-Pi(z)log(Si(z))-(1-Pi(z))log(1-Si(z))
其中，P(z)为目标分布，Si(z)为估计分布。
第二方面，提供了一种基于面部特征点与面部运动单元的抑郁检测系统，包括：
多模态数据提取模块，用于基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；
面部运动单元特征提取模块，用于对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；
面部特征点特征提取模块，用于对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；
特征向量进行融合模块，用于将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；
抑郁状态检测模块，用于将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。
进一步的，所述基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据，包括：
通过点分布模型追踪视频中人脸，通过选择缩放进行人脸对齐操作；再利用可变型部件模型提取面部外观特征与几何特征；最后，使用支持向量机与支持向量回归检测各面部运动单元的出现的概率，且当概率大于阈值时，表示出现该运动单元。
进一步的，所述对面部运动单元数据进行标准化处理，得到面部运动单元特征向量，包括：
以时间序列索引最短的样本视频长度为标准，按比例将其余样本视频缩放至同一尺度；
通过softmax函数将同一样本内各运动单元统计数值压缩至(0,1)区间内，得到各面部运动单元之间的数量相对关系；
依据面部运动单元间的数量相对关系去除出现次数最高的面部运动单元，再对所有数据进行统一归一化处理，得到面部运动单元特征向量。
进一步的，所述对面部特征点数据降维，包括：
将经过T次采样的M维数据转化为T×M面部特征点矩阵
按中心化公式对
进行中心化，得到中心化矩阵
基于中心化矩阵
计算得到各维度的方差与两两维度之间的协方差，得到协方差矩阵C；
计算协方差矩阵C的特征值λi(i＝1,2,...,e)及其对应的正交化特征向量Pi(i＝1,2,...,e)，将特征值按λ1＞λ2＞...＞λe＞0顺序排列；
分别对协方差矩阵各个特征值计算其贡献率，将所有特征值贡献率进行相加，求累计贡献率G(k)，保留G(k)为98％的前主成分，且提取累计贡献率所对应的前k特征向量进行矩阵变换，将选择的特征向量与头部特征矩阵XL T×M点乘，得到目标特征矩阵LK×M；
使用决策树模型确定面部特征点矩阵的主成分维度值，循环遍历G(k)为98％时包含的维度数值，随机产生包含不同数量主成分的特征向量集，输入训练决策树模型进行抑郁状态监测二分类实验，将决策树模型的分类结果作为向量特征子集性能评价的标准，选择使决策树模型获得最优分类指标的主成分维度K，并以此选择面部特征点对应特征值的前K个主成分；
利用通道注意力机制对降维后的面部特征点数据进行处理，包括：
将经过主成分分析后所得的面部特征点数据利用特征映射投射至不同通道上，提取各尺度下面部特征点特征图信息。
L＝Convfm(YL)
其中，L∈RC×H×W代表通过主成分分析处理的面部特征点数据YL被Convfm映射到C通道上大小H×W为特征图；
通过自适应的通道注意力机制调整不同通道的权重分配，提取并选择有利于区分是否具有抑郁状态的面部特征点特征：
CAtt(L)＝σ(Convc3(Convc2(Convc1(L))+Convc1(L)))
其中，CAtt(L)为通过通道注意力机制后各通道所的权重分布，
表示同位元素积运算，L′为具有不同权重的面部特征点数据，σ表示sigmoid激活函数，Convcn代表通道卷积神经网络层，n为卷积层层数。
进一步的，所述将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量，包括：
将面部运动单元特征向量与面部特征点特征向量进行拼接操作，获得融合向量XFace；
XFace＝(XFAUs,XFLMs)
其中，XFace表示融合后的面部特征向量，XFAUs与XFLMs分别表示通过特征提取处理后的面部运动单元特征向量与面部特征点特征向量；
采用空间注意力模块来分配注意力权重，沿着通道轴应用卷积操作，生成有效的特征描述符：
SAtt(XFace)＝σ(Convs3(Convs2(Convs1(XFace))+Convs1(XFace)))
其中，SAtt(XFace)为通过空间注意力机制后的空间权重分布(空间注意图)，X′Face为具有不同权重的面部融合特征，
表示同位元素积运算，σ表示sigmoid激活函数，Convsn代表卷积空间神经网络层，n为卷积层层数。
进一步的，所述将面部融合特征向量输入特征展平层，得到抑郁状态检测结果，包括：
利用ReLU激活函数进行非线性激活，通过softmax层将全连接层多个神经元的输出映射到总和为1的(0,1)区间，且softmax函数为：
其中，zi为从最后全连接层输入softmax激活函数的第i类分值，Si(z)为第i类观测值z的估计概率分布；C为分类类别数；
使用交叉熵损失函数(Cross EntropyLoss Function)对softmax估计的输出概率分布和目标类概率分布的误差进行评估，二分类交叉熵损失函数表示为：
Loss＝E(P(z),S(z))＝-Pi(z)log(Si(z))-(1-Pi(z))log(1-Si(z))
其中，Si(z)是模型预测样本是正例的概率，P(z)是样本标签，如果样本属于正例，取值为1，否则取值为0。
(三)有益效果
本发明提供了一种基于面部特征点与面部运动单元的抑郁检测方法和系统。与现有技术相比，具备以下有益效果：
本发明基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。实现了基于诊疗过程中采集到的监测数据进行抑郁状态检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的流程图；
图2为本发明实施例的通道注意力机制模块的示意图；
图3为本发明实施例的空间注意力机制模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于面部特征点与面部运动单元的抑郁检测方法和系统，解决了如何基于诊疗过程中采集到的监测数据进行抑郁状态检测的问题。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。实现了基于诊疗过程中采集到的监测数据进行抑郁状态检测。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1：
如图1所示，本发明提供了一种基于面部特征点与面部运动单元的抑郁检测方法，该方法包括：
基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；
对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；
对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；
将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；
将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。
本实施例的有益效果为：
基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。实现了基于诊疗过程中采集到的监测数据进行抑郁状态检测。
下面对本发明实施例的实现过程进行详细说明：
S1、基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据。
根据人脸的解剖学特点，将其划分成若干既相互独立又相互联系的动作单元(ActionUnits，AU/FAU)，这些面部动作单元的运动特征及其所控制的主要区域可以反映出面部表情。面部运动单元数据由面部的20个编码特征组成，数据集特征如下frame,timestamp,
confidence,success,AU01_r,AU02_r,AU04_r,AU05_r,AU06_r,AU09_r,AU10_r,AU12_r,AU14_r,AU15_r,AU17_r,AU20_r,AU25_r,AU26_r,AU04_c,AU12_c,AU15_c,AU23_c,AU28_c,AU45_c。其中用“r”表示的值，是每个操作单元的回归输出，而用“c”描述的特征是反映当前面部操作单元的动作是否存在，存在则记为1，不存在记为0。Frame表示序列，timestamp为每个时间戳，confidence为置信度，success为此时间戳下是否成功捕捉到的被采访者面部特征，为0/1标志位，此处取success＝1的时间戳下的特征。
面部特征点为脸上的68个二维特征点，由三维坐标系上的x,y,描述：frame,timestamp,confidence,success,X0,Y0。共68×2＝136个特征。这些点在坐标空间中以毫米为单位，采集特征的摄像机位于(0,0)，坐标轴与摄像机对齐。frame,timestamp,confidence,success和上述AU特征相同。
其中，临床半结构化抑郁访谈视频为心理医生为诊断患者的抑郁发作诱因与抑郁患者抑郁程度，对患者进行提问，问题包括抑郁量表内结构化固定问题(针对抑郁发作时长，睡眠，精力等方面)，和非结构化问题如让患者自由描述一个故事(拿出一幅画让患者形容，让患者回忆讲述一件开心或难过的经历)。
对于面部运动单元数据，本实施例使用受约束的局部神经域模型(ConstrainedLocal Neural Fields,CLNF)从视频中提取面部运动单元(AU,actionunits)。
首先，为避免头部运动对面部特征提取的干扰，对视频中人脸图像进行预处理操作，通过CLNF的点分布模型(Point Distribution Model，PDM)追踪视频中人脸通过选择缩放进行人脸对齐操作；然后，利用可变型部件模型(Deformable Parts Model,DPM)提取面部外观特征与几何特征；最后，使用支持向量机与支持向量回归检测各面部运动单元的出现的概率。
仅依据各运动单元的连续概率值无法直接统计其是否存在，本文使用特征二元化处理操作，将各运动单元的连续概率值转化为离散布尔型(0或1)；因此，基于视频软件内置的检测算法特点与实验数据分布情况，设定判断运动单元是否存在的阈值threshold＝0.7；当AUX_r大于阈值时，用1表示受试者面部出现该运动单元；当AUX_r小于阈值时，用0表示受试者面部未出现该运动单元；经过数值转换后，统计所有样本中各类运动单元出现总数。
仅使用底层手工特征面部运动单元较难直观识别抑郁状态，需要进一步利用神经网络算法自动化探索提取最佳预测特征集，从而提高抑郁状态的检测率。
而对于面部特征点数据，使用视频每帧图像中人脸的68个二维面部特征点进行抑郁状态检测。
S2、对面部运动单元数据进行标准化处理，得到面部运动单元特征向量。
具体的，由于各样本视频中包含有效面部运动单元的帧数不同，各样本的XF T×M处于不同的数量级，为降低不同时间序列的样本对模型的影响，本文对面部运动单元数据进行标准化处理。
首先，以时间序列索引最短的样本长度为标准，按比例将其余样本缩放至同一尺度；
其次，通过softmax函数将同一样本内各运动单元统计数值压缩至(0,1)区间内，得到各AU之间的数量相对关系；
最后，由于每个样本中出现次数最高的面部运动单元特征无法体现样本之间差异化信息，甚至有可能影响模型的分类效率，因此，依据面部运动单元间的数量相对关系去除出现次数最高的AU，再对所有数据进行统一归一化处理，保证其处于同一量纲内。
S3、对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量。
针对不同面部特征所具有的含义与格式特性，本文使用不同于面部运动单元的方法对面部特征点进行处理，具体原因如下所示：
首先，相较于面部运动单元数据，面部特征点各维度的关系不鲜明，尽管其与抑郁状态之间已有研究证明的相关性，但其更复杂的隐藏含义目前尚无法确切说明，故无法直接由面部特征点坐标获得与面部运动单元相当的可理解性。
其次，面部特征点数据按时序提取数据量大且维度高，因此先使用PCA对其进行处理，可降低数据存储空间，去除各特征时间维度间的相关性，在保留绝大部分信息的情况下保证模型输入典型性的特征；然而，仅通过PCA并没有减少异常值的影响，因此继续将面部特征点数据沿多通道维度进行卷积运算推断不同尺度的注意力权重，从而提升特征的质量。
S3.1、面部特征点数据PCA降维：
第一步，多元时序数据建模：
面部特征点数据Xm(t)包含时序信息t∈{1,2,3,...,T},m∈{1,2,3,...,M}表示(x0,x1,...,x67,y0,y1,...,y67)面部特征点坐标值，将经过T次采样的M维数据转化为T×M特征矩阵XL T×M；
第二步，特征矩阵中心化：
通过类似平移的操作移动标准化矩阵内向量的空间位置至同一中心点，增加基向量的正交性，减小各特征矩阵的计算量。按中心化公式对XL T×M进行中心化，得到中心化矩阵XL′ T×M
中心化公式为：
m表示维度；xi表示矩阵中第i行的数据；
中心化矩阵
为：
第三步，计算协方差矩阵：将中心化的X′T×M通过计算得到各维度的方差与两两维度之间的协方差，通过协方差矩阵衡量维度与维度间的相关性；
其中协方差矩阵C的计算公式为：
cij为中心化矩阵
中x′i与x′j的相关系数，当cij＝cji时：
第四步，协方差矩阵特征值分解：计算协方差矩阵的特征值λi(i＝1,2,...,e)及其对应的正交化特征向量Pi(i＝1,2,...,e)，将特征值按λ1＞λ2＞...＞λe＞0顺序排列，
第五步，初步确定主成分维度：根据主成分贡献率公式3.7，分别对协方差矩阵各个特征值计算其贡献率，将所有特征值贡献率进行相加，求累计贡献率G(k)，保留G(k)为98％的前k主成分；
第六步，输出目标特征矩阵：提取累计贡献率所对应的前k特征向量(P1,P2,...,PK)，进行矩阵变换，将选择的特征向量(P1,P2,...,PK)与头部特征矩阵XL T×M点乘，即输出目标矩阵LK×M，
LK×M＝XL T×M·(P1,P2,...,PK)
第七步，使用决策树模型确定面部特征点矩阵的主成分维度值，循环遍历G(k)为98％时包含的维度数值，随机产生包含不同数量主成分的特征向量集，输入训练决策树模型进行抑郁状态监测二分类实验，将决策树模型的分类结果作为向量特征子集性能评价的标准，选择使决策树模型获得最优分类指标的主成分维度K，并以此选择面部特征点对应特征值的前K个主成分。
S3.2、面部特征点的通道注意力机制
以往的研究表明，不同尺度下面部特征点所提取的特征对抑郁状态检测具有不同的意义，本文将经过主成分分析后所得的面部特征点数据利用特征映射(featuremapping)投射至不同通道上，充分提取各尺度下面部特征点特征图信息。
L＝Convfm(YL)
其中，L∈RC×H×W代表通过主成分分析处理的面部特征点数据YL被Convfm映射到C通道上大小H×W为特征图。
然而，由于神经网络的随机性，不同通道的特征图有着不同的重要程度，一些通道特征图包含与抑郁状态更相关的信息，对提升抑郁状态检测效果更有价值，需要被集中关注；但不同通道的特征也存在无法提供有价值的信息或互斥的可能，这些特征图对分类性能有着不良影响，易使模型震荡提升误判率，因此必须这类特征图采取抑制策略。为了能够在抑郁状态检测过程中对各通道特征图采取不同策略，通过如图2所示的自适应的通道注意力机制调整不同通道的权重分配，提取并选择有利于区分是否具有抑郁状态的面部特征点特征，从而提升抑郁检测性能，计算公式为：
CAtt(L)＝σ(Convc3(Convc2(Convc1(L))+Convc1(L)))
其中，CAtt(L)为通过通道注意力机制后各通道所的权重分布，
表示同位元素积运算，L′为具有不同权重的面部特征点数据，σ表示sigmoid激活函数，Convcn代表通道卷积神经网络层，n为卷积层层数。
注意力在人类感知中起着重要作用，人类视觉系统为了更好地捕捉视觉信息不会试图关注全局场景，而是利用一系列局部注意力有选择地聚焦于突出部分。特征图L经过convc2获得权重分布后，继续输入convc2进行通道权重调整，并将convc1(L)通过残差结构与Convc2(convc1(L))结合，输入Convc3，确保能够学习的有效的全局特征；为支持多通道权重分配，使用sigmoid激活函数防止特征图间的竞争，将所有通道的梯度取值范围运算为(0,1)，将原始输入数据与权重相乘，获得具有不同重要程度的面部特征点数据L′；最后，通过特征回溯(mappingback)模块将L′整合至输入数据的特征尺寸，并将经过通道注意力机制的面部特征点重新展平输入全连接层。
S4、将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量。
不同维度的面部特征融合可以提高分类性能，因为与仅使用单一维度的特征相比，两类不同的面部特征从多角度提供了更多与抑郁状态相关的信息。特征融合方式可分为早期融合(Early fusion)和晚期融合(Later fusion)。许多工作中都将简单易用的早期融合作为特征融合策略，在进行分类运算前将不同特征向量整合为一个特征向量。然而，基于不同维度结构化数据的信息特点，简单使用拼接的方式进行特征融合容易导致局部特征分布不均，产生高维冗余的特征向量，且破坏不同特征之间的独立性和互补性。因此，必须重点关注对抑郁状态检测更相关的信息区域，面对两类面部特征的异构模式，需要研究如何同时聚焦面部运动单元和面部特征点两个维度中的关键信息。本文为确保深度学习模型的泛化性和临床实用性，提出基于空间注意力的特征融合方式，整体结构如图3所示，具体的：
S4.1、将面部运动单元特征向量与面部特征点特征向量进行拼接操作，获得融合向量XFace；
XFace＝(XFAUs,XFLMs)
其中，XFace表示融合后的面部特征向量，XFAUs与XFLMs分别表示通过特征提取处理后的面部运动单元特征向量与面部特征点特征向量；
S4.2、为获得更好的分类效果，采用空间注意力模块来分配注意力权重，沿着通道轴应用卷积操作，生成有效的特征描述符：
SAtt(XFace)＝σ(Convs3(Convs2(Convs1(XFace))+Convs1(XFace)))
其中，SAtt(XFace)为通过空间注意力机制后的空间权重分布(空间注意图)，X′Face为具有不同权重的面部融合特征，
表示同位元素积运算，σ表示sigmoid激活函数，Convsn代表卷积空间神经网络层，n为卷积层层数。
我们利用特征间的空间关系生成空间注意图，与通道注意力不同的是，空间注意关注的是部分位置特征信息，是对通道注意力的补充。通过卷积运算将计算通道进行压缩，我们应用卷积层Convsn生成空间注意图SAtt(XFace)∈RH×W编码，动态估计特征层不同区域的重要性，促进了模型将重点放在具有足够信息的区域上。
采用空间注意力模块是在特征融合之后嵌入的特征-重要性映射过滤器，它计算重要性分数以保留特征的重要信息，该空间注意力网络使用较少的参数量和计算量使得该网络适用于移动终端等的场景。
S5、将面部融合特征向量输入特征展平层，得到抑郁状态检测结果
具体的，将学习到两个模态间的内在关系的面部融合特征输入特征展平层，利用ReLU激活函数进行非线性激活，通过softmax层将全连接层多个神经元的输出映射到总和为1的(0,1)区间，因此，一般用它作为分类器来估计属于不同类别的概率分布，softmax为：
其中，zi为从最后全连接层输入softmax激活函数的第i类分值，Si(z)为第i类观测值z的估计概率分布，C为分类类别数。
使用交叉熵损失函数(Cross EntropyLoss Function)对softmax估计的输出概率分布和目标类概率分布的误差进行评估，二分类交叉熵损失函数表示为：
Loss＝E(P(z),S(z))＝-Pi(z)log(Si(z))-(1-Pi(z))log(1-Si(z))
其中，Si(z)是模型预测样本是正例的概率，P(z)是样本标签，如果样本属于正例，取值为1，否则取值为0。
实施例2
一种基于面部特征点与面部运动单元的抑郁检测系统，包括：
多模态数据提取模块，用于基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；
面部运动单元特征提取模块，用于对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；
面部特征点特征提取模块，用于对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；
特征向量进行融合模块，用于将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；
抑郁状态检测模块，用于将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。
可理解的是，本发明实施例提供的基于面部特征点与面部运动单元的抑郁检测系统与上述基于面部特征点与面部运动单元的抑郁检测方法相对应，其有关内容的解释、举例、有益效果等部分可以参考基于面部特征点与面部运动单元的抑郁检测方法中的相应内容，此处不再赘述。
综上所述，与现有技术相比，本发明具备以下有益效果：
基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。实现了基于诊疗过程中采集到的监测数据进行抑郁状态检测。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于面部特征点与面部运动单元的抑郁检测方法，其特征在于，该方法包括：
基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；
对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；
对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；
将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；
将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。
2.如权利要求1所述的一种基于面部特征点与面部运动单元的抑郁检测方法，其特征在于，所述基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据，包括：
通过点分布模型追踪视频中人脸，通过选择缩放进行人脸对齐操作；再利用可变型部件模型提取面部外观特征与几何特征；最后，使用支持向量机与支持向量回归检测各面部运动单元的出现的概率，且当概率大于阈值时，表示出现该运动单元。
3.如权利要求1所述的一种基于面部特征点与面部运动单元的抑郁检测方法，其特征在于，所述对面部运动单元数据进行标准化处理，得到面部运动单元特征向量，包括：
以时间序列索引最短的样本视频长度为标准，按比例将其余样本视频缩放至同一尺度；
通过softmax函数将同一样本内各运动单元统计数值压缩至(0,1)区间内，得到各面部运动单元之间的数量相对关系；
依据面部运动单元间的数量相对关系去除出现次数最高的面部运动单元，再对所有数据进行统一归一化处理，得到面部运动单元特征向量。
4.如权利要求1所述的一种基于面部特征点与面部运动单元的抑郁检测方法，其特征在于，所述对面部特征点数据降维，包括：
将经过T次采样的M维数据转化为T×M面部特征点矩阵
按中心化公式对
进行中心化，得到中心化矩阵
基于中心化矩阵
计算得到各维度的方差与两两维度之间的协方差，得到协方差矩阵C；
计算协方差矩阵C的特征值λi,i＝1,2,...,e及其对应的正交化特征向量Pi,i＝1,2,...,e，将特征值按λ1＞λ2＞...＞λe＞0顺序排列；
分别对协方差矩阵各个特征值计算其贡献率，将所有特征值贡献率进行相加，求累计贡献率G(k)，保留G(k)为98％的前主成分，且提取累计贡献率所对应的前k特征向量进行矩阵变换，将选择的特征向量与头部特征矩阵XL T×M点乘，得到目标特征矩阵LK×M；
使用决策树模型确定面部特征点矩阵的主成分维度值，循环遍历G(k)为98％时包含的维度数值，随机产生包含不同数量主成分的特征向量集，输入训练决策树模型进行抑郁状态监测二分类实验，将决策树模型的分类结果作为向量特征子集性能评价的标准，选择使决策树模型获得最优分类指标的主成分维度K，并以此选择面部特征点对应特征值的前K个主成分；
且利用通道注意力机制对降维后的面部特征点数据进行处理，包括：
将经过主成分分析后所得的面部特征点数据利用特征映射投射至不同通道上，提取各尺度下面部特征点特征图信息。
L＝Convfm(YL)
其中，L∈RC×H×W代表通过主成分分析处理的面部特征点数据YL被Convfm映射到C通道上大小H×W为特征图；
通过自适应的通道注意力机制调整不同通道的权重分配，提取并选择有利于区分是否具有抑郁状态的面部特征点特征：
CAtt(L)＝σ(Convc3(Convc2(Convc1(L))+Convc1(L)))
其中，CAtt(L)为通过通道注意力机制后各通道所的权重分布，
表示同位元素积运算，L′为具有不同权重的面部特征点数据，σ表示sigmoid激活函数，Convcn代表通道卷积神经网络层，n为卷积层层数。
5.如权利要求1所述的一种基于面部特征点与面部运动单元的抑郁检测方法，其特征在于，所述将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量，包括：
将面部运动单元特征向量与面部特征点特征向量进行拼接操作，获得融合向量XFace；
采用空间注意力模块来分配注意力权重，沿着通道轴应用卷积操作，生成有效的特征描述符：
SAtt(XFace)＝σ(Convs3(Convs2(Convs1(XFace))+Convs1(XFace)))
其中，SAtt(XFace)为通过空间注意力机制后的空间权重分布(空间注意图)，X′Face为具有不同权重的面部融合特征，
表示同位元素积运算，σ表示sigmoid激活函数，Convsn代表卷积空间神经网络层，n为卷积层层数。
6.一种基于面部特征点与面部运动单元的抑郁检测系统，其特征在于，包括：
多模态数据提取模块，用于基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；
面部运动单元特征提取模块，用于对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；
面部特征点特征提取模块，用于对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；
特征向量进行融合模块，用于将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；
抑郁状态检测模块，用于将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。
7.如权利要求6所述的一种基于面部特征点与面部运动单元的抑郁检测系统，其特征在于，所述基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据，包括：
通过点分布模型追踪视频中人脸，通过选择缩放进行人脸对齐操作；再利用可变型部件模型提取面部外观特征与几何特征；最后，使用支持向量机与支持向量回归检测各面部运动单元的出现的概率，且当概率大于阈值时，表示出现该运动单元。
8.如权利要求6所述的一种基于面部特征点与面部运动单元的抑郁检测系统，其特征在于，所述对面部运动单元数据进行标准化处理，得到面部运动单元特征向量，包括：
以时间序列索引最短的样本视频长度为标准，按比例将其余样本视频缩放至同一尺度；
通过softmax函数将同一样本内各运动单元统计数值压缩至(0,1)区间内，得到各面部运动单元之间的数量相对关系；
依据面部运动单元间的数量相对关系去除出现次数最高的面部运动单元，再对所有数据进行统一归一化处理，得到面部运动单元特征向量。
9.如权利要求6所述的一种基于面部特征点与面部运动单元的抑郁检测系统，其特征在于，所述对面部特征点数据降维，包括：
将经过T次采样的M维数据转化为T×M面部特征点矩阵
按中心化公式对
进行中心化，得到中心化矩阵
基于中心化矩阵
计算得到各维度的方差与两两维度之间的协方差，得到协方差矩阵C；
计算协方差矩阵C的特征值λi,i＝1,2,...,e及其对应的正交化特征向量Pi,i＝1,2,...,e，将特征值按λ1＞λ2＞...＞λe＞0顺序排列；
分别对协方差矩阵各个特征值计算其贡献率，将所有特征值贡献率进行相加，求累计贡献率G(k)，保留G(k)为98％的前主成分，且提取累计贡献率所对应的前k特征向量进行矩阵变换，将选择的特征向量与头部特征矩阵XL T×M点乘，得到目标特征矩阵LK×M；
使用决策树模型确定面部特征点矩阵的主成分维度值，循环遍历G(k)为98％时包含的维度数值，随机产生包含不同数量主成分的特征向量集，输入训练决策树模型进行抑郁状态监测二分类实验，将决策树模型的分类结果作为向量特征子集性能评价的标准，选择使决策树模型获得最优分类指标的主成分维度K，并以此选择面部特征点对应特征值的前K个主成分；
且利用通道注意力机制对降维后的面部特征点数据进行处理，包括：
将经过主成分分析后所得的面部特征点数据利用特征映射投射至不同通道上，提取各尺度下面部特征点特征图信息。
L＝Convfm(YL)
其中，L∈RC×H×W代表通过主成分分析处理的面部特征点数据YL被Convfm映射到C通道上大小H×W为特征图；
通过自适应的通道注意力机制调整不同通道的权重分配，提取并选择有利于区分是否具有抑郁状态的面部特征点特征：
CAtt(L)＝σ(Convc3(Convc2(Convc1(L))+Convc1(L)))
其中，CAtt(L)为通过通道注意力机制后各通道所的权重分布，
表示同位元素积运算，L′为具有不同权重的面部特征点数据，σ表示sigmoid激活函数，Convcn代表通道卷积神经网络层，n为卷积层层数。
10.如权利要求6所述的一种基于面部特征点与面部运动单元的抑郁检测系统，其特征在于，所述将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量，包括：
将面部运动单元特征向量与面部特征点特征向量进行拼接操作，获得融合向量XFace；
采用空间注意力模块来分配注意力权重，沿着通道轴应用卷积操作，生成有效的特征描述符：
SAtt(XFace)＝σ(Convs3(Convs2(Convs1(XFace))+Convs1(XFace)))
其中，SAtt(XFace)为通过空间注意力机制后的空间权重分布(空间注意图)，X′Face为具有不同权重的面部融合特征，
表示同位元素积运算，σ表示sigmoid激活函数，Convsn代表卷积空间神经网络层，n为卷积层层数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110764279.0A CN113705328A (zh) | 2021-07-06 | 2021-07-06 | 基于面部特征点与面部运动单元的抑郁检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110764279.0A CN113705328A (zh) | 2021-07-06 | 2021-07-06 | 基于面部特征点与面部运动单元的抑郁检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113705328A true CN113705328A (zh) | 2021-11-26 |
Family
ID=78648662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110764279.0A Pending CN113705328A (zh) | 2021-07-06 | 2021-07-06 | 基于面部特征点与面部运动单元的抑郁检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705328A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116992867A (zh) * | 2023-06-14 | 2023-11-03 | 合肥工业大学 | 一种基于软提示主题建模的抑郁情绪检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109171769A (zh) * | 2018-07-12 | 2019-01-11 | 西北师范大学 | 一种应用于抑郁症检测的语音、面部特征提取方法及系统 |
| CN112307947A (zh) * | 2020-10-29 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 用于生成信息的方法和装置 |
| CN112784798A (zh) * | 2021-02-01 | 2021-05-11 | 东南大学 | 一种基于特征-时间注意力机制的多模态情感识别方法 |
| CN112784763A (zh) * | 2021-01-27 | 2021-05-11 | 南京邮电大学 | 基于局部与整体特征自适应融合的表情识别方法及系统 |
| CN112800894A (zh) * | 2021-01-18 | 2021-05-14 | 南京邮电大学 | 一种基于时空流间注意力机制的动态表情识别方法及系统 |
-
2021
- 2021-07-06 CN CN202110764279.0A patent/CN113705328A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109171769A (zh) * | 2018-07-12 | 2019-01-11 | 西北师范大学 | 一种应用于抑郁症检测的语音、面部特征提取方法及系统 |
| CN112307947A (zh) * | 2020-10-29 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 用于生成信息的方法和装置 |
| CN112800894A (zh) * | 2021-01-18 | 2021-05-14 | 南京邮电大学 | 一种基于时空流间注意力机制的动态表情识别方法及系统 |
| CN112784763A (zh) * | 2021-01-27 | 2021-05-11 | 南京邮电大学 | 基于局部与整体特征自适应融合的表情识别方法及系统 |
| CN112784798A (zh) * | 2021-02-01 | 2021-05-11 | 东南大学 | 一种基于特征-时间注意力机制的多模态情感识别方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116992867A (zh) * | 2023-06-14 | 2023-11-03 | 合肥工业大学 | 一种基于软提示主题建模的抑郁情绪检测方法及系统 |
| CN116992867B (zh) * | 2023-06-14 | 2024-01-23 | 合肥工业大学 | 一种基于软提示主题建模的抑郁情绪检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bargshady et al. | Enhanced deep learning algorithm development to detect pain intensity from facial expression images | |
| Ullah et al. | Action recognition using optimized deep autoencoder and CNN for surveillance data streams of non-stationary environments | |
| Tirupattur et al. | Thoughtviz: Visualizing human thoughts using generative adversarial network | |
| CN111652066B (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
| Zhang et al. | Multi-person brain activity recognition via comprehensive EEG signal analysis | |
| Kwaśniewska et al. | Deep features class activation map for thermal face detection and tracking | |
| JP6517681B2 (ja) | 映像パターン学習装置、方法、及びプログラム | |
| Xu et al. | A hierarchical spatio-temporal model for human activity recognition | |
| Hsueh et al. | Human behavior recognition from multiview videos | |
| Arumugam | Emotion classification using facial expression | |
| CN104346503A (zh) | 一种基于人脸图像的情感健康监控方法及手机 | |
| Kini et al. | Large margin mixture of AR models for time series classification | |
| Bilal et al. | A transfer learning-based efficient spatiotemporal human action recognition framework for long and overlapping action classes | |
| Zaki et al. | Using automated walking gait analysis for the identification of pedestrian attributes | |
| US20210326706A1 (en) | Generating metadata for trained model | |
| Dharanya et al. | Facial Expression Recognition through person-wise regeneration of expressions using Auxiliary Classifier Generative Adversarial Network (AC-GAN) based model | |
| He et al. | DepNet: An automated industrial intelligent system using deep learning for video‐based depression analysis | |
| He et al. | What catches the eye? Visualizing and understanding deep saliency models | |
| Goutsu et al. | Classification of multi-class daily human motion using discriminative body parts and sentence descriptions | |
| Shukla et al. | An Efficient Approach of Face Detection and Prediction of Drowsiness Using SVM | |
| CN113705328A (zh) | 基于面部特征点与面部运动单元的抑郁检测方法和系统 | |
| Abdallah et al. | Facial-expression recognition based on a low-dimensional temporal feature space | |
| Kwaśniewska et al. | Real-time facial features detection from low resolution thermal images with deep classification models | |
| Xie et al. | A pyramidal deep learning architecture for human action recognition | |
| Sathyavathi et al. | An intelligent human age prediction from face image framework based on deep learning algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |