CN112380924B - 一种基于面部微表情动态识别的抑郁倾向检测方法 - Google Patents

一种基于面部微表情动态识别的抑郁倾向检测方法 Download PDF

Info

Publication number
CN112380924B
CN112380924B CN202011153913.9A CN202011153913A CN112380924B CN 112380924 B CN112380924 B CN 112380924B CN 202011153913 A CN202011153913 A CN 202011153913A CN 112380924 B CN112380924 B CN 112380924B
Authority
CN
China
Prior art keywords
micro
expression
facial
dynamic image
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011153913.9A
Other languages
English (en)
Other versions
CN112380924A (zh
Inventor
周智恒
许施婷
李波
宋雨庭
胥静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011153913.9A priority Critical patent/CN112380924B/zh
Publication of CN112380924A publication Critical patent/CN112380924A/zh
Application granted granted Critical
Publication of CN112380924B publication Critical patent/CN112380924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Abstract

本发明公开了一种基于面部微表情动态识别的抑郁倾向检测方法，包括：S1，采集人脸的面部微表情视频，并提取每个面部微表情视频的动态图像；S2，将动态图像输入到已经训练好的微表情识别模型中，微表情识别模型输出动态图像所属的类别；S3，根据动态图像所属的类别判断是否含有消极情绪；若有，则所属表情类别为消极的，记为有抑郁倾向。本发明能够是能够识别出高压环境工作者的消极情绪，从而能够更准确的判断是否有抑郁倾向。

Description

一种基于面部微表情动态识别的抑郁倾向检测方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于面部微表情动态识别的抑郁倾向检测方法。
背景技术
在日常的社交生活中，面部表情能够提供人的情感信息，普通的面部表情维持4～5秒，是很容易被肉眼所捕捉。面部微表情是一种自发的、难以捕获的能够表达人的真实情感和心理状态的面部表情，持续时间在1/3～1/25秒，与正常的面部表情相比，面部微表情的肌肉运动幅度较小，持续时间更短，发生区域有限。而识别面部微表情任务能够用在一些特殊场景，例如科研人员的情绪监测、参与重大抗疫的医务人员情绪监测。现在人们对于这些在高压工作环境下的工作者的心理状态都有所忽视。但是，目前科研人员的心理疾病也处于一种多发的状态，主要表现有焦虑症、抑郁症等心理疾病。
大部分现有的抑郁情绪的识别主要在集中在压抑这一类的情绪的识别，这样识别出来的结果不够准确。因为但是除了压抑，比如生气、轻视、厌恶、恐惧、悲伤这类消极情绪也能导致抑郁情绪。如果工作人员长时间且多次检测出消极情绪，那可以认为该工作者的抑郁倾向更高，可以及时的进行心理疏导，对于保障工作者健康有着重大意义。此外光靠人来进行面部微表情识别的并不能保证准确率，远远达不到应用的要求，近几年来计算机视觉技术发展迅猛，利用计算机技术实现面部微表情识别也是大势所趋。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于面部微表情动态识别的抑郁倾向检测方法，采用了一种动态识别的方式识别面部微表情从而更准确判断抑郁倾向。因为面部微表情是一种自发的、难以控制的表达真实情绪的表情，所以本方法选择面部微表情作为特征来识别，以此得到真实情绪。针对抑郁倾向，本方法考虑了多种消极情绪，不只局限于压抑情绪，方法上构建了面部微表情识别模型对面部微表情进行识别，针对面部微表情的难识别性，获取面部微表情视频的动态图形，代替原视频帧作为模型的输入，改进了卷积过程，提出吸聚、局部响应归一化过程，获得良好的面部微表情识别效果。
本发明的目的通过以下的技术方案实现：
一种基于面部微表情动态识别的抑郁倾向检测方法，包括：
S1，采集人脸的面部微表情视频，并提取每个面部微表情视频的动态图像；
S2，将动态图像输入到已经训练好的微表情识别模型中，微表情识别模型输出动态图像所属的类别；
S3，根据动态图像所属的类别判断是否含有消极情绪；若有，则所属表情类别为消极的，记为有抑郁倾向。
优选地，微表情识别模型的训练包括：采集训练的面部微表情视频样本，获取对应的情绪类别；根据面部微表情视频样本获取每个面部微表情视频的动态图像；构建微表情识别模型，将动态图像输入微表情识别模型进行训练。
优选地，将动态图像输入微表情识别模型进行训练之后还包括：表情识别模型输出情绪类别，将输出的情绪类别和获取的对应的情绪类别进行对比，判定表情识别模型的准确性。
优选地，在步骤S1中面部微表情包括：压抑、生气、轻视、厌恶、恐惧、悲伤、高兴、惊讶和其他，其中压抑、生气、轻视、厌恶、恐惧、悲伤为消极情绪。
优选地，提取每个面部微表情视频的动态图像包括：将面部微表情视频输入到动态图像模型，获取动态图像。
优选地，将面部微表情视频输入到动态图像模型，获取动态图像包括：面部微表情视频的视频帧为v，面部微表情视频序列为V＝[v1,v2,…,vn]；对面部微表情视频序列进行平滑处理，获取时变平均矢量；通过计算时变平均矢量和视频帧的内积得到与时间有关的帧得分；通过排序函数将视频帧转换为单一的包含所有帧信息的向量帧u，向量帧u即为动态图像。
优选地，构建微表情识别模型，将动态图像输入微表情识别模型进行训练包括：
S41，将通过动态图像模型获取的微表情动态图像依次输入到微表情识别模型：
S42，卷积操作提取特征，即通过卷积运算从输入的微表情动态图像中提取特征，再将特征反馈给下一层，采用线性整流单元作为激活函数；
S43，积聚操作结合前几层的相关相应特性，增强模型的学习能力；
S44，将每一个横向的通路输出进行串联，保留微表情动态图像的所有相应特征，再将特征传递到下一层；
S45，局部响应归一化，减去批均值除以标准差对前一接触层的结果进行归一化；
S46，将全连接层与前面的卷积操作的激活全连接；
S47，采用最后全连接层的输出，根据输出计算误差，通过目标函数来进行反向传播，通过链式法则依次对函数求导，更新权值和偏置；
S48，循环执行步骤S41至S47进行迭代训练，直到训练结果最优。
优选地，在步骤S42中卷积操作选择更适合微表情任务的小尺寸的卷积核，选择较大的步长的卷积代替池化操作，增加特征之间的依赖性。
优选地，在步骤S46中全连接层每次迭代通过去掉一半的特征检测器，缓解过拟合的问题。
本发明相对于现有技术具有如下优点：
与现有的技术相比，本发明一种基于面部微表情动态识别的抑郁倾向检测方法能够是能够识别出高压环境工作者的消极情绪，从而判断是否有抑郁倾向。方法上提出了微表情识别模型，在卷积操作上做出改进，选择小尺寸的卷积核，更加适合微表情识别任务，选择更大步长的卷积代替池化操作，增加特征之间的依赖性，从而获得更精准的识别分类。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的基于面部微表情动态识别的抑郁倾向检测方法的流程示意图。
图2为本发明提取面部微表情动态图像的流程图。
图3为本发明的微表情识别模型的原理图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示，一种基于面部微表情动态识别的抑郁倾向检测方法的包括以下步骤：
(1)采集训练的面部表情视频样本，获取对应的情绪类别：面部表情包括压抑、生气、轻视、厌恶、恐惧、悲伤、高兴、惊讶和其他，其中压抑、生气、轻视、厌恶、恐惧、悲伤为消极情绪，在此方法中定义为有抑郁倾向的情绪。通过CASME、SAMM、SMIC三个自发的面部微表情数据集获取训练的面部微表情视频，上述数据集的每一个样本都有对应的情绪类别标签，将以上几种消极情绪的面部微表情视频筛选出来，并注明情绪类别标签。
(2)提取面部微表情视频的动态图像，将面部微表情视频输入到动态图像模型，动态图像模型保存面部微表情视频序列的时空信息，利用动态图像技术将视频序列转化为一帧实例，获取动态图像：参见图2，具体的为：
21.原始的视频帧为v，一个面部微表情视频序列为V＝[v1,v2,…,vn]；
22.对面部微表情视频序列进行平滑处理，获取时变平均矢量,计算公式为：
23.计算时变平均矢量mt与视频帧的内积得到与时间有关的帧得分，计算公式为：μ(t,v)＝mt·v；
24.定义一个排序函数将视频帧转换为一个单一的包含所有帧信息的向量帧u，得到向量帧u即动态图像，D为视频帧的二次正则项和帧得分的折页损失软计函数的和，通过/> 来计算，f(d)为计算d的二次正则项；
1)构建一个微表情识别模型，用获得的上述动态图像进行训练：参见图3，具体过程如下：
31.将获取的面部微表情动态图像按照顺序输入到微表情识别模型；
32.卷积操作提取特征，其权值和会根据激活图进行更新，采用线性整流单元f(x)＝max(0，x)作为激活函数。由于面部微表情的变化幅度较普通表情更小，所以选择小尺寸的卷积核1×1、3×3、5×5，更加适合微表情识别任务，并且选择较大步长为2的卷积减小输入大小能够代替池化操作，增加特征之间的依赖性，从而获得更精准的识别分类；
33.经过卷积操作后的面部微表情动态图像再经过吸聚层结合前几层的相关响应特性，增强模型的学习能力，计算公式为Fa(x)＝F1+F2，其中F1、F2是积聚操作输入的两个特征图；
34.局部响应归一化，解决获取的训练集和实时获取的测试集的分散特征分布问题，Lk←pxk+q≡Gp,q(xk)，xk属于迷你批大小B＝{x1,x2,…,xn}，p,q是可学习的参数；
35.全连接层与前面的卷积操作的激活全连接，每次迭代通过去掉一半的特征检测器，缓解过拟合的问题。
36.采用最后全连接层的输出，输出可以表示为：xn＝f(yn),yn＝Wnxn-1+bn，设定目标函数为：其中/>表示第n个训练样本的类别标签，yn表示第n个训练样本的输出，根据输出计算误差Ln，通过目标函数来进行反向传播，通过链式法则依次对函数求导，更新权值和偏置；
38.循环执行步骤31-36进行迭代训练，直至训练的模型识别结果最优
2)实时采集人脸的面部微表情视频，对面部微表情视频进行第2)步的处理，将提取的动态图像输入到已经训练好的微表情识别模型中，正向传播求出模型输出，得到面部微表情动态图像所属的类别；
3)判断是否含有消极情绪，如果所属表情类别为消极的，记为有抑郁倾向，若不是则不记录。
上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于面部微表情动态识别的抑郁倾向检测方法，其特征在于，包括：
S1，采集人脸的面部微表情视频，并提取每个面部微表情视频的动态图像；所述每个面部微表情视频的动态图像包括：将面部微表情视频输入到动态图像模型，获取动态图像，具体为：
面部微表情视频的视频帧为v，面部微表情视频序列为V＝[v1,v2,…,vn]；对面部微表情视频序列进行平滑处理，获取时变平均矢量；通过计算时变平均矢量和视频帧的内积得到与时间有关的帧得分；通过排序函数将视频帧转换为单一的包含所有帧信息的向量帧u，向量帧u即为动态图像；
S2，将动态图像输入到已经训练好的微表情识别模型中，微表情识别模型输出动态图像所属的类别；
所述微表情识别模型的训练包括：
采集训练的面部微表情视频样本，获取对应的情绪类别；根据面部微表情视频样本获取每个面部微表情视频的动态图像；构建微表情识别模型，将动态图像输入微表情识别模型进行训练，包括以下步骤：
S41，将通过动态图像模型获取的微表情动态图像依次输入到微表情识别模型：
S42，卷积操作提取特征，即通过卷积运算从输入的微表情动态图像中提取特征，再将特征反馈给下一层，采用线性整流单元作为激活函数；
S43，积聚操作结合前几层的相关相应特性，增强模型的学习能力；
S44，将每一个横向的通路输出进行串联，保留微表情动态图像的所有相应特征，再将特征传递到下一层；
S45，局部响应归一化，减去批均值除以标准差对前一接触层的结果进行归一化；
S46，将全连接层与前面的卷积操作的激活全连接；
S47，采用最后全连接层的输出，根据输出计算误差，通过目标函数来进行反向传播，通过链式法则依次对函数求导，更新权值和偏置；
S48，循环执行步骤S41至S47进行迭代训练，直到训练结果最优；
S3，根据动态图像所属的类别判断是否含有消极情绪；若有，则所属表情类别为消极的，记为有抑郁倾向。
2.根据权利要求1所述的基于面部微表情动态识别的抑郁倾向检测方法，其特征在于，将动态图像输入微表情识别模型进行训练之后还包括：表情识别模型输出情绪类别，将输出的情绪类别和获取的对应的情绪类别进行对比，判定表情识别模型的准确性。
3.根据权利要求1所述的基于面部微表情动态识别的抑郁倾向检测方法，其特征在于，在步骤S1中面部微表情包括：压抑、生气、轻视、厌恶、恐惧、悲伤、高兴、惊讶和其他，其中压抑、生气、轻视、厌恶、恐惧、悲伤为消极情绪。
4.根据权利要求1所述的基于面部微表情动态识别的抑郁倾向检测方法，其特征在于，在步骤S42中卷积操作选择更适合微表情任务的小尺寸的卷积核，选择较大的步长的卷积代替池化操作，增加特征之间的依赖性。
5.根据权利要求1所述的基于面部微表情动态识别的抑郁倾向检测方法，其特征在于，在步骤S46中全连接层每次迭代通过去掉一半的特征检测器，缓解过拟合的问题。
CN202011153913.9A 2020-10-26 2020-10-26 一种基于面部微表情动态识别的抑郁倾向检测方法 Active CN112380924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011153913.9A CN112380924B (zh) 2020-10-26 2020-10-26 一种基于面部微表情动态识别的抑郁倾向检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011153913.9A CN112380924B (zh) 2020-10-26 2020-10-26 一种基于面部微表情动态识别的抑郁倾向检测方法

Publications (2)

Publication Number Publication Date
CN112380924A CN112380924A (zh) 2021-02-19
CN112380924B true CN112380924B (zh) 2023-09-15

Family

ID=74577275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011153913.9A Active CN112380924B (zh) 2020-10-26 2020-10-26 一种基于面部微表情动态识别的抑郁倾向检测方法

Country Status (1)

Country Link
CN (1) CN112380924B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052113B (zh) * 2021-04-02 2022-11-04 中山大学 一种基于紧凑型卷积神经网络的抑郁症识别方法及系统
CN113517064A (zh) * 2021-04-14 2021-10-19 华南师范大学 一种抑郁症程度评估方法、系统、装置及存储介质
CN113255535A (zh) * 2021-05-28 2021-08-13 广州大学 一种基于微表情分析的抑郁症识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599800A (zh) * 2016-11-25 2017-04-26 哈尔滨工程大学 一种基于深度学习的人脸微表情识别方法
CN107194347A (zh) * 2017-05-19 2017-09-22 深圳市唯特视科技有限公司 一种基于面部动作编码系统进行微表情检测的方法
CN109426765A (zh) * 2017-08-23 2019-03-05 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN110472564A (zh) * 2019-08-14 2019-11-19 成都中科云集信息技术有限公司 一种基于特征金字塔网络的双向lstm微表情识别抑郁症方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599800A (zh) * 2016-11-25 2017-04-26 哈尔滨工程大学 一种基于深度学习的人脸微表情识别方法
CN107194347A (zh) * 2017-05-19 2017-09-22 深圳市唯特视科技有限公司 一种基于面部动作编码系统进行微表情检测的方法
CN109426765A (zh) * 2017-08-23 2019-03-05 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN110472564A (zh) * 2019-08-14 2019-11-19 成都中科云集信息技术有限公司 一种基于特征金字塔网络的双向lstm微表情识别抑郁症方法

Also Published As

Publication number Publication date
CN112380924A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112380924B (zh) 一种基于面部微表情动态识别的抑郁倾向检测方法
CN106682616B (zh) 基于双通道特征深度学习的新生儿疼痛表情识别方法
Bishay et al. Schinet: Automatic estimation of symptoms of schizophrenia from facial behaviour analysis
Yu et al. On the integration of grounding language and learning objects
JP7303531B2 (ja) 人工知能に基づく困難な気道の評価方法及び装置
CN110717423B (zh) 一种老人面部表情的情感识别模型的训练方法及装置
CN113343860A (zh) 一种基于视频图像和语音的双模态融合情感识别方法
Xu et al. Pain Evaluation in Video using Extended Multitask Learning from Multidimensional Measurements.
CN112101096A (zh) 一种基于语音和微表情的多模态融合的自杀情绪感知方法
Arora et al. A robust approach for gender recognition using deep learning
CN111967354A (zh) 基于肢体和微表情的多模态特征的抑郁倾向识别方法
Hussein et al. Emotional stability detection using convolutional neural networks
CN111967361A (zh) 一种基于婴儿表情识别与哭声的情绪检测方法
CN112101097A (zh) 融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法
CN110147822B (zh) 一种基于人脸动作单元检测的情绪指数计算方法
KR20110054886A (ko) 조명변화에 견고한 얼굴 표정 인식방법
Du et al. A novel emotion-aware method based on the fusion of textual description of speech, body movements, and facial expressions
CN113255543A (zh) 基于图卷积网络的面部表情识别方法
Jia et al. An action unit co-occurrence constraint 3DCNN based action unit recognition approach
Rabiei et al. System and method for recognizing human emotion state based on analysis of speech and facial feature extraction; applications to human-robot interaction
Karg et al. A Two-fold PCA-Approach for Inter-Individual Recognition of Emotions in Natural Walking.
Kumar et al. VGG 16 Based Human Emotion Classification Using Thermal Images Through Transfer Learning
Sudhan et al. Multimodal Depression Severity Detection Using Deep Neural Networks and Depression Assessment Scale
CN110879966A (zh) 一种基于人脸识别与图像处理的学生听课理解度评估方法
Gómez-Gómez et al. Exploring Facial Expressions and Action Unit Domains for Parkinson Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant