CN112232191A - 基于微表情分析的抑郁症识别系统 - Google Patents

Abstract

本发明公开了一种基于微表情分析的抑郁症识别系统。属于计算机视觉领域；具体步骤：1、训练深度多任务识别网络；2、对人脸的重要的局部区域进行划分，剔除与微表情无关的区域；3、训练自适应的双流神经网络，对微表情运动的开始帧、Apex帧、结束帧进行定位；4、根据在不同背景下对微表情的分析判断该人是否患有抑郁症。本发明以深度多任务神经网络为基础，对图像进行预处理，从而进行人脸重要局部区域划分，提高双流神经网络的识别速度，满足实时性的要求；并通基于注意力机制的BLSTM‑CNN神经网络提取重要的帧图片特征以及自适应融合双流神经网络提取到的双流特征提高微表情运动帧的定位，进而提高微表情识别的速度和准确性。

Description

基于微表情分析的抑郁症识别系统

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于微表情分析的抑郁症识别系统。

背景技术

目前，抑郁症是仅次于心血管疾病的人类第二大疾病，世界卫生组织官网显示，截至2017年，全球范围内抑郁症患者人数已超过3亿，每年有大约80万人因抑郁症而自杀，同时，抑郁症的发病已开始出现低龄(大学，乃至中小学生群体)化趋势。但我国对抑郁症的医疗防治还处在识别率低的局面，地级市以上的医院对其识别率不足20％，只有不到10％的患者接受了相关的药物治疗，因此，抑郁症的识别对于抑郁症的医疗防止工作是至关重要的。有研究表明抑郁症患者与正常人在不同背景下的微表情是有差异的，近年来，随着微表情识别技术和深度学习技术的发展，使抑郁症的防治工作有了新的方向。但由于微表情强度微弱，容易受环境扰动，持续时间短，发生部位区域狭小且不确定等因素影响，导致微表情识别的准确率大大降低进而影响抑郁症的识别，并且为用户提供的智能识别设备对微表情识别系统的实时性的要求苛刻，而微表情识别所采用的深度神经网络并不能满足条件。

综上所述，如何在现有技术上提出智能化、个性化、精确化、便利化的基于微。表情分析的抑郁症识别系统成为了目前业内人士所亟待解决的问题。

发明内容

针对上述问题，本发明提供了一种基于微表情分析的抑郁症识别系统，以解决现有技术中由于微表情强度微弱，持续时间短等因素导致帧间相对位移很小，难以对微表情运动进行定位的问题以及微表情识别的速度问题。

本发明的技术方案是：基于微表情分析的抑郁症识别系统，具体步骤包括如下：

步骤(1.1)、对视频信息预处理，通过训练深度多任务识别网络得到人脸状态；

步骤(1.2)、根据得到的输出人脸状态结果，对人脸的局部区域进行划分，剔除与微表情无关的区域；

步骤(1.3)、将划分的局部区域作为原始信息，对其进行提取光流，后将原始信息与提取的光流信息输入到自适应的双流神经网络中，进而对微表情运动的开始帧、峰值帧、结束帧进行定位；

步骤(1.4)、通过输出的定位结果对微表情进行分析，根据在不同背景下对微表情的分析判断该人是否患有抑郁症。

进一步的，在步骤(1.1)中，所述深度多任务识别网络用于对采集到的人脸图片信息进行预处理；其包括卷积层、池化层和全连接层；

其中，卷积层使用5×5和3×3的卷积核，在卷积计算之后使用ReLU作为激活函数，使用最大值池化来处理非交叠区域的特征，最后经全连接层输出人脸关键点的位置以及其他影响因素的检测结果。

进一步的，在步骤(1.2)中，对人脸的重要的局部区域进行划分具体是：将面部区域划分为7个局部区域块，其中每块区域都是一个或几个面部动作单元的组合；

其中，所述7个局部区域块包括眼睛、眉毛、鼻子、嘴巴、左右两个面颊及下巴。

进一步的，在步骤(1.3)中，所述的双流神经网络为时空级联的双流神经网络分别对输入的原图像与光流图像提取时间特征和空间特征采用三个基于注意力机制的BLSTM-CNN模型，其中两个模型对每个流提取重要的帧特征，另外一个模型确定双流特征的权重，最后得到开始帧、峰值帧、结束帧的定位信息。

进一步的，在所述步骤(1.4)中，通过输出的定位结果对微表情进行分析的具体步骤为：通过得到的结果提取特征并将其输入到支持向量机中；

所述支持向量机的结果包括愉快、悲伤、中性；根据抑郁症患者的面部微表情研究表明：抑郁倾向者将不同背景下的中性、悲伤和恐惧微表情误判为正性偏向多于负性偏向。

本发明的有益效果是：本发明以深度多任务神经网络为基础，对图像进行预处理，从而对原始图像与光流图像进行人脸重要局部区域划分，提高双流神经网络的识别速度，满足实时性的要求。并通基于注意力机制的BLSTM-CNN神经网络提取重要的帧图片特征以及自适应融合双流神经网络提取到的双流特征提高微表情运动帧的定位，进而提高微表情识别的速度和准确性。

附图说明

图1是本发明的结构流程图；

图2是本发明中深度多任务识别网络结构原理图；

图3是本发明中自适应双流神经网络结构原理图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

本系统主要包括三个内容：一是深度多任务识别网络和重要局部区域的划分；依据深度多任务识别网络的识别结果划分出与微表情紧密相关的局部区域，以提高识别速度；二是自适应双流神经网络；该神经网络通过分别提取时间特征和空间特征进，通过添加注意力机制的BLSTM自适应的确定两流特征的权重，进而实现精准快速定位微表情运动帧。

具体如图所述；基于微表情分析的抑郁症识别系统，具体步骤包括如下：

步骤(1.1)、对视频信息预处理，通过训练深度多任务识别网络得到人脸关键点、是否微笑、是否佩戴眼镜等人脸状态；

步骤(1.2)、根据得到的输出人脸状态结果，对人脸的局部区域进行划分，剔除与微表情无关的区域，避免无关区域对微表情识别的影响；

步骤(1.3)、将划分的局部区域作为原始信息，对其进行提取光流，后将原始信息与提取的光流信息输入到自适应的双流神经网络中，对双流神经网络进行训练，进而对微表情运动的开始帧、峰值帧(Apex帧)、结束帧进行定位；

步骤(1.4)、通过输出的定位结果对微表情进行分析，根据在不同背景下对微表情的分析判断该人是否患有抑郁症。

进一步的，在步骤(1.1)中，所述深度多任务识别网络用于对采集到的人脸图片信息进行预处理；通过多种相关因素的情况下更加准确的检测人脸关键点的位置，其输入为采集到的包含人脸的图片，输出为人脸关键点的位置和其他相关因素(如性别、配戴眼镜、姿态等)的检测结果；

具体的，所述深度多任务识别网络包括卷积层、池化层和全连接层；

其中，卷积层使用5×5和3×3的卷积核，在卷积计算之后使用ReLU作为激活函数，之后使用最大值池化来处理非交叠区域的特征，最后经过全连接层输出人脸关键点的位置以及其他影响因素的检测结果。

进一步的，对人脸的重要的局部区域进行划分具体是：将面部区域划分为7个局部区域块(眼睛、眉毛、鼻子、嘴巴、面颊(左右共2个)、下巴)，其中每块区域都是一个或几个面部动作单元的组合。

进一步的，在步骤(1.3)中，所述的双流神经网络为时空级联的双流神经网络分别对输入的原图像与光流图像提取时间特征和空间特征采用三个基于注意力机制的BLSTM-CNN模型，其中两个模型对每个流提取重要的帧特征，另外一个模型确定双流特征的权重，最后得到开始帧、Apex帧、结束帧的定位信息。

进一步的，在步骤(1.4)中，所述步骤(1.4)对(1.3)得到的结果提取特征并输入到支持向量机中；

其中，支持向量机的结果包括愉快、悲伤、中性；根据抑郁症患者的面部微表情研究表明：抑郁倾向者将不同背景下的中性、悲伤和恐惧微表情误判为正性偏向多于负性偏向，他们可能意识到了抑郁对自身的影响，因而会有意(无意)地将中性甚至负性情绪识别为正性；就识别不同微表情的速度而言，他们识别愉快微表情的速度最快，识别恐惧微表情的速度居中，识别中性和悲伤微表情的速度最慢。因此可根据在不同背景下的表现以及结果识别速度来判断是否患有抑郁症。

具体工作原理：

1、深度多任务识别网络以及局部区域的划分：

该网络用于检测人脸图像上关键点的位置，由于人脸上有许多因素影响(如性别、是否戴眼镜等)，因此发明使用一个深度多任务神经网络来将这些相关因素都考虑进人脸关键点检测的任务中以得到更加准确的关键点位置；其网络结构原理图如图1所示，此网络由卷积层、池化层和全连接层组成，其中卷积层使用的是5×5用Re LU作为激活函数；之后使用最大值池化来处理非交叠区域的特征；使用最大值池化不仅可以保留主要特征，也能减少特征参数的维度；全连接层用于输出人脸关键点的位置以及其他影响因素的检测结果如性别、是否戴眼镜等。本系统将第t个任务表示为

t＝{1,…,T}，i＝{1,…,N}，其中

和

分别表示第t个任务和第t个任务的标签；完整的任务T中包含5个相关任务，其相关标签为

其中

代表人脸关键点的位置，而其他的分别代表人脸的姿态、性别、是否佩戴眼镜以及是否微笑；此神经网络的主要目标是最小化如下式的代价函数：

式中，Loss(·)表示整体的代价函数，f(·)表示神经网络中通过网络的权值系数w^t计算任务目标

的过程；神经网络分别使用Euclidean代价函数进行人脸关键点的检测，Softmax代价函数进行其他任务的检测；

若根据深度多任务识别网络的输出对面部全局区域进行无差别分块会产过多冗余特征，因此本发明只对与微表情有有紧密联系的局部区域进行分块处理；由于心理学研究发现，不同类别的微表情出现在面部区域位置不同，如高兴体现为脸颊和嘴角区域的肌肉动作(表现为脸颊提升和嘴角上扬)、惊叹出现在眉毛和嘴部区域(表现为眉毛上提和双唇微张)等，因此其局部区域划分的原则是依据美国心理学家Ekman和Friesen所制定的面部动作编码系统将面部区域划分为7个局部区域块，其面部区域划分及对应的FACS AUs表与微表情与FACS AUs的对应关系表如表1和表2所示；

表1面部区域划分及其对应的FACS AU

区域序号	区域部位	FACS AU
			1,2	眼睛、眉毛	AU1,AU2,AU4,AU7
3	鼻子	AU9
			4	嘴巴	AU10,AU12,AU14,AU15,AU25
5,6	面颊	AU6
			7	下巴	AU17

表2微表情与FACS AUs的对应关系表

微表情类别	FACS AU
		高兴	AU6或AU12
厌恶	AU9或AU10或AU4+AU7
		惊奇	AU1+AU2A或U25+AU2
压抑	AU15,AU17单独或者联合出现
		其他	AU4或AU14或AU17

2、自适应双流神经网络：

该网络集成了两个子网(双流空间子网和双流时间子网)，是一个时空级联网络，其结构如图2所示；该网络通过结合卷积神经网络和添加注意力机制的LC-BLSTM；由于所有特征的注意力权重在不断变化，因此将注意力机制应用于两流特征融合以实现自适应动态特征融合过程；

a)、双流空间子网：

该神经网络的结构如图2所示，其输入分别为经重点局部区域划分后的图片序列信息和图片的光流信息；其中，图片的光流信息可将原始图片序列信息输入到FlowNet2.0获得；为了获得空间信息，将残差网络的体系结构作为基本部分；其空间子网结构如图2可看到，共有三组块，每组有四个块；然后，依次铺平一层和一层致密层；所有层的激活功能都是ReLU；此外，所有池化层都是平均池化层；

b)、双流时间子网：

卷积神经网络和循环神经网络在视频图像处理上得到广泛应用，但由于视频图像在结构上存在着前后依赖关系，仅依靠卷积神经网络实现文本分类将忽略词的上下文含义，且传统的循环神经网络存在梯度消失或梯度弥散问题,限制了视频图像分析的准确率；因此，本发明采用Attention-aware-BLSTM-CNN特征融合的模型，利用卷积神经网络提取文本向量的局部特征，利用BLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合，解决了单卷积神经网络模型忽略视频图像在上下文语义问题并有效的避免了传统循环神经网络梯度消失或梯度弥散问题；进而实现双向学习，该子网通过Forward层和Backward层将数据连接到两个单独的隐藏层中，分别记录每一时刻Forward层的输出

和Backward层的输出

最终的输出结果为

基于注意力机制来提取特征，有选择地表示输入序列：

其中，a_frame表示注意力的权重，其大小根据输入特征序列的步长大小确定；即：

其中，

是

的转置；W_frame是权重矩阵；b_frame是其偏置项；c_frame为在训练过程中随机初始化和学习的帧级上下文向量，用来表示这些帧的重要性；f_frame表示单流的特征；时间子网通过增加与微表情检测密切相关的帧的权重来关注更重要的帧，同时忽略其他不相关的帧；

将注意机制应用于双流特征融合；在整合过程中，注意机制的作用是学习不同特征的意义并给予相应的注意；所有特征的注意权重不断变化，实现了一种自适应的动态特征融合过程；流级注意权重的计算方法与帧级相似；计算如下：

其中，

是

的转置；W_stream是权重矩阵；b_stream是其偏置项；c_stream在训练过程中随机初始化和学习的流级上下文向量，即这两个流的动态融合权重；f_2-stream为两个流的组合特征表示。

实施例:

下面将本发明的技术方案做进一步的详细说明：

本系统主要包括两个内容：一是深度多任务识别网络和重要局部区域的划分；以提高识别速度；二是自适应双流神经网络；通过添加注意力机制的BLSTM自适应的确定两流特征的权重，进而实现精准快速定位微表情运动帧。

一是深度多任务识别网络和重要局部区域的划分：首先对视频信息进行跳帧提取，每4帧提取一次，并将其输入到该度多任务识别网络中，该网络的输出为人脸关键点以及人脸状态，根据面部动作编码系统划分出重要的人脸局部区域，经划分后的图像信息再经过自适应双流神经网络进行识别时，可大大减少网络的参数，进而提高网络的识别速度。

二是自适应双流神经网络：将深度多任务识别网络的输出作为原始数据，通过FlowNet2.0获得光流数据，把两种数据作为输入分别输入到自适应双流神经网络中，并将注意力机制添加到双流神经网络中，以实现对双流神经网络的输出进行自适应融合，提高对帧定位的准确程度。最后，根据双流神经网络输出的融合结果，对是否患有抑郁症进行判断。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (5)

1.基于微表情分析的抑郁症识别系统，其特征在于，具体步骤包括如下：

步骤(1.1)、对视频信息预处理，通过训练深度多任务识别网络得到人脸状态；

步骤(1.2)、根据得到的输出人脸状态结果，对人脸的局部区域进行划分，剔除与微表情无关的区域；

步骤(1.3)、将划分的局部区域作为原始信息，对其进行提取光流，后将原始信息与提取的光流信息输入到自适应的双流神经网络中，对双流神经网络进行训练，进而对微表情运动的开始帧、峰值帧、结束帧进行定位；

步骤(1.4)、通过输出的定位结果对微表情进行分析，根据在不同背景下对微表情的分析判断该人是否患有抑郁症。

2.根据权利要求1所述的基于微表情分析的抑郁症识别系统，其特征在于，在步骤(1.1)中，所述深度多任务识别网络用于对采集到的人脸图片信息进行预处理；其包括卷积层、池化层和全连接层；

其中，卷积层使用5×5和3×3的卷积核，在卷积计算之后使用ReLU作为激活函数，使用最大值池化来处理非交叠区域的特征，最后经全连接层输出人脸关键点的位置以及其他影响因素的检测结果。

3.根据权利要求1所述的基于微表情分析的抑郁症识别系统，其特征在于，在步骤(1.2)中，对人脸的重要的局部区域进行划分具体是：将面部区域划分为7个局部区域块，其中每块区域都是一个或几个面部动作单元的组合；

其中，所述7个局部区域块包括眼睛、眉毛、鼻子、嘴巴、左右两个面颊及下巴。

4.根据权利要求1所述的基于微表情分析的抑郁症识别系统，其特征在于，在步骤(1.3)中，所述的双流神经网络为时空级联的双流神经网络分别对输入的原图像与光流图像提取时间特征和空间特征采用三个基于注意力机制的BLSTM-CNN模型，其中两个模型对每个流提取重要的帧特征，另外一个模型确定双流特征的权重，最后得到开始帧、峰值帧、结束帧的定位信息。

5.根据权利要求1所述的基于微表情分析的抑郁症识别系统，其特征在于，在所述步骤(1.4)中，通过输出的定位结果对微表情进行分析的具体步骤为：通过得到的结果提取特征并将其输入到支持向量机中；

所述支持向量机的结果包括愉快、悲伤、中性；根据抑郁症患者的面部微表情研究表明：抑郁倾向者将不同背景下的中性、悲伤和恐惧微表情误判为正性偏向多于负性偏向。

Images