CN106919903B

CN106919903B - 一种鲁棒的基于深度学习的连续情绪跟踪方法

Info

Publication number: CN106919903B
Application number: CN201710043727.1A
Authority: CN
Inventors: 郭清沛; 陈辉; 姚乃明; 王宏安
Original assignee: Institute of Software of CAS
Current assignee: Institute of Software of CAS
Priority date: 2017-01-19
Filing date: 2017-01-19
Publication date: 2019-12-17
Anticipated expiration: 2037-01-19
Also published as: CN106919903A

Abstract

本发明涉及一种鲁棒的基于深度学习的连续情绪跟踪方法，其步骤为：1)构建训练样本并训练归一化模型和连续情绪跟踪模型；2)获取表情图像并进行预处理，将预处理完成的表情图像送到训练好的归一化模型，得到标准光照和标准头部姿态的表情图片；3)将归一化后的标准图像作为连续情绪跟踪模型的输入，连续情绪跟踪模型自动提取输入表情相关的特征并根据时序信息产生当前帧的跟踪结果；重复步骤2)‑3)直至完成整个连续情绪跟踪流程。本发明采用基于深度学习的方法构建情绪识别模型实现连续情绪跟踪和预测，能够对光照和姿态变化具有鲁棒性，而且能够充分利用表情表达的时序信息，基于历史情绪特征更稳定地跟踪当前用户的情绪。

Description

一种鲁棒的基于深度学习的连续情绪跟踪方法

技术领域

本发明涉及人机交互、图像处理、人工智能领域，具体涉及一种鲁棒的基于深度学习的连续情绪跟踪方法。

背景技术

情感意图理解的目的是通过赋予计算机识别、理解、认知人的情感的能力,从而使计算机具有更高的类人智能，提供更加自然的人机交互体验。随着计算机设备、网络摄像头等设备的普及，使得基于视觉通道的情绪识别成为分析用户情绪最有效的手段。

目前大多数情绪识别方法将情绪分为几个基本类别，如高兴、愤怒、悲伤、惊讶等，这样就将情绪识别问题转化为分类问题，然后通过精心设计的人工特征提取方法，从二维表情图片上提取出包含基于纹理或者几何的情绪特征用于情绪分类。二维表情特征提取实现简单，可以从表情图片上直接提取，因此被广泛应用于情绪识别算法中。

基于分类的情绪识别由于情绪类别的急剧变化会导致计算机对用户的反馈产生突变，大大降低用户体验。考虑到人自然情绪表达的连续性，采用基于维度空间的连续情感模型PAD来描述人的情绪能更细致反应情绪变化以及趋势。此外，基于图片的二维表情特征在处理头部姿态变化、面外翻转时准确率会急剧下降，变得不稳定，为了克服这些问题，一些基于三维特征的情绪跟踪算法被提出，这些算法利用三维几何特征或者深度特征来对用户的三维头部信息进行恢复，从恢复后的三维头部信息来估计用户情感及其变化，但存在算法复杂及获取深度信息设备限制的问题。

区别于传统的基于视觉的情绪识别方法，采用深度学习的方法模拟人脑的分层模型，通过把原始图像数据通过一些非线性变换转变成为更高层次的、更加抽象的表达，可以自动提取比大多手工特征更具有区分性的特征。专利“一种基于深度学习的人脸表情识别方法”(公开号：CN103793718A)公开了一种使用DBN在二维图片上学习情绪特征并进行分类，该方法在实验中取得了很好的效果，但由于没有对表情图片的光照和姿态进行处理，而且识别中逐帧处理没有考虑表情的时序特征，影响其在实际应用时的鲁棒性。

发明内容

针对上述问题，本发明提出一种鲁棒的基于深度学习的连续情绪跟踪方法，能够处理情绪跟踪过程中光照和头部姿态变动，自动学习情绪在特征空间的表达，利用时域信息在连续情感空间里对情绪进行鲁棒跟踪。

为达到上述目的，本发明采取的具体技术方案如下：

一种鲁棒的基于深度学习的连续情绪跟踪方法，该方法包括：表情模型训练步骤和在线连续表情跟踪步骤。其中表情模型包括归一化模型和连续情绪跟踪模型。

所述归一化模型的训练步骤包括：

S1,构建包含不同光照和姿态的人脸表情数据库；

S2,将每张表情图片进行预处理，同一个人不同光照和姿态的表情图像与标准光照和标准姿态图像两两构成一个训练样本；

S3,神经网络模型采用Encoder-Decoder(编码-解码)框架(Bengio Y.LearningDeep Architectures for AI[J].Foundations&Trends in Machine Learning,2009,2(1):1-55.)，输入包含输入图像光照和姿态编码的训练样本，通过Encoder输出标准光照和标准姿态的表情图像以及输入图像的光照和姿态编码，Encoder的结果通过Decoder还原出输入的表情图像，通过多任务学习的方式来优化整个归一化模型。

进一步地，步骤S1的实现包括：

S1.1,制定光照和姿态的量级，对光照姿态进行编码，并制定表情数据库文件的命名规范；

S1.2，采用高清的网络摄像头收集每个被试者在不同光照和姿态下的不同的表情图像和在标准光照和标准姿态下的相应的表情图像,并按照命名规范命名；

S1.3，对S1.2所搜集的图片人工选取并标定相应的光照、头部姿态和表情信息。

进一步地，S2中的预处理包括人脸区域检测裁剪，图像灰度化，尺寸归一。

进一步地，S3中的输入图像的光照和姿态编码可以采用独热码等多种编码方式，光照和姿态编码可以附着在输入图像的行或者列或者边缘处，和表情图像一起作为神经网络的输入。

进一步地，S3中采用Encoder-Decoder的网络模型，Encoder和Decoder具体实现可以使用CNN或者DBN，或者两者混合使用。

所述连续情绪跟踪模型的训练步骤包括：

S4,从S1中构建的表情数据库中挑选出标准姿态的各种表情视频片段，标注视频各帧表情图片在PAD情感空间中的各维度值(PAD情感空间中，P代表愉悦度，A代表激活度，D代表优势度)；

S5,采用神经网络模型，利用视频片段和每一帧的PAD维度值，训练包含时序的连续情绪跟踪模型。

进一步地，S4中每帧表情图片PAD维度值的标注可以人工标注，也可程序标注。

进一步地，S5中神经网络模型采用包含时序的网络结构,能够根据历史帧的情感特征和当前帧的情感特征回归输出当前表情图片在PAD情感空间中的各维度值。

进一步地，S5中的包含时序的网络结构可以采用3D-CNN或者CNN+RNN等。其中CNN为卷积神经网络(Convolution Neural Network)，RNN为循环神经网络(Recurrent NeuralNetworks)，包括长短期记忆神经网络LSTM(Long-Short Term Memory)，循环门控单元GRU(Gated Recurrent Unit)等。其中，LSTM参见文献“Hochreiter S,Schmidhuber J.LongShort-Term Memory[J].Neural Computation,1997,9(8):1735-1780.”；GRU参见文献“Cho,Kyunghyun,et al."Learning phrase representations using RNN encoder-decoder for statistical machine translation."arXiv preprint arXiv:1406.1078(2014).”。

若采用3D-CNN，则需要缓存历史输入帧，情绪跟踪时将当前帧和历史输入帧共同作为3D-CNN的输入；若采用RNN等时序记忆模型，则隐式地保存历史输入状态，输出当前帧的跟踪结果时，同时更新历史输入状态。

所述在线连续表情跟踪步骤包括：

S6,使用网络摄像头实时采集被试者的表情视频；

S7,对于S6中采集的每一帧包含表情的图像进行同S2中的预处理,然后作为S3所述训练好的归一化模型的输入，进行光照和姿态矫正；

S8，对于S7中的矫正后的图像作为S5中训练好的包含时序的连续情绪跟踪模型的输入，进行实时的连续情绪跟踪。

进一步地，S7中每一帧图片在预处理之前首先进行人脸检测，只有人脸检测成功后才进行预处理和姿态及光照矫正，丢弃没有检测到人脸的帧。

与现有技术相比，本发明的有益效果如下：

1.实现连续情绪跟踪和预测，能够对光照和姿态变化具有鲁棒性。本发明利用深度学习方法对普通的二维网络摄像头采集的图像进行三维人脸姿态矫正，能够在摆脱对深度采集设备依赖的同时，显著提高情绪跟踪的准确率和稳定性。

2.基于历史情绪特征更稳定的跟踪当前情绪。人的情绪表达是个渐进的过程，具有一定的稳定性和连续性，本发明的连续情绪跟踪模型能够充分利用表情表达的时序信息，从而实现更稳定的情绪跟踪。

3.基于深度学习的方法构建情绪识别模型，以情绪跟踪为导向去学习表情特征的提取，能够提取出更本质的表情特征。

附图说明

图1为本发明表情跟踪总体流程示意图。

图2为本发明一实施例中归一化模型的框架结构图。

图3为本发明一实施例中归一化模型中Encoder的网络结构图。

图4为本发明一实施例中连续情绪跟踪模型的网络结构图。

具体实施方式

为了使本技术领域的人员更好的理解本发明，以下结合实施例和附图进一步详细描述本发明，但不构成对本发明的限制。

图1给出了本发明的总体流程。摄像头实时获取用户的表情视频，然后将输入表情帧转换为灰度图像，并采用开源计算机视觉库OpenCV的Haar(Viola,Paul,and MichaelJones."Rapid obj ect detection using a boosted cascade of simple features."Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedings of the2001 IEEE Computer Society Conference on.Vol.1.IEEE,2001.)特征进行人脸检测，裁剪检测到人脸区域并缩放到固定的大小，在这些预处理操作完成之后，将表情图片送到训练好的归一化模型进行光照和头部姿态归一，得到标准光照和标准头部姿态的表情图片，然后将归一化后的标准图片作为连续情绪跟踪模型的输入，连续情绪跟踪模型自动提取输入表情相关的特征并根据时序信息产生当前帧的跟踪结果。

图2给出了归一化模型的框架结构。模型的输入X_i为属于第i个人的表情图片，Encoder的输出Y_i包括Mi和{P_j,I_k},其中Mi为经过矫正后的第i个人的标准姿态和标准光照下相同表情的图片，{P_j,I_k}是输入图片的光照和姿态编码信息，表明Encoder识别出当前输入图片处于第i种姿态和第k种光照条件下。在具体实施中，将头部水平翻转角度从-60度到60度每隔15度定义为一个状态，这样一共定义了9种头部姿态；光照状态按照训练图片采集环境的光照强弱分为19种不同的光照条件。Decoder是与Encoder相对称的结构，加入Decoder的目的是确保Encoder的输出能够正常还原出输入的表情图片，保证没有丢失输入表情图片的身份、表情、姿态和光照信息。Decoder将Encoder的输出的{Mi,Pj,Ik}作为输入，输出对输入进行重构的图像。

图3采用CNN(Convolution Neural Network)给出了ENCODER的一个具体实施例。其中，输出层含有3880个神经元，前3600个神经元的激活值依次按行列排列成60*60的输入表情图片，另外280个神经元的激活值代表Encoder输出的表情图片光照和姿态编码，每10个神经元构成1个光照或姿态编码，图中输入和特征图的大小用Channel*Width*Height表示，Channel表示输入或特征图的通道数，Width和Height参数表示特征图的尺寸。Decoder的结构与Encoder对称设计即可。

整个归一化模型有2个任务：归一化输入图像任务和重建输入任务。对于第一个任务，输出为归一化后的图像和输入图像的姿态和光照编码，损失函数定义如下：

其中，Y_i为Encoder的输出，Y_i,GT为归一化图像和光照以及姿态编码的真实值，N为训练时的每批训练数据的样本数目。

对于重建输入任务，损失函数定义为模型输出的重建图像和原始输入图像的均方差：

其中，RX_i为Decoder输出的重建图像，X_i为输入的训练表情图像。

模型训练完成后选择Encoder的输出M_i作为归一化模块的输出。

连续情绪跟踪模型采用包含时间信息的神经网络实现，可以根据前面帧的情绪识别结果和当前帧输入共同决定在PAD情感空间里的输出。其具体实现有多种方式，可以采用3DCNN每次将前面矫正后的若干视频帧进行缓存，然后和当前帧一起共同输入到3DCNN里，最终输出PAD情感空间各维度值；也可以采用记忆性的神经网络单元，每次输出预测值后更新网络单元内部的状态值，然后当前状态和当前输入共同决定输出PAD各维度值。

图4给出了基于记忆单元LSTM的一种实现，F_t表示t时刻归一化模型输出的帧，经过CNN提取表情相关特征然后由LSTM输出当前帧的PAD各维度值，LSTM内部记忆单元状态同时更新，和t+1时刻的输入帧F_t+1同时作为下一时刻的输入。连续情绪跟踪模型的损失函数采用均方误差，采用Adam优化算法(Kingma,Diederik,and Jimmy Ba."Adam:A method forstochastic optimization."arXiv preprint arXiv:1412.6980(2014).)进行训练。

为了更好地描述算法，下面给出连续情绪跟踪的一个具体实例。本实例输入为人表情图像的连续的视频流，输出在PAD情感空间中各维度的值：

1)构建表情跟踪数据库，表情数据库中应尽可能包含不同人在不同光照和头部姿态下的表情图像，人工标定表情数据库中的每段视频光照和姿态编码，并对每一表情帧在情感空间中PAD各维度值进行标定；

2)按照上述方法训练归一化模型和连续情绪跟踪模型；

3)对t时刻视频流中的当前帧进行人脸检测，检测成功后，裁剪检测到人脸区域并缩放到固定的60x60大小分辨率，检测失败则直接丢弃当前帧；

4)将步骤3)中成功检测到人脸的帧作为归一化模型的输入，从Encoder输出获取矫正的标准光照和标准姿态的表情图像；

5)将4)中获取的图像作为连续情绪跟踪模型t时刻的输入，模型根据时间信息输出当前帧在PAD情感空间的回归结果；

重复步骤3)-5)，直至完成整个鲁棒连续情绪跟踪的流程。

本方法在广泛使用的连续情感数据库CK+上进行了相关实验与可行性测试。利用视频中每一帧回归出来的PAD情绪值根据Arousal与Valence的维度进行阈值划分，进而确定情绪的类别，与其它考虑时序的情绪识别方法的效果对比如下面表1所示。

表1.本发明与其它方法的效果对比

上述表格中，AAM是动态表观模型的英文缩写，HOG3D和LBP-TOP分别是三维有向梯度直方图和三维正交平面的局部二元模式的英文缩写，3DCNN是在三维卷积神经网络的英文缩写。从结果中可以看出，本方法在连续情感识别上有着较出色的表现。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims

1.一种鲁棒的基于深度学习的连续情绪跟踪方法，其特征在于，包括以下步骤：

1)构建训练样本并训练归一化模型和连续情绪跟踪模型；所述归一化模型和所述连续情绪跟踪模型采用深度神经网络实现；所述归一化模型用于处理二维图像中包括光照归一和姿态矫正在内的问题，用以提升识别过程中的鲁棒性；所述归一化模型采用基于Encoder和Decoder框架的深度学习模型，包括基于CNN或者RBM构建的Encoder-Decoder模型；Decoder的网络结构与Encoder相对称；模型训练时采用包含矫正图像任务和重建输入任务的多任务学习的损失函数；

2)获取表情图像，通过归一化模型将其转换为标准图像；

3)通过连续情绪跟踪模型并利用时序信息产生当前帧的标准图像的情绪跟踪结果；

4)重复步骤2)-3),直至完成全部情绪跟踪任务。

2.如权利要求1所述的方法，其特征在于，所述连续情绪跟踪模型采用利用时序信息的深度学习模型，结合当前输入帧和历史输入信息共同产生情绪跟踪的结果。

3.如权利要求2所述的方法，其特征在于，所述利用时序信息的深度学习模型包括3D-CNN、RNN、GRU、LSTM；若采用3D-CNN，则需要缓存历史输入帧，情绪跟踪时将当前帧和历史输入帧共同作为3D-CNN的输入；若采用包括RNN在内的时序记忆模型，则隐式地保存历史输入状态，输出当前帧的跟踪结果时，同时更新历史输入状态。

4.如权利要求1所述的方法，其特征在于，步骤2)中通过摄像头实时采集图像，并对采集的图像进行预处理，预处理过程包括人脸检测，裁剪检测到人脸区域，对比度归一并缩放到固定的大小。

5.如权利要求4所述的方法，其特征在于，预处理过程中进行人脸检测，如果人脸检测失败，则直接丢弃当前帧，不再对当前帧进行表情跟踪。

6.如权利要求1所述的方法，其特征在于，步骤2)中采用单个归一化模型同时完成对输入帧的光照和姿态的归一化。

7.如权利要求1所述的方法，其特征在于，步骤3)中采用连续情绪跟踪模型输出当前表情在连续情感空间中各维度的值，用于后续表情分类、预测。