CN109583431A - 一种人脸情绪识别模型、方法及其电子装置 - Google Patents

Abstract

本发明公开了一种人脸情绪识别模型、方法及其电子装置，该模型包括：AU分类模型，采用多标签任务的方式，于训练阶段，利用训练数据集通过共享卷积网络及多个卷积子网络、AU回归器进行训练得到AU分类模型，于情绪识别阶段，利用训练后的分类模型对实时脸部图像进行解析，得到识别出的与每个AU相关的人脸特征；情绪模型，用于获取分类模型输出的与每个AU相关的人脸特征，于训练阶段将与每种情绪最相关的若干AU对应的特征合并，训练一回归器得到对应情绪的程度数值，于情绪识别阶段，根据获取分类模型输出的与实时图像中各AU相关的人脸特征进行情绪判断，得到各种情绪的程度属性数值，选取最大数值对应的情绪作为该图像的情绪标签。

Description

一种人脸情绪识别模型、方法及其电子装置

技术领域

本发明涉及计算机视觉处理技术领域，特别是涉及一种基于人脸运动单元组合的人脸情绪识别模型、方法及其电子装置。

背景技术

人脸情绪识别是人机交互与情感计算研究的重要组成部分，涉及心理学、社会学、人类学、生命科学、认知科学、计算机科学等研究领域，对人机交互智能化、和谐化极具意义。

伴随着机器学习和深度学习逐渐走进人们的日常生活，人脸识别作为其中的重要应用领域，也正经历着蓬勃的发展。“表情”作为我们日常生活中经常提及的词语，对我们生活有着极大的影响。在希望表达自己的时候，人们往往会极力地丰富自己的表情，而当尴尬的时候，又会希望可以掩饰自己的面部情绪。从此也可以看出，对人脸情绪的理解和正确的判断，可以更加有效地接收到对方传递的信息。美国心理学家保罗艾克曼(Paul Ekman)从上世纪60年代便开始研究情绪，并提出了6种基本情绪，即开心、惊讶、生气、悲伤、恐惧、厌恶，并一直沿用至今

心理学家Paul Ekman和其研究伙伴W.V.Friesen对人脸情绪分析作了深入的研究，通过观察和生物反馈，描绘出不同的脸部肌肉动作和不同表情的对应关系，在1978年提出了运动单元(Action Unit，AU)来描述人脸情绪的脸部运动编码系统，其基本思想就是，人们脸部的表情是由一个或一些局部细微的特征变化引起的，比如嘴角上扬和面颊肌肉上扬表示开心，睁大眼睛意味着惊讶。

目前，通过识别脸部图像中的AU特征来判断人脸面部情绪的方法比较普遍，但这些方法都没有考虑到AU与情绪分类的关联性，仅仅只是考虑AU特征，例如说有些人天生眉毛就有些上扬，，这样就有可能出现情绪误判定，造成情绪识别准确率不高。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种人脸情绪识别模型、方法及其电子装置，通过利用AU与情绪分类的关联性提取的特征排除掉面部其他特征的干扰，从而更为有效地提升情绪判断的准确性。

为达上述及其它目的，本发明提出一种人脸情绪识别模型，包括

AU分类模型，用于采用多标签任务的方式，于训练阶段时，利用收集的人脸图像和对应的AU标签通过该共享卷积网络及多个卷积子网络、AU回归器进行训练得到训练后的AU分类模型，于情绪识别阶段时，利用训练后的AU分类模型对获得的实时脸部图像进行解析，得到从该实时脸部图像中识别出的与每个AU相关的人脸特征；

情绪模型，用于获取所述AU分类模型输出的与每个AU相关的人脸特征，于训练阶段，将与每种情绪最为相关的若干AU所提取的相应人脸特征进行合并，然后训练一个回归器得到对应情绪的程度数值，于情绪识别阶段，根据获取所述AU分类模型输出的与该实时脸部图像中各AU相关联的人脸特征进行情绪判断，得到各种情绪的程度属性数值，并选取其中最大的数值对应的情绪作为该实时脸部图像的情绪标签。

优选地，于训练阶段，所述AU分类模型通过该共享卷积网络提取所输入的人脸图片的特征图，然后将提取的特征图输入至每个AU对应的卷积子网络，提取与对应AU相关的人脸特征，并将提取的人脸特征送入相应的AU回归器。

优选地，所述AU分类模型的输出为当前人脸表情与对应AU相关的概率概率，其输出值为0到1之间。

优选地，所述AU分类模型中，每一个AU回归器的训练是单独的。

为达到上述目的，本发明还提供一种人脸情绪识别方法，包括如下步骤：

步骤S1，建立人脸情绪识别模型，并利用收集的人脸图像对其进行训练；

步骤S2，获取实时脸部图像；

步骤S3，将获得的实时脸部图像输入预先训练好的人脸情绪识别模型，得到该实时脸部图像对应的各种情绪程度属性数值，选取其中最大的数值对应的情绪作为该实时脸部图像的情绪标签。

优选地，步骤S1进一步包括：

步骤S100，建立所述AU分类模型，所述AU分类模型采用多标签任务的方式，利用收集的人脸图像和对应的AU标签通过该共享卷积网络及多个卷积子网络、AU回归器进行训练得到训练后的AU分类模型；

步骤S101，建立情绪模型，所述获取AU分类模型输出的与各AU相关的人脸特征，将与每种情绪最为相关的若干AU所提取的相应人脸特征进行合并，然后训练一个回归器得到对应情绪的程度数值。

优选地，于步骤S2中，通过摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取所述实时脸部图像。

优选地，步骤S3进一步包括：

步骤S300，将获得的实时脸部图像输入预先训练好的AU分类模型，通过该AU分类模型的共享卷积网络及每个AU对应的卷积子网络、AU回归器输出从该实时脸部图像中识别出的与每个AU相关的人脸特征；

步骤S301，利用预先训练好的情绪模型获得AU分类模型输出的与每个 AU相关的人脸特征，将与每种情绪最为相关的若干AU所提取的相应人脸特征进行合并，然后通过回归器得到对应情绪的程度数值，选取其中最大的数值对应的情绪作为该实时脸部图像的情绪标签。

优选地，于步骤S301中，所述情绪模型把与每种情绪对应的八种关联度高的AU相关联的人脸特征进行合并，然后通过7个回归器即得到7种情绪的程度数值，所述7种情绪包括但不限于开心、惊讶、生气、悲伤、恐惧、厌恶、自然。

为达到上述目的，本发明还提供一种电子装置，该电子装置包括：存储器、处理器及摄像装置，所述存储器中包括人脸情绪识别程序，所述人脸情绪识别程序被所述处理器执行时实现如下步骤：

获取实时脸部图像；

将获得的实时脸部图像输入预先训练好的人脸情绪识别模型，得到该实时脸部图像对应的各种情绪程度属性数值，选取其中最大的数值对应的情绪作为该实时脸部图像的情绪标签。

与现有技术相比，本发明一种人脸情绪识别模型、方法及其电子装置通过利用卷积神经网络来提取人脸图片的特征，利用AU和情绪进行关联性分析，对每一种情绪寻找关联性强的AU，然后利用每一种AU回归模型中所提取的特征，对对应的情绪进行分析，从而得到相应的情绪结果，本发明可以直观准确地得到图片中人脸所表现的情绪，利用AU与情绪分类的关联性提取的特征可以排除掉面部其他特征的干扰，从而更为有效的提升情绪判断的准确性。

附图说明

图1为本发明一种人脸情绪识别模型的结构示意图；

图2为本发明一种人脸情绪识别方法的步骤流程图；

图3为本发明人脸情绪识别方法较佳实施例的应用环境示意图；

图4为本发明之电子装置的结构示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种人脸情绪识别模型的结构示意图。如图1所示，本发明一种人脸情绪识别模型，包括AU分类模型101以及情绪模型102。

其中，AU分类模型101，采用多标签任务的方式，于训练阶段时，利用收集的人脸图像和对应的AU标签通过一共享卷积网络及多个卷积子网络、AU 回归器进行训练得到训练后的AU分类模型，也就是说，利用训练数据集中的人脸图像及标注好的AU标签通过该共享卷积网络及多个卷积子网络、AU回归器进行训练得到训练后的AU分类模型，于情绪识别阶段时，则利用训练后的 AU分类模型对获得的实时脸部图像进行解析，得到从该实时脸部图像中识别出的与每个AU相关联的人脸特征的概率。

根据Ekman总结出的情绪人脸运动编码系统(Emotional Facial Action CodingSystem)，人类一共有39个主要的面部动作单元(Action Unit，AU)。每一个AU，就是脸部的一小组肌肉收缩代码，比如AU1-抬起眉毛内角，AU2-抬起眉毛外角，AU9-皱鼻，AU22-收紧双唇向外翻等，

如图2所示，在训练阶段，当人脸图片输入AU分类模型101后，首先通过该共享卷积网络提取特征图，然后将提取的特征图输入至每个AU对应的卷积子网络(卷积0，卷积1，…卷积n)有针对性地提取对应AU相关的人脸特征，并经过AU回归器得到与AU相关的人脸特征(AU0，AU1，…AUn)，并将得到的与AU相关的人脸特征AU0，AU1，…AUn送入情绪模型102，这里各AU回归器所输出的特征AU0，AU1，…AUn，为当前人脸表情与对应AU 相关的概率，因此其输出为0到1的范围，利用收集的图片和对应的AU标签对该模型进行训练便得到了整个AU分类模型，为后面的情绪模型提供与每个 AU相关的人脸特征。在本发明具体实施例中，每一个AU回归器的训练是单独的。

在情绪识别阶段时，则将获得的实时脸部图像输入预先训练好的AU分类模型，通过该AU分类模型的共享卷积网络及每个AU对应的卷积子网络输出从该实时脸部图像中识别出的与每个AU相关的人脸特征，即人脸特征的概率值，取值在0到1之间。

情绪模型102，用于获取AU分类模型101输出的与每个AU相关的人脸特征，于训练阶段，将与每种情绪最为相关的若干AU所提取的人脸特征进行合并，然后训练一个回归器得到对应情绪的程度数值，即可能性，于情绪识别阶段，根据获取AU分类模型101输出的与该实时脸部图像中各AU相关联的人脸特征进行情绪判断，得到各种情绪的程度属性数值，选取其中最大的数值对应的情绪即为该实时脸部图像的情绪标签。

在Ekman的情绪人脸运动编码系统中，罗列了一些与制定情绪相关的AU，比如开心对应着AU6和AU12，本发明把该些规则纳入考量，针对每种情绪，提取其中8种关联度较高的AU，除了已知的组合外，还可根据训练数据集(即训练用的样本图片集)中的情绪标签和AU标签，对每一种情绪对应出现的AU 的次数进行统计，然后针对每种情绪选择出现最频繁的几种AU进行补全。

图3为本发明眼中人脸情绪识别方法的步骤流程图。如图3所示，本发明一种人脸情绪识别方法，包容如下步骤：

步骤S1，建立人脸情绪识别模型，并利用收集的人脸图像对其进行训练。

在本发明具体实施例中，所建立的人脸情绪识别模型包括AU分类模型以及情绪模型。具体地，步骤S1进一步包括：

步骤S100，建立所述AU分类模型，所述AU分类模型采用多标签任务的方式，利用收集的人脸图像和对应的AU标签通过共享卷积网络及多个卷积子网络、AU回归器进行训练得到训练后的AU分类模型。具体地说，当人脸图片输入AU分类模型后，首先通过共享卷积网络提取特征图，然后将提取的特征图输入至每个AU对应的卷积子网络、AU回归器有针对性地提取与对应AU相关联的人脸特征，并将提取的人脸特征送入情绪模型。在本发明具体实施例中， AU分类模型中的每一个AU回归器的训练是单独的。

步骤S101，建立情绪模型，获取AU分类模型输出的各AU相关的人脸特征，将与每种情绪最为相关的若干AU所提取的相应人脸特征进行合并，然后训练一个回归器得到对应情绪的程度数值，即可能性。

步骤S2，获取实时脸部图像。在本发明具体实施例中，可通过摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取所述实时脸部图像。具体地，当通过摄像装置获得一张实时图像时，先获取图片的大小，建立一个相同大小的灰度图像；将获取的彩色图像，转换成灰度图像，同时创建一个内存空间；将灰度图像直方图均衡化，使灰度图像信息量减少，加快检测速度，然后加载训练库，检测图片中的人脸，并返回一个包含人脸信息的对象，获得人脸所在位置的数据，并记录个数；最终获取头像的区域且保存下来，这样就完成了一次实时脸部图像提取的过程。当然，从该实时图像中提取实时脸部图像的人脸识别算法还可以为：基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法等，本发明不以此为限。

步骤S3，将获得的实时脸部图像输入预先训练好的人脸情绪识别模型，得到该实时脸部图像对应的各种情绪程度属性数值，选取其中最大的数值对应的情绪即为该实时脸部图像的情绪标签。

具体地，步骤S3进一步包括：

步骤S300，将获得的实时脸部图像输入预先训练好的AU分类模型，通过该AU分类模型的共享卷积网络及每个AU对应的卷积子网络输出从该实时脸部图像中识别出的与每个AU相关的人脸特征，即人脸特征的概率值，取值在0 到1之间。

步骤S301，利用预先训练好的情绪模型获得AU分类模型输出的与每个 AU相关的人脸特征，将与每种情绪最为相关的若干个AU所提取的相应人脸特征进行合并，然后通过回归器得到对应情绪的程度数值，选取其中最大的数值对应的情绪即为该实时脸部图像的情绪标签。在本发明具体实施例中，情绪模型把每种情绪对应的八种关联度高的AU所提取的相关的人脸特征进行合并，然后通过7个回归器即得到对应情绪的程度数值，具体地，对每一张图片，情绪模型得到7种情绪的程度属性数值，最终选取其中最大的数值对应的情绪为该人脸图片的情绪标签，在本发明具体实施例中，该7种情绪包括但不限于开心、惊讶、生气、悲伤、恐惧、厌恶、自然。

上述本发明提供的人脸情绪识别方法，应用于一种电子装置1。参照图4 所示，为本发明人脸情绪识别方法较佳实施例的应用环境示意图。

在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。

该电子装置1包括：处理器12、存储器11、摄像装置13、网络接口14及通信总线15。

存储器11包括至少一种类型的可读存储介质，所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的外部存储器11，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。

在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的人脸情绪识别方法、人脸图像样本库及预先训练好的AU分类模型、情绪模型等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行人脸情绪识别程序10等。

摄像装置13既可以是所述电子装置1的一部分，也可以独立于电子装置1。在一些实施例中，所述电子装置1为智能手机、平板电脑、便携计算机等具有摄像头的终端设备，则所述摄像装置13即为所述电子装置1的摄像头。在其他实施例中，所述电子装置1可以为服务器，所述摄像装置13独立于该电子装置 1、与该电子装置1通过网络连接，例如，该摄像装置13安装于特定场所，如办公场所、监控区域，对进入该特定场所的目标实时拍摄得到实时图像，通过网络将拍摄得到的实时图像传输至处理器12。

网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。

通信总线15用于实现这些组件之间的连接通信。

图4仅示出了具有组件11-15的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。

可选地，该电子装置1还可以包括显示器，显示器也可以称为显示屏或显示单元。

在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。

可选地，该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。

综上所述，本发明一种人脸情绪识别模型、方法及其电子装置通过利用卷积神经网络来提取人脸图片的特征，利用AU和情绪进行关联性分析，对每一种情绪寻找关联性强的AU，然后利用每一种AU回归模型中所提取的特征，对对应的情绪进行分析，从而得到相应的情绪结果，本发明可以直观准确地得到图片中人脸所表现的情绪，利用AU与情绪分类的关联性提取的特征可以排除掉面部其他特征的干扰，从而更为有效的提升情绪判断的准确性。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种人脸情绪识别模型，包括

AU分类模型，用于采用多标签任务的方式，于训练阶段时，利用收集的人脸图像和对应的AU标签通过该共享卷积网络及多个卷积子网络、AU回归器进行训练得到训练后的AU分类模型，于情绪识别阶段时，利用训练后的AU分类模型对获得的实时脸部图像进行解析，得到从该实时脸部图像中识别出的与每个AU相关的人脸特征；

情绪模型，用于获取所述AU分类模型输出的与每个AU相关的人脸特征，于训练阶段，将与每种情绪最为相关的若干AU所提取的相应人脸特征进行合并，然后训练一个回归器得到对应情绪的程度数值，于情绪识别阶段，根据获取所述AU分类模型输出的与该实时脸部图像中各AU相关联的人脸特征进行情绪判断，得到各种情绪的程度属性数值，并选取其中最大的数值对应的情绪作为该实时脸部图像的情绪标签。

2.如权利要求1所述的一种人脸情绪识别模型，其特征在于：于训练阶段，所述AU分类模型通过该共享卷积网络提取所输入的人脸图片的特征图，然后将提取的特征图输入至每个AU对应的卷积子网络，提取与对应AU相关的人脸特征，并将提取的人脸特征送入相应的AU回归器。

3.如权利要求1所述的一种人脸情绪识别模型，其特征在于：所述AU分类模型的输出为当前人脸表情与对应AU相关的概率，其输出值为0到1之间。

4.如权利要求1所述的一种人脸情绪识别模型，其特征在于：所述AU分类模型中，每一个AU回归器的训练是单独的。

5.一种人脸情绪识别方法，包括如下步骤：

步骤S1，建立人脸情绪识别模型，并利用收集的人脸图像对其进行训练；

步骤S2，获取实时脸部图像；

步骤S3，将获得的实时脸部图像输入预先训练好的人脸情绪识别模型，得到该实时脸部图像对应的各种情绪程度属性数值，选取其中最大的数值对应的情绪作为该实时脸部图像的情绪标签。

6.如权利要求5所述的一种人脸情绪识别方法，其特征在于，步骤S1进一步包括：

步骤S100，建立所述AU分类模型，所述AU分类模型采用多标签任务的方式，利用收集的人脸图像和对应的AU标签通过该共享卷积网络及多个卷积子网络、AU回归器进行训练得到训练后的AU分类模型；

步骤S101，建立情绪模型，获取AU分类模型输出的与各AU相关的人脸特征，将与每种情绪最为相关的若干AU所提取的相应人脸特征进行合并，然后训练一个回归器得到对应情绪的程度数值。

7.如权利要求6所述的一种人脸情绪识别方法，其特征在于：于步骤S2中，通过摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取所述实时脸部图像。

8.如权利要求6所述的一种人脸情绪识别方法，其特征在于，步骤S3进一步包括：

步骤S300，将获得的实时脸部图像输入预先训练好的AU分类模型，通过该AU分类模型的共享卷积网络及每个AU对应的卷积子网络输出从该实时脸部图像中识别出的与每个AU相关的人脸特征；

步骤S301，利用预先训练好的情绪模型获得AU分类模型输出的与每个AU相关的人脸特征，将与每种情绪最为相关的若干AU所提取的相应人脸特征进行合并，然后通过回归器得到对应情绪的程度数值，选取其中最大的数值对应的情绪作为该实时脸部图像的情绪标签。

9.如权利要求8所述的一种人脸情绪识别方法，其特征在于：于步骤S301中，所述情绪模型把与每种情绪对应的八种关联度高的AU相关联的人脸特征进行合并，然后通过7个回归器即得到7种情绪的程度数值，所述7种情绪包括但不限于开心、惊讶、生气、悲伤、恐惧、厌恶、自然。

10.一种电子装置，其特征在于，该电子装置包括：存储器、处理器及摄像装置，所述存储器中包括人脸情绪识别程序，所述人脸情绪识别程序被所述处理器执行时实现如下步骤：

获取实时脸部图像；

将获得的实时脸部图像输入预先训练好的人脸情绪识别模型，得到该实时脸部图像对应的各种情绪程度属性数值，选取其中最大的数值对应的情绪作为该实时脸部图像的情绪标签。