CN110781760A - 一种基于空间注意的面部表情识别方法和装置 - Google Patents

Abstract

本发明公开了一种基于空间注意的面部表情识别方法和装置，通过获得空间注意模块；根据所述空间注意模块，搭建深度特征提取网络；在公开的自然面部表情数据集上训练所述深度特征提取网络，获得人脸表情识别模型；将目标人脸图像输入所述人脸表情识别模型进行识别。解决了现有技术中的面部表情特征提取中对局部细节特征提取不充分的技术问题，达到了在面部表情特征提取时加入了空间注意机制，可以自适应地学习面部特征在空间上权重分配，不仅可以加强面部表情中有鉴别信息区域的权重，还可以降低背景和无关区域的负面影响，提升面部表情识别结果的技术效果。

Description

一种基于空间注意的面部表情识别方法和装置

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种基于空间注意的 面部表情识别方法和装置。

背景技术

在人类人际交往中，通过面部表情传达的信息量达到了传递信息总 量的55％以上，这个比例要远高于通过语言传播的信息量。面部表情识别 作为人脸识别技术的重要组成部分，在人机交互、心理学研究、远程教 育管理、公共场所安全监控、电脑游戏、测谎仪、机器人制造、临床医 学及医疗、通信和车辆安全驾驶等领域都有着重要的应用需求。

现有的面部表情识别方法一般采用特征提取，然后通过对提取的特 征进行训练得到的分类器，进而得到最终的表情识别结果。特征提取是 面部表情识别中的关键一环。特征的提取方式有很多种，有传统的LBP、 Gabor、SIFT、FHOG等，也有各种深度学习模型，例如CNN、RNN、DBN等。 基于深度学习的特征提取方法则主要可分为基于整体的方法和基于局部 的方法。基于整体的方法是将面部整体处理，利用深度学习网络来提取 面部的特征；基于局部的方法则将面部分成几个区域(如眼角、嘴巴、 脸颊等区域)，然后分别对各个区域提取局部特征，然后特征融合。自然 场景中表情图像极易受到光照条件、头部姿势以及面部遮挡等背景环境 因素带来的影响。这些方法存在的问题有：一个是提取的特征多为传统手工设计特征或浅层学习特征，不能满足现实场景面部表情识别需求； 另一个是对局部细节特征提取不足。

发明内容

本发明提供了一种基于空间注意的面部表情识别方法和装置，用以 解决现有技术中的面部表情特征提取中对局部细节特征提取不充分的技 术问题。

鉴于上述问题，提出了本申请实施例以便提供一种基于空间注意的 面部表情识别方法和装置。

第一方面，本发明提供了一种基于空间注意的面部表情识别方法， 所述方法包括：获得空间注意模块；根据所述空间注意模块，搭建深度 特征提取网络；在公开的自然面部表情数据集上训练所述深度特征提取 网络，获得人脸表情识别模型；将目标人脸图像输入所述人脸表情识别 模型进行识别。

优选的，所述获得空间注意模块，包括：获得输入图像，将所述输 入图像的分辨率进行归一化；将归一化之后的输入图像进行特征融合， 获得第一融合特征；对所述第一融合特征进行全局平均池化操作，获得 第一统计量，所述第一统计量为所述归一化后的输入图像的局部描述其 的集合；对所述第一统计量进行激活，获得调制掩模；根据所述调制掩模Mark，获得调制结果；根据所述调制结果，利用残差连接获得空间注 意模块结果。

优选的，所述根据所述空间注意模块，搭建深度特征提取网络，包 括：输入图像通过所述空间注意模块获取空间关注特征图；将所述空间 关注图进行归一化，获得所述空间关注图归一化结果；将所述空间关注 图的归一化结果通过深度神经网络提取特征；根据所述特征，获得深度 特征提取网络。

优选的，所述将归一化之后的输入图像进行特征融合，获得第一融 合特征，包括：对归一化之后的输入图像进行卷积操作，所述卷积操作 为T＝F_tr(X；Θ)，公示定义为：

其中，X_c为输入X的第c通道；T_i为输出T的第i个通道；Θ_i,c为一个2D的卷积核。

优选的，所述对所述第一融合特征进行全局平均池化操作，获得第 一统计量，所述第一统计量的计算公式为：

其中，z为其统计表达整个图像的局部描述器的集合；c为通道的维 数；F_sq为信息压缩操作；T为卷积操作；T_i为输出T的第i个通道。

优选的，所述对所述第一统计量进行激活，获得调制掩模Mark，所 述调制掩模的计算公式为：

M＝σ(w₂δ(w₁z)),

其中，δ为ReLU激活函数；σ为sigmoid激活函数；W₁为具有参数 的降维层；W₂为维度增加层；其中，r为 缩减系数。

优选的，所述根据所述调制掩模，获得调制结果，所述调制结果是 图像信道Xc和调制掩模M之间的空间相乘的结果，其中

定义 为：

其中，

表示元素相乘；V_c为第c通道的调制结果；为通道的维数，X_C和V_C分别是相应的张量X和V的第c个通道。

优选的，所述根据所述调制结果，利用残差连接获得空间注意模块 结果，所述空间注意模块结果的计算公式为：

其中，

为所述空间注意模块结果；V为所述空间注意的特征图；X 为分辨率为H×W和C通道数的输入图像。

第二方面，本发明提供了一种基于空间注意的面部表情识别装置， 所述装置包括：

第一获得单元，所述第一获得单元用于获得空间注意模块；

第一搭建单元，所述第一搭建单元用于根据所述空间注意模块，搭 建深度特征提取网络；

第二获得单元，所述第二获得单元用于在公开的自然面部表情数据 集上训练所述深度特征提取网络，获得人脸表情识别模型；

第一识别单元，所述第一识别单元用于将目标人脸图像输入所述人 脸表情识别模型进行识别。

优选的，所述装置还包括

第三获得单元，所述第三获得单元用于获得输入图像，将所述输入 图像的分辨率进行归一化；

第四获得单元，所述第四获得单元用于将归一化之后的输入图像进 行特征融合，获得第一融合特征；

第五获得单元，所述第五获得单元用于对所述第一融合特征进行全 局平均池化操作，获得第一统计量，所述第一统计量为所述归一化后的 输入图像的局部描述其的集合；

第六获得单元，所述第六获得单元用于对所述第一统计量进行激活， 获得调制掩模；

第七获得单元，所述第七获得单元用于根据所述调制掩模Mark，获 得调制结果；

第八获得单元，所述第八获得单元用于根据所述调制结果，利用残 差连接获得空间注意模块结果。

优选的，所述装置还包括：

第一执行单元，所述第一执行单元用于输入图像通过所述空间注意 模块获取空间关注特征图；

第九获得单元，所述第九获得单元用于将所述空间关注图进行归一 化，获得所述空间关注图归一化结果；

第一提取单元，所述第一提取单元用于将所述空间关注图的归一化 结果通过深度神经网络提取特征；

第十获得单元，所述第十获得单元用于根据所述特征，获得深度特 征提取网络。

优选的，所述装置还包括：

第一操作单元，所述第一操作单元用于对归一化之后的输入图像进 行卷积操作，所述卷积操作为T＝F_tr(X；Θ)，公示定义为：

其中，X_c为输入X的第c通道；T_i为输出T的第i个通道；Θ_i,c为一个 2D的卷积核。

优选的，所述第一统计量的计算公式为：

其中，z为其统计表达整个图像的局部描述器的集合；c为通道的维 数；F_sq为信息压缩操作；T为卷积操作；T_i为输出T的第i个通道。

优选的，所述调制掩模的计算公式为：

M＝σ(w₂δ(w₁z)),

其中，δ为ReLU激活函数；σ为sigmoid激活函数；W₁为具有参数 的降维层；W₂为维度增加层；其中，r为 缩减系数。

优选的，所述调制结果是图像信道Xc和调制掩模M之间的空间相乘 的结果，其中

定义为：

其中，

表示元素相乘；V_c为第c通道的调制结果；为通道的维数，X_C和V_C分别是相应的张量X和V的第c个通道。

优选的，所述空间注意模块结果的计算公式为：

其中，

为所述空间注意模块结果；V为所述空间注意的特征图；X 为分辨率为H×W和C通道数的输入图像。

第三方面，本发明提供了一种基于空间注意的面部表情识别装置， 包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程 序，所述处理器执行所述程序时实现以下步骤：获得空间注意模块；根 据所述空间注意模块，搭建深度特征提取网络；在公开的自然面部表情 数据集上训练所述深度特征提取网络，获得人脸表情识别模型；将目标 人脸图像输入所述人脸表情识别模型进行识别。

本发明实施例中的上述一个或多个技术方案，至少具有如下一种或 多种技术效果：

本发明实施例提供的一种基于空间注意的面部表情识别方法和装 置，通过设计空间注意模块，然后将空间注意模块与深度神经网络级联 搭建深度特征提取网络，之后将深度特征提取网络和分类器组合深度网 络模型，在公开的面部表情数据集上训练该深度网络模型，得到人脸表 情识别模型，最后将目标人脸图像输入人脸表情识别模型进行识别。本 发明由于在面部表情特征提取时，加入了空间注意机制，因而可以自适 应地学习面部特征在空间上权重分配，不仅可以加强面部表情中有鉴别 信息区域的权重，还可以降低背景和无关区域的负面影响，提升面部表 情识别结果。从而解决了现有技术中的面部表情特征提取中对局部细节 特征提取不充分的技术问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明 的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上 述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实 施方式。

附图说明

图1为本发明实施例的一种基于空间注意的面部表情识别方法的流 程示意图；

图2为本发明实施例中搭建深度特征提取网络的过程示意图；

图3为本发明实施例中空间注意模块的设计示意图；

图4为本发明实施例中一种基于空间注意的面部表情识别装置的结 构示意图；

图5为本发明实施例中另一种基于空间注意的面部表情识别装置的 结构示意图。

附图标记说明：第一获得单元11，第一搭建单元12，第二获得单元 13，第一识别单元14，总线300，接收器301，处理器302，发送器303， 存储器304，总线接口306。

具体实施方式

本发明实施例提供了一种基于空间注意的面部表情识别方法和装 置，用以解决现有技术中的面部表情特征提取中对局部细节特征提取不 充分的技术问题。

本发明实施例中的技术方案，总体思路如下：

获得空间注意模块；根据所述空间注意模块，搭建深度特征提取网 络；在公开的自然面部表情数据集上训练所述深度特征提取网络，获得 人脸表情识别模型；将目标人脸图像输入所述人脸表情识别模型进行识 别。达到了在面部表情特征提取时加入了空间注意机制，可以自适应地 学习面部特征在空间上权重分配，不仅可以加强面部表情中有鉴别信息 区域的权重，还可以降低背景和无关区域的负面影响，提升面部表情识 别结果的技术效果。

应理解，本发明实施例中所述注意力机制(Attention Mechanism) 源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会 选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制 通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处 理能力，即敏锐度(Acuity)，只有视网膜中央凹部位具有最强的敏锐度。 为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特 定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读 取的词会被关注和处理。综上，注意力机制主要有两个方面：决定需要 关注输入的哪部分；分配有限的信息处理资源给重要的部分。

应理解，本发明实施例中所述掩膜(MASK)是指单片机掩膜是指程 序数据已经做成光刻版，在单片机生产的过程中把程序做进去。优点是： 程序可靠、成本低。缺点：批量要求大，每次修改程序就需要重新做光 刻板，不同程序不能同时生产，供货周期长。

应理解，本发明实施例中所述双线性插值，又称为双线性内插。在 数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心 思想是在两个方向分别进行一次线性插值。双线性插值作为数值分析中 的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面。

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应 当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详 细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申 请实施例以及实施例中的技术特征可以相互组合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示 可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在 A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后 关联对象是一种“或”的关系。

实施例一

图1为本发明实施例中一种基于空间注意的面部表情识别方法的流 程示意图，如图1所示，所述方法包括：

步骤10：获得空间注意模块。

步骤20：根据所述空间注意模块，搭建深度特征提取网络。

步骤30：在公开的自然面部表情数据集上训练所述深度特征提取网 络，获得人脸表情识别模型。

步骤40：将目标人脸图像输入所述人脸表情识别模型进行识别。

具体而言，首先设计空间注意模块；然后将空间注意模块与深度神 经网络级联搭建深度特征提取网络；之后将深度特征提取网络和分类器 组合深度网络模型，在公开的面部表情数据集上训练该深度网络模型， 得到人脸表情识别模型，即将搭建的深度网络模型在几个大规模自然表 情数据集，如FER2013、RAF-DB等，进行训练并进行测试，当训练损失不再下降且测试集上的结果不再提升，则完成网络模型训练；最后将目 标人脸图像输入人脸表情识别模型进行识别，目标人脸表情图像即为待 识别的人脸表情图像，将所述目标人脸表情图像输入人脸表情识别模型 进行识别，从而得到识别结果。本发明由于在面部表情特征提取时，加 入了空间注意机制，因而可以自适应地学习面部特征在空间上权重分配，不仅可以加强面部表情中有鉴别信息区域的权重，还可以降低背景和无 关区域的负面影响，提升面部表情识别结果。从而解决了现有技术中的 面部表情特征提取中对局部细节特征提取不充分的技术问题。

进一步的，所述获得空间注意模块，包括：获得输入图像，将所述 输入图像的分辨率进行归一化；将归一化之后的输入图像进行特征融合， 获得第一融合特征；对所述第一融合特征进行全局平均池化操作，获得 第一统计量，所述第一统计量为所述归一化后的输入图像的局部描述其 的集合；对所述第一统计量进行激活，获得调制掩模；根据所述调制掩 模Mark，获得调制结果；根据所述调制结果，利用残差连接获得空间注 意模块结果。

进一步的，所述将归一化之后的输入图像进行特征融合，获得第一 融合特征，包括：

对归一化之后的输入图像进行卷积操作，所述卷积操作为 T＝F_tr(X；Θ，公示定义为：

其中，X_c为输入X的第c通道；T_i为输出T的第i个通道；Θ_i,c为一个 2D的卷积核。

进一步的，所述对所述第一融合特征进行全局平均池化操作，获得 第一统计量，所述第一统计量的计算公式为：

其中，z为其统计表达整个图像的局部描述器的集合；c为通道的维 数；F_sq为信息压缩操作；T为卷积操作；T_i为输出T的第i个通道。

进一步的，所述对所述第一统计量进行激活，获得调制掩模Mark， 所述调制掩模的计算公式为：

M＝σ(w₂δ(w₁z)),

其中，δ为ReLU激活函数；σ为sigmoid激活函数；W₁为具有参数 的降维层；W₂为维度增加层；其中，

r为 缩减系数。

进一步的，所述根据所述调制掩模，获得调制结果，所述调制结果 是图像信道Xc和调制掩模M之间的空间相乘的结果，其中

定 义为：

其中，

表示元素相乘；V_C为第c通道的调制结果；为通道的维数，X_C和V_C分别是相应的张量X和V的第c个通道。

进一步的，所述根据所述调制结果，利用残差连接获得空间注意模 块结果，所述空间注意模块结果的计算公式为：

其中，

为所述空间注意模块结果；V为所述空间注意的特征图；X 为分辨率为H×W和C通道数的输入图像。

具体而言，设计空间注意模块的过程为：(1a)尺度归一化层将输入 图像分辨率归一化；(1b)特征转换层将图像特征融合；(1c)特征压缩 层将特征压缩到空域维度；(1d)参数化门控制单元控制激活程度；(1e) 获得调制掩模Mark；(1f)利用掩模Mark获取调制结果；(1g)利用残差 连接获取最终的空间注意结果。请参考图3所示，首先，为了整合空间注意的特征和原始图像的信息，我们要使用一个类似残差学习跳连接来构 造空间注意模块。确切的讲，空间注意模块是一个计算单元，它的定义 为：

其中

是最终输出，V是空间注意的特征图，X是一张分辨率为H×W和C 通道数的图像。然后掩模(Mark)和调制(Modulation)的分辨率与输 入相同，且一个是单通道，另一个是C通道数。调制是图像信道Xc和调制 掩模M之间的空间相乘的结果，其中调制的第c通道可以定义 为：

这里

表示元素相乘，c索引是通道的维数，X_C和V_C分别是相应的张量X 和V的第c个通道。之后，为了获取输入的自适应的调制的掩模M，我们 需要首先通过一个卷积核来提取输入特征。我们让图像通过一个转换层 F_tr，其中

表示一个转换的过程。如图3所示，其中Θ表 示要学习的卷积核的参数，则整个整个第c通道的转换层的操作T可以表 示为T＝F_tr(X；Θ)，用公式可以定义为：

其中的*表示卷积操作，X_c表示输入X的第c通道，T_i是输出T的第i个通 道，Θ_i,c表示一个2D的卷积核。我们的目标是确保网络可以增加它对有用 的特征的敏感度，这样它们就可以被后续的转换所利用，并且可以抑制 那些不太有用的特征信息。接着，我们提出一个压缩全局通道信息到一 个空间的描述器中的方法。这是使用了全局平均池化来生成空间上的统 计数据实现该过程。在形式上，通过通道维度上来压缩T来生成统计量z， 其中这里z可以由以下公式计算：

转换的输出z可以被解释为其统计表达整个图像的局部描述器的集合。在 实现过程中，我们采用了1×1的卷积操作算子来实现这个过程。

为了利用挤压操作F_sq(·)中汇总的信息，接下来是我们的第二个操作。 它的目的是为了完全捕获空间依赖性。我们使用了一个简单的门机制。 它采用了一个sigmoid激活函数σ(·)：

M＝σ(w₂δ(w₁z)),

其中δ是ReLU^]激活函数。因此激活Mask充当了自适应于特定的输入 描述器z的空间权重。在这方面，注意模块本质上引入了以输入为条件的 动态，有助于提高特征判别能力。为了限制模型的复杂性和帮助推广， 我们通过在非线性层两边使用了两个完全连接层的瓶颈来参数化门控机 制，即，一个具有参数的降维层W₁，一个ReLU，然后一个维度增加层W₂， 其中

r是一个缩减系数。在实验过程中， 在考虑计算复杂度和网络性能后，我们选定r＝32。

由于本发明在提取面部表情特征时，加入了空间注意机制，它可以 自适应地学习学习面部特征在空间上权重分配，使得网络模型可以加强 面部表情中有鉴别信息区域的权重，还可以降低背景和无关区域的负面 影响，提升微表情识别结果。同时在提取面部表情特征时，利用残差连 接的方式，同时考虑了面部整体特征和局部细节特征，体征提取更充分， 提高了识别结果。

进一步的，所述根据所述空间注意模块，搭建深度特征提取网络， 包括：输入图像通过所述空间注意模块获取空间关注特征图；将所述空 间关注图进行归一化，获得所述空间关注图归一化结果；将所述空间关 注图的归一化结果通过深度神经网络提取特征；根据所述特征，获得深 度特征提取网络。

具体而言，如图2所示，首先输入图像通过步骤10中的空间注意模 块获取空间关注特征图；然后通过尺度转换层归一化分辨率到299×299， 优选地这里采用了双线性插值的尺度归一化方法；再通过深度神经网络 提取特征，优选地，所述神经网络采用Inception-ResNet v2网络；最 后，提取的特征通过分类器得到识别结果，优选地，所述分类器为Softmax 分类器。由于在面部表情特征提取时，加入了空间注意机制，因而可以 自适应地学习面部特征在空间上权重分配，不仅可以加强面部表情中有 鉴别信息区域的权重，还可以降低背景和无关区域的负面影响，提升面 部表情识别结果。

实施例二

为了更好的介绍本发明的一种基于空间注意的面部表情识别方法的 技术特点和用途，下面将结合仿真实验对本发明的优点进行详细说明。

仿真内容：在本发明的仿真试验中，在CIFE和RAF-DB自然表情数 据集的训练集上，分别训练了该发明中的深度网络模型，并在测试集上 测试了本发明的表情识别结果。

仿真结果分析：本发明对于仿真的结果，选取识别准确率作为仿真结 果的评价准则。首先对该评价准则作进一步描述。测试集中正确被分类 的样本数量记为N，总样本数量记为S，因此准确率的计算公式为：

在本发明仿真实验得到的面部表情识别结果中，在 CIFE和RAF-DB数据集的测试集上分别取得了84.7％和86.64％的识别准确 率，超过了现存方法在这些数据集上的表现。

本发明使用的基于空间注意的面部表情识别方法与现有技术相比具 有以下优点：第一，由于本发明在提取面部表情特征时，加入了空间注 意机制，它可以自适应地学习学习面部特征在空间上权重分配，使得网 络模型可以加强面部表情中有鉴别信息区域的权重，还可以降低背景和 无关区域的负面影响，提升微表情识别结果。第二，由于本发明在提取 面部表情特征时，利用残差连接的方式，同时考虑了面部整体特征和局 部细节特征，体征提取更充分，提高了识别结果。

实施例三

基于与前述实施例中一种基于空间注意的面部表情识别方法同样的 发明构思，本发明还提供一种基于空间注意的面部表情识别装置，如图4 所示，所述装置包括：

第一获得单元11，所述第一获得单元11用于获得空间注意模块；

第一搭建单元12，所述第一搭建单元12用于根据所述空间注意模块， 搭建深度特征提取网络；

第二获得单元13，所述第二获得单元13用于在公开的自然面部表情 数据集上训练所述深度特征提取网络，获得人脸表情识别模型；

第一识别单元14，所述第一识别单元14用于将目标人脸图像输入所 述人脸表情识别模型进行识别。

进一步的，所述装置还包括

第三获得单元，所述第三获得单元用于获得输入图像，将所述输入 图像的分辨率进行归一化；

第四获得单元，所述第四获得单元用于将归一化之后的输入图像进 行特征融合，获得第一融合特征；

第五获得单元，所述第五获得单元用于对所述第一融合特征进行全 局平均池化操作，获得第一统计量，所述第一统计量为所述归一化后的 输入图像的局部描述其的集合；

第六获得单元，所述第六获得单元用于对所述第一统计量进行激活， 获得调制掩模；

第七获得单元，所述第七获得单元用于根据所述调制掩模Mark，获 得调制结果；

第八获得单元，所述第八获得单元用于根据所述调制结果，利用残 差连接获得空间注意模块结果。

进一步的，所述装置还包括：

第一执行单元，所述第一执行单元用于输入图像通过所述空间注意 模块获取空间关注特征图；

第九获得单元，所述第九获得单元用于将所述空间关注图进行归一 化，获得所述空间关注图归一化结果；

第一提取单元，所述第一提取单元用于将所述空间关注图的归一化 结果通过深度神经网络提取特征；

第十获得单元，所述第十获得单元用于根据所述特征，获得深度特 征提取网络。

进一步的，所述装置还包括：

第一操作单元，所述第一操作单元用于对归一化之后的输入图像进 行卷积操作，所述卷积操作为T＝F_tr(X；Θ)，公示定义为：

其中，X_c为输入X的第c通道；T_i为输出T的第i个通道；Θ_i,c为一个 2D的卷积核。

进一步的，所述第一统计量的计算公式为：

其中，z为其统计表达整个图像的局部描述器的集合；c为通道的维 数；F_sq为信息压缩操作；T为卷积操作；T_i为输出T的第i个通道。

进一步的，所述调制掩模的计算公式为：

M＝σ(w₂δ(w₁z)),

其中，δ为ReLU激活函数；σ为sigmoid激活函数；W₁为具有参数 的降维层；W₂为维度增加层；其中，

r为 缩减系数。

进一步的，所述调制结果是图像信道Xc和调制掩模M之间的空间相 乘的结果，其中

定义为：

其中，

表示元素相乘；V_C为第c通道的调制结果；为通道的维数，X_C和V_C分别是相应的张量X和V的第c个通道。

进一步的，所述空间注意模块结果的计算公式为：

其中，为所述空间注意模块结果；V为所述空间注意的特征图；X 为分辨率为H×W和C通道数的输入图像。

前述图1实施例一中的一种基于空间注意的面部表情识别方法的各 种变化方式和具体实例同样适用于本实施例的一种基于空间注意的面部 表情识别装置，通过前述对一种基于空间注意的面部表情识别方法的详 细描述，本领域技术人员可以清楚的知道本实施例中一种基于空间注意 的面部表情识别装置的实施方法，所以为了说明书的简洁，在此不再详 述。

实施例四

基于与前述实施例中一种基于空间注意的面部表情识别方法同样的 发明构思，本发明还提供一种基于空间注意的面部表情识别装置，其上 存储有计算机程序，该程序被处理器执行时实现前文所述一种基于空间 注意的面部表情识别方法的任一方法的步骤。

其中，在图5中，总线架构(用总线300来代表)，总线300可以包 括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一 个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总 线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其 他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进 行进一步描述。总线接口306在总线300和接收器301和发送器303之 间提供接口。接收器301和发送器303可以是同一个元件，即收发机， 提供用于在传输介质上与各种其他装置通信的单元。

处理器302负责管理总线300和通常的处理，而存储器304可以被 用于存储处理器302在执行操作时所使用的数据。

本发明实施例中的上述一个或多个技术方案，至少具有如下一种或 多种技术效果：

本发明实施例提供的一种基于空间注意的面部表情识别方法和装 置，通过设计空间注意模块，然后将空间注意模块与深度神经网络级联 搭建深度特征提取网络，之后将深度特征提取网络和分类器组合深度网 络模型，在公开的面部表情数据集上训练该深度网络模型，得到人脸表 情识别模型，最后将目标人脸图像输入人脸表情识别模型进行识别。本 发明由于在面部表情特征提取时，加入了空间注意机制，因而可以自适 应地学习面部特征在空间上权重分配，不仅可以加强面部表情中有鉴别 信息区域的权重，还可以降低背景和无关区域的负面影响，提升面部表 情识别结果。从而解决了现有技术中的面部表情特征提取中对局部细节 特征提取不充分的技术问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、 或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实 施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在 一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包 括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程 序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实 现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方 框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计 算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器 执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处 理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可 读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程 图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功 能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备 上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算 机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于 实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中 指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱 离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发 明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和 变型在内。

Claims (10)

1.一种基于空间注意的面部表情识别方法，其特征在于，所述方法包括：

获得空间注意模块；

根据所述空间注意模块，搭建深度特征提取网络；

在公开的自然面部表情数据集上训练所述深度特征提取网络，获得人脸表情识别模型；

将目标人脸图像输入所述人脸表情识别模型进行识别。

2.如权利要求1所述的方法，其特征在于，所述获得空间注意模块，包括：

获得输入图像，将所述输入图像的分辨率进行归一化；

将归一化之后的输入图像进行特征融合，获得第一融合特征；

对所述第一融合特征进行全局平均池化操作，获得第一统计量，所述第一统计量为所述归一化后的输入图像的局部描述其的集合；

对所述第一统计量进行激活，获得调制掩模；

根据所述调制掩模Mark，获得调制结果；

根据所述调制结果，利用残差连接获得空间注意模块结果。

3.如权利要求1所述的方法，其特征在于，所述根据所述空间注意模块，搭建深度特征提取网络，包括：

输入图像通过所述空间注意模块获取空间关注特征图；

将所述空间关注图进行归一化，获得所述空间关注图归一化结果；

将所述空间关注图的归一化结果通过深度神经网络提取特征；

根据所述特征，获得深度特征提取网络。

4.权利要求2所述的方法，其特征在于，所述将归一化之后的输入图像进行特征融合，获得第一融合特征，包括：

对归一化之后的输入图像进行卷积操作，所述卷积操作为T＝F_tr(X；Θ)，公示定义为：

其中，X_c为输入X的第c通道；T_i为输出T的第i个通道；Θ_i,c为一个2D的卷积核。

5.如权利要求2所述的方法，其特征在于，所述对所述第一融合特征进行全局平均池化操作，获得第一统计量，所述第一统计量的计算公式为：

其中，z为其统计表达整个图像的局部描述器的集合；c为通道的维数；F_sq为信息压缩操作；T为卷积操作；T_i为输出T的第i个通道。

6.如权利要求2所述的方法，其特征在于，所述对所述第一统计量进行激活，获得调制掩模Mark，所述调制掩模的计算公式为：

M＝σ(w₂δ(w₁z)),

其中，δ为ReLU激活函数；σ为sigmoid激活函数；W₁为具有参数的降维层；W₂为维度增加层；其中，

r为缩减系数。

7.如权利要求2所述的方法，其特征在于，所述根据所述调制掩模，获得调制结果，所述调制结果是图像信道Xc和调制掩模M之间的空间相乘的结果，其中

定义为：

其中，

表示元素相乘；V_c为第c通道的调制结果；为通道的维数，X_C和V_C分别是相应的张量X和V的第c个通道。

8.如权利要求2所述的方法，其特征在于，所述根据所述调制结果，利用残差连接获得空间注意模块结果，所述空间注意模块结果的计算公式为：

其中，

为所述空间注意模块结果；V为所述空间注意的特征图；X为分辨率为H×W和C通道数的输入图像。

9.一种基于空间注意的面部表情识别装置，其特征在于，所述装置包括：

第一获得单元，所述第一获得单元用于获得空间注意模块；

第一搭建单元，所述第一搭建单元用于根据所述空间注意模块，搭建深度特征提取网络；

第二获得单元，所述第二获得单元用于在公开的自然面部表情数据集上训练所述深度特征提取网络，获得人脸表情识别模型；

第一识别单元，所述第一识别单元用于将目标人脸图像输入所述人脸表情识别模型进行识别。

10.一种基于空间注意的面部表情识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

获得空间注意模块；

根据所述空间注意模块，搭建深度特征提取网络；

在公开的自然面部表情数据集上训练所述深度特征提取网络，获得人脸表情识别模型；

将目标人脸图像输入所述人脸表情识别模型进行识别。

Images