CN114821714A - 基于协同特征补全的有遮挡场景下的人脸表情识别方法 - Google Patents

Abstract

本发明属于数字图像处理技术领域，具体为一种基于协同特征补全的有遮挡场景下的人脸表情识别方法。本发明联合遮挡物抠除与特征补全来应对遮挡给表情识别带来的影响，具体步骤包括：使用遮挡物抠除模块检测并抠除人脸遮挡图像中的遮挡物；根据成对的无遮挡图像生成类别激活图以确定表情识别时具有判别性的区域；结合类别激活图与遮挡物位置掩码生成最终需要进行特征补全区域的掩码，在对应无遮挡图像中间特征图的指导下进行特征补全。实验结果表明，本发明能检测出破坏人脸完整性的遮挡物并识别该图像对应的表情类别。

Description

基于协同特征补全的有遮挡场景下的人脸表情识别方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种有遮挡场景下的人脸表情识别方法。

背景技术

面部表情是除语言之外，表达情感的最重要的工具之一。近年来，面部表情识别(FER)因在人机交互、心理健康评估等领域的广泛应用，受到计算机视觉界越来越多的关注。由于深度学习的发展和大型数据库的发布，研究人员在该领域取得了巨大的进展。然而，遮挡的普遍存在和干扰使得识别被遮挡的面部表情成为一项具有挑战性的任务。

为了应对遮挡，一些工作^[1,2,3]利用注意力机制来强调表情判别的关键区域(如眉毛、嘴巴等)并忽略有遮挡的区域。这些方法考虑到了遮挡物外观带来的模式干扰，未针对被覆盖区域的内容缺失给出解决方案。另一种解决方案是同时利用来自遮挡图像和非遮挡图像的信息，即通过对抗性学习^[4,5]强迫有遮挡图像的特征分布接近于无遮挡图像的特征分布。然而，此类方法中遮挡图像的特征分布由合成遮挡图像得到，与真实遮挡图像的特征分布存在差异。

考虑到现实世界中遮挡的复杂性和多样性，大多数遮挡表情识别算法均未显式地处理遮挡。本发明提供了一个新的基于协同特征补全的框架，首次将遮挡物抠除与特征补全结合用于有遮挡场景下的人脸表情的识别，能够检测并抠除有遮挡图像中的遮挡物，且能够在真实遮挡场景下识别人脸表情。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种协同特征补全的有遮挡场景下的人脸表情图像识别方法，对有遮挡的人脸表情图像进行遮挡检测与抠除，并借助成对的无遮挡图像的指导进行特征图补全及表情分类。

本发明提供的基于协同特征补全的有遮挡场景下的人脸表情识别方法，包括使用遮挡物抠除模块检测并抠除人脸遮挡图像中的遮挡物；根据成对的无遮挡图像生成类别激活图以确定表情识别时具有判别性的区域；结合类别激活图与遮挡物位置掩码生成最终需要进行特征补全区域的掩码，在对应无遮挡图像中间特征图的指导下进行特征补全；具体步骤为：

(1)构建无遮挡图像分类模块，作为整个网络的一个分支，仅在网络训练阶段使用，其作用在于：对无遮挡人脸表情图像进行分类，获取该图像属于不同类别的概率分布，确定对表情判别较为重要的区域以及为有遮挡图像特征补全及分类模块的特征补全提供指导；

(2)构建遮挡物抠除模块，用于检测并抠除人脸遮挡图像中的遮挡物；

(3)构建有遮挡图像特征补全及分类模块，作为整个网络的另一个分支，用于对抠除遮挡后的人脸表情图像进行特征补全和分类，获取该图像属于不同类别的概率分布；

步骤(1)中，所述无遮挡图像分类模块(分支)采用ResNet-50的结构，具体包括卷积层、全局平均池化层(GAP)和全连接层。其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征。C1 stage包含一个卷积层、批归一化层和ReLU激活函数，可以视作对输入图像的预处理；C2,C3,C4,C5 stage分别包含3、4、6、3个残差块。记C3 stage输出的中间层过渡特征为h_clean，C5 stage之后、全局平均池化层之前的特征图为f，全连接层对应的权值矩阵为w。该分支模块用于对输入的无遮挡人脸表情图像x_clean进行分类，获取该图像属于不同类别的概率分布

并生成该图像对应真实表情类别y_GT的类激活图CAM_yGT，具体表示为：

其中，

为全连接层对应权值矩阵中对应类别y_GT的第k个单元的取值；f_k(u,v)为特征图f在空间位置(u,v)处第k个单元的激活值；

对CAM_yGT进行上采样至h_clean大小并做最大最小归一化处理，得到CAM'_yGT，对其进行二值化，设定二值化阈值T_key，得到表情判别重要区域的二值掩码M_CAM：

其中，T_key为二值化阈值，通常设置为0.5；M_CAM中每个位置的像素值表示h_clean中对应位置的像素属于表情判别重要区域的概率值；

步骤(2)中，所述遮挡物抠除模块采用U-Net结构，包括3个卷积块、3个残差块和3个反卷积块。其中，每个卷积块包含一个卷积层、实例归一化层及ReLU激活函数；卷积层中步长为2，用于降低特征图分辨率。反卷积块中包含一个反卷积层、实例归一化层及ReLU激活函数，用于对特征图进行上采样。残差块由两个堆叠的基础卷积块和跳跃连接构成，其中每个基础卷积块包含一个卷积层、实例归一化层及ReLU激活函数；残差块不改变特征图分辨率。记有遮挡人脸表情图像为x_occ，将其输入该模块后得到一张与x_occ大小相同的掩码M_origin；对M_origin进行最大最小归一化处理，得到M_o'_rigin，设定二值化阈值T_mask，计算最终的二值掩码M_occ：

其中，二值化阈值T_mask，通常设置为0.5；M_occ为指示遮挡物位置及形状的二值掩码，其中每个位置的像素值表示原图中对应位置的像素不是遮挡物的概率。

然后，将有遮挡人脸表情图像x_occ与二值掩码M_occ做逐像素乘法，得到抠除遮挡物之后的人脸表情图像x_filter；

步骤(3)中，有遮挡图像特征补全及分类模块(分支)采用ResNet-50的结构，具体包括卷积层、全局平均池化层(GAP)和全连接层。其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征。C1 stage包含一个卷积层、批归一化层和ReLU激活函数，可以视作对输入图像的预处理；C2,C3,C4,C5stage分别包含3、4、6、3个残差块。记C3 stage输出的中间层过渡特征为h_occ。将抠除遮挡物之后的人脸表情图像x_filter作为该模块(分支)步骤输入，利用(1)给出的中间特征图h_clean、表情判别重要区域的二值掩码M_CAM和步骤(2)中给出的遮挡区域二值掩码M_occ，对x_filter进行特征补全和分类，获取该图像属于不同类别的概率分布

其中：

对抠除遮挡后的人脸表情图像x_filter进行特征补全的方法如下：

将遮挡物抠除模块生成的遮挡物掩码M_occ缩放至h_clean的大小，得到M'_occ，而后融合无遮挡图像分类模块生成的表情判别重要区域的掩码M_CAM与M'_occ，得到最终需要进行特征补全区域的二值掩码M_fuse：

M_fuse(x,y)＝M_o'_cc(x,y)|M_CAM(x,y)， (4)

其中，|表示逻辑或；

然后，利用二值掩码M_fuse确定特征补全区域，以无遮挡图像中间特征图h_clean指导有遮挡图像中间特征图h_occ的特征补全，对应的特征补全损失函数L_fc如下：

其中，

表示逐元素乘法。

进一步的，考虑到真实遮挡场景下收集人脸表情图像的困难，网络模型的训练基于合成的遮挡表情数据集进行。即，将收集到的遮挡物图像随机粘贴在无遮挡的人脸表情图像上，得到成对的有遮挡和无遮挡的人脸表情图像(x_occ,x_clean)以及指示遮挡物位置和形状的掩码M。

进一步的，网络模型的训练方法如下：

分为预训练和训练两部分；

预训练阶段，训练无遮挡图像分类模块和遮挡物抠除模块；对于无遮挡图像分类模块的约束为：

其中，CE(·)代表交叉熵损失函数；

对于遮挡物抠除模块的约束为：

L_ODM＝BCE(M_origin,M)+||M_origin,M||₁； (7)

二者训练完毕后参数被固定下来；

训练阶段，更新有遮挡图像特征补全及分类模块的参数，对该模块(分支)的约束除特征补全损失函数外，还有分类损失函数L_CE和语义一致性约束L_scc：

其中，CE(·)代表交叉熵损失函数；D_KL(·)代表KL散度；最终约束L_final由分类损失L_CE、语义一致性约束L_scc和特征补全损失数L_fc构成，具体为：

L_final＝L_fc+L_CE+L_scc， (10)。

进一步的，测试时图像分类方法如下：输入有遮挡的人脸表情图像x_occ，遮挡物抠除模块输出x_occ抠除遮挡物后的图像x_filter，而后将其送入有遮挡图像特征补全及分类模块，对x_filter的特征图进行补全并输出其所属类别标签。

本发明中的遮挡图像分类模块仅在训练阶段使用，设计其的目的在于指导有遮挡图像特征补全及分类模块学习特征补全。训练阶段结束后，有遮挡图像特征补全及分类模块已经具备了特征补全的能力。因此，在测试阶段，仅遮挡物抠除模块与有遮挡图像特征补全及分类模块被使用，即本发明无需成对的无遮挡图像作为输入、适用于真实遮挡场景下的人脸表情识别。

输入有遮挡图像后，只需经过一次前向传播，即可获得遮挡物抠除结果和人脸表情识别结果。

本发明的有益效果在于：本发明设计了一个特定于任务的端到端网络，将遮挡物抠除与特征补全结合起来用于真实场景下的人脸表情识别，能够抠除真实遮挡场景图像中的遮挡物并识别其对应表情。此外，考虑到遮挡物抠除模块与有遮挡图像特征补全及分类模块采用串联结构，本发明提出了基于无遮挡图像类激活图和遮挡物检测结果的特征补全策略，该策略可以有效降低特征补全对遮挡物抠除的依赖，确保即使在遮挡物抠除模块无法正确抠除遮挡物时、关键区域的特征也不会丢失。

附图说明

图1为本发明的网络结构图。

图2为使用本发明抠除遮挡图像中遮挡物的结果。

图3为使用本发明识别不同程度遮挡的人脸表情的结果。

具体实施方式

下面对本发明实施方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

首先收集真实场景下常见的遮挡物，将其粘贴在无遮挡的人脸表情图像上以模拟真实的遮挡场景，得到成对的人脸表情图像(有遮挡与无遮挡)以及指示遮挡物位置和形状的掩码。

本发明采用图1中的网络结构，用上述数据进行训练，获得人脸表情识别模型。

具体步骤为：

(1)用预训练的ResNet-50模型初始化无遮挡图像分类分支和有遮挡图像特征补全及分类分支的网络参数，将训练集中的图像调整到统一大小256×256。

(2)训练时，随机裁剪图像到224×224，并使用ImageNet数据集上统计得到的均值和方差对图像进行归一化；

首先进行无遮挡图像分类模块(分支)和遮挡物抠除模块的预训练。用无遮挡图像及其对应的标签训练无遮挡图像分类模块(分支)，最小化交叉熵损失函数；用生成的有遮挡图像及对应的掩码训练遮挡物抠除模块，最小化模块预测的掩码同真实掩码间的交叉熵与L1距离。二者训练完毕后固定其参数；

接着训练有遮挡图像特征补全及分类模块(分支)。更新该模块参数，最小化特征补全损失函数、分类损失函数及语义一致性约束损失，直至网络收敛。

(3)测试时，仅遮挡物抠除模块和有遮挡图像特征补全及分类模块(分支)被用到。将有遮挡图像调整大小到224×224，输入到训练好的遮挡物抠除模块得到抠除遮挡物后的图像，而后将其送入有遮挡图像特征补全及分类模块(分支)以补全特征图并得到最终的分类结果。

图2为本发明抠除遮挡图像中遮挡物的结果，从图中可以看到我们的发明能够较为准确地定位到真实遮挡场景中的遮挡物并将其去除；

图3为本发明在真实场景下面对不同程度遮挡时的预测结果，相较于在合成遮挡图像上训练得到的ResNet-50，我们的发明在遮挡程度较大的情况下仍能给出正确的分类结果。

参考文献

[1]Y.Li,J.Zeng,S.Shan,and X.Chen.2018.Occlusion aware facialexpression recognition using CNN with attention mechanism.IEEE Transactionson Image Processing(2018),1–1.

[2]K.Wang,X.Peng,J.Yang,D.Meng,and Y.Qiao.2020.Region AttentionNetworks for Pose and Occlusion Robust Facial Expression Recognition.IEEETransactions on ImageProcessing PP,99(2020),1–1.

[3]L.Yong,J.Zeng,S.Shan,and X.Chen.2018.Patch-Gated CNN forOcclusionaware Facial Expression Recognition.In 2018 24th InternationalConference on Pattern Recognition(ICPR).

[4]Bowen Pan,Shangfei Wang,and Bin Xia.2019.Occluded FacialExpression Recognition Enhanced through Privileged Information.In Proceedingsof the 27th ACM International Conference on Multimedia,MM 2019,Nice,France,October 21-25,2019,Laurent Amsaleg,Benoit Huet,Martha A.Larson,GuillaumeGravier,Hayley Hung,Chong-Wah Ngo,and Wei Tsang Ooi(Eds.).ACM,566–573.https:/doi.org/10.1145/3343031.3351049.

[5]Bin Xia and Shangfei Wang.2020.Occluded Facial ExpressionRecognition with Step-Wise Assistance from Unpaired Non-Occluded Images.InMM’20:The 28th ACM International Conference on Multimedia,Virtual Event/Seattle,WA,USA,October 12-16,2020,Chang Wen Chen,Rita Cucchiara,Xian-ShengHua,Guo-Jun Qi,Elisa Ricci,Zhengyou Zhang,and Roger Zimmermann(Eds.).ACM,2927–2935.https://doi.org/10.1145/3394171.3413773。

Claims (6)

1.一种基于协同特征补全的有遮挡场景下的人脸表情识别方法，其特征在于，包括：使用遮挡物抠除模块检测并抠除人脸遮挡图像中的遮挡物；根据成对的无遮挡图像生成类别激活图以确定表情识别时具有判别性的区域；结合类别激活图与遮挡物位置掩码生成最终需要进行特征补全区域的掩码，在对应无遮挡图像中间特征图的指导下进行特征补全；具体步骤为：

(1)构建无遮挡图像分类模块，作为整个网络的一个分支，仅在网络训练阶段使用，用于：对无遮挡人脸表情图像进行分类，获取该图像属于不同类别的概率分布，确定对表情判别较为重要的区域以及为有遮挡图像特征补全及分类模块的特征补全提供指导；

(2)构建遮挡物抠除模块，用于检测并抠除人脸遮挡图像中的遮挡物；

(3)构建有遮挡图像特征补全及分类模块，作为整个网络的另一个分支，用于对抠除遮挡后的人脸表情图像进行特征补全和分类，获取该图像属于不同类别的概率分布。

2.根据权利要求1所述的人脸表情识别方法，其特征在于，步骤(1)中，所述无遮挡图像分类模块采用ResNet-50的结构，具体包括卷积层、全局平均池化层(GAP)和全连接层；其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征；C1 stage包含一个卷积层、批归一化层和ReLU激活函数，用于对输入图像的预处理；C2,C3,C4,C5 stage分别包含3、4、6、3个残差块；记C3 stage输出的中间层过渡特征为h_clean，C5 stage之后、全局平均池化层之前的特征图为f，全连接层对应的权值矩阵为w；该分支模块用于对输入的无遮挡人脸表情图像x_clean进行分类，获取该图像属于不同类别的概率分布

并生成该图像对应真实表情类别y_GT的类激活图CAM_yGT，具体表示为：

其中，

为全连接层对应权值矩阵中对应类别y_GT的第k个单元的取值；f_k(u,v)为特征图f在空间位置(u,v)处第k个单元的激活值；

对CAM_yGT进行上采样至h_clean大小并做最大最小归一化处理，得到CAM'_yGT，对其进行二值化，设定二值化阈值T_key，得到表情判别重要区域的二值掩码M_CAM：

其中，T_key为二值化阈值；M_CAM中每个位置的像素值表示h_clean中对应位置的像素属于表情判别重要区域的概率值。

3.根据权利要求2所述的人脸表情识别方法，其特征在于，步骤(2)中所述遮挡物抠除模块采用U-Net结构，包括3个卷积块、3个残差块和3个反卷积块；其中，每个卷积块包含一个卷积层、实例归一化层及ReLU激活函数；卷积层中步长为2，用于降低特征图分辨率；反卷积块中包含一个反卷积层、实例归一化层及ReLU激活函数，用于对特征图进行上采样；残差块由两个堆叠的基础卷积块和跳跃连接构成，其中每个基础卷积块包含一个卷积层、实例归一化层及ReLU激活函数；残差块不改变特征图分辨率；记有遮挡人脸表情图像为x_occ，将其输入该模块后得到一张与x_occ大小相同的掩码M_origin；对M_origin进行最大最小归一化处理，得到M′_origin，设定二值化阈值T_mask，计算最终的二值掩码M_occ：

其中，M_occ为指示遮挡物位置及形状的二值掩码，其中每个位置的像素值表示原图中对应位置的像素不是遮挡物的概率；

然后，将有遮挡人脸表情图像x_occ与二值掩码M_occ做逐像素乘法，得到抠除遮挡物之后的人脸表情图像x_filter。

4.根据权利要求3所述的人脸表情识别方法，其特征在于，步骤(3)中所述有遮挡图像特征补全及分类模块采用ResNet-50的结构，具体包括卷积层、全局平均池化层(GAP)和全连接层；其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征；C1 stage包含一个卷积层、批归一化层和ReLU激活函数，用于对输入图像的预处理；C2,C3,C4,C5 stage分别包含3、4、6、3个残差块；记C3 stage输出的中间层过渡特征为h_occ；将抠除遮挡物之后的人脸表情图像x_filter作为该模块输入，结合步骤(1)给出的中间特征图h_clean、表情判别重要区域的二值掩码M_CAM和步骤(2)中给出的二值掩码M_occ对x_filter进行特征补全和分类，获取该图像属于不同类别的概率分布

其中：

对抠除遮挡后的人脸表情图像x_filter进行特征补全的方法如下：

将遮挡物抠除模块生成的遮挡物掩码M_occ缩放至h_clean的大小，得到M'_occ，而后融合无遮挡图像分类模块生成的表情判别重要区域的掩码M_CAM与M'_occ，得到最终需要进行特征补全区域的二值掩码M_fuse：

M_fuse(x,y)＝M′_occ(x,y)|M_CAM(x,y)， (4)

其中，|表示逻辑或；

然后，利用二值掩码M_fuse确定特征补全区域，以无遮挡图像中间特征图h_clean指导有遮挡图像中间特征图h_occ的特征补全，对应的特征补全损失函数如下：

其中，

表示逐元素乘法。

5.根据权利要求1-4之一所述的人脸表情识别方法，其特征在于，网络模型的训练基于合成的遮挡表情数据集进行，即将收集到的遮挡物图像随机粘贴在无遮挡的人脸表情图像上，得到成对的有遮挡和无遮挡的人脸表情图像(x_occ,x_clean)以及指示遮挡物位置和形状的掩码M；

网络模型的训练分为预训练和训练两部分；

预训练阶段，训练无遮挡图像分类模块和遮挡物抠除模块；对于无遮挡图像分类模块的约束为：

其中，CE(·)代表交叉熵损失函数；

对于遮挡物抠除模块的约束为：

L_ODM＝BCE(M_origin,M)+||M_origin,M||₁； (7)

二者训练完毕后参数被固定下来；

训练阶段，更新有遮挡图像特征补全及分类模块的参数，对该模块(分支)的约束除特征补全损失函数外，还有分类损失函数L_CE和语义一致性约束L_scc：

其中，CE(·)代表交叉熵损失函数；D_KL(·)代表KL散度；最终约束L_final由分类损失L_CE、语义一致性约束L_scc和特征补全损失数L_fc构成，具体为：

L_final＝L_fc+L_CE+L_scc， (10)。

6.根据权利要求5所述的人脸表情识别方法，其特征在于，测试时图像分类方法如下：输入有遮挡的人脸表情图像x_occ，遮挡物抠除模块输出x_occ抠除遮挡物后的图像x_filter，而后将其送入有遮挡图像特征补全及分类模块，对x_filter的特征图进行补全并输出其所属类别标签。

Images