CN114821714A - 基于协同特征补全的有遮挡场景下的人脸表情识别方法 - Google Patents
基于协同特征补全的有遮挡场景下的人脸表情识别方法 Download PDFInfo
- Publication number
- CN114821714A CN114821714A CN202210370651.4A CN202210370651A CN114821714A CN 114821714 A CN114821714 A CN 114821714A CN 202210370651 A CN202210370651 A CN 202210370651A CN 114821714 A CN114821714 A CN 114821714A
- Authority
- CN
- China
- Prior art keywords
- image
- shielding
- occ
- module
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000014509 gene expression Effects 0.000 claims abstract description 25
- 230000004913 activation Effects 0.000 claims abstract description 21
- 208000006440 Open Bite Diseases 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000004888 barrier function Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 2
- UEJYSALTSUZXFV-SRVKXCTJSA-N Rigin Chemical compound NCC(=O)N[C@@H](CCC(N)=O)C(=O)N1CCC[C@H]1C(=O)N[C@@H](CCCN=C(N)N)C(O)=O UEJYSALTSUZXFV-SRVKXCTJSA-N 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 108010091078 rigin Proteins 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于数字图像处理技术领域，具体为一种基于协同特征补全的有遮挡场景下的人脸表情识别方法。本发明联合遮挡物抠除与特征补全来应对遮挡给表情识别带来的影响，具体步骤包括：使用遮挡物抠除模块检测并抠除人脸遮挡图像中的遮挡物；根据成对的无遮挡图像生成类别激活图以确定表情识别时具有判别性的区域；结合类别激活图与遮挡物位置掩码生成最终需要进行特征补全区域的掩码，在对应无遮挡图像中间特征图的指导下进行特征补全。实验结果表明，本发明能检测出破坏人脸完整性的遮挡物并识别该图像对应的表情类别。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及一种有遮挡场景下的人脸表情识别方法。
背景技术
面部表情是除语言之外，表达情感的最重要的工具之一。近年来，面部表情识别(FER)因在人机交互、心理健康评估等领域的广泛应用，受到计算机视觉界越来越多的关注。由于深度学习的发展和大型数据库的发布，研究人员在该领域取得了巨大的进展。然而，遮挡的普遍存在和干扰使得识别被遮挡的面部表情成为一项具有挑战性的任务。
为了应对遮挡，一些工作[1,2,3]利用注意力机制来强调表情判别的关键区域(如眉毛、嘴巴等)并忽略有遮挡的区域。这些方法考虑到了遮挡物外观带来的模式干扰，未针对被覆盖区域的内容缺失给出解决方案。另一种解决方案是同时利用来自遮挡图像和非遮挡图像的信息，即通过对抗性学习[4,5]强迫有遮挡图像的特征分布接近于无遮挡图像的特征分布。然而，此类方法中遮挡图像的特征分布由合成遮挡图像得到，与真实遮挡图像的特征分布存在差异。
考虑到现实世界中遮挡的复杂性和多样性，大多数遮挡表情识别算法均未显式地处理遮挡。本发明提供了一个新的基于协同特征补全的框架，首次将遮挡物抠除与特征补全结合用于有遮挡场景下的人脸表情的识别，能够检测并抠除有遮挡图像中的遮挡物，且能够在真实遮挡场景下识别人脸表情。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种协同特征补全的有遮挡场景下的人脸表情图像识别方法，对有遮挡的人脸表情图像进行遮挡检测与抠除，并借助成对的无遮挡图像的指导进行特征图补全及表情分类。
本发明提供的基于协同特征补全的有遮挡场景下的人脸表情识别方法，包括使用遮挡物抠除模块检测并抠除人脸遮挡图像中的遮挡物；根据成对的无遮挡图像生成类别激活图以确定表情识别时具有判别性的区域；结合类别激活图与遮挡物位置掩码生成最终需要进行特征补全区域的掩码，在对应无遮挡图像中间特征图的指导下进行特征补全；具体步骤为：
(1)构建无遮挡图像分类模块，作为整个网络的一个分支，仅在网络训练阶段使用，其作用在于：对无遮挡人脸表情图像进行分类，获取该图像属于不同类别的概率分布，确定对表情判别较为重要的区域以及为有遮挡图像特征补全及分类模块的特征补全提供指导；
(2)构建遮挡物抠除模块，用于检测并抠除人脸遮挡图像中的遮挡物；
(3)构建有遮挡图像特征补全及分类模块，作为整个网络的另一个分支，用于对抠除遮挡后的人脸表情图像进行特征补全和分类，获取该图像属于不同类别的概率分布；
步骤(1)中，所述无遮挡图像分类模块(分支)采用ResNet-50的结构，具体包括卷积层、全局平均池化层(GAP)和全连接层。其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征。C1 stage包含一个卷积层、批归一化层和ReLU激活函数，可以视作对输入图像的预处理；C2,C3,C4,C5 stage分别包含3、4、6、3个残差块。记C3 stage输出的中间层过渡特征为hclean，C5 stage之后、全局平均池化层之前的特征图为f，全连接层对应的权值矩阵为w。该分支模块用于对输入的无遮挡人脸表情图像xclean进行分类，获取该图像属于不同类别的概率分布
并生成该图像对应真实表情类别yGT的类激活图CAMyGT，具体表示为：
其中，
为全连接层对应权值矩阵中对应类别yGT的第k个单元的取值；fk(u,v)为特征图f在空间位置(u,v)处第k个单元的激活值；
对CAMyGT进行上采样至hclean大小并做最大最小归一化处理，得到CAM'yGT，对其进行二值化，设定二值化阈值Tkey，得到表情判别重要区域的二值掩码MCAM：
其中，Tkey为二值化阈值，通常设置为0.5；MCAM中每个位置的像素值表示hclean中对应位置的像素属于表情判别重要区域的概率值；
步骤(2)中，所述遮挡物抠除模块采用U-Net结构，包括3个卷积块、3个残差块和3个反卷积块。其中，每个卷积块包含一个卷积层、实例归一化层及ReLU激活函数；卷积层中步长为2，用于降低特征图分辨率。反卷积块中包含一个反卷积层、实例归一化层及ReLU激活函数，用于对特征图进行上采样。残差块由两个堆叠的基础卷积块和跳跃连接构成，其中每个基础卷积块包含一个卷积层、实例归一化层及ReLU激活函数；残差块不改变特征图分辨率。记有遮挡人脸表情图像为xocc，将其输入该模块后得到一张与xocc大小相同的掩码Morigin；对Morigin进行最大最小归一化处理，得到Mo'rigin，设定二值化阈值Tmask，计算最终的二值掩码Mocc：
其中，二值化阈值Tmask，通常设置为0.5；Mocc为指示遮挡物位置及形状的二值掩码，其中每个位置的像素值表示原图中对应位置的像素不是遮挡物的概率。
然后，将有遮挡人脸表情图像xocc与二值掩码Mocc做逐像素乘法，得到抠除遮挡物之后的人脸表情图像xfilter；
步骤(3)中，有遮挡图像特征补全及分类模块(分支)采用ResNet-50的结构，具体包括卷积层、全局平均池化层(GAP)和全连接层。其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征。C1 stage包含一个卷积层、批归一化层和ReLU激活函数，可以视作对输入图像的预处理；C2,C3,C4,C5stage分别包含3、4、6、3个残差块。记C3 stage输出的中间层过渡特征为hocc。将抠除遮挡物之后的人脸表情图像xfilter作为该模块(分支)步骤输入，利用(1)给出的中间特征图hclean、表情判别重要区域的二值掩码MCAM和步骤(2)中给出的遮挡区域二值掩码Mocc，对xfilter进行特征补全和分类，获取该图像属于不同类别的概率分布
其中：
对抠除遮挡后的人脸表情图像xfilter进行特征补全的方法如下：
将遮挡物抠除模块生成的遮挡物掩码Mocc缩放至hclean的大小，得到M'occ，而后融合无遮挡图像分类模块生成的表情判别重要区域的掩码MCAM与M'occ，得到最终需要进行特征补全区域的二值掩码Mfuse：
Mfuse(x,y)＝Mo'cc(x,y)|MCAM(x,y)， (4)
其中，|表示逻辑或；
然后，利用二值掩码Mfuse确定特征补全区域，以无遮挡图像中间特征图hclean指导有遮挡图像中间特征图hocc的特征补全，对应的特征补全损失函数Lfc如下：
其中，
表示逐元素乘法。
进一步的，考虑到真实遮挡场景下收集人脸表情图像的困难，网络模型的训练基于合成的遮挡表情数据集进行。即，将收集到的遮挡物图像随机粘贴在无遮挡的人脸表情图像上，得到成对的有遮挡和无遮挡的人脸表情图像(xocc,xclean)以及指示遮挡物位置和形状的掩码M。
进一步的，网络模型的训练方法如下：
分为预训练和训练两部分；
预训练阶段，训练无遮挡图像分类模块和遮挡物抠除模块；对于无遮挡图像分类模块的约束为：
其中，CE(·)代表交叉熵损失函数；
对于遮挡物抠除模块的约束为：
LODM＝BCE(Morigin,M)+||Morigin,M||1； (7)
二者训练完毕后参数被固定下来；
训练阶段，更新有遮挡图像特征补全及分类模块的参数，对该模块(分支)的约束除特征补全损失函数外，还有分类损失函数LCE和语义一致性约束Lscc：
其中，CE(·)代表交叉熵损失函数；DKL(·)代表KL散度；最终约束Lfinal由分类损失LCE、语义一致性约束Lscc和特征补全损失数Lfc构成，具体为：
Lfinal＝Lfc+LCE+Lscc， (10)。
进一步的，测试时图像分类方法如下：输入有遮挡的人脸表情图像xocc，遮挡物抠除模块输出xocc抠除遮挡物后的图像xfilter，而后将其送入有遮挡图像特征补全及分类模块，对xfilter的特征图进行补全并输出其所属类别标签。
本发明中的遮挡图像分类模块仅在训练阶段使用，设计其的目的在于指导有遮挡图像特征补全及分类模块学习特征补全。训练阶段结束后，有遮挡图像特征补全及分类模块已经具备了特征补全的能力。因此，在测试阶段，仅遮挡物抠除模块与有遮挡图像特征补全及分类模块被使用，即本发明无需成对的无遮挡图像作为输入、适用于真实遮挡场景下的人脸表情识别。
输入有遮挡图像后，只需经过一次前向传播，即可获得遮挡物抠除结果和人脸表情识别结果。
本发明的有益效果在于：本发明设计了一个特定于任务的端到端网络，将遮挡物抠除与特征补全结合起来用于真实场景下的人脸表情识别，能够抠除真实遮挡场景图像中的遮挡物并识别其对应表情。此外，考虑到遮挡物抠除模块与有遮挡图像特征补全及分类模块采用串联结构，本发明提出了基于无遮挡图像类激活图和遮挡物检测结果的特征补全策略，该策略可以有效降低特征补全对遮挡物抠除的依赖，确保即使在遮挡物抠除模块无法正确抠除遮挡物时、关键区域的特征也不会丢失。
附图说明
图1为本发明的网络结构图。
图2为使用本发明抠除遮挡图像中遮挡物的结果。
图3为使用本发明识别不同程度遮挡的人脸表情的结果。
具体实施方式
下面对本发明实施方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
首先收集真实场景下常见的遮挡物，将其粘贴在无遮挡的人脸表情图像上以模拟真实的遮挡场景，得到成对的人脸表情图像(有遮挡与无遮挡)以及指示遮挡物位置和形状的掩码。
本发明采用图1中的网络结构，用上述数据进行训练，获得人脸表情识别模型。
具体步骤为：
(1)用预训练的ResNet-50模型初始化无遮挡图像分类分支和有遮挡图像特征补全及分类分支的网络参数，将训练集中的图像调整到统一大小256×256。
(2)训练时，随机裁剪图像到224×224，并使用ImageNet数据集上统计得到的均值和方差对图像进行归一化；
首先进行无遮挡图像分类模块(分支)和遮挡物抠除模块的预训练。用无遮挡图像及其对应的标签训练无遮挡图像分类模块(分支)，最小化交叉熵损失函数；用生成的有遮挡图像及对应的掩码训练遮挡物抠除模块，最小化模块预测的掩码同真实掩码间的交叉熵与L1距离。二者训练完毕后固定其参数；
接着训练有遮挡图像特征补全及分类模块(分支)。更新该模块参数，最小化特征补全损失函数、分类损失函数及语义一致性约束损失，直至网络收敛。
(3)测试时，仅遮挡物抠除模块和有遮挡图像特征补全及分类模块(分支)被用到。将有遮挡图像调整大小到224×224，输入到训练好的遮挡物抠除模块得到抠除遮挡物后的图像，而后将其送入有遮挡图像特征补全及分类模块(分支)以补全特征图并得到最终的分类结果。
图2为本发明抠除遮挡图像中遮挡物的结果，从图中可以看到我们的发明能够较为准确地定位到真实遮挡场景中的遮挡物并将其去除；
图3为本发明在真实场景下面对不同程度遮挡时的预测结果，相较于在合成遮挡图像上训练得到的ResNet-50，我们的发明在遮挡程度较大的情况下仍能给出正确的分类结果。
参考文献
[1]Y.Li,J.Zeng,S.Shan,and X.Chen.2018.Occlusion aware facialexpression recognition using CNN with attention mechanism.IEEE Transactionson Image Processing(2018),1–1.
[2]K.Wang,X.Peng,J.Yang,D.Meng,and Y.Qiao.2020.Region AttentionNetworks for Pose and Occlusion Robust Facial Expression Recognition.IEEETransactions on ImageProcessing PP,99(2020),1–1.
[3]L.Yong,J.Zeng,S.Shan,and X.Chen.2018.Patch-Gated CNN forOcclusionaware Facial Expression Recognition.In 2018 24th InternationalConference on Pattern Recognition(ICPR).
[4]Bowen Pan,Shangfei Wang,and Bin Xia.2019.Occluded FacialExpression Recognition Enhanced through Privileged Information.In Proceedingsof the 27th ACM International Conference on Multimedia,MM 2019,Nice,France,October 21-25,2019,Laurent Amsaleg,Benoit Huet,Martha A.Larson,GuillaumeGravier,Hayley Hung,Chong-Wah Ngo,and Wei Tsang Ooi(Eds.).ACM,566–573.https:/doi.org/10.1145/3343031.3351049.
[5]Bin Xia and Shangfei Wang.2020.Occluded Facial ExpressionRecognition with Step-Wise Assistance from Unpaired Non-Occluded Images.InMM’20:The 28th ACM International Conference on Multimedia,Virtual Event/Seattle,WA,USA,October 12-16,2020,Chang Wen Chen,Rita Cucchiara,Xian-ShengHua,Guo-Jun Qi,Elisa Ricci,Zhengyou Zhang,and Roger Zimmermann(Eds.).ACM,2927–2935.https://doi.org/10.1145/3394171.3413773。
Claims (6)
1.一种基于协同特征补全的有遮挡场景下的人脸表情识别方法，其特征在于，包括：使用遮挡物抠除模块检测并抠除人脸遮挡图像中的遮挡物；根据成对的无遮挡图像生成类别激活图以确定表情识别时具有判别性的区域；结合类别激活图与遮挡物位置掩码生成最终需要进行特征补全区域的掩码，在对应无遮挡图像中间特征图的指导下进行特征补全；具体步骤为：
(1)构建无遮挡图像分类模块，作为整个网络的一个分支，仅在网络训练阶段使用，用于：对无遮挡人脸表情图像进行分类，获取该图像属于不同类别的概率分布，确定对表情判别较为重要的区域以及为有遮挡图像特征补全及分类模块的特征补全提供指导；
(2)构建遮挡物抠除模块，用于检测并抠除人脸遮挡图像中的遮挡物；
(3)构建有遮挡图像特征补全及分类模块，作为整个网络的另一个分支，用于对抠除遮挡后的人脸表情图像进行特征补全和分类，获取该图像属于不同类别的概率分布。
2.根据权利要求1所述的人脸表情识别方法，其特征在于，步骤(1)中，所述无遮挡图像分类模块采用ResNet-50的结构，具体包括卷积层、全局平均池化层(GAP)和全连接层；其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征；C1 stage包含一个卷积层、批归一化层和ReLU激活函数，用于对输入图像的预处理；C2,C3,C4,C5 stage分别包含3、4、6、3个残差块；记C3 stage输出的中间层过渡特征为hclean，C5 stage之后、全局平均池化层之前的特征图为f，全连接层对应的权值矩阵为w；该分支模块用于对输入的无遮挡人脸表情图像xclean进行分类，获取该图像属于不同类别的概率分布
并生成该图像对应真实表情类别yGT的类激活图CAMyGT，具体表示为：
其中，
为全连接层对应权值矩阵中对应类别yGT的第k个单元的取值；fk(u,v)为特征图f在空间位置(u,v)处第k个单元的激活值；
对CAMyGT进行上采样至hclean大小并做最大最小归一化处理，得到CAM'yGT，对其进行二值化，设定二值化阈值Tkey，得到表情判别重要区域的二值掩码MCAM：
其中，Tkey为二值化阈值；MCAM中每个位置的像素值表示hclean中对应位置的像素属于表情判别重要区域的概率值。
3.根据权利要求2所述的人脸表情识别方法，其特征在于，步骤(2)中所述遮挡物抠除模块采用U-Net结构，包括3个卷积块、3个残差块和3个反卷积块；其中，每个卷积块包含一个卷积层、实例归一化层及ReLU激活函数；卷积层中步长为2，用于降低特征图分辨率；反卷积块中包含一个反卷积层、实例归一化层及ReLU激活函数，用于对特征图进行上采样；残差块由两个堆叠的基础卷积块和跳跃连接构成，其中每个基础卷积块包含一个卷积层、实例归一化层及ReLU激活函数；残差块不改变特征图分辨率；记有遮挡人脸表情图像为xocc，将其输入该模块后得到一张与xocc大小相同的掩码Morigin；对Morigin进行最大最小归一化处理，得到M′origin，设定二值化阈值Tmask，计算最终的二值掩码Mocc：
其中，Mocc为指示遮挡物位置及形状的二值掩码，其中每个位置的像素值表示原图中对应位置的像素不是遮挡物的概率；
然后，将有遮挡人脸表情图像xocc与二值掩码Mocc做逐像素乘法，得到抠除遮挡物之后的人脸表情图像xfilter。
4.根据权利要求3所述的人脸表情识别方法，其特征在于，步骤(3)中所述有遮挡图像特征补全及分类模块采用ResNet-50的结构，具体包括卷积层、全局平均池化层(GAP)和全连接层；其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征；C1 stage包含一个卷积层、批归一化层和ReLU激活函数，用于对输入图像的预处理；C2,C3,C4,C5 stage分别包含3、4、6、3个残差块；记C3 stage输出的中间层过渡特征为hocc；将抠除遮挡物之后的人脸表情图像xfilter作为该模块输入，结合步骤(1)给出的中间特征图hclean、表情判别重要区域的二值掩码MCAM和步骤(2)中给出的二值掩码Mocc对xfilter进行特征补全和分类，获取该图像属于不同类别的概率分布
其中：
对抠除遮挡后的人脸表情图像xfilter进行特征补全的方法如下：
将遮挡物抠除模块生成的遮挡物掩码Mocc缩放至hclean的大小，得到M'occ，而后融合无遮挡图像分类模块生成的表情判别重要区域的掩码MCAM与M'occ，得到最终需要进行特征补全区域的二值掩码Mfuse：
Mfuse(x,y)＝M′occ(x,y)|MCAM(x,y)， (4)
其中，|表示逻辑或；
然后，利用二值掩码Mfuse确定特征补全区域，以无遮挡图像中间特征图hclean指导有遮挡图像中间特征图hocc的特征补全，对应的特征补全损失函数如下：
其中，
表示逐元素乘法。
5.根据权利要求1-4之一所述的人脸表情识别方法，其特征在于，网络模型的训练基于合成的遮挡表情数据集进行，即将收集到的遮挡物图像随机粘贴在无遮挡的人脸表情图像上，得到成对的有遮挡和无遮挡的人脸表情图像(xocc,xclean)以及指示遮挡物位置和形状的掩码M；
网络模型的训练分为预训练和训练两部分；
预训练阶段，训练无遮挡图像分类模块和遮挡物抠除模块；对于无遮挡图像分类模块的约束为：
其中，CE(·)代表交叉熵损失函数；
对于遮挡物抠除模块的约束为：
LODM＝BCE(Morigin,M)+||Morigin,M||1； (7)
二者训练完毕后参数被固定下来；
训练阶段，更新有遮挡图像特征补全及分类模块的参数，对该模块(分支)的约束除特征补全损失函数外，还有分类损失函数LCE和语义一致性约束Lscc：
其中，CE(·)代表交叉熵损失函数；DKL(·)代表KL散度；最终约束Lfinal由分类损失LCE、语义一致性约束Lscc和特征补全损失数Lfc构成，具体为：
Lfinal＝Lfc+LCE+Lscc， (10)。
6.根据权利要求5所述的人脸表情识别方法，其特征在于，测试时图像分类方法如下：输入有遮挡的人脸表情图像xocc，遮挡物抠除模块输出xocc抠除遮挡物后的图像xfilter，而后将其送入有遮挡图像特征补全及分类模块，对xfilter的特征图进行补全并输出其所属类别标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210370651.4A CN114821714A (zh) | 2022-04-10 | 2022-04-10 | 基于协同特征补全的有遮挡场景下的人脸表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210370651.4A CN114821714A (zh) | 2022-04-10 | 2022-04-10 | 基于协同特征补全的有遮挡场景下的人脸表情识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114821714A true CN114821714A (zh) | 2022-07-29 |
Family
ID=82534663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210370651.4A Pending CN114821714A (zh) | 2022-04-10 | 2022-04-10 | 基于协同特征补全的有遮挡场景下的人脸表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114821714A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311553A (zh) * | 2023-05-17 | 2023-06-23 | 武汉利楚商务服务有限公司 | 应用于半遮挡图像下的人脸活体检测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
| WO2021139171A1 (zh) * | 2020-07-28 | 2021-07-15 | 平安科技（深圳）有限公司 | 人脸增强识别方法、装置、设备及存储介质 |
| CN113688715A (zh) * | 2021-08-18 | 2021-11-23 | 山东海量信息技术研究院 | 面部表情识别方法及系统 |
| CN114299590A (zh) * | 2021-12-31 | 2022-04-08 | 中国科学技术大学 | 人脸补全模型的训练方法、人脸补全方法及系统 |
-
2022
- 2022-04-10 CN CN202210370651.4A patent/CN114821714A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
| WO2021139171A1 (zh) * | 2020-07-28 | 2021-07-15 | 平安科技（深圳）有限公司 | 人脸增强识别方法、装置、设备及存储介质 |
| CN113688715A (zh) * | 2021-08-18 | 2021-11-23 | 山东海量信息技术研究院 | 面部表情识别方法及系统 |
| CN114299590A (zh) * | 2021-12-31 | 2022-04-08 | 中国科学技术大学 | 人脸补全模型的训练方法、人脸补全方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| ZHEN XING: "《Co-Completion for Occluded Facial Expression Recognition》", 《ACM MULTIMEDIA COMPUTER SCIENCE》, 10 October 2022 (2022-10-10) * |
| 冉清;冯结青;: "人体前景的自动抠图算法", 计算机辅助设计与图形学学报, no. 02, 15 February 2020 (2020-02-15) * |
| 武文杰;王红蕾;: "对遮挡人脸修复识别的改进与应用", 软件, no. 05, 15 May 2020 (2020-05-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311553A (zh) * | 2023-05-17 | 2023-06-23 | 武汉利楚商务服务有限公司 | 应用于半遮挡图像下的人脸活体检测方法及装置 |
| CN116311553B (zh) * | 2023-05-17 | 2023-08-15 | 武汉利楚商务服务有限公司 | 应用于半遮挡图像下的人脸活体检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN109815919B (zh) | 一种人群计数方法、网络、系统和电子设备 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN112967243A (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| CN112699786B (zh) | 一种基于空间增强模块的视频行为识别方法及系统 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN112991278A (zh) | RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统 | |
| CN112465700B (zh) | 一种基于深度聚类的图像拼接定位装置及方法 | |
| CN112183240A (zh) | 一种基于3d时间流和并行空间流的双流卷积行为识别方法 | |
| CN114998303A (zh) | 特征提取能力强的小肠间质瘤检测方法 | |
| CN111612717A (zh) | 一种基于对抗网络的水面图像去反光修复方法和装置 | |
| CN114677349B (zh) | 编解码端边缘信息增强和注意引导的图像分割方法及系统 | |
| CN114821714A (zh) | 基于协同特征补全的有遮挡场景下的人脸表情识别方法 | |
| CN111754485A (zh) | 一种用于肝脏的人工智能超声辅助系统 | |
| CN114359102A (zh) | 一种基于注意力机制与边缘引导的图像深度修复取证方法 | |
| CN111881803B (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
| CN114596609A (zh) | 一种视听伪造检测方法及装置 | |
| CN114372962A (zh) | 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统 | |
| CN113222879A (zh) | 一种用于红外与可见光图像融合的生成对抗网络 | |
| CN117392668A (zh) | 一种麦田小麦赤霉病状态评估方法、系统及电子设备 | |
| CN117649657A (zh) | 基于改进Mask R-CNN的骨髓细胞检测系统 | |
| CN108537266A (zh) | 一种深度卷积网络的织物纹理疵点分类方法 | |
| CN117237188A (zh) | 基于遥感图像的多尺度注意网络的显著性目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |