CN112990097A - 一种基于对抗消除的人脸表情识别方法 - Google Patents

一种基于对抗消除的人脸表情识别方法 Download PDF

Info

Publication number
CN112990097A
CN112990097A CN202110393430.4A CN202110393430A CN112990097A CN 112990097 A CN112990097 A CN 112990097A CN 202110393430 A CN202110393430 A CN 202110393430A CN 112990097 A CN112990097 A CN 112990097A
Authority
CN
China
Prior art keywords
network
facial expression
expression recognition
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110393430.4A
Other languages
English (en)
Other versions
CN112990097B (zh
Inventor
杨峰
宋永端
李�瑞
张祎文
钟昊原
张健
潘盛涛
李思雨
余正涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110393430.4A priority Critical patent/CN112990097B/zh
Publication of CN112990097A publication Critical patent/CN112990097A/zh
Priority to US17/448,926 priority patent/US11804074B2/en
Application granted granted Critical
Publication of CN112990097B publication Critical patent/CN112990097B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/817—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level by voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于对抗消除的人脸表情识别方法，涉及计算机视觉领域。首先以一个深度卷积神经网络为基础，搭建人脸表情识别网络，在自然人脸表情数据集上，通过损失函数对该人脸表情识别网络进行训练，使人脸表情特征更容易被区分开；然后利用改进的对抗消除方法来主动地消除掉输入图像的部分关键特征，生成新的数据集来训练新的具有不同权重分布和特征提取能力网络，迫使网络依据更多的特征进行表情分类判别，降低了遮挡等干扰因素对于网络识别准确率的影响，提升了人脸表情识别网络的鲁棒性；最后采用网络集成和相对多数投票法获得最终表情分类的预测结果。本发明不仅提高人脸表情识别网络的准确率，而且有效地减少遮挡因素对网络的干扰。

Description

一种基于对抗消除的人脸表情识别方法
技术领域
本发明涉及计算机视觉计算领域，尤其是一种基于对抗消除的人脸表情识别方法。
背景技术
随着深度学习的逐步发展和计算机视觉应用领域的不断扩大，基于实验室环境下的非自发人脸表情识别已经不再是一个挑战，学界研究的重点已经转向在自然条件下的人脸表情识别。自从第一届自然环境的人脸表情识别竞赛EMotiW举办以来，越来越多针对自然人脸表情识别的算法和高质量的自然人脸表情数据集被研究者提出。自然环境下的人脸表情会明显受到光照、遮挡以及任务自身姿态的变化的影响，在自然环境下提取有效的人脸面部表情特征已经成为目前人脸表情识别领域的主要难点之一。尽管自然人脸表情数据集更加贴近真实场景获取的人脸表情，但由于自然人脸表情数据集样本偏小，并且存在肤色、光照和遮挡等干扰因素，网络过拟合现象比较严重，对于一些关键特征不明显的图像，更易出现分类错误的情况。
目前，基于注意力机制的人脸表情识别网络在自然表情数据集上取得了不错的效果，但是基于注意力机制的人脸表情识别网络需要人为提供额外的输入图像，并且需要大量的注意力子网络对这些图像进行特征提取，在训练过程中，主干网络和子网络需要同时运行，因此对计算机资源占用较高。
发明内容
针对上述现有技术中存在的问题，本发明提供了一种基于对抗消除的人脸表情识别的方法，可以结合多种分类网络的互补性，提升网络识别的准确率，同时降低遮挡因素的影响。
为实现上述目的，本发明采用的技术方案是：一种基于对抗消除的人脸表情识别的方法，具有以下步骤：
步骤1：数据预处理
获取自然人脸表情数据集并且将数据集中图像分为训练集和测试集，先将输入图像进行数据归一化，并将图像大小放缩到固定尺寸，再对训练集图像进行数据归一化、水平翻转、图像旋转、图像裁剪等操作，得到预处理后的数据集。
步骤2：搭建人脸表情识别网络。
步骤2.1：在VGGNet、ResNet、MobileNet、DenseNet等卷积神经网络模型中，优选ResNet34模型作为人脸表情识别网络的主要网络结构。固定ResNet34模型除最后一层全连接层的所有层，把最后一层全连接层的输出个数改为人脸表情数据集的类别数n。
步骤2.2：对人脸表情识别网络进行预训练，导入Imagenet训练权重到修改过的ResNet34模型，记为人脸表情识别网络ht。设初始人脸表情识别网络的序号t＝0。
步骤3：将数据集图像按照步骤1中方式进行预处理，将预处理后的图像输入到人脸表情识别网络，采用如下损失函数来训练人脸表情识别网络，当网络收敛后停止训练，得到对应的表情的类别预测输出；损失函数计算公式如下：
Figure BDA0003017656200000021
其中，批量大小和表情类别数分别为T和n，yi表示第i个样本图像的类别标签，θj表示权重矩阵的第j列和特征之间的夹角，
Figure BDA0003017656200000022
表示权重矩阵的第yi列和特征之间的夹角，s和m分别表示特征尺度和附加角度边缘惩罚；
步骤4：采用改进的对抗消除方法来生成多个具有不同权重分布的人脸表情识别子网络，使用改进的对抗消除方法可以让每个子网络的训练数据集不同，使子网络可以提取到不同的表情特征，从而使生成的网络具有多样性和互补性。改进的对抗消除方法具体步骤如下：
步骤4.1：使用如下方法对人脸表情识别网络ht进行类激活映射，对训练集中任意一张输入图像x，生成其在对应目标类别c下的热力图
Figure BDA0003017656200000023
设最后的卷积层输出的第k张特征图为Ak，
Figure BDA0003017656200000024
表示特征图Ak上的点(i,j)，定义Ak对特定表情类别c的权重为
Figure BDA0003017656200000025
则
Figure BDA0003017656200000026
的获取方式如下：
Figure BDA0003017656200000027
其中权重
Figure BDA0003017656200000028
的计算公式为：
Figure BDA0003017656200000029
上述公式中，relu为激活函数，
Figure BDA00030176562000000210
为目标类别c和Ak的梯度权重；Yc为目标类别c的得分；
步骤4.2：设置阈值G，G为
Figure BDA00030176562000000211
中最大值；保留
Figure BDA00030176562000000212
中值等于G的目标区域，其余区域置为0；将
Figure BDA00030176562000000213
上采样到输入图像大小，获取输入图像x所对应的目标区域Rx；
步骤4.3：计算训练集所有图像的平均像素，用平均像素替换训练集中图像x对应的目标区域Rx内的像素，从而将人脸表情识别网络做出分类判别的关键目标区域从训练图像中擦除，生成新的训练集；
步骤4.4：将人脸表情识别网络的序号t赋值为t+1，按照步骤2生成新的人脸表情识别网络ht，将新生成的训练集和原有测试集按照步骤3的方法送到ht中进行训练，当模型达到收敛后结束训练。
步骤4.5：比较子网络ht和初始人脸表情识别网络h0在测试集上的准确率，当准确率相差不大于5％时，重复步骤4.1至步骤4.5生成新的子网络；当准确率相差大于5％时，丢弃子网络ht，并令z＝t-1，最终获得z个子网络：h1,h2,...,hz-1,hz。
步骤5：将z+1个人脸表情识别网络h0,h1,h2,...,hz-1,hz进行网络集成，然后将网络hβ在输入图像x上的预测输出表示为一个n维向量
Figure BDA0003017656200000031
其中，网络hβ表示网络h0到网络hz的任意一个网络。然后采用相对多数投票方法对所有网络的输出向量进行分类判别，获得分类预测结果H(x)，即预测结果为得票分数最高的类别，若同时有多个类别获得最高分数，则从中随机选取一个类别。相对多数投票法的公式如下：
Figure BDA0003017656200000032
其中
Figure BDA0003017656200000033
是网络hβ在类别cj上的输出。
本发明的有益效果：
本发明所使用的基于对抗消除的人脸表情识别方法能够很好地对自然状态下的人脸表情进行分类判别。引入本发明损失函数，缩小了同类别表情特征的间距，扩大了不同类别表情特征的间距，使人脸表情特征更容易被人脸表情识别网络区分开；相较于单个卷积神经网络获取特征的局限性，本发明所提出的改进的对抗消除方法能够主动地消除掉输入图像的部分关键特征，生成新的数据集来训练新的具有不同权重分布和特征提取能力网络，迫使网络依据更多的特征进行表情分类判别，降低了遮挡等干扰因素对于网络识别准确率的影响；采用网络集成的方式提升了人脸表情识别网络的判别能力，从而提升了网络的识别准确率；本发明提出的方法不需要在同一时刻并行运行多个网络，相较于基于注意力机制的人脸表情识别模型，大大降低了硬件设备的计算量。
附图说明
图1为本发明中基于对抗消除的人脸表情识别方法的流程图；
图2为本发明中改进的对抗消除方法的结构图；
图3为本发明中通过热力图获取目标区域的示意图；
图4为本发明中网络集成的结构图。
具体实施方式
为了使本领域的人员更好地理解和使用本发明，下面将结合附图和具体实施案例对本发明的技术方案进行详细描述，以下实施例仅用于说明本发明，不用来限制本发明的范围。
本发明涉及一种基于对抗消除的人脸表情识别的方法，其流程图见图1。该方法包括以下步骤：
步骤1：选择自然表情数据集RAF-DB作为训练集和测试集数据，并且将12271张训练集图像和3068张测试集图像作为输入图像，对输入图像进行预处理，首先将图像尺寸放缩到224×224，再对输入图像进行数据归一化。对训练集图像再做水平翻转、图像旋转、图像裁剪等操作进行数据增强，其中旋转的角度范围在45度以内。将图像进行如上所述操作后得到预处理后的数据集。
步骤2：训练平台采用NVIDIA GeForce RTX3090 GPU，深度学习框架采用Pytorch。训练的batch-size设为32，学习率为0.0001，优化方法采用Adam梯度下降法。
步骤3：在Pytorch框架下搭建ResNet34模型作为人脸表情识别网络的主要网络结构。
步骤3.1：固定ResNet34模型除最后一层全连接层的所有层，把最后一层全连接层的输出个数改为RAF-DB的人脸表情类别数7，基本表情类别包括惊讶、恐惧、愤怒、高兴、悲伤、厌恶、中性。利用Pytorch深度学习框架导入Imagenet训练权重到修改过的ResNet34模型，并将该模型记为人脸表情识别网络ht。设初始人脸表情识别网络序号t＝0。其中微调后的ResNet34的结构如表1所示：
表1：微调后的ResNet34的结构表
Figure BDA0003017656200000041
Figure BDA0003017656200000051
步骤4：将数据集图像按照步骤1中方式进行预处理，将预处理后的图像输入到人脸表情识别网络，采用如下损失函数来训练人脸表情识别网络，当网络收敛后停止训练，得到对应的表情的类别预测输出；损失函数计算公式如下：
Figure BDA0003017656200000052
其中，批量大小和表情类别数分别为T和n，yi表示第i个样本图像的类别标签，θj表示权重矩阵的第j列和特征之间的夹角，
Figure BDA0003017656200000053
表示权重矩阵的第yi列和特征之间的夹角，s和m分别表示特征尺度和附加角度边缘惩罚。
步骤5：采用改进的对抗消除方法来生成多个具有不同权重分布的人脸表情识别子网络，使用改进的对抗消除方法可以让每个子网络的训练数据集不同，使每个子网络可以提取到不同的表情特征，从而使生成的网络具有多样性和互补性。图2给出了改进的对抗消除方法的结构图。改进的对抗消除方法具体步骤如下：
步骤5.1：使用如下方法对人脸表情识别网络ht进行类激活映射，对训练集中任意一张输入图像x，生成其在对应目标类别c下的热力图
Figure BDA0003017656200000054
设最后的卷积层输出的第k张特征图为Ak，
Figure BDA0003017656200000055
表示特征图Ak上的点(i,j)，定义第k张特征图对特定表情类别c的权重为
Figure BDA0003017656200000056
则
Figure BDA0003017656200000057
的获取方式如下：
Figure BDA0003017656200000058
其中权重
Figure BDA0003017656200000059
的计算公式为：
Figure BDA00030176562000000510
上述公式中，relu为激活函数，
Figure BDA00030176562000000511
为目标类别c和Ak的梯度权重；Yc为目标类别c的得分。
步骤5.2：图3为通过热力图获取目标区域的示意图，图3(a)为输入图像x在对应目标类别c下的热力图
Figure BDA00030176562000000512
大小为7×7，设置阈值G，使其大小为
Figure BDA00030176562000000513
中最大值。图3(b)为输入图像x所对应的目标区域Rx，首先保留
Figure BDA0003017656200000061
值等于G的目标区域，并将其余区域置为0，再使用最近邻插值法将
Figure BDA0003017656200000062
上采样到原始输入图像大小，尺寸为100×100，获取目标区域Rx。
步骤5.3：分别计算训练集所有图像在R、G、B三个通道上的平均像素，用R、G、B三个通道平均像素替换训练集中图像x对应的目标区域Rx内相应通道的像素，从而将人脸表情识别网络做出分类判别的关键目标区域从训练图像中擦除，生成新的训练集。
步骤5.4：将人脸表情识别网络的序号t赋值为t+1，按照步骤3生成新的人脸表情识别网络ht，将新生成的训练集和原有测试集按照步骤4的方法送到ht中进行训练，当模型达到收敛后结束训练。
步骤5.5：比较子网络ht和初始人脸表情识别网络h0在测试集上的准确率，当准确率相差不大于5％时，重复步骤5.1至步骤5.5产生新的子网络生成新的子网络ht；当准确率相差大于5％时，丢弃子网络ht，最终生成10个人脸表情识别子网络。
步骤6：本发明的网络集成部分如附图4所示，该部分包含两个决策层。第一个决策层首先将这11个人脸表情识别网络h0,h1,h2,...,h9，h10进行网络集成，然后将网络hβ在输入图像x上的预测输出表示为一个n维向量
Figure BDA0003017656200000063
其中，网络hβ表示网络h0到网络hz的任意一个网络；第二个决策层是采用相对多数投票方法对所有网络的输出向量进行分类判别，获得分类预测H(x)，即预测结果为得票分数最高的类别，若同时有多个类别获得最高分数，则从中随机选取一个类别。相对多数投票法的公式如下：
Figure BDA0003017656200000064
其中
Figure BDA0003017656200000065
是网络hi在类别cj上的输出。
以上所述仅用以说明本发明，并不用以限制本发明所描述的技术方案，凡在本发明的精神和原则之内，所做的任何修改、等同替换以及改进等，均应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于对抗消除的人脸表情识别方法，其特征在于，包括以下步骤：
步骤1：数据预处理，获取自然人脸表情数据集并且将数据集中的图像作为输入图像，对输入图像进行预处理得到预处理后的数据集；
步骤2：搭建人脸表情识别网络；
步骤3：将数据集图像按照步骤1中方式进行预处理，将预处理后的图像输入到人脸表情识别网络，并采用损失函数对网络进行训练，当网络收敛后停止训练，得到对应的表情的类别预测输出；
步骤4：采用改进的对抗消除方法来生成多个具有不同权重分布的人脸表情识别子网络，使用改进的对抗消除方法可以让每个子网络的训练数据集不同，使子网络可以提取到不同的表情特征，从而使生成的网络具有多样性和互补性；
步骤5：将多个子网络进行网络集成，根据从多个子网络处获得的多个表情预测分类做出最终的分类判别。
2.根据权利要求1所述基于对抗消除进行人脸表情识别的方法，其特征在于：所述预处理具体指，先将输入图像进行数据归一化，并将图像大小放缩到固定尺寸，再对训练集图像进行数据归一化、水平翻转、图像旋转、图像裁剪操作，得到预处理后的数据集。
3.根据权利要求1所述基于对抗消除的人脸表情识别方法，其特征在于：所述搭建人脸表情识别网络，包括以下步骤：
步骤3.1：选择ResNet34模型作为人脸表情识别网络的主要网络结构；固定ResNet34模型除最后一层全连接层的所有层，把最后一层全连接层的输出个数改为人脸表情数据集的类别数n；
步骤3.2：对人脸表情识别网络进行预训练，导入Imagenet训练权重到修改过的ResNet34模型，记为人脸表情识别网络ht；设初始人脸表情识别网络序号t＝0。
4.根据权利要求1所述基于对抗消除的人脸表情识别方法，其特征在于：所述的损失函数的计算公式如下：
Figure FDA0003017656190000011
其中，批量大小和表情类别数分别为T和n，yi表示第i个样本图像的类别标签，θj表示权重矩阵的第j列和特征之间的夹角，
Figure FDA0003017656190000012
表示权重矩阵的第yi列和特征之间的夹角，s和m分别表示特征尺度和附加角度边缘惩罚。
5.根据权利要求1所述基于对抗消除的人脸表情识别方法，其特征在于：所述改进的对抗消除算法，包括以下步骤：
步骤5.1：使用如下方法对人脸表情识别网络ht进行类激活映射，对训练集中任意一张输入图像x，生成其在对应目标类别c下的热力图
Figure FDA0003017656190000021
设最后的卷积层输出的第k张特征图为Ak，
Figure FDA0003017656190000022
表示特征图Ak上的点(i,j)，定义Ak对特定表情类别c的权重为
Figure FDA0003017656190000023
则
Figure FDA0003017656190000024
的获取方式如下：
Figure FDA0003017656190000025
其中权重
Figure FDA0003017656190000026
的计算公式为：
Figure FDA0003017656190000027
上述公式中，relu为激活函数，
Figure FDA0003017656190000028
为目标类别c和Ak的梯度权重；Yc为目标类别c的得分；
步骤5.2：设置阈值G，G为
Figure FDA0003017656190000029
中的最大值；保留
Figure FDA00030176561900000210
中值等于G的目标区域，并将其余区域的值置为0；将
Figure FDA00030176561900000211
上采样到输入图像大小，获取输入图像x所对应的关键目标区域Rx；
步骤5.3：计算训练集所有图像的平均像素，用平均像素替换训练集中图像x对应的关键目标区域Rx内的像素，从而将人脸表情识别网络做出分类判别的关键目标区域从训练图像中擦除，生成新的训练集；
步骤5.4：将人脸表情识别网络的序号t赋值为t+1，按照步骤2生成新的人脸表情识别网络ht，将新生成的训练集和原有测试集按照步骤3的方法送到ht中进行训练，当模型达到收敛后结束训练；
步骤5.5：比较子网络ht和初始人脸表情识别网络h0在测试集上的准确率，当准确率相差不大于5％时，重复步骤5.1至步骤5.5生成新的子网络；当准确率相差大于5％时，丢弃子网络ht，并令z＝t-1，最终得到z个生成的子网络：h1,h2,...,hz-1,hz。
6.根据权利要求1所述基于对抗消除的人脸表情识别方法，其特征在于：所述的网络集成方法为：将z+1个人脸表情识别网络h0,h1,h2,...,hz-1，hz进行网络集成，然后将网络hβ在输入图像x上的预测输出表示为一个n维向量
Figure FDA00030176561900000212
其中，网络hβ表示网络h0到网络hz的任意一个网络；然后采用相对多数投票方法对所有网络的输出向量进行分类判别，获得分类预测结果H(x)，即预测结果为得票分数最高的类别，若同时有多个类别获得最高分数，则从中随机选取一个类别；相对多数投票法的公式如下：
Figure FDA0003017656190000031
其中
Figure FDA0003017656190000032
是网络hβ在类别cj上的输出。
CN202110393430.4A 2021-04-13 2021-04-13 一种基于对抗消除的人脸表情识别方法 Expired - Fee Related CN112990097B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110393430.4A CN112990097B (zh) 2021-04-13 2021-04-13 一种基于对抗消除的人脸表情识别方法
US17/448,926 US11804074B2 (en) 2021-04-13 2021-09-27 Method for recognizing facial expressions based on adversarial elimination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110393430.4A CN112990097B (zh) 2021-04-13 2021-04-13 一种基于对抗消除的人脸表情识别方法

Publications (2)

Publication Number Publication Date
CN112990097A true CN112990097A (zh) 2021-06-18
CN112990097B CN112990097B (zh) 2022-11-04

Family

ID=76338119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110393430.4A Expired - Fee Related CN112990097B (zh) 2021-04-13 2021-04-13 一种基于对抗消除的人脸表情识别方法

Country Status (2)

Country Link
US (1) US11804074B2 (zh)
CN (1) CN112990097B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569960A (zh) * 2021-07-29 2021-10-29 北京邮电大学 基于域适应的小样本图像分类方法及系统
CN113705349A (zh) * 2021-07-26 2021-11-26 电子科技大学 一种基于视线估计神经网络的注意力量化分析方法及系统
CN114241564A (zh) * 2021-12-17 2022-03-25 东南大学 一种基于类间差异强化网络的人脸表情识别方法
CN114896307A (zh) * 2022-06-30 2022-08-12 北京航空航天大学杭州创新研究院 时间序列数据增强方法、装置和电子设备
CN116071744A (zh) * 2023-01-10 2023-05-05 山东省气候中心 一种基于Faster RCNN网络的成熟期番茄识别方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823490B2 (en) * 2021-06-08 2023-11-21 Adobe, Inc. Non-linear latent to latent model for multi-attribute face editing
US20230046286A1 (en) * 2021-08-13 2023-02-16 Lemon Inc. Asymmetric facial expression recognition
CN115457643B (zh) * 2022-11-09 2023-04-07 暨南大学 一种基于增量技术和注意力机制的公平人脸表情识别方法
CN116912920B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 表情识别方法及装置
CN117392731B (zh) * 2023-12-08 2024-04-12 深圳须弥云图空间科技有限公司 表情识别模型的训练方法和装置
CN117523318B (zh) * 2023-12-26 2024-04-16 宁波微科光电股份有限公司 一种抗光干扰的地铁屏蔽门异物检测方法、装置及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409222A (zh) * 2018-09-20 2019-03-01 中国地质大学（武汉） 一种基于移动端的多视角人脸表情识别方法
CN109508669A (zh) * 2018-11-09 2019-03-22 厦门大学 一种基于生成式对抗网络的人脸表情识别方法
CN109815924A (zh) * 2019-01-29 2019-05-28 成都旷视金智科技有限公司 表情识别方法、装置及系统
CN110399821A (zh) * 2019-07-17 2019-11-01 上海师范大学 基于人脸表情识别的顾客满意度获取方法
CN111274987A (zh) * 2020-02-10 2020-06-12 广东九联科技股份有限公司 人脸表情识别方法及人脸表情识别装置
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111951175A (zh) * 2020-06-28 2020-11-17 中国电子科技网络信息安全有限公司 一种基于自编码网络的人脸图像规范化方法
US20210073521A1 (en) * 2019-09-10 2021-03-11 Amarjot Singh Continuously Evolving and Interactive Disguised Face Identification (DFI) with Facial Key Points using ScatterNet Hybrid Deep Learning (SHDL) Network
US20210104068A1 (en) * 2019-10-04 2021-04-08 Mitsubishi Electric Research Laboratories, Inc. Image Processing System and Method for Landmark Location Estimation with Uncertainty

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961507B (zh) * 2019-03-22 2020-12-18 腾讯科技（深圳）有限公司 一种人脸图像生成方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409222A (zh) * 2018-09-20 2019-03-01 中国地质大学（武汉） 一种基于移动端的多视角人脸表情识别方法
CN109508669A (zh) * 2018-11-09 2019-03-22 厦门大学 一种基于生成式对抗网络的人脸表情识别方法
CN109815924A (zh) * 2019-01-29 2019-05-28 成都旷视金智科技有限公司 表情识别方法、装置及系统
CN110399821A (zh) * 2019-07-17 2019-11-01 上海师范大学 基于人脸表情识别的顾客满意度获取方法
US20210073521A1 (en) * 2019-09-10 2021-03-11 Amarjot Singh Continuously Evolving and Interactive Disguised Face Identification (DFI) with Facial Key Points using ScatterNet Hybrid Deep Learning (SHDL) Network
US20210104068A1 (en) * 2019-10-04 2021-04-08 Mitsubishi Electric Research Laboratories, Inc. Image Processing System and Method for Landmark Location Estimation with Uncertainty
CN111274987A (zh) * 2020-02-10 2020-06-12 广东九联科技股份有限公司 人脸表情识别方法及人脸表情识别装置
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111951175A (zh) * 2020-06-28 2020-11-17 中国电子科技网络信息安全有限公司 一种基于自编码网络的人脸图像规范化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAIMING HE等: "Deep residual learning for image recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
PING LIU等: "Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition in the Wild", 《JOURNAL OF LATEX CLASS FILES》 *
邓楚婕: "基于卷积神经网络的人脸表情识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705349A (zh) * 2021-07-26 2021-11-26 电子科技大学 一种基于视线估计神经网络的注意力量化分析方法及系统
CN113705349B (zh) * 2021-07-26 2023-06-06 电子科技大学 一种基于视线估计神经网络的注意力量化分析方法及系统
CN113569960A (zh) * 2021-07-29 2021-10-29 北京邮电大学 基于域适应的小样本图像分类方法及系统
CN113569960B (zh) * 2021-07-29 2023-12-26 北京邮电大学 基于域适应的小样本图像分类方法及系统
CN114241564A (zh) * 2021-12-17 2022-03-25 东南大学 一种基于类间差异强化网络的人脸表情识别方法
CN114896307A (zh) * 2022-06-30 2022-08-12 北京航空航天大学杭州创新研究院 时间序列数据增强方法、装置和电子设备
CN114896307B (zh) * 2022-06-30 2022-09-27 北京航空航天大学杭州创新研究院 时间序列数据增强方法、装置和电子设备
CN116071744A (zh) * 2023-01-10 2023-05-05 山东省气候中心 一种基于Faster RCNN网络的成熟期番茄识别方法及系统
CN116071744B (zh) * 2023-01-10 2023-06-30 山东省气候中心 一种基于Faster RCNN网络的成熟期番茄识别方法及系统

Also Published As

Publication number Publication date
US20220327308A1 (en) 2022-10-13
CN112990097B (zh) 2022-11-04
US11804074B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
CN112990097B (zh) 一种基于对抗消除的人脸表情识别方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN110110624B (zh) 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN108875624B (zh) 基于多尺度的级联稠密连接神经网络的人脸检测方法
CN110543846B (zh) 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN108665005B (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
KR101254181B1 (ko) 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
CN110084266B (zh) 一种基于视听特征深度融合的动态情感识别方法
CN110276248B (zh) 一种基于样本权值分配和深度学习的人脸表情识别方法
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN112633288B (zh) 一种基于绘画笔触指导的人脸素描生成方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN115862045B (zh) 基于图文识别技术的病例自动识别方法、系统、设备及存储介质
CN111931908A (zh) 一种基于人脸轮廓的人脸图像自动生成方法
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
Ahammad et al. Recognizing Bengali sign language gestures for digits in real time using convolutional neural network
CN113642479B (zh) 人脸图像的评价方法、装置、电子设备及存储介质
EP1480167A1 (en) Pattern feature selection method, classification method, judgment method, program, and device
CN116311472B (zh) 基于多层次图卷积网络的微表情识别方法及装置
Rahaman et al. BHCDR: real-time bangla handwritten characters and digits recognition using adopted convolutional neural network
CN111695450A (zh) 一种基于IMobileNet的人脸快速识别方法
Gona et al. Multimodal biometric reorganization system using deep learning convolutional neural network
CN115100509B (zh) 基于多分支块级注意力增强网络的图像识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221104