CN112818850A - 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法 - Google Patents

基于渐进式神经网络和注意力机制的跨姿态人脸识别方法 Download PDF

Info

Publication number
CN112818850A
CN112818850A CN202110133292.6A CN202110133292A CN112818850A CN 112818850 A CN112818850 A CN 112818850A CN 202110133292 A CN202110133292 A CN 202110133292A CN 112818850 A CN112818850 A CN 112818850A
Authority
CN
China
Prior art keywords
image
face
network
progressive
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110133292.6A
Other languages
English (en)
Other versions
CN112818850B (zh
Inventor
黄俊阳
丁长兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110133292.6A priority Critical patent/CN112818850B/zh
Publication of CN112818850A publication Critical patent/CN112818850A/zh
Application granted granted Critical
Publication of CN112818850B publication Critical patent/CN112818850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，包括如下步骤：使用MTCNN工具进行人脸检测和关键点对齐；对每一张人脸图像，估计姿态信息；为每张人脸图像采样一张正脸图像作为基准图像，构成图像对输入设计好的渐进式神经网络中提取人脸特征对以及进行身份预测；使用上述特征对计算注意力加权均方误差损失函数，并结合分类的交叉熵损失函数训练神经网络；使用训练好的神经网络提取人脸特征并进行人脸验证。本发明构建了新的轻量级渐进式网络结构和基于注意力的损失函数，能够有效地在特征空间上将侧脸图像的特征进行摆正，从而解决人脸识别领域中姿态变动造成人脸识别性能下降的问题。

Description

基于渐进式神经网络和注意力机制的跨姿态人脸识别方法
技术领域
本发明涉及人脸识别技术领域，具体涉及一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法。
背景技术
人脸识别是一项关键的技术，在银行、电子商务、互联网金融、电子娱乐、教育、金融、证券等各领域都有着广泛的应用。然而，虽然目前的人脸识别技术已经达到了较为瞩目的识别精度，在处理大姿态下的人脸时，相比于处理姿态较小的人脸，大多数人脸验证算法识别的精度往往下降地非常明显。Senguptal等人在2016年IEEE WACV的会议文章中指出，在识别大姿态人脸时这些算法识别精度的下降幅度超过了10％。这意味着人脸姿态变动的影响已经成为了人脸识别领域中的一个重要挑战，而这个问题的解决将进一步提高人脸识别的安全可靠性，从而为人脸识别领域带来一个质的提高。
为了克服姿态变动对人脸识别的影响，研究人员作了种种探索。其中一个重要的方法就是收集包含更多不同姿态的人脸、姿态分布更加均衡的大型无约束人脸数据集，比如Ms-Celeb-1M，VGGFace2、YouTubeFace，这样训练出来的人脸识别模型能够对不同姿态下的人脸均有较强的适应能力和拟合能力。但是收集这样的大型数据集往往需要耗费巨大的人力与物力，耗时长久，而且由于现实生活中出现的侧脸图像比较少，这些数据集往往仍然是姿态不均衡的，包含的正脸图像的数量远远超过侧脸。另一个重要的方法是使用合成人脸图像的方法来将侧脸图像转换成正脸图像再通过人脸识别网络进行识别，比如Tran等人在2019年的IEEE TPAMI期刊文章中提出的DR-GAN的方法和Deng等人在2018年的IEEE CVPR会议文章中提出的UV-GAN的方法。这些方法存在的问题主要在于：一方面需要额外的开销来合成人脸图像，另一方面受限于目前GAN网络的拟合能力，生成的人脸图像仍然与现实中的人脸图像存在差异，当使用这样的生成图像来进行识别时就不可避免地引入了误差。还有一个重要的方法是为每种姿态的人脸分别训练一个人脸识别网络进行识别，在测试时根据输入人脸的姿态自适应地选择合适的网络，然后将不同网络的结果进行整合，比如Iacopo Masi等人在2019年的IEEE TPAMI期刊文章中提出的PAM的方法。虽然这样能够较为灵活地处理了不同姿态的人脸，但是多个深度神经网络的使用，无疑使得参数量和计算量成倍增加。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，本发明在普通的深度神经网络后面构建一个渐进式的特征摆正网络，直接在特征空间上进行人脸摆正而不是在图像空间上进行人脸摆正，以避免额外的开销与误差，而渐进式的网络结构能够灵活地对不同姿态的人脸分别进行处理而不需要为每种姿态的人脸安排不同的识别网络，同时，注意力加权均方误差函数的引入保证了特征摆正过程的有效性；采用轻量级的网络结构与基于注意力机制结合的方式，在特征空间上将侧脸图像的特征拉近正脸图像的特征，达到以轻便的网络实现大姿态人脸识别性能提升的效果。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，包括下述步骤：
对收集的人脸图像数据进行预处理，包括人脸检测、关键点检测、人脸对齐；
对经过预处理的人脸图像检测姿态角度；
根据人脸的姿态角度，为训练集中每张人脸图像选择一张正脸图像或最小姿态角度图像作为基准图像以组成用于训练的图像对；
构建基准神经网络，所述基准网络用于深度人脸特征的提取；
对构建的基准网络采用随机的方式进行初始化；
将训练集中的人脸图像随机分配到固定尺寸的batch中，馈入基准网络及分类器以获取预测的各类别的分数；
构建交叉熵损失函数，采用交叉熵损失函数对基准网络的预测结果和人脸图像类别的标签进行损失计算和梯度计算，并通过反向传播更新基准网络；
构建组成渐进式特征摆正网络的残差块的具体结构，并通过堆叠方式组成渐进式特征摆正网络；
构建残差块使用的软门限的计算方法；
对构建的渐进式特征摆正网络采用随机的方式进行初始化；
将训练集中的人脸图像和基准图像以图像对的形式随机分配到固定尺寸的batch中，馈入基准网络中，得到训练图像和基准图像的特征；
将训练图像的特征馈入渐进式特征摆正网络，形成摆正后的人脸特征；
根据基准图像的特征构建注意力特征向量；
根据摆正后的训练图像特征、基准图像的特征和注意力特征向量构建基于注意力的加权均方误差损失函数，结合交叉熵损失函数进行损失计算和梯度计算，并通过反向传播同时更新基准网络和渐进式特征摆正网络；
使用训练好的基准网络和渐进式特征摆正网络对待测任意人脸图像进行特征提取，并计算待测图像与比对图像特征之间的余弦相似度作为衡量。
作为优选的技术方案，所述对收集的人脸图像数据进行预处理，具体步骤包括：
使用MTCNN进行人脸boundingbox检测和人脸5个关键点检测，根据人脸图像与boundingbox采用TCDCN检测人脸的68关键点，然后根据检出的5个人脸关键点与标准对齐模板进行仿射变换以对齐人脸。
作为优选的技术方案，所述构建基准神经网络，采用ResNet-34网络作为基础网络，并采用C类的线性分类器代替原先的分类器，构建基于C个类别分类的深度神经网络；
所述对构建的基准网络采用随机的方式进行初始化，具体对基准网络的卷积层、BN层、线性层的权重和偏置采用MSRA权重初始化方法进行随机初始化，对其它部分则采用零值初始化的方法进行初始化。
作为优选的技术方案，所述构建组成渐进式特征摆正网络的残差块的具体结构，并通过堆叠方式组成渐进式特征摆正网络，具体采用Conv-BN-ReLU-Conv-BN变换与原先特征相加的基本残差结构，并且使用软门限系数逐元素与变换后的特征相加以控制变换的量，具体表示为：
fi(x)＝fi-1(x)+γ(θi,θ)·Ri(fi-1(x))
其中，x表示处理的每一张侧脸图像，fi(x)表示经过第i个残差块网络后提取的人脸特征，Ri表示第i个残差块网络对当前输入特征的变换，γ表示每个残差块网络的软门限系数。
作为优选的技术方案，所述构建残差块使用的软门限的计算方法，具体步骤包括：
给定每张图片的角度θ和每个残差块的对应转换角度θi(i＝1,2,3)，根据sigmoid函数计算软门限系数，对应每个残差块软门限系数计算方法如下：
Figure BDA0002926123210000041
其中i表示第i个残差块。
作为优选的技术方案，所述根据基准图像的特征构建注意力特征向量，具体步骤包括：
根据基准图像的特征构建注意力特征向量：将每张训练图像的基准图像输入基准网络Resnet-34中提取基准特征，对基准特征逐元素取绝对值，计算基准特征绝对值的最大值，将基准特征逐元素除以该最大值从而得到注意力特征向量，具体表示为：
Figure BDA0002926123210000051
其中，ψ(xf)表示对基准图像提取的特征，sqrt、abs、max分别表示对特征向量的逐元素取平方根、取绝对值、取最大值。
作为优选的技术方案，所述根据摆正后的训练图像特征、基准图像的特征和注意力特征向量构建基于注意力的加权均方误差损失函数，具体步骤包括：
计算每张训练图像经过基准网络和渐进式特征摆正网络后的特征与基准图像经过基准网络后的特征之间每个元素的平方差，将构建好的注意力特征向量逐元素与特征的平方差进行相乘，然后按照均方误差损失函数计算基于注意力的加权均方误差损失函数，具体表示为：
Figure BDA0002926123210000052
其中，N表示训练过程中的批尺寸，i表示第i张图像，
Figure BDA0002926123210000053
表示训练集中第i张图像提取的特征，
Figure BDA0002926123210000054
表示相应的基准图像。
作为优选的技术方案，所述结合交叉熵损失函数进行损失计算和梯度计算，具体设置平衡参数，用于调节交叉熵损失函数和基于注意力的加权均方误差损失函数的比重，具体表示为：
Ltotal＝Lid+λLapl
Figure BDA0002926123210000061
其中，Lid表示交叉熵损失函数，
Figure BDA0002926123210000062
分别为分类器中对应正确类别的权重和偏置量，
Figure BDA0002926123210000063
bj分别表示其它类的权重和偏置量，C表示总共有C个类别，N表示训练过程中的批尺寸，i表示第i张图像，
Figure BDA0002926123210000064
表示训练集中第i张图像提取的特征，λ是两个损失函数的平衡参数。
作为优选的技术方案，所述基准网络和渐进式特征摆正网络的训练方法采用端到端的训练方式，批尺寸固定，采用随机裁剪、随机翻转、色彩变动、对比度干扰的数据增强方法，设置初始学习率，在迭代训练过程中使用学习率退火策略，并保存模型参数文件。
本发明还提供一种基于渐进式神经网络和注意力机制的跨姿态人脸识别系统，包括：
图像预处理模块、姿态角度检测模块、图像对构建模块、基准神经网络构建模块、初始化模块、类别预测分数获取模块、交叉熵损失函数构建模块、渐进式特征摆正网络构建模块、软门限机制构建模块、训练图像和基准图像的特征获取模块、摆正后的人脸特征获取模块、注意力特征向量构建模块、加权均方误差损失函数构建模块、训练模块和识别模块；
所述图像预处理模块用于对收集的人脸图像数据进行预处理，包括人脸检测、关键点检测、人脸对齐；
所述姿态角度检测模块用于对经过预处理的人脸图像检测姿态角度；
所述图像对构建模块用于根据人脸的姿态角度，为训练集中每张人脸图像选择一张正脸图像或最小姿态角度图像作为基准图像以组成用于训练的图像对；
所述基准神经网络构建模块用于构建基准神经网络，所述基准网络用于深度人脸特征的提取；
所述初始化模块用于对构建的基准网络及渐进式特征摆正网络采用随机的方式进行初始化；
所述类别预测分数获取模块用于将训练集中的人脸图像随机分配到固定尺寸的batch中，馈入基准网络及分类器以获取预测的各类别的分数；
所述交叉熵损失函数构建模块用于构建交叉熵损失函数，采用交叉熵损失函数对基准网络的预测结果和人脸图像类别的标签进行损失计算和梯度计算，并通过反向传播更新基准网络；
所述渐进式特征摆正网络构建模块用于构建组成渐进式特征摆正网络的残差块的具体结构，并通过堆叠方式组成渐进式特征摆正网络；
所述软门限机制构建模块用于构建残差块使用的软门限的计算方法；
所述训练图像和基准图像的特征获取模块用于将训练集中的人脸图像和基准图像以图像对的形式随机分配到固定尺寸的batch中，馈入基准网络中，得到训练图像和基准图像的特征；
所述摆正后的人脸特征获取模块用于将训练图像的特征馈入渐进式特征摆正网络，形成摆正后的人脸特征；
所述注意力特征向量构建模块用于根据基准图像的特征构建注意力特征向量；
所述加权均方误差损失函数构建模块用于根据摆正后的训练图像特征、基准图像的特征和注意力特征向量构建基于注意力的加权均方误差损失函数，
所述训练模块用于结合交叉熵损失函数进行损失计算和梯度计算，并通过反向传播同时更新基准网络和渐进式特征摆正网络；
所述识别模块用于使用训练好的基准网络和渐进式特征摆正网络对待测任意人脸图像进行特征提取，并计算待测图像与比对图像特征之间的余弦相似度作为衡量。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明在普通的深度神经网络后面构建一个渐进式的特征摆正网络，直接在特征空间上进行人脸摆正而不是在图像空间上进行人脸摆正，以避免额外的开销与误差，而渐进式的网络结构能够灵活地对不同姿态的人脸分别进行处理而不需要为每种姿态的人脸安排不同的识别网络，同时，注意力加权均方误差函数的引入保证了特征摆正过程的有效性。
(2)本发明采用轻量级的网络结构与基于注意力机制结合的方式，在特征空间上将侧脸图像的特征拉近正脸图像的特征，达到以轻便的网络实现大姿态人脸识别性能提升的效果。
附图说明
图1为本发明基于渐进式神经网络和注意力机制的跨姿态人脸识别方法的流程示意图；
图2为本发明基准神经网络、渐进式神经网络、基于注意力机制的加权均方误差损失函数的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，本实施例提供一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，包括下述步骤：
S1：人脸数据预处理：使用MTCNN工具检测人脸以及人脸5个关键点，并进行对齐；
在本实施例中，使用MTCNN进行人脸boundingbox检测和人脸5个关键点检测，根据人脸图像与boundingbox采用TCDCN检测人脸的68关键点，然后根据检出的5个人脸关键点与标准对齐模板进行仿射变换以对齐人脸。对于训练集，若无法检出关键点与boundingbox的人脸数据，直接予以滤除；对于测试集，则适当进行手工标注。
S2：检测训练集人脸数据的角度，即估计人脸的姿态信息；
在本实施例中，将处理好的人脸图像数据、人脸68关键点、人脸boundingbox输入预先训练好的姿态预测网络，预测出每张人脸图像的偏航角；
S3：重构训练集数据：根据估计的人脸的姿态信息，为人脸图像采样一张同一个身份的正脸图像或最小角度图像作为基准图像，构成神经网络输入的图像对；
具体步骤包括：
对每个特定身份的人脸，收集其姿态角度小于10°的所有图像和其姿态最小的图片分别组成候选集合和最小集合；
对人脸图像数据集的任意一张人脸图像，若对应的人脸身份的候选集合不为空，则从候选集合中随机采用一张作为该人脸图像的基准正脸图像，否则选择最小集合中相同身份的图像作为该人脸图像的基准图像；
将人脸图像数据集的所有图像与其基准图像构成图像对，预备对网络进行训练；
S4：构建基准神经网络，基准网络用于深度人脸特征的提取：以ResNet-34网络为基础结构进行调整，用一个C类的线性分类器代替原先的1000类的分类器，构建基于训练集C个类别分类的深度神经网络。
S5：初始化基准网络：对基准网络的卷积层、BN层、线性层的权重和偏置采用MSRA权重初始化方法进行随机初始化，对其他部分则采用零值初始化的方法进行初始化；
使用交叉熵损失函数初步训练基准神经网络，具体训练设置为：采用小尺寸批随机梯度下降的方法对网络的参数进行更新，批尺寸固定为200，初始学习率设置为0.1，总共训练25个epoch，在第5,10,15,20个epoch时分别使用学习率退火策略，将学习率下降为前次学习率的0.5,0.2,0.1,0.1，在每个epoch结束时保存训练的模型文件；
S6：构建渐进式特征摆正网络，包括如下步骤：
S61：构建组成渐进式特征摆正网络的残差块的具体结构，并通过堆叠方式组成渐进式特征摆正网络：采用Conv-BN-ReLU-Conv-BN变换与原先特征相加的基本残差结构，并且使用软门限系数逐元素与变换后的特征相加以控制变换的量，其中，所有特征变换的过程均不改变特征的维度。该过程可表示为：
fi(x)＝fi-1(x)+γ(θi,θ)·Ri(fi-1(x))
其中，x表示处理的每一张侧脸图像，fi(x)表示经过第i个残差块网络后提取的人脸特征，Ri表示第i个残差块网络对当前输入特征的变换，γ表示每个残差块网络的软门限系数；特别地，f0(x)表示经过基本网络Resnet-34提取的人脸特征。
S62：构建残差块使用的软门限的计算方法：每一个残差块分别设置不同的门限系数，根据输入的人脸的姿态分别为每个残差块分配不同的门限系数以决定是否进行该残差块对应的特征变换和进行特征变换的量，若图片的角度小于或等于残差块对应的变换角度，则直接通过sortcut分支来保持原来的特征不变。
更进一步地，给定每张图片的角度θ和每个残差块的对应转换角度θi(i＝1,2,3)，根据sigmoid函数计算软门限系数，对应每个残差块软门限系数计算方法如下：
Figure BDA0002926123210000111
其中i表示第i个残差块；
在本实施例中，在计算软门限系数的步骤中，每个残差块对应的转换角度的获取方式是：
使用现有的全部人脸图像数据训练基本网络结构Resnet-34，使用训练好的Resnet-34对测试集数据进行特征提取，计算相同身份的图像的平均特征，将平均特征与相同身份的单张图像的特征计算余弦相似度，将相近角度下的人脸的预先相似度进行平均作为纵坐标，人脸角度作为横坐标绘制曲线图，观察不同角度的人脸图像特征与平均特征余弦距离的变化规律，归纳可能的角度分界点，设置每个残差块对应的变换角度的标准为20°、40°、60°；
S63：串联3个残差块构建渐进式特征摆正网络，该过程可表示为：
F(x)＝f3(f2(f1(f0(x)))
S7：如图2所示，构建基于注意力的加权均方误差损失函数，包括：
S71：根据基准图像的特征构建注意力特征向量：将每张训练图像的基准图像输入基准网络Resnet-34中提取基准特征，对基准特征逐元素取绝对值，计算基准特征绝对值的最大值，将基准特征逐元素除以该最大值从而得到注意力特征向量。
更进一步地，将ψ(xf)表示对基准图像提取的特征，sqrt、abs、max分别表示对特征向量的逐元素取平方根，取绝对值，取最大值。则注意力特征向量的计算表达式为：
Figure BDA0002926123210000121
S72：结合均方误差函数和注意力特征向量构建基于注意力的加权均方误差损失函数：
计算每张训练图像经过基准网络和渐进式特征摆正网络后的特征与基准图像经过基准网络后的特征之间每个元素的平方差，将构建好的注意力特征向量逐元素与特征的平方差进行相乘，然后按照均方误差损失函数计算基于注意力的加权均方误差损失函数。
更具体地，将N表示训练过程中的批尺寸，i表示第i张图像，
Figure BDA0002926123210000122
表示训练集中第i张图像提取的特征，
Figure BDA0002926123210000123
表示相应的基准图像，则基于注意力的加权均方误差损失函数可按照如下公式计算为：
Figure BDA0002926123210000124
S8：结合交叉熵损失函数和基于注意力的加权均方误差损失函数，组成最终的训练损失函数；
其中，交叉熵损失函数表示为：
Figure BDA0002926123210000125
其中，
Figure BDA0002926123210000126
分别为分类器中对应正确类别的权重和偏置量，
Figure BDA0002926123210000127
分别表示其它类的权重和偏置量，C表示总共有C个类别；
则最终的训练损失函数为：
Ltotal＝Lid+λLapl
其中，λ是两个损失函数的平衡参数，在本实施例中，λ设置为2.0，并采用随机梯度下降方法，根据上述损失函数同时对基准网络和渐进式特征摆正网络进行更新；
使用平衡参数λ来调节交叉熵损失函数和基于注意力的加权均方误差损失函数的比重，该平衡参数的构建方法为：设置一个30％训练集大小的验证集，对验证集进行训练集一样的处理，分别将平衡参数设置为0.001,0.01,0.1,1.0,10.0,100.0；使用训练集按照上面参数设置分别训练一个模型，在验证集上进行测试并且比较不同平衡参数的效果；缩小参数的范围，重复上述验证流程；最终确定最优平衡参数为2.0。
S9：将渐进式特征摆正网络添加到基准网络GAP层之后，同时训练两个网络，训练方法为：采用端到端的训练方式，批尺寸固定为200，采用随机裁剪、随机翻转、色彩变动、对比度干扰的数据增强方法以增强模型训练的鲁棒性，初始学习率设置为0.1，总共训练30个epoch，在第5,10,15,20个epoch时分别使用学习率退火策略，将学习率下降为前次学习率的0.5,0.2,0.1,0.1，每隔一个epoch保存一次中间的模型参数文件。
S10：使用训练好的基准网络和渐进式特征摆正网络进行测试：对测试的全部人脸图片进行与训练集人脸图片相同的预处理操作；检测测试集全部人脸图片的角度；将测试集中的测试图片(probe图片)和原型图片(gallery图片)分别通过训练好的基准网络和渐进式特征摆正网络得到512维的特征向量；计算测试图片和原型图片之间的余弦相似度以指示测试图片与原型图片的相似度；
具体地，将测试图片的特征向量表示为p，原型图片的特征向量表示为q，则按照如下公式计算它们的余弦相似度为：
Figure BDA0002926123210000141
最终，判断方法为：余弦相似度数值范围分布在-1和1之间，数值越接近1说明测试图片与原型图片越相似，数值越接近-1说明测试图片与原型图片越不相似。
为验证本发明方法的有效性，在CFP、CPLFW这两个个公开人脸数据集上进行了实验，进行了定量与定性分析。
如下表1所示，表1中包含Ms-Subset和Ms-Refined两部分数据集的训练结果，第一个模型表示基准模型，后面若干模型分别表示添加了MSE(均方误差损失函数)，Prog(渐进式特征摆正网络)，APL(基于注意力机制的加权损失函数)这些细节的实验结果，实验结果表明了各部分的有效性。
表1 CFP和CPLFW上自对比实验数据表
Figure BDA0002926123210000142
如表2、表3所示，本发明与当前最好效果的已发表方法在CFP、CPLFW上的结果进行了对比：
表2本发明与其他方法在CFP上的对比数据表
Figure BDA0002926123210000151
表3本发明与其他方法在CPLFW上的对比数据表
Figure BDA0002926123210000152
其中Baseline为基础模型，最后一栏为本发明的方法。总体来说，本发明的方法相比于其他方法具有更高的准确率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，包括下述步骤：
对收集的人脸图像数据进行预处理，包括人脸检测、关键点检测、人脸对齐；
对经过预处理的人脸图像检测姿态角度；
根据人脸的姿态角度，为训练集中每张人脸图像选择一张正脸图像或最小姿态角度图像作为基准图像以组成用于训练的图像对；
构建基准神经网络，所述基准网络用于深度人脸特征的提取；
对构建的基准网络采用随机的方式进行初始化；
将训练集中的人脸图像随机分配到固定尺寸的batch中，馈入基准网络及分类器以获取预测的各类别的分数；
构建交叉熵损失函数，采用交叉熵损失函数对基准网络的预测结果和人脸图像类别的标签进行损失计算和梯度计算，并通过反向传播更新基准网络；
构建组成渐进式特征摆正网络的残差块的具体结构，并通过堆叠方式组成渐进式特征摆正网络；
构建残差块使用的软门限的计算方法；
对构建的渐进式特征摆正网络采用随机的方式进行初始化；
将训练集中的人脸图像和基准图像以图像对的形式随机分配到固定尺寸的batch中，馈入基准网络中，得到训练图像和基准图像的特征；
将训练图像的特征馈入渐进式特征摆正网络，形成摆正后的人脸特征；
根据基准图像的特征构建注意力特征向量；
根据摆正后的训练图像特征、基准图像的特征和注意力特征向量构建基于注意力的加权均方误差损失函数，结合交叉熵损失函数进行损失计算和梯度计算，并通过反向传播同时更新基准网络和渐进式特征摆正网络；
使用训练好的基准网络和渐进式特征摆正网络对待测任意人脸图像进行特征提取，并计算待测图像与比对图像特征之间的余弦相似度作为衡量。
2.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述对收集的人脸图像数据进行预处理，具体步骤包括：
使用MTCNN进行人脸boundingbox检测和人脸5个关键点检测，根据人脸图像与boundingbox采用TCDCN检测人脸的68关键点，然后根据检出的5个人脸关键点与标准对齐模板进行仿射变换以对齐人脸。
3.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述构建基准神经网络，采用ResNet-34网络作为基础网络，并采用C类的线性分类器代替原先的分类器，构建基于C个类别分类的深度神经网络；
所述对构建的基准网络采用随机的方式进行初始化，具体对基准网络的卷积层、BN层、线性层的权重和偏置采用MSRA权重初始化方法进行随机初始化，对其它部分则采用零值初始化的方法进行初始化。
4.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述构建组成渐进式特征摆正网络的残差块的具体结构，并通过堆叠方式组成渐进式特征摆正网络，具体采用Conv-BN-ReLU-Conv-BN变换与原先特征相加的基本残差结构，并且使用软门限系数逐元素与变换后的特征相加以控制变换的量，具体表示为：
fi(x)＝fi-1(x)+γ(θi,θ)·Ri(fi-1(x))
其中，x表示处理的每一张侧脸图像，fi(x)表示经过第i个残差块网络后提取的人脸特征，Ri表示第i个残差块网络对当前输入特征的变换，γ表示每个残差块网络的软门限系数。
5.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述构建残差块使用的软门限的计算方法，具体步骤包括：
给定每张图片的角度θ和每个残差块的对应转换角度θi(i＝1,2,3)，根据sigmoid函数计算软门限系数，对应每个残差块软门限系数计算方法如下：
Figure FDA0002926123200000031
其中i表示第i个残差块。
6.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述根据基准图像的特征构建注意力特征向量，具体步骤包括：
根据基准图像的特征构建注意力特征向量：将每张训练图像的基准图像输入基准网络Resnet-34中提取基准特征，对基准特征逐元素取绝对值，计算基准特征绝对值的最大值，将基准特征逐元素除以该最大值从而得到注意力特征向量，具体表示为：
Figure FDA0002926123200000032
其中，ψ(xf)表示对基准图像提取的特征，sqrt、abs、max分别表示对特征向量的逐元素取平方根、取绝对值、取最大值。
7.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述根据摆正后的训练图像特征、基准图像的特征和注意力特征向量构建基于注意力的加权均方误差损失函数，具体步骤包括：
计算每张训练图像经过基准网络和渐进式特征摆正网络后的特征与基准图像经过基准网络后的特征之间每个元素的平方差，将构建好的注意力特征向量逐元素与特征的平方差进行相乘，然后按照均方误差损失函数计算基于注意力的加权均方误差损失函数，具体表示为：
Figure FDA0002926123200000041
其中，N表示训练过程中的批尺寸，i表示第i张图像，
Figure FDA0002926123200000042
表示训练集中第i张图像提取的特征，
Figure FDA0002926123200000043
表示相应的基准图像。
8.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述结合交叉熵损失函数进行损失计算和梯度计算，具体设置平衡参数，用于调节交叉熵损失函数和基于注意力的加权均方误差损失函数的比重，具体表示为：
Ltotal＝Lid+λLapl
Figure FDA0002926123200000044
其中，Lid表示交叉熵损失函数，
Figure FDA0002926123200000045
分别为分类器中对应正确类别的权重和偏置量，
Figure FDA0002926123200000046
bj分别表示其它类的权重和偏置量，C表示总共有C个类别，N表示训练过程中的批尺寸，i表示第i张图像，
Figure FDA0002926123200000047
表示训练集中第i张图像提取的特征，λ是两个损失函数的平衡参数。
9.根据权利要求1所述的基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，其特征在于，所述基准网络和渐进式特征摆正网络的训练方法采用端到端的训练方式，批尺寸固定，采用随机裁剪、随机翻转、色彩变动、对比度干扰的数据增强方法，设置初始学习率，在迭代训练过程中使用学习率退火策略，并保存模型参数文件。
10.一种基于渐进式神经网络和注意力机制的跨姿态人脸识别系统，其特征在于，包括：
图像预处理模块、姿态角度检测模块、图像对构建模块、基准神经网络构建模块、初始化模块、类别预测分数获取模块、交叉熵损失函数构建模块、渐进式特征摆正网络构建模块、软门限机制构建模块、训练图像和基准图像的特征获取模块、摆正后的人脸特征获取模块、注意力特征向量构建模块、加权均方误差损失函数构建模块、训练模块和识别模块；
所述图像预处理模块用于对收集的人脸图像数据进行预处理，包括人脸检测、关键点检测、人脸对齐；
所述姿态角度检测模块用于对经过预处理的人脸图像检测姿态角度；
所述图像对构建模块用于根据人脸的姿态角度，为训练集中每张人脸图像选择一张正脸图像或最小姿态角度图像作为基准图像以组成用于训练的图像对；
所述基准神经网络构建模块用于构建基准神经网络，所述基准网络用于深度人脸特征的提取；
所述初始化模块用于对构建的基准网络及渐进式特征摆正网络采用随机的方式进行初始化；
所述类别预测分数获取模块用于将训练集中的人脸图像随机分配到固定尺寸的batch中，馈入基准网络及分类器以获取预测的各类别的分数；
所述交叉熵损失函数构建模块用于构建交叉熵损失函数，采用交叉熵损失函数对基准网络的预测结果和人脸图像类别的标签进行损失计算和梯度计算，并通过反向传播更新基准网络；
所述渐进式特征摆正网络构建模块用于构建组成渐进式特征摆正网络的残差块的具体结构，并通过堆叠方式组成渐进式特征摆正网络；
所述软门限机制构建模块用于构建残差块使用的软门限的计算方法；
所述训练图像和基准图像的特征获取模块用于将训练集中的人脸图像和基准图像以图像对的形式随机分配到固定尺寸的batch中，馈入基准网络中，得到训练图像和基准图像的特征；
所述摆正后的人脸特征获取模块用于将训练图像的特征馈入渐进式特征摆正网络，形成摆正后的人脸特征；
所述注意力特征向量构建模块用于根据基准图像的特征构建注意力特征向量；
所述加权均方误差损失函数构建模块用于根据摆正后的训练图像特征、基准图像的特征和注意力特征向量构建基于注意力的加权均方误差损失函数，
所述训练模块用于结合交叉熵损失函数进行损失计算和梯度计算，并通过反向传播同时更新基准网络和渐进式特征摆正网络；
所述识别模块用于使用训练好的基准网络和渐进式特征摆正网络对待测任意人脸图像进行特征提取，并计算待测图像与比对图像特征之间的余弦相似度作为衡量。
CN202110133292.6A 2021-02-01 2021-02-01 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统 Active CN112818850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110133292.6A CN112818850B (zh) 2021-02-01 2021-02-01 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110133292.6A CN112818850B (zh) 2021-02-01 2021-02-01 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统

Publications (2)

Publication Number Publication Date
CN112818850A true CN112818850A (zh) 2021-05-18
CN112818850B CN112818850B (zh) 2023-02-10

Family

ID=75860540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110133292.6A Active CN112818850B (zh) 2021-02-01 2021-02-01 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统

Country Status (1)

Country Link
CN (1) CN112818850B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255594A (zh) * 2021-06-28 2021-08-13 深圳市商汤科技有限公司 人脸识别方法和装置、神经网络
CN113706404A (zh) * 2021-08-06 2021-11-26 武汉大学 一种基于自注意力机制的俯角人脸图像校正方法及系统
CN114220138A (zh) * 2021-11-15 2022-03-22 浙江大华技术股份有限公司 一种人脸对齐方法、训练方法、装置和存储介质
CN114360032A (zh) * 2022-03-17 2022-04-15 北京启醒科技有限公司 一种多态不变性人脸识别方法及系统
CN117894058A (zh) * 2024-03-14 2024-04-16 山东远桥信息科技有限公司 基于注意力增强的智慧城市摄像头人脸识别方法
CN117912086A (zh) * 2024-03-19 2024-04-19 中国科学技术大学 基于撒切尔效应驱动的人脸识别方法、系统、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150139485A1 (en) * 2013-11-15 2015-05-21 Facebook, Inc. Pose-aligned networks for deep attribute modeling
CN108537135A (zh) * 2018-03-16 2018-09-14 北京市商汤科技开发有限公司 对象识别及对象识别网络的训练方法和装置、电子设备
CN109344713A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种姿态鲁棒的人脸识别方法
CN109934116A (zh) * 2019-02-19 2019-06-25 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法
CN110276274A (zh) * 2019-05-31 2019-09-24 东南大学 一种多任务的深度特征空间姿态人脸识别方法
CN110363156A (zh) * 2019-07-17 2019-10-22 北京师范大学 一种姿态无关的面部动作单元识别方法
CN110543846A (zh) * 2019-08-29 2019-12-06 华南理工大学 一种基于生成对抗网络的多姿态人脸图像正面化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150139485A1 (en) * 2013-11-15 2015-05-21 Facebook, Inc. Pose-aligned networks for deep attribute modeling
CN108537135A (zh) * 2018-03-16 2018-09-14 北京市商汤科技开发有限公司 对象识别及对象识别网络的训练方法和装置、电子设备
CN109344713A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种姿态鲁棒的人脸识别方法
CN109934116A (zh) * 2019-02-19 2019-06-25 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法
CN110276274A (zh) * 2019-05-31 2019-09-24 东南大学 一种多任务的深度特征空间姿态人脸识别方法
CN110363156A (zh) * 2019-07-17 2019-10-22 北京师范大学 一种姿态无关的面部动作单元识别方法
CN110543846A (zh) * 2019-08-29 2019-12-06 华南理工大学 一种基于生成对抗网络的多姿态人脸图像正面化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIDI CAO: "Pose-Robust Face Recognition via Deep Residual Equivariant Mapping", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
杨壮等: "基于注意力机制和深度恒等映射的人脸识别", 《传感器与微系统》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255594A (zh) * 2021-06-28 2021-08-13 深圳市商汤科技有限公司 人脸识别方法和装置、神经网络
CN113706404A (zh) * 2021-08-06 2021-11-26 武汉大学 一种基于自注意力机制的俯角人脸图像校正方法及系统
CN113706404B (zh) * 2021-08-06 2023-11-21 武汉大学 一种基于自注意力机制的俯角人脸图像校正方法及系统
CN114220138A (zh) * 2021-11-15 2022-03-22 浙江大华技术股份有限公司 一种人脸对齐方法、训练方法、装置和存储介质
CN114360032A (zh) * 2022-03-17 2022-04-15 北京启醒科技有限公司 一种多态不变性人脸识别方法及系统
CN114360032B (zh) * 2022-03-17 2022-07-12 北京启醒科技有限公司 一种多态不变性人脸识别方法及系统
CN117894058A (zh) * 2024-03-14 2024-04-16 山东远桥信息科技有限公司 基于注意力增强的智慧城市摄像头人脸识别方法
CN117894058B (zh) * 2024-03-14 2024-05-24 山东远桥信息科技有限公司 基于注意力增强的智慧城市摄像头人脸识别方法
CN117912086A (zh) * 2024-03-19 2024-04-19 中国科学技术大学 基于撒切尔效应驱动的人脸识别方法、系统、设备及介质
CN117912086B (zh) * 2024-03-19 2024-05-31 中国科学技术大学 基于撒切尔效应驱动的人脸识别方法、系统、设备及介质

Also Published As

Publication number Publication date
CN112818850B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN112818850B (zh) 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN110909673B (zh) 一种基于自然语言描述的行人再识别方法
CN107122375A (zh) 基于图像特征的图像主体的识别方法
CN106228142A (zh) 基于卷积神经网络和贝叶斯决策的人脸验证方法
CN104123560B (zh) 基于相位编码特征和多度量学习的模糊人脸图像验证方法
CN106326843B (zh) 一种人脸识别方法
CN104408405B (zh) 人脸表示和相似度计算方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN109447123B (zh) 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法
CN104680144A (zh) 基于投影极速学习机的唇语识别方法和装置
CN113076994A (zh) 一种开集域自适应图像分类方法及系统
CN106980848A (zh) 基于曲波变换和稀疏学习的人脸表情识别方法
CN103295021A (zh) 一种静态图片中车辆特征检测及识别的方法及系统
CN106096517A (zh) 一种基于低秩矩阵与特征脸的人脸识别方法
CN111368766A (zh) 一种基于深度学习的牛脸检测与识别方法
CN104715266B (zh) 基于src‑dp与lda相结合的图像特征提取方法
CN106599833B (zh) 一种基于领域适应和流形距离度量的人脸识别方法
JP2010039778A (ja) 次元削減方法、パターン認識用辞書生成装置、及びパターン認識装置
CN109522865A (zh) 一种基于深度神经网络的特征加权融合人脸识别方法
CN114972952A (zh) 一种基于模型轻量化的工业零部件缺陷识别方法
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及系统
CN106529490B (zh) 基于稀疏自编码码本实现笔迹鉴别的系统及方法
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN114267060A (zh) 基于不确定抑制网络模型的人脸年龄识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant