CN109871835B - 一种基于互斥正则化技术的人脸识别方法 - Google Patents

一种基于互斥正则化技术的人脸识别方法 Download PDF

Info

Publication number
CN109871835B
CN109871835B CN201910235306.8A CN201910235306A CN109871835B CN 109871835 B CN109871835 B CN 109871835B CN 201910235306 A CN201910235306 A CN 201910235306A CN 109871835 B CN109871835 B CN 109871835B
Authority
CN
China
Prior art keywords
classification parameter
parameter matrix
face recognition
mutual exclusion
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910235306.8A
Other languages
English (en)
Other versions
CN109871835A (zh
Inventor
程明明
赵凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN201910235306.8A priority Critical patent/CN109871835B/zh
Publication of CN109871835A publication Critical patent/CN109871835A/zh
Application granted granted Critical
Publication of CN109871835B publication Critical patent/CN109871835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种基于互斥正则化技术的人脸识别方法，属于图像处理技术领域，该方法首先将进行筛选和校准后的人脸图像数据集导入模型；利用残差神经网络对输入的图像数据进行特征提取得到特征向量；利用特征向量和分类参数矩阵来计算分类概率得出识别向量；使用A‑Softmax损失函数计算识别向量与标注之间的损失差异并将其作为梯度进行反向传播来更新特征提取网络中的参数；计算互斥正则项关于分类参数矩阵的偏导数并利用该偏导数更新分类参数矩阵。本发明同时考虑了类內紧凑性和类间可分性，对开放环境下人脸识别模型的应用更具有实际意义，该方法能够同时实现人脸识别任务下类內数据的密集聚簇和类间数据的离散分布，比以往方法更具实用性和普适性。

Description

一种基于互斥正则化技术的人脸识别方法
技术领域
本发明属于图像处理技术领域，特别涉及到一种基于互斥正则化技术的人脸识别方法。
背景技术
人脸识别是计算机视觉中研究最广泛的主题之一，最近，卷积神经网络(CNN)成为人工智能研究领域的主力方法并且已经取得了显著的进步。通常，在人脸识别中存在两种用于人脸识别的测试环境：开放式和封闭式。在开放式测试环境中，训练集数据中可能不存在测试图片所属的身份类别。在封闭式测试环境中，训练数据集和测试数据集中均具有相对应的身份类别。因为收集所有可能的身份面庞进行训练是不可能的，所以开放式环境下的人脸识别更具挑战性，也更接近现实世界的应用，而特征的可辨性是训练更加精准的开放式人脸识别模型的关键，类内紧凑性和类间可分性是特征可辨性的两个重要因素，对提高人脸识别技术的准确率至关重要。
最近的许多工作都坚持设计新型的损失函数来改善深层特征的类内紧致性。Y.Wen等人提出的Center损失函数通过施加额外的损失项来改善类内紧凑性，该损失项旨在减少欧几里德空间下该样本特征与目标特征的距离。然后在Liu等人提出的SphereFace中利用A-Softmax损失函数施加了一个角度限制以将样本特征集中在一个球体空间中。和SphereFace相似，H.Wang等人提出的CosFace方法和J.Deng等人提出的ArgFace方法通过对原始Softmax损失函数的决策边界施加角度限制提高了识别准确率，以上方法主要着眼于通过在欧几里德空间或球体空间中限制并聚集那些属于同一身份类别的特征来加强该身份类别所代表的特征集合之间的紧凑性。虽然它们在类內紧凑性上取得了优秀成果，然而这些工作并没有关注类间可分性在人脸识别模型中的应用，继而使得上述方法无法充分利用人脸特征去提升人脸识别准确性，如果想要进一步推动该领域的发展，需要对类间可分性进行更深层次的发掘和利用。
发明内容
本发明目的是解决已有的人脸识别模型和方法仅考虑到人脸分类问题下同一类特征之间的紧凑性而没有考虑不同类特征之间的可分性的问题，提出一种能同时考虑到同一类特征之间的紧凑性和不同类特征之间的可分性的人脸识别方法。
本发明的技术方案
一种基于互斥正则化技术的人脸识别方法，本发明方法涉及的模型为RegularFace模型，该模型主要有两个基本模块：身份特征提取模块和分类参数映射模块。前者使用残差网络通过多层残差网络块对输入的图像数据进行特征提取，后者利用分类参数矩阵将身份特征提取模块输出的特征向量映射成识别向量，继而根据识别向量得到了输入人脸图像的分类结果。该识别方法包括如下步骤：
a.导入训练图像：将进行筛选和校准后的人脸图像数据集输入RegularFace模型中；
b.身份特征提取：利用残差神经网络组成的特征提取网络对输入的图像数据进行特征
提取得到特征向量；
c.身份识别：利用特征向量和分类参数矩阵来计算分类概率得出识别向量；
d.利用A-Softmax损失函数更新网络参数：使用A-Softmax损失函数计算识别向量与标注之间的损失差异并将该损失差异作为梯度进行反向传播来更新特征提取网络中的参数；
e.利用互斥正则项更新分类参数矩阵：计算互斥正则项关于分类参数矩阵的偏导数并利用该偏导数更新分类参数矩阵。
本发明使用A-Softmax损失函数计算识别向量与标注之间的损失差异并将其作为梯度进行反向传播来更新特征提取网络中的参数，从而加强了同一类别内图像特征的类內紧凑性，随后根据互斥正则项计算分类参数矩阵的梯度并对其进行更新，保证了不同类别间图像特征的类间可分性。互斥正则项可以嵌入各种现有的网络模型中，并且可以与各类损失函数组合起来对神经网络模型进行优化，进一步提升网络的识别准确率，具有较高的灵活性。
本发明的优点和有益效果：
本发明的人脸识别方法考虑到了分类问题中的类间可分性这一性质，相比于当前的其他识别方法只从类內紧凑性上着手改善识别率，本发明方法同时考虑了类內紧凑性和类间可分性，对于开放环境下人脸识别模型的应用更加具有实际意义，能得到更好的实际效果。
附图说明
图1为基于互斥正则化技术的人脸识别方法流程图。
图2为基于互斥正则化技术的RegularFace人脸识别模型示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明:
参照图1，表示基于互斥正则化技术的人脸识别方法流程图，图中表示的方法的步骤为：
a.导入训练图像:对于现存的人脸识别数据集中的数据，进行人脸对齐这一预处理操作，首先检测人脸目标，根据目标区域对图像进行裁剪保证人脸图像在112×96的尺寸下，随后将处理好的人脸图像数据I导入进RegularFace网络模型中。
b.身份特征提取：将a步骤中导入的人脸图像I，通过由残差网络组成的身份特征提取模块对图像进行特征提取，得到了表示该图像的特征向量x：
x＝Gθ(I)
其中，Gθ(·)表示身份特征提取模块中卷积核参数为θ的特征提取网络。
c.身份识别：对步骤b中获得的特征向量和分类参数矩阵进行矩阵乘法运算，得到识别向量，同时该识别向量也表示网络模型对于输入图像属于何种类别的预测，具体表示如下：
y＝Wx
其中，y为识别向量，W为分类参数矩阵，x为特征向量。
d.利用A-Softmax损失函数更新网络参数：使用A-Softmax损失函数计算识别向量与标注之间的损失差异：
Figure GDA0003183311880000031
上式中N为单次导入RegularFace人脸识别模型中的图像的数量，
Figure GDA0003183311880000032
为序列号为i的图像的特征向量和yi类别所代表的分类参数向量之间的角度，根据该公式计算出识别向量与标注之间的损失差异作为梯度并将其反向传播来更新身份特征提取网络中的参数，更新方式如下：
Figure GDA0003183311880000041
其中
Figure GDA0003183311880000042
为
Figure GDA0003183311880000043
关于θt的偏导数，θ为参数，α为学习率，W为分类参数矩阵，上角标t表示当前时间点，t+1表示更新参数后的时间点，θt为根据梯度更新参数之前的θ的取值情况，θt+1为根据梯度更新参数之后的θ的取值情况。
e.利用互斥正则项更新分类参数矩阵：计算互斥正则项关于分类参数矩阵的偏导数,计算方式如下：
Figure GDA0003183311880000044
Figure GDA0003183311880000045
其中
Figure GDA0003183311880000046
为互斥正则项，C为类别数，W为分类参数矩阵，Wj′为Wj的最近邻，
Figure GDA0003183311880000047
是最近邻为Wj的列向量的集合。计算出偏导数之后，将其用来更新分类参数矩阵，更新方式如下：
Figure GDA0003183311880000048
Figure GDA0003183311880000049
其中，Normalize(·)为L2正则化。
参照图2，表示基于互斥正则化技术的RegularFace人脸识别模型，图中表示的模型结构为：
第一部分由3个卷积层组成，每一层卷积层均有64个通道数为3尺寸为3×3的卷积核；
第二部分由5个卷积层组成，每一层卷积层均有128个通道数为64尺寸为3×3的卷积核；
第三部分由9个卷积层组成，每一层卷积层均有256个通道数为128尺寸为3×3的卷积核；
第四部分由3个卷积层组成，每一层卷积层均有512个通道数为256尺寸为3×3的卷积核；
前四部分各卷积层连接方式如图2，在每一个卷积层中，将输入数据X和卷积核C进行卷积运算，将得到的结果作为输出数据Y传入下一个卷积层，公式如下(*为卷积运算符号)：
Y＝X*C
前四部分中的逐元素相加符号表示将两个尺寸相同的矩阵中相对应位置各个单元的数值逐个相加后得到新的矩阵。
最后部分为分类参数矩阵。
举例，在100类人脸的识别任务中，将输入的一张长300宽300的人脸彩色图像转化为尺寸为300×300×3的矩阵，并将该矩阵数据作为输入数据导入RegularFace模型的第一层中与第一个卷积核进行卷积运算中，按照模型设计将输出数据导入下一层卷积层，直至最后经过分类参数矩阵输出100维的识别向量，该识别向量的每一个分量分别表示该图片属于100类人脸中某一类人脸的概率，同时也表示该模型完成了对人脸图像的识别。

Claims (1)

1.一种基于互斥正则化技术的人脸识别方法，其特征在于该方法同时实现人脸识别任务下类內数据的密集聚簇和类间数据的离散分布，该方法涉及的模型为RegularFace模型，所述模型包括身份特征提取模块和分类参数映射模块，所述方法包含如下步骤：
a.导入训练图像：将进行筛选和校准后的人脸图像数据集输入RegularFace模型中；
b.身份特征提取：利用残差神经网络组成的特征提取网络对输入的图像数据进行特征提取得到特征向量；
c.身份识别：利用特征向量和分类参数矩阵来计算分类概率得出识别向量；
d.利用A-Softmax损失函数更新网络参数：使用A-Softmax损失函数计算识别向量与标注之间的损失差异：
Figure FDA0003183311870000011
上式中N为单次导入RegularFace人脸识别模型中的图像的数量，
Figure FDA0003183311870000012
为序列号为i的图像的特征向量和yi类别所代表的分类参数向量之间的角度；
将该损失差异作为梯度进行反向传播来更新特征提取网络中的参数；
e.利用互斥正则项更新分类参数矩阵：计算互斥正则项关于分类参数矩阵的偏导数，计算方式如下：
Figure FDA0003183311870000013
Figure FDA0003183311870000014
其中
Figure FDA0003183311870000015
为互斥正则项，C为类别数，W为分类参数矩阵，Wj′为Wj的最近邻，
Figure FDA0003183311870000016
是最近邻为Wj的列向量的集合；
利用该偏导数更新分类参数矩阵，并对分类参数矩阵进行L2正则化：
Figure FDA0003183311870000017
Figure FDA0003183311870000018
其中，Normalize(·)为L2正则化。
CN201910235306.8A 2019-03-27 2019-03-27 一种基于互斥正则化技术的人脸识别方法 Active CN109871835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910235306.8A CN109871835B (zh) 2019-03-27 2019-03-27 一种基于互斥正则化技术的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910235306.8A CN109871835B (zh) 2019-03-27 2019-03-27 一种基于互斥正则化技术的人脸识别方法

Publications (2)

Publication Number Publication Date
CN109871835A CN109871835A (zh) 2019-06-11
CN109871835B true CN109871835B (zh) 2021-10-01

Family

ID=66921376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910235306.8A Active CN109871835B (zh) 2019-03-27 2019-03-27 一种基于互斥正则化技术的人脸识别方法

Country Status (1)

Country Link
CN (1) CN109871835B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360008B (zh) * 2021-12-23 2023-06-20 上海清鹤科技股份有限公司 人脸认证模型的生成方法、认证方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243398A (zh) * 2015-09-08 2016-01-13 西安交通大学 基于线性判别分析准则的改进卷积神经网络性能的方法
CN106056064A (zh) * 2016-05-26 2016-10-26 汉王科技股份有限公司 一种人脸识别方法及人脸识别装置
CN108428238A (zh) * 2018-03-02 2018-08-21 南开大学 一种基于深度网络的多类型任务通用的检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387773B2 (en) * 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243398A (zh) * 2015-09-08 2016-01-13 西安交通大学 基于线性判别分析准则的改进卷积神经网络性能的方法
CN106056064A (zh) * 2016-05-26 2016-10-26 汉王科技股份有限公司 一种人脸识别方法及人脸识别装置
CN108428238A (zh) * 2018-03-02 2018-08-21 南开大学 一种基于深度网络的多类型任务通用的检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A discriminative feature learning approach for deep face recognition;Yandong Wen 等;《In European Conference on Computer Vision》;20161231;第499-515页 *
Deep learning face representation by joint identification-verification;Yi Sun 等;《arXiv:1406.4773v1》;20140618;第1-3页 *
基于改进卷积神经网络算法的语音识别;杨洋 等;《应用声学》;20181231;第940-946页 *

Also Published As

Publication number Publication date
CN109871835A (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
Wang et al. SaliencyGAN: Deep learning semisupervised salient object detection in the fog of IoT
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN112766244B (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN108171701B (zh) 基于u网络和对抗学习的显著性检测方法
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
US10719693B2 (en) Method and apparatus for outputting information of object relationship
CN107437100A (zh) 一种基于跨模态关联学习的图像位置预测方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN104484658A (zh) 一种基于多通道卷积神经网络的人脸性别识别方法及装置
CN110533024B (zh) 基于多尺度roi特征的双二次池化细粒度图像分类方法
CN111401156B (zh) 基于Gabor卷积神经网络的图像识别方法
CN112766229B (zh) 基于注意力机制的人脸点云图像智能识别系统及方法
CN109871845B (zh) 证件图像提取方法及终端设备
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN107491729B (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN107203752A (zh) 一种联合深度学习和特征二范数约束的人脸识别方法
CN109344713A (zh) 一种姿态鲁棒的人脸识别方法
Cai et al. A robust interclass and intraclass loss function for deep learning based tongue segmentation
CN115830531A (zh) 一种基于残差多通道注意力多特征融合的行人重识别方法
CN111739037A (zh) 一种针对室内场景rgb-d图像的语义分割方法
Niu et al. Boundary-aware RGBD salient object detection with cross-modal feature sampling
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN109871835B (zh) 一种基于互斥正则化技术的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant