CN110084149B - 一种基于难样本四元组动态边界损失函数的人脸验证方法 - Google Patents

Abstract

本发明公开了一种基于难样本四元组动态边界损失函数的人脸验证方法，包括如下步骤：（1）构建人脸样本图像数据库并进行预处理。（2）对数据库中的人脸图像进行分组，设定有效的选取机制来选取难样本四元组。（3）设置模型损失函数为包含动态阈值边界的四元组损失函数，投入难样本进行训练，得到收敛好的网络模型。（4）利用训练好的网络对待验证的人脸图像进行特征提取，计算特征向量间的距离，根据距离大小判断验证结果。本发明的方法具有如下优点：1）模型收敛速度快；2）对人工设置的边界阈值依赖程度低；3）更有效地提取人脸特征并提高人脸验证的准确度。

Description

一种基于难样本四元组动态边界损失函数的人脸验证方法

技术领域

本发明属于模式识别领域，涉及人脸验证方法，具体涉及一种基于难样本四元组动态边界损失函数的人脸验证方法。

背景技术

人脸识别技术是基于人的面部特征信息进行身份识别的一种生物识别技术。人脸验证问题一直是图像识别领域的热门，其综合运用了机器学习、人工智能、视觉计算等多方面的技术，主要运用于门禁考勤系统、人脸验证防盗门、公安司法刑侦等方面。

在深度学习技术出现之前，人脸识别的分类方法主要是采用基于人脸图像设计的手工特征。为了和深度神经网络结构区分开来，这些方法模型被称为“浅层”模型。为了表示人脸图像，像LBP、HOG、Gabor-LBP和SIFT等用于人脸验证任务的局部描述符先后被提出来。而这些传统的人脸识别算法往往需要结合人工特征，并且不能从原始图像中获取更深入的高语义特征。神经网络，尤其是深度卷积神经网络技术的逐渐城市，为人脸验证提供了新的方法。

其中最有效的两种方法是孪生网络和三元组网络：孪生网络是将两个卷积神经网络并联并从中提取的两个高级特征用作人脸图像的描述符；三元组网络是将采集到的三元组图像输入网络，包括来自同一个人的一对图像和来自不同人的一张图像，并且使来自同一人的图像距离比来自不同人的图像距离更近。三元组网络可以看成是孪生网络的扩展，并且取得了更好的效果。然而传统的三元组网络有三个局限性。首先，构建样本时，只考虑到样本间的相对距离，而没有考虑到样本间的绝对距离。这会导致训练时有大量样本被浪费，类间的边界更难区分。另外，简单样本(容易区分的样本)和难样本(难以区分的样本)的之间的区别也被忽视，这显然会限制模型的表达能力，影响模型训练的效率。最后，在设置正负样本对边界时，过于依赖人工经验，网络模型的收敛也会因此不稳定。因此传统三元组网络的效率和质量还可以进一步提高。

发明内容

本发明的目的是提供一种能够提高深度卷积神经网络训练速度，提高模型鲁棒性的基于难样本四元组动态边界损失函数的人脸验证方法。

为实现上述目的，本发明采用了如下技术方案：一种基于难样本四元组动态边界损失函数的人脸验证方法，包括如下步骤：

步骤(1)：构建人脸样本图像数据库并进行预处理，具体流程如下：

步骤(1.1)：采集n张来自c个不同人的人脸图像，每个人采集d张来构成人脸样本图像数据库；将采集到的图像归一化为a×b像素的人脸样本图像，并将所有n张人脸样本图像分别转化为m维向量

且i＝1,2,…,c，u＝1,2,…,d，m＝a×b；

步骤(1.2)：根据人脸图像特征与其中心点的距离，将采集获取到的人脸数据库中P％的图像过滤掉；

步骤(1.3)：将人脸数据库中的图像以K％的概率进行左右水平地翻转；

步骤(1.4)：根据下式对人脸数据库中的图像进行标准化处理：

其中，μ是图像的均值，x表示图像矩阵，adjusted_stddev是图像x的均值，其大小为

σ表示标准方差，S表示图片x的像素数量；

步骤(1.5)：将预处理后的人脸样本数据库按比例分为训练数据库与测试数据库；

步骤(2)：从步骤(1)中得到的训练数据库中选取难样本，具体流程如下：

步骤(2.1)：将步骤(1.1)中得到的人脸样本图像数据库中的每一幅图像x，设置其本身为锚样本x^a，与它属于同一类的样本为正样本x^p，属于不同类的样本为负样本xⁿ，选取一个正样本对<x^a，x^p〉和负样本对<x^m，xⁿ>构成一个四元组；

步骤(2.2)：从步骤(2.1)中得到的四元组中，选择人脸图像特征距离最远的正对max<x^a，x^p>和人脸图像特征距离最近的负对min<x^m，xⁿ>来构成输入深度卷积神经网络的难样本；其中，人脸样本对之间距离的计算公式如下：

其中m表示图像x的维数，

表示来自类别i的锚样本a的m维特征向量；

步骤(3)：设定网络并确定损失函数，并投入难样本开始训练网络模型，具体流程如下：

步骤(3.1)：确定用于特征提取的深度卷积神经网络结构并设置训练过程中的各种参数；

步骤(3.2)：用下式来计算神经网络训练所需要的动态边界四元组损失：

D_i∈A,D_j∈B,D_k∈B

其中，样本m和n可以和锚样本a属于同一类或者不同类，N表示每批投入网络训练的样本数量，A表示每批样本中与锚样本a属于同一类的样本集合，而B则表示与锚样本属于不同类的样本集合，D_i表示图片x_i所属的样本集合，α表示正负样本对之间的动态边界阈值；

步骤(3.3)：将步骤(2.2)中的四元组难样本投入网络中并开始训练模型至收敛，得到收敛好的深度卷积神经网络模型；

步骤(4)：人脸图像验证，具体过程如下：

步骤(4.1)：采集获取两张待验证的人脸图像测试样本x₁和x₂，将x₁和x₂归一化为a×b像素的测试样本；

步骤(4.2)：将步骤(4.1)中归一化后的测试样本x₁和x₂投入步骤(3.3)中训练好的深度卷积神经网络模型中，分别得到x₁和x₂的高级特征向量f(x₁)和f(x₂)；

步骤(4.3)：对步骤(4.2)中得到高级特征向量f(x₁)和f(x₂)，用步骤(2.2)中的距离公式计算它们之间的距离

步骤(4.4)：将步骤(4.3)中计算得到的图像对距离与步骤(3.2)中训练得到的平均边界阈值

作比较，判断d_1,2是否大于

如果大于，则说明人脸图像x₁和x₂来自同一个人；否则来自不同的人。

进一步地，前述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其中：在步骤(1.2)中，P的取值范围为3～6。

进一步地，前述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其中：在步骤(1.3)中，K的取值范围为40～60。

进一步地，前述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其中：

在步骤(1.5)中，将预处理后的人脸样本数据库，每个人取前p张图片作训练数据库，剩余每人的q张图片作测试数据库，且p:q＝7:3，p+q＝d。

进一步地，前述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其中：

在步骤(3.1)：选择Inception-Resnet-V1模型作为用于特征提取的深度卷积神经网络。

进一步地，前述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其中：

在步骤(3.2)中，动态边界阈值α，α由每批样本中正负样本的分布情况来决定，具体公式如下：

其中，λ_n和λ_p分别是每批样本中正负两种分布A和B的均值，N^p表示所有正对的数量，Nⁿ表示所有负对的数量，ω是一个权重系数，当样本m或n与锚样本a属于同一类时，ω＝1；否则，ω＝0.5。

通过上述技术方案的实施，本发明的有益效果是：

(1)本发明提出的基于难样本四元组动态边界损失函数的人脸验证方法，针对传统三元组损失只关注样本间的相对距离的问题，给模型训练新增一个约束，也就是采用四元组损失函数来训练，以保证样本类内距离小于类间距离，从而能够提高深度卷积神经网络训练速度，提高模型鲁棒性；

(2)本发明从实际应用效率出发，提出基于难样本四元组动态边界损失函数的人脸验证方法，为了提高训练速度，在不影响模型精度的同时，提出了难样本采集，每批样本只选择距离最远的正对和距离最近的负对来计算最终损失；由于同时优化了类内、类间距离，本发明提出的方法可以更好地分离类以使特征更具辨别力，在训练速度上高于传统深度度量学习方法，能使模型训练收敛性更好，模型收敛速度快，更有效地提取人脸特征并提高人脸验证的精确度；

(3)本发明提出的基于难样本四元组动态边界损失函数的人脸验证方法，为了降低损失函数中边界阈值的设置对人工经验的依赖程度，根据正负样本的分布情况，设计了一种根据正负样本的分布情况自适应变化的动态阈值，并用该方法来选择难样本，从而避免出现对样本的过采样和欠采样问题；对人工设置的边界阈值依赖程度低。

附图说明

图1为本发明所述的一种基于难样本四元组动态边界损失函数的人脸验证方法的整体流程示意图。

图2为本发明中四元组损失函数的工作流程示意图。

图3为本发明中人脸图像验证的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案做进一步的详细说明：

如图1所示，所述的一种基于难样本四元组动态边界损失函数的人脸验证方法，包括以下步骤：

步骤(1)：构建人脸样本图像数据库并进行预处理，具体流程如下：

步骤(1.1)：采集n张来自c个不同人的人脸图像，每个人采集d张来构成人脸样本图像数据库；将采集到的图像归一化为a×b像素的人脸样本图像，并将所有n张人脸样本图像分别转化为m维向量

且i＝1,2,…,c，u＝1,2,…,d，m＝a×b；

步骤(1.2)：根据人脸图像特征与其中心点的距离，将采集获取到的人脸数据库中P％的图像过滤掉；其中，P的取值范围为3～6，这对降低数据库中噪声对模型性能的影响至关重要；

步骤(1.3)：将人脸数据库中的图像以K％的概率进行左右水平地翻转，其中，K的取值范围为40～60，这样可以提高模型对左右翻转图像的鲁棒性；

步骤(1.4)：根据下式对人脸数据库中的图像进行标准化处理：

其中，μ是图像的均值，x表示图像矩阵，adjusted_stddev是图像x的均值，其大小为

σ表示标准方差，S表示图片x的像素数量；这可以加快模型的收敛速度并在一定程度上可以提高收敛精度；

步骤(1.5)：将预处理后的人脸样本数据库，每个人取前p张图片作训练数据库，剩余每人的q张图片作测试数据库，且p:q＝7:3，p+q＝d；

步骤(2)：从步骤(1)中得到的训练数据集中选取难样本，具体流程如下：

步骤(2.1)：将步骤(1.1)中得到的人脸样本图像数据库中的每一幅图像x，设置其本身为锚样本x^a，与它属于同一类的样本为正样本x^p，属于不同类的样本为负样本xⁿ，选取一个正样本对<x^a，x^p>和负样本对<x^m，xⁿ>构成一个四元组；

步骤(2.2)：从步骤(2.1)中得到的四元组中，选择人脸图像特征距离最远的正对max<x^a，x^p>和人脸图像特征距离最近的负对min<x^m，xⁿ>来构成输入深度卷积神经网络的难样本，在不损失精度的同时，还可以提高模型训练速度，其中，人脸样本对之间的距离的具体计算公式如下：

其中m表示图像x的维数，

表示来自类别i的锚样本a的m维特征向量；

步骤3：设定网络并确定损失函数，并投入难样本开始训练网络模型，具体流程如下：

步骤(3.1)：选择Inception-Resnet-V1模型作为用于特征提取的卷积神经网络，在保证信息损失足够小的同时，该模型使用并行结构和非对称卷积核结构来减少计算量；将步骤(2)得到的四元组难样本按每批90张，总共迭代100000次的方式投入网络中并开始训练模型；初始学习率设为0.1，分别在迭代300、400、1000次时除以10；为了减少网络的过拟合，使用keep-probability设为0.8，权重衰减设为0.0004的dropout层来对模型进行正则化；卷积神经网络中过滤器权重由RMSPROP进行初始化，并且初始偏置被设为0；

步骤(3.2)：用下式来计算神经网络训练所需要的动态边界四元组损失：

D_i∈A,D_j∈B,D_k∈B

其中，样本m和n可以和锚样本a属于同一类或者不同类，N表示每批投入网络训练的样本数量，A表示每批样本中与锚样本a属于同一类的样本集合，而B则表示与锚样本属于不同类的样本集合，D_i表示图片x_i所属的样本集合，α表示正负样本对之间的动态边界阈值，由每批样本中正负样本的分布情况来决定；本发明方法取训练过程中所有α的平均值α来作为最后人脸验证时判断的依据；上式第一项考虑的是正负样本对之间的相对距离，第二项考虑的是正负样本对之间的绝对距离，而第二项不应该主导训练进程并且与第一项重要性相同，因此本发明方法中利用权重系数ω来平衡这两项的重要性；

其中，损失函数L_DMHSL的动态阈值α是用来限制四元组样本中正负对之间的距离，主要思想是避免训练过程中出现过采样和欠采样问题；α由每批样本中正负样本的分布情况来决定，可用以下公式表示：

其中λ_n和λ_p分别是每批样本中正负两种分布A和B的均值，N^p表示所有正对的数量，Nⁿ表示所有负对的数量；ω是一个权重系数，当样本m或n与锚样本a属于同一类时，ω＝1；否则，ω＝0.5；

步骤(3.3)：将步骤(2.2)中的四元组难样本投入网络中并开始训练模型至收敛，得到收敛好的深度卷积神经网络模型；其流程图如图2所示；

步骤(4)：人脸图像验证的流程图如图3所示，具体过程如下：

步骤(4.1)：采集获取两张待验证的人脸图像测试样本x₁和x₂，对x₁和x₂归一化为a×b像素的测试样本；

步骤(4.2)：将步骤(4.1)中归一化后的测试样本x₁和x₂投入步骤(3.3)中训练好的深度卷积神经网络模型中，分别得到x₁和x₂的高级特征向量f(x₁)和f(x₂)；

步骤(4.3)：对步骤(4.2)中得到高级特征向量f(x₁)和f(x₂)，用步骤(2.2)中的距离公式计算它们之间的距离

步骤(4.4)：将步骤(4.3)中计算得到的图像对距离与步骤(3.2)中训练得到的平均边界阈值

作比较，判断d_1,2是否大于

如果大于，则说明人脸图像x₁和x₂来自同一个人；否则来自不同的人。

本发明的优点是：

(1)本发明提出的基于难样本四元组动态边界损失函数的人脸验证方法，针对传统三元组损失只关注样本间的相对距离的问题，给模型训练新增一个约束，也就是采用四元组损失函数来训练，以保证样本类内距离小于类间距离，从而能够提高深度卷积神经网络训练速度，提高模型鲁棒性；

(2)本发明从实际应用效率出发，提出基于难样本四元组动态边界损失函数的人脸验证方法，为了提高训练速度，在不影响模型精度的同时，提出了难样本采集，每批样本只选择距离最远的正对和距离最近的负对来计算最终损失；由于同时优化了类内、类间距离，本发明提出的方法可以更好地分离类以使特征更具辨别力，在训练速度上高于传统深度度量学习方法，能使模型训练收敛性更好，模型收敛速度快，更有效地提取人脸特征并提高人脸验证的精确度；

(3)本发明提出的基于难样本四元组动态边界损失函数的人脸验证方法，为了降低损失函数中边界阈值的设置对人工经验的依赖程度，根据正负样本的分布情况，设计了一种根据正负样本的分布情况自适应变化的动态阈值，并用该方法来选择难样本，从而避免出现对样本的过采样和欠采样问题；对人工设置的边界阈值依赖程度低。

Claims (6)

1.一种基于难样本四元组动态边界损失函数的人脸验证方法，其特征在于：包括如下步骤：

步骤(1)：构建人脸样本图像数据库并进行预处理，具体流程如下：

步骤(1.1)：采集n张来自c个不同人的人脸图像，每个人采集d张来构成人脸样本图像数据库；将采集到的图像归一化为a×b像素的人脸样本图像，并将所有n张人脸样本图像分别转化为m维向量

且i＝1,2,…,c，u＝1,2,…,d，m＝a×b；

步骤(1.2)：根据人脸图像特征与其中心点的距离，将采集获取到的人脸数据库中P％的图像过滤掉；

步骤(1.3)：将人脸数据库中的图像以K％的概率进行左右水平地翻转；

步骤(1.4)：根据下式对人脸数据库中的图像进行标准化处理：

其中，μ是图像的均值，x表示图像矩阵，adjusted_stddev是图像x的均值，其大小为

σ表示标准方差，S表示图片x的像素数量；

步骤(1.5)：将预处理后的人脸样本数据库按比例分为训练数据库与测试数据库；

步骤(2)：从步骤(1)中得到的训练数据库中选取难样本，具体流程如下：

步骤(2.1)：将步骤(1.1)中得到的人脸样本图像数据库中的每一幅图像x，设置其本身为锚样本x^a，与它属于同一类的样本为正样本x^p，属于不同类的样本为负样本xⁿ，选取一个正样本对<x^a，x^p>和负样本对<x^m，xⁿ>构成一个四元组；

步骤(2.2)：从步骤(2.1)中得到的四元组中，选择人脸图像特征距离最远的正对max<x^a，x^p>和人脸图像特征距离最近的负对min<x^m，xⁿ> 来构成输入深度卷积神经网络的难样本；其中，人脸样本对之间距离的计算公式如下：

其中m表示图像x的维数，

表示来自类别i的锚样本a的m维特征向量；

步骤(3)：设定网络并确定损失函数，并投入难样本开始训练网络模型，具体流程如下：

步骤(3.1)：确定用于特征提取的深度卷积神经网络结构并设置训练过程中的各种参数；

步骤(3.2)：用下式来计算神经网络训练所需要的动态边界四元组损失：

D_i∈A,D_j∈B,D_k∈B

其中，样本m和n可以和锚样本a属于同一类或者不同类，N表示每批投入网络训练的样本数量，A表示每批样本中与锚样本a属于同一类的样本集合，而B则表示与锚样本属于不同类的样本集合，D_i表示图片x_i所属的样本集合，α表示正负样本对之间的动态边界阈值；

步骤(3.3)：将步骤(2.2)中的四元组难样本投入网络中并开始训练模型至收敛，得到收敛好的深度卷积神经网络模型；

步骤(4)：人脸图像验证，具体过程如下：

步骤(4.1)：采集获取两张待验证的人脸图像测试样本x₁和x₂，将x₁和x₂归一化为a×b像素的测试样本；

步骤(4.2)：将步骤(4.1)中归一化后的测试样本x₁和x₂投入步骤(3.3)中训练好的深度卷积神经网络模型中，分别得到x₁和x₂的高级特征向量f(x₁)和f(x₂)；

步骤(4.3)：对步骤(4.2)中得到高级特征向量f(x₁)和f(x₂)，用步骤(2.2)中的距离公式计算它们之间的距离

步骤(4.4)：将步骤(4.3)中计算得到的图像对距离与步骤(3.2)中训练得到的平均边界阈值

作比较，判断d_1,2是否大于

如果大于，则说明人脸图像x₁和x₂来自同一个人；否则来自不同的人。

2.根据权利要求1所述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其特征在于：在步骤(1.2)中，P的取值范围为3～6。

3.根据权利要求1所述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其特征在于：在步骤(1.3)中，K的取值范围为40～60。

4.根据权利要求1所述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其特征在于：在步骤(1.5)中，将预处理后的人脸样本数据库，每个人取前p张图片作训练数据库，剩余每人的q张图片作测试数据库，且p:q＝7:3，p+q＝d。

5.根据权利要求1所述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其特征在于：在步骤(3.1)：选择Inception-Resnet-V1模型作为用于特征提取的深度卷积神经网络。

6.根据权利要求1所述的一种基于难样本四元组动态边界损失函数的人脸验证方法，其特征在于：在步骤(3.2)中，动态边界阈值α，α由每批样本中正负样本的分布情况来决定，具体公式如下：

其中，λ_n和λ_p分别是每批样本中正负两种分布A和B的均值，N^p表示所有正对的数量，Nⁿ表示所有负对的数量，ω是一个权重系数，当样本m或n与锚样本a属于同一类时，ω＝1；否则，ω＝0.5。

Images