CN107341463B - 一种结合图像质量分析与度量学习的人脸特征识别方法 - Google Patents

Abstract

本发明公开了一种结合图像质量分析与度量学习的人脸特征识别方法及系统，方法包括：通过将人脸图像经过处理后加入卷积神经网络中训练，获得初级特征；根据初级特征的范数得到人脸图像的质量量化值；添加全连接参数层将初级特征进行降维处理得到最终特征；根据最终特征并将人脸图像的质量量化值作为附加权重信息得出加权平均值，并将其加入训练，得到度量学习的损失函数；通过损失函数监督训练过程，得到卷积神经网络的最终参数，作为最终的人脸特征提取模型并对人脸图片进行人脸特征识别。本发明用很小的计算量获取图片质量的量化值，并根据人脸特征的范数值制定了统一的量化标准；提高了网络的表达能力，并增强了网络对低质量图片的适应性。

Description

一种结合图像质量分析与度量学习的人脸特征识别方法

技术领域

本发明涉及人脸识别方法，特别涉及一种结合图像质量分析与度量学习的人脸特征识别方法。

背景技术

现今的人脸识别系统大多将人脸图像数据进行预处理后，利用卷积神经网络训练，得到网络的权重；根据训练所得网络的权重计算得到人脸特征向量，通过对特征向量进行处理获得人脸识别的结果。由于参与训练的人脸数据之间的图像质量有较大差异，一些低质量的人脸图片，如低分辨率、模糊、光照过强或过暗、面部偏转较大等，会影响参数的学习效果，进而降低识别系统的性能。现有的结合图片质量进行人脸特征识别的技术如下：

a.人脸区域+人工标注图片质量信息训练卷积神经网络，用于提取人脸特征进行识别：

缺点：人工标注耗费大量人力物力，且对图片质量的量化标准不统一。

b.单独训练网络量化图片质量+人脸区域训练卷积神经网络，用于提取人脸特征进行识别：

缺点：需要单独训练网络处理质量的网络，需要的参数更多，识别速度慢。

c.直接剔除质量较差的人脸图片，剩余图片训练网络用于提取人脸特征识别：

缺点：数据的利用率低，对低分辨率等质量不高的图片识别效果差。

本发明通过定义一种通过人脸特征直接获取量化后的人脸图片质量的运算方式，用很小的计算量获取图片质量的量化值，节省了标注的人力物力，并制定了统一的量化标准；通过将量化后的图片质量作为辅助信息输入到网络中进行训练，提高了网络的表达能力，并增强了网络对低质量图片的适应性。

发明内容

本发明要解决的技术问题是，本发明的目的是提供一种人脸识别方法，通过该方法能对人脸图像的质量进行量化，并结合量化后的人脸图像的质量，获取更高效的人脸身份特征表达，优化人脸比较判别单元的性能，从而提高人脸识别的准确率。

解决上述技术问题，本发明提供了一种结合图像质量分析与度量学习的人脸特征识别方法，包括：

通过将人脸图像I_i(i＝1,2,,…,N_train)经过处理后加入卷积神经网络中训练，获得训练集中所有人脸图像的初级特征F_i(i＝1,2,,…,N_train)，其中N_train为训练集IMG_train的图像数量；

根据所述训练集中所有人脸图像的初级特征F_i的L₂范数得到所述人脸图像的质量量化值μ；

添加全连接参数层将所述初级特征F_i进行降维处理得到最终特征

并得到同一身份的N张人脸图像构成的身份集合S_a的特征定义R_a(S_a)；

根据所述最终特征

并将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值，将所述加权平均值加入训练，得到度量学习的损失函数；

通过所述损失函数监督训练过程，得到卷积神经网络的最终参数θ_f，作为最终的人脸特征提取模型，根据所述人脸特征提取模型对人脸图像进行人脸特征识别。

进一步的，如前述的方法，所述将人脸图像经过处理具体包括：对于每一张输入的人脸图像I_i(i＝1,2,,…,N_train)，进行人脸检测与关键点标注，再根据关键点对所述每一张输入的人脸图像进行对齐处理，将所述所有输入的人脸图像划归为同一尺度，并得与所述每一张输入的人脸图像对应的处理后人脸图像I‘_i(i＝1,2,…,N_train)，将所述人脸图像I’加入到卷积神经网络中进行初步训练，得到相应的卷积神经网络参数θ。

更进一步的，如前述的方法，在所述获得训练集中所有人脸图像的初级特征F_i(i＝1,2,,…,N_train)后还包括：

利用所述卷积神经网络参数θ提取训练集IMG_train中相应的人脸图像的初级特征F_i(i＝1,2,,…,N_train)，所述初级特征的特征维数为512维，F_i＝θ₁·I_i，其中F_i＝{x_i,0,x_i,1,x_i,2,…,x_i,511}，x_i，j为训练集IMG_train中图像I_i(i＝1,2,,…,N_train)的第j+1维特征维数数值。

更进一步的，如前述的方法，所述人脸图像质量的量化值μ得出方法具体为：

其中μ_i为人脸图像I_i的质量量化值，即图像I_i对应的初级特征的L₂范数。

更进一步的，如前述的方法，所述特征定义R_a(S_a)的获取方法为：

获取同一身份的N张人脸图像构成的身份集合S_a：S_a＝{I₁,I₂,…,I_N},a∈{t₁,t₂,…,t_L},I_k∈IMG_train,其中L为所有人脸身份标签的数量，T＝{t₁,t₂,…,t_L}为身份标签的集合；

根据所述身份集合S_a内的N张图片的特征获得的身份集合Sa的特征定义R_a(S_a)，即

更进一步的，如前述的方法，所述将所述初级特征F_i进行降维处理得到最终特征

具体为；所述初级特征F_i经过全连接参数层进行降维处理后

得到所述最终特征

所述最终特征的特征维数为128，即

更进一步的，如前述的方法，所述将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值，具体为：

结合所述人脸图像的质量量化值μ，将所述特征定义R_a(S_a)定义为：集合S_a内所有图片对于其图像质量的加权平均值，且所述加权平均值如下式进行计算：

其中μ_i为人脸图像I_i的质量量化值，即图像I_i对应的初级特征的L₂范数。

更进一步的，如前述的方法，所述通过所述损失函数监督训练过程，得到卷积神经网络参数θ_f，具体方法为：

每一轮的训练随机取出3个身份集合S_a，S_p，S_n，共3N张图片,并使得a＝p,a≠n,即a与p取自同一个身份，a与n取自不同的身份；得到度量学习的损失函数：

L_triplet＝‖R_a(S_a)-R_a(S_p)‖²-‖R_a(S_a)-R_a(S_n)‖²+δ

利用所述损失函数监督神经网络的训练过程，训练一定的轮次后，得出并保存所述卷积神经网络的最终参数θ_f。

本发明还提供如前任一项所述的方法的人脸特征识别系统，包括：特征点标注单元、人脸对齐单元、模型单元、计算比较单元及判别单元；

所述特征点标注单元用于对导入系统的多张人脸图像分别进行人脸检测和并识别出关键点；

所述人脸对齐单元用于根据所述关键点对人脸图像进行人脸对齐；

所述模型单元用于根据所述人脸特征提取模型得到与每个人脸图像对应的最终特征；

所述计算比较单元用于计算不同人脸图像对应的最终特征间的欧氏距离D；并将D与判别阈值Th进行比较；

所述判别单元用于根据欧氏距离D与判别阈值Th大小判定两张测试图片的人脸是否属于同一个人；若D≤Th，则判定两张测试图片的人脸属于同一个人；反之不是。

本发明的有益效果：

本发明通过定义一种通过人脸特征直接获取量化后的人脸图片质量的处理方法，用很小的计算量获取图片质量的量化值，节省了标注的人力物力，并制定了统一的量化标准；通过将量化后的图片质量作为辅助信息输入到网络中进行训练，提高了网络的表达能力，并增强了网络对低质量图片的适应性。

附图说明

图1是本发明一种实施例的流程示意图；

图2是本发明一种方法实施例的流程示意图；

图3是本发明一种方法实施例中进行训练的流程示意图；

图4是本发明一种实施例中提取初级特征的流程示意图；

图5是使用本发明一种方法实施中得到损失函数以及最终卷积神经网络权值的流程图；

图6是使用本发明一种方法实施例对应的模型的测试流程图；

图7是使用本发明一种实施例中系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如图1所示，本发明一种实施例如下所述：

S100、通过将人脸图像I_i(i＝1,2,,…,N_train)经过处理后加入卷积神经网络中训练，获得训练集中所有人脸图像的初级特征F_i(i＝1,2,,…,N_train)，其中N_train为训练集IMG_train的图像数量；

S200、根据所述训练集中所有人脸图像的初级特征F_i的L₂范数得到所述人脸图像的质量量化值μ；

S300、添加全连接参数层将所述初级特征F_i进行降维处理得到最终特征

并得到同一身份的N张人脸图像构成的身份集合S_a的特征定义R_a(S_a)；

S400、根据所述最终特征

并将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值，将所述加权平均值加入训练，得到度量学习的损失函数；

S500、通过所述损失函数监督训练过程，得到卷积神经网络的最终参数θ_f，作为最终的人脸特征提取模型，根据所述人脸特征提取模型对人脸图像进行人脸特征识别。

如图2所示，本发明一种方法实施例的流程如下所述：

本发明可以分两个阶段阐述。下文所述的人脸图像与人脸图片为等同描述。在训练阶段，我们首先通过将人脸图像/图片进行人脸识别与特征点标注，然后根据人脸特征点进行人脸对齐处理；经过处理后加入卷积神经网络中训练，获得人脸图像的初步特征表示，并通过对初步特征的进行处理和计算，得到图像质量的量化值。训练的过程如图3所示。设训练集为,IMG_train,训练集图像数量为N_train,对于每一张输入的人脸图像，I_i(i＝1,2,,…,N_train)，我们对其进行人脸检测与关键点标注，之后根据关键点对人脸图像进行对齐处理，将人脸图像划归为同一尺度，作为卷积神经网络的训练输入。将所述人脸图像I’加入到卷积神经网络中进行初步训练，得到相应的卷积神经网络参数θ，用于提取人脸的初步特征。

在网络训练完成后，利用其提取对于训练集中每张人脸图像的初级特征的网络参数，特征维数为512维，并以此计算人脸图像质量的量化值μ。具体步骤如图4所示。首先处理图片，得到对齐后的人脸图像。我们记训练集中的图片I_i(i＝1,2,,…,N_train)的对应初级特征为F_i(i＝1,2,,…,N_train),其中F_i＝{x_i,0,x_i,1,x_i,2,…,x_i,511}，x_i，j为训练集IMG_train中图像I_i(i＝1,2,,…,N_train)的第j+1维特征维数数值。则有：F_i＝θ₁·I_i；

其中·表示与神经网络的运算关系。

接下来，通过对F_i处理获得人脸质量的量化值。对人脸特征F_i计算其L₂范数，即：

经过计算比较发现，对于质量高的人脸图像，即分辨率高、清晰度好、光照均匀的正脸图像，其对应的初级特征的L₂范数较大；而对于分辨率较低、过暗或过亮、严重侧脸的图像，其对应的初级特征的L₂范数较小。因此，以图像的初级特征的L₂范数作为人脸图像的质量量化值μ，即：

得到人脸图像的质量量化值后，对卷积神经网络继续进行训练，使用度量学习的方法，定义损失函数监督训练过程，添加全连接参数层将初级特征进一步做降维处理，得到更高效的特征表达，得到最终特征；并将得到的人脸图像的质量量化值μ作为附加权重信息得出加权平均值，将所述加权平均值加入训练，得到度量学习的损失函数，以监督训练过程。具体过程如图5所示：记所有人脸身份标签的数量为L，身份标签的集合为：T＝{t₁,t₂,…,t_L}。另记由同一身份的N张人脸图像构成的身份集合为S_a＝{I₁,I₂,…,I_N},a∈{t₁,t₂,…,t_L},I_k∈IMG_train,则对于身份集合S_a的特征定义R_a(S_a)可以由集合内的N张图片的特征去获得，即

其中

表示身份集合内I_k对应的最终特征，由初级特征经过全连接参数层进行降维处理后得到，维数为128，即

结合上文得到的图片质量的量化值，我们将R_a(S_a)定义为：集合S_a内所有图片对于其图像质量的加权平均值，即质量高的图像对训练过程的贡献大，质量低的图像对训练过程的贡献小，这样可以有效避免质量较低的图像对系统的不良影响：

μ_i＝L₂(F_i)＝L₂(θ₁·I_i)

其中μ_i为图像I_i的质量量化值，即图像I_i对应的初级特征的L₂范数。

在训练过程中，每一轮的训练随机取出3个身份集合S_a，S_p，S_n，共3N张图片,并使得a＝p,a≠n,即a与p取自同一个身份，与n取自不同的身份。最后度量学习通过定义损失函数为：

L_triplet＝‖R_a(S_a)-R_a(S_p)‖²-‖R_a(S_a)-R_a(S_n)‖²+δ

度量学习的目标是使损失函数最小。利用上述的损失函数，训练一定的轮次后，保存卷积神经网络的最终参数θ_f，作为最终的人脸特征提取模型；θ_f中的f表示final,表示模型的最终参数，是图像质量得分和图像特征结合损失函数联合训练卷积神经网络得到的参数。

测试阶段，具体如图6所示，为使用本方法实施例对应的模型的测试流程图：

对于测试图片1和测试图片2，首先对其进行人脸检测和特征点识别，并根据特征点对图片进行人脸对齐，构成神经网络输入X₁和X₂，经过与卷积神经网络参数θ_f的计算，得到两个128维特征向量Y₁和Y₂。之后计算Y₁和Y₂间的欧氏距离为D。将D与判别阈值Th进行比较，若D≤Th,则判定两张测试图片的人脸属于同一个人；否则两个人脸测试图片不属于同一个人。其中，判别阈值Th的确定按以下方法：得到大量含有人脸标签信息的人脸图像中任意两个128位最终特征向量，并根据计算得到所有特征向量的欧氏距离，根据欧氏距离得到最佳判别阈值Th。

如图7所示，采用上述任一方法实施例的人脸特征识别系统，包括：特征点标注单元1、人脸对齐单元2、模型单元3、计算比较单元4及判别单元5；

所述特征点标注单元1用于对导入系统的多张人脸图像分别进行人脸检测和并识别出关键点；

所述人脸对齐单元2用于根据所述关键点对人脸图像进行人脸对齐；

所述模型单元3用于根据所述人脸特征提取模型得到与每个人脸图像对应的最终特征；

所述计算比较单元4用于计算不同人脸图像对应的最终特征间的欧氏距离D；并将D与判别阈值Th进行比较；

所述判别单元5用于根据欧氏距离D与判别阈值Th大小判定两张测试图片的人脸是否属于同一个人；若D≤Th，则判定两张测试图片的人脸属于同一个人；反之不是。

所属领域的普通技术人员应当理解：以上，所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。与该发明方法或等同的技术原理都属保护范围之内。

Claims (9)

1.一种结合图像质量分析与度量学习的人脸特征识别方法，其特征在于，包括：

通过将人脸图像I_i(i＝1，2，....，N_train)经过处理后加入卷积神经网络中训练，获得训练集中所有的人脸图像的初级特征F_i(i＝1，2，...，N_train)，其中N_train为训练集IMG_train的图像数量；

根据所述训练集中所有人脸图像的初级特征F_i的L₂范数得到所述人脸图像的质量量化值μ；

添加全连接参数层将所述初级特征F_i进行降维处理得到最终特征

并得到同一身份的N张人脸图像构成的身份集合S_a的特征定义R_a(S_a)；

根据所述最终特征

并将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值，将所述加权平均值加入训练，得到度量学习的损失函数；

通过所述损失函数监督训练过程，得到卷积神经网络的最终参数θ_f，作为最终的人脸特征提取模型，根据所述人脸特征提取模型对人脸图片进行人脸特征识别。

2.根据权利要求1所述的方法，其特征在于，所述将人脸图像经过处理具体包括：对于每一张输入的人脸图像I_i(i＝1，2，...，N_train)，进行人脸检测与关键点标注，再根据关键点对每一张输入的人脸图像进行对齐处理，将所有输入的人脸图像划归为同一尺度，并得与每一张输入的人脸图像对应的处理后人脸图像I‘_i(i＝1，2，...，N_train)，将人脸图像I‘_i(i＝1，2，...，N_train)加入到卷积神经网络中进行初步训练，得到相应的卷积神经网络参数θ。

3.根据权利要求2所述的方法，其特征在于，在所述获得训练集中所有人脸图像的初级特征F_i(i＝1，2，...，N_train)后还包括：

利用所述卷积神经网络参数θ提取训练集IMG_train中相应的人脸图像的初级特征F_i(i＝1，2，...，N_train)，所述初级特征的特征维数为512维，F_i＝θ₁·I_i，其中F_i＝{x_i，0，x_i，1，x_i，2，...，x_i，511}，X_i，j为训练集IMG_train中图像I_i(i＝1，2，...，Ntrain) 的第j+1维特征维数数值。

4.根据权利要求3所述的方法，其特征在于，所述人脸图像质量的量化值μ得出方法具体为：

其中μ_i为人脸图像I_i的质量量化值，即图像I_i对应的初级特征的L₂范数。

5.根据权利要求1所述的方法，其特征在于，所述特征定义R_a(S_a)的获取方法为：

获取同一身份的N张人脸图像构成的身份集合S_a：S_a＝{I₁，I₂，...，IN}，a∈{t₁，t₂，...，t_L}，I_k∈IMG_train，其中L为所有人脸身份标签的数量，T＝{t₁，t₂，...，t_L}为身份标签的集合；

根据所述身份集合S_a内的N张图片的特征获得的身份集合Sa的特征定义R_a(S_a)，即

6.根据权利要求5所述的方法，其特征在于，所述将所述初级特征F_i进行降维处理得到最终特征

具体为；所述初级特征F_i经过全连接参数层进行降维处理后得到所述最终特征

所述最终特征的特征维数为128，即

7.根据权利要求5所述的方法，其特征在于，所述将所述人脸图像的质量量化值μ作为附加权重信息得出加权平均值，具体为：

结合所述人脸图像的质量量化值μ，将所述特征定义R_a(S_a)定义为：集合S_a内所有图片对于其图像质量的加权平均值，且所述加权平均值如下式进行计算：

其中μ_i为人脸图像I_i的质量量化值，即图像I_i对应的初级特征的L₂范数。

8.根据权利要求5所述的方法，其特征在于，所述通过所述损失函数监督训练过程，得到卷积神经网络的最终参数θ_f，具体方法为：

每一轮的训练随机取出3个身份集合S_a，S_p，S_n，共3N张图片，并使得a＝p，a≠n，即a与p取自同一个身份，a与n取自不同的身份；得到度量学习的损失函数：

L_triplet＝||R_a(S_a)-R_a(S_p)||²-||R_a(S_a)-R_a(S_n)||²+δ

利用所述损失函数监督神经网络的训练过程，训练一定的轮次后，得出并保存所述卷积神经网络的最终参数θ_f。

9.一种根据权利要求1～8任一项所述的方法的人脸特征识别系统，其特征在于，包括：特征点标注单元、人脸对齐单元、模型单元、计算比较单元及判别单元；

所述特征点标注单元用于对导入系统的多张人脸图像分别进行人脸检测和并识别出关键点；

所述人脸对齐单元用于根据所述关键点对人脸图像进行人脸对齐；

所述模型单元用于根据所述人脸特征提取模型得到与每个人脸图像对应的最终特征；

所述计算比较单元用于计算不同人脸图像对应的最终特征间的欧氏距离D；并将D与判别阈值Th进行比较；

所述判别单元用于根据欧氏距离D与判别阈值Th大小判定两张测试图片的人脸是否属于同一个人；若D≤Th，则判定两张测试图片的人脸属于同一个人；反之不是。

Images