CN112633154A - 一种异源人脸特征向量之间的转换方法及系统 - Google Patents

Abstract

本发明公开了一种异源人脸特征向量之间的转换方法，包括：将人脸图像分别输入至人脸识别算法模型A和人脸识别算法模型B内，得到对应的特征向量A_i和目标特征向量B_i；将目标特征向量B_i作为标签；利用深度残差网络的卷积层提取人脸图像的高维特征；将人脸图像和标签输入至上层网络中，结合UASL联合损失函数聚集相似属性的人脸特征；将特征向量A_i输入至下层网络中，将特征向量A_i映射到高维的特征空间中，并得到近似目标特征向量的特征向量；利用转换损失函数训练深度残差网络；采用SGD优化算法对深度残差网络进行优化，得到最优的特征向量转换模型；利用最优的特征向量转换模型进行特征向量转换。本发明计算量小，运行效率高，特征向量转换模型精度高等优点。

Description

一种异源人脸特征向量之间的转换方法及系统

技术领域

本发明涉及图像处理技术领域，尤其是一种异源人脸特征向量之间的转换方法及系统。

背景技术

人脸识别技术是一种生物特征识别技术，比其他方法生物特征识别技术(虹膜和指纹识别)具有非接触和抗干扰等明显优势，在各行各业有广泛的应用，例如刑事勘查、视频监控和考勤等，因此，越来越多的人脸识别算法应运而生。目前，基于主流的深度学习的人脸识别技术通过神经网络结构的卷积或池化层来提取图像中的关键特征向量，然后对提取的特征向量进行分类。这种基于特征向量的人脸识别方法不受算法复杂度的限制并且容易实现，能够快速准确地识别人脸图像。

特征向量对提高人脸识别算法的准确性起着关键性的作用，然而，不同的人脸识别算法会提取不同的特征向量，因此，会产生越来越多的人脸识别特征向量，这些不同的特征向量有以下缺点：

第一，大大增加数据库存储空间；

第二，不同的人脸识别算法提取的特征向量是无法兼容；

第三，不同的人脸识别算法提取的特征向量是无法进行相互转换；

第四，如果需要更新人脸识别模型，则需要重新训练所有的人脸图像来重新提取特征向量，极大地限制了模型的灵活性和兼容性。

1986年以后，随着反向传播算法的发明，神经网络的研究开始复苏。一些研究者，开始使用神经网络用于价值函数的近似计算。奥地利学者Kurt Hornik 在1991年的论文里(Multilayer feedforward networks are universal approximators)，曾经证明，一个前馈神经网络，可以近似任何连续的非线性函数。通过增加神经元的数目就可以实现任意精度的近似。神经网络用于价值函数的近似计算，其优点是神经元之间的连接参数可以通过微分求导来计算，然后使用所谓的随机梯度下降(Stochastic Gradient Descent)方法进行优化。Zuowei Shen在其论文《Deep Approximation via Deep Learning》中更深入地研究了现在复杂网络模型之间的映射关系。上述研究给人脸特征向量之间的转换互通提供了坚实的理论基础。

因此，急需要提出一种高效、准确的特征向量转换算法，以降低算法的复杂度并减少存储空间，同时还能提高人脸识别的准确率。

发明内容

针对上述问题，本发明的目的在于提供一种异源人脸特征向量之间的转换方法及系统，本发明采用的技术方案如下：

一种异源人脸特征向量之间的转换方法，包括以下步骤：

采集人脸图像，并将所述人脸图像分别输入至人脸识别算法模型A和人脸识别算法模型B内，提取得到对应的特征向量A_i和目标特征向量B_i；

将目标特征向量B_i作为标签，并采用多线程并行化读取人脸图像、特征向量A_i和标签，得到训练集和测试集；

构建深度残差网络，对深度残差网络进行初始化，并利用深度残差网络的卷积层提取人脸图像的高维特征；

将人脸图像和标签输入至深度残差网络的上层网络中，结合UASL联合损失函数聚集相似属性的人脸特征；

将特征向量A_i输入至深度残差网络的下层网络中，将特征向量A_i映射到高维的特征空间中，并得到近似目标特征向量的特征向量；

在深度残差网络中利用转换损失函数，并结合聚集的相似属性的人脸特征和近似目标特征向量的特征向量训练深度残差网络；

采用SGD优化算法对训练后的深度残差网络进行优化，得到最优的特征向量转换模型；

将测试集的图像输入至最优的特征向量转换模型，得到近似目标特征向量的最优特征向量C_i，以完成特征向量的转换。

进一步地，所述异源人脸特征向量之间的转换方法，还包括将人脸图像对于的人脸年龄和性别属性输入至深度残差网络的上层网络中，结合UASL联合损失函数聚集相似属性的人脸特征。

进一步地，所述深度残差网络的上层网络由大小为3×3且步长为1的卷积层、PReLU激活函数、全连接层和LC层组成，且深度残差网络的下层网络由数个全连接层依次连接而成。

更进一步地，所述深度残差网络的上层网络由2个大小为3×3且步长为1 的卷积层、3组重复的PReLU激活函数、LC层和2个全连接层依次连接，且第 2个全连接层后加载有由softmax损失函数与属性损失函数联合而成的UASL联合损失函数。

进一步地，所述UASL联合损失函数的表达式为：

L_u＝L_s+λL_a

其中，L_s表示softmax损失函数，L_a表示属性损失函数，λ表示softmax损失函数和属性损失函数的权重参数。

更进一步地，所述softmax损失函数的表达式为：

其中，f(·)表示残差网络学习的特征向量的函数；w和b分别表示残差网络学习的权重和偏置项；x_i表示i个样本的特征值；N表示人脸图片的数目；n表示分类的数目；T表示向量转置；y_i表示第i个样本的标签，y_i∈{1,…,n}； j∈{1,…,n}；

人脸图像(x_i,x_j)通过残差网络学习的特征向量f(·)函数映射得到深度特征(f_i,f_j)。

更进一步地，所述属性损失函数的表达式为：

其中，p_i和p_j均表示属性的特征向量；G表示训练的矩阵参数；d(p_i,p_j)表示属性特征向量p_i和p_j之间的距离；τ表示阈值；f_i和f_j分别表示残差网络学习到的特征。

更进一步地，所述转换损失函数的表达式为：

L＝1-sum(f(features)*label)

其中，features表示待转换的特征向量；label表示待转换特征向量对应的标签；f表示映射函数；*为向量乘积；sum表示求和函数；L表示转换损失函数的损失值。

更进一步地，所述深度残差网络的总损失函数为：

L_total＝L_u+L。

一种采用异源人脸特征向量之间的转换方法的系统，包括：

数据处理模块：采集人脸图像，并将所述人脸图像分别输入至人脸识别算法模型A和人脸识别算法模型B内，提取得到对应的特征向量A_i和目标特征向量B_i；将目标特征向量B_i作为标签，并采用多线程并行化读取人脸图像、特征向量A_i和标签，得到训练集和测试集；

特征提取模块：对深度残差网络进行初始化，并利用深度残差网络的卷积层提取人脸图像的高维特征；

训练模块：将人脸图像和标签输入至深度残差网络的上层网络中，结合 UASL联合损失函数聚集相似属性的人脸特征；将特征向量A_i输入至深度残差网络的下层网络中，将特征向量A_i映射到高维的特征空间中，并得到近似目标特征向量的特征向量；在深度残差网络中利用转换损失函数，并结合聚集的相似属性的人脸特征和近似目标特征向量的特征向量训练深度残差网络；采用SGD 优化算法对训练后的深度残差网络进行优化，得到最优的特征向量转换模型；

测试模块：将测试集的图像输入至最优的特征向量转换模型，得到近似目标特征向量的最优特征向量C_i，以完成特征向量的转换。

与现有技术相比，本发明具有以下有益效果：

(1)本发明搭建了一个上下两层深度残差网络，将目标模型B生成的特征向量作为标签来指引网络的学习，其能够将模型A的特征向量转换成模型B兼容的特征向量，极大降低了数据库存储空间。

(2)本发明通过softmax损失函数与属性损失函数的联合成UASL损失函数，其利用属性之间的差异来线性逼近人脸特征向量之间的差异，并在高维空间中聚集相似属性的人脸特征，能够更准确地提取出有效的特征向量。

(3)本发明的Resnet残差网络的结构由全连接层构成，计算量小，大大减少网络消耗的时间。

(4)本发明的模型在增加新数据集时，有利于提升模型的精度而不增加算法的计算量，能够提高模型的灵活性和兼容性；

(5)本发明巧妙地采用转换损失函数求得近似目标特征向量与目标特征向量之间的损失值，通过优化损失值来提高模型的准确性；

(6)本发明巧妙地采用垂直和水平翻转来增强图像数据；

综上所述，本发明具有准确、高效等优点，在图像处理及时领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的流程图。

图2为本发明的深度残差网络Resnet的架构图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1至图2所示，本实施例提供了一种异源人脸特征向量之间的转换方法及系统，该系统包括：

数据处理模块，收集人脸图像的ORL数据集，使用垂直和水平翻转来增强图像数据，并设置图像大小为384×128，然后将人脸图像输入算法模型A和B 中得到特征向量A_i和目标特征向量B_i，目标特征向量B_i作为标签，接着将人脸图像、特征向量A_i和标签B_i转化为相应的tfrecord格式文件，以多线程并行化读取数据，从而得到训练和测试集。

特征提取模块，初始化Resnet网络结构的参数，通过网络的卷积层来提取人脸图像中的高维特征。

训练模块，将带有标记的训练样本(人脸图像、标签和特征向量A_i)输入 Resnet残差网络中，将人脸图像和标签输入上层网络结构，并用UASL联合损失函数来聚集相似属性的人脸特征，同时特征向量A_i输入下层网络结构，将特征向量A_i映射到一个更高维的特征空间中得到近似目标特征向量的特征向量。另外，在Resnet残差网络中引入转换损失函数来训练整个网络结构，并用SGD 优化算法来训练和优化Resnet网络结构，从而得到最优的特征向量转换模型。

测试模块，测试图像输入最优的特征向量转换模型，得到近似目标特征向量的最优特征向量C_i，完成特征向量的转换。

下面详细阐述本实施例的识别方法：

第一步，收集人脸图像的ORL数据集，使用垂直和水平翻转来增强图像数据，并设置图像大小为384×128，然后将人脸图像输入算法模型A和B中得到特征向量A_i和目标特征向量B_i，目标特征向量B_i作为标签，接着将人脸图像、特征向量A_i和标签B_i转化为相应的tfrecord格式文件，以多线程并行化读取数据，从而得到训练和测试集，以增强人脸数据，保证后期识别、验证更准确。

第二步，初始化Resnet网络结构的参数，通过网络的卷积层来提取人脸图像中的高维特征。

第三步，将带有标记的训练样本(人脸图像、标签和特征向量A_i)输入Resnet 残差网络中，此Resnet残差网络上层分支由大小为3×3步长为1的卷积层、 PReLU激活函数(P)、全连接层(FC)和LC层组成，LC层的特征图的大小分别为128、256、521和128，在第二个全连接层后将softmax损失函数和属性损失函数联合成UASL损失函数，Resnet残差网络下分支3个全连接层组成。另外，下层分支合并后再连接4个全连接层。

在本实施例中，改进的UASL联合损失函数的具体步骤为：

(1)Softmax损失函数有助于网络优化并且收敛快，因此用来计算网络的损失，Softmax损失函数可表示为：

其中，f(·)表示残差网络学习的特征向量的函数；w和b分别表示残差网络学习的权重和偏置项；x_i表示i个样本的特征值；N表示人脸图片的数目；n表示分类的数目；T表示向量转置；y_i表示第i个样本的标签，y_i∈{1,…,n}； j∈{1,…,n}。人脸图像(x_i,x_j)通过残差网络学习的特征向量f(·)函数映射得到深度特征(f_i,f_j)。

(2)除了人脸特征外，其他属性(如年龄和性别)的特征对人脸识别也起着至关重要的作用，因此，本发明将人脸特征和其他属性特征联合成L_a损失函数中来计算网络的损失，L_a属性损失函数可表示为：

其中，p_i和p_j均表示属性的特征向量；G是训练的矩阵参数；d(p_i,p_j)是属性特征向量p_i和p_j之间的距离；τ是阈值，用来控制特征向量之间的距离；f_i和f_j分别表示残差网络学习到的特征。

(3)另外，本发明联合L_a属性损失函数和softmax损失函数来聚集相似的特征，联合损失函数(UASL)可表示为：

L_u＝L_s+λL_a

其中，L_u为联合损失函数；λ为两个损失函数的权重参数。联合损失函数将相似的特征划分为一类，远离不相似的特征。

第四步，将人脸图像输入上层网络结构，并用UASL联合损失函数来聚集相似属性的人脸特征，同时特征向量A_i输入下层网络结构，将特征向量A_i映射到一个更高维的特征空间中得到近似目标特征向量的特征向量。引入转换损失函数来训练整个网络结构，并用SGD优化算法来训练和优化Resnet网络结构，从而得到最优的特征向量转换模型。

Resnet残差网络的转换损失函数可表示为：

L＝1-sum(f(features)*label)

其中，features是待转换的特征向量；label是待转换特征向量对应的标签； f是映射函数；*为向量乘积；sum为求和函数；L是转换损失函数的损失值。

Resnet残差网络总的损失函数L_total可表示为：

L_total＝L_u+L

第五步，测试图像输入最优的特征向量转换模型，得到近似目标特征向量的最优特征向量C_i，完成特征向量的转换。

为了验证本发明特征向量转换算法的精确度，特进行以下对比：

本发明采集公开的ORL人脸数据集，ORL数据集有20000个不同身份的 30万张人脸图片，并通过垂直和水平翻转作为数据增强，Resnet网络结构的学习率为0.01，动量为0.9，批处理batch设为128，λ设置为0.6。

模型A和模型B是不同的特征向量算法，一张人脸图像通过模型A和B分别输出512和256维向量。在实验过程中，25张人脸图像和算法模型A输出的特征向量输入Resnet网络中训练，模型B输出的特征向量作为相应的标签，训练完成后得到最优的特征向量转换模型，然后用测试集进行验证，结果如下表所示。模型A的特征向量能够转换成模型B兼容的特征向量。

模型算法	验证集识别的精度
		模型A	83.68
模型B	83.07
		转换的模型	79.45

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (10)

1.一种异源人脸特征向量之间的转换方法，其特征在于，包括以下步骤：

采集人脸图像，并将所述人脸图像分别输入至人脸识别算法模型A和人脸识别算法模型B内，提取得到对应的特征向量A_i和目标特征向量B_i；

将目标特征向量B_i作为标签，并采用多线程并行化读取人脸图像、特征向量A_i和标签，得到训练集和测试集；

构建深度残差网络，对深度残差网络进行初始化，并利用深度残差网络的卷积层提取人脸图像的高维特征；

将人脸图像和标签输入至深度残差网络的上层网络中，结合UASL联合损失函数聚集相似属性的人脸特征；

将特征向量A_i输入至深度残差网络的下层网络中，将特征向量A_i映射到高维的特征空间中，并得到近似目标特征向量的特征向量；

在深度残差网络中利用转换损失函数，并结合聚集的相似属性的人脸特征和近似目标特征向量的特征向量训练深度残差网络；

采用SGD优化算法对训练后的深度残差网络进行优化，得到最优的特征向量转换模型；

将测试集的图像输入至最优的特征向量转换模型，得到近似目标特征向量的最优特征向量C_i，以完成特征向量的转换。

2.根据权利要求1所述的一种异源人脸特征向量之间的转换方法，其特征在于，还包括将人脸图像对于的人脸年龄和性别属性输入至深度残差网络的上层网络中，结合UASL联合损失函数聚集相似属性的人脸特征。

3.根据权利要求1所述的一种异源人脸特征向量之间的转换方法，其特征在于，所述深度残差网络的上层网络由大小为3×3且步长为1的卷积层、PReLU激活函数、全连接层和LC层组成，且深度残差网络的下层网络由数个全连接层依次连接而成。

4.根据权利要求3所述的一种异源人脸特征向量之间的转换方法，其特征在于，所述深度残差网络的上层网络由2个大小为3×3且步长为1的卷积层、3组重复的PReLU激活函数和LC层和2个全连接层依次连接，且第2个全连接层后加载有由softmax损失函数与属性损失函数联合而成的UASL联合损失函数。

5.根据权利要求1或4所述的一种异源人脸特征向量之间的转换方法，其特征在于，所述UASL联合损失函数的表达式为：

L_u＝L_s+λL_a

其中，L_s表示softmax损失函数，L_a表示属性损失函数，λ表示softmax损失函数和属性损失函数的权重参数。

6.根据权利要求5所述的一种异源人脸特征向量之间的转换方法，其特征在于，所述softmax损失函数的表达式为：

其中，f(·)表示残差网络学习的特征向量的函数；w和b分别表示残差网络学习的权重和偏置项；x_i表示第i个样本的特征值；N表示人脸图片的数目；n表示分类的数目；T表示向量转置；y_i表示第i个样本的标签，y_i∈{1,…,n}；j∈{1,…,n}；

人脸图像(x_i,x_j)通过残差网络学习的特征向量f(·)函数映射得到深度特征(f_i,f_j)。

7.根据权利要求5所述的一种异源人脸特征向量之间的转换方法，其特征在于，所述属性损失函数的表达式为：

其中，p_i和p_j均表示属性的特征向量；G表示训练的矩阵参数；d(p_i,p_j)表示属性特征向量p_i和p_j之间的距离；τ表示阈值；f_i和f_j分别表示残差网络学习到的特征。

8.根据权利要求5所述的一种异源人脸特征向量之间的转换方法，其特征在于，所述转换损失函数的表达式为：

L＝1-sum(f(features)*label)

其中，features表示待转换的特征向量；label表示待转换特征向量对应的标签；f表示映射函数；*为向量乘积；sum表示求和函数；L表示转换损失函数的损失值。

9.根据权利要求8所述的一种异源人脸特征向量之间的转换方法，其特征在于，所述深度残差网络的总损失函数为：

L_total＝L_u+L。

10.一种采用权利要求1～9任一项所述异源人脸特征向量之间的转换方法的系统，其特征在于，包括：

数据处理模块：采集人脸图像，并将所述人脸图像分别输入至人脸识别算法模型A和人脸识别算法模型B内，提取得到对应的特征向量A_i和目标特征向量B_i；将目标特征向量B_i作为标签，并采用多线程并行化读取人脸图像、特征向量A_i和标签，得到训练集和测试集；

特征提取模块：对深度残差网络进行初始化，并利用深度残差网络的卷积层提取人脸图像的高维特征；

训练模块：将人脸图像和标签输入至深度残差网络的上层网络中，结合UASL联合损失函数聚集相似属性的人脸特征；将特征向量A_i输入至深度残差网络的下层网络中，将特征向量A_i映射到高维的特征空间中，并得到近似目标特征向量的特征向量；在深度残差网络中利用转换损失函数，并结合聚集的相似属性的人脸特征和近似目标特征向量的特征向量训练深度残差网络；采用SGD优化算法对训练后的深度残差网络进行优化，得到最优的特征向量转换模型；

测试模块：将测试集的图像输入至最优的特征向量转换模型，得到近似目标特征向量的最优特征向量C_i，以完成特征向量的转换。

Images