CN110852292B - 一种基于跨模态多任务深度度量学习的草图人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于跨模态多任务深度度量学习的草图人脸识别方法，首先构建人脸样本图像数据库并进行预处理，对样本进行两两配对，形成草图和正常图片的两种模态的配对；然后对每一个草图和正常图片这两种模态使用对应的神经网络来学习特征，同时让两种模态的网络结构进行参数共享；最后，将两种模态得到的特征投影到公共空间中，计算特征向量之际的距离，通过设计目标函数，根据距离大小来验证结果；通过在两个常用的基准数据集上的实验结果可以直观看出，本发明提供的方法比现有的方法具有更好的跨模态分类性能。

Description

一种基于跨模态多任务深度度量学习的草图人脸识别方法

技术领域

本发明涉及人脸识别算法技术领域，主要涉及一种基于跨模态多任务深度度量学习的草图人脸识别方法。

背景技术

数据往往在人脸识别领域，如何在两种模式的素描图像和照片图像中识别人脸是一个具有挑战性的问题。在实际应用中，素描人脸识别在执法机构中得到了广泛的应用。例如，有一个场景，嫌疑人的图像非常模糊，需要艺术家画一个草图。当警察拿到这些草图后，他们可以迅速缩小嫌疑人的范围。然而，由于正常照片和人脸草图之间存在较大的模态差异，基于草图的人脸识别在社区中仍然是一个具有挑战性的话题。

由于异构人脸图像之间存在较大差异，传统的同构人脸识别方法直接从库图像(人脸照片或素描)中识别探测图像(人脸素描或素描)的效果较差。提出了多种异构人脸识别方法。现有的方法大致可以分为三类:基于合成的方法，基于特征描述的方法，以及常见的基于次空间的方法。基于合成的方法通过合成将一种模态的数据转换成另一种模态。从其他图像中生成合成的图像后，可以直接应用传统的人脸识别算法。基于特征描述符的方法用局部特征描述符表示人脸图像，这些特征描述符可用于人脸识别。在本文中，我们设计了一种基于深度通用子空间的方法来挖掘不同模式的判别非线性特征。

常见的基于子空间的方法旨在将不同的模态转换成一个子空间，以减少草图图像和照片图像之间的差异。Lin提出了一种鉴别特征提取方法，将异构特征转化为相同的特征空间。Yi利用典型相关分析进行交叉模态匹配。Sharma将偏最小二乘(PLS)方法应用于不同方式的线性映射图像到一个公共的线性子空间。Kan提出了一种多视图判别分析(multi-view discriminant analysis,MvDA)方法，通过优化视图间和视图内的瑞利商，获得多视图的公共空间。Mignon提出了一种交叉模态度量学习(CMML)方法来学习判别潜空间。然而，这些方法没有考虑样本的非线性分布。因此，这些方法可能无法进行显著性和歧视性的特征提取。近年来，在计算机视觉领域提出了许多度量学习方法。度量学习的目的是学习度量样本间相似性的距离函数。然而，传统的度量学习方法通常将样本的线性映射学习到一个新的特征空间中，缺点是受到不同模态样本之间的非线性关系的影响。因此，Hu提出了深度度量学习(deep metric learning,DML)方法来学习非线性特征。Cai提出了一种用于人脸识别的判别性深度度量学习方法。提出了一种基于深度独立子空间分析网络的深度非线性度量学习方法。Yi提出了一种基于Siamese深度神经网络的DML方法，该方法直接从图像像素中学习相似度度量，用于人的再识别。

发明内容

发明目的：本发明提供了一种基于跨模态多任务深度度量学习(CMTDML)的草图人脸识别方法，本方法在考虑模态内的信息与模态间的鉴别分析的同时，还进行了类别不平衡处理。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于跨模态多任务深度度量学习的草图人脸识别方法，包括以下步骤：

步骤1：获取训练特征数据集，对数据集进行配对，其中每对样本都由草图人脸图片和正常人脸图片组成，形成包括“草图人脸图片-草图人脸图片”、“草图人脸图片-正常人脸图片”、和“正常人脸图片-正常人脸图片”的三种组合方式；

步骤2：对步骤1中所述配对数据集里的草图人脸图片和正常人脸图片，采用孪生网络进行特征学习；

步骤3：分别对草图人脸图片和正常人脸图片设计对应的目标函数，使不同模态内的特征分布更加均匀，提高模态内特征的鉴别能力；

步骤4：设计不同模态间的鉴别分析函数，如下所示：

对于已经获得的两个模态对应的特征向量，进行目标函数的设计：

定义两个样本

和

的度量距离，用来获得不同模态样本在公共空间的距离：

其中||·||₂是二范数；

设计一个度量函数，进行模态间的鉴别分析：

其中h(t)＝max(0,t)，S＝{(i,j)}为同类样本对，D＝{(i,j)}为异类样本对，τ是阈值，α为调节参数；在样本配对过程中，同类样本之间距离对远远小于异类样本对之间的距离，通过调整α来解决类别不平衡问题；最小化上述度量函数，使同类样本之间的距离小于阈值τ，异类样本距离大于阈值τ。

进一步地，所述步骤2中采用孪生网络进行特征学习的具体步骤如下：

步骤2.1：正常人脸图片的特征学习步骤：采用一个16层的神经网络，其中第1、2层是卷积神经网络，使用64个大小为3*3的卷积核；经过一个传统的2*2大小池化层；第3、4层是两个一样的卷积神经网络，使用128个大小都为3*3的卷积核；经过2*2大小池化层；第5、6、7层是三个一样的卷积神经网络，使用256个3*3的卷积核；再经过一个2*2大小池化层；第8、9、10层是三个同样的卷积神经网络，使用512个3*3的卷积核；再经过一个2*2大小池化层；第11、12、13层是同样的卷积神经网络，使用的512个3*3的卷积核；经过一个2*2大小池化层；第14、15层是两个一样的全连接层层，都由4096个神经元；第17层是一个有1000个神经元的全连接层；

步骤2.2：草图人脸图片的学习步骤：

首先采用步骤2.1所述的16层神经网络提取特征，保证模态维度一致；然后根据孪生网络参数共享的特性，减小两种模态人脸图片间的差异性。

进一步地，步骤3中分别对草图人脸图片和正常人脸图片设计对应的目标函数如下：

k_x是样本的总数；

是第i个样本的正常图片，

是正常图片经过步骤(2)输出的特征函数，

是第j个样本的草图图片，

是草图人脸图片经过步骤(2)输出的特征函数；

(1)对正常人脸图片，设计对应的目标函数：

其中E(·)是均值函数，

是

的概率函数，；

(2)对草图人脸图片，设计对应的目标函数：

其中

是

的概率函数。

有益效果：本发明具备以下优点：

(1)模态间的差异性被有效减少。

(2)对模态内特征分布更为均匀。

(3)更有效的提取两种模态的特征，并提高草图人脸识别的精度。最后在两个常用的基准数据集上的实验结果表明，所提出的方法比现有的方法具有更好的跨模态分类性能。

附图说明

图1是本发明原理流程图；

图2是在CUFS和CUFSF数据集中τ和α对实验结果的影响图；

图3是在CUFS和CUFSF数据集中不同的网络结构对实验结果的影响图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示的一种基于跨模态多任务深度度量学习的草图人脸识别方法，包括以下步骤：

步骤1：获取训练特征数据集，对数据集进行配对，其中每对样本都由草图人脸图片和正常人脸图片组成，形成包括“草图人脸图片-草图人脸图片”、“草图人脸图片-正常人脸图片”、和“正常人脸图片-正常人脸图片”的三种组合方式。

步骤2：对步骤1中所述配对数据集里的草图人脸图片和正常人脸图片，采用孪生网络进行特征学习。具体学习步骤如下：

步骤2.1：正常人脸图片的特征学习步骤：采用一个16层的神经网络，其中第1、2层是卷积神经网络，使用64个大小为3*3的卷积核；经过一个传统的2*2大小池化层；第3、4层是两个一样的卷积神经网络，使用128个大小都为3*3的卷积核；经过2*2大小池化层；第5、6、7层是三个一样的卷积神经网络，使用256个3*3的卷积核；再经过一个2*2大小池化层；第8、9、10层是三个同样的卷积神经网络，使用512个3*3的卷积核；再经过一个2*2大小池化层；第11、12、13层是同样的卷积神经网络，使用的512个3*3的卷积核；经过一个2*2大小池化层；第14、15层是两个一样的全连接层层，都由4096个神经元；第17层是一个有1000个神经元的全连接层；

步骤2.2：草图人脸图片的学习步骤：

首先采用步骤2.1所述的16层神经网络提取特征，保证模态维度一致；然后根据孪生网络参数共享的特性，减小两种模态人脸图片间的差异性。

步骤3：分别对草图人脸图片和正常人脸图片设计对应的目标函数，使不同模态内的特征分布更加均匀，提高模态内特征的鉴别能力。

对于两种模态的图片设计对应的目标函数，使得模态内的特征分布更为均匀。具体方法是：k_x是样本的总数；

是第i个样本的正常图片，

是正常图片经过步骤(2)输出的特征函数；

是第j个样本的草图图片，

是草图人脸图片经过步骤(2)输出的特征函数。

对于正常图片我们设计对应的目标函数：

其中E(·)是均值函数，

是

的概率函数。

对于草图图片我们设计对应的目标函数：

是

的概率函数。

以上目标函数，第一项是交叉熵函数，利用样本的标记信息来提取不同模态样本中的非线性分布；第二项，我们使用分布约束，使得模态内的特征分布更均匀。通过设计这样的目标函数提高模态内特征的鉴别能力。

设计不同模态间的鉴别分析函数，如下所示：

对于已经获得的两个模态对应的特征向量，进行目标函数的设计：

定义两个样本

和

的度量距离，用来获得不同模态样本在公共空间的距离：

其中||·||₂是二范数；

设计一个度量函数，进行模态间的鉴别分析：

其中h(t)＝max(0,t)，S＝{(i,j)}为同类样本对，D＝{(i,j)}为异类样本对，τ是阈值，α为调节参数；在样本配对过程中，同类样本之间距离对远远小于异类样本对之间的距离，通过调整α来解决类别不平衡问题；最小化上述度量函数，使同类样本之间的距离小于阈值τ，异类样本距离大于阈值τ。

为了验证本算法是否有很好的优越性，在CUFS和CUFSF数据集上，我们将提出的方法(CMTDML)与最近的几种最先进的草图人脸识别算法进行比较，并对参数和网络的选择进行讨论，实验结果如图2-3所示。

下面给出不同方法在CUFS和CUFSF数据集上Rank-1的实验结果，如表1-2所示：

表1不同方法在CUFS数据集上Rank-1的实验结果

Methods	CDFE	MWF	PLS	Fast-RSLCR	CMTDML
						Rank-1(％)	75.00	92.13	93.60	98.35	98.78

表2不同方法在CUFSF数据集上Rank-1的实验结果

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于跨模态多任务深度度量学习的草图人脸识别方法，其特征在于：包括以下步骤：

步骤1：获取训练特征数据集，对数据集进行配对，其中每对样本都由草图人脸图片和正常人脸图片组成，形成包括“草图人脸图片-草图人脸图片”、“草图人脸图片-正常人脸图片”、和“正常人脸图片-正常人脸图片”的三种组合方式；

步骤2：对步骤1中所述配对数据集里的草图人脸图片和正常人脸图片，采用孪生网络进行特征学习；

步骤3：分别对草图人脸图片和正常人脸图片设计对应的目标函数，使不同模态内的特征分布更加均匀，提高模态内特征的鉴别能力；

步骤4：设计不同模态间的鉴别分析函数，如下所示：

对于已经获得的两个模态对应的特征，进行目标函数的设计：

定义两个样本

和

的度量距离，用来获得不同模态样本在公共空间的距离：

其中|| ||₂是二范数；

设计一个度量函数，进行模态间的鉴别分析：

其中h(t)＝max(0,t)，S＝{(i,j)}为同类样本对，D＝{(i,j)}为异类样本对，τ是阈值，α为调节参数；在样本配对过程中，同类样本之间距离小于异类样本对之间的距离，通过调整α来解决类别不平衡问题；最小化上述度量函数，使同类样本之间的距离小于阈值τ，异类样本距离大于阈值τ。

2.根据权利要求1所述的一种基于跨模态多任务深度度量学习的草图人脸识别方法，其特征在于：所述步骤2中采用孪生网络进行特征学习的具体步骤如下：

步骤2.1：正常人脸图片的特征学习步骤：采用一个16层的神经网络，其中第1、2层是卷积神经网络，使用64个大小为3*3的卷积核；经过一个传统的2*2大小池化层；第3、4层是两个一样的卷积神经网络，使用128个大小都为3*3的卷积核；经过2*2大小池化层；第5、6、7层是三个一样的卷积神经网络，使用256个3*3的卷积核；再经过一个2*2大小池化层；第8、9、10层是三个同样的卷积神经网络，使用512个3*3的卷积核；再经过一个2*2大小池化层；第11、12、13层是同样结构的卷积神经网络，均使用512个3*3的卷积核进行特征提取；经过一个2*2大小池化层；第14、15层是两个结构一样的全连接层，由4096个神经元组成；第17层是一个有1000个神经元的全连接层；

步骤2.2：草图人脸图片的学习步骤：

首先采用步骤2.1所述的16层神经网络提取特征，保证模态维度一致；然后根据孪生网络参数共享的特性，减小两种模态人脸图片间的差异性。

3.根据权利要求1所述的一种基于跨模态多任务深度度量学习的草图人脸识别方法，其特征在于：步骤3中分别对草图人脸图片和正常人脸图片设计对应的目标函数如下：

k_x是样本的总数；

是第i个样本的正常图片，

是正常图片经过步骤2特征学习后的输出特征，表现形式为函数形式，

是第j个样本的草图图片，

是草图人脸图片经过步骤2特征学习后的输出特征，表现形式为函数形式；

(1)对正常人脸图片，设计对应的目标函数：

其中E(·)是均值函数，

是

的概率函数；

(2)对草图人脸图片，设计对应的目标函数：

其中

是

的概率函数。

Images