CN112115781B - 基于对抗攻击样本和多视图聚类的无监督行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于对抗样本和多视图聚类的无监督行人重识别方法，该方法提出联合训练多个神经网络，随后的得到不同网络的特征来用于伪标签估计。本发明提出的整个框架专注于解决两个问题：第一个是怎么样让不同的深度神经网络学习到多样和互补的特征表达，第二个是怎么更好地估计无标签数据的伪标签。1)对于第一个问题，的方法将对抗攻击样本引入深度网络训练并且提出了一个对抗损失去约束不同的深度网络学习不同的参数。2)对于第二个方法，提出了一种可以联合多个不同神经网络特征的多视图聚类方法。本发明可以对大量的无标签数据提供伪标签，从而协助深度神经网络可以利用大量的无标签数据进行训练。

Description

基于对抗攻击样本和多视图聚类的无监督行人重识别方法

技术领域

本发明属于计算机视觉图像处理技术领域，具体涉及一种基于对抗攻击样本和多视图聚类的无监督行人重识别方法。

背景技术

行人重识别在计算机视觉领域是一个具有挑战性的任务，该任务目标是要识别出不同摄像头下的同一个人。之前的大多数方法利用人工设计的特征来计算图像之间的相似度。随着深度卷积网络的发展，目前深度卷积特征取得了最好的效果。然而，大多数的卷积神经网络基于监督学习。监督学习通常需要大量的有标注样本。在现实情况中，获取样本标签需要花费大量的时间和人力，因此，研究者们提出了一系列的半监督和无监督学习方法。

为了能更好的训练卷积神经网络，一些无监督方法为无标签数据估计伪标签，随后用于神经网络的训练。大多数的无监督方法利用单个的神经网络提取特征，随后估计无标签样本的伪标签。然而，单个神经网络学习到的特征较为单一，得到伪标签的精度较低。

发明内容

本发明的目的是针对现有技术的不足，提供了一种基于对抗攻击样本和多视图聚类的无监督行人重识别方法。为了能得到更为精确的伪标签，利用对抗样本约束不同的深度网络学习互补特征，并且采用多视图聚类方法对多个不同的深度网络特征进行聚类，从而得到无标签数据的伪标签。

本发明采用如下技术方案来实现的：

基于对抗攻击样本和多视图聚类的无监督行人重识别方法，包括以下步骤：

1)互补的图像特征提取：首先，对于不同结构的神经网络模型，根据当前训练的参数值生成对抗攻击样本，接着，利用提出的对抗损失约束不同的神经网络学习不同的参数；

2)伪标签的生成：对于无标签数据，首先利用步骤1)训练的模型对其提取特征，不同的卷积神经网络特征代表不同视图的特征，随后，采用提出的多视图聚类算法对多视图特征进行聚类得到伪标签；

3)利用步骤2)得到的伪标签微调多个异构神经网络：卷积神经网络和伪标签交替迭代优化直到伪标签不在改变。

本发明进一步的改进在于，步骤1)的具体实现方法如下：

101)引入对抗攻击样本并且提出一种新的正则损失来约束多个神经网络学习不同以及互补的特征

102)基于步骤101)学习到的互补特征，提出了一种可以联合多个不同神经网络特征的多视图聚类方法，根据聚类，得到无标签样本的伪标签；

103)基于步骤102)得到的伪标签，采用无标签数据和其伪标签的组合微调多个神经网络，聚类和神经网络训练的训练交替进行，直到伪标签不再改变，得到最终的网络参数。

本发明进一步的改进在于，步骤2)的具体实现方法如下：

201)给定一个已有的能够额外利用的有标签的数据集，首先根据当前模型生成给定数据的对抗攻击样本，再根据对抗样本，对抗正则，以及cross-entropy和triplet损失训练多个深度神经网络；

202)根据步骤201)得到的模型对无标签数据集提取特征，随后利用提出的多视图聚类对多个网络的特征聚类，得到无标签数据的伪标签；

203)利用带有伪标签的无标签数据微调多个神经网络，接着采用更新过的网络再次对无标签数据提取特征，随后采用多视图聚类更新伪标签，深度网络和伪标签的更新交替进行直到伪标签不在改变。

本发明至少具有如下有益的技术效果：

本发明方法所得到的来自不同卷积神经网络的特征表达具有多样性和互补性，这使得多视图聚类方法能得到更加准确的伪标签。从而能更加有效的微调卷积神经网络。在的方法中，卷积神经网络训练和伪标签估计相互促进，共同提高。

附图说明

图1为本发明的方法流程图。

图2为对抗攻击样本说明图。

具体实施方式

以下结合附图和实施例对本发明做出进一步的说明。

为了让不同的深度神经网络学习到多样和互补的特征表达，的方法将对抗攻击样本引入深度网络训练并且提出了一个对抗损失去约束不同的深度网络学习不同的参数。在介绍的对抗损失之前，先介绍对抗攻击样本：

给定一个现有的深度神经网络模型，根据metric损失来产生对抗攻击样本。图2展示了对抗攻击样本的性质。对于一个Anchor，它和其正样本之间的距离比较小，但是和正样本的对抗攻击样本之间的距离较大。同样地，对于负样本对，给定一个深度模型，当把对抗噪声添加到负样本上时，该模型下负样本对间的特征距离会变大。在的工作中，仅使用Anchor和其本身的对抗攻击样本。Anchor和其本身可以看作特殊的正样本对。Anchor和自己的特征距离为零，和其本身的对抗样本距离会变大。利用对抗样本的特性，提出了一个对抗损失：

式中：D代表欧式距离；C₁(x)和C₂(x)分别代表深度网络1和深度网络2的特征；G₁(x)和G₂(x)表示不同网络产生的对抗样本，在的方法中，L_adv1和L_adv2在每个batch中交替优化。对于在一个batch里面的任意一张图，首先产生其自己的对抗样本C₁(G₁(x))。根据对抗样本的性质，知道C₁(x)和C₁(G₁(x))之间的特征距离较大。为了从网络2中学习互补的特征信息，通过最小化L_adv1来优化网络2使得网络2可以学习到与网络1不同的参数。G₁(x)只能迷惑网络1但不能迷惑网络2。同样地，随后产生对抗攻击样本G₂(x)基于网络2当前训练的参数。优化网络1的参数通过最小化L_adv2。G₂(x)只能迷惑网络2但是不能迷惑网络1。基于的对抗损失，的框架可以鼓励不同的深度模型学习多样化和具有补充性质的特征。

对于第二个问题，提出了一个多视图聚类的方法来估计无标签数据的伪标签。将不同深度网络提取的特征看作不同视图下的特征。为了更好的利用多视图特征以及抑制聚类方法陷入不好的局部最小值，引入了一个自步正则项。的多视图聚类可以写成如下形式：

其中

代表无标签数据组合成的矩阵，矩阵的每一列为一个无标签数据。

代表第υ个视图的深度卷积网络特征。

为第υ个视图下的中心点矩阵。

满足1-of-K_u的形式。K_u为期望聚类的数目。

为第υ个视图下的权重因子。W＝[ω¹；…；ω^M]。

表示第υ个视图下数据i的特征。λ用来控制聚类优化过程中的样本选择。通过梯度下降，可以得到

其中l_υi为υ视图下无标签样本i的重建损失，λ在优化的过程中逐渐增大用于选择更多的无标签样本。

为了得到具有更好区分性的特征，在训练网络的时候采用Triplet损失

和交叉熵损失

发明的方法的总的损失函数为

本发明方法的全部流程如下：

在的方法中，神经网络和多视图聚类的训练交替进行，包含几个步骤：

1)利用MSMT17[3]训练集训练多个不同的神经网络模型作为多个模型的初始化参数。

2)多视图聚类优化，细节可以参考[4]。

3)对于每一个batch，针对现有的模型参数和第二步得到的伪标签，利用MI-FGSM[5]产生对抗样本。

4)多个神经网络的训练，采用梯度下降最小化损失

和

交替地迭代2)，3)，4)步直到行人重识别的精度不在增加。

本发明的改进在于：

1)提出一种多模型协同的无监督行人重识别框架，区别于传统算法只利用单个模型进行训练，的多个模型能得到互补的具有区分性的特征。

2)为了使多个模型训练学习出具有互补性的特征，引入对抗攻击样本并且提出了一种新的对抗损失来约束不同的模型。

3)为了得到更为精确的伪标签，提出一种可以联合多个不同神经网络特征的多视图聚类方法。

4)在发明的方法中，神经网络训练和伪标签训练交替学习，共同促进。

在实际的应用中，大多数的数据没有标签，神经网络的训练需要大量的有标签数据而且标记数据十分耗时耗力，这使得本发明提出的方法易于被使用到实际应用当中。

Claims (1)

1.基于对抗攻击样本和多视图聚类的无监督行人重识别方法，其特征在于，包括以下步骤：

1)互补的图像特征提取：首先，对于两种不同结构神经网络，根据当前训练的参数值生成对抗攻击样本，接着，利用提出的对抗损失约束两种不同结构神经网络学习不同的参数；总的损失函数为：

其中

为第υ个视图下的中心点矩阵，

满足1-of-K_u的形式，W＝[ω¹；…；ω^M]，

表示第υ个视图下数据i的特征，λ用来控制聚类优化过程中的样本选择，

为Triplet损失，

为交叉熵损失，

为多视图聚类，

为对抗损失，公式如下：

式中：D代表欧式距离；C₁(x)和C₂(x)分别代表深度网络1和深度网络2的特征；G₁(x)和G₂(x)表示不同网络产生的对抗样本，L_adv1和L_adv2在每个batch中交替优化；

2)伪标签的生成：对于无标签数据，首先利用步骤1)训练的模型对其提取特征，两种不同结构神经网络特征代表不同视图的特征，随后，采用提出的多视图聚类算法对多视图特征进行聚类得到伪标签；

3)利用步骤2)得到的伪标签微调两种不同结构神经网络：两种不同结构神经网络和伪标签交替迭代优化直到伪标签不在改变。

Images