CN113553906A - 基于类中心域对齐的判别无监督跨域行人重识别方法 - Google Patents

Abstract

本发明属于行人重识别技术领域，具体涉及基于类中心域对齐的判别无监督跨域行人重识别方法，包括以下步骤：步骤一，准备源域样本和目标域样本，将源域和目标域的样本送入CNN骨架网络，提取得到行人图像特征；步骤二，对源域行人图像特征进行分类学习，得到类别中心，对目标域行人图像特征进行聚类学习，得到聚类中心；步骤三，根据聚类损失，得到可靠样本后，对未标记样本进行伪标签动态指派，计算相应聚类损失；步骤四，对类别中心和聚类中心进行对抗学习，计算域对齐损失；步骤五，梯度反向传播，优化网络，输出并测试行人重识别模型。本发明提升了特征的判别性，加速了网络收敛，相比于现有领域自适应和聚类方法，提升了输出行人表征的判别性。

Description

基于类中心域对齐的判别无监督跨域行人重识别方法

技术领域

本发明属于行人重识别技术领域，具体涉及基于类中心域对齐的判别无监督跨域行人重识别方法。

背景技术

行人重识别(Person Re-identification，Re-ID)是计算机视觉、机器学习的重要研究领域，也是智能安防体系中的重要一环。“重识别”(即跨镜追踪)的概念最早源自多目标行人跟踪，用于指代出现在当前摄像机下并重新返回的目标，后逐渐引申为利用计算机视觉方法，判断图像或者视频序列中是否存在特定行人的技术。行人重识别任务主要关注不同场景下的行人身份核验问题，可以回答智能视频监控系统中感兴趣的“是谁，在哪”等核心问题。通过综合多个视角下的监控数据，重识别技术能够有效弥补摄像头的视觉局限，为监控网络的广域目标查找和检索提供完善的解决方案。

跨域无监督行人重识别是指在目标域没有训练标签的情况下学习行人重识别模型，具有更广泛的应用场景。近些年伴随着以深度学习为代表的新一代人工智能技术的突破，现有研究工作借助迁移学习，对抗学习，记忆模型等方法，强化模型跨域的泛化能力，提高其在无标签目标数据集上的性能。尽管有效，但这些方法大多将邻域不变性集成到学习过程中，通过K-近邻监督信息来优化网络模型，而忽略了全局判别信息。此外，大多数无监督域适应方法都持有一个基本假设，即源域中的类与目标域中的类相同，因此它们不能直接应用于跨域行人重识别任务。

随着深度无监督学习和相关应用的研究蓬勃发展，深度聚类学习也取得了一定成果。通过联合学习嵌入表征和聚类结果，一方面好的表征有利于聚类，另一方面聚类结果又能增强表征。因此，跨域无监督行人重识别的另一个路线是采用聚类框架来促进判别性表示的学习。他们假设训练数据具有特定的聚类结构，因此利用聚类结果来指导模型。他们通常采用自适应的策略来迭代完善特征的判别性学习。但聚类结果产生的监督信息只编码了未标注数据的相似性，而忽略了已有标注的监督信息，限制了其应用。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供一种基于类中心域对齐的判别无监督跨域行人重识别方法，解决行人重识别模型对特定监控网络下的大量标记数据依赖以及模型的跨域适应性问题，其具体技术方案如下：

基于类中心域对齐的判别无监督跨域行人重识别方法，包括以下步骤：

步骤一，准备源域样本和目标域样本，将源域和目标域的样本送入CNN骨架网络，提取得到行人图像特征；

步骤二，对源域行人图像特征进行分类学习，得到类别中心，对目标域行人图像特征进行聚类学习，得到聚类中心；

步骤三，根据聚类损失，得到可靠样本后，对未标记样本进行伪标签动态指派，计算相应聚类损失；

步骤四，对类别中心和聚类中心进行对抗学习，计算域对齐损失；

步骤五，梯度反向传播，优化网络，输出并测试行人重识别模型。

进一步的，所述步骤一，具体包括如下步骤：

步骤T1-1，设

为N个有标签的源域样本，即源数据集，其中x与y分别为对应的样本和标签，

为M个无标签的目标域样本，即目标数据集，所述源数据集和目标数据集的类别没有重叠，对所述源数据集和目标数据集的行人图像进行裁剪、翻转的数据增广操作；

步骤T1-2，同时将源域和目标域的样本输入到CNN骨架网络中，进行特征提取，得到源域样本特征Z_i和目标域样本特征

进一步的，所述步骤二，具体包括如下步骤：

步骤T1-3，首先对聚类损失和分类损失进行统一表述，所述分类损失采用预测与真实标签之间的差异来衡量，交叉熵损失被定义为：

其中，w_i为最后全连接层的列向量，N表示N个有标签的源域样本，exp表示指数e，i表示第i个，j表示第j个，W表示网络分类器线性层的列向量，W_yj表示第i个样本所属类别的列向量，W_j表示不属于当前样本类别的列向量；

省略偏差后，交叉熵损失简化为：

当W_j和样本特征Z被正则化之后，放宽条件并且移除指数运算，得到交叉熵形式：

其中D(·，·)是欧氏距离，得到类别中心损失：

即全连接层的列向量；

步骤T1-4，同时，将所述交叉熵形式的变形用于无监督的聚类损失上，通过迭代完善聚类结果的聚类过程，具体的，考虑t分布的相似核：

其中D(w_j，z_i)为使用软指派把样本i归入聚类中心j的概率，W_j’表示其他类别的列向量，j’表示不等于j的所有样本；

优化目标域样本，将目标域样本向其类别中心聚集并且远离其他样本中心，则软指派的聚集损失为：

其中Q(w_j，z_i)为正则化概率，定义如下：

其中f_j＝∑_iD(w_j，z_i)，所述软指派为自步学习方法，逐渐将目标域样本推向更高置信度的中心，从而推导出无监督迁移目标，对源数据集进行分类，对目标数据集进行聚类：

λ为超参数。

进一步的，所述步骤三，具体包括如下步骤：

步骤T1-5，采用伯努利分布进行模拟该过程，通过EM算法，选取可靠样本，具体的，将每个样本分配到其最近的中心点，并计算其KL损失来判断是否为可靠样本，首先定义一个独热目标：

然后计算它的损失：

然后根据其值，提出学习一个权重参数b_i，表示相信样本的程度，所述权重参数b_i使用混合物模型来推断，具体的，所述混合物模型对损失L的概率密度函数定义为：

其适配一个二元GMM或者BMM来形成正则的可信的样本分布，通过标准EM算法，得到后置概率b＝[b₁，b₂，...，b_N]：

步骤T1-6，当得到可靠样本以及权重系数b_i后，动态指派聚类损失为：

进一步的，所述步骤四，具体包括如下步骤：

步骤T1-7，引入了一个对抗学习损失：

其中D是包括全连接层和BN层的判别器，

是聚类损失产生的目标中心点，ps和pt分别对应源域和目标域的质心点分布；

结合判别器，所述判别器输出的维度是C+1，其中C是质心点的总数，剩余的一个用来区分是否属于源域，判别器引入L2正则化和附加项，得到梯度信息：

ω表示判别器的参数。

进一步的，所述步骤五，具体包括如下步骤：

步骤T1-8，使用Triplet loss和Cross-Entropy loss表示为

来训练源数据集中的数据，当过程处于早期阶段时，本发明利用软赋值作为总损失的组成部分；在模型变得稳定之后，采用动态赋值学习来替换软赋值，即公式(15)，总损失为：

其中λ₁，λ₂，λ₃为对应的超参数；

步骤T1-9，训练损失后停止训练，得到最终的行人重识别模型；

步骤T1-10，准备待匹配的行人图像，送入训练好的行人重识别模型中，提取行人图像特征，计算待匹配行人图像特征的余弦距离，根据距离排序，返回排序靠前的行人图像。

主要区别之处，与现有技术相比，本发明具有以下优点：

(1)本发明提出了一种新型的中心点判别学习框架，统一表示中心损失和聚类损失，使得模型能够利用有标记源域数据和无标记的判别表示。

(2)本发明引入对抗学习来对齐样本类别中心，与之前特征层级的域对齐方法不同，提供了一种宽松的域自适应约束条件。

(3)本发明提出了一种动态伪标签分配机制，与之前聚类方法的软指派不同，该分配机制自适应地选择可靠样本进行硬指派，提升了特征的判别性，加速了网络收敛。

(4)本发明的方法，相比于现有领域自适应和聚类方法，提升了输出行人表征的判别性。

附图说明

图1是本发明的方法流程示意图；

图2是本发明的测试流程示意图；

图3是本发明的整体系统架构示意图。

具体实施方式

为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图，对本发明作进一步详细说明。

如图1和图3所示，本发明的基于类中心域对齐的判别无监督跨域行人重识别方法，包括以下步骤：

步骤T1-1，准备源域样本和目标域样本：

设

为N个有标签的源域样本，即源数据集，其中x与y分别为对应的样本和标签，

为M个无标签的目标域样本，即目标数据集。假设源数据集和目标数据集的类别没有重叠。本发明的目标是训练一个卷积神经网络CNN，使其能够在目标数据集上达到显著的识别精度，在将行人图像送入卷积神经网络CNN之前，首先对行人图像进行裁剪、翻转等数据增广。

步骤T1-2，将源域和目标域的样本送入CNN骨架网络，得到行人图像特征：

同时将源域和目标域的样本输入到CNN骨架网络中，提取即源域行人图像特征和目标域行人图像特征，得到源域样本特征Z_i和目标域样本特征

ResNet由于其强大的表示能力，故本发明选取ResNet-50作为CNN骨架网络，进行特征提取，得到行人图像特征。

步骤T1-3，对源域行人图像特征进行分类学习，得到类别中心：

首先对聚类损失和分类损失进行统一表述，所述分类损失采用预测与真实标签之间的差异来衡量，交叉熵损失被定义为：

其中，w_i为最后全连接层的列向量，N表示N个有标签的源域样本，exp表示指数e，i表示第i个，j表示第j个，W表示网络分类器线性层的列向量，W_yi表示第i个样本所属类别的列向量，W_j表示不属于当前样本类别的列向量；

省略偏差后，交叉熵损失简化为：

直观的来讲，公式(2)将Z_i拉它向的类的中心W_yi，而

实质上计算类中心与行人图像特征的内积，即衡量向量之间的距离尺度即相似程度，当W_j和样本特征Z被正则化之后，放宽条件并且移除指数运算，得到交叉熵形式：

其中D(·，·)是欧氏距离，不考虑无关的类别中心，得到类别中心损失：

因此，对源域行人图像特征通过交叉熵分类损失的学习，可以得到类别中心，即全连接层的列向量。

步骤T1-4，对目标域行人图像特征进行聚类学习，得到聚类中心：

同时，公式(3)的变形也可以用在无监督的聚类损失上，其本质是通过迭代完善聚类结果的聚类过程，具体来说，考虑t分布的相似核：

其中D(w_j，z_i)可理解为使用软指派把样本i归入聚类中心j的概率，W_j’表示其他类别的列向量，j’表示不等于j的所有样本；

优化目标域样本和公式(3)类似，将目标域样本向其类别中心聚集并且远离其他样本中心，事实上，软指派的聚集损失如下定义：

其中Q(w_j，z_i)为正则化概率，定义如下：

其中f_j＝∑_iD(w_j，z_i)，该软指派是一种自步学习方法，逐渐将目标域样本推向更高置信度的中心，在此基础上，推导出无监督迁移目标，对源数据集进行分类，对目标数据集进行聚类：

步骤T1-5，根据聚类损失，得到可靠样本：

尽管公式(6)允许在没有任何监督的情况下实现判别性学习，但由于Re-ID是一个细粒度的图像识别任务，经常需要识别成千上万的身份，因此仍然存在误导和收敛问题。有些样本即使给定了标签也很难被正确分类，更何况是在无监督的环境下，而且通过学习这些样本，也会损害模型的泛化能力。

为了解决上述问题，本发明对训练过程进行了简单假设，当对源域数据的训练变得稳定后，可靠的目标域样本具有相对较低的聚类损失，而正常样本则没有，仅利用损失分布来区分可靠样本和困难样本。

本发明采用伯努利分布进行模拟该过程，通过EM算法，选取可靠样本。

具体的，将每个样本分配到其最近的中心点，并计算其KL损失来判断是否为可靠样本，为了实现这一目的，首先定义一个独热目标：

然后计算它的损失：

然后根据其值，提出学习一个权重参数b_i，表示相信这个样本的程度。受标签噪声模型的启发，本发明使用混合模型来推断b_i。具体来说，两个分量的混合物模型对损失L的概率密度函数定义为：

其可以适配一个二元GMM或者BMM来形成正则的可信的样本分布，那么通过标准EM算法，可以很容易地得到后置概率，也就是b＝[b₁，b₂，...，b_N]：

步骤T1-6，对未标记样本进行伪标签动态指派，计算相应聚类损失：

当得到可靠样本以及权重系数b_i后，本发明的动态指派聚类损失如下：

步骤T1-7，对类别中心和聚类中心进行对抗学习，计算域对齐损失：

由于领域样本的差异广泛存在，一个在源数据集上表现良好的模型很可能在目标数据集上失败。因此，利用对抗学习框架来缓解这个问题，与其直接对嵌入施加约束，更倾向于一种更弱的方式：在中心点上施加对抗学习，强迫源和目标的样本分布无法区分可能会苛刻，当目标标签缺失时，模型很难学习映射来消除差距。而求助于一些统计量的分布，例如中心点，可能会更加合理。

从形式上看，本发明引入了一个对抗学习损失：

其中D是包括全连接层和BN层的判别器，

是聚类损失产生的目标中心点，p_S和p_T分别对应源域和目标域的质心点分布。

此外，由于源数据集和目标数据集的身份是完全不同的，本发明利用这一先验知识，将其与本发明的判别器相结合。具体来说，本发明将源数据集和目标数据集的每个中心点视为一个独立的类别，然后将索引作为其对应的标签，使得模型能够将它们全部分离出来。也就是说，判别器输出的维度是C+1，其中C是质心点的总数，剩余的一个用来区分是否属于源域。为了进一步改进判别器，引入L2正则化和附加项，帮助判别器获得更有价值的梯度信息：

ω表示判别器的参数。

步骤T1-8，梯度反向传播，优化网络：

使用Triplet loss和Cross-Entropy loss表示为L_{classification}来训练源数据集中的数据，当过程处于早期阶段时，本发明利用软赋值作为总损失的组成部分；在模型变得稳定之后，采用本发明的动态赋值学习来替换软赋值，即公式(15)，形式上，总损失给定为：

其中λ₁，λ₂，λ₃为对应的超参数。

步骤T1-9，输出行人重识别模型：

训练损失后停止训练，得到最终的行人重识别模型。

步骤T1-10，测试网络模型：

如图2所示，准备待匹配的行人图像，送入训练好的行人重识别模型中，提取行人图像特征，计算待匹配行人图像特征的余弦距离，根据距离排序，返回排序靠前的行人图像。

综上，本发明的方法采用基于类中心对抗的领域自适应学习方法、数据驱动的伪标签分配机制、无监督/有监督类中心深度判别学习框架以及广域监控场景下的行人图像匹配搜索系统。其中，所述的无监督/有监督类中心深度判别学习框架，同时兼顾了无监督领域自适应方法和聚类方法的优点，其基本思想：在目标域无标记数据集上执行无监督聚类学习，同时在源域标记数据集上进行监督分类。为了将独立的聚类学习和有监督分类学习联系起来，本发明分析了现有的分类损失，并证明中心损失和聚类损失可以用统一的数学形式来表示，从而类中心就可以作为连接源域和目标域表示学习的桥梁，实现跨域的行人重识别模型的训练。

为了进一步消减跨域数据集之间的差异，引入类中心对抗学习来对齐两个数据集的特征分布。值得注意的是，本发明没有直接在特征层面上施加约束强制对齐跨域样本，而是在类中心上引入较弱的对抗学习机制，避免不同视觉场景下样本的错误匹配。

此外，现有的深度聚类学习方法是专门针对只包含几十个类别的数据集设计的，不能用于Re-ID这样的细粒度图像分类任务。主要原因是在训练初期，只有极少数样本接近聚类中心被认为是训练的可靠样本，造成误导。为了解决上述问题，本发明提出了一种动态分配机制，自适应地选择可靠样本。在训练开始时，通过软分配策略给每个样本分配多个类中心。当训练变得稳定后，难样本的聚类损失相对较高，而简单样本则不然。这使得可以只利用损失分布来区分它们，从而自适应地对那些可靠样本使用硬分配。在这种情况下，该机制能够加快聚类过程的收敛速度，同时也增强了表征的辨别能力。

以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于类中心域对齐的判别无监督跨域行人重识别方法，其特征在于，包括以下步骤：

步骤一，准备源域样本和目标域样本，将源域和目标域的样本送入CNN骨架网络，提取得到行人图像特征；

步骤二，对源域行人图像特征进行分类学习，得到类别中心，对目标域行人图像特征进行聚类学习，得到聚类中心；

步骤三，根据聚类损失，得到可靠样本后，对未标记样本进行伪标签动态指派，计算相应聚类损失；

步骤四，对类别中心和聚类中心进行对抗学习，计算域对齐损失；

步骤五，梯度反向传播，优化网络，输出并测试行人重识别模型。

2.如权利要求1所述的基于类中心域对齐的判别无监督跨域行人重识别方法，其特征在于，所述步骤一，具体包括如下步骤：

步骤T1-1，设

为N个有标签的源域样本，即源数据集，其中x与y分别为对应的样本和标签，

为M个无标签的目标域样本，即目标数据集，所述源数据集和目标数据集的类别没有重叠，对所述源数据集和目标数据集的行人图像进行裁剪、翻转的数据增广操作；

步骤T1-2，同时将源域和目标域的样本输入到CNN骨架网络中，进行特征提取，得到源域样本特征z_i和目标域样本特征

3.如权利要求2所述的基于类中心域对齐的判别无监督跨域行人重识别方法，其特征在于，所述步骤二，具体包括如下步骤：

步骤T1-3，首先对聚类损失和分类损失进行统一表述，所述分类损失采用预测与真实标签之间的差异来衡量，交叉熵损失被定义为：

其中，w_i为最后全连接层的列向量，N表示N个有标签的源域样本，exp表示指数e,i表示第i个,j表示第j个，W表示网络分类器线性层的列向量，W_yi表示第i个样本所属类别的列向量，W_j表示不属于当前样本类别的列向量；

省略偏差后，交叉熵损失简化为：

当W_j和样本特征Z被正则化之后，放宽条件并且移除指数运算，得到交叉熵形式：

其中D(·，·)是欧氏距离，得到类别中心损失：

即全连接层的列向量；

步骤T1-4，同时，将所述交叉熵形式的变形用于无监督的聚类损失上，通过迭代完善聚类结果的聚类过程，具体的，考虑t分布的相似核：

其中D(w_j，z_i)为使用软指派把样本i归入聚类中心j的概率，W_j’表示其他类别的列向量，j’表示不等于j的所有样本；

优化目标域样本，将目标域样本向其类别中心聚集并且远离其他样本中心，则软指派的聚集损失为：

其中Q(w_j，z_i)为正则化概率，定义如下：

其中f_j＝∑_iD(w_j，z_i)，所述软指派为自步学习方法，逐渐将目标域样本推向更高置信度的中心，从而推导出无监督迁移目标，对源数据集进行分类，对目标数据集进行聚类：

λ为超参数。

4.如权利要求3所述的基于类中心域对齐的判别无监督跨域行人重识别方法，其特征在于，所述步骤三，具体包括如下步骤：

步骤T1-5，采用伯努利分布进行模拟该过程，通过EM算法，选取可靠样本，具体的，将每个样本分配到其最近的中心点，并计算其KL损失来判断是否为可靠样本，首先定义一个独热目标：

然后计算它的损失：

然后根据其值，提出学习一个权重参数b_i，表示相信样本的程度,所述权重参数b_i使用混合物模型来推断，具体的，所述混合物模型对损失L的概率密度函数定义为：

其适配一个二元GMM或者BMM来形成正则的可信的样本分布，通过标准EM算法，得到后置概率b＝[b₁，b₂，...，b_N]：

步骤T1-6，当得到可靠样本以及权重系数b_i后，动态指派聚类损失为：

5.如权利要求4所述的基于类中心域对齐的判别无监督跨域行人重识别方法，其特征在于，所述步骤四，具体包括如下步骤：

步骤T1-7，引入了一个对抗学习损失：

其中D是包括全连接层和BN层的判别器，

是聚类损失产生的目标中心点,ps和pt分别对应源域和目标域的质心点分布；

结合判别器，所述判别器输出的维度是C+1，其中C是质心点的总数，剩余的一个用来区分是否属于源域，判别器引入L2正则化和附加项，得到梯度信息：

ω表示判别器的参数。

6.如权利要求5所述的基于类中心域对齐的判别无监督跨域行人重识别方法，其特征在于，所述步骤五，具体包括如下步骤：

步骤T1-8，使用Triplet loss和Cross-Entropy loss表示为

来训练源数据集中的数据，当过程处于早期阶段时，本发明利用软赋值作为总损失的组成部分；在模型变得稳定之后，采用动态赋值学习来替换软赋值，即公式(15)，总损失为：

其中λ₁，λ₂，λ₃为对应的超参数；

步骤T1-9，训练损失后停止训练，得到最终的行人重识别模型；

步骤T1-10，准备待匹配的行人图像，送入训练好的行人重识别模型中，提取行人图像特征，计算待匹配行人图像特征的余弦距离，根据距离排序，返回排序靠前的行人图像。

Images