CN113569814A - 一种基于特征一致性的无监督行人重识别方法 - Google Patents

Abstract

本发明涉及一种基于特征一致性的无监督行人重识别方法。包括如下步骤：1：基于随机特征掩码设计具有鲁棒性的特征提取模型，之后基于特征提取模型计算时间平均模型；2：将行人图像分别馈送到特征提取模型和时间平均模型两次，得到四个特征，通过一致性损失使四个特征相互逼近；3：对特征提取模型所提取的特征进行聚类，之后依据独立性和紧凑型对聚类结果进行调整，最终基于聚类结果对模型进行微调。本发明设计的基于特征一致性的方法旨在通过随机掩盖图像的部分信息使特征提取模型更加关注图像的高级语义信息，从而提升特征提取模型的鲁棒性。

Description

一种基于特征一致性的无监督行人重识别方法

技术领域：

本发明涉及行人重识别领域，尤其涉及一种基于特征一致性的无监督行人重识别方法。

背景技术：

近年来，卷积神经网络在计算机视觉任务中取得了前所未有的成功。这种成功往往基于现有的大规模的标记数据集，然而大规模数据标注成本高且费力，尤其是对于复杂数据(如图像检索)。与依赖大量监督的方法相比，自监督学习是一种可以容易地从数据本身获得监督信号，并利用它来促进自身学习的方式，该方式不需要大量的人工注释监督。

行人重识别的要求是将感兴趣的人与来自非重叠摄像机的具有相同身份的图像进行匹配。现有的无监督行人重识别方法首先从网络模型中提取未标记数据集的嵌入特征，然后应用无监督聚类将图像分成不同的聚类用于训练模型。这些方法通过简单地使用聚类算法生成伪标签作为指导，因此没有充分挖掘数据本身存在的语义信息，该类方法往往限制了学习模型的表示能力。此外，目前基于聚类的方法往往专注于捕捉局部信息和低层特征(如颜色、对比度、纹理等)，这些信息具有较低的鲁棒性。

为了解决上述问题，本发明通过学习特征一致性，使得聚类网络可以将图像分成语义聚类，而不是集中在低级特征上。类似于无监督表示学习，特征一致性的目的是学习支持视觉和时间一致性推理的特征表示。本发明将重点放在构建静态人物图像的一致性上，以便在行人重识别框架下进行无监督表示学习。为了从单个图像中构造一致的信息，并将其转化为优化网络的学习信号，本发明将同一张图像分别馈送到当前模型和平均模型两次，以产生图像的四个编码视图(即特征表示)。最后，通过潜在空间中的一致性损失最大化以上四个编码特征之间的一致性来确保视图间的一致性。

发明内容：

本发明的目的是克服现有方法的不足，基于无监督行人重识别方法，特别是涉及一种基于特征一致性的无监督行人重识别方法，以解决无监督行人重识别中特征提取模型鲁棒性较低的问题。

一种基于特征一致性的无监督行人重识别方法，其特征在于，包括如下步骤：

步骤1：基于随机特征掩码设计具有鲁棒性的特征提取模型，之后基于特征提取模型计算时间平均模型；

步骤2：将行人图像分别馈送到特征提取模型和时间平均模型两次，得到四个特征，通过一致性损失使四个特征相互逼近；

步骤3：对特征提取模型所提取的特征进行聚类，之后依据独立性和紧凑型对聚类结果进行调整，最终基于聚类结果对模型进行微调。

步骤1的实现包括：

步骤1.1：在基于ResNet-50的特征提取模型前加入随机掩码层，对输入到模型的行人图像进行预处理：使用随机特征掩码对行人图像的部分信息进行掩盖；

步骤1.2：首先在ImageNet上对模型进行预训练，并基于现有模型计算平均模型，平均模型在t次迭代时的参数

被计算为：

其中θ_t为模型在t次迭代时的参数，α∈[0,1)为时间动量。

步骤2的实现包括：

步骤2.1：将同一图像x输入到模型两次，得到两个图像特征：

f_i＝F(x_i),i＝1,2

其中x₁为每次输入到模型的图像，f_i为图像特征，F为参数化的特征提取模型。由于特征提取模型中包含随机掩码层，同一图像在两次输入中被掩盖了不同的区域，故得到的特征向量往往不同；

步骤2.2：将同一图像x_i输入到平均模型两次，得到两个图像特征：

f_i ^m＝F^m(x_i),i＝1,2

其中f_i ^m为图像特征，F^m为参数化的特征提取模型。由于平均模型中同样包含随机掩码层，同一图像在两次输入中被掩盖了不同的区域，故得到的特征向量往往也不同；

步骤2.3：使用一致性损失减小以上四个特征的距离，例如f₁和f₂之间的一致性损失被定义为：

L₁＝||f₁-f₂||₂

其中L₁为f₁和f₂之间的一致性损失，本发明使用欧式距离作为距离度量。之后本发明共得到

个一致性损失。

步骤3的实现包括：

步骤3.1：使用特征存储器对特征提取模型所提取的特征进行存储，之后对所有特征进行自下而上的层次聚类；

步骤3.2：依次判断聚类结果是否同时满足独立性和紧凑性，即簇之间是否相互独立，簇内样本是否足够紧凑。若满足要求则保留结果，否则进行拆分；

步骤3.3：基于聚类结果，使用困难三元组损失对模型进行微调：

其中dist(·,·)为用于测量两个特征距离的函数。基于KP采样(首先选取K个身份，之后在每个身份中选取P个样本)，最小化最困难的正样本对的距离，最大化最困难的负样本对的距离。

本发明的有益效果：考虑到目前特征提取模型的鲁棒性较低，易受图像的局部信息和低层特征的影响，本发明对图像实施随机掩码，通过使具有不同掩码的图像特征彼此靠近，并使模型和平均模型的特征相互考前，企图使模型能够通过未被掩盖区域预测被掩盖区域，从而使模型对局部信息和底层特征具有较高的鲁棒性。

附图说明：

图1是一种基于特征一致性的无监督行人重识别方法的流程图。

图2是一种基于特征一致性的无监督行人重识别方法的整体框架图。

图3是随机掩码示意图。

具体实施方式：

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施的具体流程图，图2是本发明的整体框架图，如图1和图2所示，该方法包括：

步骤1：基于随机特征掩码设计具有鲁棒性的特征提取模型，之后基于特征提取模型计算时间平均模型；

步骤2：将行人图像分别馈送到特征提取模型和时间平均模型两次，得到四个特征，通过一致性损失使四个特征相互逼近；

步骤3：对特征提取模型所提取的特征进行聚类，之后依据独立性和紧凑型对聚类结果进行调整，最终基于聚类结果对模型进行微调。

步骤1的实现包括：

步骤1.1：在基于ResNet-50的特征提取模型前加入随机掩码层，对输入到模型的行人图像进行预处理：如图3所示，使用随机特征掩码对行人图像的部分信息进行掩盖；

步骤1.2：首先在ImageNet上对模型进行预训练，并基于现有模型计算平均模型，平均模型在t次迭代时的参数

被计算为：

其中θ_t为模型在t次迭代时的参数，α∈[0,1)为时间动量。

步骤2的实现包括：

步骤2.1：将同一图像x输入到模型两次，得到两个图像特征：

f_i＝F(x_i),i＝1,2

其中x₁为每次输入到模型的图像，f_i为图像特征，F为参数化的特征提取模型。由于特征提取模型中包含随机掩码层，同一图像在两次输入中被掩盖了不同的区域，故得到的特征向量往往不同；

步骤2.2：将同一图像x_i输入到平均模型两次，得到两个图像特征：

f_i ^m＝F^m(x_i),i＝1,2

其中f_i ^m为图像特征，F^m为参数化的特征提取模型。由于平均模型中同样包含随机掩码层，同一图像在两次输入中被掩盖了不同的区域，故得到的特征向量往往也不同；

步骤2.3：如图2所示，使用一致性损失减小以上四个特征的距离，例如f₁和f₂之间的一致性损失被定义为：

L₁＝||f₁-f₂||₂

其中L₁为f₁和f₂之间的一致性损失，本发明使用欧式距离作为距离度量。之后本发明共得到

个一致性损失。

步骤3的实现包括：

步骤3.1：使用特征存储器对特征提取模型所提取的特征进行存储，之后对所有特征进行自下而上的层次聚类；

步骤3.2：依次判断聚类结果是否同时满足独立性和紧凑性，即簇之间是否相互独立，簇内样本是否足够紧凑。若满足要求则保留结果，否则进行拆分；

步骤3.3：基于聚类结果，使用困难三元组损失对模型进行微调：

其中dist(·,·)为用于测量两个特征距离的函数。基于KP采样(首先选取K个身份，之后在每个身份中选取P个样本)，最小化最困难的正样本对的距离，最大化最困难的负样本对的距离。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

以上结合附图所述，仅为本发明的具体实施方式及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方式做出多种变化和替换，而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。

本发明通过参考附图描述的实施方式是示例性的，仅用于对本发明进行解释，不能理解为对本发明的限制，本发明的实施例具体范围不受此限制，相反，本发明的所有实施例包括落入所附权利要求书的精神和内涵范围内的所有变化和修改。

Claims (4)

1.一种基于特征一致性的无监督行人重识别方法，其特征在于：包括如下步骤：

步骤1：基于随机特征掩码设计具有鲁棒性的特征提取模型，之后基于特征提取模型计算时间平均模型；

步骤2：将行人图像分别馈送到特征提取模型和时间平均模型两次，得到四个特征，通过一致性损失使四个特征相互逼近；

步骤3：对特征提取模型所提取的特征进行聚类，之后依据独立性和紧凑型对聚类结果进行调整，最终基于聚类结果对模型进行微调。

2.根据权利要求1所述的基于特征一致性的无监督行人重识别方法，其特征在于：步骤1具体包括以下步骤：

步骤1.1：在基于ResNet-50的特征提取模型前加入随机掩码层，对输入到模型的行人图像进行预处理：使用随机特征掩码对行人图像的部分信息进行掩盖；

步骤1.2：首先在ImageNet上对模型进行预训练，并基于现有模型计算平均模型，平均模型在t次迭代时的参数θ_t ^m被计算为：

θ_t ^m＝αθ_t+(1-α)θ_t-1

其中θ_t为模型在t次迭代时的参数，α∈[0,1)为时间动量。

3.根据权利要求1所述的基于特征一致性的无监督行人重识别方法，其特征在于：步骤2具体包括以下步骤：

步骤2.1：将同一图像x输入到模型两次，得到两个图像特征：

f_i＝F(x_i),i＝1,2

其中x₁为每次输入到模型的图像，f_i为图像特征，F为参数化的特征提取模型。由于特征提取模型中包含随机掩码层，同一图像在两次输入中被掩盖了不同的区域，故得到的特征向量往往不同；

步骤2.2：将同一图像x_i输入到平均模型两次，得到两个图像特征：

f_i ^m＝F^m(x_i),i＝1,2

其中f_i ^m为图像特征，F^m为参数化的特征提取模型。由于平均模型中同样包含随机掩码层，同一图像在两次输入中被掩盖了不同的区域，故得到的特征向量往往也不同；

步骤2.3：使用一致性损失减小以上四个特征的距离，例如f₁和f₂之间的一致性损失被定义为：

L₁＝||f₁-f₂||₂

其中L₁为f₁和f₂之间的一致性损失，本发明使用欧式距离作为距离度量。之后本发明共得到

个一致性损失。

4.根据权利要求1所述的基于特征一致性的无监督行人重识别方法，其特征在于：步骤3具体包括以下步骤：

步骤3.1：使用特征存储器对特征提取模型所提取的特征进行存储，之后对所有特征进行自下而上的层次聚类；

步骤3.2：依次判断聚类结果是否同时满足独立性和紧凑性，即簇之间是否相互独立，簇内样本是否足够紧凑。若满足要求则保留结果，否则进行拆分；

步骤3.3：基于聚类结果，使用困难三元组损失对模型进行微调：

其中dist(·,·)为用于测量两个特征距离的函数。基于KP采样(首先选取K个身份，之后在每个身份中选取P个样本)，最小化最困难的正样本对的距离，最大化最困难的负样本对的距离。

Images