CN112668544A - 一种基于难样本混淆增强特征鲁棒性的行人重识别方法 - Google Patents

Abstract

本发明涉及一种基于难样本混淆增强特征鲁棒性的行人重识别方法，属于计算机视觉领域。目前，行人重识别通过给定的查询行人图像进行跨摄像机检索，找出与查询身份相匹配的行人。然而，由于受到不同视角下的背景、光照等因素影响，采集到的行人图像中存在大量的难样本，利用这些难样本训练得到的模型识别性能低下，缺乏鲁棒性。本发明对于每次输入图片，通过相似性度量寻找每张图像对应的难样本，结合混淆因子合成具有难样本信息的新图像再以有监督的方式促使模型挖掘难样本信息，从而提高模型鲁棒性。大量对比实验表明，本发明在主流数据集DukeMTMC‑ReID和Market‑1501上达到了较高的识别率，消融实验证明本发明能有效提高模型对难样本的鉴别能力。

Description

一种基于难样本混淆增强特征鲁棒性的行人重识别方法

技术领域

本发明涉及一种基于难样本混淆增强特征鲁棒性的行人重识别方法，属于计算机视觉领域。

背景技术

随着深度学习的发展，行人重识别技术得到了广泛的发展，它是利用计算机视觉技术判断图像或视频中是否存在特定行人的技术，由此也常被认为是图像检索的子问题。具体来说是将同一个人在不同环境、不同摄像头所捕捉到的图像关联起来，从而实现跨域跨设备的检索。行人重识别技术的出现弥补了目前固定摄像头的视觉局限性、人工搜索时间长等问题，由此在刑事侦查、智能安防、无人超市等领域得到了广泛的应用。

目前，行人重识别过程主要分为两步：(1)行人图片的有效特征提取，(2)有效特征距离度量，然而由于数据集中大量难样本的干扰，使得模型不能有效的优化类内、类间距离。三元组损失函数是一种被广泛用于难样本信息挖掘的方法，即选择三张图片作为输入，分别命名为固定样本a(Anchor)，正样本p(Positive)和负样本n(Negative)，它在特征层面减小类内距离的同时增大类间距离，然而该方法只关注如何改进网络提取出来的特征，忽略了数据集中存在的大量难样本图像中的信息。

随着深度学习的不断发展，2014年Goodfellow等提出了一种新的深度学习模型即生成式对抗网络(GAN,Generative Adversarial Networks)，2017年Wei L等首次将GAN应用到Re-ID中，将利用GAN生成的不同相机风格的行人图片以有监督的方式重新训练模型。随后提出的CycleGAN使用两个生成器和两个判别器来进行不同域间行人图像的风格转换，SPGAN则是在CycleGAN的基础上加入前景约束，在尽可能多的保留行人外观的前提下改变图片的背景风格。然而上述基于GAN的方法都需要建立十分复杂的网络，而且训练过程不稳定存在模型崩塌的风险。这类方法生成不同风格的行人图像仅仅是一种对数据的增强，提升了样本多样性，没有赋予模型挖掘难样本信息的能力。

针对上述方法中存在的问题，本发明提出一种难样本混淆增强特征鲁棒性的行人重识别方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于难样本混淆增强特征鲁棒性的行人重识别方法，使用基于ResNet-50的主体框架，充分利用难样本在图像层面的信息，赋予网络提取更具有鉴别性的特征的能力。再结合欧氏距离作为相似性度量找到难样本，在图像层面进行难样本混淆，增加了训练样本中信息的多样性，提高了模型泛化能力。在DukeMTMC-ReID和Market-1501数据集上的实验结果表明了本发明所提方法的优越性，能够有效提升行人重识别性能。

本发明采用的技术方案是：一种基于难样本混淆增强特征鲁棒性的行人重识别方法，包括以下步骤：

S1：设计特征提取模块：

为了确保提取有效的行人特征，首先设计如下损失函数L_id，设计该项损失函数的目的是将源域中的图片特征进行分类：

其中N为训练集中行人身份总数，m是行人的真实身份标签，p_i为网络预测该行人属于标签i行人的概率，q_i是通过每一张待查图片的ID标签得到，若m＝i，则q_i＝1，而对于任何m≠i均有q_i＝0。由于常规的交叉熵损失函数过度的依赖训练集中正确的行人标签，这使得网络容易出现过拟合的现象。通常解决上述问题，标签平滑(Label smoothing,LS)是最常用的方法，因此对q_i进行改写，具体过程如下：

上式中ε为平滑超参数，在训练时作为容错因子引入到交叉熵损失函数中。

S2：设计优化特征模块

为了使提取的行人图片特征特征得到优化，即同类图片在欧氏距离度量层面的距离更近，不同类图片的距离更远，加入了三元组损失函数进行约束，三元组(Triplet)由三张图片构成，分别命名为：锚点a(Anchor)，正样本p(Positive)，负样本n(Negative)，三元组损失函数表达如下：

L_t＝(d_a,p-d_a,n+δ)₊， (4)

δ是训练过程中设置的阈值参数，d_a,p和d_a,n作为度量函数，分别为锚点a与正样本p之间的欧氏距离、锚点a和负样本n之间的欧氏距离，上式表示括号内的数值与0相比较，选择大的数值作为损失函数的结果。三元组损失的学习目标是增大锚点与负样本(类间)的距离，减小锚点与正样本(类内)的距离，并采用欧氏距离来表示样本之间的距离。在一个欧氏距离空间R^d中，度量学习的目的是得到一个能够将x映射到R^d中的函数f(x)以实现三元组学习的目标，具体表示如下：

其中

是选定的一个样本作为锚点，

和

是通过欧氏距离选出来的正样本和负样本，下一步会阐述如何寻找所需的难样本图像。

S3：在完成原始图像的特征提取和特征优化后，接下来就是找寻难样本。本发明的一个关键点在于寻找图像的难样本，给定一个锚点样本

a表示该样本的身份，将其通过网络得到的特征

与训练批次中其他身份的图像特征逐一进行距离度量，找到与

最为相似的难样本。具体过程如下：

其中B为每个训练批次的图像数量(Batch size)，

是与

身份不同的样本，通过上式可以找到每张图像对应的难样本图像。

S4：在使用公式(7)找到了每一张作为锚点的图像的难样本，通过在图像层面进行难样本混淆。难样本混淆的目的是使锚点样本

带有其难样本图像

的部分信息，从而使训练得到的网络更加具有鉴别性不易被难样本干扰。具体而言对于一张输入图像x₁，通过公式(7)求解出其难样本，定义为x_1-hard，再通过下式进行难样本混淆：

x_1-new＝x₁×λ+x_1-hard×(1-λ)， (8)

其中x_1-new为生成的含有难样本信息的混淆样本，λ是混淆因子。

S5：提取使模型更具鲁棒性的特征

通过上一步的训练过程找到目标图像所对应的难样本图像x_1-hard，以此将所有的目标图像与其相对应的难样本图像进行混淆生成一批含有难样本信息的新图像，将生成的含有难样本信息的新图像重新利用S1节介绍的平滑交叉熵函数生成新的身份损失再有监督的训练网络，以提高模型的鲁棒性。公式如下：

L_confusion＝L_id-new， (9)

L_id-new是对S4中求得的一批含有难样本信息的混淆样本图片使用S1中的公式(1)所得到的新的身份损失，并赋值给L_confusion，后续出现的该参数均与此处意义保持一致。

S6：最后得到本发明的总体损失函数:

通过前面的实验过程，本发明从最开始输入到网络的原始数据，再使用难样本混淆得到新的一批实验数据，最后本发明的损失函数表示如下：

L_total＝L_id+L_t+β×L_confusion， (10)

其中L_id是对原始图像数据采用交叉熵损失函数得到的身份损失，L_t是特征层面约束类内和类间距离进一步增强行人身份信息的三元组损失，L_confusion是对难样本混淆之后得到的新数据进行交叉熵损失函数约束得到的另一个身份损失。超参数β用来衡量所提方法对整体性能的影响。

本发明的有益效果是：本发明提出了一种基于难样本混淆增强特征鲁棒性的行人重识别算法，它能够提高模型对难样本的鉴别能力从而进一步提升性能。具体来说，对于每批输入图片，通过相似性度量寻找每张图像对应的难样本，结合混淆因子合成具有难样本信息的新图像再以有监督的方式促使模型挖掘难样本信息，从而提高模型鲁棒性。大量对比实验表明，所提方法在主流数据集DukeMTMC-ReID和Market-1501上达到了较高的识别率，消融实验证明了所提方法的有效性。

附图说明

图1为本发明基于难样本混淆增强特征鲁棒性的行人重识别方法的流程图。

具体实施方式

下面结合附图和具体实施例进一步详细描述本发明的技术方案。

实施例1：如图1所示，一种基于难样本混淆增强特征鲁棒性的行人重识别方法，包括以下步骤：

S1：设计特征提取模块：

为了确保提取有效的行人特征，首先设计如下损失函数，设计该项损失函数的目的是将源域中的图片特征进行分类：

其中N为训练集中行人身份总数，m是行人的真实身份标签，p_i为网络预测该行人属于标签i行人的概率，q_i是通过每一张待查图片的ID标签得到，若m＝i，则q_i＝1，而对于任何m≠i均有q_i＝0。由于常规的交叉熵损失函数过度的依赖训练集中正确的行人标签，这使得网络容易出现过拟合的现象。通常解决上述问题，标签平滑(Label smoothing,LS)是最常用的方法，因此对q_i进行改写，具体过程如下：

上式中ε为平滑超参数，在训练时作为容错因子引入到交叉熵损失函数中。

S2：设计优化特征模块

为了使提取的行人图片特征特征得到优化，即同类图片在欧氏距离度量层面的距离更近，不同类图片的距离更远，加入了三元组损失函数进行约束，三元组(Triplet)由三张图片构成，分别命名为：锚点a(Anchor)，正样本p(Positive)，负样本n(Negative)，三元组损失函数表达如下：

L_t＝(d_a,p-d_a,n+δ)₊， (4)

δ是训练过程中设置的阈值参数,d_a,p和d_a,n作为度量函数，分别为锚点a与正样本p之间的欧氏距离、锚点a和负样本n之间的欧氏距离，上式表示括号内的数值与0相比较，选择大的数值作为损失函数的结果。三元组损失的学习目标是增大锚点与负样本(类间)的距离，减小锚点与正样本(类内)的距离，并采用欧氏距离来表示样本之间的距离。在一个欧氏距离空间R^d中，度量学习的目的是得到一个能够将x映射到R^d中的函数f(x)以实现三元组学习的目标，具体表示如下：

其中

是选定的一个样本作为锚点，

和

是通过欧氏距离选出来的正样本和负样本，下一步会阐述如何寻找所需的难样本图像。

S3：在完成原始图像的特征提取和特征优化后，接下来就是找寻难样本。本发明的一个关键点在于寻找图像的难样本，给定一个锚点样本

a表示该样本的身份，将其通过网络得到的特征

与训练批次中其他身份的图像特征逐一进行距离度量，找到与

最为相似的难样本。具体过程如下：

其中B为每个训练批次的图像数量(Batch size)，

是与

身份不同的样本，通过上式可以找到每张图像对应的难样本图像。

S4：在使用公式(7)找到了每一张作为锚点的图像的难样本，通过在图像层面进行难样本混淆。难样本混淆的目的是使锚点样本

带有其难样本图像

的部分信息，从而使训练得到的网络更加具有鉴别性不易被难样本干扰。具体而言对于一张输入图像x₁，通过公式(7)求解出其难样本，定义为x_1-hard，再通过下式进行难样本混淆：

x_1-new＝x₁×λ+x_1-hard×(1-λ)， (8)

其中x_1-new为生成的含有难样本信息的混淆样本，λ是混淆因子。

S5：提取使模型更具鲁棒性的特征

通过上一步的训练过程找到目标图像所对应的难样本图像，以此将所有的目标图像与其相对应的难样本图像进行混淆生成一批含有难样本信息的新图像，将生成的含有难样本信息的新图像重新利用S1节介绍的平滑交叉熵函数生成新的身份损失再有监督的训练网络，以提高模型的鲁棒性。公式如下：

L_confusion＝L_id-new， (9)

L_id-new是对S4中求得的一批含有难样本信息的混淆样本图片使用S1中的公式(1)所得到的新的身份损失，并赋值给L_confusion，后续出现的该参数均与此处意义保持一致。

S6：最后得到本发明的总体损失函数:

通过前面的实验过程，本发明从最开始输入到网络的原始数据，再使用难样本混淆得到新的一批实验数据，最后本发明的损失函数表示如下：

L_total＝L_id+L_t+β×L_confusion， (10)

其中L_id是对原始图像数据采用交叉熵损失函数得到的身份损失，L_t是特征层面约束类内和类间距离进一步增强行人身份信息的三元组损失，L_confusion是对含有难样本图像信息的混淆图像进行交叉熵损失函数约束得到的另一个身份损失。超参数β用来衡量所提方法对整体性能的影响。

下面结合具体实验对本发明的效果进行详细说明。

本发明采用在Image-Net预训练过的ResNet-50作为主干网络进行特征提取，最后额外增加了一个全局平均池化层。所有训练图像剪裁为256×128作为网络的输入，训练批次的大小设为64，其中为了满足三元组的要求，每个身份采样4张图像。使用Adam优化器对网络参数进行优化，其中权重衰减因子设为0.0005，初始学习率为0.00035，在40代和70代学习率下降为当前值的1/10，总共训练120代。交叉熵损失函数中的δ设为0.1，三元组损失函数中的β设为0.3，混淆因子λ设为0.99。

为了验证本发明所提算法的性能，首先在Market-1501进行了测试，该数据集于2015年在清华大学采集得到，数据集中的图像来自于5个高分辨率摄像头和1个低分辨率摄像头，共计1501个行人，32668张图片。重复训练10次求得平均值作为最终性能。比较结果如表1所示。

表1 Market-1501结果对比

由上表可知本发明在性能上大幅领先，说明了本发明所提算法的优越性。此外本发明还在DukeMTMC-ReID数据集上进行了对比实验，该数据集在杜克大学内采集得到，图像来自8个不同的摄像头，共计1404个行人和34183张图片。比较结果如表1所示。

表2 DukeMTMC-ReID结果对比

以上两个数据集都由训练集和测试集两部分组成并且这两部分的行人身份互不重合，查询数据集(query sets)是由测试集中抽取的部分样本组成。即使表2的指标提升的效果没有在Market-1501数据集上那么优越，但是也足以说明本发明所提模型的鲁棒性。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (1)

1.一种基于难样本混淆增强特征鲁棒性的行人重识别方法，其特征在于：包括以下步骤：

S1：设计特征提取模块：

提取有效的行人特征，首先设计如下身份损失函数L_id，用于将源域中的图片特征进行分类：

其中N为训练集中行人身份总数，m是行人的真实身份标签，p_i为网络预测该行人属于标签i行人的概率，q_i是通过每一张待查图片的ID标签得到，若m＝i，则q_i＝1，而对于任何m≠i均有q_i＝0，对q_i进行改写，具体过程如下：

上式中ε为平滑超参数，在训练时作为容错因子引入到交叉熵损失函数中；

S2：设计优化特征模块

为了使提取的行人图片特征特征得到优化，即同类图片在欧氏距离度量层面的距离更近，不同类图片的距离更远，加入了三元组损失函数进行约束，三元组Triplet由三张图片构成，分别命名为：锚点a，正样本p，负样本n，三元组损失函数表达如下：

L_t＝(d_a,p-d_a,n+δ)₊， (4)

δ是训练过程中设置的阈值参数，d_a,p和d_a,n作为度量函数，分别为锚点a与正样本p之间的欧氏距离、锚点a和负样本n之间的欧氏距离，上式表示括号内的数值与0相比较，选择大的数值作为损失函数的结果；在一个欧氏距离空间R^d中，度量学习的目的是得到一个能够将x映射到R^d中的函数f(x)以实现三元组学习的目标，具体表示如下：

其中

是选定的一个样本作为锚点，

和

是通过欧氏距离选出来的正样本和负样本；

S3：在完成原始图像的特征提取和特征优化后，接下来就是找寻图像的难样本；给定一个锚点样本

a表示该样本的身份，将其通过网络得到的特征

与训练批次中其他身份的图像特征逐一进行距离度量，找到与

最为相似的难样本，具体过程如下：

其中B为每个训练批次的图像数量，

是与

身份不同的样本，通过上式可以找到每张图像对应的难样本图像；

S4：在使用公式(7)找到了每一张作为锚点的图像的难样本，通过在图像层面进行难样本混淆，对于一张输入图像x₁，通过公式(7)求解出其难样本，定义为x_1-hard，再通过下式进行难样本混淆：

x_1-new＝x₁×λ+x_1-hard×(1-λ)， (8)

其中x_1-new为生成的含有难样本信息的混淆样本，λ是混淆因子；

S5：提取使模型更具鲁棒性的特征

通过上一步的训练过程找到目标图像所对应的难样本图像x_1-hard，以此将所有的目标图像与其相对应的难样本图像进行混淆生成一批含有难样本信息的新图像，将生成的含有难样本信息的新图像重新利用S1节介绍的平滑交叉熵函数生成新的身份损失再有监督的训练网络，新的身份损失公式如下：

L_confusion＝L_id-new， (9)

L_id-new是对S4中求得的一批含有难样本信息的混淆样本图片使用S1中的公式(1)所得到的新的身份损失，并赋值给L_confusion，后续出现的该参数均与此处意义保持一致；

S6：最后得到总体损失函数

从最开始输入到网络的原始数据，再使用难样本混淆得到新的一批实验数据，最后总体的损失函数表示如下：

L_total＝L_id+L_t+β×L_confusion， (10)

其中L_id是对原始图像数据采用交叉熵损失函数得到的身份损失，L_t是特征层面约束类内和类间距离进一步增强行人身份信息的三元组损失，L_confusion是对难样本混淆之后得到的新数据进行交叉熵损失函数约束得到的另一个身份损失，超参数β用来衡量所提方法对整体性能的影响。

Images