CN114022904A - 一种基于两阶段的噪声鲁棒行人重识别方法 - Google Patents

Abstract

本发明公开一种基于两阶段的噪声鲁棒行人重识别方法，包括步骤：输入带标签噪声的训练集；第一阶段：根据训练集的给定标签计算网络模型的交叉熵损失函数；根据预测标签计算标签调整正则化损失函数；计算纯样本损失函数；整合三项损失函数，得到自调整策略损失函数并分别训练两个不同的网络模型；第二阶段：更新可靠的预测标签集得到修正的交叉熵损失函数；计算对称的相对熵损失函数；寻找可靠三元组，计算噪声鲁棒的三元组损失函数；联合三项损失函数，得到网络模型的第二阶段总损失函数，并协同监督两个网络模型的学习，通过联合所有损失函数对两个网络模型进行迭代更新；测试性能，在含有噪声标签的设定下达到鲁棒性极好的行人重识别目的。

Description

一种基于两阶段的噪声鲁棒行人重识别方法

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于两阶段的噪声鲁棒行人重识别方法。

背景技术

行人重识别是图像检索的子问题，旨在寻找跨摄像头视角下的同一行人的图像。随着深度卷积神经网络的迅速发展，基于监督学习的行人重识别技术已经取得了极大的进展。然而，现有的大多数方法在训练过程中高度依赖标注足够精确的样本。在实际应用场景中，由于标注或者检测的错误，行人重识别数据集中总是存在一定数量的噪声标签样本。

在行人重识别数据集中，标签噪声主要有两类：人物图像被错误标注导致的标签翻转；严重遮挡、检测不良和追踪错误等异常值。此外，因为在原始数据集中总存在大量外观相似但属于不同身份的样本，所以手动纠正大规模数据集中的所有噪声样本既耗时又费力。

含噪声标签的鲁棒深度学习问题在图像分类领域中受到了较多的关注。现有的分类方法侧重于过滤噪声样本，保留干净样本来抑制标签噪声；或者采用联合神经嵌入网络，手动验证类的附加部分以检测噪声样本；同时，一些小损失选择方法也被用来处理噪声标签。然而，同图像分类问题相比，行人重识别问题中每个身份只有少量的人物图像，所以这些方法都不适合含标签噪声的行人重识别任务。故需要一种在含有噪声标签的设定下能够达到鲁棒性极好的行人重识别方法。

发明内容

本发明的目的在于克服上述现有技术的不足，提供了一种在含有噪声标签的设定下能够达到鲁棒性极好的行人重识别方法，具体为一种基于两阶段的噪声鲁棒行人重识别方法。

本发明提供了一种基于两阶段的噪声鲁棒行人重识别方法，该方法包括以下步骤：

S1：输入带给定标签的训练集；

第一阶段，

S2：根据训练集的给定标签计算网络模型的交叉熵损失函数，得到训练样本的预测概率；

S3：提取训练样本的最大预测概率的索引值作为预测标签，根据预测标签计算标签调整正则化损失函数；

S4：挖掘给定标签与预测标签的一致性，计算纯样本损失函数；

S5：联合交叉熵损失函数、标签调整正则化损失函数和纯样本损失函数，得到自调整策略损失函数，根据自调整策略损失函数分别训练两个不同的网络模型；

第二阶段，

将第一阶段输出的两个自调整网络分别作为第二阶段的初始化网络；

S6：通过更新可靠的预测标签集，计算修正的交叉熵损失函数，挖掘纯样本甚至校正噪声标记的样本；

S7：引入相对熵损失函数，即KL散度，通过相对熵损失函数使得两个网络交叉更新训练，同时由JS散度修改相对熵损失函数得到对称的KL散度，即对称的相对熵损失函数；

S8：寻找可靠三元组，得到噪声鲁棒的三元组损失函数；

S9：根据修正的交叉熵损失函数、对称的相对熵损失函数和噪声鲁棒的三元组损失函数，得到网络模型的第二阶段总损失函数，根据第二阶段总损失函数联合监督网络模型的学习。

优选的，S2中，具体内容为：将给定标签作为网络模型的监督信号，根据训练集的给定标签计算交叉熵损失函数，根据交叉熵损失函数训练网络模型，得到训练样本的预测概率，训练样本包括纯样本和噪声样本，网络模型包括两个不同结构的网络模型，分别记为Θ₁和Θ₂；训练集记为：

其中，训练集被划分为C个类别，N表示图片的数量，x_i表示第i个训练样本，y_i表示第i个样本的给定标签；则交叉熵损失函数记为：

其中，p(y_i|x_i)表示输入的第i个样本被分为给定标签的概率。

优选的，S3中，具体内容为：将训练样本的预测概率中最大预测概率的索引值作为预测标签，基于交叉熵损失函数计算标签调整正则化损失函数，并根据标签调整正则化损失函数训练网络模型，根据预测标签调整两个网络模型的参数；

所述标签调整正则化损失函数记为：

其中，

表示输入的第i个样本被分为预测标签的概率，

表示对应输入样本x_i的预测标签，记为：

其中，y_i表示第i个样本的给定标签，p(y₁|x_i)表示第i个样本被分为第1个行人类别的预测概率，p(y_C|x_i)表示第i个样本被分为第C个行人类别的预测概率。

优选的，S4中，具体内容为：挖掘给定标签与预测标签的一致性，计算纯样本损失函数，根据纯样本损失函数训练网络模型，并更新纯样本；

所述纯样本损失函数记为：

其中，p(y_i|x_i)表示输入的第i个样本被分为给定标签的概率，m(x_i)表示纯样本的掩码，记为：

其中，1(·)是指示函数，当给定标签等于预测标签时，指示函数的值为1；当给定标签不等于预测标签时，指示函数的值为0，所述纯样本的掩码在训练中更新。

优选的，S5中，具体内容为：联合交叉熵损失函数、标签调整正则化损失函数和纯样本损失函数，得到自调整策略损失函数，通过自调整策略分别训练两个网络模型，得到网络模型的第一阶段总损失函数，同时得到新的预测标签；

其中，通过自调整策略分别训练网络模型Θ₁和网络模型Θ₂，得到网络模型Θ₁的第一阶段总损失函数，记为：

以及网络模型Θ₂第一阶段总损失函数，记为：

自调整策略损失函数记为：

L₁＝(1-λ)L_b+λL_p+L_m

其中，λ是一个超参数。

优选的，S6中，得到所述修正的交叉熵损失函数的具体步骤为：

将网络模型Θ₁的预测标签作为网络模型Θ₁的监控信号，得到可靠的预测标签集，通过更新可靠的预测标签集，得到网络Θ₁的修正的交叉熵损失函数，记为：

其中，

表示网络模型Θ₁中样本x_i的修正交叉熵损失函数，

表示网络模型Θ₁的预测标签，

表示网络模型Θ₁更新后的可靠的预测标签集，α为常数；

通过上述步骤同理计算出所述网络模型Θ₂的修正的交叉熵损失函数，记为：

网络模型Θ₂的预测标签，记为

则第二阶段总的修正的交叉熵损失函数为：

优选的，S7中，包括具体步骤：

引入相对熵损失函数，根据相对熵损失函数最小化网络模型Θ₁的预测概率和网络模型Θ₂的预测概率之间的共同信息，网络模型Θ₁与网络模型Θ₂将交叉更新训练；通过JS散度修改相对熵损失函数，得到对称的相对熵损失函数，对称的相对熵损失函数记为：

L_kl＝D_kl(P¹||P²)+D_kl(P²||P¹)

其中，

p¹(x_i)表示网络模型Θ₁的训练样本x_i对应的预测概率，且p¹(x_i)∈R^1×C；p²(x_i)表示网络模型Θ₂的训练样本x_i对应的预测概率；P¹表示网络模型Θ₁的softmax层输出；P²表示网络模型Θ₂的softmax层输出；D_kl(P¹||P²)表示网络模型Θ₁所有样本预测概率分布相对于网络模型Θ₂所有样本预测概率分布的KL散度；D_kl(P²||P¹)表示网络模型Θ₂所有样本预测概率分布相对于网络模型Θ₁所有样本预测概率分布的KL散度。

优选的，S8中，得到所述噪声鲁棒的三元组损失函数的具体步骤为：

基于三元组损失函数在两个网络模型上进行修改，首先寻找可靠三元组，所述三元组损失函数中三元组的三项用{a,p,n}描述，a代表锚点，p代表与锚点相同类别的正样本，n代表与锚点不同类别的负样本；对于网络模型Θ₁：

通过第一个判断条件判断锚点是否为具有真实标签的纯样本，第一个判断条件记为：

其中，

表示网络模型Θ₁中的锚点的预测标签，y_a表示网络模型Θ₁中的锚点的给定标签，f_a表示提取的锚点的判别特征，

表示锚点的预测标签类别所有样本的平均特征，

表示锚点的给定标签类别所有样本的平均特征；当满足第一个判断条件时，该锚点为噪声锚点，否则为纯锚点，继续寻找对应的正样本和负样本；

通过第二个判断条件在特征空间中挖掘正确标记的难正样本，第二个判断条件记为：

其中，下标mp表示难正样本，当满足第二个判断条件时，难正样本是噪声样本，继续寻找对应的次难正样本，否则该难正样本是纯样本；

通过第三个判断条件在特征空间中挖掘正确标记的难负样本，第三个判断条件记为：

其中，下标mn表示难负样本，当满足第三个判断条件时，难负样本是噪声样本，继续寻找对应的次难负样本，否则该难负样本为纯样本；

通过挖掘策略挖掘难正样本对和难负样本对，挖掘策略记为：

其中，条件1表示第一个判断条件，条件2表示第二个判断条件，条件3表示第三个判断条件，

表示网络模型Θ₁的难正样本对的距离，

表示网络模型Θ₁的难负样本对的距离，P表示每一小批量中行人类别的数量，K表示小批量中每个行人身份可选择的训练样本，a表示锚点，i，j表示第i，j个行人身份，且j≠i，f_i,a表示第i个行人锚点特征，f_i,p表示该锚点对应的正样本的特征，f_j,n表示该锚点对应的负样本的特征；

根据挖掘策略得到网络模型Θ₁的噪声鲁棒的三元组损失函数，记为：

其中，margin是超参数；

通过上述步骤同理计算出所述网络模型Θ₂的噪声鲁棒的三元组损失函数，记为：

故两个网络模型总的噪声鲁棒的三元组损失函数，记为：

优选的，S9中，具体内容为：根据修正的交叉熵损失函数、对称的相对熵损失函数和总的噪声鲁棒的三元组损失函数，得到两个网络模型的第二阶段总损失函数，根据第二阶段总损失函数联合监督两个网络模型的学习，更新两个网络模型的参数，并得到对噪声标签具有鲁棒性的行人重识别模型；

第二阶段总损失函数，记为：

L₂＝L_re+L_tr+L_kl。

优选的，还包括步骤S10：测试行人重识别模型在噪声标签干扰情况下的性能和表现，具体内容为：

从训练集中按照一定比例对行人样本进行随机采样，并为行人样本随机分配错误的标签，所述标签为噪声标签，在测试过程中，在第一阶段，对两个网络模型根据自调整策略损失函数分别进行训练，每个网络模型分别用于评估性能，然后选择其中的最佳结果作为第一阶段的最终性能；在第二阶段，将两个网络模型为一张查询图像提取的所有特征连接起来，以增强最终图像表示的可辨别性，并利用这些特征评估第二阶段的性能。

有益效果：通过第一阶段中自调整策略损失函数分别训练两个网络模型，以及通过第二阶段修正的交叉熵损失函数、对称的相对熵损失函数更新纯样本，且设计了噪声鲁棒的三元组损失函数，最后联合所有损失函数对两个网络模型进行迭代更新，从而在含有噪声标签的设定下达到鲁棒性极好的行人重识别目的。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施中一种基于两阶段的噪声鲁棒行人重识别方法的流程图。

图2为本发明实施中一种基于两阶段的噪声鲁棒行人重识别方法的总体框架图。

图3为本发明实施中一种基于两阶段的噪声鲁棒行人重识别方法的标签噪声示意图。

具体实施方式

下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1、图2所示，本实施例提供了一种基于两阶段的噪声鲁棒行人重识别方法，该方法包括以下步骤：

S1：输入带给定标签的训练集；

第一阶段，

S2：根据训练集的给定标签计算网络模型的softmax交叉熵损失函数，得到训练样本的预测概率；

具体为：将给定标签作为网络模型的监督信号，根据训练集的给定标签计算softmax交叉熵损失函数，根据softmax交叉熵损失函数训练网络模型，得到训练样本的预测概率，训练样本包括纯样本和噪声样本，网络模型包括两个不同结构的网络模型，分别记为Θ₁和Θ₂；训练集记为：

其中，训练集被划分为C个类别，N表示图片的数量，x_i表示第i个训练样本，y_i表示第i个样本的给定标签；则交叉熵损失函数记为：

其中，p(y_i|x_i)表示输入的第i个样本被分为给定标签的概率；

S3：提取训练样本的最大预测概率的索引值作为预测标签，根据预测标签计算标签调整正则化损失函数；

具体为：将训练样本的预测概率中最大预测概率的索引值作为预测标签，自动补偿噪声缺陷，由于S2中使用的训练集中原有的给定标签含有噪声，并不完全准确，故基于softmax交叉熵损失函数计算标签调整正则化损失函数，并根据标签调整正则化损失函数训练网络模型，以及自动补偿噪声缺陷，根据概率最大的预测标签调整两个网络模型的参数；

标签调整正则化损失函数记为：

其中，

表示输入的第i个样本被分为预测标签的概率，

表示对应输入样本x_i的预测标签，记为：

其中，y_i表示第i个样本的给定标签，p(y₁|x_i)表示第i个样本被分为第1个行人类别的预测概率，p(y_C|x_i)表示第i个样本被分为第C个行人类别的预测概率；

S4：挖掘给定标签与预测标签的一致性，计算纯样本损失函数；

具体为：挖掘给定标签与预测标签的一致性，计算纯样本损失函数，根据纯样本损失函数训练网络模型，并更新纯样本；

纯样本损失函数记为：

其中，p(y_i|x_i)表示输入的第i个样本被分为给定标签的概率，m(x_i)表示纯样本的掩码，记为：

其中，1(·)是指示函数，当给定标签等于预测标签时，指示函数的值为1；当给定标签不等于预测标签时，指示函数的值为0，纯样本的掩码在训练中更新，L_m更关注于更新后的纯样本；

S5：联合softmax交叉熵损失函数、标签调整正则化损失函数和纯样本损失函数，得到自调整策略损失函数，根据自调整策略损失函数分别训练两个不同的网络模型；

具体为：联合softmax交叉熵损失函数、标签调整正则化损失函数和纯样本损失函数，得到自调整策略损失函数，通过自调整策略分别训练两个网络模型，得到网络模型的第一阶段总损失函数，同时得到新的预测标签；

其中，通过自调整策略分别训练网络模型Θ₁和网络模型Θ₂，得到网络模型Θ₁的第一阶段总损失函数，记为：

以及网络模型Θ₂第一阶段总损失函数，记为：

所述自调整策略损失函数记为：

L₁＝(1-λ)L_b+λL_p+L_m

其中，λ是一个超参数，用于平衡给定标签和预测标签之间的权重；

上述S2-S5为第一阶段，通过自调整策略损失函数分别训练两个不同体系结构的网络模型，挖掘给定标签和预测标签的一致性来更新纯样本。

第二阶段，

将第一阶段输出的两个自调整网络分别作为第二阶段的初始化网络；

S6：通过更新可靠的预测标签集，计算修正的交叉熵损失函数，挖掘纯样本甚至校正噪声标记的样本；

为了进一步增强行人重识别模型对噪声标签的容忍度，本实施例通过更新可靠的预测标签集，计算修正的交叉熵损失函数，挖掘纯样本甚至校正噪声标签的样本，经过自调整策略损失函数分别训练后的网络模型，预测标签比原有的给定标签更为可靠；具体为：将网络模型Θ₁的预测标签作为网络模型Θ₁的监控信号，得到可靠的预测标签集，通过更新可靠的预测标签集，得到网络Θ₁的修正的交叉熵损失函数，记为：

其中，

表示网络模型Θ₁中样本x_i的修正交叉熵损失函数，

表示网络模型Θ₁的预测标签，

表示网络模型Θ₁更新后的可靠的预测标签集，α为常数；

通过上述步骤同理计算出网络模型Θ₂的修正的交叉熵损失函数，记为：

网络模型Θ₂的预测标签，记为

则第二阶段总的修正的交叉熵损失函数为：

更新后的可靠的预测标签集

包括纯样本标签和校正后的噪声样本标签，满足集合的条件是：网络模型Θ₁的预测标签等于给定标签、或网络模型Θ₁的预测标签等于网络模型Θ₂的预测标签、或者网络模型的预测标签的概率大于0.95；常数α预测增强了更新的可靠样本相对于噪声样本的置信度；

S7：引入相对熵损失函数，即KL散度，通过相对熵损失函数使得两个网络交叉更新训练，同时由JS散度修改相对熵损失函数得到对称的KL散度，即对称的相对熵损失函数；

具体为：引入相对熵损失函数，即KL(Kullback-Leibler)散度，根据相对熵损失函数最小化网络模型Θ₁的预测概率和网络模型Θ₂的预测概率之间的共同信息，网络模型Θ₁与网络模型Θ₂将交叉更新训练，进一步更新纯样本；通过JS散度(Jensen-Shannnon散度)修改相对熵损失函数，得到对称的相对熵损失函数，对称的相对熵损失函数记为：

L_kl＝D_kl(P¹||P²)+D_kl(P²||P¹)

其中，

p¹(x_i)表示网络模型Θ₁的训练样本x_i对应的预测概率，且p¹(x_i)∈R^1×C；p²(x_i)表示网络模型Θ₂的训练样本x_i对应的预测概率；P¹表示网络模型Θ₁的softmax层输出；P²表示网络模型Θ₂的softmax层输出；D_kl(P¹||P²)表示网络模型Θ₁所有样本预测概率分布相对于网络模型Θ₂所有样本预测概率分布的KL散度；D_kl(P²||P¹)表示网络模型Θ₂所有样本预测概率分布相对于网络模型Θ₁所有样本预测概率分布的KL散度；

S8：寻找可靠三元组，得到噪声鲁棒的三元组损失函数；

三元组损失函数可以增强行人重识别模型的辨别能力，但是它对噪声标签不具有鲁棒性，所述本实施例对难样本三元组损失函数进行了修改，具体为：基于三元组损失函数在两个网络模型上进行修改，首先寻找可靠三元组，三元组损失函数中三元组的三项用{ancher，positive，negative}表示，本实施例采用{a,p,n}来描述，其中，a代表锚点，p代表与锚点相同类别的正样本，n代表与锚点不同类别的负样本；对于网络模型Θ₁：

通过第一个判断条件判断锚点是否为具有真实标签的纯样本，第一个判断条件记为：

其中，

表示网络模型Θ₁中的锚点的预测标签，y_a表示网络模型Θ₁中的锚点的给定标签，f_a表示提取的锚点的判别特征，

表示锚点的预测标签类别所有样本的平均特征，

表示锚点的给定标签类别所有样本的平均特征；当满足第一个判断条件时，给定标签不可靠，该锚点为噪声锚点，停止寻找对应的三元组，否则为纯锚点，继续寻找对应的正样本和负样本；在第一个判断条件中，前者表示锚点的给定标签和预测标签不一致，后者表示锚点特征更接近预测标签的平均特征，即预测标签比给定标签更可靠；

难正样本意味着该正样本在特征空间中距离锚点最远，将难正样本对聚类在一起可以最小化类别内的距离，通过第二个判断条件在特征空间中挖掘正确标记的难正样本，第二个判断条件记为：

其中，下标mp表示难正样本，当满足第二个判断条件时，难正样本是噪声样本，继续寻找对应的次难正样本，否则该难正样本是纯样本；前者表示难正样本的预测标签和给定标签不一致，即该样本不是对应的正样本，同时注意y_mp＝＝y_a的情况；

难负样本表示在特征空间中最接近锚点的负样本，将难负样本对推开将使得类别间的距离最大化，通过第三个判断条件在特征空间中挖掘正确标记的难负样本，第三个判断条件记为：

其中，下标mn表示难负样本，当满足第三个判断条件时，难负样本是噪声样本，继续寻找对应的次难负样本，否则该难负样本为纯样本；前者表示难负样本的预测标签和给定的锚点标签一致，即该样本不是对应的负样本；

通过挖掘策略挖掘难正样本对和难负样本对，挖掘策略记为：

其中，条件1表示第一个判断条件，条件2表示第二个判断条件，条件3表示第三个判断条件，

表示网络模型Θ₁的难正样本对的距离，

表示网络模型Θ₁的难负样本对的距离，P表示每一小批量中行人类别的数量，K表示小批量中每个行人身份可选择的训练样本，a表示锚点，i，j表示第i，j个行人身份，且j≠i，f_i,a表示第i个行人锚点特征，f_i,p表示该锚点对应的正样本的特征，f_j,n表示该锚点对应的负样本的特征；当条件1被满足时，选取的锚点将被判定为噪声样本，通知寻找对应的三元组，即该锚点对应的

并且

当条件1未被满足而条件2被满足时，

将会在p≠mp的条件下由次难正样本来带入计算，否则将会由难正样本带入计算；当条件1未被满足而条件3被满足时，

将会在n≠mn的条件下由次难负样本带入计算，否则将会由难负样本进行计算；

根据挖掘策略得到网络模型Θ₁的噪声鲁棒的三元组损失函数，记为：

其中，margin是超参数，用于平衡类内距离和类间距离的差异；

通过上述步骤同理计算出网络模型Θ₂的噪声鲁棒的三元组损失函数，记为：

故两个网络模型总的噪声鲁棒的三元组损失函数，记为：

S9：根据修正的交叉熵损失函数、对称的相对熵损失函数和噪声鲁棒的三元组损失函数，得到网络模型的第二阶段总损失函数，根据第二阶段总损失函数联合监督网络模型的学习；

具体为：根据修正的交叉熵损失函数、对称的相对熵损失函数和总的噪声鲁棒的三元组损失函数，得到两个网络模型的第二阶段总损失函数，根据第二阶段总损失函数联合监督两个网络模型的学习，更新两个网络模型的参数，并得到对噪声标签具有鲁棒性的行人重识别模型；

第二阶段总损失函数，记为：

L₂＝L_re+L_tr+L_kl；

以上S6-S9为第二阶段，在第一阶段训练的两个不同结构的网络模型Θ₁和Θ₂的基础上，通过第二阶段总损失函数继续监督两个网络模型的学习。

S10：测试行人重识别模型在噪声标签干扰情况下的性能和表现，具体内容为：

为了模拟在实际场景中的噪声，从公共数据集的训练集中按照一定比例对行人样本进行随机采样，并为行人样本随机分配错误的标签，所述标签为噪声标签，在测试过程中，在第一阶段，对两个网络模型根据自调整策略损失函数分别进行训练，每个网络模型分别用于评估性能，然后选择其中的最佳结果作为第一阶段的最终性能；在第二阶段，将两个网络模型为一张查询图像提取的所有特征连接起来，以增强最终图像表示的可辨别性，并利用这些特征评估第二阶段的性能。

如图3所示，标签噪声包括标签翻转、遮挡、追踪错误和检测不良等。

本实施例提供这种基于两阶段的噪声鲁棒行人重识别方法具有以下有益效果：通过第一阶段中自调整策略损失函数分别训练两个网络模型，以及通过第二阶段修正的交叉熵损失函数、对称的相对熵损失函数更新纯样本，且设计了噪声鲁棒的三元组损失函数，最后联合所有损失函数对两个网络模型进行迭代更新，从而在含有噪声标签的设定下达到鲁棒性极好的行人重识别目的。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，包括步骤：

S1：输入带给定标签的训练集；

第一阶段，

S2：根据训练集的给定标签计算网络模型的交叉熵损失函数，得到训练样本的预测概率；

S3：提取训练样本的最大预测概率的索引值作为预测标签，根据预测标签计算标签调整正则化损失函数；

S4：挖掘给定标签与预测标签的一致性，计算纯样本损失函数；

S5：联合交叉熵损失函数、标签调整正则化损失函数和纯样本损失函数，得到自调整策略损失函数，根据自调整策略损失函数分别训练两个不同的网络模型；

第二阶段，

将第一阶段输出的两个自调整网络分别作为第二阶段的初始化网络；

S6：通过更新可靠的预测标签集，计算修正的交叉熵损失函数，挖掘纯样本甚至校正噪声标记的样本；

S7：引入相对熵损失函数，即KL散度，通过相对熵损失函数使得两个网络交叉更新训练，同时由JS散度修改相对熵损失函数得到对称的KL散度，即对称的相对熵损失函数；

S8：寻找可靠三元组，得到噪声鲁棒的三元组损失函数；

S9：根据修正的交叉熵损失函数、对称的相对熵损失函数和噪声鲁棒的三元组损失函数，得到网络模型的第二阶段总损失函数，根据第二阶段总损失函数联合监督网络模型的学习。

2.根据权利要求1所述的一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，S2中，具体内容为：将给定标签作为网络模型的监督信号，根据训练集的给定标签计算交叉熵损失函数，根据交叉熵损失函数训练网络模型，得到训练样本的预测概率，训练样本包括纯样本和噪声样本，所述网络模型包括两个不同结构的网络模型，分别记为Θ₁和Θ₂；所述训练集记为：

其中，训练集被划分为C个类别，N表示图片的数量，x_i表示第i个训练样本，y_i表示第i个样本的给定标签；则所述交叉熵损失函数记为：

其中，p(y_i|x_i)表示输入的第i个样本被分为给定标签的概率。

3.根据权利要求2所述的一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，S3中，具体内容为：将训练样本的预测概率中最大预测概率的索引值作为预测标签，基于交叉熵损失函数计算标签调整正则化损失函数，并根据标签调整正则化损失函数训练网络模型，根据预测标签调整两个网络模型的参数；

所述标签调整正则化损失函数记为：

其中，

表示输入的第i个样本被分为预测标签的概率，

表示对应输入样本x_i的预测标签，记为：

其中，y_i表示第i个样本的给定标签，p(y₁|x_i)表示第i个样本被分为第1个行人类别的预测概率，p(y_C|x_i)表示第i个样本被分为第C个行人类别的预测概率。

4.根据权利要求3所述的一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，S4中，具体内容为：挖掘给定标签与预测标签的一致性，计算纯样本损失函数，根据纯样本损失函数训练网络模型，并更新纯样本；

所述纯样本损失函数记为：

其中，p(y_i|x_i)表示输入的第i个样本被分为给定标签的概率，m(x_i)表示纯样本的掩码，记为：

其中，1(·)是指示函数，当给定标签等于预测标签时，指示函数的值为1；当给定标签不等于预测标签时，指示函数的值为0，所述纯样本的掩码在训练中更新。

5.根据权利要求4所述的一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，S5中，具体内容为：联合交叉熵损失函数、标签调整正则化损失函数和纯样本损失函数，得到自调整策略损失函数，通过自调整策略分别训练两个网络模型，得到网络模型的第一阶段总损失函数，同时得到新的预测标签；

其中，通过自调整策略分别训练网络模型Θ₁和网络模型Θ₂，得到网络模型Θ₁的第一阶段总损失函数，记为：

以及网络模型Θ₂第一阶段总损失函数，记为：

所述自调整策略损失函数记为：

L₁＝(1-λ)L_b+λL_p+L_m

其中，λ是一个超参数。

6.根据权利要求5所述的一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，S6中，得到所述修正的交叉熵损失函数的具体步骤为：

将网络模型Θ₁的预测标签作为网络模型Θ₁的监控信号，得到可靠的预测标签集，通过更新可靠的预测标签集，得到网络Θ₁的修正的交叉熵损失函数，记为：

其中，

表示网络模型Θ₁中样本x_i的修正交叉熵损失函数，

表示网络模型Θ₁的预测标签，

表示网络模型Θ₁更新后的可靠的预测标签集，α为常数；

通过上述步骤同理计算出所述网络模型Θ₂的修正的交叉熵损失函数，记为：

网络模型Θ₂的预测标签，记为

则第二阶段总的修正的交叉熵损失函数为：

7.根据权利要求6所述的一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，S7中，包括具体步骤：

引入相对熵损失函数，根据相对熵损失函数最小化网络模型Θ₁的预测概率和网络模型Θ₂的预测概率之间的共同信息，网络模型Θ₁与网络模型Θ₂将交叉更新训练；通过JS散度修改相对熵损失函数，得到对称的相对熵损失函数，所述对称的相对熵损失函数记为：

L_kl＝D_kl(P¹||P²)+D_kl(P²||P¹)

其中，

p¹(x_i)表示网络模型Θ₁的训练样本x_i对应的预测概率，且p¹(x_i)∈R^1×C；p²(x_i)表示网络模型Θ₂的训练样本x_i对应的预测概率；P¹表示网络模型Θ₁的softmax层输出；P²表示网络模型Θ₂的softmax层输出；D_kl(P¹||P²)表示网络模型Θ₁所有样本预测概率分布相对于网络模型Θ₂所有样本预测概率分布的KL散度；D_kl(P²||P¹)表示网络模型Θ₂所有样本预测概率分布相对于网络模型Θ₁所有样本预测概率分布的KL散度。

8.根据权利要求7所述的一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，S8中，得到所述噪声鲁棒的三元组损失函数的具体步骤为：

基于三元组损失函数在两个网络模型上进行修改，首先寻找可靠三元组，所述三元组损失函数中三元组的三项用{a,p,n}描述，a代表锚点，p代表与锚点相同类别的正样本，n代表与锚点不同类别的负样本；对于网络模型Θ₁：

通过第一个判断条件判断锚点是否为具有真实标签的纯样本，所述第一个判断条件记为：

其中，

表示网络模型Θ₁中的锚点的预测标签，y_a表示网络模型Θ₁中的锚点的给定标签，f_a表示提取的锚点的判别特征，

表示锚点的预测标签类别所有样本的平均特征，

表示锚点的给定标签类别所有样本的平均特征；当满足第一个判断条件时，该锚点为噪声锚点，否则为纯锚点，继续寻找对应的正样本和负样本；

通过第二个判断条件在特征空间中挖掘正确标记的难正样本，所述第二个判断条件记为：

其中，下标mp表示难正样本，当满足第二个判断条件时，难正样本是噪声样本，继续寻找对应的次难正样本，否则该难正样本是纯样本；

通过第三个判断条件在特征空间中挖掘正确标记的难负样本，所述第三个判断条件记为：

其中，下标mn表示难负样本，当满足第三个判断条件时，难负样本是噪声样本，继续寻找对应的次难负样本，否则该难负样本为纯样本；

通过挖掘策略挖掘难正样本对和难负样本对，所述挖掘策略记为：

其中，条件1表示第一个判断条件，条件2表示第二个判断条件，条件3表示第三个判断条件，

表示网络模型Θ₁的难正样本对的距离，

表示网络模型Θ₁的难负样本对的距离，P表示每一小批量中行人类别的数量，K表示小批量中每个行人身份可选择的训练样本，a表示锚点，i，j表示第i，j个行人身份，且j≠i，f_i,a表示第i个行人锚点特征，f_i,p表示该锚点对应的正样本的特征，f_j,n表示该锚点对应的负样本的特征；

根据挖掘策略得到网络模型Θ₁的噪声鲁棒的三元组损失函数，记为：

其中，margin是超参数；

通过上述步骤同理计算出所述网络模型Θ₂的噪声鲁棒的三元组损失函数，记为：

故两个网络模型总的噪声鲁棒的三元组损失函数，记为：

9.根据权利要求8所述的一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，S9中，具体内容为：根据修正的交叉熵损失函数、对称的相对熵损失函数和总的噪声鲁棒的三元组损失函数，得到两个网络模型的第二阶段总损失函数，根据第二阶段总损失函数联合监督两个网络模型的学习，更新两个网络模型的参数，并得到对噪声标签具有鲁棒性的行人重识别模型；

所述第二阶段总损失函数，记为：

L₂＝L_re+L_tr+L_kl。

10.根据权利要求9所述的一种基于两阶段的噪声鲁棒行人重识别方法，其特征在于，还包括步骤S10：测试行人重识别模型在噪声标签干扰情况下的性能和表现，具体内容为：

从训练集中按照一定比例对行人样本进行随机采样，并为行人样本随机分配错误的标签，所述标签为噪声标签，在测试过程中，在第一阶段，对两个网络模型根据自调整策略损失函数分别进行训练，每个网络模型分别用于评估性能，然后选择其中的最佳结果作为第一阶段的最终性能；在第二阶段，将两个网络模型为一张查询图像提取的所有特征连接起来，以增强最终图像表示的可辨别性，并利用这些特征评估第二阶段的性能。

Images