CN112926403A - 基于层次聚类与困难样本三元组的无监督行人重识别方法 - Google Patents

Abstract

本发明涉及一种基于层次聚类与困难样本三元组的无监督行人重识别方法，包括：1)将行人图像集合划分为训练集和测试集；2)初始化标签；3)将训练集输入CNN模型中，提取行人特征，进行模型训练；4)对行人特征进行层次聚类，分配到簇中；5)根据簇类别进行抽样，得到新的训练集；6)根据困难样本三元组损失函数，对新的训练集进行微调；7)根据训练集的平均轮廓系数，判断返回步骤3)或是判定出最佳CNN模型；9)将测试集载入最佳CNN模型中获取行人重识别结果。与现有技术相比，本发明不但可以解决无标签的数据集行人重识别中个体数目无法确定的问题，同时降低了不同类的高度相似样本被聚到一类的概率，使模型的识别性能得到较大的提高。

Description

基于层次聚类与困难样本三元组的无监督行人重识别方法

技术领域

本发明涉及无监督行人重识别技术领域，尤其是涉及基于层次聚类与困难样本三元组的无监督行人重识别方法。

背景技术

随着城市人口的不断增长，社会公共安全问题越来越受到人们的重视，当前在许多公共场所都覆盖有大规模的网络摄像头，是监控安防的重要保障。为了提升网络摄像头的安防智能水平，行人重识别技术是如今视觉分析领域的研究热点，得到了学术界的广泛重视。行人重识别目的是在非重叠视角域多摄像头网络下进行的行人匹配，即确认不同位置的摄像头在不同的时刻拍摄到的行人目标是否为同一人。

行人重识别问题可以转化为计算样本的相似度或者距离，然后根据所计算的相似度或距离对样本进行排序，进而找到与查询样本属于同一个人的图像。然而，行人重识别的研究面临着诸如图像分辨率低、视角变化、姿态变化、光线变化以及遮挡等带来的诸多挑战。当前行人重识别方法主要通过基于特定场景下大量带标签的视频图像数据训练一个稳定可靠的模型，这类监督学习方法忽略了在实际应用中模型对新场景的适应性，并且需要大量的手工标注数据，而手工标注工作是昂贵的，不适用大规模的真实世界的数据集。因此发展无监督行人重识别技术具有重要应用价值。Fan等人提出采用k-means聚类和CNN模型迭代训练预测无标签行人图像的伪标签并学习判别性特征。对于复杂的行人图像，原始的特征空间具有高度的非线性和不可分性，聚类效果不太理想。Zheng等人提出一种渐进式无监督学习的方法，先在有标签的数据集上初始化CNN模型，然后在行人特征聚类和CNN模型微调之间迭代优先。此方法需要额外利用源数据集中的标签来改善网络性能。目前单纯的无监督行人重识别方法由于没有标签来为模型提供必要的信息导致其准确度低，对行人图像的判别性特征学习困难，相关技术亟需突破。

发明内容

本发明的目的就是为了克服上述现有技术存在无监督行人重识别方法难以从行人图像中提取判别性特征和识别准确率低的缺陷而提供一种基于层次聚类与困难样本三元组的无监督行人重识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于层次聚类与困难样本三元组的无监督行人重识别方法，包括以下步骤：

1)将待处理的行人图像集合划分为训练集和测试集；

2)为所述训练集中的每个图像分配初始化的标签，设置训练阶段号的初始值为1；

3)将所述训练集的所有图像及其标签输入预先建立的CNN模型中，提取行人特征，进行模型训练；

4)对所述提取出的行人特征的特征集合进行从底向上的层次聚类，将相似的图像分配到同一簇中，根据簇分配结果，对图像的标签进行更新；

5)对步骤4)得到的簇类别进行抽样，重组得到新的训练集；

6)根据困难样本三元组损失函数，对步骤5)中重组得到新的训练集进行微调；

7)计算步骤6)得到的所述训练集的平均轮廓系数；

8)将步骤3)至7)作为一个训练阶段，计算当前训练阶段与上一时刻训练阶段中所述平均轮廓系数的差值，若该差值大于预设的差值变化阈值，则采用步骤7)得到的训练集返回步骤3)，并将所述训练阶段号的数值加一；若该差值小于所述差值变化阈值，则以此时的训练集的聚类簇数为横坐标、以平均轮廓系数为纵坐标，绘制评估系数曲线图，并将该评估系数曲线图中曲线拐点对应的聚类簇数作为最佳聚类簇数、将采用该最佳聚类簇数的训练集训练得到的CNN模型作为最佳CNN模型；

9)将所述测试集载入所述最佳CNN模型中提取行人特征，并计算该行人特征与所述训练集对应的行人特征之间的距离，获取所述训练集中距离最小的行人图像对应的标签作为行人重识别结果。

进一步地，所述CNN模型的建立过程包括获取预训练后的ResNet50模型，将该ResNet50模型中最后一层的分类层替换为一个全连接层，该全连接层的输出维度为当前训练阶段中训练集中的簇数目。

进一步地，所述CNN模型的目标函数为log对数损失函数，该log对数损失函数的计算表达式为：

式中，

表示预测图像x_i属于簇

的概率，V_j表示第j个簇的聚类中心，其取值为第j个簇中所有行人特征的均值，

表示第

个簇的聚类中心，C_k表示当前第k阶段的簇数目，C₁＝N，α∈(0,1)为平衡各个类别概率分布的参数，υ表示将特征归一化，按照

计算得到；

进行反向传播时，按照

更新图像x_i所在的簇的聚类中心的特征；用最小化目标函数对CNN模型进行训练，直到收敛为止。

进一步地，步骤4)中，所述层次聚类具体为：

根据单个图像初始化簇，按照两个簇之间的相似度由大到小合并成新的簇，直到簇的数量不在变化为止；

所述两个簇之间的相似度的计算表达式为：

式中，

为C_a簇的样本，

为C_b簇的样本，n_a为C_a的样本个数，n_b为C_b的样本个数，D(·)为欧式距离。

进一步地，步骤5)中，所述抽样具体为：

采用PK抽样法从P个簇类别中随机的抽取K个样本组合成所述新的数据集。

进一步地，步骤6)中，所述困难样本三元组损失函数L_triplet的计算表达式为：

式中，

为锚点，

与

为有相同标签的正样本，

与

为有不同标签的负样本，m为困难样本三元组损失的超参数余量，D(·)表示欧式距离。

进一步地，步骤7)中，所述平均轮廓系数的计算过程包括：计算当前训练阶段所有图像的轮廓系数，将该所有图像的轮廓系数的平均值作为当前训练阶段的平均轮廓系数；

所述轮廓系数的计算表达式为：

式中，s⁽ⁱ⁾为第i幅图像x_i的轮廓系数，其中i＝1,2,......,N，a⁽ⁱ⁾为x_i图像所在簇的内聚度，取值为x_i所在同簇内与其他图像之间的平均距离；b⁽ⁱ⁾为图像x_i与最近簇的分离度，取值为图像x_i与最近簇中所有图像之间的平均距离，所述的最近簇是指簇中所有图像与图像x_i的平均距离最小的那个簇。

进一步地，步骤2)中，所述为训练集中的每个图像分配初始化的标签具体为：

所述初始化的标签为无行人身份信息的标签，设训练集为X＝{x₁,x₂,…,x_N}，x_i表示第i幅图像，其中i＝1,2,......,N，初始标签集合为

表示图像x_i的初始标签。

进一步地，所述差值变化阈值的取值范围为[-200，200]。

进一步地，步骤9)中，所述距离为欧式距离。

与现有技术相比，本发明具有以下优点：

(1)该方法通过引入平均轮廓系数作为评估系数来确定模型的训练终点，不仅能够更直观地展示聚类质量，而且有效地降低了模型迭代周期，缩短了训练的时间，提高了算法的整体运行效率和整体模型的泛化性；采用了特征提取CNN模型、层次聚类、困难样本三元组损失模型的交替更新的方式进行训练，从而有效的解决了无标记数据集行人重识别任务中个体数目无法确定的难题，使模型能够更好的适应不同的无标签数据集，针对不同的数据集，网络都可以学习一个适合该数据集的特征表达，找到该数据集适应的训练终点，有效提高了行人重识别的准确率；

(2)由于采用层次聚类、PK抽样法、困难样本三元组联合训练的方式在无标签的数据集上实现行人重识别任务，能够利用图像的相似性逐步提高模型对无标签数据的行人判别性特征的学习能力，并使模型动态地适应不同规模数据集，显著提高重识别精度。

(3)由于采用log对数损失函数来优化网络模型，能够不利用任何标签实现无监督的行人重识别；

(4)由于引入平均轮廓系数作为评估系数来衡量聚类质量，能够有效降低模型迭代周期，缩短训练的时间，提高整体的算法运行效率；

(5)采用PK抽样法采集到的数据集与使用全部数据集相比，满足了困难三元组样本的微调训练，减少了困难样本的影响，提高模型性能；

(6)用困难样本三元组损失对新得到的数据集进行微调训练，使同类样本之间的距离更近，不同类样本之间的距离更远，从而提高同类样本被聚类在一起的概率。

附图说明

图1为本发明的基于层次聚类与困难样本三元组的无监督行人重识别方法流程图；

图2为本发明实施例中的网络模型结构图；

图3为本发明实施例中的迭代训练流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例提供一种基于层次聚类与困难样本三元组损失的无监督行人重识别方法，如图1所示，包括：

步骤S1：对数据集进行处理及预分配标签：

将待处理图像划分为两部分，一部分为训练集，另一部分为测试集。其中，训练集为学习CNN网络的输入，测试集为CNN网络的性能测试评价。对训练集进行标签开始初始化时，以图像序号为初始标签，设训练集为X＝{x₁,x₂,…,x_N}，x_i表示第i幅图像，其中i＝1,2,......,N，初始标签集合为

表示图像x_i的初始标签。

步骤S2：特征提取：

将分配了初始标签的训练集所有图像输入到选定的CNN模型，对于第i幅图像x_i提取得到行人特征Φ_i(x_i)形成一个特征空间V(Φ₁,Φ₂,Φ₃,...,Φ_N)^T；所选定的CNN模型为ImageNet预训练的ResNet50模型，删除其最后一层分类层，并添加一个全连接层，输出维度为当前阶段训练集中的簇数目。

步骤S3：log对数损失训练网络：

设定模型的目标函数为log对数损失函数，计算公式如下：

其中，

表示预测图像x_i属于簇

的概率计算公式如下：

其中，V_j表示第j个簇的聚类中心，其取值为第j个簇中所有行人特征的均值，

表示第

个簇的聚类中心，C_k表示当前第k阶段的簇数目，C₁＝N，α∈(0,1)为平衡各个类别概率分布的参数，υ表示将特征归一化，按照

计算得到；

对于在进行反向传播时，按照

更新图像x_i所在的簇的聚类中心的特征；用最小化目标函数对CNN模型进行训练，直到收敛为止。

步骤S4：层次聚类：

利用从底向上的层次聚类对得到的特征空间进行聚类，将相似的图像分到同一个簇中，过程如下：

按照下式的算术平均非加权对群法计算聚类之间的相似度，计算得到两个簇之间的相似度D_ab：

其中：

分别为簇C_a，簇C_b的两个样本，n_a，n_b分别为C_a，C_b的样本个数，D(·)为欧式距离，算术平均非加权对群法(D_ab)是两个簇之间所有的成对距离，且每个成对距离的权重相同。按照相似度由大到小合并成簇，直到簇的数量不在变化为止。

用合并后的每个簇中最小的图像标签中的最小数值为这个簇的新标签，重新进行初始化，为后续的网络训练做准备。

步骤S5：PK抽样：

用PK抽样法对利用层次聚类好的类别中抽取P×K个数据组成一个新的数据集，是指在每个类中抽取K个样本，总共有P个类，用这种方法采集到的数据集与使用全部数据集相比，满足了困难三元组样本的微调训练，减少了困难样本的影响，提高模型性能。

步骤S6：困难样本三元组损失：

用困难样本三元组损失对新得到的数据集进行微调训练，使同类样本之间的距离更近，不同类样本之间的距离更远，从而提高同类样本被聚类在一起的概率。

困难样本三元组损失函数计算公式如下：

其中：

为锚点，

与

有相同标签的正样本，

与

有不同标签的负样本，m为困难样本三元组损失的超参数余量，D(·)表示欧式距离。

步骤S7：计算评估系数：

用所求平均轮廓系数作为评价聚类质量的评估系数，按照下式计算得到每幅图像的轮廓系数：

其中，s⁽ⁱ⁾表示第i幅图像x_i的轮廓系数，其中i＝1,2,......,N，a⁽ⁱ⁾为x_i图像所在簇的内聚度，取值为x_i所在同簇内与其他图像之间的平均距离，b⁽ⁱ⁾表示图像x_i与最近簇的分离度，取值为图像x_i与最近簇中所有图像之间的平均距离，所述的最近簇是指簇中所有图像与图像x_i的平均距离最小的那个簇，最后计算当前训练阶段所有图像的轮廓系数的平均值作为当前训练阶段的平均轮廓系数S_k。

步骤S8：迭代训练：

迭代过程如图3所示，用不同的形状符号代表不同类型的样本数据。在本发明中，将步骤S3-S8作为一个训练阶段，按照ds＝S_k-S_k-1计算当前第k个训练阶段与第k-1个训练阶段的差值，1为预设步长，取值范围为[1,3]；设定差值变化阈值ds₀，取值范围为[-200，200]，如果ds≥ds₀，返回步骤S3并重复步骤S3-S8，进入下一阶段网络的训练和层次聚类及提高伪标签质量的过程；如果ds＜ds₀，则停止训练，根据此时得到的阶段聚类结果，以各阶段聚类簇数为横坐标，平均轮廓系数为纵坐标，画出评估系数曲线图，在曲线拐点处对应的聚类簇数为最佳聚类簇数，此时得到的模型为该数据集上最佳CNN模型；所述的训练阶段号k的初始值为1，进入下一阶段时，k值加1。

步骤S9：测试集行人检索：

将测试集图像输入步骤S9所得的最佳CNN模型提取图像的行人特征，通过计算所述测试行人图像的特征与图库中行人图像的特征之间的距离即可得到无监督行人重识别结果，如欧氏距离，测试行人图像与图库中行人图像的特征之间的欧式距离越小，就认为测试行人图像与图库中行人图像之间的相似度越高，从而就可以得到无监督行人重识别结果。

通过上述方法得到的一种基于层次聚类与困难样本三元组损失的无监督行人重识别方法，该方法通过一种层次聚类与困难样本三元组损失方式在无标签的数据集上实现行人重识别任务，利用提高图像伪标签的质量与增加区分相似性程度逐步提高模型对无标签数据的行人判别性特征的学习能力，并使模型可以动态的适应不同的数据集，显著提高模型重识别精度。该方法通过引入平均轮廓系数作为评估系数来确定模型的训练终点，不仅能够更直观地展示聚类质量，而且有效地降低了模型迭代周期，缩短了训练的时间，提高了算法的整体运行效率和整体模型的泛化性。因采用了特征提取CNN模型、层次聚类、困难样本三元组损失模型的交替更新的方式进行训练，从而有效的解决了无标记数据集行人重识别任务中个体数目无法确定的难题，使模型能够更好的适应不同的无标签数据集，针对不同的数据集，网络都可以学习一个适合该数据集的特征表达，有效提高了行人重识别的准确率。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，包括以下步骤：

1)将待处理的行人图像集合划分为训练集和测试集；

2)为所述训练集中的每个图像分配初始化的标签，设置训练阶段号的初始值为1；

3)将所述训练集的所有图像及其标签输入预先建立的CNN模型中，提取行人特征，进行模型训练；

4)对所述提取出的行人特征的特征集合进行从底向上的层次聚类，将相似的图像分配到同一簇中，根据簇分配结果，对图像的标签进行更新；

5)对步骤4)得到的簇类别进行抽样，重组得到新的训练集；

6)根据困难样本三元组损失函数，对步骤5)中重组得到新的训练集进行微调；

7)计算步骤6)得到的所述训练集的平均轮廓系数；

8)将步骤3)至7)作为一个训练阶段，计算当前训练阶段与上一时刻训练阶段中所述平均轮廓系数的差值，若该差值大于预设的差值变化阈值，则采用步骤7)得到的训练集返回步骤3)，并将所述训练阶段号的数值加一；若该差值小于所述差值变化阈值，则以此时的训练集的聚类簇数为横坐标、以平均轮廓系数为纵坐标，绘制评估系数曲线图，并将该评估系数曲线图中曲线拐点对应的聚类簇数作为最佳聚类簇数、将采用该最佳聚类簇数的训练集训练得到的CNN模型作为最佳CNN模型；

9)将所述测试集载入所述最佳CNN模型中提取行人特征，并计算该行人特征与所述训练集对应的行人特征之间的距离，获取所述训练集中距离最小的行人图像对应的标签作为行人重识别结果。

2.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，所述CNN模型的建立过程包括获取预训练后的ResNet50模型，将该ResNet50模型中最后一层的分类层替换为一个全连接层，该全连接层的输出维度为当前训练阶段中训练集中的簇数目。

3.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，所述CNN模型的目标函数为log对数损失函数，该log对数损失函数的计算表达式为：

式中，

表示预测图像x_i属于簇

的概率，V_j表示第j个簇的聚类中心，其取值为第j个簇中所有行人特征的均值，

表示第

个簇的聚类中心，C_k表示当前第k阶段的簇数目，C₁＝N，α∈(0,1)为平衡各个类别概率分布的参数，υ表示将特征归一化，按照

计算得到；

进行反向传播时，按照

更新图像x_i所在的簇的聚类中心的特征；用最小化目标函数对CNN模型进行训练，直到收敛为止。

4.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，步骤4)中，所述层次聚类具体为：

根据单个图像初始化簇，按照两个簇之间的相似度由大到小合并成新的簇，直到簇的数量不在变化为止；

所述两个簇之间的相似度的计算表达式为：

式中，

为C_a簇的样本，

为C_b簇的样本，n_a为C_a的样本个数，n_b为C_b的样本个数，D(·)为欧式距离。

5.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，步骤5)中，所述抽样具体为：

采用PK抽样法从P个簇类别中随机的抽取K个样本组合成所述新的数据集。

6.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，步骤6)中，所述困难样本三元组损失函数L_triplet的计算表达式为：

式中，

为锚点，

与

为有相同标签的正样本，

与

为有不同标签的负样本，m为困难样本三元组损失的超参数余量，D(·)表示欧式距离。

7.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，步骤7)中，所述平均轮廓系数的计算过程包括：计算当前训练阶段所有图像的轮廓系数，将该所有图像的轮廓系数的平均值作为当前训练阶段的平均轮廓系数；

所述轮廓系数的计算表达式为：

式中，s⁽ⁱ⁾为第i幅图像x_i的轮廓系数，其中i＝1,2,......,N，a⁽ⁱ⁾为x_i图像所在簇的内聚度，取值为x_i所在同簇内与其他图像之间的平均距离；b⁽ⁱ⁾为图像x_i与最近簇的分离度，取值为图像x_i与最近簇中所有图像之间的平均距离，所述的最近簇是指簇中所有图像与图像x_i的平均距离最小的那个簇。

8.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，步骤2)中，所述为训练集中的每个图像分配初始化的标签具体为：

所述初始化的标签为无行人身份信息的标签，设训练集为X＝{x₁,x₂,…,x_N}，x_i表示第i幅图像，其中i＝1,2,......,N，初始标签集合为

表示图像x_i的初始标签。

9.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，所述差值变化阈值的取值范围为[-200，200]。

10.根据权利要求1所述的一种基于层次聚类与困难样本三元组的无监督行人重识别方法，其特征在于，步骤9)中，所述距离为欧式距离。

Images