CN111639561A - 基于类别自适应聚类的无监督行人重识别方法 - Google Patents

Abstract

本发明提供了一种基于类别自适应聚类的无监督行人重识别方法。首先，为无标签数据集预分配初始化标签，利用CNN模型提取行人图像的高维特征；然后，对特征集合进行阶段性类别自适应聚类，更新图像标签并计算该阶段聚类结果的平均轮廓系数，并交替更新特征提取CNN模型和类别自适应聚类模型，直至平均轮廓系数出现拐点；最后，利用训练得到的拐点处CNN模型提取测试行人图像特征，通过计算特征距离得到无监督行人重识别结果。本发明可以解决无标记数据集行人重识别任务中个体数目无法确定的问题，能够动态地适应不同规模数据集，具有较高的算法效率和精度。

Description

基于类别自适应聚类的无监督行人重识别方法

技术领域

本发明属计算机视觉、行人重识别技术领域，具体涉及一种基于类别自适应聚类的无监督行人重识别方法。

背景技术

随着城市人口的不断增长，社会公共安全问题越来越受到人们的重视，当前在许多公共场所都覆盖有大规模的网络摄像头，是监控安防的重要保障。为了提升网络摄像头的安防智能水平，行人重识别技术是如今视觉分析领域的研究热点，得到了学术界的广泛重视。行人重识别旨在非重叠视角域多摄像头网络下进行的行人匹配，即确认不同位置的摄像头在不同的时刻拍摄到的行人目标是否为同一人。

行人重识别问题可以转化为计算样本的相似度(或者距离)，然后根据相似度(或者距离)对样本进行排序，进而找到与查询样本属于同一个人的图像。然而，行人重识别的研究面临着诸如图像分辨率低、视角变化、姿态变化、光线变化以及遮挡等带来的诸多挑战。当前行人重识别方法主要通过基于特定场景下大量带标签的视频图像数据训练一个稳定可靠的模型，这类监督学习方法忽略了在实际应用中模型对新场景的适应性，并且需要大量的手工标注数据，而手工标注工作是昂贵的，不适用于大规模的真实世界的数据集。因此发展无监督行人重识别技术具有重要应用价值。Fan等人提出采用k-means聚类和CNN模型迭代训练预测无标签行人图像的伪标签并学习判别性特征。对于复杂的行人图像，原始的特征空间具有高度的非线性和不可分性，聚类效果不太理想。Zheng等人提出一种渐进式无监督学习的方法，先在有标签的数据集上初始化CNN模型，然后在行人特征聚类和CNN模型微调之间迭代优化。此方法需要额外利用源数据集中的标签来改善网络性能。目前单纯的无监督行人重识别方法由于没有标签来为模型提供必要的信息导致其准确度低，对行人图像的判别性特征学习困难，相关技术亟需突破。

发明内容

为了克服现有技术的不足，本发明提供一种基于类别自适应聚类的无监督行人重识别方法，旨在解决现有无监督行人重识别方法难以从行人图像中提取判别性特征和识别准确率低的问题。

一种基于类别自适应聚类的无监督行人重识别方法，其特征在于步骤如下：

步骤1：将待处理行人图像集合划分为训练集和测试集；

步骤2：为训练集中所有图像预分配初始标签；

步骤3：将训练集中所有图像输入CNN模型，提取得到数据集的行人特征；

步骤4：将log对数损失作为目标优化函数训练CNN模型至模型收敛；

步骤5：对步骤2得到的特征空间中的特征集合进行类别自适应聚类，将相似的图像分到同一簇中，重新分配图像的标签；

步骤6：计算本阶段类别自适应聚类的平均轮廓系数；

步骤7：将执行一次步骤3-6的计算记为一个阶段，按照ds＝S_k-S_k-l计算当前第k个训练阶段与第k-l个训练阶段的差值，l为预设步长，取值范围为[1,3]；设定差值变化阈值ds₀，取值范围为[-100,100]，如果ds≥ds₀，返回步骤3并重复步骤3-6，进入下一阶段训练网络和类别自适应聚类过程；如果ds＜ds₀，则停止训练，根据此时得到的阶段聚类结果，以各阶段聚类簇数为横坐标，平均轮廓系数为纵坐标，画出评估系数曲线图，曲线图拐点处所对应的聚类簇数即为最佳聚类簇数，此时得到的模型为该数据集上最佳CNN模型；所述的训练阶段序号k的初始值为1，进入下一阶段时，k值加1；

步骤8：将测试集图像输入步骤7所得的最佳CNN模型提取图像的行人特征，通过计算所述测试行人图像的特征与图库中行人图像的特征之间的距离即可得到无监督行人重识别结果。

进一步地，步骤2的具体过程如下：为训练集中的每一幅图像预分配一个无行人身份信息的初始标签，设训练集为X＝{x₁,x₂,…,x_N}，x_i表示第i幅图像，初始标签集合为

表示图像x_i的初始标签，i＝1，2，......N。

进一步地，步骤3的具体过程如下：将分配了初始标签的训练集所有图像输入到选定的CNN模型，对于第i幅图像x_i提取得到行人特征φ_i(x_i)，形成一个特征空间V(φ₁，φ₂，φ₃，…，φ_N)^T；所述的选定的CNN模型为ImageNet预训练的ResNet50模型，删除其最后一层分类层，并增加一个全连接层，输出维度为当前阶段训练集中的簇数目。

进一步地，步骤4的具体过程如下：

设定模型的目标函数为log对数损失函数，计算公式如下：

其中，

表示预测图像x_i属于簇

的概率，计算公式如下：

其中，V_j表示第j个簇的聚类中心，其取值为第j个簇中所有行人特征的均值，

表示第

个簇的聚类中心，C_k表示当前第k阶段的簇数目，C₁＝N，α∈(0,1)为平衡各个类别概率分布的参数，υ表示将特征归一化，按照

计算得到；

在反向传播时，按照

更新图像x_i所属的簇的聚类中心特征；

通过最小化目标函数对CNN模型进行训练，直至收敛。

进一步地，步骤5的具体过程如下：

按照下式计算得到两个簇之间的相似度D：

D(A,B)＝D_distance(A,B)+λD_diversity(A,B) (3)

其中，D(A,B)表示簇A和簇B之间的相似度，D_distance(A,B)表示簇A和簇B之间的距离，按照

计算得到，d(x_a,x_b)表示图像x_a和图像x_b的行人特征之间的欧式距离，按照d(x_a,x_b)＝||υ_a-υ_b||计算得到；D_diversity(A,B)表示簇A和簇B所包含的图像数量之和；λ∈(0,1)为平衡簇间距离和簇内图像数量的参数；

按照相似度由大到小合并簇，直到簇的数量为C_k-m_k，m_k表示当前第k训练阶段需要聚类的图像数量，由

计算得到，τ为预设最小步长值；

以合并后簇中图像标签中数值最小的标签为合并后簇中所有图像的新标签。

进一步地，步骤6的具体过程如下：

首先，按照下式计算得到每幅图像的轮廓系数：

其中，s⁽ⁱ⁾表示第i幅图像x_i的轮廓系数，a⁽ⁱ⁾表示图像x_i所在簇的内聚度，取值为图像x_i与同簇内的其他图像之间的平均距离，b⁽ⁱ⁾表示图像x_i与最近簇的分离度，取值为图像x_i与最近簇中所有图像之间的平均距离，所述的最近簇是指簇中所有图像与图像x_i的平均距离最小的那个簇，i＝1，2，......N；

然后，计算当前训练阶段所有图像的轮廓系数的平均值作为当前训练阶段的平均轮廓系数S_k。

本发明的有益效果是：

(1)由于采用类别自适应逐阶段聚类方式在无标签的数据集上实现行人重识别任务，能够利用图像的相似性逐步提高模型对无标签数据的行人判别性特征的学习能力，并使模型动态地适应不同规模数据集，显著提高重识别精度；

(2)由于采用log对数损失函数来优化网络模型，能够不利用任何标签实现无监督的行人重识别；

(3)由于引入平均轮廓系数作为评估系数来衡量聚类质量，能够有效降低模型迭代周期，缩短训练时间，提高算法整体运行效率；

(4)由于采用对特征提取CNN模型和自适应聚类模型交替更新的方式进行训练，可以有效解决无标记数据集行人重识别任务中个体数目无法确定的难题，使得模型更好地适应不同的无标签数据集，针对不同的数据集，网络都可以学习一个适合该数据集的特征表达，找到该数据集适应的训练终点，有效提高了行人重识别的准确率。

附图说明

图1是本发明的基于类别自适应聚类的无监督行人重识别方法流程图；

图2是本发明的网络模型结构图；

图3是本发明的迭代训练流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种基于类别自适应聚类的无监督行人重识别方法，其具体实现过程如下：

1、数据集处理及预分配标签

将待处理图像集划分为训练集和测试集。其中，训练集是学习CNN网络参数的输入，测试集用于最终CNN网络性能的测试评价。

以图像序号为初始标签，为训练集中每张图像预分配一个无行人身份信息的初始标签，设训练集为X＝{x₁,x₂,…,x_N}，x_i表示第i幅图像，初始标签集合为

表示图像x_i的初始标签，i＝1，2，......N。

2、特征提取

将分配了初始标签的训练集中所有图像输入到选定的CNN模型，如图2所示。对于第i幅图像x_i提取得到行人特征φ_i(x_i)，形成一个特征空间V(φ₁，φ₂，φ₃，...，φ_N)^T；所述的选定的CNN模型为ImageNet预训练的ResNet50模型，删除其最后一层分类层，并增加一个全连接层，输出维度为当前阶段训练集中的簇数目。

3、log对数损失训练网络

设定模型的目标函数为log对数损失函数，计算公式如下：

其中，

表示预测图像x_i属于簇

的概率，计算公式如下：

其中，V_j表示第j个簇的聚类中心，其取值为第j个簇中所有行人特征的均值，

表示第

个簇的聚类中心，C_k表示当前第k阶段的簇数目，C₁＝N，α∈(0,1)为平衡各个类别概率分布的参数，υ表示将特征归一化，按照

计算得到；

在反向传播时，按照

更新图像x_i所属的簇的聚类中心特征；

通过最小化目标函数对CNN模型进行训练，直至收敛。

4、类别自适应聚类

对步骤2中的得到的特征空间中的特征集合使用类别自适应聚类，将相似的图像分到同一个簇中，过程如下：

按照下式计算得到两个簇之间的相似度D：

D(A,B)＝D_distance(A,B)+λD_diversity(A,B) (7)

其中，D(A,B)表示簇A和簇B之间的相似度，D_distance(A,B)表示簇A和簇B之间的距离，按照

计算得到，d(x_a,x_b)表示图像x_a和图像x_b的行人特征之间的欧式距离，按照d(x_a,x_b)＝||υ_a-υ_b||计算得到；D_diversity(A,B)表示簇A和簇B所包含的图像数量之和；λ∈(0,1)为平衡簇间距离和簇内图像数量的参数；

按照相似度由大到小合并簇，直到簇的数量为C_k-m_k，m_k表示当前第k训练阶段需要聚类的图像数量，由

计算得到，τ为预设最小步长值，本发明取τ＝630；

以合并后簇中图像标签中数值最小的标签为合并后簇中所有图像的新标签。

5、计算评估系数

将平均轮廓系数作为评价聚类质量的评估系数，按照下式计算得到每幅图像的轮廓系数：

其中，s(i)表示第i幅图像x_i的轮廓系数，a⁽ⁱ⁾表示图像x_i所在簇的内聚度，取值为图像x_i与同簇内的其他图像之间的平均距离，b⁽ⁱ⁾表示图像x_i与最近簇的分离度，取值为图像x_i与最近簇中所有图像之间的平均距离，所述的最近簇是指簇中所有图像与图像x_i的平均距离最小的那个簇，i＝1，2，......N；

然后，计算当前训练阶段所有图像的轮廓系数的平均值作为当前训练阶段的平均轮廓系数S_k。

6、迭代训练

迭代训练过程如图3所示，其中以不同形状的符号(五角星、三角形、圆圈)表示不同类型数据。在本发明中，将执行一次步骤3-6的计算记为一个阶段，按照ds＝S_k-S_k-l计算当前第k个训练阶段与第k-l个训练阶段的差值，l为预设步长，取值范围为[1,3]；设定差值变化阈值ds₀，取值范围为[-100,100]，如果ds≥ds₀，返回步骤3并重复步骤3-6，进入下一阶段训练网络和类别自适应聚类过程；如果ds＜ds₀，则停止训练，根据此时得到的阶段聚类结果，以各阶段聚类簇数为横坐标，平均轮廓系数为纵坐标，画出评估系数曲线图，曲线的拐点处所对应的聚类簇数即为最佳聚类簇数，此时得到的模型为该数据集上最佳CNN模型；所述的训练阶段序号k的初始值为1，进入下一阶段时，k值加1。

7、测试集行人检索

将测试集图像输入步骤6所得的最佳CNN模型提取图像的行人特征，通过计算所述测试行人图像的特征与图库中行人图像的特征之间的距离即可得到无监督行人重识别结果，比如欧式距离，测试行人图像与图库中行人图像的特征之间的欧氏距离越小，就说明测试行人图像与图库中行人图像之间的相似度越高，进而就可以得到无监督行人重识别结果。

综上所述，本发明公开了一种基于类别自适应聚类的无监督行人重识别方法，该方法通过一种类别自适应的聚类方式在无标签的数据集上实现行人重识别任务，利用图像的相似性逐步提高模型对无标签数据的行人判别性特征的学习能力，并使模型动态地适应不同规模数据集，显著提高重识别精度。该方法通过引入平均轮廓系数作为评估系数来确定模型训练终点，不仅能够更直观地展示聚类质量，而且有效地降低了模型迭代周期，缩短了训练时间，提高算法整体运行效率。由于采用对特征提取CNN模型和自适应聚类模型交替更新的方式进行训练，可以有效解决无标记数据集行人重识别任务中个体数目无法确定的难题，使得模型更好地适应不同的无标签数据集，针对不同的数据集，网络都可以学习一个适合该数据集的特征表达，有效提高了行人重识别的准确率。

Claims (6)

1.一种基于类别自适应聚类的无监督行人重识别方法，其特征在于步骤如下：

步骤1：将待处理行人图像集合划分为训练集和测试集；

步骤2：为训练集中所有图像预分配初始标签；

步骤3：将训练集中所有图像输入CNN模型，提取得到数据集的行人特征；

步骤4：将log对数损失作为目标优化函数训练CNN模型至模型收敛；

步骤5：对步骤2得到的特征空间中的特征集合进行类别自适应聚类，将相似的图像分到同一簇中，重新分配图像的标签；

步骤6：计算本阶段类别自适应聚类的平均轮廓系数；

步骤7：将执行一次步骤3-6的计算记为一个阶段，按照ds＝S_k-S_k-l计算当前第k个训练阶段与第k-l个训练阶段的差值，l为预设步长，取值范围为[1,3]；设定差值变化阈值ds₀，取值范围为[-100,100]，如果ds≥ds₀，返回步骤3并重复步骤3-6，进入下一阶段训练网络和类别自适应聚类过程；如果ds＜ds₀，则停止训练，根据此时得到的阶段聚类结果，以各阶段聚类簇数为横坐标，平均轮廓系数为纵坐标，画出评估系数曲线图，曲线图拐点处所对应的聚类簇数即为最佳聚类簇数，此时得到的模型为该数据集上最佳CNN模型；所述的训练阶段序号k的初始值为1，进入下一阶段时，k值加1；

步骤8：将测试集图像输入步骤7所得的最佳CNN模型提取图像的行人特征，通过计算所述测试行人图像的特征与图库中行人图像的特征之间的距离即可得到无监督行人重识别结果。

2.如权利要求1所述的一种基于类别自适应聚类的无监督行人重识别方法，其特征在于步骤2的具体过程如下：为训练集中的每一幅图像预分配一个无行人身份信息的初始标签，设训练集为X＝{x₁,x₂,…,x_N}，x_i表示第i幅图像，初始标签集合为

表示图像x_i的初始标签，i＝1，2，......N。

3.如权利要求1所述的一种基于类别自适应聚类的无监督行人重识别方法，其特征在于步骤3的具体过程如下：将分配了初始标签的训练集所有图像输入到选定的CNN模型，对于第i幅图像x_i提取得到行人特征φ_i(x_i)，形成一个特征空间V(φ₁，φ₂，φ₃，...，φ_N)^T；所述的选定的CNN模型为ImageNet预训练的ResNet50模型，删除其最后一层分类层，并增加一个全连接层，输出维度为当前阶段训练集中的簇数目。

4.如权利要求1所述的一种基于类别自适应聚类的无监督行人重识别方法，其特征在于步骤4的具体过程如下：

设定模型的目标函数为log对数损失函数，计算公式如下：

其中，

表示预测图像x_i属于簇

的概率，计算公式如下：

其中，V_j表示第j个簇的聚类中心，其取值为第j个簇中所有行人特征的均值，

表示第

个簇的聚类中心，C_k表示当前第k阶段的簇数目，C₁＝N，α∈(0,1)为平衡各个类别概率分布的参数，υ表示将特征归一化，按照

计算得到；

在反向传播时，按照

更新图像x_i所属的簇的聚类中心特征；

通过最小化目标函数对CNN模型进行训练，直至收敛。

5.如权利要求1所述的一种基于类别自适应聚类的无监督行人重识别方法，其特征在于步骤5的具体过程如下：

按照下式计算得到两个簇之间的相似度D：

D(A,B)＝D_distance(A,B)+λD_diversity(A,B) (3)

其中，D(A,B)表示簇A和簇B之间的相似度，D_distance(A,B)表示簇A和簇B之间的距离，按照

计算得到，d(x_a,x_b)表示图像x_a和图像x_b的行人特征之间的欧式距离，按照d(x_a,x_b)＝||υ_a-υ_b||计算得到；D_diversity(A,B)表示簇A和簇B所包含的图像数量之和；λ∈(0,1)为平衡簇间距离和簇内图像数量的参数；

按照相似度由大到小合并簇，直到簇的数量为C_k-m_k，m_k表示当前第k训练阶段需要聚类的图像数量，由

计算得到，τ为预设最小步长值；

以合并后簇中图像标签中数值最小的标签为合并后簇中所有图像的新标签。

6.如权利要求1所述的一种基于类别自适应聚类的无监督行人重识别方法，其特征在于步骤6的具体过程如下：

首先，按照下式计算得到每幅图像的轮廓系数：

其中，s⁽ⁱ⁾表示第i幅图像x_i的轮廓系数，a⁽ⁱ⁾表示图像x_i所在簇的内聚度，取值为图像x_i与同簇内的其他图像之间的平均距离，b⁽ⁱ⁾表示图像x_i与最近簇的分离度，取值为图像x_i与最近簇中所有图像之间的平均距离，所述的最近簇是指簇中所有图像与图像x_i的平均距离最小的那个簇，i＝1，2，......N；

然后，计算当前训练阶段所有图像的轮廓系数的平均值作为当前训练阶段的平均轮廓系数S_k。

Images