CN113255573B - 基于混合簇中心标签学习的行人重识别方法和存储介质 - Google Patents

Abstract

本发明公开了基于混合簇中心标签学习的行人重识别方法和存储介质，首先使用有标签数据初始化网络模型参数，并计算出初始的簇中心标签，然后利用网络模型提取无标签数据的特征信息；再计算无标签数据的特征信息与簇中心之间的距离并筛选出预设比例的伪标签数据，且剩余数据为模糊标签数据，并生成簇中心标签作为指导标签，更新存储器中的簇中心标签；把伪标签数据和模糊标签数据按照多次少量的方式加入到训练样本中，重新训练深度神经网络模型。本发明利用聚类的方法将无标签的数据分为伪标签数据和模糊标签数据，并计算出簇中心，然后使用多种类别的簇中心进行模型分类优化，充分利用到多方面的信息，有效提高行人重识别方法的精度。

Description

基于混合簇中心标签学习的行人重识别方法和存储介质

技术领域

本发明属于行人重识别的技术领域，具体涉及一种基于混合簇中心标签学习的行人重识别方法和存储介质。

背景技术

行人重识别（Re-ID）是一种图像检索技术，检索图像或视频中是否存在特定的行人。基于域自适应的行人重识别是通过有标签的源域数据和无标签的目标域数据进行训练，从而在目标域上检测特定的行人。基于无监督域自适应的行人重识别与基于域自适应的行人重识别的方法类似，区别在于源域数据没有标签。

现有的基于UDA的Re-ID的训练方法通常有以下两阶段：（1）利用有标签的源域数据进行有监督的预训练；（2）在预训练的基础上，利用无标签的目标域数据及其聚类产生的伪标签进行微调，使预训练网络可以适应于在目标域数据，并通过伪标签来捕捉样本间的关系。

目前，UDA的Re-ID任务可以使用伪标签类和域自适应类方法，由于伪标签类可以获得更好的性能，并且基于聚类的伪标签方法较为有效，所以本发明采用基于聚类的伪标签算法来检测行人。尽管基于伪标签的Re-ID方法已经取得了极大的成功，但是由于域差异和令人不满意的聚类性能，并且没有充分挖掘所有有价值的信息。基于伪标签的方法存在以下三个缺陷：

（1）由于源域图像只用于预训练，在目标域微调过程中忽略了标记的源域图像。源域图像具有真实准确的标签，应当被充分的利用；

（2）由于聚类过程中会产生模糊类别的离群点，这些离群点无法分配伪标签，在训练过程中丢弃了这些离群点，从漏掉了其余有价值的图像信息；

（3）每种类别的样本数量不同，在训练过程中会出现更新比例不一致的问题，影响识别性能，具有泛化性差的问题。

因此，迫切需要构建一种利用混合簇中心标签学习的行人重识别的方案，利用离群点的信息，以充分挖掘所有有价值的信息，从而提高模型的准确性。

发明内容

本发明的目的在于提供一种基于混合簇中心标签学习的行人重识别方法和存储介质，旨在解决上述问题。

本发明利用聚类的方法将无标签的数据分为伪标签数据和模糊标签数据，并计算出簇中心，然后使用多种类别的簇中心进行模型分类优化，充分利用到多方面的信息，增强模型特征学习过程，有效提高行人重识别方法的精度。

本发明主要通过以下技术方案实现：

一种基于混合簇中心标签学习的行人重识别方法，包括以下步骤：

步骤S100：收集行人重识别训练数据集，并将训练数据集分为有标签数据样本和无标签数据样本；

步骤S200：首先使用有标签数据初始化深度神经网络模型参数，并计算出初始的簇中心标签存入存储器中，然后利用深度神经网络模型提取无标签数据的特征信息；

步骤S300：再利用多种簇中心标签生成模块计算无标签数据的特征信息与簇中心之间的距离并筛选出预设比例的伪标签数据，且剩余数据为模糊标签数据，并为伪标签数据和模糊标签数据生成簇中心标签作为指导标签，更新存储器中的簇中心标签；

步骤S400：最后把伪标签数据和模糊标签数据按照多次少量的方式加入到训练样本中，重新训练深度神经网络模型；

步骤S500：重复步骤S200-步骤S400，直到训练迭代次数达到最大迭代次数时停止训练，得到最优的行人重识别模型模型；

步骤S600：将待测图像输入到步骤S500中的行人重识别模型并输出测试结果。

所述簇中心标签是指簇中心的特征信息，所述模糊标签数据是指那些离簇中心较远或未被采用的比例之外的无标签数据。

为了更好地实现本发明，进一步地，所述步骤S400中，采用多次少量的迭代方式添加无标签数据，将无标签数据多次少量的部分加入到深度神经网络模型中进行训练，每一次迭代添加的无标签数据比上一次迭代添加的无标签数据少。

为了更好地实现本发明，进一步地，添加的无标签数据最初的10个epoch按10%的速度增加，后续的迭代中按1%增加。一个epoch为模型学习过程中完成所有训练样本一次训练的过程，此处为本领域的常规表达，故不再赘述。

为了更好地实现本发明，进一步地，所述深度神经网络模型的前端设置有分块层，用于将行人图像分为三等分；所述深度神经网络模型包括从前至后依次设置的卷积层、批标准化层、激活函数层、残差模块、神经元失活层、全连接层。

为了更好地实现本发明，进一步地，所述深度神经网络模型采用64层结构的残差深度神经网络模型。

为了更好地实现本发明，进一步地，所述多种簇中心标签生成模块采用K-means算法进行簇中心聚类，且每种类别只有一个有标签数据，更好的对无标签数据进行聚类。

为了更好地实现本发明，进一步地，所述步骤S500中利用损失函数对多类簇中心进行分类差值计算，并使用优化器对损失值进行衰减，达到优化全局参数的目的。

为了更好地实现本发明，进一步地，所述损失函数采用混合簇对比学习损失函数，用于计算每种训练样本特征信息与簇中心标签之间的损失值，所述损失函数的计算公式如下：

其中，a为样本特征的索引值，

i、j为簇中心标签的索引值，

k为簇中心标签总数，且k=i+j，

N为样本的批处理大小，

t为样本特征信息，

μ为簇中心标签，

τ为调节因子，用于调整样本与簇中心的紧凑性。

上述公式计算的是所有样本特征信息与索引i的簇中心标签之间的距离占所有样本特征信息与所有簇中心标签之间距离的占比。

本发明利用K-means聚类方法对无标签数据进行聚类，按簇计算出簇中心。例如，将簇中心距离近的前300个样本的标签设为伪标签，其余离簇中心较远或未被采用的无标签数据的标签设为模糊标签，并给这些模糊标签数据计算出簇中心。处理后得到伪标签簇中心和模糊标签簇中心，所述簇中心标签是伪标签簇中心和模糊标签簇中心的集合，更新存储器中保存的簇中心标签。伪标签数据和模糊标签数据共同组成了完整的无标签数据，再结合多种簇中心标签的优化方案，能挖掘出更多有价值，并且能同步每种样本对模型优化步骤的更新程度，更优于网络模型的性能。

在本发明方法中提到的离群点，也是异常值，出现离群样本点可能是聚类结果不好或特征信息表达不准确造成，这也说明了这些离群样本点对于模型方法属于较难判断的样本点。如果模型训练过程中对离群点进行抛弃，模型会一直在容易判断的伪标签上学习，受到聚类结果和特征信息表达误差的影响较大，这样学习到的模型泛化性差，性能准确度不够。将离群点加入到模型学习中思路与难例挖掘方法类似，因这些离群点是模型学习中较难判断的样本，通过添加模型对这些离群点的学习，可以加强模型对离群点和伪标签的表达能力，进一步减弱聚类结果误差对整体算法的影响，从而提高了模型的准确性和泛化性。

从损失函数公式上可以看出，损失函数计算的是样本特征信息与簇中心标签之间的距离误差，通过优化器（如SGD、Adam）可以优化样本点与簇中心之间距离，达到放大类间距离，缩小类内距离的目的，从而使簇更加紧凑，聚类结果更优，模型识别精度更高。

一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的行人重识别方法。

本发明的有益效果如下：

（1）本发明通过计算样本特征信息与簇中心标签之间的差异损失，解决了聚类算法不准确降低模型性能的问题，通过优化该损失值，使决策边界更加明显，从而增强簇内样本点的紧凑性；

（2）本发明利用聚类的方法将无标签的数据分为伪标签数据和模糊标签数据，并计算出簇中心，然后使用多种类别的簇中心进行模型分类优化，充分利用到多方面的信息，增强模型特征学习过程，有效提高行人重识别方法的精度。

附图说明

图1为深度神经网络模型的结构示意图，

图2为本发明的原理框图；

图3为本发明的流程图。

具体实施方式

实施例1：

一种基于混合簇中心标签学习的行人重识别方法，如图2、图3所示，包括以下步骤：

步骤S100：收集行人重识别训练数据集，并将训练数据集分为有标签数据样本和无标签数据样本；

步骤S200：首先使用有标签数据初始化深度神经网络模型参数，并计算出初始的簇中心标签存入存储器中，然后利用深度神经网络模型提取无标签数据的特征信息；

步骤S300：再利用多种簇中心标签生成模块计算无标签数据的特征信息与簇中心之间的距离并筛选出预设比例的伪标签数据，且剩余数据为模糊标签数据，并为伪标签数据和模糊标签数据生成簇中心标签作为指导标签，更新存储器中的簇中心标签；

步骤S400：最后把伪标签数据和模糊标签数据按照多次少量的方式加入到训练样本中，重新训练深度神经网络模型；

步骤S500：重复步骤S200-步骤S400，直到训练迭代次数达到最大迭代次数时停止训练，得到最优的行人重识别模型模型；

步骤S600：将待测图像输入到步骤S500中的行人重识别模型并输出测试结果。

进一步地，所述多种簇中心标签生成模块采用K-means算法进行簇中心聚类，且每种类别只有一个有标签数据，更好的对无标签数据进行聚类。

进一步地，所述步骤S500中利用损失函数对多类簇中心进行分类差值计算，并使用优化器对损失值进行衰减，达到优化全局参数的目的。

进一步地，所述损失函数采用混合簇对比学习损失函数，用于计算每种训练样本特征信息与簇中心标签之间的损失值。

本发明将异常值的样本点聚类成模糊标签数据，与伪标签数据混合训练深度神经网络模型，以充分挖掘所有有价值的信息，并且为了同步各类样本对模型训练的贡献程度，利用簇中心作为指导标签，保持特征更新比例一致，从而大大提高行人重识别方法的性能和准确性。

实施例2：

本实施例是在实施例1的基础上进行优化，所述步骤S400中，采用多次少量的迭代方式添加无标签数据，将无标签数据多次少量的部分加入到深度神经网络模型中进行训练，每一次迭代添加的无标签数据比上一次迭代添加的无标签数据少。

进一步地，添加的无标签数据最初的10个epoch按10%的速度增加，后续的迭代中按1%增加。

所述的多次少量的迭代方式是因为训练数据中无标签数据数量的增长速度会影响整体网络模型的识别精度，从而才引入到模型训练过程中，具体操作是将无标签数据少部分慢慢加入到网络模型中进行训练的，每一次迭代添加的无标签数据会比上一次添加的数据要少，总体增加训练样本的容量，从而增强模型的性能，添加的无标签数据最初的10个epoch按10%的速度增加，后续的迭代中按1%增加。

本实施例的其他部分与实施例1相同，故不再赘述。

实施例3：

本实施例是在实施例1或2的基础上进行优化，如图1所示，所述深度神经网络模型的前端设置有分块层，用于将行人图像分为三等分；所述深度神经网络模型包括从前至后依次设置的卷积层、批标准化层、激活函数层、残差模块、神经元失活层、全连接层。

进一步地，所述深度神经网络模型采用64层结构的残差深度神经网络模型。

所述的深度卷积神经网络前端搭建了一个分块层，用于将行人图像分为三等分，益于后续提取每个部件的特征信息，主干部分采用64层结构的残差网络模型，结构是从前至后将卷积层、批标准化层、激活函数层、残差模块、神经元失活层、全连接层按照设计结构依次堆叠。

本实施例的其他部分与上述实施例1或2相同，故不再赘述。

实施例4：

一种基于混合簇中心标签学习的行人重识别方法，如图2、图3所示，包括以下步骤：

首先需将训练集分成有标签数据和无标签数据，使用有标签数据初始化训练深度神经网络模型相关参数，并计算出初始的簇中心标签存入存储器中，然后使用深度神经网络模型提取无标签数据的特征信息。再利用多种簇中心标签生成模块聚类生成伪标签数据和模糊标签数据，以及簇中心标签，并且更新存储器中的簇中心标签，最后把伪标签数据和模糊标签数据按照多次少量的方式加入到训练样本中，重新训练深度神经网络模型，重复上述步骤，直至完成最大迭代次数，得到最优的模型。

进一步地，如图1所示，深度卷积神经网络前端搭建了一个分块层，用于将行人图像分为三等分，益于后续提取每个部件的特征信息，主干部分采用64层结构的残差深度神经网络模型，结构是从前至后将卷积层、批标准化层、激活函数层、残差模块、神经元失活层、全连接层按照设计结构依次堆叠。该部分深度神经网络模型主要用于提取样本的特征信息，为后续的聚类识别奠定夯实的基础。所述激活函数层采用参数修正线性单元层。

进一步地，所述多种簇中心标签生成模块的输入是样本特征信息，输出的是伪标签数据和模糊标签数据，以及簇中心标签，主要采用K-means算法进行簇中心聚类，首先初始化一个聚类簇中心，然后计算该簇中心与每个样本点的距离，并将样本点归到距离最近的簇中心类别中，整个簇中心和欧式距离的计算是迭代进行的，直到误差值最小。簇中心标签计算公式如下：

公式中T _k 表示第k类的特征信息T，x为特征信息里的元素值，再计算样本特征信息与簇中心的欧式距离，公式如下：

其中μ为簇中心标签。

设定靠近簇中心的前300为伪标签，其余离簇中心较远或未被采用的比例之外的无标签数据设为模糊标签。

最后，损失函数采用混合簇对比学习损失函数，公式如下：

其中，a为样本特征的索引值，

i、j为簇中心标签的索引值，

k为簇中心标签总数，且k=i+j，

N为样本的批处理大小，

t为样本特征信息，

μ为簇中心标签，

τ为调节因子，用于调整样本与簇中心的紧凑性。

利用损失函数对多类簇中心进行分类差值计算，并使用优化器对损失值进行衰减，达到优化全局参数的目的，直到训练迭代次数达到最大迭代次数时停止训练，最后，测试得到模型。

综上所述，本发明对图像数据中包含的信息充分的进行了利用，并且简化了存储器中存储的特征信息，从簇中心标签角度更新、优化模型参数，保持了对模型做出贡献的样本比例的一致性，从而大大提高了模型的识别性能和泛化性。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种基于混合簇中心标签学习的行人重识别方法，其特征在于，包括以下步骤：

步骤S100：收集行人重识别训练数据集，并将训练数据集分为有标签数据样本和无标签数据样本；

步骤S200：首先使用有标签数据初始化深度神经网络模型参数，并计算出初始的簇中心标签存入存储器中，然后利用深度神经网络模型提取无标签数据的特征信息；

步骤S300：再利用多种簇中心标签生成模块计算无标签数据的特征信息与簇中心之间的距离并筛选出预设比例的伪标签数据，且剩余数据为模糊标签数据，并为伪标签数据和模糊标签数据生成簇中心标签作为指导标签，更新存储器中的簇中心标签；

步骤S400：最后把伪标签数据和模糊标签数据按照多次少量的方式加入到训练样本中，重新训练深度神经网络模型；

步骤S500：重复步骤S200-步骤S400，直到训练迭代次数达到最大迭代次数时停止训练，得到最优的行人重识别模型模型；

步骤S600：将待测图像输入到步骤S500中的行人重识别模型并输出测试结果；

所述步骤S500中利用损失函数对多类簇中心进行分类差值计算，并使用优化器对损失值进行衰减，达到优化全局参数的目的；

所述损失函数采用混合簇对比学习损失函数，用于计算每种训练样本特征信息与簇中心标签之间的损失值，所述损失函数的计算公式如下：

其中，a为样本特征的索引值，

i、j为簇中心标签的索引值，

k为簇中心标签总数，且k=i+j，

N为样本的批处理大小，

t为样本特征信息，

μ为簇中心标签，

为调节因子，用于调整样本与簇中心的紧凑性。

2.根据权利要求1所述的一种基于混合簇中心标签学习的行人重识别方法，其特征在于，所述步骤S400中，采用多次少量的迭代方式添加无标签数据，将无标签数据多次少量的部分加入到深度神经网络模型中进行训练，每一次迭代添加的无标签数据比上一次迭代添加的无标签数据少。

3.根据权利要求2所述的一种基于混合簇中心标签学习的行人重识别方法，其特征在于，添加的无标签数据最初的10个epoch按10%的速度增加，后续的迭代中按1%增加。

4.根据权利要求1所述的一种基于混合簇中心标签学习的行人重识别方法，其特征在于，所述深度神经网络模型的前端设置有分块层，用于将行人图像分为三等分；所述深度神经网络模型包括从前至后依次设置的卷积层、批标准化层、激活函数层、残差模块、神经元失活层、全连接层。

5.根据权利要求4所述的一种基于混合簇中心标签学习的行人重识别方法，其特征在于，所述深度神经网络模型采用64层结构的残差深度神经网络模型。

6.根据权利要求1-5任一项所述的一种基于混合簇中心标签学习的行人重识别方法，其特征在于，所述多种簇中心标签生成模块采用K-means算法进行簇中心聚类，且每种类别只有一个有标签数据，更好的对无标签数据进行聚类。

7.一种计算机可读存储介质，存储有计算机程序指令，其特在于，所述程序指令被处理器执行时实现权利要求1-6任一项所述的方法。

Images