CN113553975A - 基于样本对关系蒸馏的行人重识别方法、系统、设备及介质 - Google Patents

Abstract

本发明公开了一种基于样本对关系蒸馏的行人重识别方法、系统、设备及介质，所述方法具体包括以下步骤：将给定的查询图像和行人图像集合输入预训练好的卷积神经网络中，获得所述给定的查询图像的特征向量以及给定的行人图像集合的特征向量集合；根据所述查询图像的特征向量与所述行人图像集合的特征向量集合中的各个特征之间的欧式距离，获取所述给定的行人图像集合关于所述查询图像的排序列表；基于所述排序列表获得行人重识别结果。本发明提出的基于样本对关系的无监督行人重识别的方法，取代了通用的聚类算法，能够规避确定聚类数的困境。

Description

基于样本对关系蒸馏的行人重识别方法、系统、设备及介质

技术领域

本发明属于计算机视觉与模式识别技术领域，特别涉及一种基于样本对关系蒸馏的行人重识别方法、系统、设备及介质。

背景技术

行人重识别是指给定现实场景中的一张行人图像，在大量的图像集合中找出与给定行人图像具有相同身份标识的行人图像；这类任务在智能安防系统与智能视频监控系统中具有很多有意义的现实应用，例如在不同的摄像头拍摄的大量的行人中查找给定的人员。

目前传统的行人重识别方法存在以下两方面的缺陷：

(1)由于不同的视角、不同的光线条件和背景杂乱导致的外观变化很大，使在大量的图像集合中查找具有给定行人身份的图像是具有挑战性的。

(2)训练行人重识别的模型密集且昂贵的手工标注过程，如何减小对数据标签的依赖是困难的。

具体的，现有无监督行人重识别方法在生成伪标签的过程中通常依赖于通过迭代聚类和分类来估计伪标签，这类方法在确定集群的数量时是非常重要的，错误地估计集群数量的事故往往会在伪标签中产生过多的噪音，损害行人重识别模型的性能。综上，亟需一种新的基于样本对关系蒸馏的行人重识别方法、系统、设备及介质。

发明内容

本发明的目的在于提供一种基于样本对关系蒸馏的行人重识别方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明提出的基于样本对关系的无监督行人重识别的方法，取代了通用的聚类算法，能够规避确定聚类数的困境。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于样本对关系蒸馏的行人重识别方法，包括以下步骤：

将给定的查询图像和行人图像集合输入预训练好的卷积神经网络中，获得所述给定的查询图像的特征向量以及给定的行人图像集合的特征向量集合；

根据所述查询图像的特征向量与所述行人图像集合的特征向量集合中的各个特征之间的欧式距离，获取所述给定的行人图像集合关于所述查询图像的排序列表；基于所述排序列表获得行人重识别结果；

其中，所述预训练好的卷积神经网络的获取步骤包括：

将无标签行人训练图像样本集合中的每个训练图像样本均输入预构建好的卷积神经网络中，对应获得每个训练图像样本的特征并存入特征库中；

在训练的每次迭代过程中，基于训练图像样本的特征之间的相似性，获得每个训练图像样本的邻域；将输入训练图像样本与其邻域中的一张训练图像样本构成样本对，将所述样本对与所述样本对的邻域中的所有训练图像样本连接，构建获得所述样本对的邻接子图结构；将所述样本对的邻接子图结构输入预构建的图卷积神经网络中，由多层线性感知机判断所述样本对的关系为正样本对或负样本对；将所述样本对的关系转化为训练所述卷积神经网络的伪标签，构建获得用于训练所述卷积神经网络的训练数据集；在训练过程的每次迭代之后，更新每个训练图像样本的特征；

基于卷积神经网络的训练数据集，采用margin损失函数，训练获得所述预训练好的卷积神经网络。

本发明的进一步改进在于，所述基于训练图像样本的特征之间的相似性，获得每个训练图像样本的邻域；将输入训练图像样本与其邻域中的一张训练图像样本构成样本对，将所述样本对与所述样本对的邻域中的所有训练图像样本连接，构建获得所述样本对的邻接子图结构的步骤具体包括：

计算获得输入训练图像样本的特征与所有训练图像样本的特征的余弦相似度列表，所述余弦相似度列表表示为：

式中，S_i表示特征mi与所有训练图像样本之间的余弦相似性集合；m_i表示存储在特征库中的第i行的特征，S_a,b表示特征m_a与m_b之间的余弦相似性值；

基于所述余弦相似度列表，选择相似度最大的K个特征，分别与输入训练图像样本的特征v_i，构成样本对集合{(v_i,m_i1),...,(v_i,m_iK)}；

对所述样本对集合中的每一个样本对(v_i,m_j)，计算特征v_i,v_j与其余训练图像样本特征的余弦相似度列表S_i,S_j；

分别选择相似度最大的K个样本特征{m_i1,...,m_iK}与{m_j1,...,m_jK}，连接这些样本构成样本对的邻接子图结构；

所述邻接子图结构的邻接矩阵表示为：

邻接子图结构的节点特征为各个节点的编号对应存储在特征库中的特征，邻接子图结构表示为G_ij＝(A_ij,V_ij)。

本发明的进一步改进在于，所述将所述样本对的邻接子图结构输入预构建的图卷积神经网络中，由多层线性感知机判断所述样本对的关系为正样本对或负样本对；将所述样本对的关系转化为训练所述卷积神经网络的伪标签，构建获得用于训练所述卷积神经网络的训练数据集的步骤具体包括：

将邻接子图结构G_ij输入图卷积神经网络中生成对应的子图特征，将子图特征作为多层感知机的输入，输出样本对具有相同的身份的可能性；其中，图卷积神经网络的结构为一层图卷积层和一层特征融合层；

所述图卷积层根据邻接子图结构对每个节点重新计算节点特征，特征融合层输出子图的特征；

对于输入训练图像x_i，如果(x_i，x_j)具有相同的身份，则将x_j送入x_i的正样本列表，否则送入负样本列表。

本发明的进一步改进在于，所述基于卷积神经网络的训练数据集，采用margin损失函数，训练获得所述预训练好的卷积神经网络的步骤具体包括：

基于正样本列表P_i以及负样本列表N_i计算损失，损失函数表达式为：

式中，δ，α，λ为损失函数的超参数，负样本列表N_i为与特征v_i的余弦相似性最大的r个样本；

基于所述损失函数，通过随机梯度下降算法训练卷积神经网络。

本发明的进一步改进在于，所述图卷积神经网络的训练步骤包括：

根据输入训练图像的正样本列表及负样本列表，构建获得新生成的样本对并为所述新生成的样本对生成样本对关系；

为所述新生成的样本对生成对应的样本对邻接子图结构，推导样本对关系为邻接子图结构分配伪标签，构建获得图卷积神经网络的训练数据集；

基于所述图卷积神经网络的训练数据集，采用预设损失函数，通过随机梯度下降算法更新图卷积神经网络的参数，训练达到预设收敛条件获得训练好的图卷积神经网络。

本发明的进一步改进在于，所述根据输入训练图像的正样本列表及负样本列表，构建获得新生成的样本对并为所述新生成的样本对生成样本对关系的步骤包括：对输入样本v_i的正样本列表P_i中的每一个样本m_ri，计算样本m_ri特征与特征库中其余特征的余弦相似度列表S_ri，并选取相似性最大的K个样本；v_i的正样本列表P_i中的每个样本m_rj，如果m_rj是与m_ri的余弦相似性最大的K个样本，那么构建一个样本对(m_ri，m_rj)，并且为该样本对分配正关系，记为((m_ri，m_rj)，1)；v_i的负样本列表N_i中随机选择一个样本m_rl，构建一个样本对(m_ri，m_rl)，并且为该样本对分配负关系，记为((m_ri，m_rl)，0)；

假设样本对邻接子图结构G_ij对应生成的图特征为g_ij；其对应的标签y_ij，所述预设损失函数的表达式为：

loss_g＝y_ij log g_ij+(1-y_ij)log(1-g_ij)。

本发明的进一步改进在于，所述卷积神经网络为深度残差网络；

所述图卷积神经网络的结构为Y^(l+1)＝D^-1(A_ij+I)Y^(l)Θ_g，

其中，D表示图G的拉普拉斯算子，I表示单位矩阵，Θ_g表示图卷积神经网络的参数，l为图卷积神经网络当前的层数。

本发明的一种基于样本对关系蒸馏的行人重识别系统，包括：

特征获取模块，用于将给定的查询图像和行人图像集合输入预训练好的卷积神经网络中，获得所述给定的查询图像的特征向量以及给定的行人图像集合的特征向量集合；

识别结果获取模块，用于根据所述查询图像的特征向量与所述行人图像集合的特征向量集合中的各个特征之间的欧式距离，获取所述给定的行人图像集合关于所述查询图像的排序列表；基于所述排序列表获得行人重识别结果；

其中，所述特征获取模块中，预训练好的卷积神经网络的获取步骤包括：

将无标签行人训练图像样本集合中的每个训练图像样本均输入预构建好的卷积神经网络中，对应获得每个训练图像样本的特征并存入特征库中；

在训练的每次迭代过程中，基于训练图像样本的特征之间的相似性，获得每个训练图像样本的邻域；将输入训练图像样本与其邻域中的一张训练图像样本构成样本对，将所述样本对与所述样本对的邻域中的所有训练图像样本连接，构建获得所述样本对的邻接子图结构；将所述样本对的邻接子图结构输入预构建的图卷积神经网络中，由多层线性感知机判断所述样本对的关系为正样本对或负样本对；将所述样本对的关系转化为训练所述卷积神经网络的伪标签，构建获得用于训练所述卷积神经网络的训练数据集；在训练过程的每次迭代之后，更新每个训练图像样本的特征；

基于卷积神经网络的训练数据集，采用margin损失函数，训练获得所述预训练好的卷积神经网络。

本发明的一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现本发明任意一项上述的行人重识别方法。

本发明的一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如本发明任意一项上述的行人重识别方法。

与现有技术相比，本发明具有以下有益效果：

本发明提供了一种基于样本对关系蒸馏的行人重识别方法中，区别于传统的深度学习方法需要大量且密集的手工标注信息，本发明的方法可以在完全不需要手工标注信息的情况下训练出鲁棒的模型。针对目前无监督方法容易错误地估计集群数量的事故往往会在伪标签中产生过多的噪音，损害模型的性能这一具体技术问题，本发明构建了一种基于样本对关系蒸馏的伪标签分配方法，取代了通用的聚类算法，规避了确定聚类数的困境。本发明中，使用术语“正对”来表示一对具有相同感知身份的行人图像；相反，使用术语“负对”来表示具有不同感知身份的图像。

本发明中，将给定的无标签训练图像两两组合构成大量的样本对，随后使用图卷积神经网络为每一个样本对估计伪样本对关系，使得为无监督重识别框架分配更加准确的伪标签，同时也为解决无监督行人重识别任务中生成准确的样本伪标签这个困难任务提供了一种新的思路。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种基于样本对关系蒸馏的行人重识别方法的流程示意框图；

图2是本发明实施例中，为输入数据建立样本对邻接子图结构的示意框图；

图3是本发明实施例中，为训练样本分配伪标签的流程示意框图；

图4是本发明实施例中，不同方法在Market-1501数据集上对行人重识别随着训练迭代的各项指标变化的示意图；

图5是本发明实施例中，不同方法在DukeMTMC-reID数据集上对行人重识别随着训练迭代的各项指标变化的示意图。

具体实施方式

为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。

本发明实施例的一种基于样本对关系蒸馏的行人重识别方法，要实现的目标是已知一组无序的大型行人图像集合以及一张给定的查询图像，从这个给定的大型行人图像集合中找出与查询图像具有相同身份标识的图像。

本发明实施例方法的具体步骤包括：

首先使用卷积神经网络(为方便探索示例性优选的，本发明采用的卷积神经网络为深度残差网络(ResNet50)，后卷积神经网络均指代深度残差网络)提取查询图像的特征向量以及对给定的大型行人图像集合计算一组特征向量集合。更具体地，将查询图像输入卷积神经网络中，得到2048维的查询特征，随后将给定的大型行人图像集合中的每一个图像输入同样的卷积神经网络中，计算一组2048维的特征集合。

随后根据查询特征与特征集合中的各个特征之间的欧式距离获取该图像特征集合关于查询图像的排序列表，并可认为该排序列表的前k位图像与给定的查询图像具有相同的身份标识。

本发明实施例中，为了实现上述的目标，需要依据训练算法对卷积神经网络进行优化。值得注意的是，与主流的深度学习训练方法需要大量的且充分的标注信息不同，本发明实施例的训练过程中仅仅需要少量的标注数据(5个标签数据)或者不需要任何手工标注数据就能训练出良好的模型，能够节省大量的标注成本。

更具体的，本发明实施例的卷积神经网络的训练过程包括以下步骤：

步骤1，给定一组无标签行人训练图像，仅仅知道这组图像的总个数，而不知道这组训练图像包含的行人标识的个数。

步骤2，初始化一个空的特征库，该特征库用于存储所有行人训练图像的特征。

步骤3，将步骤1中所有的无标签行人图像输入预构建的卷积神经网络中，获得无标签行人图像的特征，并将这些特征存入步骤2初始化的特征库中。

步骤4，基于步骤3中的生成特征库，将输入图像与其邻域构成样本对，将该样本对与其邻域图像连接，构建样本对邻接子图结构，将这些子图结构输入预构建的图卷积神经网络中，并由多层线性感知机判断该样本对的关系，将该样本对关系转化为训练卷积神经网络的伪标签，构建用于训练卷积神经网络的训练数据。解释性的，输入图像：表示在当前训练iteration时候用到的训练图像；输入图像的邻域：表示在当前的特征库中存储了所有训练数据的特征，根据输入图像存储在特征库中的特征与特征库中所有的特征之间的相似性，前k个图像就是这个输入图像的邻域；样本对：输入图像与邻域中的某张图像构成一个样本对；构建的子图：这个样本对与它们的邻域的所有图像连接，这样就构成了一个子图；伪标签的获取：把这个子图输入一个普通的图卷积神经网络中，图卷积神经网络给出一个二分类的结果，如果是0，则这个样本对为负样本对，如果是1，这个样本对为正样本对，这样就获得了伪标签。

步骤5，使用步骤4生成的伪标签与生成的特征计算损失函数，用于训练卷积神经网络，同时更新步骤3中的特征库。解释性的，上述得出了样本对之间的正负关系，根据这个将由卷积神经网络提取的特征送入margin损失函数中，这个损失函数会拉近正样本对，并推远负样本对，这样就可以完成卷积神经网络的训练；对特征库的更新，每经过一个训练iteration就更新一次对应在特征库中的特征。

步骤6，使用步骤4生成的伪标签重新推理样本对关系，同时由更新后的特征库构建新的样本对邻接子图结构，构建用于训练图卷积神经网络的数据；

步骤7，使用步骤6生成的样本训练图卷积神经网络。

返回步骤3，重复步骤3-7，直至步骤5中卷积神经网络的损失值收敛。

本发明实施例的步骤3中，所述将特征存储在特征库中的具体步骤包括：

步骤3.1，将步骤1中生成的图像送入卷积神经网络中，生成对应的特征；

步骤3.2，将步骤3.1中产生的特征按照对应的图像索引存储如特征库中。

本发明实施例的步骤4中，生成卷积神经网络的训练数据的具体步骤包括：

步骤4.1，对输入的图像，首先根据输入图像的编号提取该图像对应在特征库中的特征

步骤4.2，由步骤4.1中提取的特征，计算该特征与特征库中其余特征的余弦相似度列表。假设该输入图像的特征为v_i，特征库的表示为M，该余弦相似度列表可以表示为：

步骤4.3，由步骤4.2的余弦相似度列表，选择相似度最大的K个特征，分别与输入图像的特征v_i，构成样本对集合{(v_i，m_i1)，...，(v_i，m_iK)}；

步骤4.4，对步骤4.3生成的样本对集合中的每一个样本对(v_i，m_j)，计算该特征v_i，v_j与特征库中其余特征的余弦相似度列表S_i与S_j。分别选择相似度最大的K个样本特征{m_i1，...，m_iK}与{m_j1，…，m_jK}，连接这些样本，构成样本对的邻接子图结构G_ij。该子图的邻接矩阵表示为：

该子图的节点特征为各个节点的编号对应存储在特征库中的特征，该子图表不为G_ij＝(A_ij，V_ij)。

步骤4.5，将步骤4.4中生成的子图结构G_ij，输入图卷积神经网络中生成对应的子图特征，将该子图特征作为多层感知机的输入，输出该样本对具有相同的身份的可能性。其中图卷积神经网络为常见的图卷积，其结构为一层图卷积层，一层特征融合层，其中图卷积层根据邻接子图结构对每个节点重新计算节点特征，特征融合层输出子图的特征。

步骤4.6，由步骤4.5判定结果，如果这两个样本具有相同的身份，那么将x_j送入x_i的正样本列表P_i中。

本发明实施例的步骤5中，训练卷积神经网络并更新特征库的具体步骤包括：

步骤5.1，由步骤4.6生成的正样本列表P_i以及负样本列表N_i，计算损失

式中δ，α，λ为损失函数的超参数，负样本列表N_i为与v_i的余弦相似性最大的r个样本。使用该损失值，通过随机梯度下降算法训练卷积神经网络。

步骤5.2，在训练卷积神经网络的过程中，需要不断的更新由步骤3.2中生成的特征库M，更新的公式为，

其中γ表示为特征库M的更新参数，t表示训练卷积神经网络的第t次训练迭代。

本发明实施例的步骤6中，构建图卷积神经网络的训练数据的具体步骤包括：

步骤6.1，根据步骤4.6中生成的与输入样本v_i对应的正样本列表P_i，构建新的样本对并为新的样本对生成样本对关系；

步骤6.2，根据步骤4.4为由步骤6.1中新生成的样本对生成新的样本对邻接子图结构，并根据步骤6.1中推导的新的样本对关系为邻接子图结构分配伪标签。因此构建出图卷积神经网络的训练数据。

其中，步骤6.1中，构建新的样本以及对应生成的样本对关系的具体步骤为对输入样本v_i的正样本列表P_i中的每一个样本m_ri，计算该特征m_ri与特征库中其余特征的余弦相似度列表S_ri，并选取相似性最大的K个样本，P_i中的每个样本m_rj，如果m_rj是与m_ri的余弦相似性最大

的K个样本，那么构建一个样本对(m_ri，m_rj)，并且为该样本对分配正关系，记为((m_ri，m_rj)，1)。关于负样本关系对的生成，对于同样的样本m_ri，从v_i的负样本列表N_i中随机选择一个样本m_rl，那么构建一个样本对(m_ri，m_rl)，并且为该样本对分配负关系，记为((m_ri，m_rl)，0)。

本发明实施例的步骤7中，训练图卷积神经网络的具体步骤包括：

步骤7.1，将用于训练图卷积神经网络的数据送入图卷积神经网络生成图特征。假设对于样本对邻接子图结构G_ij，其对应生成的图特征为g_ij。

步骤7.2，针对邻接子图结构G_ij的图特征g_ij，以及其对应的标签y_ij，计算损失值：

loss_g＝y_ij log g_ij+(1-y_ij)log(1-g_ij)

通过随机梯度下降算法更新图卷积神经网络的参数。

本发明实施例公开了一种基于样本对关系蒸馏的行人重识别方法，针对目前无监督方法容易错误地估计集群数量的事故往往会在伪标签中产生过多的噪音，损害行人重识别模型的性能这一问题，本发明具体构建了一种基于样本对关系蒸馏的伪标签分配方法，提出了基于样本对关系的无监督行人重识别的方法。本发明实施例的方法取代了通用的聚类算法，规避了确定聚类数的困境；本发明使用术语“正对”来表示一对具有相同感知身份的行人图像；相反，“负对”来表示具有不同感知身份的图像。在GCN指定的嵌入中，正对被拉近；而负对被相互推开。本发明使用图卷积神经网络为每一个样本对分配伪样本，使得为无监督重识别框架分配更加准确的伪标签，同时也为解决无监督行人重识别任务中样本伪标签生成这个困难任务提供了一种新的思路。

参见图1至图3，本发明实施的一种基于样本对关系蒸馏的行人重识别方法，包括如下步骤：

步骤1，采集获取无标签的行人图像；

步骤2，初始化一个空的特征库；

步骤3，建立卷积神经网络，给出一个包含单一目标的训练图像序列X＝{x_i}_{i＝1，...，N}，其中x_i表示第i张训练图像，使用卷积神经网络对行人图像提取特征并将特征存储在特征库；

示例性的，步骤3具体包括：

步骤3.1，将步骤1中生成的图像送入卷积神经网络中，生成对应的特征；示例性的，本发明实施例中，使用ResNet50提取图像的特征向量{v_i}_{i＝1，...，N}，生成2048维的特征。

步骤3.2，将步骤3.1中产生的特征按照对应的图像索引存储入特征库中。示例性的，本发明实施例中，在生成初始化的特征库时所使用的公式为

步骤4，生成卷积神经网络的训练数据：

步骤4.1，对输入的无标签训练图像图像x_i，首先根据输入图像的序号i提取该图像对应存储在特征库中的特征

步骤4.2，由步骤4.1中提取的特征，计算该特征与特征库中其余特征的余弦相似度集合。

假设该输入图像的特征为v_i，特征库的表示为M，对应的特征库中特征表示为，该余弦相似度列表可以表示为：

式中，m_i表示在存储在特征库中的第i行的特征，S_a，b表示特征m_a与m_b之间的余弦相似性值，S_i表示特征mi与所有训练图像之间的余弦相似性集合。

步骤4.3，对当前输入的训练图像，构建样本对。由上一过程生成的余弦相似度列表Si，选择相似度最大的K个样本，分别与输入图像的特征v_i，构成样本对集合{(v_i，m_i1)，...，(v_i，m_iK)}；

步骤4.4，生成样本对邻接子图结构，如图2描述了该结构的生成过程。

对上一过程生成的样本对集合中的每一个样本对(v_i，m_j)，再次计算这一对特征v_i，m_j与特征库中其余特征的余弦相似度列表S_i与S_j。分别选择相似度最大的K个样本特征{m_i1，...，m_iK}与{m_i1，...，m_jK}，连接mi,mj以及{m_i1，...，m_iK}与{m_j1，...，m_jK}中的所有节点，构成样本对的邻接子图结构G_ij＝(A_ij，V_ij)。

该子图的邻接矩阵表示为：

该子图的节点特征V为各个节点的编号对应存储在特征库中的特征。

步骤4.5，为样本集合中的每个样本对构建伪标签，如图3描述了伪标签的生成过程。

将上一过程生成的子图结构G_ij，输入图卷积神经网络中生成对应的子图特征，将该子图特征作为多层感知机的输入，输出该样本对具有相同的身份的可能性。

本发明实施例中，所使用的图卷积神经网络的结构为，

Y^(l+1)＝D^-1(A_ij+I)Y^(l)Θ_g

其中，D表示图G的拉普拉斯算子，I表示单位矩阵，Θ_g表示图卷积神经网络的参数，l为图卷积神经网络当前的层数，在本发明的实例实验中，所使用的图卷积神经网络的层数为2。

步骤4.6，将输入图像的样本对集合的伪标签转化为能够用于训练卷积神经网络的伪标签集合。

由上一过程生成的判定结果，对于输入训练图像x_i，如果(x_i，x_j)具有相同的身份，那么将x_j送入x_i的正样本列表P_i中。

步骤5，训练卷积神经网络并更新特征库，具体步骤包括：

步骤5.1，计算损失值，优化所使用的卷积神经网络的参数。

由步骤4生成的正样本列表P_i，负样本列表N_i，计算损失

式中δ，α，λ为损失函数的超参数，在实验中δ＝5，α＝4，λ＝0.2，负样本列表N_i为与v_i的余弦相似性最大的r个样本。通过随机梯度下降算法优化卷积神经网络，迭代40次。

步骤5.2，在对卷积神经网络训练的同时，更新当前的特征库。

在训练卷积神经网络的过程中，需要不断的更新由当前的特征库M^(t)，更新的公式为，

其中γ表示为特征库M的更新参数，t表示训练卷积神经网络的第t次训练迭代。

步骤6，构建图卷积神经网络的训练数据，具体步骤包括：

步骤6.1，根据当前样本对的关系，构建新的且用于训练图卷积神经网络的样本对关系。

本发明实施例中，根据生成的与输入样本v_i对应的正样本列表P_i，构建新的样本对并生成新的样本对关系，构建新的样本以及对应生成的样本对关系的具体步骤为：

1)关于正关系样本对的生成，对输入样本v_i的正样本列表P_i中的每一个样本m_ri，计算该特征m_ri与特征库中其余特征的余弦相似度列表S_ri，并选取相似性最大的K个样本，P_i中的每个样本m_rj，如果m_rj是与m_ri的余弦相似性最大的K个样本，那么构建一个样本对(m_ri，m_rj)，并且为该样本对分配正关系，记为((m_ri，m_rj)，1)；

2)关于负样本关系对的生成，对于同样的样本m_ri，从v_i的负样本列表N_i中随机选择一个样本m_rl，那么构建一个样本对(m_ri，m_rl)，并且为该样本对分配负关系，记为((m_ri，m_rl)，0)。

步骤6.2，将新的样本对以及样本对关系构建成能够训练图卷积神经网络的样本。

根据上一过程生成的新样本对关系，由步骤4.4中描述的过程为新的样本构建样本对邻接子图结构，并根据新的样本对关系为邻接子图结构分配伪标签。构建出图卷积神经网络的训练数据。

步骤7中，训练图卷积神经网络的具体步骤包括：

(1)计算损失值，优化所使用的图卷积神经网络的参数。

本发明实施例中，根据上一过程生成的图卷积神经网络的训练样本。假设对于邻接子图结构G_rij，图卷积神经网络的输出为g_ij，其对应的标签为y_ij。根据以上量计算损失值：

loss_g＝y_ij log g_ij+(1-y_ij)log(1-g_ij)

通过随机梯度下降算法优化图卷积神经网络的参数，迭代次数与优化卷积神经网络的相似度相同。

综上，本发明适用于无监督训练行人重识别框架，通过在大型图像集合中找出与给定图像相同身份的图像。本发明的基于样本对关系蒸馏的行人重识别方法，首先利用初始化的特征库，为输入样本及其邻域特征构建样本对集合，并利用特征库为这些样本对选取邻域特征，连接这些样本特征构成样本对邻接子图结构。然后引入图卷积神经网络，通过感知样本对的邻域结构，为每个样本对分配伪标签，这些伪标签指示该样本对是否具有相同的身份标识。利用这些具有伪标签的样本对，优化行人重识别模型，即将具有相同身份的样本对拉近，并推远不同身份的样本对。最后，根据当前的伪标签重新生成新的样本对及其关系，利用这些信息构建图卷积神经网络的训练样本，并根据这些训练样本训练图卷积神经网络。本发明可以解决在缺乏训练标签的情况下为行人重识别模型生成高质量的伪标签，最终使得重识别性能得到较大提升。

表1a、1b分别是本发明的定量的实验结果，表1a为在Market-1501数据集下该发明的实验结果，表1b为在DukeMTMC-reID数据集下该发明的实验结果。

Rank-1，Rank-5，Rank-10与mAP都是衡量生成图像的质量常用的指标，数值越大表示算法的性能越高。从表1a中可以看到，在Market-1501数据集上，用本发明生成的指标上Rank-1，Rank-5，Rank-10与mAP均达到了最高。从表1b中可以看到，在DukeMTMC-reID数据集上，用本发明生成的指标上Rank-1，Rank-5，Rank-10与mAP均达到了最高。综上所述，与其他方法相比较，我们的方法在无监督行人重识别问题上获得了较大的提升。

表1a.在Market-1501数据集下该方法的实验结果

表1b在DukeMTMC-reID数据集下该方法的实验结果

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种基于样本对关系蒸馏的行人重识别方法，其特征在于，包括以下步骤：

将给定的查询图像和行人图像集合输入预训练好的卷积神经网络中，获得所述给定的查询图像的特征向量以及给定的行人图像集合的特征向量集合；

根据所述查询图像的特征向量与所述行人图像集合的特征向量集合中的各个特征之间的欧式距离，获取所述给定的行人图像集合关于所述查询图像的排序列表；基于所述排序列表获得行人重识别结果；

其中，所述预训练好的卷积神经网络的获取步骤包括：

将无标签行人训练图像样本集合中的每个训练图像样本均输入预构建好的卷积神经网络中，对应获得每个训练图像样本的特征并存入特征库中；

在训练的每次迭代过程中，基于训练图像样本的特征之间的相似性，获得每个训练图像样本的邻域；将输入训练图像样本与其邻域中的一张训练图像样本构成样本对，将所述样本对与所述样本对的邻域中的所有训练图像样本连接，构建获得所述样本对的邻接子图结构；将所述样本对的邻接子图结构输入预构建的图卷积神经网络中，由多层线性感知机判断所述样本对的关系为正样本对或负样本对；将所述样本对的关系转化为训练所述卷积神经网络的伪标签，构建获得用于训练所述卷积神经网络的训练数据集；在训练过程的每次迭代之后，更新每个训练图像样本的特征；

基于卷积神经网络的训练数据集，采用margin损失函数，训练获得所述预训练好的卷积神经网络。

2.根据权利要求1所述的一种基于样本对关系蒸馏的行人重识别方法，其特征在于，所述基于训练图像样本的特征之间的相似性，获得每个训练图像样本的邻域；将输入训练图像样本与其邻域中的一张训练图像样本构成样本对，将所述样本对与所述样本对的邻域中的所有训练图像样本连接，构建获得所述样本对的邻接子图结构的步骤具体包括：

计算获得输入训练图像样本的特征与所有训练图像样本的特征的余弦相似度列表，所述余弦相似度列表表示为：

式中，S_i表示特征mi与所有训练图像样本之间的余弦相似性集合；m_i表示存储在特征库中的第i行的特征，S_a,b表示特征m_a与m_b之间的余弦相似性值；

基于所述余弦相似度列表，选择相似度最大的K个特征，分别与输入训练图像样本的特征v_i，构成样本对集合{(v_i,m_i1),...,(v_i,m_iK)}；

对所述样本对集合中的每一个样本对(v_i,m_j)，计算特征v_i,v_j与其余训练图像样本特征的余弦相似度列表S_i,S_j；

分别选择相似度最大的K个样本特征{m_i1,...,m_iK}与{m_j1,...,m_jK}，连接这些样本构成样本对的邻接子图结构；

所述邻接子图结构的邻接矩阵表示为：

邻接子图结构的节点特征为各个节点的编号对应存储在特征库中的特征，邻接子图结构表示为G_ij=(A_ij,V_ij)。

3.根据权利要求2所述的一种基于样本对关系蒸馏的行人重识别方法，其特征在于，所述将所述样本对的邻接子图结构输入预构建的图卷积神经网络中，由多层线性感知机判断所述样本对的关系为正样本对或负样本对；将所述样本对的关系转化为训练所述卷积神经网络的伪标签，构建获得用于训练所述卷积神经网络的训练数据集的步骤具体包括：

将邻接子图结构G_ij输入图卷积神经网络中生成对应的子图特征，将子图特征作为多层感知机的输入，输出样本对具有相同的身份的可能性；其中，图卷积神经网络的结构为一层图卷积层和一层特征融合层；

所述图卷积层根据邻接子图结构对每个节点重新计算节点特征，特征融合层输出子图的特征；

对于输入训练图像x_i，如果(x_i,x_j)具有相同的身份，则将x_j送入x_i的正样本列表，否则送入负样本列表。

4.根据权利要求3所述的一种基于样本对关系蒸馏的行人重识别方法，其特征在于，所述基于卷积神经网络的训练数据集，采用margin损失函数，训练获得所述预训练好的卷积神经网络的步骤具体包括：

基于正样本列表P_i以及负样本列表N_i计算损失，损失函数表达式为：

式中，δ，α，λ为损失函数的超参数，负样本列表N_i为与特征v_i的余弦相似性最大的r个样本；

基于所述损失函数，通过随机梯度下降算法训练卷积神经网络。

5.根据权利要求4所述的一种基于样本对关系蒸馏的行人重识别方法，其特征在于，所述图卷积神经网络的训练步骤包括：

根据输入训练图像的正样本列表及负样本列表，构建获得新生成的样本对并为所述新生成的样本对生成样本对关系；

为所述新生成的样本对生成对应的样本对邻接子图结构，推导样本对关系为邻接子图结构分配伪标签，构建获得图卷积神经网络的训练数据集；

基于所述图卷积神经网络的训练数据集，采用预设损失函数，通过随机梯度下降算法更新图卷积神经网络的参数，训练达到预设收敛条件获得训练好的图卷积神经网络。

6.根据权利要求5所述的一种基于样本对关系蒸馏的行人重识别方法，其特征在于，所述根据输入训练图像的正样本列表及负样本列表，构建获得新生成的样本对并为所述新生成的样本对生成样本对关系的步骤包括：对输入样本v_i的正样本列表P_i中的每一个样本m_ri，计算样本m_ri特征与特征库中其余特征的余弦相似度列表S_ri，并选取相似性最大的K个样本；v_i的正样本列表P_i中的每个样本m_rj，如果m_rj是与m_ri的余弦相似性最大的K个样本，那么构建一个样本对(m_ri，m_rj)，并且为该样本对分配正关系，记为((m_ri，m_rj)，1)；v_i的负样本列表N_i中随机选择一个样本m_rl，构建一个样本对(m_ri，m_rl)，并且为该样本对分配负关系，记为((m_ri，m_rl)，0)；

假设样本对邻接子图结构G_ij对应生成的图特征为g_ij；其对应的标签y_ij，所述预设损失函数的表达式为：

loss_g=y_ijlog g_ij+(1-y_ij)log(1-g_ij)。

7.根据权利要求1所述的一种基于样本对关系蒸馏的行人重识别方法，其特征在于，所述卷积神经网络为深度残差网络；

所述图卷积神经网络的结构为Y^(l+1)=D^-1(A_ij+I)Y^(l)Θ_g，

其中，D表示图G的拉普拉斯算子，I表示单位矩阵，Θ_g表示图卷积神经网络的参数，l为图卷积神经网络当前的层数。

8.一种基于样本对关系蒸馏的行人重识别系统，其特征在于，包括：

特征获取模块，用于将给定的查询图像和行人图像集合输入预训练好的卷积神经网络中，获得所述给定的查询图像的特征向量以及给定的行人图像集合的特征向量集合；

识别结果获取模块，用于根据所述查询图像的特征向量与所述行人图像集合的特征向量集合中的各个特征之间的欧式距离，获取所述给定的行人图像集合关于所述查询图像的排序列表；基于所述排序列表获得行人重识别结果；

其中，所述特征获取模块中，预训练好的卷积神经网络的获取步骤包括：

将无标签行人训练图像样本集合中的每个训练图像样本均输入预构建好的卷积神经网络中，对应获得每个训练图像样本的特征并存入特征库中；

在训练的每次迭代过程中，基于训练图像样本的特征之间的相似性，获得每个训练图像样本的邻域；将输入训练图像样本与其邻域中的一张训练图像样本构成样本对，将所述样本对与所述样本对的邻域中的所有训练图像样本连接，构建获得所述样本对的邻接子图结构；将所述样本对的邻接子图结构输入预构建的图卷积神经网络中，由多层线性感知机判断所述样本对的关系为正样本对或负样本对；将所述样本对的关系转化为训练所述卷积神经网络的伪标签，构建获得用于训练所述卷积神经网络的训练数据集；在训练过程的每次迭代之后，更新每个训练图像样本的特征；

基于卷积神经网络的训练数据集，采用margin损失函数，训练获得所述预训练好的卷积神经网络。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的行人重识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的行人重识别方法。

Images