CN111695526B - 网络模型生成方法、行人重识别方法及装置 - Google Patents

Abstract

本申请实施例公开了网络模型生成方法、行人重识别方法及装置，首先利用带有分类标签的源域数据集合训练初始网络模型，以生成可以学习两张行人图像相似度的第一网络模型。然后，获取新环境中的目标域数据集合。将获取到的目标域数据集合分别输入第一网络模型以及第一平滑网络模型，获取第一网络模型输出的第一相似度矩阵和第一平滑网络模型输出的第二相似度矩阵。再根据第一相似度矩阵和第二相似度矩阵更新第一网络模型的参数，将更新后的第一网络模型作为第一网络模型，重新将目标域数据集合输入第一网络模型、第一平滑网络模型重复进行训练，直至第一网络模型满足预设条件。

Description

网络模型生成方法、行人重识别方法及装置

技术领域

本申请涉及人工智能技术领域，具体涉及网络模型生成方法、行人重识别方法及装置。

背景技术

行人重识别，又称跨镜追踪(Person Re-Identification，简称ReID)技术，是现在计算机视觉研究的热门方向，主要解决跨摄像头跨场景下行人的识别与检索。随着深度学习的引入和发展，行人重识别领域取得了显著的进步。深度学习依赖于大量的标注数据，实际业务中，我们每次应用于新的场景时，由于原场景与新场景的巨大差异，常常导致用原来数据训练好的模型在新的场景表现较差，出现较大的性能下降。该情况，需要在新的场景收集数据，标注数据，利用标注后的数据进行重新训练。然而，行人重识别训练数据标注难度较大，需要关联不同监控摄像头下同一个人的所有图像，这将耗费大量的人力和时间。

发明内容

有鉴于此，本申请实施例提供一种网络模型生成方法、行人重识别方法及装置，以实现在无监督条件下生成行人重识别网络模型的迁移。

为解决上述问题，本申请实施例提供的技术方案如下：

在本申请实施例第一方面，提供了一种网络模型生成方法，所述方法包括：

获取目标域数据集合，所述目标域数据集合包括M张训练图像，所述M张图像中包括m个行人对应的图像，其中，M和m均为大于1的正整数且所述m不大于所述M；

将所述目标域数据集合分别输入第一网络模型、第一平滑网络模型，获取所述第一网络模型输出的第一相似度矩阵和所述第一平滑网络模型输出的第二相似度矩阵，所述第一网络模型是根据源域数据集合以及所述源域数据集合对应的分类标签训练生成的，所述第一平滑网络模型是由多个网络模型融合生成的；

根据所述第一相似度矩阵和所述第二相似度矩阵更新所述第一网络模型的参数，将更新后的第一网络模型作为第一网络模型，重新将所述目标域数据集合输入第一网络模型、第一平滑网络模型，直至第一网络模型满足预设条件。

在一种可能的实现方式中，所述获取所述第一网络模型输出的第一相似度矩阵，包括：

获取所述目标域数据集合对应的第一特征矩阵；

计算所述第一特征矩阵中各个特征之间的相似度获取第一相似度矩阵；

所述获取所述第一平滑网络模型输出的第二相似度矩阵，包括：

获取所述目标域数据集合对应的第二特征矩阵；

计算所述第二特征矩阵中各个特征之间的相似度获取第二相似度矩阵。

在一种可能的实现方式中，所述根据所述第一相似度矩阵和所述第二相似度矩阵更新所述第一网络模型的参数，包括：

根据所述第二相似度矩阵确定目标图像对应的正样本图像和负样本图像，所述目标图像为所述目标域数据集合中的任一张图像；

根据所述正样本图像和所述负样本图像从所述第一相似度矩阵中获取对应的第一相似度和第二相似度；

根据所有所述目标图像各自对应的所述第一相似度和所述第二相似度计算损失函数，以最小化损失函数为目标更新所述第一网络模型的参数。

在一种可能的实现方式中，所述第一平滑网络模型是根据多次迭代所产生的第一网络模型融合生成的。

在一种可能的实现方式中，所述第一平滑网络模型是根据多次迭代所产生的第二网络模型融合生成的，所述第一网络模型和所述第二网络模型各自对应的初始网络模型具有相同的初始参数，或训练所述第一网络模型和所述第二网络模型各自对应的初始网络模型时所使用的源域数据集合相同。

在一种可能的实现方式中，所述第二网络模型迭代过程包括：

将所述目标域数据集合分别输入第二网络模型、第二平滑网络模型，获取所述第二网络模型输出的第三相似度矩阵和所述第二平滑网络模型输出的第四相似度矩阵，其中，第二平滑网络模型是由多个网络模型融合生成的；

根据所述第三相似度矩阵和所述第四相似度矩阵更新所述第二网络模型的参数，将更新后的第二网络模型作为第二网络模型，重新将所述目标域数据集合输入第二网络模型、第二平滑网络模型，直至第二网络模型满足预设条件。

在一种可能的实现方式中，所述第二平滑网络模型是根据多次迭代所产生的第二网络模型融合生成的。

在一种可能的实现方式中，所述第二平滑网络模型是根据多次迭代所产生的第一网络模型融合生成的。

在本申请实施例第二方面，提供了一种行人重识别方法，所述方法包括：

获取查询图像，所述查询图像包括待识别行人；

将所述查询图像输入行人重识别网络模型，获取目标相似度矩阵，所述目标相似度矩阵为包括目标特征与特征库中各个特征的相似度，所述行人重识别网络模型为根据第一方面所述的方法训练生成的；

将相似度最大对应的特征矩阵对应的分类标签确定为所述待识别行人的分类标签。

本申请实施例第三方面，提供了一种网络模型生成装置，所述装置包括：

第一获取单元，用于获取目标域数据集合，所述目标域数据集合包括M张训练图像，所述M张图像中包括m个行人对应的图像，其中，M和m均为大于1的正整数且所述m不大于所述M；

第二获取单元，用于将所述目标域数据集合分别输入第一网络模型、第一平滑网络模型，获取所述第一网络模型输出的第一相似度矩阵和所述第一平滑网络模型输出的第二相似度矩阵，所述第一网络模型是根据源域数据集合以及所述源域数据集合对应的分类标签训练生成的，所述第一平滑网络模型是由多个网络模型融合生成的；

更新单元，用于根据所述第一相似度矩阵和所述第二相似度矩阵更新所述第一网络模型的参数；

生成单元，用于将更新后的第一网络模型作为第一网络模型，重新将所述目标域数据集合输入第一网络模型、第一平滑网络模型，直至第一网络模型满足预设条件。

在本申请实施例第四方面，提供了一种行人重识别装置，所述装置包括：

第三获取单元，用于获取查询图像，所述查询图像包括待识别行人；

第四获取单元，用于将所述查询图像输入行人重识别网络模型，获取目标相似度矩阵，所述目标相似度矩阵为包括目标特征与特征库中各个特征的相似度，所述行人重识别网络模型为根据第一方面所述的方法训练生成的；

确定单元，用于将相似度最大对应的特征矩阵对应的分类标签确定为所述待识别行人的分类标签。

在本申请实施例第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行第一方面所述的网络模型生成方法或所述第二方面所述的行人重识别方法。

在本申请实施例第六方面，提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现第一方面所述的网络模型生成方法或第二方面所述的行人重识别方法。

由此可见，本申请实施例具有如下有益效果：

本申请实施例首先利用带有分类标签的源域数据集合训练初始网络模型，以生成可以提取源域数据集合中行人特征并学习两张行人图像的相似度的第一网络模型。然后，获取新环境中的数据，即目标域数据集合，该目标域数据集合中包括M张训练图像，该M种图像中包括m个行人对应的图像。也就是，该目标域数据集合中m个不同ID的行人将获取到的目标域数据集合分别输入第一网络模型以及第一平滑网络模型，获取第一网络模型输出的第一相似度矩阵和第一平滑网络模型输出的第二相似度矩阵。再根据第一相似度矩阵和第二相似度矩阵更新第一网络模型的参数，将更新后的第一网络模型作为第一网络模型，重新将目标域数据集合输入第一网络模型、第一平滑网络模型重复进行训练，直至第一网络模型满足预设条件。其中，每次重复训练所使用的第一平滑网络模型与上一次的第一平滑网络模型均不同，也就是，第一平滑网络模型也可以不断更新。

可见，通过本申请实施例提供的方法，在新的应用场景下训练行人重识别网络模型时，无需对新场景下的目标域数据进行人工标注的情况下，仍可以训练新场景下的行人重识别网络模型，提高网络模型训练的效率。同时，本申请实施例利用多个网络模型融合生成的第一平滑网络模型对第一网络模型的输出结果进行监督，保证训练的准确性。

附图说明

图1为本申请实施例提供的一种网络模型生成方法流程图；

图2为本申请实施例提供的一种获取目标域数据集合的示意图；

图3为本申请实施例提供的一种第二网络模型生成方法流程图；

图4为本申请实施例提供的一种网络模型生成框架图；

图5为本申请实施例提供的一种行人重识别方法流程图；

图6为本申请实施例提供的一种网络模型生成装置结构图；

图7为本申请实施例提供的一种行人重识别装置结构图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

为便于理解本申请实施例提供的技术方案，下面将先对本申请实施涉及的技术术语进行说明。

行人重识别ReID，也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。具体为，给定一个监控行人图像，检索跨设备下是否存在该行人的图像。在监控视频中，由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片。当人脸识别失效的情况下，ReID就成为了一项非常重要的补充技术。ReID有一个非常重要的特性就是跨摄像头，能够根据行人的穿着、体态、发型等信息检索出不同摄像头下的相同行人图片。

基于度量学习的ReID，度量学习(Metric learning)是广泛用于图像检索领域的一种方法，旨在通过网络学习出两张图片的相似度。在行人重识别问题上，具体为同一行人的不同图片相似度大于不同行人的不同图片。例如，行人a分别对应的图片1和图片2的相似度大于行人a对应的图片1和行人b对应的图片3的相似度，最后网络的损失函数使得相同行人图片(正样本对)的距离尽可能小，不同行人图片(负样本对)的距离尽可能大。常用的度量学习损失方法有对比损失(Contrastive loss)、三元组损失(Triplet loss)等。

数据增强，是指包含一系列用来生成新训练样本的技术，该技术是通过对原始数据采用随机抖动和扰乱而类标签未变化来实现。常见的数据增强技术包括裁剪、翻转、旋转、缩放、扭曲等几何变换，还有可以包括像素扰动、添加噪声、光照调节、对比度调节、样本加和或插值、分割补丁等。通过数据增强，增加训练数据的多样性。

需要说明的是，本申请实施例中的第一平滑网络模型可以是由多次迭代所产生的第一网络模型经过加权融合生成的模型，也可以是由多次迭代所产生的第二网络模型经过加权融合生成的模型。其中，第一网络模型和第二网络模型各自对应的初始网络模型具有相同的初始参数，或训练第一网络模型和第二网络模型各自对应的初始网络模型时所使用的源域数据集合相同。下面将分别针对第一平滑网络模型生成的不同情况进行说明。

方法实施例一

参见图1，该图为本申请实施例提供的一种网络模型训练方法流程图，如图1所示，该方法可以包括：

S101：获取目标域数据集合。

本实施例中，例如，为训练获得新应用场景下的行人重识别网络模型，首先获取该新应用场景下的目标域数据集合。该目标域数据集合中包括M张训练图像，其中，M张图像中共包括m个行人对应的图像，其中，M和m均为大于1的正整数且m不大于M。

具体地，目标域数据集合可以包括M＝m*n张图像，每个行人对应n张图像。可以理解的是，每个行人对应的n张图像中每张图像中行人的姿态、穿着、发型等人物属性可以不同，从而增加训练样本的多样性。例如，目标域数据集合中5*10张训练图像，则共存在5个不同的行人，每位行人对应10张不同的训练图像。具体地，这10张图像中可以包括该行人在四季不同的图像，或者包括不同穿着的图像等。

在一些实现方式中，可以通过以下方式获取目标域数据集合：

1)首先获取训练数据集合，其中，该训练数据集合包括新应用场景的训练图像。

本实施例中，首先从新应用场景下获取训练数据集合，该训练数据集合中包括大量的行人图像。其中，训练数据集合中包括的行人图像的数量N大于m*n。

2)将训练数据集合输入第一网络模型中，获取第一网络模型输出的相似度矩阵。

本实施例中，将获取的训练数据集合输入第一网络模型中，获取其输出的相似度矩阵。其中，第一网络模型是根据源域数据集合以及源域数据集合对应的分类标签训练生成的。其中，关于第一网络模型的训练过程将在后续实施例中进行说明。

3)根据相似度矩阵进行聚类，获取聚类结果。

本实施例中，根据第一网络模型输出的相似度矩阵对训练数据集合中的训练图像进行聚类，获得聚类结果，即获取聚类生成的簇。具体地，将相似度满足预设条件的训练图像聚合成一个簇，从而获得多个簇。其中，属于同一簇的训练图像表明包括同一行人。例如图2所示的示意图，根据第一网络模型输出的相似度矩阵聚类成c1、c2、c3、c4…等多个簇。

4)根据聚类结果确定目标域数据集合。

本实施例中，当获取聚类生成的多个簇时，其中，簇的数量M大于等于m。针对每个簇，从该簇中选择一张训练图像作为查询图像，根据相似度从大到小的顺序选择该查询图像对应的n张训练图像。如果M大于m，则从中选择m个簇，以及每个簇对应的n张训练图像，从而构成目标域数据集合。具体地，可以根据每个簇所包括的训练图像数量从M个簇中选择m个簇。例如，将包括预设范围数量的训练图像的簇作为被选择的簇，去掉包括训练图像数量较大的簇(可能存在较大噪声)以及包括训练图像数量较小的簇(样本数量较小，影响模型生成的准确性)。

S102：将目标域数据集合分别输入第一网络模型、第一平滑网络模型，获取第一网络模型输出的第一相似度矩阵和第一平滑网络模型输出的第二相似度矩阵。

当通过S101获取目标域数据集合后，将该目标域数据集合分别输入第一网络模型、第一平滑网络模型，从而获取第一网络模型输出的第一相似度矩阵和第一平滑网络模型输出的第二相似度矩阵。其中，第一平滑网络模型是根据多次迭代所产生的第一网络模型融合生成的。具体地，获取每次迭代所对应的第一网络模型的参数，将多次迭代对应的参数进行加权求和获得第一平滑网络模型的参数。

其中，第一网络模型在获取到目标域数据集合，通过以下方式输出第一相似度矩阵：获取目标域数据集合对应的第一特征矩阵；计算该第一特征矩阵中各个特征之间的相似度获取第一相似度矩阵。也就是，第一网络模型在获取到目标域数据集合后，提取该目标域数据集合中各张训练图像对应的图像特征，从而构成第一特征矩阵。然后，根据第一特征矩阵计算该矩阵中任意两个特征之间的相似度，从而获取第一相似度矩阵。

同理，对于第一平滑网络模型输出第二相似度矩阵可以包括：获取目标域数据集合对应的第二特征矩阵；计算该第二特征矩阵中各个特征之间的相似度获取第二相似度矩阵。即，第一平滑网络模型在获取到目标域数据集合后，提取该目标域数据集合中各张训练图像对应的图像特征，从而构成第二特征矩阵。然后，根据第二特征矩阵计算该矩阵中任意两个特征之间的相似度，从而获取第二相似度矩阵。

其中，任意两张图像的图像特征之间的相似度可以为两个图像特征之间的距离，距离越小，相似度越大。该距离可以包括欧氏距离、余弦距离等。

具体地，初次迭代对应的第一网络模型是根据源域数据集合以及该源域数据集合对应的分类标签训练生成的，具体训练过程包括：提取源域数据集合中各个训练图像对应的图像特征，获取特征矩阵；根据特征矩阵以及源域数据集合对应的分类标签，生成第一网络模型。

可以理解的是，初次迭代时对应的第一平滑网络模型与初次迭代时对应的第一网络模型为同一模型。在后续迭代过程中，第一平滑网络模型是由多次迭代产生的第一网络模型的参数经加权和确定的。例如，初始的第一网络模型为Model1.0、初始的第一平滑网络模型为Model1.0；第一次迭代后，第一网络模型为Model1.1、第一平滑网络模型为a1*Model1.0+b1*Model1.1；第二次迭代后，第一网络模型为Model1.2、第一平滑网络模型为a1*Model1.0+b1*Model1.1+c1*Model1.2…。

可以理解的是，在初始训练时，第一网络模型输出的第一相似度矩阵和第一平滑网络模型输出的第二相似度矩阵可能是相同的。在后续训练过程中，由于第一平滑网络模型与第一网络模型不相同，二者输出的相似度矩阵不相同。且由于第一平滑网络模型的参数变化幅度较小，该第一平滑网络模型的输出结果更稳定，对噪声标签鲁棒性较高。另外，第一平滑网络模型是由多次迭代第一网络模型时序平滑得到的，第一平滑网络模型和第一网络模型存在差异，可以作为互补信号，因此，利用第一平滑网络模型的输出结果监督第一网络模型。

S103：根据第一相似度矩阵和第二相似度矩阵更新第一网络模型的参数，将更新后的第一网络模型作为第一网络模型，同时更新第一平滑网络模型，将目标域数据集合输入更新后的第一网络模型和更新后的第一平滑网络模型，直至第一网络模型满足预设条件。其中，第一网络模型满足预设条件可以为第一网络模型的损失函数收敛，或者利用验证集对该第一网络模型的输出结果进行验证，该第一网络模型的输出结果与验证集的全部或预设数量分类标签匹配。

本实施例中，当分别获取第一网络模型输出的第一相似度矩阵和第一平滑网络模型输出的第二相似度矩阵后，根据第一相似度矩阵和第二相似度矩阵更新第一网络模型的参数，获取更新后的第一网络模型。由于第一平滑网络模型是由多次迭代的第一网络模型融合生成的，则此时第一平滑网络模型也将进行更新。当获取更新后的第一网络模型和更新后的第一平滑网络模型，重复执行上述操作，直至获得的第一网络模型的损失函数最小。此时，第一网络模型或第一平滑网络模型即为训练完成的网络模型。当应用于行人重识别场景时，第一网络模型或第一平滑网络模型可以为行人重识别网络模型。

在一些可能的实现方式中，根据第一相似度矩阵和第二相似度矩阵更新第一网络模型的参数，具体可以包括：

1)根据第二相似度矩阵确定目标图像对应的正样本图像和负样本图像。

本实施例中，首先将目标域数据集合中的每一种图像作为目标图像，并根据第二相似度矩阵确定该目标图像对应的正样本图像和负样本图像。具体地，当确定出目标图像后，从第二相似度矩阵中选择与目标图像相似度最大的图像作为正样本图像。其中，正样本图像表示该图像中包括的行人与目标图像中包括的行人为同一人。同理，从第二相似度矩阵中选择与目标图像相似度最小的图像作为负样本图像。其中，负样本图像表示该图像中包括的行人与目标图像中包括的行人为不同的人。

对于每一张目标图像，均进行上述操作，获取该目标图像对应的正样本图像和负样本图像。

2)根据正样本图像和负样本图像从第一相似度矩阵中获取对应的第一相似度和第二相似度。

当确定出某一目标图像对应的正样本图像和负样本图像后，根据该正样本图像和负样本图像从第一相似度矩阵中获取对应的第一相似度和第二相似度。例如，目标图像为a1，确定的正样本图像为p1、负样本图像为q2，则从第一相似度矩阵中查找目标图像a1与正样本图像p1的相似度作为第一相似度k1，从第一相似度矩阵中查找目标图像a1与负样本图像q2的相似度作为第二相似度k2。针对任一目标图像，均从第一相似度矩阵中查找对应的第一相似度和第二相似度。

3)根据所有目标图像各自对应的第一相似度和第二相似度计算损失函数，以最小化损失函数为目标更新第一网络模型的参数。

当获取到所有目标图像各自对应的第一相似度和第二相似度后，计算获得损失函数，以最小化损失函数为目标更新第一网络模型的参数，直至第一网络模型收敛。

具体地，损失函数的具体表达式如下：

其中，Lth标识损失函数的值，batch表示目标域数据集合，α表示目标图像，h为预先设定的阈值，maxd_a,p表示目标图像与正样本图像的最大距离，即第一相似度，maxd_a,q表示目标图像与负样本图像的最小距离，即第二相似度。

具体地，以最小化损失函数为目标更新第一网络模型的参数可以包括：获取损失函数对第一网络模型的参数的梯度；按照该梯度的负方向对第一网络模型的参数进行更新。

当完成对第一网络模型的的参数更新后，获得更新后的第一网络模型以及更新的第一平滑网络模型，则重复执行S101-S103，直至第一网络模型的损失函数收敛，完成训练过程，此时的第一网络模型即为行人重识别网络模型。

方法实施例一中介绍了当第一平滑网络模型是根据多次迭代的第一网络模型加权融合时，对应的行人重识别网络模型训练过程。第一平滑网络模型还可以为根据多次迭代的第二网络模型的参数加权融合获得。其中，第一网络模型和第二网络模型为不同的网络模型，但二者具有相关性，具体为，第一网络模型和第二网络模型各自对应的初始网络模型具有相同的初始参数，或者训练第一网络模型和第二网络模型各自对应的初始网络模型时所使用的源域数据集合相同。也就是，当第一网络模型对应的初始网络模型和第二网络模型对应的初始网络模型具有相同的初始参数时，训练各自初始网络模型时所使用的源域数据集合不同。其中，所使用的源域数据集合不同可以为两个源域数据集合完全不同，还可以为其中一个源域数据集合为另一个源域数据集合的子集，还可以为一个源域数据集合为另一个源域数据集合经过数据增强处理后的数据集合等。

需要说明的是，当第一平滑网络模型根据多次迭代的第二网络模型融合生成时，且由于第一平滑网络模型的参数变化幅度较小，该第一平滑网络模型的输出结果更稳定，对噪声标签鲁棒性较高。另外，第一平滑网络模型是由多次迭代第二网络模型时序平滑得到的，第一平滑网络模型和第一网络模型存在差异，可以作为互补信号，因此，利用第一平滑网络模型的输出结果监督第一网络模型。

下面将结合附图对第二网络模型的迭代过程进行说明。

方法实施例二

参见图3，该图为本申请实施例提供的第二网络模型生成方法流程图，如图3所示，该方法可以包括：

S301：获取目标域数据集合。

其中，关于S301的具体实现可以参见上述S101，本实施例在此不再赘述。

S302：将目标域数据集合分别输入第二网络模型、第二平滑网络模型，获取第二网络模型输出的第三相似度矩阵和第二平滑网络模型输出的第四相似度矩阵。

当获取目标域数据集合后，将目标域数据集合输入第二网络模型，获得第三相似度矩阵；输入第二平滑网络模型获得第四相似度矩阵。其中，第二平滑网络模型是由多个网络模型融合生成的。需要说明的是，在实际应用中，也可以先对目标域数据集合进行数据增强处理，将处理后的目标域数据集合输入第二网络模型以及第二平滑模型。即，在训练第二网络模型时，可以利用增强数据处理后的目标域数据集合进行训练，从而增加第二网络模型的泛化性。

具体地，第二平滑网络模型可以由多次迭代生成的第二网络模型融合生成的，也可以由多次迭代生成的第一网络模型融合生成的。其中，关于第一网络模型的迭代过程可以参见上述方法实施例。

其中，第二网络模型在获取到目标域数据集合，通过以下方式输出第三相似度矩阵：获取该目标域数据集合对应的第三特征矩阵；计算该第三特征矩阵中各个特征之间的相似度获取第三相似度矩阵。也就是，第二网络模型在获取到目标域数据集合后，提取该目标域数据集合中各张训练图像对应的图像特征，从而构成第三特征矩阵。然后，根据第三特征矩阵计算该矩阵中任意两个特征之间的相似度，从而获取第三相似度矩阵。

同理，对于第二平滑网络模型输出第四相似度矩阵可以包括：获取目标域数据集合对应的第四特征矩阵；计算该第二特征矩阵中各个特征之间的相似度获取第四相似度矩阵。即，第二平滑网络模型在获取到目标域数据集合后，提取该目标域数据集合中各张训练图像对应的图像特征，从而构成第四特征矩阵。然后，根据第四特征矩阵计算该矩阵中任意两个特征之间的相似度，从而获取第四相似度矩阵。

其中，任意两张图像的图像特征之间的相似度可以为两个图像特征之间的距离，距离越小，相似度越大。该距离可以包括欧氏距离、余弦距离等。

可以理解的是，当第二平滑网络模型是由多次迭代的第二网络模型融合生成时，初次迭代时对应的第二平滑网络模型与初次迭代时对应的第二网络模型为同一模型。在后续迭代过程中，第二平滑网络模型是由多次迭代产生的第二网络模型的参数经加权和确定的。例如，初始的第二网络模型为Model2.0、初始的第一平滑网络模型为Model2.0；第一次迭代后，第二网络模型为Model2.1、第二平滑网络模型为a2*Model2.0+b2*Model2.1；第二次迭代后，第二网络模型为Model2.2、第二平滑网络模型为a2*Model2.0+b2*Model2.1+c2*Model2.2…。

当第二平滑网络模型由多次迭代的第一网络模型融合生成时，初次迭代时对应的第二平滑网络模型为Model1.0，第二网络模型为Model2.0，第一次迭代后，第二平滑网络模型为a2*Model1.0+b2*Model1.1，第二网络模型为Model2.1；第二次迭代后，第二平滑网络模型为a2*Model1.0+b2*Model1.1+c2*Model1.2，第二网络模型为Model2.2。

可以理解的是，在初始训练时，第二网络模型输出的第三相似度矩阵和第二平滑网络模型输出的第四相似度矩阵可能是相同的。在后续训练过程中，由于第二平滑网络模型与第二网络模型不相同，二者输出的相似度矩阵不相同。且由于第二平滑网络模型的参数变化幅度较小，该第二平滑网络模型的输出结果更稳定，对噪声标签鲁棒性较高。另外，第二平滑网络模型是由多次迭代第一网络模型或第二网络模型时序平滑得到的，第二平滑网络模型和第二网络模型存在差异，可以作为互补信号，因此，利用第二平滑网络模型的输出结果监督第二网络模型。

S303：根据第三相似度矩阵和第四相似度矩阵更新第二网络模型的参数，将更新后的第二网络模型作为第二网络模型，重新将目标域数据集合输入第二网络模型、第二平滑网络模型，直至第二网络模型满足预设条件。

本实施例中，当分别获取第二网络模型输出的第三相似度矩阵和第二平滑网络模型输出的第四相似度矩阵后，根据第三相似度矩阵和第四相似度矩阵更新第二网络模型的参数，获取更新后的第二网络模型。此时，第一平滑网络模型也将进行更新。当获取更新后的第二网络模型和更新后的第二平滑网络模型，重复执行上述操作，直至获得的第二网络模型满足预设条件，训练完成。其中，第二网络模型满足预设条件可以为第二网络模型的损失函数收敛，或者利用验证集对该第二网络模型的输出结果进行验证，该第二网络模型的输出结果与验证集的全部或预设数量分类标签匹配。

需要说明的是，在该种情况下，训练获得的第一网络模型、第二网络模型、第一平滑网络模型和第二平滑网络模型均可以作为最终的网络模型。当应用于行人重识别场景时，上述4个网络模型均可以作为行人重识别网络模型。

其中，根据第三相似度矩阵和第四相似度矩阵更新第二网络模型的参数，可以包括：根据第四相似度矩阵确定目标图像对应的正样本图像和负样本图像；根据正样本图像和负样本图像从第三相似度矩阵中获取对应的第三相似度和第四相似度；根据所有目标图像各自对应的第三相似度和第四相似度计算损失函数，以最小化损失函数为目标更新第二网络模型的参数。其中，该操作的具体实现可以参见上述S103所对应的内容。

也就是，本申请实施例可以利用源域数据集合以及源域数据集合对应的分类标签训练获得第一网络模型，然后利用目标域数据集合对第一网络模型进行多次迭代，将多次迭代产生的第一网络模型进行融合生成的第一平滑网络模型对每次迭代过程中第一网络模型输出的结果进行监督，直至第一网络模型满足预设条件，从而获得行人重识别网络模型。

本申请实施例也可以先利用源域数据集合以及源域数据集合对应的分类标签训练获得第一网络模型，再对源域数据集合进行数据增强处理，获得处理后的源域数据集合。利用处理后的源域数据集合以及源域数据集合对应的分类标签训练获得第二网络模型。利用目标域数据集合对第一网络模型和第二网络模型进行训练，将迭代产生的第二网络模型进行加权融合获得第一平滑网络模型，利用该第一平滑网络模型的输出结果对第一网络模型的输出结果进行监督。

同理，将迭代产生的第一网络模型进行加权融合获得第二平滑网络模型，利用第二平滑网络模型的输出结果对第二网络模型的输出结果进行监督。

为便于理解，参见图4所示框架图，该图中包括第一网络模型Model1和第二网络模型Model2，以及监督第一网络模型的第一平滑网络模型，该第一平滑网络模型是根据多次迭代产生的第二网络模型融合生成的。监督第二网络模型的第二平滑网络模型，该第二平滑网络模型是根据多次迭代产生的第一网络模型融合生成的。需要说明的时，在图4所示的场景下，在训练时，需要将目标域数据集合同时输入4个网络模型中。

当通过方法实施例一和方法实施例二训练生成行人重识别网络模型后，可以利用该行人重识别网络模型进行识别。

方法实施例三

参见图5，该图为本申请实施例提供的一种行人重识别方法流程图，如图5所示，该方法可以包括：

S501：获取查询图像，该查询图像包括待识别行人。

首先获取所要查询的行人的图像，即查询图像。

S502：将查询图像输入行人重识别网络模型，获取目标相似度矩阵。

当获取查询图像后，将该查询图像输入预先训练生成的行人重识别网络模型中，获取该模型输出的目标相似度矩阵。其中，目标相似度矩阵为包括目标特征与特征库中各个特征的相似度，目标特征是指行人重识别网络模型提取的查询图像的图像特征。其中，行人重识别网络模型为根据上述方法实施例训练生成的。

具体地，行人重识别网络模型在获取到查询图像后，从该查询图像中提取目标特征，并计算该目标特征与特征库中的各个特征的相似度，获取相似度矩阵。

S503：将相似度最大对应的特征对应的分类标签确定为待识别行人的分类标签。

当获取相似度矩阵后，通过排序查找到与该目标特征相似度最大的特征，并将该特征对应的分类标签确定为该待识别行人的分类标签。

基于上述方法实施例，本申请实施例还提供了进行行人重识别网络模型训练的装置以及进行行人重识别的装置，下面将分别结合附图进行说明。

装置实施例一

参见图6，该图为本申请实施例提供的一种网络模型生成装置结构图，如图6所示，该装置可以包括：

第一获取单元601，用于获取目标域数据集合，所述目标域数据集合包括M张训练图像，所述M张图像中包括m个行人对应的图像，其中，M和m均为大于1的正整数且所述m小于等于M；

第二获取单元602，用于将所述目标域数据集合分别输入第一网络模型、第一平滑网络模型，获取所述第一网络模型输出的第一相似度矩阵和所述第一平滑网络模型输出的第二相似度矩阵，所述第一网络模型是根据源域数据集合以及所述源域数据集合对应的分类标签训练生成的，所述第一平滑网络模型是由多个网络模型融合生成的；

更新单元603，用于根据所述第一相似度矩阵和所述第二相似度矩阵更新所述第一网络模型的参数；

生成单元604，用于将更新后的第一网络模型作为第一网络模型，重新将所述目标域数据集合输入第一网络模型、第一平滑网络模型，直至第一网络模型满足预设条件。

在一种可能的实现方式中，所述第一获取单元，包括：第一获取子单元和第一计算子单元；

所述第一获取子单元，用于获取所述目标域数据集合对应的第一特征矩阵；

所述第一计算子单元，用于计算所述第一特征矩阵中各个特征之间的相似度获取第一相似度矩阵；

所述第一获取子单元，还用于获取所述目标域数据集合对应的第二特征矩阵；

所述第一计算子单元，还用于计算所述第二特征矩阵中各个特征之间的相似度获取第二相似度矩阵。

在一种可能的实现方式中，所述更新单元，包括：

确定子单元，用于根据所述第二相似度矩阵确定目标图像对应的正样本图像和负样本图像，所述目标图像为所述目标域数据集合中的任一张图像；

第二获取子单元，用于根据所述正样本图像和所述负样本图像从所述第一相似度矩阵中获取对应的第一相似度和第二相似度；

更新子单元，用于根据所有所述目标图像各自对应的所述第一相似度和所述第二相似度计算损失函数，以最小化损失函数为目标更新所述第一网络模型的参数。

在一种可能的实现方式中，所述更新子单元，具体用于获取所述损失函数对所述第一网络模型的参数的梯度；按照所述梯度的负方向对所述第一网络模型的参数进行更新。

在一种可能的实现方式中，所述第一平滑网络模型是根据多次迭代所产生的第一网络模型融合生成的。

在一种可能的实现方式中，所述第一平滑网络模型是根据多次迭代所产生的第二网络模型融合生成的，所述第一网络模型和所述第二网络模型各自对应的初始网络模型具有相同的初始参数，或训练所述第一网络模型和所述第二网络模型各自对应的初始网络模型时所使用的源域数据集合相同。

在一种可能的实现方式中，所述第二网络模型迭代过程包括：

将所述目标域数据集合分别输入第二网络模型、第二平滑网络模型，获取所述第二网络模型输出的第三相似度矩阵和所述第二平滑网络模型输出的第四相似度矩阵，其中，第二平滑网络模型是由多个网络模型融合生成的；

根据所述第三相似度矩阵和所述第四相似度矩阵更新所述第二网络模型的参数，将更新后的第二网络模型作为第二网络模型，重新将所述目标域数据集合输入第二网络模型、第二平滑网络模型，直至第二网络模型满足预设条件。

在一种可能的实现方式中，所述第二平滑网络模型是根据多次迭代所产生的第二网络模型融合生成的。

在一种可能的实现方式中，所述第二平滑网络模型是根据多次迭代所产生的第一网络模型融合生成的。

需要说明的是，本实施例中各个单元的实现可以参见上述方法实施例，本实施例在此不再赘述。

装置实施例二

参见图7，该图为本申请实施例提供的一种行人重识别装置结构图，如图7所示，该装置可以包括：

第三获取单元701，用于获取查询图像，所述查询图像包括待识别行人；

第四获取单元702，用于将所述查询图像输入行人重识别网络模型，获取目标相似度矩阵，所述目标相似度矩阵为包括目标特征与特征库中各个特征的相似度，所述行人重识别网络模型为根据所述的方法训练生成的；

确定单元703，用于将相似度最大对应的特征矩阵对应的分类标签确定为所述待识别行人的分类标签。

需要说明的是，本实施例中各个单元的实现可以参见上述方法实施例，本实施例在此不再赘述。

通过本申请实施例提供的方法，在新的应用场景下训练行人重识别网络模型时，无需对新场景下的目标域数据进行人工标注的情况下，仍可以训练新场景下的行人重识别网络模型，提高网络模型训练的效率。同时，本申请实施例利用多个网络模型融合生成的第一平滑网络模型对第一网络模型的输出结果进行监督，保证训练的准确性。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种网络模型生成方法，其特征在于，所述方法包括：

获取目标域数据集合，所述目标域数据集合包括M张训练图像，所述M张图像中包括m个行人对应的图像，其中，所述M和所述m均为大于1的正整数且所述m不大于所述M；

将所述目标域数据集合分别输入第一网络模型、第一平滑网络模型，获取所述第一网络模型输出的第一相似度矩阵和所述第一平滑网络模型输出的第二相似度矩阵，所述第一网络模型是根据源域数据集合以及所述源域数据集合对应的分类标签训练生成的，所述第一平滑网络模型是由多个网络模型融合生成的；

根据所述第一相似度矩阵和所述第二相似度矩阵更新所述第一网络模型的参数，将更新后的第一网络模型作为第一网络模型，重新将所述目标域数据集合输入第一网络模型、第一平滑网络模型，直至第一网络模型满足预设条件。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一网络模型输出的第一相似度矩阵，包括：

获取所述目标域数据集合对应的第一特征矩阵；

计算所述第一特征矩阵中各个特征之间的相似度获取第一相似度矩阵；

所述获取所述第一平滑网络模型输出的第二相似度矩阵，包括：

获取所述目标域数据集合对应的第二特征矩阵；

计算所述第二特征矩阵中各个特征之间的相似度获取第二相似度矩阵。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一相似度矩阵和所述第二相似度矩阵更新所述第一网络模型的参数，包括：

根据所述第二相似度矩阵确定目标图像对应的正样本图像和负样本图像，所述目标图像为所述目标域数据集合中的任一张图像；

根据所述正样本图像和所述负样本图像从所述第一相似度矩阵中获取对应的第一相似度和第二相似度；

根据所有所述目标图像各自对应的所述第一相似度和所述第二相似度计算损失函数，以最小化损失函数为目标更新所述第一网络模型的参数。

4.根据权利要求1所述的方法，其特征在于，所述第一平滑网络模型是根据多次迭代所产生的第一网络模型融合生成的。

5.根据权利要求1所述的方法，其特征在于，所述第一平滑网络模型是根据多次迭代所产生的第二网络模型融合生成的，所述第一网络模型和所述第二网络模型各自对应的初始网络模型具有相同的初始参数，或训练所述第一网络模型和所述第二网络模型各自对应的初始网络模型时所使用的源域数据集合相同。

6.根据权利要求5所述的方法，其特征在于，所述第二网络模型迭代过程包括：

将所述目标域数据集合分别输入第二网络模型、第二平滑网络模型，获取所述第二网络模型输出的第三相似度矩阵和所述第二平滑网络模型输出的第四相似度矩阵，其中，第二平滑网络模型是由多个网络模型融合生成的；

根据所述第三相似度矩阵和所述第四相似度矩阵更新所述第二网络模型的参数，将更新后的第二网络模型作为第二网络模型，重新将所述目标域数据集合输入第二网络模型、第二平滑网络模型，直至第二网络模型满足预设条件。

7.根据权利要求6所述的方法，其特征在于，所述第二平滑网络模型是根据多次迭代所产生的第二网络模型融合生成的。

8.根据权利要求6所述的方法，其特征在于，所述第二平滑网络模型是根据多次迭代所产生的第一网络模型融合生成的。

9.一种行人重识别方法，其特征在于，所述方法包括：

获取查询图像，所述查询图像包括待识别行人；

将所述查询图像输入行人重识别网络模型，获取目标相似度矩阵，所述目标相似度矩阵为包括目标特征与特征库中各个特征的相似度，所述行人重识别网络模型为根据权利要求1-8任一项所述的方法训练生成的；

将相似度最大对应的特征矩阵对应的分类标签确定为所述待识别行人的分类标签。

10.一种网络模型生成装置，其特征在于，所述装置包括：

第一获取单元，用于获取目标域数据集合，所述目标域数据集合包括M张训练图像，所述M张图像中包括m个行人对应的图像，其中，M和m均为大于1的正整数且所述m不大于所述M；

第二获取单元，用于将所述目标域数据集合分别输入第一网络模型、第一平滑网络模型，获取所述第一网络模型输出的第一相似度矩阵和所述第一平滑网络模型输出的第二相似度矩阵，所述第一网络模型是根据源域数据集合以及所述源域数据集合对应的分类标签训练生成的，所述第一平滑网络模型是由多个网络模型融合生成的；

更新单元，用于根据所述第一相似度矩阵和所述第二相似度矩阵更新所述第一网络模型的参数；

生成单元，用于将更新后的第一网络模型作为第一网络模型，重新将所述目标域数据集合输入第一网络模型、第一平滑网络模型，直至第一网络模型满足预设条件。

11.一种行人重识别装置，其特征在于，所述装置包括：

第三获取单元，用于获取查询图像，所述查询图像包括待识别行人；

第四获取单元，用于将所述查询图像输入行人重识别网络模型，获取目标相似度矩阵，所述目标相似度矩阵为包括目标特征与特征库中各个特征的相似度，所述行人重识别网络模型为根据权利要求1-8任一项所述的方法训练生成的；

确定单元，用于将相似度最大对应的特征矩阵对应的分类标签确定为所述待识别行人的分类标签。