CN114299442A - 一种行人重识别方法、系统、电子设备及存储介质 - Google Patents

一种行人重识别方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN114299442A
CN114299442A CN202111344388.3A CN202111344388A CN114299442A CN 114299442 A CN114299442 A CN 114299442A CN 202111344388 A CN202111344388 A CN 202111344388A CN 114299442 A CN114299442 A CN 114299442A
Authority
CN
China
Prior art keywords
model
pedestrian
identification
auxiliary training
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111344388.3A
Other languages
English (en)
Inventor
王立
郭振华
范宝余
赵雅倩
李仁刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202111344388.3A priority Critical patent/CN114299442A/zh
Publication of CN114299442A publication Critical patent/CN114299442A/zh
Priority to PCT/CN2022/090217 priority patent/WO2023082561A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种行人重识别方法，所述行人重识别方法包括：构建基于卷积神经网络的辅助训练模型和目标模型；确定辅助训练模型和目标模型的损失函数，并利用损失函数训练辅助训练模型和目标模型；在辅助训练模型训练完毕后，将辅助训练模型的知识迁移至目标模型，得到行人重识别模型；向行人重识别模型输入行人图像，得到行人图像的嵌入层特征；将行人图像的嵌入层特征与待查询图像的嵌入层进行相似度比对，并根据相似度比对结果输出行人重识别结果。本申请能够如何在不提高参数量和计算量的前提下，提高行人重识别的准确率。本申请还公开了一种行人重识别系统、一种电子设备及一种存储介质，具有以上有益效果。

Description

一种行人重识别方法、系统、电子设备及存储介质
技术领域
本申请涉及深度学习技术领域，特别涉及一种行人重识别方法、系统、一种电子设备及一种存储介质。
背景技术
深度学习技术可以解决图片分类、图像分割和物体检测等计算机视觉领域的问题。随着深度学习技术的不断发展，行人重识别技术也取得了长足的进步。
行人重识别(Re-ID)是一种重要的图像识别技术，行人重识别对分布在不同位置的摄像头进行搜索来确定不同摄像头视野中的行人是否是同一个行人。为了进一步提高网络性能，相关技术通常通过构建更为复杂的网络结构提高行人重识别技术的准确率。但是，更深、更宽或更为复杂的网络通常会带来参数量和计算量的激增，参数量的增加不利于便携式设备的存储与部署，计算量的增加不利于在实时性要求较高的场景中应用。
因此，如何在不提高参数量和计算量的前提下，提高行人重识别的准确率是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种行人重识别方法、系统、一种电子设备及一种存储介质，能够在不提高参数量和计算量的前提下，提高行人重识别的准确率。
为解决上述技术问题，本申请提供一种行人重识别方法，该行人重识别方法包括：
构建基于卷积神经网络的辅助训练模型和目标模型；
确定所述辅助训练模型和所述目标模型的损失函数，并利用所述损失函数训练所述辅助训练模型和所述目标模型；
在所述辅助训练模型训练完毕后，将所述辅助训练模型的知识迁移至所述目标模型，得到行人重识别模型；
向所述行人重识别模型输入行人图像，得到所述行人图像的嵌入层特征；
将所述行人图像的嵌入层特征与待查询图像的嵌入层进行相似度比对，并根据相似度比对结果输出行人重识别结果。
可选的，构建基于卷积神经网络的辅助训练模型和目标模型，包括：
构建包括至少两个卷积神经网络的所述辅助训练模型，构建包括至少两个卷积神经网络的所述目标模型；
或，利用包括至少两个头部网络的卷积神经网络构建所述辅助训练模型，利用包括至少两个头部网络的卷积神经网络构建所述目标模型；
其中，所述头部网络包括池化层、embedding层、全连接层、输出层和 softmax层。
可选的，确定所述辅助训练模型和所述目标模型的损失函数，包括：
计算每一所述卷积神经网络的交叉熵损失函数；
对所述卷积神经网络的嵌入层特征进行相似性比对，得到特征相似性损失函数；
根据所述卷积神经网络的嵌入层特征的类中心确定类中心损失函数；
按照预设规则对所述嵌入层特征的类中心的位置进行约束，得到对类中心距离进行约束的损失函数；
根据所述交叉熵损失函数、所述特征相似性损失函数、所述类中心损失函数、以及所述对类中心距离进行约束的损失函数确定所述辅助训练模型和所述目标模型的损失函数。
可选的，还包括：
对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算，得到更新后的类中心。
可选的，在对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算之前，还包括：
判断所述当前输出的嵌入层特征对应的特征分类是否正确；
若是，则进入对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算的步骤。
可选的，所述按照预设规则对所述嵌入层特征的类中心的位置进行约束，得到对类中心距离进行约束的损失函数，包括：
通过艰难样本挖掘的方法计算所有类中心的最小类间差，得到所述嵌入层特征的类中心的位置信息；
根据所述位置信息生成所述对类中心距离进行约束的损失函数。
可选的，所述构建基于卷积神经网络的辅助训练模型和目标模型，包括：
按照预设规则构建基于卷积神经网络的所述辅助训练模型和所述目标模型；其中，所述预设规则为所述辅助训练模型的模型复杂度高于所述目标模型的模型复杂度。
本申请还提供了一种行人重识别系统，该系统包括：
模型构建模块，用于构建基于卷积神经网络的辅助训练模型和目标模型；
模型训练模块，用于确定所述辅助训练模型和所述目标模型的损失函数，并利用所述损失函数训练所述辅助训练模型和所述目标模型；
知识迁移模块，用于在所述辅助训练模型训练完毕后，将所述辅助训练模型的知识迁移至所述目标模型，得到行人重识别模型；
特征提取模块，用于向所述行人重识别模型输入行人图像，得到所述行人图像的嵌入层特征；
行人重识别模块，用于将所述行人图像的嵌入层特征与待查询图像的嵌入层进行相似度比对，并根据相似度比对结果输出行人重识别结果。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述行人重识别方法执行的步骤。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述行人重识别方法执行的步骤。
本申请提供了一种行人重识别方法，包括：构建基于卷积神经网络的辅助训练模型和目标模型；确定所述辅助训练模型和所述目标模型的损失函数，并利用所述损失函数训练所述辅助训练模型和所述目标模型；在所述辅助训练模型训练完毕后，将所述辅助训练模型的知识迁移至所述目标模型，得到行人重识别模型；向所述行人重识别模型输入行人图像，得到所述行人图像的嵌入层特征；将所述行人图像的嵌入层特征与待查询图像的嵌入层进行相似度比对，并根据相似度比对结果输出行人重识别结果。
本申请构建基于卷积神经网络的辅助训练模型和目标模型，并确定辅助训练模型和目标模型的损失函数，进而利用损失函数训练辅助训练模型和目标模型。在辅助训练模型训练完毕后，本申请通过知识迁移的方式将辅助训练模型中学习的知识迁移至目标模型，得到行人重识别模型。由于行人重识别模型中包括辅助训练模型和目标模型学习到知识，能够在不需要额外推理代价的前提下来提高行人重识别模型的准确率。因此，本申请能够在不提高参数量和计算量的前提下，提高行人重识别的准确率。本申请同时还提供了一种行人重识别系统、一种电子设备和一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种行人重识别方法的流程图；
图2为本申请实施例所提供的第一种模型示意图；
图3为本申请实施例所提供的第二种模型示意图；
图4为本申请实施例所提供的一种模型保留结果示意图；
图5为本申请实施例所提供的一种行人重识别应用示意图；
图6为本申请实施例所提供的一种行人重识别系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种行人重识别方法的流程图。
具体步骤可以包括：
S101：构建基于卷积神经网络的辅助训练模型和目标模型；
其中，本实施例可以基于知识监督学习的思想建立包括一个或多个卷积神经网络的辅助训练模型和目标模型，上述卷积神经网络之间通过相互之间的监督学习，实现知识迁移进而提高各个模型的泛化能力。
作为一种可行的实施方式，本申请可以通过以下方式构建基于卷积神经网络的辅助训练模型和目标模型：构建包括至少两个卷积神经网络的所述辅助训练模型，构建包括至少两个卷积神经网络的所述目标模型；或，利用包括至少两个头部网络的卷积神经网络构建所述辅助训练模型，利用包括至少两个头部网络的卷积神经网络构建所述目标模型；其中，所述头部网络包括池化层、embedding层、全连接层、输出层和softmax层。
请参见图2，图2为本申请实施例所提供的第一种模型示意图，该模型示意图给出了建立包括2个卷积神经网络的辅助训练模型和目标模型的实现方式，辅助训练模型和/或目标模型可以为图2所示的模型。如图2所示，建立 2个卷积神经网络Net1和Net2。这两个卷积神经网络可以同构，也可以异构。网络的输出通过Pooling层可以将特征图(Batchsize×Channel×H×W)降维成为一个向量，这里用e1、e2表示嵌入层特征，e1和e2的维度是Batchsize ×Channel。上述模型包括主干模型和头部模型，主干网络用于实现特征的提取，头部网络用于实现分类和损失函数的计算。头部网络包括池化层pool、 embedding层、全连接层fc、输出层和softmax层，头部网络可以利用三元组损失函数Triplet loss和交叉熵损失函数cross-entropy loss进行参数调整。
请参见图3，图3为本申请实施例所提供的第二种模型示意图，该模型示意图给出了建立包括一个卷积神经网络的辅助训练模型和目标模型的实现方式，该模型为多头的卷积神经网络(即存在多个头部网络)。
本实施例中的辅助训练模型可以为图2和图3任一种所示的模型，目标训练模型也可以为图2和图3任一种所示的模型。上述辅助训练模型的复杂度高于目标模型，可以使用模型的参数量和计算量衡量模型的复杂度。具体的，本实施例可以按照预设规则构建基于卷积神经网络的所述辅助训练模型和所述目标模型；其中，所述预设规则为所述辅助训练模型的模型复杂度高于所述目标模型的模型复杂度。
S102：确定所述辅助训练模型和所述目标模型的损失函数，并利用所述损失函数训练所述辅助训练模型和所述目标模型；
其中，本实施例中辅助训练模型和所述目标模型的损失函数可以相同，具体可以通过以下方式确定二者的损失函数：计算每一所述卷积神经网络的交叉熵损失函数；对所述卷积神经网络的嵌入层特征进行相似性比对，得到特征相似性损失函数；根据所述卷积神经网络的嵌入层特征的类中心确定类中心损失函数；按照预设规则对所述嵌入层特征的类中心的位置进行约束，得到对类中心距离进行约束的损失函数；根据所述交叉熵损失函数、所述特征相似性损失函数、所述类中心损失函数、以及所述对类中心距离进行约束的损失函数确定所述辅助训练模型和所述目标模型的损失函数。
进一步的，本实施例可以通过以下方式得到对类中心距离进行约束的损失函数：通过艰难样本挖掘的方法计算所有类中心的最小类间差，得到所述嵌入层特征的类中心的位置信息；根据所述位置信息生成对类中心距离进行约束的损失函数。
在本步骤之前还可以存在获取行人重识别的训练数据，进而利用训练数据分别对辅助训练模型和目标模型进行训练。本实施例在不增加网络在推理时的参数量和计算量的前提下，提高了神经网络在训练、推理的精度。
S103：在所述辅助训练模型训练完毕后，将所述辅助训练模型的知识迁移至所述目标模型，得到行人重识别模型；
其中，在对辅助训练模型训练完毕后，辅助训练模型已学习到关于行人重识别的知识信息，本实施例可以通过知识迁移将上述知识信息迁移至目标模型，本实施例将训练完毕、且迁移了辅助训练模型的知识的目标模型作为行人重识别模型。上述知识指网络中的特征，本实施例对同一数据的多种观点将提供额外的正则化信息，从而提高网络准确性。
S104：向行人重识别模型输入行人图像，得到行人图像的嵌入层特征；
在得到行人重识别模型后，若接收到行人重识别任务，则向行人重识别模型输入行人图像，得到每一张行人图像的嵌入层特征。
S105：将所述行人图像的嵌入层特征与待查询图像的嵌入层进行相似度比对，并根据相似度比对结果输出行人重识别结果。
其中，本实施例可以将行人图像的嵌入层特征与待查询图像的嵌入层进行相似度比对，根据相似度比对结果确定相似度最高的行人图像，以便将相似度最高的行人图像作为行人重识别结果。
本实施例构建基于卷积神经网络的辅助训练模型和目标模型，并确定辅助训练模型和目标模型的损失函数，进而利用损失函数训练辅助训练模型和目标模型。在辅助训练模型训练完毕后，本实施例通过知识迁移的方式将辅助训练模型中学习的知识迁移至目标模型，得到行人重识别模型。由于行人重识别模型中包括辅助训练模型和目标模型学习到知识，能够在不需要额外推理代价的前提下来提高行人重识别模型的准确率。因此，本实施例能够在不提高参数量和计算量的前提下，提高行人重识别的准确率。
作为对于图1对应实施例的进一步介绍，本实施例可以对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算，得到更新后的类中心。在对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算之前，还可以判断所述当前输出的嵌入层特征对应的特征分类是否正确；若是，则进入对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算的步骤；若否，则抛弃当前输出的嵌入层特征。
下面介绍上述实施例中训练模型的过程，一个卷积神经网络建立好以后需要训练使其收敛，收敛后得到训练好的网络权重。在推理过程中，预先加载网络训练好的权重系数对输入数据进行最终的分类。
本实施例的模型训练思路如下：(1)根据不同的网络结构，构建多个用于训练的网络模型，通常选择一个较大的模型(即，辅助训练模型)和一个较小的模型(即，目标模型)实现知识迁移。对所有网络模型求取交叉熵损失、互学习损失、类中心损失、类中心优化损失。其中，交叉熵损失通过交叉熵损失函数计算，互学习损失通过特征相似性损失函数计算，类中心损失通过类中心损失函数计算，类中心优化损失通过对类中心距离进行约束的损失函数。根据如上损失函数对网络进行训练使其收敛。
卷积神经网络训练过程如下：卷积神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。训练过程包括以下步骤：
步骤1、网络层权值进行初始化，一般采用随机初始化；
步骤2、输入图像数据经过卷e积层、下采样层、全连接层等各层的前向传播得到输出值；
步骤3、求出网络的输出值与目标值(标签)之间的误差：
步骤4、将误差反向传回网络中，依次求得网络各层：全连接层，卷积层等各层的反向传播误差。
步骤5、网络各层根据各层的反向传播误差对网络中的所有权重系数进行调整，即进行权重的更新。
步骤6、重新随机选取新的图像数据，然后进入到第二步，获得网络前向传播得到输出值。
步骤7、无限往复迭代，当求出网络的输出值与目标值(标签)之间的误差小于某个阈值，或者迭代次数超过某个阈值时，结束训练。
步骤8、保存训练好的所有层的网络参数，存储训练好的权重。
请参见图4，图4为本申请实施例所提供的一种模型保留结果示意图。本实施例提供的推理过程如下：去掉所有的辅助训练模型，只保留唯一一个网络模型(即目标模型)，加载预训练权重，对图像进行分类或提取图像特征。
下面通过在实际应用中的实施例说明上述实施例描述的流程。
随着深度学习的不断发展，深度学习网络在各个领域都取得了引入瞩目的表现。为了进一步提高网络性能，学者们通常通过构建更为复杂的网络结构的形式继续提高其性能。但是以该方式提高网络性能有以下缺点：(1)更深、更宽或更为复杂的网络通常会带来参数量的激增，参数量的增加不利于便携式设备的存储与部署。例如，在网络摄像头中实现实时的行人检测识别程序的部署，需要网络具有较小的参数量(便于存储)和较高的识别准确率。 (2)更深、更宽或更为复杂的网络通常会带来计算量的增加，不利于对实时性要求较高的场景应用。大的计算延迟会使整个系统错失最好的时机，给系统功能带来负面影响。因此，如何在不增加参数量和计算量的前提下，提升网络的性能成为需要解决的问题。
为解决如上问题，本实施例提出了一种基于知识监督的卷积神经网络的构造、训练、推理方法，该方法可以在不增加参数量和计算量的前提下实现知识迁移(大模型知识向小模型迁移)，最大化的挖掘网络潜能，提升网络性能。本实施例中对于同一图像的多个结果可以相互辅助，从而利用群体学习到的知识获得更准确的结果。其中，多个结果既包括最终结果，也包括中间结果。
本实施例基于知识监督学习的思想，首先建立一个或多个网络，网络之间通过相互之间的监督学习，实现知识迁移，提高各个模型的泛化能力。
在行人重识别任务中，embedding层特征是最终被用来进行特征匹配检索的，所以对其进行约束优化对行人重识别任务具有重要意义。
本实施例设计一种新的loss函数，该函数实施步骤如下：
损失函数(1)计算过程：在embedding层后面加入全连接层(fc)，获得全连接层特征，全连接层特征进行softmax归一化，最后通过交叉熵损失函数计算损失
Figure RE-GDA0003528183680000091
其中上标1代表第1个分支。
损失函数(2)计算过程：卷积神经网络Net1和卷积神经网络Net2的嵌入式特征e1、e2应具有相似性，因为其在训练过程中都支持相同的行人分类任务，在推理过程中，e1、e2会被用来进行相似性比对。因此Net1和Net2 的嵌入式特征e1、e2在功能上是相同的，应当学习到类似的特征。
Net1和Net2具有不同的网络结构和初始化权重系数，其e1、e2具有多样性，但其共性是对于行人具有优良的表达能力，为了发挥其共性优势，抑制噪声。本实施例提供了互学习机制，即：e1向e2进行学习，e2向e1进行学习，得到特征相似性损失函数Lm。
其Loss函数为：
Figure RE-GDA0003528183680000092
其中，n代表第n个输入样本，u和v代表第u网络和第v网络。该公式可以归纳如下：
对每个批次batch的所有样本进行遍历，如上所述，假设每个batch的样本包含N个样本，则遍历N次。将样本依次经过各个网络，获取样本在各个网络的embedding层输出结果。例如，对于样本xn，假设有2个网络，则共有2个embedding层输出结果
Figure RE-GDA0003528183680000101
和
Figure RE-GDA0003528183680000102
同理，若有3个网络，则有3个 embedding层输出。
对于所有网络的embedding层输出结果，进行两两遍历。例如，本实施例共有2个网络1、2。使用如上公式求取两两网络之间的特征相似性损失Le。同理，假设有个3个网络，则不重复的遍历共有3种组合：(1，2)(1，3) (2，3)，求取每种组合的特征相似性损失函数Le(u,v)。
损失函数(3)计算过程：e1、e2特征具有相似性，在相互学习过程中具有如下缺陷。例如：训练过程起始阶段，网络模型预测很不准确，其网络特征e1、e2具有较大的偏差和噪声，e1和e2之间的相互学习有可能是不准确的特征向不准确的特征进行学习，可能不会起到良好效果。为了抑制该噪声，本实施例提出一种嵌入式特征优化方式，使用特征相似性损失函数可以有效的减少嵌入式特征的噪声。具体实施方式如下：
构建特征相似性损失函数的核心思想是：各个图像的embedding层特征分别向各自的类中心去学习。因为图像样本的各类类中心是相对稳定的，可以有效的抑制embedding层特征向其它分支学习带来的偏差。学习方法为：求取所有样本各类的类中心，将所有样本xN依次输入各个网络，获得所有样本的embedding特征
Figure RE-GDA0003528183680000103
和
Figure RE-GDA0003528183680000104
其中上标1，2代表不同的分支，下标N代表共N个样本。对于每个网络的输出分别求样本的类中心，假设所有样本xN共包含C个类别(即，C个行人)，使用如下公式求取类中心：
Figure RE-GDA0003528183680000105
其中，
Figure RE-GDA0003528183680000106
代表第1个网络的embedding层特征的第c类的类中心。共有C个类中心，用
Figure RE-GDA0003528183680000107
表示。同理，对于多个网络，分别求取各个网络embedding层类中心。
Figure RE-GDA0003528183680000108
代表第1个网络的第n个样本的embedding特征，它的类别是第 c类。
对于每个样本，分别去向其样本类别所对应的embedding层类中心进行学习，最终得到的特征相似性损失函数为：
Figure RE-GDA0003528183680000109
其中，
Figure RE-GDA00035281836800001010
代表样本
Figure RE-GDA00035281836800001011
所对应的类中心。依次遍历每个网络的特征，求取各个网络的类中心损失函数
Figure RE-GDA00035281836800001012
和
Figure RE-GDA00035281836800001013
由于网络是不断迭代优化的，其样本相对于各个网络的类中心也是不断变化，通过以下方式动态更新样本各类的类中心
Figure RE-GDA0003528183680000111
其中上标u代表第u个网络。类中心的更新方式可以用先进先出堆栈的方式，求取离当前步最近的n步样本的类中心为真正的类中心。
本实施例还可以根据该embedding特征所对应的分类概率选取类中心。即：先判断使用该特征分类是否正确，在正确的情况下，才计入类中心计算。
损失函数(4)计算过程：对于各个网络，可以进一步对类中心位置进行约束，使其各类别中心能够尽量分开，从而有利于区分不同的行人特征，提高网络的可鉴别性。即使每个行人特征能够更好的分开。本实施例可以构建对类中心距离进行约束的损失函数：
Figure RE-GDA0003528183680000112
Figure RE-GDA0003528183680000113
代表第u个网络的第i类的类中心，
Figure RE-GDA0003528183680000114
代表距离
Figure RE-GDA0003528183680000115
最近的类中心。本实施例可以采用艰难样本挖掘(困难样本挖掘)的方法实现类中心求loss优化。艰难样本挖掘不是求所有类的类间差的平局值，而是求所有类的最小类间差。
本实施例将损失函数(1)～(4)联合得到总的损失函数Lloss：
Figure RE-GDA0003528183680000116
Figure RE-GDA0003528183680000117
为第一个卷积神经网络的交叉熵损失函数，
Figure RE-GDA0003528183680000118
为第二个卷积神经网络的交叉熵损失函数，Lm为第一个卷积神经网络和第二个卷积神经网络的特征相似性损失函数，
Figure RE-GDA0003528183680000119
为第一个卷积神经网络的类中心损失函数，
Figure RE-GDA00035281836800001110
为第二个卷积神经网络的交叉熵损失函数，
Figure RE-GDA00035281836800001111
为第一个卷积神经网络的对类中心距离进行约束的损失函数，
Figure RE-GDA00035281836800001112
为第二个卷积神经网络的对类中心距离进行约束的损失函数。
本实施例提供了一种多模型知识协同训练的网络结构，保护联合以上互学习损失、类中心损失、类中心优化损失损失函数进行监督学习训练。多模型知识监督训练方法通过在网络embedding层中的特征进行挖掘，提高 emebdding层特征的鉴别力，推理时删除冗余模型，因此不需要额外的推理代价来提高准确率，该方法在图像分类领域具有广阔的应用前景。
下面提供一个使用上述实施例知识协同网络训练方法训练一个模型，并将其应用到行人重识别领域中。训练过程上面已经详细说明，下面讲解推理应用具体方法：
推理时：去掉其余模型(辅助训练模型)，只保留主模型(目标模型)。请参见图5，图5为本申请实施例所提供的一种行人重识别应用示意图。图5 中conv代表卷积层，bottleneck代表瓶颈层，其中bottleneck层代表ResNet 的一种特定的网络结构。在行人重识别应用中，将输入图像1、2、3和待查询图像输入到网络中，获取其网络中embedding层特征，图像1、2、3构成行人重识别任务的查询数据集。将待查询图像也输入到网络中，获取待查询图像的embedding层特征。将待查询图像的embedding层特征与查询数据集中所有特征进行比对，比对方法就是求待查询图像的embedding层特征与查询数据集中所有特征的距离，即向量求距离，距离最小的查询数据样本与待查询图像是同一个人。
对于行人重识别任务，embedding特征的可鉴别性，直接影响着模型的最高性能。因此如何对模型embedding层特征进行挖掘，使样本能够正确的分类和判别是极为重要的。因此本发明提出一种新的embedding特征挖掘方法和多模型协同训练方法，通过建立多个神经网络模型，建立起特征挖掘的基础。通过两两模型间的embedding特征互学习、构造新型的损失函数来实现分支间的embedding挖掘。同时结合了分支内的embedding特征向各分类中心学习的损失函数，组合成为一个新的损失函数来对整个网络进行训练。
本实施例提出的训练方法不增加网络推理时的参数量和计算量，通过优化训练过程，挖掘网络的潜力，使其能够达到最优性能，从而在推理过程中表现出更好的结果。本实施例针对行人重识别任务，本发明提出一种多模型知识监督协同训练的embedding特征挖掘的方法，能够在不提高参数量和计算量的前提下，提高行人重识别的准确率。
请参见图6，图6为本申请实施例所提供的一种行人重识别系统的结构示意图，该系统可以包括：
模型构建模块601，用于构建基于卷积神经网络的辅助训练模型和目标模型；
模型训练模块602，用于确定所述辅助训练模型和所述目标模型的损失函数，并利用所述损失函数训练所述辅助训练模型和所述目标模型；
知识迁移模块603，用于在所述辅助训练模型训练完毕后，将所述辅助训练模型的知识迁移至所述目标模型，得到行人重识别模型；
特征提取模块604，用于向所述行人重识别模型输入行人图像，得到所述行人图像的嵌入层特征；
行人重识别模块605，用于将所述行人图像的嵌入层特征与待查询图像的嵌入层进行相似度比对，并根据相似度比对结果输出行人重识别结果。
本实施例构建基于卷积神经网络的辅助训练模型和目标模型，并确定辅助训练模型和目标模型的损失函数，进而利用损失函数训练辅助训练模型和目标模型。在辅助训练模型训练完毕后，本实施例通过知识迁移的方式将辅助训练模型中学习的知识迁移至目标模型，得到行人重识别模型。由于行人重识别模型中包括辅助训练模型和目标模型学习到知识，能够在不需要额外推理代价的前提下来提高行人重识别模型的准确率。因此，本实施例能够在不提高参数量和计算量的前提下，提高行人重识别的准确率。
进一步的，模型构建模块601用于构建包括至少两个卷积神经网络的所述辅助训练模型，构建包括至少两个卷积神经网络的所述目标模型；或，用于利用包括至少两个头部网络的卷积神经网络构建所述辅助训练模型，利用包括至少两个头部网络的卷积神经网络构建所述目标模型；其中，所述头部网络包括池化层、embedding层、全连接层、输出层和softmax层。
进一步的，模型训练模块602用于计算每一所述卷积神经网络的交叉熵损失函数；还用于对所述卷积神经网络的嵌入层特征进行相似性比对，得到特征相似性损失函数；还用于根据所述卷积神经网络的嵌入层特征的类中心确定类中心损失函数；还用于按照预设规则对所述嵌入层特征的类中心的位置进行约束，得到对类中心距离进行约束的损失函数；还用于根据所述交叉熵损失函数、所述特征相似性损失函数、所述类中心损失函数、以及所述对类中心距离进行约束的损失函数确定所述辅助训练模型和所述目标模型的损失函数。
进一步的，还包括：
类中心更新模块，用于对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算，得到更新后的类中心。
进一步的，还包括：
判断模块，用于在对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算之前，判断所述当前输出的嵌入层特征对应的特征分类是否正确；若是，则进入对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算的步骤。
进一步的，模型训练模块602按照预设规则对所述嵌入层特征的类中心的位置进行约束，得到对类中心距离进行约束的损失函数的过程包括：通过艰难样本挖掘的方法计算所有类中心的最小类间差，得到所述嵌入层特征的类中心的位置信息；根据所述位置信息生成对类中心距离进行约束的损失函数。
进一步的，模型构建模块601，用于按照预设规则构建基于卷积神经网络的所述辅助训练模型和所述目标模型；其中，所述预设规则为所述辅助训练模型的模型复杂度高于所述目标模型的模型复杂度。
由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种行人重识别方法，其特征在于，包括：
构建基于卷积神经网络的辅助训练模型和目标模型；
确定所述辅助训练模型和所述目标模型的损失函数，并利用所述损失函数训练所述辅助训练模型和所述目标模型；
在所述辅助训练模型训练完毕后，将所述辅助训练模型的知识迁移至所述目标模型，得到行人重识别模型；
向所述行人重识别模型输入行人图像，得到所述行人图像的嵌入层特征；
将所述行人图像的嵌入层特征与待查询图像的嵌入层进行相似度比对，并根据相似度比对结果输出行人重识别结果。
2.根据权利要求1所述行人重识别方法，其特征在于，构建基于卷积神经网络的辅助训练模型和目标模型，包括：
构建包括至少两个卷积神经网络的所述辅助训练模型，构建包括至少两个卷积神经网络的所述目标模型；
或，利用包括至少两个头部网络的卷积神经网络构建所述辅助训练模型，利用包括至少两个头部网络的卷积神经网络构建所述目标模型；
其中，所述头部网络包括池化层、embedding层、全连接层、输出层和softmax层。
3.根据权利要求2所述行人重识别方法，其特征在于，确定所述辅助训练模型和所述目标模型的损失函数，包括：
计算每一所述卷积神经网络的交叉熵损失函数；
对所述卷积神经网络的嵌入层特征进行相似性比对，得到特征相似性损失函数；
根据所述卷积神经网络的嵌入层特征的类中心确定类中心损失函数；
按照预设规则对所述嵌入层特征的类中心的位置进行约束，得到对类中心距离进行约束的损失函数；
根据所述交叉熵损失函数、所述特征相似性损失函数、所述类中心损失函数、以及所述对类中心距离进行约束的损失函数确定所述辅助训练模型和所述目标模型的损失函数。
4.根据权利要求3所述行人重识别方法，其特征在于，还包括：
对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算，得到更新后的类中心。
5.根据权利要求4所述行人重识别方法，其特征在于，在对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算之前，还包括：
判断所述当前输出的嵌入层特征对应的特征分类是否正确；
若是，则进入对最近一次确定的类中心和当前输出的嵌入层特征进行加权计算的步骤。
6.根据权利要求3所述行人重识别方法，其特征在于，所述按照预设规则对所述嵌入层特征的类中心的位置进行约束，得到对类中心距离进行约束的损失函数，包括：
通过艰难样本挖掘的方法计算所有类中心的最小类间差，得到所述嵌入层特征的类中心的位置信息；
根据所述位置信息生成所述对类中心距离进行约束的损失函数。
7.根据权利要求1至6任一项所述行人重识别方法，其特征在于，所述构建基于卷积神经网络的辅助训练模型和目标模型，包括：
按照预设规则构建基于卷积神经网络的所述辅助训练模型和所述目标模型；其中，所述预设规则为所述辅助训练模型的模型复杂度高于所述目标模型的模型复杂度。
8.一种行人重识别系统，其特征在于，包括：
模型构建模块，用于构建基于卷积神经网络的辅助训练模型和目标模型；
模型训练模块，用于确定所述辅助训练模型和所述目标模型的损失函数，并利用所述损失函数训练所述辅助训练模型和所述目标模型；
知识迁移模块，用于在所述辅助训练模型训练完毕后，将所述辅助训练模型的知识迁移至所述目标模型，得到行人重识别模型；
特征提取模块，用于向所述行人重识别模型输入行人图像，得到所述行人图像的嵌入层特征；
行人重识别模块，用于将所述行人图像的嵌入层特征与待查询图像的嵌入层进行相似度比对，并根据相似度比对结果输出行人重识别结果。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述行人重识别方法的步骤。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述行人重识别方法的步骤。
CN202111344388.3A 2021-11-15 2021-11-15 一种行人重识别方法、系统、电子设备及存储介质 Pending CN114299442A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111344388.3A CN114299442A (zh) 2021-11-15 2021-11-15 一种行人重识别方法、系统、电子设备及存储介质
PCT/CN2022/090217 WO2023082561A1 (zh) 2021-11-15 2022-04-29 一种行人重识别方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111344388.3A CN114299442A (zh) 2021-11-15 2021-11-15 一种行人重识别方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114299442A true CN114299442A (zh) 2022-04-08

Family

ID=80964180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111344388.3A Pending CN114299442A (zh) 2021-11-15 2021-11-15 一种行人重识别方法、系统、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114299442A (zh)
WO (1) WO2023082561A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082561A1 (zh) * 2021-11-15 2023-05-19 苏州浪潮智能科技有限公司 一种行人重识别方法、系统、电子设备及存储介质
CN116824695A (zh) * 2023-06-07 2023-09-29 南通大学 一种基于特征去噪的行人再识别非局部防御方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311387B (zh) * 2023-05-25 2023-09-01 浙江工业大学 一种基于特征交集的跨模态行人重识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560631A (zh) * 2020-12-09 2021-03-26 昆明理工大学 一种基于知识蒸馏的行人重识别方法
CN113111968A (zh) * 2021-04-30 2021-07-13 北京大米科技有限公司 图像识别模型训练方法、装置、电子设备和可读存储介质
CN113191461A (zh) * 2021-06-29 2021-07-30 苏州浪潮智能科技有限公司 一种图片识别方法、装置、设备及可读存储介质
CN113191338A (zh) * 2021-06-29 2021-07-30 苏州浪潮智能科技有限公司 一种行人重识别方法、装置、设备及可读存储介质
CN113255604A (zh) * 2021-06-29 2021-08-13 苏州浪潮智能科技有限公司 基于深度学习网络的行人重识别方法、装置、设备及介质
CN113297906A (zh) * 2021-04-20 2021-08-24 之江实验室 一种基于知识蒸馏的行人重识别模型压缩方法及评价方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7085812B2 (ja) * 2017-08-02 2022-06-17 キヤノン株式会社 画像処理装置およびその制御方法
CN114299442A (zh) * 2021-11-15 2022-04-08 苏州浪潮智能科技有限公司 一种行人重识别方法、系统、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560631A (zh) * 2020-12-09 2021-03-26 昆明理工大学 一种基于知识蒸馏的行人重识别方法
CN113297906A (zh) * 2021-04-20 2021-08-24 之江实验室 一种基于知识蒸馏的行人重识别模型压缩方法及评价方法
CN113111968A (zh) * 2021-04-30 2021-07-13 北京大米科技有限公司 图像识别模型训练方法、装置、电子设备和可读存储介质
CN113191461A (zh) * 2021-06-29 2021-07-30 苏州浪潮智能科技有限公司 一种图片识别方法、装置、设备及可读存储介质
CN113191338A (zh) * 2021-06-29 2021-07-30 苏州浪潮智能科技有限公司 一种行人重识别方法、装置、设备及可读存储介质
CN113255604A (zh) * 2021-06-29 2021-08-13 苏州浪潮智能科技有限公司 基于深度学习网络的行人重识别方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023082561A1 (zh) * 2021-11-15 2023-05-19 苏州浪潮智能科技有限公司 一种行人重识别方法、系统、电子设备及存储介质
CN116824695A (zh) * 2023-06-07 2023-09-29 南通大学 一种基于特征去噪的行人再识别非局部防御方法

Also Published As

Publication number Publication date
WO2023082561A1 (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN114299442A (zh) 一种行人重识别方法、系统、电子设备及存储介质
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN109800692B (zh) 一种基于预训练卷积神经网络的视觉slam回环检测方法
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
CN113378632A (zh) 一种基于伪标签优化的无监督域适应行人重识别算法
US11816149B2 (en) Electronic device and control method thereof
CN110619059B (zh) 一种基于迁移学习的建筑物标定方法
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
CN113191338B (zh) 一种行人重识别方法、装置、设备及可读存储介质
CN112258580A (zh) 基于深度学习的视觉slam回环检测方法
CN111222534B (zh) 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法
CN113255604B (zh) 基于深度学习网络的行人重识别方法、装置、设备及介质
CN115018884B (zh) 基于多策略融合树的可见光红外视觉跟踪方法
CN107203585B (zh) 一种基于深度学习的茄类图像检索方法和设备
CN113032612B (zh) 一种多目标图像检索模型的构建方法及检索方法和装置
CN115034459A (zh) 一种行人轨迹时间序列预测方法
CN115102868A (zh) 一种基于SOM聚类与深度自编码器的web服务QoS预测方法
CN116109449A (zh) 一种数据处理方法及相关设备
CN115860231A (zh) 一种基于MCR_BiLSTM的智能洪水预报方法
CN112818982B (zh) 基于深度特征自相关性激活的农业害虫图像检测方法
CN114943766A (zh) 重定位方法、装置、电子设备及计算机可读存储介质
CN113780066A (zh) 行人重识别方法、装置、电子设备及可读存储介质
JP7230324B2 (ja) ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置
CN113313249B (zh) 一种基于强化学习系统实现的动态集成训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination