CN116912889B - 行人重识别方法及装置 - Google Patents

行人重识别方法及装置 Download PDF

Info

Publication number
CN116912889B
CN116912889B CN202311169053.1A CN202311169053A CN116912889B CN 116912889 B CN116912889 B CN 116912889B CN 202311169053 A CN202311169053 A CN 202311169053A CN 116912889 B CN116912889 B CN 116912889B
Authority
CN
China
Prior art keywords
layer
feature
pedestrian
global
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311169053.1A
Other languages
English (en)
Other versions
CN116912889A (zh
Inventor
蒋召
程剑杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202311169053.1A priority Critical patent/CN116912889B/zh
Publication of CN116912889A publication Critical patent/CN116912889A/zh
Application granted granted Critical
Publication of CN116912889B publication Critical patent/CN116912889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种行人重识别方法及装置。该方法包括：利用特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层构建行人重识别模型；获取训练样本，将训练样本输入行人重识别模型：特征提取网络提取训练样本的图像语义特征，全局最大池化层处理图像语义特征得到第一池化特征，特征切分层将第一池化特征按照通道切分为预设数量的局部特征，全局关系学习网络处理预设数量的局部特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练。

Description

行人重识别方法及装置
技术领域
本申请涉及目标检测技术领域，尤其涉及一种行人重识别方法及装置。
背景技术
行人重识别（Person re-identification）也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。随着行人重识别技术的发展，现有行人重识别模型精度越来越高，但是在行人姿态变化和图像模糊等复杂场景下，仍然存在因无法充分学习到局部特征和全局特征的关系，导致行人重识别模型识别错误。
发明内容
有鉴于此，本申请实施例提供了一种行人重识别方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，复杂场景下行人重识别模型无法充分学习到局部特征和全局特征的关系，导致识别准确率低的问题。
本申请实施例的第一方面，提供了一种行人重识别方法，包括：构建全局关系学习网络，利用特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层构建行人重识别模型；获取训练样本，将训练样本输入行人重识别模型：特征提取网络提取训练样本的图像语义特征，全局最大池化层处理图像语义特征得到第一池化特征，特征切分层将第一池化特征按照通道切分为预设数量的局部特征，全局关系学习网络处理预设数量的局部特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练；利用训练后的行人重识别模型进行行人重识别。
本申请实施例的第二方面，提供了一种行人重识别装置，包括：构建模块，被配置为构建全局关系学习网络，利用特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层构建行人重识别模型；处理模块，被配置为获取训练样本，将训练样本输入行人重识别模型：特征提取网络提取训练样本的图像语义特征，全局最大池化层处理图像语义特征得到第一池化特征，特征切分层将第一池化特征按照通道切分为预设数量的局部特征，全局关系学习网络处理预设数量的局部特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；训练模块，被配置为基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练；识别模块，被配置为利用训练后的行人重识别模型进行行人重识别。
本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：因为本申请实施例通过构建全局关系学习网络，利用特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层构建行人重识别模型；获取训练样本，将训练样本输入行人重识别模型：特征提取网络提取训练样本的图像语义特征，全局最大池化层处理图像语义特征得到第一池化特征，特征切分层将第一池化特征按照通道切分为预设数量的局部特征，全局关系学习网络处理预设数量的局部特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练；利用训练后的行人重识别模型进行行人重识别，因此，采用上述技术手段，可以解决现有技术中，复杂场景下行人重识别模型无法充分学习到局部特征和全局特征的关系，导致识别准确率低的问题，进而提高行人重识别模型的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种行人重识别方法的流程示意图（一）；
图2是本申请实施例提供的一种行人重识别方法的流程示意图（二）；
图3是本申请实施例提供的一种行人重识别装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
图1是本申请实施例提供的一种行人重识别方法的流程示意图（一）。图1的行人重识别方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该行人重识别方法包括：
S101，构建全局关系学习网络，利用特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层构建行人重识别模型；
S102，获取训练样本，将训练样本输入行人重识别模型：特征提取网络提取训练样本的图像语义特征，全局最大池化层处理图像语义特征得到第一池化特征，特征切分层将第一池化特征按照通道切分为预设数量的局部特征，全局关系学习网络处理预设数量的局部特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；
S103，基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练；
S104，利用训练后的行人重识别模型进行行人重识别。
进一步地，利用特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层构建行人重识别模型，包括：依次连接特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层，得到行人重识别模型。
特征提取网络可以是backbone网络，分类层可以是softmax层或者sigmoid层，全局平均池化层、全局最大池化层、特征切分层、和全连接层均是现有网络层，不再赘述。
将训练样本输入行人重识别模型（也就是输入特征提取网络）：特征提取网络输出训练样本的图像语义特征；图像语义特征输入全局最大池化层，输出第一池化特征；第一池化特征输入特征切分层输出预设数量的局部特征；预设数量的局部特征输入全局关系学习网络输出全局关系特征；全局关系特征依次经过全连接层和分类层，得到训练样本的分类结果。
特征切分层在通道维度将第一池化特征等分为预设数量的局部特征，比如图像语义特征和第一池化特征均是100个通道最终输出的特征图（图像语义特征和第一池化特征的维度数是一样的），预设数量是10，那么将第一池化特征在每10个相邻通道上进行切分，得到10个局部特征。
局部特征实际上对应的是人体部位，人体部位的数量就是局部特征的数量。比如人体部位有16个：眼睛、耳朵、鼻子、嘴巴、左肩膀、左胳膊、左手、右肩膀、右胳膊、右手、左大腿、左小腿、左脚、右大腿、右小腿、右脚，则局部特征有16个，分别和上述人体部位对应。全局关系学习网络处理16个局部特征，就是得到包含16个人体部位之间位置关系以及每个人体部位的信息的全局关系特征。
所以本申请实施例构建的行人重识别模型学习到了局部特征和全局特征的关系、局部特征和局部特征的关系，也就是总的特征图（第一池化特征）中不同区域的关系，这些关系代表人体不同部位之间的关系，从而可以在丢失高分辨性特征后，通过其它部分的特征提升行人重识别算法效果。
训练样本自身携带标签，需要说明的是，训练行人重识别模型使用了大量的训练样本，为了便于说明行人重识别模型内部对训练样本的处理过程，不强调训练样本的数量。
根据本申请实施例提供的技术方案，构建全局关系学习网络，利用特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层构建行人重识别模型；获取训练样本，将训练样本输入行人重识别模型：特征提取网络提取训练样本的图像语义特征，全局最大池化层处理图像语义特征得到第一池化特征，特征切分层将第一池化特征按照通道切分为预设数量的局部特征，全局关系学习网络处理预设数量的局部特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练；利用训练后的行人重识别模型进行行人重识别，因此，采用上述技术手段，可以解决现有技术中，复杂场景下行人重识别模型无法充分学习到局部特征和全局特征的关系，导致识别准确率低的问题，进而提高行人重识别模型的准确率。
进一步地，构建全局关系学习网络，包括：将并行之后的全局最大池化层与全局平均池化层连接到特征相减层，在全局最大池化层和特征相减层后各接一个卷积层，将全局最大池化层和特征相减层后接的两个卷积层连接到特征拼接层，在特征拼接层后接一个卷积层，得到全局关系学习网络。
将预设数量的局部特征输入全局关系学习网络：全局最大池化层与全局平均池化层分别处理预设数量的局部特征，得到第二池化特征和第三池化特征；特征相减层计算第二池化特征和第三池化特征之间的差值；全局最大池化层和特征相减层后各接的卷积层分别处理差值，得到第一卷积特征和第二卷积特征；特征拼接层对第一卷积特征和第二卷积特征进行拼接，得到拼接特征；特征拼接层后接的卷积层处理拼接特征，得到全局关系特征。
将预设数量的局部特征输入全局关系学习网络，也就是，将预设数量的局部特征分别输入全局最大池化层与全局平均池化层，输出第二池化特征和第三池化特征；第二池化特征和第三池化特征输入特征相减层，输出第二池化特征和第三池化特征之间的差值；差值分别输入全局最大池化层和特征相减层后各接的卷积层，输出第一卷积特征和第二卷积特征；第一卷积特征和第二卷积特征输入特征拼接层，输出拼接特征；拼接特征输入特征拼接层后接的卷积层，输出全局关系特征。
全局最大池化层处理得到的特征具有高分辨性，有利于最终分类；特征相减层将全局最大池化层与全局平均池化层输出的结果相减，得到差值，该差值代表在第三池化特征中去除最有分辨性的特征后的特征图。
图2是本申请实施例提供的一种行人重识别方法的流程示意图（二）。如图2所示，包括：
S201，构建人体部位切分网络和全局关系学习网络，利用图像切分网络、特征提取网络、全局最大池化层、全局关系学习网络、全连接层和分类层构建行人重识别模型；
S202，获取训练样本，将训练样本输入行人重识别模型：图像切分网络按照人体部位将训练样本切分为多个小样本，特征提取网络提取各个小样本的图像语义特征，全局最大池化层处理各个小样本的图像语义特征得到各个小样本的第一池化特征，全局关系学习网络处理多个小样本的第一池化特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；
S203，基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练；
S204，利用训练后的行人重识别模型进行行人重识别.
图像切分网络用于是实现和特征切分层类似的作用。特征切分层是将特征切分为对应人体部位的局部特征，图像切分网络是将训练样本切分为对应人体部位的小样本。图像切分网络按照人体部位将训练样本切分为多个小样本，每个小样本对应一个或多个人体部位。
比如人体部位有16个：眼睛、耳朵、鼻子、嘴巴、左肩膀、左胳膊、左手、右肩膀、右胳膊、右手、左大腿、左小腿、左脚、右大腿、右小腿、右脚，则可以将训练样本切分为16个小样本。全局关系学习网络处理16个小样本的第一池化特征，就是得到包含16个人体部位之间位置关系以及每个人体部位的信息的全局关系特征。所以本申请实施例构建的行人重识别模型学习到了局部特征和全局特征的关系、局部特征和局部特征的关系，也就是总的特征图（第一池化特征）中不同区域的关系，这些关系代表人体不同部位之间的关系，从而可以在丢失高分辨性特征后，通过其它部分的特征提升行人重识别算法效果。
训练样本输入行人重识别模型之前，对训练样本进行模糊处理、图像平移和图像旋转；全局最大池化层处理图像语义特征得到第一池化特征之前，对图像语义特征进行特征旋转。
模糊处理可以是打马赛克、虚化以及图像锐化等图像处理技术。使用训练样本训练行人重识别模型之前，对训练样本进行模糊处理，是针对图像模糊场景中行人重识别模型无法充分学习到局部特征和全局特征的问题。使用训练样本训练行人重识别模型之前，对训练样本进行图像平移和图像旋转，以及全局最大池化层处理图像语义特征得到第一池化特征之前，对图像语义特征进行特征旋转，均是针对行人姿态变化场景中行人重识别模型无法充分学习到局部特征和全局特征的问题。
利用训练后的行人重识别模型进行行人重识别之前，方法还包括：建立行人重识别训练任务和人体位姿估计训练任务；将人体位姿估计训练任务作为行人重识别训练任务的辅助任务，利用行人重识别训练任务和人体位姿估计训练任务同时对行人重识别模型进行训练。
人体位姿估计训练任务是使用常用的人体位姿估计训练方法训练行人重识别模型，行人重识别训练任务就是基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数。本申请实施例的发明点在于将人体位姿估计训练任务作为行人重识别训练任务的辅助任务，对行人重识别模型进行训练。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图3是本申请实施例提供的一种行人重识别装置的示意图。如图3所示，该行人重识别装置包括：
构建模块301，被配置为构建全局关系学习网络，利用特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层构建行人重识别模型；
处理模块302，被配置为获取训练样本，将训练样本输入行人重识别模型：特征提取网络提取训练样本的图像语义特征，全局最大池化层处理图像语义特征得到第一池化特征，特征切分层将第一池化特征按照通道切分为预设数量的局部特征，全局关系学习网络处理预设数量的局部特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；
训练模块303，被配置为基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练；
识别模块304，被配置为利用训练后的行人重识别模型进行行人重识别。
可选地，构建模块301还被配置为依次连接特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层，得到行人重识别模型。
特征提取网络可以是backbone网络，分类层可以是softmax层或者sigmoid层，全局平均池化层、全局最大池化层、特征切分层、和全连接层均是现有网络层，不再赘述。
将训练样本输入行人重识别模型（也就是输入特征提取网络）：特征提取网络输出训练样本的图像语义特征；图像语义特征输入全局最大池化层，输出第一池化特征；第一池化特征输入特征切分层输出预设数量的局部特征；预设数量的局部特征输入全局关系学习网络输出全局关系特征；全局关系特征依次经过全连接层和分类层，得到训练样本的分类结果。
特征切分层在通道维度将第一池化特征等分为预设数量的局部特征，比如图像语义特征和第一池化特征均是100个通道最终输出的特征图（图像语义特征和第一池化特征的维度数是一样的），预设数量是10，那么将第一池化特征在每10个相邻通道上进行切分，得到10个局部特征。
局部特征实际上对应的是人体部位，人体部位的数量就是局部特征的数量。比如人体部位有16个：眼睛、耳朵、鼻子、嘴巴、左肩膀、左胳膊、左手、右肩膀、右胳膊、右手、左大腿、左小腿、左脚、右大腿、右小腿、右脚，则局部特征有16个，分别和上述人体部位对应。全局关系学习网络处理16个局部特征，就是得到包含16个人体部位之间位置关系以及每个人体部位的信息的全局关系特征。
所以本申请实施例构建的行人重识别模型学习到了局部特征和全局特征的关系、局部特征和局部特征的关系，也就是总的特征图（第一池化特征）中不同区域的关系，这些关系代表人体不同部位之间的关系，从而可以在丢失高分辨性特征后，通过其它部分的特征提升行人重识别算法效果。
训练样本自身携带标签，需要说明的是，训练行人重识别模型使用了大量的训练样本，为了便于说明行人重识别模型内部对训练样本的处理过程，不强调训练样本的数量。
根据本申请实施例提供的技术方案，构建全局关系学习网络，利用特征提取网络、全局最大池化层、特征切分层、全局关系学习网络、全连接层和分类层构建行人重识别模型；获取训练样本，将训练样本输入行人重识别模型：特征提取网络提取训练样本的图像语义特征，全局最大池化层处理图像语义特征得到第一池化特征，特征切分层将第一池化特征按照通道切分为预设数量的局部特征，全局关系学习网络处理预设数量的局部特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练；利用训练后的行人重识别模型进行行人重识别，因此，采用上述技术手段，可以解决现有技术中，复杂场景下行人重识别模型无法充分学习到局部特征和全局特征的关系，导致识别准确率低的问题，进而提高行人重识别模型的准确率。
可选地，构建模块301还被配置为将并行之后的全局最大池化层与全局平均池化层连接到特征相减层，在全局最大池化层和特征相减层后各接一个卷积层，将全局最大池化层和特征相减层后接的两个卷积层连接到特征拼接层，在特征拼接层后接一个卷积层，得到全局关系学习网络。
可选地，处理模块302还被配置为全局最大池化层与全局平均池化层分别处理预设数量的局部特征，得到第二池化特征和第三池化特征；特征相减层计算第二池化特征和第三池化特征之间的差值；全局最大池化层和特征相减层后各接的卷积层分别处理差值，得到第一卷积特征和第二卷积特征；特征拼接层对第一卷积特征和第二卷积特征进行拼接，得到拼接特征；特征拼接层后接的卷积层处理拼接特征，得到全局关系特征。
将预设数量的局部特征输入全局关系学习网络，也就是，将预设数量的局部特征分别输入全局最大池化层与全局平均池化层，输出第二池化特征和第三池化特征；第二池化特征和第三池化特征输入特征相减层，输出第二池化特征和第三池化特征之间的差值；差值分别输入全局最大池化层和特征相减层后各接的卷积层，输出第一卷积特征和第二卷积特征；第一卷积特征和第二卷积特征输入特征拼接层，输出拼接特征；拼接特征输入特征拼接层后接的卷积层，输出全局关系特征。
全局最大池化层处理得到的特征具有高分辨性，有利于最终分类；特征相减层将全局最大池化层与全局平均池化层输出的结果相减，得到差值，该差值代表在第三池化特征中去除最有分辨性的特征后的特征图。
可选地，训练模块303还被配置为构建人体部位切分网络和全局关系学习网络，利用图像切分网络、特征提取网络、全局最大池化层、全局关系学习网络、全连接层和分类层构建行人重识别模型；获取训练样本，将训练样本输入行人重识别模型：图像切分网络按照人体部位将训练样本切分为多个小样本，特征提取网络提取各个小样本的图像语义特征，全局最大池化层处理各个小样本的图像语义特征得到各个小样本的第一池化特征，全局关系学习网络处理多个小样本的第一池化特征得到全局关系特征，全局关系特征经过全连接层和分类层得到训练样本的分类结果；基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数，以完成对行人重识别模型的训练。
图像切分网络用于是实现和特征切分层类似的作用。特征切分层是将特征切分为对应人体部位的局部特征，图像切分网络是将训练样本切分为对应人体部位的小样本。图像切分网络按照人体部位将训练样本切分为多个小样本，每个小样本对应一个或多个人体部位。
比如人体部位有16个：眼睛、耳朵、鼻子、嘴巴、左肩膀、左胳膊、左手、右肩膀、右胳膊、右手、左大腿、左小腿、左脚、右大腿、右小腿、右脚，则可以将训练样本切分为16个小样本。全局关系学习网络处理16个小样本的第一池化特征，就是得到包含16个人体部位之间位置关系以及每个人体部位的信息的全局关系特征。所以本申请实施例构建的行人重识别模型学习到了局部特征和全局特征的关系、局部特征和局部特征的关系，也就是总的特征图（第一池化特征）中不同区域的关系，这些关系代表人体不同部位之间的关系，从而可以在丢失高分辨性特征后，通过其它部分的特征提升行人重识别算法效果。
可选地，处理模块302还被配置为训练样本输入行人重识别模型之前，对训练样本进行模糊处理、图像平移和图像旋转；全局最大池化层处理图像语义特征得到第一池化特征之前，对图像语义特征进行特征旋转。
模糊处理可以是打马赛克、虚化以及图像锐化等图像处理技术。使用训练样本训练行人重识别模型之前，对训练样本进行模糊处理，是针对图像模糊场景中行人重识别模型无法充分学习到局部特征和全局特征的问题。使用训练样本训练行人重识别模型之前，对训练样本进行图像平移和图像旋转，以及全局最大池化层处理图像语义特征得到第一池化特征之前，对图像语义特征进行特征旋转，均是针对行人姿态变化场景中行人重识别模型无法充分学习到局部特征和全局特征的问题。
可选地，训练模块303还被配置为建立行人重识别训练任务和人体位姿估计训练任务；将人体位姿估计训练任务作为行人重识别训练任务的辅助任务，利用行人重识别训练任务和人体位姿估计训练任务同时对行人重识别模型进行训练。
人体位姿估计训练任务是使用常用的人体位姿估计训练方法训练行人重识别模型，行人重识别训练任务就是基于训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据分类损失更新行人重识别模型的模型参数。本申请实施例的发明点在于将人体位姿估计训练任务作为行人重识别训练任务的辅助任务，对行人重识别模型进行训练。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图4是本申请实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种行人重识别方法，其特征在于，包括：
构建全局关系学习网络，利用特征提取网络、全局最大池化层、特征切分层、所述全局关系学习网络、全连接层和分类层构建行人重识别模型；
获取训练样本，将所述训练样本输入所述行人重识别模型：所述特征提取网络提取所述训练样本的图像语义特征，所述全局最大池化层处理所述图像语义特征得到第一池化特征，所述特征切分层将所述第一池化特征按照通道切分为预设数量的局部特征，所述全局关系学习网络处理预设数量的局部特征得到全局关系特征，所述全局关系特征经过所述全连接层和所述分类层得到所述训练样本的分类结果；
基于所述训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据所述分类损失更新所述行人重识别模型的模型参数，以完成对所述行人重识别模型的训练；
利用训练后的所述行人重识别模型进行行人重识别；
其中，构建全局关系学习网络，包括：将并行之后的所述全局最大池化层与全局平均池化层连接到特征相减层，在所述全局最大池化层和所述特征相减层后各接一个卷积层，将所述全局最大池化层和所述特征相减层后接的两个卷积层连接到特征拼接层，在所述特征拼接层后接一个卷积层，得到所述全局关系学习网络；
其中，将所述预设数量的局部特征输入所述全局关系学习网络：所述全局最大池化层与所述全局平均池化层分别处理所述预设数量的局部特征，得到第二池化特征和第三池化特征；所述特征相减层计算所述第二池化特征和所述第三池化特征之间的差值；所述全局最大池化层和所述特征相减层后各接的卷积层分别处理所述差值，得到第一卷积特征和第二卷积特征；所述特征拼接层对所述第一卷积特征和所述第二卷积特征进行拼接，得到拼接特征；所述特征拼接层后接的卷积层处理所述拼接特征，得到所述全局关系特征。
2.根据权利要求1所述的方法，其特征在于，利用特征提取网络、全局最大池化层、特征切分层、所述全局关系学习网络、全连接层和分类层构建行人重识别模型，包括：
依次连接所述特征提取网络、所述全局最大池化层、所述特征切分层、所述全局关系学习网络、所述全连接层和所述分类层，得到所述行人重识别模型。
3.根据权利要求1所述的方法，其特征在于，利用训练后的所述行人重识别模型进行行人重识别之前，所述方法还包括：
构建人体部位切分网络和所述全局关系学习网络，利用图像切分网络、所述特征提取网络、所述全局最大池化层、所述全局关系学习网络、所述全连接层和所述分类层构建所述行人重识别模型；
获取所述训练样本，将所述训练样本输入所述行人重识别模型：所述图像切分网络按照人体部位将所述训练样本切分为多个小样本，所述特征提取网络提取各个小样本的图像语义特征，所述全局最大池化层处理各个小样本的图像语义特征得到各个小样本的第一池化特征，所述全局关系学习网络处理多个小样本的第一池化特征得到所述全局关系特征，所述全局关系特征经过所述全连接层和所述分类层得到所述训练样本的分类结果；
基于所述训练样本的分类结果和标签，利用所述交叉熵损失函数计算所述分类损失，依据所述分类损失更新所述行人重识别模型的模型参数，以完成对所述行人重识别模型的训练。
4.根据权利要求1所述的方法，其特征在于，将所述训练样本输入所述行人重识别模型之前，对所述训练样本进行模糊处理、图像平移和图像旋转；
所述全局最大池化层处理所述图像语义特征得到第一池化特征之前，对所述图像语义特征进行特征旋转。
5.根据权利要求1所述的方法，其特征在于，利用训练后的所述行人重识别模型进行行人重识别之前，所述方法还包括：
建立行人重识别训练任务和人体位姿估计训练任务；
将所述人体位姿估计训练任务作为所述行人重识别训练任务的辅助任务，利用所述行人重识别训练任务和所述人体位姿估计训练任务同时对所述行人重识别模型进行训练。
6.一种行人重识别装置，其特征在于，包括：
构建模块，被配置为构建全局关系学习网络，利用特征提取网络、全局最大池化层、特征切分层、所述全局关系学习网络、全连接层和分类层构建行人重识别模型；
处理模块，被配置为获取训练样本，将所述训练样本输入所述行人重识别模型：所述特征提取网络提取所述训练样本的图像语义特征，所述全局最大池化层处理所述图像语义特征得到第一池化特征，所述特征切分层将所述第一池化特征按照通道切分为预设数量的局部特征，所述全局关系学习网络处理预设数量的局部特征得到全局关系特征，所述全局关系特征经过所述全连接层和所述分类层得到所述训练样本的分类结果；
训练模块，被配置为基于所述训练样本的分类结果和标签，利用交叉熵损失函数计算分类损失，依据所述分类损失更新所述行人重识别模型的模型参数，以完成对所述行人重识别模型的训练；
识别模块，被配置为利用训练后的所述行人重识别模型进行行人重识别；
所述构建模块还被配置为将并行之后的所述全局最大池化层与全局平均池化层连接到特征相减层，在所述全局最大池化层和所述特征相减层后各接一个卷积层，将所述全局最大池化层和所述特征相减层后接的两个卷积层连接到特征拼接层，在所述特征拼接层后接一个卷积层，得到所述全局关系学习网络；
所述处理模块被配置为将所述预设数量的局部特征输入所述全局关系学习网络：所述全局最大池化层与所述全局平均池化层分别处理所述预设数量的局部特征，得到第二池化特征和第三池化特征；所述特征相减层计算所述第二池化特征和所述第三池化特征之间的差值；所述全局最大池化层和所述特征相减层后各接的卷积层分别处理所述差值，得到第一卷积特征和第二卷积特征；所述特征拼接层对所述第一卷积特征和所述第二卷积特征进行拼接，得到拼接特征；所述特征拼接层后接的卷积层处理所述拼接特征，得到所述全局关系特征。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。
CN202311169053.1A 2023-09-12 2023-09-12 行人重识别方法及装置 Active CN116912889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311169053.1A CN116912889B (zh) 2023-09-12 2023-09-12 行人重识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311169053.1A CN116912889B (zh) 2023-09-12 2023-09-12 行人重识别方法及装置

Publications (2)

Publication Number Publication Date
CN116912889A CN116912889A (zh) 2023-10-20
CN116912889B true CN116912889B (zh) 2024-01-05

Family

ID=88356954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311169053.1A Active CN116912889B (zh) 2023-09-12 2023-09-12 行人重识别方法及装置

Country Status (1)

Country Link
CN (1) CN116912889B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814854A (zh) * 2020-06-28 2020-10-23 北京交通大学 一种无监督域适应的目标重识别方法
CN111860147A (zh) * 2020-06-11 2020-10-30 北京市威富安防科技有限公司 行人重识别模型优化处理方法、装置和计算机设备
CN114724187A (zh) * 2022-04-27 2022-07-08 浙江工业大学 一种基于切片融合的行人重识别方法及装置
CN115171165A (zh) * 2022-07-29 2022-10-11 南京邮电大学 全局特征与阶梯型局部特征融合的行人重识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4136580A4 (en) * 2020-06-29 2024-01-17 Zhejiang Dahua Technology Co., Ltd TARGET REIDENTIFICATION METHOD, NETWORK TRAINING METHOD THEREFOR AND ASSOCIATED APPARATUS

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860147A (zh) * 2020-06-11 2020-10-30 北京市威富安防科技有限公司 行人重识别模型优化处理方法、装置和计算机设备
CN111814854A (zh) * 2020-06-28 2020-10-23 北京交通大学 一种无监督域适应的目标重识别方法
CN114724187A (zh) * 2022-04-27 2022-07-08 浙江工业大学 一种基于切片融合的行人重识别方法及装置
CN115171165A (zh) * 2022-07-29 2022-10-11 南京邮电大学 全局特征与阶梯型局部特征融合的行人重识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络判别特征学习的行人重识别;陈兵 等;光学学报(第07期);255-261 *

Also Published As

Publication number Publication date
CN116912889A (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN109948441B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
KR102606734B1 (ko) 생체 검출 방법 및 장치
CN112686176B (zh) 目标重识别方法、模型训练方法、装置、设备及存储介质
CN111028279A (zh) 点云数据处理方法及装置、电子设备和存储介质
CN112307850A (zh) 神经网络训练方法、车道线检测方法、装置和电子设备
CN112651975A (zh) 一种轻量化网络模型的训练方法、装置及设备
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN116612500B (zh) 行人重识别模型训练方法及装置
CN114266901A (zh) 文档轮廓提取模型构建方法、装置、设备及可读存储介质
CN116309612B (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质
CN113177957A (zh) 一种细胞图像的分割方法、装置、电子设备及存储介质
CN116912889B (zh) 行人重识别方法及装置
CN113139617B (zh) 一种输电线路自主定位方法、装置及终端设备
CN112950652B (zh) 机器人及其手部图像分割方法和装置
CN115147434A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN116912634B (zh) 目标追踪模型的训练方法及装置
CN116433674B (zh) 半导体硅晶圆检测方法、装置、计算机设备及介质
CN114445873B (zh) 人脸识别模型的训练、人脸识别方法及电子设备
CN116912633B (zh) 目标追踪模型的训练方法及装置
CN116912518B (zh) 图像的多尺度特征处理方法及装置
CN118365887B (zh) 一种开放词汇输电线路设备图像分割方法及装置
CN118470032A (zh) 超分图像分割模型的训练方法及装置
CN118736349A (zh) 生成缺陷样本的方法及装置
CN118015418A (zh) 场景图像合成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant