CN114596592B - 一种行人重识别方法、系统、设备及计算机可读存储介质 - Google Patents

一种行人重识别方法、系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114596592B
CN114596592B CN202210469141.2A CN202210469141A CN114596592B CN 114596592 B CN114596592 B CN 114596592B CN 202210469141 A CN202210469141 A CN 202210469141A CN 114596592 B CN114596592 B CN 114596592B
Authority
CN
China
Prior art keywords
pedestrian
network
region
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210469141.2A
Other languages
English (en)
Other versions
CN114596592A (zh
Inventor
赵雅倩
王立
范宝余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210469141.2A priority Critical patent/CN114596592B/zh
Publication of CN114596592A publication Critical patent/CN114596592A/zh
Application granted granted Critical
Publication of CN114596592B publication Critical patent/CN114596592B/zh
Priority to PCT/CN2022/119678 priority patent/WO2023206935A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种行人重识别方法、系统、设备及计算机可读存储介质，获取无标签的第一类行人图像；为第一类行人图像制作标签信息；基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络；提取第一类行人图像中的感兴趣区域；基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。本申请可以使得无标签的行人图像中的行人信息也可以用于目标行人重识别网络的训练，提高了目标行人重识别网络的鲁棒性提高目标行人重识别网络的训练效率，进而提高行人重识别方法的运行效率；适用性好。

Description

一种行人重识别方法、系统、设备及计算机可读存储介质
技术领域
本申请涉及深度学习技术领域，更具体地说，涉及一种行人重识别方法、系统、设备及计算机可读存储介质。
背景技术
当前，深度学习用于解决图片分类、图像分割和物体检测等计算机视觉领域的问题并且取得了巨大的成功。且近年来涌现出了很多优秀的卷积神经网络模型，在此过程中，行人重识别任务随着深度学习技术的不断发展也取得了长足的进步。行人重识别(Re-ID)是一种重要的图像识别技术，如今被视为图像检索的一类关键子问题，其利用计算机视觉算法对跨设备的行人图像或视频进行匹配，即给定一个查询图像，在不同监控设备的图像库检索出同一个行人。由于对智能安防、相册聚类和嫌疑人搜索等方面有巨大的应用前景，行人重识别已经成为计算机视觉领域的研究交点。
目前，在行人重识别过程中，是通过构建行人重识别网络，并基于有标签的行人图像对行人重识别网络进行训练，最后基于训练好的行人重识别网络进行行人重识别。然而，现有行人重识别网络的训练过程缓慢，使得行人重识别方法的运行效率较低、且行人重识别网络的鲁棒性差，方法适用性差。
综上所述，如何提高行人重识别方法的适用性是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种行人重识别方法，其能在一定程度上解决如何提高行人重识别方法的适用性的技术问题。本申请还提供了一种行人重识别系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种行人重识别方法，包括：
获取无标签的第一类行人图像；
为所述第一类行人图像制作标签信息；
基于所述第一类行人图像及所述标签信息对目标行人重识别网络进行训练，得到第一次训练的所述目标行人重识别网络；
提取所述第一类行人图像中的感兴趣区域；
基于所述第一类行人图像及所述感兴趣区域对第一次训练的所述目标行人重识别网络进行训练，得到第二次训练的所述目标行人重识别网络，以基于所述目标行人重识别网络进行行人重识别。
优选的，所述为所述第一类行人图像制作标签信息，包括：
确定所述第一类行人图像中的身体部位分界线信息；
将所述身体部位分界线信息作为所述第一类行人图像的标签信息。
优选的，所述确定所述第一类行人图像中的身体部位分界线信息，包括：
基于模板匹配法确定所述第一类行人图像中的所述身体部位分界线信息。
优选的，所述基于模板匹配法确定所述第一类行人图像中的所述身体部位分界线信息，包括：
获取预设的人体部位模板；
确定所述第一类行人图像中与所述人体部位模板对应的身体部位区域；
确定所述身体部位区域的边界坐标，边界坐标包括身体部位区域的边界在第一类行人图像中的高度值；
将所述边界坐标与所述第一类行人图像的总高度的比值作为所述身体部位分界线信息。
优选的，所述人体部位模板包括头部模板、躯干模板、下肢模板；所述身体部位区域包括头部区域、躯干区域、下肢区域；所述身体部位分界线信息包括所述头部区域的开始边界信息、所述头部区域与所述躯干区域间的分界线信息、所述躯干区域与所述下肢区域间的分界线信息、所述下肢区域的结束边界信息。
优选的，所述确定所述第一类行人图像中与所述人体部位模板对应的身体部位区域，包括：
从所述第一类行人图像中切割出与所述人体部位模板同大小的临时图像；
计算每一个所述临时图像和所述人体部位模板的相似度值；
选取相似度值最大的所述临时图像作为所述第一类行人图像中与所述人体部位模板对应的所述身体部位区域。
优选的，所述计算每一个所述临时图像和所述人体部位模板的相似度值，包括：
基于相似度计算公式，计算每一个所述临时图像和所述人体部位模板的所述相似度值；
所述相似度计算公式包括：
Figure 384324DEST_PATH_IMAGE001
；
其中，
Figure 8203DEST_PATH_IMAGE002
表示所述临时图像的坐标值；
Figure 684035DEST_PATH_IMAGE003
表示所述相似度值；
Figure 515594DEST_PATH_IMAGE004
表示所述临时图像中
Figure 706404DEST_PATH_IMAGE005
坐标处的像素值；
Figure 399553DEST_PATH_IMAGE006
表示所述人体部位模板中
Figure 664313DEST_PATH_IMAGE007
坐标处的像素值；
Figure 417505DEST_PATH_IMAGE008
表示所述人体部位模板的尺寸。
优选的，所述基于所述第一类行人图像及所述标签信息对目标行人重识别网络进行训练，得到第一次训练的所述目标行人重识别网络，包括：
将所述目标行人重识别网络与第一辅助网络进行连接，得到第一目标网络；
基于所述第一类行人图像及所述标签信息对所述第一目标网络进行训练，得到训练好的所述第一目标网络；
去掉所述第一目标网络中的所述第一辅助网络，得到第一次训练的所述目标行人重识别网络。
优选的，所述目标行人重识别网络包括ResNet50网络；所述第一辅助网络包括与所述Resnet50网络的第七部分连接的全连接层。
优选的，所述提取所述第一类行人图像中的感兴趣区域，包括：
提取所述目标行人重识别网络的平均池化层之前的特征图；
将所述特征图的所有通道进行叠加，得到激活映射CAM；
基于超参数确定所述激活映射CAM的实时阈值，并将大于预设阈值的所述实时阈值对应的所述第一类行人图像中的像素区域作为初始感兴趣区域；
在所述初始感兴趣区域中寻找联通分量，并基于所述联通分量确定所述感兴趣区域；
确定所述感兴趣区域的边界框信息。
优选的，所述将所述特征图的所有通道进行叠加，得到激活映射CAM之后，所述基于超参数确定所述激活映射CAM的实时阈值之前，还包括：
基于极值的仿射变换将所述激活映射CAM的值归一化到范围[0,1]。
优选的，所述确定所述感兴趣区域的边界框信息，包括：
基于边界框信息确定公式，确定所述感兴趣区域的所述边界框信息；
所述边界框信息确定公式包括：
Figure 95611DEST_PATH_IMAGE009
；
Figure 841719DEST_PATH_IMAGE010
；
Figure 492143DEST_PATH_IMAGE011
；
Figure 150658DEST_PATH_IMAGE012
；
其中，
Figure 519322DEST_PATH_IMAGE013
表示所述感兴趣区域的点集中所有元素
Figure 537962DEST_PATH_IMAGE014
坐标最小值，
Figure 308472DEST_PATH_IMAGE015
代表所述感兴趣区域的点集中所有元素
Figure 137888DEST_PATH_IMAGE016
坐标最大值；
Figure 993849DEST_PATH_IMAGE017
代表所述感兴趣区域的点集中所有元素
Figure 81759DEST_PATH_IMAGE018
坐标最小值，
Figure 706776DEST_PATH_IMAGE019
代表所述感兴趣区域的点集中所有元素
Figure 972672DEST_PATH_IMAGE020
坐标最大值；
Figure 50349DEST_PATH_IMAGE021
、
Figure 941951DEST_PATH_IMAGE022
代表所述边界框信息的宽度和高度；
Figure 421474DEST_PATH_IMAGE023
表示所述边界框信息中的左顶点坐标；
Figure 858271DEST_PATH_IMAGE024
表示所述感兴趣区域的点集；
Figure 423245DEST_PATH_IMAGE025
表示所述感兴趣区域中的像素点；
Figure 858817DEST_PATH_IMAGE026
表示所述实时阈值。
优选的，所述基于所述第一类行人图像及所述感兴趣区域对第一次训练的所述目标行人重识别网络进行训练，得到第二次训练的所述目标行人重识别网络，包括：
将第一次训练的所述目标行人重识别网络与第二辅助网络进行连接，得到第二目标网络；
基于所述第一类行人图像及所述感兴趣区域对所述第二目标网络进行训练，得到训练好的所述第二目标网络；
去掉所述第二目标网络中的所述第二辅助网络，得到第二次训练的所述目标行人重识别网络。
优选的，所述目标行人重识别网络包括ResNet50网络；所述第二辅助网络包括与所述Resnet50网络的第六部分的pooling层特征图连接的图像检测网络；且所述图像检测网络包括候选区域确定网络、候选区域选择网络、感兴趣区域回归网络。
优选的，所述基于所述目标行人重识别网络进行行人重识别，包括：
获取有标签的第三类行人图像，并基于所述第三类行人图像对第二次训练的所述目标行人重识别网络进行训练，得到训练好的所述目标行人重识别网络，以基于所述目标行人重识别网络进行行人重识别。
一种行人重识别系统，包括：
第一获取模块，用于获取无标签的第一类行人图像；
第一制作模块，用于为所述第一类行人图像制作标签信息；
第一训练模块，用于基于所述第一类行人图像及所述标签信息对目标行人重识别网络进行训练，得到第一次训练的所述目标行人重识别网络；
第二制作模块，用于提取所述第一类行人图像中的感兴趣区域；
第二训练模块，用于基于所述第一类行人图像及所述感兴趣区域对第一次训练的所述目标行人重识别网络进行训练，得到第二次训练的所述目标行人重识别网络，以基于所述目标行人重识别网络进行行人重识别。
一种行人重识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述行人重识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述行人重识别方法的步骤。
本申请提供的一种行人重识别方法，获取无标签的第一类行人图像；为第一类行人图像制作标签信息；基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络；提取第一类行人图像中的感兴趣区域；基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。本申请中，可以为第一类行人图像制作标签信息，实现了自动为无标签的行人图像快速添加标签；这样便可以基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络，也即使得无标签的行人图像中的行人信息也可以用于目标行人重识别网络的训练，此外，还提取第一类行人图像中的感兴趣区域；基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络，与只基于有标签的行人图像训练网络的方法相比，增多了训练样本数，提高了目标行人重识别网络的鲁棒性，此外，还提高了目标行人重识别网络的训练效率，进而提高了行人重识别方法的运行效率；与现有技术相比，适用性更好。本申请提供的一种行人重识别系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种行人重识别方法的流程图；
图2为ResNet50网络的结构示意图；
图3为第二辅助网络的结构示意图；
图4为行人图像的边界坐标示意图；
图5为感兴趣区域的示意图；
图6为本申请实施例提供的一种行人重识别系统的结构示意图；
图7为本申请实施例提供的一种行人重识别设备的结构示意图；
图8为本申请实施例提供的一种行人重识别设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1为本申请实施例提供的一种行人重识别方法的流程图。
本申请实施例提供的一种行人重识别方法，可以包括以下步骤：
步骤S101：获取无标签的第一类行人图像。
实际应用中，可以先获取无标签的第一类行人图像，第一类行人图像的类型及获取方式等均可以根据实际需要确定。
步骤S102：为第一类行人图像制作标签信息。
实际应用中，在获取无标签的第一类行人图像之后，便可以为第一类行人图像制作标签信息，以便后续基于该标签信息对目标行人重识别网络进行弱监督训练。
步骤S103：基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络。
实际应用中，在基为第一类行人图像制作标签信息之后，便可以基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络。
具体应用场景中，在基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络的过程中，为了便于训练目标行人重识别网络，可以将目标行人重识别网络与第一辅助网络进行连接，得到第一目标网络；基于第一类行人图像及标签信息对第一目标网络进行训练，得到训练好的第一目标网络；去掉第一目标网络中的第一辅助网络，得到第一次训练的目标行人重识别网络。
具体应用场景中，目标行人重识别网络包括ResNet50网络，其结构可以如图2所示，第一部分不包含残差块，主要对输入进行卷积、正则化、激活函数、最大池化的计算，第二、三、四、五部分结构都包含了残差块，每个残差块含有三层卷积，经过前五部分的卷积计算后，池化层将其转化为一个特征向量，最后分类器对这个特征向量进行计算并输出坐标回归的数值；第一辅助网络包括与Resnet50网络的第七部分连接的全连接层，且该全连接层的大小可以根据实际需要确，比如全连接层可以为包含3个神经元的全连接层等。
需要说明的是，第一辅助网络的损失函数可以根据实际需要确定，本申请在此不做具体限定。比如第一目标网络的损失函数可以包括：
Figure 192847DEST_PATH_IMAGE027
；
Figure 800546DEST_PATH_IMAGE028
；
Figure 305345DEST_PATH_IMAGE029
；
Figure 23902DEST_PATH_IMAGE030
；
Figure 478018DEST_PATH_IMAGE031
；
其中，
Figure 256618DEST_PATH_IMAGE032
表示损失函数值；
Figure 45451DEST_PATH_IMAGE033
表示第一目标网络输出的标签信息；
Figure 567699DEST_PATH_IMAGE034
表示制作的标签信息。
步骤S104：提取第一类行人图像中的感兴趣区域。
步骤S105：基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。
实际应用中，为了进一步对目标行人重识别图像进行弱监督训练，还可以在基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络之后，提取第一类行人图像中的感兴趣区域，基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络。
具体应用场景中，在基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络的过程中，为了便于训练目标行人重识别网络，可以将第一次训练的目标行人重识别网络与第二辅助网络进行连接，得到第二目标网络；基于第一类行人图像及感兴趣区域对第二目标网络进行训练，得到训练好的第二目标网络；去掉第二目标网络中的第二辅助网络，得到第二次训练的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。
具体应用场景中，目标行人重识别网络可以包括ResNet50网络；第二辅助网络可以包括与Resnet50网络的第六部分的pooling层特征图连接的图像检测网络；且图像检测网络包括候选区域确定网络、候选区域选择网络、感兴趣区域回归网络，比如图像检测网络可以为RPN（Region Proposal Network）网络，第二辅助网络的结构可以如图3所示，其中，Pool4层到输出层之间的结构属于候选区域确定网络，输出层到Roi pooling层之间的结构属于候选区域选择网络，Roi pooling层及之后的结构属于感兴趣区域回归网络；且RPN的输入特征首先经过一个3×3大小的卷积核转化为256维的特征图，然后经过两个1×1的卷积在提取的256维特征上对每个像素点的 Anchor box做分类和坐标回归；分类层的作用是区分这块区域是前景还是背景，并给出相对的概率分数，回归层则是输出相对于原图的4个坐标偏置；然后根据其与ground truth的IOU,得到最终的候选框。
具体应用场景中，在基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络之后，还可以获取有标签的第三类行人图像，并基于第三类行人图像对第二次训练的目标行人重识别网络进行训练，得到训练好的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。
本申请提供的一种行人重识别方法，获取无标签的第一类行人图像；基于模板匹配法为第一类行人图像制作标签信息；基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络；提取第一类行人图像中的感兴趣区域；基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络；获取有标签的第三类行人图像，并基于第三类行人图像对第二次训练的目标行人重识别网络进行训练，得到训练好的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。本申请中，可以基于模板匹配法为第一类行人图像制作标签信息，实现了自动为无标签的行人图像快速添加标签；这样便可以基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络，也即使得无标签的行人图像中的行人信息也可以用于目标行人重识别网络的训练，此外，还提取第一类行人图像中的感兴趣区域；基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络，与只基于有标签的行人图像训练网络的方法相比，增多了训练样本数，提高了目标行人重识别网络的鲁棒性；最后，因为得到的第二次训练的目标行人重识别网络中是有网络权重值的，且该网络权重值与行人图像相适应，而现有技术中行人重识别网络无初始权重或初始权重与行人图像不相适应，所以本申请再基于第三类行人图像对目标行人重识别网络进行训练的话，可以加快目标行人重识别网络的收敛速率，提高目标行人重识别网络的训练效率，进而提高行人重识别方法的运行效率；与现有技术相比，适用性更好。
本申请实施例提供的一种行人重识别方法中，在基于模板匹配法为第一类行人图像制作标签信息的过程中，可以基于模板匹配法确定第一类行人图像中的身体部位分界线信息；将身体部位分界线信息作为第一类行人图像的标签信息。
具体应用场景中，在基于模板匹配法确定第一类行人图像中的身体部位分界线信息的过程中，可以获取预设的人体部位模板，人体部位模板包括头部模板、躯干模板、下肢模板；确定第一类行人图像中与人体部位模板对应的身体部位区域，身体部位区域包括头部区域、躯干区域、下肢区域；确定身体部位区域的边界坐标，边界坐标包括身体部位区域的边界在第一类行人图像中的高度值；将边界坐标与第一类行人图像的总高度的比值作为身体部位分界线信息。
需要说明的是，在获取预设的人体部位模板的过程中，可以取一些人体部位图像，用手工扣取人体部位做为人体部位样本，将其尺度标准化到固定尺度，得到人体部位模板；假设取100个样本，将所有抠取的人体头部图像进行灰度归一化，取所有100个样本的归一化后的头部区域样本，进行归一化，得到头人体部区域模板等。
需要说明的是，在确定第一类行人图像中与人体部位模板对应的身体部位区域的过程中，可以从第一类行人图像中切割出与人体部位模板同大小的临时图像，计算临时图像和人体部位模板的相似度值，并记录该相似度值，重复该步骤，直至得到第一类行人图像中每个临时图像与人体部位模板的相似度值，最后再选取相似度值最大的临时图像作为第一类行人图像中与人体部位模板对应的身体部位区域。其中，相似度值的计算公式可以如下：
Figure 141900DEST_PATH_IMAGE001
；
其中，
Figure 91401DEST_PATH_IMAGE002
表示临时图像的坐标值；
Figure 101952DEST_PATH_IMAGE003
表示相似度值；
Figure 427891DEST_PATH_IMAGE004
表示临时图像中
Figure 591019DEST_PATH_IMAGE005
坐标处的像素值；
Figure 711422DEST_PATH_IMAGE006
表示人体部位模板中
Figure 678109DEST_PATH_IMAGE007
坐标处的像素值；
Figure 542160DEST_PATH_IMAGE008
表示人体部位模板的尺寸。
需要说明的是，在将边界坐标与第一类行人图像的总高度的比值作为身体部位分界线信息的过程中，可以基于以下公式来确定身体部位分界线信息：
Figure 825374DEST_PATH_IMAGE035
；
Figure 365946DEST_PATH_IMAGE036
；
Figure 367400DEST_PATH_IMAGE037
；
Figure 35141DEST_PATH_IMAGE038
；
其中，
Figure 359812DEST_PATH_IMAGE039
表示头部区域的上边界坐标，
Figure 87597DEST_PATH_IMAGE040
表示头部区域的下边界坐标；
Figure 310768DEST_PATH_IMAGE041
、
Figure 516621DEST_PATH_IMAGE042
分别表示躯干区域的上边界坐标及下边界坐标；
Figure 758116DEST_PATH_IMAGE043
、
Figure 922381DEST_PATH_IMAGE044
分别表示下肢区域的上边界坐标及下边界坐标；其示例如图4所示；
Figure 367269DEST_PATH_IMAGE045
表示头部区域的开始边界坐标，
Figure 376813DEST_PATH_IMAGE046
表示头部区域与躯干区域的分界坐标，
Figure 732534DEST_PATH_IMAGE047
表示躯干区域与下肢区域的分界坐标，
Figure 536542DEST_PATH_IMAGE048
表示下肢区域的结束边界坐标；假设第一类行人图像的总高度为
Figure 734305DEST_PATH_IMAGE049
，则最终的身体部位分界线信息可以表示为：
Figure 281961DEST_PATH_IMAGE050
；
Figure 498047DEST_PATH_IMAGE051
；
Figure 676219DEST_PATH_IMAGE052
；
Figure 158016DEST_PATH_IMAGE053
。
本申请实施例提供的一种行人重识别方法中，在提取第一类行人图像中的感兴趣区域的过程中，可以包括以下步骤：
步骤1：提取Resnet50网络的平均池化层之前的特征图，将特征图的所有通道进行叠加，得到激活映射CAM。
具体的，假设特征图的维度为
Figure 961893DEST_PATH_IMAGE054
，其中1代表1张图像，
Figure 579956DEST_PATH_IMAGE055
代表通道数，因为卷积神经网络在每一层输出的特征图都包含多个通道，
Figure 991346DEST_PATH_IMAGE056
代表特征图的尺寸，也叫做特征图的维度，将特征图所有通道进行叠加，得到新的各通道融合后的特征图，其维度为
Figure 101384DEST_PATH_IMAGE057
，在本申请中命名为激活映射CAM，激活映射CAM是一个点集，包含M个元素，
Figure 240110DEST_PATH_IMAGE058
代表其在通道融合后的特征图坐标
Figure 181521DEST_PATH_IMAGE059
和坐标
Figure 232654DEST_PATH_IMAGE060
处的值。
步骤2：基于超参数确定激活映射CAM的实时阈值，并将大于预设阈值的实时阈值对应的第一类行人图像中的像素区域作为初始感兴趣区域。
具体的，可以先基于极值的仿射变换将激活映射CAM的值归一化到范围[0,1]，再基于超参数和指示函数确定激活映射CAM的实时阈值，其中，指示函数的意思是取符合括号内条件的元素值为1，否则为0；其过程如下：
Figure 548098DEST_PATH_IMAGE061
；
Figure 959356DEST_PATH_IMAGE062
；
其中，
Figure 755274DEST_PATH_IMAGE063
表示归一化后的
Figure 508466DEST_PATH_IMAGE064
；
Figure 389835DEST_PATH_IMAGE065
表示确定的实时阈值；
Figure 870363DEST_PATH_IMAGE066
表示指示函数；
Figure 520788DEST_PATH_IMAGE067
表示超参数。
步骤3：在初始感兴趣区域中寻找联通分量，并基于联通分量确定感兴趣区域。
具体的，联通区域是指与该像素相邻的4象限邻域内有值不为0，则称为该像素与周边像素联通，寻找联通分量即依次遍历
Figure 444881DEST_PATH_IMAGE068
矩阵中的所有元素，得到所有像素的4象限邻域联通的值，但凡有联通的就赋值为1，这样，
Figure 813546DEST_PATH_IMAGE069
矩阵就就变为一个二值矩阵；之后，统计
Figure 97765DEST_PATH_IMAGE069
矩阵连通区域的面积，比如通过计算联通区域内的像素数量来确定各联通分量的面积，如果联通区域面积过小，则将该联通区域所有元素置0，即丢弃该联通区域，剩余的联通区域即为感兴趣区域。
步骤4：确定感兴趣区域的边界框信息，其示例可以如图5所示。
具体的，假设感兴趣区域的点集为
Figure 602696DEST_PATH_IMAGE070
，边界框信息为
Figure 697691DEST_PATH_IMAGE071
，则可以通过将一、二阶矩(均值和方差)与一个矩形进行匹配得到，计算过程如下：
Figure 553652DEST_PATH_IMAGE009
；
Figure 381842DEST_PATH_IMAGE010
；
Figure 272438DEST_PATH_IMAGE011
；
Figure 272755DEST_PATH_IMAGE012
；
其中，
Figure 616012DEST_PATH_IMAGE013
表示感兴趣区域的点集中所有元素
Figure 507613DEST_PATH_IMAGE014
坐标最小值，
Figure 987136DEST_PATH_IMAGE015
代表感兴趣区域的点集中所有元素
Figure 423934DEST_PATH_IMAGE016
坐标最大值；
Figure 988907DEST_PATH_IMAGE017
代表感兴趣区域的点集中所有元素
Figure 153041DEST_PATH_IMAGE018
坐标最小值，
Figure 752650DEST_PATH_IMAGE019
代表感兴趣区域的点集中所有元素
Figure 360349DEST_PATH_IMAGE020
坐标最大值；
Figure 412618DEST_PATH_IMAGE021
、
Figure 380443DEST_PATH_IMAGE022
代表边界框信息的宽度和高度；
Figure 834558DEST_PATH_IMAGE023
表示边界框信息中的左顶点坐标；
Figure 613158DEST_PATH_IMAGE024
表示感兴趣区域的点集；
Figure 152724DEST_PATH_IMAGE025
表示感兴趣区域中的像素点；
Figure 924240DEST_PATH_IMAGE026
表示实时阈值。
实际应用中，在对第二目标网络进行训练的过程中可以使用不同的超参数重复步骤2至步骤4，得到多个边界框信息，且第二目标网络可以基于各边界框信息之间的交并比（IoU），并联合非最大值抑制（NMS）得到所有感兴趣区域最终的边界框信息。
需要说明的是，联合非最大值抑制就是将重合特别严重的多个框合并成为1个框的过程，具体的，可以依次遍历所有的边界框信息，查询当前遍历的边界框信息与所有其余感兴趣区域的边界框的重合程度，如果和当前的所遍历的框的重叠面积(IOU)大于一定阈值，就将与其重叠较大的那个框删除，遍历所有框，完成上述过程。
本申请实施例提供的一种行人重识别方法中，神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。训练过程可以包括以下步骤：
网络层权值进行初始化，一般采用随机初始化；
输入图像数据经过卷积层、下采样层、全连接层等各层的前向传播得到输出值；
求出网络的输出值与目标值（标签）之间的误差，求取方法如下：求出网络的输出值以及其与输入伪标签的损失；
将误差反向传回网络中，依次求得网络各层：全连接层，卷积层等各层的反向传播误差；
网络各层根据各层的反向传播误差对网络中的所有权重系数进行调整，即进行权重的更新；
重新随机选取新的图像数据，然后进入到第二步，获得网络前向传播得到输出值；
无限往复迭代，当求出网络的输出值与目标值（标签）之间的误差小于某个阈值，或者迭代次数超过某个阈值时，结束训练；
保存训练好的所有层的网络参数。
请参阅图6，图6为本申请实施例提供的一种行人重识别系统的结构示意图。
本申请实施例提供的一种行人重识别系统，可以包括：
第一获取模块101，用于获取无标签的第一类行人图像；
第一制作模块102，用于为第一类行人图像制作标签信息；
第一训练模块103，用于基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络；
第二制作模块104，用于提取第一类行人图像中的感兴趣区域；
第二训练模块105，用于基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。
本申请实施例提供的一种行人重识别系统，第一制作模块可以包括：
第一确定单元，用于确定第一类行人图像中的身体部位分界线信息；
第一设置单元，用于将身体部位分界线信息作为第一类行人图像的标签信息。
本申请实施例提供的一种行人重识别系统，第一确定单元可以具体用于：基于模板匹配法确定第一类行人图像中的身体部位分界线信息。
本申请实施例提供的一种行人重识别系统，第一确定单元可以具体用于：获取预设的人体部位模板；确定第一类行人图像中与人体部位模板对应的身体部位区域；确定身体部位区域的边界坐标，边界坐标包括身体部位区域的边界在第一类行人图像中的高度值；将边界坐标与第一类行人图像的总高度的比值作为身体部位分界线信息。
本申请实施例提供的一种行人重识别系统，人体部位模板包括头部模板、躯干模板、下肢模板；身体部位区域包括头部区域、躯干区域、下肢区域；身体部位分界线信息包括头部区域的开始边界信息、头部区域与躯干区域间的分界线信息、躯干区域与下肢区域间的分界线信息、下肢区域的结束边界信息。
本申请实施例提供的一种行人重识别系统，第一确定单元可以具体用于：从第一类行人图像中切割出与人体部位模板同大小的临时图像；计算每一个临时图像和人体部位模板的相似度值；选取相似度值最大的临时图像作为第一类行人图像中与人体部位模板对应的身体部位区域。
本申请实施例提供的一种行人重识别系统，第一确定单元可以具体用于：基于相似度计算公式，计算每一个临时图像和人体部位模板的相似度值；
相似度计算公式包括：
Figure 232861DEST_PATH_IMAGE001
；
其中，
Figure 182363DEST_PATH_IMAGE002
表示临时图像的坐标值；
Figure 943646DEST_PATH_IMAGE003
表示相似度值；
Figure 518852DEST_PATH_IMAGE004
表示临时图像中
Figure 681980DEST_PATH_IMAGE005
坐标处的像素值；
Figure 802383DEST_PATH_IMAGE006
表示人体部位模板中
Figure 316541DEST_PATH_IMAGE007
坐标处的像素值；
Figure 429859DEST_PATH_IMAGE008
表示人体部位模板的尺寸。
本申请实施例提供的一种行人重识别系统，第一训练模块可以包括：
第一构成单元，用于将目标行人重识别网络与第一辅助网络进行连接，得到第一目标网络；
第一训练单元，用于基于第一类行人图像及标签信息对第一目标网络进行训练，得到训练好的第一目标网络；
第一删除单元，用于去掉第一目标网络中的第一辅助网络，得到第一次训练的目标行人重识别网络。
本申请实施例提供的一种行人重识别系统，目标行人重识别网络包括ResNet50网络；第一辅助网络包括与Resnet50网络的第七部分连接的全连接层。
本申请实施例提供的一种行人重识别系统，第二制作模块可以包括：
第一提取单元，用于提取目标行人重识别网络的平均池化层之前的特征图；
第一叠加单元，用于将特征图的所有通道进行叠加，得到激活映射CAM；
第二确定单元，用于基于超参数确定激活映射CAM的实时阈值，并将大于预设阈值的实时阈值对应的第一类行人图像中的像素区域作为初始感兴趣区域；
第三确定单元，用于在初始感兴趣区域中寻找联通分量，并基于联通分量确定感兴趣区域；
第四确定单元，用于确定感兴趣区域的边界框信息。
本申请实施例提供的一种行人重识别系统，还包括：
归一化单元，用于第一叠加单元将特征图的所有通道进行叠加，得到激活映射CAM之后，第二确定单元基于超参数确定激活映射CAM的实时阈值之前，基于极值的仿射变换将激活映射CAM的值归一化到范围[0,1]。
本申请实施例提供的一种行人重识别系统，第四确定单元可以具体用于：基于边界框信息确定公式，确定感兴趣区域的边界框信息；
边界框信息确定公式包括：
Figure 447494DEST_PATH_IMAGE009
；
Figure 4377DEST_PATH_IMAGE010
；
Figure 740252DEST_PATH_IMAGE011
；
Figure 391682DEST_PATH_IMAGE012
；
其中，
Figure 529402DEST_PATH_IMAGE013
表示感兴趣区域的点集中所有元素
Figure 257187DEST_PATH_IMAGE014
坐标最小值，
Figure 214779DEST_PATH_IMAGE015
代表感兴趣区域的点集中所有元素
Figure 953057DEST_PATH_IMAGE016
坐标最大值；
Figure 945284DEST_PATH_IMAGE017
代表感兴趣区域的点集中所有元素
Figure 578390DEST_PATH_IMAGE018
坐标最小值，
Figure 288858DEST_PATH_IMAGE019
代表感兴趣区域的点集中所有元素
Figure 547669DEST_PATH_IMAGE020
坐标最大值；
Figure 394403DEST_PATH_IMAGE021
、
Figure 667252DEST_PATH_IMAGE022
代表边界框信息的宽度和高度；
Figure 396174DEST_PATH_IMAGE023
表示边界框信息中的左顶点坐标；
Figure 458677DEST_PATH_IMAGE024
表示感兴趣区域的点集；
Figure 425496DEST_PATH_IMAGE025
表示感兴趣区域中的像素点；
Figure 400405DEST_PATH_IMAGE026
表示实时阈值。
本申请实施例提供的一种行人重识别系统，第二训练模块可以包括：
第二构成单元，用于将第一次训练的目标行人重识别网络与第二辅助网络进行连接，得到第二目标网络；
第二训练单元，用于基于第一类行人图像及感兴趣区域对第二目标网络进行训练，得到训练好的第二目标网络；
第二删除单元，用于去掉第二目标网络中的第二辅助网络，得到第二次训练的目标行人重识别网络。
本申请实施例提供的一种行人重识别系统，目标行人重识别网络包括ResNet50网络；第二辅助网络包括与Resnet50网络的第六部分的pooling层特征图连接的图像检测网络；且图像检测网络包括候选区域确定网络、候选区域选择网络、感兴趣区域回归网络。
本申请还提供了一种行人重识别设备及计算机可读存储介质，其均具有本申请实施例提供的一种行人重识别方法具有的对应效果。请参阅图7，图7为本申请实施例提供的一种行人重识别设备的结构示意图。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：
获取无标签的第一类行人图像；
为第一类行人图像制作标签信息；
基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络；
提取第一类行人图像中的感兴趣区域；
基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：确定第一类行人图像中的身体部位分界线信息；将身体部位分界线信息作为第一类行人图像的标签信息。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于模板匹配法确定第一类行人图像中的身体部位分界线信息。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：获取预设的人体部位模板；确定第一类行人图像中与人体部位模板对应的身体部位区域；确定身体部位区域的边界坐标，边界坐标包括身体部位区域的边界在第一类行人图像中的高度值；将边界坐标与第一类行人图像的总高度的比值作为身体部位分界线信息。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：人体部位模板包括头部模板、躯干模板、下肢模板；身体部位区域包括头部区域、躯干区域、下肢区域；身体部位分界线信息包括头部区域的开始边界信息、头部区域与躯干区域间的分界线信息、躯干区域与下肢区域间的分界线信息、下肢区域的结束边界信息。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：从第一类行人图像中切割出与人体部位模板同大小的临时图像；计算每一个临时图像和人体部位模板的相似度值；选取相似度值最大的临时图像作为第一类行人图像中与人体部位模板对应的身体部位区域。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于相似度计算公式，计算每一个临时图像和人体部位模板的相似度值；
相似度计算公式包括：
Figure 537994DEST_PATH_IMAGE001
；
其中，
Figure 686079DEST_PATH_IMAGE002
表示临时图像的坐标值；
Figure 507404DEST_PATH_IMAGE003
表示相似度值；
Figure 856477DEST_PATH_IMAGE004
表示临时图像中
Figure 12521DEST_PATH_IMAGE005
坐标处的像素值；
Figure 167558DEST_PATH_IMAGE006
表示人体部位模板中
Figure 843390DEST_PATH_IMAGE007
坐标处的像素值；
Figure 691261DEST_PATH_IMAGE008
表示人体部位模板的尺寸。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：将目标行人重识别网络与第一辅助网络进行连接，得到第一目标网络；基于第一类行人图像及标签信息对第一目标网络进行训练，得到训练好的第一目标网络；去掉第一目标网络中的第一辅助网络，得到第一次训练的目标行人重识别网络。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：目标行人重识别网络包括ResNet50网络；第一辅助网络包括与Resnet50网络的第七部分连接的全连接层。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：提取目标行人重识别网络的平均池化层之前的特征图；将特征图的所有通道进行叠加，得到激活映射CAM；基于超参数确定激活映射CAM的实时阈值，并将大于预设阈值的实时阈值对应的第一类行人图像中的像素区域作为初始感兴趣区域；在初始感兴趣区域中寻找联通分量，并基于联通分量确定感兴趣区域；确定感兴趣区域的边界框信息。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：将特征图的所有通道进行叠加，得到激活映射CAM之后，基于超参数确定激活映射CAM的实时阈值之前，基于极值的仿射变换将激活映射CAM的值归一化到范围[0,1]。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于边界框信息确定公式，确定感兴趣区域的边界框信息；
边界框信息确定公式包括：
Figure 334601DEST_PATH_IMAGE009
；
Figure 762171DEST_PATH_IMAGE010
；
Figure 823668DEST_PATH_IMAGE011
；
Figure 576860DEST_PATH_IMAGE012
；
其中，
Figure 441917DEST_PATH_IMAGE013
表示感兴趣区域的点集中所有元素
Figure 673178DEST_PATH_IMAGE014
坐标最小值，
Figure 323602DEST_PATH_IMAGE015
代表感兴趣区域的点集中所有元素
Figure 247696DEST_PATH_IMAGE016
坐标最大值；
Figure 865628DEST_PATH_IMAGE017
代表感兴趣区域的点集中所有元素
Figure 697318DEST_PATH_IMAGE018
坐标最小值，
Figure 202248DEST_PATH_IMAGE019
代表感兴趣区域的点集中所有元素
Figure 297243DEST_PATH_IMAGE020
坐标最大值；
Figure 622045DEST_PATH_IMAGE021
、
Figure 715815DEST_PATH_IMAGE022
代表边界框信息的宽度和高度；
Figure 340832DEST_PATH_IMAGE023
表示边界框信息中的左顶点坐标；
Figure 606728DEST_PATH_IMAGE024
表示感兴趣区域的点集；
Figure 684405DEST_PATH_IMAGE025
表示感兴趣区域中的像素点；
Figure 310428DEST_PATH_IMAGE026
表示实时阈值。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：将第一次训练的目标行人重识别网络与第二辅助网络进行连接，得到第二目标网络；基于第一类行人图像及感兴趣区域对第二目标网络进行训练，得到训练好的第二目标网络；去掉第二目标网络中的第二辅助网络，得到第二次训练的目标行人重识别网络。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：目标行人重识别网络包括ResNet50网络；第二辅助网络包括与Resnet50网络的第六部分的pooling层特征图连接的图像检测网络；且图像检测网络包括候选区域确定网络、候选区域选择网络、感兴趣区域回归网络。
本申请实施例提供的一种行人重识别设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：获取有标签的第三类行人图像，并基于第三类行人图像对第二次训练的目标行人重识别网络进行训练，得到训练好的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。
请参阅图8，本申请实施例提供的另一种行人重识别设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现行人重识别设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术（HML）、通用串行总线（USB）、高清多媒体接口（HDMI）、无线连接：无线保真技术（WiFi）、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
获取无标签的第一类行人图像；
为第一类行人图像制作标签信息；
基于第一类行人图像及标签信息对目标行人重识别网络进行训练，得到第一次训练的目标行人重识别网络；
提取第一类行人图像中的感兴趣区域；
基于第一类行人图像及感兴趣区域对第一次训练的目标行人重识别网络进行训练，得到第二次训练的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：确定第一类行人图像中的身体部位分界线信息；将身体部位分界线信息作为第一类行人图像的标签信息。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于模板匹配法确定第一类行人图像中的身体部位分界线信息。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取预设的人体部位模板；确定第一类行人图像中与人体部位模板对应的身体部位区域；确定身体部位区域的边界坐标，边界坐标包括身体部位区域的边界在第一类行人图像中的高度值；将边界坐标与第一类行人图像的总高度的比值作为身体部位分界线信息。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：人体部位模板包括头部模板、躯干模板、下肢模板；身体部位区域包括头部区域、躯干区域、下肢区域；身体部位分界线信息包括头部区域的开始边界信息、头部区域与躯干区域间的分界线信息、躯干区域与下肢区域间的分界线信息、下肢区域的结束边界信息。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：从第一类行人图像中切割出与人体部位模板同大小的临时图像；计算每一个临时图像和人体部位模板的相似度值；选取相似度值最大的临时图像作为第一类行人图像中与人体部位模板对应的身体部位区域。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于相似度计算公式，计算每一个临时图像和人体部位模板的相似度值；
相似度计算公式包括：
Figure 789951DEST_PATH_IMAGE001
；
其中，
Figure 226748DEST_PATH_IMAGE002
表示临时图像的坐标值；
Figure 57301DEST_PATH_IMAGE003
表示相似度值；
Figure 487014DEST_PATH_IMAGE004
表示临时图像中
Figure 289885DEST_PATH_IMAGE005
坐标处的像素值；
Figure 163163DEST_PATH_IMAGE006
表示人体部位模板中
Figure 933542DEST_PATH_IMAGE007
坐标处的像素值；
Figure 917678DEST_PATH_IMAGE008
表示人体部位模板的尺寸。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：将目标行人重识别网络与第一辅助网络进行连接，得到第一目标网络；基于第一类行人图像及标签信息对第一目标网络进行训练，得到训练好的第一目标网络；去掉第一目标网络中的第一辅助网络，得到第一次训练的目标行人重识别网络。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：目标行人重识别网络包括ResNet50网络；第一辅助网络包括与Resnet50网络的第七部分连接的全连接层。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：提取目标行人重识别网络的平均池化层之前的特征图；将特征图的所有通道进行叠加，得到激活映射CAM；基于超参数确定激活映射CAM的实时阈值，并将大于预设阈值的实时阈值对应的第一类行人图像中的像素区域作为初始感兴趣区域；在初始感兴趣区域中寻找联通分量，并基于联通分量确定感兴趣区域；确定感兴趣区域的边界框信息。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：将特征图的所有通道进行叠加，得到激活映射CAM之后，基于超参数确定激活映射CAM的实时阈值之前，基于极值的仿射变换将激活映射CAM的值归一化到范围[0,1]。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于边界框信息确定公式，确定感兴趣区域的边界框信息；
边界框信息确定公式包括：
Figure 371793DEST_PATH_IMAGE009
；
Figure 150394DEST_PATH_IMAGE010
；
Figure 221118DEST_PATH_IMAGE011
；
Figure 992634DEST_PATH_IMAGE012
；
其中，
Figure 301255DEST_PATH_IMAGE013
表示感兴趣区域的点集中所有元素
Figure 250757DEST_PATH_IMAGE014
坐标最小值，
Figure 12039DEST_PATH_IMAGE015
代表感兴趣区域的点集中所有元素
Figure 321667DEST_PATH_IMAGE016
坐标最大值；
Figure 750374DEST_PATH_IMAGE017
代表感兴趣区域的点集中所有元素
Figure 870777DEST_PATH_IMAGE018
坐标最小值，
Figure 916093DEST_PATH_IMAGE019
代表感兴趣区域的点集中所有元素
Figure 780144DEST_PATH_IMAGE020
坐标最大值；
Figure 312625DEST_PATH_IMAGE021
、
Figure 603929DEST_PATH_IMAGE022
代表边界框信息的宽度和高度；
Figure 339804DEST_PATH_IMAGE023
表示边界框信息中的左顶点坐标；
Figure 7546DEST_PATH_IMAGE024
表示感兴趣区域的点集；
Figure 394534DEST_PATH_IMAGE025
表示感兴趣区域中的像素点；
Figure 591160DEST_PATH_IMAGE026
表示实时阈值。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：将第一次训练的目标行人重识别网络与第二辅助网络进行连接，得到第二目标网络；基于第一类行人图像及感兴趣区域对第二目标网络进行训练，得到训练好的第二目标网络；去掉第二目标网络中的第二辅助网络，得到第二次训练的目标行人重识别网络。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：目标行人重识别网络包括ResNet50网络；第二辅助网络包括与Resnet50网络的第六部分的pooling层特征图连接的图像检测网络；且图像检测网络包括候选区域确定网络、候选区域选择网络、感兴趣区域回归网络。
本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取有标签的第三类行人图像，并基于第三类行人图像对第二次训练的目标行人重识别网络进行训练，得到训练好的目标行人重识别网络，以基于目标行人重识别网络进行行人重识别。
本申请所涉及的计算机可读存储介质包括随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的行人重识别系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的行人重识别方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (17)

1.一种行人重识别方法，其特征在于，包括：
获取无标签的第一类行人图像；
为所述第一类行人图像制作标签信息；
基于所述第一类行人图像及所述标签信息对目标行人重识别网络进行训练，得到第一次训练的所述目标行人重识别网络；
提取所述第一类行人图像中的感兴趣区域；
基于所述第一类行人图像及所述感兴趣区域对第一次训练的所述目标行人重识别网络进行训练，得到第二次训练的所述目标行人重识别网络，以基于所述目标行人重识别网络进行行人重识别
其中，所述为所述第一类行人图像制作标签信息，包括：
确定所述第一类行人图像中的身体部位分界线信息；
将所述身体部位分界线信息作为所述第一类行人图像的标签信息。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一类行人图像中的身体部位分界线信息，包括：
基于模板匹配法确定所述第一类行人图像中的所述身体部位分界线信息。
3.根据权利要求2所述的方法，其特征在于，所述基于模板匹配法确定所述第一类行人图像中的所述身体部位分界线信息，包括：
获取预设的人体部位模板；
确定所述第一类行人图像中与所述人体部位模板对应的身体部位区域；
确定所述身体部位区域的边界坐标，边界坐标包括身体部位区域的边界在第一类行人图像中的高度值；
将所述边界坐标与所述第一类行人图像的总高度的比值作为所述身体部位分界线信息。
4.根据权利要求3所述的方法，其特征在于，所述人体部位模板包括头部模板、躯干模板、下肢模板；所述身体部位区域包括头部区域、躯干区域、下肢区域；所述身体部位分界线信息包括所述头部区域的开始边界信息、所述头部区域与所述躯干区域间的分界线信息、所述躯干区域与所述下肢区域间的分界线信息、所述下肢区域的结束边界信息。
5.根据权利要求4所述的方法，其特征在于，所述确定所述第一类行人图像中与所述人体部位模板对应的身体部位区域，包括：
从所述第一类行人图像中切割出与所述人体部位模板同大小的临时图像；
计算每一个所述临时图像和所述人体部位模板的相似度值；
选取相似度值最大的所述临时图像作为所述第一类行人图像中与所述人体部位模板对应的所述身体部位区域。
6.根据权利要求5所述的方法，其特征在于，所述计算每一个所述临时图像和所述人体部位模板的相似度值，包括：
基于相似度计算公式，计算每一个所述临时图像和所述人体部位模板的所述相似度值；
所述相似度计算公式包括：
Figure DEST_PATH_IMAGE002
；
其中，
Figure DEST_PATH_IMAGE004
表示所述临时图像的坐标值；
Figure DEST_PATH_IMAGE006
表示所述相似度值；
Figure DEST_PATH_IMAGE008
表示所述临时图像中
Figure DEST_PATH_IMAGE010
坐标处的像素值；
Figure DEST_PATH_IMAGE012
表示所述人体部位模板中
Figure DEST_PATH_IMAGE014
坐标处的像素值；
Figure DEST_PATH_IMAGE016
表示所述人体部位模板的尺寸。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述第一类行人图像及所述标签信息对目标行人重识别网络进行训练，得到第一次训练的所述目标行人重识别网络，包括：
将所述目标行人重识别网络与第一辅助网络进行连接，得到第一目标网络；
基于所述第一类行人图像及所述标签信息对所述第一目标网络进行训练，得到训练好的所述第一目标网络；
去掉所述第一目标网络中的所述第一辅助网络，得到第一次训练的所述目标行人重识别网络。
8.根据权利要求7所述的方法，其特征在于，所述目标行人重识别网络包括ResNet50网络；所述第一辅助网络包括与所述ResNet 50网络的第七部分连接的全连接层。
9.根据权利要求1所述的方法，其特征在于，所述提取所述第一类行人图像中的感兴趣区域，包括：
提取所述目标行人重识别网络的平均池化层之前的特征图；
将所述特征图的所有通道进行叠加，得到激活映射CAM；
基于超参数确定所述激活映射CAM的实时阈值，并将大于预设阈值的所述实时阈值对应的所述第一类行人图像中的像素区域作为初始感兴趣区域；
在所述初始感兴趣区域中寻找联通分量，并基于所述联通分量确定所述感兴趣区域；
确定所述感兴趣区域的边界框信息。
10.根据权利要求9所述的方法，其特征在于，所述将所述特征图的所有通道进行叠加，得到激活映射CAM之后，所述基于超参数确定所述激活映射CAM的实时阈值之前，还包括：
基于极值的仿射变换将所述激活映射CAM的值归一化到范围[0,1]。
11.根据权利要求10所述的方法，其特征在于，所述确定所述感兴趣区域的边界框信息，包括：
基于边界框信息确定公式，确定所述感兴趣区域的所述边界框信息；
所述边界框信息确定公式包括：
Figure DEST_PATH_IMAGE018
；
Figure DEST_PATH_IMAGE020
；
Figure DEST_PATH_IMAGE022
；
Figure DEST_PATH_IMAGE024
；
其中，
Figure DEST_PATH_IMAGE026
表示所述感兴趣区域的点集中所有元素
Figure DEST_PATH_IMAGE028
坐标最小值，
Figure DEST_PATH_IMAGE030
代表所述感兴趣区域的点集中所有元素
Figure DEST_PATH_IMAGE032
坐标最大值；
Figure DEST_PATH_IMAGE034
代表所述感兴趣区域的点集中所有元素
Figure DEST_PATH_IMAGE036
坐标最小值，
Figure DEST_PATH_IMAGE038
代表所述感兴趣区域的点集中所有元素
Figure DEST_PATH_IMAGE040
坐标最大值；
Figure DEST_PATH_IMAGE042
、
Figure DEST_PATH_IMAGE044
代表所述边界框信息的宽度和高度；
Figure DEST_PATH_IMAGE046
表示所述边界框信息中的左顶点坐标；
Figure DEST_PATH_IMAGE048
表示所述感兴趣区域的点集；
Figure DEST_PATH_IMAGE050
表示所述感兴趣区域中的像素点；
Figure DEST_PATH_IMAGE052
表示所述实时阈值。
12.根据权利要求11所述的方法，其特征在于，所述基于所述第一类行人图像及所述感兴趣区域对第一次训练的所述目标行人重识别网络进行训练，得到第二次训练的所述目标行人重识别网络，包括：
将第一次训练的所述目标行人重识别网络与第二辅助网络进行连接，得到第二目标网络；
基于所述第一类行人图像及所述感兴趣区域对所述第二目标网络进行训练，得到训练好的所述第二目标网络；
去掉所述第二目标网络中的所述第二辅助网络，得到第二次训练的所述目标行人重识别网络。
13.根据权利要求12所述的方法，其特征在于，所述目标行人重识别网络包括ResNet50网络；所述第二辅助网络包括与所述ResNet 50网络的第六部分的图像检测网络；且所述图像检测网络包括候选区域确定网络、候选区域选择网络、感兴趣区域回归网络。
14.根据权利要求1所述的方法，其特征在于，所述基于所述目标行人重识别网络进行行人重识别，包括：
获取有标签的第三类行人图像，并基于所述第三类行人图像对第二次训练的所述目标行人重识别网络进行训练，得到训练好的所述目标行人重识别网络，以基于所述目标行人重识别网络进行行人重识别。
15.一种行人重识别系统，其特征在于，包括：
第一获取模块，用于获取无标签的第一类行人图像；
第一制作模块，用于为所述第一类行人图像制作标签信息；
第一训练模块，用于基于所述第一类行人图像及所述标签信息对目标行人重识别网络进行训练，得到第一次训练的所述目标行人重识别网络；
第二制作模块，用于提取所述第一类行人图像中的感兴趣区域；
第二训练模块，用于基于所述第一类行人图像及所述感兴趣区域对第一次训练的所述目标行人重识别网络进行训练，得到第二次训练的所述目标行人重识别网络，以基于所述目标行人重识别网络进行行人重识别；
其中，所述第一制作模块包括：
第一确定单元，用于确定所述第一类行人图像中的身体部位分界线信息；
第一设置单元，用于将所述身体部位分界线信息作为所述第一类行人图像的标签信息。
16.一种行人重识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至14任一项所述行人重识别方法的步骤。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至14任一项所述行人重识别方法的步骤。
CN202210469141.2A 2022-04-30 2022-04-30 一种行人重识别方法、系统、设备及计算机可读存储介质 Active CN114596592B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210469141.2A CN114596592B (zh) 2022-04-30 2022-04-30 一种行人重识别方法、系统、设备及计算机可读存储介质
PCT/CN2022/119678 WO2023206935A1 (zh) 2022-04-30 2022-09-19 一种行人重识别方法、系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210469141.2A CN114596592B (zh) 2022-04-30 2022-04-30 一种行人重识别方法、系统、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114596592A CN114596592A (zh) 2022-06-07
CN114596592B true CN114596592B (zh) 2022-08-02

Family

ID=81811773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210469141.2A Active CN114596592B (zh) 2022-04-30 2022-04-30 一种行人重识别方法、系统、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114596592B (zh)
WO (1) WO2023206935A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596592B (zh) * 2022-04-30 2022-08-02 苏州浪潮智能科技有限公司 一种行人重识别方法、系统、设备及计算机可读存储介质
CN114821651B (zh) * 2022-04-30 2023-11-10 苏州浪潮智能科技有限公司 一种行人重识别方法、系统、设备及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569779B (zh) * 2019-08-28 2022-10-04 西北工业大学 基于行人局部和整体属性联合学习的行人属性识别方法
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技（深圳）有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质
CN112541448B (zh) * 2020-12-18 2023-04-07 济南博观智能科技有限公司 一种行人重识别方法、装置、电子设备和存储介质
CN112836611A (zh) * 2021-01-26 2021-05-25 上海眼控科技股份有限公司 确定身体部位语义图、模型训练和行人重识别方法及设备
CN112766218B (zh) * 2021-01-30 2023-05-30 上海工程技术大学 基于非对称联合教学网络的跨域行人重识别方法和装置
CN113947101A (zh) * 2021-09-06 2022-01-18 上海工程技术大学 一种基于软化相似性学习的无监督行人重识别方法和系统
CN114596592B (zh) * 2022-04-30 2022-08-02 苏州浪潮智能科技有限公司 一种行人重识别方法、系统、设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023206935A1 (zh) 2023-11-02
CN114596592A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
CN114596592B (zh) 一种行人重识别方法、系统、设备及计算机可读存储介质
CN105844669B (zh) 一种基于局部哈希特征的视频目标实时跟踪方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
Kawewong et al. Online and incremental appearance-based SLAM in highly dynamic environments
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN103258203B (zh) 遥感影像的道路中线自动提取方法
CN112163498B (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN111368759B (zh) 基于单目视觉的移动机器人语义地图构建系统
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN114937083B (zh) 一种应用于动态环境的激光slam系统及方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
Xue et al. A novel multi-layer framework for tiny obstacle discovery
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN113343765B (zh) 一种基于点云刚性配准的场景检索方法及系统
CN114821651B (zh) 一种行人重识别方法、系统、设备及计算机可读存储介质
CN110889418A (zh) 一种气体轮廓识别方法
CN114037839B (zh) 一种小目标识别方法、系统、电子设备及介质
CN115641449A (zh) 一种用于机器人视觉的目标跟踪方法
CN115761552A (zh) 面向无人机机载平台的目标检测方法、系统、设备及介质
CN111898473B (zh) 一种基于深度学习的司机状态实时监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant