CN112541448A - 一种行人重识别方法、装置、电子设备和存储介质 - Google Patents

一种行人重识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112541448A
CN112541448A CN202011505063.4A CN202011505063A CN112541448A CN 112541448 A CN112541448 A CN 112541448A CN 202011505063 A CN202011505063 A CN 202011505063A CN 112541448 A CN112541448 A CN 112541448A
Authority
CN
China
Prior art keywords
pedestrian
feature
network model
feature map
granularity network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011505063.4A
Other languages
English (en)
Other versions
CN112541448B (zh
Inventor
尤炜锋
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202011505063.4A priority Critical patent/CN112541448B/zh
Publication of CN112541448A publication Critical patent/CN112541448A/zh
Application granted granted Critical
Publication of CN112541448B publication Critical patent/CN112541448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种行人重识别方法，包括：获取输入图像集合；利用输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型；将待检测图像输入具有峰值检测器的多粒度网络模型，得到特征提取结果；将特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人。该方法利用具有峰值检测器的多粒度网络模型，可以准确提取行人特征并进行特征学习，避免了相关技术中仅利用多粒度网络模型任意切分人体引入背景信息造成特征学习混乱的缺点，能够改善模型性能，提高目标行人识别准确率。本申请同时还提供了一种行人重识别装置、一种电子设备和存储介质，具有上述有益效果。

Description

一种行人重识别方法、装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种行人重识别方法、装置、电子设备和存储介质。
背景技术
行人重识别(Person Re-identification，ReID)是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题，即给定一个监控行人图像，检索跨设备下的该行人图像。
相关技术中的行人重识别技术中，基本采用“三段式”对行人图像进行切分，生成不同的块，针对每一块提取特征，然后进行分类，得到最终的结果，这种方式无法准确切分人体，会引入背景信息，造成特征学习混乱，训练得到的模型效果较差，进而行人重识别的识别成功率较低。
发明内容
本申请的目的是提供一种行人重识别方法，能够准确提取行人特征并进行特征学习，提高目标行人识别准确率。其具体方案如下：
第一方面，本申请公开了一种行人重识别方法，包括：
获取输入图像集合；
利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型；
将待检测图像输入所述具有峰值检测器的多粒度网络模型，得到特征提取结果；
将所述特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人。
可选的，利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型，包括：
利用所述具有峰值检测器的初始多粒度网络模型，对所述输入图像集合中的各个图像进行特征提取，得到全局特征图；
利用所述模型中的峰值检测器对所述全局特征图进行人体部位检测，生成感兴趣区域；
对所述各个图像中的所述感兴趣区域进行水平切分，得到局部特征图，并对所述局部特征图进行拼接得到拼接特征图；
利用所述全局特征图、所述局部特征图和所述拼接特征图进行训练得到所述具有峰值检测器的多粒度网络模型。
可选的，对所述全局特征图、所述局部特征图和所述拼接特征图进行训练得到所述具有峰值检测器的多粒度网络模型，包括：
将行人ID和行人属性作为标签，利用所述全局特征图、所述局部特征图和所述拼接特征图进行特征训练，得到所述具有峰值检测器的多粒度网络模型。
可选的，将待检测图像输入所述具有峰值检测器的多粒度网络模型，得到特征提取结果，包括：
将待检测图像输入所述具有峰值检测器的多粒度网络模型，得到对应的全局特征图、局部特征图和拼接特征图；
对所述全局特征图、局部特征图和拼接特征图进行特征提取，得到全局特征向量、局部特征向量和拼接特征向量；
根据所述全局特征向量、局部特征向量和拼接特征向量得到联合特征向量，并将所述联合特征向量作为所述特征提取结果。
可选的，将所述特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人，包括：
将所述特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，得到匹配概率；
选取所述匹配概率最大的特征向量，并将所述特征向量对应的行人作为所述目标行人。
可选的，利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型之前，还包括：
设置所述多粒度网络模型的损失函数为Combined Margin Loss。
第二方面，本申请公开了一种行人重识别装置，包括：
获取模块，用于获取输入图像集合；
训练模块，用于利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型；
输入模块，用于将待检测图像输入所述具有峰值检测器的多粒度网络模型，得到特征提取结果；
识别模块，用于将所述特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人。
可选的，所述训练模块，包括：
提取子模块，用于利用所述具有峰值检测器的初始多粒度网络模型，对所述输入图像集合中的各个图像进行特征提取，得到全局特征图；
生成子模块，用于利用所述模型中的峰值检测器对所述全局特征图进行人体部位检测，生成感兴趣区域；
切分子模块，用于对所述各个图像中的所述感兴趣区域进行水平切分，得到局部特征图，并对所述局部特征图进行拼接得到拼接特征图；
训练子模块，用于利用所述全局特征图、所述特征图和所述拼接特征图进行训练得到所述行人特征提取模型。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述行人重识别方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述行人重识别方法的步骤。
本申请提供一种行人重识别方法，包括：获取输入图像集合；利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型；将待检测图像输入所述具有峰值检测器的多粒度网络模型，得到特征提取结果；将所述特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人。
可见，本申请通过将输入图像集合输入具有峰值检测器的初始多粒度网络模型，训练得到具有峰值检测器的多粒度网络模型，将待检测图像输入该具有峰值检测器的多粒度网络模型得到特征提取结果，进而识别目标行人，即利用具有峰值检测器的多粒度网络模型，可以准确提取行人特征并进行特征学习，得到训练好的具有峰值检测器的多粒度网络模型，再利用该模型识别待检测图像中的目标行人，避免了相关技术中仅利用多粒度网络模型任意切分人体引入背景信息造成特征学习混乱，行人重识别成功率较低的缺点，改善了模型性能，提高了目标行人识别准确率，改善用户体验。本申请同时还提供了一种行人重识别装置、一种电子设备和计算机可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种行人重识别方法的流程图；
图2为本申请实施例所提供的一种行人重识别装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在常见的行人重识别方法中，无法准确切分人体，引入背景信息，干扰特征学习，造成模型效果较差；还有，相关技术中仅依靠简单的行人ID信息作为标签进行模型训练，信息量不够充足，无法达到增加行人特征辨识度来实现行人重识别的目的。基于上述技术问题，本实施例提供一种行人重识别方法，能够改善模型性能，提高目标行人识别准确率。具体请参考图1，图1为本申请实施例所提供的一种行人重识别方法的流程图，具体包括：
S101、获取输入图像集合。
本实施例并不限定输入图像集合中图像的数量，可以理解的是，当输入图像数量较多时，训练得到的模型效果较好，当输入图像数量较少时，训练得到的模型效果不稳定。本实施例并不限定获取输入图像集合的来源，可以是通过摄像头采集得到输入图像集合，也可以是直接存储设备传输得到输入图像结合，可根据实际情况进行选择。本实施例也不限定输入图像集合中各个图像的具体内容，只要包括单个行人即可。需要注意的是，若图像中还包含多个行人时，需要采取相关技术分割行人，保留单个行人，以供后续模型进行行人特征学习。
S102、利用输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型。
本实施例中将峰值检测器应用于多粒度网络模型，并将输入图像集合输入具有峰值检测器的初始多粒度网络模型中进行特征学习，得到训练好的具有峰值检测器的多粒度网络模型。本实施例并不限定训练得到具有峰值检测器的多粒度网络模型的具体过程。可以理解的是，多粒度网络模型可以对输入图像集合进行特征提取得到全局特征图(粗粒度人体特征)；然后利用该模型中的峰值检测器可以准确检测到全局特征图中的人体部位(细粒度人体特征)，即该模型可以对不同粒度的人体特征进行特征学习，得到训练好的具有峰值检测器的多粒度网络模型，提高模型效果。
可以理解的是，带有峰值检测器的多粒度网络模型包括七层卷积神经网络、最大池化层、卷积层和全连接层。其中，七层卷积神经网络的第一层，第三层第五层和第七层被分别划分出一个分支用于生成对不同位置不同粗细粒度敏感的峰值检测器。峰值检测器可包含L个通道数，本实施例并不限定具体的通道个数，可根据实际情况进行设定。例如，当L等于3，那么峰值检测器有3层，可以是底层特征检测器、中层特征检测器和高层特征检测器。各层输出特征依次分别通过一个Conv 1x1的卷积层减少不同层resnet卷积层输出特征图通道数(减少计算量)进行特征提取，随后分别通过Conv 3x3和Conv5x5，提取该层特征图的不同感受野的特征输出。不同层次的峰值检测器能对全局特征图的不同位置有不同敏感度，例如低层的峰值检测器倾向于捕捉边缘或纹理等低级特征，而更深层的峰值检测器更倾向于捕捉与特定对象(如背包)或人类身份对应的语义视觉特征。
在一种具体的实施例中，为了获取更多的行人信息，提高行人重识别模型性能，本实施例中利用输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型，可以包括：
利用具有峰值检测器的初始多粒度网络模型，对输入图像集合中的各个图像进行特征提取，得到全局特征图；
利用模型中的峰值检测器对全局特征图进行人体部位检测，生成感兴趣区域；
对各个图像中的感兴趣区域进行水平切分，得到局部特征图，并对局部特征图进行拼接得到拼接特征图；
利用全局特征图、局部特征图和拼接特征图进行训练得到具有峰值检测器的多粒度网络模型。
即，本实施例采用带有峰值检测器的多粒度网络模型，能对输入图像集合进行特征提取，得到全局特征图；并利用该模型中的峰值检测器对全局特征图进行卷积产生感兴趣区域，并对感兴趣区域进行水平切分生成局部特征图。同时可以将切分后的局部特征图通过height cancat进行拼接生成拼接特征图；然后对全局特征图、局部特征图和拼接特征图进行特征学习，得到训练好的具有峰值检测器的多粒度网络模型。
可以理解的是，通过带有峰值检测器的多粒度网络(MGN网络)端到端地对输入图像集合中的各个图像进行行人分析，无需预学习行人姿态可直接提取各个图像中行人的不同粗细粒度的特征；通过不同层次的峰值检测器对输入图像中的行人进行不同粗细粒度不同分辨率不同尺度的特征提取。
本实施例中利用具有峰值检测器的多粒度网络模型，可对各个图像中的行人进行人体部位检测，并生成感兴趣区域(ROI区域)；然后利用该ROI区域对行人进行切分，例如，可以按照头肩，中间躯干和下半身等身体区域进行切分，这些较为精确的身体区域可以拼接生成与全局特征图不同分辨率不同粗细粒度的全局特征图。然后，对切分得到的局部特征图进行特征学习得到行人特征提取模型。该切分方式比无规则的均匀切分更加合理精确，减少背景信息的干扰，还能够学习到更多的行人信息量。进一步的，带有峰值检测器的MGN网络端到端地直接提取ROI区域进行切分，不需要像其他按人头关键点切分的方法需要预先学习人体关键点检测的先验知识，可以加快模型训练速度减少行人特征提取学习成本。
本实施例并不限定行人特征提取模型训练过程的分类标签，可以是行人ID作为分类标签，可以是行人属性作为分类标签，当然，也可以是两者均作为分类标签。在一种具体的实施例中，利用全局特征图、局部特征图和拼接特征图进行训练得到具有峰值检测器的多粒度网络模型，可以包括：
将行人ID和行人属性作为标签，利用全局特征图、局部特征图和拼接特征图进行特征训练，得到具有峰值检测器的多粒度网络模型。
可以理解的是，一个行人ID代表位移一个行人，可以用阿拉伯数字表示，从0开始，还有，同一行人ID会包含有各角度各方向的图片。本实施例并不限定行人属性的具体内容，例如可以包括性别，上衣颜色，年龄和背包等。为了提取更多的行人信息来提升行人特征提取能力，本实施例中将行人ID和行人属性进行融合共同作为分类标签，用于行人特征提取模型的训练过程。有些行人属性是对位置敏感或者受高低层特征影响。拥有L个通道的不同层次的峰值检测器将从全局特征图中提取出L个对不同层次位置敏感的特征区域。对不同位置敏感的行人属性可以由这些不同层次的L个特征区域来生成最能表示该行人属性的特征向量。将行人ID和行人属性作为标签，行人ID和行人属性作为约束，使模型的特征提取能力和生成感兴趣区域的能力逐渐加强完善，优于仅依靠简单的行人ID作为分类标签提取行人特征，能够增加行人特征的辨识度，提高行人识别的准确率。
例如，在一种具体的实施例中，具有峰值检测器的多粒度网络模型中卷积层包括3×3卷积层，峰值检测器中的卷积层包括1×1卷积层与3×3卷积层以及5×5卷积层。例如多粒度网络模型的全局特征图输出256维的全局特征图，通过峰值检测器提取ROI区域，将全局特征图水平切分为不同的局部特征图，该局部特征图通过1×1卷积层进行降维至60维；降维后的局部特征图可通过不同的全连接层分别与行人ID和行人属性进行分类，使具有峰值检测器的多粒度网络模型特征提取能力逐渐加强完善。
需要注意的是，本实施例中多粒度网络模型的损失函数，可以是Combined MarginLoss，可以是arcface loss，可根据实际情况进行选择。在一种具体的实施例中，为了优化分类结果，提高网络模型性能，利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型之前，还可以包括：
设置多粒度网络模型的损失函数为Combined Margin Loss。
相关技术的行人重识别方法中，使用SoftmaxLoss与TripletLoss两种损失函数优化存在无法同步收敛的问题，导致训练得到的模型效果不佳。本实施例中采用CombinedMargin Loss损失函数来端到端地训练带峰值检测器的多粒度网络模型来提取行人特征，可以有效解决相关技术的收敛不同步的问题，优化分类结果，提高网络模型性能。
S103、将待检测图像输入具有峰值检测器的多粒度网络模型，得到特征提取结果。
本实施例将待检测图像输入到已训练好的模型即具有峰值检测器的多粒度网络模型，输出得到特征提取结果。可以理解的是，本实施例中特征提取结果可以是特征向量，本实施例并不限定特征向量的维数，可以是128维，也可以是256维。例如，特征矩阵可以包括手提包、打电话、鞋子颜色等细粒度属性，各个粒度属性可以用二进制数值来表示。
在一种具体的实施例中，将待检测图像输入具有峰值检测器的多粒度网络模型，得到特征提取结果，可以包括：
将待检测图像输入具有峰值检测器的多粒度网络模型，得到对应的全局特征图、局部特征图和拼接特征图；
对全局特征图、局部特征图和拼接特征图进行特征提取，得到全局特征向量、局部特征向量和拼接特征向量；
根据全局特征向量、局部特征向量和拼接特征向量得到联合特征向量，并将联合特征向量作为特征提取结果。
即本实施例中利用具有峰值检测器的多粒度网络模型，对待检测图像进行特征提取生成全局特征图，由该模型中的峰值检测器对全局特征图进行人体部位敏感检测产生感兴趣的区域，并水平切分形成的局部特征图；然后利用全局特征图、局部特征图和由局部特征图拼接生成的拼接特征图可以分别利用行人ID标签与行人属性标签进行分类，使该网络模型取得越来越准确的特征提取能力，输出全局特征向量、局部特征向量和拼接特征向量，然后将上述各个不同维度的特征向量channel concat成一个联合特征向量，用来进行后续的特征比对来完成行人重识别。
S104、将特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人。
本实施例中的含有目标行人的图片库可以理解为该特征库存储有很多的行人特征向量，本实施例并不限定该图片库的具体内容，只要包含有目标行人的图片库即可。可以理解的是，将特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配。本实施例并不限定具体的匹配方式，例如可以是通过计算特征提取结果与特征向量集合中各个特征向量的余弦距离，距离最短的特征向量对应人员可确定为目标行人；也可以计算特征提取结果与各个特征向量的匹配概率，可以根据实际情况进行选取。在一种具体的实施例中，将特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人，可以包括：
将特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，得到匹配概率；
选取匹配概率最大的特征向量，并将特征向量对应的行人作为目标行人。
即将特征提取结果即特征提取矩阵与含有目标行人的图片库中提取的特征向量集进行特征匹配，得到匹配概率，选取匹配概率最大的特征向量，也就是行人特征最接近的，将该匹配概率最大的特征向量对应的行人作为目标行人。例如，局部特征图输出特征维度为60维，一共有6个局部特征图，那么由局部特征图得来的特征维度为60*6＝360维。全局特征图特征维度为120维，局部特征图拼接生成的拼接特征图为120维，那么该模型最终会从待检测图像中提取出600维的特征。即将待检测图像输入训练好的具有峰值检测器的多粒度网络模型提取特征后，得到600维的特征。然后从含有目标行人的图片库中提取的特征向量集合与待检测图像提取出600维的特征进行比对，选取概率最大的特征向量，该特征向量对应的行人即为目标行人。
基于上述技术方案，本实施例将峰值检测器应用到多粒度网络模型，可以准确提取行人特征并进行特征学习，得到训练好的具有峰值检测器的多粒度网络模型，再利用该模型识别待检测图像中的目标行人，提高了目标行人识别准确率，改善了模型性能。
下面对本申请实施例提供的一种行人重识别装置进行介绍，下文描述的行人重识别装置与上文描述的行人重识别方法可相互对应参照，相关模块均设置于中，参考图2，图2为本申请实施例所提供的一种行人重识别装置的结构示意图，包括：
在一些具体的实施例中，具体包括：
获取模块201，用于获取输入图像集合；
训练模块202，用于利用输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型；
输入模块203，用于将待检测图像输入具有峰值检测器的多粒度网络模型，得到特征提取结果；
识别模块204，用于将特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人。
在一些具体的实施例中，训练模块，包括：
提取子模块，用于利用具有峰值检测器的初始多粒度网络模型，对输入图像集合中的各个图像进行特征提取，得到全局特征图；
生成子模块，用于利用模型中的峰值检测器对全局特征图进行人体部位检测，生成感兴趣区域；
切分子模块，用于对各个图像中的感兴趣区域进行水平切分，得到局部特征图，并对局部特征图进行拼接得到拼接特征图；
训练子模块，用于利用全局特征图、特征图和拼接特征图进行训练得到行人特征提取模型。
在一些具体的实施例中，训练子模块，包括：
训练单元，用于将行人ID和行人属性作为标签，利用全局特征图、局部特征图和拼接特征图进行特征训练，得到具有峰值检测器的多粒度网络模型。
在一些具体的实施例中，输入模块，包括：
检测子模块，用于将待检测图像输入具有峰值检测器的多粒度网络模型，得到对应的全局特征图、局部特征图和拼接特征图；
特征提取子模块，用于对全局特征图、局部特征图和拼接特征图进行特征提取，得到全局特征向量、局部特征向量和拼接特征向量；
联合子模块，用于根据全局特征向量、局部特征向量和拼接特征向量得到联合特征向量，并将联合特征向量作为特征提取结果。
在一些具体的实施例中，识别模块，包括：
匹配子模块，用于将特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，得到匹配概率；
选取子模块，用于选取匹配概率最大的特征向量，并将特征向量对应的行人作为目标行人。
在一些具体的实施例中，还包括：
设置模块，用于设置多粒度网络模型的损失函数为Combined Margin Loss。
由于行人重识别装置部分的实施例与行人重识别方法部分的实施例相互对应，因此行人重识别装置部分的实施例请参见行人重识别方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的行人重识别方法可相互对应参照。
本申请提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述行人重识别方法的步骤。
由于电子设备部分的实施例与行人重识别方法部分的实施例相互对应，因此电子设备部分的实施例请参见行人重识别方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的行人重识别方法可相互对应参照。
本申请提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述行人重识别方法的步骤。
由于计算机可读存储介质部分的实施例与行人重识别方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见行人重识别方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种行人重识别方法、装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种行人重识别方法，其特征在于，包括：
获取输入图像集合；
利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型；
将待检测图像输入所述具有峰值检测器的多粒度网络模型，得到特征提取结果；
将所述特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人。
2.根据权利要求1所述的行人重识别方法，其特征在于，所述利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型，包括：
利用所述具有峰值检测器的初始多粒度网络模型，对所述输入图像集合中的各个图像进行特征提取，得到全局特征图；
利用所述模型中的峰值检测器对所述全局特征图进行人体部位检测，生成感兴趣区域；
对所述各个图像中的所述感兴趣区域进行水平切分，得到局部特征图，并对所述局部特征图进行拼接得到拼接特征图；
利用所述全局特征图、所述局部特征图和所述拼接特征图进行训练得到所述具有峰值检测器的多粒度网络模型。
3.根据权利要求2所述的行人重识别方法，其特征在于，所述对所述全局特征图、所述局部特征图和所述拼接特征图进行训练得到所述具有峰值检测器的多粒度网络模型，包括：
将行人ID和行人属性作为标签，利用所述全局特征图、所述局部特征图和所述拼接特征图进行特征训练，得到所述具有峰值检测器的多粒度网络模型。
4.根据权利要求3所述的行人重识别方法，其特征在于，所述将待检测图像输入所述具有峰值检测器的多粒度网络模型，得到特征提取结果，包括：
将所述待检测图像输入所述具有峰值检测器的多粒度网络模型，得到对应的全局特征图、局部特征图和拼接特征图；
对所述全局特征图、所述局部特征图和所述拼接特征图进行特征提取，得到全局特征向量、局部特征向量和拼接特征向量；
根据所述全局特征向量、局部特征向量和拼接特征向量得到联合特征向量，并将所述联合特征向量作为所述特征提取结果。
5.根据权利要求1所述的行人重识别方法，其特征在于，所述将所述特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人，包括：
将所述特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，得到匹配概率；
选取所述匹配概率最大的特征向量，并将所述特征向量对应的行人作为所述目标行人。
6.根据权利要求1所述的行人重识别方法，其特征在于，所述利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型之前，还包括：
设置所述多粒度网络模型的损失函数为Combined Margin Loss。
7.一种行人重识别装置，其特征在于，包括：
获取模块，用于获取输入图像集合；
训练模块，用于利用所述输入图像集合对具有峰值检测器的初始多粒度网络模型进行特征训练，得到具有峰值检测器的多粒度网络模型；
输入模块，用于将待检测图像输入所述具有峰值检测器的多粒度网络模型，得到特征提取结果；
识别模块，用于将所述特征提取结果与含有目标行人的图片库中提取的特征向量集合进行匹配，识别目标行人。
8.根据权利要求7所述的行人重识别装置，其特征在于，所述训练模块，包括：
提取子模块，用于利用所述具有峰值检测器的初始多粒度网络模型，对所述输入图像集合中的各个图像进行特征提取，得到全局特征图；
生成子模块，用于利用所述模型中的峰值检测器对所述全局特征图进行人体部位检测，生成感兴趣区域；
切分子模块，用于对所述各个图像中的所述感兴趣区域进行水平切分，得到局部特征图，并对所述局部特征图进行拼接得到拼接特征图；
训练子模块，用于利用所述全局特征图、所述特征图和所述拼接特征图进行训练得到所述行人特征提取模型。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述行人重识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述行人重识别方法的步骤。
CN202011505063.4A 2020-12-18 2020-12-18 一种行人重识别方法、装置、电子设备和存储介质 Active CN112541448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011505063.4A CN112541448B (zh) 2020-12-18 2020-12-18 一种行人重识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011505063.4A CN112541448B (zh) 2020-12-18 2020-12-18 一种行人重识别方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112541448A true CN112541448A (zh) 2021-03-23
CN112541448B CN112541448B (zh) 2023-04-07

Family

ID=75019143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011505063.4A Active CN112541448B (zh) 2020-12-18 2020-12-18 一种行人重识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112541448B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190698A (zh) * 2021-04-28 2021-07-30 北京百度网讯科技有限公司 配对图片集的生成方法、装置、电子设备和存储介质
CN113657186A (zh) * 2021-07-26 2021-11-16 浙江大华技术股份有限公司 一种基于行人重识别的特征提取方法、装置和存储介质
CN113780066A (zh) * 2021-07-29 2021-12-10 苏州浪潮智能科技有限公司 行人重识别方法、装置、电子设备及可读存储介质
CN114067110A (zh) * 2021-07-13 2022-02-18 广东国地规划科技股份有限公司 一种实例分割网络模型的生成方法
CN114596592A (zh) * 2022-04-30 2022-06-07 苏州浪潮智能科技有限公司 一种行人重识别方法、系统、设备及计算机可读存储介质
WO2023206964A1 (zh) * 2022-04-30 2023-11-02 苏州元脑智能科技有限公司 一种行人重识别方法、系统、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766791A (zh) * 2017-09-06 2018-03-06 北京大学 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置
CN109614853A (zh) * 2018-10-30 2019-04-12 国家新闻出版广电总局广播科学研究院 一种基于身体结构划分的双线性行人再识别网络构建方法
CN109948490A (zh) * 2019-03-11 2019-06-28 浙江工业大学 一种基于行人重识别的员工特定行为记录方法
CN111046732A (zh) * 2019-11-11 2020-04-21 华中师范大学 一种基于多粒度语义解析的行人重识别方法及存储介质
CN111914642A (zh) * 2020-06-30 2020-11-10 浪潮电子信息产业股份有限公司 一种行人重识别方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766791A (zh) * 2017-09-06 2018-03-06 北京大学 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置
CN109614853A (zh) * 2018-10-30 2019-04-12 国家新闻出版广电总局广播科学研究院 一种基于身体结构划分的双线性行人再识别网络构建方法
CN109948490A (zh) * 2019-03-11 2019-06-28 浙江工业大学 一种基于行人重识别的员工特定行为记录方法
CN111046732A (zh) * 2019-11-11 2020-04-21 华中师范大学 一种基于多粒度语义解析的行人重识别方法及存储介质
CN111914642A (zh) * 2020-06-30 2020-11-10 浪潮电子信息产业股份有限公司 一种行人重识别方法、装置、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHIAT-PIN TAY ET AL.: ""AANet: Attribute Attention Network for Person ReIdentifications"", 《IEEE》 *
GUANSHUO WANG ET AL.: ""Learning Discriminative Features with Multiple Granularities for Person Re-Identification"", 《ARXIV》 *
JUBIN JOHNSON ET AL.: ""Person re-identification with fusion and deep pose-based body region features"", 《ARXIV》 *
张良 等: ""多粒度特征融合的行人再识别研究"", 《液晶与显示》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190698A (zh) * 2021-04-28 2021-07-30 北京百度网讯科技有限公司 配对图片集的生成方法、装置、电子设备和存储介质
CN113190698B (zh) * 2021-04-28 2023-08-01 北京百度网讯科技有限公司 配对图片集的生成方法、装置、电子设备和存储介质
CN114067110A (zh) * 2021-07-13 2022-02-18 广东国地规划科技股份有限公司 一种实例分割网络模型的生成方法
CN113657186A (zh) * 2021-07-26 2021-11-16 浙江大华技术股份有限公司 一种基于行人重识别的特征提取方法、装置和存储介质
CN113657186B (zh) * 2021-07-26 2024-05-31 浙江大华技术股份有限公司 一种基于行人重识别的特征提取方法、装置和存储介质
CN113780066A (zh) * 2021-07-29 2021-12-10 苏州浪潮智能科技有限公司 行人重识别方法、装置、电子设备及可读存储介质
CN113780066B (zh) * 2021-07-29 2023-07-25 苏州浪潮智能科技有限公司 行人重识别方法、装置、电子设备及可读存储介质
CN114596592A (zh) * 2022-04-30 2022-06-07 苏州浪潮智能科技有限公司 一种行人重识别方法、系统、设备及计算机可读存储介质
WO2023206964A1 (zh) * 2022-04-30 2023-11-02 苏州元脑智能科技有限公司 一种行人重识别方法、系统、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112541448B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112541448B (zh) 一种行人重识别方法、装置、电子设备和存储介质
CN110427905B (zh) 行人跟踪方法、装置以及终端
Qu et al. RGBD salient object detection via deep fusion
Ruta et al. In-vehicle camera traffic sign detection and recognition
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN109657533A (zh) 行人重识别方法及相关产品
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
Siva et al. Weakly Supervised Action Detection.
CN106960181B (zh) 一种基于rgbd数据的行人属性识别方法
CN108154133B (zh) 基于非对称联合学习的人脸画像-照片识别方法
Zhu et al. A boosted multi-task model for pedestrian detection with occlusion handling
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN110826484A (zh) 车辆重识别的方法、装置、计算机设备及模型训练方法
Tian et al. Scene Text Detection in Video by Learning Locally and Globally.
CN111598067A (zh) 视频中重识别训练方法、重识别方法及存储装置
CN111444817B (zh) 一种人物图像识别方法、装置、电子设备和存储介质
Tiwari et al. Machine learning approaches for face identification feed forward algorithms
Alavi et al. Multi-shot person re-identification via relational stein divergence
Bai et al. Multi-scale fully convolutional network for face detection in the wild
WO2024027347A9 (zh) 内容识别方法、装置、设备、存储介质及计算机程序产品
CN117423134A (zh) 一种人体目标检测和解析的多任务协同网络及其训练方法
CN116824641A (zh) 姿态分类方法、装置、设备和计算机存储介质
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN115527168A (zh) 行人重识别方法、存储介质、数据库编辑方法、存储介质
CN116844077A (zh) 视频处理的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant