CN112613496A - 一种行人重识别方法、装置、电子设备及存储介质 - Google Patents

一种行人重识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112613496A
CN112613496A CN202110252017.6A CN202110252017A CN112613496A CN 112613496 A CN112613496 A CN 112613496A CN 202110252017 A CN202110252017 A CN 202110252017A CN 112613496 A CN112613496 A CN 112613496A
Authority
CN
China
Prior art keywords
pedestrian
feature
feature vector
target
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110252017.6A
Other languages
English (en)
Inventor
刘建虎
郑双午
闫潇宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Original Assignee
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anruan Huishi Technology Co ltd, Shenzhen Anruan Technology Co Ltd filed Critical Shenzhen Anruan Huishi Technology Co ltd
Priority to CN202110252017.6A priority Critical patent/CN112613496A/zh
Publication of CN112613496A publication Critical patent/CN112613496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种行人重识别方法、装置、电子设备及存储介质，方法包括：通过行人重识别数据集对行人重识别模型进行模型训练；将行人重识别模型进行格式转换，并构建TensorRT加速器工程对行人重识别模型进行加速，得到行人特征提取模型；获取每个行人的行人图像信息，通过行人特征提取模型提取行人图像信息中的行人特征向量，集合成行人特征向量集；基于预设的图像采集设备信息与预设的采集时间信息对行人特征向量集进行过滤，得到待匹配特征向量集；确定目标行人，提取目标行人的目标特征向量并与所有行人特征向量进行特征相似度匹配。能够提高行人特征向量的提取速度及行人重识别速度，且通过属性过滤，能减小对目标行人进行匹配的数量，提高匹配速度。

Description

一种行人重识别方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种行人重识别方法、装置、电子设备及存储介质。
背景技术
目前，随着计算机硬件性能的快速提升，深度学习成为计算机视觉领域的一种主流方法。相比传统方法，深度学习方法在准确度方面有巨大提升。虽然深度学习提高了准确度，但是由于卷积神经网络深度的原因，计算时间的成本比较高，所以对模型进行提速成为许多科研工作者的目标。
在当下行人重识别系统中，对行人进行重识别主要是基于深度学习的方法进行，但由于卷积神经网络在计算时间方面的限制，且在提取行人目标的特征向量进行匹配时，是将目标行人与全部行人特征向量进行匹配，在实际应用中，有些场景只需要在固定区域和时间段内进行匹配，所以每次与全部行人特征向量进行匹配，增加了计算量，降低了了匹配速度。可见，在现有技术中，在保证重识别准确率的前提下，存在模型对行人重识别速度慢、时间成本高的问题。
发明内容
本发明实施例提供一种行人重识别方法，能够在保证准确率的前提下，提高模型对行人重识别的速度，降低时间成本。
第一方面，本发明实施例提供一种行人重识别方法，包括以下步骤：
构建行人重识别数据集以及行人重识别模型，并通过所述行人重识别数据集对所述行人重识别模型进行模型训练；
构建TensorRT加速器工程，将已训练好的所述行人重识别模型的格式转换为所述TensorRT加速器工程的格式；
通过所述TensorRT加速器工程对所述行人重识别模型进行加速，得到行人特征提取模型；
获取每个行人的行人图像信息，通过所述行人特征提取模型提取所述行人图像信息中的行人特征向量，集合每个行人的所述行人特征向量组成行人特征向量集，其中，每条所述行人特征向量包括有对应的图像采集设备信息及采集时间信息；
基于预设的图像采集设备信息与预设的采集时间信息对所述行人特征向量集进行过滤，得到待匹配特征向量集；
确定目标行人，提取所述目标行人的目标特征向量并与所述待匹配特征向量集中的所有所述行人特征向量进行特征相似度匹配，将所述行人特征向量中所述特征相似度满足预设的特征相似度阈值所对应的行人判断为所述目标行人。
可选的，所述获取每个行人的行人图像信息，通过所述行人特征提取模型提取所述行人图像信息中的行人特征向量，集合每个行人的所述行人特征向量组成行人特征向量集的步骤包括：
从视频图像中获取每个行人的所述行人图像信息，所述行人图像信息中包括多种类型的所述行人特征向量；
通过所述行人特征提取模型对所述行人图像信息中每个行人的多种类型的所述行人特征向量进行提取；
将提取出的每个行人的多种类型的所述行人特征向量进行集合，得到所述行人特征向量集。
可选的，所述基于预设的图像采集设备信息与预设的采集时间信息对所述行人特征向量集进行过滤，得到待匹配特征向量集的步骤包括:
获取所述预设的图像采集设备信息与预设的采集时间信息；
将所述预设的图像采集设备信息与预设的采集时间信息与所述行人特征向量集中的每条所述行人特征向量对应的图像采集设备信息及采集时间信息进行比较；
筛除所述行人特征向量集中所述图像采集设备信息及所述采集时间信息不满足所述预设的图像采集设备信息与预设的采集时间信息的所述行人特征向量，以得到所述待匹配特征向量集。
可选的，所述确定目标行人，提取所述目标行人的目标特征向量并与所述待匹配特征向量集中的所有所述行人特征向量进行特征相似度匹配，将所述行人特征向量中所述特征相似度满足预设的特征相似度阈值所对应的行人判断为所述目标行人的步骤包括：
通过外部输入所述目标行人或从视频中指定所述目标行人，所述目标行人包括目标特征向量；
通过加速后的所述行人特征提取模型对所述目标行人的所述目标特征向量进行提取；
将所述目标特征向量与所述待匹配特征向量集中的每一条所述行人特征向量进行特征相似度计算，将所述特征相似度满足所述预设的特征相似度阈值所对应的行人判断为所述目标行人。
第二方面，本发明实施例提供一种行人重识别装置，包括：
训练模块，用于构建行人重识别数据集以及行人重识别模型，并通过所述行人重识别数据集对所述行人重识别模型进行模型训练；
转换模块，用于构建TensorRT加速器工程，将已训练好的所述行人重识别模型的格式转换为所述TensorRT加速器工程的格式；
加速模块，用于通过所述TensorRT加速器工程对所述行人重识别模型进行加速，得到行人特征提取模型；
提取模块，用于获取每个行人的行人图像信息，通过所述行人特征提取模型提取所述行人图像信息中的行人特征向量，集合每个行人的所述行人特征向量组成行人特征向量集，其中，每条所述行人特征向量包括有对应的图像采集设备信息及采集时间信息；
过滤模块，用于基于预设的图像采集设备信息与预设的采集时间信息对所述行人特征向量集进行过滤，得到待匹配特征向量集；
匹配模块，用于确定目标行人，提取所述目标行人的目标特征向量并与所述待匹配特征向量集中的所有所述行人特征向量进行特征相似度匹配，将所述行人特征向量中所述特征相似度满足预设的特征相似度阈值所对应的行人判断为所述目标行人。
可选的，所述提取模块包括：
第一提取单元，用于从视频图像中获取每个行人的所述行人图像信息，所述行人图像信息中包括多种类型的所述行人特征向量；
第二提取单元，用于通过所述行人特征提取模型对所述行人图像信息中每个行人的多种类型的所述行人特征向量进行提取；
集合单元，用于将提取出的每个行人的多种类型的所述行人特征向量进行集合，得到所述行人特征向量集。
可选的，所述过滤模块包括：
获取单元，用于获取所述预设的图像采集设备信息与所述预设的采集时间信息；
比较单元，用于将所述预设的图像采集设备信息、所述预设的采集时间信息与所述行人特征向量集中的每条所述行人特征向量对应的图像采集设备信息及采集时间信息进行比较；
筛选单元，用于筛除所述行人特征向量集中所述图像采集设备信息及所述采集时间信息不满足所述预设的图像采集设备信息与所述预设的采集时间信息的所述行人特征向量，以得到所述待匹配特征向量集。
可选的，所述匹配模块包括：
输入单元，用于通过外部输入所述目标行人或从视频中指定所述目标行人，所述目标行人包括目标特征向量；
第三提取单元，用于通过加速后的所述行人特征提取模型对所述目标行人的所述目标特征向量进行提取；
计算单元，用于将所述目标特征向量与所述待匹配特征向量集中的每一条所述行人特征向量进行特征相似度计算，将所述特征相似度满足所述预设的特征相似度阈值所对应的行人判断为所述目标行人。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述实施例提供的行人重识别方法中的步骤。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述实施例提供的行人重识别方法中的步骤。
本发明实施例中，由于通过TensorRT加速器工程对行人特征提取模型进行了加速，提高了行人特征向量的提取速度，也提高了行人重识别的速度；此外，通过对所述行人特征向量集基于预设的图像采集设备信息与预设的采集时间信息进行了过滤处理，通过属性过滤的方法，减小了对目标行人进行匹配的数据量，提高了匹配速度，提高了行人重识别速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种行人重识别方法的流程图；
图2是本发明实施例提供的另一种行人重识别方法的流程图；
图3是本发明实施例提供的另一种行人重识别方法的流程图；
图4是本发明实施例提供的一种行人重识别装置的结构示意图；
图5是本发明实施例提供的另一种行人重识别装置的结构示意图；
图6是本发明实施例提供的另一种行人重识别装置的结构示意图；
图7是本发明实施例提供的另一种行人重识别装置的结构示意图；
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的每个行人其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，图1是本发明实施例提供的一种行人重识别方法的流程图，该行人重识别方法包括以下步骤：
101、构建行人重识别数据集以及行人重识别模型，并通过行人重识别数据集对行人重识别模型进行模型训练。
在本实施例中，上述行人重识别方法可以运用在需要对行人进行重识别的各种系统中，包括对人脸、行为动作、穿戴等特征属性进行识别等等。且上述行人重识别方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取图像数据集中的图像数据，以及用于重识别方法过程中的数据传输等。上述无线连接方式可以包括但不限于3G/4G连接、WiFi（Wireless-Fidelity）连接、蓝牙连接、WiMAX（Worldwide Interoperabilityfor Microwave Access）连接、Zigbee（低功耗局域网协议，又称紫峰协议）连接、UWB(ultra wideband )连接、以及其他现在已知或将来开发的无线连接方式。
其中，行人重识别数据集可以是通当前进行实时采集得到的大量图像数据，也可以是预先已经存储的大量图像数据，还可以是从网上爬取、或还可以是图像采集设备采集或者视频中提取的图像数据等。在图像数据集中，可以包括行人的各类图像信息，例如：人脸、人体、穿戴、地点、时间等图像信息。图像数据集可以是行人属性识别数据集，图像数据集中可以包括大量的行人的图像数据。
其中，结合图2所示，构建行人重识别数据集以及行人重识别模型后，可以将行人重识别数据集导入到行人重识别模型中，对其进行模型训练，对行人的各类图像属性、特征进行更敏锐的识别，用于在给定了目标行人之后，对目标行人的目标特征向量与行人特征向量进行更准确、更快速的识别，以判断正在识别的行人特征向量对应的行人是否与目标行人为同一人。
102、构建TensorRT加速器工程，将已训练好的行人重识别模型的格式转换为TensorRT加速器工程的格式。
其中，上述的TensorRT加速器工程即英伟达可编程推理加速器（TensorRT）。英伟达TensorRT是一种高性能神经网络推理引擎，用于在生产环境中部署深度学习应用程序。应用有图像分类，分割和目标检测，提供的帧/秒速度比只有CPU的推理引擎高14倍，且运行在Volta上的TensorRT在图像分类方面比最快的CPU还要快40倍，图像处理过程的可实现7ms的延时。且TensorRT包含一个为优化在生产环境中部署的深度学习模型而创建的库，可获取经过训练的神经网络（通常使用32位或16位数据）。
上述卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。通常通过二维卷积神经网络进行图像类文本的识别，三维卷积神经网络主要应用于医学图像以及视频类数据识别。
其中，上述构建卷积神经网络模型可以是基于实际需求重新设计构建卷积神经网络模型的输出层结构。构建好卷积神经网络之后，可以将获取到的图像数据集导入到重新构建好的卷积神经网络模型中，对其进行图像数据集训练，对行人的各类图像数据进行识别后，最终可以得到上述的行人重识别模型。行人重识别模型可以用于在给定了参考行人之后，对获取到的行人的图像进行多次识别，以判断是否与参考行人为同一人。
具体的，在进行格式转换之前，需要先获取到英伟达可编程推理TensorRT加速器工程的格式。在本实施例中，上述英伟达可编程推理TensorRT加速器工程的格式可以是ONNX格式。将已训练好的行人重识别模型的格式转换为上述的ONNX格式后，便可以使用ONNX格式的行人重识别模型作为英伟达可编程推理TensorRT加速器工程的输入。
103、通过TensorRT加速器工程对行人重识别模型进行加速，得到行人特征提取模型。
其中，当对已经训练好的行人重识别模型进行格式转换之后，通过转换得到的ONNX格式便可以实现与英伟达可编程推理TensorRT加速器工程之间的融合。然后，可以通过英伟达可编程推理TensorRT加速器工程对上述已格式转换后的行人重识别模型进行加速处理，得到上述行人特征提取模型。
具体的，在进行模型加速之前，可以先进行模型参数设定，具体可以包括对加速后生成的行人特征提取模型的图像数据的色彩模式、图像的分辨率、并行处理时图像数量以及拟分配的显存大小等等进行设定。
104、获取每个行人的行人图像信息，通过行人特征提取模型提取行人图像信息中的行人特征向量，集合每个行人的行人特征向量组成行人特征向量集，其中，每条行人特征向量包括有对应的图像采集设备信息及采集时间信息。
其中，上述行人图像信息可以是通过摄像头录制街道、车站等位置的视频数据中提取出的行人的图像信息。行人图像信息包含有特征向量，特征向量中可以包括多种类型的信息，且一种类型可以从多个维度进行表示，例如：特征向量中包括人体本身属性以及附属属性两种类型，则人体本身属性可以通过体型、身高两种维度表示，附属属性可以通过衣服、裤子、鞋子等多种维度表示。当然，也可以是每个类型通过一个维度进行表示。获取视频中存在的每个行人的行人图像信息，利用加速后的行人特征提取模型可以提取全部行人的行人特征向量，将全部行人特征向量进行组合后便可以组成行人特征向量集。每条行人特征向量可以针对一个人，且每条行人特征向量可以有对应的图像采集设备信息及采集时间信息。其中，图像采集设备信息可以包括具有标签的摄像头，或者是具有摄像头功能且有标签的的其它电子设备，每一个摄像头可以配置有摄像头编号用于区分。
105、基于预设的图像采集设备信息与预设的采集时间信息对行人特征向量集进行过滤，得到待匹配特征向量集。
其中，上述预设的图像采集设备信息可以是预先指定的带有标签的摄像头，预设的采集时间信息可以是预先设置的采集行人图像信息的一个时间段，当然也可以定位到一个具体的时间点。上述预设的图像采集设备信息与预设的采集时间信息可是上层直接输入。
具体的，进行过滤的过程可以是将预设的图像采集设备信息、预设的采集时间信息跟行人特征向量集中每条行人特征向量对应的图像采集设备信息及采集时间信息进行匹配，行人特征向量对应的图像采集设备信息与预设的图像采集设备信息一致，以及行人特征向量对应的采集时间信息在预设的采集时间信息内，表示匹配成功，最终将匹配成功的行人特征向量进行整合得到待匹配特征向量集。这样，通过过滤的方式便可以将匹配失败的行人特征向量从行人特征向量集中筛除，以减少后续对行人特征向量进行相似度计算的时间。
106、确定目标行人，提取目标行人的目标特征向量并与待匹配特征向量集中的所有行人特征向量进行特征相似度匹配，将行人特征向量中特征相似度满足预设的特征相似度阈值所对应的行人判断为目标行人。
其中，在对行人识别过程中，上述的目标行人可以是指定视频中的某一行人，也可以从外部输入某一行人图像。确定好目标行人之后，便可以将目标行人的多个特征信息进行提取，将多个特征进行组合得到上述的目标特征向量。上述可以是通过欧氏距离（EuclidDistance），计算目标特征向量与待匹配特征向量集中每一个行人特征向量之间的特征相似度。欧氏距离也称欧几里得度量、欧几里得距离，是一个通常采用的距离定义它是在m维空间中两个点之间的真实距离。
具体的，特征相似度匹配时可是在目标特征向量与待匹配特征向量中每一个元素的特征相似度都满足对应预设的特征相似度阈值的前提下，才可以判断正在匹配的行人为指定的目标行人，例如：计算得到特征相似度为95，特征相似度阈值为90，则判断正在匹配的行人为指定的目标行人。也可以是目标特征向量与待匹配特征向量每个行人元素计算好特征相似度之后，求特征相似度均值，然后将特征相似度均值与预设的特征相似度阈值比较，以判断正在匹配的行人是否为指定的目标行人。此外，还可以是对目标特征向量与待匹配特征向量中的各个元素匹配对应的占比，优先匹配占比高的元素，在占比高的元素进行特征相似度计算后得到的特征相似度满足各对应的特征相似度阈值时，再继续后续元素的相似度计算，否则停止后续计算。
作为一种可能的实施例方式，特征相似度匹配时，可以是进行横向匹配，即横向依次有序提取目标特征向量与行人特征向量中的元素进行特征相似度比较，例如：目标行人为a，待匹配的行人为b，则先计算a与b的人脸相似度，若人脸相似度达到标准，则继续比较a与b的穿着相似度，并依次继续。
作为另一种可能的实施例方式，还可以是进行纵向匹配，即纵向依次有序提取目标特征向量与行人特征向量中相同的元素进行特征相似度比较，例如：目标行人为a，待匹配的行人为b、c、d，则先计算a与b的人脸相似度，再计算a与c的人脸相似度，再计算a与c的人脸相似度，满足预设的人脸相似度阈值的继续后一个元素计算，否则放弃该行人特征向量的后续计算。
在本发明实施例中，通过构建行人重识别数据集以及行人重识别模型，并通过行人重识别数据集对行人重识别模型进行模型训练；构建TensorRT加速器工程，将已训练好的行人重识别模型的格式转换为TensorRT加速器工程的格式；通过TensorRT加速器工程对行人重识别模型进行加速，得到行人特征提取模型；获取每个行人的行人图像信息，通过行人特征提取模型提取行人图像信息中的行人特征向量，集合每个行人的行人特征向量组成行人特征向量集，其中，每条行人特征向量包括有对应的图像采集设备信息及采集时间信息；基于预设的图像采集设备信息与预设的采集时间信息对行人特征向量集进行过滤，得到待匹配特征向量集；确定目标行人，提取目标行人的目标特征向量并与待匹配特征向量集中的所有行人特征向量进行特征相似度匹配，将行人特征向量中特征相似度满足预设的特征相似度阈值所对应的行人判断为目标行人。本发明实施例由于通过TensorRT加速器工程对行人特征提取模型进行了加速，提高了行人特征向量的提取速度，也提高了行人重识别的速度。其次，通过对行人特征向量集基于预设的图像采集设备信息与预设的采集时间信息进行了过滤处理，通过属性过滤的方法，减小了对目标行人进行匹配的数据量，提高了匹配速度，提高了行人重识别速度。
如图3所示，图3是本发明实施例提供的另一种行人重识别方法的流程图，具体包括以下步骤：
201、构建行人重识别数据集以及行人重识别模型，并通过行人重识别数据集对行人重识别模型进行模型训练。
202、构建TensorRT加速器工程，将已训练好的行人重识别模型的格式转换为TensorRT加速器工程的格式。
203、通过TensorRT加速器工程对行人重识别模型进行加速，得到行人特征提取模型。
204、获取每个行人的行人图像信息，通过行人特征提取模型提取行人图像信息中的行人特征向量，集合每个行人的行人特征向量组成行人特征向量集，其中，每条行人特征向量包括有对应的图像采集设备信息及采集时间信息。
205、获取预设的图像采集设备信息与预设的采集时间信息。
其中，上述获取预设的图像采集设备信息与预设的采集时间信息可以是由上层直接输出的比较条件。
206、将预设的图像采集设备信息、预设的采集时间信息与行人特征向量集中的每条行人特征向量对应的图像采集设备信息及采集时间信息进行比较。
其中，继续结合图2所示，将预设的图像采集设备信息、预设的采集时间信息与行人特征向量集中的每条行人特征向量对应的图像采集设备信息及采集时间信息进行比较可以实现数据过滤，例如：预设的图像采集设备信息与预设的采集时间信息依次为5号摄像头，采集时间信息为中午12:00-13:00，当前匹配的行人b的行人特征向量集对应图像采集设备信息为4号摄像头，采集时间信息为早上8:00-10:00，则可以表示行人b排除。
207、筛除行人特征向量集中图像采集设备信息及采集时间信息不满足预设的图像采集设备信息与预设的采集时间信息的行人特征向量，以得到待匹配特征向量集。
其中，当行人特征向量对应的图像采集设备信息与预设的图像采集设备信息一致，以及行人特征向量对应的采集时间信息在预设的采集时间信息内，可以表示匹配成功，最终将每个行人匹配成功的行人特征向量进行整合得到待匹配特征向量集。这样，通过过滤的方式便可以将匹配失败的行人特征向量从行人特征向量集中筛除，以减少后续对行人特征向量进行特征相似度计算的时间。
208、确定目标行人，提取目标行人的目标特征向量并与待匹配特征向量集中的所有行人特征向量进行特征相似度匹配，将行人特征向量中特征相似度满足预设的特征相似度阈值所对应的行人判断为目标行人。
可选的，上述步骤208包括：
通过外部输入目标行人或从视频中指定目标行人，目标行人包括目标特征向量。
其中，目标行人可以是通过外部输入或从视频中指定。
通过加速后的行人特征提取模型对目标行人的目标特征向量进行提取。
将目标特征向量与待匹配特征向量集中的每一条行人特征向量进行特征相似度计算，将特征相似度满足预设的特征相似度阈值所对应的行人判断为目标行人。
其中，将目标特征向量与待匹配特征向量集中的每一条行人特征向量进行特征相似度计算可以是通过欧氏距离进行计算，根据最终得到的距离结果作为特征相似度与预设的特征相似度阈值的评判标准。
在本实施例中，由于通过构建TensorRT加速器工程对行人特征提取模型进行了加速，提高了行人特征向量的提取速度，也提高了行人重识别的速度。其次，通过对行人特征向量集基于预设的图像采集设备信息与预设的采集时间信息进行了过滤处理，得到上述的待匹配特征向量集，然后再将目标特征向量与待匹配特征向量集中的每一个行人特征向量进行特征相似度匹配，通过属性过滤的方法，减小了行人匹配的数量，加快了匹配速度，提高了行人重识别速度。
如图4所示，图4是本发明实施例提供的一种行人重识别装置的结构示意图，上述行人重识别装置400包括：
训练模块401，用于构建行人重识别数据集以及行人重识别模型，并通过行人重识别数据集对行人重识别模型进行模型训练；
转换模块402，用于构建TensorRT加速器工程，将已训练好的行人重识别模型的格式转换为TensorRT加速器工程的格式；
加速模块403，用于通过TensorRT加速器工程对行人重识别模型进行加速，得到行人特征提取模型；
提取模块404，用于获取每个行人的行人图像信息，通过行人特征提取模型提取行人图像信息中的行人特征向量，集合每个行人的行人特征向量组成行人特征向量集，其中，每条行人特征向量包括有对应的图像采集设备信息及采集时间信息；
过滤模块405，用于基于预设的图像采集设备信息与预设的采集时间信息对行人特征向量集进行过滤，得到待匹配特征向量集；
匹配模块406，用于确定目标行人，提取目标行人的目标特征向量并与待匹配特征向量集中的所有行人特征向量进行特征相似度匹配，将行人特征向量中特征相似度满足预设的特征相似度阈值所对应的行人判断为目标行人。
可选的，如图5所示，图5是本发明实施例提供的另一种行人重识别装置的结构示意图，提取模块404包括：
第一提取单元4041，用于从视频图像中获取每个行人的行人图像信息，行人图像信息中包括多种类型的行人特征向量；
第二提取单元4042，用于通过行人特征提取模型对行人图像信息中每个行人的多种类型的行人特征向量进行提取；
集合单元4043，用于将提取出的每个行人的多种类型的行人特征向量进行集合，得到行人特征向量集。
可选的，如图6所示，图6是本发明实施例提供的另一种行人重识别装置的结构示意图，过滤模块405包括：
获取单元4051，用于获取预设的图像采集设备信息与预设的采集时间信息；
比较单元4052，用于将预设的图像采集设备信息、预设的采集时间信息与行人特征向量集中的每条行人特征向量对应的图像采集设备信息及采集时间信息进行比较；
筛选单元4053，用于筛除行人特征向量集中图像采集设备信息及采集时间信息不满足预设的图像采集设备信息与预设的采集时间信息的行人特征向量，以得到待匹配特征向量集。
可选的，如图7所示，图7是本发明实施例提供的另一种行人重识别装置的结构示意图，匹配模块406包括：
输入单元4061，用于通过外部输入目标行人或从视频中指定目标行人，目标行人包括目标特征向量；
第三提取单元4062，用于通过加速后的行人特征提取模型对目标行人的目标特征向量进行提取；
计算单元4063，用于将目标特征向量与待匹配特征向量集中的每一条行人特征向量进行特征相似度计算，将特征相似度满足预设的特征相似度阈值所对应的行人判断为目标行人。
如图8所示，图8是本发明实施例提供的一种电子设备的结构示意图，该电子设备800包括：处理器801、存储器802、网络接口803及存储在存储器802上并可在处理器801上运行的计算机程序，处理器801执行计算机程序时实现实施例提供的行人重识别方法中的步骤。
具体的，处理器801用于执行以下步骤：
构建行人重识别数据集以及行人重识别模型，并通过行人重识别数据集对行人重识别模型进行模型训练；
构建TensorRT加速器工程，将已训练好的行人重识别模型的格式转换为TensorRT加速器工程的格式；
通过TensorRT加速器工程对行人重识别模型进行加速，得到行人特征提取模型；
获取每个行人的行人图像信息，通过行人特征提取模型提取行人图像信息中的行人特征向量，集合每个行人的行人特征向量组成行人特征向量集，其中，每条行人特征向量包括有对应的图像采集设备信息及采集时间信息；
基于预设的图像采集设备信息与预设的采集时间信息对行人特征向量集进行过滤，得到待匹配特征向量集；
确定目标行人，提取目标行人的目标特征向量并与待匹配特征向量集中的所有行人特征向量进行特征相似度匹配，将行人特征向量中特征相似度满足预设的特征相似度阈值所对应的行人判断为目标行人。
可选的，处理器801执行的获取每个行人的行人图像信息，通过行人特征提取模型提取行人图像信息中的行人特征向量，集合每个行人的行人特征向量组成行人特征向量集的步骤包括：
从视频图像中获取每个行人的行人图像信息，行人图像信息中包括多种类型的行人特征向量；
通过行人特征提取模型对行人图像信息中每个行人的多种类型的行人特征向量进行提取；
将提取出的每个行人的多种类型的行人特征向量进行集合，得到行人特征向量集。
可选的，处理器801执行的基于预设的图像采集设备信息与预设的采集时间信息对行人特征向量集进行过滤，得到待匹配特征向量集的步骤包括:
获取预设的图像采集设备信息与预设的采集时间信息；
将预设的图像采集设备信息、预设的采集时间信息与行人特征向量集中的每条行人特征向量对应的图像采集设备信息及采集时间信息进行比较；
筛除行人特征向量集中图像采集设备信息及采集时间信息不满足预设的图像采集设备信息与预设的采集时间信息的行人特征向量，以得到待匹配特征向量集。
可选的，处理器801执行的确定目标行人，提取目标行人的目标特征向量并与待匹配特征向量集中的所有行人特征向量进行特征相似度匹配，将行人特征向量中特征相似度满足预设的特征相似度阈值所对应的行人判断为目标行人的步骤包括：
通过外部输入目标行人或从视频中指定目标行人，目标行人包括目标特征向量；
通过加速后的行人特征提取模型对目标行人的目标特征向量进行提取；
将目标特征向量与待匹配特征向量集中的每一条行人特征向量进行特征相似度计算，将特征相似度满足预设的特征相似度阈值所对应的行人判断为目标行人。
本发明实施例提供的电子设备800能够实现行人重识别方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
需要指出的是，图8中仅示出了具有组件801-803的电子设备800，但是应理解的是，并不要求实施每个示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的电子设备800是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
上述的电子设备800包括但不限于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子设备可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器802至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，存储器802可以是电子设备800的内部存储单元，例如该电子设备800的硬盘或内存。在另一些实施例中，存储器802也可以是电子设备800的外部存储设备，例如该电子设备800上配备的插接式硬盘，智能存储卡（SmartMedia Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，存储器802还可以既包括电子设备800的内部存储单元也包括其外部存储设备。本实施例中，存储器802通常用于存储安装于电子设备800的操作系统和各类应用软件，例如：行人重识别方法的程序代码等。此外，存储器802还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器801在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器801通常用于控制电子设备800的总体操作。本实施例中，处理器801用于运行存储器802中存储的程序代码或者处理数据，例如运行行人重识别方法的程序代码。
网络接口803可包括无线网络接口或有线网络接口，该网络接口803通常用于在电子设备与其他电子设备之间建立通信连接。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器801执行时实现实施例提供的行人重识别方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现实施例行人重识别方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存取存储器（Random Access Memory，简称RAM）等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种行人重识别方法，其特征在于，包括以下步骤：
构建行人重识别数据集以及行人重识别模型，并通过所述行人重识别数据集对所述行人重识别模型进行模型训练；
构建TensorRT加速器工程，将已训练好的所述行人重识别模型的格式转换为所述TensorRT加速器工程的格式；
通过所述TensorRT加速器工程对所述行人重识别模型进行加速，得到行人特征提取模型；
获取每个行人的行人图像信息，通过所述行人特征提取模型提取所述行人图像信息中的行人特征向量，集合每个行人的所述行人特征向量组成行人特征向量集，其中，每条所述行人特征向量包括有对应的图像采集设备信息及采集时间信息；
基于预设的图像采集设备信息与预设的采集时间信息对所述行人特征向量集进行过滤，得到待匹配特征向量集；
确定目标行人，提取所述目标行人的目标特征向量并与所述待匹配特征向量集中的所有所述行人特征向量进行特征相似度匹配，将所述行人特征向量中所述特征相似度满足预设的特征相似度阈值所对应的行人判断为所述目标行人。
2.如权利要求1所述的行人重识别方法，其特征在于，所述获取每个行人的行人图像信息，通过所述行人特征提取模型提取所述行人图像信息中的行人特征向量，集合每个行人的所述行人特征向量组成行人特征向量集的步骤包括：
从视频图像中获取每个行人的所述行人图像信息，所述行人图像信息中包括多种类型的所述行人特征向量；
通过所述行人特征提取模型对所述行人图像信息中每个行人的多种类型的所述行人特征向量进行提取；
将提取出的每个行人的多种类型的所述行人特征向量进行集合，得到所述行人特征向量集。
3.如权利要求1所述的行人重识别方法，其特征在于，所述基于预设的图像采集设备信息与预设的采集时间信息对所述行人特征向量集进行过滤，得到待匹配特征向量集的步骤包括:
获取所述预设的图像采集设备信息与所述预设的采集时间信息；
将所述预设的图像采集设备信息、所述预设的采集时间信息与所述行人特征向量集中的每条所述行人特征向量对应的图像采集设备信息及采集时间信息进行比较；
筛除所述行人特征向量集中所述图像采集设备信息及所述采集时间信息不满足所述预设的图像采集设备信息与所述预设的采集时间信息的所述行人特征向量，以得到所述待匹配特征向量集。
4.如权利要求1所述的行人重识别方法，其特征在于，所述确定目标行人，提取所述目标行人的目标特征向量并与所述待匹配特征向量集中的所有所述行人特征向量进行特征相似度匹配，将所述行人特征向量中所述特征相似度满足预设的特征相似度阈值所对应的行人判断为所述目标行人的步骤包括：
通过外部输入所述目标行人或从视频中指定所述目标行人，所述目标行人包括目标特征向量；
通过所述行人特征提取模型对所述目标行人的所述目标特征向量进行提取；
将所述目标特征向量与所述待匹配特征向量集中的每一条所述行人特征向量进行特征相似度计算，将所述特征相似度满足所述预设的特征相似度阈值所对应的行人判断为所述目标行人。
5.一种行人重识别装置，其特征在于，包括：
训练模块，用于构建行人重识别数据集以及行人重识别模型，并通过所述行人重识别数据集对所述行人重识别模型进行模型训练；
转换模块，用于构建TensorRT加速器工程，将已训练好的所述行人重识别模型的格式转换为所述TensorRT加速器工程的格式；
加速模块，用于通过所述TensorRT加速器工程对所述行人重识别模型进行加速，得到行人特征提取模型；
提取模块，用于获取每个行人的行人图像信息，通过所述行人特征提取模型提取所述行人图像信息中的行人特征向量，集合每个行人的所述行人特征向量组成行人特征向量集，其中，每条所述行人特征向量包括有对应的图像采集设备信息及采集时间信息；
过滤模块，用于基于预设的图像采集设备信息与预设的采集时间信息对所述行人特征向量集进行过滤，得到待匹配特征向量集；
匹配模块，用于确定目标行人，提取所述目标行人的目标特征向量并与所述待匹配特征向量集中的所有所述行人特征向量进行特征相似度匹配，将所述行人特征向量中所述特征相似度满足预设的特征相似度阈值所对应的行人判断为所述目标行人。
6.如权利要求5所述的行人重识别装置，其特征在于，所述提取模块包括：
第一提取单元，用于从视频图像中获取每个行人的所述行人图像信息，所述行人图像信息中包括多种类型的所述行人特征向量；
第二提取单元，用于通过所述行人特征提取模型对所述行人图像信息中每个行人的多种类型的所述行人特征向量进行提取；
集合单元，用于将提取出的每个行人的多种类型的所述行人特征向量进行集合，得到所述行人特征向量集。
7.如权利要求5所述的行人重识别装置，其特征在于，所述过滤模块包括：
获取单元，用于获取所述预设的图像采集设备信息与所述预设的采集时间信息；
比较单元，用于将所述预设的图像采集设备信息、所述预设的采集时间信息与所述行人特征向量集中的每条所述行人特征向量对应的图像采集设备信息及采集时间信息进行比较；
筛选单元，用于筛除所述行人特征向量集中所述图像采集设备信息及所述采集时间信息不满足所述预设的图像采集设备信息与所述预设的采集时间信息的所述行人特征向量，以得到所述待匹配特征向量集。
8.如权利要求5所述的行人重识别装置，其特征在于，所述匹配模块包括：
输入单元，用于通过外部输入所述目标行人或从视频中指定所述目标行人，所述目标行人包括目标特征向量；
第三提取单元，用于通过加速后的所述行人特征提取模型对所述目标行人的所述目标特征向量进行提取；
计算单元，用于将所述目标特征向量与所述待匹配特征向量集中的每一条所述行人特征向量进行特征相似度计算，将所述特征相似度满足所述预设的特征相似度阈值所对应的行人判断为所述目标行人。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的行人重识别方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的行人重识别方法中的步骤。
CN202110252017.6A 2021-03-08 2021-03-08 一种行人重识别方法、装置、电子设备及存储介质 Pending CN112613496A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110252017.6A CN112613496A (zh) 2021-03-08 2021-03-08 一种行人重识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110252017.6A CN112613496A (zh) 2021-03-08 2021-03-08 一种行人重识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112613496A true CN112613496A (zh) 2021-04-06

Family

ID=75254386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110252017.6A Pending CN112613496A (zh) 2021-03-08 2021-03-08 一种行人重识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112613496A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378651A (zh) * 2021-05-20 2021-09-10 合肥工业大学 分布式快速行人重识别系统
CN117522454A (zh) * 2024-01-05 2024-02-06 北京文安智能技术股份有限公司 一种工作人员识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598240A (zh) * 2018-12-05 2019-04-09 深圳市安软慧视科技有限公司 视频目标快速重识别方法及系统
CN110796074A (zh) * 2019-10-28 2020-02-14 桂林电子科技大学 一种基于时空数据融合的行人再识别方法
CN111860318A (zh) * 2020-07-20 2020-10-30 杭州品茗安控信息技术股份有限公司 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
CN112199983A (zh) * 2020-07-08 2021-01-08 北京航空航天大学 一种多层次筛选的长时间大范围行人再识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598240A (zh) * 2018-12-05 2019-04-09 深圳市安软慧视科技有限公司 视频目标快速重识别方法及系统
CN110796074A (zh) * 2019-10-28 2020-02-14 桂林电子科技大学 一种基于时空数据融合的行人再识别方法
CN112199983A (zh) * 2020-07-08 2021-01-08 北京航空航天大学 一种多层次筛选的长时间大范围行人再识别方法
CN111860318A (zh) * 2020-07-20 2020-10-30 杭州品茗安控信息技术股份有限公司 一种建筑工地行人徘徊检测方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378651A (zh) * 2021-05-20 2021-09-10 合肥工业大学 分布式快速行人重识别系统
CN117522454A (zh) * 2024-01-05 2024-02-06 北京文安智能技术股份有限公司 一种工作人员识别方法及系统
CN117522454B (zh) * 2024-01-05 2024-04-16 北京文安智能技术股份有限公司 一种工作人员识别方法及系统

Similar Documents

Publication Publication Date Title
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
WO2021017606A1 (zh) 视频处理方法、装置、电子设备及存储介质
CN107844794B (zh) 图像识别方法和装置
CN109086873B (zh) 递归神经网络的训练方法、识别方法、装置及处理设备
CN112288770A (zh) 基于深度学习的视频实时多目标检测与跟踪方法和装置
CN110781964A (zh) 一种基于视频图像的人体目标检测方法及系统
CN110826476A (zh) 识别目标物体的图像检测方法、装置、电子设备和存储介质
CN111797983A (zh) 一种神经网络构建方法以及装置
CN110222718B (zh) 图像处理的方法及装置
CN112052837A (zh) 基于人工智能的目标检测方法以及装置
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
CN110780965B (zh) 基于视觉的流程自动化方法、设备及可读存储介质
WO2021249114A1 (zh) 目标跟踪方法和目标跟踪装置
US20220415023A1 (en) Model update method and related apparatus
CN112613496A (zh) 一种行人重识别方法、装置、电子设备及存储介质
WO2021190433A1 (zh) 更新物体识别模型的方法和装置
CN109063790B (zh) 对象识别模型优化方法、装置和电子设备
CN111680183B (zh) 对象检索方法及装置、存储介质及电子设备
CN113033321A (zh) 目标行人属性识别模型的训练方法及行人属性识别方法
CN111738074B (zh) 基于弱监督学习的行人属性识别方法、系统及装置
CN111382638A (zh) 一种图像检测方法、装置、设备和存储介质
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN112766176A (zh) 轻量化卷积神经网络的训练方法及人脸属性识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210406

RJ01 Rejection of invention patent application after publication