CN113033337A - 基于TensorRT的行人重识别方法及装置 - Google Patents

基于TensorRT的行人重识别方法及装置 Download PDF

Info

Publication number
CN113033337A
CN113033337A CN202110252063.6A CN202110252063A CN113033337A CN 113033337 A CN113033337 A CN 113033337A CN 202110252063 A CN202110252063 A CN 202110252063A CN 113033337 A CN113033337 A CN 113033337A
Authority
CN
China
Prior art keywords
pedestrian
tensorrt
model
identification
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110252063.6A
Other languages
English (en)
Inventor
王伟伟
郑双午
闫潇宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Original Assignee
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anruan Huishi Technology Co ltd, Shenzhen Anruan Technology Co Ltd filed Critical Shenzhen Anruan Huishi Technology Co ltd
Priority to CN202110252063.6A priority Critical patent/CN113033337A/zh
Publication of CN113033337A publication Critical patent/CN113033337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，提供基于TensorRT的行人重识别方法及装置，方法包括：构建卷积神经网络模型，基于图像数据集对所述卷积神经网络模型进行训练，得到行人重识别模型；对所述行人重识别模型进行格式转换，得到包括目标格式的所述行人重识别模型；构建TensorRT加速器工程，通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型；通过所述特征提取模型对采集到的行人图像进行特征提取并识别。本申请能够对行人重识别模型进行加速，得到的特征提取模型可以提高对行人的特征的提取速度以及行人重识别的速度，在生产环境下，面对大规模数据时能够提高处理效率，节约时间成本。

Description

基于TensorRT的行人重识别方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及基于TensorRT的行人重识别方法及装置。
背景技术
近年来，行人重识别在安全防护领域中越来越得到广泛的应用。尤其随着人工智能领域中，深度学习技术的发展以及相关硬件设备算力的提升，构建深层卷积神经网络模型来提取特征以解决行人重识别问题已经逐步成为主要的技术手段，这对提高行人重识别的准确度起到了积极作用。但是，卷积神经网络模型使用的层数越多，通常其运行速度就越慢。可见，在现有技术中，在保证准确率的前提下，存在模型运行速度慢、时间成本高的问题。
发明内容
本发明实施例提供一种基于TensorRT的行人重识别方法，能够在保证准确率的前提下，提高行人重识别模型的运行速度，有利于在生产环境下面对大规模数据时提高处理效率，同时也节约时间成本。
第一方面，本发明实施例提供一种基于TensorRT的行人重识别方法，包括以下步骤：
构建卷积神经网络模型，基于图像数据集对所述卷积神经网络模型进行训练，得到行人重识别模型；
对所述行人重识别模型进行格式转换，得到包括目标格式的所述行人重识别模型；
构建TensorRT加速器工程，通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型；
通过所述特征提取模型对采集到的行人图像进行特征提取并识别。
可选的，所述构建卷积神经网络模型，基于图像数据集对所述卷积神经网络模型进行训练的步骤包括：
获取多张图像数据，以生成所述图像数据集；
基于迁移学习方式，构建所述卷积神经网络模型的输出层结构；
基于生成的所述图像数据集对所述卷积神经网络模型的输出层结构进行训练，以得到所述行人重识别模型。
可选的，所述对所述行人重识别模型进行格式转换的步骤包括：
获取与所述TensorRT加速器工程对应的所述目标格式；
将所述行人重识别模型的格式转换为所述TensorRT加速器工程对应的所述目标格式。
可选的，所述预设方向包括垂直方向或水平方向，所述构建TensorRT加速器工程，通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合的步骤包括:
创建所述TensorRT加速器工程；
通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型中的卷积层、归一化层以及激活层进行所述垂直方向上的融合，以实现对包括所述目标格式的所述行人重识别模型的加速处理，得到特征提取模型；或
通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型中的张量相同以及执行操作相同的层进行所述水平方向上的融合，以实现对包括所述目标格式的所述行人重识别模型的加速处理，得到特征提取模型。
可选的，所述通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合的步骤之前，所述方法还包括：
预先对所述特征提取模型特征提取参数进行设定，所述特征提取参数包括色彩模式、图像的分辨率、并行处理时图像数量以及拟分配的显存大小。
第二方面，本发明实施例提供一种基于TensorRT的行人重识别装置，包括：
训练模块，用于构建卷积神经网络模型，基于图像数据集对所述卷积神经网络模型进行训练，得到行人重识别模型；
转换模块，用于对所述行人重识别模型进行格式转换，得到包括目标格式的所述行人重识别模型；
加速模块，用于构建TensorRT加速器工程，通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型；
识别模块，用于通过所述特征提取模型对采集到的行人图像进行特征提取并识别。
可选的，所述训练模块包括：
获取单元，用于获取多张图像数据，以生成所述图像数据集；
构建单元，用于基于迁移学习方式，构建所述卷积神经网络模型的输出层结构；
训练单元，用于基于生成的所述图像数据集对所述卷积神经网络模型的输出层结构进行训练，以得到所述行人重识别模型。
可选的，所述转换模块包括：
格式获取单元，用于获取与所述TensorRT加速器工程对应的所述目标格式；
格式转换单元，用于将所述行人重识别模型的格式转换为所述TensorRT加速器工程对应的所述目标格式。
第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任一项实施例提供的基于TensorRT的行人重识别方法中的步骤。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任一项实施例提供的基于TensorRT的行人重识别方法中的步骤。
本发明实施例中，通过构建卷积神经网络模型，基于图像数据集对所述卷积神经网络模型进行训练，得到行人重识别模型；对所述行人重识别模型进行格式转换，得到包括目标格式的所述行人重识别模型；构建TensorRT加速器工程，通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型；通过所述特征提取模型对采集到的行人图像进行特征提取并识别。由于通过构建TensorRT加速器工程，通过TensorRT加速器工程可以对包括所述目标格式的所述行人重识别模型进行多方向的计算层融合，使得原始需要进行多层处理的步骤变成只需要合并为一层进行处理。这样，在保证特征提取的准确率前提下，可以减少特征提取模型在实际进行重识别时的计算量，从而实现模型加速；且在生产环境下，面对大规模数据时能够提高处理效率，节约时间成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种基于TensorRT的行人重识别方法的流程图；
图1b是本发明实施例提供的一种基于TensorRT的行人重识别方法的流程图；
图2是本发明实施例提供的另一种基于TensorRT的行人重识别方法的流程图；
图3a是本发明实施例提供的一种基于TensorRT的行人重识别装置的结构示意图；
图3b是本发明实施例提供的一种基于TensorRT的行人重识别方法的流程图；
图4是本发明实施例提供的一种基于TensorRT的行人重识别装置的结构示意图；
图5是本发明实施例提供的另一种基于TensorRT的行人重识别装置的结构示意图；
图6是本发明实施例提供的另一种基于TensorRT的行人重识别装置的结构示意图；
图7是本发明实施例提供的另一种基于TensorRT的行人重识别装置的结构示意图；
图8是本发明实施例提供的另一种基于TensorRT的行人重识别装置的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1a所示，图1a是本发明实施例提供的一种基于TensorRT的行人重识别方法的流程图，该基于TensorRT的行人重识别方法包括以下步骤：
101、构建卷积神经网络模型，基于图像数据集对卷积神经网络模型进行训练，得到行人重识别模型。
在本实施例中，上述基于TensorRT的行人重识别方法可以运用在需要对行人进行重识别的各种系统中，包括对人脸识别、人体识别等等。且上述基于TensorRT的行人重识别方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取图像数据集中的图像数据，以及用于重识别方法过程中的数据传输等。上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMAX(WorldwideInteroperability for Microwave Access)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
其中，TensorRT可以是英伟达可编程推理加速器。英伟达TensorRT是一种高性能神经网络推理引擎，用于在生产环境中部署深度学习应用程序。应用有图像分类，分割和目标检测，提供的帧/秒速度比只有CPU的推理引擎高14倍，且运行在Volta上的TensorRT3在图像分类方面比最快的CPU还要快40倍，图像处理过程的可实现7ms的延时。且TensorRT包含一个为优化在生产环境中部署的深度学习模型而创建的库，可获取经过训练的神经网络(通常使用32位或16位数据)。
其中，卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。通常通过二维卷积神经网络常进行图像类文本的识别，三维卷积神经网络主要应用于医学图像以及视频类数据识别。
其中，图像数据集可以是行人属性识别数据集，图像数据集中可以包括大量的行人的图像数据。上述构建卷积神经网络模型可以是基于实际需求重新设计构建卷积神经网络模型的输出层结构。构建好卷积神经网络之后，可以将获取到的图像数据集导入到重新构建好的卷积神经网络模型中，对其进行图像数据集训练，对行人的各类图像数据进行识别后，最终可以得到上述的行人重识别模型。行人重识别模型可以用于在给定了参考行人之后，对获取到的行人的图像进行多次识别，以判断是否与参考行人为同一人。
102、对行人重识别模型进行格式转换，得到包括目标格式的行人重识别模型。
其中，结合图1b所示，图1b是本发明实施例提供的另一种基于TensorRT的行人重识别方法的流程图。上述进行格式转换，也即是将行人重识别的格式转换为TensorRT可以接收的格式，TensorRT可接收的格式可以是指上述的目标格式。在本实施例中，上述的目标格式可以是ONNX格式。
103、构建TensorRT加速器工程，通过TensorRT加速器工程对包括目标格式的行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型。
其中，结合图1b所示，上述构建TensorRT加速器工程可以是指构建英伟达可编程推理TensorRT加速器工程。当对行人重识别模型进行格式转换之后，得到目标格式ONNX格式，在保证格式相同的前提下，才可以通过TensorRT加速器工程对行人重识别模型进行加速处理，得到特征提取模型。该特征提取模型也即是对应图1b中的获取加速后的模型。
具体的，TensorRT加速器工程支持kFLOAT(float32)、kHALF(float16)、kINT8(int8)三种精度的计算，在使用时通过低精度进行网络推理，可以达到加速的目的。本发明实施例中，上述的行人重识别模型进行神经网络训练时，网络中的张量(Tensor)可以是32位浮点数的精度(Full 32-bit precision，FP32)。当神经网络训练完成，在部署推理的过程中由于不需要反向传播，因此可以适当降低数据精度，比如降为float16或int8的精度。更低的数据精度将会使得内存占用和延迟更低，模型体积更小，且不会影响训练之后得到的特征提取模型对行人特征进行提取识别的准确度。而在行人重识别模型中可以包括有多个层，例如：卷积层、归一化处理层、激活层等等。因此，可以通过降低层的计算精度，将多个层在预设方向上将其进行融合为一个层，当运用在实际场景中时，便可以将多层计算简化为一层计算，以使模型体积更小，计算更快。
104、通过特征提取模型对采集到的行人图像进行特征提取并识别。
其中，特征可以包括行人的人脸、人体、穿戴、地点、时间等图像信息。上述的行人图像信息可以是预先从网上爬取、图像采集设备(摄像头、相机等)采集或者视频中提取的行人图像数据等。得到上述特征提取模型之后，便可以通过特征提取模型对上述多种类型的特征进行提取后识别，实现与上层输入的行人图像所包含的特征进行特征匹配。
在发明实施例中，通过构建卷积神经网络模型，基于图像数据集对卷积神经网络模型进行训练，得到行人重识别模型；对行人重识别模型进行格式转换，得到包括目标格式的行人重识别模型；构建TensorRT加速器工程，通过TensorRT加速器工程对包括目标格式的行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型；通过特征提取模型对采集到的行人图像进行特征提取并识别。由于通过构建TensorRT加速器工程，通过TensorRT加速器工程可以对包括目标格式的行人重识别模型进行多方向的计算层融合，使得原始需要进行多层处理的步骤变成只需要合并为一层进行处理。这样，在保证特征提取的准确率前提下，可以减少特征提取模型在实际进行重识别时的计算量，从而实现模型加速，得到上述特征提取模型之后的特征识别速度可以达到5-8倍。且在生产环境下，面对大规模数据时能够提高处理效率，节约时间成本。
如图2所示，图2是本发明实施例提供的另一种基于TensorRT的行人重识别方法的流程图，具体包括以下步骤：
201、获取多张图像数据，以生成图像数据集。
其中，图像数据集可以是通当前进行实时采集得到的大量图像数据，也可以是预先已经存储的大量图像数据，还可以是从网上爬取、图像采集设备采集或者视频中提取的图像数据等。在图像数据集中，可以包括行人的各类图像信息，例如：人脸、人体、穿戴、地点、时间等图像信息。
202、基于迁移学习方式，构建卷积神经网络模型的输出层结构。
其中，迁移学习可是在给定任何一个迁移学习问题，系统可以自动在过去所有尝试过的算法里面，利用经验找到最合适的算法，可以是基于特征的、基于多层网络的、基于样本的或者是基于某种混合。
在本实施例中，迁移学习方式可以是共同特征学习方法，可以通过若干个共同特征在两个领域之间传递有关联的信息。构建卷积神经网络模型的输出层结构是根据实际需求重新设计的。因此，基于迁移学习方式，构建卷积神经网络模型的输出层结构可以是将迁移学习方法构建到卷积神经网络模型中去，便于后续对图像数据集中的图像数据进行识别，进行训练；也便于加速后对上层给定的行人的特征与采集到的行人的特征进行识别。
203、基于生成的图像数据集对卷积神经网络模型的输出层结构进行训练，以得到行人重识别模型。
其中，生成上述图像数据集后，可以将图像数据集导入到卷积神经网络模型中，对各个输出层结构进行训练，以提高卷积神经网络模型各个层对行人多个特征的识别能力，训练完成之后得到的模型即为行人重识别模型。
204、对行人重识别模型进行格式转换，得到包括目标格式的行人重识别模型。
205、构建TensorRT加速器工程，通过TensorRT加速器工程对包括目标格式的行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型。
206、通过特征提取模型对采集到的行人图像进行特征提取并识别。
可选的，上述步骤204包括：
获取与TensorRT加速器工程对应的目标格式。
其中，在进行格式转换之前，需要先获取到英伟达可编程推理TensorRT加速器工程的格式(目标格式)，上述的目标格式在本实施例中为ONNX格式。
将行人重识别模型的格式转换为TensorRT加速器工程对应的目标格式。
其中，获取到英伟达可编程推理加速器的格式之后，便可以进行格式转换。且无论以哪种深度学习框架训练得到的行人重识别模型，均统一转换为ONNX格式的模型，然后使用ONNX格式的行人重识别模型作为英伟达可编程推理TensorRT加速器工程的输入。
此外，对于基于深度学习方法实现的行人重识别模型，在英伟达GPU(GraphicsProcessing Unit，图像处理器)上运行时，均可使用本发明实施例提供的基于TensorRT的行人重识别方法进行模型加速。
在本发明实施例中，基于迁移学习方法对行人重识别模型进行训练，对训练的数据量更小，且泛化能力强。由于通过构建TensorRT加速器工程，通过TensorRT加速器工程可以对包括目标格式的行人重识别模型进行多方向的计算层融合，使得原始需要进行多层处理的步骤变成只需要合并为一层进行处理。得到上述特征提取模型之后的特征识别速度可以达到5-8倍，提高了对行人的特征的提取速度以及行人重识别的速度，在生产环境下，面对大规模数据时能够提高处理效率，节约时间成本。
如图3a所示，图3a是本发明实施例提供的另一种基于TensorRT的行人重识别方法的流程图，具体包括以下步骤：
301、构建卷积神经网络模型，基于图像数据集对卷积神经网络模型进行训练，得到行人重识别模型。
302、对行人重识别模型进行格式转换，得到包括目标格式的行人重识别模型。
303、创建TensorRT加速器工程。
其中，结合如图3b所示，图3b是本发明实施例提供的另一种基于TensorRT的行人重识别方法的流程图。上述创建TensorRT加速器工程需要创建模型加速的引擎(Engine)，引擎是电子平台上开发程序或系统的核心组件。利用引擎，开发者可迅速建立、铺设程序所需的功能，或利用其辅助程序的运转。一般而言，引擎是一个程序或一套系统的支持部分。上述的模型加速引擎可以是用于支持英伟达可编程推理TensorRT加速器工程的运行。
可选的，在创建好TensorRT加速器工程进行模型加速处理之前，需要预先对特征提取模型特征提取参数进行设定，特征提取参数包括色彩模式、图像的分辨率、并行处理时图像数量以及拟分配的显存大小。以便于后续通过特征提取模型进行特征提取时，将输入的行人图像的参数调整为预先设定的特征提取参数，以及同时输入到特征提取模型中的同时处理的图像数量和显存中能够存储的图像数量。
304、通过TensorRT加速器工程对包括目标格式的行人重识别模型中的卷积层、归一化层以及激活层进行垂直方向上的融合，以实现对包括目标格式的行人重识别模型的加速处理，得到特征提取模型。
其中，TensorRT加速器工程对行人重识别模型进行重构(加速)，可以把一些能合并的运算合并在一起，根据GPU的特性进行优化。具体的，可以是通过TensorRT加速器工程对包括目标格式的行人重识别模型中的卷积层(Conv层)、归一化层(BN层)以及激活层(Relu层)进行垂直方向上的融合。
具体的，行人重识别模型的网络结构中有很多层，在部署模型推理时，每一层的运算操作都是由GPU完成的，但实际上是GPU通过启动不同的CUDA(Compute unified devicearchitecture)核心来完成计算的，CUDA核心计算张量的速度快，但是往往大量的时间是浪费在CUDA核心的启动和对每一层输入/输出张量的读写操作上面，这造成了内存带宽的瓶颈和GPU资源的浪费。
而本发明实施例中，TensorRT加速器工程通过对层间的水平方向或垂直方向融合，融合后的结构可以称为CBR，(convolution,bias,and ReLU layers are fused toform a single layer)，有利于减少行人重识别模型的层，以加速计算过程。垂直方向融合可以把卷积层、归一化层和激活层合并成一个CBR结构，只占用一个CUDA核心。因此，整个行人重识别模型结构会更小，计算速度更快，也更高效。
305、通过TensorRT加速器工程对包括目标格式的行人重识别模型中的张量相同以及执行操作相同的层进行水平方向上的融合，以实现对包括目标格式的行人重识别模型的加速处理，得到特征提取模型。
其中，在垂直方向上进行融合之后，还可以在水平方向上进行融。具体的，可以是通过TensorRT加速器工程对包括目标格式的行人重识别模型中的张量相同以及执行操作相同的层进行水平方向上的融合。融合后，在水平方向上行人重识别模型多大的层变少，得到的特征提取模型的层次结构简化后，对行人图像进行特征提取识别时，其时间少，速度快。且水平融合可以把张量相同以及执行操作相同，但是权值不同的层合并成一个更宽的层，也只占用一个CUDA核心，因此，整个行人重识别模型结构会更小，计算速度更快，也更高效。
306、通过特征提取模型对采集到的行人图像进行特征提取并识别。
在本实施例中，由于通过构建TensorRT加速器工程，通过TensorRT加速器工程可以对包括目标格式的行人重识别模型进行多方向的计算层融合，使得原始需要进行多层处理的步骤变成只需要合并为一层进行处理。这样，在保证特征提取的准确率前提下，可以减少特征提取模型在实际进行重识别时的计算量，从而实现模型加速；且在生产环境下，面对大规模数据时能够提高处理效率，节约时间成本。
如图4所示，图4是本发明实施例提供的一种基于TensorRT的行人重识别装置的结构示意图，基于TensorRT的行人重识别装置400包括：
训练模块401，用于构建卷积神经网络模型，基于图像数据集对卷积神经网络模型进行训练，得到行人重识别模型；
转换模块402，用于对行人重识别模型进行格式转换，得到包括目标格式的行人重识别模型；
加速模块403，用于构建TensorRT加速器工程，通过TensorRT加速器工程对包括目标格式的行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型；
识别模块404，用于通过特征提取模型对采集到的行人图像进行特征提取并识别。
可选的，如图5所示，图5是本发明实施例提供的另一种基于TensorRT的行人重识别装置的结构示意图，训练模块401包括：
获取单元4011，用于获取多张图像数据，以生成图像数据集；
构建单元4012，用于基于迁移学习方式，构建卷积神经网络模型的输出层结构；
训练单元4013，用于基于生成的图像数据集对卷积神经网络模型的输出层结构进行训练，以得到行人重识别模型。
可选的，如图6所示，图6是本发明实施例提供的另一种基于TensorRT的行人重识别装置的结构示意图，转换模块402包括：
格式获取单元4021，用于获取与TensorRT加速器工程对应的目标格式；
格式转换单元4022，用于将行人重识别模型的格式转换为TensorRT加速器工程对应的目标格式。
可选的，如图7所示，图7是本发明实施例提供的另一种基于TensorRT的行人重识别装置的结构示意图，加速模块403包括：
创建单元4031，用于创建TensorRT加速器工程；
第一融合单元4032，用于通过TensorRT加速器工程对包括目标格式的行人重识别模型中的卷积层、归一化层以及激活层进行垂直方向上的融合；或
第二融合单元4033，用于通过TensorRT加速器工程对包括目标格式的行人重识别模型中的张量相同以及执行操作相同的层进行水平方向上的融合，以实现对包括目标格式的行人重识别模型的加速处理，得到特征提取模型。
可选的，如图8所示，图8是本发明实施例提供的另一种基于TensorRT的行人重识别装置的结构示意图，装置400还包括：
参数设定模块405，用于预先对特征提取模型特征提取参数进行设定，特征提取参数包括色彩模式、图像的分辨率、并行处理时图像数量以及拟分配的显存大小。
如图9所示，图9是本发明实施例提供的一种电子设备的结构示意图，该电子设备900包括：处理器901、存储器902、网络接口903及存储在存储器902上并可在处理器901上运行的计算机程序，处理器901执行计算机程序时实现实施例提供的基于TensorRT的行人重识别方法中的步骤。
具体的，处理器901用于执行以下步骤：
构建卷积神经网络模型，基于图像数据集对卷积神经网络模型进行训练，得到行人重识别模型；
对行人重识别模型进行格式转换，得到包括目标格式的行人重识别模型；
构建TensorRT加速器工程，通过TensorRT加速器工程对包括目标格式的行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型；
通过特征提取模型对采集到的行人图像进行特征提取并识别。
可选的，处理器901执行的构建卷积神经网络模型，基于图像数据集对卷积神经网络模型进行训练的步骤包括：
获取多张图像数据，以生成图像数据集；
基于迁移学习方式，构建卷积神经网络模型的输出层结构；
基于生成的图像数据集对卷积神经网络模型的输出层结构进行训练，以得到行人重识别模型。
可选的，处理器901执行的对行人重识别模型进行格式转换的步骤包括：
获取与TensorRT加速器工程对应的目标格式；
将行人重识别模型的格式转换为TensorRT加速器工程对应的目标格式。
可选的，预设方向包括垂直方向或水平方向，处理器901执行的构建TensorRT加速器工程，通过TensorRT加速器工程对包括目标格式的行人重识别模型在预设方向上进行层与层的融合的步骤包括:
创建TensorRT加速器工程；
通过TensorRT加速器工程对包括目标格式的行人重识别模型中的卷积层、归一化层以及激活层进行垂直方向上的融合；或
通过TensorRT加速器工程对包括目标格式的行人重识别模型中的张量相同以及执行操作相同的层进行水平方向上的融合，以实现对包括目标格式的行人重识别模型的加速处理，得到特征提取模型。
可选的，处理器901执行的通过TensorRT加速器工程对包括目标格式的行人重识别模型在预设方向上进行层与层的融合的步骤之前，还用于执行：
预先对特征提取模型特征提取参数进行设定，特征提取参数包括色彩模式、图像的分辨率、并行处理时图像数量以及拟分配的显存大小。
本发明实施例提供的电子设备900能够实现基于TensorRT的行人重识别方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
需要指出的是，图中仅示出了具有组件的901-903，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的电子设备900是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
上述的电子设备900包括但不限于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子设备可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器902至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器902可以是电子设备900的内部存储单元，例如该电子设备900的硬盘或内存。在另一些实施例中，存储器902也可以是电子设备900的外部存储设备，例如该电子设备900上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器902还可以既包括电子设备900的内部存储单元也包括其外部存储设备。本实施例中，存储器902通常用于存储安装于电子设备900的操作系统和各类应用软件，例如：基于TensorRT的行人重识别方法的程序代码等。此外，存储器902还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器901在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器901通常用于控制电子设备900的总体操作。本实施例中，处理器901用于运行存储器902中存储的程序代码或者处理数据，例如运行基于TensorRT的行人重识别方法的程序代码。
网络接口903可包括无线网络接口或有线网络接口，该网络接口903通常用于在电子设备与其他电子设备之间建立通信连接。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器901执行时实现实施例提供的基于TensorRT的行人重识别方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现实施例基于TensorRT的行人重识别方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(RandomAccess Memory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.基于TensorRT的行人重识别方法，其特征在于，包括以下步骤：
构建卷积神经网络模型，基于图像数据集对所述卷积神经网络模型进行训练，得到行人重识别模型；
对所述行人重识别模型进行格式转换，得到包括目标格式的所述行人重识别模型；
构建TensorRT加速器工程，通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型；
通过所述特征提取模型对采集到的行人图像进行特征提取并识别。
2.如权利要求1所述的基于TensorRT的行人重识别方法，其特征在于，所述构建卷积神经网络模型，基于图像数据集对所述卷积神经网络模型进行训练的步骤包括：
获取多张图像数据，以生成所述图像数据集；
基于迁移学习方式，构建所述卷积神经网络模型的输出层结构；
基于生成的所述图像数据集对所述卷积神经网络模型的输出层结构进行训练，以得到所述行人重识别模型。
3.如权利要求1所述的基于TensorRT的行人重识别方法，其特征在于，所述对所述行人重识别模型进行格式转换的步骤包括：
获取与所述TensorRT加速器工程对应的所述目标格式；
将所述行人重识别模型的格式转换为所述TensorRT加速器工程对应的所述目标格式。
4.如权利要求1所述的基于TensorRT的行人重识别方法，其特征在于，所述预设方向包括垂直方向或水平方向，所述构建TensorRT加速器工程，通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合的步骤包括:
创建所述TensorRT加速器工程；
通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型中的卷积层、归一化层以及激活层进行所述垂直方向上的融合，以实现对包括所述目标格式的所述行人重识别模型的加速处理，得到特征提取模型；或
通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型中的张量相同以及执行操作相同的层进行所述水平方向上的融合，以实现对包括所述目标格式的所述行人重识别模型的加速处理，得到特征提取模型。
5.如权利要求1-4任一项所述的基于TensorRT的行人重识别方法，其特征在于，所述通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合的步骤之前，所述方法还包括：
预先对所述特征提取模型特征提取参数进行设定，所述特征提取参数包括色彩模式、图像的分辨率、并行处理时图像数量以及拟分配的显存大小。
6.一种基于TensorRT的行人重识别装置，其特征在于，包括：
训练模块，用于构建卷积神经网络模型，基于图像数据集对所述卷积神经网络模型进行训练，得到行人重识别模型；
转换模块，用于对所述行人重识别模型进行格式转换，得到包括目标格式的所述行人重识别模型；
加速模块，用于构建TensorRT加速器工程，通过所述TensorRT加速器工程对包括所述目标格式的所述行人重识别模型在预设方向上进行层与层的融合，实现加速处理，以得到特征提取模型；
识别模块，用于通过所述特征提取模型对采集到的行人图像进行特征提取并识别。
7.如权利要求6所述的基于TensorRT的行人重识别装置，其特征在于，所述训练模块包括：
获取单元，用于获取多张图像数据，以生成所述图像数据集；
构建单元，用于基于迁移学习方式，构建所述卷积神经网络模型的输出层结构；
训练单元，用于基于生成的所述图像数据集对所述卷积神经网络模型的输出层结构进行训练，以得到所述行人重识别模型。
8.如权利要求6所述的基于TensorRT的行人重识别装置，其特征在于，所述转换模块包括：
格式获取单元，用于获取与所述TensorRT加速器工程对应的所述目标格式；
格式转换单元，用于将所述行人重识别模型的格式转换为所述TensorRT加速器工程对应的所述目标格式。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的基于TensorRT的行人重识别方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于TensorRT的行人重识别方法中的步骤。
CN202110252063.6A 2021-03-08 2021-03-08 基于TensorRT的行人重识别方法及装置 Pending CN113033337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110252063.6A CN113033337A (zh) 2021-03-08 2021-03-08 基于TensorRT的行人重识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110252063.6A CN113033337A (zh) 2021-03-08 2021-03-08 基于TensorRT的行人重识别方法及装置

Publications (1)

Publication Number Publication Date
CN113033337A true CN113033337A (zh) 2021-06-25

Family

ID=76467162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110252063.6A Pending CN113033337A (zh) 2021-03-08 2021-03-08 基于TensorRT的行人重识别方法及装置

Country Status (1)

Country Link
CN (1) CN113033337A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202746A (zh) * 2021-11-10 2022-03-18 深圳先进技术研究院 路面状态识别方法、装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378408A (zh) * 2019-07-12 2019-10-25 台州宏创电力集团有限公司 基于迁移学习和神经网络的电力设备图像识别方法和装置
CN111507245A (zh) * 2020-04-15 2020-08-07 海信集团有限公司 人脸检测的嵌入式系统及检测方法
CN111860318A (zh) * 2020-07-20 2020-10-30 杭州品茗安控信息技术股份有限公司 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
CN112149551A (zh) * 2020-09-21 2020-12-29 上海孚聪信息科技有限公司 一种基于嵌入式设备和深度学习的安全帽识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378408A (zh) * 2019-07-12 2019-10-25 台州宏创电力集团有限公司 基于迁移学习和神经网络的电力设备图像识别方法和装置
CN111507245A (zh) * 2020-04-15 2020-08-07 海信集团有限公司 人脸检测的嵌入式系统及检测方法
CN111860318A (zh) * 2020-07-20 2020-10-30 杭州品茗安控信息技术股份有限公司 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
CN112149551A (zh) * 2020-09-21 2020-12-29 上海孚聪信息科技有限公司 一种基于嵌入式设备和深度学习的安全帽识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202746A (zh) * 2021-11-10 2022-03-18 深圳先进技术研究院 路面状态识别方法、装置、终端设备及存储介质
CN114202746B (zh) * 2021-11-10 2024-04-12 深圳先进技术研究院 路面状态识别方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
CN111898696B (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
WO2022017245A1 (zh) 一种文本识别网络、神经网络训练的方法以及相关设备
JP2023541532A (ja) テキスト検出モデルのトレーニング方法及び装置、テキスト検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN112232293A (zh) 图像处理模型训练、图像处理方法及相关设备
CN111414915B (zh) 一种文字识别方法以及相关设备
US20240020541A1 (en) Model training method and apparatus
WO2024041479A1 (zh) 一种数据处理方法及其装置
CN114638960A (zh) 模型的训练方法、图像描述生成方法和装置、设备、介质
CN114066718A (zh) 一种图像风格迁移方法、装置、存储介质及终端
WO2021190433A1 (zh) 更新物体识别模型的方法和装置
CN114863539A (zh) 一种基于特征融合的人像关键点检测方法及系统
CN113011568A (zh) 一种模型的训练方法、数据处理方法及设备
CN114821096A (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN113887615A (zh) 图像处理方法、装置、设备和介质
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
KR20230132350A (ko) 연합 감지 모델 트레이닝, 연합 감지 방법, 장치, 설비 및 매체
CN113657272B (zh) 一种基于缺失数据补全的微视频分类方法及系统
CN113033337A (zh) 基于TensorRT的行人重识别方法及装置
CN112613496A (zh) 一种行人重识别方法、装置、电子设备及存储介质
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN116862951A (zh) 一种基于Transformer的轻量化目标识别与跟踪系统及方法
CN117216710A (zh) 多模态自动标注方法、标注模型的训练方法及相关设备
WO2021120177A1 (zh) 编译神经网络模型的方法和装置
Bai et al. Parallel global convolutional network for semantic image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination