CN113361464B - 一种基于多粒度特征分割的车辆重识别方法 - Google Patents

一种基于多粒度特征分割的车辆重识别方法 Download PDF

Info

Publication number
CN113361464B
CN113361464B CN202110736827.9A CN202110736827A CN113361464B CN 113361464 B CN113361464 B CN 113361464B CN 202110736827 A CN202110736827 A CN 202110736827A CN 113361464 B CN113361464 B CN 113361464B
Authority
CN
China
Prior art keywords
vehicle
feature
channel
vehicle image
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110736827.9A
Other languages
English (en)
Other versions
CN113361464A (zh
Inventor
王超
蓝章礼
王爽
王益
贺旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN202110736827.9A priority Critical patent/CN113361464B/zh
Publication of CN113361464A publication Critical patent/CN113361464A/zh
Application granted granted Critical
Publication of CN113361464B publication Critical patent/CN113361464B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明具体涉及一种基于多粒度特征分割的车辆重识别方法，包括：将车辆图像数据集划分为训练集和测试集；构建用于车辆重识别的重识别网络模型；通过训练集中的车辆图像训练重识别网络模型；首先对车辆图像进行多方向和多粒度的分割，使得能够生成对应的全局特征向量和局部特征向量，并融合全局特征向量和局部特征向量生成对应车辆图像的外观特征向量；然后分别计算待识别车辆图像的外观特征向量与测试集中各个车辆图像外观特征向量的相似度；最后按照相似度从大到小的排序方式对测试集中的车辆图像进行排序生成对应的车辆重识别结果。本发明中的车辆重识别方法能够有效提取车辆图像全局特征和局部特征，从而提升车辆重识别的识别精度。

Description

一种基于多粒度特征分割的车辆重识别方法
技术领域
本发明涉及车辆监控及追踪技术领域，具体涉及一种基于多粒度特征分割的车辆重识别方法。
背景技术
近年来，智慧城市和智慧交通发展迅速，车辆是智慧交通的组成部分，车辆重识别是智慧交通的核心技术之一。车辆重识别是指给定一张车辆图像，找出其它摄像头拍摄的同一车辆，可将车辆重识别问题看作图像检索的子问题。车辆重识别技术对于公共交通安全管理具有一定的实用价值，可快速对目标车辆进行查找、定位及跟踪。除此之外，对车辆的识别可以帮助城市规划者更好地了解交通流量以对道路交通进行合理的规划。然而，要实现准确的车辆重识别，其中的一个重要环节是提取车辆特征作为重识别的主要依据，车辆特征的判别性强弱将直接影响着重识别的结果。
随着深度学习技术的发展，基于深度学习的车辆重识别取得了长足进步。但基于深度学习的车辆重识别在获取更细粒度的标签信息时需要更高清的拍摄设备，此时更大的图像尺寸导致整个模型推理效率的下降。为此，公开号为CN112381017A的中国专利就公开了《一种基于感知级联上下文的车辆重识别方法》，其包括：构造车辆图像的特征提取模型，基础网络使用预训练的ResNet-50分类网络；将基于感知级联上下文的注意力增强模块嵌入到特征提取模型中；输入车辆图像数据集，对构建好的特征提取模型进行训练；采用已训练的特征提取模型进行车辆重识别任务。
上述现有方案中的车辆重识别方法通过提取车辆图像中更丰富、更具区分度的特征信息，提高了车辆重识别任务的准确率。然而，申请人发现上述现有的车辆重识别方法是从整体层面提取车辆特征(即全局特征)的，其提取的车辆特征缺乏对局部细节(特征)的描述；又或是使用额外的检测分支来定位车辆具有固定语义的特定区域，例如挡风玻璃、车标、车灯等，但这样的方式不仅不能覆盖所有可区分的信息，还增加了人工标注的工作量。此外，显著性局部特征会掩盖潜在显著性局部特征，不同大小的局部区域对潜在显著性局部特征影响程度不同，使得一些不显著或不太详细的信息很容易被忽略，但是这些特征信息在解决类内差异和类间相似的问题时非常关键，忽略这些特征信息会导致车辆重识别的精确度偏低。因此，如何设计一种能够有效提取车辆图像全局特征和局部特征的车辆重识别方法是亟需解决的技术问题。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够有效提取车辆图像全局特征和局部特征的车辆重识别方法，从而能够提升车辆重识别的识别精度。
为了解决上述技术问题，本发明采用了如下的技术方案：
一种基于多粒度特征分割的车辆重识别方法，包括以下步骤：
S1：获取车辆图像数据集，将所述车辆图像数据集划分为训练集和测试集；
S2：构建用于车辆重识别的重识别网络模型；
S3：通过训练集中的车辆图像训练所述重识别网络模型；
S4：首先将待识别的车辆图像和测试集中的车辆图像分别输入经过训练的重识别网络模型中，通过重识别网络模型对车辆图像进行多方向和多粒度的分割，使得能够生成对应的全局特征向量和局部特征向量，并融合全局特征向量和局部特征向量生成对应车辆图像的外观特征向量；然后分别计算待识别车辆图像的外观特征向量与测试集中各个车辆图像外观特征向量的相似度；最后按照相似度从大到小的排序方式对测试集中的车辆图像进行排序生成对应的车辆重识别结果。
优选的，步骤S2中，通过如下步骤构建重识别网络模型：
S201：将ResNeSt-50作为重识别网络模型的主干网络；
S202：在主干网络ResNeSt-50的各个split-attention block中嵌入空间注意力模块，使得split-attention block原有的通道注意力模块能够与对应嵌入的空间注意力模块构成注意力模块SS-Net；
S203：在主干网络ResNeSt-50的Conv4_1层之后复制卷积层，使得主干网络具有三个输出；主干网络的三个输出分别连接用于实现多粒度的纵向分割、横向分割、通道分割的纵向分支、横向分支和通道分支；
S204：所述纵向分支、所述横向分支和所述通道分支的输出分别依次连接用于执行全局最大池化操作的全局最大池化层，用于执行卷积操作的卷积层，以及用于执行批归一化操作的批归一化层；
S205：构建得到用于车辆重识别的重识别网络模型。
优选的，步骤S202中，所述注意力模块SS-Net能够同时对通道维度和空间维度上的特征图进行加权处理。
优选的，步骤S203中，将主干网络ResNeSt-50的Conv5卷积层的下采样操作的步长设置为1以保留更深更丰富的语义信息。
优选的，训练所述重识别网络模型时，所述批归一化层的输出连接用于对车辆图像进行分类的全连接层。
优选的，步骤S3中，通过如下步骤训练所述重识别网络模型：
S301：将训练集的车辆图像输入待训练的重识别网络模型中；
S302：首先通过主干网络ResNeSt-50计算生成对应车辆图像的特征图；然后分别通过所述纵向分支、所述横向分支和所述通道分支按纵向方向、横向方向和通道方向对所述特征图进行多粒度的分割以得到不同粒度的分区条带；再依次通过所述全局最大池化层、所述卷积层和所述批归一化层对所述纵向分支、所述横向分支和所述通道分支输出的分区条带执行全局最大池化操作、卷积操作和批归一化操作，输出包含对应车辆图像全局特征向量和局部特征向量的所有特征向量；最后将车辆图像的所有特征向量输入所述全连接层中进行分类，并得到对应的图像分类结果；
S303：首先将所述批归一化层输出的所有特征向量中的全局特征向量输入到设置的硬三元组损失函数中计算对应的硬三元组损失；然后将所述全连接层输出的图像分类结果输入到设置的交叉熵损失函数中计算对应的交叉熵损失；最后根据所述硬三元组损失函数和所述交叉熵损失函数联合计算对应的总体损失；
S304：根据对应的总体损失函数和设置的优化器训练所述重识别网络模型。
优选的，步骤S302中，主干网络ResNeSt-50生成对应车辆图像的特征图时，主干网络ResNeSt-50中的注意力模块SS-Net能够通过如下步骤挖掘更具判别性的注意力特征图：
通过主干网络ResNeSt-50提取车辆图像的初始特征图FI∈RW×H×C；其中，W、H、C分别表示初始特征图的宽度、高度及通道尺寸；
通过split-attention block原有的通道注意力模块Mc(FI)结合公式
Figure BDA0003141840400000031
计算得到对应的通道注意力特征图FC；
对通道注意力特征图FC执行全局最大池化处理和全局平均池化处理得到两个代表不同信息的特征图
Figure BDA0003141840400000032
和
Figure BDA0003141840400000033
然后将两个特征图沿通道方向进行特征拼接，并通过卷积操作进行特征融合，使用sigmoid激活函数生成空间权重矩阵MS∈RW×H×1；最后通过公式
Figure BDA0003141840400000034
计算得到空间注意力模块MS(FC)；式中：σ表示sigmoid激活函数，f7×7表示核大小为7×7的卷积运算；
Figure BDA0003141840400000035
表示特征向量的逐元素相乘；
通过公式
Figure BDA0003141840400000036
计算生成对应车辆图像的最终注意力特征图FO∈RW ×H×C。
优选的，步骤S303中，通过如下步骤计算总体损失：
通过全局特征向量(gh,gw,gc)结合公式
Figure BDA0003141840400000041
计算硬三元组损失；式中：ai、pi、ni分别表示原样本、正样本和负样本的特征向量；α表示用来约束不同类别样本距离的阈值；
通过图像分类结果(g′h,g′w,g′c,fh1...fh6,fw1...fw6,fc1…fc6)结合公式
Figure BDA0003141840400000042
计算交叉熵损失；式中：N表示车辆的总类别数，y表示真实样本标签，pi表示对第i类车辆的预测结果；
通过硬三元组损失和交叉熵损失结合公式
Figure BDA0003141840400000043
联合计算总体损失；式中：Nc和Nt分别表示交叉熵损失和硬三元组损失的数量，Nc＝21，Nt＝3；λ表示用于平衡两种不同损失的权重，λ＝2。
优选的，步骤S4中，通过如下步骤生成车辆重识别结果：
S401：将待识别的车辆图像和测试集中的车辆图像输入经过训练的重识别网络模型中；
S402：首先通过主干网络ResNeSt-50计算生成对应车辆图像的特征图；然后分别通过所述纵向分支、所述横向分支和所述通道分支按纵向方向、横向方向和通道方向对所述特征图进行多粒度的分割以得到不同粒度的分区条带；再依次通过所述全局最大池化层、所述卷积层、所述批归一化层对所述纵向分支、所述横向分支和所述通道分支输出的分区条带执行全局最大池化操作、卷积操作和批归一化操作，输出包含对应车辆图像全局特征向量和局部特征向量的所有特征向量；最后将所有特征向量进行融合得到对应车辆图像的外观特征向量；
S403：采用欧氏距离计算待识别的车辆图像外观特征向量与测试集中各个车辆图像外观特征向量的相似度，并按相似度从大到小的排序方式对测试集中的车辆图像进行排序生成对应的车辆重识别结果。
优选的，步骤S4中，通过如下步骤基于时空关系修正所述车辆重识别结果：
通过公式
Figure BDA0003141840400000044
计算时空相似度；式中：i,j分别表示任意的两张车辆图像，ST(i,j)表示车辆图像i和j的时空相似度，Ti和Tj分别表示摄像机捕获车辆图像i和j的时间戳，Tmax表示在长时间内捕获的所有车辆图像的全局最大值，δ(Ci,Cj)表示捕获车辆图像i和j的摄像机Ci和摄像机Cj之间的物理距离，Dmax表示所有摄像机之间的全局最大距离；
将时空相似度作为约束项增加在原本的重新排序中，使得能够排除所述车辆重识别结果中距离和时间间隔超过设置阈值的车辆图像，并生成最终的车辆重识别结果。
本发明中的车辆重识别方法与现有技术相比，具有如下有益效果：
在本发明中，通过重识别网络模型对车辆图像进行多方向和多粒度的分割以生成对应的全局特征向量和局部特征向量，能够挖掘到更丰富、更具判别性的特征信息，增强了车辆表征的鲁棒性。同时，通过融合全局特征和多粒度局部特征的方式，能够进一步提升车辆表征的完整性，有效的解决类内差异和类间相似的问题，能够克服现有技术中提取局部特征需花费大量时间进行额外标注的问题。因此，本发明能够有效提取车辆图像的全局特征和局部特征，从而提升车辆重识别的识别精度。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为实施例中车辆重识别方法的逻辑框图；
图2为实施例中重识别网络模型的网络结构图；
图3为实施例中注意力模块SS-Net的网络结构图；
图4为实施例中注意力模块SS-Net中空间注意力模块的网络结构图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例：
本实施例中公开了一种基于多粒度特征分割的车辆重识别方法。
如图1所示，一种基于多粒度特征分割的车辆重识别方法，包括以下步骤：
S1：获取车辆图像数据集，将车辆图像数据集划分为训练集和测试集。
S2：构建如图2所示的用于车辆重识别的重识别网络模型。
S3：通过训练集中的车辆图像训练重识别网络模型。
S4：首先将待识别的车辆图像和测试集中的车辆图像分别输入经过训练的重识别网络模型中，通过重识别网络模型对车辆图像进行多方向和多粒度的分割，使得能够生成对应的全局特征向量和局部特征向量，并融合全局特征向量和局部特征向量生成对应车辆图像的外观特征向量；然后分别计算待识别车辆图像的外观特征向量与测试集中各个车辆图像外观特征向量的相似度；最后按照相似度从大到小的排序方式对测试集中的车辆图像进行排序生成对应的车辆重识别结果。具体的，将只有一个分区条带的完整分割定义为粗粒度，即全局特征；将具有两个分区条带的分割定义为中粒度；将具有四个分区条带的分割定义为细粒度。
在本发明中，通过重识别网络模型对车辆图像进行多方向和多粒度的分割以生成对应的全局特征向量和局部特征向量，能够挖掘到更丰富、更具判别性的特征信息，增强了车辆表征的鲁棒性。同时，通过融合全局特征和多粒度局部特征的方式，能够进一步提升车辆表征的完整性，有效的解决类内差异和类间相似的问题，能够克服现有技术中提取局部特征需花费大量时间进行额外标注的问题。因此，本发明能够有效提取车辆图像的全局特征和局部特征，从而提升车辆重识别的识别精度。
具体实施过程中，通过如下步骤构建重识别网络模型：
S201：将ResNeSt-50作为重识别网络模型的主干网络。具体的，ResNeSt-50是基于ResNet并引入了split-attention block。split-attention block是一个计算单元，结合了SE-Net、SK-Net的优点；SE-Net引入了通道注意力(channel-attention)机制；SK-Net通过两个网络分支引入特征图注意力(feature-map attention)。
S202：在主干网络ResNeSt-50的各个split-attention block中嵌入空间注意力模块，使得split-attention block原有的通道注意力模块能够与对应嵌入的空间注意力模块构成注意力模块SS-Net。具体的，将主干网络ResNeSt-50的Conv5卷积层的下采样操作的步长设置为1以保留更深更丰富的语义信息。
S203：在主干网络ResNeSt-50的Conv4_1层之后复制卷积层，使得主干网络具有三个输出；主干网络的三个输出分别连接用于实现多粒度的纵向分割、横向分割、通道分割的纵向分支、横向分支和通道分支。
S204：纵向分支、横向分支和通道分支的输出分别依次连接用于执行全局最大池化操作的全局最大池化层，用于执行卷积操作的卷积层，以及用于执行批归一化操作的批归一化层。具体的，卷积操作是指核大小为1*1的卷积操作。
S205：构建得到用于车辆重识别的重识别网络模型。
在本发明中，通过上述步骤构建的重识别网络模型能够完美融合主干网络、注意力机制、损失函数以及基于时空关系的重排序，使得能够有效提取车辆图像全局特征和局部特征，从而能够进一步提升车辆重识别的识别精度。同时，申请人发现车辆图像按纵向可将车身分割成天花板、挡风玻璃、顶板、车轮等几个部分；按横向大致可分割为引擎盖、车门、后备箱等几个部分；在通道上进行分割提取的局部特征可以不同于全局特征；因此，本发明设置了用于实现纵向分割、横向分割、通道分割的纵向分支、横向分支和通道分支，使得能够确保网络模型学习到更丰富的局部信息，从而能够辅助提升车辆重识别的识别精度。此外，由于过多的分割会降低最终外观特征中的全局特征权重，过少的分割又会使得局部特征接近全局特征；因此，本发明采用多粒度的方法进行分割，将只有一个分区条带的完整分割定义为粗粒度，即全局特征；将具有两个分区条带的分割定义为中粒度；将具有四个分区条带的分割定义为细粒度，结合三种不同级别的分区粒度可以提取到不同的内容粒度信息，能够最大程度的提取到丰富的局部特征，这同样有利于辅助提升车辆重识别的识别精度。
具体实施过程中，训练重识别网络模型时，批归一化层的输出连接用于对车辆图像进行分类的全连接层。具体的，通过如下步骤训练重识别网络模型：
S301：将训练集的车辆图像输入待训练的重识别网络模型中。
S302：首先通过主干网络ResNeSt-50计算生成对应车辆图像的特征图；然后分别通过纵向分支、横向分支和通道分支按纵向方向、横向方向和通道方向对特征图进行多粒度的分割以得到不同粒度的分区条带；再依次通过全局最大池化层、卷积层和批归一化层对纵向分支、横向分支和通道分支输出的分区条带执行全局最大池化操作、卷积操作和批归一化操作，输出包含对应车辆图像全局特征向量和局部特征向量的所有特征向量；最后将车辆图像的所有特征向量输入全连接层中进行分类，并得到对应的图像分类结果。
S303：首先将批归一化层输出的所有特征向量中的全局特征向量输入到设置的硬三元组损失函数中计算对应的硬三元组损失；然后将全连接层输出的图像分类结果输入到设置的交叉熵损失函数中计算对应的交叉熵损失；最后根据硬三元组损失函数和交叉熵损失函数联合计算对应的总体损失。
S304：根据对应的总体损失函数和设置的优化器训练重识别网络模型。具体的，优化器选用Adam梯度优化器。
在本发明中，通过对主干网络生成的特征图按纵向方向、横向方向和通道方向进行多粒度的分割得到不同粒度分区条带的方式，能够对车辆图像进行多方向和多粒度的分割生成对应的全局特征向量和局部特征向量，能够挖掘到更丰富、更具判别性的特征信息用于训练模型，从而能够提升模型的训练效果。其次，全局最大池化操作能够对特征向量进行降维，卷积操作能够统一特征向量的维度，批归一化操作能够防止过拟合，进而能够有效输出车辆图像全局特征和局部特征用于模型训练，从而能够进一步辅助提升模型的训练效果。
具体的，主干网络ResNeSt-50生成对应车辆图像的特征图时，结合图3所示，主干网络ResNeSt-50中的注意力模块SS-Net能够通过如下步骤挖掘更具判别性的注意力特征图：
通过主干网络ResNeSt-50提取车辆图像的初始特征图FI∈RW×H×C；其中，W、H、C分别表示初始特征图的宽度、高度及通道尺寸。
通过split-attention block原有的通道注意力模块Mc(FI)结合公式
Figure BDA0003141840400000081
计算得到对应的通道注意力特征图FC。具体的，split-attention block原有通道注意力模块Mc(FI)的计算方法是现有的，例如：对初始特征图FI执行最大池化处理和平均池化处理得到对应的
Figure BDA0003141840400000082
结合公式
Figure BDA0003141840400000083
计算对应的通道注意力模块Mc(FI)；式中：σ表示sigmoid函数；W0∈RC×C/r，W1∈RC/r×C，R1×1×C/r表示设置的隐藏层大小，r表示减小的比例。
结合图4所示，对通道注意力特征图FC执行全局最大池化处理和全局平均池化处理得到两个代表不同信息的特征图
Figure BDA00031418404000000810
和
Figure BDA00031418404000000811
然后将两个特征图沿通道方向进行特征拼接，并通过卷积操作进行特征融合，使用sigmoid激活函数生成空间权重矩阵MS∈RW×H×1。
通过公式
Figure BDA0003141840400000084
计算得到空间注意力模块MS(FC)；式中：σ表示sigmoid激活函数，f7×7表示核大小为7×7的卷积运算；
Figure BDA0003141840400000085
表示特征向量的逐元素相乘。
通过公式
Figure BDA0003141840400000086
计算生成对应车辆图像的最终注意力特征图FO∈RW ×H×C。
具体的，通过如下步骤计算总体损失：
通过全局特征向量(gh,gw,gc)结合公式
Figure BDA0003141840400000087
计算硬三元组损失；式中：ai、pi、ni分别表示原样本、正样本和负样本的特征向量；α表示用来约束不同类别样本距离的阈值；
通过图像分类结果(g′h,g′w,g′c,fh1...fh6,fw1...fw6,fc1…fc6)结合公式
Figure BDA0003141840400000088
计算交叉熵损失；式中：N表示车辆的总类别数，y表示真实样本标签，pi表示对第i类车辆的预测结果；
通过硬三元组损失和交叉熵损失结合公式
Figure BDA0003141840400000089
联合计算总体损失；式中：Nc和Nt分别表示交叉熵损失和硬三元组损失的数量，Nc＝21，Nt＝3；λ表示用于平衡两种不同损失的权重，λ＝2。
硬三元组损失(Hard Triplet Loss)作为相似性度量的损失函数，在包含P个身份和每个身份K张图像的小批次中，每个图像(原样本)具有相同身份的K-1张图像(正样本)和不同身份的(P-1)*K张图像(负样本)，三元组损失通过拉近正对(a,p)图片的距离，同时拉开负对(a,n)图片的距离来达到聚类的效果，而硬三元组损失旨在将更多的权重放在最接近的负对和最远的正对上以更好的优化模型。但是，申请人发现仅靠硬三元组损失进行模型训练会缺乏身份监督信号，导致模型训练收敛缓慢。同时，申请人发现车辆重识别任务可以看作是分类任务，交叉熵损失(Cross Entropy Loss)是图像分类任务中最常用的损失函数，它通过将身份信息作为监督信号能够有效地引导模型学习到具有身份鉴别力的特征。
因此，本发明通过交叉熵损失与硬三元组损失的联合作为模型训练的总体损失函数，能够有效提升模型的训练效果，从而能够辅助提升车辆重识别的识别精度。
具体实施过程中，通过如下步骤生成车辆重识别结果：
S401：将待识别的车辆图像和测试集中的车辆图像输入经过训练的重识别网络模型中。
S402：首先通过主干网络ResNeSt-50计算生成对应车辆图像的特征图；然后分别通过纵向分支、横向分支和通道分支按纵向方向、横向方向和通道方向对特征图进行多粒度的分割以得到不同粒度的分区条带；再依次通过全局最大池化层、卷积层、批归一化层对纵向分支、横向分支和通道分支输出的分区条带执行全局最大池化操作、卷积操作和批归一化操作，输出包含对应车辆图像全局特征向量和局部特征向量的所有特征向量；最后将所有特征向量进行融合得到对应车辆图像的外观特征向量。
S403：采用欧氏距离计算待识别的车辆图像外观特征向量与测试集中各个车辆图像外观特征向量的相似度，并按相似度从大到小的排序方式对测试集中的车辆图像进行排序生成对应的车辆重识别结果。
在本发明中，通过对主干网络生成的特征图按纵向方向、横向方向和通道方向进行多粒度的分割得到不同粒度分区条带的方式，能够生成对应的全局特征向量和局部特征向量，即能够通过多方向和多粒度分割的方式挖掘到更丰富、更具判别性的特征信息，增强了车辆表征的鲁棒性。其次，全局最大池化操作能够对特征向量进行降维，卷积操作能够统一特征向量的维度，批归一化操作能够防止过拟合，进而能够有效输出车辆图像全局特征和局部特征，从而能够辅助提升车辆重识别的识别精度。此外，通过融合全局特征与多粒度局部特征的方式，能够提升车辆表征的完整性，有效的解决类内差异和类间相似的问题，能够克服现有技术中提取局部特征需花费大量时间进行额外标注的问题。最后，通过欧氏距离能够有效计算车辆图像特征向量之间的相似度，从而能够辅助提升车辆重识别的识别精度。
具体实施过程中，通过如下步骤基于时空关系修正车辆重识别结果：
通过公式
Figure BDA0003141840400000101
计算时空相似度；式中：i,j分别表示任意的两张车辆图像，ST(i,j)表示车辆图像i和j的时空相似度，Ti和Tj分别表示摄像机捕获车辆图像i和j的时间戳，Tmax表示在长时间内捕获的所有车辆图像的全局最大值，δ(Ci,Cj)表示捕获车辆图像i和j的摄像机Ci和摄像机Cj之间的物理距离，Dmax表示所有摄像机之间的全局最大距离；
将时空相似度作为约束项增加在原本的重新排序中，使得能够排除车辆重识别结果中距离和时间间隔超过设置阈值的车辆图像，并生成最终的车辆重识别结果。具体的，距离和时间间隔可根据具体需要进行设置，例如，可将距离阈值设置为10KM，可将时间间隔阈值设置为10小时。
本发明基于时间间隔越短、地理位置距离越近的两幅车辆图像越有可能是同一车辆的思想，在得到初始排序之后采用时空正则项对结果进行修正，即将时空相似度约束项加在原本的重新排序(re-ranking)中以排除距离较大、时间间隔较长的车辆图像得到最终的车辆重识别结果。其中，re-ranking是采用k阶导数编码的方式，对需要检测的图库集(gallery)中的图片进行重排序。
在本发明中，通过上述步骤能够将时空相似度作为约束项增加在原本的重新排序中，即能够有效的基于时空关系修正车辆重识别结果，能够对车辆重识别结果进行重排序，从而能够进一步提升车辆重识别的识别精度。
需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (5)

1.一种基于多粒度特征分割的车辆重识别方法，其特征在于，包括以下步骤：
S1：获取车辆图像数据集，将所述车辆图像数据集划分为训练集和测试集；
S2：构建用于车辆重识别的重识别网络模型；
S3：通过训练集中的车辆图像训练所述重识别网络模型；
S4：首先将待识别的车辆图像和测试集中的车辆图像分别输入经过训练的重识别网络模型中，通过重识别网络模型对车辆图像进行多方向和多粒度的分割，使得能够生成对应的全局特征向量和局部特征向量，并融合全局特征向量和局部特征向量生成对应车辆图像的外观特征向量；然后分别计算待识别车辆图像的外观特征向量与测试集中各个车辆图像外观特征向量的相似度；最后按照相似度从大到小的排序方式对测试集中的车辆图像进行排序生成对应的车辆重识别结果；
步骤S2中，通过如下步骤构建重识别网络模型：
S201：将ResNeSt-50作为重识别网络模型的主干网络；
S202：在主干网络ResNeSt-50的各个split-attention block中嵌入空间注意力模块，使得split-attention block原有的通道注意力模块能够与对应嵌入的空间注意力模块构成注意力模块SS-Net；
S203：在主干网络ResNeSt-50的Conv4_1层之后复制卷积层，使得主干网络具有三个输出；主干网络的三个输出分别连接用于实现多粒度的纵向分割、横向分割、通道分割的纵向分支、横向分支和通道分支；
S204：所述纵向分支、所述横向分支和所述通道分支的输出分别依次连接用于执行全局最大池化操作的全局最大池化层，用于执行卷积操作的卷积层，以及用于执行批归一化操作的批归一化层；
S205：构建得到用于车辆重识别的重识别网络模型；
训练所述重识别网络模型时，所述批归一化层的输出连接用于对车辆图像进行分类的全连接层；步骤S3中，通过如下步骤训练所述重识别网络模型：
S301：将训练集的车辆图像输入待训练的重识别网络模型中；
S302：首先通过主干网络ResNeSt-50计算生成对应车辆图像的特征图；然后分别通过所述纵向分支、所述横向分支和所述通道分支按纵向方向、横向方向和通道方向对所述特征图进行多粒度的分割以得到不同粒度的分区条带；再依次通过所述全局最大池化层、所述卷积层和所述批归一化层对所述纵向分支、所述横向分支和所述通道分支输出的分区条带执行全局最大池化操作、卷积操作和批归一化操作，输出包含对应车辆图像全局特征向量和局部特征向量的所有特征向量；最后将车辆图像的所有特征向量输入所述全连接层中进行分类，并得到对应的图像分类结果；
S303：首先将所述批归一化层输出的所有特征向量中的全局特征向量输入到设置的硬三元组损失函数中计算对应的硬三元组损失；然后将所述全连接层输出的图像分类结果输入到设置的交叉熵损失函数中计算对应的交叉熵损失；最后根据所述硬三元组损失函数和所述交叉熵损失函数联合计算对应的总体损失；
S304：根据对应的总体损失函数和设置的优化器训练所述重识别网络模型；
步骤S302中，主干网络ResNeSt-50生成对应车辆图像的特征图时，主干网络ResNeSt-50中的注意力模块SS-Net能够通过如下步骤挖掘更具判别性的注意力特征图：
通过主干网络ResNeSt-50提取车辆图像的初始特征图FI∈RW×H×C；其中，W、H、C分别表示初始特征图的宽度、高度及通道尺寸；
通过split-attention block原有的通道注意力模块Mc(FI)结合公式
Figure FDA0003676258440000021
计算得到对应的通道注意力特征图FC；
对通道注意力特征图FC执行全局最大池化处理和全局平均池化处理得到两个代表不同信息的特征图
Figure FDA0003676258440000022
和
Figure FDA0003676258440000023
然后将两个特征图沿通道方向进行特征拼接，并通过卷积操作进行特征融合，使用sigmoid激活函数生成空间权重矩阵MS∈RW×H×1；最后通过公式
Figure FDA0003676258440000024
计算得到空间注意力模块MS(FC)；式中：σ表示sigmoid激活函数，f7×7表示核大小为7×7的卷积运算；
Figure FDA0003676258440000025
表示特征向量的逐元素相乘；
通过公式
Figure FDA0003676258440000026
计算生成对应车辆图像的最终注意力特征图FO∈RW×H×C；
通过如下步骤计算总体损失：
通过全局特征向量(gh,gw,gc)结合公式
Figure FDA0003676258440000027
计算硬三元组损失；式中：ai、pi、nj分别表示原样本、正样本和负样本的特征向量；α表示用来约束不同类别样本距离的阈值；P表示硬三元组损失的身份数量；K表示每个身份中的图像数量；
通过图像分类结果(g′h,g′w,g′c,fh1...fh6,fw1...fw6,fc1...fc6)结合公式
Figure FDA0003676258440000031
计算交叉熵损失；式中：N表示车辆的总类别数，y表示真实样本标签，pi表示对第i类车辆的预测结果；
通过硬三元组损失和交叉熵损失结合公式
Figure FDA0003676258440000032
联合计算总体损失；式中：Nc和Nt分别表示交叉熵损失和硬三元组损失的数量，Nc＝21，Nt＝3；λ表示用于平衡两种不同损失的权重，λ＝2。
2.如权利要求1所述的基于多粒度特征分割的车辆重识别方法，其特征在于：步骤S202中，所述注意力模块SS-Net能够同时对通道维度和空间维度上的特征图进行加权处理。
3.如权利要求1所述的基于多粒度特征分割的车辆重识别方法，其特征在于：步骤S203中，将主干网络ResNeSt-50的Conv5卷积层的下采样操作的步长设置为1以保留更深更丰富的语义信息。
4.如权利要求1所述的基于多粒度特征分割的车辆重识别方法，其特征在于，步骤S4中，通过如下步骤生成车辆重识别结果：
S401：将待识别的车辆图像和测试集中的车辆图像输入经过训练的重识别网络模型中；
S402：首先通过主干网络ResNeSt-50计算生成对应车辆图像的特征图；然后分别通过所述纵向分支、所述横向分支和所述通道分支按纵向方向、横向方向和通道方向对所述特征图进行多粒度的分割以得到不同粒度的分区条带；再依次通过所述全局最大池化层、所述卷积层、所述批归一化层对所述纵向分支、所述横向分支和所述通道分支输出的分区条带执行全局最大池化操作、卷积操作和批归一化操作，输出包含对应车辆图像全局特征向量和局部特征向量的所有特征向量；最后将所有特征向量进行融合得到对应车辆图像的外观特征向量；
S403：采用欧氏距离计算待识别的车辆图像外观特征向量与测试集中各个车辆图像外观特征向量的相似度，并按相似度从大到小的排序方式对测试集中的车辆图像进行排序生成对应的车辆重识别结果。
5.如权利要求4所述的基于多粒度特征分割的车辆重识别方法，其特征在于，步骤S4中，通过如下步骤基于时空关系修正所述车辆重识别结果：
通过公式
Figure FDA0003676258440000033
计算时空相似度；式中：i,j分别表示任意的两张车辆图像，ST(i,j)表示车辆图像i和j的时空相似度，Ti和Tj分别表示摄像机捕获车辆图像i和j的时间戳，Tmax表示在长时间内捕获的所有车辆图像的全局最大值，δ(Ci,Cj)表示捕获车辆图像i和j的摄像机Ci和摄像机Cj之间的物理距离，Dmax表示所有摄像机之间的全局最大距离；
将时空相似度作为约束项增加在原本的重新排序中，使得能够排除所述车辆重识别结果中距离和时间间隔超过设置阈值的车辆图像，并生成最终的车辆重识别结果。
CN202110736827.9A 2021-06-30 2021-06-30 一种基于多粒度特征分割的车辆重识别方法 Expired - Fee Related CN113361464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110736827.9A CN113361464B (zh) 2021-06-30 2021-06-30 一种基于多粒度特征分割的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110736827.9A CN113361464B (zh) 2021-06-30 2021-06-30 一种基于多粒度特征分割的车辆重识别方法

Publications (2)

Publication Number Publication Date
CN113361464A CN113361464A (zh) 2021-09-07
CN113361464B true CN113361464B (zh) 2022-07-12

Family

ID=77537433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110736827.9A Expired - Fee Related CN113361464B (zh) 2021-06-30 2021-06-30 一种基于多粒度特征分割的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN113361464B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005096B (zh) * 2021-11-09 2024-05-10 河北工业大学 基于特征增强的车辆重识别方法
CN114067143B (zh) * 2021-11-24 2024-06-04 西安烽火软件科技有限公司 一种基于双子网络的车辆重识别方法
CN114170516B (zh) * 2021-12-09 2022-09-13 清华大学 一种基于路侧感知的车辆重识别方法、装置及电子设备
CN114596546A (zh) * 2022-01-12 2022-06-07 盛视科技股份有限公司 车辆重识别方法、装置及计算机、可读存储介质
CN115223193B (zh) * 2022-06-19 2023-07-04 浙江爱达科技有限公司 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法
CN115588170B (zh) * 2022-11-29 2023-02-17 城云科技（中国）有限公司 渣土车重识别方法及其应用
CN115690589B (zh) * 2022-12-30 2023-04-04 松立控股集团股份有限公司 一种基于交叉尺度协同约束的车辆重识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836677A (zh) * 2021-03-02 2021-05-25 西安建筑科技大学 一种利用深度学习的弱监督车辆重识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104964662B (zh) * 2015-05-29 2017-07-21 重庆交通大学 一种车辆超宽超高检测装置和检测方法
US11537817B2 (en) * 2018-10-18 2022-12-27 Deepnorth Inc. Semi-supervised person re-identification using multi-view clustering
CN111435421B (zh) * 2019-01-11 2023-12-19 北京邮电大学 一种面向交通目标的车辆重识别方法和装置
CN111553205B (zh) * 2020-04-12 2022-11-15 西安电子科技大学 无车牌信息车辆重识别方法、系统、介质、视频监控系统
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836677A (zh) * 2021-03-02 2021-05-25 西安建筑科技大学 一种利用深度学习的弱监督车辆重识别方法

Also Published As

Publication number Publication date
CN113361464A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113361464B (zh) 一种基于多粒度特征分割的车辆重识别方法
CN111931684B (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
Zhang et al. Mining semantic context information for intelligent video surveillance of traffic scenes
CN108960184B (zh) 一种基于异构部件深度神经网络的行人再识别方法
CN106650731B (zh) 一种鲁棒的车牌、车标识别方法
CN111507217A (zh) 一种基于局部分辨特征融合的行人重识别方法
Long et al. Accurate object detection with location relaxation and regionlets re-localization
CN110633632A (zh) 一种基于循环指导的弱监督联合目标检测和语义分割方法
US8761510B2 (en) Object-centric spatial pooling for image classification
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN113158815B (zh) 一种无监督行人重识别方法、系统及计算机可读介质
CN109190472B (zh) 基于图像与属性联合引导的行人属性识别方法
CN114998748B (zh) 遥感图像目标精细识别方法、电子设备及存储介质
CN115131580B (zh) 基于注意力机制的空间目标小样本识别方法
US20240282076A1 (en) Method for determining an image descriptor, encoding pipeline, and visual place recognition method
CN107610224B (zh) 一种基于弱监督与明确闭塞建模的3d汽车对象类表示算法
Chen et al. A coarse-to-fine approach for vehicles detection from aerial images
CN112149643A (zh) 基于多级注意力机制的面向无人机平台的车辆重识别方法
CN115690549A (zh) 一种基于并联交互架构模型实现多维度特征融合的目标检测方法
Bardeh et al. New approach for human detection in images using histograms of oriented gradients
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN113298037B (zh) 一种基于胶囊网络的车辆重识别方法
CN113011440B (zh) 一种煤层气井井场监控重识别技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220712

CF01 Termination of patent right due to non-payment of annual fee