CN112381017B - 一种基于感知级联上下文的车辆重识别方法 - Google Patents

一种基于感知级联上下文的车辆重识别方法 Download PDF

Info

Publication number
CN112381017B
CN112381017B CN202011302398.6A CN202011302398A CN112381017B CN 112381017 B CN112381017 B CN 112381017B CN 202011302398 A CN202011302398 A CN 202011302398A CN 112381017 B CN112381017 B CN 112381017B
Authority
CN
China
Prior art keywords
layer
relu
bottleneck
conv2d
reutk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011302398.6A
Other languages
English (en)
Other versions
CN112381017A (zh
Inventor
吕建明
莫晚成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011302398.6A priority Critical patent/CN112381017B/zh
Publication of CN112381017A publication Critical patent/CN112381017A/zh
Application granted granted Critical
Publication of CN112381017B publication Critical patent/CN112381017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于感知级联上下文的车辆重识别方法，包括以下步骤：构造车辆图像的特征提取模型，基础网络使用预训练的ResNet‑50分类网络；将基于感知级联上下文的注意力增强模块嵌入到特征提取模型中；输入车辆图像数据集，对构建好的特征提取模型进行训练；采用已训练的特征提取模型进行车辆重识别任务。本发明通过在车辆图像的特征提取模型中嵌入基于感知级联上下文的注意力增强模块，能够提取出车辆图像中更丰富、更具区分度的特征信息，从而提高了重识别任务的准确率；并且仅仅需要车辆ID一项标签信息作为监督信号进行模型训练，不依赖于任何细粒度的标签信息(如车牌、车型、颜色等)。

Description

一种基于感知级联上下文的车辆重识别方法
技术领域
本发明涉及智能交通监控技术领域，具体涉及一种基于感知级联上下文的车辆重识别方法。
背景技术
车辆重识别目前在科研领域中属于目标重识别范畴，是计算机视觉下的子领域任务。在深度学习技术兴起前，传统的车辆重识别只能通过不断抓拍车辆图像，并以车牌作为车辆身份的唯一ID进行识别。不幸的是，这种技术过度依赖于对车牌的识别精度。在许多的违法犯罪事件中，牌照常常被遮挡、移除甚至伪造。在这种情况下，公安人员只能通过人眼排查视频中车辆出现的时间地点以及车辆特征进行侦查。
目前主流的基于深度学习车辆重识别算法，几乎都需要使用许多细粒度的标签信息进行特征提取模型的训练，随后在推理过程中通过目标检测方法中同时提取车辆整体特征和区域特征，对多种特征进行融合后通过欧氏距离或余弦距离等距离函数对车辆相似度进行排序，最后得出重识别结果。但是，这样的方法却有着先天性的不足：首先，要获取更细粒度的标签信息可能会需要更高清的拍摄设备，更大的图像尺寸会导致整个模型推理效率的下降；其次，需要花费更多的人力物力去对细粒度区域进行标签的标注。
针对上述方法的不足，目前亟待提出一种基于感知级联上下文的车辆重识别方法。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于感知级联上下文的车辆重识别方法。该方法通过在特征提取模型中嵌入基于级联上下文的注意力增强模块，高效地提取出车辆图像中更丰富、更具区分度的特征信息。该方法不依赖于任何细粒度的标签信息(如车牌、车型、颜色等)辅助训练，仅需要车辆ID一项标签信息作为监督信号进行模型训练。
本发明的目的可以通过采取如下技术方案达到：
一种基于感知级联上下文的车辆重识别方法，所述的车辆重识别方法包含以下步骤：
S1、构造车辆图像的特征提取模型，所述的特征提取模型包括依次连接的主干网络和分类网络；
S2、将基于感知级联上下文的注意力增强模块嵌入到特征提取模型中；
S3、输入车辆图像数据集，对构建的特征提取模型进行训练；
S4、采用经过训练的特征提取模型进行车辆重识别任务。
进一步地，所述的主干网络结构如下：
从输入层至输出层依次连接为：卷积层Conv2d-1、BN层BatchNorm2d-2、ReLU层ReLU-3、池化层MaxPool2d-4、卷积层Conv2d-5、BN层BatchNorm2d-6、ReLU层ReLU-7、卷积层Conv2d-8、BN层BatchNorm2d-9、ReLU层ReLU-10、卷积层Conv2d-11、BN层BatchNorm2d-12、卷积层Conv2d-13、BN层BatchNorm2d-14、ReLU层ReLU-15、Bottleneck层Bottleneck-16、卷积层Conv2d-17、BN层BatchNorm2d-18、ReLU层ReLU-19、卷积层Conv2d-20、BN层BatchNorm2d-21、ReLU层ReLU-22、卷积层Conv2d-23、BN层BatchNorm2d-24、ReLU层ReLU-25、Bottleneck层Bottleneck-26、卷积层Conv2d-27、BN层BatchNorm2d-28、ReLU层ReLU-29、卷积层Conv2d-30、BN层BatchNorm2d-31、ReLU层ReLU-32、卷积层Conv2d-33、BN层BatchNorm2d-34、ReLU层ReLU-35、Bottleneck层Bottleneck-36、卷积层Conv2d-37、BN层BatchNorm2d-38、ReLU层ReLU-39、卷积层Conv2d-40、BN层BatchNorm2d-41、ReLU层ReLU-42、卷积层Conv2d-43、BN层BatchNorm2d-44、卷积层Conv2d-45、BN层BatchNorm2d-46、ReLU层ReLU-47、Bottleneck层Bottleneck-48、卷积层Conv2d-49、BN层BatchNorm2d-50、ReLU层ReLU-51、卷积层Conv2d-52、BN层BatchNorm2d-53、ReLU层ReLU-54、卷积层Conv2d-55、BN层BatchNorm2d-56、ReLU层ReLU-57、Bottleneck层Bottleneck-58、卷积层Conv2d-59、BN层BatchNorm2d-60、ReLU层ReLU-61、卷积层Conv2d-62、BN层BatchNorm2d-63、ReLU层ReLU-64、卷积层Conv2d-65、BN层BatchNorm2d-66、ReLU层ReLU-67、Bottleneck层Bottleneck-68、卷积层Conv2d-69、BN层BatchNorm2d-70、ReLU层ReLU-71、卷积层Conv2d-72、BN层BatchNorm2d-73、ReLU层ReLU-74、卷积层Conv2d-75、BN层BatchNorm2d-76、ReLU层ReLU-77、Bottleneck层Bottleneck-78、卷积层Conv2d-79、BN层BatchNorm2d-80、ReLU层ReLU-81、卷积层Conv2d-82、BN层BatchNorm2d-83、ReLU层ReLU-84、卷积层Conv2d-85、BN层BatchNorm2d-86、卷积层Conv2d-87、BN层BatchNorm2d-88、ReLU层ReLU-89、Bottleneck层Bottleneck-90、卷积层Conv2d-91、BN层BatchNorm2d-92、ReLU层ReLU-93、卷积层Conv2d-94、BN层BatchNorm2d-95、ReLU层ReLU-96、卷积层Conv2d-97、BN层BatchNorm2d-98、ReLU层ReLU-99、Bottleneck层Bottleneck-100、卷积层Conv2d-101、BN层BatchNorm2d-102、ReLU层ReLU-103、卷积层Conv2d-104、BN层BatchNorm2d-105、ReLU层ReLU-106、卷积层Conv2d-107、BN层BatchNorm2d-108、ReLU层ReLU-109、Bottleneck层Bottleneck-110、卷积层Conv2d-111、BN层BatchNorm2d-112、ReLU层ReLU-113、卷积层Conv2d-114、BN层BatchNorm2d-115、ReLU层ReLU-116、卷积层Conv2d-117、BN层BatchNorm2d-118、ReLU层ReLU-119、Bottleneck层Bottleneck-120、卷积层Conv2d-121、BN层BatchNorm2d-122、ReLU层ReLU-123、卷积层Conv2d-124、BN层BatchNorm2d-125、ReLU层ReLU-126、卷积层Conv2d-127、BN层BatchNorm2d-128、ReLU层ReLU-129、Bottleneck层Bottleneck-130、卷积层Conv2d-131、BN层BatchNorm2d-132、ReLU层ReLU-133、卷积层Conv2d-134、BN层BatchNorm2d-135、ReLU层ReLU-136、卷积层Conv2d-137、BN层BatchNorm2d-138、ReLU层ReLU-139、Bottleneck层Bottleneck-140、卷积层Conv2d-141、BN层BatchNorm2d-142、ReLU层ReLU-143、卷积层Conv2d-144、BN层BatchNorm2d-145、ReLU层ReLU-146、卷积层Conv2d-147、BN层BatchNorm2d-148、卷积层Conv2d-149、BN层BatchNorm2d-150、ReLU层ReLU-151、Bottleneck层Bottleneck-152、卷积层Conv2d-153、BN层BatchNorm2d-154、ReLU层ReLU-155、卷积层Conv2d-156、BN层BatchNorm2d-157、ReLU层ReLU-158、卷积层Conv2d-159、BN层BatchNorm2d-160、ReLU层ReLU-161、Bottleneck层Bottleneck-162、卷积层Conv2d-163、BN层BatchNorm2d-164、ReLU层ReLU-165、卷积层Conv2d-166、BN层BatchNorm2d-167、ReLU层ReLU-168、卷积层Conv2d-169、BN层BatchNorm2d-170、ReLU层ReLU-171、Bottleneck层Bottleneck-172、批次难样本三元组损失函数层triplet_loss。
进一步地，所述的分类网络结构如下：
从输入层至输出层依次连接为：
全局池化层AdaptiveAvgPool2d-173、BN层BatchNorm2d-174、FC层Linear-175、交叉熵损失函数层xent_loss。
进一步地，所述的步骤S2中构造基于感知级联上下文的注意力增强模块的过程如下：
S21、对于输入到注意力增强模块的图像特征图
Figure BDA0002787234170000051
其中C、H、W分别代表该特征图的通道数、特征图高度、特征图宽度，为了减少注意力增强模块的计算量，通过一个状态转换矩阵Win将特征图X的通道数压缩为C′，得到特征图
Figure BDA0002787234170000052
其中Win的具体实现方式为一个1x1的卷积核，公式表达为：
X′＝Win(X)；
S22、对步骤S21得到的特征图X′，输入到下采样层Pi进行下采样以获得多尺度的上下文特征图
Figure BDA0002787234170000053
其中Ni为特征图下采样后的尺度大小，公式表达为：
Xi＝Pi(X′)
其中，Xi，i＝1，2，…，N为一系列隐含了不同尺度特征信息的上下文特征图X1,X2,…,XN；
S23、对于步骤S22得到的多尺度的上下文特征图Xi，在每两个相邻尺度的上下文特征图之间进行注意力加权计算。假设存在n个下采样层，则需要进行n次注意力加权计算以获得最终的注意力加权特征图
Figure BDA0002787234170000054
与Win相对应，最终的注意力加权特征图
Figure BDA0002787234170000055
经过一个状态转换矩阵Wout将通道数恢复为与原特征图
Figure BDA0002787234170000056
一致，状态转换矩阵Wout的实现方式为一个1x1的卷积核，最后使用残差连接将最终的注意力加权特征图
Figure BDA0002787234170000057
与原特征图X进行融合，得到注意力加权结果特征图Y，公式表达为：
Figure BDA0002787234170000058
S24、将构造的注意力增强模块嵌入到特征提取模型的主干网络中，具体位置分别为Bottleneck层Bottleneck-48、Bottleneck层Bottleneck-90、Bottleneck层Bottleneck-152、Bottleneck层Bottleneck-172之后，将上述层的输出特征图输入到注意力增强模块中。
进一步地，所述的步骤S23中对多尺度的上下文特征图Xi在每两个相邻尺度的上下文特征图之间进行注意力加权计算，设
Figure BDA0002787234170000061
为尺度为Ni+1的特征图，
Figure BDA0002787234170000062
为尺度为Ni的已经过注意力加权计算的特征图，计算过程如下
S231、对两个特征图进行维度重塑，得到
Figure BDA0002787234170000063
和
Figure BDA0002787234170000064
Figure BDA0002787234170000065
并进行矩阵乘法得到注意力关系矩阵
Figure BDA0002787234170000066
S232、对矩阵Mi的行进行softmax归一化，得到统一注意力关系矩阵
Figure BDA0002787234170000067
公式表达为：
Figure BDA0002787234170000068
其中，统一注意力关系矩阵
Figure BDA0002787234170000069
的每个元素值代表两个不同尺度的上下文特征图之间的注意力权重；
S233、将统一注意力关系矩阵
Figure BDA00027872341700000610
与较小尺度的特征图
Figure BDA00027872341700000611
进行矩阵乘法，得到经过注意力加权的特征图
Figure BDA00027872341700000612
Figure BDA00027872341700000613
公式如下：
Figure BDA00027872341700000614
进一步地，所述的步骤S23中
Figure BDA00027872341700000615
将会参与到下一次的注意力加权计算过程中。
进一步地，所述的步骤S3过程如下：
S31、构造车辆重识别数据集，使用PK采样法对数据集进行批次采样，即对每个输入到特征提取模型的图像批次，在数据集中随机采样P类车辆，每类车辆选取K张图像，然后将车辆图像按批次输入到特征提取模型得到卷积特征；
S32、对步骤S31得到的卷积特征，计算批次难样本三元组损失函数，在一个批次中，对于每个图像而言，它自身称为锚点图像，与锚点图像属于同一个车辆ID的其他图像称为正样本，反之则称为负样本；
批次难样本三元组损失函数定义如下：
Ltriplet(a,p,n)＝max(0,α+max(Dap)-min(Dan))
其中，α代表距离裕度，用于控制各个分类平面之间的距离，取值区间为0.25-0.35，Dap与Dan代表锚点图像与所有正/负样本之间的距离；
S33、对步骤S31得到的卷积特征，输入分类网络中，计算交叉熵损失函数，其定义为：
Figure BDA0002787234170000071
其中，y代表图像的真实标签，yi代表图像关于第i类ID的真实标签，
Figure BDA0002787234170000072
代表特征提取模型对图像标签的估计值，
Figure BDA0002787234170000073
代表图像关于第i类ID的估计值，L代表图像数据集的种类个数，对yi采用标签平滑技术进行改写，具体如下：
Figure BDA0002787234170000074
其中，ε为用于降低特征提取模型对于训练数据集的自信能力和防止过拟合的常量值，取值区间为0.005-0.015；
S34、将批次难样本三元组损失函数与交叉熵损失函数相加得到总的损失函数值：
Figure BDA0002787234170000081
其中λ为用于平衡两个损失函数值之间相对大小的超参数。
进一步地，所述的步骤S4过程如下：
将需要进行重识别排序的数据集输入到已经训练收敛的特征提取模型中，得到图像特征，每个图像特征两两之间使用距离度量函数计算距离，将计算结果从小到大按序排列即可得到重识别结果。
进一步地，所述的距离度量函数采用欧式距离函数或余弦距离函数。
相对于已有的基于更多细粒度区域特征的车辆重识别方法，本发明具有如下的优点及效果：
(1)本发明仅使用车辆ID一项标签信息作为监督信号进行特征提取模型的训练。相对于主流的使用多种细粒度标签的方法，本发明不仅在同分辨率下可以获得更高的准确率，而且还避免了在标注细粒度标签上的大量人力物力消耗。
(2)本发明通过嵌入基于级联上下文的注意力增强模块到特征提取模型中，对多个尺度的特征上下文进行注意力加权计算，从而使得特征提取模型可以挖掘出图像中更具区分度的特征信息。
附图说明
图1是本发明实施例中公开的一种基于感知级联上下文的车辆重识别方法的流程图；
图2是本发明实施例中注意力增强模块的算法流程图；
图3是本发明实施例中注意力增强模块中的注意力加权计算过程的详细流程图；
图4是本发明实施例方法与通用图像特征提取模型的可视化结果比较示例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例通过如图1所示的流程进行实现，如图所示，一种基于感知级联上下文的车辆重识别方法包括以下步骤：
步骤S1、构造车辆图像的特征提取模型，所述的特征提取模型包括依次连接的主干网络和分类网络，具体如下：
所述的主干网络具体结构如下：
从输入层至输出层依次连接为：卷积层Conv2d-1、BN层BatchNorm2d-2、ReLU层ReLU-3、池化层MaxPool2d-4、卷积层Conv2d-5、BN层BatchNorm2d-6、ReLU层ReLU-7、卷积层Conv2d-8、BN层BatchNorm2d-9、ReLU层ReLU-10、卷积层Conv2d-11、BN层BatchNorm2d-12、卷积层Conv2d-13、BN层BatchNorm2d-14、ReLU层ReLU-15、Bottleneck层Bottleneck-16、卷积层Conv2d-17、BN层BatchNorm2d-18、ReLU层ReLU-19、卷积层Conv2d-20、BN层BatchNorm2d-21、ReLU层ReLU-22、卷积层Conv2d-23、BN层BatchNorm2d-24、ReLU层ReLU-25、Bottleneck层Bottleneck-26、卷积层Conv2d-27、BN层BatchNorm2d-28、ReLU层ReLU-29、卷积层Conv2d-30、BN层BatchNorm2d-31、ReLU层ReLU-32、卷积层Conv2d-33、BN层BatchNorm2d-34、ReLU层ReLU-35、Bottleneck层Bottleneck-36、卷积层Conv2d-37、BN层BatchNorm2d-38、ReLU层ReLU-39、卷积层Conv2d-40、BN层BatchNorm2d-41、ReLU层ReLU-42、卷积层Conv2d-43、BN层BatchNorm2d-44、卷积层Conv2d-45、BN层BatchNorm2d-46、ReLU层ReLU-47、Bottleneck层Bottleneck-48、卷积层Conv2d-49、BN层BatchNorm2d-50、ReLU层ReLU-51、卷积层Conv2d-52、BN层BatchNorm2d-53、ReLU层ReLU-54、卷积层Conv2d-55、BN层BatchNorm2d-56、ReLU层ReLU-57、Bottleneck层Bottleneck-58、卷积层Conv2d-59、BN层BatchNorm2d-60、ReLU层ReLU-61、卷积层Conv2d-62、BN层BatchNorm2d-63、ReLU层ReLU-64、卷积层Conv2d-65、BN层BatchNorm2d-66、ReLU层ReLU-67、Bottleneck层Bottleneck-68、卷积层Conv2d-69、BN层BatchNorm2d-70、ReLU层ReLU-71、卷积层Conv2d-72、BN层BatchNorm2d-73、ReLU层ReLU-74、卷积层Conv2d-75、BN层BatchNorm2d-76、ReLU层ReLU-77、Bottleneck层Bottleneck-78、卷积层Conv2d-79、BN层BatchNorm2d-80、ReLU层ReLU-81、卷积层Conv2d-82、BN层BatchNorm2d-83、ReLU层ReLU-84、卷积层Conv2d-85、BN层BatchNorm2d-86、卷积层Conv2d-87、BN层BatchNorm2d-88、ReLU层ReLU-89、Bottleneck层Bottleneck-90、卷积层Conv2d-91、BN层BatchNorm2d-92、ReLU层ReLU-93、卷积层Conv2d-94、BN层BatchNorm2d-95、ReLU层ReLU-96、卷积层Conv2d-97、BN层BatchNorm2d-98、ReLU层ReLU-99、Bottleneck层Bottleneck-100、卷积层Conv2d-101、BN层BatchNorm2d-102、ReLU层ReLU-103、卷积层Conv2d-104、BN层BatchNorm2d-105、ReLU层ReLU-106、卷积层Conv2d-107、BN层BatchNorm2d-108、ReLU层ReLU-109、Bottleneck层Bottleneck-110、卷积层Conv2d-111、BN层BatchNorm2d-112、ReLU层ReLU-113、卷积层Conv2d-114、BN层BatchNorm2d-115、ReLU层ReLU-116、卷积层Conv2d-117、BN层BatchNorm2d-118、ReLU层ReLU-119、Bottleneck层Bottleneck-120、卷积层Conv2d-121、BN层BatchNorm2d-122、ReLU层ReLU-123、卷积层Conv2d-124、BN层BatchNorm2d-125、ReLU层ReLU-126、卷积层Conv2d-127、BN层BatchNorm2d-128、ReLU层ReLU-129、Bottleneck层Bottleneck-130、卷积层Conv2d-131、BN层BatchNorm2d-132、ReLU层ReLU-133、卷积层Conv2d-134、BN层BatchNorm2d-135、ReLU层ReLU-136、卷积层Conv2d-137、BN层BatchNorm2d-138、ReLU层ReLU-139、Bottleneck层Bottleneck-140、卷积层Conv2d-141、BN层BatchNorm2d-142、ReLU层ReLU-143、卷积层Conv2d-144、BN层BatchNorm2d-145、ReLU层ReLU-146、卷积层Conv2d-147、BN层BatchNorm2d-148、卷积层Conv2d-149、BN层BatchNorm2d-150、ReLU层ReLU-151、Bottleneck层Bottleneck-152、卷积层Conv2d-153、BN层BatchNorm2d-154、ReLU层ReLU-155、卷积层Conv2d-156、BN层BatchNorm2d-157、ReLU层ReLU-158、卷积层Conv2d-159、BN层BatchNorm2d-160、ReLU层ReLU-161、Bottleneck层Bottleneck-162、卷积层Conv2d-163、BN层BatchNorm2d-164、ReLU层ReLU-165、卷积层Conv2d-166、BN层BatchNorm2d-167、ReLU层ReLU-168、卷积层Conv2d-169、BN层BatchNorm2d-170、ReLU层ReLU-171、Bottleneck层Bottleneck-172、批次难样本三元组损失函数层triplet_loss。
所述的分类网络具体结构如下：
从输入层至输出层依次连接为：全局池化层AdaptiveAvgPool2d-173、BN层BatchNorm2d-174、FC层Linear-175、交叉熵损失函数层xent_loss。
步骤S2、构造基于感知级联上下文的注意力增强模块，具体过程如下：
S21、对于输入到注意力增强模块的图像特征图
Figure BDA0002787234170000121
其中C、H、W分别代表该特征图的通道数、特征图高度、特征图宽度，为了减少注意力增强模块的计算量，通过一个状态转换矩阵Win将特征图X的通道数压缩为C′，得到特征图
Figure BDA0002787234170000122
其中Win的具体实现方式为一个1x1的卷积核，公式表达为：
X′＝Win(X)；
S22、对步骤S21得到的特征图X′，输入到下采样层Pi进行下采样以获得多尺度的上下文特征图
Figure BDA0002787234170000123
其中Ni为特征图下采样后的尺度大小，公式表达为：
Xi＝Pi(X′)
其中，Xi，i＝1,2，…,N为一系列隐含了不同尺度特征信息的上下文特征图X1,X2,…,XN；
S23、对于步骤S22得到的多尺度的上下文特征图Xi，在每两个相邻尺度的上下文特征图之间进行注意力加权计算。假设存在n个下采样层，则需要进行n次注意力加权计算以获得最终的注意力加权特征图
Figure BDA0002787234170000124
与Win相对应，最终的注意力加权特征图
Figure BDA0002787234170000125
经过一个状态转换矩阵Wout将通道数恢复为与原特征图
Figure BDA0002787234170000126
一致，状态转换矩阵Wout的具体实现方式同样为一个1x1的卷积核，最后使用残差连接将最终的注意力加权特征图
Figure BDA0002787234170000127
与原特征图X进行融合，得到注意力加权结果特征图Y，公式表达为：
Figure BDA0002787234170000128
S24、将构造的注意力增强模块嵌入到特征提取模型的主干网络中，具体位置分别为Bottleneck层Bottleneck-48、Bottleneck层Bottleneck-90、Bottleneck层Bottleneck-152、Bottleneck层Bottleneck-172之后，将上述层的输出特征图输入到注意力增强模块中。
所述的步骤S23中对多尺度的上下文特征图Xi在每两个相邻尺度的上下文特征图之间进行注意力加权计算，设
Figure BDA0002787234170000131
为尺度为Ni+1的特征图，
Figure BDA0002787234170000132
为尺度为Ni的已经过注意力加权计算的特征图，计算过程如下：
S231、对两个特征图进行维度重塑，得到
Figure BDA0002787234170000133
和
Figure BDA0002787234170000134
Figure BDA0002787234170000135
并进行矩阵乘法得到注意力关系矩阵
Figure BDA0002787234170000136
S232、对矩阵Mi的行进行softmax归一化，得到统一注意力关系矩阵
Figure BDA0002787234170000137
公式表达为：
Figure BDA0002787234170000138
其中，统一注意力关系矩阵
Figure BDA0002787234170000139
的每个元素值代表两个不同尺度的上下文特征图之间的注意力权重；
S233、将统一注意力关系矩阵
Figure BDA00027872341700001310
与较小尺度的特征图
Figure BDA00027872341700001311
进行矩阵乘法，得到经过注意力加权的特征图
Figure BDA00027872341700001312
Figure BDA00027872341700001313
公式如下：
Figure BDA00027872341700001314
步骤S3、输入车辆图像数据集，对构建的特征提取模型进行训练，具体如下：
S31、构造车辆重识别数据集，使用PK采样法对数据集进行批次采样，即对每个输入到特征提取模型的图像批次，在数据集中随机采样P类车辆，每类车辆选取K张图像，然后将车辆图像按批次输入到特征提取模型得到卷积特征；
S32、对步骤S31得到的卷积特征，计算批次难样本三元组损失函数，在一个批次中，对于每个图像而言，它自身称为锚点图像，与锚点图像属于同一个车辆ID的其他图像称为正样本，反之则称为负样本；
批次难样本三元组损失函数定义如下：
Ltriplet(a,p,n)＝max(0,α+max(Dap)-min(Dan))
其中，α代表距离裕度，用于控制各个分类平面之间的距离，取值区间为0.25-0.35，Dap与Dan代表锚点图像与所有正/负样本之间的距离；
S33、对步骤S31得到的卷积特征，输入分类网络中，计算交叉熵损失函数，其定义为：
Figure BDA0002787234170000141
其中，y代表图像的真实标签，yi代表第i张图像的真实标签，
Figure BDA0002787234170000142
代表特征提取模型对图像标签的估计值，L代表图像数据集的种类个数，对yi采用标签平滑技术进行改写，具体如下：
Figure BDA0002787234170000143
其中，ε为用于降低特征提取模型对于训练数据集的自信能力和防止过拟合的常量值，取值区间为0.005-0.015；
S34、将批次难样本三元组损失函数与交叉熵损失函数相加得到总的损失函数值：
Figure BDA0002787234170000144
其中λ为用于平衡两个损失函数值之间相对大小的超参数。
步骤S4、采用已训练的特征提取模型进行车辆重识别任务，将需要进行重识别排序的数据集输入到已经训练收敛的特征提取模型中，得到图像特征，每个图像特征两两之间使用距离度量函数(欧式距离函数或余弦距离函数)计算距离，将计算结果从小到大按序排列即可得到重识别结果
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于感知级联上下文的车辆重识别方法，其特征在于，所述的车辆重识别方法包含以下步骤：
S1、构造车辆图像的特征提取模型，所述的特征提取模型包括依次连接的主干网络和分类网络；
S2、将基于感知级联上下文的注意力增强模块嵌入到特征提取模型中；
S3、输入车辆图像数据集，对构建的特征提取模型进行训练；
S4、采用经过训练的特征提取模型进行车辆重识别任务；
其中，所述的主干网络结构如下：
从输入层至输出层依次连接为：卷积层Conv2d-1、BN层BatchNorm2d-2、ReLU层ReLU-3、池化层MaxPool2d-4、卷积层Conv2d-5、BN层BatchNorm2d-6、ReLU层ReLU-7、卷积层Conv2d-8、BN层BatchNorm2d-9、ReLU层ReLU-10、卷积层Conv2d-11、BN层BatchNorm2d-12、卷积层Conv2d-13、BN层BatchNorm2d-14、ReLU层ReLU-15、Bottleneck层Bottleneck-16、卷积层Conv2d-17、BN层BatchNorm2d-18、ReLU层ReLU-19、卷积层Conv2d-20、BN层BatchNorm2d-21、ReLU层ReLU-22、卷积层Conv2d-23、BN层BatchNorm2d-24、ReLU层ReLU-25、Bottleneck层Bottleneck-26、卷积层Conv2d-27、BN层BatchNorm2d-28、ReLU层ReLU-29、卷积层Conv2d-30、BN层BatchNorm2d-31、ReLU层ReLU-32、卷积层Conv2d-33、BN层BatchNorm2d-34、ReLU层ReLU-35、Bottleneck层Bottleneck-36、卷积层Conv2d-37、BN层BatchNorm2d-38、ReLU层ReLU-39、卷积层Conv2d-40、BN层BatchNorm2d-41、ReLU层ReLU-42、卷积层Conv2d-43、BN层BatchNorm2d-44、卷积层Conv2d-45、BN层BatchNorm2d-46、ReLU层ReLU-47、Bottleneck层Bottleneck-48、卷积层Conv2d-49、BN层BatchNorm2d-50、ReLU层ReLU-51、卷积层Conv2d-52、BN层BatchNorm2d-53、ReLU层ReLU-54、卷积层Conv2d-55、BN层BatchNorm2d-56、ReLU层ReLU-57、Bottleneck层Bottleneck-58、卷积层Conv2d-59、BN层BatchNorm2d-60、ReLU层ReLU-61、卷积层Conv2d-62、BN层BatchNorm2d-63、ReLU层ReLU-64、卷积层Conv2d-65、BN层BatchNorm2d-66、ReLU层ReLU-67、Bottleneck层Bottleneck-68、卷积层Conv2d-69、BN层BatchNorm2d-70、ReLU层ReLU-71、卷积层Conv2d-72、BN层BatchNorm2d-73、ReLU层ReLU-74、卷积层Conv2d-75、BN层BatchNorm2d-76、ReLU层ReLU-77、Bottleneck层Bottleneck-78、卷积层Conv2d-79、BN层BatchNorm2d-80、ReLU层ReLU-81、卷积层Conv2d-82、BN层BatchNorm2d-83、ReLU层ReLU-84、卷积层Conv2d-85、BN层BatchNorm2d-86、卷积层Conv2d-87、BN层BatchNorm2d-88、ReLU层ReLU-89、Bottleneck层Bottleneck-90、卷积层Conv2d-91、BN层BatchNorm2d-92、ReLU层ReLU-93、卷积层Conv2d-94、BN层BatchNorm2d-95、ReLU层ReLU-96、卷积层Conv2d-97、BN层BatchNorm2d-98、ReLU层ReLU-99、Bottleneck层Bottleneck-100、卷积层Conv2d-101、BN层BatchNorm2d-102、ReLU层ReLU-103、卷积层Conv2d-104、BN层BatchNorm2d-105、ReLU层ReLU-106、卷积层Conv2d-107、BN层BatchNorm2d-108、ReLU层ReLU-109、Bottleneck层Bottleneck-110、卷积层Conv2d-111、BN层BatchNorm2d-112、ReLU层ReLU-113、卷积层Conv2d-114、BN层BatchNorm2d-115、ReLU层ReLU-116、卷积层Conv2d-117、BN层BatchNorm2d-118、ReLU层ReLU-119、Bottleneck层Bottleneck-120、卷积层Conv2d-121、BN层BatchNorm2d-122、ReLU层ReLU-123、卷积层Conv2d-124、BN层BatchNorm2d-125、ReLU层ReLU-126、卷积层Conv2d-127、BN层BatchNorm2d-128、ReLU层ReLU-129、Bottleneck层Bottleneck-130、卷积层Conv2d-131、BN层BatchNorm2d-132、ReLU层ReLU-133、卷积层Conv2d-134、BN层BatchNorm2d-135、ReLU层ReLU-136、卷积层Conv2d-137、BN层BatchNorm2d-138、ReLU层ReLU-139、Bottleneck层Bottleneck-140、卷积层Conv2d-141、BN层BatchNorm2d-142、ReLU层ReLU-143、卷积层Conv2d-144、BN层BatchNorm2d-145、ReLU层ReLU-146、卷积层Conv2d-147、BN层BatchNorm2d-148、卷积层Conv2d-149、BN层BatchNorm2d-150、ReLU层ReLU-151、Bottleneck层Bottleneck-152、卷积层Conv2d-153、BN层BatchNorm2d-154、ReLU层ReLU-155、卷积层Conv2d-156、BN层BatchNorm2d-157、ReLU层ReLU-158、卷积层Conv2d-159、BN层BatchNorm2d-160、ReLU层ReLU-161、Bottleneck层Bottleneck-162、卷积层Conv2d-163、BN层BatchNorm2d-164、ReLU层ReLU-165、卷积层Conv2d-166、BN层BatchNorm2d-167、ReLU层ReLU-168、卷积层Conv2d-169、BN层BatchNorm2d-170、ReLU层ReLU-171、Bottleneck层Bottleneck-172、批次难样本三元组损失函数层triplet_loss；
其中，所述的步骤S2中构造基于感知级联上下文的注意力增强模块的过程如下：
S21、对于输入到注意力增强模块的图像特征图
Figure FDA0003475180280000031
其中C、H、W分别代表该特征图的通道数、特征图高度、特征图宽度，为了减少注意力增强模块的计算量，通过一个状态转换矩阵Win将特征图X的通道数压缩为C′，得到特征图
Figure FDA0003475180280000041
其中Win的具体实现方式为一个1x1的卷积核，公式表达为：
X′＝Win(X)；
S22、对步骤S21得到的特征图X′，输入到下采样层Pi进行下采样以获得多尺度的上下文特征图
Figure FDA0003475180280000042
其中Ni为特征图下采样后的尺度大小，公式表达为：
Xi＝Pi(X′)
其中，Xi，i＝1，2，…，N为一系列隐含了不同尺度特征信息的上下文特征图X1,X2,…,XN；
S23、对于步骤S22得到的多尺度的上下文特征图Xi，在每两个相邻尺度的上下文特征图之间进行注意力加权计算，假设存在n个下采样层，则需要进行n次注意力加权计算以获得最终的注意力加权特征图
Figure FDA0003475180280000043
最终的注意力加权特征图
Figure FDA0003475180280000044
经过一个状态转换矩阵Wout将通道数恢复为与原特征图
Figure FDA0003475180280000045
一致，状态转换矩阵Wout的实现方式为一个1x1的卷积核，最后使用残差连接将最终的注意力加权特征图
Figure FDA0003475180280000046
与原特征图X进行融合，得到注意力加权结果特征图Y，公式表达为：
Figure FDA0003475180280000047
S24、将构造的注意力增强模块嵌入到特征提取模型的主干网络中，具体位置分别为Bottleneck层Bottleneck-48、Bottleneck层Bottleneck-90、Bottleneck层Bottleneck-152、Bottleneck层Bottleneck-172之后，将上述层的输出特征图输入到注意力增强模块中。
2.根据权利要求1所述的基于感知级联上下文的车辆重识别方法，其特征在于，所述的分类网络结构如下：
从输入层至输出层依次连接为：
全局池化层AdaptiveAvgPool2d-173、BN层BatchNorm2d-174、FC层Linear-175、交叉熵损失函数层xent_loss。
3.根据权利要求1所述的基于感知级联上下文的车辆重识别方法，其特征在于，所述的步骤S23中对多尺度的上下文特征图Xi在每两个相邻尺度的上下文特征图之间进行注意力加权计算，设
Figure FDA0003475180280000051
为尺度为Ni+1的特征图，
Figure FDA0003475180280000052
为尺度为Ni的已经过注意力加权计算的特征图，计算过程如下
S231、对两个特征图进行维度重塑，得到
Figure FDA0003475180280000053
和
Figure FDA0003475180280000054
Figure FDA0003475180280000055
并进行矩阵乘法得到注意力关系矩阵
Figure FDA0003475180280000056
S232、对矩阵Mi的行进行softmax归一化，得到统一注意力关系矩阵
Figure FDA0003475180280000057
公式表达为：
Figure FDA0003475180280000058
其中，统一注意力关系矩阵
Figure FDA0003475180280000059
的每个元素值代表两个不同尺度的上下文特征图之间的注意力权重；
S233、将统一注意力关系矩阵
Figure FDA00034751802800000510
与较小尺度的特征图
Figure FDA00034751802800000511
进行矩阵乘法，得到经过注意力加权的特征图
Figure FDA00034751802800000512
Figure FDA00034751802800000513
公式如下：
Figure FDA00034751802800000514
4.根据权利要求3所述的基于感知级联上下文的车辆重识别方法，其特征在于，所述的步骤S23中
Figure FDA0003475180280000061
将会参与到下一次的注意力加权计算过程中。
5.根据权利要求3所述的基于感知级联上下文的车辆重识别方法，其特征在于，所述的步骤S3过程如下：
S31、构造车辆重识别数据集，使用PK采样法对数据集进行批次采样，即对每个输入到特征提取模型的图像批次，在数据集中随机采样P类车辆，每类车辆选取K张图像，然后将车辆图像按批次输入到特征提取模型得到卷积特征；
S32、对步骤S31得到的卷积特征，计算批次难样本三元组损失函数，在一个批次中，对于每个图像而言，它自身称为锚点图像，与锚点图像属于同一个车辆ID的其他图像称为正样本，反之则称为负样本；
批次难样本三元组损失函数定义如下：
Ltriplet(a,p,n)＝max(0,α+max(Dap)-min(Dan))
其中，α代表距离裕度，用于控制各个分类平面之间的距离，取值区间为0.25-0.35，Dap与Dan代表锚点图像与所有正/负样本之间的距离；
S33、对步骤S31得到的卷积特征，输入分类网络中，计算交叉熵损失函数，其定义为：
Figure FDA0003475180280000062
其中，y代表图像的真实标签，yi代表图像关于第i类ID的真实标签，
Figure FDA0003475180280000063
代表特征提取模型对图像标签的估计值，
Figure FDA0003475180280000064
代表图像关于第i类ID的估计值，L代表图像数据集的种类个数，对yi采用标签平滑技术进行改写，具体如下：
Figure FDA0003475180280000071
其中，ε为用于降低特征提取模型对于训练数据集的自信能力和防止过拟合的常量值，取值区间为0.005-0.015；
S34、将批次难样本三元组损失函数与交叉熵损失函数相加得到总的损失函数值：
Figure FDA0003475180280000072
其中λ为用于平衡两个损失函数值之间相对大小的超参数。
6.根据权利要求1所述的基于感知级联上下文的车辆重识别方法，其特征在于，所述的步骤S4过程如下：
将需要进行重识别排序的数据集输入到已经训练收敛的特征提取模型中，得到图像特征，每个图像特征两两之间使用距离度量函数计算距离，将计算结果从小到大按序排列即可得到重识别结果。
7.根据权利要求6所述的基于感知级联上下文的车辆重识别方法，其特征在于，所述的距离度量函数采用欧式距离函数或余弦距离函数。
CN202011302398.6A 2020-11-19 2020-11-19 一种基于感知级联上下文的车辆重识别方法 Active CN112381017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011302398.6A CN112381017B (zh) 2020-11-19 2020-11-19 一种基于感知级联上下文的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011302398.6A CN112381017B (zh) 2020-11-19 2020-11-19 一种基于感知级联上下文的车辆重识别方法

Publications (2)

Publication Number Publication Date
CN112381017A CN112381017A (zh) 2021-02-19
CN112381017B true CN112381017B (zh) 2022-04-22

Family

ID=74584575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011302398.6A Active CN112381017B (zh) 2020-11-19 2020-11-19 一种基于感知级联上下文的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN112381017B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221911B (zh) * 2021-04-09 2023-03-21 华南理工大学 一种基于双重注意力机制的车辆重识别方法及系统
CN113792686B (zh) * 2021-09-17 2023-12-08 中南大学 基于视觉表征跨传感器不变性的车辆重识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516583A (zh) * 2019-08-21 2019-11-29 中科视语(北京)科技有限公司 一种车辆重识别方法、系统、设备及介质
CN110543841A (zh) * 2019-08-21 2019-12-06 中科视语(北京)科技有限公司 行人重识别方法、系统、电子设备及介质
CN111553205A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 无车牌信息车辆重识别方法、系统、介质、视频监控系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516583A (zh) * 2019-08-21 2019-11-29 中科视语(北京)科技有限公司 一种车辆重识别方法、系统、设备及介质
CN110543841A (zh) * 2019-08-21 2019-12-06 中科视语(北京)科技有限公司 行人重识别方法、系统、电子设备及介质
CN111553205A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 无车牌信息车辆重识别方法、系统、介质、视频监控系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Viewpoint-aware Attentive Multi-view Inference for Vehicle Re-identification;Yi Zhou et al;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181231;第6489-6498页 *
基于部件融合特征的车辆重识别算法;李熙莹 等;《计算机工程》;20190630;第45卷(第6期);第12-20页 *

Also Published As

Publication number Publication date
CN112381017A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN110414432B (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN108509859B (zh) 一种基于深度神经网络的无重叠区域行人跟踪方法
CN110033002B (zh) 基于多任务级联卷积神经网络的车牌检测方法
CN106845487B (zh) 一种端到端的车牌识别方法
CN107944450B (zh) 一种车牌识别方法及装置
CN107133569B (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN111507217A (zh) 一种基于局部分辨特征融合的行人重识别方法
CN112560831B (zh) 一种基于多尺度空间校正的行人属性识别方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN112381017B (zh) 一种基于感知级联上下文的车辆重识别方法
CN112070058A (zh) 人脸面部复合情感表情识别方法及系统
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN111582337A (zh) 基于小样本细粒度图像分析的草莓畸形状态检测方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
Su et al. FSRDD: An efficient few-shot detector for rare city road damage detection
Zhang et al. Appearance-based loop closure detection via locality-driven accurate motion field learning
CN114596548A (zh) 目标检测方法、装置、计算机设备及计算机可读存储介质
CN110909645B (zh) 一种基于半监督流形嵌入的人群计数方法
CN115050044B (zh) 一种基于MLP-Mixer的跨模态行人重识别方法
CN113177528B (zh) 基于多任务学习策略训练网络模型的车牌识别方法及系统
CN115240163A (zh) 一种基于一阶段检测网络的交通标志检测方法及系统
CN111582057B (zh) 一种基于局部感受野的人脸验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant