CN113298037B - 一种基于胶囊网络的车辆重识别方法 - Google Patents

一种基于胶囊网络的车辆重识别方法 Download PDF

Info

Publication number
CN113298037B
CN113298037B CN202110679756.3A CN202110679756A CN113298037B CN 113298037 B CN113298037 B CN 113298037B CN 202110679756 A CN202110679756 A CN 202110679756A CN 113298037 B CN113298037 B CN 113298037B
Authority
CN
China
Prior art keywords
capsule
vehicle image
vehicle
layer
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110679756.3A
Other languages
English (en)
Other versions
CN113298037A (zh
Inventor
王超
蓝章礼
杨晴晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN202110679756.3A priority Critical patent/CN113298037B/zh
Publication of CN113298037A publication Critical patent/CN113298037A/zh
Application granted granted Critical
Publication of CN113298037B publication Critical patent/CN113298037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于胶囊网络的车辆重识别方法，包括：获取车辆图像数据集，将所述车辆图片数据集划分为训练集和测试集；构建用于车辆重识别的胶囊网络模型；通过训练集中的车辆图像对所述胶囊网络模型进行优化；将待识别车辆图像和测试集中的车辆图像输入经过优化的胶囊网络模型中：首先计算待识别车辆图像和测试集中车辆图像的特征向量，然后比较待识别车辆图像的特征向量和测试集中车辆图像的特征向量并计算对应的相似度，最后根据相似度高低排序输出匹配结果。本发明中基于胶囊网络的车辆重识别方法能够有效克服卷积神经网络不能提取空间位置信息和特征匹配时特征向量未对齐等问题，从而能够提升车辆重识别的识别精度。

Description

一种基于胶囊网络的车辆重识别方法
技术领域
本发明涉及车辆监控及追踪技术领域，具体涉及一种基于胶囊网络的车辆重识别方法。
背景技术
近年来，智慧城市和智慧交通发展迅速，车辆是智慧交通的组成部分，车辆重识别是智慧交通的核心技术之一。车辆重识别是指给定一张车辆图像，找出其它摄像头拍摄的同一车辆，可将车辆重识别问题看作图像检索的子问题。车辆重识别技术对于道路交通视频监控及交通执法部门具有一定的实用价值，例如可快速的发现和定位到监控区域中违法车辆的运动信息，以进行相关抓捕或其他处理，提高执法人员的工作效率。
随着卷积神经网络(CNN)技术的飞速发展，基于卷积神经网络的车辆重识别取得了长足的进步。例如，公开号为CN112396027A的中国专利就公开了《一种基于图卷积神经网络的车辆重识别方法》，其包括：构建用于车辆重识别的网络模型，使用卷积神经网络提取待重识别的车辆图像的全局和局部特征，利用图卷积神经网络得到结构化特征，利用结构化特征计算网络模型的损失函数；根据损失函数训练网络模型，将待重识别的车辆图像和测试集的所有图像输入到训练好的网络模型中，分别得到待测图片和测试集的所有图像的图片特征，根据图片特征计算出待测图片和测试集的各个图像之间的相似性，根据相似性得到待重识别的车辆图像的重识别结果。
上述现有方案中的车辆重识别方法通过使用卷积神经网络挖掘局部特征与局部特征、局部特征与全局特征之间的结构化信息，从而获得更优更全面的特征表达。但是，申请人发现卷积神经网络处理边缘、形状和原始车辆特征时，没有考虑到这些特征之间的空间关系，因为组件的朝向和空间关系对它来说不重要，它只在乎有无特征，因此其对拍摄角度变化的图像识别性不高。同时，卷积神经网络中池化层能够使网络具有不变性的效果，也就是当输入神经网络的内容发生很小的变化的时候(平移、旋转)，卷积神经网络仍然能够稳定识别对应内容。然而，这种机使得最大池化丢失了有价值的信息，也没有编码特征之间的相对空间位置关系。对于车辆图像来说，不同车辆的零件之间的相对位置关系不同，车辆图像以不同方式旋转或不同视角被捕获时图像会发生变形，因此，采用现有的车辆重识别方法容易造成特征匹配时出现特征未对齐的问题，导致车辆重识别的识别精度不高。
因此，如何设计一种能够有效克服卷积神经网络不能提取空间位置信息和特征匹配时特征向量未对齐等问题的车辆重识别方法是急需解决的技术问题。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于胶囊网络且能够有效克服卷积神经网络不能提取空间位置信息和特征匹配时特征向量未对齐等问题的车辆重识别方法，从而能够提升车辆重识别的识别精度。
为了解决上述技术问题，本发明采用了如下的技术方案：
一种基于胶囊网络的车辆重识别方法，包括以下步骤：
S1：获取车辆图像数据集，将所述车辆图片数据集划分为训练集和测试集；
S2：构建用于车辆重识别的胶囊网络模型；
S3：通过训练集中的车辆图像对所述胶囊网络模型进行优化；
S4：将待识别车辆图像和测试集中的车辆图像输入经过优化的胶囊网络模型中：首先计算待识别车辆图像和测试集中车辆图像的特征向量，然后比较待识别车辆图像的特征向量和测试集中车辆图像的特征向量并计算对应的相似度，最后根据相似度高低排序输出匹配结果。
优选的，步骤S2中，通过如下步骤构建胶囊网络模型：
S201：将胶囊网络模型的卷积层Conv1替换成残差网络层，所述残差网络层为不带最大池化层的卷积神经网络结构；
S202：在胶囊网络模型的所述残差网络层和主胶囊层之间嵌入卷积块注意力模块；
S203：在胶囊网络模型的所述主胶囊层和数字胶囊层之间嵌入胶囊注意力模块；
S204：构建得到用于车辆重识别的胶囊网络模型。
优选的，所述卷积块注意力模块为前馈卷积神经网络注意力模块，其能够沿着通道和空间两个不同的维度顺序地推断关注图，然后将关注图与输入的特征图相乘以进行自适应的特征求精。
优选的，所述胶囊注意力模块通过如下步骤构建：
改变主胶囊层的形状，将主胶囊层转换为向量upr；
根据upr通过ReLU激活函数结合公式up1＝ReLU(W1upr+b1)计算特征向量up1；
根据upr通过tanh激活函数结合公式up2＝tanh(W2up1+b2)计算特征向量up2；
将up2和upr相乘结合公式up3＝up1*up2得到特征向量up3，然后将up3和upr相加结合公式up-att＝up+up3得到胶囊注意力模块up-att；
式中：W1和W2表示相应的权重矩阵；b1和b2表示相应的偏移量。
优选的，步骤S3中，通过如下步骤优化所述胶囊网络模型：
S301：将训练集中的车辆图像输入所述胶囊网络模型中；
S302：通过所述残差网络层提取车辆图像的底层特征图；再根据所述底层特征图通过所述卷积块注意力模块得到车辆图像的底层代表性特征信息；然后根据所述底层代表性特征信息通过所述主胶囊层得到车辆图像的高层语义特征；再根据所述高层语义特征通过所述胶囊注意力模块得到车辆图像更具区分性的高层语义特征；最后根据所述车辆图像更具区分性的高层语义特征通过数字胶囊层得到车辆图像的特征向量；
S303：根据车辆图像的特征向量计算对应的损失函数，然后根据对应损失函数和优化器优化所述胶囊网络模型。
优选的，所述卷积块注意力模块通过如下步骤得到车辆图像的底层代表性特征信息：
卷积块注意力模块包括通道注意力模块和空间注意力模块；底层特征图为F∈RW ×H×C；W、H、C分别表示特征图的宽度、高度及通道尺寸；
根据底层特征图F分别通过最大池化处理和平均池化处理得到
Figure BDA0003122417720000031
然后将
Figure BDA0003122417720000032
和
Figure BDA0003122417720000033
输入由MLP与隐藏层组成的共享网络中；最后采用逐元素求和的方式输出通道注意图Mc∈R1×1×C；整个注意力过程结合公式
Figure BDA0003122417720000034
计算通道注意力模块Mc(F)；式中：σ表示sigmoid函数；W0∈RC×C/r，W1∈RC/r×C，R1×1×C/r表示设置的隐藏层大小，r表示减小的比例；
根据通道注意力模块Mc(F)通过公式
Figure BDA0003122417720000035
计算通道特征图F′，然后根据通道特征图F′通过全局最大池化处理和全局平均池化处理生成两个代表不同信息的特征图
Figure BDA0003122417720000036
和
Figure BDA0003122417720000037
将两个特征图
Figure BDA0003122417720000038
和
Figure BDA0003122417720000039
进行合并通过7×7卷积进行特征融合，使用Sigmoid函数生成最终的空间权重，将空间权重在空间维度上与每一个通道相乘即可得到空间维度上的加权特征图Ms∈RH×W×1；整个注意力过程结合公式
Figure BDA00031224177200000310
计算空间注意力模块Ms(F′)；式中：σ表示sigmoid函数；f7×7表示滤波器大小为7×7的卷积运算；
根据空间注意力模块Ms(F′)结合公式
Figure BDA00031224177200000311
计算特征图Fo，然后将特征图Fo与底层特征图F相乘进行自适应的特征求精，得到对应的底层代表性特征信息。
优选的，步骤S303中，根据车辆图像的特征向量计算损失函数之前，先对数字胶囊层输出的特征向量进行挤压及二范数计算，选取模最大的特征向量作为最终特征向量；再通过所述最终特征向量计算对应的损失函数。
优选的，通过挤压函数对车辆图像的特征向量进行非线性变换时结合如下公式：
Figure BDA0003122417720000041
式中：vj表示胶囊j的特征向量输出；sj表示胶囊j的特征向量总输入。
优选的，所述损失函数包括硬三元组损失和MarginLoss；
硬三元组损失通过公式
Figure BDA0003122417720000042
表示；式中：ai，pi和ni分别表示原样本、正样本和负样本的特征向量，α是用来约束不同类别样本距离的阈值。
MarginLoss通过公式
Figure BDA0003122417720000043
表示；
其中，Lk＝Tkmax(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2；式中：Lk对应于每个数字胶囊k，当车辆类别k存在时，Tk＝1，否则为0。m+＝0.9，惩罚假阳性，k类存在但是预测不存在会导致损失函数很大；m-＝0.1，惩罚假阴性，k类不存在但是预测存在，会导致损失函数很大；N表示车辆类别数；λ＝0.5；
所述损失函数通过公式Lloss＝Ltriplet+Lmargin表示。
优选的，步骤S3中，经过优化的胶囊网络模型通过如下步骤输出匹配结果：
S401：将待识别车辆图像和测试集中的车辆图像输入经过优化的胶囊网络模型中；
S402：通过所述残差网络层提取车辆图像的底层特征图；再根据所述底层特征图通过所述卷积块注意力模块得到车辆图像的底层代表性特征信息；然后根据所述底层代表性特征信息通过所述主胶囊层得到车辆图像的高层语义特征；再根据所述高层语义特征通过所述胶囊注意力模块得到车辆图像更具区分性的高层语义特征；最后根据所述车辆图像更具区分性的高层语义特征通过数字胶囊层得到车辆图像的特征向量；
S403：将待检索车辆图像的特征向量与测试集中车辆图像的特征向量进行比较，通过相似性度的高低对匹配结果进行排序，并按照排序输出匹配结果。
本发明中基于胶囊网络的车辆重识别方法与现有技术相比，具有如下有益效果：
在本发明中，通过胶囊网络模型实现车辆重识别的方式，能够捕捉图像特征之间的空间关系，进而能够有效提取具有强判别性的特征，并且由于特征中含有空间位置关系，使得能够有效的解决因视角改变而造成的类间差异小、类内差异大的问题，即能够克服卷积神经网络不能提取空间位置信息和特征匹配时特征向量未对齐等问题，从而能够提升车辆重识别的识别精度。同时，本发明通过比较特征向量并计算对应相似度的方式得到车辆图像匹配结果的方式，能够进一步保证车辆重识别的识别效果。
在本发明中，胶囊网络模型中设置了残差网络层并嵌入了双重注意力机制(卷积块注意力模块和胶囊注意力模块)，首先残差网络层能够有效保存车辆图像的局部空间结构，即能够提更全面的提取车辆图像特征，其次双重注意力机制能够有效得到底层的更具区分性特征和高层的强判别性特征，因此本发明能够兼顾特征提取的全面性和精确性，从而能够进一步提升车辆重识别的识别精度。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为实施例中车辆重识别方法的逻辑框图；
图2为实施例中胶囊网络模型的网络结构图；
图3为实施例中现有经典胶囊网络模型的胶囊网络结构图；
图4、图5和图6均为实施例中卷积块注意力模块的网络结构图；
图7为实施例中胶囊注意力模块的网络结构图；
图8为实施例中胶囊网络模型胶囊层之间的路由传播图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例：
申请人在研究中发现，胶囊网络模型采用向量输出替代标量输出，其能够捕捉图像特征之间的空间关系，进而能够改善卷积神经网络的局限性。正是基于上述发现，申请人设计了如下的基于胶囊网络的车辆重识别方法。
如图1所示，一种基于胶囊网络的车辆重识别方法，包括以下步骤：
S1：获取车辆图像数据集，将车辆图片数据集划分为训练集和测试集；
S2：构建用于车辆重识别的胶囊网络模型；
S3：通过训练集中的车辆图像对胶囊网络模型进行优化；
S4：将待识别车辆图像和测试集中的车辆图像输入经过优化的胶囊网络模型中：首先计算待识别车辆图像和测试集中车辆图像的特征向量，然后比较待识别车辆图像的特征向量和测试集中车辆图像的特征向量并计算对应的相似度，最后根据相似度高低排序输出匹配结果。
在本发明中，通过胶囊网络模型实现车辆重识别的方式，能够捕捉图像特征之间的空间关系，进而能够有效提取具有强判别性的特征，并且由于特征中含有空间位置关系，使得能够有效的解决因视角改变而造成的类间差异小、类内差异大的问题，即能够克服卷积神经网络不能提取空间位置信息和特征匹配时特征向量未对齐等问题，从而能够提升车辆重识别的识别精度。同时，本发明通过比较特征向量并计算对应相似度的方式得到车辆图像匹配结果的方式，能够进一步保证车辆重识别的识别效果。
具体实施过程中，通过如下步骤构建如图2和图3所示的胶囊网络模型：
S201：将胶囊网络模型的卷积层Conv1替换成残差网络层。具体的，残差网络层是在现有卷积神经网络结构的基础上去除了最大池化层的结构，在现有卷积神经网络结构中去除了最大池化层后，原先分别连接在最大池化层输入和输出位置的结构对应的连接在一起。将胶囊网络模型的卷积层Conv1替换成残差网络层后，原先分别连接在卷积层Conv1输入和输出位置的结构对应的与残差网络层的输入和输出连接。
S202：在胶囊网络模型的残差网络层和主胶囊层之间嵌入卷积块注意力模块。具体的，卷积块注意力模块的结构如图4、图5和图6所示，卷积块注意力模块为前馈卷积神经网络注意力模块，其能够沿着通道和空间两个不同的维度顺序地推断关注图，然后将关注图与输入的特征图相乘以进行自适应的特征求精。
S203：在胶囊网络模型的主胶囊层和数字胶囊层之间嵌入胶囊注意力模块。具体的，胶囊注意力模块的结构如图7所示，胶囊注意力模块通过如下步骤构建：
改变主胶囊层的形状，将主胶囊层转换为向量upr；
根据upr通过ReLU激活函数结合公式up1＝ReLU(W1upr+b1)计算特征向量up1；
根据upr通过tanh激活函数结合公式up2＝tanh(W2up1+b2)计算特征向量up2；
将up2和upr相乘结合公式up3＝up1*up2得到特征向量up3，然后将up3和upr相加结合公式up-att＝up+up3得到胶囊注意力模块up-att；
式中：W1和W2表示相应的权重矩阵；b1和b2表示相应的偏移量。
S204：构建得到用于车辆重识别的胶囊网络模型。
在本发明中，胶囊网络模型中设置了残差网络层并嵌入了双重注意力机制(卷积块注意力模块和胶囊注意力模块)，首先残差网络层能够有效保存车辆图像的局部空间结构，即能够提更全面的提取车辆图像特征，其次双重注意力机制能够有效得到底层的更具区分性特征和高层的强判别性特征，因此本发明能够兼顾特征提取的全面性和精确性，从而能够进一步提升车辆重识别的识别精度。
具体实施过程中，步骤S3中，通过如下步骤优化胶囊网络模型：
S301：将训练集中的车辆图像输入胶囊网络模型中；
S302：通过残差网络层提取车辆图像的底层特征图；再根据底层特征图通过卷积块注意力模块得到车辆图像的底层代表性特征信息；然后根据底层代表性特征信息通过主胶囊层得到车辆图像的高层语义特征；再根据高层语义特征通过胶囊注意力模块得到车辆图像更具区分性的高层语义特征；最后根据车辆图像更具区分性的高层语义特征通过数字胶囊层得到车辆图像的特征向量；
S303：根据车辆图像的特征向量计算对应的损失函数，然后根据对应损失函数和优化器优化胶囊网络模型。具体的，计算损失函数之前，先对数字胶囊层输出的特征向量进行挤压及二范数计算，选取模最大的特征向量作为车辆图像的最终特征向量；再通过所述最终特征向量计算对应的损失函数。优化器采用的是ADam梯度优化器。
在本发明中，胶囊网络模型中设置了残差网络层并嵌入了双重注意力机制(卷积块注意力模块和胶囊注意力模块)，首先残差网络层能够有效保存车辆图像的局部空间结构，即能够提更全面的提取车辆图像特征，其次双重注意力机制能够有效得到底层的更具区分性特征和高层的强判别性特征，因此本发明能够兼顾特征提取的全面性和精确性，这有利于更好的计算损失函数并优化胶囊网络模型，从而能够辅助提升车辆重识别的识别精度。同时，本发明通过挤压函数和结合二范数能够获取关联性更高的最终特征向量，这有利于更好的损失函数计算，从而能够提升胶囊网络模型的优化效果。
具体实施过程中，经过优化的胶囊网络模型通过如下步骤输出匹配结果：
S401：将待识别车辆图像和测试集中的车辆图像输入经过优化的胶囊网络模型中；
S402：通过残差网络层提取车辆图像的底层特征图；再根据底层特征图通过卷积块注意力模块得到车辆图像的底层代表性特征信息；然后根据底层代表性特征信息通过主胶囊层得到车辆图像的高层语义特征；再根据高层语义特征通过胶囊注意力模块得到车辆图像更具区分性的高层语义特征；最后根据车辆图像更具区分性的高层语义特征通过数字胶囊层得到车辆图像的特征向量；
S403：将待检索车辆图像的特征向量与测试集中车辆图像的特征向量进行比较，通过相似性度的高低对匹配结果进行排序，并按照排序输出匹配结果。其中，若待检索车辆图像与测试集中一个车辆图像的特征向量之间的似性度越高，则表明待检索车辆图像与测试集中该车辆图像为同一车辆的图像的可能越大。
在本发明中，胶囊网络模型中设置了残差网络层并嵌入了双重注意力机制(卷积块注意力模块和胶囊注意力模块)，首先残差网络层能够有效保存车辆图像的局部空间结构，即能够提更全面的提取车辆图像特征，其次双重注意力机制能够有效得到底层的更具区分性特征和高层的强判别性特征，因此本发明能够兼顾特征提取的全面性和精确性，从而能够进一步辅助提升车辆重识别的识别精度。
具体的，现有胶囊网络最开始是一个仿射变换，uji＝wijui，在上一层胶囊层的输出向量进入高一层的胶囊层前，要和权重矩阵相乘，映射到和高一层的胶囊层内神经元个数相同的空间中去；然后动态路由是胶囊网络的核心，动态路由指的是图8中
Figure BDA0003122417720000081
的过程，这一过程使用耦合系数C决定来自下层的向量将会如何进入高一层的向量，但是在这一过程并不加入bias，而且胶囊i和高层的所有胶囊j的耦合系数总和为1，即
Figure BDA0003122417720000082
并且是由路由softmax决定，该路由softmax初始逻辑bij是对数先验概率，初始值为0，即胶囊i与胶囊j的耦合用公式
Figure BDA0003122417720000083
表示。
具体实施过程中，残差网络层的结构如表1所示。
表1
Figure BDA0003122417720000084
具体实施过程中，结合图4、图5和图6所示，卷积块注意力模块通过如下步骤得到车辆图像的底层代表性特征信息：
卷积块注意力模块包括通道注意力模块和空间注意力模块；底层特征图为F∈RW ×H×C；W、H、C分别表示特征图的宽度、高度及通道尺寸；
根据底层特征图F分别通过最大池化处理和平均池化处理得到
Figure BDA0003122417720000085
然后将
Figure BDA0003122417720000086
和
Figure BDA0003122417720000091
输入由MLP与隐藏层组成的共享网络中；最后采用逐元素求和的方式输出通道注意图Mc∈R1×1×C；整个注意力过程结合公式
Figure BDA0003122417720000092
计算通道注意力模块Mc(F)；式中：σ表示sigmoid函数；W0∈RC×C/r，W1∈RC/r×C，R1×1×C/r表示设置的隐藏层大小，r表示减小的比例；
根据通道注意力模块Mc(F)通过公式
Figure BDA0003122417720000093
计算通道特征图F′，然后根据通道特征图F′通过全局最大池化处理和全局平均池化处理生成两个代表不同信息的特征图
Figure BDA0003122417720000094
和
Figure BDA0003122417720000095
将两个特征图
Figure BDA0003122417720000096
和
Figure BDA0003122417720000097
进行合并通过7×7卷积进行特征融合，使用Sigmoid函数生成最终的空间权重，将空间权重在空间维度上与每一个通道相乘即可得到空间维度上的加权特征图Ms∈RH×W×1；整个注意力过程结合公式
Figure BDA0003122417720000098
计算空间注意力模块Ms(F′)；式中：σ表示sigmoid函数；f7×7表示滤波器大小为7×7的卷积运算；
根据空间注意力模块Ms(F′)结合公式
Figure BDA0003122417720000099
计算特征图Fo，然后将特征图Fo与底层特征图F相乘进行自适应的特征求精，得到对应的底层代表性特征信息。
具体实施过程中，胶囊网络模型输出的向量长度表示胶囊所代表实体在当前的输入中存在的概率，因此为了保证向量长度在(0,1)之间，需要用挤压函数(squashing)进行非线性变换得到输出vj，其中可以用一致性度量为标量积
Figure BDA00031224177200000910
来测量胶囊j的当前胶囊的输出vj和胶囊i的预测向量间的相似度。挤压函数进行非线性变换通过如下公式表示：
Figure BDA00031224177200000911
式中：vj表示胶囊j的特征向量输出；sj表示胶囊j的特征向量总输入。
具体实施过程中，损失函数包括硬三元组损失和MarginLoss。硬三元组损失是指：在包含P个身份和每个身份K张图像的小批次中，每个图像具有相同身份的K-1张图像(正样本)和不同身份的(P-1)*K张图像(负样本)；硬三元组损失的目的是将正对(a,p)拉在一起，同时将负对(a,n)推开一段距离。本实施例采用的硬三元组损失，是传统三元组损失的一种变体，其目的是将更多的权重放在最接近的负对和最远的正对上以达到更好的优化模型的效果。
硬三元组损失通过公式
Figure BDA0003122417720000101
表示；式中：ai，pi和ni分别表示原样本、正样本和负样本的特征向量，α是用来约束不同类别样本距离的阈值。
MarginLoss通过公式
Figure BDA0003122417720000102
表示；
其中，Lk＝Tkmax(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2；式中：Lk对应于每个数字胶囊k，当车辆类别k存在时，Tk＝1，否则为0。m+＝0.9，惩罚假阳性，k类存在但是预测不存在会导致损失函数很大；m-＝0.1，惩罚假阴性，k类不存在但是预测存在，会导致损失函数很大；N表示车辆类别数；λ＝0.5；
损失函数通过公式Lloss＝Ltriplet+Lmargin表示。
实际识别过程中，对于同一辆车来说，训练的样本过少，训练出来的结果要么过拟合，要么精度太差，难以满足识别任务需求。所以，本发明通过硬三元组损失和MarginLoss结合组成损失函数，首先硬三元组损失能够从数据集中去学习一个相似性评价模型，在用这个模型对新样本进行相似性度量，其次通过MarginLoss惩罚False Negative和FalsePositive的识别结果，从而能够进一步提升胶囊网络模型的优化效果。
需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (8)

1.一种基于胶囊网络的车辆重识别方法，其特征在于，包括以下步骤：
S1：获取车辆图像数据集，将所述车辆图片数据集划分为训练集和测试集；
S2：构建用于车辆重识别的胶囊网络模型；
S3：通过训练集中的车辆图像对所述胶囊网络模型进行优化；
S4：将待识别车辆图像和测试集中的车辆图像输入经过优化的胶囊网络模型中：首先计算待识别车辆图像和测试集中车辆图像的特征向量，然后比较待识别车辆图像的特征向量和测试集中车辆图像的特征向量并计算对应的相似度，最后根据相似度高低排序输出匹配结果；
步骤S2中，通过如下步骤构建胶囊网络模型：
S201：将胶囊网络模型的卷积层Conv1替换成残差网络层，所述残差网络层为不带最大池化层的卷积神经网络结构；
S202：在胶囊网络模型的所述残差网络层和主胶囊层之间嵌入卷积块注意力模块；
S203：在胶囊网络模型的所述主胶囊层和数字胶囊层之间嵌入胶囊注意力模块；
S204：构建得到用于车辆重识别的胶囊网络模型；
所述胶囊注意力模块通过如下步骤构建：
改变主胶囊层的形状，将主胶囊层转换为向量upr；
根据upr通过ReLU激活函数结合公式up1＝ReLU(W1upr+b1)计算特征向量up1；
根据upr通过tanh激活函数结合公式up2＝tanh(W2up1+b2)计算特征向量up2；
将up2和upr相乘结合公式up3＝up1*up2得到特征向量up3，然后将up3和upr相加结合公式up-att＝up+up3得到胶囊注意力模块up-att；
式中：W1和W2表示相应的权重矩阵；b1和b2表示相应的偏移量。
2.如权利要求1所述的基于胶囊网络的车辆重识别方法，其特征在于：所述卷积块注意力模块为前馈卷积神经网络注意力模块，其能够沿着通道和空间两个不同的维度顺序地推断关注图，然后将关注图与输入的特征图相乘以进行自适应的特征求精。
3.如权利要求1所述的基于胶囊网络的车辆重识别方法，其特征在于，步骤S3中，通过如下步骤优化所述胶囊网络模型：
S301：将训练集中的车辆图像输入所述胶囊网络模型中；
S302：通过所述残差网络层提取车辆图像的底层特征图；再根据所述底层特征图通过所述卷积块注意力模块得到车辆图像的底层代表性特征信息；然后根据所述底层代表性特征信息通过所述主胶囊层得到车辆图像的高层语义特征；再根据所述高层语义特征通过所述胶囊注意力模块得到车辆图像更具区分性的高层语义特征；最后根据所述车辆图像更具区分性的高层语义特征通过数字胶囊层得到车辆图像的特征向量；
S303：根据车辆图像的特征向量计算对应的损失函数，然后根据对应损失函数和优化器优化所述胶囊网络模型。
4.如权利要求3所述的基于胶囊网络的车辆重识别方法，其特征在于：所述卷积块注意力模块通过如下步骤得到车辆图像的底层代表性特征信息：
卷积块注意力模块包括通道注意力模块和空间注意力模块；底层特征图为F∈RW×H×C；W、H、C分别表示特征图的宽度、高度及通道尺寸；
根据底层特征图F分别通过最大池化处理和平均池化处理得到
Figure FDA0003587303940000021
然后将
Figure FDA0003587303940000022
和
Figure FDA0003587303940000023
输入由MLP与隐藏层组成的共享网络中；最后采用逐元素求和的方式输出通道注意图Mc∈R1×1×C；整个注意力过程结合公式
Figure FDA0003587303940000024
计算通道注意力模块Mc(F)；式中：σ表示sigmoid函数；W0∈RC×C/r，W1∈RC/r×C，R1×1×C/r表示设置的隐藏层大小，r表示减小的比例；
根据通道注意力模块Mc(F)通过公式
Figure FDA0003587303940000025
计算通道特征图F′，然后根据通道特征图F′通过全局最大池化处理和全局平均池化处理生成两个代表不同信息的特征图
Figure FDA0003587303940000026
和
Figure FDA0003587303940000027
将两个特征图
Figure FDA0003587303940000028
和
Figure FDA0003587303940000029
进行合并通过7×7卷积进行特征融合，使用Sigmoid函数生成最终的空间权重，将空间权重在空间维度上与每一个通道相乘即可得到空间维度上的加权特征图Ms∈RH×W×1；整个注意力过程结合公式
Figure FDA00035873039400000210
计算空间注意力模块Ms(F′)；式中：σ表示sigmoid函数；f7×7表示滤波器大小为7×7的卷积运算；
根据空间注意力模块Ms(F′)结合公式
Figure FDA00035873039400000211
计算特征图Fo，然后将特征图Fo与底层特征图F相乘进行自适应的特征求精，得到对应的底层代表性特征信息。
5.如权利要求3所述的基于胶囊网络的车辆重识别方法，其特征在于：步骤S303中，根据车辆图像的特征向量计算损失函数之前，先对数字胶囊层输出的特征向量进行挤压及二范数计算，选取模最大的特征向量作为最终特征向量；再通过所述最终特征向量计算对应的损失函数。
6.如权利要求5所述的基于胶囊网络的车辆重识别方法，其特征在于：通过挤压函数对车辆图像的特征向量进行非线性变换时结合如下公式：
Figure FDA0003587303940000031
式中：vj表示胶囊j的特征向量输出；sj表示胶囊j的特征向量总输入。
7.如权利要求3所述的基于胶囊网络的车辆重识别方法，其特征在于：所述损失函数包括硬三元组损失和MarginLoss；
硬三元组损失通过公式
Figure FDA0003587303940000032
表示；式中：ai，pi和nj分别表示原样本、正样本和负样本的特征向量，α是用来约束不同类别样本距离的阈值；
MarginLoss通过公式
Figure FDA0003587303940000033
表示；N表示车辆类别数；
其中，Lk＝Tkmax(0,m+-||vk||)2+λ(1-Tk)max(0,||vk||-m-)2；式中：Lk对应于每个数字胶囊k，当车辆类别k存在时，Tk＝1，否则为0；m+＝0.9，惩罚假阳性，k类存在但是预测不存在会导致损失函数很大；m-＝0.1，惩罚假阴性，k类不存在但是预测存在，会导致损失函数很大；λ＝0.5；
所述损失函数通过公式Lloss＝Ltriplet+Lmargin表示。
8.如权利要求1所述的基于胶囊网络的车辆重识别方法，其特征在于：步骤S3中，经过优化的胶囊网络模型通过如下步骤输出匹配结果：
S401：将待识别车辆图像和测试集中的车辆图像输入经过优化的胶囊网络模型中；
S402：通过所述残差网络层提取车辆图像的底层特征图；再根据所述底层特征图通过所述卷积块注意力模块得到车辆图像的底层代表性特征信息；然后根据所述底层代表性特征信息通过所述主胶囊层得到车辆图像的高层语义特征；再根据所述高层语义特征通过所述胶囊注意力模块得到车辆图像更具区分性的高层语义特征；最后根据所述车辆图像更具区分性的高层语义特征通过数字胶囊层得到车辆图像的特征向量；
S403：将待检索车辆图像的特征向量与测试集中车辆图像的特征向量进行比较，通过相似性度的高低对匹配结果进行排序，并按照排序输出匹配结果。
CN202110679756.3A 2021-06-18 2021-06-18 一种基于胶囊网络的车辆重识别方法 Active CN113298037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110679756.3A CN113298037B (zh) 2021-06-18 2021-06-18 一种基于胶囊网络的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110679756.3A CN113298037B (zh) 2021-06-18 2021-06-18 一种基于胶囊网络的车辆重识别方法

Publications (2)

Publication Number Publication Date
CN113298037A CN113298037A (zh) 2021-08-24
CN113298037B true CN113298037B (zh) 2022-06-03

Family

ID=77328813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110679756.3A Active CN113298037B (zh) 2021-06-18 2021-06-18 一种基于胶囊网络的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN113298037B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543602A (zh) * 2018-11-21 2019-03-29 太原理工大学 一种基于多视角图像特征分解的行人再识别方法
CN110765890A (zh) * 2019-09-30 2020-02-07 河海大学常州校区 基于胶囊网络深度学习架构的车道及车道标识检测方法
CN111814845A (zh) * 2020-03-26 2020-10-23 同济大学 一种基于多支流融合模型的行人重识别方法
CN111950649A (zh) * 2020-08-20 2020-11-17 桂林电子科技大学 基于注意力机制与胶囊网络的低照度图像分类方法
CN112308089A (zh) * 2019-07-29 2021-02-02 西南科技大学 一种基于注意力机制的胶囊网络多特征提取方法
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法
CN112417991A (zh) * 2020-11-02 2021-02-26 武汉大学 基于沙漏胶囊网络的双注意力人脸对齐方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449061B2 (en) * 2016-02-29 2022-09-20 AI Incorporated Obstacle recognition method for autonomous robots
US20210133990A1 (en) * 2019-11-05 2021-05-06 Nvidia Corporation Image aligning neural network
CN112733802B (zh) * 2021-01-25 2024-02-09 腾讯科技（深圳）有限公司 图像的遮挡检测方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543602A (zh) * 2018-11-21 2019-03-29 太原理工大学 一种基于多视角图像特征分解的行人再识别方法
CN112308089A (zh) * 2019-07-29 2021-02-02 西南科技大学 一种基于注意力机制的胶囊网络多特征提取方法
CN110765890A (zh) * 2019-09-30 2020-02-07 河海大学常州校区 基于胶囊网络深度学习架构的车道及车道标识检测方法
CN111814845A (zh) * 2020-03-26 2020-10-23 同济大学 一种基于多支流融合模型的行人重识别方法
CN111950649A (zh) * 2020-08-20 2020-11-17 桂林电子科技大学 基于注意力机制与胶囊网络的低照度图像分类方法
CN112417991A (zh) * 2020-11-02 2021-02-26 武汉大学 基于沙漏胶囊网络的双注意力人脸对齐方法
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CBAM: Convolutional Block Attention Module;Sanghyun Woo等;《ECCV 2018: Computer Vision-ECCV 2018》;20181006;第3-19页 *
基于注意力网络的皮肤镜图像识别方法研究;梁若琳;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20210215(第2期);第E072-1692页 *
基于胶囊神经网络的车型精细识别研究;程换新等;《计算机技术与发展》;20210310;第31卷(第3期);第89-94页 *
面向智慧城市的交通视频结构化分析前沿进展;赵耀等;《中国图象图形学报》;20210616;第26卷(第6期);第1227-1253页 *

Also Published As

Publication number Publication date
CN113298037A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN109543602B (zh) 一种基于多视角图像特征分解的行人再识别方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN113361464B (zh) 一种基于多粒度特征分割的车辆重识别方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
Li et al. A review of deep learning methods for pixel-level crack detection
Verma et al. Wild animal detection from highly cluttered images using deep convolutional neural network
CN115375781A (zh) 一种数据处理方法及其装置
CN115019039B (zh) 一种结合自监督和全局信息增强的实例分割方法及系统
Liu et al. CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
Ge et al. WGI-Net: A weighted group integration network for RGB-D salient object detection
Li et al. A lightweight network for real-time smoke semantic segmentation based on dual paths
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
Xu et al. Research on intelligent system of multimodal deep learning in image recognition
CN113723558A (zh) 基于注意力机制的遥感图像小样本舰船检测方法
Tian et al. Domain adaptive object detection with model-agnostic knowledge transferring
CN113298037B (zh) 一种基于胶囊网络的车辆重识别方法
CN116311345A (zh) 一种基于Transformer的遮挡行人重识别方法
CN115830643A (zh) 一种姿势引导对齐的轻量行人重识别方法
Wang et al. Image splicing tamper detection based on deep learning and attention mechanism
CN114494699A (zh) 基于语义传播与前背景感知的图像语义分割方法及系统
Guo et al. Cross-attention-based feature extraction network for 3D point cloud registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant