CN115690589B - 一种基于交叉尺度协同约束的车辆重识别方法 - Google Patents

一种基于交叉尺度协同约束的车辆重识别方法 Download PDF

Info

Publication number
CN115690589B
CN115690589B CN202211712277.8A CN202211712277A CN115690589B CN 115690589 B CN115690589 B CN 115690589B CN 202211712277 A CN202211712277 A CN 202211712277A CN 115690589 B CN115690589 B CN 115690589B
Authority
CN
China
Prior art keywords
features
scale
representing
cross
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211712277.8A
Other languages
English (en)
Other versions
CN115690589A (zh
Inventor
刘寒松
王永
王国强
刘瑞
谭连盛
焦安健
董玉超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202211712277.8A priority Critical patent/CN115690589B/zh
Publication of CN115690589A publication Critical patent/CN115690589A/zh
Application granted granted Critical
Publication of CN115690589B publication Critical patent/CN115690589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于车辆重识别技术领域，尤其涉及一种基于交叉尺度协同约束的车辆重识别方法，先将图像通过不同的尺度因子进行放缩，同时，将区域级先验引入到多尺度特征从而挖掘尺度级交叉关系约束，通过跨层特征互补使得挖掘的特征更具判别性，并通过尺度级关系约束加权判别性特征，从而增强车辆重识别的准确性。

Description

一种基于交叉尺度协同约束的车辆重识别方法
技术领域
本发明属于车辆重识别技术领域，尤其涉及一种基于交叉尺度协同约束的车辆重识别方法。
背景技术
车辆重识别目前已经应用在城市安全监控和智能交通系统中，并展现出极为广阔的应用前景。车辆重识别的主要目的在于从不同摄像机拍摄的车辆图片中挑选相同车辆，目前，深度学习和大规模车辆重识别数据集不断被提出，使得本领域得到了快速的发展，新方法不断的涌现出来。
目前，车辆重识别算法虽然取得了非常大的进步，然而，目前对于车辆重识别中蕴含的信息挖掘并不充分，导致最终用于区分不同车辆的特征存在错误车辆约束，导致最终的检测结果不能高精度的挖掘车辆间的相似性特征。与此同时，车辆重识别中车辆之间存在非常大的相似性，仅仅依靠单一尺度的车辆图片以及网络层中的信息约束，不足以挖掘车辆间的判别性信息，当出现复杂场景，尤其是光照和分辨率的变化时，车辆重识别的时候将会出现大幅度精度下降。
发明内容
本发明的目的在于克服现有技术存在的缺点，针对目前车辆重识别算法在挖掘车辆信息的过程中，挖掘的特征不足以区分车辆，对判别性区域挖掘不充分问题，设计提供一种基于交叉尺度协同约束的车辆重识别方法。
为实现上述目的，本发明实现车辆重识别的具体过程为：
（1）采用VeRi-776数据集、VERI-Wild数据集和VehicleID数据集构建车辆重识别数据集，训练集和测试集的划分与数据集原有的划分方式相同；
（2）采用ResNet50作为基础网络，基于多尺度特征编码器提取不同尺度的特征；
（3）根据步骤（2）提取的不同尺度特征，进行分层尺度交叉；
（4）将车辆图片划分不同的区域，并将中心区域作为整体输入到网络中，以渐进方式集中到不同区域级特征；
（5）采用交叉尺度关系约束的方式将不同尺度的特征层以自适应关系权重的方式加权得到，挖掘尺度间的判别性区域之间的约束关系，得到特征关系矩阵；
（6）将不同网络层的尺度交叉结果进行跨层融合，得到跨层特征融合后的特征；
（7）采用基于关系约束加权分层尺度交叉特征和区域级特征，以加权聚合的方式获得多尺度特征，并结合跨层特征融合后的特征输出最终的车辆重识别特征;
（8）采用ResNet50作为基础网络，基础网络在ImageNet数据集上预训练，整个模型训练的次数为130个迭代，并采用SGD优化器进行网络优化，优化完成后将网络的模型保存到本地文件夹，测试网络时先加载网络训练好的模型数据，并将车辆重识别的尺寸设置为256*256，通过计算车辆之间的相似性进行车辆重识别。
作为本发明的进一步技术方案，步骤（2）提取不同尺度的特征的详细过程如下：
其中，代表第5个卷积模块输出的特征，代表第5个卷积块，代表第一种图像输入类型，代表尺度因子为1时输出的特征为。
作为本发明的进一步技术方案，步骤（3）的具体过程为：
，
其中，代表尺度因子为1，输入图像为索引为1，网络输出的第五个卷积块的输出特征，代表卷积操作，代表BatchNormalization操作，尺度因子为1时，不需要对特征采取任何操作；尺度因子为2和尺度因子为0.5时的操作如下，
其中，代表尺度因子为2，输入图像为索引为2，网络输出的第五个卷积块的输出特征，和分别代表最大值池化层和均值池化层；
其中，代表尺度因子为0.5，输入图像为索引为3，网络输出的第五个卷积块的输出特征，代表线性双插值操作；
然后将第5层的所有不同尺度的特征进行聚合，详细操作如下，
其中，代表输入图像1,2,3输出的第5个特征块，代表sigmoid函数，代表将注意力区域稀疏化。
作为本发明的进一步技术方案，步骤（4）的具体过程为：
其中， 代表将图像进行裁剪得到的图像块， 代表图像块输入后ResNet网络输出的特征。
作为本发明的进一步技术方案，步骤（5）得到的特征关系矩阵为：
其中，代表需要计算特征关系的特征，SMX代表softmax操作，代表矩阵乘法运算，代表详细定义为的操作，代表特征关系矩阵，。
作为本发明的进一步技术方案，步骤（6）得到的跨层特征融合后的特征为：
其中， 代表跨层特征融合后的特征，代表特征跨层聚合操作，代表sigmoid函数，代表上采样操作，代表将特征进行拆分，拆分为n个batch，采用进行卷积。
作为本发明的进一步技术方案，步骤（7）得到的车辆重识别特征，
其中，代表最终用于车辆重识别的特征，代表计算的关系特征向量，对其施加关系矩阵约束，代表跨层特征。
与现有技术相比，本发明先将图像通过不同的尺度因子进行放缩，同时，将区域级先验引入到多尺度特征从而挖掘尺度级交叉关系约束，通过跨层特征互补使得挖掘的特征更具判别性，并通过尺度级关系约束加权判别性特征，从而增强车辆重识别的准确性，能够充分的挖掘尺度间的互补特性，采用尺度级约束能够将车辆中蕴含的多尺度信息充分挖掘，相对于传统人工设计先验的方式，能够自适应约束车辆判别性信息，充分挖掘车辆间难以差觉的车辆互信息，能够极大的避免车辆间约束信息的模糊性和不确定性。
附图说明
图1为本发明实现车辆重识别的工作流程框架示意图。
图2为本发明实现车辆重识别的网络框架示意图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
实施例：
本实施例采用如图1所示的工作流程和如2所示的网络实现基于交叉尺度协同约束的车辆重识别，具体包括如下步骤：
（1）构建基于交叉尺度协同约束的车辆重识别数据集
采用的数据集包含VeRi-776数据集，总共50000多张图片，VERI-Wild包含41万张图片， VehicleID由21万多车辆数据组成，本实施例采用的训练集和测试集的划分与数据集原有的划分方式相同；
（2）多尺度特征编码器
因为人眼在观察事物的时候会由浅入深，甚至走近观察，因此，目前非常多的研究已经将多尺度特征作为网络的主体。然而，目前对于多尺度的信息的特征的利用仅仅停留在网络层面，对于RGB图像的多尺度信息的挖掘较少，而不同尺度的图像具有天然的互补特性，能够从不同层面挖掘图像中蕴含的细节信息，基于网络特征层级的尺度信息能够迅速定位车辆中最具判别性的区域，从而有助于不同尺度车辆的区分和判别，ResNet网络层总共有5个特征层，由于前面的两层（）的车辆区域包含非常多的背景信息，本实施例仅仅使用最后的三层（），其详细操作如下，
其中，代表第5个卷积模块输出的特征，代表第5个卷积块，代表第一种图像输入类型，代表尺度因子为1时输出的特征为，本实施例采用最后3个卷积块的输出；
（3）分层尺度交叉
通过步骤（2）能够将不同尺度的特征提取出来，为将不同尺度的特征聚合，需要考虑不同尺度信息的分辨率问题，与此同时，网络不同层的输出虽然也具有多尺度信息，但是其主要针对于基于层的多尺度信息，网络中使用层的信息会丢失视觉特征和重要的纹理特征，而这些信息对于车辆重检测来说至关重要，其详细操作如下，
，
其中，代表尺度因子为1，输入图像为索引为1，网络输出的第五个卷积块的输出特征，代表卷积操作，代表BatchNormalization操作，尺度因子为1时，不需要对特征采取任何操作；尺度因子为2和尺度因子为0.5时的操作如下，
其中，代表尺度因子为2，输入图像为索引为2，网络输出的第五个卷积块的输出特征，和分别代表最大值池化层和均值池化层，通过这两个层，实现特征分辨率的缩减；
其中，代表尺度因子为0.5，输入图像为索引为3，网络输出的第五个卷积块的输出特征，代表线性双插值操作，由于当前的分辨率为原有分辨率的一半，需要进行插值才能与尺度因子为1时相同；
然后将第5层的所有不同尺度的特征进行聚合，详细的操作如下，
其中，代表输入图像1,2,3输出的第5个特征块，为将特征增强，本实施例采用注意力机制将特征增强后进行输出，代表sigmoid函数，代表将注意力区域稀疏化；
（4）区域级特征提取
与之前在车特定位置施加权重先验的方式不同，本实施例采用将车辆图片划分不同的区域，并将中心区域作为整体的方式输入到网络中，从而以一种渐进的方式集中到不同区域级特征。虽然车辆区域经过严格的裁剪和对齐以形成更加完整的车辆区域，但是，车辆的所处的不同形态使得先验的设定非常复杂，因此，本实施例采用自适应局部区域搜索的方式加权判别性区域，将车辆划分为不同的区域，从而减少搜索判别性区域需要的时间和资源消耗，其中区域自适应局部区域搜索：将车辆图片划分为左上区域A、右上区域B、左下区域C、右下区域D和中心区域E，并将左上区域A、右上区域B、左下区域C、右下区域D和中心区域E分别输入到网络中，从而以一种从四周（左上区域A、右上区域B、左下区域C、右下区域D）到中心（中心区域E）的渐进的方式集中到不同区域级特征：
其中， 代表将图像进行裁剪得到的图像块， 代表图像块输入后ResNet网络输出的特征；
（5）交叉尺度关系约束
通过步骤（4）得到的特征之间的强互补特性并没有充分的挖掘出来，由于其中有一部分特征层为非强有效特征层，如果采用传统的特征叠加或者是特征相乘的方式聚合，非常不利于不同尺度互补关系的挖掘，因为这两种方式把特征按照相同的权重聚合，为解决上述问题，本实施例采用交叉尺度关系约束的方式将不同尺度的特征层以自适应关系权重的方式加权得到，能够极大的挖掘尺度间的判别性区域之间的约束关系：
其中，代表计算的关系特征向量，SMX代表softmax操作，代表矩阵乘法运算，代表详细定义为的操作，代表特征关系矩阵，
；
（6）跨层特征互补
通过步骤（5）能够将不同尺度的特征以分层的方式进行融合，从而使得网络更加关注层级特征纹理属性和车辆外观属性，因此，将不同网络层的尺度交叉结果进行跨层融合，通过跨层融合能够将特征以粗粒度信息聚合为细粒度信息，从而保证最终车辆重检测特征为细粒度信息，得到的跨层特征融合后的特征为
其中， 代表跨层特征融合后的特征，代表特征跨层聚合操作，代表sigmoid函数，代表上采样操作，代表将特征进行拆分，拆分为n个batch，采用进行卷积，这种方式能够提取不同类型的特征；
（7）车辆重识别
采用基于关系约束加权分层尺度交叉特征和区域级特征，从而以加权聚合的方式获得多尺度特征，并结合跨层互补特征输出最终的车辆重识别特征，
其中，代表最终用于车辆重识别的特征，代表计算的关系特征向量，对其施加关系矩阵约束，代表跨层特征融合后的特征，能够保证其特征被加权的基础上，保证其原有特性；
（8）网络训练和测试
为训练车辆重识别网络，采用ResNet50作为基础网络，基础网络在ImageNet数据集上预训练，整个模型训练的次数为130个epoach，本专利采用SGD优化器进行网络优化，优化完成后将网络的模型保存到本地文件夹；
为测试车辆重识别网络，首先加载网络训练好的模型数据，并将车辆重识别的尺寸设置为256*256，通过计算车辆之间的相似性进行车辆重识别。
本文中未详细描述的网络结构、函数和算法均为本领域通用技术。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种基于交叉尺度协同约束的车辆重识别方法，其特征在于，具体过程为：
(1)采用VeRi-776数据集、VERI-Wild数据集和VehicleID数据集构建车辆重识别数据集，训练集和测试集的划分与数据集原有的划分方式相同；
(2)采用ResNet50作为基础网络，基于多尺度特征编码器提取不同尺度的特征；
(3)根据步骤(2)提取的不同尺度特征，进行分层尺度交叉；
(4)将车辆图片划分不同的区域，并将中心区域作为整体输入到网络中，以渐进方式集中到不同区域级特征；
(5)采用交叉尺度关系约束的方式将不同尺度的特征层以自适应关系权重的方式加权得到，挖掘尺度间的判别性区域之间的约束关系，得到特征关系矩阵；
(6)将不同网络层的尺度交叉结果进行跨层融合，得到跨层特征融合后的特征；
(7)采用基于关系约束加权分层尺度交叉特征和区域级特征，以加权聚合的方式获得多尺度特征，并结合跨层特征融合后的特征输出最终的车辆重识别特征；
(8)采用ResNet50作为基础网络，基础网络在ImageNet数据集上预训练，整个模型训练的次数为130个迭代，并采用SGD优化器进行网络优化，优化完成后将网络的模型保存到本地文件夹，测试网络时先加载网络训练好的模型数据，并将车辆重识别的尺寸设置为256*256，通过计算车辆之间的相似性进行车辆重识别。
2.根据权利要求1所述基于交叉尺度协同约束的车辆重识别方法，其特征在于，步骤(2)提取不同尺度的特征的详细过程如下：
Figure FDA0004061650820000011
其中，Feature5代表第5个卷积模块输出的特征，
Figure FDA0004061650820000012
代表第5个卷积块，Image1代表第一种图像输入类型，
Figure FDA0004061650820000013
代表尺度因子为1时输出的特征为Feature5,Feature4,Feature3。
3.根据权利要求2所述基于交叉尺度协同约束的车辆重识别方法，步骤(3)的具体过程为：
Figure FDA0004061650820000021
其中，
Figure FDA0004061650820000022
代表尺度因子为1，输入图像为索引为1，网络输出的第五个卷积块的输出特征，Conv(·)代表卷积操作，BN(·)代表BatchNormalization操作，尺度因子为1时，不需要对特征采取任何操作；尺度因子为2和尺度因子为0.5时的操作如下，
Figure FDA0004061650820000023
其中，
Figure FDA0004061650820000024
代表尺度因子为2，输入图像为索引为2，网络输出的第五个卷积块的输出特征，MaxPooling和AvgPooling分别代表最大值池化层和均值池化层；
Figure FDA0004061650820000025
其中，
Figure FDA0004061650820000026
代表尺度因子为0.5，输入图像为索引为3，网络输出的第五个卷积块的输出特征，
Figure FDA0004061650820000027
代表线性双插值操作；
然后将第5层的所有不同尺度的特征进行聚合，详细操作如下，
Figure FDA0004061650820000028
其中，
Figure FDA0004061650820000029
代表输入图像1,2,3输出的第5个特征块，SMD(·)代表sigmoid函数，Sparse(·)代表将注意力区域稀疏化。
4.根据权利要求3所述基于交叉尺度协同约束的车辆重识别方法，步骤(4)的具体过程为：
{Patch1Patch2Patch3Patch4Patch5}＝Image1
Figure FDA00040616508200000210
其中，Patch1、Patch2Patch3Patch4Patch5代表将图像Image1进行裁剪得到的图像块，
Figure FDA0004061650820000031
代表图像块输入后ResNet网络输出的特征。
5.根据权利要求4所述基于交叉尺度协同约束的车辆重识别方法，步骤(5)得到的特征关系矩阵为：
Figure FDA0004061650820000032
其中，
Figure FDA0004061650820000033
代表需要计算特征关系的特征，SMX代表softmax操作，
Figure FDA0004061650820000034
代表矩阵乘法运算，
Figure FDA0004061650820000035
代表详细定义为
Figure FDA0004061650820000036
的操作，Corr代表特征关系矩阵，
Figure FDA0004061650820000037
6.根据权利要求5所述基于交叉尺度协同约束的车辆重识别方法，步骤(6)得到的跨层特征融合后的特征为：
Figure FDA0004061650820000038
其中，
Figure FDA0004061650820000039
代表跨层特征融合后的特征，
Figure FDA00040616508200000310
代表特征跨层聚合操作，SMD代表sigmoid函数，UP(·)代表上采样操作，Split(·)代表将特征进行拆分，拆分为n个batch，采用Convn(·)进行卷积。
7.根据权利要求6所述基于交叉尺度协同约束的车辆重识别方法，步骤(7)得到的车辆重识别特征为：
Figure FDA00040616508200000311
其中，ReID代表最终用于车辆重识别的特征，
Figure FDA00040616508200000312
代表计算的关系特征向量，对其施加关系矩阵约束Corr，
Figure FDA00040616508200000313
代表跨层特征。
CN202211712277.8A 2022-12-30 2022-12-30 一种基于交叉尺度协同约束的车辆重识别方法 Active CN115690589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211712277.8A CN115690589B (zh) 2022-12-30 2022-12-30 一种基于交叉尺度协同约束的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211712277.8A CN115690589B (zh) 2022-12-30 2022-12-30 一种基于交叉尺度协同约束的车辆重识别方法

Publications (2)

Publication Number Publication Date
CN115690589A CN115690589A (zh) 2023-02-03
CN115690589B true CN115690589B (zh) 2023-04-04

Family

ID=85056169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211712277.8A Active CN115690589B (zh) 2022-12-30 2022-12-30 一种基于交叉尺度协同约束的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN115690589B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915487A (zh) * 2020-08-04 2020-11-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
WO2022001489A1 (zh) * 2020-06-28 2022-01-06 北京交通大学 一种无监督域适应的目标重识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018148153A1 (en) * 2017-02-08 2018-08-16 Giant Leap Holdings, Llc Light steering and focusing by dielectrophoresis
CN109035676A (zh) * 2018-08-22 2018-12-18 王永福 低运算量的火焰探测识别方法
CN113361464B (zh) * 2021-06-30 2022-07-12 重庆交通大学 一种基于多粒度特征分割的车辆重识别方法
CN113792686B (zh) * 2021-09-17 2023-12-08 中南大学 基于视觉表征跨传感器不变性的车辆重识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022001489A1 (zh) * 2020-06-28 2022-01-06 北京交通大学 一种无监督域适应的目标重识别方法
CN111915487A (zh) * 2020-08-04 2020-11-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置

Also Published As

Publication number Publication date
CN115690589A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN109670528B (zh) 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN109800692B (zh) 一种基于预训练卷积神经网络的视觉slam回环检测方法
CN111898439B (zh) 基于深度学习的交通场景联合目标检测和语义分割方法
CN111612807A (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN111652293B (zh) 一种多任务联合判别学习的车辆重识别方法
CN110796026A (zh) 一种基于全局特征拼接的行人重识别方法
CN111046917B (zh) 基于深度神经网络的对象性增强目标检测方法
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN112215847B (zh) 基于对抗学习多尺度特征的重叠染色体自动分割方法
CN113076947B (zh) 一种交叉引导融合的rgb-t图像显著性检测系统
CN114612476B (zh) 一种基于全分辨率混合注意力机制的图像篡改检测方法
CN112966747A (zh) 一种基于无锚框检测网络改进的车辆检测方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
Chen et al. ASF-Net: Adaptive screening feature network for building footprint extraction from remote-sensing images
CN113159215A (zh) 一种基于Faster Rcnn的小目标检测识别方法
Zhu et al. Change detection based on the combination of improved SegNet neural network and morphology
CN113269848A (zh) 基于注意力机制的遥感图像重构系统
CN116740527A (zh) U型网络与自注意力机制结合的遥感图像变化检测方法
Dai et al. Multiscale residual convolution neural network and sector descriptor-based road detection method
CN117011883A (zh) 一种基于金字塔卷积和Transformer双分支的行人重识别方法
CN116740069B (zh) 基于多尺度显著信息和双向特征融合的表面缺陷检测方法
CN115690589B (zh) 一种基于交叉尺度协同约束的车辆重识别方法
CN114387553B (zh) 一种基于帧结构感知聚合的视频人脸识别方法
Ran et al. Adaptive fusion and mask refinement instance segmentation network for high resolution remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant