CN110309770B - 一种基于四元组损失度量学习的车辆再辨识方法 - Google Patents
一种基于四元组损失度量学习的车辆再辨识方法 Download PDFInfo
- Publication number
- CN110309770B CN110309770B CN201910577021.2A CN201910577021A CN110309770B CN 110309770 B CN110309770 B CN 110309770B CN 201910577021 A CN201910577021 A CN 201910577021A CN 110309770 B CN110309770 B CN 110309770B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- distance
- image
- network model
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于四元组损失度量学习的车辆再辨识方法，包括：构建参数共享的四分支卷积神经网络，设计四元组损失函数，对输入的四元组图像进行距离度量学习。本发明特别考虑了车辆再辨识中的特殊难点，即，车型和颜色都相同的车辆具有非常相似的车辆外观，能够有效地解决车辆再辨识中对于高相似度车辆识别精度不高的问题。
Description
技术领域
本发明涉及计算机视觉和模式识别领域，尤其涉及一种基于四元组损失度量学习的车辆再辨识方法。
背景技术
车辆再辨识的目的是在监控视频中识别出特定的已经在监控视频中出现过的车辆。其具有重要的实际应用价值和广泛的应用场景，例如车辆追踪、车辆定位、罪犯检测等。
除了光照变化、角度变化、遮挡等因素，车辆再辨识存在特殊的难点，即车辆车型和颜色车型和颜色都相同的车辆具有非常相似的车辆外观。现有车辆再辨识方法对于上述高相似度的车辆图像存在识别精度较差的问题。因此，车辆再辨识引起学术界和工业界的广泛关注，成为计算机视觉领域一个具有挑战性的研究热点。
发明内容
本发明针对现有车辆再辨识技术对于高相似度车辆识别精度不高的问题，提出一种基于四元组损失度量学习的车辆再辨识方法，通过构建参数共享的四分支卷积神经网络模型，结合更加真实合理的四元组损失函数，对输入的四元组车辆图像进行距离度量学习，有效地提高了车辆再辨识的识别精度。
本发明解其技术问题所采用的技术方案是：
一种基于四元组损失度量学习的车辆再辨识方法，包括训练过程和再辨识过程，步骤如下：
训练过程S1：选取N组四元组训练图像，输入到参数共享的四分支卷积神经网络模型中训练，直至模型收敛，从而获得基础网络模型M；
再辨识过程S2：利用S1中训练得到基础网络模型M分别提取待查询车辆图像和候选库中每个图像的特征向量，从而计算待查询车辆图像与候选库中图像的相似度，根据相似度的大小进行车辆ID预测，并输出识别结果。
优选的，训练过程S1的步骤如下：
步骤S11)：从具有车辆ID、车辆车型和车辆颜色标签信息的车辆训练图像中，随机选取N张参考图像，记为Ia；
步骤S12)：选取与参考图像具有相同的车辆ID的车辆图像作为正样本，记为Ip；选取与参考图像具有不同的车辆ID，但具有相同的车辆车型和颜色的车辆图像作为高相似样本，记为Ih；选取与参考图像具有不同的车辆ID，并且车辆车型或颜色也不同的车辆图像作为负样本，记为In；从而组成N组四元组车辆图像；
步骤S13)：将四元组车辆图像输入到四分支卷积神经网络模型中，通过前向传播算法分别提取其对应的特征向量f(Ia)、f(Ip)、f(Ih)和f(In)；
步骤S14)：将S13)所得的特征向量送入距离度量学习模块，根据四元组车辆图像之间合理的距离关系，计算出相应的损失值，采用误差反向传播算法来训练四分支卷积神经网络模型；
步骤S15)：重复步骤S11)至步骤S14)，直到上述四分支卷积神经网络模型收敛。
优选的，步骤S13)中的四分支卷积神经网络模型是由四个参数共享的基础网络模型构成。
优选的，基础网络模型包括VGGNet、GoogLeNet或ResNet。
优选的，步骤S14)中，所述四元组车辆图像之间理想的距离关系为：
1)正样本与参考图像之间的距离小于负样本与参考图像之间的距离；
2)正样本与参考图像之间的距离小于高相似样本与参考图像之间的距离；
3)高相似样本与参考图像之间的距离小于负样本与参考图像之间的距离；
即四元组图像之间理想的距离关系应满足以下约束条件：
其中，αpn是正样本对与负样本对之间应满足的最小距离，αph正样本对与高相似样本对之间应满足的最小距离，且αpn>αph。
优选的，步骤S14)中，所述距离度量学习模块中四元组损失值的计算方法如下：
其中，[x]+＝max(x,0)，N表示四元组的个数。
优选的，再识别过程S2的步骤如下：
步骤S21)：利用S1中训练得到的参数共享的基础网络模型M，分别提取待查询车辆图像的特征向量以及候选库中每个图像的特征向量；
步骤S22)：通过欧氏距离计算待查询车辆图像的特征向量与候选库中每个图像的特征向量之间的相似度；
步骤S23)：根据所得到的相似度大小进行降序排序，并输出识别结果。
本发明的有益效果如下：
本发明构建了一种基于四元组损失度量学习的车辆再辨识模型，通过参数共享的四分支卷积神经网络，结合更加真实合理的四元组损失函数对该网络模型进行参数优化，使得训练得到的基于四元组损失度量学习的车辆再辨识模型具有较高精度的车辆再辨识能力，特别是对于区分相似度高的车辆；在再识别过程中利用基于四元组损失度量学习训练得到的基础网络模型对待查询车辆图片和候选库中的车辆图片进行特征提取以及欧氏距离计算，从而获取待查询车辆与候选库中的车辆图像之间的相似度，实现车辆再辨识。该方法可以被广泛应用于智能视频监控场景，例如车辆定位、车辆轨迹预测、罪犯追踪等。
附图说明
图1是本发明基于四元组损失度量学习的车辆再辨识方法的框架示意图。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
参见图1所示，本发明一种基于四元组损失度量学习的车辆再辨识方法，基于四元组损失度量学习的车辆再辨识模型，该模型包含特征提取模块和距离度量学习模块，包括训练过程和再辨识过程，具体步骤如下：
训练过程S1的步骤如下：
步骤S11)：从具有车辆ID、车辆车型和车辆颜色标签信息的车辆训练图像中，随机选取N张参考图像，记为Ia。
步骤S12)：根据参考图像的标签信息，选取与参考图像具有相同的车辆ID的车辆图像作为正样本，记为Ip；选取与参考图像具有不同的车辆ID，但具有相同的车辆车型和颜色的车辆图像作为高相似样本，记为Ih；选取与参考图像具有不同的车辆ID，并且车辆车型或颜色也不同的车辆图像作为负样本，记为In；从而组成N组四元组车辆图像。
步骤S13)：将四元组车辆图像输入到四分支卷积神经网络模型中，通过前向传播算法分别提取其对应的特征向量f(Ia)、f(Ip)、f(Ih)和f(In)。
步骤S14)：将S13)所得的特征向量输入到距离度量学习模块。为了避免根据输入的特征向量间所计算出来的欧氏距离过大，导致容易满足相应的距离关系或者不满足相应的距离关系而产生过大的损失值，可采用L2归一化对输入的特征向量进行归一化，进而再根据四元组车辆图像之间合理的距离关系，计算出相应的损失值，采用误差反向传播算法来训练四分支卷积神经网络模型。
步骤S15)：重复步骤S11)至步骤S14)，直到上述四分支卷积神经网络模型收敛。
再辨识过程S2的步骤如下：
步骤S21)：如图1所示，利用S1中训练得到的参数共享的基础网络模型M，提取待查询车辆图像相应的特征，记为特征向量Q；提取候选库中每个图像相应的特征，记为特征向量1，特征向量2，…，特征向量N。
步骤S22)：计算待查询车辆图像的特征向量与候选库中每个车辆图像的特征向量之间的欧氏距离，欧氏距离越小表示两张图像的相似度越大，从而获取到待查询车辆图像与候选库中每个车辆图像的相似度关系。
步骤S23)：根据所得到的相似度大小进行降序排序，并输出识别结果，根据车辆查询的最优指标，若输出结果排序第一的图像与待查询图像具有相同的车辆ID，则说明本次查询成功，否则，查询失败。
进一步的，步骤S13)中的四分支卷积神经网络模型是由四个参数共享的基础网络模型构成。
进一步的，基础网络模型可以是主流的网络结构，包括但不限于VGGNet，GoogLeNet，ResNet等。
进一步的，步骤S14)中所述的四元组图像之间理想的距离关系为：1)正样本与参考图像之间的距离应小于负样本与参考图像之间的距离；2)正样本与参考图像之间的距离应小于高相似样本与参考图像之间的距离；3)高相似样本与参考图像之间的距离应小于负样本与参考图像之间的距离，即则四元组图像之间理想的距离关系应满足以下约束条件：
其中，αpn是正样本对与负样本对之间应满足的最小距离，αph正样本对与高相似样本对之间应满足的最小距离，且αpn>αph。
进一步的，步骤S14)中距离度量学习模块中四元组损失值的计算方法如下：
其中，[x]+＝max(x,0)，N表示四元组的个数。
上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
Claims (4)
1.一种基于四元组损失度量学习的车辆再辨识方法，其特征在于，包括训练过程和再辨识过程，步骤如下：
训练过程S1：选取N组四元组训练图像，输入到参数共享的四分支卷积神经网络模型中训练，直至模型收敛，从而获得基础网络模型M；
再辨识过程S2：利用S1中训练得到基础网络模型M分别提取待查询车辆图像和候选库中每个图像的特征向量，从而计算待查询车辆图像与候选库中图像的相似度，根据相似度的大小进行车辆ID预测，并输出识别结果；
训练过程S1的步骤如下：
步骤S11)：从具有车辆ID、车辆车型和车辆颜色标签信息的车辆训练图像中，随机选取N张参考图像，记为Ia；
步骤S12)：选取与参考图像具有相同的车辆ID的车辆图像作为正样本，记为Ip；选取与参考图像具有不同的车辆ID，但具有相同的车辆车型和颜色的车辆图像作为高相似样本，记为Ih；选取与参考图像具有不同的车辆ID，并且车辆车型或颜色也不同的车辆图像作为负样本，记为In；从而组成N组四元组车辆图像；
步骤S13)：将四元组车辆图像输入到四分支卷积神经网络模型中，通过前向传播算法分别提取其对应的特征向量f(Ia)、f(Ip)、f(Ih)和f(In)；
步骤S14)：将S13)所得的特征向量送入距离度量学习模块，根据四元组车辆图像之间合理的距离关系，计算出相应的损失值，采用误差反向传播算法来训练四分支卷积神经网络模型；
步骤S15)：重复步骤S11)至步骤S14)，直到上述四分支卷积神经网络模型收敛；
步骤S14)中，所述四元组车辆图像之间合理的距离关系为：
1)正样本与参考图像之间的距离小于负样本与参考图像之间的距离；
2)正样本与参考图像之间的距离小于高相似样本与参考图像之间的距离；
3)高相似样本与参考图像之间的距离小于负样本与参考图像之间的距离；
即四元组图像之间理想的距离关系应满足以下约束条件：
其中，αpn是正样本对与负样本对之间应满足的最小距离，αph正样本对与高相似样本对之间应满足的最小距离，且αpn>αph；
步骤S14)中，所述距离度量学习模块中四元组损失值的计算方法如下：
其中，[x]+＝max(x,0)，N表示四元组的个数。
2.根据权利要求1所述的一种基于四元组损失度量学习的车辆再辨识方法，其特征在于，步骤S13)中的四分支卷积神经网络模型是由四个参数共享的基础网络模型构成。
3.根据权利要求2所述的一种基于四元组损失度量学习的车辆再辨识方法，其特征在于，基础网络模型包括VGGNet、GoogLeNet或ResNet。
4.根据权利要求1所述的一种基于四元组损失度量学习的车辆再辨识方法，其特征在于，再识别过程S2的步骤如下：
步骤S21)：利用S1中训练得到的参数共享的基础网络模型M，分别提取待查询车辆图像的特征向量以及候选库中每个图像的特征向量；
步骤S22)：通过欧氏距离计算待查询车辆图像的特征向量与候选库中每个图像的特征向量之间的相似度；
步骤S23)：根据所得到的相似度大小进行降序排序，并输出识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910577021.2A CN110309770B (zh) | 2019-06-28 | 2019-06-28 | 一种基于四元组损失度量学习的车辆再辨识方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910577021.2A CN110309770B (zh) | 2019-06-28 | 2019-06-28 | 一种基于四元组损失度量学习的车辆再辨识方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110309770A CN110309770A (zh) | 2019-10-08 |
| CN110309770B true CN110309770B (zh) | 2022-09-30 |
Family
ID=68079410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910577021.2A Active CN110309770B (zh) | 2019-06-28 | 2019-06-28 | 一种基于四元组损失度量学习的车辆再辨识方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309770B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956093A (zh) * | 2019-11-08 | 2020-04-03 | 武汉东湖大数据交易中心股份有限公司 | 基于大数据的模型识别方法、装置、设备及介质 |
| CN110991349B (zh) * | 2019-12-05 | 2023-02-10 | 中国科学院重庆绿色智能技术研究院 | 一种基于度量学习的轻量级车辆属性识别方法 |
| CN111291887B (zh) * | 2020-03-06 | 2023-11-10 | 北京迈格威科技有限公司 | 神经网络的训练方法、图像识别方法、装置及电子设备 |
| CN111652293B (zh) * | 2020-05-20 | 2022-04-26 | 西安交通大学苏州研究院 | 一种多任务联合判别学习的车辆重识别方法 |
| CN112418262A (zh) * | 2020-09-23 | 2021-02-26 | 上海市刑事科学技术研究院 | 车辆再识别的方法、客户端及系统 |
| CN113420173A (zh) * | 2021-06-22 | 2021-09-21 | 桂林电子科技大学 | 基于四元组深度学习的少数民族服饰图像检索方法 |
| CN114067293B (zh) * | 2022-01-17 | 2022-04-22 | 武汉珞信科技有限公司 | 基于双重属性的车辆重识别重排列方法、系统及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570477A (zh) * | 2016-10-28 | 2017-04-19 | 中国科学院自动化研究所 | 基于深度学习的车型识别模型构建方法及车型识别方法 |
| EP3373246A1 (en) * | 2017-03-08 | 2018-09-12 | Tsinghua University | Inspection apparatuses and methods for segmenting an image of a vehicle |
-
2019
- 2019-06-28 CN CN201910577021.2A patent/CN110309770B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570477A (zh) * | 2016-10-28 | 2017-04-19 | 中国科学院自动化研究所 | 基于深度学习的车型识别模型构建方法及车型识别方法 |
| EP3373246A1 (en) * | 2017-03-08 | 2018-09-12 | Tsinghua University | Inspection apparatuses and methods for segmenting an image of a vehicle |
Non-Patent Citations (2)
| Title |
|---|
| 基于Fast R-CNN的车辆目标检测;曹诗雨等;《中国图象图形学报》;20170516(第05期);全文 * |
| 基于感兴趣区域卷积神经网络的车辆检索方法;杨东芳等;《计算机工程与设计》;20170816(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110309770A (zh) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309770B (zh) | 一种基于四元组损失度量学习的车辆再辨识方法 | |
| Zheng et al. | Person re-identification: Past, present and future | |
| Bai et al. | Group-sensitive triplet embedding for vehicle reidentification | |
| CN110363122B (zh) | 一种基于多层特征对齐的跨域目标检测方法 | |
| CN106096561B (zh) | 基于图像块深度学习特征的红外行人检测方法 | |
| CN107577990B (zh) | 一种基于gpu加速检索的大规模人脸识别方法 | |
| Li et al. | Adaptive deep convolutional neural networks for scene-specific object detection | |
| CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
| Duong et al. | Shrinkteanet: Million-scale lightweight face recognition via shrinking teacher-student networks | |
| CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
| Chen et al. | Attention-aware cross-modal cross-level fusion network for RGB-D salient object detection | |
| CN112633382A (zh) | 一种基于互近邻的少样本图像分类方法及系统 | |
| CN114926742A (zh) | 一种基于二阶注意力机制的回环检测及优化方法 | |
| CN111985547A (zh) | 一种基于注意力引导生成学习的跨分辨率车辆再辨识方法 | |
| CN117456480B (zh) | 一种基于多源信息融合的轻量化车辆再辨识方法 | |
| CN111444816A (zh) | 一种基于Faster RCNN的多尺度密集行人检测方法 | |
| CN110516640B (zh) | 一种基于特征金字塔联合表示的车辆再辨识方法 | |
| Pernici et al. | Unsupervised incremental learning of deep descriptors from video streams | |
| CN114170450A (zh) | 一种基于区域一致性和gms的图像特征匹配方法 | |
| CN111144469B (zh) | 基于多维关联时序分类神经网络的端到端多序列文本识别方法 | |
| CN117237937A (zh) | 一种基于PointNet++网络的无序零件识别方法 | |
| Yu et al. | A DenseNet feature-based loop closure method for visual SLAM system | |
| CN103886314A (zh) | 一种物体识别中基于sift特征尺度分量的两级匹配方法 | |
| Zhang et al. | CADC++: Advanced Consensus-Aware Dynamic Convolution for Co-Salient Object Detection | |
| CN113920303B (zh) | 一种基于卷积神经网络弱监督类别无关的图像相似性检索系统及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191008 Assignee: Quanzhou Huada Sifang Technology Co.,Ltd. Assignor: HUAQIAO University Contract record no.: X2024990000191 Denomination of invention: A vehicle re identification method based on quadruple loss metric learning Granted publication date: 20220930 License type: Common License Record date: 20240424 |
|
| EE01 | Entry into force of recordation of patent licensing contract |