CN110309770A - 一种基于四元组损失度量学习的车辆再辨识方法 - Google Patents

一种基于四元组损失度量学习的车辆再辨识方法 Download PDF

Info

Publication number
CN110309770A
CN110309770A CN201910577021.2A CN201910577021A CN110309770A CN 110309770 A CN110309770 A CN 110309770A CN 201910577021 A CN201910577021 A CN 201910577021A CN 110309770 A CN110309770 A CN 110309770A
Authority
CN
China
Prior art keywords
vehicle
tuple
image
distance
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910577021.2A
Other languages
English (en)
Other versions
CN110309770B (zh
Inventor
曾焕强
侯进辉
朱建清
林向伟
曹九稳
陈婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201910577021.2A priority Critical patent/CN110309770B/zh
Publication of CN110309770A publication Critical patent/CN110309770A/zh
Application granted granted Critical
Publication of CN110309770B publication Critical patent/CN110309770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于四元组损失度量学习的车辆再辨识方法,包括:构建参数共享的四分支卷积神经网络,设计四元组损失函数,对输入的四元组图像进行距离度量学习。本发明特别考虑了车辆再辨识中的特殊难点,即,车型和颜色都相同的车辆具有非常相似的车辆外观,能够有效地解决车辆再辨识中对于高相似度车辆识别精度不高的问题。

Description

一种基于四元组损失度量学习的车辆再辨识方法
技术领域
本发明涉及计算机视觉和模式识别领域,尤其涉及一种基于四元组损失度量学习的车辆再辨识方法。
背景技术
车辆再辨识的目的是在监控视频中识别出特定的已经在监控视频中出现过的车辆。其具有重要的实际应用价值和广泛的应用场景,例如车辆追踪、车辆定位、罪犯检测等。
除了光照变化、角度变化、遮挡等因素,车辆再辨识存在特殊的难点,即车辆车型和颜色车型和颜色都相同的车辆具有非常相似的车辆外观。现有车辆再辨识方法对于上述高相似度的车辆图像存在识别精度较差的问题。因此,车辆再辨识引起学术界和工业界的广泛关注,成为计算机视觉领域一个具有挑战性的研究热点。
发明内容
本发明针对现有车辆再辨识技术对于高相似度车辆识别精度不高的问题,提出一种基于四元组损失度量学习的车辆再辨识方法,通过构建参数共享的四分支卷积神经网络模型,结合更加真实合理的四元组损失函数,对输入的四元组车辆图像进行距离度量学习,有效地提高了车辆再辨识的识别精度。
本发明解其技术问题所采用的技术方案是:
一种基于四元组损失度量学习的车辆再辨识方法,包括训练过程和再辨识过程,步骤如下:
训练过程S1:选取N组四元组训练图像,输入到参数共享的四分支卷积神经网络模型中训练,直至模型收敛,从而获得基础网络模型M;
再辨识过程S2:利用S1中训练得到基础网络模型M分别提取待查询车辆图像和候选库中每个图像的特征向量,从而计算待查询车辆图像与候选库中图像的相似度,根据相似度的大小进行车辆ID预测,并输出识别结果。
优选的,训练过程S1的步骤如下:
步骤S11):从具有车辆ID、车辆车型和车辆颜色标签信息的车辆训练图像中,随机选取N张参考图像,记为Ia
步骤S12):选取与参考图像具有相同的车辆ID的车辆图像作为正样本,记为Ip;选取与参考图像具有不同的车辆ID,但具有相同的车辆车型和颜色的车辆图像作为高相似样本,记为Ih;选取与参考图像具有不同的车辆ID,并且车辆车型或颜色也不同的车辆图像作为负样本,记为In;从而组成N组四元组车辆图像;
步骤S13):将四元组车辆图像输入到四分支卷积神经网络模型中,通过前向传播算法分别提取其对应的特征向量f(Ia)、f(Ip)、f(Ih)和f(In);
步骤S14):将S13)所得的特征向量送入距离度量学习模块,根据四元组车辆图像之间合理的距离关系,计算出相应的损失值,采用误差反向传播算法来训练四分支卷积神经网络模型;
步骤S15):重复步骤S11)至步骤S14),直到上述四分支卷积神经网络模型收敛。
优选的,步骤S13)中的四分支卷积神经网络模型是由四个参数共享的基础网络模型构成。
优选的,基础网络模型包括VGGNet、GoogLeNet或ResNet。
优选的,步骤S14)中,所述四元组车辆图像之间理想的距离关系为:
1)正样本与参考图像之间的距离小于负样本与参考图像之间的距离;
2)正样本与参考图像之间的距离小于高相似样本与参考图像之间的距离;
3)高相似样本与参考图像之间的距离小于负样本与参考图像之间的距离;
即四元组图像之间理想的距离关系应满足以下约束条件:
其中,αpn是正样本对与负样本对之间应满足的最小距离,αph正样本对与高相似样本对之间应满足的最小距离,且αpnph
优选的,步骤S14)中,所述距离度量学习模块中四元组损失值的计算方法如下:
其中,[x]+=max(x,0),N表示四元组的个数。
优选的,再识别过程S2的步骤如下:
步骤S21):利用S1中训练得到的参数共享的基础网络模型M,分别提取待查询车辆图像的特征向量以及候选库中每个图像的特征向量;
步骤S22):通过欧氏距离计算待查询车辆图像的特征向量与候选库中每个图像的特征向量之间的相似度;
步骤S23):根据所得到的相似度大小进行降序排序,并输出识别结果。
本发明的有益效果如下:
本发明构建了一种基于四元组损失度量学习的车辆再辨识模型,通过参数共享的四分支卷积神经网络,结合更加真实合理的四元组损失函数对该网络模型进行参数优化,使得训练得到的基于四元组损失度量学习的车辆再辨识模型具有较高精度的车辆再辨识能力,特别是对于区分相似度高的车辆;在再识别过程中利用基于四元组损失度量学习训练得到的基础网络模型对待查询车辆图片和候选库中的车辆图片进行特征提取以及欧氏距离计算,从而获取待查询车辆与候选库中的车辆图像之间的相似度,实现车辆再辨识。该方法可以被广泛应用于智能视频监控场景,例如车辆定位、车辆轨迹预测、罪犯追踪等。
附图说明
图1是本发明基于四元组损失度量学习的车辆再辨识方法的框架示意图。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
参见图1所示,本发明一种基于四元组损失度量学习的车辆再辨识方法,基于四元组损失度量学习的车辆再辨识模型,该模型包含特征提取模块和距离度量学习模块,包括训练过程和再辨识过程,具体步骤如下:
训练过程S1的步骤如下:
步骤S11):从具有车辆ID、车辆车型和车辆颜色标签信息的车辆训练图像中,随机选取N张参考图像,记为Ia
步骤S12):根据参考图像的标签信息,选取与参考图像具有相同的车辆ID的车辆图像作为正样本,记为Ip;选取与参考图像具有不同的车辆ID,但具有相同的车辆车型和颜色的车辆图像作为高相似样本,记为Ih;选取与参考图像具有不同的车辆ID,并且车辆车型或颜色也不同的车辆图像作为负样本,记为In;从而组成N组四元组车辆图像。
步骤S13):将四元组车辆图像输入到四分支卷积神经网络模型中,通过前向传播算法分别提取其对应的特征向量f(Ia)、f(Ip)、f(Ih)和f(In)。
步骤S14):将S13)所得的特征向量输入到距离度量学习模块。为了避免根据输入的特征向量间所计算出来的欧氏距离过大,导致容易满足相应的距离关系或者不满足相应的距离关系而产生过大的损失值,可采用L2归一化对输入的特征向量进行归一化,进而再根据四元组车辆图像之间合理的距离关系,计算出相应的损失值,采用误差反向传播算法来训练四分支卷积神经网络模型。
步骤S15):重复步骤S11)至步骤S14),直到上述四分支卷积神经网络模型收敛。
再辨识过程S2的步骤如下:
步骤S21):如图1所示,利用S1中训练得到的参数共享的基础网络模型M,提取待查询车辆图像相应的特征,记为特征向量Q;提取候选库中每个图像相应的特征,记为特征向量1,特征向量2,…,特征向量N。
步骤S22):计算待查询车辆图像的特征向量与候选库中每个车辆图像的特征向量之间的欧氏距离,欧氏距离越小表示两张图像的相似度越大,从而获取到待查询车辆图像与候选库中每个车辆图像的相似度关系。
步骤S23):根据所得到的相似度大小进行降序排序,并输出识别结果,根据车辆查询的最优指标,若输出结果排序第一的图像与待查询图像具有相同的车辆ID,则说明本次查询成功,否则,查询失败。
进一步的,步骤S13)中的四分支卷积神经网络模型是由四个参数共享的基础网络模型构成。
进一步的,基础网络模型可以是主流的网络结构,包括但不限于VGGNet,GoogLeNet,ResNet等。
进一步的,步骤S14)中所述的四元组图像之间理想的距离关系为:1)正样本与参考图像之间的距离应小于负样本与参考图像之间的距离;2)正样本与参考图像之间的距离应小于高相似样本与参考图像之间的距离;3)高相似样本与参考图像之间的距离应小于负样本与参考图像之间的距离,即则四元组图像之间理想的距离关系应满足以下约束条件:
其中,αpn是正样本对与负样本对之间应满足的最小距离,αph正样本对与高相似样本对之间应满足的最小距离,且αpnph
进一步的,步骤S14)中距离度量学习模块中四元组损失值的计算方法如下:
其中,[x]+=max(x,0),N表示四元组的个数。
上述实施例仅是用来说明本发明,而并非用作对本发明的限定。只要是依据本发明的技术实质,对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (7)

1.一种基于四元组损失度量学习的车辆再辨识方法,其特征在于,包括训练过程和再辨识过程,步骤如下:
训练过程S1:选取N组四元组训练图像,输入到参数共享的四分支卷积神经网络模型中训练,直至模型收敛,从而获得基础网络模型M;
再辨识过程S2:利用S1中训练得到基础网络模型M分别提取待查询车辆图像和候选库中每个图像的特征向量,从而计算待查询车辆图像与候选库中图像的相似度,根据相似度的大小进行车辆ID预测,并输出识别结果。
2.根据权利要求1所述的一种基于四元组损失度量学习的车辆再辨识方法,其特征在于,训练过程S1的步骤如下:
步骤S11):从具有车辆ID、车辆车型和车辆颜色标签信息的车辆训练图像中,随机选取N张参考图像,记为Ia
步骤S12):选取与参考图像具有相同的车辆ID的车辆图像作为正样本,记为Ip;选取与参考图像具有不同的车辆ID,但具有相同的车辆车型和颜色的车辆图像作为高相似样本,记为Ih;选取与参考图像具有不同的车辆ID,并且车辆车型或颜色也不同的车辆图像作为负样本,记为In;从而组成N组四元组车辆图像;
步骤S13):将四元组车辆图像输入到四分支卷积神经网络模型中,通过前向传播算法分别提取其对应的特征向量f(Ia)、f(Ip)、f(Ih)和f(In);
步骤S14):将S13)所得的特征向量送入距离度量学习模块,根据四元组车辆图像之间合理的距离关系,计算出相应的损失值,采用误差反向传播算法来训练四分支卷积神经网络模型;
步骤S15):重复步骤S11)至步骤S14),直到上述四分支卷积神经网络模型收敛。
3.根据权利要求2所述的一种基于四元组损失度量学习的车辆再辨识方法,其特征在于,步骤S13)中的四分支卷积神经网络模型是由四个参数共享的基础网络模型构成。
4.根据权利要求3所述的一种基于四元组损失度量学习的车辆再辨识方法,其特征在于,基础网络模型包括VGGNet、GoogLeNet或ResNet。
5.根据权利要求2所述的一种基于四元组损失度量学习的车辆再辨识方法,其特征在于,步骤S14)中,所述四元组车辆图像之间理想的距离关系为:
1)正样本与参考图像之间的距离小于负样本与参考图像之间的距离;
2)正样本与参考图像之间的距离小于高相似样本与参考图像之间的距离;
3)高相似样本与参考图像之间的距离小于负样本与参考图像之间的距离;
即四元组图像之间理想的距离关系应满足以下约束条件:
其中,αpn是正样本对与负样本对之间应满足的最小距离,αph正样本对与高相似样本对之间应满足的最小距离,且αpnph
6.根据权利要求2所述的一种基于四元组损失度量学习的车辆再辨识方法,其特征在于,步骤S14)中,所述距离度量学习模块中四元组损失值的计算方法如下:
其中,[x]+=max(x,0),N表示四元组的个数。
7.根据权利要求1所述的一种基于四元组损失度量学习的车辆再辨识方法,其特征在于,再识别过程S2的步骤如下:
步骤S21):利用S1中训练得到的参数共享的基础网络模型M,分别提取待查询车辆图像的特征向量以及候选库中每个图像的特征向量;
步骤S22):通过欧氏距离计算待查询车辆图像的特征向量与候选库中每个图像的特征向量之间的相似度;
步骤S23):根据所得到的相似度大小进行降序排序,并输出识别结果。
CN201910577021.2A 2019-06-28 2019-06-28 一种基于四元组损失度量学习的车辆再辨识方法 Active CN110309770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910577021.2A CN110309770B (zh) 2019-06-28 2019-06-28 一种基于四元组损失度量学习的车辆再辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910577021.2A CN110309770B (zh) 2019-06-28 2019-06-28 一种基于四元组损失度量学习的车辆再辨识方法

Publications (2)

Publication Number Publication Date
CN110309770A true CN110309770A (zh) 2019-10-08
CN110309770B CN110309770B (zh) 2022-09-30

Family

ID=68079410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910577021.2A Active CN110309770B (zh) 2019-06-28 2019-06-28 一种基于四元组损失度量学习的车辆再辨识方法

Country Status (1)

Country Link
CN (1) CN110309770B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956093A (zh) * 2019-11-08 2020-04-03 武汉东湖大数据交易中心股份有限公司 基于大数据的模型识别方法、装置、设备及介质
CN110991349A (zh) * 2019-12-05 2020-04-10 中国科学院重庆绿色智能技术研究院 一种基于度量学习的轻量级车辆属性识别方法
CN111291887A (zh) * 2020-03-06 2020-06-16 北京迈格威科技有限公司 神经网络的训练方法、图像识别方法、装置及电子设备
CN111652293A (zh) * 2020-05-20 2020-09-11 西安交通大学苏州研究院 一种多任务联合判别学习的车辆重识别方法
CN112418262A (zh) * 2020-09-23 2021-02-26 上海市刑事科学技术研究院 车辆再识别的方法、客户端及系统
CN113420173A (zh) * 2021-06-22 2021-09-21 桂林电子科技大学 基于四元组深度学习的少数民族服饰图像检索方法
CN114067293A (zh) * 2022-01-17 2022-02-18 武汉珞信科技有限公司 基于双重属性的车辆重识别重排列方法、系统及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
EP3373246A1 (en) * 2017-03-08 2018-09-12 Tsinghua University Inspection apparatuses and methods for segmenting an image of a vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
EP3373246A1 (en) * 2017-03-08 2018-09-12 Tsinghua University Inspection apparatuses and methods for segmenting an image of a vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹诗雨等: "基于Fast R-CNN的车辆目标检测", 《中国图象图形学报》 *
杨东芳等: "基于感兴趣区域卷积神经网络的车辆检索方法", 《计算机工程与设计》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956093A (zh) * 2019-11-08 2020-04-03 武汉东湖大数据交易中心股份有限公司 基于大数据的模型识别方法、装置、设备及介质
CN110991349A (zh) * 2019-12-05 2020-04-10 中国科学院重庆绿色智能技术研究院 一种基于度量学习的轻量级车辆属性识别方法
CN110991349B (zh) * 2019-12-05 2023-02-10 中国科学院重庆绿色智能技术研究院 一种基于度量学习的轻量级车辆属性识别方法
CN111291887A (zh) * 2020-03-06 2020-06-16 北京迈格威科技有限公司 神经网络的训练方法、图像识别方法、装置及电子设备
CN111291887B (zh) * 2020-03-06 2023-11-10 北京迈格威科技有限公司 神经网络的训练方法、图像识别方法、装置及电子设备
CN111652293A (zh) * 2020-05-20 2020-09-11 西安交通大学苏州研究院 一种多任务联合判别学习的车辆重识别方法
CN112418262A (zh) * 2020-09-23 2021-02-26 上海市刑事科学技术研究院 车辆再识别的方法、客户端及系统
CN113420173A (zh) * 2021-06-22 2021-09-21 桂林电子科技大学 基于四元组深度学习的少数民族服饰图像检索方法
CN114067293A (zh) * 2022-01-17 2022-02-18 武汉珞信科技有限公司 基于双重属性的车辆重识别重排列方法、系统及电子设备
CN114067293B (zh) * 2022-01-17 2022-04-22 武汉珞信科技有限公司 基于双重属性的车辆重识别重排列方法、系统及电子设备

Also Published As

Publication number Publication date
CN110309770B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110309770A (zh) 一种基于四元组损失度量学习的车辆再辨识方法
CN110458844B (zh) 一种低光照场景的语义分割方法
CN110414368B (zh) 一种基于知识蒸馏的无监督行人重识别方法
CN109508663B (zh) 一种基于多层次监督网络的行人重识别方法
CN107967695B (zh) 一种基于深度光流和形态学方法的运动目标检测方法
CN110084215A (zh) 一种二值化三元组孪生网络模型的行人重识别方法及系统
CN102646193B (zh) 一种环形排布字符图像分割方法
CN110414371A (zh) 一种基于多尺度核卷积神经网络的实时人脸表情识别方法
CN105117692A (zh) 一种基于深度学习的实时人脸识别方法及系统
CN110120041A (zh) 路面裂缝图像检测方法
CN110570443B (zh) 一种基于结构约束条件生成模型的图像线状目标提取方法
CN101739712A (zh) 基于视频的3d人脸表情动画驱动方法
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN105095870A (zh) 基于迁移学习的行人重识别方法
CN110472634A (zh) 基于多尺度深度特征差值融合网络的变化检测方法
CN110232361B (zh) 基于三维残差稠密网络的人体行为意图识别方法与系统
CN110765960B (zh) 一种自适应多任务深度学习的行人再识别方法
CN113780132A (zh) 一种基于卷积神经网络的车道线检测方法
CN105184229A (zh) 一种动态场景下基于在线学习的实时行人检测方法
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN106611156A (zh) 一种自适应深度空间特征的行人识别方法和系统
CN113313684A (zh) 一种暗光条件下基于视频的工业缺陷检测系统
CN104268592A (zh) 基于协同表示和判别准则的多视角联合动作词典学习方法
CN110472495B (zh) 一种基于图形推理全局特征的深度学习人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191008

Assignee: Quanzhou Huada Sifang Technology Co.,Ltd.

Assignor: HUAQIAO University

Contract record no.: X2024990000191

Denomination of invention: A vehicle re identification method based on quadruple loss metric learning

Granted publication date: 20220930

License type: Common License

Record date: 20240424