CN111382690A - 基于多损失融合模型的车辆再识别方法 - Google Patents

基于多损失融合模型的车辆再识别方法 Download PDF

Info

Publication number
CN111382690A
CN111382690A CN202010148337.2A CN202010148337A CN111382690A CN 111382690 A CN111382690 A CN 111382690A CN 202010148337 A CN202010148337 A CN 202010148337A CN 111382690 A CN111382690 A CN 111382690A
Authority
CN
China
Prior art keywords
vehicle
loss
fusion model
identification method
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010148337.2A
Other languages
English (en)
Other versions
CN111382690B (zh
Inventor
李旻先
许诗瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010148337.2A priority Critical patent/CN111382690B/zh
Publication of CN111382690A publication Critical patent/CN111382690A/zh
Application granted granted Critical
Publication of CN111382690B publication Critical patent/CN111382690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多损失融合模型的车辆再识别方法，该方法针对车辆再识别问题，设计了一种深度卷积神经网络结构，采用一种多损失融合模型来联合监督深度卷积神经网络的训练，实现对车辆同ID样本差异和不同ID样本差异的联合优化，旨在学习到更具有辨别力的特征表达。其中，提出的多集群中心损失函数可以拉开类间距离并且拉近类内距离，使得属于同一ID的车辆特征尽可能的靠近类中心，有效提高了特征表达的辨别力。本发明提出的多损失融合模型，结合多种数据增强方式，有效地提高了车辆再识别的精度。

Description

基于多损失融合模型的车辆再识别方法
技术领域
本发明属于计算机视觉技术领域，具体是一种基于多损失融合模型的车辆再识别方法。
背景技术
随着社会的发展，车辆在人类生活中的使用已变得越来越普遍和重要。车辆研究也受到了广泛的关注，包括在计算机视觉领域的应用，如车辆分类，车辆检测和车辆再识别。其中车辆再识别在视频监控、公共安全和智能交通方面有很多的应用。
车辆再识别旨在从大型监控视频中的多个非重叠摄像机下识别出目标车辆。虽然可以通过识别车牌信息，但是由于视角和环境变化，在大多数情况下，很难准确的获取到所有车牌信息，这样就会造成识别的困难。此外，在大量以前的安全事件中牌照常常被遮挡、伪装甚至无法识别时，在这些情况下，车牌无法用于车辆重识别。其中车辆的车牌由于视角，物体遮挡和环境等因素而难以获取。
作为一项刚刚兴起的研究领域，虽然车辆再识别对智能交通等方面具有重要意义，但是相关的研究仍然很少。目前主流的方法如下：一种方法是使用端到端的深度神经网络，通过多组相同ID和不同ID的图片对训练卷积神经网络，在训练中学习如何同时拉近类内距离和拉远类间距离。另一种方法是寻找一种基于车辆外观的特征，主要包括车型，纹理，粘贴标志和时空等信息，再使用欧氏距离计算目标之间的相似度，并根据相似度高低进行排序得到最后结果。第一种方法有很多缺点，比如训练使用的图片对数量大，如何选择正确的样本对极大地影响最后的结果，而且网络难以收敛，需要很多的调参技巧。另一种方法需要选取具有代表性和判别性的特征。现有技术存在训练过程复杂、再识别效果差、准确率低的技术问题。
发明内容
本发明的目的在于提供一种基于多损失融合模型的车辆再识别方法。
本发明采用的技术方案为：一种基于多损失融合模型的车辆再识别方法，该方法包括如下步骤：
1)读取车辆数据集，将数据集划分为训练集和测试集，并将测试集划分为查询集和候选集，对划分后的车辆训练集依次进行数据增强操作，并进行归一化处理；
2)将车辆训练集输入用于车辆再识别的深度卷积神经网络，并输出训练好的用于再识别的特征学习网络；所述深度卷积神经网络的损失由交叉熵损失和多集群中心损失联合组成；
3)将车辆测试集输入训练好的特征学习网络进行特征提取；根据所述特征计算得到车辆再识别结果。
本发明与现有技术相比，具有以下优点：
(1)本发明方法采用多种数据增强的方式、多种损失函数结合和有效的训练策略，大大提高了在大型数据集上车辆再识别的性能；
(2)本发明方法通过对训练集图片进行数据增强，同时在网络训练中使用dropout的策略，可以避免过拟合的发生，从而提高了模型的泛化能力；
(3)本发明使用多损失进行融合训练，结合了多种损失函数的优点，不仅训练过程简单可操作，而且采样方式使用困难样本挖掘策略，使得挖掘出的样本更加有效，同时提出的多聚群中心损失旨在拉远类间距离并拉近类内距离，同时使得同一样本更加靠近类中心，使特征学习网络提取出的特征更加鲁棒。
附图说明
图1为本发明方法的网络整体框图。
图2为本发明方法基于VehicleID数据集的CMC曲线。
具体实施方式
随着计算机技术及信息科技的发展，城市交通监控系统逐渐普及，对监控对象如人、车辆、道路、建筑等目标的研究也吸引了很多的目光。为克服现有技术的不足，本发明提供了一种基于多损失融合模型的车辆再识别方法。
下面结合附图，对本发明作进一步说明。
参照图1，对本发明的具体步骤做进一步的详细描述，本实施以常用的大型数据集VehicleID为例来阐述网络模型的训练和测试过程，并展示相关的实验结果。
步骤1，对车辆图像进行预处理。
读取车辆原始图片数据集，其中数据集具体划分为训练和测试集，而测试集又细分为查询集和候选集，然后对训练集的图片依次进行一系列数据增强操作，并进行归一化处理；
其中数据集具体的设置如下：
数据划分：将VehicleID数据集中13134个ID车辆共110138张图像作为训练集，13133个ID车辆共111585张图像作为测试集，其中测试集又分为查询集(query)和候选集(gallery)。VehicleID数据集中划分了三种规模大小的查询数据集，包括小、中、大型，每种类型数据集包含的车辆数量和图片数量都不相同。
图像预处理：在训练数据中将所有图像调整为256*256大小，采用随机裁剪成224*224大小，然后对图像分别进行水平和垂直翻转，并采用随机擦除的数据增强操作，然后进行归一化处理。
步骤2，网络训练中损失函数的计算。
将车辆训练集输入用于车辆再识别的深度卷积神经网络，并输出训练好的用于再识别的特征学习网络。由于参数以及时间方面的考虑，其中深度卷积神经网络的基准网络采用在大型数据集ImageNet上预训练好的深度残差网络ResNet50，在此基础上去除网络中最后一个完全连接层和softmax损失层，并添加一个大小为512的完全连接层和一个多集群中心损失层，再添加dropout防止过拟合。所述深度卷积神经网络的损失由交叉熵损失和多集群中心损失联合组成。其中对于交叉熵损失函数，和一般分类任务所使用的损失函数相同，而多集群中心损失函数旨在用来拉开类间距离并拉近类内距离，同时使得同一类的特征尽可能的靠近类中心。
进一步地，在本发明的一个实施例中，交叉熵损失函数为：
Figure BDA0002401541990000041
其中，i为样本，xi为特征类别，m表示样本批量大小，n表示车辆ID的数量，bj为第j个偏置值，yi为输入的第i个样本的标签信息，Wi为特征层参数矩阵W的第i列。
进一步地，在本发明的一个实施例中，多集群中心损失函数为：
Figure BDA0002401541990000042
其中，Np和Nn分别表示正负样本的数量，m1和m2为使同类样本对间的距离小于不同类样本对间的距离的超参数，cp是一次迭代过程中该批数据里属于同一ID样本的类中心，cn是该批数据中与cp不同的ID样本的类中心。f(xi)和f(xj)分别为正样本和负样本所对应的特征。
通过使用交叉熵损失和多集群中心损失函数来联合训练网络模型。融合之后总的损失函数L的表达式如下：
L＝Ls+αLm (3)
式中，Ls为交叉熵损失函数，Lm为多集群中心损失函数，α为权重系数。损失函数的权重α可优选为0.01，m1和m2可优选为0.3和0.4。
步骤3，更新网络参数进行特征提取。
对于查询集以及候选集的图片使用已经训练好的特征学习网络进行特征提取。
具体的，使用的深度卷积神经网络主要以微调的方式进行训练，对基准网络的超参数进行调整包括优化器的选取、初始学习率的大小以及相应的衰减策略和迭代次数。优选地，将优化器选为Adam，通过使用Adam的方式不断的减小混合损失函数，训练总周期设置为60，权重衰减参数为0.0005，批量大小为128，初始学习率lr0大小为0.0003，学习率更新方式如下形式：
lr＝lr0*(0.1(epoch/15)) (4)
步骤4，计算距离得到识别结果排序。
对提取出来的特征分别计算欧式距离，然后对欧式距离按从小到大的顺序进行排列，在候选集中得到与查询集中目标距离相近的图片，以判断候选集与查询集中获取的车辆是否是同一车辆，若是，则输出结果作为识别结果。
步骤5，实验结果评估。
在对本发明提出的一种多损失融合模型的车辆再识别方法性能进行验证时，考虑了以下两种广泛使用的再识别性能指标：用于量化评估的平均精度均值(mAP)和累积匹配曲线(CMC)。通过评估计算，本发明提出的方法在VehicleID数据集上mAP为0.866，top1为0.802。我们将本发明提出的方法与VehicleID上常用的几种方法进行了比较，包括DRDL(Mixed Diff+CCL)，FACT，NuFACT，OIFE，RAM和VAMI以及各种损失函数如softmax loss，triplet loss，triplet+softmax loss和triplet+hard weight。表1展示了关于VehicleID的比较结果，图2是基于VehicleID数据集的车辆再识别CMC曲线，很明显我们的方法优于所对比的方法，其中本发明提出的多集群中心损失函数在表1和图2中简称MCL。
表1
Figure BDA0002401541990000061

Claims (8)

1.一种基于多损失融合模型的车辆再识别方法，其特征在于，包括以下步骤：
1)读取车辆数据集，将数据集划分为训练集和测试集，并将测试集划分为查询集和候选集，对划分后的车辆训练集依次进行数据增强操作，并进行归一化处理；
2)将车辆训练集输入用于车辆再识别的深度卷积神经网络，并输出训练好的用于再识别的特征学习网络；所述深度卷积神经网络的损失由交叉熵损失和多集群中心损失联合组成；
3)将车辆测试集输入训练好的特征学习网络进行特征提取；根据所述特征计算得到车辆再识别结果。
2.根据权利要求1所述的基于多损失融合模型的车辆再识别方法，其特征在于，步骤1中，对训练集中的车辆图像分别进行水平和垂直翻转，并对其进行随机剪裁，所述随机剪裁是在图像上随机选取一块区域将其大小调整为原始图像大小，然后对图像进行随机擦除，所述随机擦除是在图像上随机选择一个矩形区域，将该区域的像素替换为随机值。
3.根据权利要求1所述的基于多损失融合模型的车辆再识别方法，其特征在于，步骤2中，深度卷积神经网络采用ResNet50作为基准网络，然后去除最后一个完全连接层和交叉熵损失层，并添加一个大小为512的完全连接层和一个多集群中心损失层。
4.根据权利要求3所述的基于多损失融合模型的车辆再识别方法，其特征在于，步骤2中，使用自适应学习率梯度下降优化算法中的Adam，迭代更新网络中的每个参数，直到参数收敛，得到训练好的特征学习网络。
5.根据权利要求1所述的基于多损失融合模型的车辆再识别方法，其特征在于，多集群中心损失和交叉熵损失函数融合之后总的损失函数L的表达式为：
L＝Ls+αLm (1)
其中，Ls为交叉熵损失函数，Lm为多集群中心损失函数，α为权重系数。
6.根据权利要求5所述的基于多损失融合模型的车辆再识别方法，其特征在于，交叉熵损失函数Ls的表达式为：
Figure FDA0002401541980000021
其中，i为样本，xi为特征类别，m表示样本批量大小，n表示车辆ID的数量，bj为第j个偏置值，yi为输入的第i个样本的标签信息，Wi为特征层参数矩阵W的第i列。
7.根据权利要求5所述的基于多损失融合模型的车辆再识别方法，其特征在于，多集群中心损失函数的表达式Lm为：
Figure FDA0002401541980000031
其中，Np和Nn分别表示正负样本的数量，m1和m2为使同类样本对间的距离小于不同类样本对间的距离的超参数，cp是一次迭代过程中该批数据里属于同一ID样本的类中心，cn是该批数据中与cp不同的ID样本的类中心；f(xi)和f(xj)分别为正样本和负样本所对应的特征。
8.根据权利要求7所述的基于多损失融合模型的车辆再识别方法，其特征在于，步骤3中，对经过特征学习网络输出的特征计算欧式距离，并对计算出的欧式距离按从小到大的顺序进行排列，在候选集中选取与查询集中目标距离最近的图片作为检索结果。
CN202010148337.2A 2020-03-05 2020-03-05 基于多损失融合模型的车辆再识别方法 Active CN111382690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010148337.2A CN111382690B (zh) 2020-03-05 2020-03-05 基于多损失融合模型的车辆再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010148337.2A CN111382690B (zh) 2020-03-05 2020-03-05 基于多损失融合模型的车辆再识别方法

Publications (2)

Publication Number Publication Date
CN111382690A true CN111382690A (zh) 2020-07-07
CN111382690B CN111382690B (zh) 2022-09-06

Family

ID=71219772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010148337.2A Active CN111382690B (zh) 2020-03-05 2020-03-05 基于多损失融合模型的车辆再识别方法

Country Status (1)

Country Link
CN (1) CN111382690B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914911A (zh) * 2020-07-16 2020-11-10 桂林电子科技大学 一种基于改进深度相对距离学习模型的车辆再识别方法
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法
CN112801019A (zh) * 2021-02-09 2021-05-14 福州大学 基于合成数据消除无监督车辆再识别偏差的方法及系统
CN112949528A (zh) * 2021-03-12 2021-06-11 长安大学 一种基于时空重要性的隧道内车辆再识别方法
CN114067293A (zh) * 2022-01-17 2022-02-18 武汉珞信科技有限公司 基于双重属性的车辆重识别重排列方法、系统及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107196814A (zh) * 2017-07-28 2017-09-22 郑州云海信息技术有限公司 一种多集群的管理方法及系统
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107196814A (zh) * 2017-07-28 2017-09-22 郑州云海信息技术有限公司 一种多集群的管理方法及系统
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914911A (zh) * 2020-07-16 2020-11-10 桂林电子科技大学 一种基于改进深度相对距离学习模型的车辆再识别方法
CN111914911B (zh) * 2020-07-16 2022-04-08 桂林电子科技大学 一种基于改进深度相对距离学习模型的车辆再识别方法
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法
CN112396027B (zh) * 2020-12-01 2023-09-19 北京交通大学 基于图卷积神经网络的车辆重识别方法
CN112801019A (zh) * 2021-02-09 2021-05-14 福州大学 基于合成数据消除无监督车辆再识别偏差的方法及系统
CN112801019B (zh) * 2021-02-09 2022-07-08 福州大学 基于合成数据消除无监督车辆再识别偏差的方法及系统
CN112949528A (zh) * 2021-03-12 2021-06-11 长安大学 一种基于时空重要性的隧道内车辆再识别方法
CN112949528B (zh) * 2021-03-12 2023-08-15 长安大学 一种基于时空重要性的隧道内车辆再识别方法
CN114067293A (zh) * 2022-01-17 2022-02-18 武汉珞信科技有限公司 基于双重属性的车辆重识别重排列方法、系统及电子设备
CN114067293B (zh) * 2022-01-17 2022-04-22 武汉珞信科技有限公司 基于双重属性的车辆重识别重排列方法、系统及电子设备

Also Published As

Publication number Publication date
CN111382690B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN111382690B (zh) 基于多损失融合模型的车辆再识别方法
US20200285896A1 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN112396027B (zh) 基于图卷积神经网络的车辆重识别方法
CN109558823B (zh) 一种以图搜图的车辆识别方法及系统
CN111898523A (zh) 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN110084151B (zh) 基于非局部网络深度学习的视频异常行为判别方法
CN101944174B (zh) 车牌字符的识别方法
CN111414862B (zh) 基于神经网络融合关键点角度变化的表情识别方法
CN111652293B (zh) 一种多任务联合判别学习的车辆重识别方法
EP3690741A2 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN108647595B (zh) 基于多属性深度特征的车辆重识别方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN108960342B (zh) 基于改进Soft-Max损失函数的图像相似度计算方法
CN110598535A (zh) 一种监控视频数据中使用的人脸识别分析方法
CN112434599B (zh) 一种基于噪声通道的随机遮挡恢复的行人重识别方法
CN114022904B (zh) 一种基于两阶段的噪声鲁棒行人重识别方法
CN108268865A (zh) 一种基于级联卷积网络的自然场景下车牌识别方法及系统
CN117557922B (zh) 改进YOLOv8的无人机航拍目标检测方法
CN111507416B (zh) 一种基于深度学习的吸烟行为实时检测方法
CN114463843A (zh) 一种基于深度学习的多特征融合鱼类异常行为检测方法
CN114782997B (zh) 基于多损失注意力自适应网络的行人重识别方法及系统
CN115830531A (zh) 一种基于残差多通道注意力多特征融合的行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant