CN111914911A - 一种基于改进深度相对距离学习模型的车辆再识别方法 - Google Patents

一种基于改进深度相对距离学习模型的车辆再识别方法 Download PDF

Info

Publication number
CN111914911A
CN111914911A CN202010685999.3A CN202010685999A CN111914911A CN 111914911 A CN111914911 A CN 111914911A CN 202010685999 A CN202010685999 A CN 202010685999A CN 111914911 A CN111914911 A CN 111914911A
Authority
CN
China
Prior art keywords
vehicle
model
images
learning
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010685999.3A
Other languages
English (en)
Other versions
CN111914911B (zh
Inventor
胡聪
李超
许川佩
朱爱军
黄喜军
张本鑫
梁志勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202010685999.3A priority Critical patent/CN111914911B/zh
Publication of CN111914911A publication Critical patent/CN111914911A/zh
Application granted granted Critical
Publication of CN111914911B publication Critical patent/CN111914911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于改进深度相对距离学习模型的车辆再识别方法,利用RepNet的特性,负责标签属性分类的粗粒度学习通道将车辆的颜色信息和车辆型号信息提取出来,通过抑制层将提取的特征对后面的细粒度相似性学习进行反馈,消除掉那些嵌入到细粒度学习通道中的粗粒度属性特征,这样既节省了训练时间,又可以让细粒度学习时将更多地注意力关注在复杂特征的提取上,来提高识别精度。

Description

一种基于改进深度相对距离学习模型的车辆再识别方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于改进深度相对距离学习(DRDL)模型的车辆再识别方法。
背景技术
车辆再识别技术主要应用在视频监控方面,例如监测某个特定的车辆是否出现。为了监测公共交通,大多数交通拥挤的区域已经安装了大量的监控摄像机,使得车辆的信息获取更加方便。现在大多数车辆再识别算法本质上是汽车车牌的识别,其首先将车牌的位置在图片中定位出来,然后通过对图像预处理、特征提取、车牌字符识别等技术,识别出车辆牌号从而得到车辆的其他信息。显然车牌是车辆的独特识别码,车牌识别也己经在运输管理等方面得到广泛应用。然而,由于视角和环境引起的挑战,在大多数情况下,很难准确的从视频录像中获取所有车牌信息,这样就会造成识别的困难。哪怕是高清卡口相机,多数时,也不能很好进行车牌捕获,并且识别到的有些会是特殊的车牌,有些车牌可能模糊不清,甚至有些车是没有车牌的,这样就会造成这些摄像机拍摄的图像或视频数据的可识别性能急剧下降。此外,在大量以前的安全事件中牌照常常被阻挡、移除、甚至伪装,在这些情况下,车牌无法用于车辆重新识别。
发明内容
本发明所要解决的是现有基于汽车车牌来实现车辆再识别方法容易出现识别困难的问题,提供一种基于改进深度相对距离学习模型的车辆再识别方法。
为解决上述问题,本发明是通过以下技术方案实现的:
一种基于改进深度相对距离学习模型的车辆再识别方法,包括步骤如下:
步骤1、构建改进深度相对距离学习模型,该改进深度相对距离学习模型将图像深度卷积后的特征分为两个流:一个为属性分类流,其具有softmax损失函数;一个为相似性学习流,其具有焦点损失函数;同时在两个流之间添加抑制层,该抑制层将相似性学习流的第一层特征与属性分类流中最终层特征交互后作为相似性学习流的最终层特征;
步骤2、将给定的车辆数据集分成训练集和测试集,其中车辆数据集中的图像为同时包含车辆ID、车辆颜色和车辆型号三种标签标签的图像;
步骤3、利用训练集对步骤1所构建的改进深度相对距离学习模型进行训练,以确定模型中的网络参数,由此得到训练好的车辆再识别模型;在训练过程中,将训练集中的图像输入到深度卷积网络进行特征提取,并将所得到的特征分成两个分支即标签属性分类分支和相似性学习分支;标签属性分类分支对车辆的颜色信息和车辆型号信息进行特征提取,并通过抑制层将标签属性分类分支所提取的特征对相似性学习分支分支的细粒度相似性学习进行反馈,消除嵌入到细粒度相似性学习中的粗粒度属性特征;
步骤4、利用测试集对步骤3所得到的训练好的车辆再识别模型进行测试,以评估该训练好的车辆再识别模型的性能;在测试过程中,从测试集中随机抽取两张图像,并对比这两张图像的车辆ID标签确定其是否为同一辆车,并记录这两张图像的编号和对比结果,生成一组测试数据;使用训练好的车辆再识别模型来计算出预定组数的测试数据的阈值和准确率,并进行统计后得出最佳阈值与准确率,将最佳阈值作为设定阈值;将测试集输入到训练好的车辆再识别模型中,获取每一幅图像对应的最终特征向量,并计算该每组测试数据中的两幅图像的最终特征向量的夹角余弦;将夹角余弦与设定阈值进行比对,若大于设定阈值则认为这两幅图像为同一辆车,否则认为这两幅图像为同一辆车;最后计算MAP值作为评估模型性能指标;
步骤5、将两幅车辆图像送入到步骤3所训练好的车辆再识别模型中,得到这两幅车辆图像是否为同一辆车的判定,以实现车辆再识别。
上述步骤1中,抑制层为级联抑制层。
上述步骤1中,焦点损失函数为:
Figure BDA0002587584510000021
式中,Lft为损失值,α为平衡因子,y′为模型输出的预测值,y为模型输入的真实值,γ为聚焦参数。
上述步骤2中,给定的车辆数据集为VehicleID数据集。
与现有技术相比,本发明利用RepNet的特性,负责标签属性分类的粗粒度学习通道将车辆的颜色信息和车辆型号信息提取出来,通过抑制层将提取的特征对后面的细粒度相似性学习进行反馈,消除掉那些嵌入到细粒度学习通道中的粗粒度属性特征,这样既节省了训练时间,又可以让细粒度学习时将更多地注意力关注在复杂特征的提取上,来提高识别精度。
附图说明
图1为一种基于改进深度相对距离学习模型的车辆再识别方法的流程图。
图2为传统深度相对距离学习模型的结构示意图。
图3为改进深度相对距离学习模型的结构示意图。
图4为准确率曲线。
图5为loss曲线。
图6为最佳阈值与最佳准确率曲线图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实例,并参照附图,对本发明进一步详细说明。
为了能够更有效地进行车辆再识别任务,提高车辆再识别精度,本发明提出了一种基于改进深度相对距离学习模型的车辆再识别方法,如图1所示,其具体包括步骤如下:
步骤1、模型构建
深度相对距离学习(Deep Relative Distance Learning,DRDL)是Hongye liu等人提出的一个端到端框架,专门用于车辆再识别。DRDL使用的基础网络结构是VGG CNN M1024,它含有5个卷积层和2个全连接层,网络最后一层全连接层“fc7”的维度为1024。考虑到单分支网络结构不能同时提取车辆模型两个输入图像之间的特征差异,因此DRDL将单分支网络扩展为两个分支网络。经过卷积层的卷积神经网络提取特征后,将提取的特征分为两类,一类是车辆型号即车辆属性标签,一类是CCL(coupled cluster loss)损失函数学习到的特征,分别流入两个通道之中,最后一个全连接层“fc8”是混合了车辆型号信息和CCL损失函数中学习到的特征的融合特征。如果,这时输入的两个车辆图像属于不同的车辆型号,那它们肯定就不会是同一辆车;而另一种情况下,即若它们是同一种型号,则它们还需要进行额外的姿态差异测量,根据标准VGG CNN M 1024网络输出维度,将“fc8”的维度设置为1024,以消除评价实验时特征维度差异的影响。混合差分网络中的“fc7_2”与标准VGGCNN M 1024网络的输出特性完全相同,而“fc8”则是一种增强的特性,既适用于模型间差分,也适用于模型内差分度量。DRDL网络整体框架详细结构示意图可见图2。
由于上述DRDL模型中使用的都是使用VGG CNN M 2048及其混合差分版本作为特征提取器,其网络结构简单,不能更好地提取车辆特征。因此,本发明提出改进深度相对距离学习模型,该模型将框架中的深度卷积网络替换为效果更好,速度更快的RepNet,并且将相似度学习中的损失函数设置为Focal Loss,它可以解决数据集中正负样本不均衡的问题。
RepNet与其他深度多任务学习模型的架构在于,它将输入图像深度卷积结构后的全连接层(FC层)的特征向量分为两个流,一个用于基于标签的属性分类流(AttributesClassifification Stream,ACS),具有softmax损失函数,一个针对细粒度的相似性学习流(Similarity Learning Stream,SLS),具有三重损失函数即Focal损失函数。然后在两个流之间添加抑制层。如图3所示,抑制层通过将SLS(FSLS_1)中第一层的特征向量与ACS(FACS)中最终FC层的特征向量交互来连接SLS和ACS,并作为SLS的最终层的特征向量。RepNet从两个不同的层次(粗粒度和细粒度)生成两种独立的子特征,以便每个子特征都能嵌入各自的层次,这样更具有区分性,能更好地用于执行精确的识别任务。例如,首先用从数据库全部图像中找出属于同一车型的所有图像作为候选图像,然后再使用定制的绘画、装饰、划痕或其他特殊标记等细节来缩小范围。不过,对于车辆来说,粗粒度的属性和特殊的标记总是独立的,比如白色起亚轿车或黑色本田SUV上都可能出现贴纸或划痕。所以就要使用两个独立不同的流。此外,粗粒度属性学习比细粒度相似性学习要容易得多,即在多任务学习框架中粗粒度属性学习比相似性学习收敛得快,并且能够达到更高的精度。因此,ACS中FC层的网络相对较少,以便更早地得到其最终特性。最后,通过抑制层,利用早期提取的ACS特征对后续的SLS学习过程进行一定的反馈,从而减少甚至消除那些嵌入SLS的粗粒度属性信息,使其更加关注那些深层次的细节。总的来说,RepNet更好地利用多任务框架的能力,为两个不同级别的任务(粗粒度车辆属性分类和细粒度相似性学习)尽可能的生成两个独立的子特征。此外,它还解决了之前多任务学习框架中三重态损失收敛速度慢、收敛困难的问题。
RepNet中抑制层(Repression)的输入是两个向量FACS和FSLS_1,它们的维数相同,表示为Dinput。Repression层的输出表示为FSLS_2,维度为Douput,是输入到SLS中第二层的特征向量。抑制层一般分为3种:
1)乘积抑制层(Product Repression Layer,PRL):
PRL对两个输入特征向量执行逐元素乘积,并将新向量映射到Doutput维空间:
Figure BDA0002587584510000041
式中,WPRL为Dinput×Doutput矩阵。式(1)对每个输入特征向量的导数为:
Figure BDA0002587584510000042
Figure BDA0002587584510000043
Figure BDA0002587584510000044
其中
Figure BDA0002587584510000045
是为FSLS_2求出的梯度,wij是WPRL的第i行和第j列中的元素,E表示损失函数。
2)减法抑制层(Subtractive Repression Layer,SRL):
SRL对两个输入特征向量执行逐元素减法,并将新的映射映射到Doutput维空间中:
Figure BDA0002587584510000046
其中WSRL也是Dinput×Doutput矩阵。式(2)对每个输入特征向量的导数为:
Figure BDA0002587584510000047
Figure BDA0002587584510000051
3)级联抑制层(Concatenated Repression Layer,CRL):
CRL将两个输入特征向量连接成一个较大的向量,并将其映射到Doutput维空间:
Figure BDA0002587584510000052
其中WCRL是2Dinput×Doutput矩阵,WCRL-1和WCRL-2是Dinput×Doutput矩阵。式(3)对每个输入特征向量的导数为:
Figure BDA0002587584510000053
Figure BDA0002587584510000054
抑制层的设计是为了防止ACS中学习到的信息被嵌入SLS中,并平衡两个流中的权重比例。PRL能够对两个特征向量的内积进行建模,从而提高了建模能力。SRL是将信息从一个特征嵌入到另一个特征的最直观的方法,可以作为RepNet的基线。如果两个向量相互正交,就可以假设它们之间的相关性很小。与前面的抑制层倾向于直接模拟两个特征之间的关系相比,CRL是两个特征的线性变换和组合,它能够在明确定义的距离测量之外模拟更复杂的情况。
在车辆再识别问题上,最终要做的是在庞大的数据集中,将属于目标车辆的图片识别出来。这样,要识别的目标图像与整个数据库相比,就会出现明显的正负样本不均衡的情况。而这种不平衡会导致两个问题,一是使训练的效率变低,因为在训练中,大多数样本都是简单样本,而这些样本提供给模型的信息大多与我们的目标而言用处不大:二是如果简单样本数量过大,甚至可能会使我们训练的模型性能退化。
当然,在分类问题上这种情况会小一些,但依然存在,主要跟数据集本身的特点有关。一般情况下的解决方案是,对困难样本进行挖掘,比如训练时选用困难样本或者对样本重新加权等。而焦点损失函数(Focal Loss)就是通过降低大量简单样本在训练中所占的权重,来解决正负样本不均衡问题,其实,这也相当于对困难样本进行挖掘的一种形式。
Focal Loss是在基于交叉熵损失上的改进。若是二分类问题,交叉熵损失为:
Figure BDA0002587584510000055
其中,y′为模型输出的预测值,为模型经过激活函数的输出,故它的值在0到1之间。y为模型输入的真实值。对于模型输入的正样本,y′越大,损失就越小;而对于模型输入的负样本而言,y′越小,损失越小。其中y=1,表示模型输入的两幅图像是同一辆车。y=0,表示模型输入的两幅图像不是同一辆车。此时的损失函数在迭代过程中会优化的很慢,甚至无法优化到最优。而Focal Loss对此进行了改进,首先在原有基础上加了一个因子,当γ>0时,就会减少简单样本的损失,进而会更加关注于困难样本。
Figure BDA0002587584510000061
比如说,当γ=2时,正样本中,若预测结果为0.9,那这肯定是简单样本,而此时(1-0.9)的平方就会变得很小,所以损失值就会变小,反过来预测结果是0.1的话,那相对来说,损失值变得很大。同样的道理,对于负样本,预测为0.1的结果要比预测为0.9的损失值要小得多。这样就减小了简单样本对损失的影响,使得模型更关注于那些难以区分的样本。
另外,为了解决样本本身正负比例不均衡的问题,Focal Loss还加入了平衡因子α,
Figure BDA0002587584510000062
其中,γ调节简单样本权重降低的速率,当γ为0时即为交叉熵损失函数,当γ增加时,调整因子的影响也在增加。实验发现γ为2时时最优的。
要判断两张车辆图片的相似程度,需要对它们的特征进行提取,再用距离度量方法对两个特征进行相似度计算。像在视频、图片等领域,研究目标的特征维度一般会很高,这时像欧式距离等距离度量方法的数值会受高维的影响,范围变得不确定,含义也会变得模糊,而余弦相似度在高维的情况下,其取值依然保持[1,-1]。余弦相似性衡量的是维度间取值方向的一致性,它注重维度之间的差异,而不是数值上的差异,所以在本发明车辆再识别的场景下,相似性度量方法采用余弦相似性最为合适。要判别检测结果的正确与否,先设计实验求得最佳阈值来作为设定阈值。通过卷积神经网络提取出两张车辆图片的特征向量,然后计算特征向量间的夹角余弦,得到数值后,再与设定阈值对比,若大于设定阈值,则认为输入图像与目标图像是相同类别的,反之,则认为不是。
步骤2、数据集选择与处理
如果想要利用深度卷积神经网络训练模型,来解决车辆再识别问题,首先就需要大量的数据,本发明采用的车辆数据集是由北京大学视频技术国家工程实验室(NELVT)构建的“VehicleID”数据集。“VehicleID”数据集中的数据,是从中国某个城市中多个监控摄像头在白天捕获的车辆数据。而本发明主要是针对的监控环境下的车辆再识别问题,因此,车辆数据来源于真实世界监控摄像头的VehicleID非常适合作为本发明的数据集。
在得到授权后下载VehicleID数据集。VehicleID数据集中每一个车辆图像都附加了一个整数来作为它的标志信息,整个数据集中共有26328辆车的221567张图像,平均每一辆车会有8.42张图像。VehicleID数据集为车辆的颜色信息和车辆型号信息进行了标记。车辆的颜色信息分别是蓝色、红色、黄色、黑色、灰色、白色和银白色一共7种颜色。车辆的型号信息共250种,比如,大众-朗逸2006-2011款、雪铁龙-世嘉2009-2011款等。
要使用车辆数据集,首先要检查数据集中的标签是否正确,若出现错误,则会严重影响识别结果,经过检查,发现VehicleID数据集中存在一部分错误标签,故将其删去。
在确保标签准确之后,开始处理所有标注有车辆颜色和车辆型号信息的数据。VehicleID数据集是分别给出了标记有车辆颜色信息和车辆型号信息的车辆ID。由于本发明需要将两种特征综合利用,所以对其标签文件进行处理,取两者的交集,得到78957张图片,故该数据库中同时包含车辆ID、车辆颜色、车辆型号三种标签信息的图像共78957幅。将这78957幅图像建立为一个新数据集VehicleID2.0。
将整理后的数据集VehicleID2.0里的数据按9:1的比率划分为训练集和测试集,其中训练集train含图像71061张,测试集text含图像7896张。至此,用于车辆再识别的数据集初步构建完毕。
步骤3、模型训练
1)首先通过在ImageNet训练好的vgg16模型来对网络的权重进行初始化。然后将数据集中的原始图像输入到特征提取网络中进行特征提取训练,调整每个输入图像为224×224。使用卷积神经网络(RepNet)对图像进行处理,从RepNet的全连接层中提取4096维特征向量。然后分成两个分支,一个是负责标签属性分类的粗粒度学习,一个是针对细粒度的相似性学习流。
2)利用标签属性分类分支将车辆的颜色信息和车辆型号信息提取出来,通过抑制层将提取的特征对后面的细粒度相似性学习进行反馈,消除掉嵌入到细粒度学习通道中的粗粒度属性特征,从而专注于细粒度的特征提取训练。
抑制层通过将SLS中第一层的特征与ACS中最终FC层的特征交互来连接SLS和ACS。RepNet中抑制层的输入是两个向量FACS和FSLS_1,它们的维数相同,表示为2048维。抑制层的输出表示为FSLS_2,维数维1024维,是输入到SLS中第二层的特征向量。
3)将细粒度相似性学习分支的损失函数设置成焦点损失函数Focal Loss,它用来降低大量简单样本在训练中所占的权重,来解决正负样本不均衡问题。
4)利用训练数据集对所构建的改进深度相对距离学习模型进行重复训练过程,以确定模型中的网络参数,由此得到训练好的车辆再识别模型。
步骤4、模型测试
1)为了验证数据的可分类性,训练出模型后,使用模型对车辆的颜色、车辆型号及车辆ID的分类来进行测试。
2)在测试集中随机抽取两张图片,对比车辆ID标签后属于同一辆车时记为1,不属于同一辆车记为0,记录两张图片编号与对比结果,共生成一万组测试数据,使用模型来计算出这一万组数据的阈值和准确率,进行统计后得出最佳阈值与准确率,将最佳阈值作为设定阈值。
3)在模型中输入测试集,获取每一张测试图片对应的最终特征向量。
4)计算最终特征向量的夹角余弦,并跟设定阈值进行比对,若大于设定阈值则认为两辆车为同一辆车,最后计算MAP值作为评估模型性能指标。
把与目标图像相同类别的样本认为是正样本,不同类别的样本认为是负样本。根据识别到的结果,统计出检测正确的样本(包括正确检测出是正样本和正确检测出负样本)记为A,把所有的样本记为B,因此,就可以计算这个模型的准确率:
Figure BDA0002587584510000081
把正确检测出是正样本数量记为C,而把所有经检测认为是正样本(无论检测结果是否正确)的数量记为D,则可计算精确率P为:
Figure BDA0002587584510000082
把数据集中所有的正样本记为E,则召回率R为:
Figure BDA0002587584510000083
平均精度AP顾名思义,就是将同一个类别下的所有输入图像所得到的精确率进行平均。输入图像的数量记为F,故
Figure BDA0002587584510000084
为了可以用一个数字来表述出一个模型的性能好坏,我们把一个数据集下所有类别的平均精度取它们的平均值,得到平均精度均值(Mean Average Precision)。
Figure BDA0002587584510000085
其中,G为所有类别的数目。
MAP不是那种量化模型输出的绝对度量,而是一种很好的相对度量。只要我们在流行的公开数据集的上计算MAP,它就可以被用来比较同类型目标检测新老方法的性能好坏。
步骤5、车辆再识别
将两幅车辆图像送入到步骤3所训练好的车辆再识别模型中,得到这两幅车辆图像是否为同一辆车的判定,以实现车辆再识别。
为了验证本文所提出方法的可行性,设计仿真实验进行测试,实验的数据集为VehicleID数据集。模型性能的评估指标为平均精度均值。
实验硬件设施及软件环境:CPU处理器为Intel E5-2620 v4,显卡选用TITAN XP,显存容量12G,平台为Ubuntu16.04操作系统,cuda10.1,cudnn7.5。
(1)车辆再识别模型训练:
模型训练之前需要先初始化权重,所以先通过在ImageNet训练好的vgg16模型来对网络的权重进行初始化。然后我们使用之前建立好的训练数据集train共计71061张图片,来对模型的特征提取网络进行训练,将图像尺寸归一为224×224,batch_size=16,FocalLoss中gamma=2,lr=0.001,momentum=0.9,weight_decay=1*10-8。每迭代一次进入模型的照片为16张,每10次迭代记录一次准确率与损失值,共训练64个epoch。训练过程中,准确率以及loss的曲线如图4和5所示。从图中可以看出,loss值与accuracy值逐渐收敛,趋于平稳后,模型训练完成,取最后一次训练为模型。
(2)车辆标签属性分类实验:
为了验证数据的可分类性,使用训练好的模型对测试数据集text中的车辆图像进行车辆外观特征分类实验,输入图像归一化为224×224,训练时使用默认参数,batch_size=1,来对测试数据集text中的车辆的颜色、车辆型号进行分类。
模型所采用的RepNet有两个独立不同的通道。这里用到的就是模型对粗粒度的标签属性学习,它只对车辆的打了标签的外部特征进行提取,然后进行识别分类。这个实验的目的一是可以验证本文所用数据集数据的可分类性,二是也可作为一个车辆颜色识别和车辆信号识别的模型来用,最主要的是,它可以将提取到的这些信息通过抑制层来对细粒度相似性学习进行反馈,即只让颜色和车辆型号都一样的车辆来进行细粒度相似性比较,这样就可以节约识别时间,提高识别精度。
对分类的准确率进行统计,如表1所示,结果为车辆颜色识别率是96.28%,车辆型号识别率为为98.18%。
表1车辆颜色与型号分类准确率
Figure BDA0002587584510000091
因为我们需要的是车辆颜色与车辆型号都一样的图片,所以应该要的是整体特征准确率的联合概率,因此需要将独立统计的车辆模型与车辆颜色的识别准确率联合起来,得到最终准确率为94.532%。
(3)车辆再识别有效性测试实验:
为了验证本文提出的改进DRDL模型对车辆再识别问题的有效性,故设计了测试实验。
1)从数据集中随机抽取2个样本进行对比,利用其自身所携带的车辆ID标签,可判别它们两个是否为同一辆车,是同一辆车判别为1,不是判别为0。创建一个新的文件,将生成数据存入其中,数据中每一行包含两张图片的编号信息,以及它们两个的判别结果。其中使里面的正负样本各一半,生成的数据量为10000组。
2)将生成的数据,输入进模型,来计算这些数据的阈值与准确率,并统计出最佳准确率和对应的最佳阈值,如图6。把得到的最佳阈值设为设定阈值。
经过统计后,得到当阈值为0.322时,准确率为最高,达到99.7%,故最佳阈值为0.322,故将模型设定阈值设为0.322。
3)将车辆测试集输入模型,使用训练好的模型提取测试集特征向量,然后计算夹角余弦,把得到的余弦相似度跟设定阈值进行比对,若大于设定阈值,则该车辆图像被认定为目标车辆。
(4)车辆再识别对比实验:
为了验证本发明算法的对车辆再识别问题的有效性,现选用平均精度均值MAP作为模型有效性的评估标准,并利用其具有相对度量的特性,可以被用来比较同类型目标检测新老方法的性能好坏,故将本发明方法与以下方法进行对比:
①Hongye Liu等人提出一种深度相对距离学习模型,利用双分支神卷积神经网络将车辆图像映射到欧式空间,L2距离可以用于相似度估计,其根据三重损失函数,提出一个新的函数来代替三重函数:耦合簇损失(CCL)。特征提取网络为以VGG CNN M 1024为基础的混合差分网络。
②Zhang X等人设计了一个多任务的深度学习框架,利用卷积神经网络将分类损失和相似性损失综合在一起进行优化,这样既可以产生分类结果,又能产生识别特征。作者选用的分类函数是softmax,相似性损失为三元损失函数。
③Yang Biao等人在特征提取网络上选用了网络层数更深的ResNet网络,其深度提取更好的结果,而其残差特性可保证模型在学习中网络准确率饱和时,不会出现性能下降的情况。而损失函数采用了可加速收敛的Arc loss。
表2车辆再识别实验对比
方法 MAP
1○Softmax+triplet 0.320
2○混合差分网络+CCL 0.546
3○ResNet+ARC 0.632
本发明 0.709
如表2所示,本发明所提出方法最终的MAP值较原模型提高了约0.16,与其他模型相比也有一定的进步。而本发明在做车辆再识别任务之外,另外做了车辆型号识别与车辆颜色识别实验,与改进之前的网络模型相比,其车型识别准确率提高了约14.7%,达到98.18%,而车辆颜色识别准确率也达到了96.28%,证明了本文的有效性。
需要说明的是,尽管以上本发明所述的实施例是说明性的,但这并非是对本发明的限制,因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下,凡是本领域技术人员在本发明的启示下获得的其它实施方式,均视为在本发明的保护之内。

Claims (4)

1.一种基于改进深度相对距离学习模型的车辆再识别方法,其特征是,包括步骤如下:
步骤1、构建改进深度相对距离学习模型,该改进深度相对距离学习模型将图像深度卷积后的特征分为两个流:一个为属性分类流,其具有softmax损失函数;一个为相似性学习流,其具有焦点损失函数;同时在两个流之间添加抑制层,该抑制层将相似性学习流的第一层特征与属性分类流中最终层特征交互后作为相似性学习流的最终层特征;
步骤2、将给定的车辆数据集分成训练集和测试集,其中车辆数据集中的图像为同时包含车辆ID、车辆颜色和车辆型号三种标签标签的图像;
步骤3、利用训练集对步骤1所构建的改进深度相对距离学习模型进行训练,以确定模型中的网络参数,由此得到训练好的车辆再识别模型;在训练过程中,将训练集中的图像输入到深度卷积网络进行特征提取,并将所得到的特征分成两个分支即标签属性分类分支和相似性学习分支;标签属性分类分支对车辆的颜色信息和车辆型号信息进行特征提取,并通过抑制层将标签属性分类分支所提取的特征对相似性学习分支分支的细粒度相似性学习进行反馈,消除嵌入到细粒度相似性学习中的粗粒度属性特征;
步骤4、利用测试集对步骤3所得到的训练好的车辆再识别模型进行测试,以评估该训练好的车辆再识别模型的性能;在测试过程中,从测试集中随机抽取两张图像,并对比这两张图像的车辆ID标签确定其是否为同一辆车,并记录这两张图像的编号和对比结果,生成一组测试数据;使用训练好的车辆再识别模型来计算出预定组数的测试数据的阈值和准确率,并进行统计后得出最佳阈值与准确率,将最佳阈值作为设定阈值;将测试集输入到训练好的车辆再识别模型中,获取每一幅图像对应的最终特征向量,并计算该每组测试数据中的两幅图像的最终特征向量的夹角余弦;将夹角余弦与设定阈值进行比对,若大于设定阈值则认为这两幅图像为同一辆车,否则认为这两幅图像为同一辆车;最后计算MAP值作为评估模型性能指标;
步骤5、将两幅车辆图像送入到步骤3所训练好的车辆再识别模型中,得到这两幅车辆图像是否为同一辆车的判定,以实现车辆再识别。
2.根据权利要求1所述的一种基于改进深度相对距离学习模型的车辆再识别方法,其特征是,步骤1中,抑制层为级联抑制层。
3.根据权利要求1所述的一种基于改进深度相对距离学习模型的车辆再识别方法,其特征是,步骤1中,焦点损失函数为:
Figure FDA0002587584500000011
式中,Lft为损失值,α为平衡因子,y′为模型输出的预测值,y为模型输入的真实值,γ为聚焦参数。
4.根据权利要求1所述的一种基于改进深度相对距离学习模型的车辆再识别方法,其特征是,步骤2中,给定的车辆数据集为VehicleID数据集。
CN202010685999.3A 2020-07-16 2020-07-16 一种基于改进深度相对距离学习模型的车辆再识别方法 Active CN111914911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010685999.3A CN111914911B (zh) 2020-07-16 2020-07-16 一种基于改进深度相对距离学习模型的车辆再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010685999.3A CN111914911B (zh) 2020-07-16 2020-07-16 一种基于改进深度相对距离学习模型的车辆再识别方法

Publications (2)

Publication Number Publication Date
CN111914911A true CN111914911A (zh) 2020-11-10
CN111914911B CN111914911B (zh) 2022-04-08

Family

ID=73281032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010685999.3A Active CN111914911B (zh) 2020-07-16 2020-07-16 一种基于改进深度相对距离学习模型的车辆再识别方法

Country Status (1)

Country Link
CN (1) CN111914911B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949528A (zh) * 2021-03-12 2021-06-11 长安大学 一种基于时空重要性的隧道内车辆再识别方法
WO2021213157A1 (zh) * 2020-11-20 2021-10-28 平安科技(深圳)有限公司 模型训练方法、识别方法、装置、设备及存储介质
CN113627477A (zh) * 2021-07-07 2021-11-09 武汉魅瞳科技有限公司 车辆多属性识别方法及系统
CN114266973A (zh) * 2021-12-23 2022-04-01 华侨大学 基于人车部件联合学习的载人电动车再识别方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304683A1 (en) * 2010-01-19 2013-11-14 James Ting-Ho Lo Artificial Neural Networks based on a Low-Order Model of Biological Neural Networks
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN108171136A (zh) * 2017-12-21 2018-06-15 浙江银江研究院有限公司 一种多任务卡口车辆以图搜图的系统及方法
CN108647665A (zh) * 2018-05-18 2018-10-12 西安电子科技大学 基于深度学习的航拍车辆实时检测方法
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
CN109214441A (zh) * 2018-08-23 2019-01-15 桂林电子科技大学 一种细粒度车型识别系统及方法
CN109359684A (zh) * 2018-10-17 2019-02-19 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN109492583A (zh) * 2018-11-09 2019-03-19 安徽大学 一种基于深度学习的车辆重识别方法
CN110084139A (zh) * 2019-04-04 2019-08-02 长沙千视通智能科技有限公司 一种基于多分支深度学习的车辆重识别方法
CN110705384A (zh) * 2019-09-12 2020-01-17 天津大学 一种基于跨域迁移增强表示的车辆再识别方法
CN111382690A (zh) * 2020-03-05 2020-07-07 南京理工大学 基于多损失融合模型的车辆再识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304683A1 (en) * 2010-01-19 2013-11-14 James Ting-Ho Lo Artificial Neural Networks based on a Low-Order Model of Biological Neural Networks
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN107527068A (zh) * 2017-08-07 2017-12-29 南京信息工程大学 基于cnn和域自适应学习的车型识别方法
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN108171136A (zh) * 2017-12-21 2018-06-15 浙江银江研究院有限公司 一种多任务卡口车辆以图搜图的系统及方法
US10140553B1 (en) * 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
CN108647665A (zh) * 2018-05-18 2018-10-12 西安电子科技大学 基于深度学习的航拍车辆实时检测方法
CN109214441A (zh) * 2018-08-23 2019-01-15 桂林电子科技大学 一种细粒度车型识别系统及方法
CN109359684A (zh) * 2018-10-17 2019-02-19 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN109492583A (zh) * 2018-11-09 2019-03-19 安徽大学 一种基于深度学习的车辆重识别方法
CN110084139A (zh) * 2019-04-04 2019-08-02 长沙千视通智能科技有限公司 一种基于多分支深度学习的车辆重识别方法
CN110705384A (zh) * 2019-09-12 2020-01-17 天津大学 一种基于跨域迁移增强表示的车辆再识别方法
CN111382690A (zh) * 2020-03-05 2020-07-07 南京理工大学 基于多损失融合模型的车辆再识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAGHIR ALFASLY等: "Multi-Label-Based Similarity Learning for Vehicle Re-Identification", 《IEEE》 *
战荫伟等: "车辆颜色和型号识别算法研究与应用", 《广东工业大学学报》 *
胡聪等: "基于改进深度相对距离学习框架的车辆再识别算法", 《仪器仪表学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021213157A1 (zh) * 2020-11-20 2021-10-28 平安科技(深圳)有限公司 模型训练方法、识别方法、装置、设备及存储介质
CN112949528A (zh) * 2021-03-12 2021-06-11 长安大学 一种基于时空重要性的隧道内车辆再识别方法
CN112949528B (zh) * 2021-03-12 2023-08-15 长安大学 一种基于时空重要性的隧道内车辆再识别方法
CN113627477A (zh) * 2021-07-07 2021-11-09 武汉魅瞳科技有限公司 车辆多属性识别方法及系统
CN114266973A (zh) * 2021-12-23 2022-04-01 华侨大学 基于人车部件联合学习的载人电动车再识别方法及系统

Also Published As

Publication number Publication date
CN111914911B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN111914911B (zh) 一种基于改进深度相对距离学习模型的车辆再识别方法
Luo et al. MIO-TCD: A new benchmark dataset for vehicle classification and localization
Li et al. Traffic light recognition for complex scene with fusion detections
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
Du et al. Weak and occluded vehicle detection in complex infrared environment based on improved YOLOv4
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110222604B (zh) 基于共享卷积神经网络的目标识别方法和装置
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN110969160A (zh) 一种基于深度学习的车牌图像校正、识别方法及系统
Xiang et al. Lightweight fully convolutional network for license plate detection
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN111046789A (zh) 一种行人重识别方法
CN113159024A (zh) 一种基于改进YOLOv4的车牌识别技术
Han et al. A method based on multi-convolution layers joint and generative adversarial networks for vehicle detection
CN110188828A (zh) 一种基于虚拟样本集成学习的图像来源鉴别方法
Cao et al. Joint 3D reconstruction and object tracking for traffic video analysis under IoV environment
CN110135428B (zh) 图像分割处理方法和装置
CN113744316A (zh) 一种基于深度神经网络的多目标跟踪方法
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
Zhang et al. Small target detection based on squared cross entropy and dense feature pyramid networks
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
Xia et al. Abnormal event detection method in surveillance video based on temporal CNN and sparse optical flow
CN108345943B (zh) 一种基于嵌入编码与对比学习的机器学习识别方法
CN114567798B (zh) 一种针对互联网短视频变种的溯源方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201110

Assignee: Guilin Weisichuang Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2022450000187

Denomination of invention: A vehicle recognition method based on improved depth relative distance learning model

Granted publication date: 20220408

License type: Common License

Record date: 20221125

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201110

Assignee: Guilin Great Information Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2022450000221

Denomination of invention: A vehicle recognition method based on improved depth relative distance learning model

Granted publication date: 20220408

License type: Common License

Record date: 20221206

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201110

Assignee: Guilin Zhanzhi Measurement and Control Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2022450000384

Denomination of invention: A vehicle recognition method based on improved depth relative distance learning model

Granted publication date: 20220408

License type: Common License

Record date: 20221226