CN108764018A - 一种基于卷积神经网络的多任务车辆再识别方法及装置 - Google Patents
一种基于卷积神经网络的多任务车辆再识别方法及装置 Download PDFInfo
- Publication number
- CN108764018A CN108764018A CN201810289603.6A CN201810289603A CN108764018A CN 108764018 A CN108764018 A CN 108764018A CN 201810289603 A CN201810289603 A CN 201810289603A CN 108764018 A CN108764018 A CN 108764018A
- Authority
- CN
- China
- Prior art keywords
- picture
- vehicle
- data set
- label
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种基于卷积神经网络的多任务车辆再识别方法及装置,所述方法包括:S110.建立车辆再识别数据集;S120.调整图片大小,并随机形成相应图片对;S130.将图片对分别输入网络进行训练;S140.进行图片相似度排序或优化,车辆再识别。本申请基于CNN的多任务方法进行车辆的再识别任务,针对目前主流车辆再识别CNN模型的缺点,提出了结合识别模型和校验模型的基于CNN的多任务模型,不仅拥有识别模式的优点,也有校验模型的优点,提高了车辆再识别的精确率,并且采用优化算法,有实现简单,训练速度快的特点,便于在实际环境下应用。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于卷积神经网络的多任务车辆再识别方法及装置。
背景技术
近年来,随着监控摄像头捕捉到的数据越来越大,对监控数据分析能力的需求也在迅速增加。但是,与数据增大的速度相比,数据分析技术的发展还远达不到要求。车辆再识别技术,旨在弥补固定摄像头角度局限的问题,可以跨摄像头检索出所需的特定车辆,不仅省去人为检索的步骤,还提高效率。因此,合理有效的利用车辆再识别技术,对于刑侦任务,智能监控任务等都具有巨大意义。
与行人再识别相似,车辆再识别中,车辆会受到光照强度、角度、遮拦物等复杂的环境影响,同一辆车在不同环境下表现得各不相同对车辆再识别增大了很大的难度。因此,开发出一种识别能力强大,抗干扰能力强的再识别方法是非常必要的。目前,车辆再识别技术主要还是应用在图像库中,图像库由视频剪切得到。因此,需要提供一种基于卷积神经网络的多任务车辆再识别方法及装置。
发明内容
本发明的目的在于提供一种基于卷积神经网络的多任务车辆再识别方法及装置,近年来,深度学习的热潮使人工智能更加普及化。车辆再识别作为计算机视觉领域中一个既具有研究价值同时又具有挑战性的热门话题,越来越受到研究者的重视。
为达到上述目的,本发明采用下述技术方案:
一种基于卷积神经网络的多任务车辆再识别方法,包括:
S110.建立车辆再识别数据集;
S120.调整图片大小,并随机形成相应图片对;
S130.将图片对分别输入网络进行训练;
S140.进行图片相似度排序或优化,车辆再识别。
进一步地,所述图片包括三个标签:第一标签,第二标签和第三标签,
所述第一标签用于标示图片的编号,所有的图片的编号都是唯一的;
所述第二标签用于标示摄像头的编号;
所述第三标签用于标示车辆。
进一步地,S110所述建立车辆再识别数据集包括训练数据集,探测数据集和综合数据集;
所述训练数据集,探测数据集和综合数据集内包括相同车辆的图片,其中相同车辆的图片包括不同探测仪拍摄得到的;
优选地,所述训练数据集,综合数据集和探测数据集在所有图片中所占比例依次减小。
进一步地,S120所述调整图片大小包括按照设定裁剪方式进行随机裁剪,之后随机打乱形成相应图片对。
进一步地,S130所述进行网络训练包括:对探测的数据集进行过滤和分类,完成网络训练。
进一步地,S140所述排序优化包括:
对图片进行相似度的计算并进行排序,生成识别结果;
优选地,包括:
S1301.通过训练完的网络,对综合数据集里的图片和对探测数据集里的图片进行特征的提取;
S1302.根据相似度把综合数据集里的图片按相似度从高到低进行排列;
S1303.对探测的数据集的目标图片与综合数据集里的每张图片进行相似度的比较,根据比较结果进行车辆识别;
或者对图片进行优化,生成识别结果;
优选地,采用二次检索的排序优化对图片进行优化。
一种基于卷积神经网络的多任务车辆再识别装置,其特征在于,所述装置包括:
典型训练集建立模块,用于建立车辆再识别数据集;
数据集规范化模块,用于调整图片大小,并随机形成相应图片对;
网络训练模块,用于将图片对分别输入训练网络进行训练;
特征提取模块,根据输入的图片进行特征提取;
车辆再识别模块,用于图片相似度排序或优化,车辆再识别。
进一步地,所述典型训练集建立模块建立车辆再识别数据集包括将视频剪切为图片,并对图片设置标签;
所述图片包括三个标签:第一标签,第二标签和第三标签,
所述第一标签用于标示图片的编号,所有的图片的编号都是唯一的;
所述第二标签用于标示摄像头的编号;
所述第三标签用于标示车辆;
优选地,所述建立车辆再识别数据集包括训练数据集,探测数据集和综合数据集;
所述训练数据集,探测数据集和综合数据集内包括相同车辆的图片,其中相同车辆的图片包括不同探测仪拍摄得到的;
优选地,所述训练数据集,综合数据集和探测数据集在所有图片中所占比例依次减小。
进一步地,所述数据集规范化模块按照设定向量进行随机裁剪,之后随机打乱形成相应图片对。
进一步地,车辆再识别模块进行图片相似度排序或优化包括:
对图片进行相似度的计算并进行排序,生成识别结果;
优选地,包括:
S1301.通过训练完的网络,对综合数据集里的图片和对探测数据集里的图片进行特征的提取;
S1302.根据相似度把综合数据集里的图片按相似度从高到低进行排列;
S1303.对探测的数据集的目标图片与综合数据集里的每张图片进行相似度的比较,根据比较结果进行车辆识别;
或者对图片进行优化,生成识别结果;
优选地,采用二次检索的排序优化对图片进行优化。
本发明的有益效果如下:
本发明实施例利用了基于卷积神经网络(CNN)的多任务方法进行车辆的再识别任务。对于在智能监控,刑侦领域中,该方法不仅可以快速定位所需的车辆,而且不需要人为的检索。与传统方法相比,由于充足的训练数据,基于CNN的多任务车辆再识别方法效果远远好于传统方法。对于目前主流的基于CNN的方法,此方法结合了目前常用的校验模型(verification model)和识别模型(identification model)比单模型方法提升许多。不仅拥有识别模式的优点,也有校验模型的优点,提高了车辆再识别的精确率,并且采用的ranking优化算法,有实现简单,训练速度快的特点,便于在实际环境下应用。本系统的所有模块都是完全自动的,不需要人工干预,因此能够非常容易独立运行或作为一个子模块嵌入到各类车辆再识别系统中去,具有广泛的应用前景。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明;
图1为本发明实施例提供了一种基于卷积神经网络的多任务车辆再识别方法的流程图;
图2本发明实施例提供的一种基于卷积神经网络的多任务车辆再识别方法的框架结构图;
图3为本发明实施例提供的一种基于卷积神经网络的多任务车辆再识别方法训练的流程图;
图4为本发明实施例提供的一种基于卷积神经网络的多任务车辆再识别方法测试的流程图;
图5为本发明实施例提供的一种基于卷积神经网络的多任务车辆再识别装置具体结构图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
为了弥补目前固定摄像头的视觉局限问题,本发明提供了一种基于卷积神经网络的多任务车辆再识别方法及装置,可以结合以下附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不限定本发明。
实施例一
根据本发明的一个方面,本实施例提供一种基于卷积神经网络的多任务车辆再识别方法,如图1所示,该方法包括:
S110.建立车辆再识别数据集;
S120.调整图片大小,并随机形成相应图片对;
S130.将图片对分别输入训练网络进行训练;
S140.进行图片相似度排序或优化,车辆再识别。
S110所述建立车辆再识别数据集包括:
通过若干个监控摄像头获取监控视频,其中这个摄像头应该相互具有一定的距离,即他们的监控视线没有重叠保证接部分。从监控视频中按帧划分相应图片,每张图片应该具有3个标签。标签一是图片的id,所有的图片的标签都是唯一的;标签二是摄像头的标签,即该图片是由几号摄像头拍摄得到;标签三是汽车的标签,每辆车拥有一个标签,相同车的标签是相同的。
将所述图像样本集的每幅图像进行标记,使同一辆车的标记相同,即标签三相同,并且对于每辆车还要区分是哪个摄像头所拍摄的,例如,汽车a被A摄像头被拍摄得到图片a1,a2,又被B摄像头拍摄得到a3,a4。四张图片拥有不同的标签,分别是(a1,a2,a3,a4),但是他们都是同一辆车a。
因为是跨设备检索,对于每一个被检索对象(probe),在图像库(gallery)中检索后,还需要删除和被检索图片在同一个摄像头拍摄到的图片,对图片进行过滤。因为该发明,是旨在跨设备的检索,对于同摄像头下的图片暂时不予考虑,所以在检索时对图片进行过滤,如果排名中遇到和probe同一摄像头拍下的图片,称之为无效图片(junk),即可直接去掉,不在考虑范围内。
通过以上规则,保证每辆车至少被2个摄像头拍摄到。并把所有图片分成3份,在本实施例中所述训练数据集,探测数据集和综合数据集对应称之为训练集,probe图片集,和gallery图片集。Gallery是用来被检索的图像库,probe里的图像是用来检索的图片,数量一般大于probe的数量。训练集约占所有图片的60%,gallery约占所有图片的37%,probe约占所有图片的3%。并且保证,所有集合中有相同的车辆的图片,其中相同车辆的图片又还有同一个摄像头拍摄得到的,和不同摄像头拍摄得到的。
S120.调整图片大小,并随机形成相应图片对:
由于角度距离的原因,每张图片中汽车的大小可能是不同的,所有要对图片进行剪切。
裁剪时按照神经网络所需大小,另外大小是一样的,只是可能有的从中心裁剪,有的是边缘。提取的每张图片用一个1×1×4096的向量来进表示。如果记gallery的图片个数为m,probe里的图片个数为n,那么gallery里的图片即可用一个m*4096的矩阵来表示,同理,probe里的图片则用n*4096的向量表示;先以汽车为中心,把每张图片调整大小为256×256,之后为了防止训练过拟合,我把所有的图片通过电脑随机剪切成224×224大小。
先把所有的训练数据顺序随机打乱,然后抽取合适大小的(batchsize)数据,作为网络模型的一个支路(branch),另一个支路通过找第一个branch数据的同类或不同类作为输入。
具体地说,令batchsize为48。第一个branch中随机抽取48个图片作为输入,接着通过这48张图片中的前24个寻找他们具有相同标签的一张图片作为输入,这24对图片称之为positive pairs,后24个寻找他们具有不同标签的图片再次作为第二个branch的输入,这24对图片称之为negative pairs。
S130.将图片对分别输入网络进行训练:
根据两种常用的CNN模型,识别模型(identification model)和校验模型(verification model),提出了多任务的CNN模型,同时用识别模型和校验模型的特性来训练网络。
识别模型即为分类模型,在最后通过softmax函数对数据进行分类,softmax函数见如下公式。
其中,θ是待求的参数,对于与每个输出,会输出所有类别的概率,概率最大的则被指定为该类别。该模型的损失函数一般使用交叉熵(Cross Entropy)表示为:
其中,p表示真实分布,q表示训练后模型的预测分布。该模型利用了标记信息,但是却没有计算图片之间的相似度。
进一步地,校验模型又叫(Siamese model),是一种相似性度量方法,一般应用于类别多但是样本数量少的情况下。主要思想是通过将输入通过函数映射到目标的空间,然后使用简单的距离度量方法例如欧氏距离,进行形似度的计算。该网络淡化了标签,使得网络具有很好的扩展性。它的特点是它接受两个图片作为输入,而不是一张图片作为输入,而且其中使用的网络模型共享参数(share wights)。它使用对比损失函数(contrastiveloss)见如下公式.
L=yd2+(1-y)max(margin-d,0)2
其中,d表示经过特征提取后的两个图片的距离,d=‖v1-v2‖2,v1,v2表示两个图片的特征。y表示两个图片是否相似,y为1表示相似,反之则为0。marign表示一个特定的阈值。该方法计算了两个图片的相似度,但是却没有考虑图片的标记内容。
进一步地,针对以上两种模型的缺点,并且结合他们的优点,提出了多任务的车辆再识别模型,既能利用图片的标记信息,又计算了图片之间的相似度;
该模型基于校验模型,把两个模型的损失函数结合起来同时训练这个网络。
进一步地,该模型把一对图片对作为输入,并且拥有两个相同的网络模型,他们之间共享权重(share weights)。该模型共有两种损失函数,其中一个是校验模型的损失函数,另两个是识别模型的损失函数。通过线性相加的形式,把三个损失函数结合起来作为最后的损失函数,通过反向传播机制来同时训练两个共享权重的网络。
进一步地,在识别模型的损失值上乘0.5的权重系数,在校验模型的损失值上乘1的权重系数,最后再把三个值相加,作为最后的损失值;
见图2,本发明的网路结构图。使用的时ResNet-50(残差网络),为了适应数据集,去掉原网络的最后一层全连接层。其中v1,v2表示一个1×1×4096的向量,然后对于这两个向量分别进行卷积和一个softmax函数对他的类别进行预测。其中识别模块的损失函数使用entry-cross(交叉熵)的损失函数。
其中,v为4096维的特征向量,l为输入的标签,q为经过softmax预测的各类概率,θ为softmax函数的参数即q=softmax(θI·v),K为数据集的类别个数。
对于校验模块,在提取特征层后又加了一个diff层,该层没有参数,计算这两个特征向量的相似度,即是对两个输入进行欧式距离的计算即距离越大,表示相似度就越小。其中vs还是一个4096维的向量。
之后,并没有和传统的暹罗网络Siamese model一样使用对比损失函数,还是使用了交叉熵损失函数。把判断是否相似的问题看作以一个二分类问题,具体见公式
其中,v即vs,s为是否相同的标志,θ为softmax函数的参数即q=softmax(θs·vs)。
该模型一共有三个损失函数,其中两个属于识别模块,一个属于校验模块。在识别模块的损失值乘0.5的权重系数,在校验模块乘1的权重系数,加起来作为最后的损失值对网络进行训练。
S140.进行图片相似度排序或优化,车辆再识别
在网络训练完后,通过训练完的网络,对gallery里的图片和对probe里的图片进行特征的提取。
进一步地,Probe是测试步骤时,当作探针去gallery检索的图片,并通过相似度把gallery里的图片按相似度从高到低进行排列。
Gallery是用来被检索的图像库,数量一般大于probe的数量。
提取的每张图片用一个1×1×4096的向量来进v1,v2表示。如果记gallery的图片个数为m,probe里的图片个数为n,那么gallery里的图片即可用一个m*4096的矩阵来表示,同理,probe里的图片则用n*4096的向量表示;
在提取特征完后,要用probe里的每张图片对gallery里的每张图片进行相似度的计算,并排序。
进一步地,对于一张probe的图片,先用它与gallery里的每张图片进行相似度的比较。这里使用欧式距离的度量方法,即距离越大则相似度越小。
dist=‖v1-v2‖2
这里v1,v2表示两张图片的特征,dist表示两张图片之间的距离。
对于其他方法通过上述步骤之后,经过对gallery的图片相似度排序后,就可以判断是否和该probe图片同一辆车了。
简单地说,gallery是一个图像库,probe通过在gallery这个图像库里检索图片,通过相似度的比较并且排序,最相似的一个或几个认为就是和该probe是同一辆车。
实施例二
根据本发明的另一个方面,本实施例与实施例一不同的是,本实施例中采用优化方法进行车辆再识别。
在这里采取了re-query的优化方法,即二次检索的排序优化方法。用G来表示图像库,G={gj|j=1,2,…,n},gi表示图像库里的一张图片,n是图像库里图片的个数。
对于被检索对象库里的每张图片记作p,把检索对象与测试图像库里每张图片进行相似度计算,可以得到一个初始排序,记作R={rij|i=1,2,…,k;j=1,2,…,n},其中k为被检索图片库的图片个数,所以rij表示对于被检索对象pi,gj所在的排名。在初始排序中,取前m个图片作为新的被检测对象,再次对图像库进行相似度的计算并进行排序,使用杰卡德距离进行距离度量:
其中,Mm(p)在第一个步骤时以p为probe时的前m个图片,同理Mm(p′)表示在第二个再次检索query时以p′为probe时的前k个图片。r(p,p′)表示当p为probe时,p′在p的相似度的排名。
同时,为了把原被检测对象在新的检测对象的排序情况,使用β来描述它:
β=log(r(pi,gij)·r(gij,pi))
其中,r(pi,gij)是当pi为被检测对象时gij的排名。r(pi,gij)是当gij为被检测对象时pi的排名。
最后通过公式来对最后排序的结果进行优化。
r′(gi)=r(gi)·β·d(gi)
最后,排名靠前的就认为该图片和probe是同一辆车。其中r(gi)是原始排序,d(gi)是关于gi杰卡德距离。
具体地,通过训练的网络,对probe里的图片和gallery里的图片进行特征的提取,每张图片用一个1×1×4096维的向量表示。
用G来表示gallery里的图片,G={gi|i=1,2,3,…,n},其中gi表示gallery里的图片,n是gallery图片的个数。对于每个probe,通过欧氏距离可以对gallery里的图片进行相似度的计算,可以得到一个初始的排序r={gi,j|i=1,2,…k;j=1,2,…,n},其中k为probe里的图片个数。
之后在初始排名r中,取相似度最高的前m个作为新的probe集合,记M(p′)={gj|g=1,2,…,m}。使用新的probe里的图片再次在gallery里检索图片,同样地,每个probe也可以得到一个相似度的排序。根据社交网络地核的思想:如果两个人是好朋友,他们相对会有更多的共同朋友。具体来说,如果两辆车相似,那么的值会越大。
其中Mm(p)表示,以p为probe得到的相似度最高的前m个图片的集合,同理Mm(p′)以p′为probe第二次得到的相似度最高的前m个图片集合。
通过一下公式计算第二次的排名。
其中,r(p,p′)表示,使用原始probe图片检索时,新的probe图片p′在gallery的相似度排名。
以上只考虑了,初始检测对象在图像库里的排名,为了把原被检测对象在新的检测对象的排序情况,使用β来描述它:
β=log(r(pi,gij)·r(gij,pi))
最后,得到最后的排名。使用以下公式对他们进行结合。
r′(gi)=r(gi)·β·d(gi)
其中,其中r(gi)是原始排序,d(gi)是关于gi杰卡德距离。
相似度最高的一个或几个就是所需的特定车辆,即有很大的可能性和相应的probe车辆是同一辆车。
实施例三
该实施例提供了一种基于卷积神经网络的多任务车辆再识别方法的检测装置,该装置的具体结构如图5所示,包括:
典型训练集建立模块51,利用路面上的摄像头拍下的视频,对视频进行切割。
规范化数据集里的图片52,把图片进行顺序随机打乱,由于输入是图片对,所以还需要对图片的输入进行一定的配对处理,保证之后的训练更加具有代表性。
网络训练模块53,把预处理完的图片输入到基于CNN的多任务模型中,然后,这里使用了3个损失函数,给三个损失函数分配不同的权重系数然后相加作为最后的损失值,来训练网络。
特征提取模块54,使用网络训练模块后,在使用训练的网络把probe集和gallery集里的图片进行特征的提取,每张图片用一个1×1×4096维的向量。
车辆的再识别模块55,将每张在probe集合里的图片与gallery里的图片进行相似度的计算,通过re-query的排序ranking优化方法,生成最后的片名,相似度高的就是所检索的车辆,即有很大的可能性和probe车辆属于同一辆车。
进一步地,所述的典型训练集建立模块41,过若干个监控摄像头获取监控视频,其中这个摄像头应该相互具有一定的距离,即他们的监控视线没有重叠的部分。从监控视频中按帧划分相应图片。每张图片应该具有3个标签。标签一是图片的id,所有的图片的标签都是唯一的;标签二是摄像头的标签,即该图片是由几号摄像头拍摄得到;标签3是汽车的标签,每辆车拥有一个标签,相同车的标签是相同的。
通过以上规则,保证每辆车至少被2个摄像头拍摄到。并把所有图片分成3分,分别是训练集,gallery图片集,和probe图片集。
进一步地,所述地网络训练模块43,把图片分别输入两个branch的网络即多任务地网络模型进行训练。
识别模块的损失函数使用cross-entropy(交叉熵)的损失函数
其中,v为4096维的特征向量,l为输入的标签,q为经过softmax预测的各类概率,θ为softmax函数的参数即q=softmax(θI·v),K为数据集的类别个数。
对于校验模块,在提取特征层后又加了一个diff层,该层没有参数,计算这两个特征向量的相似度,即是对两个输入进行欧式距离的计算即其中vs还是一个4096维的向量。
之后,还是使用了交叉熵损失函数。把判断是否相似的问题看作以一个二分类问题,具体见如下公式
其中,v即vs,s为是否相同的标志,θ为softmax函数的参数即q=softmax(θs·vs)。
该模型一共有三个损失函数,其中两个属于识别模块,一个属于校验模块。在是被模块的损失值乘0.5的权重系数,在校验模块乘1的权重系数,加起来作为最后的损失值对网络进行训练。
进一步地,所述地车辆的再识别模块45,用probe对gallery进行检索,获得所需图片
通过训练的网络,对probe里的图片和gallery里的图片进行特征的提取,每张图片用一个1×1×4096维的向量表示。
用G来表示gallery里的图片,G={gi|i=1,2,3,…,n},其中gi表示gallery里的图片,n是gallery图片的个数。对于每个probe,通过欧氏距离可以对gallery里的图片进行相似度计算,可以得到一个初始排序r={gi,j|i=1,2,…k;j=1,2,…,n},其中k为probe里的图片个数。
之后在初始排名r中,取相似度最高的前m个作为新的probe集合,记M(np)={gj|j=1,2,…,m}。使用新的probe里的图片再次在gallery里检索图片,同样地,每个probe也可以得到一个相似度的排序。根据社交网络地核的思想:如果两个人是好朋友,他们会相对会有更多的共同朋友。具体来说,如果两辆车相似,那么的值会越大。
其中Mm(p)表示,以p为probe得到的相似度最高的前m个图片的集合,同理Mm(p′)以p′为probe第二次得到的相似度最高的前m个图片集合。
通过一下公式计算第二次的排名。
其中,r(p,p′)表示,使用原始probe图片检索时,新的probe图片np在gallery的相似度排名。
以上只考虑了,初始检测对象在图像库里的排名,为了能把原被检测对象在新的检测对象的排序情况与其相结合,我们使用β来描述该关系:
β=log(r(pi,gij)·r(gij,pi))
最后,得到最后的排名使用以下公式对他们进行结合。
r′(gi)=r(gi)·β·d(gi)
其中,其中r(gi)是原始排序,d(gi)是关于gi的杰卡德距离。
相似度最高的几个就是所需的特定车辆,即有很大的可能性和相应的probe车辆是同一辆车。
用本发明实施例的装置进行基于CNN的多任务车辆再识别的方法具体过程与前述方法实施例类似,此处不再赘述。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.一种基于卷积神经网络的多任务车辆再识别方法,其特征在于,包括:
S110.建立车辆再识别数据集;
S120.调整图片大小,并随机形成相应图片对;
S130.将图片对分别输入网络进行训练;
S140.进行图片相似度排序或优化,车辆再识别。
2.根据权利要求1所述的一种基于卷积神经网络的多任务车辆再识别方法,其特征在于,所述图片包括三个标签:第一标签,第二标签和第三标签,其中,
所述第一标签用于标示图片的编号,所有的图片的编号都是唯一的;
所述第二标签用于标示摄像头的编号;
所述第三标签用于标示车辆。
3.根据权利要求2所述的一种基于卷积神经网络的多任务车辆再识别方法,其特征在于,S110所述建立车辆再识别数据集包括训练数据集,探测数据集和综合数据集;
所述训练数据集,探测数据集和综合数据集内包括相同车辆的图片,其中相同车辆的图片包括不同探测仪拍摄得到的;
优选地,所述训练数据集,综合数据集和探测数据集在所有图片中所占比例依次减小。
4.根据权利要求1所述的一种基于卷积神经网络的多任务车辆再识别方法,其特征在于,S120所述调整图片大小包括按照设定裁剪方式进行随机裁剪,之后随机打乱形成相应图片对。
5.根据权利要求1所述的一种基于卷积神经网络的多任务车辆再识别方法,其特征在于,S130所述进行网络训练包括:对探测的数据集进行过滤和分类,完成网络训练。
6.根据权利要求5所述的一种基于卷积神经网络的多任务车辆再识别方法,其特征在于,S140所述排序优化包括:
对图片进行相似度的计算并进行排序,生成识别结果;
优选地,包括:
S1301.通过训练完的网络,对综合数据集里的图片和对探测数据集里的图片进行特征的提取;
S1302.根据相似度把综合数据集里的图片按相似度从高到低进行排列;
S1303.对探测的数据集的目标图片与综合数据集里的每张图片进行相似度的比较,根据比较结果进行车辆识别;
或者对图片进行优化,生成识别结果;
优选地,采用二次检索的排序优化对图片进行优化。
7.一种基于卷积神经网络的多任务车辆再识别装置,其特征在于,所述装置包括:
典型训练集建立模块,用于建立车辆再识别数据集;
数据集规范化模块,用于调整图片大小,并随机形成相应图片对;
网络训练模块,用于将图片对分别输入训练网络进行训练;
特征提取模块,根据输入的图片进行特征提取;
车辆再识别模块,用于图片相似度排序或优化,车辆再识别。
8.根据权利要求7所述的一种基于卷积神经网络的多任务车辆再识别装置,其特征在于,所述典型训练集建立模块建立车辆再识别数据集包括将视频剪切为图片,并对图片设置标签;
所述图片包括三个标签:第一标签,第二标签和第三标签,
所述第一标签用于标示图片的编号,所有的图片的编号都是唯一的;
所述第二标签用于标示摄像头的编号;
所述第三标签用于标示车辆;
优选地,所述建立车辆再识别数据集包括训练数据集,探测数据集和综合数据集;
所述训练数据集,探测数据集和综合数据集内包括相同车辆的图片,其中相同车辆的图片包括不同探测仪拍摄得到的;
优选地,所述训练数据集,综合数据集和探测数据集在所有图片中所占比例依次减小。
9.根据权利要求7所述的一种基于卷积神经网络的多任务车辆再识别装置,其特征在于,所述数据集规范化模块按照设定向量进行随机裁剪,之后随机打乱形成相应图片对。
10.根据权利要求6所述的一种基于卷积神经网络的多任务车辆再识别装置,其特征在于,车辆再识别模块进行图片相似度排序或优化包括:
对图片进行相似度的计算并进行排序,生成识别结果;
优选地,包括:
S1301.通过训练完的网络,对综合数据集里的图片和对探测数据集里的图片进行特征的提取;
S1302.根据相似度把综合数据集里的图片按相似度从高到低进行排列;
S1303.对探测的数据集的目标图片与综合数据集里的每张图片进行相似度的比较,根据比较结果进行车辆识别;
或者对图片进行优化,生成识别结果;
优选地,采用二次检索的排序优化对图片进行优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810289603.6A CN108764018A (zh) | 2018-04-03 | 2018-04-03 | 一种基于卷积神经网络的多任务车辆再识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810289603.6A CN108764018A (zh) | 2018-04-03 | 2018-04-03 | 一种基于卷积神经网络的多任务车辆再识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108764018A true CN108764018A (zh) | 2018-11-06 |
Family
ID=63981009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810289603.6A Pending CN108764018A (zh) | 2018-04-03 | 2018-04-03 | 一种基于卷积神经网络的多任务车辆再识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108764018A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886185A (zh) * | 2019-02-18 | 2019-06-14 | 深圳市商汤科技有限公司 | 一种目标识别方法、装置、电子设备和计算机存储介质 |
CN110532904A (zh) * | 2019-08-13 | 2019-12-03 | 桂林电子科技大学 | 一种车辆识别方法 |
CN111091165A (zh) * | 2020-03-25 | 2020-05-01 | 北京精诊医疗科技有限公司 | 一种图像的细粒度识别方法 |
CN111191664A (zh) * | 2018-11-14 | 2020-05-22 | 京东方科技集团股份有限公司 | 标签识别网络的训练方法、标签识别装置/方法及设备 |
CN111814584A (zh) * | 2020-06-18 | 2020-10-23 | 北京交通大学 | 基于多中心度量损失的多视角环境下车辆重识别方法 |
CN111881321A (zh) * | 2020-07-27 | 2020-11-03 | 广元量知汇科技有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN112418236A (zh) * | 2020-11-24 | 2021-02-26 | 重庆邮电大学 | 一种基于多任务神经网络的汽车可行驶区域规划方法 |
US11455807B2 (en) * | 2018-09-20 | 2022-09-27 | Nvidia Corporation | Training neural networks for vehicle re-identification |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156750A (zh) * | 2016-07-26 | 2016-11-23 | 浙江捷尚视觉科技股份有限公司 | 一种基于卷积神经网络的以图搜车方法 |
CN106570477A (zh) * | 2016-10-28 | 2017-04-19 | 中国科学院自动化研究所 | 基于深度学习的车型识别模型构建方法及车型识别方法 |
US20170140248A1 (en) * | 2015-11-13 | 2017-05-18 | Adobe Systems Incorporated | Learning image representation by distilling from multi-task networks |
CN106778604A (zh) * | 2015-12-15 | 2017-05-31 | 西安电子科技大学 | 基于匹配卷积神经网络的行人再识别方法 |
-
2018
- 2018-04-03 CN CN201810289603.6A patent/CN108764018A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170140248A1 (en) * | 2015-11-13 | 2017-05-18 | Adobe Systems Incorporated | Learning image representation by distilling from multi-task networks |
CN106778604A (zh) * | 2015-12-15 | 2017-05-31 | 西安电子科技大学 | 基于匹配卷积神经网络的行人再识别方法 |
CN106156750A (zh) * | 2016-07-26 | 2016-11-23 | 浙江捷尚视觉科技股份有限公司 | 一种基于卷积神经网络的以图搜车方法 |
CN106570477A (zh) * | 2016-10-28 | 2017-04-19 | 中国科学院自动化研究所 | 基于深度学习的车型识别模型构建方法及车型识别方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11455807B2 (en) * | 2018-09-20 | 2022-09-27 | Nvidia Corporation | Training neural networks for vehicle re-identification |
CN111191664A (zh) * | 2018-11-14 | 2020-05-22 | 京东方科技集团股份有限公司 | 标签识别网络的训练方法、标签识别装置/方法及设备 |
CN111191664B (zh) * | 2018-11-14 | 2024-04-23 | 京东方科技集团股份有限公司 | 标签识别网络的训练方法、标签识别装置/方法及设备 |
CN109886185A (zh) * | 2019-02-18 | 2019-06-14 | 深圳市商汤科技有限公司 | 一种目标识别方法、装置、电子设备和计算机存储介质 |
CN109886185B (zh) * | 2019-02-18 | 2023-08-04 | 深圳市商汤科技有限公司 | 一种目标识别方法、装置、电子设备和计算机存储介质 |
CN110532904A (zh) * | 2019-08-13 | 2019-12-03 | 桂林电子科技大学 | 一种车辆识别方法 |
CN111091165A (zh) * | 2020-03-25 | 2020-05-01 | 北京精诊医疗科技有限公司 | 一种图像的细粒度识别方法 |
CN111814584A (zh) * | 2020-06-18 | 2020-10-23 | 北京交通大学 | 基于多中心度量损失的多视角环境下车辆重识别方法 |
CN111814584B (zh) * | 2020-06-18 | 2024-03-12 | 北京交通大学 | 基于多中心度量损失的多视角环境下车辆重识别方法 |
CN111881321A (zh) * | 2020-07-27 | 2020-11-03 | 广元量知汇科技有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN111881321B (zh) * | 2020-07-27 | 2021-04-20 | 东来智慧交通科技(深圳)有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN112418236A (zh) * | 2020-11-24 | 2021-02-26 | 重庆邮电大学 | 一种基于多任务神经网络的汽车可行驶区域规划方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764018A (zh) | 一种基于卷积神经网络的多任务车辆再识别方法及装置 | |
CN109583322B (zh) | 一种人脸识别深度网络训练方法和系统 | |
CN103679674B (zh) | 一种无人飞行器实时图像拼接方法及系统 | |
CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
CN108108657A (zh) | 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法 | |
CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN108171184A (zh) | 基于Siamese网络的用于行人重识别的方法 | |
CN109948425A (zh) | 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置 | |
CN109670528A (zh) | 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法 | |
CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
CN104992142A (zh) | 一种基于深度学习和属性学习相结合的行人识别方法 | |
CN107315795B (zh) | 联合特定人物和场景的视频实例检索方法及系统 | |
CN106649487A (zh) | 基于兴趣目标的图像检索方法 | |
CN110163041A (zh) | 视频行人再识别方法、装置及存储介质 | |
CN108764269A (zh) | 一种基于时空约束增量学习的跨数据集行人再识别方法 | |
CN111368690A (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
CN112507853B (zh) | 一种基于互注意力机制的跨模态行人重识别方法 | |
CN110210550A (zh) | 基于集成学习策略的图像细粒度识别方法 | |
CN113032613B (zh) | 一种基于交互注意力卷积神经网络的三维模型检索方法 | |
CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
CN108804581A (zh) | 一种基于深度学习的同类物体检索方法及系统 | |
CN117333948A (zh) | 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法 | |
CN116824270A (zh) | 一种基于注意力机制改进的小样本车型识别方法 | |
CN111539362A (zh) | 一种无人机图像目标检测装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181106 |