CN109740479A - 一种车辆重识别方法、装置、设备及可读存储介质 - Google Patents

一种车辆重识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109740479A
CN109740479A CN201811597330.8A CN201811597330A CN109740479A CN 109740479 A CN109740479 A CN 109740479A CN 201811597330 A CN201811597330 A CN 201811597330A CN 109740479 A CN109740479 A CN 109740479A
Authority
CN
China
Prior art keywords
image
vehicle
distance
time
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811597330.8A
Other languages
English (en)
Inventor
张鑫垒
邹文艺
晋兆龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201811597330.8A priority Critical patent/CN109740479A/zh
Publication of CN109740479A publication Critical patent/CN109740479A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆重识别方法,该方法包括以下步骤:获取待识别的车辆图像信息;利用图像特征,计算查询图像与目标图像之间的视觉特征距离;利用拍摄时间和拍摄地点,计算查询图像与目标图像之间的时空特征距离;将视觉特征距离与时空特征距离的加权和作为整体相似距离;在整体相似距离小于相似阈值时,确定目标图像与查询图像为同一车辆的图像。该方法,利用时空特征距离对视觉特征距离进行补充和修改,进而得到整体相似距离,即使是视觉特征距离不够明显的情况下,也实现车辆重识别。当然,在视觉特征距离不明显的情况下,时空特征距离可提高车辆重识别准确率。本发明还公开了一种车辆重识别装置、设备及可读存储介质,具有相应的技术效果。

Description

一种车辆重识别方法、装置、设备及可读存储介质
技术领域
本发明涉及深度学习技术领域,特别是涉及一种车辆重识别方法、装置、设备及可读存储介质。
背景技术
车辆重识别是深度学习技术判断图像或者视频序列中是否存在特定车辆的技术,被广泛认为是图像检索的子问题,即给定一个监控车辆图像,来检索出不同监控设备下相同车辆的图像。
利用城市监控的数据进行车辆重识别面临的主要挑战有:基于外观的方法通常不能完全给出满意的答案,因为不同的车辆从类似的视点来看存在的差异较小,而相同车辆从不同的视点观察也会存在很大的差异性。此外,传统的基于车牌识别的车辆重识别方法,会在各种现实应用场景中,因为视角、低分辨率等因素造成无法有效地识别车牌。
综上所述,如何有效地解决车辆重识别等问题,是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种车辆重识别方法、装置、设备及可读存储介质,以提高车辆重识别的准确率。
为解决上述技术问题,本发明提供如下技术方案:
一种车辆重识别方法,包括:
获取待识别的车辆图像信息;其中,所述车辆图像信息包括查询图像、拍摄时间、拍摄地点以及所述查询图像的图像特征;
利用所述图像特征,计算所述查询图像与目标图像之间的视觉特征距离;
利用所述拍摄时间和所述拍摄地点,计算所述查询图像与所述目标图像之间的时空特征距离;
将所述视觉特征距离与所述时空特征距离的加权和作为整体相似距离;
在所述整体相似距离小于相似阈值时,确定所述目标图像与所述查询图像为同一车辆的图像。
优选地,获取待识别的车辆图像信息,包括:
接收待识别的车辆图像,以及所述车辆图像的所述拍摄时间和所述拍摄地点;
对所述车辆图像进行预处理,获得所述查询图像;
将所述查询图像输入至神经网络模型进行图像特征提取,获得所述图像特征。
优选地,构建所述神经网络模型的过程,包括:
获取原始车辆图像,对所述原始车辆图像进行预处理,获得训练集;
创建神经网络,并利用所述训练集对所述神经网络进行训练,获得所述神经网络模型。
优选地,对所述车辆图像进行预处理,获得所述查询图像,包括:
利用图像识别技术对所述车辆图像进行识别,获得识别结果;
利用所述识别结果对所述车辆图像进行裁剪,获得所述查询图像。
优选地,将所述查询图像输入至神经网络模型进行图像特征提取,获得所述图像特征,包括:
将所述查询图像输入至所述神经网络模型中,提取所述查询图像的全局特征和局部特征;
将所述全局特征和所述局部特征在相同维度进行拼接,获得所述图像特征。
优选地,利用所述图像特征,计算所述查询图像与目标图像之间的视觉特征距离,包括:
读取所述目标图像的目标图像特征;
利用余弦距离计算规则,计算所述图像特征与所述目标图像特征的图像特征距离;
将所述图像特征距离作为所述视觉特征距离。
优选地,利用所述拍摄时间和所述拍摄地点,计算所述查询图像与所述目标图像之间的时空特征距离,包括:
读取所述目标图像的目标拍摄时间和目标拍摄地点;
计算所述拍摄时间和所述目标拍摄时间之间的时间差;
获取所述拍摄地点与所述目标拍摄地点之间的距离差;
按照时间与距离的条件概率,计算在所述时间差内行驶所述距离差的时空概率;
将所述时空概率作为所述时空特征距离。
一种车辆重识别装置,包括:
车辆图像信息获取模块,用于获取待识别的车辆图像信息;其中,所述车辆图像信息包括查询图像、拍摄时间、拍摄地点以及所述查询图像的图像特征;
视觉特征距离计算模块,用于利用所述图像特征,计算所述查询图像与目标图像之间的视觉特征距离;
时空特征距离计算模块,用于利用所述拍摄时间和所述拍摄地点,计算所述查询图像与所述目标图像之间的时空特征距离;
整体相似距离计算模块,用于将所述视觉特征距离与所述时空特征距离的加权和作为整体相似距离;
识别结果确定模块,用于在所述整体相似距离小于相似阈值时,确定所述目标图像与所述查询图像为同一车辆的图像。
一种车辆重识别设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述车辆重识别方法的步骤。
一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述车辆重识别方法的步骤。
应用本发明实施例所提供的方法,获取待识别的车辆图像信息;其中,车辆图像信息包括查询图像、拍摄时间、拍摄地点以及查询图像的图像特征;利用图像特征,计算查询图像与目标图像之间的视觉特征距离;利用拍摄时间和拍摄地点,计算查询图像与目标图像之间的时空特征距离;将视觉特征距离与时空特征距离的加权和作为整体相似距离;在整体相似距离小于相似阈值时,确定目标图像与查询图像为同一车辆的图像。
由于仅基于车辆图像自身的图像特征难以辨别两个车辆图像是否为同一车辆,又考虑到,在生活实际中,车辆的速度是有限的,路况是相对固定的,即在有限的时间内,车辆所能抵达的地域是相对固定的,也就是同一车辆在一定时间段内出现在不同的地点的概率是相对固定。基于此,在进行车辆重识别的过程中,引入时空特征距离的概念,用于提高车辆重识别的准确率。具体的,在获取到待识别的车辆图像信息之后,便可利用车辆图像信息计算查询图像与目标图像之间的视觉特征距离和时空特征距离。其中,视觉特征距离则为查询图像与目标图像之间的图像特征的整体相似距离,时空特征距离即为基于拍摄时间和拍摄地点,对查询图像与目标图像为同一辆车的图像的可能性表征量。然后,将视觉特征距离和时空特征距离的加权和作为查询图像和目标图像的整体相似距离,当整体相似距离小于相似阈值时,则确定目标图像与查询图像为同一辆车的图像,即完成车辆重识别。利用时空特征距离对视觉特征距离进行补充和修改,进而得到整体相似距离,将该整体相似距离应用于车辆的重识别中,即使是视觉特征距离不够明显的情况下,也实现车辆重识别。当然,在视觉特征距离不明显的情况下,时空特征距离可提高车辆重识别准确率。
相应地,本发明实施例还提供了与上述车辆重识别方法相对应的车辆重识别装置、设备和可读存储介质,具有上述技术效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种车辆重识别方法的实施流程图;
图2为本发明实施例中一种车辆重识别核心逻辑结构图;
图3为本发明实施例中一种车辆时空信息示意图;
图4为本发明实施例中一个查询图像的车辆重识别结果的可视化输出结构;
图5为本发明实施例中一种车辆重识别装置的结构示意图;
图6为本发明实施例中一种车辆重识别设备的结构示意图;
图7为本发明实施例中一种车辆重识别设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
请参考图1,图1为本发明实施例中一种车辆重识别方法的流程图,该方法包括以下步骤:
S101、获取待识别的车辆图像信息。
其中,车辆图像信息包括查询图像、拍摄时间、拍摄地点以及查询图像的图像特征。
在本发明实施例中,可以通过从接收客户端或上层应用发送的车辆重识别的查询请求的方式,获得车辆图像信息。该车辆图像信息可包括查询图像、拍摄时间、拍摄地点以及查询图像的图像特征。当然,还可在可读存储介质中直接读取车辆图像信息。具体的,即对车辆图像进行保存时,需将车辆图像的拍摄时间和拍摄地点一并保障。其中,关于查询图像的图像特征可在首次获得查询图像时,进行提取,以便一次性获取所有的车辆图像信息。
当然,也可将在获取车辆图像信息的过程中,对查询图像进行特征提取,以得到该图像特征。其中,车辆图像信息的获取过程包括:
步骤一、接收待识别的车辆图像,以及车辆图像的拍摄时间和拍摄地点;
步骤二、对车辆图像进行预处理,获得查询图像;
步骤三、将查询图像输入至神经网络模型进行图像特征提取,获得图像特征。
为了便于描述,下面将上述三个步骤结合起来进行说明。
首先接收待识别的车辆图像,以及拍摄该车辆图像的拍摄时间和拍摄地点。然后,对车辆图像进行预处理,预处理后的图像即为查询图像。其中,预处理过程,具体为,利用图像识别技术对车辆图像进行识别,获得识别结果;利用识别结果对车辆图像进行裁剪,获得查询图像。例如,可使用图像目标检测算法,识别出车辆图像中关于车辆的部分区域,对车辆图像进行裁剪,如此便可去除大部分非车辆部分的背景图像,得到车辆区域的小图。裁剪后,得到的小图即查询图像。
得到查询图像之后,便可将查询图像输入至神经网络模型中,进行图像特征提取,最终获得查询图像的图像特征。优选地,在提取特征时,可兼顾全局特征和局部特征的提取,以便得到表征能力更好的图像特征。具体过程可为将查询图像输入至神经网络模型中,提取查询图像的全局特征和局部特征;将全局特征和局部特征在相同维度进行拼接,获得图像特征。通过神经网络提取出查询图像的全局特征与局部特征,这些特征也就是神经网络在前向传播时的feature map的值。将全局特征和局部特征在相同维度上进行拼接,便可获得图像特征。
其中,神经网络模型可直接采用为常见的图像特征提取模型,如卷积神经网络模型。当然,还可自行创建该神经网络模型,具体的,构建神经网络模型的过程,包括:
步骤一、获取原始车辆图像,对原始车辆图像进行预处理,获得训练集;
步骤二、创建神经网络,并利用训练集对神经网络进行训练,获得神经网络模型。
为便于描述,下面将上述两个步骤结合起来进行说明。
从监控卡口的数据库中选取拍摄到的原始车辆图像,组成数据集,并整理数据集,还可将其详细的分为训练集、测试集和查询集,用于之后神经网络的训练以及效果的验证。其中,对原始车辆图像进行预处理,以获得训练集的方式可与上文中对车辆图像进行预处理,获得查询图像的处理方式相互参照。即可利用图像识别技术对原始车辆图像进行识别,获得识别结果;利用识别结果对原始车辆图像进行裁剪,获得训练集中的训练图像。
构建神经网络,该网络具有学习输入车辆图像的全局特征信息以及局部特征信息,如以Alexnet、ResNet或者GoogLeNet网络为基础,构建神经网络。然后,利用训练集中的数据对网络进行训练,便可获得神经网络模型。
S102、利用图像特征,计算查询图像与目标图像之间的视觉特征距离。
其中,目标图像可为预先存储的已标记车辆信息的车辆图像,且该目标图像的具有与之匹配的目标车辆图像信息,其中目标车辆图像信息与车辆图像信息的类别一致,即包括目标图像、目标拍摄时间、目标拍摄地点以及目标图像特征。例如,添加了车牌ID或车主身份的车辆图像。当然,在实际应用中,可通过对目标图像执行上述步骤S101的操作,获得目标车辆图像信息,在此不再赘述。
获取车辆图像信息之后,便可利用图像特征,计算出查询图像与目标图像之间的视觉特征距离。具体的,视觉特征距离计算过程包括:
步骤一、读取目标图像的目标图像特征;
步骤二、利用余弦距离计算规则,计算图像特征与目标图像特征的图像特征距离;
步骤三、将图像特征距离作为视觉特征距离。
为便于描述,下面将上述三个步骤结合起来进行说明。
首先,读取目标图像的目标图像特征,然后可采用余弦距离计算规则,计算出图像特征与目标图中特征的图像特征距离,该图像特征距离即为目标图像和查询图像之间的视觉特征距离。
假设A为查询图像的图像特征,B为目标图像的目标图像特征,则采用Cos(余弦)距离的计算规则时,查询图像与目标图像的视觉特征距离计算公式如下:
两个向量的夹角越小则cos距离越大,反之,夹角越大则cos距离越小,即计算结果的值越大,相似度越低。计算结果即为视觉特征距离。
当然,在计算视觉特征距离时,还可采用如欧式距离的计算规则进行计算,需要说明的是,欧式距离的值越大,则表示相似度越低。若采用欧式距离来进行计算时,可取计算出的欧式距离的倒数作为视觉特征距离。其中,计算欧式距离时,可采用诸如常见的k-Means的聚类算法进行确定,在此不再赘述。
S103、利用拍摄时间和拍摄地点,计算查询图像与目标图像之间的时空特征距离。
考虑到,相同车辆在短时间内出现在相隔很远的拍摄地点(可采用摄像头编号的形式表示)中的概率很低。基于此,该概率值便可用于对车辆重识别的视觉特征距离进行补充或修正。具体的,可对不同的监控点的车辆进行统计,统计出在不同间隔时间内,出现在不同监控点的统计概率,将该统计概率用于对车辆重识别视觉特征距离进行补充和修正。具体的,获取该统计概率的方式可参见常见的随机抽样、分层抽样或典型抽样等常见的统计方式进行,在此不再赘述。当得到统计概率之后,便可将统计概率作为概率值用于计算时空特征距离。
具体的,时空特征距离的计算过程包括:
步骤一、读取目标图像的目标拍摄时间和目标拍摄地点;
步骤二、计算拍摄时间和目标拍摄时间之间的时间差;
步骤三、获取拍摄地点与目标拍摄地点之间的距离差;
步骤四、按照时间与距离的条件概率,计算在时间差内行驶距离差的时空概率;
步骤五、将时空概率作为时空特征距离。
为便于描述,下面将上述五个步骤结合起来进行说明。
首先读取目标图像的目标拍摄时间和目标拍摄地点。然后,分别计算拍摄时间和目标拍摄时间之间的时间差,以及获取拍摄地点与目标拍摄地点之间的距离差。具体的,该距离差可通过查找预先记录不同的拍摄地点之间的间隔距离。
得到时间差和距离差后,时空特征距离的计算公式如下:
其中t1和t2分别表示两张图像的时间戳,t1和t2之间的过渡区间τ的条件概率可以估计为对数正态分布p(τ|t1,t2),μ1,2表示期望值,σ1,2表示标准差。相同车辆在短时间内出现在相隔很远的摄像头中的概率很低,所以对于时空特征距离来说,高概率p对应小距离D。
另外,在计算时空特征距离时,还可获取两个拍摄地点之间的地域距离,以及考虑当前技术限制和交通管理规定下,车辆在拍摄间隔时间内的按照正常行驶速度所能达到的最大距离,判断该最大距离与地域距离之间的比值,将该比值作为时空特征距离。具体的,该比值越大,则表明车辆出现在下一个拍摄地点的可能性越大,特别地,在最大距离小于地域距离时(即比值小于1时),则表明该车辆在当前技术和交通管理规定下,抵达下一个拍摄地点的可能性非常小。例如,在间隔时间为1小时内,若在当前技术和交通管理规定下,车辆行驶速度为120公里/小时,则最大距离为120公里,两个拍摄地点的地域距离为500公里,那么该比值为120/500=0.24,比值小于1,即同一车辆依次出现在地域距离为500公里的两个拍摄地点的可能性非常小。即该比值也可等同于上文中的概率值,即可用于计算时空特征距离,计算过程可参照基于概率值的方式进行。
即,时空特征距离的计算过程包括:
步骤一、读取目标图像的目标拍摄时间和目标拍摄地点;
步骤二、计算拍摄时间和目标拍摄时间之间的时间差;
步骤三、获取拍摄地点与目标拍摄地点之间的距离差;
步骤四、按照在当前技术限制下,计算在时间差内最大行驶距离;
步骤五、将最大行驶距离和距离差的比值作为时空特征距离。
需要说明的是,在本实施例中步骤S102和步骤S103的执行顺序可无先后限制,可串行依次执行(如先执行S102也可,先执行S103也可),也可并行执行,均不影响本发明实施例最终实现提高车辆重识别准确率的目的。
S104、将视觉特征距离与时空特征距离的加权和作为整体相似距离。
得到视觉特征距离和时空特征距离之后,可按照预先设置的权重数,对视觉特征距离和时空特征距离进行加权计算,获得整体相似距离。具体的,即整体相似距离计算公式如下:
Z=aX+bY,其中,Z为整体相似距离,X为视觉特征距离,Y为时空特征距离,a和b的权重数(加权系数),a和b的值可根据实际应用情况进行设置,例如可将a设定为1,b设定为0.2,当然,还可采用其他数值。
S105、在整体相似距离小于相似阈值时,确定目标图像与查询图像为同一车辆的图像。
在本发明实施例中,视觉特征距离越小,则表明图像越相似,时空特征距离越小,则表明相同车辆在时间差内出现在该距离差的摄像头中的概率越高。因此,整体相似距离越小,则表明目标图像与查询图像为同一车辆的图像的可能性越高。基于此,便可设置一个相似阈值,即在整体相似距离小于相似阈值,则判断目标图像和查询图像为同一车辆的图像,如此便完成车辆重识别。
应用本发明实施例所提供的方法,获取待识别的车辆图像信息;其中,车辆图像信息包括查询图像、拍摄时间、拍摄地点以及查询图像的图像特征;利用图像特征,计算查询图像与目标图像之间的视觉特征距离;利用拍摄时间和拍摄地点,计算查询图像与目标图像之间的时空特征距离;将视觉特征距离与时空特征距离的加权和作为整体相似距离;在整体相似距离小于相似阈值时,确定目标图像与查询图像为同一车辆的图像。
由于仅基于车辆图像自身的图像特征难以辨别两个车辆图像是否为同一车辆,又考虑到,在生活实际中,车辆的速度是有限的,路况是相对固定的,即在有限的时间内,车辆所能抵达的地域是相对固定的,也就是同一车辆在一定时间段内出现在不同的地点的概率是相对固定。基于此,在进行车辆重识别的过程中,引入时空特征距离的概念,用于提高车辆重识别的准确率。具体的,在获取到待识别的车辆图像信息之后,便可利用车辆图像信息计算查询图像与目标图像之间的视觉特征距离和时空特征距离。其中,视觉特征距离则为查询图像与目标图像之间的图像特征的整体相似距离,在时空特征距离即为基于拍摄时间和拍摄地点,对查询图像与目标图像为同一辆车的图像的可能性表征量。然后,将视觉特征距离和时空特征距离的加权和作为查询图像和目标图像的整体相似距离,当整体相似距离小于相似阈值时,则确定目标图像与查询图像为同一辆车的图像,即完成车辆重识别。利用时空特征距离对视觉特征距离进行补充和修改,进而得到整体相似距离,将该整体相似距离应用于车辆的重识别中,即使是视觉特征距离不够明显的情况下,也实现车辆重识别。当然,在视觉特征距离不明显的情况下,时空特征距离可提高车辆重识别准确率。
实施例二:
为便于本领域技术人员更好地理解本发明实施例所提供的车辆重识别方法,下面以具体的应用场景为例,对本发明实施例所提供的车辆重识别方法进行详细说明。
应用上述实施例一提供的结合时空信息的车辆重识别方法,整体流程如图2所示,图2为本发明实施例中一种车辆重识别核心逻辑结构图。其核心思想即为训练好卷积神经网络模型,然后通过模型提取查询和测试集图像的特征,计算得到视觉特征距离。最后,结合时空特征距离,得到整体相似距离,据此得到最终车辆重识别结果。具体实现过程如下:
首先准备数据集,筛选监控卡口拍摄到的车辆图像,人工标注车辆的属性信息,并按照车牌号将时间和摄像头号码分类,抹除图像中的车牌信息,最后把这些数据划分出训练集出来。
接着将训练集图像输入到神经网络中训练网络,通过神经网络提取出查询车辆图像和测试集车辆图像的全局特征与局部特征,这些特征也就是神经网络在前向传播时的feature map的值。将全局特征和局部特征在相同维度上进行拼接,计算特征之间的距离。这里采用cos距离计算,计算公式如下:
两个向量的夹角越小则cos距离越大,反之,夹角越大则cos距离越小。计算出视觉特征之间的距离D1,就可以得到查询图像的候选排序列表了。这时,再加入图像的时间空间信息。在加入时空信息后,时空特征之间的距离计算公式如下:
其中t1和t2分别表示两张图像的时间戳,t1和t2之间的过渡区间τ的条件概率可以估计为对数正态分布p(τ|t1,t2)。相同车辆在短时间内出现在相隔很远的摄像头中的概率很低,所以对于时空特征距离来说,高概率p对应小距离D2
请参考图3,图3为本发明实施例中一种车辆时空信息示意图,该图显示了在实际场景中一些监控卡口的车辆时空信息,并且每个摄像头之间的道路距离已经预先获知,且除了5号摄像头的车辆外,其他均为同一辆车。在每个摄像头中出现的车辆都标有地理位置及时间等信息,这样就可以计算出出现在两个摄像头的车辆是同一辆车的概率。概率越高,则两者的时空特征距离D2越小,通过结合两者的特征距离D1,就可以得到他们的整体相似距离。在图中,5号摄像头拍摄到的车辆是不同于其他摄像头的车辆的,除了可以通过后挡风玻璃的装饰物等视觉特征判断出来外,还可以通过时空信息来判断。5号摄像头和1号摄像头相距约2公里,相同车辆在只间隔42秒的情况下,先后出现在1号和5号摄像头的概率较低,那么两者的时空特征距离就会较大,整体相似距离也会被拉大。那么,如果其中一个作为查询图像的话,另外一个在候选列表中的排序就会更加靠后。
同时,在图2中,排除掉5号摄像头的车辆图像,其他车辆在相应时间间隔出现在不同摄像头的概率都很大,所以他们是同一辆车的概率很大。
最终,整体相似距离就是D1与D2的加权和,车辆图像之间整体相似距离计算公式如下:
D=D1+0.2D2。依据这个最终距离D,距离越小,图像对越相似,距离越大,图像对越不相似,然后就能够得到最后的车辆重识别结果。请参考图4,图4为本发明实施例中一个查询图像的车辆重识别结果的可视化输出结构。其中,每一个车辆图像下方标注的文字为后期标注的,其中正确表示是和查询图像为同一辆车,错误表示和查询图像不是同一辆车。
相较于现有的车辆重识别算法中,大多数都还只关注于图像的视觉特征,而忽略了能够更好区别车辆之间的时间空间信息,本发明实施例所提供的车辆重识别方法,通过融合车辆图像的全局特征和局部特征,能够更好的实现车辆重识别。同时,还结合了复杂的时间空间信息,在给定一对具有时空信息的车辆图像时,能够有效的规范重识别的结果,有效的提高了车辆重识别的精度。
实施例三:
相应于上面的方法实施例,本发明实施例还提供了一种车辆重识别装置,下文描述的车辆重识别装置与上文描述的车辆重识别方法可相互对应参照。
参见图5所示,该装置包括以下模块:
车辆图像信息获取模块101,用于获取待识别的车辆图像信息;其中,车辆图像信息包括查询图像、拍摄时间、拍摄地点以及查询图像的图像特征;
视觉特征距离计算模块102,用于利用图像特征,计算查询图像与目标图像之间的视觉特征距离;
时空特征距离计算模块103,用于利用拍摄时间和拍摄地点,计算查询图像与目标图像之间的时空特征距离;
整体相似距离计算模块104,用于将视觉特征距离与时空特征距离的加权和作为整体相似距离;
识别结果确定模块105,用于在整体相似距离小于相似阈值时,确定目标图像与查询图像为同一车辆的图像。
应用本发明实施例所提供的装置,获取待识别的车辆图像信息;其中,车辆图像信息包括查询图像、拍摄时间、拍摄地点以及查询图像的图像特征;利用图像特征,计算查询图像与目标图像之间的视觉特征距离;利用拍摄时间和拍摄地点,计算查询图像与目标图像之间的时空特征距离;将视觉特征距离与时空特征距离的加权和作为整体相似距离;在整体相似距离小于相似阈值时,确定目标图像与查询图像为同一车辆的图像。
由于仅基于车辆图像自身的图像特征难以辨别两个车辆图像是否为同一车辆,又考虑到,在生活实际中,车辆的速度是有限的,路况是相对固定的,即在有限的时间内,车辆所能抵达的地域是相对固定的,也就是同一车辆在一定时间段内出现在不同的地点的概率是相对固定。基于此,在进行车辆重识别的过程中,引入时空特征距离的概念,用于提高车辆重识别的准确率。具体的,在获取到待识别的车辆图像信息之后,便可利用车辆图像信息计算查询图像与目标图像之间的视觉特征距离和时空特征距离。其中,视觉特征距离则为查询图像与目标图像之间的图像特征的整体相似距离,在时空特征距离即为基于拍摄时间和拍摄地点,对查询图像与目标图像为同一辆车的图像的可能性表征量。然后,将视觉特征距离和时空特征距离的加权和作为查询图像和目标图像的整体相似距离,当整体相似距离小于相似阈值时,则确定目标图像与查询图像为同一辆车的图像,即完成车辆重识别。利用时空特征距离对视觉特征距离进行补充和修改,进而得到整体相似距离,将该整体相似距离应用于车辆的重识别中,即使是视觉特征距离不够明显的情况下,也实现车辆重识别。当然,在视觉特征距离不明显的情况下,时空特征距离可提高车辆重识别准确率。
在本发明的一种具体实施方式中,车辆图像信息获取模块101,包括:
接收单元,用于接收待识别的车辆图像,以及车辆图像的拍摄时间和拍摄地点;
预处理单元,用于对车辆图像进行预处理,获得查询图像;
特征提取单元,用于将查询图像输入至神经网络模型进行图像特征提取,获得图像特征。
在本发明的一种具体实施方式中,还包括:
神经网络模型构建模块,用于获取原始车辆图像,对原始车辆图像进行预处理,获得训练集;创建神经网络,并利用训练集对神经网络进行训练,获得神经网络模型。
在本发明的一种具体实施方式中,预处理单元,具体用于利用图像识别技术对车辆图像进行识别,获得识别结果;利用识别结果对车辆图像进行裁剪,获得查询图像。
在本发明的一种具体实施方式中,特征提取单元,具体用于将查询图像输入至神经网络模型中,提取查询图像的全局特征和局部特征;将全局特征和局部特征在相同维度进行拼接,获得图像特征。
在本发明的一种具体实施方式中,视觉特征距离计算模块102,具体用于读取目标图像的目标图像特征;利用余弦距离计算规则,计算图像特征与目标图像特征的图像特征距离;将图像特征距离作为视觉特征距离。
在本发明的一种具体实施方式中,时空特征距离计算模块103,具体用于读取目标图像的目标拍摄时间和目标拍摄地点;计算拍摄时间和目标拍摄时间之间的时间差;获取拍摄地点与目标拍摄地点之间的距离差;按照时间与距离的条件概率,计算在时间差内行驶距离差的时空概率;将时空概率作为时空特征距离。
实施例四:
相应于上面的方法实施例,本发明实施例还提供了一种车辆重识别设备,下文描述的一种车辆重识别设备与上文描述的一种车辆重识别方法可相互对应参照。
参见图6所示,该车辆重识别设备包括:
存储器D1,用于存储计算机程序;
处理器D2,用于执行计算机程序时实现上述方法实施例的车辆重识别方法的步骤。
具体的,请参考图7,图7为本实施例提供的一种车辆重识别设备的具体结构示意图,该车辆重识别设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储介质330通信,在车辆重识别设备301上执行存储介质330中的一系列指令操作。
车辆重识别设备301还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作系统341。例如,Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等。
上文所描述的车辆重识别方法中的步骤可以由车辆重识别设备的结构实现。
实施例五:
相应于上面的方法实施例,本发明实施例还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种车辆重识别方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的车辆重识别方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种车辆重识别方法,其特征在于,包括:
获取待识别的车辆图像信息;其中,所述车辆图像信息包括查询图像、拍摄时间、拍摄地点以及所述查询图像的图像特征;
利用所述图像特征,计算所述查询图像与目标图像之间的视觉特征距离;
利用所述拍摄时间和所述拍摄地点,计算所述查询图像与所述目标图像之间的时空特征距离;
将所述视觉特征距离与所述时空特征距离的加权和作为整体相似距离;
在所述整体相似距离小于相似阈值时,确定所述目标图像与所述查询图像为同一车辆的图像。
2.根据权利要求1所述的车辆重识别方法,其特征在于,获取待识别的车辆图像信息,包括:
接收待识别的车辆图像,以及所述车辆图像的所述拍摄时间和所述拍摄地点;
对所述车辆图像进行预处理,获得所述查询图像;
将所述查询图像输入至神经网络模型进行图像特征提取,获得所述图像特征。
3.根据权利要求2所述的车辆重识别方法,其特征在于,构建所述神经网络模型的过程,包括:
获取原始车辆图像,对所述原始车辆图像进行预处理,获得训练集;
创建神经网络,并利用所述训练集对所述神经网络进行训练,获得所述神经网络模型。
4.根据权利要求2所述的车辆重识别方法,其特征在于,对所述车辆图像进行预处理,获得所述查询图像,包括:
利用图像识别技术对所述车辆图像进行识别,获得识别结果;
利用所述识别结果对所述车辆图像进行裁剪,获得所述查询图像。
5.根据权利要求2所述的车辆重识别方法,其特征在于,将所述查询图像输入至神经网络模型进行图像特征提取,获得所述图像特征,包括:
将所述查询图像输入至所述神经网络模型中,提取所述查询图像的全局特征和局部特征;
将所述全局特征和所述局部特征在相同维度进行拼接,获得所述图像特征。
6.根据权利要求1所述的车辆重识别方法,其特征在于,利用所述图像特征,计算所述查询图像与目标图像之间的视觉特征距离,包括:
读取所述目标图像的目标图像特征;
利用余弦距离计算规则,计算所述图像特征与所述目标图像特征的图像特征距离;
将所述图像特征距离作为所述视觉特征距离。
7.根据权利要求1至6任一项所述的车辆重识别方法,其特征在于,利用所述拍摄时间和所述拍摄地点,计算所述查询图像与所述目标图像之间的时空特征距离,包括:
读取所述目标图像的目标拍摄时间和目标拍摄地点;
计算所述拍摄时间和所述目标拍摄时间之间的时间差;
获取所述拍摄地点与所述目标拍摄地点之间的距离差;
按照时间与距离的条件概率,计算在所述时间差内行驶所述距离差的时空概率;
将所述时空概率作为所述时空特征距离。
8.一种车辆重识别装置,其特征在于,包括:
车辆图像信息获取模块,用于获取待识别的车辆图像信息;其中,所述车辆图像信息包括查询图像、拍摄时间、拍摄地点以及所述查询图像的图像特征;
视觉特征距离计算模块,用于利用所述图像特征,计算所述查询图像与目标图像之间的视觉特征距离;
时空特征距离计算模块,用于利用所述拍摄时间和所述拍摄地点,计算所述查询图像与所述目标图像之间的时空特征距离;
整体相似距离计算模块,用于将所述视觉特征距离与所述时空特征距离的加权和作为整体相似距离;
识别结果确定模块,用于在所述整体相似距离小于相似阈值时,确定所述目标图像与所述查询图像为同一车辆的图像。
9.一种车辆重识别设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述车辆重识别方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述车辆重识别方法的步骤。
CN201811597330.8A 2018-12-25 2018-12-25 一种车辆重识别方法、装置、设备及可读存储介质 Pending CN109740479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811597330.8A CN109740479A (zh) 2018-12-25 2018-12-25 一种车辆重识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811597330.8A CN109740479A (zh) 2018-12-25 2018-12-25 一种车辆重识别方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN109740479A true CN109740479A (zh) 2019-05-10

Family

ID=66361269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811597330.8A Pending CN109740479A (zh) 2018-12-25 2018-12-25 一种车辆重识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109740479A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363193A (zh) * 2019-06-12 2019-10-22 北京百度网讯科技有限公司 车辆重识别方法、装置、设备和计算机存储介质
CN110555428A (zh) * 2019-09-12 2019-12-10 腾讯科技(深圳)有限公司 行人重识别方法、装置、服务器以及存储介质
CN110795580A (zh) * 2019-10-23 2020-02-14 武汉理工大学 基于时空约束模型优化的车辆重识别方法
CN111776905A (zh) * 2020-08-13 2020-10-16 浙江新再灵科技股份有限公司 一种结合重识别的电瓶车入梯告警方法及系统
CN112418262A (zh) * 2020-09-23 2021-02-26 上海市刑事科学技术研究院 车辆再识别的方法、客户端及系统
CN113408326A (zh) * 2020-03-17 2021-09-17 阿里巴巴集团控股有限公司 移动对象识别方法、装置及设备
CN113806576A (zh) * 2021-08-10 2021-12-17 深圳市广电信义科技有限公司 基于图像的车辆检索方法、装置、电子设备及存储介质
CN114311023A (zh) * 2020-09-29 2022-04-12 中国科学院沈阳自动化研究所 一种基于服务机器人视觉功能检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930768A (zh) * 2016-04-11 2016-09-07 武汉大学 一种基于时空约束的目标重识别方法
CN106469299A (zh) * 2016-08-31 2017-03-01 北京邮电大学 一种车辆搜索方法及装置
US20170068861A1 (en) * 2015-09-03 2017-03-09 Miovision Technologies Incorporated System and Method for Detecting and Tracking Objects
CN108229292A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备
CN108647595A (zh) * 2018-04-26 2018-10-12 华中科技大学 基于多属性深度特征的车辆重识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170068861A1 (en) * 2015-09-03 2017-03-09 Miovision Technologies Incorporated System and Method for Detecting and Tracking Objects
CN105930768A (zh) * 2016-04-11 2016-09-07 武汉大学 一种基于时空约束的目标重识别方法
CN106469299A (zh) * 2016-08-31 2017-03-01 北京邮电大学 一种车辆搜索方法及装置
CN108229292A (zh) * 2017-07-28 2018-06-29 北京市商汤科技开发有限公司 目标识别方法、装置、存储介质和电子设备
CN108647595A (zh) * 2018-04-26 2018-10-12 华中科技大学 基于多属性深度特征的车辆重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENXIN HUANG 等: ""Camera Network Based Person Re-identification by Leveraging Spatial-Temporal Constraint and Multiple Cameras Relations"", 《SPRINGER INTERNATIONAL PUBLISHING,INTERNATIONAL CONFERENCE ON MULTIMEDIA MODELING》 *
刘侃: ""基于时空外貌表征的视频行人再识别方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363193B (zh) * 2019-06-12 2022-02-25 北京百度网讯科技有限公司 车辆重识别方法、装置、设备和计算机存储介质
CN110363193A (zh) * 2019-06-12 2019-10-22 北京百度网讯科技有限公司 车辆重识别方法、装置、设备和计算机存储介质
CN110555428A (zh) * 2019-09-12 2019-12-10 腾讯科技(深圳)有限公司 行人重识别方法、装置、服务器以及存储介质
CN110795580A (zh) * 2019-10-23 2020-02-14 武汉理工大学 基于时空约束模型优化的车辆重识别方法
CN110795580B (zh) * 2019-10-23 2023-12-08 武汉理工大学 基于时空约束模型优化的车辆重识别方法
CN113408326A (zh) * 2020-03-17 2021-09-17 阿里巴巴集团控股有限公司 移动对象识别方法、装置及设备
CN113408326B (zh) * 2020-03-17 2022-07-22 阿里巴巴集团控股有限公司 移动对象识别方法、装置及设备
CN111776905A (zh) * 2020-08-13 2020-10-16 浙江新再灵科技股份有限公司 一种结合重识别的电瓶车入梯告警方法及系统
CN112418262A (zh) * 2020-09-23 2021-02-26 上海市刑事科学技术研究院 车辆再识别的方法、客户端及系统
CN114311023A (zh) * 2020-09-29 2022-04-12 中国科学院沈阳自动化研究所 一种基于服务机器人视觉功能检测方法
CN114311023B (zh) * 2020-09-29 2023-12-26 中国科学院沈阳自动化研究所 一种基于服务机器人视觉功能检测方法
CN113806576A (zh) * 2021-08-10 2021-12-17 深圳市广电信义科技有限公司 基于图像的车辆检索方法、装置、电子设备及存储介质
CN113806576B (zh) * 2021-08-10 2023-08-18 深圳市广电信义科技有限公司 基于图像的车辆检索方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109740479A (zh) 一种车辆重识别方法、装置、设备及可读存储介质
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN110136199A (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN109815997A (zh) 基于深度学习的识别车辆损伤的方法和相关装置
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN109214280A (zh) 基于街景的店铺识别方法、装置、电子设备及存储介质
CN113822247B (zh) 基于航拍影像的违章建筑识别方法及系统
CN113947766B (zh) 一种基于卷积神经网络的实时车牌检测方法
CN106897681A (zh) 一种遥感图像对比分析方法及系统
CN109800682A (zh) 驾驶员属性识别方法及相关产品
CN111768498A (zh) 基于稠密语义三维地图与混合特征的视觉定位方法、系统
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
CN112037142A (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN110969104B (zh) 基于二值化网络检测可行驶区域的方法、系统及存储介质
CN112738725B (zh) 半封闭区域目标人群的实时识别方法、装置、设备和介质
CN114596546A (zh) 车辆重识别方法、装置及计算机、可读存储介质
CN109753999B (zh) 针对任意视角汽车图片的细粒度车型识别方法
CN116977484A (zh) 图像脱敏方法、装置、电子设备及存储介质
CN114120287A (zh) 数据处理方法、装置、计算机设备和存储介质
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
CN113963310A (zh) 一种公交站的人流量检测方法、装置及电子设备
CN112732446A (zh) 一种任务处理方法、装置及存储介质
CN117058489B (zh) 多标签识别模型的训练方法、装置、设备及存储介质
CN115049731B (zh) 一种基于双目摄像头的视觉建图和定位方法
CN112950944B (zh) 交通出行需求的估计方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190510

RJ01 Rejection of invention patent application after publication