CN106971556B - 基于双网络结构的卡口车辆重识别方法 - Google Patents

基于双网络结构的卡口车辆重识别方法 Download PDF

Info

Publication number
CN106971556B
CN106971556B CN201710344365.XA CN201710344365A CN106971556B CN 106971556 B CN106971556 B CN 106971556B CN 201710344365 A CN201710344365 A CN 201710344365A CN 106971556 B CN106971556 B CN 106971556B
Authority
CN
China
Prior art keywords
vehicle
network
image
nervus opticus
appearance features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710344365.XA
Other languages
English (en)
Other versions
CN106971556A (zh
Inventor
赖剑煌
谷扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ziweiyun Technology Co ltd
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201710344365.XA priority Critical patent/CN106971556B/zh
Publication of CN106971556A publication Critical patent/CN106971556A/zh
Application granted granted Critical
Publication of CN106971556B publication Critical patent/CN106971556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的方法利用训练好的第一神经网络、第二神经网络进行卡口系统数据库中车辆图像与查询图像的表观特征的提取，然后基于提取的表观特征计算相似度，从而得到重识别的结果，与现有技术相比，本发明提供的重识别方法能够实现在车辆套牌、移除甚至伪造牌照时车辆的重识别。

Description

基于双网络结构的卡口车辆重识别方法
技术领域
本发明涉及智能交通监控领域，更具体地，涉及一种基于双网络结构的卡口车辆重识别方法。
背景技术
近几年随着我国的平安城市、智能交通等工程的推进，交通卡口拍摄的机动车辆图像为大多数案件留下了影像资料，给警方破案带来了很大的便利。卡口系统中所拍摄的卡口车辆图片是角度较为一致的车的正面照，一般包含了车辆的车牌、前车窗、前车灯与保险杠等信息。
如今，在公共安全系统中，大型监视图像和视频数据库对车辆搜索和重识别(Re-ID)有一个爆炸式增长的需求。车牌自然是车辆的唯一ID，并且牌照识别已经在交通管理应用中广泛使用。不幸的是，在某些情况下，简单地通过它的车牌来识别车辆不一定能得到准确信息。首先，大多数监视摄像机没有安装用于牌照捕获的部件，因此由这些摄像机捕获的图像或视频数据的识别性能急剧下降。此外，在许多的违法犯罪事件中，牌照常常被遮挡，移除甚至伪造。公安侦查过程中需要对涉嫌违法犯罪的车辆进行定位和追踪时，通过查看犯罪车辆出现在的卡口位置可以对车辆逃逸路线进行定位进而抓捕嫌疑犯。识别同一车辆在不同卡口出现的方法叫做车辆重识别，这个识别问题要求在输入一张查询车辆图像后，就能够识别检测到该辆车被拍摄到的其他图像。基于图像识别的车辆重识别在实际监控应用中具有很大的实用价值。
当前卡口车辆重识别是交通管理上的一个热点问题，对于以上提到的难点，通过除车牌信息以外的信息(如车辆颜色、外形、车辆内饰等等)识别检索到涉事车辆的方法是十分有意义的，这对于公安机关侦破交通刑事案件和定位追踪违法车辆具有重要的研究意义和应用价值。
发明内容
本发明为解决以上现有技术无法解决车辆遮挡、移除甚至伪造牌照时车辆的重识别问题，提供了一种基于双网络结构的卡口车辆重识别方法。
为实现以上发明目的，采用的技术方案是：
一种基于双网络结构的卡口车辆重识别方法，包括以下步骤：
S1.从卡口系统的数据库中获取一部分拍摄的车辆图像作为训练集；
S2.对于训练集中的每一张车辆图像，将其分割成上半区域和下半区域两个区域；
S3.构建第一神经网络、第二神经网络，第一神经网络、第二神经网络分别对训练集中车辆图像的上半区域和下半区域进行表观特征的学习，其中第一神经网络用于对同一型号的车辆的不同表观特征进行学习，第二神经网络用于对不同型号的车辆的不同表观特征进行学习；
S4.训练集中的每一张车辆图像经过第一神经网络、第二神经网络的学习后得到相应的表观特征，将第一神经网络、第二神经网络输出的表观特征拼接起来；
S5.利用训练集中的每一张图像对第一神经网络、第二神经网络进行特征学习的训练直至收敛；
S6.利用训练好的第一神经网络、第二神经网络对卡口系统数据库中的每一张车辆图像进行特征的学习，第一神经网络、第二神经网络的输出进行拼接后得到每张车辆图像的表观特征；
S7.对于一张查询图像，首先将其分割成上半区域和下半区域两个区域，然后将查询图像的上半区域、下半区域分别输入至训练好的第一神经网络、第二神经网络内，第一神经网络、第二神经网络的输出进行拼接后得到查询图像的表观特征；
S8.计算查询图像的表观特征与卡口系统数据库中每一张车辆图像的表观特征的相似度，然后将相似度最高的车辆图像作为重识别结果进行输出。
与现有技术相比，本发明的有益效果是：
本发明提供的方法利用训练好的第一神经网络、第二神经网络进行卡口系统数据库中车辆图像与查询图像的表观特征的提取，然后基于提取的表观特征计算相似度，从而得到重识别的结果，与现有技术相比，本发明提供的重识别方法能够实现在车辆套牌、移除甚至伪造牌照时车辆的重识别。
附图说明
图1本发明提供的方法的流程示意图。
图2为双网络的结构示意图。
图3为本发明方法在计算匹配准确率CMC评价标准上的性能曲线图。
图4为本发明方法进行识别的效果示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1、2所示，本发明提供的方法包括以下步骤：
S1.从卡口系统的数据库中获取一部分拍摄的车辆图像作为训练集；
S2.对于训练集中的每一张车辆图像，将其分割成上半区域和下半区域两个区域；
S3.构建第一神经网络、第二神经网络，第一神经网络、第二神经网络分别对训练集中车辆图像的上半区域和下半区域进行表观特征的学习，其中第一神经网络用于对同一型号的车辆的不同表观特征进行学习，第二神经网络用于对不同型号的车辆的不同表观特征进行学习；
S4.训练集中的每一张车辆图像经过第一神经网络、第二神经网络的学习后得到相应的表观特征，将第一神经网络、第二神经网络输出的表观特征拼接起来；
S5.利用训练集中的每一张图像对第一神经网络、第二神经网络进行特征学习的训练直至收敛；
S6.利用训练好的第一神经网络、第二神经网络对卡口系统数据库中的每一张车辆图像进行特征的学习，第一神经网络、第二神经网络的输出进行拼接后得到每张车辆图像的表观特征；
S7.对于一张查询图像，首先将其分割成上半区域和下半区域两个区域，然后将查询图像的上半区域、下半区域分别输入至训练好的第一神经网络、第二神经网络内，第一神经网络、第二神经网络的输出进行拼接后得到查询图像的表观特征；
S8.计算查询图像的表观特征与卡口系统数据库中每一张车辆图像的表观特征的相似度，然后将相似度最高的车辆图像作为重识别结果进行输出。
其中，所述车辆图像或查询图像含有车辆的正脸照。所述第一神经网络学习的表观特征包括车窗、车顶、车辆内的挂饰；所述第二神经网络学习的表观特征包括车灯、保险杆、车前盖。
在具体的实施过程中，所述第一神经网络、第二神经网络包括有五个卷积层和两个全连接层。
在具体的实施过程中，所述第一神经网络使用损失函数softmax Loss表征是否训练收敛；所述第二神经网络使用嵌套三元组损失函数表征是否训练收敛。
其中，损失函数softmax Loss的代价函数表示为：
其中x是输入变量，y是类标，m代表已标记样本数量。
嵌套三元组损失函数的输入元素表示为：{xA,xP1,xP2,xP3,xN},其中这五个输入的下标分别代表：
A:任意一个车型中的其中一个ID的车；
P1：与A相同车型相同ID的车，并且在这一类型中离A距离最远；
P2：与A点相同车型但是ID不同，在P2所在ID中距离A最近；
P3：与A点相同车型但是ID不同(ID与P2相同)，在P2所在ID中距离A最远；
N:与A车型不同的一个ID类中，距离A最近的一个车；
通过学习让xA和xp1特征表达之间的距离小于xA和xp2之间的距离，并且要让xA和xp1之间的距离与xA和xp2间的距离之间有一个最小的间隔α。这里α是表示同一车型但具有不同ID的最小裕度的预定常数参数；xA和xp2特征表达之间的距离小于xA和xp3之间的距离，并且要让xA和xp2之间的距离与xA和xp3间的距离之间有一个最小的间隔β，这里β是表示同一车型之间同一ID之间的一个间隔参数；最后，定义了xA和xp3特征表达之间的距离小于xA和xN之间的距离，并且要让xA和xp3之间的距离与xA和xN间的距离之间有一个最小的间隔γ，γ表示不同车型之间的类别距离间隔。嵌套三元组算是函数表示为：
式子中max{x，0}表示{}内的值大于零时取x的值为损失，小于零时损失为零。
在具体的实施过程中，所述步骤S8计算相似度的具体过程如下：
其中查询图像的表观特征使用n维向量表示a(x1,x2,…xn)，车辆图像的表观特征使用n维向量表示b(y1,y2,…yn)，相似度dab计算表示为：
实施例2
本实施例进行了具体的实验，实验结果如图所示，图3所示为CMC评价标准性能曲线，其中our曲线代表本发明所采用的方法，可以看到曲线在其他方法所示曲线最上方，说明本方法达到的效果最佳。图4所示为输入车辆图像的重识别检索示例，每一行的第一列为查询图像，其他列是对应再结果匹配得分top-1到top-5。从这些结果可以看到再识别结果的命中率较高。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于双网络结构的卡口车辆重识别方法，其特征在于：包括以下步骤：
S1.从卡口系统的数据库中获取一部分拍摄的车辆图像作为训练集；
S2.对于训练集中的每一张车辆图像，将其分割成上半区域和下半区域两个区域；
S3.构建第一神经网络、第二神经网络，第一神经网络、第二神经网络分别对训练集中车辆图像的上半区域和下半区域进行表观特征的学习，其中第一神经网络用于对同一型号的车辆的不同表观特征进行学习，第二神经网络用于对不同型号的车辆的不同表观特征进行学习；
S4.训练集中的每一张车辆图像经过第一神经网络、第二神经网络的学习后得到相应的表观特征，将第一神经网络、第二神经网络输出的表观特征拼接起来；
S5.利用训练集中的每一张图像对第一神经网络、第二神经网络进行特征学习的训练直至收敛；
S6.利用训练好的第一神经网络、第二神经网络对卡口系统数据库中的每一张车辆图像进行特征的学习，第一神经网络、第二神经网络的输出进行拼接后得到每张车辆图像的表观特征；
S7.对于一张查询图像，首先将其分割成上半区域和下半区域两个区域，然后将查询图像的上半区域、下半区域分别输入至训练好的第一神经网络、第二神经网络内，第一神经网络、第二神经网络的输出进行拼接后得到查询图像的表观特征；
S8.计算查询图像的表观特征与卡口系统数据库中每一张车辆图像的表观特征的相似度，然后将相似度最高的车辆图像作为重识别结果进行输出。
2.根据权利要求1所述的基于双网络结构的卡口车辆重识别方法，其特征在于：所述车辆图像或查询图像含有车辆的正脸照。
3.根据权利要求1所述的基于双网络结构的卡口车辆重识别方法，其特征在于：所述第一神经网络学习的表观特征包括车窗、车顶、车辆内的挂饰；所述第二神经网络学习的表观特征包括车灯、保险杆、车前盖。
4.根据权利要求1所述的基于双网络结构的卡口车辆重识别方法，其特征在于：所述第一神经网络、第二神经网络包括有五个卷积层和两个全连接层。
5.根据权利要求1所述的基于双网络结构的卡口车辆重识别方法，其特征在于：所述第一神经网络使用损失函数softmax Loss表征是否训练收敛；所述第二神经网络使用嵌套三元组损失函数表征是否训练收敛；
嵌套三元组损失函数表示为：
式子中max{x，0}表示{}内的值大于零时取x的值为损失，小于零时损失为零；
嵌套三元组损失函数的输入元素表示为：{xA,xP1,xP2,xP3,xN},其中这五个输入的下标分别代表：
A:任意一个车型中的其中一个ID的车；
P1：与A相同车型相同ID的车，并且在这一类型中离A距离最远；
P2：与A点相同车型但是ID不同，在P2所在ID中距离A最近；
P3：与A点相同车型但是ID不同；ID与P2相同，在P2所在ID中距离A最远；
N:与A车型不同的一个ID类中，距离A最近的一个车。
6.根据权利要求1所述的基于双网络结构的卡口车辆重识别方法，其特征在于：所述步骤S8计算相似度的具体过程如下：
其中查询图像的表观特征使用n维向量表示a(x1,x2,…xn)，车辆图像的表观特征使用n维向量表示b(y1,y2,…yn)，相似度dab计算表示为：
CN201710344365.XA 2017-05-16 2017-05-16 基于双网络结构的卡口车辆重识别方法 Active CN106971556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710344365.XA CN106971556B (zh) 2017-05-16 2017-05-16 基于双网络结构的卡口车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710344365.XA CN106971556B (zh) 2017-05-16 2017-05-16 基于双网络结构的卡口车辆重识别方法

Publications (2)

Publication Number Publication Date
CN106971556A CN106971556A (zh) 2017-07-21
CN106971556B true CN106971556B (zh) 2019-08-02

Family

ID=59330779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710344365.XA Active CN106971556B (zh) 2017-05-16 2017-05-16 基于双网络结构的卡口车辆重识别方法

Country Status (1)

Country Link
CN (1) CN106971556B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197538B (zh) * 2017-12-21 2020-10-16 浙江银江研究院有限公司 一种基于局部特征和深度学习的卡口车辆检索系统及方法
CN108875754B (zh) * 2018-05-07 2022-04-05 华侨大学 一种基于多深度特征融合网络的车辆再识别方法
CN109063768B (zh) * 2018-08-01 2021-10-01 北京旷视科技有限公司 车辆重识别方法、装置及系统
CN109344695B (zh) * 2018-08-14 2022-03-22 中山大学 一种基于特征选择卷积神经网络的目标重识别方法和装置
CN109919073B (zh) * 2019-03-01 2021-04-06 中山大学 一种具有光照鲁棒性的行人再识别方法
CN110070071B (zh) * 2019-04-30 2021-03-16 重庆文理学院 一种基于图像识别的生姜茎叶病虫害识别方法及系统
CN111598124B (zh) * 2020-04-07 2022-11-11 深圳市商汤科技有限公司 图像处理及装置、处理器、电子设备、存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509090B (zh) * 2011-11-29 2016-05-04 冷明 一种基于天网工程中公共安全视频图像的车辆特征识别装置
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
CN105787437B (zh) * 2016-02-03 2017-04-05 东南大学 一种基于级联集成分类器的车辆品牌类型识别方法
CN106295646B (zh) * 2016-08-10 2019-08-23 东方网力科技股份有限公司 一种基于深度学习的车牌字符分割方法和装置
CN106326893A (zh) * 2016-08-25 2017-01-11 安徽水滴科技有限责任公司 一种基于区域辨别的车辆颜色识别方法
CN106599869B (zh) * 2016-12-22 2019-12-03 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
EP3151164A3 (en) * 2016-12-26 2017-04-12 Argosai Teknoloji Anonim Sirketi A method for foreign object debris detection

Also Published As

Publication number Publication date
CN106971556A (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
CN106971556B (zh) 基于双网络结构的卡口车辆重识别方法
Chen et al. Partition and reunion: A two-branch neural network for vehicle re-identification.
Zapletal et al. Vehicle re-identification for automatic video traffic surveillance
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
Qadri et al. Automatic number plate recognition system for vehicle identification using optical character recognition
Tian et al. Robust detection of abandoned and removed objects in complex surveillance videos
CN105702048B (zh) 基于行车记录仪的高速公路前车违法占道识别系统及方法
CN106056086B (zh) 基于快速学习框架的车辆品牌型号识别方法
CN105893510A (zh) 一种视频结构化系统及其目标搜索方法
CN107230267B (zh) 基于人脸识别算法的幼儿园智能签到方法
KR101912914B1 (ko) 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법
CN103294775B (zh) 基于地理时空约束的警务云图像识别车辆管控系统
CN111126224A (zh) 车辆检测方法及分类识别模型训练方法
CN104680795B (zh) 一种基于局部区域特征的车型识别方法和装置
CN106022285A (zh) 一种基于卷积神经网络的车款识别方法及装置
CN110619277A (zh) 一种多社区智慧布控方法以及系统
JP2020137069A5 (zh)
CN106778487A (zh) 一种2dpca人脸识别方法
CN109977771A (zh) 司机身份的验证方法、装置、设备及计算机可读存储介质
Elihos et al. Comparison of image classification and object detection for passenger seat belt violation detection using NIR & RGB surveillance camera images
CN106875692A (zh) 基于大数据的车辆积分预警系统及其方法
CN112668557A (zh) 一种行人再识别系统中防御图像噪声攻击的方法
CN107862072A (zh) 基于大数据技术分析车辆入城套牌作案的方法
Ketcham et al. Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine
CN104933542A (zh) 一种基于计算机视觉的物流仓储监控方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210831

Address after: 510700 room 2001-1, floor 20, building F, No. 98, Xiangxue 8th Road, Huangpu District, Guangzhou, Guangdong Province (office only)

Patentee after: Guangzhou ziweiyun Technology Co.,Ltd.

Address before: 510275 No. 135 West Xingang Road, Guangzhou, Guangdong, Haizhuqu District

Patentee before: SUN YAT-SEN University

TR01 Transfer of patent right