CN110555125A - 一种基于局部特征的车辆检索方法 - Google Patents

一种基于局部特征的车辆检索方法 Download PDF

Info

Publication number
CN110555125A
CN110555125A CN201810456030.1A CN201810456030A CN110555125A CN 110555125 A CN110555125 A CN 110555125A CN 201810456030 A CN201810456030 A CN 201810456030A CN 110555125 A CN110555125 A CN 110555125A
Authority
CN
China
Prior art keywords
vehicle
car
comparison
window
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810456030.1A
Other languages
English (en)
Inventor
蔡晓东
苏欣欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Original Assignee
GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd filed Critical GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Priority to CN201810456030.1A priority Critical patent/CN110555125A/zh
Publication of CN110555125A publication Critical patent/CN110555125A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部特征的车辆检索方法,具体公开了:用目标检测算法进行车脸和车窗的定位,得到车辆样本;样本通过一定的预处理,定位截取车脸和车窗,搭建多任务loss卷积神经网络的深度学习算法,训练得到CNN网络模型,实现车辆型号的分类和特征提取,用车脸及车窗显著特征进行匹配检索出目标车辆,检索出同一辆车,解决了现有技术中在无车牌的情况,由于同一车型外观无法分辨,难以实现准确检索车辆的技术缺陷。

Description

一种基于局部特征的车辆检索方法
技术领域
本发明涉及图像处理与检索领域,尤其涉及一种基于局部特征的车辆检索方法。
背景技术
随着交通监控系统的数据库不断的扩大和更新,准确的在大规模的数据库中检索出目标车辆,对安防部门、公安侦查罪犯等社会应用有非常大的帮助。很多涉嫌违法犯罪的车辆常没有车牌(包括套牌、伪造车牌及遮挡车牌等),基于车牌识别的方法无法对其进行有效识别检索。目前关于车辆识别和检索研究,主要集中在识别大型货车、中型汽车、小型轿车等少数几类车型。随着图像识别研究的深入,针对例如奥迪Q5、奔驰S500等具体车辆型号识别的研究也逐步出现,而由于同一车型外观是无法分辨的,在无车牌的情况下检索出同一辆车难以实现。
由于车脸能够有效的表达车辆的外观属性,通过基于车脸特征的分类能对车辆型号进行准确的识别,而因车主的喜好使车窗具有鲜明的局部特征,特殊标志(挂饰、摆件、纸巾盒、年检标)使得相同型号的车辆能够加以区分。
因此,如何提供一种通过车脸、车窗图像对无牌车进行识别检索是本领域人员亟需解决的技术问题。
发明内容
有鉴于此,本发明提供了一种基于局部特征的车辆检索方法,包括车脸和车窗的定位、图像预处理、建立CNN网络模型、车脸和车窗特征提取与对比,实现在大规模车辆数据库高效准确的检索。
为了实现上述目的,本发明采用如下技术方案:
一种基于局部特征的车辆检索方法,包括以下步骤:
步骤S1:车脸和车窗的定位:通过目标检测算法Fast-RCNN定位,利用运动目标检测技术从交通卡口监控视频中检测到车辆,对无车牌的车脸及车窗进行检测定位,再定位截取出车脸和车窗,获得的局部区域的坐标;
步骤S2:图像预处理:将步骤S1获取的车辆样本进行检测、裁剪、对齐预处理,并将图片格式转换为LMDB格式,生成减均值文件;
步骤S3:建立CNN网络模型:通过基于搭建多任务loss双支网络构架,训练得到CNN网络模型用于特征提取;在网络构架的损失层上结合center loss和softmax,其中,centerloss通过惩罚每个种类的样本和该种样本中心的偏移,使同一种类的样本尽量聚合在一起。其表示为:
其中,xi表示第i张图片的特征值,表示类yi的类中心,在此损失函数中,每个iteration计算当前数据和center的距离,然后把这个距离以梯度的形式叠加到center上实现的更新;
Softmax使用下式计算得到每一类的概率输出,
其中,xi为softmax层第i个节点值,yi为第i个输出值,n为softmax层的节点个数,
最后一个损失层是中心损失函数和softmax的结合,损失函数表示为:
步骤S4:车脸和车窗特征提取与对比:运用步骤S3训练得到的CNN网络模型对步骤S2中处理好的待检索样本和车辆检索库进行特征提取,然后进行特征比对,分类识别出同一车型的图像后利用车窗及车脸特征比对检索得到同一车辆;
其中,车脸和车窗比对阶段,需要设置一个相似度阈值w,采用余弦距离计算图像相似度s,计算s的公式如下所示:
车辆比对阶段,将两张车辆图像的相似度和阈值w进行比较,将当s>w时,说明两张图像相似度较高,可以分为同一车型,当s≤w时,说明输入比对的两张图像相似度较低,属于不同车型;若为同一车型,继续进行车窗比对,直到检索出相似度最高的同一辆车;若为不同车型,即可停止下一步的车窗比对。
优选地,所述步骤S3中CNN网络模型包括车脸分类模型与车窗目标提取模型。
优选地,所述步骤S3中网络构架为深层网络构架或浅层网络构架。
优选地,所述步骤S4中确定车脸比对的相似度阈值定为0.52以及车窗比对的相似度阈值定为0.71时比对准确率最高。
本发明的有益效果:本发明方法采用一种卷积神经网络主要算法流程,提出一种基于局部特征的车辆检索方法。用目标检测算法进行脸和车窗的定位,得到车辆样本;样本通过一定的预处理,定位截取车脸和车窗,搭建多任务loss卷积神经网络的深度学习算法,训练得到CNN网络模型,实现车辆型号的分类和特征提取,用车脸及车窗显著特征进行匹配检索出目标车辆,检索出同一辆车,解决了现有技术中在无车牌的情况,由于同一车型外观无法分辨,难以实现准确检索车辆的技术缺陷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明的检索流程框架示意图;
图2为多任务loss双支网络构架;
图3为Fast-RCNN算法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行完整、清楚的描述。
本发明所述基于局部特征的车辆检索方法,如图1所示是基于局部特征的检索流程框架示意图,首先进行车脸和车窗的定位、图像预处理、建立CNN网络模型,得到车脸分类模型和车窗目标提取网络模型。然后用CNN网络模型提取特征信息进行比对,先筛选出相同车型的车辆,最终检索出同一车辆。具体实施过程如下:
步骤S1:车辆图像是利用目标检测Fast-RCNN算法定位,获得车脸和车窗样本。基于深度学习的目标检测算法比传统的车牌识别检测识别更高效,且能够对无车牌的车脸进行检测定位,利用获得的局部区域的坐标截取得到。如图3为Fast-RCNN算法流程图。
步骤S2:将车辆样本进行检测、裁剪、对齐等预处理,并将图片格式转换为LMDB格式。通过对所有训练样本取平均,生成一个均值文件mean.binaryproto,以LMDB文件作为输入数据,对图片进行减均值处理。
步骤S3:搭建基于多任务loss双支网络构架,训练得到CNN网络模型用于特征提取。基于CNNs的深度学习网络构架,可以搭建深层的网络构架,也可以搭建浅层的网络构架,本发明搭建的是一个浅层双支多任务loss网络构架,如图2所示网络构架示意图,其中单支包括三个卷积-池化层、两个全连接层、一个损失层,三个卷积层卷积核的个数分别为32/32/64,卷积核大小为5*5,步长为1;三个池化层的核大小均为3*3,步长为2,三个池化层均为最大池化层;第一个全连接层设置节点数为4096,第二个全连接层设置节点数为1024,两个全连接层的权值初始化参数为xavier,偏置项初始化参数为constant,一个损失层为softmax;合并分支部分包括两个全连接层和一个损失层,最后损失层采用中心损失函数和softmax的结合,计算loss值公式为:
步骤S4:如图1所示基于局部特征的车辆检索流程图,运用步骤S3训练得到的CNN网络模型对步骤S2中处理好的待检索样本和车辆检索库进行特征提取,然后进行特征比对,分类识别出同一车型的图像后利用车窗及车脸特征比对检索得到同一车辆;
其中,车脸和车窗比对阶段,需要设置一个相似度阈值w,采用余弦距离计算图像相似度s,计算s的公式如下所示:
车辆比对阶段,将两张车辆图像的相似度和阈值w进行比较,将当s>w时,说明两张图像相似度较高,可以分为同一车型,当s≤w时,说明输入比对的两张图像相似度较低,属于不同车型;若为同一车型,继续进行车窗比对,直到检索出相似度最高的同一辆车;若为不同车型,即可停止下一步的车窗比对其中,确定车脸比对的相似度阈值定为0.52以及车窗比对的相似度阈值定为0.71时准确率最高。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于局部特征的车辆检索方法,其特征在于,包括以下步骤:
步骤S1:车脸和车窗的定位:通过目标检测算法Fast-RCNN定位,对无车牌的车脸及车窗进行检测定位,获得的局部区域的坐标;
步骤S2:图像预处理:将步骤S1获取的车辆样本进行检测、裁剪、对齐预处理,并将图片格式转换为LMDB格式,生成减均值文件;
步骤S3:建立CNN网络模型:通过基于搭建多任务loss双支网络构架,训练得到CNN网络模型用于特征提取;在网络构架的损失层上结合center loss和softmax,其中,centerloss通过惩罚每个种类的样本和该种样本中心的偏移,使同一种类的样本聚合在一起,其表示为:
其中,xi表示第i张图片的特征值,表示类yi的类中心,在此损失函数中,每个iteration计算当前数据和center的距离,然后把这个距离以梯度的形式叠加到center上实现的更新;
Softmax使用下式计算得到每一类的概率输出,
其中,xi为softmax层第i个节点值,yi为第i个输出值,n为softmax层的节点个数,
最后一个损失层是中心损失函数和softmax的结合,损失函数表示为:
步骤S4:车脸和车窗特征提取与对比:运用步骤S3训练得到的CNN网络模型对步骤S2中处理好的待检索样本和车辆检索库进行特征提取,然后进行特征比对,分类识别出同一车型的图像后利用车窗及车脸特征比对检索得到同一车辆;
其中,车脸和车窗比对阶段,需要设置一个相似度阈值w,采用余弦距离计算图像相似度s,计算s的公式如下所示:
车辆比对阶段,将两张车辆图像的相似度和阈值w进行比较,将当s>w时,说明两张图像相似度较高,可以分为同一车型,当s≤w时,说明输入比对的两张图像相似度较低,属于不同车型;若为同一车型,继续进行车窗比对,直到检索出相似度最高的同一辆车;若为不同车型,即可停止下一步的车窗比对。
2.根据权利要求1所述的一种基于局部特征的车辆检索方法,其特征在于,所述步骤S3中CNN网络模型包括车脸分类模型与车窗目标提取模型。
3.根据权利要求1所述的一种基于局部特征的车辆检索方法,其特征在于,所述步骤S3中网络构架为深层网络构架或浅层网络构架。
4.根据权利要求1所述的一种基于局部特征的车辆检索方法,其特征在于,所述步骤S4中确定车脸比对的相似度阈值定为0.52以及车窗比对的相似度阈值定为0.71时比对准确率最高。
CN201810456030.1A 2018-05-14 2018-05-14 一种基于局部特征的车辆检索方法 Pending CN110555125A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810456030.1A CN110555125A (zh) 2018-05-14 2018-05-14 一种基于局部特征的车辆检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810456030.1A CN110555125A (zh) 2018-05-14 2018-05-14 一种基于局部特征的车辆检索方法

Publications (1)

Publication Number Publication Date
CN110555125A true CN110555125A (zh) 2019-12-10

Family

ID=68733628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810456030.1A Pending CN110555125A (zh) 2018-05-14 2018-05-14 一种基于局部特征的车辆检索方法

Country Status (1)

Country Link
CN (1) CN110555125A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164229A (zh) * 2020-09-28 2021-01-01 广西信路威科技发展有限公司 基于车辆多维特征的车型识别匹配系统和方法
CN113205107A (zh) * 2020-11-02 2021-08-03 哈尔滨理工大学 一种基于改进高效率网络的车型识别方法
CN115512154A (zh) * 2022-09-21 2022-12-23 东南大学 基于深度学习神经网络的高速公路车辆图像检索方法
CN115731436A (zh) * 2022-09-21 2023-03-03 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224922A (zh) * 2015-09-18 2016-01-06 桂林远望智能通信科技有限公司 一种人车分类视频流式处理系统及方法
CN105718912A (zh) * 2016-01-26 2016-06-29 浙江捷尚视觉科技股份有限公司 一种基于深度学习的车辆特征物检测方法
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN106557579A (zh) * 2016-11-28 2017-04-05 中通服公众信息产业股份有限公司 一种基于卷积神经网络的车辆型号检索系统及方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN106650660A (zh) * 2016-12-19 2017-05-10 深圳市华尊科技股份有限公司 一种车型识别方法及终端
CN106776943A (zh) * 2016-12-01 2017-05-31 中科唯实科技(北京)有限公司 一种基于AutoEncoder和属性标签的车辆检索方法
CN106845341A (zh) * 2016-12-15 2017-06-13 南京积图网络科技有限公司 一种基于虚拟号牌的无牌车辆识别方法
CN106897677A (zh) * 2017-02-06 2017-06-27 桂林电子科技大学 一种车辆特征分类检索系统和方法
CN107092960A (zh) * 2017-04-17 2017-08-25 中国民航大学 一种改进的并行通道卷积神经网络训练方法
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
CN107679078A (zh) * 2017-08-29 2018-02-09 银江股份有限公司 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN107808126A (zh) * 2017-10-11 2018-03-16 苏州科达科技股份有限公司 车辆检索方法及装置
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技(北京)有限公司 一种人脸识别方法与系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224922A (zh) * 2015-09-18 2016-01-06 桂林远望智能通信科技有限公司 一种人车分类视频流式处理系统及方法
CN105718912A (zh) * 2016-01-26 2016-06-29 浙江捷尚视觉科技股份有限公司 一种基于深度学习的车辆特征物检测方法
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN106557579A (zh) * 2016-11-28 2017-04-05 中通服公众信息产业股份有限公司 一种基于卷积神经网络的车辆型号检索系统及方法
CN106776943A (zh) * 2016-12-01 2017-05-31 中科唯实科技(北京)有限公司 一种基于AutoEncoder和属性标签的车辆检索方法
CN106845341A (zh) * 2016-12-15 2017-06-13 南京积图网络科技有限公司 一种基于虚拟号牌的无牌车辆识别方法
CN106650660A (zh) * 2016-12-19 2017-05-10 深圳市华尊科技股份有限公司 一种车型识别方法及终端
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN106897677A (zh) * 2017-02-06 2017-06-27 桂林电子科技大学 一种车辆特征分类检索系统和方法
CN107092960A (zh) * 2017-04-17 2017-08-25 中国民航大学 一种改进的并行通道卷积神经网络训练方法
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
CN107679078A (zh) * 2017-08-29 2018-02-09 银江股份有限公司 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN107808126A (zh) * 2017-10-11 2018-03-16 苏州科达科技股份有限公司 车辆检索方法及装置
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技(北京)有限公司 一种人脸识别方法与系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
吕璐等: "一种基于融合深度卷积神经网络与度量学习的人脸识别方法", 《现代电子技术》 *
张延安等: "基于深度卷积神经网络与中心损失的人脸识别", 《科学技术与工程》 *
邵杰: "基于深度学习的跨模态检索", 《中国博士学位论文全文数据库 (信息科技辑)》 *
陈朋等: "基于多任务 Faster R-CNN 车辆假牌套牌的检测方法", 《仪器仪表学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164229A (zh) * 2020-09-28 2021-01-01 广西信路威科技发展有限公司 基于车辆多维特征的车型识别匹配系统和方法
CN113205107A (zh) * 2020-11-02 2021-08-03 哈尔滨理工大学 一种基于改进高效率网络的车型识别方法
CN115512154A (zh) * 2022-09-21 2022-12-23 东南大学 基于深度学习神经网络的高速公路车辆图像检索方法
CN115731436A (zh) * 2022-09-21 2023-03-03 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法
CN115731436B (zh) * 2022-09-21 2023-09-26 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法

Similar Documents

Publication Publication Date Title
CN111126360B (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN110414368B (zh) 一种基于知识蒸馏的无监督行人重识别方法
CN107729818B (zh) 一种基于深度学习的多特征融合车辆重识别方法
CN111079640B (zh) 一种基于自动扩增样本的车型识别方法及系统
CN108197326B (zh) 一种车辆检索方法及装置、电子设备、存储介质
CN110555125A (zh) 一种基于局部特征的车辆检索方法
CN105335702B (zh) 一种基于统计学习的卡口车型识别方法
CN109033944B (zh) 一种全天空极光图像分类与关键局部结构定位方法及系统
CN113034545A (zh) 一种基于CenterNet多目标跟踪算法的车辆跟踪方法
CN112434599B (zh) 一种基于噪声通道的随机遮挡恢复的行人重识别方法
CN107688830B (zh) 一种用于案件串并的现勘视觉信息关联图层生成方法
CN111310662A (zh) 一种基于集成深度网络的火焰检测识别方法及系统
CN113158891B (zh) 一种基于全局特征匹配的跨摄像头行人重识别方法
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN111079543B (zh) 一种基于深度学习的高效车辆颜色识别方法
Pavani et al. Comparison of KNN, ANN, CNN and YOLO algorithms for detecting the accurate traffic flow and build an Intelligent Transportation System
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
Shanthakumari et al. Mask RCNN and Tesseract OCR for vehicle plate character recognition
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN118038494A (zh) 一种损坏场景鲁棒的跨模态行人重识别方法
Yang et al. Character recognition using parallel bp neural network
CN113313008B (zh) 基于YOLOv3网络和均值漂移的目标与识别跟踪方法
Roy Automatics number plate recognition using convolution neural network
CN113221982A (zh) 一种车辆识别方法、车辆识别模型创建方法及相关组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191210

RJ01 Rejection of invention patent application after publication