CN110458234A - 一种基于深度学习的以图搜车方法 - Google Patents

一种基于深度学习的以图搜车方法 Download PDF

Info

Publication number
CN110458234A
CN110458234A CN201910747926.XA CN201910747926A CN110458234A CN 110458234 A CN110458234 A CN 110458234A CN 201910747926 A CN201910747926 A CN 201910747926A CN 110458234 A CN110458234 A CN 110458234A
Authority
CN
China
Prior art keywords
vehicle
scheme
search
license plate
network structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910747926.XA
Other languages
English (en)
Other versions
CN110458234B (zh
Inventor
文莉
黄宇恒
金晓峰
梁添才
赵清利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Grg Banking Technology Co Ltd
Guangzhou Grg Jetco Financial Electronic Co Ltd
GRG Banking Equipment Co Ltd
Guangdian Yuntong Financial Electronic Co Ltd
Original Assignee
Shenzhen Grg Banking Technology Co Ltd
Guangzhou Grg Jetco Financial Electronic Co Ltd
Guangdian Yuntong Financial Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Grg Banking Technology Co Ltd, Guangzhou Grg Jetco Financial Electronic Co Ltd, Guangdian Yuntong Financial Electronic Co Ltd filed Critical Shenzhen Grg Banking Technology Co Ltd
Priority to CN201910747926.XA priority Critical patent/CN110458234B/zh
Publication of CN110458234A publication Critical patent/CN110458234A/zh
Application granted granted Critical
Publication of CN110458234B publication Critical patent/CN110458234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Abstract

本发明涉及计算机视觉技术领域，具体为基于深度学习的以图搜车方法，其融合了车辆的全局外观特征与局部特征，具有较强的泛化性与鲁棒性。包括步骤：采集实际应用场景的图片；自动对获取的图片打标签，即同一辆车的图片归为一类，建立训练集和测试集；设计神经网络结构；将训练集的样本输入到神经网络结构中进行训练，得到以图搜车模型；利用以图搜车模型计算测试集所有样本的特征向量；特征比对：采用余弦距离计算目标图像特征向量与样本特征向量之间的相似度大小；对得到的相似度，按照从大到小进行排序，得到以图搜车结果。

Description

一种基于深度学习的以图搜车方法
技术领域
本发明涉及计算机视觉技术领域，具体为基于一种深度学习的以图搜车方法。
背景技术
以图搜车是一种基于图像的车辆检索技术，其旨在搜索到不同视频监控场景下的同一辆车。数据显示，65％以上的犯罪案件都与车辆有关。而在涉车案件中，嫌疑车辆的车牌通常是假牌、套牌，无法通过识别车牌号码来锁定车辆身份，因此基于视觉表观特征的以图搜车技术具有重大研究意义和实用价值。
目前以图搜车技术主要分为两大类，一类是基于传统图像特征，另一类是基于深度特征。基于传统图像特征通过手工设计的特征描述子，如sift、hog等，以及颜色直方图等，获取目标图像的颜色特征、纹理特征等用于以图搜车。传统图像特征具有运行速度快、可解释性强等优点。但在实际应用中其泛化性差，对遮挡、光照变化、角度变化等干扰的鲁棒性差等缺点。基于深度特征通过自动学习数据的分布式特征表示用于以图搜车，其具有较强的泛化性与鲁棒性。
于2018年1月23日公开的公开号为“CN107622229A”的发明专利，其通过计算目标车辆图像与待匹配车辆图像的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合来得到相似度，然而在实际应用中，光照、阴影、相机偏色等都会造成车辆颜色发生剧烈变化，从而导致算法鲁棒性非常差。
于2017年8月4日公开的公开号为“CN107016362A”的发明专利，其拍摄车辆前挡风玻璃图片，输入深度训练的检测器进行检测定位，得到前挡风玻璃粘贴的每个标志的候选区域，统计标志的数量及颜色序列，计算标志与车辆前挡风玻璃图片中心点的相对位置。若两张车辆前挡风玻璃图片的标志的数量、颜色序列均一致，且相对位置的差异值在预设值以内，判定车辆为同一车辆，否则不是同一车辆。这种方法只适用车辆前拍的情况，且当粘贴标志有改动时，会造成车辆识别精度显著下降。
发明内容
为解决现有技术所存在的技术问题，本发明提出一种基于深度学习的以图搜车方法，其融合了车辆的全局外观特征与局部特征，具有较强的泛化性与鲁棒性。
本发明采用以下技术方案来实现：一种基于深度学习的以图搜车方法，包括如下步骤：
S1、采集实际应用场景的图片；
S2、自动对S1获取的图片打标签，即同一辆车的图片归为一类，建立训练集和测试集；
S3、设计神经网络结构；
S4、将步骤S2处理好的训练集的样本输入到步骤S3所设计的神经网络结构中进行训练，得到以图搜车模型；
S5、利用步骤S4中的以图搜车模型计算步骤S2中测试集所有样本的特征向量；
S6、特征比对：采用余弦距离计算目标图像特征向量与步骤S5所得的每一样本的特征向量之间的相似度大小；
S7、对步骤S6得到的相似度，按照从大到小进行排序，得到以图搜车结果。
在优选的实施例中，所述步骤S2为：采用SSD车身检测算法得到车身区域；然后分别利用三个车牌检测模型对车身区域进行车牌检测，进而分别利用三个车牌识别模型对车牌区域进行车牌识别，得到三个相应的车牌识别置信度；加权三个车牌识别模型的置信度，把置信度与设定阈值比较；若置信度大于设定阈值，则判断为目标车辆，并找出置信度最高的车牌，把相应的原始图片放入以置信度最高的车牌号码命名的文件夹，最后采用随机车牌遮挡方法对原始图片的车牌进行遮挡处理，获得一定比例的车牌被遮挡的样本和车牌未被遮挡的样本，建立训练集和测试集；若置信度小于等于预设阈值，则判断为非目标车辆，返回步骤S1；
其中，三个车牌检测模型为三个相同功能但性能不一样的车牌检测算法，三个车牌识别模型也为三个相同功能但性能不一样的车牌识别算法。
本发明与现有技术相比，具有如下优点和有益效果：实现了一个模型对车辆的全局外观特征与局部特征(如年检标、挂饰等)学习，其不仅对车前挡风玻璃粘贴标志的变化、车牌的变化(车牌遮挡、污损等)、光照的变化具有一定鲁棒性，而且可实现车辆前后拍的识别以及车辆套牌、移除甚至伪造牌照时车辆的识别，同时模型精度高、速度快、显存占用低、泛化性与鲁棒性好。
附图说明
图1是本发明的整体流程图；
图2是以图搜车样本自动截取流程图；
图3是以图搜车的神经网络结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本发明基于深度学习的以图搜车方法，主要包括如下几个步骤：
S1、采集实际应用场景的图片；
S2、自动对S1获取的图片打标签，即同一辆车的图片归为一类，建立训练集和测试集。
如图2，采用SSD(Single Shot MultiBox Detector)车身检测算法得到车身区域；然后分别利用三个车牌检测模型对车身区域进行车牌检测，进而分别利用三个车牌识别模型对车牌区域进行车牌识别，得到三个相应的车牌识别置信度；加权三个车牌识别模型的置信度，把置信度与设定阈值比较；若置信度大于设定阈值，则判断为目标车辆，并找出置信度最高的车牌，把相应的原始图片放入以置信度最高的车牌号码命名的文件夹，最后采用随机车牌遮挡方法对原始图片的车牌进行遮挡处理，获得一定比例的车牌被遮挡的样本和车牌未被遮挡的样本，建立训练集和测试集；若置信度小于等于预设阈值，则判断为非目标车辆，返回步骤S1。
为了使模型适应无牌车以及污损车牌等情况，所以会采用遮挡车牌的样本用于训练集进行模型训练，同时为了测试模型对车牌遮挡样本的性能，测试集也会采用遮挡车牌的样本。
其中，三个车牌检测模型为三个相同功能但性能不一样的车牌检测算法，三个车牌识别模型也为三个相同功能但性能不一样的车牌识别算法。本实施例采用性能互补的车牌检测与车牌识别算法，例如，采用基于深度学习的车牌检测与车牌识别算法。
S3、设计神经网络结构；
如图3，使用稠密块(dense block)为基本模块，对整体神经网络结构进行设计：神经网络结构包括相连接的5×5卷积层和3×3池化层，池化层与稠密块连接；稠密块设有多个，在相邻两个稠密块之间加入注意力机制模块，用以阻止过拟合和促进与任务相关特征的学习。同时设计多尺度特征组合策略，即在多个稠密块输出端分别引出全局池化层(Global Pooling)，然后对多个全局池化层的输出端进行连接(Concat)，进而进行降维处理，以促进特征的表达力，同时减少模型参数；训练阶段，以降维后的特征作为输入，采用微调后的center loss作为损失函数(也叫监督函数)对网络结构进行监督训练；测试阶段，直接采用降维后的特征作为输入目标的特征表达。center loss用以调节深度特征的分布，对center loss的参数进行适当调节，可提高深度特征的类别区分能力。在本实施例中，所设计的神经网络结构设有三个稠密块，分别为第一稠密块、第二稠密块和第三稠密块；从三个稠密块分别引出一个输出端，该输出端均与一个全局池化层连接，因而全局池化层也设有三个；所设计的神经网络结构还设有两个注意力机制模块，其中第一稠密块、第二稠密块之间设置第一注意力机制模块，第二稠密块、第三稠密块之间设置第二注意力机制模块。
S4、将步骤S2处理好的训练集的样本输入到步骤S3所设计的神经网络结构中进行训练，得到以图搜车模型；
S5、利用步骤S4中的以图搜车模型计算步骤S2中测试集所有样本的特征向量；
S6、特征比对：采用余弦距离计算目标图像特征向量与步骤S5所得的每一样本的特征向量之间的相似度大小。余弦距离的计算公式如(1)所示；
其中，||·||为向量的L-2范数，X和Y分别为目标图像特征向量与S5所得到的每一样本特征向量，θ为两个特征向量(目标图像特征向量与样本特征向量)之间的夹角。
S7、对步骤S6得到的相似度，按照从大到小进行排序，得到以图搜车结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的以图搜车方法，其特征在于，包括如下步骤：
S1、采集实际应用场景的图片；
S2、自动对S1获取的图片打标签，即同一辆车的图片归为一类，建立训练集和测试集；
S3、设计神经网络结构；
S4、将步骤S2处理好的训练集的样本输入到步骤S3所设计的神经网络结构中进行训练，得到以图搜车模型；
S5、利用步骤S4中的以图搜车模型计算步骤S2中测试集所有样本的特征向量；
S6、特征比对：采用余弦距离计算目标图像特征向量与步骤S5所得的每一样本的特征向量之间的相似度大小；
S7、对步骤S6得到的相似度，按照从大到小进行排序，得到以图搜车结果。
2.根据权利要求1所述的以图搜车方法，其特征在于，所述步骤S2为：采用SSD车身检测算法得到车身区域；然后分别利用三个车牌检测模型对车身区域进行车牌检测，进而分别利用三个车牌识别模型对车牌区域进行车牌识别，得到三个相应的车牌识别置信度；加权三个车牌识别模型的置信度，把置信度与设定阈值比较；若置信度大于设定阈值，则判断为目标车辆，并找出置信度最高的车牌，把相应的原始图片放入以置信度最高的车牌号码命名的文件夹，最后采用随机车牌遮挡方法对原始图片的车牌进行遮挡处理，获得一定比例的车牌被遮挡的样本和车牌未被遮挡的样本，建立训练集和测试集；若置信度小于等于预设阈值，则判断为非目标车辆，返回步骤S1；
其中，三个车牌检测模型为三个相同功能但性能不一样的车牌检测算法，三个车牌识别模型也为三个相同功能但性能不一样的车牌识别算法。
3.根据权利要求2所述的以图搜车方法，其特征在于，所述车牌检测与车牌识别算法为基于深度学习的车牌检测与车牌识别算法。
4.根据权利要求1所述的以图搜车方法，其特征在于，步骤S3使用稠密块为基本模块，对整体神经网络结构进行设计：神经网络结构包括相连接的卷积层和池化层，池化层与稠密块连接；稠密块设有多个，在相邻两个稠密块之间加入注意力机制模块，用以促进与任务相关特征的学习；同时设计多尺度特征组合策略，在多个稠密块输出端分别引出全局池化层，然后对多个全局池化层的输出端进行连接，进而进行降维；训练阶段，以降维后的特征作为输入，采用微调后的center loss作为损失函数对网络结构进行监督训练；测试阶段，直接采用降维后的特征作为输入目标的特征表达。
5.根据权利要求4所述的以图搜车方法，其特征在于，所述神经网络结构设有三个稠密块，分别为第一稠密块、第二稠密块和第三稠密块；从三个稠密块分别引出一个输出端，该输出端均与一个全局池化层连接；神经网络结构还设有两个注意力机制模块，其中第一稠密块、第二稠密块之间设置第一注意力机制模块，第二稠密块、第三稠密块之间设置第二注意力机制模块。
6.根据权利要求1所述的以图搜车方法，其特征在于，步骤S6所述余弦距离的计算公式为：
其中，||·||为向量的L-2范数，X和Y分别为目标图像特征向量与S5所得到的每一样本特征向量，θ为两个特征向量之间的夹角。
CN201910747926.XA 2019-08-14 2019-08-14 一种基于深度学习的以图搜车方法 Active CN110458234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910747926.XA CN110458234B (zh) 2019-08-14 2019-08-14 一种基于深度学习的以图搜车方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910747926.XA CN110458234B (zh) 2019-08-14 2019-08-14 一种基于深度学习的以图搜车方法

Publications (2)

Publication Number Publication Date
CN110458234A true CN110458234A (zh) 2019-11-15
CN110458234B CN110458234B (zh) 2021-12-03

Family

ID=68486548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910747926.XA Active CN110458234B (zh) 2019-08-14 2019-08-14 一种基于深度学习的以图搜车方法

Country Status (1)

Country Link
CN (1) CN110458234B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444840A (zh) * 2020-03-26 2020-07-24 中科海微(北京)科技有限公司 一种套牌车辆自动检测方法及系统
CN113378837A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 车牌遮挡识别方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156750A (zh) * 2016-07-26 2016-11-23 浙江捷尚视觉科技股份有限公司 一种基于卷积神经网络的以图搜车方法
EP3327625A1 (en) * 2016-11-29 2018-05-30 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
CN109033175A (zh) * 2018-06-25 2018-12-18 高新兴科技集团股份有限公司 一种以图搜车的方法及系统
CN109284670A (zh) * 2018-08-01 2019-01-29 清华大学 一种基于多尺度注意力机制的行人检测方法及装置
CN109558823A (zh) * 2018-11-22 2019-04-02 北京市首都公路发展集团有限公司 一种以图搜图的车辆识别方法及系统
US20190108411A1 (en) * 2017-10-11 2019-04-11 Alibaba Group Holding Limited Image processing method and processing device
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156750A (zh) * 2016-07-26 2016-11-23 浙江捷尚视觉科技股份有限公司 一种基于卷积神经网络的以图搜车方法
EP3327625A1 (en) * 2016-11-29 2018-05-30 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
US20190108411A1 (en) * 2017-10-11 2019-04-11 Alibaba Group Holding Limited Image processing method and processing device
CN109033175A (zh) * 2018-06-25 2018-12-18 高新兴科技集团股份有限公司 一种以图搜车的方法及系统
CN109284670A (zh) * 2018-08-01 2019-01-29 清华大学 一种基于多尺度注意力机制的行人检测方法及装置
CN109558823A (zh) * 2018-11-22 2019-04-02 北京市首都公路发展集团有限公司 一种以图搜图的车辆识别方法及系统
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨吕祥 等: "基于多层次注意力机制一维DenseNet的音频事件检测", 《计算机应用研究》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444840A (zh) * 2020-03-26 2020-07-24 中科海微(北京)科技有限公司 一种套牌车辆自动检测方法及系统
CN113378837A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 车牌遮挡识别方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN110458234B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN107609601B (zh) 一种基于多层卷积神经网络的舰船目标识别方法
CN107885764B (zh) 基于多任务深度学习快速哈希车辆检索方法
Li et al. Traffic light recognition for complex scene with fusion detections
CN111104867B (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN108108657A (zh) 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN106682586A (zh) 一种复杂光照条件下基于视觉的实时车道线检测的方法
Derpanis et al. Classification of traffic video based on a spatiotemporal orientation analysis
CN105608417B (zh) 交通信号灯检测方法及装置
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
RU2476825C2 (ru) Способ управления движущимся объектом и устройство для его осуществления
CN109558823A (zh) 一种以图搜图的车辆识别方法及系统
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN110263786A (zh) 一种基于特征维度融合的道路多目标识别系统及方法
Yang et al. Real-time pedestrian and vehicle detection for autonomous driving
CN108764096B (zh) 一种行人重识别系统和方法
CN111582178B (zh) 基于多方位信息和多分支神经网络车辆重识别方法及系统
CN113095152B (zh) 一种基于回归的车道线检测方法及系统
CN112395951A (zh) 一种面向复杂场景的域适应交通目标检测与识别方法
Zang et al. Traffic lane detection using fully convolutional neural network
CN107038442A (zh) 一种基于深度学习的车牌检测和整体识别方法
CN108268865A (zh) 一种基于级联卷积网络的自然场景下车牌识别方法及系统
CN104281572A (zh) 一种基于互信息的目标匹配方法及其系统
CN114049572A (zh) 识别小目标的检测方法
Liu et al. CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant