CN110458234B - 一种基于深度学习的以图搜车方法 - Google Patents

一种基于深度学习的以图搜车方法 Download PDF

Info

Publication number
CN110458234B
CN110458234B CN201910747926.XA CN201910747926A CN110458234B CN 110458234 B CN110458234 B CN 110458234B CN 201910747926 A CN201910747926 A CN 201910747926A CN 110458234 B CN110458234 B CN 110458234B
Authority
CN
China
Prior art keywords
license plate
vehicle
network structure
neural network
dense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910747926.XA
Other languages
English (en)
Other versions
CN110458234A (zh
Inventor
文莉
黄宇恒
金晓峰
梁添才
赵清利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Grg Banking Financial Electronic Technology Co ltd
GRG Banking Equipment Co Ltd
Original Assignee
Shenzhen Grg Banking Financial Electronic Technology Co ltd
GRG Banking Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Grg Banking Financial Electronic Technology Co ltd, GRG Banking Equipment Co Ltd filed Critical Shenzhen Grg Banking Financial Electronic Technology Co ltd
Priority to CN201910747926.XA priority Critical patent/CN110458234B/zh
Publication of CN110458234A publication Critical patent/CN110458234A/zh
Application granted granted Critical
Publication of CN110458234B publication Critical patent/CN110458234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，具体为基于深度学习的以图搜车方法，其融合了车辆的全局外观特征与局部特征，具有较强的泛化性与鲁棒性。包括步骤：采集实际应用场景的图片；自动对获取的图片打标签，即同一辆车的图片归为一类，建立训练集和测试集；设计神经网络结构；将训练集的样本输入到神经网络结构中进行训练，得到以图搜车模型；利用以图搜车模型计算测试集所有样本的特征向量；特征比对：采用余弦距离计算目标图像特征向量与样本特征向量之间的相似度大小；对得到的相似度，按照从大到小进行排序，得到以图搜车结果。

Description

一种基于深度学习的以图搜车方法
技术领域
本发明涉及计算机视觉技术领域，具体为基于一种深度学习的以图搜车方法。
背景技术
以图搜车是一种基于图像的车辆检索技术，其旨在搜索到不同视频监控场景下的同一辆车。数据显示，65％以上的犯罪案件都与车辆有关。而在涉车案件中，嫌疑车辆的车牌通常是假牌、套牌，无法通过识别车牌号码来锁定车辆身份，因此基于视觉表观特征的以图搜车技术具有重大研究意义和实用价值。
目前以图搜车技术主要分为两大类，一类是基于传统图像特征，另一类是基于深度特征。基于传统图像特征通过手工设计的特征描述子，如sift、hog等，以及颜色直方图等，获取目标图像的颜色特征、纹理特征等用于以图搜车。传统图像特征具有运行速度快、可解释性强等优点。但在实际应用中其泛化性差，对遮挡、光照变化、角度变化等干扰的鲁棒性差等缺点。基于深度特征通过自动学习数据的分布式特征表示用于以图搜车，其具有较强的泛化性与鲁棒性。
于2018年1月23日公开的公开号为“CN107622229A”的发明专利，其通过计算目标车辆图像与待匹配车辆图像的颜色特征相似度和编码方向梯度直方图特征相似度进行加权融合来得到相似度，然而在实际应用中，光照、阴影、相机偏色等都会造成车辆颜色发生剧烈变化，从而导致算法鲁棒性非常差。
于2017年8月4日公开的公开号为“CN107016362A”的发明专利，其拍摄车辆前挡风玻璃图片，输入深度训练的检测器进行检测定位，得到前挡风玻璃粘贴的每个标志的候选区域，统计标志的数量及颜色序列，计算标志与车辆前挡风玻璃图片中心点的相对位置。若两张车辆前挡风玻璃图片的标志的数量、颜色序列均一致，且相对位置的差异值在预设值以内，判定车辆为同一车辆，否则不是同一车辆。这种方法只适用车辆前拍的情况，且当粘贴标志有改动时，会造成车辆识别精度显著下降。
发明内容
为解决现有技术所存在的技术问题，本发明提出一种基于深度学习的以图搜车方法，其融合了车辆的全局外观特征与局部特征，具有较强的泛化性与鲁棒性。
本发明采用以下技术方案来实现：一种基于深度学习的以图搜车方法，包括如下步骤：
S1、采集实际应用场景的图片；
S2、自动对S1获取的图片打标签，即同一辆车的图片归为一类，建立训练集和测试集；
S3、设计神经网络结构；
S4、将步骤S2处理好的训练集的样本输入到步骤S3所设计的神经网络结构中进行训练，得到以图搜车模型；
S5、利用步骤S4中的以图搜车模型计算步骤S2中测试集所有样本的特征向量；
S6、特征比对：采用余弦距离计算目标图像特征向量与步骤S5所得的每一样本的特征向量之间的相似度大小；
S7、对步骤S6得到的相似度，按照从大到小进行排序，得到以图搜车结果。
在优选的实施例中，所述步骤S2为：采用SSD车身检测算法得到车身区域；然后分别利用三个车牌检测模型对车身区域进行车牌检测，进而分别利用三个车牌识别模型对车牌区域进行车牌识别，得到三个相应的车牌识别置信度；加权三个车牌识别模型的置信度，把置信度与设定阈值比较；若置信度大于设定阈值，则判断为目标车辆，并找出置信度最高的车牌，把相应的原始图片放入以置信度最高的车牌号码命名的文件夹，最后采用随机车牌遮挡方法对原始图片的车牌进行遮挡处理，获得一定比例的车牌被遮挡的样本和车牌未被遮挡的样本，建立训练集和测试集；若置信度小于等于预设阈值，则判断为非目标车辆，返回步骤S1；
其中，三个车牌检测模型为三个相同功能但性能不一样的车牌检测算法，三个车牌识别模型也为三个相同功能但性能不一样的车牌识别算法。
本发明与现有技术相比，具有如下优点和有益效果：实现了一个模型对车辆的全局外观特征与局部特征(如年检标、挂饰等)学习，其不仅对车前挡风玻璃粘贴标志的变化、车牌的变化(车牌遮挡、污损等)、光照的变化具有一定鲁棒性，而且可实现车辆前后拍的识别以及车辆套牌、移除甚至伪造牌照时车辆的识别，同时模型精度高、速度快、显存占用低、泛化性与鲁棒性好。
附图说明
图1是本发明的整体流程图；
图2是以图搜车样本自动截取流程图；
图3是以图搜车的神经网络结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本发明基于深度学习的以图搜车方法，主要包括如下几个步骤：
S1、采集实际应用场景的图片；
S2、自动对S1获取的图片打标签，即同一辆车的图片归为一类，建立训练集和测试集。
如图2，采用SSD(Single Shot MultiBox Detector)车身检测算法得到车身区域；然后分别利用三个车牌检测模型对车身区域进行车牌检测，进而分别利用三个车牌识别模型对车牌区域进行车牌识别，得到三个相应的车牌识别置信度；加权三个车牌识别模型的置信度，把置信度与设定阈值比较；若置信度大于设定阈值，则判断为目标车辆，并找出置信度最高的车牌，把相应的原始图片放入以置信度最高的车牌号码命名的文件夹，最后采用随机车牌遮挡方法对原始图片的车牌进行遮挡处理，获得一定比例的车牌被遮挡的样本和车牌未被遮挡的样本，建立训练集和测试集；若置信度小于等于预设阈值，则判断为非目标车辆，返回步骤S1。
为了使模型适应无牌车以及污损车牌等情况，所以会采用遮挡车牌的样本用于训练集进行模型训练，同时为了测试模型对车牌遮挡样本的性能，测试集也会采用遮挡车牌的样本。
其中，三个车牌检测模型为三个相同功能但性能不一样的车牌检测算法，三个车牌识别模型也为三个相同功能但性能不一样的车牌识别算法。本实施例采用性能互补的车牌检测与车牌识别算法，例如，采用基于深度学习的车牌检测与车牌识别算法。
S3、设计神经网络结构；
如图3，使用稠密块(dense block)为基本模块，对整体神经网络结构进行设计：神经网络结构包括相连接的5×5卷积层和3×3池化层，池化层与稠密块连接；稠密块设有多个，在相邻两个稠密块之间加入注意力机制模块，用以阻止过拟合和促进与任务相关特征的学习。同时设计多尺度特征组合策略，即在多个稠密块输出端分别引出全局池化层(Global Pooling)，然后对多个全局池化层的输出端进行连接(Concat)，进而进行降维处理，以促进特征的表达力，同时减少模型参数；训练阶段，以降维后的特征作为输入，采用微调后的center loss作为损失函数(也叫监督函数)对网络结构进行监督训练；测试阶段，直接采用降维后的特征作为输入目标的特征表达。center loss用以调节深度特征的分布，对center loss的参数进行适当调节，可提高深度特征的类别区分能力。在本实施例中，所设计的神经网络结构设有三个稠密块，分别为第一稠密块、第二稠密块和第三稠密块；从三个稠密块分别引出一个输出端，该输出端均与一个全局池化层连接，因而全局池化层也设有三个；所设计的神经网络结构还设有两个注意力机制模块，其中第一稠密块、第二稠密块之间设置第一注意力机制模块，第二稠密块、第三稠密块之间设置第二注意力机制模块。
S4、将步骤S2处理好的训练集的样本输入到步骤S3所设计的神经网络结构中进行训练，得到以图搜车模型；
S5、利用步骤S4中的以图搜车模型计算步骤S2中测试集所有样本的特征向量；
S6、特征比对：采用余弦距离计算目标图像特征向量与步骤S5所得的每一样本的特征向量之间的相似度大小。余弦距离的计算公式如(1)所示；
Figure BDA0002166208330000041
其中，||·||为向量的L-2范数，X和Y分别为目标图像特征向量与S5所得到的每一样本特征向量，θ为两个特征向量(目标图像特征向量与样本特征向量)之间的夹角。
S7、对步骤S6得到的相似度，按照从大到小进行排序，得到以图搜车结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的以图搜车方法，其特征在于，包括如下步骤：
S1、采集实际应用场景的图片；
S2、自动对S1获取的图片打标签，即同一辆车的图片归为一类，建立训练集和测试集；
S3、设计神经网络结构；
S4、将步骤S2处理好的训练集的样本输入到步骤S3所设计的神经网络结构中进行训练，得到以图搜车模型；
S5、利用步骤S4中的以图搜车模型计算步骤S2中测试集所有样本的特征向量；
S6、特征比对：采用余弦距离计算目标图像特征向量与步骤S5所得的每一样本的特征向量之间的相似度大小；
S7、对步骤S6得到的相似度，按照从大到小进行排序，得到以图搜车结果；
步骤S3使用稠密块为基本模块，对整体神经网络结构进行设计：神经网络结构包括相连接的卷积层和池化层，池化层与稠密块连接；稠密块设有多个，在相邻两个稠密块之间加入注意力机制模块，用以促进与任务相关特征的学习；同时设计多尺度特征组合策略，在多个稠密块输出端分别引出全局池化层，然后对多个全局池化层的输出端进行连接，进而进行降维；训练阶段，以降维后的特征作为输入，采用微调后的center loss作为损失函数对网络结构进行监督训练；测试阶段，直接采用降维后的特征作为输入目标的特征表达。
2.根据权利要求1所述的以图搜车方法，其特征在于，所述步骤S2为：采用SSD车身检测算法得到车身区域；然后分别利用三个车牌检测模型对车身区域进行车牌检测，进而分别利用三个车牌识别模型对车牌区域进行车牌识别，得到三个相应的车牌识别置信度；加权三个车牌识别模型的置信度，把置信度与设定阈值比较；若置信度大于设定阈值，则判断为目标车辆，并找出置信度最高的车牌，把相应的原始图片放入以置信度最高的车牌号码命名的文件夹，最后采用随机车牌遮挡方法对原始图片的车牌进行遮挡处理，获得一定比例的车牌被遮挡的样本和车牌未被遮挡的样本，建立训练集和测试集；若置信度小于等于预设阈值，则判断为非目标车辆，返回步骤S1；
其中，三个车牌检测模型为三个相同功能但性能不一样的车牌检测算法，三个车牌识别模型也为三个相同功能但性能不一样的车牌识别算法。
3.根据权利要求2所述的以图搜车方法，其特征在于，所述车牌检测与车牌识别算法为基于深度学习的车牌检测与车牌识别算法。
4.根据权利要求1所述的以图搜车方法，其特征在于，所述神经网络结构设有三个稠密块，分别为第一稠密块、第二稠密块和第三稠密块；从三个稠密块分别引出一个输出端，该输出端均与一个全局池化层连接；神经网络结构还设有两个注意力机制模块，其中第一稠密块、第二稠密块之间设置第一注意力机制模块，第二稠密块、第三稠密块之间设置第二注意力机制模块。
5.根据权利要求1所述的以图搜车方法，其特征在于，步骤S6所述余弦距离的计算公式为：
Figure FDA0003199785800000021
其中，||·||为向量的L-2范数，X和Y分别为目标图像特征向量与S5所得到的每一样本特征向量，θ为两个特征向量之间的夹角。
CN201910747926.XA 2019-08-14 2019-08-14 一种基于深度学习的以图搜车方法 Active CN110458234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910747926.XA CN110458234B (zh) 2019-08-14 2019-08-14 一种基于深度学习的以图搜车方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910747926.XA CN110458234B (zh) 2019-08-14 2019-08-14 一种基于深度学习的以图搜车方法

Publications (2)

Publication Number Publication Date
CN110458234A CN110458234A (zh) 2019-11-15
CN110458234B true CN110458234B (zh) 2021-12-03

Family

ID=68486548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910747926.XA Active CN110458234B (zh) 2019-08-14 2019-08-14 一种基于深度学习的以图搜车方法

Country Status (1)

Country Link
CN (1) CN110458234B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444840A (zh) * 2020-03-26 2020-07-24 中科海微(北京)科技有限公司 一种套牌车辆自动检测方法及系统
CN113378837A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 车牌遮挡识别方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156750A (zh) * 2016-07-26 2016-11-23 浙江捷尚视觉科技股份有限公司 一种基于卷积神经网络的以图搜车方法
EP3327625A1 (en) * 2016-11-29 2018-05-30 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
CN109033175A (zh) * 2018-06-25 2018-12-18 高新兴科技集团股份有限公司 一种以图搜车的方法及系统
CN109284670A (zh) * 2018-08-01 2019-01-29 清华大学 一种基于多尺度注意力机制的行人检测方法及装置
CN109558823A (zh) * 2018-11-22 2019-04-02 北京市首都公路发展集团有限公司 一种以图搜图的车辆识别方法及系统
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658455B (zh) * 2017-10-11 2023-04-18 阿里巴巴集团控股有限公司 图像处理方法和处理设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156750A (zh) * 2016-07-26 2016-11-23 浙江捷尚视觉科技股份有限公司 一种基于卷积神经网络的以图搜车方法
EP3327625A1 (en) * 2016-11-29 2018-05-30 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
CN109033175A (zh) * 2018-06-25 2018-12-18 高新兴科技集团股份有限公司 一种以图搜车的方法及系统
CN109284670A (zh) * 2018-08-01 2019-01-29 清华大学 一种基于多尺度注意力机制的行人检测方法及装置
CN109558823A (zh) * 2018-11-22 2019-04-02 北京市首都公路发展集团有限公司 一种以图搜图的车辆识别方法及系统
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多层次注意力机制一维DenseNet的音频事件检测;杨吕祥 等;《计算机应用研究》;20190426;第1-6页 *

Also Published As

Publication number Publication date
CN110458234A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
Li et al. SAR image change detection using PCANet guided by saliency detection
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN108319964B (zh) 一种基于混合特征和流形学习的火灾图像识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN109784197B (zh) 基于孔洞卷积与注意力学习机制的行人再识别方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN112633382B (zh) 一种基于互近邻的少样本图像分类方法及系统
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN110175649B (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN111445459B (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN105740886B (zh) 一种基于机器学习的车标识别方法
CN105989334B (zh) 基于单目视觉的道路检测方法
CN109558823A (zh) 一种以图搜图的车辆识别方法及系统
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
Rehman et al. Deep learning for face anti-spoofing: An end-to-end approach
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN110458234B (zh) 一种基于深度学习的以图搜车方法
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant