CN106557579A - 一种基于卷积神经网络的车辆型号检索系统及方法 - Google Patents
一种基于卷积神经网络的车辆型号检索系统及方法 Download PDFInfo
- Publication number
- CN106557579A CN106557579A CN201611063835.7A CN201611063835A CN106557579A CN 106557579 A CN106557579 A CN 106557579A CN 201611063835 A CN201611063835 A CN 201611063835A CN 106557579 A CN106557579 A CN 106557579A
- Authority
- CN
- China
- Prior art keywords
- picture
- car
- air
- inlet grille
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的车辆型号检索系统及方法，其中检索系统包括：依次连接的交通卡口照片获取模块、车辆检测模块、指向型特征分割模块、指向型特征提取模块和检索模块；其中车辆检测模块：用于对获取的车辆照片进行车辆检测，并截取车脸图片的装置；指向型特征分割模块：基于车辆检测模块截取的车脸图片，定位出进气格栅，并以进气格栅的对称轴线分别分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片的装置。本发明的有益效果是：本发明能够大大提高检索效率和准确率，与现有的传统检索方法相比，检索时间明显缩短，且准确率能够达到95.7%，能够更好的满足智能交通系统的需求。
Description
技术领域
本发明涉及智能交通信息技术领域，特别涉及一种基于卷积神经网络的车辆型号检索系统及方法。
背景技术
近年来，随着社会不断的进步，经济快速发展，汽车已经成为日常生活中不可或缺的交通工具，在这种情况下，智能交通油然而生并得到了快速发展，同时随着深度学习下的卷积神经网络在图像处理中所取得的突破，为智能交通系统应用提供了更有效的方式。卷积神经网络是利用计算机来模拟人脑来进行分析学习，从客观的图像中提取有效的特征、纹理，最终用于检索和识别。
在智能交通系统中，车辆型号检索是极其重要的一部分。车辆型号识别就是根据个个车辆的外形的差异，即便是同品牌不同车型的车辆在外形部分仍然有较大的不同，因此如何利用此特性进行车型识别，在城市交通监控、车辆追踪、应急指挥等领域都有着广泛的前景。
在当今车辆保有量如此庞大的年代，每个城市平均每天都会产生千万条交通信息数据，而传统的检索方式例如BOG、CSS、CSR等，都是在庞大的数据库中直接进行数据的比对，这样就造成了很多不必要的计算，这样一来，极影响检索的效率，又影响了检索的准确率，而本方法很好地解决了盲目计算的问题，从而进一步的提高了效率和准确率。
发明内容
本发明的发明目的在于提供一种检索速度快、准确率高且成本低适于实际应用的一种基于卷积神经网络的车辆型号检索系统及方法。
为了实现上述发明目的，本发明提供了一种基于卷积神经网络的车辆型号检索方法，包括：
S1：获取交通卡口车辆照片信息，构建图像数据库；
S2：获取目标车辆照片，基于图像数据库进行检索，输出检索结果。
其中，
S1：获取交通卡口车辆照片信息，构建图像数据库；具体包括：
S101：获取交通卡口车辆照片；
S102：对获取的车辆照片进行车辆检测，并截取车脸图片；
S103：定位出车脸图片的进气格栅，并以进气格栅的对称轴线分别搜索车标、左车灯、右车灯、进气格栅和保险杠，并分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片，通过交叉式深度卷积神经网络分别对分割出的车标图片、左车灯图片、右车灯图片、保险杠图片和进气格栅图片进行特征提取，保留未分割完整的车脸图片，将提取的特征信息进行交叉融合得到车脸图片特征信息；
S104：构建图像数据库，所述图像数据库包括以提取的车标图像特征信息为一级标签的若干个子数据库，每个子数据库包括若干个与所有同一车标、不同型号的车脸图片特征信息相应的二级标签；其中，所述车脸图片特征是基于同一型号车脸图片提取的左车灯图像特征、右车灯图像特征、进气格栅图像特征和保险杠图像特征交叉融合而成。
其中，步骤S102中车辆检测采用EasyPR方法定位出车牌，然后以车牌中心为坐标原点，分别以车牌宽度1.75倍向左、向右区域扩展，以车牌高度1.5倍向上区域扩展，以车牌高度0.5倍向下区域扩展，扩展后的区域即为车脸图片；
步骤S103中进气格栅的定位具体为：以车牌中心为坐标原点，分别以车牌宽度0.8倍向左、向右区域扩展，以车牌高度0.65倍向上区域扩展，以车牌高度0.4倍向下区域扩展，扩展后的区域即能得到进气格栅图片。
S2：获取目标车辆照片，基于图像数据库进行检索，输出检索结果；具体包括：
S201：通过交通卡口获取目标车辆照片，采用步骤S102的方法对目标车辆照片进行车辆检测并截取目标车脸图片；
S202：采用步骤S103的粗定位方法，定位出目标车脸图片的进气格栅，并以进气格栅的对称轴线分别搜索车标、左车灯、右车灯、进气格栅和保险杠，并分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片，通过交叉式深度卷积神经网络分别对分割出的车标图片、左车灯图片、右车灯图片、保险杠图片和进气格栅图片进行特征提取，并将提取的特征信息进行交叉融合得到目标车脸图片特征信息；
S203：利用余弦相似度的计算方法，将目标车标图像特征信息和图像数据库中所有的一级标签特征信息进行特征比对得到相似度，并对相似度进行排序，选取最高相似度所对应的子数据库作为二次检索库；
S204：再利用余弦相似度的计算方法，将目标车脸图片特征信息与二次检索库的所有车脸图片特征信息进行特征比对得到相似度，并对相似度进行排序，输出最高相似度所对应的二级标签即得到检索结果。
本发明还提供了一种基于卷积神经网络的车辆型号检索系统，包括：依次连接的交通卡口照片获取模块、车辆检测模块、指向型特征分割模块、指向型特征提取模块和检索模块；
所述交通卡口照片获取模块：用于获取交通卡口车辆照片信息的装置；具体的，可以为高清摄像头；
所述车辆检测模块：用于对获取的车辆照片进行车辆检测，并截取车脸图片的装置；
所述指向型特征分割模块：基于所述车辆检测模块截取的车脸图片，定位出进气格栅，并以进气格栅的对称轴线分别搜索车标、左车灯、右车灯、进气格栅和保险杠，并分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片的装置；
所述指向型特征提取模块：通过交叉式深度卷积神经网络对所述指向型特征分割模块分割出的车标图片、左车灯图片、右车灯图片、保险杠图片和进气格栅图片进行特征提取，并将提取的特征进行交叉融合得到车脸图片特征；
所述检索模块：包括构建好的图像数据库和相似度计算模块；其中，所述图像数据库通过上述交通卡口照片获取模块、车辆检测模块、指向型特征分割模块和指向型特征提取模块进行构建，图像数据库具体包括以车标图像特征为一级标签的若干个子数据库，每个子数据库包括若干个与所有同一车标、不同型号的车脸图片特征相应的二级标签；其中，所述车脸图片特征是基于同一型号车脸图片提取的左车灯图像特征信息、右车灯图像特征信息、进气格栅图像特征信息和保险杠图像特征信息交叉融合而成；
所述相似度计算模块是将所述指向型特征提取模块提取出的车标图像特征作为待测车标图像特征向量，通过余弦相似度计算方法计算出待测车标图像特征向量与图像数据库中所有的车标图像特征向量的相似度，并对相似度进行排序，选取最高相似度所对应的子数据库作为第二次检索库；然后再将提取的车脸图片特征作为待测车脸图片特征向量，通过余弦相似度计算方法计算出待测车脸图片特征向量与第二次检索库的所有车脸图片特征向量的相似度，并对相似度进行排序，输出最高相似度所对应的标签即得到检索结果。
所述车辆检测模块：采用EasyPR方法定位出车牌，然后以车牌中心为坐标原点，分别以车牌宽度1.75倍向左、向右区域扩展，以车牌高度1.5倍向上区域扩展，以车牌高度0.5倍向下区域扩展，扩展后的区域即为车脸图片；
所述指向型特征分割模块：以车牌中心为坐标原点，分别以车牌宽度0.8倍向左、向右区域扩展，以车牌高度0.65倍向上区域扩展，以车牌高度0.4倍向下区域扩展，扩展后的区域即能得到进气格栅图片；再以上述粗定位的方法分割出车标图片、左车灯图片、右车灯图片和保险杠图片。
本发明的有益效果是：本发明能够大大提高检索效率和准确率，与现有的传统检索方法相比，检索时间明显缩短，且准确率能够达到95.7％，能够更好的满足智能交通系统的需求；其中，本发明利用交通卡口采集的车辆图像能够减少设备的投入，从而有效的降低了成本；智能交通系统中卡口监控覆盖面比较广泛，能够有效的增加大数据库的样本总量；指向型特征提取模块能够有效的提取各个车型中特征最明显的部分，利用指向型特征进行训练得到的准确率达到了95.7％，比对整块车脸进行特征提取的准确率提高了3个百分点；车辆检索模块包含了一个大的数据库，包含了40万张卡口照片，我们将这40万张数据利用车辆品牌标志进行分类，可分为186种，即可以分为186个子数据库，其中最多的一个子数据库包含了31876张样本，而最少的一个子数据库包含了37张样本，再此以最多的子数据库为例；传统的方法即直接对特征进行比对，共比对了40万次，利用比较先进的GTX980GPU也要需要3.7小时，而利用本方法，最多的一个子数据库也只需要比对32062次，共耗时约30分钟，因此大大的提高了效率。
附图说明
图1为本发明实施例2检索系统的模块图。
图2为本发明实施例1检索方法的流程图。
图3为本发明实施例1和2中获取车脸图片的示意图。
图4为本发明实施例1和2中交叉卷积神经网络的示意图。
具体实施方式
以下采用实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。
实施例1
参见图2，本发明实施例提供了一种基于卷积神经网络的车辆型号检索方法，包括：
S1：获取交通卡口车辆照片信息，构建图像数据库；
S2：获取目标车辆照片，基于图像数据库进行检索，输出检索结果。
其中，
S1：获取交通卡口车辆照片信息，构建图像数据库；具体包括：
S101：获取交通卡口车辆照片；
S102：对获取的车辆照片进行车辆检测，并截取车脸图片；具体的，车辆检测采用EasyPR方法定位出车牌，然后以车牌中心为坐标原点，分别以车牌宽度1.75倍向左、向右区域扩展，以车牌高度1.5倍向上区域扩展，以车牌高度0.5倍向下区域扩展，扩展后的区域即为车脸图片；车脸定位结果如图3所示，假设车牌水平宽度w＝1，则右上角1点坐标为(1.75,1.5)，右下角2点坐标为(1.75,-0.5)；
S103：定位出车脸图片的进气格栅，并以进气格栅的对称轴线分别搜索车标、左车灯、右车灯、进气格栅和保险杠，并分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片，通过交叉式深度卷积神经网络分别对分割出的车标图片、左车灯图片、右车灯图片、保险杠图片和进气格栅图片进行特征提取，保留未分割完整的车脸图片(用于后面的交叉融合使用)，将提取的特征信息进行交叉融合得到车脸图片特征信息；具体的，以车牌中心为坐标原点，分别以车牌宽度0.8倍向左、向右区域扩展，以车牌高度0.65倍向上区域扩展，以车牌高度0.4倍向下区域扩展，扩展后的区域即能得到进气格栅图片；再以上述粗定位的方法分割出车标图片、左车灯图片、右车灯图片和保险杠图片，以车牌中心为坐标原点，分别以四个坐标值(1.75,1)、(0.75,1)、(0.75,0.4)、(1.75,0.4)，确定的矩形区域即为右车灯图片；以车牌中心为坐标原点，分别以四个坐标值(-1.75,1)、(-0.75,1)、(-0.75,0.4)、(-1.75,0.4)，确定的矩形区域即为左车灯图片；以车牌中心为坐标原点，分别以四个坐标值(0.5,0.15)、(-0.5,0.15)、(-0.5,0.75)、(0.5,0.75)，确定的矩形区域即为车标图片；以车牌中心为坐标原点，分别以四个坐标值(-1.75,0.15)、(1.75,0.15)、(-1.75,-0.5)、(1.75,-0.5)，确定的矩形区域即为保险杠图片。传统的训练都是只训练一个完整的车脸图片，而本实施例采用交叉式深度卷积神经网络，不仅仅训练车脸部分，同时又训练各个分割的部分，最后把这些训练结果全部交叉融合在一起。
S104：构建图像数据库，所述图像数据库包括以提取的车标图像特征信息为一级标签的若干个子数据库，每个子数据库包括若干个与所有同一车标、不同型号的车脸图片特征信息相应的二级标签；其中，所述车脸图片特征是基于同一型号车脸图片提取的左车灯图像特征、右车灯图像特征、进气格栅图像特征和保险杠图像特征交叉融合而成。
其中，步骤S103种的交叉式深度卷积神经网络结构参见图4，具体为：
卷积层：该层用可训练的卷积核对图像做卷积运算，并使用神经元激活函数计算卷积的输出值。卷积操作可以表示为：
其中，xi为第i层输入图像，yj为第j层输出图像，相应的，ki,j是连接第i层输入图像与第j层输出图像的卷积核，bj是第j层输出图像的偏置，是卷积运算符，f(x)是神经元激活函数，使用ReLu非线性函数作为激活函数，即f(x)＝max(0,x)，该函数可以加快深度网络的收敛速度。公式(1)中的卷积核ki,j与偏置bj是卷积网络的训练参数，通过大量的迭代训练得到较优取值。
池化层：该层对卷积层的输出图做下采样，减小特征图尺寸，增强特征对旋转和形变的鲁棒性。常见的池化方法有平均池化与最大池化，其中最大池化可以表示为：
(2)
其中为池化层的第i层输出图在(j,k)位置的值，l为池化的步长，m为池化尺寸。目前，最大池化在许多应用中表现出良好的性能，本文使用的池化操作均为最大池化。
全连接层：该层是一个单层神经网络，上一层的任何一个神经元节点都与下一层的所有神经元节点连接。全连接层的参数由节点权重矩阵W、偏置b以及激活函数f构成。全连接层的运算可以表示为：
y＝f(W·x+b) (3)
其中，x、y分别是为输入、输出数据，f是激活函数。
softmax层：该层是一个分类器，连接最后一层全连接层，使用公式(4)计算得到每一类的概率输出。
其中，xi为softmax层第i个节点值，yi为第i个输出值，n为softmax层的节点个数。
S2：获取目标车辆照片，基于图像数据库进行检索，输出检索结果；具体包括：
S201：通过交通卡口获取目标车辆照片，采用步骤S102的方法对目标车辆照片进行车辆检测并截取目标车脸图片；
S202：采用步骤S103的粗定位方法，定位出目标车脸图片的进气格栅，并以进气格栅的对称轴线分别搜索车标、左车灯、右车灯、进气格栅和保险杠，并分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片，通过交叉式深度卷积神经网络分别对分割出的车标图片、左车灯图片、右车灯图片、保险杠图片和进气格栅图片进行特征提取，并将提取的特征信息进行交叉融合得到目标车脸图片特征信息；
S203：利用余弦相似度的计算方法，将目标车标图像特征信息和图像数据库中所有的一级标签特征信息进行特征比对得到相似度，并对相似度进行排序，选取最高相似度所对应的子数据库作为二次检索库；
S204：再利用余弦相似度的计算方法，将目标车脸图片特征信息与二次检索库的所有车脸图片特征信息进行特征比对得到相似度，并对相似度进行排序，输出最高相似度所对应的二级标签即得到检索结果。
实施例2
参见图1和图2，本发明实施例提供了一种基于卷积神经网络的车辆型号检索系统，包括：依次连接的交通卡口照片获取模块、车辆检测模块、指向型特征分割模块、指向型特征提取模块和检索模块；
交通卡口照片获取模块：用于获取交通卡口车辆照片信息的装置；具体的，可以为高清摄像头；
车辆检测模块：用于对获取的车辆照片进行车辆检测，并截取车脸图片的装置；具体的，采用EasyPR方法定位出车牌，然后以车牌中心为坐标原点，分别以车牌宽度1.75倍向左、向右区域扩展，以车牌高度1.5倍向上区域扩展，以车牌高度0.5倍向下区域扩展，扩展后的区域即为车脸图片；车脸定位结果如图3所示，假设车牌水平宽度w＝1，则右上角1点坐标为(1.75,1.5)，右下角2点坐标为(1.75,-0.5)；
指向型特征分割模块：基于所述车辆检测模块截取的车脸图片，定位出进气格栅，并以进气格栅的对称轴线分别搜索车标、左车灯、右车灯、进气格栅和保险杠，并分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片的装置；具体的，以车牌中心为坐标原点，分别以车牌宽度0.8倍向左、向右区域扩展，以车牌高度0.65倍向上区域扩展，以车牌高度0.4倍向下区域扩展，扩展后的区域即能得到进气格栅图片；再以上述粗定位的方法分割出车标图片、左车灯图片、右车灯图片和保险杠图片，以车牌中心为坐标原点，分别以四个坐标值(1.75,1)、(0.75,1)、(0.75,0.4)、(1.75,0.4)，确定的矩形区域即为右车灯图片；以车牌中心为坐标原点，分别以四个坐标值(-1.75,1)、(-0.75,1)、(-0.75,0.4)、(-1.75,0.4)，确定的矩形区域即为左车灯图片；以车牌中心为坐标原点，分别以四个坐标值(0.5,0.15)、(-0.5,0.15)、(-0.5,0.75)、(0.5,0.75)，确定的矩形区域即为车标图片；以车牌中心为坐标原点，分别以四个坐标值(-1.75,0.15)、(1.75,0.15)、(-1.75,-0.5)、(1.75,-0.5)，确定的矩形区域即为保险杠图片；
指向型特征提取模块：通过交叉式深度卷积神经网络对所述指向型特征分割模块分割出的车标图片、左车灯图片、右车灯图片、保险杠图片和进气格栅图片进行特征提取，并将提取的特征进行交叉融合得到车脸图片特征；
检索模块：包括构建好的图像数据库和相似度计算模块；其中，所述图像数据库通过上述交通卡口照片获取模块、车辆检测模块、指向型特征分割模块和指向型特征提取模块进行构建，图像数据库具体包括以车标图像特征为一级标签的若干个子数据库，每个子数据库包括若干个与所有同一车标、不同型号的车脸图片特征相应的二级标签；其中，所述车脸图片特征是基于同一型号车脸图片提取的左车灯图像特征信息、右车灯图像特征信息、进气格栅图像特征信息和保险杠图像特征信息交叉融合而成；
相似度计算模块是将所述指向型特征提取模块提取出的车标图像特征作为待测车标图像特征向量，通过余弦相似度计算方法计算出待测车标图像特征向量与图像数据库中所有的车标图像特征向量的相似度，并对相似度进行排序，选取最高相似度所对应的子数据库作为第二次检索库；然后再将提取的车脸图片特征作为待测车脸图片特征向量，通过余弦相似度计算方法计算出待测车脸图片特征向量与第二次检索库的所有车脸图片特征向量的相似度，并对相似度进行排序，输出最高相似度所对应的标签即得到检索结果。
其中，指向型特征提取模块的交叉式深度卷积神经网络的参见图4，具体为：
卷积层：该层用可训练的卷积核对图像做卷积运算，并使用神经元激活函数计算卷积的输出值。卷积操作可以表示为：
其中，xi为第i层输入图像，yj为第j层输出图像，相应的，ki,j是连接第i层输入图像与第j层输出图像的卷积核，bj是第j层输出图像的偏置，是卷积运算符，f(x)是神经元激活函数，使用ReLu非线性函数作为激活函数，即f(x)＝max(0,x)，该函数可以加快深度网络的收敛速度。公式(1)中的卷积核ki,j与偏置bj是卷积网络的训练参数，通过大量的迭代训练得到较优取值。
池化层：该层对卷积层的输出图做下采样，减小特征图尺寸，增强特征对旋转和形变的鲁棒性。常见的池化方法有平均池化与最大池化，其中最大池化可以表示为：
其中为池化层的第i层输出图在(j,k)位置的值，l为池化的步长，m为池化尺寸。目前，最大池化在许多应用中表现出良好的性能，本文使用的池化操作均为最大池化。
全连接层：该层是一个单层神经网络，上一层的任何一个神经元节点都与下一层的所有神经元节点连接。全连接层的参数由节点权重矩阵W、偏置b以及激活函数f构成。全连接层的运算可以表示为：
y＝f(W·x+b) (3)
其中，x、y分别是为输入、输出数据，f是激活函数。
softmax层：该层是一个分类器，连接最后一层全连接层，使用公式(4)计算得到每一类的概率输出。
其中，xi为softmax层第i个节点值，yi为第i个输出值，n为softmax层的节点个数。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于卷积神经网络的车辆型号检索方法，其特征在于，所述检索方法包括：
S1：获取交通卡口车辆照片信息，构建图像数据库；
S2：获取目标车辆照片，基于图像数据库进行检索，输出检索结果；
其中，S1具体包括以下步骤：
S101：获取交通卡口车辆照片；
S102：对获取的车辆照片进行车辆检测，并截取车脸图片；
S103：定位出车脸图片的进气格栅，并以进气格栅的对称轴线分别搜索车标、左车灯、右车灯、进气格栅和保险杠，并分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片，通过交叉式深度卷积神经网络分别对分割出的车标图片、左车灯图片、右车灯图片、保险杠图片和进气格栅图片进行特征提取，保留未分割完整的车脸图片，将提取的特征信息进行交叉融合得到车脸图片特征信息；
S104：构建图像数据库，所述图像数据库包括以提取的车标图像特征信息为一级标签的若干个子数据库，每个子数据库包括若干个与所有同一车标、不同型号的车脸图片特征信息相应的二级标签；其中，所述车脸图片特征是基于同一型号车脸图片提取的左车灯图像特征、右车灯图像特征、进气格栅图像特征和保险杠图像特征交叉融合而成；
S2具体包括以下步骤：
S201：通过交通卡口获取目标车辆照片，采用所述步骤S102的方法对目标车辆照片进行车辆检测并截取目标车脸图片；
S202：采用所述步骤S103的粗定位方法，定位出目标车脸图片的进气格栅，并以进气格栅的对称轴线分别搜索车标、左车灯、右车灯、进气格栅和保险杠，并分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片，通过交叉式深度卷积神经网络分别对分割出的车标图片、左车灯图片、右车灯图片、保险杠图片和进气格栅图片进行特征提取，并将提取的特征信息进行交叉融合得到目标车脸图片特征信息；
S203：利用余弦相似度的计算方法，将目标车标图像特征信息和图像数据库中所有的一级标签特征信息进行特征比对得到相似度，并对相似度进行排序，选取最高相似度所对应的子数据库作为二次检索库；
S204：再利用余弦相似度的计算方法，将目标车脸图片特征信息与二次检索库的所有车脸图片特征信息进行特征比对得到相似度，并对相似度进行排序，输出最高相似度所对应的二级标签即得到检索结果。
2.根据权利要求1所述的基于卷积神经网络的车辆型号检索方法，其特征在于，所述步骤S102中车辆检测采用EasyPR方法定位出车牌，然后以车牌中心为坐标原点，分别以车牌宽度1.75倍向左、向右区域扩展，以车牌高度1.5倍向上区域扩展，以车牌高度0.5倍向下区域扩展，扩展后的区域即为车脸图片。
3.根据权利要求1或2所述的基于卷积神经网络的车辆型号检索方法，其特征在于，所述步骤S103中进气格栅的定位具体为：以车牌中心为坐标原点，分别以车牌宽度0.8倍向左、向右区域扩展，以车牌高度0.65倍向上区域扩展，以车牌高度0.4倍向下区域扩展，扩展后的区域即能得到进气格栅图片。
4.一种基于卷积神经网络的车辆型号检索系统，其特征在于，所述检索系统包括：依次连接的交通卡口照片获取模块、车辆检测模块、指向型特征分割模块、指向型特征提取模块和检索模块；
所述交通卡口照片获取模块：用于获取交通卡口车辆照片信息的装置；
所述车辆检测模块：用于对获取的车辆照片进行车辆检测，并截取车脸图片的装置；
所述指向型特征分割模块：基于所述车辆检测模块截取的车脸图片，定位出进气格栅，并以进气格栅的对称轴线分别搜索车标、左车灯、右车灯、进气格栅和保险杠，并分割出车标图片、左车灯图片、右车灯图片、进气格栅图片和保险杠图片的装置；
所述指向型特征提取模块：通过交叉式深度卷积神经网络对所述指向型特征分割模块分割出的车标图片、左车灯图片、右车灯图片、保险杠图片和进气格栅图片进行特征提取，并将提取的特征进行交叉融合得到车脸图片特征；
所述检索模块：包括构建好的图像数据库和相似度计算模块。
5.根据权利要求4所述的基于卷积神经网络的车辆型号检索系统，其特征在于，所述车辆检测模块采用EasyPR方法定位出车牌，然后以车牌中心为坐标原点，分别以车牌宽度1.75倍向左、向右区域扩展，以车牌高度1.5倍向上区域扩展，以车牌高度0.5倍向下区域扩展，扩展后的区域即为车脸图片。
6.根据权利要求4或5所述的基于卷积神经网络的车辆型号检索系统，其特征在于，所述指向型特征分割模块：以车牌中心为坐标原点，分别以车牌宽度0.8倍向左、向右区域扩展，以车牌高度0.65倍向上区域扩展，以车牌高度0.4倍向下区域扩展，扩展后的区域即能得到进气格栅图片；再以上述粗定位的方法分割出车标图片、左车灯图片、右车灯图片和保险杠图片。
7.根据权利要求4-6任一项所述的基于卷积神经网络的车辆型号检索系统，其特征在于，所述图像数据库通过所述交通卡口照片获取模块、所述车辆检测模块、所述指向型特征分割模块和所述指向型特征提取模块进行构建，所述图像数据库具体包括以车标图像特征为一级标签的若干个子数据库，每个子数据库包括若干个与所有同一车标、不同型号的车脸图片特征相应的二级标签；其中，所述车脸图片特征是基于同一型号车脸图片提取的左车灯图像特征信息、右车灯图像特征信息、进气格栅图像特征信息和保险杠图像特征信息交叉融合而成。
8.根据权利要求4-7任一项所述的基于卷积神经网络的车辆型号检索系统，其特征在于，所述相似度计算模块是将所述指向型特征提取模块提取出的车标图像特征作为待测车标图像特征向量，通过余弦相似度计算方法计算出待测车标图像特征向量与图像数据库中所有的车标图像特征向量的相似度，并对相似度进行排序，选取最高相似度所对应的子数据库作为第二次检索库；然后再将提取的车脸图片特征作为待测车脸图片特征向量，通过余弦相似度计算方法计算出待测车脸图片特征向量与第二次检索库的所有车脸图片特征向量的相似度，并对相似度进行排序，输出最高相似度所对应的标签即得到检索结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611063835.7A CN106557579B (zh) | 2016-11-28 | 2016-11-28 | 一种基于卷积神经网络的车辆型号检索系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611063835.7A CN106557579B (zh) | 2016-11-28 | 2016-11-28 | 一种基于卷积神经网络的车辆型号检索系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106557579A true CN106557579A (zh) | 2017-04-05 |
| CN106557579B CN106557579B (zh) | 2020-08-25 |
Family
ID=58445230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611063835.7A Active CN106557579B (zh) | 2016-11-28 | 2016-11-28 | 一种基于卷积神经网络的车辆型号检索系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106557579B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108595576A (zh) * | 2018-04-17 | 2018-09-28 | 高新兴科技集团股份有限公司 | 一种基于数据库的车辆以图搜图方法 |
| TWI643137B (zh) * | 2017-04-21 | 2018-12-01 | 潘品睿 | 物件辨識方法及物件辨識系統 |
| CN109145928A (zh) * | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | 一种基于图像的车头朝向识别方法及装置 |
| CN109800321A (zh) * | 2018-12-24 | 2019-05-24 | 银江股份有限公司 | 一种卡口图像车辆检索方法及系统 |
| CN109816024A (zh) * | 2019-01-29 | 2019-05-28 | 电子科技大学 | 一种基于多尺度特征融合与dcnn的实时车标检测方法 |
| CN109948610A (zh) * | 2019-03-14 | 2019-06-28 | 西南交通大学 | 一种基于深度学习的视频中车辆细粒度分类方法 |
| CN110063736A (zh) * | 2019-05-06 | 2019-07-30 | 苏州国科视清医疗科技有限公司 | 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统 |
| CN110555125A (zh) * | 2018-05-14 | 2019-12-10 | 桂林远望智能通信科技有限公司 | 一种基于局部特征的车辆检索方法 |
| CN111079602A (zh) * | 2019-12-06 | 2020-04-28 | 长沙千视通智能科技有限公司 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
| CN111967949A (zh) * | 2020-09-22 | 2020-11-20 | 武汉博晟安全技术股份有限公司 | 基于Leaky-Conv & Cross安全课程推荐引擎排序算法 |
| CN113223190A (zh) * | 2020-01-21 | 2021-08-06 | 武汉德云祥科技发展有限公司 | 一种无感支付的监控设备及方法 |
| CN113223191A (zh) * | 2020-01-21 | 2021-08-06 | 武汉德云祥科技发展有限公司 | 一种无感支付的设备及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678558A (zh) * | 2013-12-06 | 2014-03-26 | 中科联合自动化科技无锡有限公司 | 基于sift特征的嫌疑车辆检索方法 |
| CN104361343A (zh) * | 2014-10-30 | 2015-02-18 | 深圳市中盟科技股份有限公司 | 车辆类型识别方法及其装置 |
| CN105160340A (zh) * | 2015-08-31 | 2015-12-16 | 桂林电子科技大学 | 一种车辆品牌识别系统及方法 |
| US20160133140A1 (en) * | 2014-11-12 | 2016-05-12 | Oracle International Corporation | Using grocery store point-of-sale data to correlate consumer purchase habits to nutrition targets |
| CN105590102A (zh) * | 2015-12-30 | 2016-05-18 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的前车车脸识别方法 |
-
2016
- 2016-11-28 CN CN201611063835.7A patent/CN106557579B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678558A (zh) * | 2013-12-06 | 2014-03-26 | 中科联合自动化科技无锡有限公司 | 基于sift特征的嫌疑车辆检索方法 |
| CN104361343A (zh) * | 2014-10-30 | 2015-02-18 | 深圳市中盟科技股份有限公司 | 车辆类型识别方法及其装置 |
| US20160133140A1 (en) * | 2014-11-12 | 2016-05-12 | Oracle International Corporation | Using grocery store point-of-sale data to correlate consumer purchase habits to nutrition targets |
| CN105160340A (zh) * | 2015-08-31 | 2015-12-16 | 桂林电子科技大学 | 一种车辆品牌识别系统及方法 |
| CN105590102A (zh) * | 2015-12-30 | 2016-05-18 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的前车车脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张海彬: "基于卡口图像的车型识别方法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI643137B (zh) * | 2017-04-21 | 2018-12-01 | 潘品睿 | 物件辨識方法及物件辨識系統 |
| CN109145928A (zh) * | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | 一种基于图像的车头朝向识别方法及装置 |
| CN109145928B (zh) * | 2017-06-16 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 一种基于图像的车头朝向识别方法及装置 |
| CN108595576A (zh) * | 2018-04-17 | 2018-09-28 | 高新兴科技集团股份有限公司 | 一种基于数据库的车辆以图搜图方法 |
| CN110555125A (zh) * | 2018-05-14 | 2019-12-10 | 桂林远望智能通信科技有限公司 | 一种基于局部特征的车辆检索方法 |
| CN109800321A (zh) * | 2018-12-24 | 2019-05-24 | 银江股份有限公司 | 一种卡口图像车辆检索方法及系统 |
| CN109800321B (zh) * | 2018-12-24 | 2020-11-10 | 银江股份有限公司 | 一种卡口图像车辆检索方法及系统 |
| CN109816024A (zh) * | 2019-01-29 | 2019-05-28 | 电子科技大学 | 一种基于多尺度特征融合与dcnn的实时车标检测方法 |
| CN109948610A (zh) * | 2019-03-14 | 2019-06-28 | 西南交通大学 | 一种基于深度学习的视频中车辆细粒度分类方法 |
| CN110063736B (zh) * | 2019-05-06 | 2022-03-08 | 苏州国科视清医疗科技有限公司 | 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统 |
| CN110063736A (zh) * | 2019-05-06 | 2019-07-30 | 苏州国科视清医疗科技有限公司 | 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统 |
| CN111079602A (zh) * | 2019-12-06 | 2020-04-28 | 长沙千视通智能科技有限公司 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
| CN111079602B (zh) * | 2019-12-06 | 2024-02-09 | 长沙千视通智能科技有限公司 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
| CN113223190A (zh) * | 2020-01-21 | 2021-08-06 | 武汉德云祥科技发展有限公司 | 一种无感支付的监控设备及方法 |
| CN113223191A (zh) * | 2020-01-21 | 2021-08-06 | 武汉德云祥科技发展有限公司 | 一种无感支付的设备及方法 |
| CN111967949A (zh) * | 2020-09-22 | 2020-11-20 | 武汉博晟安全技术股份有限公司 | 基于Leaky-Conv & Cross安全课程推荐引擎排序算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106557579B (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106557579A (zh) | 一种基于卷积神经网络的车辆型号检索系统及方法 | |
| CN110084195B (zh) | 基于卷积神经网络的遥感图像目标检测方法 | |
| CN106504233B (zh) | 基于Faster R-CNN的无人机巡检图像电力小部件识别方法及系统 | |
| CN111310773B (zh) | 一种高效的卷积神经网络的车牌定位方法 | |
| CN101877007B (zh) | 融合空间方位关系语义的遥感图像检索方法 | |
| CN103955702B (zh) | 基于深度rbf网络的sar图像地物分类方法 | |
| CN111259936B (zh) | 一种基于单一像素标注的图像语义分割方法及系统 | |
| CN109829399A (zh) | 一种基于深度学习的车载道路场景点云自动分类方法 | |
| CN111553201B (zh) | 一种基于YOLOv3优化算法的交通灯检测方法 | |
| CN106295507B (zh) | 一种基于集成卷积神经网络的性别识别方法 | |
| Luo et al. | Learning high-level features by fusing multi-view representation of MLS point clouds for 3D object recognition in road environments | |
| CN104933417A (zh) | 一种基于稀疏时空特征的行为识别方法 | |
| CN105956560A (zh) | 一种基于池化多尺度深度卷积特征的车型识别方法 | |
| CN108875076A (zh) | 一种基于Attention机制和卷积神经网络的快速商标图像检索方法 | |
| CN105740915B (zh) | 一种融合感知信息的协同分割方法 | |
| CN108984642A (zh) | 一种基于哈希编码的印花织物图像检索方法 | |
| CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
| CN105243139A (zh) | 一种基于深度学习的三维模型检索方法及其检索装置 | |
| CN106528662A (zh) | 一种基于特征几何约束的车辆图像快速检索方法与系统 | |
| CN105608690A (zh) | 一种基于图论和半监督学习相结合的图像分割方法 | |
| CN109002752A (zh) | 一种基于深度学习的复杂公共场景快速行人检测方法 | |
| CN107315998A (zh) | 基于车道线的车辆种类划分方法和系统 | |
| CN106897677A (zh) | 一种车辆特征分类检索系统和方法 | |
| CN105654122A (zh) | 基于核函数匹配的空间金字塔物体识别方法 | |
| CN107392254A (zh) | 一种通过联合嵌入从像素中构造图像的语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |