CN105488517B - 一种基于深度学习的车辆品牌型号识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车辆品牌型号自动识别方法，该方法针对车辆品牌型号识别设计了一种稳健的深度卷积网络结构，采用深度卷积网络提取车脸区域在不同尺度下的图像特征，再结合支撑向量机对其进行分类，自动完成车辆品牌型号的识别，该方法具有极高的识别准确度。

Description

一种基于深度学习的车辆品牌型号识别方法

技术领域

本发明涉及图像模式识别及智能交通领域，具体是关于智能交通系统中自动识别高清卡口抓拍图片中的机动车辆的品牌型号的一种方法。

背景技术

经济的飞速发展，促使机动车数量急剧上升，涉车犯罪亦越来越频繁，如何快速锁定嫌疑车辆就显得非常重要。侦破此类案件的过程中，车牌虽然能够提供权威的车辆信息，但对于假牌、套牌车却无能为力。为了有效解决这一问题，本发明提出了一种全新的能够自动识别出高清卡口抓拍图片中车辆的品牌型号的方法，有关部门将车辆品牌型号信息与车辆的其他信息(车牌、车身颜色等)相结合可以有效的查处假牌、套牌车辆。

发明内容

本发明针对高清监控摄像机拍摄的卡口图片，设计了一种自动识别图片中车辆的品牌型号的方法，该方法支持自动识别不低于三千种车辆的品牌型号。

本发明的技术方案，一种基于深度学习的车辆品牌型号识别方法，包括以下步骤：

S1、准备数据集。本发明从不同城市的高清卡口点位搜集准备了2000多万张抓拍图片，经过人工筛选，根据车辆的品牌型号精确分成三千多类，建立了基本涵盖各种条件的车辆品牌型号图片数据库。然后再利用车牌识别技术精确定位卡口图片中的车牌位置，根据车牌位置信息准确估计车脸区域(车脸区域与车牌的位置关系参见附图2)，再将车脸区域图像进行尺度归一化处理。

S2、针对车辆品牌型号的识别任务设计一种新的深度卷积网络结构。

本发明设计的深度卷积网络由1个输入层，4个卷积层(分别用C1、C2、C3、C4来表示)，4个下采样层(分别用P1、P2、P3、P4来表示)，2个全连接层(分别用F1、F2来表示)和1个输出层(用SoftMax来表示)组成。其中卷积是一种通过两个函数生成第三个函数的一种数学算子。下采样是指计算图像一个区域的某一特征值的过程，常见的有以区域的平均值或区域的最大值来作为下采样后的特征值。全连接是指把当前层和下一层全部连接起来的一种网络结构。

本发明设计的深度卷积网络结构主要有两点优势：(1)能够有效的组织不同尺度的卷积图像特征为识别所用，融合不同尺度的卷及特征具体体现在本发明设计的深度卷积网络的F1层；(2)能够有效的提取车脸图像的全局特征和局部特征，增强特征的表达辨识能力，本发明设计的深度卷积网络中C1层和C2层提取的为全局图像特征，C3层和C4层提取的为局部图像特征。(详细分析请参见具体实施例)

鉴于本发明设计的深度卷积网络结构具有以上两点优势，利用该网络提取的图像特征具备极强的鲁棒性和区分度。

S3、训练深度卷积网络，得到每个层的网络权值。本发明采用了经典的反向传导算法来训练深度卷积神经网络，所述反向传导算法包括前向传播和反向传播两个过程。在训练开始前，网络的初始权值采用随机数进行初始化，前向传播过程中网络利用系统的输入，得到网络结构中各个层的激励值，输出层利用网络输出值和目标值求差可得到整个网络的预测误差，误差沿着网络反向传播回去，可以计算得到每个隐藏层的误差，每层的激励值和误差的乘积就是该层权值的梯度，网络权值加上权值对应的梯度与某一比例因子的乘积后就完成了一次权值更新。如此反复迭代多直到网络输出误差满足要求时停止。

S4、利用深度卷积网络提取车脸区域的图像特征。

将车脸区域图像输入到本发明设计的深度卷积网络结构中，计算出的F1层和F2层结果均可作为车型识别的特征输入，F1层特征维度较高，稀疏程度较高，存在较多的冗余信息，F2层是F1层经过降维后的特征，保留了区分度较高特征部分，能更好地描述车脸区域。本发明采用F2层的输出作为最终用于识别的特征描述子。

S5、实现了将深度卷积网络和支撑向量机的完美结合，将深度卷积网络提取的特征输入到支撑向量机，完成车辆品牌型号的识别。

附图说明

下面结合附图的详细说明将更为清晰的解释本发明的特征、目的和优势，其中：

图1是表示本发明的整体流程框架示意图。

图2是表示车脸区域与车牌的相对位置关系示意图。

图3是表示本发明设计的深度卷积网络结构示意图。

具体实施方式

为了更加清晰的阐述本发明的内容，将结合附图和优选实施例来做进一步说明。

参照附图1，一种基于深度学习的车辆品牌型号识别方法整体框架包含如下一些步骤：

S1、准备车型训练数据集合

不同城市的高清卡口点位搜集准备了2000多万张抓拍图片，经过人工筛选，根据车辆的品牌型号精确分成三千多类，建立丰富的涵盖各种条件的车辆品牌型号图片数据库。

为了适应现实场景的复杂多变，本发明从多个城市的不同点位卡口中收集了2000多万张高清卡口图片，然后经过数十人几个月的手工精确筛选，根据车辆品牌型号分为了三千多个类别，后续深度卷积网络的训练学习就是基于此数据集合。然后再利用车牌识别技术精确定位卡口图片中的车牌位置，根据车牌位置信息准确的估计车脸区域，并将该区域图像进行尺度归一化处理(即统一缩放到某一个固定尺度，优选实施例中采用200x80)。所述的车牌识别是一种非常成熟的图像处理技术，是指算法从输入图像中经过处理自动输出图片中机动车的车牌位置及车牌号码。车脸区域与车牌位置的相对位置关系示意图如附图2所示。

S2、针对车辆品牌型号的识别设计一种新的深度卷积网络结构。

深度卷积网络是近年来迅速崛起的研究领域，以其网络权值共享和网络架构的灵活多变等诸多优势到了众多研究者的亲耐，针对不同的应用领域如何设计出好的网络结构，是一个研究热点和难点，目前基于深度卷积网络架构的算法技术已经在语音识别和图像识别领域掀起了新一轮的革命。

本发明的优选实施例中设计的深度卷积网络结构示意图如图3所示，C1、C2、C3、C4为卷积层，其中C1和C2为全局共享卷积核的卷积层用于提取全局图像特征，C3和C4为局部共享卷积核的卷积层用于提取局部图像特征以增强不同类型的车辆之间的区分度，P1、P2、P3、P4为下采样层，F1、F2为全连接层，SoftMax为网络输出层，网络结构中每一层都包括大量的可训练的参数。本发明的一个非常关键的创新点在于在C3和C4两个卷积层丢弃了传统的全局共享卷积核的思想，设计了全新的局部共享卷积核的策略，从而能够提取出更加细致的图像特征，同时还将P3和P4两种不同尺度的特征联合在一起作为后续层的输入，进一步增强了深度卷积网络的辨识能力。

本发明的优选实施例中设计的深度卷积网络结构中各个层的参数为：输入层为200x80的单通道灰度图像；C1层全局共享的卷积核大小为5x5，步长为1，卷积核数量为30个，卷积后的特征尺度为196x76；P1层采样窗口为3，步长为3，采样后的特征数量为30个，特征尺度为66x26；C2层全局共享的卷积核大小为3x3，步长为1，卷积核数量为60个，卷积后的特征尺度为64x24；P2层采样窗口为2，步长为2，采样后的特征数量为60个，特征尺度为32x12；C3层采用了局部共享卷积核的策略，将P2层的输出特征分为了4个16x6，每一个子区域共享3x3的卷积核，卷积核的数量为100个，这样得到的特征尺度为4个14x4的子特征，整个特征尺度为28x8，采用局部区域共享卷积核的策略有助于提取到更加丰富的特征，提高识别率；P3层采用了2x2的采样窗口，步长为2，采样后的特征数量为100个，特征尺度为14x4；C4层同样采用了局部共享权值的策略，将P3层的输出特征分为了2个8x4的子区域，其中两个子区域存在2x4的两列重叠区域，每一个子区域共享3x3的卷积核，卷积核的数量为150，这样得到的特征为2个6x2的子特征，特征尺度为12x2；P4层的采样窗口为2，步长为2，采用后的特征尺度为6x1，数量为150；为了增加特征的描述能力，本发明将P3层和P4层两个不同尺度的所有特征联合拼接起来作为F1层向后继续传递，这样F1层的神经元个数为14x4x100+6x1x150＝6500，这样的高维特征中难免存在冗余信息，为了降低特征的维度F1后面接入了F2层，F2层的神经元个数为3000；网络的最后层为SoftMax，计算每一个输入样本隶属于每一类车辆的概率，概率最大的类别即为样本所属的车辆型号。

优选实施例中涉及的深度卷积网络结构中只有卷积层和全连接层使用了激活函数(一种实现线性/非线性变换的功能函数)，激活函数种类很多，推荐使用relu(一种线性变换的函数)。下采样层的采样方法常用的包括平均值下采样，随机下采样和最大值下采样，优选实施例中全部采用了最大值下采样。所述的平均值下采样是指将采样窗口内的所有元素的平均值作为采样结果输出；随机下采样是指在采样窗口内随机的选择一个元素的值作为采样结果输出；最大值下采样是指将采样窗口中所有元素的最大值作为采样结果输出。

S3、训练深度卷积网络，得到每个层的网络权值。

本实施例采用了经典的反向传导算法来训练深度卷积神经网络，所述反向传导算法包括前向传播和反向传播两个过程。在训练开始前，网络的初始权值采用随机数进行初始化，前向传播过程中网络利用系统的输入，得到网络结构中各个层的激励值，输出层利用网络输出值和目标值求差可得到整个网络的预测误差，误差沿着网络反向传播回去，可以计算得到每个隐藏层的误差，每层的激励值和误差乘积就是该层权值的梯度，网络权值加上权值对应的梯度与某一比例因子的乘积后就完成了一次权值更新。如此反复迭代多直到网络输出满足要求时停止。

S4、利用深度卷积网络提取车脸区域的图像特征。

本发明中深度卷积网络的最大作用就是用来提取车脸区域的图像特征，输入车脸图像沿着网络传输，计算出的F1层和F2层结果均可作为车型识别的特征输入，但F1层特征维度较高，稀疏程度较高，存在较多的冗余信息，F2层是F1层经过降维后的特征，保留了区分度较高特征部分，能更好地描述车脸区域。

S5、车辆品牌型号识别

将利用深度卷积网络提取的车脸图像特征输入支撑向量机即可完成车型识别。支撑向量机(Support Vector Machine，SVM)是Vapnik于1995年首先提出的一种机器学习算法。SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，能根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折中，以求获得最好的分类识别能力。

本实施例采用深度卷积网络提取车脸区域的图像特征，结合SVM分类识别的方法在三千多类车辆品牌型号的识别任务中，经过在许多地区的高清卡口上进行实测，统计结果表明白天取得了97％的识别精度，夜间取得了92％的识别精度。

尽管出于说明性目的已经公开本发明的优选实施例，但是本领域的普通技术人员将懂得各种变更，增加或是替代都是可能的，并不脱离如附带的权利要求书中所公开的本发明的精神和范围。

Claims (1)

1.一种基于深度学习的车辆品牌型号识别方法，其特征在于，包括以下步骤：

S1、准备数据集：不同城市的高清卡口点位搜集准备了2000多万张抓拍图片，经过人工筛选，根据车辆的品牌型号精确分成三千多类，建立丰富的涵盖各种条件的车辆品牌型号图片数据库，然后再利用车牌识别技术精确定位卡口图片中的车牌位置，根据车牌位置信息准确估计车脸区域，再将车脸区域图像进行尺度归一化处理；

S2、针对车辆品牌型号的识别任务设计一种新的深度卷积网络结构，深度卷积网络由1个输入层，4个卷积层，4个下采样层，2个全连接层和1个输出层组成，其中，4个卷积层分别用C1、C2、C3、C4来表示，其中C1和C2为全局共享卷积核的卷积层用于提取全局图像特征，C3和C4为局部共享卷积核的卷积层用于提取局部图像特征以增强不同类型的车辆之间的区分度；4个下采样层分别用P1、P2、P3、P4来表示，2个全连接层分别用F1、F2来表示，1个输出层用SoftMax来表示；

其中，输入层为200x80的单通道灰度图像；C1层全局共享的卷积核大小为5x5，步长为1，卷积核数量为30个，卷积后的特征尺度为196x76；P1层采样窗口为3，步长为3，采样后的特征数量为30个，特征尺度为66x26；C2层全局共享的卷积核大小为3x3，步长为1，卷积核数量为60个，卷积后的特征尺度为64x24；P2层采样窗口为2，步长为2，采样后的特征数量为60个，特征尺度为32x12；C3层采用了局部共享卷积核的策略，将P2层的输出特征分为了4个16x6，每一个子区域共享3x3的卷积核，卷积核的数量为100个，这样得到的特征尺度为4个14x4的子特征，整个特征尺度为28x8；P3层采用了2x2的采样窗口，步长为2，采样后的特征数量为100个，特征尺度为14x4；C4层同样采用了局部共享权值的策略，将P3层的输出特征分为了2个8x4的子区域，其中两个子区域存在2x4的两列重叠区域，每一个子区域共享3x3的卷积核，卷积核的数量为150，这样得到的特征为2个6x2的子特征，特征尺度为12x2；P4层的采样窗口为2，步长为2，采样后的特征尺度为6x1，数量为150；为了增加特征的描述能力，将P3层和P4层两个不同尺度的所有特征联合拼接起来作为F1层向后继续传递，这样F1层的神经元个数为6500，这样的高维特征中存在冗余信息，为了降低特征的维度F1后面接入了F2层，F2层的神经元个数为3000；网络的最后层为SoftMax，计算每一个输入样本隶属于每一类车辆的概率，概率最大的类别即为样本所属的车辆型号，深度卷积网络结构中只有卷积层和全连接层使用了激活函数；

S3、训练深度卷积网络，得到每个层的网络权值；

S4、利用深度卷积网络提取车脸区域的图像特征，

将车脸区域图像输入到深度卷积网络结构中，计算出的F1层和F2层结果均可作为车型识别的特征输入，F1层特征维度较高，稀疏程度较高，存在较多的冗余信息，F2层是F1层经过降维后的特征，保留了区分度较高特征部分，能更好地描述车脸区域，采用F2层的输出作为最终用于识别的特征描述子；

S5、将深度卷积网络提取的特征输入到支撑向量机，完成车辆品牌型号的识别。