CN105938560A - 一种基于卷积神经网络的车型精细分类系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的车型精细分类系统，提供了针对特征不明显，特征难于提取的车辆图像超多量分类方法，通过图像分析获得车辆的品牌、型号信息，而无需使用车牌、车标等易被遮挡、篡改的信息，尤其可用于套牌车、无牌车、有遮挡车辆的交通监管、交通稽查、交通统计、刑侦等领域；解决了使用图像对车辆品牌、型号的超多量分类问题；使用具有多个子网络的混合型卷积神经网络，将车辆的局部图片与全局图片同时输入各个子网络，如将车辆的车脸图片、车身图片、车尾图片输入不同的子网络，通过子网评分层进行打分，获得分类结果。

Description

一种基于卷积神经网络的车型精细分类系统

技术领域

本发明提供一种基于卷积神经网络的车型精细分类系统，将车辆的车脸图片、车身图片、车尾图片输入具有多个子网络的混合型卷积神经网络，完成对车辆品牌、型号的分类，有针对地进行设计、训练，调优，以达到较完备的车辆信息获取与较高的车辆识别准确率，属于图像处理技术领域。

背景技术

近年来，随着经济的发展与汽车工业的进步，城市汽车保有量逐年增加，随之而来的是交通事故、交通拥堵、交通污染等一系列严重的问题。为了创造安全、便捷、经济、高效的交通环境，发达国家先后投入了大量的资金和人员从事智能交通系统的研发工作。在智能交通系统中，获取车辆的具体信息是一项基础性研究，是实现交通监管、交通稽查、交通统计智能化的前提，同时也是驾驶员辅助系统和自动驾驶系统中不可获取的模块。

车型识别是一个典型的模式识别课题,国内外已有众多学者对这一课题进行了深入研究。在识别技术上，可以基于感应线圈技术、波频感应技术、数字图像技术。其中基于感应线圈和波频感应技术的车型识别，只能识别车辆结构(如大型车、中型车、小型车)，且对车速敏感。基于数字图像的识别技术，在通过车牌、车标实现细粒度分类上已有诸多成果。但是在实际交通环境中，车牌、车标可视面积小，空间结构特征不明显，容易被污染或遮挡，鲁棒性较差，且容易被篡改人为篡改。基于外观特征的车型识别技术，由于交通环境的复杂性，车辆包含大量的玻璃、镜子、反光金属等部件，同一区域因为透光或反光，在不同的成像中会呈现出杂乱干扰和灰度剧烈变化，目前主要还是对车辆结构进行粗粒度分类。通过基于图像的模式识别技术，从结构上将车辆分为大型车、中型车、小型车，或是更加细化地分为公共汽车、皮卡车、越野车、小轿车、货车等。在车辆品牌、型号等细粒度分类问题上，一直没有找到一种有效的方法。

使用卷积神经网络进行图像模式识别，不需要选取人工特征(如尺度不变特征变换，Scale-invariantfeaturetransform，SIFT)，普适性强。已有研究人员将卷积神经网络用于车型分类，但仅仅是构建了无子网络、无子网评分层的卷积神经网络，研究成果主要是在车辆结构分类上，通过卷积神经网络将车辆分为大型车、中型车、小型车，公共汽车、皮卡车、越野车、小轿车、货车。这样的分类，无法满足智能交通中交通监管、交通稽查、交通统计的要求，如无法对无牌车辆、套牌车辆的品牌、型号识别，进而无法对无牌车辆、套牌车辆进行自动跟踪。

发明内容

本发明公开了一种基于卷积神经网络的车型精细分类系统，将车辆的车脸图片、车身图片、车尾图片输入具有多个子网络的混合型卷积神经网络，完成对车辆品牌、型号的分类，有针对地进行设计、训练，调优，以达到较完备的车辆信息获取与较高的车辆识别准确率。

本发明所述的一种基于卷积神经网络的车型精细分类系统，其技术方案包括步骤如下：

1、采集、存储、传输车辆图片，包括车脸图片、车身图片、车尾图片，对训练时使用的车辆图片进行品牌、型号标注；

2、构建混合型卷积神经网络。首先构建多个子网络，用于对车辆的不同特征进行提取，得到初步分类结果；再构建子网评分层对上述初步分类结果评分，得到最终分类结果。多个子网络和子网评分层构成混合型卷积神经网络。

所述的子网评分层是混合型卷积神经网络中的一层，子网评分层函数的公式如下：

$Y\left(x\right)=\max \left(\underset{i=1}{\overset{n}{\Σ}}{w}_i{y}_i\right(x\left)\right)$

其中：

x表示车辆图片；

y表示子网络输出矩阵；

w表示子网络输出矩阵权重，

n表示子网络数目，

max函数表示求矩阵中最大值所在位置，

Y表示子网评分层函数；

构建子网评分层：

1)输入车身子网络、车脸子网络和车尾子网络的输出矩阵；

2)使用子网评分层函数对输入矩阵进行计算；

3)输入最终的分类结果。

3、训练混合型卷积神经网络，获得网络参数。将车脸图片、车身图片、车尾图片输入混合型卷积神经网络进行训练，训练过程采用动量梯度下降方法学习网络参数。当网络参数小于设定网络参数阈值0.0000001时，混合型卷积神经网络训练结束。

4、使用混合型卷积神经网络进行车型精细分类，将车辆图片输入到已训练的混合型卷积神经网络，得到车辆的品牌、型号信息。

本发明的积极效果在于：提供了针对特征不明显，特征难于提取的车辆图像超多量分类方法，通过图像分析获得车辆的品牌、型号信息，而无需使用车牌、车标等易被遮挡、篡改的信息，尤其可用于套牌车、无牌车、有遮挡车辆的交通监管、交通稽查、交通统计、刑侦等领域；解决了使用图像对车辆品牌、型号的超多量分类问题；使用具有多个子网络的混合型卷积神经网络，将车辆的局部图片与全局图片同时输入各个子网络，如将车辆的车脸图片、车身图片、车尾图片输入不同的子网络，通过子网评分层进行打分，获得分类结果。

附图说明

图1为本发明车型精细分类系统的系统结构图；

图2为本发明混合型卷积神经网络的结构示意图。

具体实施方式

通过以下实施例进一步举例描述本发明，并不以任何方式限制本发明，在不背离本发明的技术解决方案的前提下，对本发明所作的本领域普通技术人员容易实现的任何改动或改变都将落入本发明的权利要求范围之内。

实施例1

参照图1和图2，实现本发明的具体步骤如下：

1、采集、存储、传输速腾2015款、迈腾2015款、辉腾2015款、福特-福克斯2015款、福特-翼虎2015款、马自达6 2015款、马自达阿特兹2015款、奥迪A4L 2015款、奥迪A6L 2015款、本田-雅阁2015款、别克-君威2015款图片共9320张，包括车脸图片、车身图片、车尾图片，对训练使用的车辆图片进行品牌、型号标注。使用摄像机1、采集卡2、车辆图片采集计算机3构成的图片采集系统采集车脸图片、车身图片、车尾图片，采集图片存储在车辆图片采集计算机3中。然后使用车辆图片采集计算机3将采集的车辆图片分为训练图片和测试图片，对所有的图片样本进行标注，用于训练混合型卷积神经网络；最后使用网卡4将车辆图片采集计算机3存储的车辆图片传输到车型精细分类计算机5；

2、构建多个子网络，用于对车辆的不同特征进行提取，得到初步分类结果；再构建子网评分层对上述初步分类结果评分，得到最终分类结果；多个子网络和子网评分层构成混合型卷积神经网络。构建含有N层混合型卷积神经网络的具体步骤如下：

(1)将224×224像素大小的车辆图片作为输入层Input0输入卷积层Conv1，对其进行块大小为3×3像素、步长为1像素、填充距离为1像素的卷积操作，总共用8个卷积核，得到8张224×224像素大小的特征图；

(2)将卷积层Conv1输出的8张特征图输入到池化层Pool2，对其进行最大池操作，池化块的大小为2×2像素，步长为2像素，得到8张分辨率为112×112像素的特征图；

(3)将池化层Pool2输出的8张特征图输入卷积层Conv3，对其进行块大小为3×3像素、步长为1像素、填充距离为1像素的卷积操作，总共用16个卷积核，得到16张分辨率为112×112像素的特征图；

(4)将卷积层Conv3输出的16张特征图输入池化层Pool4，对其进行最大池化操作，池化块的大小为2×2像素，步长为2像素，得到16张分辨率为56×56像素的特征图；

(5)将池化层Pool4输出的16张特征图输入卷积层Conv5，对其进行块大小为3×3像素、步长为1像素、填充距离为1像素的卷积操作，总共用32个卷积核，得到32张分辨率为56×56像素的特征图；

(6)将卷积层Conv5输出的32张特征图输入池化层Pool6，对其进行最大池化操作，池化块的大小为2×2像素，步长为2像素，得到32张分辨率为28×28像素的特征图；

(7)将池化层Pool6输出的32张特征图输入卷积层Conv7，对其进行块大小为3×3像素、步长为1像素、填充距离为1像素的卷积操作，总共用64个卷积核，得到64张分辨率为28×28像素的特征图；

(8)将卷积层Conv7输出的64张特征图输入池化层Pool8，对其进行最大池化操作，池化块的大小为2×2像素，步长为2像素，得到64张分辨率为14×14像素的特征图；

(9)将池化层Pool8输出的64张特征图输入卷积层Conv9，对其进行块大小为3×3像素、步长为1像素、填充距离为1像素的卷积操作，总共用64个卷积核，得到64张分辨率为14×14像素的特征图；

(10)将卷积层Conv9输出的64张特征图输入池化层Pool10，对其进行最大池化操作，池化块的大小为2×2像素，步长为2像素，得到64张分辨率为7×7像素的特征图；

(11)将池化层Pool8输出的64张特征图和池化层Pool 10输出的64张特征图输入全连接层Fc11，得到128维的特征向量；

(12)将全连接层Fc11输出的特征向量输入分类层Softmax12；

(13)将224×224像素大小的车脸图片和车尾图片按照上述构建车身子网络的步骤(1)-(12)构建车脸子网络和车尾子网络。

(14)将车身子网络，车脸子网络和车尾子网络的分类层分类结果输入到子网评分层，得到车型精细分类结果，最终构建出用于车型精细分类的混合型卷积神经网络。

不同的卷积神经网络层次间的连接方式不同：

(1)池化层到卷积层的连接的计算公式如下：

$x_j^l=f(\underset{i\∈M_j}{\Σ}{x}_j^{l-1}{k}_{ij}^l+b_j^l)$

其中，

表示当前卷积层l的参数；

和表示上一池化层l-1的参数；

k表示当前选取的卷积核参数；

f为激活函数，激活函数的作用是引入非线性元素，增加网络的表达能力；

(2)卷积层到池化层的连接的计算公式如下：

$x_j^l=f\left(B_j^{l}sub\right(x_j^{l-1})+b_j^l)$

其中，

表示当前池化层l的参数；

和表示上一卷积层l-1的参数；

sub()表示取大小为2×2的子区域的最大值；

B是输出特征的参数；

f的含义与卷积层的类似，表示池化层的激活函数：

所述子网类评分层的公式如下：

$Y\left(x\right)=\max \left(\underset{i=1}{\overset{n}{\Σ}}{w}_i{y}_i\right(x\left)\right)$

其中：

x表示车辆图片；

y表示子网络输出矩阵；

w表示子网络输出矩阵权重；

n表示子网络数目；

max函数表示求矩阵中最大值所在位置；

Y表示子网评分层函数。

构建子网评分层的具体步骤如下：

1)输入车身子网络、车脸子网络和车尾子网络的输出矩阵；

2)使用子网评分层函数对输入矩阵进行计算；

3)输入最终的分类结果。

分类层Softmax12使用Softmax分类函数实现。Softmax分类函数定义如下：

$h_{\mathrm{\θ}}{x}^{\left(i\right)}\left[\begin{array}{c}p\left(y^{\left(i\right)}=1|x^{\left(i\right)};\mathrm{\θ}\right)\\ p\left(y^{\left(i\right)}=2|x^{\left(i\right)};\mathrm{\θ}\right)\\ .\\ .\\ .\\ p\left(y^{\left(i\right)}=k|x^{\left(i\right)};\mathrm{\θ}\right)\end{array}\right]-\frac{1}{{\Σ}_{j=1}^k{e}^{{\mathrm{\θ}}_j^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{}^{{\mathrm{\θ}}_1^T{x}^{\left(i\right)}}}\\ e^{{}^{{\mathrm{\θ}}_2^T{x}^{\left(i\right)}}}\\ .\\ .\\ .\\ e^{{}^{{\mathrm{\θ}}_k^T{x}^{\left(i\right)}}}\end{array}\right]$

其中，

x表示卷积神经网络中全连接层Fc11输出的特征向量；

y表示卷积神经网络中分类层Softmax12的输出；

p(y＝t|x；θ)表示输入为卷积神经网络中全连接层Fc11输出的特征向量x时分类y等于t的概率；

t∈1，2，…，k，θ表示模型参数且θ₁，θ₂，…，θ_k∈R^n＋1；

该函数的损失函数如下：

$J\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}{y}^{\left(i\right)}{\mathrm{logh}}_{\mathrm{\θ}}{x}^{\left(i\right)}+(1-y^{\left(i\right)})\log (1-h_{\mathrm{\θ}}{x}^{\left(i\right)})\]$

其中，

J(θ)表示损失函数；

m表示车辆图片的数量；

h_θx表示Softmax函数；

x表示卷积神经网络中全连接层输出的特征向量；

y表示卷积神经网络中分类层Softmax12的输出；

θ表示模型参数。

3、训练混合型卷积神经网络，获得网络参数：将车脸图片、车身图片、车尾图片输入混合型卷积神经网络进行训练，训练过程采用动量梯度下降方法学习网络参数。当网络参数小于设定网络参数阈值0.0000001时，混合型卷积神经网络训练结束。

动量梯度下降方法的公式如下：

θ(k+1)＝θ(k)+α[(1-η)D(k)+ηD(k-1)]；

其中，

θ(k+1)表示第k+1层卷积神经网络的参数；

θ(k)表示第k层卷积神经网络的参数；

α表示学习率，控制动量梯度下降方法的下降速度；

D(k)表示第k层的负梯度，D(k+1)表示第k+1层的负梯度；

η表示动量因子，保证动量梯度下降方法可以得到较好的网络参数；动量梯度下降方法可以快速、准确的学习到卷积神经网络的网络参数。

4、使用混合型卷积神经网络进行车型精细分类，将车辆图片输入到已训练的混合型卷积神经网络，得到车辆的品牌、型号信息。

结论：

本发明的数据库包含了11款不同车辆的车脸、车身、车尾图像共9320张，经测试，识别准确率为90％。

Claims (1)

1.一种基于卷积神经网络的车型精细分类系统，包括以下步骤：

1)采集、存储、传输车辆图片，包括车脸图片、车身图片、车尾图片，对训练时使用的车辆图片进行品牌、型号标注；

2)构建混合型卷积神经网络：

构建多个子网络，用于对车辆的不同特征进行提取，得到初步分类结果；再构建子网评分层对上述初步分类结果评分，得到最终分类结果；由多个子网络和子网评分层构成混合型卷积神经网络；

所述的子网评分层是混合型卷积神经网络中的一层，子网评分层函数的公式如下：

$Y\left(x\right)=\max \left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i{y}_i\left(x\right)\right)$

其中：

x表示车辆图片；

y表示子网络输出矩阵；

w表示子网络输出矩阵权重；

n表示子网络数目；

max函数表示求矩阵中最大值所在位置；

Y表示子网评分层函数；

构建子网评分层：

输入车身子网络、车脸子网络和车尾子网络的输出矩阵；使用子网评分层函数对输入矩阵进行计算；输入最终的分类结果；

3)训练混合型卷积神经网络，获得网络参数：将车脸图片、车身图片、车尾图片输入混合型卷积神经网络进行训练，训练过程采用动量梯度下降方法学习网络参数；当网络参数小于设定网络参数阈值0.0000001时，混合型卷积神经网络训练结束；

4)使用混合型卷积神经网络进行车型精细分类，将车辆图片输入到已训练的混合型卷积神经网络，得到车辆的品牌、型号信息。