CN105512684A

CN105512684A - 基于主成分分析卷积神经网络的车标自动识别方法

Info

Publication number: CN105512684A
Application number: CN201510902942.3A
Authority: CN
Inventors: 狄明珠; 韩晶; 方亚隽
Original assignee: Jiangsu Daway Technologies Co ltd
Current assignee: Jiangsu Daway Technologies Co ltd
Priority date: 2015-12-09
Filing date: 2015-12-09
Publication date: 2016-04-20
Anticipated expiration: 2035-12-09
Also published as: CN105512684B

Abstract

一种基于主成分分析卷积神经网络的车标自动识别方法，包括各类车标分类理想输出特征向量取得的步骤及车标识别步骤，其中，表示车标分类理想输出特征向量，k表示车标种类数，所述各类车标分类理想输出特征向量是用N份各类车标图像样本对卷积神经网络进行训练取得的，所述的车标识别是在得到待识别车标的输出向量Z后，通过计算各个品牌的车标分类理想输出特征向量与对应的待识别车标的输出向量Z之间的欧氏距离及归属度，最大归属度中对应的品牌车标即为待识别车标。

Description

基于主成分分析卷积神经网络的车标自动识别方法

技术领域

交通图像车辆特征检测的技术领域，尤其涉及一种基于主成分分析卷积神经网络的车标自动识别方法。

背景技术

车标识别作为交通图像车辆特征检测技术领域中的重要组成部分，可以更准确地获取车辆信息，已在车辆行踪及违法车辆的自动记录中得到了越来越广泛的应用。目前车标识别的现有技术包括利用特征不变矩距离分类法、基于SIFT特征识别法等，其在识别率和识别速度上都有待提高。

卷积神经网络(CNN)是人工神经网络的一种，主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量，在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。基于卷积神经网络车标识别技术，明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器使识别车标更有效，运行速度更快。

发明内容

本发明提供一种基于主成分分析卷积神经网络的车标自动识别方法，本发明用相对较小的计算复杂度，极大地提高车标图像识别效果，使得车标识别率能达到85％以上。

本发明采用如下技术方案：

一种基于主成分分析卷积神经网络的车标自动识别方法，其特征在于，包括各类车标分类理想输出特征向量T_k取得的步骤及车标识别步骤，其中，T_k表示车标分类理想输出特征向量，k表示车标种类数，

所述各类车标分类理想输出特征向量T_k取得的步骤包括：

搜集作为样本图像的各类车标图像N份，分别对各类车标图像进行定位，得到大小为44×44像素的各类车标区域精确定位灰度图像N份，再通过训练卷积神经网络，确定并得到各类车标分类理想输出特征向量T，所述卷积神经网络的训练方法如下：

步骤101卷积神经网络训练参数设定

分别取作为样本图像的各类车标的44×44像素的车标区域精确定位灰度图像N份，卷积核设为5×5，采样层采样范围2×2，

步骤102对样本图像进行灰度归一化处理，统一各个样本的图像亮度和对比度，得到归一化样本图像且归一化样本图像的像素值为G_(i,j,n)，G_(i,j,n)为第n个样本的归一化图像中的第i行第j列像素值，i、j＝均为正整数，

步骤103采用主成分分析滤波器为卷积核，所述卷积核是将64列向量分别排列为5×5方阵后得到的64个5×5卷积核，所述64个5×5卷积核采用如下方法得到：

步骤103-1：求得矩阵X_N×1936的协方差矩阵C_1936×1936，所述矩阵X_N×1936是分别将N个归一化样本图像的每一个相同位置上的像素值G_(i,j,n)拉成一个列向量，组成矩阵X_N×1936，则矩阵X共有N行、44×44＝1936列；

步骤103-2：求协方差矩阵C_1936×1936的特征值和特征向量，并将特征向量归一化为单位向量，

步骤103-3：选取最大的25个特征值并进行从大到小进行排序，再将所述25个特征值所对应的特征向量作为列向量组成特征向量矩阵V_1936×25，

步骤103-4：将矩阵X_N×1936在特征向量矩阵V_1936×25上进行投影，得到矩阵F_N×25且F_N×25＝X_N×1936*V_1936×25，

随机在矩阵F_N×25中取64列，将64列向量分别排列为5×5方阵后得到64个卷积核，64个卷积核的值为且m＝1、2、3、…、64，r1＝1，2，…，5，r2＝1，2，…，5，并将归一化样本图像作为初始化的卷积图像，开始对卷积图像进行卷积，

步骤104将第n张卷积图像第i行第j列的像素点的灰度值记为G′_(i,j,n)，将卷积行向列向步长都设为1并用5×5的滑动窗口对卷积图像进行区域划分，划分出卷积图像的卷积区域，再分别用所述64个卷积核，对每张卷积图像的各个5×5卷积区域进行卷积，得到卷积特征值并作为像素点的灰度值G″_(i,j,n)：

G_{(i, j, n)}^{''} = G_{(i^{'}, j^{'}, n)}^{'} * W_{(r 1, r 2)}^{m}

其中，G″_(i,j,n)为卷积后的第n张图像中第i行第j列像素点的灰度值，n表示卷积图像的序号；G′_{(i′,j′,n)}为5×5卷积区域内的像素点的灰度值，并且，i′＝i,i+1,...,i+4，j′＝j,j+1,...,j+4；是第m个卷积核的权值，m表示卷积核的序号，并且，r1取值为1、2、3、4、5，r2取值为1、2、3、4、5；符号“*”表示二维卷积运算；

接着，对卷积后的图像像素点的准灰度值G″_(i,j,n)进行非线性激励函数f(x)变换，非线性激励函数f(x)采用：

f (G_{(i, j, n)}^{''}) = \frac{1}{1 + e^{- G_{(i, j, n)}^{''}}}

步骤105重复步骤104，直至得到每张卷积图像对应64张特征图，

步骤106用行向列向采样步长为2的2×2采样区域，分别对各张卷积图像对应64张特征图进行采样，在每个2×2采样区域选出一个采样点(i′,j′)，采样点(i′,j′)的灰度值S_(i′,j′)为：

s_{(i^{'}, j^{'})} = \frac{1}{1 + e^{- M a x {H (h)}}}

其中，Max{H(h)}为2×2采样区域中的最大准灰度值，H(h)表示2×2采样区域第h个采样点的灰度值，h＝1、2、3、4，最后对相应的采样点进行组合并形成新的卷积图像，

步骤107重复步骤104～步骤106，直至使每个卷积图像得到64张特征向量维度为2×2的特征图，

步骤108输入图像神经元个数为64×2×2＝256个，将所有同类样本图像的256个最后特征值分别相加平均，得到各类含有256个特征值t_w的车标分类理想输出特征向量T_k，k表示车标种类数且k＝1、2、3、…，T_k表示第k类车标分类理想输出特征向量，t_w表示车标分类理想输出特征向量T_k的第w个特征值，w＝1、2、3、…、256；

所述的车标识别步骤包括：

步骤201获取待识别的车标图像并对待识别的车标图像进行定位，得到大小为44×44像素的车标区域精确定位灰度图像，令N＝1，对待识别的车标图像中的车标区域精确定位灰度图像进行步骤103至步骤107的处理，得到64张特征向量维度为2×2的特征图并得到含有256个特征值z_w的待识别车标的输出向量Z，z_w表示待识别车标的输出向量Z的第w个特征值，w＝1、2、3、…、256，

步骤202分别计算各个品牌的车标分类理想输出特征向量T_k的各个特征值t_w与对应的待识别车标的输出向量Z的各个特征值z_w之间的欧氏距离d_k,w，所述欧氏距离d_k,w为：d_k,w＝|z_w-t_w|，如果d_k,w<θ_d，则进入步骤203，否则，抛弃当前的d_k,w，θ_d为距离阈值，

步骤203分别计算待识别车标与各类品牌车标的归属度Ω_k，

Ω_{k} = Σ \frac{1}{d_{k, w}^{6}}

d_k,w为第k个品牌的车标分类理想输出特征向量T_k的第w个特征值t_w与对应的待识别车标的输出向量Z的第w个特征值z_w之间的欧氏距离，最大归属度中对应的品牌车标即为待识别车标。

与现有技术相比，具有如下有益效果：

车标识别的重点在于找到能够区分各类不同类型车辆的特征，或者说各类车辆区分度最高的部分。车辆的正面图像一般车辆的车头部分特征信息较为集中，而其他部分特征信息较少。因此我们可以通过在车头部分特征信息中准确地提取车标区域，然后采用卷积神经网络(ConvolutionalNeuralNetwork,CNN)对样本进行训练，同时进行特征提取和模式分类，完成车标的识别。这种车标识别的方法目的在于用相对较小的计算复杂度，极大地提高车标图像识别效果，使得车标识别率能达到85％以上。

(1)本方法首先分析得出可能包含车标的感兴趣区域，能作出比较精准的区域定位，再使用卷积神经网络判断具体类别。不仅具有较高的分类正确率，同时提高了处理效率。

(2)卷积神经网络本身具有深层的体系结构，模型训练复杂耗时，消耗资源多。采用主成分分析滤波器有降噪与去冗余的作用，以此为卷积核，简化了卷积过程和训练方法，大大减少了算法的运行时间；同时加强子采样过程后增加了特征的提取，经过逐层卷积和池采样所提取的特征具有比例缩放不变和旋转不变性的优点。

(3)本方法训练时经过了图像的灰度归一化，统一了图像的亮度和对比度，充分利用图像的形状信息，略去其颜色信息，降低计算量，并且具有较高的检测准确率。

附图说明

图1是训练步骤流程图。

图2是特征图尺寸变化图。

图3是待测车标流程图。

具体实施方式

一种基于主成分分析卷积神经网络的车标自动识别方法，包括各类车标分类理想输出特征向量T_k取得的步骤及车标识别步骤，其中，T_k表示车标分类理想输出特征向量，k表示车标种类数，

所述各类车标分类理想输出特征向量T_k取得的步骤包括：

搜集作为样本图像的各类车标图像N份，本实施例中，N可以取5000，也可以取6000，分别对各类车标图像进行定位，得到大小为44×44像素的各类车标区域精确定位灰度图像N份，再通过训练卷积神经网络，确定并得到各类车标分类理想输出特征向量T，所述卷积神经网络的训练方法如下：

步骤101卷积神经网络训练参数设定

本步骤中，灰度归一化处理可以是：

将N张同类车标样本图像的同一位置的相邻像素计算均值。具体地，取局部取局部区域大小为2×2，局部区域不重叠，将图像分割为22×22块，某一像素则可归属为其分割好的区域，此区域即称为某一像素的相邻区域。

设某一像素点是值为P_(i,j,n)。其中i表示这一像素在水平方向上的位置，1≤i≤44；j表示垂直方向上的位置，1≤i≤44；n表示第几个样本，1≤i≤N。这个像素点在其相邻区域内2×2的平均值为

将所有样本对同一位置像素的再相加平均：

M_{(i, j)} = \overset{&OverBar;}{Σ_{n = 1}^{N} \overset{&OverBar;}{P_{(i, j, n)}}}

M_(i,j)即为样本在这个位置的像素均值。

再计算其方差

σ_{(i, j, n)} \frac{Σ_{n = 1}^{N} {(P_{(i, j, n)} - M_{(i, j)})}^{2}}{N}

最后计算每个样本中每个像素点的归一化值：

G_{(i, j, n)} = \frac{P_{(i, j, n)} - M_{(i, j, n)}}{σ_{(i, j, n)}}

根据上述方法，每个样本中每个像素值已由P_(i,j,n)转换为G_(i,j,n)。由G_(i,j,n)组成的新的图像即为归一化图像。第n个样本的归一化图像如下：

G_(1,1,n)	G_(1,2,n)	...	...	G_(1,44,n)
					G_(2,1)	G_(2,2,n)	...	...	G_(2,44,n)
...	...	....	...	...
					...	...	...	...	...
G_(44,1,n)	G_(44,2,n)	...	...	G_(44,44,n)

步骤103-1：求得矩阵X_N×1936的协方差矩阵C_1936×1936，所述矩阵X_N×1936是分别将N个归一化样本图像的每一个相同位置上的像素值H_(i,j,n)拉成一个列向量，组成矩阵X_N×1936，则矩阵X共有N行、44×44＝1936列；

本步骤中的矩阵X_N×1936的协方差矩阵C_1936×1936的具体求取方法为：

(1)分别计算矩阵X_N×1936中每一列的平均值，并将每一个元素减去其对应列上的这个平均值；得到Y_N×1936

(2)C_1936×1936＝(Y^T*Y)/(N-1)，其中Y^T表示Y的转置矩阵；

为了更好地理解本步骤，对本步骤做出如下详细说明：

卷积神经网络中，卷积层的权重更新过程本质是卷积核的更新过程。一般的卷积神经网络中，卷积核初始化为随机生成，此后在反向传播过程中，按极小化误差的方法调整卷积核权值和阈值。

本方法采用主成分分析滤波器为卷积核，可以避免复杂的变量优化，简化训练方法，缩短训练时间。即要使保留下来的维度间的相关性尽可能小

主成分分析的目的是降噪与去冗余，并且含有的表特征性能尽可能大。因此主成分分析分析的本质为对角化协方差矩阵。

将图2得到的N个样本图像的每一个对应位置(i,j)像素值G_(i,j,n)拉成一个列向量，组成矩阵X，则矩阵X共有N行、44×44＝1936列。

举例来说，目前假设拿全是桑塔纳车标的N(N>＝5000)个样本作网络训练。把n表示为这N个样本中的第几个样本。经过上述归一化后，每个样本的每一个位置对应的值为G_(i,j,n)。其中i表示像素在第n个样本的水平位置，j表示像素在第n个样本的垂直位置。

我们把G_(1,1,1)、G_(1,1,2)、G_(1,1,3)...G_(1,1,N)一共N个元素拉成第一个列向量；再将G_(1,2,1)、G_(1,2,2)、G_(1,2,3)...G_(1,2,N)一共N个元素拉成第二个列向量，以此逐行重复直到G_(44,44,1)、G_(44,44,2)、G_(44,44,3)...G_(44,44,N)一共N个元素拉成第44×44＝1936个列向量。将这些列向量组成一个N行，1936列的矩阵X。

步骤104将第n张卷积图像第i行第j列的像素点的灰度值记为G′_(i,j,n)，将卷积行向列向步长都设为1并用5×5的滑动窗口对卷积图像进行区域划分，划分出卷积图像的卷积区域，再分别用所述64个卷积核，对每张卷积图像的各个5×5卷积区域进行卷积，所述卷积是将每张卷积图像的每个卷积区域内每个值与对应卷积图像中的每个像素值相乘后相加，得到卷积特征值并作为像素点的准灰度值G″_(i,j,n)：

G_{(i, j, n)}^{''} = G_{(i^{'}, j^{'}, n)}^{'} * W_{(r 1, r 2)}^{m}

其中，G″_(i,j,n)为卷积后的第n张图像中第i行第j列像素点的灰度值，n表示卷积图像的序号；G′_{(i′,j′,n)}为5×5卷积区域内的像素点的灰度值，并且，i′＝i,i+1,...,i+4，j′＝j,j+1,...j+4；是第m个卷积核的权值，m表示卷积核的序号，并且，r1取值为1、2、3、4、5，r2取值为1、2、3、4、5；符号“*”表示二维卷积运算；

接着，对卷积后的图像像素点的灰度值G″_(i,j,n)进行非线性激励函数f(x)变换，非线性激励函数f(x)采用：

f (G_{(i, j, n)}^{''}) = \frac{1}{1 + e^{- G_{(i, j, n)}^{''}}}

s_{(i^{'}, j^{'})} \frac{1}{1 + e^{- M a x {H (h)}}}

所述的车标识别步骤包括：

步骤202分别计算各个品牌的车标分类理想输出特征向量T_k的各个特征值t_w与对应的待识别车标的输出向量Z的各个特征值z_w之间的欧氏距离d_k,w，所述欧氏距离d_k,w为：d_k,w＝|z_w-t_w|，如果d_k,w<θ_d，则进入步骤203，否则，抛弃当前的d_k,w，θ_d为距离阈值，距离阈值θ_d通常取值为2～3，本实施例中，θ_d＝2.5，

步骤203分别计算待识别车标与各类品牌车标的归属度Ω_k，

Ω_{k} = Σ \frac{1}{d_{k, w}^{6}}

所述车标区域精确定位灰度图像的取得可以采用多种公知方法，通常可以包括以下步骤：车标区域粗定位、车标区域粗定位彩色图像灰度化、车标区域粗定位灰度图像梯度计算、选取二值化分割阈值、对车标区域粗定位灰度图像进行二值化并得到二值化图像、对二值化图像进行形态学膨胀操作并得到车标区域粗定位二值化膨胀图像及对车标区域粗定位二值化膨胀图像的遍历，其中，

(1)车标区域粗定位是选择车辆原始图像中车牌上方距离为15～25个像素、固定区域大小为120*80像素作为车标区域粗定位彩色图像。

(2)车标区域粗定位彩色图像灰度化：

首先获得图像的彩色RGB分量：

colorLogoRegion_R

colorLogoRegion_G

colorLogoRegion_B

然后根据下列公式计算出灰度grayLogoRegion：

grayLogoRegion＝0.587*colorLogoRegion_B+0.299*colorLogoRegion_G+0.114*colorLogoRegion_R

得到车标区域粗定位灰度图像。

(3)车标区域粗定位灰度图像梯度计算：

采用水平和垂直梯度Sobel算子计算车标区域粗定位灰度图像梯度信息I_x和I_y。

Sobel算子用来进行边缘检测。边缘检测的理论基础为对灰度图像进行一阶导数(斜率)分析。边缘的一阶导数应是一个常数，而非边缘的一阶导数应为零。水平方向和垂直方向的导数即梯度。

实际应用中由于没有准确的函数可以求导，因此用3×3的卷积核来对图像进行近似求导。如横向求导，某一像素值的近似一阶导数为第三列元素之和减去第一列元素之和。

Sobel算子给第二列加了权重2，第一列和第三列权重为1。

横向卷积核为：

-1	0	1
			-2	0	2
-3	0	1

其中A为与卷积核相同大小的3×3像素块，其中心点的水平梯度即为I_x，具体地，设某点(x,y)，取A为：

g(x-1，y-1)	g(x，y-1)	g(x+1，y-1)
			g(x-1，y)	g(x，y)	g(x+1，y)
g(x-1，y+1)	g(x，y+1)	g(x+1，y+1)

则I_x＝(-1)*g(x-1,y-1)+0*g(x,y-1)+1*g(x+1,y-1)+(-2)*g(x-1,y)+0*g(x,y)+2*g(x+1,y)+(-1)*g(x-1,y+1)+0*g(x,y+1)+1*g(x+1,y+1)＝[g(x+1,y-1)+2*g(x+1,y)+g(x+1,y+1)]-[g(x-1,y-1)+2*g(x-1,y)+g(x-1,y+1)]

纵向卷积核为：

-1	-2	-1
			0	0	0
1	2	1

其中A为与卷积核相同大小的像素块，其中心点的垂直梯度即为I_y，I_y计算方法参照I_x。

(4)选取二值化分割阈值：

采用以下公式保证阈值选取的准确性：

T_x＝(I_{x_max}–I_{x_aver})×t_x+I_{x_aver}

T_y＝(I_{y_max}-I_{y_aver})×t_y+I_{y_aver}

其中，I_{x_max}，I_{y_max}，I_{x_aver}，I_{y_aver}分别为X方向和Y方向上的梯度最大值和梯度平均值；t_x和t_y分别表示X方向和Y方向上的可调节参数。

t_x,t_y作为可调节参数在[0,1]之间。具体操作时可以在以下值附近选取：

t_x＝(I_{x_aver}–I_x__min)/(I_x__max–I_x__min)

t_y＝(I_{y_aver}–I_{y_min})/(I_y__max–I_y__min)

(5)对车标区域粗定位灰度图像进行二值化并得到二值化图像：

在得到分割阈值后，按照以下公式对车标区域粗定位灰度图像进行二值化：

(6)对二值化图像进行形态学膨胀操作：

将车标区域粗定位二值化图像中值为1的像素点称为白点，值为0的点称为黑点，再对二值化图像进行水平方向的膨胀运算和垂直方向的膨胀运算后得到车标区域粗定位二值化膨胀图像：

水平方向的膨胀运算是对每个像素点在水平方向上进行膨胀运算，如像素点本身是白点，则仍为白点；否则，只要所述像素点的左右有一个是白点的，即将该点膨胀为白点；

垂直方向的膨胀运算是对每个像素点在垂直方向上进行膨胀运算，如像素点本身是白点，则仍为白点；否则，只要所述像素点的上下有一个是白点的，即将该点膨胀为白点。

(7)对车标区域粗定位二值化膨胀图像的遍历：

设定一个固定大小的滑动窗对整幅车标区域粗定位二值化膨胀图像进行遍历，找到白色像素最为集中的区域，将其定位为较为精确的车标区域。

具体来说，设置长宽均为44像素的滑动窗口44×44，滑动步长为1，在车标区域粗定位二值化膨胀图像上滑动、遍历，统计每个滑动窗口内白色像素点个数，找到白色像素点个数最多即白点最密集的窗口图像区域，将白点最密集的窗口图像区域作为精确的车标区域位置。

车标区域粗定位灰度图像中截取此位置相应的图像，得到车标区域精确定位灰度图像。

对于5000张10类车辆图片进行测试识别结果平均准确率为93.23％，识别平均速度为3.5ms，测试集含有不同类型的形变与噪声，表明本方法具有有效、准确、不需复杂的变量优化等优点。

Claims

1.一种基于主成分分析卷积神经网络的车标自动识别方法，其特征在于，包括各类车标分类理想输出特征向量T_k取得的步骤及车标识别步骤，其中，T_k表示车标分类理想输出特征向量，k表示车标种类数，

所述各类车标分类理想输出特征向量T_k取得的步骤包括：

步骤101卷积神经网络训练参数设定

步骤104将第n张卷积图像第i行第j列的像素点的灰度值记为G′_(i,j,n)，将卷积行向列向步长都设为1并用5×5的滑动窗口对卷积图像进行区域划分，划分出卷积图像的卷积区域，再分别用所述64个卷积核，对每张卷积图像的各个5×5卷积区域进行卷积，得到卷积特征值并作为像素点的准灰度值G″_(i，j，n)：

其中，G″_(i，j,n)为卷积后的第n张图像中第i行第j列像素点的灰度值，n表示卷积图像的序号；G′_{(i′,j′,n)}为5×5卷积区域内的像素点的灰度值，并且，i′＝i,i+1,…,i+4，j′＝j,j+1,…,j+4；是第m个卷积核的权值，m表示卷积核的序号，并且，r1取值为1、2、3、4、5，r2取值为1、2、3、4、5；符号“*”表示二维卷积运算；

所述的车标识别步骤包括：

步骤203分别计算待识别车标与各类品牌车标的归属度Ω_k，

2.根据权利要求1所述的基于主成分分析卷积神经网络的车标自动识别方法，其特征在于，车标区域精确定位灰度图像的取得包括以下步骤：车标区域粗定位、车标区域粗定位彩色图像灰度化、车标区域粗定位灰度图像梯度计算、选取二值化分割阈值、对车标区域粗定位灰度图像进行二值化并得到二值化图像、对二值化图像进行形态学膨胀操作并得到车标区域粗定位二值化膨胀图像及对车标区域粗定位二值化膨胀图像的遍历；所述车标区域粗定位二值化图像的形态学膨胀操作为：

水平方向的膨胀运算是对每个像素点在水平方向上进行膨胀运算，如像素点本身是白点，则仍为白点；否则，只要所述像素点的左右有一个是白点的，即将所述像素点膨胀为白点；

垂直方向的膨胀运算是对每个像素点在垂直方向上进行膨胀运算，如像素点本身是白点，则仍为白点；否则，只要所述像素点的上下有一个是白点的，即将所述像素点膨胀为白点。

3.根据权利要求2所述的基于主成分分析卷积神经网络的车标自动识别方法，其特征在于，对车标区域粗定位二值化膨胀图像的遍历采用以下方法：设置长宽均为44像素的滑动窗口44×44，滑动步长为1，在车标区域粗定位二值化膨胀图像上滑动、遍历，统计每个滑动窗口内白色像素点个数，找到白色像素点个数最多即白点最密集的窗口图像区域，将白点最密集的窗口图像区域作为精确的车标区域位置。