CN103324920A - 基于车辆正面图像与模板匹配的车型自动识别方法 - Google Patents

Abstract

本发明提供了一种基于车辆正面图像与模板匹配的车型自动识别方法，首先对车辆正面图像进行灰度化，然后定位到车牌并利用局部梯度直方图计算车牌的宽度，接着将图像中车辆区域缩放到标准模板，在模板里进行梯度计算，接着将梯度值进行归一化，最后将归一化后的结果作为人工神经网络的输入，输出为车辆车型，总共分为八类。本发明是基于目前已大量实际应用的交通监控中采集的车辆正面图像，因此不需要为进行车型识别而重新部署采集设备；相对于传统的基于图像的车型识别仅将车辆粗分为小车、客车和大货车三类，本发明能在保持高准确率的前提下将车辆细分为八类。另外，本发明采用的车辆定位方法计算简单，车型识别的特征提取快，可应用于实时环境。

Description

基于车辆正面图像与模板匹配的车型自动识别方法

技术领域

本发明一般涉及计算机智能交通监控领域，具体涉及基于车辆正面图像与模板匹配的车型自动识别方法。

背景技术

随着我国的城市化进展，道路交通和车辆运输发展迅速，车辆数目大幅增加，而城市的道路交通建设和人们的交通法制意识却跟不上相应发展，导致交通环境恶化，交通事故频发，给交通监管部门突出了更高的要求。传统的交通车辆图像数据库是用关键字对图像进行人工标注，然后对语义关键字进行存储，索引和检索。这要需要耗费大量的人力物力，而且对图像内容的理解因人而异因此基于图像的交通监控系统就迅速发展起来。基于图像的交通监控系统就是从监控摄像机采集到的图像中提取对交通监控有用的信息，车辆车型作为车辆一种重要特征，在实际应用中能为城市交通规划和交通违章肇事查找提供重要作用。

现有的基于图像的车型识别方法从拍摄角度上主要有车辆正上方和车辆侧面两种，这两种拍摄的角度都与目前普及的交通监控系统的摄像机的不一致，导致无法实际应用，本发明采用的方法是基于车辆正面图像的，可以利用原先交通监控系统的摄像机采集的图像直接进行处理，与车牌的采集角度也一致，可以方便地应用在现有系统的。另一方面，现有的基于图像的识别方法大多基于车辆的长宽比或者车辆的长与高比等一些简单的几何比例，只能对车辆进行大致的分类，如分为小车、客车和大货车，而本发明采用的方法，不但利用了车辆的体型大小的信息，还利用了车辆的内部轮廓信息，结合人工神经网络，能将车型细分为八类，而且准确率极高。

发明内容

本发明针对现有交通监控系统与车型识别方法的不足，提供了基于车辆正面图像与模板匹配的车型自动识别方法。本发明的目的在于提供兼容现有交通监控设备并且能自动化高准确率地识别车辆车型的方法，能为交通监控系统提供可靠的车辆车型信息，从而为为城市交通规划与交通肇事查找提供重要依据。

基于车辆正面图像与模板匹配的车型自动识别方法，包括以下步骤：

(a)将输入图像灰度化并计算其横向梯度图；

(b)使用基于模板的方法对步骤(a)中的横向梯度图进行车牌扫描，得到车牌位置；

(c)利用步骤(b)中得到的车牌位置信息，计算车牌处的局部梯度直方图确定车牌的宽度；

(d)以步骤(b)中得到车牌的中心为参考点，以车牌的宽度的F_w倍作为车辆区域的宽和高，从灰度图中截取车辆区域图像并缩放到特征提取模板中；

(e)计算步骤(c)的特征提取模板中的图像的梯度值，并归一化处理；

(f)将步骤(d)中的归一化后的图像看作矩阵向量直接作为人工神经网络的输入，训练或者识别对应的车型。

上述基于车辆正面图像与模板匹配的车型自动识别方法的步骤(a)中的横向梯度图的计算方法是采用Sobel算子 $\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$ 对灰度图进行卷积运算，对于负值的计算结果，取其绝对值。

上述基于车辆正面图像与模板匹配的车型自动识别方法的步骤(b)中，车牌定位方法为，以宽为L_w，高为H_w的窗口，在步骤(a)中得到的横向梯度图中从上至下，从左到右进行扫描，计算窗口内的梯度值之和，作为当前窗口中心位置的得分。其中L_w和H_w都是预设值，例如默认分别为200和50，可以根据实际应用中图像的质量进行调整。扫描完整个图之后，得分最高的位置即为车牌中心点P_c＝(x_c,y_c)。其中x_c和y_c分别是P_c的横坐标和纵坐标，本方法采用图像处理领域惯用的坐标系统，也即以图像左上角像素点位置为坐标原点，x轴的正方向向右，y轴的正方向向下。

上述基于车辆正面图像与模板匹配的车型自动识别方法的步骤(c)中，车牌宽度的计算方法为，在车牌中心点P_c处，以1.2倍L_w为宽，H_w为高，在该矩形框内计算横向梯度直方图，该直方图的最左边的波峰与最右边的波峰作为车牌的左右边界，左右边界所处的水平坐标的差值的绝对值即为车牌的宽度L_p

上述基于车辆正面图像与模板匹配的车型自动识别方法的步骤(d)中，使用以y＝y_c为底边，以x＝x_c-F_w*L_p/2和x＝x_c+F_w*L_p/2作分别为左右边界，以y＝y_c-F_w*L_p为上边界构成的矩形框，对步骤（a）中的灰度图中截取图像区域，并用双线性插值的方法缩放到N*N的特征提取模板中，其中F_w是预设值，例如默认值为6，特征提取模板为N*N的二维矩阵，使用双精度浮点数存储数据，也是预设值，例如默认值为16。

上述基于车辆正面图像与模板匹配的车型自动识别方法的步骤(e)中，采用Sobel算子 $G_x=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$ 和 $G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$ 分别计算步骤（d）中的特征提取模板中的图像的横向梯度值和纵向梯度值，然后根据

计算梯度值，接着遍历图像的梯度图找出最大梯度值g_max，再重新遍历梯度图，将所有梯度值除以g_max，完成归一化，特征提取模板归一化后的每个单元的值的范围为[0,1]。

上述基于车辆正面图像与模板匹配的车型自动识别方法的步骤(f)中，将特征提取模板里的值看作N*N维的向量，作为人工神经网络的输入。本方法采用三层结构的反馈型全相连人工神经网络，输入为N*N，中间层神经单元个数为N*N/2，输出单位个数为8，对应八种车型，分别为微型轿车，大中型轿车，小巴，中巴，大巴，小型货车，中型货车和大型货车。本发明采用人工神经网络的输出与输入的值的范围都为[0,1]。

上述基于车辆正面图像与模板匹配的车型自动识别方法的步骤(f)中训练时采用的图像样板为每种车型50张，预先标注车型的结果，将八个输出神经元中与样本车型对应的位置1，其他的设为0。以学习速率0.2进行训练，当误差小于0.1%时停止训练，得到人工神经网络模型。

上述基于车辆正面图像与模板匹配的车型自动识别方法的步骤(e)中当应用于识别时，将八个输出单元中输出值最大的单元对应的车型作为识别的结果。

本发明提供的基于车辆正面图像与模板匹配的车型自动识别方法，首先对交通监控摄像头采集到的车辆正面图像进行灰度化，然后用Sobel算子计算图像的横向梯度值，接着利用车牌的横向的梯度特征定位到车牌在图像中的位置。得到车牌位置后利用局部梯度直方图左右两个波峰的坐标计算出车牌的宽度。以车牌宽度的固定倍数宽度作为车辆区域的宽和高，在灰度图中截取车辆区域的图像并域缩放到特征提取模板中。特征提取阶段的主要步骤是先在模板里进行梯度值计算，然后使用预设定的阈值将梯度值进行归一化。最后将归一化后的特征提取模板的值作为人工神经网络的输入，对应的车型作为人工神经网络的输出，进行训练或者识别。

与现有技术相比，本发明具有如下优点和技术效果：

车型识别的第一步是车辆的定位，为解决定位问题，现有技术大多采取基于视频的背景查分或者帧间差分的方法进行定位，本发明采取的定位方法直接针对静态图片进行处理，通过车牌的位置及尺度信息，大致估算车辆的区域，即可提取到用于车型识别的充分的信息，而不需要精确的定位，极大地提高鲁棒性，并且降低计算资源及设备成本。其次，现有的基于图像的车型识别技术所采用的车辆特征大都为车辆外轮廓形状及车身几何比例特征，本发明采用的特征不单包含了车辆的几何特征，还在一定程度上包含了车辆的纹理特征，极大得提高了识别精度。再者，现有的基于图像的车型识别技术对车型的分类数量十分有限，只能对车型进行大致的区分，而发明采用的方法可以将车型细分为八类，而且只要有其他类别的车型的样本加入，还能不断细化分类，更加符合实际的应用需求。

附图说明

图1为实施方式中基于车辆正面图像与模板匹配的车型自动识别方法。

具体实施方式

以下结合实施例对本发明的实施方式作进一步说明，但本发明的实施不限于此。

如图1，基于车辆正面图像与模板匹配的车型自动识别方法包括以下步骤：

第一步，对输入图像进行灰度化并计算其横向梯度图。

对输入的图像进行灰度化时，取每个像素的各个通道的颜色的平均值作为该像素的灰度值。从灰度图中计算横向梯度图是采用Sobel算子 $\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$ 进行卷积运算，运算完后会存在负值的情况，因此再对每个梯度值求其绝对值。

第二步，定位车牌。

根据实际应用场景的图像中车牌的实际大小，人工预设宽为L_w，高为H_w的扫描窗口，在横向梯度图中从上至下，从左到由进行扫描，计算窗口内的梯度值之和，作为当前窗口位置的得分。由于车牌的字符轮廓多，横向梯度信息丰富，扫描完整个梯度图之后，得分最高的位置即为车牌中心点P_c＝(x_c,y_c)。

第三步，计算车牌宽度。

在车牌中心点P_c处，以1.2倍L_w为宽，H_w为高，计算该矩形框内横向梯度值在水平方向上的投影值，也即该矩形框横向梯度直方图，然后使用步长为5窗口对直方图进行平滑处理。由于车牌字符的横向梯度非常丰富，跟车牌所处的左右区域有比较大的区别，会在该直方图的左右两边形成两个波峰。从左向右查找第一个波峰可以得到车牌的左边界x_L；同理从右向左查找波峰可以得到车牌的右边界x_R。左右边界的差值的绝对值即为车牌的宽度，也即L_p=|x_L-x_R|。

第四步，缩放车辆区域到特征提取模板。

以y_c为底边，以x_c-F_w*L_p/2和x_c+F_w*L_p/2作分别为左右边界，以y_c-F_w*L_p为上边界可以构成的矩形框，利用该矩形框的位置与大小可以从第一步中得到灰度图中截取得到包含车辆区域图像，F_w取经验值3，可使得截取的区域图像能容得下大型货车。车辆所在的区域。最后使用双线性插值的方法将截得图像缩放到N*N的特征提取模板中，N在实施中可取16。

第五步，车辆特征提取。

采用Sobel算子 $G_x=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$ 和 $G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$ 分别计算特征提取模板中的图像的横向梯度值和纵向梯度值，然后根据

计算梯度值，接着遍历图像的梯度图找出模板中的最大梯度值g_max，再从新遍历梯度图，将所有的梯度值除以g_max，完成归一化处理。特征提取模板归一化后的每个梯度值的范围为[0,1]。

第六步，将提取的特征作为人工神经网络的输入，训练或者识别对应的车型。

将特征提取模板里的值看作N*N维的向量，作为人工神经网络的输入。本方法采用三层结构的反馈型全相连人工神经网络，输入神经元个数为N*N，中间层神经单元个数为N*N/2，输出神经单位的个数为8，对应八种车型。输入与输出的值的范围都为[0,1]，输出神经元的值与车型对应的编码方式如表1所示。

训练时每种车型准备50张图像，根据上文的特征提取方法，对每张图片提取N*N维的向量与根据表1人工标注车型的结果组成一组训练样本，因此一共有400组样本，以学习速率R＝0.2进行训练，当误差小于1%时结束训练。训练结束后得到对应人工神经网络的模型文件，训练完成。

当要进行识别时，加载此网络模型文件，接受输入的车辆特征向量，经过神经网络的计算后得到一个八维的向量。输出的向量的的每个维度的值并不严格为1或者0，因此遍历这八个维度，值最大的维度对应的车型作为最终的识别结果。

表1车型编码方式

车型	输出神经元编码
		微型轿车	00000001
大中型轿车	00000010
		小巴	00000100
中巴	00001000
		大巴	00010000

小型货车	00100000
		中型货车	01000000
大型货车	10000000

Claims (9)

1.基于车辆正面图像与模板匹配的车型自动识别方法，其特征在于，包括以下步骤：

(a)对采集到的车辆正面图像进行灰度化得到灰度图，并计算灰度图的横向梯度图；

(b)使用基于模板的方法对步骤(a)中的横向梯度图进行车牌扫描，得到车牌位置；

(c)利用步骤(b)中得到的车牌位置信息，通过计算车牌处的局部梯度直方图确定车牌的宽度；

(d)以步骤(b)中得到车牌的中心为参考点，以车牌的宽度和高度的F_w倍分别作为车辆区域的宽和高，从车辆正面图像的灰度图中截取车辆区域图像并缩放到特征提取模板中；

(e)计算步骤(d)的特征提取模板中的图像的梯度值，并归一化处理；

(f)将步骤(e)中的归一化后的特征提取模板中的数据直接作为人工神经网络的输入，训练或者识别对应的车型。

2.根据权利要求1所述基于车辆正面图像与模板匹配的车型自动识别方法，其特征在于：步骤(a)中的横向梯度图的计算方法是采用Sobel算子 $\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$ 对灰度图进行卷积运算，对于负值的计算结果，取绝对值。

3.根据权利要求1所述基于车辆正面图像与模板匹配的车型自动识别方法，其特征在于：步骤(b)中，车牌定位方法为，以宽为L_w，高为H_w的窗口，在步骤(a)中得到的横向梯度图中从上至下，从左到右进行扫描，计算窗口内的梯度值之和，作为当前窗口中心位置的得分；其中L_w和H_w都是预设值；扫描完整个横向梯度图之后，得分最高的位置即为车牌中心点P_c＝(x_c,y_c)；其中x_c和y_c分别是车牌中心点P_c的横坐标和纵坐标，坐标系以图像左上角像素点位置为坐标原点，x轴的正方向向右，y轴的正方向向下。

4.根据权利要求3所述基于车辆正面图像与模板匹配的车型自动识别方法，其特征在于：步骤(c)中，车牌宽度的计算方法为，在车牌中心点P_c处，以1.2倍L_w为宽，H_w为高，在该矩形框内计算横向梯度直方图，该直方图的最左边的波峰与最右边的波峰作为车牌的左右边界，左右边界所处的水平坐标的差值的绝对值即为车牌的宽度L_p。

5.根据权利要求4所述基于车辆正面图像与模板匹配的车型自动识别方法，其特征在于：步骤(d)中，使用以y＝y_c为底边，以x＝x_c-F_w*L_p/2和x＝x_c+F_w*L_p/2作分别为左右边界，以y＝y_c-F_w*L_p为上边界构成的矩形框，对步骤（a）中的灰度图中截取图像区域，并用双线性插值的方法缩放到N*N的特征提取模板中，其中F_w是预设值；特征提取模板为N*N的二维矩阵，使用双精度浮点数存储数据，也是预设值。

6.根据权利要求1所述基于车辆正面图像与模板匹配的车型自动识别方法，其特征在于：步骤(e)中，采用Sobel算子 $G_x=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$ 和 $G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$ 分别计算步骤（d）中的特征提取模板中的图像的横向梯度值和纵向梯度值，然后根据

计算梯度值，接着遍历图像的梯度图找出最大梯度值g_max，再重新遍历梯度图，将所有梯度值除以g_max，完成归一化，特征提取模板归一化后的每个单元的值的范围为[0,1]。

7.根据权利要求1所述基于车辆正面图像与模板匹配的车型自动识别方法，其特征在于：步骤(f)中，将特征提取模板中的值看作N*N维的向量，作为人工神经网络的输入；采用三层结构的反馈型全相连人工神经网络，输入为N*N，中间层神经单元个数为N*N/2，输出单位个数为8，对应八种车型，分别为微型轿车，大中型轿车，小巴，中巴，大巴，小型货车，中型货车和大型货车；所述人工神经网络的输出与输入的值的范围都为[0,1]。

8.根据权利要求1所述基于车辆正面图像与模板匹配的车型自动识别方法，其特征在于：步骤(f)中所述训练采用的图像样板为每种车型50张，预先标注车型的结果，将八个输出神经元中与样本车型对应的位设为1，其他位设为0；以学习速率0.2进行训练，当误差小于0.1%时停止训练，得到人工神经网络模型。

9.据权利要求8所述基于车辆正面图像与模板匹配的车型自动识别方法，其特征在于：步骤(f)中将训练得到的人工神经网络模型应用于识别车型时，将八个输出神经元中输出值最大的神经元对应的车型作为识别的结果。

Images