CN104463241A - 一种智能交通监控系统中的车辆类型识别方法 - Google Patents

Abstract

本发明属于智能交通和视频监控技术领域，涉及一种基于卷积神经网络的车辆类型识别方法。首先设计用于车型识别的卷积神经网络；收集训练样本并进行人工标注；对所收集的样本进行预处理，包括灰度转化，下采样，亮度标准化，对比度标准化以及补零；将预处理后的样本通过所设计的卷积神经网络，获得特征；利用所获得的特征训练车型分类器，使用分类器对车辆类型进行识别，得到最终的车辆类型识别结果。本发明可以有效地提高车辆类型的识别率，应用前景广阔。

Description

一种智能交通监控系统中的车辆类型识别方法

技术领域

本发明属于智能交通和视频监控技术领域，具体为一种基于单幅车辆图像的车型识别方法，是智能交通监控系统的一个重要组成部分。

背景技术

车型识别是智能交通监控系统中的重要组成部分，有着广泛应用，如车流量统计、智能泊车和车辆类型检测等，因此鲁棒的车型识别方法对于智能交通监控系统具有重要意义。已有的方法一般是利用超声波、磁感应线圈等技术，然而随着成像技术的发展和交通监控摄像机的广泛使用，基于图像的车型识别方法已成为主要的趋势。

目前基于图像的车型识别方法分为两类。第一类方法是基于模型的，即利用一个或多个监控摄像机所拍摄的图像来恢复车辆的三维信息，如长、宽、高等，并使用车辆的形状作为先验信息从而进行车型车别。此类方法存在许多缺陷，首先为了能够恢复车辆的三维信息，整个车身都需要包含在所拍摄的图像当中，然而对于一些大型车辆，例如大货车、大巴等，只有车头区域可以拍摄到；其次，一些基于模型的方法不仅需要车辆正面图像，还需要侧面图像，这在一些监控场景下是无法满足的，并且目前多数场景(如卡口、十字路口等)下监控摄像机所拍摄到的都只有车辆正面图像；此外，复杂的立体视觉算法使得基于模型的方法较为耗时。

受模式识别和机器学习技术的启发，另一种基于图像进行车型识别的方法是：从车辆图像中提取该车辆的视觉特征，并训练一个用于识别各种不同车辆类型的分类器，利用特征和分类器对图像中车辆的类型进行识别。此类方法对光照变化、背景干扰、尺度大小等因素具有一定的鲁棒性，但目前的方法都是利用人工设计的通用视觉特征，对于智能监控场景下的车型识别不具备专用性，而且不能够保证足够的判别力，所以在复杂的场景下可能失效。

目前，为了获得行驶中的车辆以及驾驶员的清晰图像，高清摄像机在智能交通系统中已经得到了广泛的应用。同时，高清摄像机提供的高分辨率图像包含了丰富的细节信息，有利于提取可靠且具有判别力的车型特征，从而提高车型识别的准确率。为此，如何在车辆图像中提取到好的特征并鲁棒地进行车型识别具有重要的理论意义和应用价值。

发明内容

本发明的目的是克服现有车型识别方法所提取的视觉特征不够鲁棒且判别力不足的问题，从而提供一种全新的智能交通监控系统中的车辆类型识别方法。该方法能够针对车型识别任务，自动学习得到鲁棒且具有足够判别力的特征，能在高清摄像机获取的车辆图像中准确地识别车型，为后续的交通监控任务提供有效的基础信息。

本发明的主要内容为：设计一个用于车型识别任务的卷积神经网络，该网络的输入为预处理后的车辆图像，网络的输出为所学得的这个车辆的表观特征。然后训练softmax分类器，它以之前学得的特征为输入，输出该车辆属于不同类别的概率，通过选择最大的概率值来获得该车辆的类别。所设计的卷积神经网络包括两个阶段，每个阶段包含四层：卷积层、绝对值校正层、局部对比度标准化层和池化下采样层。神经网络的这两个阶段可以从预处理后的车辆图像中学习获得鲁棒的车辆表观特征，用于后续的识别操作。

本发明的目的是通过下述技术方案实现的。

一种智能交通监控系统中的车辆类型识别方法，包括训练阶段和测试阶段，实现步骤如下：

一、训练阶段

(1)设计用于车型识别的卷积神经网络，该网络包括两个阶段，每个阶段包含四层：卷积层、绝对值校正层、局部对比度增强层和池化下采样层，确定输入层的大小以及各层的参数；

(2)收集训练样本集，训练样本应至少包含车头信息，各类车辆的图片都应在训练集中有所体现；

(3)对训练样本集中的图像进行预处理，包括转换为灰度图、下采样、亮度标准化、对比度标准化和补零五个步骤；

(4)对预处理后的图像通过卷积神经网络，得到车辆特征；

(5)利用学得的特征训练softmax分类器。

测试阶段：利用训练阶段得到的分类器，得到车辆属于不同类别的概率，通过选择最大的概率值来获得该车辆的类别。

有益效果

本发明与其它基于图像的车型识别方法相比，具有以下几个方面的优势：

(1)对交通场景中的光照变化、背景干扰、恶劣天气、部分遮挡等因素具有较强的鲁棒性，无需额外的后处理过程；

(2)对于固定场景下固定的监控摄像机所拍摄的图像，若每张图像中只包含一辆车，则无需进行车辆检测，可直接通过神经网络学习特征进行分类，可大大节约处理时间；

(3)神经网络可以充分学习到同一类车辆之间的相似性和不同类车辆之间的差异，使得学到的特征更具有判别力，从而提高车型识别的准确率。

附图说明

图1为本发明的智能交通监控系统中的车型识别方法流程图；

图2为本发明的卷积神经网络示意图；网络包含两个阶段，每个阶段都由卷积层、绝对值校正层、局部对比度标准化层和池化下采样层组成；图中的数字表示的是每一层的特征维度；“卷积”后面的括号中的数字表示的是卷积时所用滤波器的尺寸；“均值滤波”后面的括号中的数字表示的是均值滤波器的尺寸；“下采样”后面的数字表示的是采样率；

图3本发明实施例的六种车辆类型示意图。

具体实施方式

下面结合附图和以识别6种车辆类型为例对本发明做详细说明。

实施例

一种智能交通监控系统中的车辆类型识别方法，其流程图如图1所示，具体实施步骤包括训练阶段和测试阶段：

训练阶段：

步骤一：设计用于车型识别的卷积神经网络

卷积神经网络是一个多层的前馈型神经网络。不同于以往利用人工设计特征的方法，卷积神经网络能够为特定的任务学习多层鲁棒的特征，它也因为良好的性能而被广泛应用在人脸检测、行人检测、图像质量评价、图像分类和视频分类等多个领域。

本发明的卷积神经网络如图2所示，该网络共包含两个阶段。第一阶段所得到的特征是底层特征，主要用于刻画车辆的局部信息。相比于第一阶段而言，第二阶段所得到的特征更加抽象、更具有语义信息。将两个阶段所学得的特征拼接在一起作为最终特征，这样做的目的是充分利用这两种特征所携带的信息，以获得更好的车型识别性能。

网络的每个阶段分别由卷积层、绝对值校正层、局部对比度标准化层和池化下采样层组成，为方便起见，令x为每一层的输入，它是一个三维矩阵，大小为s₁×s₂×s₃,令y为每一层的输出，它也是一个三维矩阵，大小为t₁×t₂×t₃。

卷积层：在卷积层，首先将输入与一系列的滤波器进行卷积运算，然后将运算结果中的每一个元素都通过一个非线性函数——sigmoid函数：

$\mathrm{sig}\left(x\right)=\frac{1}{1+e^{-x}},---\left(1\right)$

其中e≈2.71828是自然指数。输入包含s₃组二维特征，每组二维特征x_i的大小是s₁×s₂，用k_ij表示与x_i进行卷积运算并作用到第j个输出特征上的二维滤波器(这里的滤波器采用随机赋值的方式)，则输出表示为

$y_j=\mathrm{sig}(\underset{i=1}{\overset{s_3}{\mathrm{\Σ}}}{k}_{\mathrm{ij}}\⊗x_i)---\left(2\right)$

其中表示卷积运算，输出包含t₃组二维特征，每组二维特征y_j的大小是t₁×t₂。令k_ij的大小为l₁×l₂，则有如下大小关系：

t₁＝s₁-l₁+1,

             。        (3)

t₂＝s₂-l₂+1

如图2所示，在第一阶段中卷积层输入的大小是143×143×1，滤波器的大小为9×9，输出的大小为135×135×64；第二阶段中卷积层输入的大小是26×26×64，滤波器的大小为9×9，输出的大小为18×18×256。

绝对值校正层：在绝对值校正层，所有的元素通过绝对值函数进行校正：

y_i,j,k＝|x_i,j,k|，   (4)

其中x_i,j,k和y_i,j,k分别代表输入x和输出y的元素。很显然，该层的输入和输出尺寸相同。如图2所示，在第一阶段中绝对值校正层的输入和输出大小均为135×135×64；第二阶段中绝对值校正层的输入和输出大小均为18×18×256。

局部对比度标准化层：本层的目的是引入神经元和其周围神经元之间的竞争，从而使得特征的表示能力更强。在本层，共进行两种标准化操作：减和除。减操作执行如下：

$z_{i,j,k}=x_{i,j,k}-\underset{p=-4}{\overset{4}{\mathrm{\Σ}}}\underset{q=-4}{\overset{4}{\mathrm{\Σ}}}\underset{r=1}{\overset{s_3}{\mathrm{\Σ}}}{w}_{p,q}{x}_{i+p,j+q,r},---\left(5\right)$

其中w是一个二维高斯滤波器，它的大小为9×9，p和q用来遍历该滤波器以计算卷积，所以它们的取值范围都是-4～4，z是减操作的输出，并用作除操作的输入，x_i,j,k和z_i,j,k分别代表输入x和输出z的元素，w_p,q表示w的元素。在滤波(即公式(5)中减号后面的部分)的过程中，对于边界要补零，所以减操作的输出z的尺寸与输入x相同，均为s₁×s₂×s₃。除操作执行如下：

$y_{i,j,k}=\frac{z_{i,j,k}}{\max (M,\sqrt{\underset{p=-4}{\overset{4}{\mathrm{\Σ}}}\underset{q=-4}{\overset{4}{\mathrm{\Σ}}}\underset{r=1}{\overset{s_3}{\mathrm{\Σ}}}{w}_{p,q}{z}_{i+p,j+q,r}^2})},---\left(6\right)$

$M=\frac{1}{s_1\×s_2}\underset{i=1}{\overset{s_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{s_2}{\mathrm{\Σ}}}\sqrt{\underset{p=-4}{\overset{4}{\mathrm{\Σ}}}\underset{q=-4}{\overset{4}{\mathrm{\Σ}}}\underset{r=1}{\overset{s_3}{\mathrm{\Σ}}}{w}_{p,q}{z}_{i+p,j+q,r}^2},$

其中y_i,j,k表示局部对比度标准化层输出y的元素，M用来对除操作的分母最大值进行限制，w、w_p,q、p和q等其余符号的含义与公式(5)相同。在除操作的滤波过程中依然要在边界补0，所以局部对比对标准化层的输出尺寸和输入尺寸完全相同。如图2所示，在第一阶段中绝对值校正层的输入和输出大小均为第二阶段中绝对值校正层的输入和输出大小均为18×18×256。

池化下采样层：本层的目的是对输入进行下采样，使得到的特征对于几何形变和小的平移具有不变性。我们选用均值滤波作为池化操作：

$z_{i,j,k}=\underset{p,q}{\mathrm{\Σ}}{v}_{p,q}{x}_{i+p,j+q,k},---\left(7\right)$

其中v是尺寸为f₁×f₂的均值滤波器，v_p,q＝1/(f₁×f₂)，与公式(5)类似，p和q用来遍历滤波器以计算卷积，x_i,j,k和y_i,j,k分别代表输入x和输出y的元素。考虑到边界的影响，z的大小为(s₁-f₁+1)×(s₂-f₂+1)。在池化之后进行下采样操作，水平和竖直方向的下采样率分别为p₁和p₂，则池化下采样层的输出y的尺寸t₁×t₂×t₃和输入x的尺寸s₁×s₂×s₃有如下关系：

t₃＝s₃,

其中表示下取整操作。如图2所示，在第一阶段中池化下采样层的输入大小为135×135×64，均值滤波器的大小为10×10，池化后大小为126×126×64，水平和竖直方向的下采样率均为5，下采样后大小为26×26×64；第二阶段中池化下采样层的输入大小为18×18×256，均值滤波器的大小为6×6，经过池化后大小为13×13×256，水平和竖直方向的下采样率均为4，下采样后大小为4×4×256。

为了避免最终学得的特征维度过高，对第一阶段学得的特征又进行了一次池化下采样操作(均值滤波器大小为6×6，水平和竖直方向的下采样率均为4)，得到的是大小为6×6×64的三维特征矩阵，将其中所有元素排列在一起构成一个维度为2304的列向量；同样的，对第二阶段学所得的三维特征矩阵也排列成一个维度为4096的列向量。将这两个列向量拼接在一起，得到最终的特征向量，其维度是6400。

步骤二：收集训练样本并进行人工标注

为保证分类效果，应从具有代表性的多个监控视频中采集训练样本并进行准确的人工标注。所选监控视频应包含不同地点(十字路口、高速公路等)、不同时段(黎明、白天、黄昏、夜间等)和不同天气(晴天、多云、雨等)条件下拍摄的图像，以保证所选数据的多样性。这里，我们共采集六类车辆，分别是：大货车、小货车、大巴、面包车、SUV和轿车。这些类型车辆的示例图像如图3所示。

步骤三：图像预处理

在利用卷积神经网络学习特征之前，对步骤二中采集到的数据进行预处理，主要包括如下步骤：

①灰度转化：将彩色图像转化成灰度图；

②下采样：保证宽高比不变，将①的结果图像中的较长边下采样到151个像素；

③亮度标准化：将②的结果中的每个像素减去所有像素的平均值，并除以所有像素的标准差；

④对比度标准化：与步骤一中的“局部对比度归一化”操作相同，只不过M取为1，并且在滤波的过程中不在边界补0，这样长边的大小为151-9+1＝143；

⑤补零：在短边的两侧补0，保证预处理后的图像大小为143×143。

步骤四：获得车辆特征

将所有进行预处理后的训练数据通过卷积神经网络，获得特征，用于下一步的分类器训练过程。

步骤五：训练车辆类型softmax分类器

Softmax分类器在特征鲁棒的情况下，具有较好的分类效果。给定步骤四所学习得到的N个训练样本的特征，记为其中x⁽ⁱ⁾∈R^d是第i个训练样本的d维特征向量，y⁽ⁱ⁾∈R⁶是相应的标签，它是一个列向量，只有在x⁽ⁱ⁾类别对应的分量上是1，其余分量为0。用来表示向量x⁽ⁱ⁾的第j个元素，来表示向量y⁽ⁱ⁾的第j个元素。Softmax的目标函数定义为

$\underset{W.b}{\min }-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{6}{\mathrm{\Σ}}}{y}_j^{\left(i\right)}\ln d_j^{\left(i\right)},---\left(9\right)$

其中

$d_j^{\left(i\right)}=\frac{\exp (W_j^T{x}^{\left(i\right)}+b_j)}{\underset{j=1}{\overset{6}{\mathrm{\Σ}}}\exp (W_j^T{x}^{\left(i\right)}+b_j)},---\left(10\right)$

并且W＝[W₁,W₂,...,W₆]∈R^d×6和b＝[b₁,b₂,...,b₆]^T∈R^d×6是分类器参数，是对样本x⁽ⁱ⁾属于第j类的可能性的预测，exp是以自然指数e为底数的指数函数。利用在线梯度下降法可以求解式(9)。

测试阶段：对测试车辆进行车型识别

通过训练阶段的步骤五得到分类器后，对于测试图像可进行如下步骤进行车型识别：

(1)执行步骤三的预处理操作；

(2)利用所设计的神经网络获得特征；

(3)根据式(10)计算该车辆属于不同类别的概率d₁,d₂,...d₆；

(4)选择d₁,d₂,...d₆中的最大值d_j，则该车辆属于第j类。

上述实施例是以识别6种车辆类型为例进行说明，但本发明不限于上述6种车型，可用于识别更多其它的车辆类型。

Claims (4)

1.一种智能交通监控系统中的车辆类型识别方法，其特征在于：包括训练阶段和测试阶段，实现步骤如下：

一、训练阶段

(1)设计用于车型识别的卷积神经网络，该网络包括两个阶段，每个阶段包含四层：卷积层、绝对值校正层、局部对比度增强层和池化下采样层，确定输入层的大小以及各层的参数；

(2)收集训练样本集，训练样本应至少包含车头信息，各类车辆的图片都应在训练集中有所体现；

(3)对训练样本集中的图像进行预处理，包括转换为灰度图、下采样、亮度标准化、对比度标准化和补零；

(4)对预处理后的图像通过卷积神经网络，得到车辆特征；

(5)利用学得的特征训练softmax分类器；

二、测试阶段：利用训练阶段得到的分类器，得到车辆属于不同类别的概率，通过选择最大的概率值来获得该车辆的类别。

2.根据权利要求1所述的一种智能交通监控系统中的车辆类型识别方法，其特征在于：所述

步骤(1)中的卷积层：在卷积层，首先将输入与一系列的滤波器进行卷积运算，然后将运算结果中的每一个元素都通过一个非线性函数——sigmoid函数：

$\mathrm{sig}\left(x\right)=\frac{1}{1+e^{-x}}---\left(1\right)$

其中e≈2.71828是自然指数；输入包含s₃组二维特征，每组二维特征x_i的大小是s₁×s₂，用k_ij表示与x_i进行卷积运算并作用到第j个输出特征上的二维滤波器(这里的滤波器采用随机赋值的方式)，则输出表示为

$y_j=\mathrm{sig}\left(\underset{i=1}{\overset{s_3}{\mathrm{\Σ}}}{k}_{\mathrm{ij}}{\⊗x}_i\right)---\left(2\right)$

其中表示卷积运算，输出包含t₃组二维特征，每组二维特征y_j的大小是t₁×t₂；令k_ij的大小为l₁×l₂，则有如下大小关系：

t₁＝s₁-l₁+1,；   (3)

t₂＝s₂-l₂+1

绝对值校正层：在绝对值校正层，所有的元素通过绝对值函数进行校正：

y_i,j,k＝|x_i,j,k|，   (4)

其中x_i,j,k和y_i,j,k分别代表输入x和输出y的元素；

局部对比度标准化层：本层的目的是引入神经元和其周围神经元之间的竞争，从而使得特征的表示能力更强；在本层，共进行两种标准化操作：减和除；减操作执行如下：

$z_{i,j,k}{=x}_{i,j,k}-\underset{p=-4}{\overset{4}{\mathrm{\Σ}}}\underset{q=-4}{\overset{4}{\mathrm{\Σ}}}\underset{r=1}{\overset{s_3}{\mathrm{\Σ}}}{w}_{p,q}{x}_{i+p,j+q,r}---\left(5\right)$

其中w是一个二维高斯滤波器，p和q用来遍历该滤波器以计算卷积，它们的取值范围是-4～4，z是减操作的输出，并用作除操作的输入，x_i,j,k和z_i,j,k分别代表输入x和输出z的元素，w_p,q表示w的元素；在滤波的过程中，对于边界要补零，所以减操作的输出z的尺寸与输入x相同，均为s₁×s₂×s₃；

除操作执行如下：

$y_{i,j,k}=\frac{z_{i,j,k}}{\max (M,\sqrt{\underset{p=-4}{\overset{4}{\mathrm{\Σ}}}\underset{q=-4}{\overset{4}{\mathrm{\Σ}}}\underset{r=1}{\overset{s_3}{\mathrm{\Σ}}}{w}_{p,q}{z}_{i+p,j+q,r}^2})},---\left(6\right)$

$M=\frac{1}{s_1\×s_2}\underset{i=1}{\overset{s_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{s_2}{\mathrm{\Σ}}}\sqrt{\underset{p=-4}{\overset{4}{\mathrm{\Σ}}}\underset{q=-4}{\overset{4}{\mathrm{\Σ}}}\underset{r=1}{\overset{s_3}{\mathrm{\Σ}}}{w}_{p,q}{z}_{i+p,j+q,r}^2},$

其中y_i,j,k表示局部对比度标准化层输出y的元素，M用来对除操作的分母最大值进行限制，w、w_p,q、p和q等其余符号的含义与公式(5)相同；在除操作的滤波过程中依然要在边界补0，所以局部对比对标准化层的输出尺寸和输入尺寸完全相同；

池化下采样层：本层的目的是对输入进行下采样，使得到的特征对于几何形变和小的平移具有不变性；选用均值滤波作为池化操作：

$z_{i,j,k}=\underset{p,q}{\mathrm{\Σ}}{v}_{p,q}{x}_{i+p,j+q,k},---\left(7\right)$

其中v是尺寸为f₁×f₂的均值滤波器，v_p,q＝1/(f₁×f₂)，与公式(5)类似，p和q用来遍历滤波器以计算卷积，x_i,j,k和y_i,j,k分别代表输入x和输出y的元素；考虑到边界的影响，z的大小为(s₁-f₁+1)×(s₂-f₂+1)；在池化之后进行下采样操作，水平和竖直方向的下采样率分别为p₁和p₂，则池化下采样层的输出y的尺寸t₁×t₂×t₃和输入x的尺寸s₁×s₂×s₃有如下关系：

t₃＝s₃,

其中表示下取整操作。

3.根据权利要求1所述的一种智能交通监控系统中的车辆类型识别方法，其特征在于：所述步骤(5)训练车辆类型softmax分类器在特征鲁棒的情况下，具有较好的分类效果；给定步骤四所学习得到的N个训练样本的特征，记为其中x⁽ⁱ⁾∈R^d是第i个训练样本的d维特征向量，y⁽ⁱ⁾∈R⁶是相应的标签，它是一个列向量，只有在x⁽ⁱ⁾类别对应的分量上是1，其余分量为0；用来表示向量x⁽ⁱ⁾的第j个元素，来表示向量y⁽ⁱ⁾的第j个元素；Softmax的目标函数定义为

$\underset{W.b}{\min }-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{6}{\mathrm{\Σ}}}{y}_j^{\left(i\right)}\ln d_j^{\left(i\right)},---\left(9\right)$

其中

$d_j^{\left(i\right)}=\frac{\exp (W_j^T{x}^{\left(i\right)}+b_j)}{\underset{j=1}{\overset{6}{\mathrm{\Σ}}}\exp (W_j^T{x}^{\left(i\right)}+b_j)},---\left(10\right)$

并且W＝[W₁,W₂,...,W₆]∈R^d×6和b＝[b₁,b₂,...,b₆]^T∈R^d×6是分类器参数，是对样本x⁽ⁱ⁾属于第j类的可能性的预测，exp是以自然指数e为底数的指数函数；利用在线梯度下降法可以求解式(9)。

4.根据权利要求1所述的一种智能交通监控系统中的车辆类型识别方法，其特征在于：在测试阶段中，通过训练阶段的步骤五得到分类器后，对于测试图像可进行如下步骤进行车型识别：

(1)执行步骤三的预处理操作；

(2)利用所设计的神经网络获得特征；

(3)根据式(10)计算该车辆属于不同类别的概率d₁,d₂,...d₆；

(4)选择d₁,d₂,...d₆中的最大值d_j，则该车辆属于第j类。