CN103473566B - 一种基于多尺度模型的车辆检测方法 - Google Patents

Abstract

本发明涉及到车辆检测技术领域，特别涉及到一种基于多尺度模型的车辆检测方法。本发明包括多尺度模型建模、多尺度模型学习和车辆检测三个步骤；所述多尺度模型建模是利用两个以上不同的混合图像模板构建；所述的多尺度模型学习是从实际交通图像中汲取车辆图像作为训练图形，学习所述混合图像模板的边缘块、纹理块、颜色块、平整度块和图像似然概率；所述车辆检测是利用所述混合图像模板对交通图像进行模板匹配，从而检测出车辆对象。本发明具有适应多种天气条件、一定程度的车辆变形等优点，特别是能准确检测与摄像机不同距离的车辆；可以应用于视频中车辆的检测。

Description

一种基于多尺度模型的车辆检测方法

技术领域

本发明涉及到车辆检测技术领域，特别涉及到一种基于多尺度模型的车辆检测方法。

背景技术

基于视频的车辆检测技术是智能交通系统重要的一部分，为许多应用提供车辆信息，如交通视频监控系统、驾驶辅助系统、智能车等。在交通场景中可能存在不同尺度的车辆，这是车辆检测方法的一个挑战性的问题。很多方法利用缩放车辆模型或缩放输入图像来检测不同尺度的车辆。但是在一幅交通图像中随着车辆与摄像机距离(车辆-摄像机距离)的不同，不仅车辆的尺度发生变化，车辆分辨率也发生了变化(不同分辨率下车辆特征不同)，而且更严重的是车辆外形也发生了变化(车辆某些部件随着车辆远离摄像机而逐渐不可见，如车顶等)，此时若通过缩放同一个车辆模型或缩放输入图像的方法检测车辆，将不能获取准确的检测结果。因此，针对不同的车辆-摄像机距离，研究鲁棒的车辆检测方法仍然是个挑战性的问题。本发明建立了一种基于多尺度模型的车辆检测方法，可以解决不同车辆-摄像机距离下的车辆检测问题。

发明内容

本发明解决的技术问题在于提供一种基于多尺度模型的车辆检测方法，可以解决不同车辆-摄像机距离下的车辆检测问题。

本发明解决上述技术问题的技术方案是：

包括多尺度模型建模S1、多尺度模型学习S2和车辆检测S3三个步骤；所述多尺度模型建模S1是利用两个以上不同的混合图像模板构建；所述的多尺度模型学习S2是从实际交通图像中汲取车辆图像作为训练图形，学习所述混合图像模板的边缘块、纹理块、颜色块、平整度块和图像似然概率；所述车辆检测S3是利用所述混合图像模板对交通图像进行模板匹配，从而检测出车辆对象；

所述的多尺度模型建模S1是利用不少于两个的不同的混合图像模板{T_i，i＝1，2，...，N，N≥2}组成多尺度模型，T₁，T₂，...，T_N分别表示在不同车辆-摄像机距离下的车辆对象，T₁，T₂，...，T_N具有不同尺度和不同特征；

T₁表示的车辆对象离摄像机的距离最近，T₁包含一个或多个边缘块、纹理块、颜色块和平整度块的图像块；

随i的增大，T_i表示的车辆对象离摄像机越远且车辆对象逐渐被模糊成平整区域，T_i中其他类型的图像块逐渐变为平整度块。

T_N表示的车辆对象离摄像机最远，T_N仅包含一个或多个边缘块和平整度块；

所述的多尺度模型学习S2，包括以下步骤：

步骤S2-1，从实际交通图像中截取车辆图像作为训练图像，训练图像的数量不少于1幅；

步骤S2-2，利用消息映射法从所述所有训练图像中学习T₁，T₂，...，T_N中的所有边缘块、纹理块、颜色块、平整度块及T₁，T₂，...，T_N的图像似然概率。

所述的车辆检测S3，包括：

利用T₁，T₂，...，T_N对测试交通图像进行模板匹配，检测出一个或多个车辆候选者；

计算这些车辆候选者的车辆检测得分；

将这些车辆候选者的车辆检测得分与车辆检测阈值进行比较，若车辆检测得分大于等于车辆检测阈值，则相应的车辆候选者为被检测的车辆对象。

所述的边缘块由特定方向的Gabor小波基元表示；所述纹理块由训练图像的局部矩形区域内的梯度直方图表示；所述颜色块由训练图像的局部矩形区域内的颜色直方图表示；所述平整度块由训练图像的局部矩形区域内一个或多个方向的Gabor滤波器的叠加响应值表示。

所述的{T_i，i＝1，2，...，N，N≥2}的图像似然概率是：

$p\left(I\right|T_i)=q\left(I\right)\underset{j=1}{\overset{N_i}{\Π}}\frac{\exp \left\{{\mathrm{\λ}}_{ij}f\left(I_{{\mathrm{\Λ}}_{ij}}\right)\right\}}{Z_{ij}},$

其中N_i是T_i中图像块的数量，所述的图像块包含T_i中的所有边缘块、纹理块、颜色块、平整度块，p(I|T_i)是图像I基于T_i的概率，q(I)是一个参考分布，是测试图像I中对应第j个图像块位置的在部分图像区域内的图像，λ_ij是T_i中第j个图像块对应的系数，f是T_i中第j个图像块与图像区域之间的距离，Z_ij是归一化常数。

所述车辆检测得分为：

所述车辆检测阈值的计算步骤是：

首先，利用T₁，T₂，...，T_N对所有所述训练图像进行模板匹配，检测出车辆，并计算相应的车辆检测得分；

然后，利用所有所述训练图像的车辆检测得分估计车辆检测阈值。

本发明的有益效果有：

(1)在多尺度模型建模中，针对在交通图像中不同车辆-摄像机距离下车辆分辨率及特征的变化，本发明使用多个带有不同尺度和不同特征的混合图像模板构建多尺度模型，提高不同车辆-摄像机距离下的车辆检测正确率。

(2)在多尺度模型建模中，每个混合图像模板融合了多种车辆特征，提高了车辆检测正确率，并使本发明适应多种天气条件。

(3)在车辆检测中，利用所述多尺度模型从测试交通图像中检测车辆，不仅实现车辆定位，也能对车辆轮廓等信息详细描述。

附图说明

下面结合附图对本发明进一步说明：

图1为本发明复杂交通场景中不同车辆-摄像机距离下的车辆图像图；

图2为本发明部分训练图像图；

图3为本发明多尺度模型中多个混合图像模板图；

图4为本发明复杂交通场景下的车辆检测结果图；

图5为本发明较大车辆-摄像机距离下的车辆检测结果图。

具体实施方式

如图所示，本发明的得车辆检测方法分为三个主要步骤：多尺度模型建模，多尺度模型学习和车辆检测。以下详细介绍这三个步骤。

步骤S1：多尺度模型建模。利用不少于两个的不同的混合图像模板{T_i，i＝1，2，...，N，N≥2}组成多尺度模型，T₁，T₂，...，T_N分别表示在不同车辆-摄像机距离下的车辆对象，T₁，T₂，...，T_N具有不同尺度和不同特征。

T₁表示的车辆对象离摄像机的距离最近，T₁包含一个或多个边缘块、纹理块、颜色块和平整度块类型的图像块；

随i的增大，T_i表示的车辆对象离摄像机越远且车辆对象逐渐被模糊成平整区域，T_i中其他类型的图像块逐渐变为平整度块。

T_N表示的车辆对象离摄像机最远，T_N仅包含一个或多个边缘块和平整度块。

本发明实施例以N＝3为例，T₁包含一个或多个边缘块、纹理块、颜色块和平整度块，T₂包含一个或多个边缘块、纹理块、颜色块和平整度块，T₃包含一个或多个边缘块、平整度块。图1展示了本发明实施例中T₁、T₂和T₃分别表示的车辆对象(a)、(b)和(c)。

所述边缘块由特定方向的Gabor小波基元表示，本发明实施例使用16个方向的Gabor小波基元表示不同的边缘块，当然此处只要选择不少于1个方向的Gabor小波基元即可，不限于16个方向。本发明实施例中，T₁中的Gabor小波基元的长宽为25个图像像素，T₂中的Gabor小波基元的长宽为17个图像像素，T₃中的Gabor小波基元的长宽为13个图像像素。当然此处Gabor小波基元的长宽只要选择不小于1个图像像素即可，不限于25、17、13个图像像素。

所述纹理块由训练图像的局部矩形区域内的梯度直方图表示，本发明实施例通过统计训练图像的局部矩形区域内的16个方向的Gabor滤波响应值得到所述梯度直方图，当然此处只要计算不少于1个方向的Gabor滤波响应值即可，不限于16个方向。本发明实施例中，T₁中所述局部矩形长宽为48个图像像素，T₂中所述局部矩形长宽为24个图像像素。当然此处局部矩形长宽只要不小于1个图像像素即可，不限于48、24个图像像素。

所述颜色块由训练图像的局部矩形区域内的颜色直方图表示，本发明实施例通过统计训练图像的局部矩形区域内的HSV颜色空间的三个颜色通道的像素值得到所述颜色直方图，当然此处也可以统计图像区域的其它颜色空间，不限于HSV颜色空间，并且也不限于三个颜色通道，只要不少于1个即可。本发明实施例中，T₁中所述局部矩形长宽为30个图像像素，T₂中所述局部矩形长宽为16个图像像素。当然此处局部矩形长宽只要不小于1个图像像素即可，不限于30、16个图像像素。

所述平整度块由训练图像的局部矩形区域内的一个或多个方向的Gabor滤波响应值的叠加值表示，本发明实施例通过叠加16个方向的Gabor滤波响应值得到的值表示所述平整度块，当然此处只要叠加不少于1个方向的Gabor滤波响应值即可，不限于16个方向。本发明实施例中，T₁中所述局部矩形长宽为40个图像像素，T₂中所述局部矩形长宽为20个图像像素，T₃中所述局部矩形长宽为10个图像像素。当然此处局部矩形长宽只要不小于1个图像像素即可，不限于40、20、10个图像像素。

步骤S2：多尺度模型学习包括以下步骤：

步骤S2-1，从实际交通图像中截取车辆图像作为训练图像，训练图像的数量不少于1幅。本发明实施例使用了20幅训练图像(遵循何种原则进行取舍，有何区别)。图2展示了部分的训练图像。

步骤S2-2，利用消息映射法(Information Projection Principle)从所述训练图像中学习所述T₁，T₂，...，T_N中的所有边缘块、纹理块、颜色块、平整度块及T₁，T₂，...，T_N的图像似然概率。图3展示了本发明实施例中学习出的T₁、T₂和T₃。

所述{T_i，i＝1，2，...，N，N≥2}的图像似然概率是：

$p\left(I\right|T_i)=q\left(I\right)\underset{j=1}{\overset{N_i}{\Π}}\frac{\exp \left\{{\mathrm{\λ}}_{ij}f\left(I_{{\mathrm{\Λ}}_{ij}}\right)\right\}}{Z_{ij}}$

其中N_i是T_i中图像块(图像块包含T_i中的所有边缘块、纹理块、颜色块、平整度块)的数量，p(I|T_i)是图像I基于T_i的概率，q(I)是一个参考分布，λ_ij是T_i中第j个图像块对应的系数，f是T_i中第j个图像块与图像区域之间的距离，Z_ij是归一化常数。

步骤S3，车辆检测，利用所述T₁，T₂，...，T_N对测试交通图像进行模板匹配，检测出一个或多个车辆候选者，并计算这些车辆候选者的车辆检测得分。将这些车辆候选者的车辆检测得分与车辆检测阈值进行比较，若车辆检测得分大于等于车辆检测阈值，则相应的车辆候选者为被检测的车辆对象。

所述车辆检测得分的计算公式为：

所述车辆检测阈值的计算步骤是：

首先，利用所述T₁，T₂，...，T_N对所有所述训练图像进行模板匹配，检测出训练图像中的车辆，然后计算相应的车辆检测得分。

然后，利用所有所述训练图像的车辆检测得分估计车辆检测阈值。

图4展示了本发明实施例在测试交通图像上的车辆检测结果。图5将图4(a)-(c)中的虚线框中的图像区域及其检测结果放大显示。

以上是对本发明具体实施方式的描述，并非对本发明保护范围的限制；凡依前述描述可得之等效方案，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多尺度模型的车辆检测方法，其特征在于：包括多尺度模型建模S1、多尺度模型学习S2和车辆检测S3三个步骤；所述多尺度模型建模S1是利用两个以上不同的混合图像模板构建；所述的多尺度模型学习S2是从实际交通图像中汲取车辆图像作为训练图形，学习所述混合图像模板的边缘块、纹理块、颜色块、平整度块和图像似然概率；所述车辆检测S3是利用所述混合图像模板对交通图像进行模板匹配，从而检测出车辆对象；

所述的多尺度模型建模S1是利用不少于两个的不同的混合图像模板{T_i，i＝1，2，...，N，N≥2}组成多尺度模型，T₁，T₂，...，T_N分别表示在不同车辆-摄像机距离下的车辆对象，T₁，T₂，...，T_N具有不同尺度和不同特征；

T₁表示的车辆对象离摄像机的距离最近，T₁包含一个或多个边缘块、纹理块、颜色块和平整度块的图像块；

随i的增大，T_i表示的车辆对象离摄像机越远且车辆对象逐渐被模糊成平整区域，T_i中其他类型的图像块逐渐变为平整度块 ；

T_N表示的车辆对象离摄像机最远，T_N仅包含一个或多个边缘块和平整度块；

所述的多尺度模型学习S2，包括以下步骤：

步骤S2-1，从实际交通图像中截取车辆图像作为训练图像，训练图像的数量不少于1幅；

步骤S2-2，利用消息映射法从所述所有训练图像中学习T₁，T₂，...，T_N中的所有边缘块、纹理块、颜色块、平整度块及T₁，T₂，...，T_N的图像似然概率 ；

所述的车辆检测S3，包括：

利用T₁，T₂，...，T_N对测试交通图像进行模板匹配，检测出一个或多个车辆候选者；

计算这些车辆候选者的车辆检测得分；

将这些车辆候选者的车辆检测得分与车辆检测阈值进行比较，若车辆检测得分大于等于车辆检测阈值，则相应的车辆候选者为被检测的车辆对象。

2.根据权利要求1所述的车辆检测方法，其特征在于：所述的边缘块由特定方向的Gabor小波基元表示；所述纹理块由训练图像的局部矩形区域内的梯度直方图表示；所述颜色块由训练图像的局部矩形区域内的颜色直方图表示；所述平整度块由训练图像的局部矩形区域内一个或多个方向的Gabor滤波器的叠加响应值表示。

3.根据权利要求1所述的车辆检测方法，其特征在于：所述的{T_i，i＝1，2，...，N，N≥2}的图像似然概率是：

其中N_i是T_i中图像块的数量，所述的图像块包含T_i中的所有边缘块、纹理块、颜色块、平整度块，p(I|T_i)是图像I基于T_i的概率，q(I)是一个参考分布，是测试图像I中对应第j个图像块位置的在部分图像区域内的图像，λ_ij是T_i中第j个图像块对应的系数，f是T_i中第j个图像块与图像区域之间的距离，Z_ij是归一化常数。

4.根据权利要求2所述的车辆检测方法，其特征在于：所述的{T_i，i＝1，2，...，N，N≥2}的图像似然概率是：

其中N_i是T_i中图像块的数量，所述的图像块包含T_i中的所有边缘块、纹理块、颜色块、平整度块，p(I|T_i)是图像I基于T_i的概率，q(I)是一个参考分布，是测试图像I中对应第j个图像块位置的在部分图像区域内的图像，λ_ij是T_i中第j个图像块对应的系数，f是T_i中第j个图像块与图像区域之间的距离，Z_ij是归一化常数。

5.根据权利要求1至4任一项所述的车辆检测方法，其特征在于：所述车辆检测得分为：

6.根据权利要求1至4任一项所述的车辆检测方法，其特征在于：所述车辆检测阈值的计算步骤是：

首先，利用T₁，T₂，...，T_N对所有所述训练图像进行模板匹配，检测出车辆，并计算相应的车辆检测得分；

然后，利用所有所述训练图像的车辆检测得分估计车辆检测阈值。

7.根据权利要求5所述的车辆检测方法，其特征在于：所述车辆检测阈值的计算步骤是：

首先，利用T₁，T₂，...，T_N对所有所述训练图像进行模板匹配，检测出车辆，并计算相应的车辆检测得分；

然后，利用所有所述训练图像的车辆检测得分估计车辆检测阈值。