CN101976341A - 一种从交通图像中检测车辆位置、姿态和三维轮廓的方法 - Google Patents

Abstract

本发明是一种从交通图像中检测车辆位置、姿态和三维轮廓的方法，该方法利用一个数字摄像机对交通场景进行图像采集，采用象征活动基元模型检测车辆的位置、姿态和轮廓，对于可能存在的车辆遮挡现象进行了处理，最后根据数字摄像机的标定结果和已识别出的车辆轮廓计算出车辆三维轮廓的实际尺寸。本发明对于交通监控系统中各种常见的拍摄角度都有良好的适应性，可以从各种不同的角度观察检测出的车辆三维轮廓，可以用于车型识别、车牌识别、车辆行为判断。

Description

一种从交通图像中检测车辆位置、姿态和三维轮廓的方法

技术领域

本发明涉及智能交通监控领域，该方法属于图像处理和模式识别技术领域范畴，是一种从交通图像中检测车辆位置、姿态和三维轮廓的方法。

背景技术

在智能交通监控领域中，准确的获得车辆的位置、姿态、轮廓等信息有着广泛的应用范围，例如统计车流量、车牌识别、车型分类等应用。随着科技水平的进步，近来已经有了许多种交通视频监控系统可以检测车辆的位置、尺寸等信息，但是目前依然存在两个问题：第一，现有的车辆的识别技术还无法准确获得车辆的三维轮廓的信息，这给进一步的应用带来很大困难，导致现有的这些系统应用都是采用近似的计算结果(例如根据车辆长度进行车辆分类)，误差较大。第二，一个现实问题是随着城市交通越来越拥挤，交通视频监控图像中的车辆通常存在遮挡现象，这给识别车辆带来困难，遮挡现象通常会使车辆识别系统的性能下降。如果不能够识别被遮挡的车辆，将不能满足交通视频监控系统在拥堵繁忙的交通环境下的使用要求。

因此，为了满足现实环境对于智能交通监控系统中车辆信息获取的要求，要求监控系统不仅能够准确地识别车辆的位置、姿态和三维轮廓，还要求监控系统可以在车辆存在遮挡的情况下具有良好的适应性。这正是本发明试图解决的问题。

发明内容

本发明目的在于：从一帧交通视频监控图像中，识别车辆的位置、姿态和三维轮廓，并计算出车辆的三维轮廓的实际尺寸，即使在车辆存在遮挡的情况下，也可以计算出车辆的位置、姿态和三维轮廓信息。

为了实现上述发明目的，本发明提供一种从交通图像中检测车辆位置、姿态和三维轮廓的方法，所述方法包括以下步骤：

步骤S1：设定象征活动基元模型，所述象征活动基元模型属于形变模板，由一些Gabor滤波器组成，每个Gabor滤波器可以在一定的小范围内改变位置和角度；

步骤S2：将图像中的每个像素位置都与一个象征活动基元模型进行匹配，如果在这个像素位置有一辆车辆存在，则匹配的得分就会比较高；反之如果在这个像素位置没有车辆存在，则匹配的得分较低，根据得分的高低来检测出图像中车辆的位置；

步骤S3：对图像中可能存在的车辆遮挡进行处理：如果图像中一辆车辆的一部分被遮挡，这辆车与象征活动基元模型的匹配得分就比未被遮挡的车辆得分要低；利用现实世界的车辆在正常情况下车辆相互不接触和不重叠的现实依据对遮挡情况下的车辆进行识别，找到图像中与象征活动基元模型匹配得分高的位置，并且得分高的位置上的车辆三维轮廓在世界坐标中具有相互不重叠的特征，则此得分高的位置就是检测出来的车辆；由于象征活动基元模型确定了车辆的轮廓，结合已检测出来的车辆和其确定的位置，就获得车辆的姿态和轮廓；

步骤S4：根据摄像机标定参数的结果提供了三维世界坐标和二维图像坐标转换的关系，将图像中已检测出来的车辆轮廓依据摄像机标定参数转换到世界坐标中，计算出车辆的三维轮廓的实际尺寸。

本发明与现有技术相比优点在于：

(1)本发明使用一种独创的形变模板-象征活动基元模型-检测和识别车辆的位置、姿态和轮廓。象征活动基元模型具有良好的形变性，可以适用于检测具有不同颜色、尺寸、形状的车辆，象征活动基元模型具有较好的鲁棒性，适用于各种复杂的智能交通监控系统中车辆的检测和识别。

(2)本发明使用一种独创的方法对智能交通监控领域中常见的车辆遮挡问题进行了处理，该方法通过估计多个车辆三维轮廓的相容性，解决了遮挡车辆的检测和识别问题。

(3)本发明检测出了车辆的三维轮廓，为解决例如车型分类、车牌识别等问题，提供了一种方法基础。

本发明对于交通监控系统中各种常见的拍摄角度都有良好的适应性，可以从各种不同的角度观察检测出的车辆三维轮廓，可以用于车型识别、车牌识别、车辆行为判断。

附图说明

图1是本发明的从交通图像中检测车辆位置、姿态和三维轮廓的方法的流程图。

图2是本发明中独创的象征活动基元模型的示意图。

图3是本发明中独创的处理车辆遮挡的示意图。

图4是本发明中计算车辆三维轮廓实际尺寸的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如图1本发明的从交通图像中检测车辆位置、姿态和三维轮廓的方法的流程图所示，整体流程分为5个部分：a)是数字摄像机采集的一帧图像，b)采用象征活动基元模型识别图像中的位置、姿态、轮廓，c)处理车辆之间存在遮挡的问题，d)计算车辆三维轮廓的尺寸，最后得到车辆的三维轮廓的尺寸。由于得到了车辆的三维轮廓的实际尺寸，所以可以从各种角度观察车辆的三维轮廓，e)显示了从两个角度观察车辆的三维轮廓的结果，左边的图像是从拍摄视角显示车辆三维轮廓，右边的图像是从俯视视角显示车辆的三维轮廓。

如图2所示，本发明中独创的象征活动基元模型是由一些伽柏(Gabor)滤波器组成。第一行显示了一辆车的象征活动基元模型，其中每一个黑线段为一个Gabor滤波器，第二行表示这个模型可以分解为5个部分，第三行表示这5个部分可以进一步分解为一些简单的Gabor滤波器，这些Gabor滤波器具有不同的尺寸(大小)和方向，第四行和第五行表示需要利用这些Gabor滤波器对图像进行识别。

设定象征活动基元模型的步骤如下：

步骤S11：给定一帧图像I，在某个像素点x，y的伽柏(Gabor)函数为：

$G(x,y)\∝e^{\{-[{(x/{\mathrm{\σ}}_x)}^2+{(y/{\mathrm{\σ}}_y)}^2]/2\}}{e}^{\mathrm{ix}}$

式中，G(x，y)为Gabor函数；x，y为图像的某一像素位置；σ_x，σ_y为G(x，y)的设置参数；e为数学常数，即自然对数函数的底数；ix为虚部。

步骤S12：对G(x，y)进行旋转和缩放，得到：

$B_{x,y,s,a}(x^{\′},y^{\′})=G(\tilde{x}/s_x,\tilde{y}/s_y)/({s_x}^2+{s_y}^2)$

在B_{x，y，s，a}(x′，y′)中，

$\tilde{x}=(x^{\′}-x)\cos \mathrm{\α}-(y^{\′}-y)\sin \mathrm{\α}$

$\tilde{y}=(x^{\′}-x)\sin \mathrm{\α}-(y^{\′}-y)\cos \mathrm{\α}$

s＝[s_x，s_y]

式中，B_{x，y，s，a}(x′，y′)为对G(x，y)旋转和缩放后的结果；

为中间变量；x，y为图像的某一像素位置；x′，y′为x，y附近的一个像素位置；s表示缩放的尺度，其中s_x，s_y分别为x，y方向的缩放尺度；α表示旋转的角度；cos为余弦函数；sin为正弦函数。显然，由不同的参数值x′，y′，α，s会得到不同的B_{x，y，s，a}(x′，y′)，所以这些参数的设定会影响到识别的结果。这些参数是通过对实际图像样本的学习确定的。

步骤S13：由于目的是检测图像中的车辆，所以根据“稀疏编码”理论，可以认为图像是由车辆和非车辆两类目标组成，表示为下式：

$\left\{\begin{array}{c}I={\mathrm{\Σ}}_{j=1}^m{\mathrm{CAR}}_j+U\\ \mathrm{CAR}={\mathrm{\Σ}}_{i=1}^n{c}_i{B}_i\end{array}\right.$

式中，I为一幅图像；CAR表示一辆车辆，由n个B_i组成，

U表示图像中除了车辆以外的其它信息；c_i是设定系数，m表示图像中车辆的数量；车辆是由一些Gabor函数的变形B_i组成。

该式表示了图像是由车辆和非车辆信息组成，车辆是由一些Gabor函数的变形B_i组成。利用象征活动基元模型检测图像中车辆的步骤为：是将象征活动基元模型与图像中的每个像素位置进行匹配，模型匹配的公式如下：

$M(x,y)=\underset{i=1}{\overset{n_B}{\mathrm{\Σ}}}\underset{\mathrm{\Δ\α}\∈[-{\mathrm{\δ}}_i^3,{\mathrm{\δ}}_i^3]}{\underset{\mathrm{\Δy}\∈[-{\mathrm{\δ}}_i^2,{\mathrm{\δ}}_i^2]}{\underset{\mathrm{\Δx}\∈[-{\mathrm{\δ}}_i^1,{\mathrm{\δ}}_i^1]}{\max }}}\left(\mathrm{MATCH}(I,B_{x_i+\mathrm{\Δ}{x}_i,y_i+\mathrm{\Δ}{y}_i,s_i,{\mathrm{\α}}_i+\mathrm{\Δ}{\mathrm{\α}}_i})\right)$

式中，M(x，y)表示对图像的某个像素位置进行匹配的得分；n_B表示

滤波器的数量；MATCH()表示使用一个

滤波器对图像I进行匹配；x_i，y_i为图像的像素位置；s_i表示缩放的尺度；α_i表示旋转的角度；Δx，Δy，Δα表示每个

滤波器可以在设定的范围内移动和旋转以便获得最佳的匹配值；

分别表示Δx，Δy，Δα的范围。由于

滤波器可以在设定的范围内移动和旋转，所以对于不同形状和姿态的车辆都有良好的识别结果。

M(x，y)值越高在x，y位置处越可能有一车辆存在，根据实际图像样本的学习结果，可以设定一个阈值，匹配结果大于这一阈值的就是一辆检测出来的车辆，车辆的位置、姿态和轮廓由象征活动基元模型的参数决定。

如图3所示，本发明中独创的处理车辆遮挡的方法的原理是：虽然二维图像中的车辆可能存在遮挡，但是对于三维世界存在的车辆来说，一般情况下车辆之间没有重叠，所以可以估计出图像中的车辆的三维尺寸，根据估计结果，可以判断车辆在三维世界中是否存在遮挡(如果估计出车辆在三维世界中存在遮挡，则这个估计是错误的，反正则说明估计是正确的)。对于图像中可能存在的车辆遮挡进行处理的方法为：对于一幅图像，生成与图像有相同像素尺寸的得分表，记录在图像中每个像素位置的象征活动基元模型匹配得分，得分表示象征活动基元模型在该像素位置的匹配程度，得分越高表示匹配越相似，找到得分表中的得分最大的且互不相容的像素位置即车辆的位置，所述互不相容是车辆的三维轮廓在三维世界坐标中不重叠。其计算步骤如下：

1、首先计算出对一幅图像进行象征活动基元模型匹配的结果获得匹配的得分表，得分表中的每个位置标记为非车辆。

2、找到得分表中未被标记为车辆的位置中最大值记为Mi。即在得分表中标记为非车辆的位置中，找到最大值记为Mi。

3、如果Mi小于一个设定的阈值T，则结束整个过程；

4、如果Mi大于一个设定的阈值T，则计算下式：

式中，[M_i]表示车辆位置中最大值Mi车辆的三维轮廓，[M_i]∪[M_j]表示计算两辆车三维轮廓的相容性，如果不相容，则为

否则为1，j的范围是得分表中所有已经标记为车辆的位置且i≠j。如果此式成立，标记车辆位置中最大值Mi为车辆。继续第2步。

如图4所示，本发明中计算车辆三维轮廓实际尺寸的原理是根据图像中的车辆轮廓和摄像机标定的结果，可以计算出车辆三维轮廓在世界坐标中的尺寸，其计算过程分为3步：

步骤41、根据采用象征活动基元模型识别的结果，计算出车辆中轴线在地面的投影，记为lineG。

步骤42、计算车辆轮廓中与中轴线垂直且与地面平行的横线的中垂线与lineG相交获得交点，分别为pointC1，pointC2，...。

步骤43、根据交点pointC1，pointC2，...计算出横线的实际高度，并以此计算出车辆三维轮廓的实际尺寸。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的权利要求书的保护范围之内。

Claims (5)

1.一种从交通图像中检测车辆位置、姿态和三维轮廓的方法，包括以下步骤：

步骤S1：设定象征活动基元模型，所述象征活动基元模型属于形变模板，由一些Gabor滤波器组成，每个Gabor滤波器可以在一定的小范围内改变位置和角度；

步骤S2：将图像中的每个像素位置都与一个象征活动基元模型进行匹配，如果在这个像素位置有一辆车辆存在，则匹配的得分就会比较高；反之如果在这个像素位置没有车辆存在，则匹配的得分较低，根据得分的高低来检测出图像中车辆的位置；

步骤S3：对图像中可能存在的车辆遮挡进行处理：如果图像中一辆车辆的一部分被遮挡，这辆车与象征活动基元模型的匹配得分就比未被遮挡的车辆得分要低；利用现实世界的车辆在正常情况下车辆相互不接触和不重叠的现实依据对遮挡情况下的车辆进行识别，找到图像中与象征活动基元模型匹配得分高的位置，并且得分高的位置上的车辆三维轮廓在世界坐标中具有相互不重叠的特征，则此得分高的位置就是检测出来的车辆；由于象征活动基元模型确定了车辆的轮廓，结合已检测出来的车辆和其确定的位置，就获得车辆的姿态和轮廓；

步骤S4：根据摄像机标定参数的结果提供了三维世界坐标和二维图像坐标转换的关系，将图像中已检测出来的车辆轮廓依据摄像机标定参数转换到世界坐标中，计算出车辆的三维轮廓的实际尺寸。

2.根据权利要求1所述的从交通图像中检测车辆位置、姿态和三维轮廓的方法，其特征在于，设定象征活动基元模型的步骤如下：

步骤S11：对于给定的一帧图像I，其在某个像素点x，y的Gabor函数为：

$G(x,y)\∝e^{\{-[{(x/{\mathrm{\σ}}_x)}^2+{(y/{\mathrm{\σ}}_y)}^2]/2\}}{e}^{\mathrm{ix}}$

式中，G(x，y)为Gabor函数；x，y为图像的某一像素位置；σ_x，σ_y为G(x，y)的设置参数；e为数学常数，即自然对数函数的底数；ix为虚部；

步骤S12：对G(x，y)进行旋转和缩放，得到：

$B_{x,y,s,a}(x^{\′},y^{\′})=G(\tilde{x}/s_x,\tilde{y}/s_y)/({s_x}^2+{s_y}^2)$

在B_{x，y，s，a}(x′，y′)中，

$\tilde{x}=(x^{\′}-x)\cos \mathrm{\α}-(y^{\′}-y)\sin \mathrm{\α}$

$\tilde{y}=(x^{\′}-x)\sin \mathrm{\α}-(y^{\′}-y)\cos \mathrm{\α}$

s＝[s_x，s_y]

式中，B_{x，y，s，a}(x′，y′)为对G(x，y)旋转和缩放后的结果；为中间变量；x，y为图像的某一像素位置；x′，y′为x，y附近的一个像素位置；s表示缩放的尺度，其中s_x，s_y分别为x，y方向的缩放尺度；α表示旋转的角度；cos为余弦函数；sin为正弦函数；

步骤S13：根据稀疏编码理论检测交通图像中的车辆，设定图像是由车辆和非车辆两类目标组成表示为下式：

$\left\{\begin{array}{c}I={\mathrm{\Σ}}_{j=1}^m{\mathrm{CAR}}_j+U\\ \mathrm{CAR}={\mathrm{\Σ}}_{i=1}^n{c}_i{B}_i\end{array}\right.$

式中，I为一幅图像；CAR表示一辆车辆，由n个B_i组成，

U表示图像中除了车辆以外的其它信息；c_i是设定系数，m表示图像中车辆的数量；车辆是由一些Gabor函数的变形B_i组成。

3.根据权利要求1所述的从交通图像中检测车辆位置、姿态和三维轮廓的方法，其特征在于：利用象征活动基元模型检测图像中车辆的步骤为：是将象征活动基元模型与图像中的每个像素位置进行匹配，匹配过程如下式：

$M(x,y)={\mathrm{\Σ}}_{i=1}^{n_B}{\max }_{\stackrel{\mathrm{\Δx}\∈[-{\mathrm{\δ}}_i^1,{\mathrm{\δ}}_i^1]}{\stackrel{\mathrm{\Δy}\∈[-{\mathrm{\δ}}_i^2,{\mathrm{\δ}}_i^2]}{\mathrm{\Δ\α}\∈[-{\mathrm{\δ}}_i^3,{\mathrm{\δ}}_i^3]}}}\left(\mathrm{MATCH}(I,B_{x_i+\mathrm{\Δ}{x}_i,y_i+\mathrm{\Δ}{y}_i,s_i,{\mathrm{\α}}_i+\mathrm{\Δ}{\mathrm{\α}}_i})\right)$

式中，M(x，y)表示对图像的某个像素位置进行匹配的得分；n_B表示

滤波器的数量；MATCH()表示使用一个滤波器对图像I进行匹配；x_i，y_i为图像的像素位置；s_i表示缩放的尺度；α_i表示旋转的角度；Δx，Δy，Δα表示每个

滤波器可以在设定的范围内移动和旋转以便获得最佳的匹配值；

分别表示Δx，Δy，Δα的范围；

M(x，y)值越高在x，y位置处越可能有一车辆存在，根据实际图像的学习结果，设定一个阈值，匹配结果大于这一阈值的就是一辆检测出来的车辆；利用象征活动基元模型确定了车辆的轮廓，结合已检测出来的车辆和其确定的位置获得车辆的姿态和轮廓。

4.根据权利要求1所述的从交通图像中检测车辆位置、姿态和三维轮廓的方法，其特征在于，对图像中可能存在的车辆遮挡进行处理的步骤为：对于一幅图像，生成与所述图像有相同像素尺寸的得分表，记录在图像中每个像素位置的象征活动基元模型匹配得分，得分表示象征活动基元模型在该像素位置的匹配程度，得分越高表示匹配越相似，找到得分表中的得分最大的且互不相容的像素位置即车辆的位置；所述互不相容是车辆的三维轮廓在世界坐标中不重叠。

5.根据权利要求1所述的从交通图像中检测车辆位置、姿态和三维轮廓的方法，其特征在于，根据摄像机标定的结果和检测出来的车辆轮廓，计算车辆三维轮廓在世界坐标中的尺寸，其步骤为：

步骤41、根据象征活动基元模型识别的结果，计算出车辆中轴线在地面的投影，记为lineG；

步骤42、计算车辆轮廓中与中轴线垂直且与地面平行的横线的中垂线与lineG相交获得交点分别为pointC1，pointC2，...；

步骤43、根据交点pointC1，pointC2，...计算出横线的实际高度，并以此计算出车辆三维轮廓的实际尺寸。

Images