CN102165493A - 对图像中的车辆的检测 - Google Patents

Abstract

本发明涉及一种交通监视系统，用于检测和跟踪从低安装的摄像机拍摄的道路的视频中的车辆。发明人发现，即使在由于交通密度或者捕获图像的低安装摄像机的角度而被严重遮挡的场景，对于图像中的每个车辆，挡风玻璃的至少一个水平边缘最不可能被遮挡。因此，本发明的优点是，可以使用对挡风玻璃本身的直接检测来检测单个图像中的车辆。参考图像中的不同点将多个模型投影(206)到图像上。基于图像中的水平边缘与在该点参考的挡风玻璃模型的水平边缘的相关，来确定每个点形成挡风玻璃的部分的概率(220)。使用邻近点的该概率可以检测图像中的车辆(224)。本发明的各方面包括方法、软件和交通监视系统。

Description

对图像中的车辆的检测

技术领域

本发明涉及对图像中的车辆的检测。本发明尤其涉及，但不限于交通监视系统，该交通监视系统用于检测和跟踪从低安装的摄像机拍摄的道路的时序图像序列中的车辆，以确定关于所检测的和所跟踪的车辆的交通信息。本发明的各方面包括方法、软件和交通监视系统。

背景技术

车辆检测是现代智能交通系统中的关键任务。为了方便进行交通监视和控制，ITS系统通常需要从交通场景分析(TSA)部件输入交通信息，诸如交通密度、队列长度、车辆计数、车辆位置、车辆速度和车辆类型。TSA部件所能够提供的越多，所能够获得的交通状态估计就越优。

对于产生丰富信息的能力的逐渐增加的需求是近年来将基于计算机视觉的系统与传统的基于感应环的系统组合的驱动因素。

在过去的二十年中，在计算机视觉界提出了许多在交通监视方面用于车辆检测的方法。基于它们的技术方法，它们可以被大致划分为六类：

背景提取；

基于监督学习的检测器；

特征点检测器；

前景分割；

颜色分割；以及

车辆模型匹配。

发明内容

在本发明的一个方面，提供了一种检测图像中的车辆的方法，该方法包括步骤：

(a)对于图像的点集合中的每个点，仅将挡风玻璃的几何模型参考该点投影到图像上；

(b)检测图像中的基本水平的边缘；

(c)基于所检测的水平边缘与在该点参考的挡风玻璃模型的水平边缘的相关，确定该集合的每个点形成图像中的车辆的挡风玻璃的部分的概率；以及

(d)基于邻近点的概率检测图像中的车辆。

发明人发现，即使在由于交通密度或者捕获图像的低安装摄像机的角度而被严重遮挡的场景，对于图像中的每个车辆，挡风玻璃的至少一个水平边缘最不可能被遮挡。因此，本发明的优点是，可以使用对挡风玻璃本身的直接检测来检测单个图像中的车辆。

该方法还可以包括通过下述处理来确定点集合的步骤：

确定图像中的每个点的颜色，其可以在HSV颜色空间中；以及

如果点的颜色与预定的挡风玻璃颜色基本相似，则将该点分类为属于该集合。预定颜色可以依赖于图像中的照明和/或在图像中捕获的天气状况。

点集合可以被视为图像的掩模，其中，该掩模形成形状(即掩模形状)。

可以以三维(例如3D真实世界)的方式定义挡风玻璃的模型。可以通过相应地对该模型进行透视映射和缩放来进行将模型投影到图像上的步骤(a)。

在步骤(c)之前或之后，该方法还可以包括：确定该集合的每个点形成图像中车辆的挡风玻璃的部分的概率，该确定基于由该点以及图像中属于该集合的与该点邻近的各连通点所形成的形状。

该方法还可以包括步骤：确定所投影的挡风玻璃模型是否可能是低对比度车辆。诸如，通过确定由包括挡风玻璃模型的参考点的掩模中的点集合形成的形状是否比例上太大而不能被认为定义该挡风玻璃模型的形状。该方法还可以包括：基于是否可能是低对比度车辆来选择使用掩模形状确定每个点的概率的方法。

在所投影的挡风玻璃模型可能是低对比度车辆的模型的情况下，确定该点是挡风玻璃的部分的概率的方法可以基于该点与掩模形状的中心的接近程度。

在挡风玻璃模型不大可能是低对比度车辆的模型的情况下，确定该点是挡风玻璃的部分的概率的方法可以基于在该点参考的挡风玻璃模型的形状与掩模形状的共同部分比例。

对于属于(即位于)投影的挡风玻璃模型的边界的每个点，可以计算从该点到最接近的检测到的边缘段的距离。步骤(c)可以基于投影的挡风玻璃模型的边界点与所检测的图像中的水平边缘之间的平均距离。步骤(d)可以包括：生成图像的置信图。该置信图可以基于诸如贝叶斯公式的统计框架而生成，其中，该公式的数据基于上述颜色(形状)和边缘概率。贝叶斯公式可以依赖于是否确定挡风玻璃模型可能属于低对比度车辆。

步骤(d)可以包括：将置信图中的点聚类，以识别代表其形成挡风玻璃的部分的最高概率(即局部最大值)的点。

该图像可以是图像序列中的图像，该方法还可以包括：在该序列的后续图像中跟踪检测到的车辆。

该方法还可以包括步骤：实时接收图像，以及实时执行该方法。点可以是像素或者多个像素。步骤(a)和(b)的顺序不重要。步骤(a)中的对点的参考可以是挡风玻璃模型的中心。

本发明的其它方面包括软件，当将软件安装在计算机上时，软件使计算机以上述方式工作。在其它方面，本发明是能够进行操作以用于实施上述发明的基于计算机的交通监视系统。

附图说明

现在参考附图描述本发明的示例，在附图中：

图1是本发明的示例的系统的示意图；

图2是示例挡风玻璃模型的示意图；

图3是本发明的该示例的方法的总体流程图；

图4是本发明的该示例的对图像的实时处理的更详细的流程图；

图5示意性地示出用于高对比度车辆的形状匹配；

图6示意性地示出对低对比度车辆的可能性的确定；

图7示意性地示出用于低对比度车辆的形状匹配；

图8示意性地示出用于高对比度车辆的边缘匹配；

图9是示出感兴趣区域(ROI)中的检测到的候选车辆的样本图像；以及

图10是示出实现本发明的该示例的结果的表。

具体实施方式

下面是对计算机视觉交通监视系统的描述。如图1所示，该系统包括低安装(即低角度)CCD摄像机600，摄像机600捕获交通场景602的视频，交通场景602具有在同一方向上行进的车辆交通的至少多个车道。通过低安装，摄像机捕获的图像包括车辆的正视图(即，不是鸟瞰的)。该视频由图像的时序序列构成。

摄像机600经由因特网606或者任意其它适合的计算机网络连接到计算机604。使用计算机网络，计算机604在输入端口接收摄像机600捕获的图像，并将其存储在相关联的数据存储608。计算机安装了软件，该软件使处理器检索图像，并实时或者离线对其进行处理，以检测图像中的车辆，然后在所捕获的图像中提取涉及交通的另外的交通数据。现在，参考图3进一步详细描述对这些图像进行处理的方法的示例。

发明人已发现，对于低角度摄像机，如果在捕获的图像中存在任何遮挡，则对于各个车辆，可能挡风玻璃是最不可能被遮挡的部分。因此，可以使用挡风玻璃作为车辆的可靠标识。在该示例中，通过在给定一组特征的观察的情况下在视频图像中找到各个挡风玻璃来解决车辆检测问题。

在该示例中，使用两种类型的特征匹配：形状s和边缘e。对于每个像素x，p(w|s，e)表示是挡风玻璃的中心的后验概率。简要地说，基于几何挡风玻璃模型102进行接收到的图像100与形状匹配208和边缘匹配216。在图2中示出了样本挡风玻璃模型。

然后，通过形状匹配和边缘匹配可能性的融合来估计像素是挡风玻璃的中心的概率，以产生置信图222。根据该置信图，在每个图像中推断车辆假设224。最后，将检测与跟踪结合，以彼此加强226。这被称为检测然后跟踪框架。

现在，参考图4描述该示例的方法的其它细节。

贝叶斯公式

在该工作中，对于挡风玻璃的外观接近车体的外观并且挡风玻璃边界几乎不可见的低对比度车辆，需要给予一些特殊的考虑。在这种情况下，形状匹配和边缘匹配变得没有辨别力，需要进行一些近似。引入二进制变量b来区分两种类型的车辆，例如，b＝0表示高对比度车辆，而b＝1表示低对比度车辆。当车辆的颜色深(例如深灰、黑、深蓝)时，或者当车辆在阴影区域下时，车辆可能具有低对比度。后验概率变为：

p(w|s，e)＝p(w，b＝0|s，e)+p(w，b＝1|se)     (1)

使用贝叶斯规则，并且假设不同的特征之间是独立的，上述后验概率可以进一步表示为：

p(w|s，e)＝p(w|b＝0，s，e)p(b＝0|s，e)+p(w|b＝1，s，e)p(b＝1|s，e)    (2)∝p(s|w，b＝0)p(e|w，b＝0)p(b＝0|s)+αp(s|w，b＝1)p(b＝1|s)

这里，α可以被视为恒定参数，并且其值在后续计算中是固定的。

图像预处理

首先，确定每个图像的感兴趣区域，感兴趣区域对于所有图像是共同的。ROI包括检测到的车辆在其上行进的车道。

还通过假设平面道路表面来离线进行摄像机校准。从摄像机校准得到的映射参数允许我们将3D挡风玻璃模型投影到图像中的任意位置。

揭示挡风玻璃存在的两个低等级感兴趣图像特征是颜色和边缘。

由公用边缘检测器在每个帧上提取边缘。与竖直边缘相比，挡风玻璃的两个真实的水平顶部和底部边缘相对显著。然而，公用边缘检测器可能看不到低对比度车辆的边缘。在这种情况下，挡风玻璃检测器仅依赖于形状的匹配(基于颜色)，需要更多地注意跟踪边缘(参见跟踪部分)。

因为颜色信息对于照明变化不是不变的，因此通常难以处理颜色信息。然而，挡风玻璃在摄像机图像上的外观具有一些共同的属性。其通常被看作浅灰色或浅蓝色的具有低饱和度的几乎均匀的区域。在晚上其为黑色，可能具有镜面反射。在白天，挡风玻璃通常看起来较暗，而有时在挡风玻璃反射天空的情况下看起来较亮。在太阳下，挡风玻璃看起来更透明，并且示出后面的物体和人。根据这些观察，最好使用不同于原始RGB的，辨别力更好并且相关颜色通道更少的颜色空间。因此，颜色分类的第一步是颜色转换。饱和度S是合适的通道，因为其具有一定水平的照明不变性，而仅依赖于表面反射率和摄像机的特性。因此，可以使用HSV颜色空间来代替RGB。类似地，归一化的b颜色通道已经被证明对于挡风玻璃颜色具有良好的辨别力。这启示使用基于应用的混合颜色空间来对挡风玻璃像素进行学习和分类。

根据不同的照明，诸如晴天、阴影、阴天、有灯光的夜间场景，来学习挡风玻璃的颜色可能性(参见下面对参数学习的讨论)。然后，使用所学习的颜色范围来离线监督像素分类方案。

在实时过程中，在进行图4的方法的情况下，由计算机604接收交通场景的图像序列200。接下来，对每个图像的检测区域(感兴趣区域)的每个像素进行分类，以获知其是否是潜在的挡风玻璃颜色202。该步骤产生每个图像的二进制图像M。可以使用形态运算来进一步增强该掩模。可以基于检测到的挡风玻璃的颜色来在线更新分类器。

然后，对于掩模M中被分类为潜在的挡风玻璃颜色的每个像素204，假设其是挡风玻璃的中心，然后将三维挡风玻璃模型投影到该像素的位置206，其中根据所确定的模型的映射对模型进行缩放。

形状匹配208

除了挡风玻璃掩模M以外，给出下面的记号以便于进一步的讨论。在图像中的每个位置处，假设投影的车辆区域内的像素构成集合V，投影的挡风玻璃区域内的像素构成集合W。

对于高对比度车辆，项p(s|w，b＝0)测量相关，例如形状匹配可能性。参考图5，在这种情况下，能够将挡风玻璃与车辆的其余部分区分，并且直观的是，作为掩模M与挡风玻璃模型W的重叠比来计算214可能性：

$p\left(s\right|w,b=0)\∝\frac{|M\∩W|}{\left|W\right|}---\left(3\right)$

后验概率p(b＝1|s)是低对比度车辆的概率。参考图6，如果掩模M的面积超过挡风玻璃，则怀疑其在暗车辆(即低对比度车辆)上。因此，该概率的自然测量要考虑M和车辆区域V之间的关系。

$p(b=1|s)\∝\frac{|M\∩V|}{\left|V\right|}---\left(4\right)$

项p(s|w，b＝1)给出对于低对比度车辆的形状匹配可能性。参考图7，在低对比度情形下，基于M中相应的连通部件的质心来对可能性进行近似212。

$\ln p\left(s\right|w,b=1)\∝\frac{{\left|\right|x-m\left|\right|}^2}{{\mathrm{\σ}}_1^2}---\left(5\right)$

其中，m是连通部件的中心，σ₁是挡风玻璃的尺寸。

对于掩模中的所有像素的结果，我们基于该颜色(和形状)评估，得到该像素位于图像中的挡风玻璃的中心的概率(即置信)值。将其组合，这些概率产生颜色置信图(即置信图像)215。

边缘匹配216

对于低对比度车辆，边缘匹配非常弱，并且可以忽略，因此在车辆检测阶段仅需要考虑高对比度情况。

通常，水平边缘比竖直边缘更明显和稳定。为了降低复杂度，仅使用水平边缘，而不对性能引入显著的负面影响。在应用诸如索贝尔(Sobel)的水平边缘检测器之后，粗略地提取水平边缘段218。现在参考图8，现在假设由T和B表示投影的挡风玻璃W的顶部和底部边界，并构建函数Dist以计算像素到最接近的检测到的线段的距离。然后，对于每个像素，如下计算220边缘相关，例如匹配可能性。

$\ln p\left(e\right|w,b=0)\∝-\frac{1}{|T\∪B|}\underset{\mathrm{leT}\∪B}{\mathrm{\Σ}}\mathrm{Dist}\left(i\right).---\left(6\right)$

所确定的相关还可以基于检测到的边缘在距离T或B的预定距离内的比例，检测到的边缘是否是平行的，或者是否具有相似的长度。

对于该掩模中的所有像素的结果，我们基于该边缘评估得到该像素位于图像中的挡风玻璃的中心的概率(即置信)值。将其组合，这些概率产生边缘置信图(即置信图像)221。

假设(候选)生成

根据等式(2)获得将颜色和边缘置信图融合的置信图222。可以使用等式(3)至(6)来计算等式(2)中的各项，使得每个像素的置信度依赖于其邻近点，诸如在相应地投影的挡风玻璃区域W或车辆区域V内的点(参见图6)的颜色和边缘信息。

通过寻找局部最大值来推断224车辆假设。在置信图上不规则网格的节点的位置处运行聚类，在该示例中为均值偏移算法。每个节点具有局部窗口，局部窗口具有投影的挡风玻璃模型的尺寸，而相邻节点的窗口彼此重叠其宽度或长度的一半，以确保紧密地覆盖该图。以这种方式，节点内的点是在该均值偏移分析中所认为的邻近点。在均值偏移收敛之后，删除置信值低于预定阈值的局部最大值，通过对窗口在车道方向上重叠多于其高度的一半或者仅在垂直于车道的方向上重叠的接近的局部最大值进行组合来解决冗余检测。

在图9中示出了样本图像，其中，在702标出了ROI，点(在702指出了两个)是候选车辆的挡风玻璃的中心。

车辆跟踪226

对于视频序列，随时间跟踪每个车辆候选对象，并且根据到来的图像用新的车辆候选对象更新每个车辆候选对象。通过轨迹分析来实现逐渐增加的真检测和假检测之间的平衡。

与任意对象检测器类似，可能存在丢失的检测和误测。这里的跟踪用于两个目的：第一是提供车辆轨迹以用于交通状态估计任务；第二是基于轨迹分析稳定并验证检测结果。

利用跟踪滤波器，状态矢量中包括位置、速度，也可以包括加速度和挡风玻璃尺寸。数据关联基于空间接近性。仅在挡风玻璃和轨迹的最新近位置之间的距离小于阈值的情况下，将检测到的挡风玻璃与轨迹相关联。为了在对漏检的补偿和对误报的抑制之间进行平衡：只有在轨迹以每个元素具有相关联的观测的长度的跨度开始的情况下，才认可该轨迹；如果轨迹对于长度的跨度经历了非相关情形，则终止该轨迹。超出图像或者ROI的边界也使轨迹结束。

存在至少两种方式来跟踪挡风玻璃。第一种是跟踪检测到的挡风玻璃的中心。这是点跟踪器，假设由白噪声驱动的线性动态系统，可以通过简单最优卡尔曼滤波器来设计该点跟踪器。如果违反了这些假设，则代替地可以使用非线性滤波器，诸如扩展卡尔曼滤波器、无味卡尔曼滤波器或者粒子滤波器。仅跟踪中心的问题在于，当挡风玻璃被遮挡时，检测到的挡风玻璃中心将与实际的中心不同，并且将向上移动。甚至可能无法再通过形状和边缘匹配来检测到挡风玻璃。解决方法是跟踪挡风玻璃的轮廓。由于侧边缘可能与背景混淆，因此应仅跟踪顶部和底部边缘。在遮挡的情况下，下部边缘将首先消失。因此，上部边缘最重要。如果挡风玻璃是低对比度车辆的部分，并且还未被跟踪到，则需要首先检测边缘T(和B)。例如，这可以通过使用其尺寸和位置的粗略假定的更鲁棒的局部边缘检测器来进行。如果边缘不足够可见，则可以首先跟踪中心，直到边缘可以出现为止。存在许多方式来跟踪边缘。边缘跟踪器可以使用边缘掩模(梯度掩模或者哈尔特征掩模)。可选地，可以将边缘采样为许多边缘点，例如基于移动边缘算法来局部跟踪这些边缘点。

参数学习

在实时执行该方法之前，必须学习初始参数。此外，在离线过程中，使用性能曲线的统计测量作为选择特征和学习模型参数的手段。

将视频图像的数据库划分为三个部分：一个部分用于进行必要的训练，诸如建立颜色直方图；另一部分用于学习我们的模型中的参数的最优值；其余部分用于测试系统的性能。将这三个部分分别表示为训练集、调整集和测试集。

根据训练集中的样本来学习用于掩模生成的颜色分布参数。我们通常的要求是M恢复尽可能多的挡风玻璃区域和尽可能少的非挡风玻璃区域。可以基于不同的特征(颜色直方图或者底帽运算符(bottomhat operator))在调整集上进行掩模生成，并且掩模生成可以使用ROC(接收者操作特性)曲线的AUC(曲线下面积)，作为选择特征的手段。真阳性率和假阳性率的计算基于各个像素。

该示例的优点是需要非常少的参数，使得系统的安装更容易并且更廉价。

结果

如图10的表所示，在包含两个低角度(7m高)摄像机和三种天气(晴天、阴天和雨天)状况的六个序列的测试集上，定量地评估该算法。平均来说，该算法以10％的误报率实现了80％以上的检测率。

本领域技术人员应当理解，如具体实施例所示，可以对本发明进行大量变化和/或变型，而不脱离如宽泛地描述的本发明的范围。

例如，一旦检测并跟踪到挡风玻璃，则可以对车辆进行分类。具有大尺寸的挡风玻璃可能对应于公共汽车或者长途客车。还可以使用不同的几何模型，不同的模型各自与特定分类相关联。

一旦检测并跟踪到车辆，可以使用该信息来确定将要用于ITS的关于交通场景的其它信息。这包括交通密度、交通流和车辆计数。可以确定关于每个车辆的更具体的信息，诸如车辆位置和速度。

因此，本实施例在所有方面应当被视为说明性的，而非限制性的。

Claims (17)

1.一种检测图像中的车辆的方法，所述方法包括步骤：

(a)对于所述图像的点集合中的每个点，仅将挡风玻璃的几何模型参考该点投影到所述图像上；

(b)检测所述图像中的基本水平的边缘；

(c)基于所检测的水平边缘与在该点参考的所述挡风玻璃模型的水平边缘的相关，确定所述集合的每个点形成所述图像中的车辆的挡风玻璃的部分的概率；以及

(d)基于邻近点的概率检测所述图像中的车辆。

2.根据权利要求1所述的方法，其中，所述方法还包括通过下述处理来确定所述点集合的步骤：

确定所述图像中的每个点的颜色；以及

如果该点的颜色与预定的挡风玻璃颜色基本相似，则将该点分类为属于所述集合。

3.根据权利要求2所述的方法，其中，所述预定颜色依赖于所述图像中的照明和/或在所述图像中捕获的天气状况。

4.根据权利要求1、2或3所述的方法，其中，在步骤(c)之前或之后，所述方法还包括：确定所述集合的每个点形成所述图像中车辆的挡风玻璃的部分的概率，所述确定基于由该点以及所述图像中属于所述集合的与该点邻近的各连通点所形成的形状。

5.根据权利要求4所述的方法，其中，对该点是挡风玻璃的部分的概率的确定是基于在该点参考的所投影的挡风玻璃模型的形状与由该点和所述图像中属于所述集合的与该点邻近的各连通点所形成的形状的相关来进行的。

6.根据权利要求4或5所述的方法，其中，对该点是挡风玻璃的部分的概率的确定是基于该点与由该点和所述图像中属于所述集合的与该点邻近的各连通点所形成的形状的中心的接近程度来进行的。

7.根据权利要求4、5或6所述的方法，其中，对该点是挡风玻璃的部分的概率的确定是基于在该点参考的挡风玻璃模型的形状与由该点和所述图像中属于所述集合的与该点邻近的各连通点所形成的形状的共同部分的比例来进行的。

8.根据权利要求4、5、6或7所述的方法，其中，所述方法还包括步骤：确定所投影的挡风玻璃模型是否可能是所述图像中的低对比度车辆，以及相应地选择使用由该点和所述图像中属于所述集合的与该点邻近的各连通点所形成的形状的方法。

9.根据前述权利要求中的任一项所述的方法，其中，步骤(c)基于位于投影的挡风玻璃模型的边界上的点与所述图像中所检测的水平边缘之间的平均距离。

10.根据前述权利要求中的任一项所述的方法，其中，步骤(d)包括：生成所述图像中的所述点的置信图。

11.根据权利要求4所述的方法，其中，步骤(d)包括：使用统计框架将步骤(c)中确定的每个点的概率与通过权利要求4确定的同一点的概率融合。

12.根据权利要求11所述的方法，其中，步骤(d)包括：将所述集合中的各点的概率聚类，以识别代表其形成挡风玻璃的部分的最高概率的各点。

13.根据前述权利要求中的任一项所述的方法，其中，所述图像是图像序列中的图像，所述方法还包括：在所述序列的后续图像中跟踪检测到的车辆。

14.根据前述权利要求中的任一项所述的方法，其中，以三维的方式定义所述挡风玻璃的模型，通过对所述模型进行透视映射和缩放来进行将所述模型投影到所述图像上的步骤(a)。

15.根据前述权利要求中的任一项所述的方法，其中，所述方法还包括步骤：实时接收所述图像，以及实时执行所述方法。

16.一种软件，当将所述软件安装在计算机上时，所述软件使计算机进行操作以执行根据前述权利要求中的任一项所述的方法。

17.一种基于计算机的交通监视系统，包括：

输入端口，用于接收图像；以及

处理器，其能够进行操作以对所述图像进行处理，以根据在权利要求1至15中的任一项中描述的方法来检测所述图像中的车辆。

Images