CN102982304B - 利用偏光图像检测车辆位置的方法和系统 - Google Patents

Abstract

本发明提供了一种利用偏光图像检测车辆位置的方法，包括：利用偏光照相机获取路面的偏光图像；根据所获取的偏光图像中路面与路肩的方向不同计算出所述偏光图像中的路肩，并将所计算获得的路肩之间的部分确定为路面部分；从被确定为路面部分中，根据在偏光图像中车辆的车轮的偏光图像的像素值与实际路面的偏光图像的像素值的显著区别区分出路面部分中可能车辆的底部；针对每个所区分出的可能车辆的底部，根据车辆的轮廓的偏光图像的像素值与其背景偏光图像的像素值的区别，获取基于所述可能车辆的底部的可能车辆位置。

Description

利用偏光图像检测车辆位置的方法和系统

技术领域

本发明涉及一种利用偏光图像检测车辆位置的方法和系统。

背景技术

车辆检测，假设生成，偏光，图像处理等领域。作为车辆检测的关键一步，高效的车辆可能位置生成方法能够极大的提高整个车辆检测系统的检测率，降低误识率。

应用方面：

本发明可用于车载相机，提供防止与其他车辆相撞的功能；也可用于道路监控或智能交通中对车辆的检测。

标题为“ADEVICEFORDETECTIONOFSURFACECONDITIONDATA”专利WO2004DK168A提出了一种检测水，雪或者冰这样的表面特性或者条件的设备。下列现象用于判别两种反射：偏光被物体表面的冰或水进行镜面反射后，偏光性能够保持；而被其他类型的表面散射时偏光性会被极大的削弱。其主要的思想是发射偏光束并检测反射，然后基于反射光的偏光性判定物体表面条件。

标题为“POLARAMETRICBLINDSPOTDETECTORWITHSTEERABLEBEAM”的美国专利申请US2002/0011926A1提出了一种系统，包括一个向车辆盲点发射圆偏振信号的发射器，和一个接收反射逆向圆偏振信号的接收器，以及一个当检测到反射信号时提示驾驶员盲区有物体的指示器。其主要思想是向盲点方向发射偏光并试图检测反射，如果检测到了反射，就检测到了盲区的物体。

尽管上述现有技术都涉及到了采用偏光来检测物体，但是两篇文献仅涉及简单的信号发射与接收，都需要主动发射偏光并检测反射。但是都不能直接用于图像中物体的检测。

发明内容

在传统的车辆检测中，主要使用可见光信息。它对于光照条件，天气和路面条件变化并不鲁棒，而偏光信息在这方面有一定优势。本发明提出一种利用偏光技术，通过被动检测偏光生成车辆可能位置的方法，采用这种方法，能够快速生成车辆可能位置，并且对前面提到的各种变化鲁棒。

为此，本发明提供了一种利用偏光图像检测车辆位置的方法，包括：利用偏光照相机获取路面的偏光图像；根据所获取的偏光图像中路面与路肩的方向不同计算出所述偏光图像中的路肩，并将所计算获得的路肩之间的部分确定为路面部分；从被确定为路面部分中，根据在偏光图像中车辆的车轮的偏光图像的像素值与实际路面的偏光图像的像素值的显著区别区分出路面部分中可能车辆的底部；针对每个所区分出的可能车辆的底部，根据车辆的轮廓的偏光图像的像素值与其背景偏光图像的像素值的区别，获取基于所述可能车辆的底部的可能车辆位置。

根据本发明的利用偏光图像检测车辆位置的方法，其中所述区分出路面部分中可能车辆的底部步骤包括：基于预定像素阈值，对所述确定为路面部分的偏光图像及进行二值化处理，从而分离出候选的车轮的像素；对所分离出的候选的车轮的像素执行平滑处理以降低噪声；采用其大小按照在偏光图像中从上向下成比例递增变化的扫描窗口，从上到下从左至右扫过所有路面部分，并计算每个扫描窗口内的共生矩阵的元素，从而将所计算的共生矩阵的元素中其最大值大于一预定元素值阈值的扫描窗口所在位置确定为可能车辆底部。

根据本发明的利用偏光图像检测车辆位置的方法，其中所述计算出所述偏光图像中的路肩的步骤包括：利用Canny边缘算法得到边缘像素；以及利用Hough变换检测获得作为路肩的线。

根据本发明的利用偏光图像检测车辆位置的方法，其中所述获取基于所述可能车辆的底部的可能车辆位置的步骤包括：基于可能车辆的底部的边缘以及车辆的先验知识，沿着左右两条边缘向上延伸获得车辆的两侧；以及基于车顶与背景不同的偏光性，可得到作为车顶的弱边缘，从而与车辆两侧的边缘以及底部区域的底边相连构成车辆轮廓的矩形。

根据本发明的利用偏光图像检测车辆位置的方法，其中，通过计算共生矩阵的元素和基于阈值的二值化来检测车辆底部。

根据本发明的另一个方面，提供了一种利用偏光图像检测车辆位置的系统，包括：偏光图像获取模块，获取路面的偏光图像；路肩检测模块，根据所获取的偏光图像中路面与路肩的方向不同计算出所述偏光图像中的路肩；路肩检测模块，将所计算获得的路肩之间的部分确定为路面部分；可能车辆底部检测模块，从被确定为路面部分中，根据在偏光图像中车辆的车轮的偏光图像的像素值与实际路面的偏光图像的像素值的显著区别区分出路面部分中可能车辆的底部；以及可能车辆位置生成模块，针对每个所区分出的可能车辆的底部，根据车辆的轮廓的偏光图像的像素值与其背景偏光图像的像素值的区别，获取基于所述可能车辆的底部的可能车辆位置。

附图说明

图1给出了一幅包含一些车辆和背景的马路灰度图像的例子。

图2给出了对应的偏光图像。

图3是对应的路肩检测结果。

图4所示的是路面分割示意图。

图5所示的是扫描串口滑动示意图。

图6所示的是可能的车辆底部区域检测结果示意图。

图7所示的是可能的车辆位置检测结果示意图。

图8所示的是可能的车辆位置检测过程的流程图。

图9所示的是所示的是可能的车辆位置检测系统的示意图。

具体实施方式

以下，将参照附图来详细说明本发明的具体实施例。

为了解决上面所提到的现有技术中的这些问题，

图1给出了一幅包含一些车辆和背景的马路灰度图像的例子，图2给出了对应的偏光图像，其中由粗实现包围的部分为具有不同的偏光特性的部分。其实不同的偏光显可以采用不同的颜色来表示。以下的具体步骤都对图2的处理过程为例。

基本步骤是：

基于偏光图像的边缘检测路肩。

一种实现方法是使用Canny边缘算法得到边缘像素，并利用Hough变换检测线，再分析检测到的线的长度、方向和置信度从而得到最终的路肩位置。由于路肩和路面的方向不同，使得它们在偏光图像中的分界很明显，所以很容易检测。Canny边缘检测算法包含以下5个步骤：平滑以便对图像进行平滑以去除噪声；寻找梯度以便标记边缘，这里的边缘是指此处图像的梯度具有较大的幅度；非最大值抑制，以便只有局部最大值才能被标记为边缘；双阈值处理，以便通过阈值确定弱边缘；以及边缘跟踪，以便最终边缘的确定通过抑制所有没有和强边缘相连的边缘实现。

具体而言，canny算法的步骤如下：

1.去噪声。任何边缘检测算法都不可能在未经处理的原始数据上很好地处理，所以第一步是对原始数据与高斯mask作卷积，得到的图像与原始图像相比有些轻微的模糊(blurred)。这样，单独的一个像素噪声在经过高斯平滑的图像上变得几乎没有影响。

2.寻找图像中的亮度梯度。图像中的边缘可能会指向不同的方向，所以Canny算法使用4个mask检测水平、垂直以及对角线方向的边缘。原始图像与每个mask所作的卷积都存储起来。对于每个点我们都标识在这个点上的最大值以及生成的边缘的方向。这样我们就从原始图像生成了图像中每个点亮度梯度图以及亮度梯度的方向。

3.在图像中跟踪边缘。较高的亮度梯度比较有可能是边缘，但是没有一个确切的值来限定多大的亮度梯度是边缘多大又不是，所以Canny使用了滞后阈值。

4.滞后阈值需要两个阈值——高阈值与低阈值。假设图像中的重要边缘都是连续的曲线，这样我们就可以跟踪给定曲线中模糊的部分，并且避免将没有组成曲线的噪声像素当成边缘。所以我们从一个较大的阈值开始，这将标识出我们比较确信的真实边缘，使用前面导出的方向信息，我们从这些真正的边缘开始在图像中跟踪整个的边缘。在跟踪的时候，我们使用一个较小的阈值，这样就可以跟踪曲线的模糊部分直到我们回到起点。一旦这个过程完成，我们就得到了一个二值图像，每点表示是否是一个边缘点。

5.一个获得亚像素精度边缘的改进实现是在梯度方向检测二阶方向导数的过零点。它在梯度方向的三阶方向导数满足符号条件。其中Lx，Ly...Lyyy表示用高斯核平滑原始图像得到的尺度空间表示L计算得到的偏导数。用这种方法得到的边缘片断是连续曲线，这样就不需要另外的边缘跟踪改进。滞后阈值也可以用于亚像素边缘检测。

Canny算法包含许多可以调整的参数，它们将影响到算法的计算的时间与实效。高斯滤波器的大小：第一步所有的平滑滤波器将会直接影响Canny算法的结果。较小的滤波器产生的模糊效果也较少，这样就可以检测较小、变化明显的细线。较大的滤波器产生的模糊效果也较多，将较大的一块图像区域涂成一个特定点的颜色值。这样带来的结果就是对于检测较大、平滑的边缘更加有用，例如彩虹的边缘。阈值：使用两个阈值比使用一个阈值更加灵活，但是它还是有阈值存在的共性问题。设置的阈值过高，可能会漏掉重要信息；阈值过低，将会把枝节信息看得很重要。很难给出一个适用于所有图像的通用阈值。目前还没有一个经过验证的实现方法。

Canny算法适用于不同的场合。它的参数允许根据不同实现的特定要求进行调整以识别不同的边缘特性。对于PC上的实时图像处理来说可能慢得无法使用，尤其是在使用大的高斯滤波器的情况下。但是，我们讨论计算能力的时候，也要考虑到随着处理器速度不断提升，有望在未来几年使得这不再成为一个问题。

Hough变换是一种利用形状的边缘点估计形状参数的方法，要检测一条表达式为y＝mx+b的直线我们对Canny算子检测到的每个边缘点对应可能的所有m和b进行投票，最后票数最多的m和b对应的直线就给出了偏光图像中路肩的位置。图3是对应的路肩检测结果，其中粗实线为检测到的路肩。具体的Hough变换可以参见网址：http://en.wikipedia.org/wiki/Hough_transform中所记载的内容。

通过路肩信息获取路面范围。在这里使用了路肩和基于规则的先验知识，例如在通常情况下两侧路肩之间的区域是路面。在简单的情况中，我们可以延长最外侧的两条路肩找到它们的交点，这样在以两个路肩之间和下面的像素都是路面像素。图4是对应的结果。

在路面范围内检测可能的车辆底部区域。这是通过在偏光图像中搜索车轮的显著模式实现的，我们提出一种基于共生矩阵的检测方法。这是本专利的关键步骤，由于车轮与路面在偏光图像中具有截然不同的模式，具体的来说两个车轮表现为像素值与路面差别很大的两条平行直线，所以利用这种方法可以有效的检测它们。

基于共生矩阵的车辆底部检测有以下步骤：

二值化分离出候选的车轮像素，其中阈值的选取可以根据经验或实验得到。二值化阈值的选择：由于车底部的偏光值与路面反差很大，所以阈值的选择比较简单。可以直接从一幅含有车辆的偏光图像中分析车辆底部像素值和路面像素值的分布范围，找到它们各自的重心，取两个重心的平均值作为阈值；也可以利用路面区域的直方图，寻找两个峰值之间的谷值作为阈值。

平滑以降低噪声的影响，其中平滑可以采用均值滤波或高斯平滑等方式；扫描窗口从上到下从左至右扫过所有路面区域；其中扫描窗口是一系列矩形窗口，其大小和长宽比符合合理的车辆大小的变化范围，这种范围属于先验知识，可以通过观察得到；以及按公式(1)计算共生矩阵的元素：

$C_{\mathrm{\Δx},0}\left(\mathrm{1,1}\right)=\underset{p=1}{\overset{n}{\mathrm{\Σ}}}\underset{q=1}{\overset{m}{\mathrm{\Σ}}}\left\{\begin{array}{c}1,\mathrm{ifB}(p,q)=1\mathrm{andB}(p+\mathrm{\Δx},q)=1\\ 0,\mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中中C_Δx，0(1，1)代表一个共生矩阵元素，即水平相隔Δx的两个像素值都为1的像素对数目；m和n分别代表搜索窗口的长和宽。关于共生矩阵可以参见网址http://en.wikipedia.org/wiki/Co-occurrence_matrix中的描述。

如果max{C_Δx，0(1，1)|Δx＝1，...n}大于预先设定的阈值(根据经验确定)就检测到了两条平行直线，进而得到了一对车轮进而得到了一个可能的车辆底部区域，而它的位置就是当前的扫描窗口。

对上一步检测到的所有可能的车辆底部区域进行后处理，即利用聚类等方法将相似的区域合并为一个。

请注意：所有操作都只在路面范围内进行；考虑到近大远小的规律，扫描窗口的大小可以从上向下递增来提高扫描速度；以及扫描窗口的滑动轨迹如图5所示其中白色区域为路面，每个红色矩形代表一个扫描窗口，箭头方向为滑动方向。

图6给出了步骤3后得到的可能的车辆底部区域。

基于可能的车辆底部区域和其他信息获取可能的车辆区域。边缘以及先验知识可以用于实现这个目标，例如根据先验知识步骤3得到的可能底部矩形区域，左右两条边向上延伸应该是车辆的两侧，车辆与背景(路面或建筑物等其他区域)的偏光性是不同的，因此在偏光图像中它们之间存在边缘，尽管这个边缘(称为弱边缘)不像车轮与路面之间的边缘(称为强边缘)那样明显，但可以通过跟踪这个边缘向上延长底部区域的左右两边，获取车辆的两侧，而车顶与背景也有不同的偏光性，所以可以得到类似的弱边缘并与车辆两侧的弱边缘以及底部区域的底边相连构成车辆轮廓的矩形。

大部分车辆的长宽比的范围是可知的，利用这个先验知识，我们可以降低噪声产生的其他弱边缘对车辆轮廓线检测造成的影响。在底部检测到之后，车辆的宽度就确定了，只要能找到车辆的上边缘即可得到车辆的轮廓。不同的车辆长宽比不同，但存在一个可能的范围，根据这个范围和底部位置即可得到上边缘的可能范围。例如假定车辆的长宽比(长/宽)范围为[r1，r2]，而前面检测到的车辆底部下沿宽度为w，纵坐标均值为y，则车辆上边缘纵坐标范围为[r1*w+y，r2*w+y]，横坐标与底部相同。在这个比较小的范围内，检测水平弱边缘即可检测到车辆顶部，具体来说可以使用Sobel算子Gy对上边缘可能范围滤波，然后采用比较低的阈值进行二值化得到水平边缘，然后向y轴投影，边缘点最密集处对应的y值即为车辆上边缘。由车辆的上边缘和底部以及底部两端向上延伸得到的侧边围成的矩形，即为可能的车辆区域。

$G_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

在这一步之后就得到了车辆的可能位置，如图7所示。

图8给出了本专利上述整个算法的流程图。对于整个车辆检测系统而言，在生成可能车辆位置之后，将执行验证的步骤来确定可能的位置是否是车辆，但验证的步骤不包含在本专利范围内。

在步骤S801处，采用偏光照相机17获取整个路面的偏光图像。之后，在步骤S802处，由路肩检测模块12执行Canny边缘检测并执行Hough变换，获取偏光图像中的路肩。随后，在步骤S803处，由路面检测模块13基于所检测到的路肩位置，根据先验知识获取偏光图像中的路面部分。然后，在步骤S804处，通过车辆底部检测模块14利用先验知识所确定的阈值以及共生矩阵获车辆的底部。最后，在步骤S805处，可能车辆位置生成模块15基于前面所进行的选择，获得可能车辆位置。

图9给出了本发明的设备图，10是整个车辆检测系统。11是车辆可能位置生成系统，它包括软件部分11和硬件部分16两个子系统。软件子系统11包含路肩检测模块12，路面检测模块13，车辆底部检测模块14，和可能车辆位置生成模块15。11利用本专利提出的方法实现了可能车辆位置生成，作为11的输出，可能的车辆位置信息可以输入到验证系统以判定是否是车辆或用于其他用途。硬件子系统16包括偏光成像传感器17，内存储器单元18和输入输出单元19，16为11提供数据和其他支持。

本发明所述的方法可以在一台计算机(处理器)上执行，或者可以被多台计算机分布式执行。此外，程序可以被转移到在那儿执行程序的远程计算机。

本领域的普通技术人员应该理解到，根据设计要求和其他因素，只要其落入所附权利要求或其等效物的范围内，可以出现各种修改、组合、部分组合和替代。

Claims (5)

1.一种利用偏光图像检测车辆位置的方法，包括：

利用偏光照相机获取路面的偏光图像；

根据所获取的偏光图像中路面与路肩的方向不同，计算出所述偏光图像中的路肩，并将所计算获得的路肩之间的部分确定为路面部分；

从被确定为路面部分中，根据在偏光图像中车辆的车轮的偏光图像的像素值与实际路面的偏光图像的像素值的显著区别区分出路面部分中可能车辆的底部；

针对每个所区分出的可能车辆的底部，根据车辆的轮廓的偏光图像的像素值与其背景偏光图像的像素值的区别，获取基于所述可能车辆的底部的可能车辆位置，

其中所述区分出路面部分中可能车辆的底部包括：

基于预定像素阈值，对所述被确定为路面的部分的偏光图像进行二值化处理，从而分离出候选的车轮的像素；以及

采用其大小按照在偏光图像中从上向下成比例递增变化的扫描窗口，从上到下从左至右扫过所有路面部分，并针对所分离出的候选的车轮的像素，计算每个扫描窗口内的共生矩阵的元素，从而将所计算的共生矩阵的元素中其最大值大于一预定元素值阈值的扫描窗口所在位置确定为可能车辆的底部。

2.如权利要求1所述的利用偏光图像检测车辆位置的方法，其中所述区分出路面部分中可能车辆的底部还包括：

在分离出候选的车轮的像素之后，对所分离出的候选的车轮的像素执行平滑处理以降低噪声。

3.如权利要求1所述的利用偏光图像检测车辆位置的方法，其中所述计算出所述偏光图像中的路肩的步骤包括：

利用Canny边缘算法得到边缘像素；以及

利用Hough变换检测获得作为路肩的线。

4.如权利要求3所述的利用偏光图像检测车辆位置的方法，其中所述获取基于所述可能车辆的底部的可能车辆位置的步骤包括：

基于可能车辆的底部的边缘以及车辆的先验知识，沿着左右两条边缘向上延伸获得车辆的两侧；以及

基于车顶与背景不同的偏光性，可得到作为车顶的弱边缘，从而与车辆两侧的边缘以及底部区域的底边相连构成车辆轮廓的矩形。

5.一种利用偏光图像检测车辆位置的系统，包括：

偏光图像获取模块，获取路面的偏光图像；

路肩检测模块，根据所获取的偏光图像中路面与路肩的方向不同计算出所述偏光图像中的路肩；

路肩检测模块，将所计算获得的路肩之间的部分确定为路面部分；

可能车辆底部检测模块，从被确定为路面部分中，根据在偏光图像中车辆的车轮的偏光图像的像素值与实际路面的偏光图像的像素值的显著区别区分出路面部分中可能车辆的底部；

可能车辆位置生成模块，针对每个所区分出的可能车辆的底部，根据车辆的轮廓的偏光图像的像素值与其背景偏光图像的像素值的区别，获取基于所述可能车辆的底部的可能车辆位置，

其中所述可能车辆底部检测模块通过如下步骤来区分出路面部分中可能车辆的底部：

基于预定像素阈值，对所述被确定为路面的部分的偏光图像进行二值化处理，从而分离出候选的车轮的像素；以及

采用其大小按照在偏光图像中从上向下成比例递增变化的扫描窗口，从上到下从左至右扫过所有路面部分，并针对所分离出的候选的车轮的像素，计算每个扫描窗口内的共生矩阵的元素，从而将所计算的共生矩阵的元素中其最大值大于一预定元素值阈值的扫描窗口所在位置确定为可能车辆的底部。