CN101030256B

CN101030256B - 车辆图像分割方法和装置

Info

Publication number: CN101030256B
Application number: CN200610009379A
Authority: CN
Inventors: 邹博; 傅鹏宇; 李福永
Original assignee: Neusoft Corp; Alpine Electronics Inc
Current assignee: Neusoft Medical Systems Co Ltd; Neusoft Corp; Alpine Electronics Inc; Alpine Co Ltd
Priority date: 2006-02-28
Filing date: 2006-02-28
Publication date: 2010-05-12
Anticipated expiration: 2026-02-28
Also published as: CN101030256A; JP2007234019A

Abstract

本发明涉及基于车底阴影的车辆图像分割方法和车辆图像分割装置。本发明的车辆图像分割方法，包括如下步骤：图像输入步骤，输入拍摄了道路上的车辆行驶状况的图像；梯度分布检测步骤，对由上述图像输入步骤输入的图像计算出梯度分布；车底阴影候选区域确定步骤，根据上述图像中的梯度信息来确定车底阴影候选区域。根据本发明的车辆图像分割方法和装置，在车辆处于其他物体的投射投影中，或处在不均匀的光照下，或者在没有车道线等情况时，均能正确分割出图像中所有车辆。并且，本发明的车辆图像分割方法和装置能够推广到多车道的路况应用中。

Description

车辆图像分割方法和装置

技术领域

本发明涉及基于车底阴影的车辆图像分割方法和车辆图像分割装置。

背景技术

在智能交通系统(Intelligent Transport Systems，ITS)的各个领域中，基于机器视觉识别车辆图像时，首先把图像中可能存在车辆的区域从图像中分割出来。通常根据要识别的车辆的某些特征或特征集合的相似性，来提取出图像中可能存在车辆的区域，将所提取的可能存在车辆的区域简称为ROI(感兴趣区域，Region Of Interest)。如图1所示，附图标记2表示车底阴影，附图标记1表示ROI。

在阳光或其他光源的照射下，对于不同形状的车辆来说，底部存在阴影是其共同特征，因此，车底阴影是在基于机器视觉的车辆图像分割(Vehicle Candidate Generation)技术中分割车辆图像时所依据的一个主要特征。在现有技术中，已经公开有如下几种基于车底阴影特征的车辆图像分割方案。

现有的基于车底阴影的第一种车辆图像分割方案，基于车底阴影区域的亮度比路面暗的特点来从图像中分割出车辆图像区域。该方法如图2所示，在步骤S1，输入由摄像机拍摄到的路况图像；在步骤S2，对在步骤1输入的路况图像计算路面的亮度平均值，并将该平均值设为基准值；在步骤3，将图像中的各像素的亮度值与上述基准值进行比较，并将亮度值比该基准值低的所有区域确定为可能的车底阴影区域即车底阴影候选区域；之后，在步骤S4，根据自车与候选区域之间的距离、以及该候选区域的大小和角度条件，对上述候选区域进行筛选；最后，在步骤S5，输出在步骤S4筛选后的结果，即输出ROI。

但是，在图3和图4所示的情况下，当车辆本身在其他立体物体(如图示的建筑物)的投射阴影中时，由于投射阴影也比路面暗，这时，如果按照上述方法，把路面的平均亮度值作为判断基准来进行车辆图像分割，则将造成错误的判断，将建筑物的投射阴影也错当成车底阴影。如图3所示，车辆图像分割的ROI 3比实际车辆的区域1大很多，因此，没有正确分割出该车辆。如图4所示，将车辆所在的区域分割成各自包含不完整车辆图像的ROI 4和ROI 5，也没能正确分割出该车辆。

根据阴影的形成原理，我们知道车底阴影区域因为亮度叠加的关系总是相比其周围的区域更暗。也就是说，即使是在投射阴影中或不同光照下，车底阴影区域始终具有比其周围区域亮度更暗的特征。上述的根据平均灰度值确定车底阴影区域的现有方法，没有考虑到车底阴影的这个特征，因而在车辆处于其他物体的投射投影中或处在不均匀的光照下时，无法正确分割车辆。

日本专利文献特开2003-76987公开的车辆图像分割技术，考虑到车底阴影区域始终具有比其周围区域亮度更暗的特征，并为了解决车辆处于其他物体的投射阴影中时无法正确分割车辆的问题，给出了如下的技术方案.该技术方案，如图5所示，首先在步骤S21，输入由摄像机拍摄到的路况图像；在步骤S22，检测自车行驶车道的车道线；在步骤S23，根据所检测到的车道线，在自车车道的特定区域内计算路面的亮度值分布，并根据亮度值的分布得到一个亮度值分布函数，自车车道的特定区域是指由图像的最低部至其上部的不包含任何阴影的区域；在步骤S24，将自车行驶车道内的所有像素的亮度值与由上述亮度值分布函数得到的设定值进行比较，并将亮度值低于该设定值的所有区域设定为车底阴影候选区域；在步骤S25，基于处于其他物体投射阴影中的车辆的车底阴影比其他物体的投射阴影更暗的特征，根据车底阴影候选区域内的亮度值分布，找出候选区域内亮度更暗的区域，确定这些区域为车底阴影区域；最后，在步骤26，基于在步骤S25所确定的车底阴影区域，输出ROI.

但是，在上述第二种方法中，由于必须先找出自车的车道线，然后基于该车道线来求出路面亮度值分布，因此，在路面上没有车道线或所拍摄的图像中没有拍摄到车道线的情况下，无法确定用于求出亮度值分布的路面，进而无法进行其后续步骤，从而不能够完成对车辆图像的分割。

此外，如图6所示，在自然条件下，由于路面的亮度会受到光照、其它建筑物投影和路面颜色变化的影响，路面的亮度分布是复杂且不规律的。由于上述第二种方法在自车行驶车道内计算路面亮度值的分布，因此该亮度值分布不能代表多车道的路面复杂且不规律的亮度分布情况，所以其技术方案无法推广到多车道情况下使用。

在上述第二种方法中，由于计算路面亮度值分布的区域为图像的最底部(Y＝0)至其上部的不包含任何阴影的区域(Y＝Y₀)，当在图像最底部出现亮度较暗区域的情况下(如图7所示)，若对包含最底部至其上部的不包含任何阴影的区域(该区域包含上述的最底部较暗区域)计算路面的亮度值分布，则根据上述的亮度值分布而得到的亮度值分布函数所计算出的设定值可能会过小(亮度低)，从而在以所述设定值作为基准值(阈值)来对图像上的不同亮度像素进行比较，并将比该亮度均值小的亮度的像素设定为车底阴影候选区域的像素时，必然导致不能正确分割车辆。

发明内容

本发明是充分考虑了上述的现有技术存在的问题，其目的在于，提供一种即使车辆处于其他物体的投射投影中，或处在不均匀的光照下，或者在没有车道线等情况时，均能正确分割出图像中所有车辆的车辆图像分割方法和装置。并且，本发明的车辆图像分割方法和装置能够推广到多车道的路况应用中。

本发明的车辆图像分割方法，包括如下步骤：图像输入步骤，输入拍摄了道路上的车辆行驶状况的图像；梯度分布检测步骤，对由上述图像输入步骤输入的图像计算出梯度分布；以及车底阴影候选区域确定步骤，根据上述图像中的梯度信息来确定车底阴影候选区域，在所述车底阴影候选区域确定步骤中，包括如下步骤：根据由图像梯度分布检测步骤检测出的上述图像的梯度分布信息，从上述图像中提取出所有在垂直方向上的差分值为负值的像素点。

本发明车辆图像分割方法的特征还在于，在所述车底阴影候选区域确定步骤中，根据车底阴影区域具有相对于其周围区域更暗的特征，来确定所述车底阴影候选区域。

本发明车辆图像分割方法的特征还在于，所述车底阴影候选区域确定步骤中，还包括如下步骤：判断上述提取的像素点是否满足下述的两个条件，并将满足下面的两个条件的像素点确定为车底阴影候选区域的边缘点，所述两个条件是：(a)、当前像素点的梯度值大于在梯度方向上与该点相邻的两个像素点的梯度值；(b)、在(a)中所述的相邻两点是与当前像素点在梯度方向上的方向差小于45度的相邻点.

本发明的车辆图像分割装置，包括：图像输入单元，输入拍摄了道路上的车辆行驶状况的图像；梯度分布检测单元，对由上述图像输入单元输入的图像计算出梯度分布；以及车底阴影候选区域确定单元，根据上述图像的梯度信息，来确定车底阴影候选区域，所述车底阴影候选区域确定单元根据图像梯度分布检测单元检测出的上述图像的梯度分布信息，从上述图像中提取出所有在垂直方向上的差分值为负值的像素点。

根据本发明技术方案，即使车辆处于其他物体的投射投影中，或处在不均匀的光照下，或者在没有车道线等情况时，均能够正确分割出车辆图像。并且，本发明的车辆图像分割方法和装置能够推广到多车道的路况应用中。

附图说明

图1是ROI区域和车底阴影区域的示意图。

图2是现有技术中的一例车辆图像分割方法的流程图。

图3是按照现有技术对车辆处于建筑物阴影下的情况进行车辆图像分割的一例。

图4是按照现有技术对车辆处于建筑物阴影下的情况进行车辆图像分割的另一例。

图5是现有技术中的另一例车辆图像分割方法的流程图。

图6是通常情况下的路面亮度分布。

图7是图像最底部亮度较暗的情况。

图8是本发明实施方式的图像分割方法的流程图。

图9是本发明实施方式的基于像素梯度搜索局部相对较暗区域的流程图。

图10是本发明实施方式的图像分割装置结构图。

具体实施方式

图10是本发明实施方式的车辆图像分割装置的结构图。如该图10所示，本实施方式的车辆图像分割装置包括图像输入单元11、梯度分布检测单元12、车底阴影候选区域确定单元13、ROI确定单元14。

下面，根据图8和图9，说明本实施方式的车辆图像分割方法。

图像输入单元11将电视摄像机、监视摄像机等摄像装置拍摄到的道路上的车辆行驶状况图像输入到梯度分布检测单元12(步骤S11)。

梯度分布检测单元12利用下面的公式1～公式4，对由上述图像输入单元11输入的图像检测出梯度分布(步骤S12)。

下面列出本实施例中所应用的公式和有关梯度的概念。

G (x, y) = [\begin{matrix} G_{x} \\ G_{y} \end{matrix}] = [\begin{matrix} \frac{&PartialD; f}{&PartialD; x} \\ \frac{&PartialD; f}{&PartialD; y} \end{matrix}]

(公式1)

其中，梯度由一阶导数的二维等效式表示.图像函数f(x，y)在点(x，y)的梯度(即一阶微分)是一个具有方向和幅值(大小)的矢量.

梯度的方向是点(x，y)的最大变化率方向。由公式2表示。

a(x，y)＝arctan(G_y/G_x) (公式2)

梯度的幅值(大小)是点(x，y)的梯度的方向上的变化强度。由下面的公式3表示。

| G (x, y) | = \sqrt{G_{x}^{2} + G_{y}^{2}}

(公式3)

在实际应用梯度时，为了计算的方便性，往往采用差分值来近似计算Gx、Gy，如下面的公式4所示。

G_x＝f[i，j+1]-f[i，j]

(公式4)

G_y＝f[i，j]-f[i+1，j]

在步骤S12，使用公式4来计算图像像素在水平方向和垂直方向的亮度差分之后，用公式1-3来计算各像素的梯度，从而算出整个图像的梯度分布。

通过步骤S12的计算，得到整个图像的梯度分布，该梯度分布包含整个图像中所有的亮度相对变化的信息。即，不管图像是否是包含多个车道的图像，或者图像中包含了不同的多种光照下的路况，或者是该图像中包含了路边建筑物的投影以及路面的各种颜色，该梯度分布均包含当前图像中所有车辆的车底阴影的信息。

梯度分布检测单元12在检测出图像的梯度分布之后，将其结果输出给车底阴影候选区域确定单元13(步骤S12)。

车底阴影候选区域确定单元13根据梯度分布检测单元12输出的梯度信息，在图像中提取出车底阴影候选区域(步骤S13)。具体来说，具有比周围区域亮度更暗的车底阴影区域的边缘像素的梯度信息，通过公式4的计算表现为在垂直方向上的差分值Gy为负值。车底阴影候选区域确定单元13根据这个特点，在图13所示的步骤S131，对所有在垂直方向(Gy方向)上的梯度值为负值的像素点进行标记。在步骤S132，车底阴影候选区域确定单元13判断所标记的像素点是否符合下面的两个预定条件，并将所有符合下面两个预定条件的边缘像素点确定为车底阴影的边缘点。

上述两个预定条件如下：

(a)、当前像素点的梯度值大于在梯度方向上与该点相邻的两个像素点的梯度值；

(b)、在(a)中所述的相邻两点是与当前像素点在梯度方向上的方向差小于45度的相邻点。

之后，在步骤S133，车底阴影候选区域确定单元13将在步骤S132确定的车底阴影的边缘点坐标，输出给ROI确定单元14。

在步骤S14，ROI确定单元14根据自车与上述车底阴影候选区域的距离、大小和角度，来确定ROI，并输出该所确定的ROI。即，通过前面的处理我们得到了可能的车底阴影候选区域，接下来通过摄像机标定的方法对所有候选的ROI的深度信息和宽度信息进行计算和判断。排除宽度过大或过小的ROI，排除由于噪音的干扰而产生的错误分割，并最终得到正确的ROI。

最后，在步骤S15输出所得到的ROI。

以上，对本发明的一个实施方式进行了说明，但是也可以对上述实施方式进行各种变形。如，梯度分布检测单元12也可以对图像的各像素亮度不使用公式4求出一阶差分，来近似求出梯度分布。可以先使用sobel算子(苏贝尔算子)、prewitt算子(普雷威特算子)、canny算子等水平边缘算子，对图像中的像素亮度进行处理而得到Gx、Gy值之后，再利用公式1-3求出其梯度值。这样，可以利用sobel算子、prewitt算子对噪声的抑制功能，来提高边缘提取的精度。

由于上述本发明的实施方式利用车底阴影区域的图像亮度总是比其周围的图像亮度低的特点，根据检测出的图像的梯度分布信息来确定车底阴影候选区域，因此，与现有技术相比，能够更加准确地分割出车底阴影区域。

并且，上述本发明的实施方式的由于根据检测出的图像的梯度分布信息来确定车底阴影候选区域，因此，不受车道线的限制，能够适用于多车道的情况。并且，本发明不限于从包含车辆前方图像的路况图像中分割出ROI，还可从包含有车辆后方图像的路况图像中分割出ROI。

Claims

1.一种车辆图像分割方法，包括如下步骤：

图像输入步骤，输入拍摄了道路上的车辆行驶状况的图像；

梯度分布检测步骤，对由上述图像输入步骤输入的图像计算出梯度分布；以及

车底阴影候选区域确定步骤，根据上述图像中的梯度信息来确定车底阴影候选区域，

在所述车底阴影候选区域确定步骤中，包括如下步骤：根据由图像梯度分布检测步骤检测出的上述图像的梯度分布信息，从上述图像中提取出所有在垂直方向上的差分值为负值的像素点。

2.如权利要求1所述的车辆图像分割方法，其特征在于，

所述车底阴影候选区域确定步骤中，还包括如下步骤：判断上述提取的像素点是否满足下述的两个条件，并将满足下面的两个条件的像素点确定为车底阴影候选区域的边缘点，所述两个条件是：

3.如权利要求1所述的车辆图像分割方法，其特征在于，在所述梯度分布检测步骤中，计算图像中每一个像素在水平和垂直方向上的亮度差分，并根据该差分值计算各像素的梯度。

4.如权利要求1所述的车辆图像分割方法，其特征在于，还包括感兴趣区域确定步骤，根据上述车底阴影候选区域来确定感兴趣区域。

5.如权利要求1所述的车辆图像分割方法，其特征在于，在图像输入步骤所输入的图像是对多车道道路进行拍摄的图像，该图像中包括车辆后方图像和/或车辆前方图像。

6.一种车辆图像分割装置，包括：图像输入单元，输入拍摄了道路上的车辆行驶状况的图像；梯度分布检测单元，对由上述图像输入单元输入的图像计算出梯度分布；以及车底阴影候选区域确定单元，根据上述图像的梯度信息，来确定车底阴影候选区域，

所述车底阴影候选区域确定单元根据图像梯度分布检测单元检测出的上述图像的梯度分布信息，从上述图像中提取出所有在垂直方向上的差分值为负值的像素点。

7.如权利要求5所述的车辆图像分割装置，其特征在于，所述车底阴影候选区域确定单元根据车底阴影区域具有相对于其周围区域更暗的特征，来确定所述车底阴影候选区域。

8.如权利要求6所述的车辆图像分割装置，其特征在于，

所述车底阴影候选区域确定单元判断上述提取的像素点是否满足下述的两个条件，并将满足下面的两个条件的像素点确定为车底阴影候选区域的边缘点，所述两个条件是：

9.如权利要求6所述的车辆图像分割装置，其特征在于，所述梯度分布检测单元计算图像中每一个像素在水平和垂直方向上的亮度差分，并根据该差分值计算各像素的梯度。

10.如权利要求6所述的车辆图像分割装置，其特征在于，还包括感兴趣区域确定单元，根据上述车底阴影候选区域来确定感兴趣区域。

11.如权利要求6所述的车辆图像分割装置，其特征在于，图像输入单元所输入的图像是对多车道道路进行拍摄的图像，该图像中包括车辆后方图像和/或车辆前方图像。