CN101436253B - 一种用于验证车辆感兴趣区域的方法和装置 - Google Patents

Abstract

本发明涉及一种用于验证车辆感兴趣区域的方法和装置，该装置包括步骤：从摄取的图像中获取在真实世界中基本上平行于预定方向的实际对象在所述图像中形成的边缘线段；以及，根据所述获取的边缘线段，验证已从所述图像中提取的可能包含车辆的感兴趣区域。利用该方法和装置，能够确定图像中未包含有车辆的感兴趣区域，从而降低车辆检测的虚警率。

Description

一种用于验证车辆感兴趣区域的方法和装置

技术领域

本发明涉及基于计算机视觉的车辆检测系统，尤其涉及一种用于验证车辆感兴趣区域的方法和装置。

背景技术

在基于计算机视觉的车辆检测系统中，利用车底阴影、垂直边缘、水平边缘等车辆特征，能够从摄像机所摄取的图像中分割提取出可能包含有车辆的感兴趣区域(ROI：Region Of Interest)。例如，日本专利文献特开2003-76987公开了一种车辆图像分割技术，其利用在车道线限定的区域范围内车底阴影区域始终具有比其周围区域亮度更暗的特征和垂直边缘，从所摄取的图像中分割提取出可能包含有车辆的感兴趣区域，从而定位车辆。

然而，由于路旁护栏和路缘石阴影等影响，这样分割提取得到的一些感兴趣区域实际上并未包含有车辆，从而这样的感兴趣区域会使得车辆检测系统产生虚警。尽管可以对所分割提取的感兴趣区域采用诸如SVM等这样的方法来进一步验证其是否实际上包含有车辆，以消除虚警的出现，但是，采用这些方法将大大增加处理时间，同时也可能会由于验证出错而仍然出现虚警。

此外，在利用上述特征从图像中分割提取感兴趣区域时，由于受车辆的车身侧面的影响，所分割提取得到的感兴趣区域不但包含了车辆的头部或尾部，而且还可能包含了车辆的车身侧面，从而导致所分割提取得到的感兴趣区域的宽度过宽。以图1中左边位于矩形框中的第一辆车为例，即使在一个车道内，利用垂直边缘确定车辆左右边，也不能保证提取的垂直边缘一定就是车辆头部的左右边缘。如图2所示，从图像中可以提取到该车辆的三个垂直边缘，然而中间的垂直边缘并不明显，因此，所分割提取的感兴趣区域很可能就是垂直边缘L1和L2之间的部分，很显然，如图3所示，该感兴趣区域将车身也包括在内了。

然而，当利用车辆宽度来判断感兴趣区域内是否包含有车辆时，由于感兴趣区域的宽度过宽大于车辆宽度而导致车辆检测系统做出该感兴趣区域内不包含车辆的错误判断，最终导致漏警。例如，日本专利特开2004-355139公开了一种方法，其利用车辆宽度通常在1-3m范围内的事实，将其在实际中的宽度小于1m或大于3m的感兴趣区域都判断为未包含车辆的感兴趣区域。

发明内容

考虑到上述问题，本发明的目的在于提供一种用于验证车辆感兴趣区域的方法和装置，其能够确定图像中未包含有车辆的感兴趣区域，从而降低车辆检测的虚警率。

本发明的另一目的在于提供一种用于验证车辆感兴趣区域的方法和装置，其能够调整感兴趣区域的宽度。

为了实现本发明的目的，按照本发明的一种用于验证车辆感兴趣区域的方法，包括步骤：

从摄取的图像中获取在真实世界中基本上平行于预定方向的实际对象在所述图像中形成的边缘线段；以及

根据所述获取的边缘线段，验证已从所述图像中提取的可能包含车辆的感兴趣区域。

为了实现本发明的目的，按照本发明的一种用于验证车辆感兴趣区域的装置，包括：

获取模块，用于从摄取的图像中获取在真实世界中基本上平行于预定方向的实际对象在所述图像中形成的边缘线段；以及

验证模块，用于根据所述获取的边缘线段，验证已从所述图像中提取的可能包含车辆的感兴趣区域。

附图说明

本发明的其他特征和优点将通过以下结合附图的详细描述而变得更加显而易见，其中：

图1示出了一个所摄取的图像的例子。

图2示出了从图1的图像中提取边缘得到的边缘图像示意图。

图3示出了基于图2的边缘图像所分割提取的感兴趣区域的示意图。

图4示出了本发明第一实施例的用于验证感兴趣区域的方法流程图。

图5a示出了本发明第一实施例的边缘线段的示意图。

图5b示出了本发明第一实施例的形成图5a中的边缘线段的实际对象的示意图。

图6示出了本发明第一实施例的验证感兴趣区域的一个例子。

图7示出了本发明第一实施例的验证感兴趣区域的另一个例子。

图8示出了本发明第一实施例的调整感兴趣区域大小的一个例子。

图9a示出了本发明另一实施例的摄像机放置的正视图。

图9b示出了本发明另一实施例的摄像机放置的俯视图。

图10示出了本发明一个实施例的用于验证车辆感兴趣区域的装置的结构示意图。

具体实施方式

应当理解，在诸如摄像机这样的摄像装置所摄取的图像中的每一个图形，都对应于真实世界中的一个实际对象，即其都是由真实世界中的一个实际对象在该图像中形成的。例如，图像中的车辆图形是由真实世界中的实际车辆在该图像中形成的，图像中的边缘线段图形是由真实世界中的实际的车道线、马路边缘等在该图像中形成的。

本发明的核心思想是：首先，从摄像装置所摄取的图像中获取在真实世界中基本上平行于预定方向的实际对象在所述图像中所形成的边缘线段；然后，根据所述获取的边缘线段，验证已从所述图像中分割获取的可能包含车辆的感兴趣区域，以确定出未包含车辆的感兴趣区域。

下面将结合附图，以安装有摄像机且行驶方向与该摄像机光轴方向一致的目标车辆为例，详细描述本发明的用于验证感兴趣区域的方法和装置。

图4示出了本发明第一实施例的用于验证感兴趣区域的方法流程图。如图4所示，首先，利用诸如canny、sobel等这样的边缘滤波器，从安装在目标车辆上的摄像机所摄取的图像中，提取与已经从该图像中分割提取的可能包括车辆的感兴趣区域的任意一个相交的边缘线段，其中，所提取的边缘线段的两个端点是所提取的边缘线段与感兴趣区域相交的两个交点(步骤S10)。

接着，计算每一个所提取的边缘线段在真实世界中所对应的实际对象的两个端点分别与摄像机和摄像机光轴位于其内且垂直于道路的平面的垂直距离(步骤S20)。

为了便于描述，在本实施例中，假设摄像机光轴在路面上的投影所指向的方向为Y方向，而与Y方向相垂直的方向为X方向。基于这个假设，实际对象的端点与摄像机的垂直距离就是实际对象的端点在Y方向上与摄像机的距离，而实际对象的端点与摄像机光轴位于其内且垂直于道路的平面的垂直距离就是实际对象的端点在X方向上与摄像机的距离。

在本实施例中，真实世界中的实际点P在Y方向和X方向上与摄像机的距离按照以下公式计算：

              Δ_Y＝a_y/(v-v₀)    (1)

            Δ_X＝(u-u₀)a_y/a_x(v-v₀)    (2)

            Δ_Z＝H/(cosα+sinαΔ_Y)   (3)

            X_P＝Δ_XΔ_Z                (4)

            Y_P＝cosαΔ_ZΔ_Y-sinαΔ_Z  (5)

其中，Y_p为实际点P在Y方向上与摄像机的距离，X_p为实际点P在X方向上与摄像机的距离，H为摄像机距路面的高度，a_x、a_y分别为摄像机的径向畸变系数和切向畸变系数，其中，a_x＝f/d_x，a_y＝f/dy(f是相机的焦距，ds和dy是每个象素在x轴和y轴方向上的物理尺寸)，u₀，v₀为摄像机内部参数。α为摄像机的俯仰角，即摄像机光轴与路面的夹角，如图9a所示；u为在图像中由实际点P所形成的图像点P′在图像坐标系的纵坐标，v是由实际点P所形成的图像点P′在图像坐标系的横坐标。

基于上面的公式(1)-(5)，计算得到实际对象的端点P₁和P₂在Y方向上与摄像机的距离Y_P1和Y_P2以及它们在X方向上与摄像机的距离X_P1和X_P2，如图5a和5b所示。

然后，计算每个边缘线段所对应的实际对象与目标车辆行驶方向的夹角ω(步骤S30)。在本实施例中，由于目标车辆行驶方向与摄像机光轴方向一致，所以将每个边缘线段所对应的实际对象与摄像机光轴的夹角θ作为每个边缘线段所对应的实际对象与目标车辆行驶方向的夹角ω。

每个边缘线段所对应的实际对象与摄像机光轴的夹角θ按照以下公式计算：

$\left\{\begin{array}{c}\mathrm{\θ}=a\tan ({\mathrm{Dis}}_x/{\mathrm{Dis}}_y)\\ {\mathrm{Dis}}_y=|Y_{p1}-Y_{p2}|\\ {\mathrm{Dis}}_x=X_{p1}-X_{p2}\end{array}\right.---\left(4\right)$

其中，Dis_y为实际对象的端点P₁和P₂在Y方向上的距离，Dis_x为实际对象的端点P₁和P₂在X方向上的距离。

接着，将满足ω∈[-10°，10°]的实际对象确定为近似平行于目标车辆行驶方向的实际对象(步骤S40)。由于在本实施例中，ω＝θ，所以ω∈[-10°，10°]就是θ∈[-10°，10°]。

然后，根据与所确定的实际对象相对应的边缘线段，验证已经从所摄取的图像中分割提取的可能包括车辆的感兴趣区域(步骤S50)。

具体地，如果所确定的实际对象所对应的边缘线段与感兴趣区域相交的交点未位于该感兴趣区域的底边上，则确定该感兴趣区域是未包含有车辆的感兴趣区域。如图6所示，由于边缘线段P₁′P₂′与左边和右边的感兴趣区域相交的交点P₁′和P₂′都未位于这两个感兴趣区域的底边上，所以这两个感兴趣区域被确定为未包含车辆的区域。

如果所确定的实际对象所对应的边缘线段与感兴趣区域底边具有交点，并且该交点与在该感兴趣区域中距离摄像机光轴较远的垂直边缘在水平方向(X方向)上的像素距离在真实世界中所对应的实际距离小于最小车宽，则确定该感兴趣区域是未包含有车辆的感兴趣区域。如图7所示，由于边缘线段P₁′P₂′与左边和右边的感兴趣区域的底边具有交点P₁′，且P₁′与在这两个感兴趣区域中距离摄像机光轴较远的垂直边缘在水平方向(X方向)上的像素距离在真实世界中所对应的实际距离W₁小于最小车宽，所以这两个感兴趣区域被确定为未包含车辆的区域。

此外，当所确定的实际对象所对应的边缘线段与感兴趣区域底边具有交点，且该交点与在该感兴趣区域中距离摄像机光轴较远的垂直边缘在水平方向上的像素距离在真实世界中所对应的实际距离大于最小车宽，则确定该感兴趣区域为包含有车辆的图像区域。进而，如果与该感兴趣区域相交的边缘线段所对应的实际对象的Dis_y大于最小车辆长度，则把该感兴趣区域中其底边交点到距离摄像机光轴较远的垂直边缘之间部分区域分割提取为感兴趣区域，其仅包含车辆头部或尾部，而剩余部分分割提取为包含车辆车身侧面的图像区域。如图8中所示，在原来所分割提取的左边和右边车辆的感兴趣区域中，虚线所表示的区域是包含车身侧面的图像区域，其余部分是仅包含车辆头部或尾部的图像区域。

在上述实施例中，所提取的边缘线段的端点是其与感兴趣区域相交的交点，然而本发明并不局限于此。在本发明中，所提取的边缘线段的端点可以不是其与感兴趣区域相交的交点。

在上述第一实施例中，安装在目标车辆上的摄像机的光轴与目标车辆的行驶方向一致，但是本发明并不局限于此。在本发明的其它实施例中，安装在目标车辆上的摄像机的光轴方向可以与目标车辆的行驶方向具有一定的夹角β，如图9b所示，此时只需将公式(3)-(5)修改成公式(6)-(8)。在这种情况下，ω＝β-θ或者ω＝θ-β

Δ_Z＝H/(cosα+sinβsinαΔ_X+cosβsinαΔ_Y)        (6)

X_P＝cosβΔ_XΔ_Z-sinβΔ_ZΔ_Y                       (7)

Y_P＝sinβcosαΔ_XΔ_Z-sinαΔ_Z+cosβcosαΔ_ZΔ_Y    (8)

此外，在上述第一实施例中，摄像机安装在目标车辆上，但是本发明并不局限于此。在本发明的其它实施例中，摄像机也可以安装静止不动的物体上。在这种情况下，在步骤S30中计算每个边缘线段所对应的直线状对象与摄像机所监视的道路方向的夹角Ψ。当摄像机的光轴方向与道路方向相一致时，Ψ就等于每个边缘线段所对应的直线状对象与摄像机光轴的夹角θ。当摄像机的光轴方向与道路方向具有一定的夹角β时，与上述计算方法相同。

本发明的用于验证感兴趣区域的方法既可以采用软件方式实现，也可以采用硬件方式或软硬件结合方式实现。

图10示出了本发明一个实施例的用于验证车辆感兴趣区域的装置的结构示意图。如图所示，用于验证车辆感兴趣区域的装置100包括获取模块102、验证模块104和分割模块106。

其中，获取模块102，用于从摄取的图像中获取在真实世界中基本上平行于预定方向的实际对象在所述图像中形成的边缘线段。其中，获取模块102进一步包括：提取模块1022，用于从所述图像中提取与已从所述图像中提取的可能包含车辆的感兴趣区域相交的边缘线段；计算模块1024，用于计算所述提取的边缘线段在真实世界中所对应的实际对象与所述预定方向的夹角；确定模块1026，用于把所述夹角处于预定范围内的实际对象确定为所述基本上平行于所述预定方向的实际对象；以及，查找模块1028，用于找出所述确定的实际对象所对应的边缘线段。

验证模块104，用于根据所述获取的边缘线段，验证已从所述图像中提取的可能包含车辆的感兴趣区域。具体地，当所述获取的边缘线段与所述感兴趣区域具有交点但所述交点未位于所述感兴趣区域的底边时，验证模块104确定所述感兴趣区域是未包含有车辆的图像区域；当所述获取的边缘线段与所述感兴趣区域的底边具有交点，并且所述交点与所述感兴趣区域中距离所述预定方向较远的垂直边缘在水平方向上的像素距离在真实世界中所对应的实际距离小于最小车宽时，验证模块104确定所述感兴趣区域是未包含有车辆的图像区域；当所述获取的边缘线段与所述感兴趣区域的底边具有交点，并且所述交点与所述感兴趣区域中距离所述预定方向较远的垂直边缘在水平方向上的像素距离在真实世界中所对应的实际距离大于最小车宽时，验证模块104确定所述感兴趣区域是包含有车辆的图像区域。

分割模块106，用于当所述获取的边缘线段与所述感兴趣区域的底边具有交点，所述交点与所述感兴趣区域中距离所述预定方向较远的垂直边缘在水平方向上的像素距离在真实世界中所对应的实际距离大于最小车宽，并且所述获取的边缘线段与所述感兴趣区域相交的两个交点之间的像素距离在真实世界中所对应的实际距离小于最小车辆长度时，将所述感兴趣区域中所述底边交点到距离所述预定方向较远的垂直边缘之间的部分分割提取为感兴趣区域，以及将所述感兴趣区域中所述底边交点到距离所述预定方向较近的垂直边缘之间的部分分割提取为包含车身侧面的图像区域。

本领域技术人员应当理解，本发明所公开的用于验证车辆感兴趣区域的方法和装置可以在不脱离发明实质的基础上做出各种变形和改变，这些变形和改变都落在本发明的范围内。因此，本发明的保护范围由所附的权利要求书来限定。

Claims (10)

1.一种用于验证车辆感兴趣区域的方法，包括步骤：

从摄取的图像中获取在真实世界中基本上平行于预定方向的实际对象在所述图像中形成的边缘线段；以及

根据所述获取的边缘线段，验证已从所述图像中提取的可能包含车辆的感兴趣区域，

其中，所述验证步骤进一步包括：

如果所述获取的边缘线段与所述感兴趣区域具有交点但所述交点未位于所述感兴趣区域的底边，则确定所述感兴趣区域是未包含有车辆的图像区域；

如果所述获取的边缘线段与所述感兴趣区域的底边具有交点，并且所述交点与所述感兴趣区域中距离所述预定方向较远的垂直边缘在水平方向上的像素距离在真实世界中所对应的实际距离小于最小车宽，则确定所述感兴趣区域是未包含有车辆的图像区域；以及

如果所述获取的边缘线段与所述感兴趣区域的底边具有交点，并且所述交点与所述感兴趣区域中距离所述预定方向较远的垂直边缘在水平方向上的像素距离在真实世界中所对应的实际距离大于最小车宽，则确定所述感兴趣区域是包含有车辆的图像区域。

2.如权利要求1所述的方法，其中，还包括：

如果所述获取的边缘线段与所述确定的感兴趣区域相交的两个交点之间的像素距离在真实世界中所对应的实际距离大于最小车辆长度，则将所述确定的感兴趣区域中所述底边交点到距离所述预定方向较远的垂直边缘之间的部分分割提取为感兴趣区域。

3.如权利要求1所述的方法，其中，还包括：

如果所述获取的边缘线段与所述确定的感兴趣区域相交的两个交点之间的像素距离在真实世界中所对应的实际距离大于最小车辆长度，则将所述确定的感兴趣区域中所述底边交点到距离所述预定方 向较近的垂直边缘之间的部分分割提取为包含车身侧面的图像区域。

4.如权利要求1所述的方法，其中，所述获取步骤进一步包括：

从所述图像中提取与所述感兴趣区域相交的边缘线段；

计算所述提取的边缘线段在真实世界中所对应的实际对象与所述预定方向的夹角；

把所述夹角处于预定范围内的实际对象确定为所述基本上平行于所述预定方向的实际对象；以及

找出所述确定的实际对象所对应的边缘线段。

5.如权利要求1所述的方法，其中，当摄取所述图像的摄像装置安装在目标车辆上时，所述预定方向是所述目标车辆的行驶方向。

6.如权利要求1所述的方法，其中，当摄取所述图像的摄像装置安装在静止不动的物体上时，所述预定方向是所述摄像设备监控的道路的方向。

7.一种用于验证车辆感兴趣区域的装置，包括：

获取模块，用于从摄取的图像中获取在真实世界中基本上平行于预定方向的实际对象在所述图像中形成的边缘线段；以及

验证模块，用于根据所述获取的边缘线段，验证已从所述图像中提取的可能包含车辆的感兴趣区域，

其中，所述验证模块进一步用于：

当所述获取的边缘线段与所述感兴趣区域具有交点但所述交点未位于所述感兴趣区域的底边时，确定所述感兴趣区域是未包含有车辆的图像区域；

当所述获取的边缘线段与所述感兴趣区域的底边具有交点，并且所述交点与所述感兴趣区域中距离所述预定方向较远的垂直边缘在水平方向上的像素距离在真实世界中所对应的实际距离小于最小车宽时，确定所述感兴趣区域是未包含有车辆的图像区域；以及 

当所述获取的边缘线段与所述感兴趣区域的底边具有交点，并且所述交点与所述感兴趣区域中距离所述预定方向较远的垂直边缘在水平方向上的像素距离在真实世界中所对应的实际距离大于最小车宽时，确定所述感兴趣区域是包含有车辆的图像区域。

8.如权利要求7所述的装置，其中，还包括分割模块，用于当所述获取的边缘线段与所述确定的感兴趣区域相交的两个交点之间的像素距离在真实世界中所对应的实际距离大于最小车辆长度时，将所述确定的感兴趣区域中所述底边交点到距离所述预定方向较远的垂直边缘之间的部分分割提取为感兴趣区域。

9.如权利要求7所述的装置，其中，还包括分割模块，用于当所述获取的边缘线段与所述确定的感兴趣区域相交的两个交点之间的像素距离在真实世界中所对应的实际距离大于最小车辆长度时，将所述确定的感兴趣区域中所述底边交点到距离所述预定方向较近的垂直边缘之间的部分分割提取为包含车身侧面的图像区域。

10.如权利要求7所述的装置，其中，所述获取模块进一步包括：

提取模块，用于从所述图像中提取与所述感兴趣区域相交的边缘线段；

计算模块，用于计算所述提取的边缘线段在真实世界中所对应的实际对象与所述预定方向的夹角；

确定模块，用于把所述夹角处于预定范围内的实际对象确定为所述基本上平行于所述预定方向的实际对象；以及

查找模块，用于找出所述确定的实际对象所对应的边缘线段。 

Images