CN104252707A - 对象检测方法和装置 - Google Patents

Abstract

本发明公开了用于检测道路上的对象的对象检测方法和装置。对象检测方法可以包括：获得灰度图和相应的视差图；基于灰度图和视差图来检测平面；基于路面的特征来从检测到的平面中获得作为路面的平面；基于除了作为路面的平面之外的平面与作为路面的平面或其它已知平面之间的关系，获得作为对象的候选组成平面的对象候选平面；以及基于对象候选平面，检测对象。本发明公开的在平面层级上检测对象的技术，相比于传统的像素层级上检测对象的技术，能够更加鲁棒和准确地检测对象。

Description

对象检测方法和装置

技术领域

本发明总体地涉及图像处理，更具体地涉及基于图像处理进行对象检测的方法和装置。

背景技术

目前已知一些通过对摄像机拍摄的图像或者视频流进行图像处理，来对对象进行检测的方法。

例如，驾驶辅助系统的应用日渐普及，这样的驾驶辅助系统通常在车辆上安装有摄像设备和/或其它感测设备，通过例如分析摄像设备拍摄的图像来给出有助于驾驶员驾驶的信息。在驾驶辅助系统中，道路场景物体的检测非常重要。道路场景物体的例子有，车辆、行人、路肩石、白线、栅栏、高楼、树木等。

总体上，当前的目标检测技术可以分成三类，第一类是基于知识的方法，第二类是基于运动的方法，第三类是基于立体视觉的方法。

基于知识的方法利用特征（例如，彩色，纹理，形状以及对称性）来定位目标，这类方法通常面临尺度和角度的问题，即当目标的尺度和角度改变时，特征也会发生变化。

基于运动的方法利用相对运动信息来定位目标，该方法不能检测静止目标。

基于立体视觉的方法利用立体视觉技术来得到每个像素的三维信息，通过在三维空间中进行聚类来定位目标。

基于立体视觉的方法是当前的目标检测技术中最常用的方法。该方法可以在一定程度上解决基于知识的方法和基于运动的方法所具有的问题。

在发明名称为“Moving object segmentation using depth images”的美国专利公开US20120195471A1中，介绍了一种技术，利用从移动深度相机中得到的场景深度图像将运动目标从背景中分割出来；用一种迭代最近点算法来比较前一帧的深度图像和当前帧的深度图像；迭代最近点算法确定出前一帧的深度图像和当前帧的深度图像中满足对应关系的点对，得到一个点集；以及认为处在上述点集之外的点来自运动目标。

在发明名称为“Method and apparatus for three-dimensional objectsegmentation”的美国专利公开US7680323B1中，提出了一种技术，其中单独处理多个立体相关的二维视频图像对（左/右，上/左，上/右），得到边缘图像对；处理每个立体相关的二维视频图像对对应的边缘图像对，根据边缘对应点信息，得到三维信息；融合多组三维信息，形成三维特征，并在特征空间中进行聚类以得到处在任何平面上的目标。

发明内容

尽管基于立体视觉的方法在一些情况下可以取得好的效果，但也有一定的问题。当前的基于立体视觉的方法在像素（点）级别上进行聚类（合并），处理的是分散的像素点，所以可能出现下面两个主要问题：第一个问题是一个目标被检测成多个目标，第二个问题是多个相邻的目标被检测成一个目标。例如，图1示出了运用传统技术在道路交通场景中检测对象的检测结果示例的示意图，其中的两个框指示检测出的对象。如图1所示，一辆公交车在转弯，被检测成两个目标；行人在图像中距公交车的侧面较近，它们被检测成一个目标。

因此，针对现有技术中的像素级别上的目标检测方法的缺陷，希望提供一种能够更精确鲁棒地检测对象的方法和装置。

根据本发明的一个方面，提供了一种用于检测道路上的对象的对象检测方法，可以包括：获得灰度图和相应的视差图；基于灰度图和视差图来检测平面；基于路面的特征来从检测到的平面中获得作为路面的平面；基于除了作为路面的平面之外的平面与作为路面的平面或其它已知平面之间的关系，获得作为对象的候选组成平面的对象候选平面；以及基于对象候选平面，检测对象。

根据本发明的一个方面，提供了一种用于检测道路上的对象的对象检测装置，可以包括：图像获得部件，用于获得灰度图和相应的视差图；平面检测部件，用于基于灰度图和视差图来检测平面；路面获得部件，用于基于路面的特征来从检测到的平面中获得作为路面的平面；对象候选平面获得部件，基于除了作为路面的平面之外的平面与作为路面的平面或水平面之间的关系，获得作为对象的候选组成平面的对象候选平面；以及对象检测部件，用于基于对象候选平面，检测对象。

根据本发明的再一个方面，还提供了一种对象检测方法，可以包括：获得灰度图和相应的视差图；基于灰度图和视差图检测平面；从检测的平面之中选取特征已知的预定平面；基于要检测的对象的平面与该预定平面或其它已知平面之间的关系以及要检测的对象的平面的特征，确定对象的候选平面；以及基于所确定的对象的候选平面，检测对象。

本发明提出了在平面层级上检测对象的技术，其中借用了对象的几何结构信息，相比于传统的像素层级上检测对象的技术，能够更加鲁棒和准确地检测对象。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示出了运用传统技术在道路交通场景中检测对象的检测结果示例的示意图。

图2示出了根据本发明实施例的对象的平面组成分析的示意图。

图3示出了根据本发明实施例的用于检测道路上对象的系统的示例结构图。

图4示出了根据本发明实施例的用于检测道路上的对象的对象检测装置1200的功能性框图。

图5示出了根据本发明实施例的用于检测道路上的对象的对象检测方法2000的总体流程图。

图6(a)和6(b)分别示出了一幅灰度图像以及相应的分割结果的示意性示例。

图7示出了图6(a)的灰度图所对应的视差图。

图8示出了根据本发明实施例的路面的三种平面类型示意图以及图像坐标系统和世界坐标系统。

图9(a)示出了通过根据本发明实施例的过滤平面处理获得的原始路面区域，图9(b)示出了经过根据本发明实施例的路面区域扩充处理后得到的路面区域。

图10示出了根据本发明实施例的对象候选平面获得处理后的结果示例的示意图。

图11示出了经过根据本发明实施例的对象候选平面的合并处理后的结果示例的示意图。

图12(a)示出了立体相机设置的示意图，图12(b)示出了在水平投影图中计算对象宽度的示意图。

图13示出了经过根据本发明实施例的滤除处理后的结果的示意图。

图14示出了根据本发明实施例的车辆的后面和侧面合并成完整的车辆的示意图。

图15示出了根据本发明实施例的对象检测的结果的示意图。

图16示出了根据本发明的一个实施例的对象检测方法3000的总体流程图。

图17示出了适于用来实现本发明实施方式的示例性计算系统100的框图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整的传达给本领域的技术人员

本发明的主要思想是，很多感兴趣的目标在实际场景中可以视为是由一些平面组成的，因此可以利用立体视觉计算来进行平面的检测和分析，从而在平面级别上来检测对象。

例如，对于大车（例如，公交车）来说，它是一个刚性目标，其前面（从车正前方向后观察车辆看到的前视图）、后面（从车正后方向前观察车辆看到的后视图）和侧面（从车左侧或右侧观察车辆看到的侧视图）都是一个平面此外，上述平面都垂直于路面。再例如，对于小车（例如，轿车）来说，它也是一个刚性目标。前面和后面的每个都是由上下相邻的两个平面组成，其中底部的平面垂直于路面，顶部是一个倾斜的平面（对应于车前窗和车后窗的部分，类似于上坡）且一般与路面成一个大的锐角角度（例如，角度取值范围为[45°，90°]，优选为[60°，90°]）。小车的侧面是一个平面且垂直于路面。再例如，对于行人来说，它是一个非刚性目标，不过一般情况下，其前面（前视图）、后面（后视图）和侧面（侧视图）都在一定程度上满足平面约束，此外，这些平面都垂直于水平面。

图2示出了根据本发明实施例的对象的平面组成分析的示意图。如图2所示，公交车在转弯，在相机拍摄的图像中可以看到它的后面（在相机对着车辆后面拍摄时，或前面，在相机对着车辆前面拍摄时）和侧面；行人的侧面在一定程度上可以看成是一个平面。需要说明的是，并非必需车辆转弯时才能拍摄到车辆的前面（后面）和侧面，一般情况下例如当相机与车辆前后相距一定距离，以及横向错开一点间距时都可以拍摄的前面（后面）和侧面或者它们的一部分。

图3示出了根据本发明实施例的用于检测道路上对象的系统的示例结构图。该系统1000可以包括：安装在车辆上用于对对象成像的成像设备1100，如单目相机、双目相机、多目相机等等；对象检测装置1200，用于对来自成像设备1100的图像进行分析以检测对象，诸如车辆、行人等，对象检测装置1200和成像设备1100之间可操作地连接，例如通过有线或者无线通信、USB总线等连接。

图4示出了根据本发明实施例的用于检测道路上的对象的对象检测装置1200的功能性框图。

如图4所示，对象检测装置1200可以包括：图像获得部件1210，用于获得灰度图和相应的视差图；平面检测部件1220，用于基于灰度图和视差图来检测平面；路面获得部件1230，用于基于路面的特征来从检测到的平面中获得作为路面的平面；对象候选平面获得部件1240，基于除了作为路面的平面之外的平面与作为路面的平面或水平面之间的关系，获得作为对象的候选组成平面的对象候选平面；以及对象检测部件1250，用于基于对象候选平面，检测对象。

需要说明的是，上述对象检测装置1200的部件可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU（微处理单元）、DSP（数字信号处理器）、FPGA（现场可编程门阵列）、ASIC（专用集成电路）等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在车辆上，并且与安装在车辆上的用于对道路和道路相关联的对象成像的成像设备例如照相机来通信，以便对照相机拍摄获得的二维图像和/或立体图像进行分析来检测对象。另外，对象检测装置1200的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，对象检测装置1200的各个部件可以利用软件和硬件的结合来实现。

需要说明的是，图4中所示的箭头只表示两个部件的功能之间存在逻辑关系，两个部件之间可以直接或者间接地操作性地连接。另外，即便图4中的某两个部件之间未示出某方向的箭头连接，但是这并不表明两者之间必然不存在该方向的逻辑关系，相反，两者之间可以存在相互协作关系，例如路面获得部件1230和对象检测部件1250与图像获得部件1210之间可以存在逻辑关系，其中路面获得部件1230和对象检测部件1250可能需要利用图像获得部件1210所获得的灰度图和/或视差图来检测路面和检测对象。

上述各个部件的结构和数量不对本发明的范围构成限制。对象检测装置1200可以包括额外的部件来实现其他的或补充的功能，例如显示部件，用于例如显示对象检测部件1250的检测结果，以及例如通信部件，用于将有关信息传递到外部等。另外，根据本发明的一个实施例，上述图像获得部件1210、平面检测部件1220、路面获得部件1230、对象候选平面获得部件1240、对象检测部件1250可以合并为一个独立的部件来执行和实现相应的功能和操作，或者可以将上述图像获得部件1210、平面检测部件1220、路面获得部件1230、对象候选平面获得部件1240、对象检测部件1250进一步拆分为更小的部件来实现他们各自的功能和操作。

下面参考图5描述可以利用图4所示的对象检测装置1200的各个部件执行的检测道路上的对象的对象检测方法。

图5示出了根据本发明实施例的用于检测道路上的对象的对象检测方法2000的总体流程图。

如图5所示，在步骤S2100中，图像获得部件1210获得灰度图和相应的视差图。

任何现有的获取灰度图和对应的视差图的方法均可以用于本发明。例如，在检测的对象是道路上的对象如车辆或行人的情况下，可以通过车载双目相机、多目相机、立体相机拍摄灰度图，并计算得到对应的视差图。具体地，例如，可以通过车载双目相机来拍得左图像和右图像，其中以左图像（或右图像）作为这里的灰度图，以及基于左图像和右图像计算得到视差图。

这里，在一个实施例中，可以例如通过本地的车载相机来实现灰度图和视差图的获取。或者在另一个实施例中，也可以利用例如有线网络或者无线网络来从远程获得灰度图和对应的视差图。

另外，有关图像拍摄装置如相机不是必需安装在车辆上，例如，也可以根据需要安装在路边建筑上，适于拍摄待检测对象的位置等。

在步骤S2200中，平面检测部件1220可以基于灰度图和视差图来检测平面。

在一个示例中，基于灰度图和视差图来检测平面可以包括：图像分割步骤，用于分割灰度图得到各个区域块；以及平面参数计算步骤，利用各个区域块中的视差值，将每个区域块的视差分布拟合成平面，以及得到每个区域块的平面参数。

图像分割是将一幅图像划分成若干区域的过程，每个区域内的像素具有一些共同的或者相似的属性。特征对于图像分割算法而言是至关重要的，如果用彩色（灰度）信息作为特征，每个区域内的像素具有几乎相同的彩色（灰度）值。基于均值漂移的算法是目前最常用的图像分割算法，彩色（灰度）特征是最常用的特征。有关基于均值漂移的算法的介绍可以参考作者为Cheng,Yizon的题为“Mean shift,mode seeking,and clustering”，发表于PatternAnalysis and Machine Intelligence,IEEE Transactions on，1995年8月，第17卷第8期上的文章，网址http://cmp.felk.cvut.cz/cmp/courses/33DZOzima2007/slidy/meanShiftSeg.pdf处的网页等等。

基于均值漂移的图像分割算法可以包括以下几步：

1)寻找模式

(1)定义图像分割特征，考虑彩色（灰度）信息，特征可以表示为：(I_R,I_G,I_B)或者I，其中，(I_R,I_G,I_B),I分别为像素(x,y)的彩色值和灰度值。

(2)在特征空间中通过均值漂移过程为每个像素寻找收敛模式。收敛模式是特征空间中的一个点，漂移至该点后特征值不在变化。

2)聚类

按照步骤1)得到的模式对所有像素进行聚类。

基于均值漂移的图像分割算法仅为示例，而非作为本发明保护范围的限制。可以采用任何基本的图像分割算法来对灰度图像进行分割。

经过图像分割处理后，整幅图像被分割成若干区域块。图6(a)和6(b)分别示出了一幅灰度图像以及相应的分割结果的示意性示例。在这里，初步假设分割得到的每个区域块对应于实际场景中的一个平面或者一个平面的一部分。

分割算法的输出可以是分割相关的信息，包括整个图像的标记图像、区域块的数目、每个区域块内像素的数目、每个区域块的外接矩形等，这些信息可以是例如后续的平面参数计算步骤的输入。

接下来，可以计算每个区域块的平面参数。

平面参数的计算是基于视差图进行的。图7示出了图6(a)的灰度图所对应的视差图。

如上所述，可以初步将分割得到的每个区域块视为对应于实际场景中的一个平面或者一个平面的一部分，其视差分布模型也是一个平面。有关介绍可以参考作者为Zhencheng Hu等的题为“A Complete U-V-Disparity Study forStereovision Based3D Driving Environment Analysis”，2005年6月发表于3-DDigital Imaging and Modeling,2005.3DIM2005.Fifth International Conference的文章。

在一个示例中，可以利用每个区域块中的视差值，采用最小二乘法将每个区域块的视差分布拟合成一个平面，如公式(1)所示：

d(x,y)=c₁x+c₂y+c₃      (1)

其中d(x,y)是像素(x,y)的视差值，c₁、c₁、c₁是平面方程的参数。

假设区域块S内有n个有效点，所谓有效点指初始视差值大于零的像素点，如式(2)所示：

(X_i,Y_i,d_i),d_i>0,i=0,1,...,n-1      (2)

使用上述这些点利用最小二乘法拟合一个平面的过程可以等同于最小化下面的表达式(3)：

$E=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{(c_1*X_i+c_2*Y_i+c_3-d_i)}^2---\left(3\right)$

为最小化E，应该使得k=1,2,3成立，这等同于下面的表达式(4)：

$\left\{\begin{array}{c}\mathrm{\Σ}2(c_1*X_i+c_2*Y_i+c_3-d_i)*X_i=0\\ \mathrm{\Σ}2(c_1*X_i+c_2*Y_i+c_3-d_i)*Y_i=0\\ \mathrm{\Σ}2(c_1*X_i+c_2*Y_i+c_3-d_i)=0\end{array}\right.---\left(4\right)$

由此，可以导出下式（5）

$\left|\begin{array}{ccc}\mathrm{\Σ}{X}_i^2& \mathrm{\Σ}{X}_i{Y}_i& \mathrm{\Σ}{X}_i\\ \mathrm{\Σ}{X}_i{Y}_i& \mathrm{\Σ}{Y}_i^2& \mathrm{\Σ}{Y}_i\\ \mathrm{\Σ}{X}_i& \mathrm{\Σ}{Y}_i& n\end{array}\right|\left(\begin{array}{c}{c}_1\\ c_2\\ c_3\end{array}\right)=\left(\begin{array}{c}\mathrm{\Σ}{X}_i{d}_i\\ \mathrm{\Σ}{Y}_i{d}_i\\ \mathrm{\Σ}{d}_i\end{array}\right)---\left(5\right)$

由此c₁，c₂和c₃可以通过矩阵运算得到，进而得到上式(1)的平面方程。

这里称C={c₁,c₂,c₃}为区域块S的平面参数。

需要说明的是，在上述示例中，并不处理所有的像素，而是只处理初始视差值大于零的像素，并认为这些像素是有效的像素点。

在步骤S2300中，路面获得部件1230基于路面的特征来从检测到的平面中获得作为路面的平面。

图8示出了根据本发明实施例的路面的三种平面类型示意图以及图像坐标系统和世界坐标系统，其中X_WY_WZ_W为世界坐标系统，X_lY_l和X_rY_r为左图像坐标系统和右图像坐标系统。路面通常包含三种平面类型，如图7所示，①，②和③分别代表水平，上坡和下坡。路面的视差分布模型如式(6)所示：

d(x,y)=a₁*y+a₂(a₁≠0)      (6)

其中,a₁和a₂为路面的平面参数。

在一个示例中，基于路面的特征来从检测到的平面中获得作为路面的平面可以包括：基于区域块的大小、在图像中的位置、以及平面参数从检测到的平面中选取作为路面的平面。下面予以详细举例说明。

经过上述步骤S2200的平面检测处理，灰度图像被分成若干区域块，并且可以获得每个区域块内像素的数目，每个区域块的外接矩形等信息。

可以首先基于区域块的大小进行过滤，判断区域块S的像素数目N是否满足式(7)：

N>t₁      (7)

如果满足，则可以进一步基于区域块在图像中的位置来过滤区域块。具体地，假设以图像左上角像素点为坐标原点，以水平向右为x轴正方向，以竖直向下为y轴正方向，建立图像坐标系。在一个示例中，判断区域块S是否位于图像的底部，例如，这可以通过判断该区域块的外接矩形的顶部坐标S.rcBoundingRect.top是否满足式(8)来实现：

S.rcBoundingRect.top>t₂      (8)

在判断区域块处于图像的底部的情况下，接下来可以基于平面参数来过滤区域块。如上所述，区域块的平面参数为C={c₁,c₂,c₃}，由式(6)可知，路面情况下，其x的平面参数c₁理想情况下为0，在实际情况下，作为路面的平面的x的平面参数c₁可能不为零，但是应该很小。或者从另一个视角来说，作为路面的平面应该满足平面参数c₂作用比平面参数c₁大，即平面参数c₂的值相比于平面参数c₁很大。由此，在一个示例中，可以通过判断区域块的平面参数是否满足式(9)来过滤路面平面。

$\frac{c_2}{\left|c_1\right|}>t_3---\left(9\right)$

在一个示例中，如果一个区域块满足区域块的大小、在图像中的位置、以及平面参数的过滤条件，例如满足上述公式(7)、(8)、(9)，则可以认为该区域块是路面。

上述公式(7)、(8)、(9)中的t₁,t₂,t₃均为阈值，可以根据经验设定或者通过学习获得。

下文中，为描述方便，将通过过滤平面处理获得的路面区域称为原始路面区域。

图9(a)示出了通过根据本发明实施例的上述过滤平面处理获得的原始路面区域。

由图7(a)的灰度图可见，路面区域可能包含很多白线，白线的灰度值接近255，而其它路面区域的灰度值接近0，所以在图7(b)中，路面区域被分割成许多区域块。因此，图9(a)所示的原始路面区域可能不够完整。

为此，在一个示例中，在通过上述过滤获得路面平面之后，还可以执行扩充路面区域的处理，例如通过验证其它区域块是否可以用原始路面区域的平面参数描述来进行。

原始路面区域可以由一个或者多个区域块组成。可以针对各个属于原始路面区域的区域块来验证各个不属于原始路面区域的区域块，以查看该不属于原始路面区域的区域块是否可以用属于原始路面区域的区域块中的至少一个的平面参数来描述。

假设属于原始路面区域的一个区域块用R1表示，后文称之为原始路面区域块R1，不属于原始路面区域的一个区域块用S1表示，后文称之为非原始路面区域块S1。在一个示例中，验证非原始路面区域块S1是否可以用原始路面区域块R1的平面参数描述的具体过程可以如下：

用原始路面区域块R1的平面参数来计算非原始路面区域块S1中每个像素的视差值，计算该像素在输入视差图像中相应的视差值与上面计算得到的视差值之间差值的绝对值，统计上述差值绝对值处在预定范围（例如0与1之间，包括0和1）内的像素的数目，计算该数目占非原始路面区域块S1的总像素数目N的比例r，如式(10)所示：

$r=\frac{\underset{(x,y)\∈S1}{\mathrm{\Σ}}f\left(\right|c_{1}x+c_{2}y+c_3-\tilde{d}(x,y)\left|\right)}{N}---\left(10\right)$

其中，C={c₁,c₂,c₃}是原始路面区域块R1的平面参数，是非原始路面区域块S1的像素(x,y)的视差。

在一个示例中函数f可以例如如式(11)所示。

$\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{if}0\≤x\≤1\\ 0& \mathrm{else}\end{array}\right.---\left(11\right)$

在一个示例中，如果该比例r大于一定阈值例如0.6，即如果r>0.6，则可以认为非原始路面区域块S1是路面的一部分。

可以对组成原始路面区域的所有区域块逐个进行上述验证过程。从另一个视角看，该验证过程可以看成是一个分类的过程，即将不属于原始路面区域的所有区域块分成两类：路面，非路面，分类的依据是该区域块的视差分布能否用属于原始路面区域的任意一个区域块的平面参数来描述。

图9(b)示出了经过根据本发明实施例的路面区域扩充处理后得到的路面区域，为便于描述，下文将称由此得到的路面区域为最终路面区域。在图9(b)中，白线和其它路面区域一起组成最终的路面区域，因此最终的路面区域更加完整、准确。

需要说明的是，上述示例中是从已经检测的平面中选择平面来作为原始路面区域，以及通过判断其它区域块是否可以用原始路面区域的平面参数描述来扩大路面区域，由此得到最终的路面区域。不过，这仅为示例，而不是对本发明保护范围的限制。可以通过其它现有或者以后研发出的路面检测算法来获得路面区域。例如，在一个示例中，可以利用由发明人陈超等做出的申请号为CN201210194074.4的发明专利申请和申请号为CN201210513215.4的发明专利申请来获得路面区域的平面参数，并且可以通过判断各个区域块是否可以用这样获得的路面区域的平面参数来描述来进行路面区域确定或扩展。

在步骤S2400中，对象候选平面获得部件1240基于除了作为路面的平面之外的平面与作为路面的平面或其它已知平面之间的关系，获得作为对象的候选组成平面的对象候选平面。

如前所述，道路上的对象通常可以视为由各种平面组成，且这样的组成平面和路面之间存在一定的关系，因此可以通过分析各个平面与上述步骤S2300中获得的作为路面的平面之间的关系，来获得作为对象的候选组成平面的对象候选平面。

下面以检测的道路上的对象是车辆和行人为例进行说明。

两个平面之间所成的角度可以例如通过两个平面的法向量之间的运算而求得。

为此，可以首先获得非路面区域的区域块在世界物理坐标系中的平面方程。

根据立体视觉理论，视差图中一个像素(x,y)的世界坐标(X,Y,Z)可以由(x,y,d)经坐标换算得到，其中d是像素(x,y)的视差值。所以，根据一个区域块的平面参数，可以计算出该区域块内每个像素的视差值，进而可以计算出每个像素的世界坐标，从而可以利用例如与第二步类似的最小二乘法进行平面拟合，得到该区域块所对应的物理世界坐标系中的平面的方程，设该区域块所对应的物理世界坐标系中的平面的方程可以用式(12)表示：

e₁*X+e₂*Y+e₃*Z+e₄=0      (12)

其中，{e₁,e₂,e₃,e₄}是物理世界坐标系中的平面参数，{e₁,e₂,e₃}是相应的法向量。

在要检测的对象是行人的情况下，其前面，后面和侧面都可近似认为是一个平面，且这些平面都垂直于水平面。为此，可以通过检查一个区域块的平面是否实质上垂直于水平面来判断该平面是否为行人候选平面。

根据图8所示的图像坐标系统和世界坐标系统，在世界坐标系统中水平面的方程可以如下式(13)表示为：

e₅*Y+e₆=0      (13)

则水平面相应的法向量为{0,e₅,0}，如果一个区域块（例如组成行人的区域块）垂直于水平面，则其法向量{e₁,e₂,e₃}与水平面的法向量{0,e₅,0}的点积理想情况下为0，如式(14)所示

$\frac{e_2*e_5}{\sqrt{{e_1}^2+{e_2}^2+{e_3}^2*\sqrt{{e_5}^2}}}=0\⇒\frac{e_2}{\sqrt{{e_1}^2+{e_2}^2+{e_3}^2}}=0---\left(14\right)$

上面的表达式是在理想的情况下得到的，考虑到实际情况，这里将其修改为式(15)：

$\frac{e_2}{\sqrt{{e_1}^2+{e_2}^2{e_3}^2}}<t_4---\left(15\right)$

其中t₄为阈值，取值可以为比较小的正实数，例如为0.1。

由此，在一个示例中，可以通过检测一个区域块在世界坐标系统中的平面的法向量是否满足式(15)来确定该区域块是否是候选的行人区域块。

在要检测的对象是车辆的情况下，如前文所述，车辆的平面对于大车（例如，公交车）来说，组成其前面、后面以及侧面的平面都垂直于路面；对于小车（例如，轿车）来说，组成其前面和后面的平面的每个都包含上下相邻的两个平面，即垂直于路面的平面以及不垂直于路面但与路面成一个大的锐角角度的平面，例如，角度取值范围为[45°，90°]，优选为[60°，90°]，以及组成其侧面的平面是一个平面且垂直于路面。

假设路面在世界坐标系统中的平面方程可以表示为下式(16)。

e₇*X+e₈*Y+e₉*Z+e₁₀=0      (16)

其相应的法向量为{e₇,e₈,e₉}。

如果一个区域块垂直于路面或者是不垂直于路面但与路面成一个大的锐角角度的平面，则其法向量与路面的法向量的点积应小于一定阈值，如式(17)所示：

$\frac{e_7*e_1+e_8*e_2+e_9*e_3}{\sqrt{{e_1}^2+{e_2}^2+{e_3}^2}*\sqrt{{e_7}^2+{e_8}^2+{e_9}^2}}<t_5$

其中t₅为阈值，取值可以为比较小的正实数，例如为0.5。

由此，在一个示例中，可以通过检测一个区域块在世界坐标系统中的平面的法向量与作为路面的平面的法向量之间是否满足式(17)来确定该区域块是否是候选的车辆区域块。

根据车辆、行人本身所具有的与路面或水平面之间的关系，可以滤除非车辆，非行人区域块，从而保留候选的车辆和行人区域块作为车辆候选平面和行人候选平面。需要说明的是，在某些情况下，某个区域块可能既属于候选的行人区域块，也属于候选的车辆区域块，这种歧义性问题可以例如通过比较区域块的大小、宽度、高度、高宽比等进行区分，或者根据诸如车辆、行人的对象的各自特征通过分类器来进行区分。

图10示出了根据本发明实施例的对象候选平面获得处理后的结果的示意图。如图10所示，其中路面是一个水平面，车辆和行人区域块得以保留，另外，由于背景建筑物，树木等也垂直于水平面，所以没有被滤除掉，可以在后续的步骤中进行进一步滤除。

在一个示例中，获得对象候选平面的处理还可以包括对象候选平面的合并。这是因为，步骤S2200中的灰度图像分割算法通常会将车辆和行人分割成多个区域块，因此，通过合并候选的区域块能够得到相对完整的目标。在一个示例中，例如，利用聚类算法，基于各个对象候选平面之间是否可以用其它平面的平面参数来描述，对各个对象候选平面进行聚类；以及将聚类到一起的对象候选平面合并为一个对象候选平面。在这种情况下，这个对象候选平面的合并过程与上面描述的路面区域的扩展的操作类似，主要区别在于路面区域的扩展是一个分类的过程，而这里是在平面（区域块）级别上的一个聚类过程。这里可以采用任意一种聚类算法。聚类操作将所有的候选区域块分成若干组，每个组中任意一个区域块的视差分布都可以由该组内所有其它区域块来描述。聚类准则可以是衡量一个区域块能否用另外一个区域块来描述的方法，这里仍然可以类似采用上述公式(10)计算差值绝对值落入预定范围的像素数目占所有像素数目的比例，然后判断该比率是否大于预定阈值，不过这里可以将阈值取得稍小一些，例如0.5。

图11示出了经过根据本发明实施例的上述对象候选平面的合并处理后的结果的示意图，可见，经过合并处理后，所有候选区域块被分成四组，分别为行人，车辆后面，车辆侧面和背景建筑物，每个组基本上是一个完整的平面。

在一个示例中，对象候选平面获得处理还可以包括基于对象的宽度范围、高度范围和宽高比范围中的至少一个，过滤对象候选平面。

下面举例说明如何确定车辆的宽度范围。

在相机和拍摄对象之间距离已知的情况下，拍摄对象的实际物理大小和在相机的图像中的大小之间存在一定的换算关系。相机和拍摄对象之间距离由视差体现。因此根据对象的视差以及对象的实际物理大小，可以推导出该对象在图像中的大小。

下面参考图12中的(a)和(b)来概要描述该推导过程，其中图12(a)示出了立体相机设置的示意图，图12(b)示出了在水平投影图中计算对象宽度的示意图。

本领域公知地，给定相机设置和对象距相机的距离或所谓的深度Z，视差值d可如下式(18)计算，

$d=x_r-x_l=f\frac{b}{Z}---\left(18\right)$

上式中，d为视差值，x_l和x_r分别是左图和右图中对应像素的水平坐标，f是焦距，b为基线距离，Z为对象点P(X,Y,Z)的深度，Ol和Or分别为双目视觉系统中左右两个摄像机的光心，如图12中的(a)所示。

从水平投影图，即图12(b)可知，视差图中的宽度可由下式(19)计算得到：

$l=\frac{f\&times;L}{Z+f}=\frac{f\&times;L}{\frac{b\&times;f}{d}+f}---\left(19\right)$

上式中，d为视差,f是镜头长度,b为基线距离,Z为深度,L为对象的真实宽度，l为对象在图像中的像素宽度。

由上可见，已知对象在现实世界中的宽度，可以推导出对象在图像中的像素宽度。

在一个示例中，可以定义车辆的实际最大宽度Lmax（例如2米）以及最小宽度（例如1米），那么当相机参数和视差值已知时车辆在视差图中的最大宽度l_max和最小宽度l_min可由上式（19）计算得到。

类似地，车辆的高度范围、车辆的高宽比范围和行人的宽度范围、高度范围和行人的高宽比范围均可以通过计算得到。以对象例如高度范围和宽度范围作为阈值，并验证宽高比是否处在一定范围之内，由此保留可能的车辆和行人区域块，滤除非目标区域块。经过该处理后，可以滤除非目标区域块。图13示出了经过根据本发明实施例的该滤除处理后的结果的示意图，如图13所示，背景建筑物被过滤掉。另外，由于针对车辆和行人均进行上述处理，因此，上述处理过程也可以看成是对所有的区域块做了分类，一个区域块要么是车辆区域块，要么是行人区域块，要么则是非目标区域块。

当然，如前所述，也可以基于车辆、行人等对象的各种特征来设计专门的分类器诸如决策树、支持向量机分类器、神经网络分类器等来将区域块分类为各个对象的区域块。

回到图在步骤S2400中，获得对象候选平面后，前进到步骤S2500。

在步骤S2500中，对象检测部件1250基于对象候选平面，检测对象。

在一个示例中，基于对象候选平面检测对象可以包括分析邻近的对象候选平面之间是否符合对象的组成平面之间的相互关系。

在一个示例中，基于对象候选平面检测对象还可以包括进一步合并组成一个对象的各个候选平面来形成完整的一个对象区域。

例如，针对候选车辆区域块，如果两个水平方向上相邻的候选车辆区域块相互垂直，则将它们合并；如果两个竖直方向上相邻的候选车辆区域块中下面的候选车辆区域块垂直于路面，以及上面的候选车辆区域块与路面成的角度落入预定范围，则将它们合并。

对于大车如公共汽车来说，如前所述，其前面（从车正前方向后观察车辆看到的前视图）、后面（从车正后方向前观察车辆看到的正视图）和侧面（从车左侧或右侧观察车辆看到的侧视图）都是一个平面，并且上述平面都垂直于路面。因此，如果检测到两个水平方向上相邻的候选车辆区域块相互垂直，则将它们合并，这相当于合并组成车辆的前面（或后面）和侧面的两个在水平方向上互相垂直的平面。

对于小车（例如，轿车）来说，如前所述，它也是一个刚性目标。前面和后面的每个都是由上下相邻的两个平面组成，其中底部的平面垂直于路面，顶部是一个倾斜的平面（对应于车前窗和车后窗的部分，类似于上坡）且一般与路面成一个大的锐角角度（例如，角度取值范围为[45°，90°]，优选为[60°，90°]）。小车的侧面是一个平面且垂直于路面。因此，如果检测到两个竖直方向上相邻的候选车辆区域块，且其中底部的区域块垂直于路面，以及顶部的区域块与路面成一个大的锐角角度，则可以将它们合并，这相当于合并组成小车的前面（或后面）的两个顶部平面和底部平面；以及如果检测到水平方向上相邻且相互垂直的两个平面，则也可以将它们合并，这相当于合并小车的前面(或后面)和侧面。

因此，在水平方向上和竖直方向上可以采用不同的判别条件来进行合并。具体如何判别两个平面垂直以及成一个大的锐角角度，可参照前述获得对象候选平面处理中的描述。

同样，这里的合并过程也可以看成是一个聚类的过程，可采用任意一种聚类算法，聚类准则是上面的两个判别条件，即两个水平方向上相邻的候选车辆区域块是否相互垂直；或两个竖直方向上相邻的候选车辆区域块中下面的候选车辆区域块是否垂直于路面，以及上面的候选车辆区域块与路面成的角度是否落入预定范围。

图14示出了根据本发明实施例的车辆的后面和侧面合并成完整的车辆的示意图。

图15示出了根据本发明实施例的对象检测的结果的示意图，和图1相比，在图15中，公交车被检测成一辆车，行人也被检测出来。可见，根据本发明实施例的对象检测技术，对象检测结果正确并且准确，实验结果证明本发明实施例的对象检测技术是有效的。

在道路辅助驾驶应用中，可以利用上述实施例的对象检测结果来分析车辆行驶环境，这对自动驾驶来说至关重要。此外，可以用目标检测结果来对目标区域的视差图进行优化。

另外，在前文的描述中，以检测车辆和行人例进行说明，但是本发明实际上可以应用于任何可实质上视为由平面组成的物体。

图16示出了根据本发明的一个实施例的对象检测方法3000的总体流程图。

如图16所示，对象检测方法3000可以包括：在步骤3100中，获得灰度图和相应的视差图；在步骤3200中，基于灰度图和视差图检测平面；在步骤3300中，从检测的平面之中选取特征已知的预定平面；在步骤3400中，基于要检测的对象的平面与该预定平面或其它已知平面之间的关系以及要检测的对象的平面的特征，确定对象的候选平面；在步骤3500中，以及基于所确定的对象的候选平面，检测对象。例如，假设待检测的对象是放置于桌面上的打印机，则可以与前面实施例中检测车辆和行人类似，先获得灰度图和相应的视差图，然后基于灰度图和视差图检测各个平面；然后根据桌面与地面平行以及距地面预定高度的特征来检测桌面的平面，接着基于打印机的各个侧面和顶面与桌面之间的关系和打印机的各个平面的特征，来确定打印机的候选；最后，基于打印机的候选平面，检测对象。

可见，本发明提出了一种在平面层级上检测对象的技术，借用了对象的几何结构信息，相比于像素层级上检测对象的技术，检测对象更加鲁棒和准确。

本发明还可以通过一种用于检测对象的计算系统来实施。图17示出了适于用来实现本发明实施方式的示例性计算系统100的框图。如图17所示，计算系统100可以包括：CPU（中央处理单元）101、RAM（随机存取存储器）102、ROM（只读存储器）103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。在这些设备中，与系统总线104耦合的有CPU101、RAM102、ROM103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

上面参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品（manufacture）。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

前述描述仅为说明性的，可以进行很多修改和/或替换。

例如，在前文的描述中，相机被描述为安装在车辆上，不过这仅为示例，而不是作为本发明的限制，相机可以定位于任何位置，只要能够得到灰度图和相应的视差图，都可以应用本发明来检测道路交通环境中的对象。

另外，在前文的描述中，以检测车辆为和行人例进行说明，但是本发明实际上可以应用于任何可实质上视为由平面组成的物体。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种用于检测道路上的对象的对象检测方法，包括：

获得灰度图和相应的视差图；

基于灰度图和视差图来检测平面；

基于路面的特征来从检测到的平面中获得作为路面的平面；

基于除了作为路面的平面之外的平面与作为路面的平面或其它已知平面之间的关系，获得作为对象的候选组成平面的对象候选平面；以及

基于对象候选平面，检测对象。

2.根据权利要求1的对象检测方法，所述基于灰度图和视差图来检测平面包括：

分割灰度图得到各个区域块；以及

利用各个区域块中的视差值，将每个区域块的视差分布拟合成平面，以及得到每个区域块的平面参数。

3.根据权利要求2的对象检测方法，所述基于路面的特征来从检测到的平面中获得作为路面的平面包括：

基于区域块的大小、在图像中的位置、以及平面参数从检测到的平面中选取作为路面的平面。

4.根据权利要求3的对象检测方法，所述基于路面的特征来从检测到的平面中获得作为路面的平面还包括：

如果除了被选取作为路面的平面之外的区域块中的一个或多个区域块的视差分布能够用被选取作为路面的平面的平面参数来描述，则扩大路面区域以包含该一个或多个区域块。

5.根据权利要求1的对象检测方法，其中，要检测的道路上的对象是车辆，以及所述基于除了作为路面的平面之外的平面与作为路面的平面或其它已知平面之间的关系，获得作为对象的候选组成平面的对象候选平面包括：

选取与路面之间的角度落入从预定下限角度到90度之间的角度范围的平面作为车辆的候选平面。

6.根据权利要求1的对象检测方法，其中，要检测的道路上的对象是行人，以及所述其它已知平面包括水平面，所述基于除了作为路面的平面之外的平面与作为路面的平面或其它已知平面之间的关系，获得作为对象的候选组成平面的对象候选平面包括：

选取与水平面实质上垂直的平面作为行人的候选平面。

7.根据权利要求5或6的对象检测方法，所述基于除了作为路面的平面之外的平面与作为路面的平面或其它已知平面之间的关系，获得作为对象的候选组成平面的对象候选平面包括：

利用聚类算法，基于各个对象候选平面是否可以用其它平面的平面参数来描述，对各个对象候选平面进行聚类；以及

将聚类到一起的对象候选平面合并为一个对象候选平面。

8.根据权利要求7的对象检测方法，所述基于除了作为路面的平面之外的平面与作为路面的平面或其它已知水平面之间的关系，获得作为对象的候选组成平面的对象候选平面包括：

基于对象的宽度范围、高度范围和宽高比范围中的至少一个，过滤对象候选平面。

9.根据权利要求8的对象检测方法，所述基于对象候选平面，检测对象包括：

针对候选车辆区域块，如果两个水平方向上相邻的候选车辆区域块相互垂直，则将它们合并；如果两个竖直方向上相邻的候选车辆区域块中下面的候选车辆区域块垂直于路面，以及上面的候选车辆区域块与路面成的角度落入预定范围，则将它们合并。

10.一种用于检测道路上的对象的对象检测装置，包括：

图像获得部件，用于获得灰度图和相应的视差图；

平面检测部件，用于基于灰度图和视差图来检测平面；

路面获得部件，用于基于路面的特征来从检测到的平面中获得作为路面的平面；

对象候选平面获得部件，基于除了作为路面的平面之外的平面与作为路面的平面或水平面之间的关系，获得作为对象的候选组成平面的对象候选平面；以及

对象检测部件，用于基于对象候选平面，检测对象。