CN103123722A - 道路对象检测方法和系统 - Google Patents

Abstract

本发明涉及一种对象检测方法和使用该方法的系统。所述方法包括：拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图；基于所获得的视差图，获得所述场景的V-视差图；在V-视差图探测中与道路对应的斜线并基于该斜线从视差图中提取道路，从而获得不包含道路的子视差图；在V-视差图中检测竖线，从所述子视差图中提取与所检测到的每条竖线对应的所有点作为对象子视差图；以及将任意两个彼此之间的视差距离小于一预定值且两者之间的重叠区域比率大于一预定阈值的对象子视差图的矩形框合并为一个矩形框对象区域。

Description

道路对象检测方法和系统

技术领域

本发明涉及一种道路对象检测方法和系统，尤其是涉及一种用于车辆中的道路检测方法和系统。

背景技术

随着城市化的发展和汽车的普及，交通运输问题日益严重。近年来，车辆增长的速度也已远远高于道路和其他交通设施的增长速度，交通事故频繁、人员伤亡与日俱增、财产损失巨大这都要求车辆不仅要具有良好的安全性而且要具备一定的智能性，随之智能车辆(Intelligent Vehicle)的概念应运而生。与此同时，人们正在研究一种以实现无人、全自动和安全驾驶为最终目标的智能车辆。

为了实现上述功能，现有技术中提出了一种基于路面的视差图进行聚类以便检测与驾驶者的车辆临近的对象(例如人员或其他车辆)，并对驾驶者发出警告或自动调节车辆的运动状态。这种方法假设在3维空间中同一对象区域内的点是相邻近的，并根据距离对邻近点聚类，并且是在整个视差图上聚类。但是由于该方法是在整个视差图上进行聚类，并且一秒内才能得到两帧结果，很耗时间，也降低了车辆处置突发情况的效率，并具有很强的实用性。另一种现有技术是BMW研发中心所提供了一种车辆检测和识别系统(在VISIGRAPH 2010发表)。其基于立体视觉进行车辆检测，首先通过mean-shift聚类同平面的分块来检测车辆，其次用U-V视图方法生成覆盖不同车辆的车辆假设。BMW研发中心的方法处理速度是平均每秒处理2.5帧(在3.2GHz，1GB RAM台式机，debug环境下)。此方法使用了mean-shift聚类方法来分割图像，用u-V视差方法来找到对象，因此，BMW研发中心的方法也是很耗时间。

美国专利US7729512B2披露了一种用于检测移动对象的立体图像处理方法。该方法将一个与周围亮度不同且亮度大于一个阈值的点被称作特征点，若特征点的视差超过在视差分布的阈值，则将该点被归类为内部移动对象特征点。尽管该发发采用聚类方法，但是该方法所用的亮度方法对于对象检测不可靠，因为具有与周围环境相同亮度的移动对象不能被检测到。而且尤其在对象和相邻路边树有相同视差的情况下，该方法不能检测到与路边树具有相同视差的对象。

因此，人们需要提出一种能够快速而准确检测路面对象的方法和系统，以便能够更有效地实现车辆的辅助驾驶并在撞车前发出预警以提高驾驶安全性。

发明内容

为了提供一种能够快速而准确检测路面对象的方法和系统，本发明申请人提出了一种基于路面场景的视差和V-视差图来检测路面对象的方法和系统。

具体而言，就是利用双目视觉目标识别技术，来进行车辆前方障碍物的自动识别。为此，引入一种称为V-视差的算法。V-视差简化了将障碍物与道路表面区分开的处理。在V-视差图中，V对应于视差图的图像坐标系统中的垂直坐标。在“V-视差”域中，道路表面平面的纵向断面可以被描述为分段线性曲线，而在垂直平面中的障碍物将被投射为垂直线。因此，在3D视差图中道路表面和障碍物的提取将被简化为V-视差图中2D线性提取。因此这种算法可以识别前方具有面特征的障碍物，比如行人、车辆、墙壁等等。而且，这种算法对于光照、阴影等干扰不敏感，适用于城市复杂背景下智能车辆的障碍物识别。具体来讲，基于双目的V-视差识别过程主要包括三个部分的内容：创建V-视差图、提取道路、从V-视差图中提取代表路面对象的竖线。

为此，根据本发明的一个方面，提供了一种对象检测方法，包括：采用两台深度照相机同时拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图；基于所获得的视差图，采用V-视差算法，获得所述场景的V-视差图；在V-视差图探测中与道路对应的斜线并将视差图中与在V-视差图中所探测到的斜线对应的所有点删除，从而获得不包含道路的子视差图；在V-视差图中检测竖线，并基于所检测的每条竖线，从所述不包含道路的子视差图中提取与所检测到的每条竖线对应的所有点作为对象子视差图；以及将任意两个彼此之间的视差距离小于一预定值且两者之间的重叠区域比率大于一预定阈值的对象子视差图的矩形框合并为一个矩形框对象区域。

根据本发明的对象检测方法，所述在V-视差图探测V-视差图中与道路对应的斜线通过霍夫变换进行。

根据本发明的对象检测方法，所述在V-视差图中检测竖线通过在V-视差图中寻找具有不为0相同灰度值的连续的点而进行。

根据本发明的对象检测方法，所述在V-视差图探测V-视差图中与道路对应的斜线并将视差图中与在V-视差图中所探测到的斜线对应的所有点删除包括：采用霍夫变换在V-视差图检测斜线段；延伸所检测到的斜线，使之与V-视差图横坐标轴和纵坐标轴相交；基于所检测到的斜线的横坐标值，将线段分割成子线段；以及对于不同子线段，将相应子线段所对应的视差图中对应视差值范围内的点从视差图中删除。

根据本发明的对象检测方法，其还包括在合并处理之前，对每个对象子视差图进行点聚类处理。

根据本发明的对象检测方法，其还包括：在进行点聚类处理之前，先对构成各个对象子视差图的点进行平滑处理并删除对象子视差图区域中的连接点。

根据本发明的另一个方面，提供了一种对象检测系统，包括：两台深度照相机，同时拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图；V-视差计算装置，基于所获得的视差图，采用V-视差算法，获得所述场景的V-视差图；道路提取装置，在V-视差图中探测与道路对应的斜线并将视差图中与在V-视差图中所探测到的斜线对应的所有点删除，从而获得不包含道路的子视差图；对象区域检测装置，在V-视差图中检测竖线，并基于所检测的每条竖线，从所述不包含道路的子视差图中提取与所检测到的每条竖线对应的所有点作为对象子视差图；以及对象区域合并装置，将任意两个彼此之间的视差距离小于一预定值且两者之间的重叠区域比率大于一预定阈值的对象子视差图的矩形框合并为一个矩形框对象区域。

根据本发明的对象检测系统，其中所述对象区域检测装置通过在V-视差图中寻找具有不为0相同灰度值的连续的点来检测竖线。

9根据本发明的对象检测系统，道路提取装置通过如下步骤来在V-视差图探测V-视差图中与道路对应的斜线并将视差图中与在V-视差图中所探测到的斜线对应的所有点删除：采用霍夫变换在V-视差图检测斜线段；延伸所检测到的斜线，使之与V-视差图横坐标轴和纵坐标轴相交；基于所检测到的斜线的横坐标值，将线段分割成子线段；以及对于不同子线段，将相应子线段所对应的视差图中对应视差值范围内的点从视差图中删除。

根据本发明的对象检测系统，其还包括：噪音处理装置，对构成各个对象子视差图的点进行平滑处理并删除对象子视差图区域中的连接点；以及点聚类装置，对经过噪音处理后的每个对象子视差图进行点聚类处理。

根据本发明的对象检测方法和系统能够在实现17帧每秒的处理速度，因此本发明的方法相对于现有技术而言具有更快的速度。此外本发明的方法和系统使用v-视差图来找到包含对象的子视差图，然后用简单的聚类方法在子视差图中来检测对象，这显著地提高了检测的精度。而且本发明的方法基于视差和V-视差图而没有使用亮度数据，因此能够明确地将具有相同亮度的不同对象区分开来。

附图说明

图1所示的是采用本发明的对象检测方法的系统基本框图。

图2所示的是对象检测器104的配置的框图。

图3所示的是道路探测器105的配置的框图。

图4所示的是是根据本发明的对象区域检测器的模块示意图。

图5所示的根据本发明的对象检测方法的总体流程图。

图6示意性地示出了采用本发明的对象检测方法和系统的具体实例。

图7所示的是一张是视差图的示意图.

图8所示的是描述V-视差图计算器103基于视差图计算V-视差图的示意性实例。

图9所示的是一个在V-视差图中探测斜线的实例。

图10所示的是在V-视差图中划分斜线的一个示意图。

图11所示的是从视差图中抽取路面的示意图。

图12所示的对象子视差图的抽取过程的示意图。

图13所示的是对对象子视差图进行平滑处理的过程的示意图。

图14所示的是进行对象子视差图的点聚类处理的示意图。

图15所示的是对象区域合并过程的示意图。

具体实施方式

本发明的目的是为了提供一种检测道路中的对象的检测方法和系统，以便有助于机动车驾驶的安全。以下，将参照附图来详细说明本发明的具体实施例。

图1所示的是采用本发明的对象检测方法的系统基本框图。如图1所示，根据本发明的方法基本上在一个CPU 102中实现，当然，也可以由各个彼此独立而又相互联系的单独模块一起实现。根据本发明的对象检测系统包括内存101和CPU 102。其中CPU 102包括V-视差图计算器103和对象检测其104。所述的内存101中存储有视差图。该视差图是采用基于两台平行设置的深度照相机所同时拍摄的同一场景的两幅深度图所获得的。图6示意性地示出了采用本发明的对象检测方法和系统的具体实例的示意图。在该实例中示出了一辆汽车，该汽车上装备了两台平行设置的深度照相机，这两台平行设置的深度照相机犹如人的双目，同时获取镜头前的同一场景的深度图。所获得深度图可以直接被照相机中的处理器进行处理而输出该场景的视差图并存储在内存101中，也可以直接将所拍摄的深度图传输给CPU102，以便CPU102进行处理获得当前场景的视差图，并存储在内存101中。图7所示的是一张是视差图的示意图。如何获得视差图是本领域的普通技术人员所能实现的，因此，在此略去对视差图获取方式的描述。

所述的V-视差图计算器103基于从内存101中所读取的视差图执行V-视差计算处理，获得所述视差图的V-视差图。V-视差图的高等于视差图的高，宽为最大视差值；对于视差图中的每一行(1)，计算具有相同视差值(v)的点的个数(n)，于是得到V-视差图上的点p，p的横坐标是v，纵坐标是l，强度是n。)

图8所示的是描述V-视差图计算器103基于视差图计算V-视差图的示意性实例。具体过程就是对于视差图中的每一行，统计具有相同灰度值的点的个数来得到V-视差图中点P。在所获得的V-视差图的坐标中，横坐标x的值代表点P的灰度值，即在视差图的同一行中具有相同灰度值的点在V-视差图中用同一点表示，并且该点P的横坐标为其在视差图中的灰度值。而所获得的V-视差图的坐标中，纵坐标表示点P其对应于视差图中点在视差图中的行。而V视差图中点P在图中的强度则表示在视差图中同一行中具有相同灰度值的点的个数。对于道路路面而言，由于视差图中路面上同一行的各个点的深度值相同，即在视差图中具有相同的灰度值，因此，在经过V-视差计算后所获得V-视差图中，由一个点(例如点P)代表视差图中路面上同一行的各个点。由于在视差图中，路面的深度值(即灰度值)与在视差图中的行数成反比，因此，在V-视差图中，代表路面的点构成的图形必然是一条斜线。

所述对象探测器104基于V-视差图计算器103所输出的V-视差图来检测具体的对象。图2所示的是对象检测器104的配置的框图。所述对象检测器104包括：道路探测器105、对象区域检测器106以及对象区域合并器107。

所述道路探测器105检测V-视差图中对应道路的斜线，对于斜线上的每一点，删除视差图中同一行中视差值在此点横坐标值所确定的范围内的所有点；最终得到一个不再包含道路的子视差图。图3所示的是道路探测器105的配置的框图。如图3所示，道路探测器105包括：V-视差图斜线探测器108和路面抽取器109。首先，V-视差图斜线探测器108探测V-视差图中代表路面的斜线。通常我们采用霍夫变换在V-视差图检测斜线段。延伸它使之与x坐标轴和y坐标轴相交。图9所示的是一个在V-视差图中探测斜线的实例。

在探测到V-视差图中代表路面的斜线后，延长所探测到的斜线，使之与V-视差图的水平坐标轴和垂直坐标轴相交。之后，所述路面抽取器109基于延长的所探测的斜线，将构成斜线的各个点回复到视差图中的对应的点，这些对应的点就是视差图中的路面部分的点。在回复成视差图中的路面部分后，从原始视差图中减去与所探测的斜线对应的路面部分，从而从视差图中抽取路面。

由于路面实际上与深度照相机并不是完全垂直，因此，所获得深度值会存在一些误差。为此，通常在进行路面抽取之前，会基于视差值(也就是V-视差图中的x坐标值，即斜线上点在视差图中的灰度值或深度值)分割斜线，以便更精确地确定所有路面。为此，基于x坐标值将线段分割成子线段。对于不同子线段，不同视差值范围用来抽取路面，因为路是连续的。根据实践，申请人发现，当离深度相机的距离dc小于10米时，道路视差范围是[D，D-2](其单位是像素)；当距离大于10并小于20米时，道路视差范围是[D，D-1]；当距离大于20米时，取相同道路视差值D(单位是像素)。

视差值D＝f*T/(dc+f)，f是相机焦距，T是两个相机之间的距离(例如，0-50厘米)；dc是到相机对象的距离。

当到相机的距离dc是10米时，从上述公式中可得到相应的视差是27。距离dc是20米时，视差是15。于是我们得到：

其中D是视差值，单位是像素

图10所示的是在V-视差图中划分斜线的一个示意图。所述路面抽取器109基于所划分的线段抽取视差图的路面。对给定V-视差图中斜线上的每一个点，在视差图中同一行找到在区间范围中的点，这些点是路面点。图11所示的是从视差图中抽取路面的示意图。具体而言就是通过V-视差图中的被划分的多条子线段的斜线，获得对应于斜线的路面的视差图，然后将原始视差图减去所获得路面的视差图，从而获得仅仅包含路面上对象的子视差图。

所述路面抽取器109在进行路面抽取之后输出包含对象的子视差图到对象区域检测器106。所述对象区域检测器106基于具体对象在视差图中的特征，从所述道路探测器105所输出的子视差图抽取疑似对象。图4所示的是是根据本发明的对象区域检测器的模块示意图。所述对象区域检测器106包括：竖线检测器110、对象抽取器111、噪音处理器112、以及点聚类处理器113。所述竖线检测器110在V-视差图中检测竖线。V-视差图中每条竖线都可能对应一个对象。具体而言，就是在V-视差图中，寻找具有不为0相同灰度值(具有相同的x坐标值)的连续的点。这些连续的点构成的线为视差图中可能的对象。

所述对象抽取器111基于竖线检测器110所检测并输出V-视差图中的各个竖线，从所述道路探测器105所输出的子视差图中找到与所检测到的竖线上各个点对应的点，所找到的子视差图中对应的点构成了子视差图中的对象的视差图(以下称为对象子视差图)，随后所述对象抽取器111将所找到的对象子视差图从子视差图中抽取出来并输送给噪音处理器112。图12所示的对象子视差图的抽取过程的示意图。图12所示的是D＝27的对象子视差图，因为其包含了对象的典型子视差图。

在抽取可能包含对象的对象子视差图的过程中，对所述对象抽取器111所抽取并输出的V-视差图中竖线的每一个点，假设其中一点的视差是D，在子视差图中的同一行找到范围是(D，D+δ)的所有点，这些点可能是对象上的点。根据视差值(视差值是视差图中每一点的强度值“或灰度值”)，δ取不同的值。

该公式表示，当视差值D大于等于20时，δ取2，视差值小于20时，δ等于0。因此，在进行将V-视差图中竖线上的一个点反向映射到视差图上的同一行上点时，如果D大于或等于20，则其对应的是视差图上的同一行上的强度值(或灰度值)在(D，D+δ)之间的所有的点，而不仅仅是等于D的点。而当D小于20的时候，则仅仅对应等于D的点。

之后，所述噪音处理器112对从所述对象抽取器111所输出的对象子视差图进行平滑处理并删除对象子视差图区域中的连接点。平滑处理现有技术中存在多种方式，本领域技术人员可以选择应用到本发明中。在本发明中采用了中值滤波方法进行平滑处理。当然，也可以采用其他平滑处理方法。中值滤波方法进行平滑处理包括：首先从对象子视差图中的某个采样窗口取出奇数个数据(灰度值)进行排序，然手用排序后的中值取代此窗口中所有点的灰度值。图13所示的是对对象子视差图进行平滑处理的过程的示意图。

之后，所述点聚类处理器113对对象子视差图进行点聚类处理。图14所示的是进行对象子视差图的点聚类处理的示意图。在图14中，对每一个矩形，对相对连续的点进行聚类。具体而言，就是基于对象子视差图中x坐标轴之间距离和y坐标轴之间距离进行聚类。对每一个矩形，对相对连续的点进行聚类：若两个点，它们的x轴距离小于等于2，并且y轴距离也小于等于2，则这两个点属于一类。对于任意一个点，若该任意一点与属于任意已有的类C的一点之间的x轴距离小于等于2且y轴距离也小于等于2，那么该任意一个点属于任意已有的类C。如果该任意点不属于任意已有的类C，则基于该任意点生成一个新的类，此新类包含该任意点。所述点聚类处理器113通过上述点聚类之后，输出各个包含每一对象的矩形框对象区域。

最后，对象区域合并器107将点聚类处理器113所输出的各个对象区域进行合并处理，从而输出合并后的对象区域。

将组合重叠区域比率大于预定阈值且视差距离小于预定值的对象区域，最终输出合并处理后的对象区域。根据重叠面积和视差距离来合并矩形对象区域。具体而言就是，对任意两个矩形框(x0，y0，w0，h0)，(x1，y1，w1，h1)，其中(x0，y0)、(x1，y1)对于各个矩形左上角的点坐标，w0和w1为矩形对象区域的宽，h0和h1为矩形对象区域的高度。如果这两个矩形对象区域的相对深度相机的距离之差的绝对值小于一个预定值(例如3米，也可以预定为0.5米、1米、1.5米、或2米)，则计算这两个矩形对象区域之间重叠面积；若这两个矩形对象区域的重叠面积和其中面积较小的矩形对象区域矩形框的面积比大于预定比率值(例如0.65、0.7、或0.75)，则合并这这两个矩形对象区域，即得到合并后的矩形对象区域(min(x0，x1)，min(y0，y1)，max(w0，w1)，max(h0，h1))，其中min()为取两值中最小值函数，max()为取两值中最大值函数。

图5所示的根据本发明的对象检测方法的总体流程图。如图5所示，在步骤S201处，所述的V-视差图计算器103基于从内存101中所读取的视差图执行V-视差计算处理，获得所述视差图的V-视差图。之后，在步骤S202处，对象探测器104中的道路探测器105检测V-视差图中的道路，并从视差图中减去与所检测到的V-视差图中的道路对应的视差图像，从而获得是原始视差图的子视差图。然后，在步骤S203处，对象探测器104中的对象区域检测器106基于具体对象在视差图中的特征，从所述道路探测器105所输出的子视差图抽取疑似对象，并且进行点聚类处理。最后，在步骤S204处，对象区域合并器107将对象区域检测器106输出的对象区域进行合并，从而输出合并后的对象区域。

图6所示的是应用本发明的示意环境图，其中包含了安装有双目深度照相机和CPU102的汽车以及双目深度照相机所拍摄的图向的示意图。

本发明所述的方法可以在一台计算机(处理器)上执行，或者可以被多台计算机分布式执行。此外，程序可以被转移到在那儿执行程序的远程计算机。

本领域的普通技术人员应该理解到，根据设计要求和其他因素，只要其落入所附权利要求或其等效物的范围内，可以出现各种修改、组合、部分组合和替代。

Claims (10)

1.一种对象检测方法，包括以下步骤：

采用两台深度照相机同时拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图；

基于所获得的视差图，采用V-视差算法，获得所述场景的V-视差图；

在V-视差图探测中与道路对应的斜线并将视差图中与在V-视差图中所探测到的斜线对应的所有点删除，从而获得不包含道路的子视差图；

在V-视差图中检测竖线，并基于所检测的每条竖线，从所述不包含道路的子视差图中提取与所检测到的每条竖线对应的所有点作为对象子视差图；以及

将任意两个彼此之间的视差距离小于一预定值且两者之间的重叠区域比率大于一预定阈值的对象子视差图的矩形框合并为一个矩形框对象区域。

2.如权利要求1所述的对象检测方法，其中所述在V-视差图探测V-视差图中与道路对应的斜线通过霍夫变换进行。

3.如权利要求1所述的对象检测方法，其中所述在V-视差图中检测竖线通过在V-视差图中寻找具有不为0相同灰度值的连续的点而进行。

4.如权利要求1所述的对象检测方法，其中所述在V-视差图探测V-视差图中与道路对应的斜线并将视差图中与在V-视差图中所探测到的斜线对应的所有点删除包括：

采用霍夫变换在V-视差图检测斜线段；

延伸所检测到的斜线，使之与V-视差图横坐标轴和纵坐标轴相交；

基于所检测到的斜线的横坐标值，将线段分割成子线段；

对于不同子线段，将相应子线段所对应的视差图中对应视差值范围内的点从视差图中删除。

5.如权利要求1所述的对象检测方法，其还包括

在合并处理之前，对每个对象子视差图进行点聚类处理。

6.如权利要求5所述的对象检测方法，其还包括：

在进行点聚类处理之前，先对构成各个对象子视差图的点进行平滑处理并删除对象子视差图区域中的连接点。

7.一种对象检测系统，包括：

两台深度照相机，同时拍摄同一场景的深度图，并基于所拍摄的深度图计算该场景的视差图；

V-视差计算装置，基于所获得的视差图，采用V-视差算法，获得所述场景的V-视差图；

道路提取装置，在V-视差图中探测与道路对应的斜线并将视差图中与在V-视差图中所探测到的斜线对应的所有点删除，从而获得不包含道路的子视差图；

对象区域检测装置，在V-视差图中检测竖线，并基于所检测的每条竖线，从所述不包含道路的子视差图中提取与所检测到的每条竖线对应的所有点作为对象子视差图；以及

对象区域合并装置，将任意两个彼此之间的视差距离小于一预定值且两者之间的重叠区域比率大于一预定阈值的对象子视差图的矩形框合并为一个矩形框对象区域。

8.如权利要求1所述的对象检测系统，其中所述对象区域检测装置通过在V-视差图中寻找具有不为0相同灰度值的连续的点来检测竖线。

9.如权利要求1所述的对象检测系统，其中道路提取装置通过如下步骤来在V-视差图探测V-视差图中与道路对应的斜线并将视差图中与在V-视差图中所探测到的斜线对应的所有点删除：

采用霍夫变换在V-视差图检测斜线段；

延伸所检测到的斜线，使之与V-视差图横坐标轴和纵坐标轴相交；

基于所检测到的斜线的横坐标值，将线段分割成子线段；

对于不同子线段，将相应子线段所对应的视差图中对应视差值范围内的点从视差图中删除。

10.如权利要求1所述的对象检测系统，其还包括：

噪音处理装置，对构成各个对象子视差图的点进行平滑处理并删除对象子视差图区域中的连接点；以及

点聚类装置，对经过噪音处理后的每个对象子视差图进行点聚类处理。

Images