CN110633600A - 一种障碍物检测方法及装置 - Google Patents

Abstract

本申请提供一种障碍物检测方法及装置，方法包括：依据原始图像的视差图确定路面拟合线，利用路面拟合线剔除视差图中的路面视差，得到第一视差图；将路面拟合线抬高预设高度，利用抬高后的路面拟合线剔除视差图的预设检测区域中的路面视差，得到第二视差图；在第二视差图的检测区域中进行连通区域搜索，依据搜到的连通区域在第一视差图中进行搜索；依据在第一视差图中搜索到的连通区域确定障碍物在原始图像中的位置。通过将道路直线抬高以加深路面剔除程度，从而在剔除路面程度较高的视差图的检测区域中搜到的连通区域必定为障碍物区域，而剔除路面程度较低的视差图中包含完整的障碍物，因此可在该视差图中继续进行搜索，以获得完整的障碍物区域。

Description

一种障碍物检测方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种障碍物检测方法及装置。

背景技术

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，其基于视差原理，利用成像设备(如双目摄像机)获取被测物体的两幅图像，并通过计算图像中每个像素点对应的视差值，获得被测物体的视差图。基于此，可以在汽车辅助驾驶领域利用双目立体视觉技术来检测路面上的障碍物。

相关技术中，在基于原始图像的视差图进行障碍物检测时，由于视差图中对于无纹理区域(如路面区域)的视差值，其可信度较低，存在大量的噪点视差，导致在进行路面视差剔除时，会存在无法剔除的路面视差点，后续在确定障碍物时，会将未剔除的路面视差点误检测为障碍物，从而降低障碍物检测的准确度。

发明内容

有鉴于此，本申请提供一种障碍物检测的方法及装置，以解决相关检测方式障碍物检测准确度低的问题。

根据本申请实施例的第一方面，提供一种障碍物检测方法，所述方法包括：

依据原始图像的视差图确定路面拟合线，利用确定的路面拟合线剔除所述视差图中的路面视差，得到第一视差图；

将所述路面拟合线抬高预设高度，利用抬高后的路面拟合线剔除所述视差图的预设检测区域中的路面视差，得到第二视差图，所述预设高度指的是在相机坐标系下的高度；

在所述第二视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一视差图中进行搜索；

依据在所述第一视差图中搜索到的连通区域确定障碍物在原始图像中的位置。

可选的，所述将所述路面拟合线抬高预设高度，可包括：

在所述路面拟合线中任意选取两点，其中，点的横坐标值表示视差值，纵坐标值与视差图的纵坐标值相同；针对每个点，利用该点的视差值与所述预设高度确定纵坐标方向上需要抬高的像素个数，利用确定的像素个数与该点的纵坐标值确定抬高后的点的纵坐标值，并将该点的视差值确定为抬高后的点的视差值；利用两个抬高后的点的视差值和纵坐标值确定抬高后的路面拟合线。

可选的，在所述第二视差图的检测区域中进行连通区域搜索，依据搜到的连通区域在所述第一视差图中继续进行搜索，得到连通区域搜索结果，可包括：

利用相机的最大检测距离值和相机参数建立检测距离值与视差值的对应关系；根据所述对应关系将所述第一视差图和所述第二视差图分别转换为第一UZ视差图和第二UZ视差图，其中，所述第一UZ视差图和所述第二UZ视差图的横轴分别与所述第一视差图和所述第二视差图的横轴相同，纵轴均表示检测距离值；在所述第二UZ视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一UZ视差图中进行搜索。

可选的，在所述第二UZ视差图的预设检测区域中进行连通区域搜索之后，所述方法还可包括：

将搜到的连通区域中包含的点的数量小于预设阈值的连通区域丢弃。

可选的，所述依据连通区域搜索结果确定障碍物在原始图像中的位置，可包括：

利用在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的检测距离范围，确定障碍物在所述视差图中对应的视差范围；将在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的横坐标范围确定为障碍物在所述视差图中的水平方向上像素宽度范围；在所述视差图中，搜索在所述像素宽度范围内且在所述视差范围内的点，并确定符合设定条件的点在所述视差图中对应的垂直方向上的像素高度范围；将所述像素宽度范围与所述像素高度范围在所述原始图像中组成的区域位置，确定为障碍物在原始图像中的位置。

根据本申请实施例的第二方面，提供一种障碍物检测装置，所述装置包括：

第一剔除模块，用于依据原始图像的视差图确定路面拟合线，利用确定的路面拟合线剔除所述视差图中的路面视差，得到第一视差图；

第二剔除模块，用于将所述路面拟合线抬高预设高度，利用抬高后的路面拟合线剔除所述视差图的预设检测区域中的路面视差，得到第二视差图，所述视差图的预设检测区域中包含路面和障碍物，所述预设高度指的是在相机坐标系下的高度；

连通区域搜索模块，用于在所述第二视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一视差图中进行搜索；

位置确定模块，用于依据在所述第一视差图中搜索到的连通区域确定障碍物在原始图像中的位置。

可选的，所述第二剔除模块，具体用于在将所述路面拟合线抬高预设高度过程中，在所述路面拟合线中任意选取两点，其中，点的横坐标值表示视差值，纵坐标值与视差图的纵坐标值相同；针对每个点，利用该点的视差值与所述预设高度确定纵坐标方向上需要抬高的像素个数，利用确定的像素个数与该点的纵坐标值确定抬高后的点的纵坐标值，并将该点的视差值确定为抬高后的点的视差值；利用两个抬高后的点的视差值和纵坐标值确定抬高后的路面拟合线。

可选的，所述连通区域搜索模块，具体用于利用相机的最大检测距离值和相机参数建立检测距离值与视差值的对应关系；根据所述对应关系将所述第一视差图和所述第二视差图分别转换为第一UZ视差图和第二UZ视差图，其中，所述第一UZ视差图和所述第二UZ视差图的横轴分别与所述第一视差图和所述第二视差图的横轴相同，纵轴均表示检测距离值；在所述第二UZ视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一UZ视差图中进行搜索。

可选的，所述装置还可包括：

丢弃模块，用于所述连通区域搜索模块在所述第二UZ视差图的预设检测区域中进行连通区域搜索之后，将搜到的连通区域中包含的点的数量小于预设阈值的连通区域丢弃。

可选的，所述位置确定模块，具体用于利用在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的检测距离范围，确定障碍物在所述视差图中对应的视差范围；将在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的横坐标范围确定为障碍物在所述视差图中水平方向上的像素宽度范围；在所述视差图中，搜索在所述像素宽度范围内且在所述视差范围内的点，并确定符合设定条件的点在所述视差图中对应的垂直方向上的像素高度范围；将所述像素宽度范围与所述像素高度范围在所述原始图像中组成的区域位置，确定为障碍物在原始图像中的位置。

应用本申请实施例，在依据原始图像的视差图确定路面拟合线之后，可以先利用该路面拟合线对整幅视差图进行路面视差剔除，然后将该路面拟合线抬高预设高度后，再对视差图的检测区域进行路面视差剔除，从而得到两幅不同程度剔除路面的视差图，即第一视差图和第二视差图，接着可以先在剔除路面程度高的视差图(第二视差图)的检测区域中进行连通区域搜索，以粗略确定障碍物位置，并依据搜到的连通区域再在剔除路面程度低的视差图(第一视差图)中进行连通区域搜索，最后依据在剔除路面程度低的视差图中搜到连通区域确定障碍物在原始图像中的位置。

基于上述描述可知，通过将路面拟合线抬高，以加深路面视差的剔除程度，从而在剔除路面程度比较高的第二视差图的检测区域中搜到的连通区域必定为障碍物的连通区域，又由于第二视差图的检测区域中可能包含不完整障碍物，而剔除路面程度比较低的第一视差图中包含有完整的障碍物，因此可以在第一视差图中继续进行搜索，以扩大在第二视差图中搜到的连通区域，进而获得完整的障碍物连通区域，最终获得精确的障碍物位置。

附图说明

图1A为本申请根据一示例性实施例示出的一种障碍物检测方法的实施例流程图；

图1B至图1D为本申请根据图1A所示实施例示出的一种路面剔除过程图；

图1E为本申请根据图1A所示实施例示出的一种路面拟合线抬高预设高度后的示意图；

图1F为本申请根据图1A所示实施例示出的一种利用抬高后的路面拟合线剔除路面的第二视差图；

图2A为本申请根据一示例性实施例示出的另一种障碍物检测方法的实施例流程图；

图2B为本申请根据图1F所示的第二视差图转换得到的U视差图；

图2C为本申请根据图2B所示的U视差图转换得到的第二UZ视差图；

图2D为本申请根据图2C所示的第二UZ视差图搜索得到的连通区域示意图；

图2E为本申请根据图1D所示的第一视差图转换得到的第一UZ视差图；

图2F为本申请根据图1B所示的视差图标记的障碍物的区域框示意图；

图2G为本申请根据图2F所示的在原始图像中标记的障碍物区域框示意图；

图3为本申请根据一示例性实施例示出的一种网络设备的硬件结构图；

图4为本申请根据一示例性实施例示出的一种障碍物检测装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

随着汽车数量的迅猛增长，道路交通安全问题日益严峻，路面障碍物的识别与检测成为交通安全领域的研究热点。相关技术中，通过在车辆上安装双目摄像机，以在车辆行驶过程中实时采集路面图像，其中包括双目摄像机中的“左眼”拍摄到的路面图像，简称第一图像，与双目摄像机的“右眼”拍摄到的路面图像，简称第二图像，之后，通过立体匹配算法，计算图像中每个像素点对应的视差值(假设以第一图像为基准图像，利用基准图像中的每个像素点匹配第二图像中的像素点，计算对应的视差值)，得到上述两幅路面图像的稠密视差图，并基于双目立体视觉技术对该稠密视差图(下面简称为视差图)进行处理分析，以检测路面上的障碍物。

对于原始图像中的无纹理区域(例如路面区域)中的像素点，由于特征不够明显，匹配得到的视差值可信度比较低，因此对于无纹理区域会存在大量的噪点视差，在进行路面视差剔除之后，通常会存在无法剔除的路面视差点，后续在确定障碍物时，会将未剔除的路面视差点误检测为障碍物，从而降低障碍物检测的准确度。

基于此，本申请实施例在依据原始图像的视差图得到路面拟合线后，先利用该路面拟合线对整幅视差图进行路面视差剔除，然后将该路面拟合线抬高一定高度后，再对整幅视差图的检测区域进行路面视差剔除，由于将路面拟合线抬高后，相当于是加深剔除路面视差的程度，因此会将检测区域中的路面视差全部剔除，只剩下障碍物的视差，但可能会存在剔除过度的问题，如将检测区域中包含的障碍物边缘或者检测区域中包含的一小部分障碍物剔除。从而，在得到两幅不同程度剔除路面的视差图后，可以先在剔除路面程度高的视差图中进行连通区域搜索，以粗略确定障碍物位置，然后再以搜到的连通区域为基础，在剔除路面程度低的视差图中继续进行搜索，以确定最全的障碍物位置，最终获得最准确的障碍物框。

需要说明的是，对于利用抬高后的路面拟合线剔除路面得到的视差图，存在剔除过度的问题，由于本申请关注的是落在检测区域中的障碍物，如果只有一小部分障碍物落在检测区域中，表示该障碍物并不会影响车辆的正常行驶，因此即使被剔除也不会影响障碍物检测结果的准确性。

下面以具体实施例对本申请的技术方案进行阐述。

图1A为本申请根据一示例性实施例示出的一种障碍物检测方法的实施例流程图，该实施例可以应用在网络设备(例如PC机)上。如图1A所示，该障碍物检测方法包括如下步骤：

步骤101：依据原始图像的视差图确定路面拟合线，利用确定的路面拟合线剔除视差图中的路面视差，得到第一视差图。

在一实施例中，可以先将视差图转换为V视差图，再利用预设的直线检测算法，在V视差图中进行道路直线检测，得到路面拟合线。

其中，针对将视差图转换为V视差图的过程可以通过相关技术实现，在此不再详述，V视差图的纵轴与视差图的纵轴相同，横轴表示的是视差值，由于V视差图相当于是视差图的侧视图，路面在V视差图中为一条直线，因此利用预设的直线检测算法，在V视差图中确定的路面直线会更加精确，该直线检测算法可以是基于霍夫变换的直线检测算法。

由于路面区域属于无纹理区域，会存在大量的噪点视差，利用直线检测算法得到的路面拟合线剔除的路面视差不干净，因此在第一视差图中会存在无法剔除的路面视差点。

在一示例性场景中，图1B至图1D为本申请根据图1A所示实施例示出的一种路面剔除过程图，图1B是剔除路面视差前的视差图(即原始图像的视差图)，其中纵轴和横轴与原始图像的纵轴和横轴相同，原点o均为图像的左上角，每个像素点用视差值表示，白色线围起来的区域为路面区域；图1C是由图1B所示的视差图转换得到的V视差图，其中纵轴与视差图或原始图像的纵轴相同，横轴表示的是视差值，表示的是在图1B中每一行中(一行中纵坐标值相同)，具有相同视差值的像素点个数，地面拟合线即为直线检测算法检测得到的道路直线，道路直线上的点、道路直线下方的点以及道路直线上方附近的点均可以被作为路面，在剔除路面视差过程中，可以通过设置一个容忍度剔除道路直线上方的点，例如，取地面拟合线上的一点(x，y)，假设水平方向容忍度为a，垂直方向容忍度为b，那么落入(x～x+a，y～y+b)范围内的视差点均会被剔除；图1D为剔除路面视差后的第一视差图，其中白色圆圈为无法剔除的路面视差，该无法剔除的路面视差可能是由于该位置的路面为上坡路或者双目摄像机拍摄过程中有反光，导致转换到V视差图中后，该位置的视差点离地面拟合线比较远，从而在剔除路面时无法剔除。

步骤102：将路面拟合线抬高预设高度，利用抬高后的路面拟合线剔除视差图的预设检测区域中的路面视差，得到第二视差图。

其中，由于直接通过直线检测算法得到的地面拟合线剔除的路面，会存在无法剔除的路面视差，因此为了将路面视差剔除干净，可以通过将地面拟合线抬高预设高度，以将更多的路面视差点包含在地面拟合线下方，该预设高度指的是在相机坐标系下的高度，即实际高度，可以根据实际经验进行设置。预设检测区域(即感兴趣区域)中包含路面和障碍物，该预设检测区域根据实际需求预先划定，划分到该检测区域中障碍物属于有效障碍物，会影响到车辆正常行驶，划分到该检测区域之外的障碍物属于无效障碍物，不会影响到车辆正常行驶，因此只需要获得包含在检测区域内的障碍物位置即可。此外，第二视差图中检测区域之外的区域的视差可以置为0，也可以不做任何操作，本申请实施例在此不进行限定。

在一实施例中，针对将路面拟合线抬高预设高度的过程，可以在路面拟合线中任意选取两点，其中，点的横坐标值表示视差值，纵坐标值与视差图的纵坐标值相同，然后针对每个点，利用该点的视差值与预设高度确定纵坐标方向上需要抬高的像素个数，利用确定的像素个数与该点的纵坐标值确定抬高后的点的纵坐标值，并将该点的视差值确定为抬高后的点的视差值，最后利用两个抬高后的点的视差值和纵坐标值确定抬高后的路面拟合线。

针对该过程的具体推导公式如下：

依据双目摄像机模型的三维测距原理，相机坐标系与像素坐标系的转换公式为：

其中，z表示目标点到双目摄像机平面的距离，h表示抬高高度，即预设高度，可以根据实际经验设置，例如h设置为0.4米，f表示双目摄像机的焦距，p表示一个像素的实际尺寸，N表示在距离z下，抬高高度h对应的像素个数。

再由目标点到双目摄像机平面距离为z的情况下，该点视差值与相机参数之间的关系式：

其中，d表示目标点的视差值，B表示双目摄像机基线长度，为已知参数。

通过上述公式(1)和(2)可得，

基于此，由上述公式(3)可以得到不同的视差d，抬高高度h对应的需要抬高的像素个数N。

基于上述图1C所示的V视差图中的路面拟合线，假设选取一点的坐标为(d＝10，y＝15)，将d＝10代入上述公式(3)，得到

从而获得抬高后的点的坐标为

再选取一点，由上述公式(3)得到抬高后的点的坐标，由这两个抬高后的点的坐标便可得到抬高后的路面拟合线，如图1E所示，为路面拟合线抬高预设高度后的示意图。

由上述图1C可知，抬高后的路面拟合线下方包含的点增多，也就是说抬高后的路面拟合线下方的点均被作为路面。图1F为利用上述图1C中抬高后的路面拟合线剔除路面视差的第二视差图，由图1F第二视差图与图1D第一视差图比较可知，第二视差图的检测区域中的路面视差剔除的很干净，剩下的只有两个车辆障碍物的视差，第二视差图中包含两个障碍物，一个是完整的障碍物，即整个障碍物位于检测区域，另一个是不完整的障碍物，即只有一部分位于检测区域。

步骤103：在第二视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在第一视差图中进行搜索。

在一实施例中，由于第二视差图的预设检测区域中的路面视差剔除的比较干净，检测区域中只剩下了障碍物的视差点，因此不影响障碍物的连通区域搜索，而第一视差图的检测区域中存在无法剔除的路面视差，会影响障碍物的连通区域搜索，从而需要先在第二视差图的检测区域中通过连通区域搜索方式，搜索障碍物的连通区域。又由于检测区域中剔除路面视差过程中，可能因剔除过度导致将障碍物边缘视差剔除，进而如果利用第二视差图搜索的连通区域确定障碍物位置，会存在位置不够精确的问题。又由于第二视差图的检测区域中还可能包含有不完整的障碍物，而第一视差图中包含有完整的障碍物，且不会存在路面视差剔除过度的问题，基于上述原因，不能直接利用第二视差图搜索的连通区域确定障碍物位置，而是需要在第二视差图中搜到的连通区域基础上，继续在第一视差图中进行搜索，以扩大在第二视差图中搜到的连通区域，进而获得完整且准确的障碍物连通区域。

针对步骤103的过程，示例性的可以参见下述图2A所示实施例的描述，在此暂不详述。

步骤104：依据在第一视差图中搜索到的连通区域搜索结果确定障碍物在原始图像中的位置。

针对步骤104的过程，示例性的可以参见下述图2A所示实施例的描述，在此暂不详述。

本申请实施例中，在依据原始图像的视差图确定路面拟合线之后，可以先利用该路面拟合线对整幅视差图进行路面视差剔除，然后将该路面拟合线抬高预设高度后，再对视差图的检测区域进行路面视差剔除，从而得到两幅不同程度剔除路面的视差图，即第一视差图和第二视差图，接着可以先在剔除路面程度高的视差图(第二视差图)的检测区域中进行连通区域搜索，以粗略确定障碍物位置，并依据搜到的连通区域再在剔除路面程度低的视差图(第一视差图)中进行搜索，最后依据在剔除路面程度低的视差图中搜到的连通区域确定障碍物在原始图像中的位置。基于上述描述可知，通过将路面拟合线抬高，以加深路面视差的剔除程度，从而在剔除路面程度比较高的第二视差图的检测区域中搜到的连通区域必定为障碍物的连通区域，又由于第二视差图的检测区域中可能包含不完整障碍物，而剔除路面程度比较低的第一视差图中包含有完整的障碍物，因此可以在第一视差图中继续进行搜索，以扩大在第二视差图中搜到的连通区域，进而获得完整的障碍物连通区域，最终获得精确的障碍物位置。

图2A为本申请根据一示例性实施例示出的另一种障碍物检测方法的实施例流程图，基于上述图1A所示实施例的基础上，本实施例以如何在第二视差图中的检测区域进行连通区域搜索，依据搜到的连通区域再在第一视差图中进行搜索，以及如何依据在第一视差图中搜索到的连通区域搜索结果确定障碍物在原始图像中的位置为例进行示例性说明，如图2A所示，该障碍物检测方法包括如下步骤：

步骤201：利用相机的最大检测距离值和相机参数建立检测距离值与视差值的对应关系。

在一实施例中，可以根据如下公式计算得出检测距离值与视差值的对应关系：

其中，d表示视差值，z表示距离值，B表示双目摄像机中两个摄像头之间的距离，F表示双目摄像机的焦距。

在一示例性场景中，假设双目摄像机的最大检测距离值为100米，则可以每隔1米，计算出检测距离值与视差值的对应关系，也即，可以通过上述公式计算出1米、2米、3米……，直至100米各自对应的视差值。

在一可选的实现方式中，可以将计算得出的检测距离值与视差值的对应关系保存在一维数组A中，该数组A具有100个元素，其中，A[0]的值表示1米对应的视差值，A[1]的值表示2米对应的视差值，A[2]的值表示3米对应的视差值，依此类推，A[99]的值表示100米对应的视差值。

步骤202：根据该对应关系将第一视差图和第二视差图分别转换为第一UZ视差图和第二UZ视差图。

其中，第一UZ视差图和第二UZ视差图的横轴分别与第一视差图和第二视差图的横轴相同，纵轴均表示检测距离值。

下面以将第二视差图转换为第二UZ视差图为例进行说明：

在一实施例中，可以先将第二视差图转换为U视差图，U视差图的横轴与第二视差图的横轴相同，纵轴表示的是视差值，原点为图像的左上角，U视差图相当于是第二视差图的俯视图，如图2B为本申请根据图1F所示的第二视差图转换得到的U视差图。然后再基于U视差图建立第二UZ视差图。其中，针对将视差图转换为U视差图的过程可以通过相关技术实现，在此不再详述。

在一个例子中，可以先建立一幅空的第二UZ视差图(即每一像素点的像素值为0)，该第二UZ视差图的横轴与U视差图的横轴相同，不同的是，该第二UZ视差图的纵轴表示检测距离值。基于上述图2B所示的U视差图，并结合上述数组A，对上述新建立的第二UZ视差图进行处理。具体处理过程为：

在图2B所示的U视差图中，逐列确定每一个像素点表示的视差值所属的视差范围，基于该视差范围可以确定检测距离范围，基于该检测距离范围可以确定像素点的视差值所对应的检测距离值，那么，可以在第二UZ视差图中，将该像素点所属列与该对应的检测距离值所表示的坐标位置上的像素点的像素值加1。

例如，假设A[3]＝156，A[4]＝256，U视差图中第2列上一像素点的视差值为168，假设，通过查找数组A得出，该像素点的视差值所属的视差范围为156～256，对应的检测距离范围则为4米～5米。在一个可选的实现方式中，可以将对应的检测距离范围的下限确定为该像素点的视差值对应的距离值，例如，该像素点对应的距离值是4米，那么，可以在第二UZ视差图中，将(2，4)这一坐标位置上像素点的像素值加1。

通过上述描述可知，在最终得到的第二UZ视差图中，每一像素点上的像素值表示该像素点所属的列中与该像素点对应同一检测距离值的像素点的个数。假设在最终得到的第二UZ视差图的(2,4)这一坐标位置上，像素点的像素值为125，则可以认为，在步骤202中描述的第二视差图中的第2列上，共有125个对应检测距离值4米的像素点，图2C为本申请根据图2B所示的U视差图转换得到的第二UZ视差图。

综上所述，对比图2B所示的U视差图和图2C所示的第二UZ视差图，可以发现，UZ视差图的实质是将U视差图上的像素点进行了纵向合并，从而，可以使得障碍物上的视差点更加紧凑，更加集中。

步骤203：在第二UZ视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在第一UZ视差图中进行搜索。

本领域技术人员可以理解的是，连通区域搜索算法可以通过相关技术实现，例如可以是四连通区域搜索算法，也可以是八连通区域搜索算法，在此不再详述。

在一实施例中，在第二UZ视差图的预设检测区域中进行连通区域搜索之后，可以将搜到的连通区域中包含的点的数量小于预设阈值的连通区域剔除，以剔除干扰点。其中，预设阈值可以根据实际经验设置。

基于上述图2C所示的第二UZ视差图进行连通区域搜索，得到图2D所示的第二UZ视差图搜索得到的连通区域示意图，假设预设阈值为10，如图2D中包含连通区域1、连通区域2和连通区域3，由于连通区域2中包含的点的数量小于预设阈值，因此将连通区域2剔除。图2E为由上述图1D所示的第一视差图转换得到的第一UZ视差图，依据图2D中搜到的连通区域1和连通区域3，在图2E中继续搜索，得到扩大后的连通区域1和连通区域3。

在一个例子中，以上述图2D中搜到的联通区域中包含的点为种子点，在图2E中继续按照连通区域搜索算法进行搜索，由于图2E是由剔除路面程度比较低的视差图转换的，因此最终搜到的连通区域可以表示最完整的障碍物区域。

步骤204：利用在第一视差图中搜索到的连通区域包含的点在第一UZ视差图中对应的检测距离范围，确定障碍物在视差图中对应的视差范围。

在一实施例中，由上述步骤201所述的检测距离值与视差值之间的关系式，可以确定检测距离范围对应的视差范围。

步骤205：将在第一视差图中搜索到的连通区域包含的点在第一UZ视差图中对应的横坐标范围确定为障碍物在视差图中水平方向上的像素宽度范围。

针对上述步骤204至步骤205的过程，在一个例子中，基于上述图2E中所述的连通区域1，假设其包含的点在图2E中对应的检测距离范围为z1～z2，将z1和z2分别代入上述所述的关系式

中，可以得到d1和d2，连通区域1包含的点在图2E中对应的横坐标范围x1～x2，也是障碍物在视差图中水平方向上的像素宽度范围。同理可以得到连通区域3在图2E中的检测距离范围为z3～z4，对应的视差范围d3～d4，障碍物在视差图中水平方向上的像素宽度范围为x3～x4。

步骤206：在视差图中，搜索在该像素宽度范围内且在该视差范围内的点，并确定符合设定条件的点在视差图中对应的垂直方向上的像素高度范围。

步骤207：将该像素宽度范围与该像素高度范围在原始图像中组成的区域位置，确定为障碍物在原始图像中的位置。

针对上述步骤206和步骤207的过程，在一个例子中，可以在视差图中由上到下一行一行的搜索，若搜索到的在像素宽度范围内且在视差范围内的点的数量大于像素宽度范围的一半，则作为起始行，然后继续遍历下一行，直至搜到的点的数量小于像素宽度范围的一半时，将该行作为结束行，并将起始行与结束行之间包括的像素行作为垂直方向上的像素高度范围，最后在原始图像中标出像素宽度范围与像素高度范围组成的区域框，即为检测到的障碍物。

基于上述步骤图2E所示的例子，连通区域1的像素宽度范围为x1～x2，视差范围为d1～d2，图2F为本申请根据图1B所示的视差图标记的障碍物的区域框示意图，通过利用像素宽度范围x1～x2和视差范围d1～d2搜索，得到像素高度范围为y1～y2，通过利用像素宽度范围x3～x4和视差范围d3～d4搜索，得到像素高度范围为y3～y4。图2G为本申请根据图2F所示的在原始图像中标记的障碍物区域框示意图，即图2F得到的第一个障碍物的像素宽度范围x1～x2和像素高度范围y1～y2，第二个障碍物的像素宽度范围x3～x4和像素高度范围d3～d4。

本实施例中，通过将第一视差图和第二视差图分别转换为第一UZ视差图和第二UZ视差图，并先在第二UZ视差图中进行连通区域搜索，以粗略确定障碍物的位置，再依据搜到的连通区域在第一UZ视差图中继续进行搜索，由于UZ视差图相当于是将视差图的像素点进行了纵向合并，使得障碍物的视差点更加集中，因此更加有利于连通区域的搜索。最后利用在第一视差图中搜索到的连通区域确定障碍物的像素宽度范围和像素高度范围，并将像素宽度范围和像素高度范围在原始图像中组成的区域位置，确定为障碍物在原始图像中的位置。

与前述障碍物检测方法的实施例相对应，本申请还提供了障碍物检测装置的实施例。

本申请障碍物检测装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本申请根据一实施例性实施例示出的一种网络设备的硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

图4为本申请根据一示例性实施例示出的一种障碍物检测装置的实施例结构图，如图4所示，所述装置包括：

第一剔除模块410，用于依据原始图像的视差图确定路面拟合线，利用确定的路面拟合线剔除所述视差图中的路面视差，得到第一视差图；

第二剔除模块420，用于将所述路面拟合线抬高预设高度，利用抬高后的路面拟合线剔除所述视差图的预设检测区域中的路面视差，得到第二视差图，所述视差图的预设检测区域中包含路面和障碍物，所述预设高度指的是在相机坐标系下的高度；

连通区域搜索模块430，用于在所述第二视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一视差图中进行搜索；

位置确定模块440，用于依据在所述第一视差图中搜索到的连通区域确定障碍物在原始图像中的位置。

在一可选实现方式中，所述第二剔除模块420，具体用于在将所述路面拟合线抬高预设高度过程中，在所述路面拟合线中任意选取两点，其中，点的横坐标值表示视差值，纵坐标值与视差图的纵坐标值相同；针对每个点，利用该点的视差值与所述预设高度确定纵坐标方向上需要抬高的像素个数，利用确定的像素个数与该点的纵坐标值确定抬高后的点的纵坐标值，并将该点的视差值确定为抬高后的点的视差值；利用两个抬高后的点的视差值和纵坐标值确定抬高后的路面拟合线。

在一可选实现方式中，所述连通区域搜索模块430，具体用于利用相机的最大检测距离值和相机参数建立检测距离值与视差值的对应关系；根据所述对应关系将所述第一视差图和所述第二视差图分别转换为第一UZ视差图和第二UZ视差图，其中，所述第一UZ视差图和所述第二UZ视差图的横轴分别与所述第一视差图和所述第二视差图的横轴相同，纵轴均表示检测距离值；在所述第二UZ视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一UZ视差图中进行搜索。

在一可选实现方式中，所述装置还包括(图4中未示出)：

丢弃模块，用于所述连通区域搜索模块430在所述第二UZ视差图的预设检测区域中进行连通区域搜索之后，将搜到的连通区域中包含的点的数量小于预设阈值的连通区域丢弃。

在一可选实现方式中，所述位置确定模块440，具体用于利用在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的检测距离范围，确定障碍物在所述视差图中对应的视差范围；将在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的横坐标范围确定为障碍物在所述视差图中水平方向上的像素宽度范围；在所述视差图中，搜索在所述像素宽度范围内且在所述视差范围内的点，并确定符合设定条件的点在所述视差图中对应的垂直方向上的像素高度范围；将所述像素宽度范围与所述像素高度范围在所述原始图像中组成的区域位置，确定为障碍物在原始图像中的位置。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种障碍物检测方法，其特征在于，所述方法包括：

依据原始图像的视差图确定路面拟合线，利用确定的路面拟合线剔除所述视差图中的路面视差，得到第一视差图；

将所述路面拟合线抬高预设高度，利用抬高后的路面拟合线剔除所述视差图的预设检测区域中的路面视差，得到第二视差图，所述预设高度指的是在相机坐标系下的高度；

在所述第二视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一视差图中进行搜索；

依据在所述第一视差图中搜索到的连通区域确定障碍物在原始图像中的位置。

2.根据权利要求1所述的方法，其特征在于，将所述路面拟合线抬高预设高度，包括：

在所述路面拟合线中任意选取两点，其中，点的横坐标值表示视差值，纵坐标值与视差图的纵坐标值相同；

针对每个点，利用该点的视差值与所述预设高度确定纵坐标方向上需要抬高的像素个数，利用确定的像素个数与该点的纵坐标值确定抬高后的点的纵坐标值，并将该点的视差值确定为抬高后的点的视差值；

利用两个抬高后的点的视差值和纵坐标值确定抬高后的路面拟合线。

3.根据权利要求1所述的方法，其特征在于，在所述第二视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一视差图中进行搜索，包括：

利用相机的最大检测距离值和相机参数建立检测距离值与视差值的对应关系；

根据所述对应关系将所述第一视差图和所述第二视差图分别转换为第一UZ视差图和第二UZ视差图，其中，所述第一UZ视差图和所述第二UZ视差图的横轴分别与所述第一视差图和所述第二视差图的横轴相同，纵轴均表示检测距离值；

在所述第二UZ视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一UZ视差图中进行搜索。

4.根据权利要求3所述的方法，其特征在于，在所述第二UZ视差图的预设检测区域中进行连通区域搜索之后，所述方法还包括：

将搜到的连通区域中包含的点的数量小于预设阈值的连通区域丢弃。

5.根据权利要求3所述的方法，其特征在于，依据在所述第一视差图中搜索到的连通区域确定障碍物在原始图像中的位置，包括：

利用在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的检测距离范围，确定障碍物在所述视差图中对应的视差范围；

将在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的横坐标范围确定为障碍物在所述视差图中水平方向上的像素宽度范围；

在所述视差图中，搜索在所述像素宽度范围内且在所述视差范围内的点，并确定符合设定条件的点在所述视差图中对应的垂直方向上的像素高度范围；

将所述像素宽度范围与所述像素高度范围在所述原始图像中组成的区域位置，确定为障碍物在原始图像中的位置。

6.一种障碍物检测装置，其特征在于，所述装置包括：

第一剔除模块，用于依据原始图像的视差图确定路面拟合线，利用确定的路面拟合线剔除所述视差图中的路面视差，得到第一视差图；

第二剔除模块，用于将所述路面拟合线抬高预设高度，利用抬高后的路面拟合线剔除所述视差图的预设检测区域中的路面视差，得到第二视差图，所述预设高度指的是在相机坐标系下的高度；

连通区域搜索模块，用于在所述第二视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一视差图中进行搜索；

位置确定模块，用于依据在所述第一视差图中搜索到的连通区域确定障碍物在原始图像中的位置。

7.根据权利要求6所述的装置，其特征在于，所述第二剔除模块，具体用于在将所述路面拟合线抬高预设高度过程中，在所述路面拟合线中任意选取两点，其中，点的横坐标值表示视差值，纵坐标值与视差图的纵坐标值相同；针对每个点，利用该点的视差值与所述预设高度确定纵坐标方向上需要抬高的像素个数，利用确定的像素个数与该点的纵坐标值确定抬高后的点的纵坐标值，并将该点的视差值确定为抬高后的点的视差值；利用两个抬高后的点的视差值和纵坐标值确定抬高后的路面拟合线。

8.根据权利要求6所述的装置，其特征在于，所述连通区域搜索模块，具体用于利用相机的最大检测距离值和相机参数建立检测距离值与视差值的对应关系；根据所述对应关系将所述第一视差图和所述第二视差图分别转换为第一UZ视差图和第二UZ视差图，其中，所述第一UZ视差图和所述第二UZ视差图的横轴分别与所述第一视差图和所述第二视差图的横轴相同，纵轴均表示检测距离值；在所述第二UZ视差图的检测区域中进行连通区域搜索，依据搜到的连通区域再在所述第一UZ视差图中进行搜索。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

丢弃模块，用于所述连通区域搜索模块在所述第二UZ视差图的预设检测区域中进行连通区域搜索之后，将搜到的连通区域中包含的点的数量小于预设阈值的连通区域丢弃。

10.根据权利要求8所述的装置，其特征在于，所述位置确定模块，具体用于利用在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的检测距离范围，确定障碍物在所述视差图中对应的视差范围；将在所述第一视差图中搜索到的连通区域包含的点在所述第一UZ视差图中对应的横坐标范围确定为障碍物在所述视差图中水平方向上的像素宽度范围；在所述视差图中，搜索在所述像素宽度范围内且在所述视差范围内的点，并确定符合设定条件的点在所述视差图中对应的垂直方向上的像素高度范围；将所述像素宽度范围与所述像素高度范围在所述原始图像中组成的区域位置，确定为障碍物在原始图像中的位置。

Images