CN112036227B - 一种路面可行驶区域检测方法、装置以及自动驾驶系统 - Google Patents

Abstract

本发明涉及一种路面可行驶区域检测方法、装置以及自动驾驶系统，该路面可行驶区域检测方法包括：通过双目成像设备获取路面的左视图和右视图，并对左视图和所述右视图进行处理，得到稀疏视差图；将稀疏视差图转换为U‑视差图，并将U‑视差图的像素与预设像素强度阈值进行比较，得到比较结果；根据比较结果，删除所述U‑视差图中像素小于预设像素强度阈值的像素点，得到第一U‑视差图，并将第一U‑视差图进行处理，得到第二U‑视差图；在第二U‑视差图中获取并处理固定数目的目标边界点，得到凸包区域；将U‑视差图进行LOG变换，得到U‑LOG‑视差图；根据U‑LOG‑视差图的信息和凸包区域的信息分割出路面可行驶区域。

Description

一种路面可行驶区域检测方法、装置以及自动驾驶系统

技术领域

本发明涉及视差图像处理技术领域，尤其涉及一种路面可行驶区域检测方法、装置以及自动驾驶系统。

背景技术

目前，汽车辅助驾驶方向的相关技术在不断发展，其中，可行使区域提取相关技术的发展不断进步，该技术的实现对前方障碍物、完成障碍物碰撞预警等功能有重要意义。

现有的技术主要是利用双目立体视觉系统，将同一物体在两个相机中成像生成视差，将视觉系统感知的场景和图像结构信息结合进行检测，在实际应用场景中，对检测效果和实时性无法双向兼顾。

鉴于此，提出本发明。

发明内容

本发明提出一种路面可行驶区域检测方法、装置以及自动驾驶系统，用于解决现有技术中在实际应用场景中的可行驶区域的实时检测问题。

为实现上述目的，根据本发明的一个方面，提供有一种路面可行驶区域检测方法，并采用如下技术方案：

一种路面可行驶区域检测方法包括：通过双目成像设备获取路面的左视图和右视图，并对所述左视图和所述右视图进行处理，得到稀疏视差图；将所述稀疏视差图转换为U-视差图，并将所述U-视差图的像素与预设像素强度阈值进行比较，得到比较结果；根据所述比较结果，删除所述U-视差图中像素小于所述预设像素强度阈值的像素点，得到第一U-视差图，并将第一U-视差图进行处理，得到第二U-视差图；在所述第二U-视差图中获取并处理固定数目的目标边界点，得到凸包区域；将U-视差图进行LOG变换，得到U-LOG-视差图；根据所述U-LOG-视差图的信息和所述凸包区域的信息分割出所述路面可行驶区域。

进一步，所述在所述第二U-视差图中寻找并处理固定数目的目标边界点，得到凸包区域包括：对所述第二U-视差图，纵向按照其列数分组后，对各组区域自下而上遍历，记录各组中有效像素大于有效像素累加阈值的坐标作为第一边界点的坐标；对所述第一边界点分组，各组按照第一边界点纵坐标大小排序，删除各组中纵坐标最大和最小的第一边界点，得到目标边界点。

进一步，所述处理固定数目的目标边界点包括：收缩边界点阶段：收缩所述目标边界点的左端和右端中纵坐标差值大于纵坐标变化幅度阈值的相邻的目标边界点，且收缩所述目标边界点的左端和右端中纵坐标连续大于最低底部点判断阈值的目标边界点；添加底部点阶段：记录收缩后的目标边界点中最左侧目标边界点的横坐标和最右侧目标边界点的横坐标，添加横坐标与最左侧目标边界点相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数的点和横坐标与最右侧目标边界点的横坐标相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数的点；融合边界直线阶段：基于添加相关点的目标边界点与两条预设边界直线的位置关系，修改位置在预设边界直线上方的目标边界点坐标，且保留与两条所述预设边界直线重合的目标边界点坐标和位置在预设边界直线下方的目标边界点坐标，修正后的目标边界点数量保持不变。

进一步，所述纵坐标变化幅度阈值根据最左侧三个目标边界点和最右侧三个目标边界点设置。

进一步，所述预设边界直线为基于世界真实位置需求的检测范围计算出的在图像坐标系的边界直线。

进一步，所述U-LOG-视差图为对U-视差图的进行LOG变换，用于压缩近处视差尺度，拉伸远处视差。

进一步，所述根据U-LOG-视差图的信息和凸包区域的信息分割出所述路面可行驶区域在于，在所述凸包区域内，利用所述U-LOG-视差图的非零点分割所述凸包区域，生成所述路面可行驶区域。

根据本发明的另外一个方面，提供一种路面可行驶区域检测装置，并采用如下技术方案：

一种路面可行驶区域检测装置，包括：处理模块，用于通过双目成像设备获取路面的左视图和右视图，并对所述左视图和所述右视图进行处理，得到稀疏视差图；比较模块，用于将所述稀疏视差图转换为U-视差图，并将所述U-视差图的像素与预设像素强度阈值进行比较，得到比较结果；删除模块，用于根据所述比较结果，删除所述U-视差图中像素小于所述预设像素强度阈值的像素点，得到第一U-视差图，并将第一U-视差图进行处理，得到第二U-视差图；获取模块，用于在所述第二U-视差图中获取并处理固定数目的目标边界点，得到凸包区域；变换模块，用于将U-视差图进行LOG变换，得到U-LOG-视差图；分割模块，用于根据所述U-LOG-视差图的信息和所述凸包区域的信息分割出所述路面可行驶区域。

进一步地，所述获取模块包括：第一分组模块，用于对所述第二U-视差图，纵向按照其列数分组后，对各组区域自下而上遍历，记录各组中有效像素大于有效像素累加阈值的坐标作为第一边界点的坐标；第二分组模块，用于对所述第一边界点分组，各组按照第一边界点纵坐标大小排序，删除各组中纵坐标最大和最小的第一边界点，得到目标边界点。

进一步地，所述获取模块还包括：收缩模块，用于在收缩边界点阶段，收缩所述目标边界点的左端和右端中纵坐标差值大于纵坐标变化幅度阈值的相邻的目标边界点，且收缩所述目标边界点的左端和右端中纵坐标连续大于最低底部点判断阈值的目标边界点；添加模块，用于在添加底部点阶段，记录收缩后的目标边界点中最左侧目标边界点的横坐标和最右侧目标边界点的横坐标，添加横坐标与最左侧目标边界点相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数的点和横坐标与最右侧目标边界点的横坐标相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数的点；融合模块，用于在融合边界直线阶段，基于添加相关点的目标边界点与两条预设边界直线的位置关系，修改位置在预设边界直线上方的目标边界点坐标，且保留与两条所述预设边界直线重合的目标边界点坐标和位置在预设边界直线下方的目标边界点坐标，修正后的目标边界点数量保持不变。

根据本发明的又一个方面，提供一种自动驾驶系统，并采用如下技术方案：

一种自动驾驶系统包括上述的路面可行驶区域检测装置。

本发明公开的路面可行驶区域检测通过同一道路场景的左视图与右视图获取稀疏视差图，然后转换为U-视差图，删除疑似路面点得到包含疑似障碍物点的U-视差图，再转换为仅包含疑似障碍物点的视差图，在所述仅包含疑似障碍物点的视差图中寻找并处理固定数目的目标边界点，生成所述凸包区域，利用U-LOG-视差图和凸包区域做图像分割，最后获得道路场景的可行驶区域，达到快速检测路面可行驶区域的目的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。

图1表示本发明实施例所述的路面可行驶区域检测方法流程图；

图2表示本发明实施例所述的同一道路场景的左视图；

图3表示本发明实施例所述的同一道路场景的右视图；

图4表示本发明实施例所述的道路场景的稀疏视差图；

图5表示本发明实施例所述的道路场景的包含仅疑似障碍物点的视差图；

图6表示本发明实施例所述的道路场景的凸包区域；

图7表示本发明实施例所述的U-LOG-视差图；

图8所示为本发明实施例所述的路面可行驶区域；

图9为本发明实施例所述的路面可行驶区域检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1表示本发明实施例所述的路面可行驶区域检测方法流程图。

参见图1所示，一种路面可行驶区域检测方法包括：

S11:通过双目成像设备获取路面的左视图和右视图，并对所述左视图和所述右视图进行处理，得到稀疏视差图；

S12:将所述稀疏视差图转换为U-视差图，并将所述U-视差图的像素与预设像素强度阈值进行比较，得到比较结果；

S13:根据所述比较结果，删除所述U-视差图中像素小于所述预设像素强度阈值的像素点，得到第一U-视差图，并将第一U-视差图进行处理，得到第二U-视差图；

S14:在所述第二U-视差图中获取并处理固定数目的目标边界点，得到凸包区域；

S15:将U-视差图进行LOG变换，得到U-LOG-视差图；根据所述U-LOG-视差图的信息和所述凸包区域的信息分割出所述路面可行驶区域。

在步骤S11中，通过双目成像设备获取正常城市道路场景的左视图和右视图，处理后得到稀疏视差图；具体方法如下：

用于由两台相机组成的双目设备对同一城市道路场景进行预设次数拍摄，得到所述道路场景的左视图，如图2所示，以及右视图，如图3所示；用于根据同一物体在所述左视图和右视图中的位置信息计算所述物体在具有边缘特征处的视差信息，并使用不同的灰度值表示不同的视差值图像矩阵形式显示所述视差信息，从而生成所述道路场景的稀疏视差图，如图4所示。

在步骤S12中，将所述稀疏视差图转换为U-视差图，并将所述U-视差图的像素与预设像素强度阈值进行比较，得到比较结果；在步骤S13中，根据步骤S12中的比较结果，删除所述U-视差图中像素小于所述预设像素强度阈值的像素点，得到包含疑似障碍物点的U-视差图，并最终转换为仅包含疑似障碍物点的视差图，如图5所示，具体方法如下：

将所述道路场景的稀疏视差图转变为U-视差图，所述稀疏视差图是一副通过灰度值对应不同的视差值的图像，而所述U-视差图可以看作为所述稀疏视差图的俯视图，它的横坐标轴为u轴，是与视差图列序列对应的轴，纵坐标轴为d轴，表示视差值的变化，在U-视差图上的点表示为(u，d)，点(u，d)的亮度值对应视差图u列中像素灰度值等于d的点的累加数量；

设置所述U-视差图中像素强度阈值，利用所述像素强度阈值将所述U-视差图中像素点进行分类，其中小于所述像素强度阈值的点标记为疑似路面点，大于等于所述第一阈值的点标记为疑似障碍物点；

删除所述疑似路面点，生成不包含疑似路面点的U-视差图，将所述U-视差图中的所述疑似路面点像素置零，得到包含疑似障碍物点的U-视差图，并转换为仅包含疑似障碍物点的视差图。

在步骤S14中，在步骤S13得到的仅包含疑似障碍物点的视差图上寻找并处理固定数目的目标边界点，得到估计的所述道路场景的可行驶区域，具体方法如下：

在所述仅包含疑似障碍物点的视差图上寻找固定数目的目标边界点，首先，将所述仅包含疑似障碍物点的视差图基于列数拆分为n个图像矩阵，图像矩阵的行数等于所述视差图的行数，图像矩阵的列数等于所述视差图的列数除以n，设置行数等于1，列数等于图像矩阵列数的检测窗口，检测窗口分别在每组图像矩阵上从下而上滑动，当检测窗口中有效像素点的累加数量大于预设阈值时停止，标记当前检测窗口内的有效像素点为第一边界点，即生成n个第一边界点，如图6所示；将所述第一边界点分为m组，n大于等于m，根据第一边界点的纵坐标大小，去除每组内的最大点与最小点，保留下来的为目标边界点，即n-2m个目标边界点。

纵坐标变化幅度阈值根据最左侧三个目标边界点和最右侧三个目标边界点设置，收缩所述目标边界点的左端和右端中纵坐标差值大于所述纵坐标变化幅度阈值的相邻的目标边界点，且收缩所述目标边界点的左端和右端中纵坐标连续大于最低底部点判断阈值的目标边界点；添加横坐标与最左侧目标边界点相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数的点和横坐标与最右侧目标边界点的横坐标相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数的底部点；基于添加底部点的目标边界点与两条预设边界直线的位置关系，修改位置在上的预设边界直线上方的目标边界点坐标，且保留位于两条所述预设边界直线上的目标边界点坐标和位置在下的预设边界直线下方的目标边界点坐标，修正后的目标边界点数量保持不变；

进一步地，利用修正后的目标边界点生成凸包区域，如图6所示；

将U-视差图进行LOG变换，得到U-LOG-视差图，具体方法为：

将所述道路场景的U-视差图转变为U-LOG-视差图，所述U-LOG-视差图为对U-视差图纵坐标做LOG变换，它的横坐标轴为u轴，是与视差图列序列对应的轴，纵坐标轴为对d做log变换后的轴，表示视差值的变化，在U-LOG-视差图上的点表示为(u，LOG(d))，点(u，LOG(d))的亮度值对应视差图u列中像素灰度值做LOG变换后，等于LOG(d)的点的累加数量；如图7所示；

在步骤S15中，根据U-LOG-视差图的信息和凸包区域的信息分割出所述路面可行驶区域，具体方法为：

将所述凸包区域作为感兴趣区域，检测该区域内的障碍物信息，在凸包区域内自下而上检测疑似障碍物点位置，将凸包内疑似障碍物的区域做区域分割，最后获得所述路面可行驶区域。如图8所示；

综上，本发明公开的一种基于可行驶区域的障碍物检测方法通过同一道路场景的左视图与右视图获取稀疏视差图，然后转换为U-视差图，删除疑似路面点得到包含疑似障碍物点的U-视差图，再转换为仅包含疑似障碍物点的视差图，在所述仅包含疑似障碍物点的视差图中寻找并处理固定数目的目标边界点，生成所述凸包区域，利用U-LOG-视差图和凸包区域做图像分割，最后获得道路场景的可行驶区域，达到快速检测路面可行驶区域的目的。

图9为本发明实施例所述的路面可行驶区域检测装置的结构示意图。

一种路面可行驶区域检测装置，包括：处理模块91，用于通过双目成像设备获取路面的左视图和右视图，并对所述左视图和所述右视图进行处理，得到稀疏视差图；比较模块92，用于将所述稀疏视差图转换为U-视差图，并将所述U-视差图的像素与预设像素强度阈值进行比较，得到比较结果；删除模块93，用于根据所述比较结果，删除所述U-视差图中像素小于所述预设像素强度阈值的像素点，得到第一U-视差图，并将第一U-视差图进行处理，得到第二U-视差图；获取模块94，用于在所述第二U-视差图中获取并处理固定数目的目标边界点，得到凸包区域；变换模块95，用于将U-视差图进行LOG变换，得到U-LOG-视差图；分割模块96，用于根据所述U-LOG-视差图的信息和所述凸包区域的信息分割出所述路面可行驶区域。

可选地，所述获取模块94包括：第一分组模块(图中未示)，用于对所述第二U-视差图，纵向按照其列数分组后，对各组区域自下而上遍历，记录各组中有效像素大于有效像素累加阈值的坐标作为第一边界点的坐标；第二分组模块(图中未示)，用于对所述第一边界点分组，各组按照第一边界点纵坐标大小排序，删除各组中纵坐标最大和最小的第一边界点，得到目标边界点。

可选地，所述获取模块94还包括：收缩模块(图中未示)，用于在收缩边界点阶段，收缩所述目标边界点的左端和右端中纵坐标差值大于纵坐标变化幅度阈值的相邻的目标边界点，且收缩所述目标边界点的左端和右端中纵坐标连续大于最低底部点判断阈值的目标边界点；添加模块(图中未示)，用于在添加底部点阶段，记录收缩后的目标边界点中最左侧目标边界点的横坐标和最右侧目标边界点的横坐标，添加横坐标与最左侧目标边界点相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数的点和横坐标与最右侧目标边界点的横坐标相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数的点；融合模块(图中未示)，用于在融合边界直线阶段，基于添加相关点的目标边界点与两条预设边界直线的位置关系，修改位置在预设边界直线上方的目标边界点坐标，且保留与两条所述预设边界直线重合的目标边界点坐标和位置在预设边界直线下方的目标边界点坐标，修正后的目标边界点数量保持不变。

一种自动驾驶系统包括上述的路面可行驶区域检测装置。

本发明公开的路面可行驶区域检测通过同一道路场景的左视图与右视图获取稀疏视差图，然后转换为U-视差图，删除疑似路面点得到包含疑似障碍物点的U-视差图，再转换为仅包含疑似障碍物点的视差图，在所述仅包含疑似障碍物点的视差图中寻找并处理固定数目的目标边界点，生成所述凸包区域，利用U-LOG-视差图和凸包区域做图像分割，最后获得道路场景的可行驶区域，达到快速检测路面可行驶区域的目的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种路面可行驶区域检测方法，其特征在于，包括：

通过双目成像设备获取路面的左视图和右视图，并对左视图和所述右视图进行处理，得到稀疏视差图；

将稀疏视差图转换为U-视差图，并将U-视差图的像素与预设像素强度阈值进行比较，得到比较结果；

根据比较结果，删除所述U-视差图中像素小于预设像素强度阈值的像素点，得到第一U-视差图，并将第一U-视差图进行处理，得到第二U-视差图；

在第二U-视差图中获取并处理固定数目的目标边界点，得到凸包区域；将U-视差图进行LOG变换，得到U-LOG-视差图；根据U-LOG-视差图的信息和凸包区域的信息分割出路面可行驶区域；

所述在第二U-视差图中获取并处理固定数目的目标边界点，得到凸包区域包括：

对所述第二U-视差图，纵向按照其列数分组后，对各组区域自下而上遍历，记录各组中有效像素小于有效像素累加阈值的坐标作为第一边界点的坐标；

对所述第一边界点分组，各组按照第一边界点纵坐标大小排序，删除各组中纵坐标最大和最小的第一边界点，得到目标边界点；

收缩所述目标边界点的左端和右端中纵坐标差值大于纵坐标变化幅度阈值的相邻的目标边界点，且收缩所述目标边界点的左端和右端中纵坐标连续大于底部最低点判断阈值的目标边界点；

记录收缩后的目标边界点中最左侧目标边界点的横坐标和最右侧目标边界点的横坐标，添加两个点，其中一个点的横坐标与最左侧目标边界点相同、纵坐标为仅包含疑似障碍物点的视差图最大行数；另一个点的横坐标与最右侧目标边界点的横坐标相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数；

基于添加相关点的目标边界点与两条预设边界直线的关系，修改位置在预设边界直线上方的目标边界点坐标，且保留与两条所述预设边界直线重合的目标边界点坐标和位置在预设边界直线下方的目标边界点坐标，修正后的目标边界点数量保持不变；

利用修正后的目标边界点生成凸包区域；

将U-视差图进行LOG变换，得到U-LOG-视差图，具体方法为：

将U-视差图转变为U-LOG-视差图，所述U-LOG-视差图为对U-视差图纵坐标做LOG变换，U-LOG-视差图的横坐标轴为u轴，u轴是与U-视差图对应的轴，纵坐标轴为对d做log变换后的轴，表示视差值的变化，在U-LOG-视差图上的点表示为(u，LOG(d))，点(u，LOG(d))的亮度值对应视差图u列中像素灰度值做LOG变换后，等于LOG(d)的点的累加数量；

其中，所述U-LOG-视差图为对U-视差图的进行LOG变换，用于压缩近处视差尺度，拉伸远处视差；

所述根据U-LOG-视差图的信息和凸包区域的信息分割出所述路面可行驶区域包括：在所述凸包区域内，利用所述U-LOG-视差图的非零点分割所述凸包区域，生成所述路面可行驶区域。

2.如权利要求1所述的路面可行驶区域检测方法，其特征在于，所述纵坐标变化幅度阈值根据最左侧三个目标边界点和最右侧三个目标边界点设置。

3.如权利要求1所述的路面可行驶区域检测方法，其特征在于，所述预设边界直线为基于世界坐标系中的需求检测范围计算出的在图像坐标系的边界直线。

4.一种路面可行驶区域检测装置，其特征在于，包括：

处理模块，用于通过双目成像设备获取路面的左视图和右视图，并对所述左视图和所述右视图进行处理，得到稀疏视差图；

比较模块，用于将所述稀疏视差图转换为U-视差图，并将所述U-视差图的像素与预设像素强度阈值进行比较，得到比较结果；

删除模块，用于根据所述比较结果，删除所述U-视差图中像素小于所述预设像素强度阈值的像素点，得到第一U-视差图，并将第一U-视差图进行处理，得到第二U-视差图；

获取模块，用于在所述第二U-视差图中获取并处理固定数目的目标边界点，得到凸包区域；

变换模块，用于将U-视差图进行LOG变换，得到U-LOG-视差图；

分割模块，用于根据所述U-LOG-视差图的信息和所述凸包区域的信息分割出所述路面可行驶区域；

所述在第二U-视差图中获取并处理固定数目的目标边界点，得到凸包区域包括：

对所述第二U-视差图，纵向按照其列数分组后，对各组区域自下而上遍历，记录各组中有效像素小于有效像素累加阈值的坐标作为第一边界点的坐标；

对所述第一边界点分组，各组按照第一边界点纵坐标大小排序，删除各组中纵坐标最大和最小的第一边界点，得到目标边界点；

收缩所述目标边界点的左端和右端中纵坐标差值大于纵坐标变化幅度阈值的相邻的目标边界点，且收缩所述目标边界点的左端和右端中纵坐标连续大于底部最低点判断阈值的目标边界点；

记录收缩后的目标边界点中最左侧目标边界点的横坐标和最右侧目标边界点的横坐标，添加两个点，其中一个点的横坐标与最左侧目标边界点相同、纵坐标为仅包含疑似障碍物点的视差图最大行数；另一个点的横坐标与最右侧目标边界点的横坐标相同、纵坐标为所述仅包含疑似障碍物点的视差图最大行数；

基于添加相关点的目标边界点与两条预设边界直线的关系，修改位置在预设边界直线上方的目标边界点坐标，且保留与两条所述预设边界直线重合的目标边界点坐标和位置在预设边界直线下方的目标边界点坐标，修正后的目标边界点数量保持不变；

利用修正后的目标边界点生成凸包区域；

将U-视差图进行LOG变换，得到U-LOG-视差图，具体方法为：

将U-视差图转变为U-LOG-视差图，所述U-LOG-视差图为对U-视差图纵坐标做LOG变换，U-LOG-视差图的横坐标轴为u轴，u轴是与U-视差图对应的轴，纵坐标轴为对d做log变换后的轴，表示视差值的变化，在U-LOG-视差图上的点表示为(u，LOG(d))，点(u，LOG(d))的亮度值对应视差图u列中像素灰度值做LOG变换后，等于LOG(d)的点的累加数量；

其中，所述U-LOG-视差图为对U-视差图的进行LOG变换，用于压缩近处视差尺度，拉伸远处视差；

所述根据U-LOG-视差图的信息和凸包区域的信息分割出所述路面可行驶区域包括：在所述凸包区域内，利用所述U-LOG-视差图的非零点分割所述凸包区域，生成所述路面可行驶区域。

5.一种自动驾驶系统，其特征在于，包括权利要求4所述的路面可行驶区域检测装置。