CN110088801A - 可行驶区域检测装置以及行驶辅助系统 - Google Patents

Abstract

本发明实现一种能够检测移动体的前方的路沿的中断、并根据所检测出的路沿的中断来判定是否存在移动体能够行驶的可行驶区域的可行驶区域检测装置以及利用该可行驶区域检测装置的行驶辅助系统。在本发明中，可行驶区域检测装置(1)从基于由立体摄像机装置(2)取得的多个图像而生成的视差图像，检测行驶区域的道路沿的位置。基于所检测出的路沿的位置信息，推定处于路沿与路沿之间的中断的高度方向的变化以及从路沿的中断向与行驶车道相反的一侧扩展的区域的梯度变化。由此，能够判定路沿的中断是否为本车辆(V)的可行驶区域。

Description

可行驶区域检测装置以及行驶辅助系统

技术领域

本发明涉及一种可行驶区域检测装置以及行驶辅助系统。

背景技术

目前，开发有如下系统：基于从搭载于作为移动体的汽车等车辆的摄像机、雷达获得的信息，探测该车辆行驶的道路(行驶道路)上的白线、路沿(与人行道、路边区域、路缘石等的边界)等，将其探测结果用于驾驶员的驾驶辅助。

在专利文献1中，公开了如下的车载系统：通过拍摄车辆的周边的车载摄像机检测路沿的中断，根据该中断区间的边缘信息，将对象区间设为可行驶区域。

现有技术文献

专利文献

专利文献1：日本特开2016－18371号公报

发明内容

发明要解决的技术问题

然而，在专利文献1所公开的技术中，虽然对路沿中断进行检测，但未计算路沿中断区间的距离、未判定路沿中断区间的与车行道相反的一侧的区域能否行驶，存在难以检测可靠性高的可行驶区域这样的问题。

因此，期望一种能够检测作为移动体的车辆的前方的路沿的中断、并根据该中断来判定是否存在车辆能够行驶的可行驶区域的可行驶区域检测装置以及利用该可行驶区域检测装置的行驶辅助系统。

本发明是鉴于上述现有技术的问题而完成的，其目的在于，实现一种能够检测移动体的前方的路沿的中断、并根据所检测到的路沿的中断来判定是否存在移动体能够行驶的可行驶区域的可行驶区域检测装置以及利用该可行驶区域检测装置的行驶辅助系统。

解决技术问题的技术手段

为了解决上述课题，本发明如下那样构成。

在可行驶区域检测装置中，具备：

路沿检测部，其基于摄像图像，检测存在于移动体行驶的道路上的路沿，并输出路沿信息；

探索范围决定部，其基于由所述路沿检测部检测出的路沿信息，决定探索范围；

路面梯度推定部，其基于由所述探索范围决定部决定的探索范围，推定从移动体观察的路沿侧的可行驶判定区域的路面梯度；以及

可行驶区域判定部，其至少根据由所述路面梯度推定部推定出的所述路面梯度，判定所述可行驶判定区域是否为所述移动体能够行驶的区域。

另外，在行驶辅助系统中，具备：

摄像装置，其对移动体的前方进行拍摄；

可行驶区域检测装置；以及

行驶辅助控制装置，其依照所述可行驶区域检测装置的判定结果，控制所述移动体的动作而辅助行驶，

所述可行驶区域检测装置具有：

路沿检测部，其基于所述摄像装置拍摄到的摄像图像，检测存在于移动体行驶的道路上的路沿，并输出路沿信息；

探索范围决定部，其基于由所述路沿检测部检测出的路沿信息，决定探索范围；

路面梯度推定部，其基于由所述探索范围决定部决定的探索范围，推定从移动体观察的路沿侧的可行驶判定区域的路面梯度；以及

可行驶区域判定部，其至少根据由所述路面梯度推定部推定出的所述路面梯度，判定所述可行驶判定区域是否为所述移动体能够行驶的区域。

发明效果

根据本发明，能够实现一种能够检测移动体的前方的路沿的中断、并根据所检测出的路沿的中断来判定是否存在移动体能够行驶的可行驶区域的可行驶区域检测装置以及利用该可行驶区域检测装置的行驶辅助系统。

附图说明

图1是应用了本发明的一实施例的可行驶区域检测装置的行驶辅助系统的概略结构图。

图2是可行驶区域判定处理的流程图。

图3是示出由可行驶区域检测装置检测出的路沿点群的俯瞰图。

图4是示出由可行驶区域检测装置检测出的路沿点群和探索范围的图。

具体实施方式

下面，参照附图，详细说明用于实施本发明的方式。

实施例

本发明的一实施例是作为移动体而应用于车辆的情况下的例子。

图1是应用了本发明的一实施例的可行驶区域检测装置的行驶辅助系统的概略结构图。

在图1中，行驶辅助系统例如搭载于汽车等车辆V(图3所示)，主要具备由对车辆V的前方进行拍摄的多个(在本实施例中是2个)摄像机构成的立体摄像机装置(摄像装置)2、从由立体摄像机装置2的各摄像机同步地拍摄到的多个图像中检测该车辆V的周围的可行驶区域的可行驶区域检测装置1、以及基于可行驶区域检测装置1的检测结果来控制搭载于车辆V的各种控制装置(例如，油门控制部31、制动器控制部32、喇叭控制部33、转向装置控制部34等)并控制该车辆V的动作而辅助行驶的行驶辅助控制装置3。

立体摄像机装置2具备例如在车辆V的前方的前窗玻璃的上部的近前方，并朝向车辆V的前方地设置、对车辆V的前方进行拍摄并取得图像信息的作为一对摄像部的左摄像机(左图像取得部)10和右摄像机(右图像取得部)11。

左摄像机10和右摄像机11分别具有CCD(Charge Coupled Device，电荷耦合装置)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等摄像元件，相互设置成从在车辆的左右方向(与车辆的长边方向正交的方向)上相互间隔开的位置拍摄车辆V的前方。

可行驶区域检测装置1是基于由立体摄像机装置2以规定的周期按时间序列取得的车辆V的前方的拍摄对象区域的图像信息而检测可行驶区域的装置。

特别地，可行驶区域检测装置1根据作为与行驶道路侧边的人行道、路边区域、路缘石等的边界的道路沿的中断来检测可行驶区域，并将该探测结果输出给行驶辅助控制装置3。

此外，该可行驶区域检测装置1由控制立体摄像机装置2(例如，控制各摄像机的摄像时刻、曝光量)的摄像机控制部、作为临时存储区域的RAM(Random Access Memory，随机存取存储器)、对程序、各种初始值进行存储的ROM(Read Only Memory，只读存储器)、进行系统整体的控制的CPU(Central Processing Unit，中央处理单元)、将识别信息等输出给系统外的外部IF(Interface，接口)图像处理LSI(Large Scale Integration，大规模集成电路)等构成，各结构要素经由总线能够通信地连接。

如图1所示，可行驶区域检测装置1具备视差图像生成部12、路沿检测部13、探索范围决定部14、路面梯度推定部15和可行驶区域判定部16。

立体摄像机装置2的左图像取得部10以及右图像取得部11分别获取所拍摄到的左图像以及右图像，将取得的左图像以及右图像发送到视差图像生成部12。

行驶辅助控制装置3基于从可行驶区域检测装置1接收到的检测结果(判定结果)，计算该车辆V的喇叭控制部33的工作、用于辅助该车辆V的行驶的油门控制部31的控制量、制动器控制部32的控制量、转向装置控制部34的控制量，进行油门、制动器、转向装置等的调整。

此外，下面，具体说明由可行驶区域检测装置1检测存在于该车辆V的前方的可行驶区域的情况。

在车辆的行驶道路上的路沿(人行道、路缘石、中央分隔区域等)的中断处存在高度的变化(例如，路沿的高度、梯度的变化等)，所以，想到通过利用中断区间的高度变化以及在中断区间的与行驶车道相反的方向上存在的区域的路面的梯度变化，能够根据中断区间来判断是否存在车辆能够行驶的可行驶区域。

接下来，参照图2、图3、图4，说明由可行驶区域检测装置1执行的可行驶区域判定处理。图2是可行驶区域判定处理的流程图，图3是示出由可行驶区域检测装置1检测出的路沿点群的俯瞰图。另外，图4是示出由可行驶区域检测装置1检测出的路沿点群和探索范围的图。

按照图2所示的流程图来说明可行驶区域判定处理。作为一个例子，本处理在开始车辆的行驶时开始。

此外，图2所示的步骤S1是视差图像生成部12的处理，步骤S2、S3以及S4是路沿检测部13的处理，步骤S5以及S6是探索范围决定部14的处理。

另外，步骤S7是路面梯度推定部15的处理，步骤S8以及S9是可行驶区域判定部16的处理。

在图2的步骤S1中，使用由左图像取得部10以及右图像取得部11取得的左图像以及右图像来生成视差图像，在步骤S2中处理所生成的视差图像。

具体来说，基于由左图像取得部10以及右图像取得部11取得的左图像以及右图像，通过块匹配处理来计算视差(图像之间的位置偏移)，基于计算出的视差来生成包括3维距离信息(空间信息)的视差图像。

更详细地说，在步骤S1中，通过块匹配处理，利用规定形状的第1块，以包括多个像素的方式对一方的图像(例如左图像)进行划分，利用尺寸、形状、位置与第1块相同的第2块，对另一方的图像(例如右图像)进行划分。

然后，使第2块逐个像素地在横向上错开，在各位置处计算与第1块内以及第2块内的2个亮度图案相关的的相关值，对该相关值最小、即相关度最高的位置进行探索(对应点检索)。

此外，作为相关值的计算方法，例如能够使用SAD(Sum of Absolute Difference，绝对误差和)、SSD(Sum of Squared Difference，方差和)、NCC(Normalized CrossCorrelation，归一化互相关)、梯度法等。

在探索的情况、确定相关度最高的位置的情况下，将第1块内的特定的像素与所确定出的位置处的第2块内的特定的像素之间的距离计算为视差，以此作为1个步骤，对于全部像素执行相同的步骤，从而能够生成视差图像。

在步骤S2中，使用在步骤S1中取得的视差图像，提取能够成为行驶道路上的道路沿(例如，人行道、路缘石、护轨、连续的杆、壁等)候补的路沿部位，通过步骤S3来处理所提取出的路沿的位置信息。

若具体说明步骤S2，则在步骤S1中取得的视差图像中，成为路沿候补的物体附近的距离变化与平坦部分的距离变化相比较小，利用这一点来检测路沿候补部分的特征点。例如，在垂直方向上扫描图像数据，检测能够视为路边物体的高低差。

接下来，在步骤S3中，将所检测出的路沿分成车辆V的左侧路沿和右侧路沿。

进一步地，如图3所示，排除其他车辆、行人等路边物体以外的路沿点群100(在图示的例子中是车辆的情况)，仅提取为了探索可行驶区域而使用的路沿点群101，在步骤S4中仅处理所提取出的路沿信息(从路沿检测部13输出)。

在这里，为了探索可行驶区域而使用的路沿是指除了车辆V的行驶车道上的障碍物(例如其他车辆)以外的行驶车道与道路沿的边界。

接下来，在步骤S4中判断为在所提取出的路沿存在路沿的中断、并且该路沿的中断是车辆V的可行驶区域候补的情况下，在步骤S5中处理所提取出的路沿的位置信息。在车辆V的可行驶区域候补的判断中，在图3的路沿结束地点103与路沿开始地点102之间的距离为车辆V的宽度以上的情况下，设为可行驶区域候补。

在步骤S5中，根据在步骤S4中检测出的路沿的中断区间(地点102与地点103之间)来决定用于推定路面梯度的处理区域、即探索范围(从车辆观察路沿侧的区域范围)，在步骤S6中处理所决定的探索范围的坐标。

具体来说，如图4所示，将由从路沿的中断区间的开始地点102至中断结束地点103的直线400、从地点102和地点103向与行驶道路相反的一侧在水平方向上划出的直线200和300以及画面端的直线500形成的矩形区域600设为探索范围。在图2的步骤S5中记载的路面梯度推定用过滤尺寸的设定意味着矩形区域600的设定。

接下来，在步骤S6中，当在步骤S5中决定的矩形区域600的范围内检测到遮蔽物(树木、护轨等)而无法推定路面的梯度的情况下，在步骤S17中判定为无法推定路面构内，仅在能够推定路面梯度的情况下，在步骤S7中处理步骤S5的信息。

在步骤S7中，推定在步骤S5中决定的探索区域即矩形区域600的路面的梯度，在步骤S8中处理所推定出的梯度信息。

步骤S7中的具体的推定次序是在水平方向上扫描探索区域(可行驶判定区域)即矩形区域600，取得路面的高度信息。以此作为1个步骤，从近方侧(相对于路沿的中断的本车辆V一侧)取得路面的高度信息，推定矩形区域600中的路面的梯度。

在步骤S8中，根据在步骤S7中推定出的路面的梯度变化，判断路面梯度是否为车辆V能够行驶的范围的倾斜，在判定为无法行驶的梯度的情况下，在步骤S18中判定为无法行驶区域。然后，仅在判断为矩形区域600能够行驶的情况下，在步骤S9中处理步骤S7的信息。

在步骤S9中，在车辆V从车行道进入到路沿中断区间内时，判定是否存在车辆V不挤出到行驶车道而仅能够停车的区域、即有没有障碍物(壁、高低差等)、是否存在坑、是否为本车辆能够行驶的区域。

在判定为存在作为障碍物的物体、或者存在坑、或者不是本车辆能够行驶的区域的情况下，在步骤S18中判定为无法行驶区域。

另外，当在步骤S8中判定为不存在作为障碍物的物体、也不存在坑、并且是本车辆能够行驶的区域的情况下，在步骤S19中判定为可行驶区域，将该判定结果发送到行驶辅助装置3。

然后，行驶辅助控制装置3基于步骤S6中的遮蔽判定以及步骤S8和步骤S9中的判定结果，根据步骤S17的无法推定路面梯度判定和步骤S18的无法行驶区域判定以及步骤S19的可行驶区域判定的结果，实施车辆V的行驶辅助。

如上所述，在本发明的一实施例中的可行驶区域检测装置中，根据基于由立体摄像机装置2取得的多个图像而生成的视差图像，检测行驶区域的道路沿的位置，基于所检测出的该路沿的位置信息，推定处于路沿102和103之间的中断的高度方向的变化以及从路沿的中断向与行驶车道相反的一侧扩展的区域的梯度变化，从而能够判定路沿的中断是否为本车辆V的可行驶区域。

由此，例如即使在检测到本车辆V的行驶道路上的路沿的中断的情况下，也能够根据该路沿的中断来推定可行驶区域，能够提供适用于自动驾驶的高精度的行驶辅助。

即，能够实现一种能够检测移动体的前方的路沿的中断、并根据所检测出的路沿的中断来判定是否存在移动体能够行驶的可行驶区域的可行驶区域检测装置以及利用该可行驶区域检测装置的行驶辅助系统。

此外，上述例子是车辆搭载本发明的可行驶区域检测装置的例子，但本发明不限于车辆，也能够应用于其他移动体。例如，也能够将本发明应用于用于灾害用途的行驶机器人(救助用机器人)等。

另外，在上述例子中，作为立体摄像机装置，以CCD、CMOS等摄像元件作为例子，但作为摄像装置，也能够使用激光雷达。

另外，在上述例子中，由视差图像生成部12生成视差图像，检测路边物体，但关于路边物体的检测，能够通过视差图像以外的图像识别处理来进行路边物体的检测。

符号说明

1…可行驶区域检测装置；2…立体摄像机装置；3…行驶辅助控制装置；10…左图像取得部；11…右图像取得部；12…视差图像生成部；13…路沿检测部；14…探索范围决定部；15…路面梯度推定部；16…可行驶区域判定部；31…油门控制部；32…制动器控制部；33…喇叭控制部；34…转向装置控制部；100…其他车辆、行人等路边物体以外的路沿点群；101…路沿点群；102…中断区间的开始点；103…中断区间的结束点；200、300…在水平方向上划出的直线；400…至中断结束地点的直线；500…画面端的直线；600…矩形区域(探索区域)。

Claims (12)

1.一种可行驶区域检测装置，其特征在于，具备：

路沿检测部，其基于摄像图像，检测存在于移动体行驶的道路上的路沿，并输出路沿信息；

探索范围决定部，其基于由所述路沿检测部检测出的路沿信息，决定探索范围；

路面梯度推定部，其基于由所述探索范围决定部决定的探索范围，推定从移动体观察的路沿侧的可行驶判定区域的路面梯度；以及

可行驶区域判定部，其至少根据由所述路面梯度推定部推定出的所述路面梯度，判定所述可行驶判定区域是否为所述移动体能够行驶的区域。

2.根据权利要求1所述的可行驶区域检测装置，其特征在于，

还具备从多个图像生成视差图像的视差图像生成部，所述路沿检测部基于所述视差图像生成部所生成的所述视差图像，检测存在于道路的路沿。

3.根据权利要求1所述的可行驶区域检测装置，其特征在于，

所述可行驶区域判定部在所检测出的所述路面梯度大于规定值的情况下，判定为在所述可行驶判定区域中所述移动体无法行驶。

4.根据权利要求1所述的可行驶区域检测装置，其特征在于，

所述可行驶区域判定部判定在所述可行驶判定区域中是否存在障碍物、是否存在坑以及是否为所述移动体能够行驶的区域，在判定为存在障碍物、或者存在坑、或者不是所述移动体能够行驶的区域的情况下，判定为所述移动体在所述可行驶判定区域中无法行驶。

5.根据权利要求4所述的可行驶区域检测装置，其特征在于，

所述可行驶区域判定部在所检测出的所述路面梯度为规定值以下、并且在所述可行驶判定区域中不存在障碍物、也不存在坑、并且是所述移动体能够行驶的区域的情况下，判定为所述移动体在所述可行驶判定区域中能够行驶。

6.根据权利要求1、2、3、4、5中的任一项所述的可行驶区域检测装置，其特征在于，

所述移动体是车辆。

7.一种行驶辅助系统，其特征在于，具备：

摄像装置，其对移动体的前方进行拍摄；

可行驶区域检测装置；以及

行驶辅助控制装置，其依照所述可行驶区域检测装置的判定结果，控制所述移动体的动作而辅助行驶，

所述可行驶区域检测装置具有：

路沿检测部，其基于所述摄像装置所拍摄到的摄像图像，检测存在于移动体所行驶的道路上的路沿，并输出路沿信息；

探索范围决定部，其基于由所述路沿检测部检测出的路沿信息，决定探索范围；

路面梯度推定部，其基于由所述探索范围决定部决定的探索范围，推定从移动体观察的路沿侧的可行驶判定区域的路面梯度；以及

可行驶区域判定部，其至少根据由所述路面梯度推定部推定出的所述路面梯度，判定所述可行驶判定区域是否为所述移动体能够行驶的区域。

8.根据权利要求7所述的行驶辅助系统，其特征在于，

所述可行驶区域检测装置具备从多个图像生成视差图像的视差图像生成部，所述路沿检测部基于所述视差图像生成部所生成的所述视差图像，检测存在于道路的路沿。

9.根据权利要求7所述的行驶辅助系统，其特征在于，

所述可行驶区域判定部在所检测出的所述路面梯度大于规定值的情况下，判定为在所述可行驶判定区域中所述移动体无法行驶。

10.根据权利要求7所述的行驶辅助系统，其特征在于，

所述可行驶区域判定部判定在所述可行驶判定区域中是否存在障碍物、是否存在坑以及是否为所述移动体能够行驶的区域，在判定为存在障碍物、或者存在坑、或者不是所述移动体能够行驶的区域的情况下，判定为所述移动体在所述可行驶判定区域中无法行驶。

11.根据权利要求10所述的行驶辅助系统，其特征在于，

所述可行驶区域判定部在所检测出的所述路面梯度为规定值以下、并且在所述可行驶判定区域中不存在障碍物、也不存在坑、并且是所述移动体能够行驶的区域的情况下，判定为所述移动体在所述可行驶判定区域中能够行驶。

12.根据权利要求7、8、9、10、11中的任一项所述的行驶辅助系统，其特征在于，

所述移动体是车辆。