CN104951817A - 边界检测装置和边界检测方法 - Google Patents

Abstract

本发明涉及边界检测装置和边界检测方法。边界检测装置(1)包括获取单元(11)、提取单元(13)和检测单元(15)。获取单元基于通过捕捉车辆的周围环境的图像而获得的信息，来获取视差图像。提取单元基于第一像素区域的视差梯度方向和第二像素区域的视差梯度方向，从视差图像的第一像素区域和第二像素区域提取预定像素区域。检测单元通过将至少一些由提取单元提取的多个预定像素区域连接到一起，来检测沿着道路而存在的台阶表面的边界。第一像素区域和第二像素区域将预定像素区域夹在中间。由第一像素区域的视差梯度方向与第二像素区域的视差梯度方向所形成的角度在直角的预定角度范围之内。

Description

边界检测装置和边界检测方法

技术领域

本发明涉及一种边界检测装置和边界检测方法。

背景技术

在相关技术中存在从图像识别目标的方法。例如，日本专利申请公开No.2013-114476(JP2013-114476A)公开了涉及目标识别方法的技术，在该目标识别方法中，确定了在充当识别对象的视差图像的各个位置中表面的梯度，根据表面的梯度的连接情况提取视差图像的表面之间的折叠的位置和方向作为识别对象的特征信息，并且基于提取的特征信息来确定识别对象的类型。

期望能够基于视差图像以高的精度来检测台阶表面之间的边界。例如，视差值变化的点可以检测为边界。然而，在从远处捕捉的区域中，视差值是小的。因此难以在从远处捕捉的区域中，以高精度提取视差值变化的点作为边界。

发明内容

本发明提供了一种边界检测装置和边界检测方法，利用该边界检测装置和边界检测方法，能够以高精度检测台阶表面之间的边界。

根据本发明的第一方面的边界检测装置，包括获取单元、提取单元和检测单元。获取单元被构造成基于通过捕捉车辆的周围环境的图像而获得的信息，来获取视差图像。所述视差图像包括第一像素区域和第二像素区域。提取单元被构造成基于所述第一像素区域的视差梯度方向和所述第二像素区域的视差梯度方向，从所述第一像素区域和所述第二像素区域提取预定的像素区域。检测单元被构造成通过将至少一些由所述提取单元提取的多个所述预定像素区域连接在一起，来检测沿着道路存在的台阶表面的边界。所述第一像素区域和所述第二像素区域将所述预定像素区域夹在中间。由所述第一像素区域的所述视差梯度方向与所述第二像素区域的所述视差梯度方向形成的角度在直角的预定角度范围之内。

利用根据本发明的第一方面的边界检测装置，能够以高的精度检测到台阶表面之间的边界。例如，甚至在从远处捕捉的图像区域中，也能够以高的精度检测到台阶表面之间的边界。

在本发明的第一方面中，所述第一像素区域可以包括第一像素和第二像素。所述第二像素区域可以包括第三像素和第四像素。所述第一像素和所述第三像素可以在第一方向上定位在所述预定像素区域的两侧。由所述第一像素的第一视差梯度方向与所述第三像素的第三视差梯度方向所形成的角度可以在直角的预定角度范围之内。所述第二像素和所述第四像素可以在第二方向上定位在所述预定像素区域的两侧，该第二方向与所述第一方向大致正交。由所述第二像素的第二视差梯度方向与所述第四像素的第四视差梯度方向所形成的角度可以在直角的预定角度范围之内。

在以上边界检测装置中，所述提取单元可以被构造成基于所述第一像素的所述第一视差梯度方向、所述第二像素的所述第二视差梯度方向、所述第三像素的所述第三视差梯度方向和所述第四像素的所述第四视差梯度方向，来确定所述预定像素区域是否构成所述台阶表面的上侧或者下侧的边界。所述检测单元可以被构造成将确定为构成所述台阶表面的所述上侧的所述边界的所述预定像素区域连接到一起，并且将确定为构成所述台阶表面的所述下侧的所述边界的所述预定像素区域连接到一起。

在以上边界检测装置中，所述提取单元可以被构造成基于所述第一像素的所述第一视差梯度方向、所述第二像素的所述第二视差梯度方向、所述第三像素的所述第三视差梯度方向和所述第四像素的所述第四视差梯度方向，来确定所述预定像素区域是否构成定位在所述道路的左侧或者右侧的所述台阶表面的边界。所述检测单元可以被构造成将确定为构成定位所述左侧上的所述台阶表面的所述边界的所述预定像素区域连接到一起，并且将确定为构成定位在所述右侧的所述台阶表面的所述边界的所述预定像素区域连接到一起。

根据本发明的第二方面的边界检测方法，包括：基于通过捕捉车辆的周围环境的图像而获得的信息，来获取视差图像，所述视差图像包括第一像素区域和第二像素区域；基于所述第一像素区域的视差梯度方向和所述第二像素区域的视差梯度方向，从所述第一像素区域和所述第二像素区域提取预定像素区域；并且通过将至少一些提取的多个所述预定像素区域连接到一起，来检测沿着道路而存在的台阶表面的边界。所述第一像素区域和所述第二像素区域将所述预定像素区域夹在中间。由所述第一像素区域的所述视差梯度方向与所述第二像素区域的所述视差梯度方向形成的角度在直角的预定角度范围之内。

附图说明

下面将通过参考附图描述本发明的说明性实施例的特征、优势、技术和工业重要性，其中相同的编号指示相同的元件，并且其中：

图1是示出根据实施例的操作的流程图；

图2是示出根据本实施例的边界检测装置的构造的示意性框图；

图3是示出图像数据的实例的图；

图4是示出距离图像的实例的图；

图5是视差梯度方向的说明图；

图6是示出了提取预定的像素区域的方法的图；

图7是示出视差梯度方向的另一图；

图8是示出上端区域提取结果的实例的图；

图9是示出下端区域提取结果的实例的图；

图10是涉及直线匹配处理的说明图；

图11是示出边界线检测结果的实例的图；

图12是示出根据实施例的第四修改实例的视差图像的图；

图13是示出根据实施例的第四修改实例的窗口的图；以及

图14是涉及实施例的第五修改实例的说明图。

具体实施方式

下面将通过参考附图具体描述根据本发明的实施例的边界检测装置和边界检测方法。注意，本发明不限于该实施例。此外，下述的实施例的构成元件包括大致相同的元件或者本领域中的技术人员能够容易地设想到的元件。

[第一实施例]

将通过参考图1至11描述第一实施例。本实施例涉及一种边界检测装置和边界检测方法。图1是示出根据发明的本实施例的操作的流程图；图2是示出根据本实施例的边界检测装置的构造的示意性框图；图3是示出图像数据的实例的图；图4是示出距离图像的实例的图；图5是视差梯度方向的说明图；图6是示出了提取预定的像素区域的方法的图；图7是示出视差梯度方向的另一张图；图8是示出上端区域提取结果的实例的图；图9是示出下端区域提取结果的实例的图；图10是涉及直线匹配处理的说明图；图11是示出边界线检测结果的实例的图。

根据本实施例的边界检测装置和边界检测方法用于基于距离图像检测主要以台阶形式发生高度变化的道路边界位置。例如，道路边界位置与路缘、人行道的边缘或者排水沟的位置相对应。为了检测诸如路缘这样的道路边界，可以使用从距离图像计算高度信息并且提取发生高度变化的位置的方法。然而，由于路缘上表面与路面之间的高度差仅大约10至20厘米，并且距离图像自身可能包括误差，所以难以以高的精度检测远处的路缘。响应该问题已经设计了根据本发明的边界检测装置和边界检测方法，并且提供了一种直接从距离图像提取由诸如路缘这样的台阶构成的道路边界的方法。

图2所示的边界检测装置1用于检测立体道路边界，并且该边界检测装置1安装在例如车辆100中，从而检测在车辆100的前方的立体道路边界。在本说明书中，立体道路边界是沿着道路而存在的台阶表面的边界。该边界通常是台阶表面的上端上的外角部或者台阶表面的下端上的内角部。可以引用沿着道路安置的路缘的侧面作为台阶表面的典型实例。在本实施例中，将描述如下情况作为实例：在路缘的侧面的上端和下端处的边界线被检测为立体道路边界。

如图2中所示，根据本实施例的边界检测装置1包括图像获取单元11、距离数据获取单元12、台阶候选点提取单元13、坐标变换单元14以及道路边界线检测单元15。在本实施例中，距离数据获取单元12充当获取单元，台阶候选点提取单元13充当提取单元，并且道路边界线检测单元15充当检测单元。根据本实施例的边界检测装置1可以是电子控制单元(ECU)，该电子控制单元(ECU)包括图像获取单元11、距离数据获取单元12、台阶候选点提取单元13、坐标变换单元14以及道路边界线检测单元15。

在车辆100中安装右侧照相机2和左侧照相机3。右侧照相机2和左侧照相机3分别捕捉车辆100的周围环境的图像。根据本实施例的右侧照相机2和左侧照相机3安装在车辆100的前部，从而捕捉车辆100的前方的环境的图像。根据本实施例的右侧照相机2和左侧照相机3一起构成立体照相机。右侧照相机2和左侧照相机3被安置成在车辆100的车辆宽度方向上互相邻近，使得他们各自的光轴平行。

通过使右侧照相机2和左侧照相机3同时或者以接近的时间捕捉图像来产生立体图像。将由右侧照相机2和左侧照相机3分别捕捉和产生的图像数据传输到图像获取单元11。图像获取单元11从在相同时间具有立体构造的右侧照相机2和左侧照相机3获取亮度图像。图像获取单元11将图像捕捉指令信号输出到右侧照相机2和左侧照相机3，以使得右侧照相机2和左侧照相机3以同步时间捕捉图像。例如，图像获取单元11使得右侧照相机2和左侧照相机3以预定的帧速捕捉车辆的前方的图像。此外，图像获取单元11获取由右侧照相机2和左侧照相机3产生的图像信息。由各个照相机2、3产生的图像信息表示图像上的各像素的位置与表示该像素的亮度和颜色的信息之间的关系。注意，图像获取单元11可以使用例如A.Geiger,M.Roser,and,R.Urtasun:“Efficient Large-Scale Stereo Matching”,Proc.Asian Conf.onComputer Vision,Queenstown,New Zealand,2010年11月中描述的方法。

距离数据获取单元12充当基于通过捕捉车辆的周围环境的图像而获得的信息来获取视差图像的获取单元。距离数据获取单元12通过找到从左和右照相机2、3获取的图像上的相同点之间的对应关系，来计算充当三维距离信息的视差。换句话说，距离数据获取单元12通过基于由右侧照相机2产生的图像信息和左侧照相机3产生的图像信息计算距离数据而获取视差图像。注意在本说明书中，由右侧照相机2产生的图像信息将被称为“右侧图像信息”，并且由左侧照相机3产生的图像信息将被称为“左侧图像信息”。例如，距离数据获取单元12从左侧图像信息提取与右侧图像信息的焦点像素相对应的像素(后文简称为“对应像素”)。对应像素是在左侧图像信息的像素之中具有与焦点像素最高的相关度的像素。距离数据获取单元12计算右侧图像信息中的焦点像素的位置与左侧图像信息中的对应像素的位置之间的位移量，作为像素的视差值(大小)。

距离数据获取单元12计算右侧图像信息的每个像素的视差值，并且将所计算的视差值与像素的位置相关联。例如，如上所述，距离数据获取单元12可以利用A.Geiger,M.Roser,and,R.Urtasun:“EfficientLarge-Scale Stereo Matching”,Proc.Asian Conf.on Computer Vision,Queenstown,New Zealand,2010年11月中描述的方法，来获取视差图像。视差图像是以上述方式获取的、表示图像的各个像素的视差值的信息。图3示出了左侧图像信息作为图像信息的实例。图4示出了基于图3所示的左侧图像信息和对应于该左侧图像信息的右侧图像信息而产生的距离图像(视差图像)。视差值随着到照相机2、3的距离的减小而稳定地增加。在图4所示的视差图像上，具有大的视差值的像素、或者换句话说通过捕捉靠近照相机2、3的成像对象的图像而获得的像素，具有低的亮度(显示黑色)。另一方面，具有小的视差值的像素、或者换句话说通过捕捉远离照相机2、3的成像对象的图像而获得的像素，具有高的亮度(显示白色)。在示出视差图像的其它图中，相似地表示视差值。

台阶候选点提取单元13充当：基于像素区域的各个视差梯度方向、从构成视差图像的各个像素区域中提取预定的像素区域的提取单元。根据本实施例的台阶候选点提取单元13从充当距离数据的视差图像提取台阶状的台阶候选点。

首先，将参考图5描述视差梯度方向。图5是示出视差图像的一部分的示意图。图5所示的图像包括路面区域4、人行道区域5以及台阶表面区域6。路面区域4是通过捕捉车辆100前方的路面的图像而获得的、在视差图像中包括的各图像区域之中的区域。人行道区域5是通过捕捉邻近路面的人行道的图像而获得的区域。图5中的人行道区域5是通过捕捉在道路路面的车辆宽度方向上的左侧上设置的人行道的上表面的图像而获得的。台阶表面区域6是通过捕捉将路面连接到人行道的上表面的表面的图像而获得的区域，例如通过捕捉路缘的侧面的图像而获得的区域。根据本实施例的台阶表面区域6是通过捕捉与路面和人行道的上表面垂直或者大致垂直的表面的图像而获得的区域。

注意，在视差图像上，车辆宽度方向对应于图像水平方向。除非另外注释，当在以下说明中描述视差图像上的位置时，假设“水平方向”表示图像水平方向，并且“竖直方向”表示图像的竖直方向。此外，当描述视差图像上的位置时，假设“左侧”和“右侧”分别表示在图像水平方向上的左侧和右侧，同时“上侧”和“下侧”分别表示在图像竖直方向上的上侧和下侧。

图5中所示的等视差线9是连接具有相等的视差值的视差图像的像素的线。如图5中所示，在路面区域4和人行道区域5中，能够沿着图像水平方向来画等视差线9。在路面区域4和人行道区域5中，在与等视差线9垂直的方向上，或者换句话说图像竖直方向上，视差值的变化的程度是最大的。例如，当在路面区域4和人行道区域5中，计算图像上以预定距离互相分离的像素的视差值之间的变化量时，在各个方向当中，在与等视差线9垂直的方向上布置的像素的视差值之间的变化量是最大的。此外，在路面区域4和人行道区域5中，视差值在图像竖直方向上朝着下侧稳定地增加。换句话说，在路面区域4和人行道区域5中，视差值在图像竖直方向上从上侧朝着下侧以最高的增加速率增加。在本说明书中，其中视差值以这样的方式在最高的增加速率下增加的视差图像的方向将被称为“视差梯度方向”。

在本实施例中，视差图像的视差梯度方向利用角度φ[rad]来表示。视差梯度方向φ的角度是朝着图像水平方向的右侧的方向是0[rad]的逆时针角度。因此，路面区域4的视差梯度方向φ1和人行道区域5的视差梯度方向φ2分别是π/2。

在台阶表面区域6中，能够沿着图像竖直方向绘出等视差线9。在台阶表面区域6中，在与等视差线9垂直的方向上，或者换句话说在图像水平方向上，视差值的变化程度是最大的。此外，在通过捕捉在路面的左侧上的台阶表面的图像而获得的台阶表面区域6中，视差值在图像水平方向上朝着左侧稳定地增加。换句话说，在左侧台阶表面区域6中，视差值在图像水平方向上从右侧到左侧以最高的增加速率增加。因此，左侧台阶表面区域6的视差梯度方向φ3是π。

因此，在通过捕捉水平表面的图像而获得的两个区域4、5与通过捕捉连接该两个水平表面的台阶表面的图像而获得的台阶表面区域6中，视差梯度方向φ是垂直或者大致垂直的。根据本实施例的边界检测装置1基于邻近区域的视差梯度方向φ上的变化，来检测立体道路边界。

更具体地，台阶候选点提取单元13提取充当像素的候选的像素区域，该像素的候选构成下侧边界线7和上侧边界线8。这里，下侧边界线7是通过捕捉台阶表面区域6与路面区域4之间的边界的图像而获得的像素区域。换句话说，下侧边界线7是通过捕捉路面与台阶表面之间的凹状弯曲部的图像而获得的像素区域。上侧边界线8是通过捕捉台阶表面区域6与人行道区域5之间的边界的图像而获得的像素区域。换句话说，上侧边界线8是通过捕捉人行道的上表面与台阶表面之间的凸状弯曲部的图像而获得的像素区域。

参考图6，将描述提取方法。图6示出了焦点像素Pt以及在焦点像素Pt的周围的左侧像素Ptl、右侧像素Ptr、上侧像素Ptu和下侧像素Ptd。在本实施例中，焦点像素Pt与各个周围的像素Ptl、Ptr、Ptu和Ptd之间的距离(像素数)Δ是相同的。换句话说，左侧像素Ptl向左侧以距离Δ远离焦点像素Pt，并且右侧像素Ptr向右侧以距离Δ远离焦点像素Pt。上侧像素Ptu向上侧以距离Δ远离焦点像素Pt，并且下侧像素Ptd向下侧以距离Δ远离焦点像素Pt。台阶候选点提取单元13基于根据像素Ptl、Ptr、Ptu和Ptd而确定的窗口w内的视差梯度方向φ的变化量，确定焦点像素Pt是否为边界线7、8上的像素。

如图6中所示，当焦点像素Pt是下侧边界线7上的像素时，左侧像素Ptl和上侧像素Ptu分别在台阶表面区域6中，同时右侧像素Ptr和下侧像素Ptd分别在路面区域4中。因此，左侧像素Ptl和上侧像素Ptu的视差梯度方向φ是π。同时，右侧像素Ptr和下侧像素Ptd的视差梯度方向φ是π/2。换句话说，当将视差图像的期望像素设定为焦点像素Pt，并且在右侧像素Ptr和下侧像素Ptd的视差梯度方向φ是π/2或者π/2附近的角度的同时，左侧像素Ptl和上侧像素Ptu的视差梯度方向φ是π或者π附近的角度时，能够将焦点像素Pt设定为构成下侧边界线7的像素的候选。

台阶候选点提取单元13设定视差图像的各个像素作为焦点像素Pt；计算在焦点像素Pt周围的左侧像素Ptl、右侧像素Ptr、上侧像素Ptu和下侧像素Ptd的视差梯度方向φ；并且基于视差梯度方向φ的值和视差梯度方向φ的组合，来提取下侧边界线7的候选点。注意在本说明书中，提取作为构成台阶表面边界的像素的候选的像素或者像素区域将被称为“台阶候选点”。台阶候选点是由提取单元所提取的预定的像素区域的实例。

类似地，台阶候选点提取单元13基于左侧像素Ptl、右侧像素Ptr、上侧像素Ptu和下侧像素Ptd的视差梯度方向φ的值和组合，来提取构成上侧边界线8的像素的候选。如图7中显而易见的，可以将与下述相关的焦点像素Pt设定为构成下侧边界线8的像素的候选：左侧像素Ptl和上侧像素Ptu的视差梯度方向φ是π/2或者π/2附近的角度，并且右侧像素Ptr和下侧像素Ptd的视差梯度方向φ是π或者π附近的角度。

此外，如参考图7所述，能够关于在路面的右侧上存在的台阶表面来提取台阶候选点。图7示出了除了图6所示的各区域4、5、6之外的人行道区域20和台阶表面区域21。人行道区域20是通过捕捉车辆100的前方路面在车辆宽度方向上的右侧上安置的人行道的图像而获得的视差图像的区域。台阶表面区域21是通过捕捉将车辆100的前方路面连接到右侧人行道的上表面的台阶表面的图像而获得的视差图像的区域。下侧边界线23是通过捕捉路面区域4与右侧台阶表面区域21之间的边界的图像而获得的像素区域。上侧边界线22是通过捕捉右侧台阶表面区域21与人行道区域20之间的边界而获得的像素区域。

右侧人行道区域20的视差梯度方向φ4是π/2，并且右侧台阶表面区域21的视差梯度方向φ5是0。对于路面的右侧上的台阶，当焦点像素Pt是边界线22、23上的像素时，左侧像素Ptl和下侧像素Ptd的各自的视差梯度方向φ是相等的，并且右侧像素Ptr和上侧像素Ptu的各自的视差梯度方向φ是相等的。例如，当焦点像素Pt位于下侧边界线23上时，左侧像素Ptl和下侧像素Ptd的视差梯度方向φ是π/2或者π/2附近的角度，同时右侧像素Ptr和上侧像素Ptu的视差梯度方向φ是0或者0附近的角度。此外，当焦点像素Pt位于上侧边界线22上时，左侧像素Ptl和下侧像素Ptd的视差梯度方向φ是0或者0附近的角度，同时右侧像素Ptr和上侧像素Ptu的视差梯度方向φ是π/2或者π/2附近的角度。

此处将通过参考数学表达式来描述由台阶候选点提取单元13使用的提取方法。台阶候选点提取单元13利用下文所示的表达式(1)来计算对象像素的视差梯度方向φ。注意，(u,v)表示视差图像内的对象像素的位置。如图7中所示，u坐标轴是图像水平方向的坐标轴，当朝着右侧时是正向。v坐标轴是图像竖直方向的坐标轴，当朝着下侧时是正向。在本实施例中，u坐标轴和v坐标轴是正交的。

φ(u,v)＝tan^-1[(d(u,v+Δ)-d(u,v-Δ))/(d(u+Δ,v)-d(u-Δ,v))]…(1)

注意，d(u,v)是视差图像中在位置(u,v)处的像素的视差值。

台阶候选点提取单元13计算定位在焦点像素Pt的两侧上的两个像素的视差梯度方向φ之间的变化量。如参考图6所述，当焦点像素Pt是在下侧边界线7上的点时，左侧像素Ptl的视差梯度方向φ(＝π)与右侧像素Ptr的视差梯度方向φ(＝π/2)之间的角度差是接近直角的大角度。此外，上侧像素Ptu的视差梯度方向φ(＝π)与下侧像素Ptd的视差梯度方向φ(＝π/2)之间的角度差是接近直角的大角度。

类似地，当焦点像素Pt是在上侧边界线8上的点时，由左侧像素Ptl与右侧像素Ptr各自的视差梯度方向φ形成的角度是接近直角的大角度，并且由下侧像素Ptd与上侧像素Ptu各自的视差梯度方向φ形成的角度是接近直角的大角度。这些角度差条件关于上侧边界线22和下侧边界线23同样成立。换句话说，关于焦点像素Pt，当由上侧区域的视差梯度方向φ与下侧区域的视差梯度方向φ形成的角度位于直角的预定角度范围内，并且由左侧区域的视差梯度方向φ与右侧区域的视差梯度方向φ形成的角度位于直角的预定角度范围内时，能够确定焦点像素Pt作为构成边界线7、8、22、23中的一条边界线的像素。

例如，可以将预定的角度范围设定为相对于直角的0度到±45度的范围。可选择地，也可以将预定的角度范围设定为相对于直角的0度到±30度的范围。此外，预定的角度范围还可以设定为相对于直角的0度到±15度的范围。可以根据条件将预定的角度设定为另一个适当的值。此外，应用到由与焦点像素Pt相关的上侧区域的视差梯度方向φ和下侧区域的视差梯度方向φ形成的角度的预定角度范围、与应用到由与焦点像素Pt相关的左侧区域的视差梯度方向φ和右侧区域的视差梯度方向φ形成的角度的预定角度范围，可以是不同的角度范围。可选择地，用于提取凸部(外角部)的预定角度范围可以与用于提取凹部(内角部)的预定角度范围不同。

台阶候选点提取单元13利用下面示出的表达式(2)，来计算左侧像素Ptl的视差梯度方向φ(u-Δ,v)相对于右侧像素Ptr的视差梯度方向φ(u+Δ,v)的变化量Pu(u,v)。

Pu(u,v)＝sin[φ(u+Δ,v)-φ(u-Δ,v)]…(2)

此外，台阶候选点提取单元13利用下面示出的表达式(3)，来计算上侧像素Ptu的视差梯度方向相对于下侧像素Ptd的视差梯度方向φ(u,v+Δ)的变化量Pv(u,v)。

Pv(u,v)＝sin[φ(u,v+Δ)-φ(u,v-Δ)]…(3)

当以这样的方式应用sin函数时，各变化量Pu(u,v)、Pv(u,v)取－1与1之间的值。当在把焦点像素Pt夹在中间的两个区域中视差梯度方向φ具有相同角度时，各变化量Pu(u,v)、Pv(u,v)的值为零。另一方面，当把焦点像素Pt夹在中间的两个区域具有正交的视差梯度方向φ时，各变化量Pu(u,v)、Pv(u,v)的值是+1或者－1。

在本实施例中，计算四个结果C_LL、C_LR、C_RL、C_RR以确定焦点像素Pt是否是构成边界线7、8、22、23中的一条边界线的像素。第一结果C_LL、第二结果C_LR、第三结果C_RL和第四结果C_RR分别由下面所述的表达式(4)、(5)、(6)和(7)定义。

C_LL＝Pu(u,v)+Pv(u,v)…(4)

C_LR＝-Pu(u,v)-Pv(u,v)…(5)

C_RL＝-Pu(u,v)+Pv(u,v)…(6)

C_RR＝Pu(u,v)-Pv(u,v)…(7)

当焦点像素Pt是构成左侧上侧边界线8的像素时，第一结果C_LL是高的结果，并且当焦点像素Pt是构成其它边界线7、22、23中的一条边界线的像素时，该第一结果C_LL是低的结果。更具体地，当焦点像素Pt位于上侧边界线8上时，如图7中所示，各像素Ptl、Ptr、Ptu、Ptd的视差梯度方向φ如下：

左侧像素Ptl：φ(u-Δ,v)＝π/2

右侧像素Ptr：φ(u+Δ,v)＝π

上侧像素Ptu：φ(u,v-Δ)＝π/2

下侧像素Ptd：φ(u,v+Δ)＝π

因此，利用下面示出的表达式(8)来确定在图像水平方向上的视差梯度方向φ上的变化量，并且利用下面示出的表达式(9)来确定在图像竖直方向上的视差梯度方向φ上的变化量。

Pu(u,v)＝sin[π-π/2]＝1…(8)

Pv(u,v)＝sin[π-π/2]＝1…(9)

因此，第一结果C_LL的值是+2，第二结果C_LR的值是-2，第三结果C_RL的值是0，并且第四结果C_RR的值是0。

当焦点像素Pt是构成左侧下侧边界线7的像素时，第二结果C_LR是高的结果，并且当焦点像素Pt是构成其它边界线8、22、23的一条的像素时，该第二结果C_LR是低的结果。当焦点像素Pt位于下侧边界线7上时，如图6中所示，各像素Ptl、Ptr、Ptu、Ptd的视差梯度方向φ如下：

左侧像素Ptl：φ(u-Δ,v)＝π

右侧像素Ptr：φ(u+Δ,v)＝π/2

上侧像素Ptu：φ(u,v-Δ)＝π

下侧像素Ptd：φ(u,v+Δ)＝π/2

因此，利用下面示出的表达式(10)来确定在图像水平方向上的视差梯度方向φ上的变化量，并且利用下面示出的表达式(11)来确定在图像竖直方向上的视差梯度方向φ上的变化量。

Pu(u,v)＝sin[π/2-π]＝-1…(10)

Pv(u,v)＝sin[π/2-π]＝-1…(11)

因此，第一结果C_LL的值是-2，第二结果C_LR的值是+2，第三结果C_RL的值是0，并且第四结果C_RR的值是0。

当焦点像素Pt是构成右侧下侧边界线23的像素时，第三结果C_RL是高的结果，并且当焦点像素Pt是构成其它边界线7、8、22的一条的像素时，该第三结果C_RL是低的结果。当焦点像素Pt位于下侧边界线23上时，如图7中所示，各像素Ptl、Ptr、Ptu、Ptd的视差梯度方向φ如下：

左侧像素Ptl：φ(u-Δ,v)＝π/2

右侧像素Ptr：φ(u+Δ,v)＝0

上侧像素Ptu：φ(u,v-Δ)＝0

下侧像素Ptd：φ(u,v+Δ)＝π/2

因此，利用下面示出的表达式(12)来确定在图像水平方向上的视差梯度方向φ上的变化量，并且利用下面示出的表达式(13)来确定在图像竖直方向上的视差梯度方向φ上的变化量。

Pu(u,v)＝sin[0-π/2]＝-1…(12)

Pv(u,v)＝sin[π/2-0]＝1…(13)

因此，第一结果C_LL的值是0，第二结果C_LR的值是0，第三结果C_RL的值是+2，并且第四结果C_RR的值是-2。

当焦点像素Pt是构成右侧上侧边界线22的像素时，第四结果C_RR是高的结果，并且当焦点像素Pt是构成其它边界线7、8、23的一条的像素时，该第四结果C_RR是低的结果。当焦点像素Pt位于上侧边界线22上时，如图7中所示，各像素Ptl、Ptr、Ptu、Ptd的视差梯度方向φ如下：

左侧像素Ptl：φ(u-Δ,v)＝0

右侧像素Ptr：φ(u+Δ,v)＝π/2

上侧像素Ptu：φ(u,v-Δ)＝π/2

下侧像素Ptd：φ(u,v+Δ)＝0

因此，利用下面示出的表达式(14)来确定在图像水平方向上的视差梯度方向φ上的变化量，并且利用下面示出的表达式(15)来确定在图像竖直方向上的视差梯度方向φ上的变化量。

Pu(u,v)＝sin[π/2-0]＝1…(14)

Pv(u,v)＝sin[0-π/2]＝-1…(15)

因此，第一结果C_LL的值是0，第二结果C_LR的值是0，第三结果C_RL的值是-2，并且第四结果C_RR的值是+2。

注意，当像素焦点Pt没有构成边界线7、8、22、23的任意条边界线时，各结果C_LL、C_LR、C_RL、C_RR的绝对值是小的。例如，当焦点像素Pt和各像素Ptl、Ptr、Ptu、Ptd都是构成路面区域4的像素时，各像素的视差梯度方向φ都是π/2。因此，图像水平方向上的变化量Pu(u,v)和图像竖直方向上的变化量Pv(u,v)分别都是0。结果，结果C_LL、C_LR、C_RL、C_RR全部都取值为0。

如上所述，能够确定焦点像素Pt是否为构成边界线7、8、22、23中的一条的像素，并且能够基于关于焦点像素Pt所计算的结果C_LL、C_LR、C_RL、C_RR，来识别由焦点像素Pt构成的边界线。根据本实施例的台阶候选点提取单元13将表示最大结果值的标签分配到视差图像的各像素。例如，将表示上左边界的标签LL分配到在各结果C_LL、C_LR、C_RL、C_RR之中的第一结果C_LL取最大值的像素。此外，将表示下左边界的标签LR、表示下右边界的标签RL和表示上右边界的标签RR分别分配到第二结果C_LR取最大值的像素、第三结果C_RL取最大值的像素和第四结果C_RR取最大值的像素。

然而，注意，当像素的结果C_LL、C_LR、C_RL、C_RR的最大值下降到预定阈值Cth(例如，1)以下时，台阶候选点提取单元13确定该像素不属于边界线7、8、22、23中的任意条边界线。确定阈值使得当u坐标轴方向(第一方向)上由定位在焦点坐标Pt的两侧的两个像素区域(左侧像素Ptl和右侧像素Ptr)的视差梯度方向φ形成的角度处于直角的预定角度范围之内，并且在v坐标轴方向(第二方向)由定位在焦点坐标Pt的两侧的两个像素区域(上侧像素Ptu和下侧像素Ptd)的视差梯度方向φ形成的角度处于直角的预定角度范围之内时，能够以高的精度提取台阶候选点。

例如，将阈值Cth设定成使得：当由左侧像素Ptl的视差梯度方向φ与右侧像素Ptr的视差梯度方向φ形成的角度的大小是(π/2)±预定角度，并且由上侧像素Ptu的视差梯度方向φ与下侧像素Ptd的视差梯度方向φ形成的角度的大小是(π/2)±预定角度时，焦点像素Pt的最大结果等于或者超过阈值Cth。在确定了所述确定对象像素不属于边界线7、8、22、23的任意条边界线之后，台阶候选点提取单元13没有将标签分配到该像素。台阶候选点提取单元13产生用于视差图像的每个像素的台阶候选点信息，其中像素的位置(u,v)与表示边界的标签LL、LR、RL、RR相关联。在台阶候选点信息中，没有标签与已经确定为不属于边界线7、8、22、23的任意条边界线的像素相关联。

图8示出了以上述方式提取的充当左侧上侧边界线8的候选的台阶候选点。如与图3相比较所显而易见的，连续并且以高密度地沿着左侧路缘的上侧外角部提取台阶候选点。也能够看出提取台阶候选点直到远处。

图9示出了以上述方式提取的充当左侧下侧边界线7的候选的台阶候选点。连续并且以高密度地沿着左侧下侧内角部提取台阶候选点。也能够看出提取台阶候选点直到远处。此外，通过比较图8和图9能够看出，上侧边界线8的候选点群和下侧边界线7的候选点群分布在不同的区域中，并且因此能够清楚地区分两条边界线。

坐标变换单元14将由台阶候选点提取单元13提取的视差图像上的台阶候选点投影在道路平面上。换句话说，坐标变换单元14计算视差图像上的台阶候选点在三维空间内的坐标(x,y,z)。x轴是车辆宽度方向的坐标轴，例如当朝着车辆右侧时是正向。y轴是竖直方向的坐标轴，例如当朝上时是正向。z轴是车辆前后方向(照相机2、3的光轴方向)的坐标轴，例如当朝着车辆的前方时是正向。利用下面所示的表达式Ⅰ来确定坐标值x、y、z。注意计算的坐标是以右侧照相机2和左侧照相机3的位置作为基准的坐标。在表达式Ⅰ中，f表示照相机2、3的焦距，Δx表示照相机2、3之间的距离，以及(cu,cv)表示图像中心位置。

[表达式Ⅰ]

       $x=\frac{\mathrm{\Δx}\left({u-c}_u\right)}{d(u,v)},y=\frac{\mathrm{\Δx}\left({v-c}_v\right)}{d(u,v)},z=\frac{\mathrm{\Δxf}}{d(u,v)}$

道路边界线检测单元15通过将至少一些由台阶候选点提取单元13所提取的多个预定像素区域连接在一起来检测沿着道路存在的台阶表面的边界。道路边界线检测单元15通过将道路模型匹配到所计算的三维候选点群来估计边界。道路边界线检测单元15通过将直线和二次曲线匹配到坐标变换后的台阶候选点(x,z)，来检测立体道路边界。当将(x,z)用作坐标值时，可以将直线和二次曲线匹配到俯视图(二维平面)上。注意可以在还包括高度y的三维空间中而不是二维空间中执行模型匹配。

(直线匹配)

将参考图10描述直线匹配。道路边界线检测单元15将直线匹配处理分别地应用到各边界线7、8、22、23。换句话说，道路边界线检测单元15利用已经将上左边界LL分配到的作为对象的台阶候选点群，对左侧上侧边界线8执行直线匹配。类似地，道路边界线检测单元15利用已经将对应的标签分配到的作为对象的台阶候选点群，对左侧下侧边界线7、右侧下侧边界线23和右侧上侧边界线22分别执行直线匹配。在本实施例中，道路边界线检测单元15首先对下侧边界线7、23执行直线匹配和下文将描述的二次曲线匹配。

例如，道路边界线检测单元15利用下面所示的表达式Ⅱ和表达式Ⅲ，来将直线匹配到下侧边界线7或者下侧边界线23的台阶候选点群(xi,zi)(i＝1,2,…,N)。表达式Ⅱ的函数f₁(s)表示点群与直线之间的一致度。随着x的值接近0，表达式Ⅲ的函数g(x)返回稳定更大的值。通过确定直线参数s＝{s₀,s₁}来确定图10所示的直线。随着与台阶候选点的z坐标值zi相对应的直线上的某一台阶候选点的x坐标值(＝s₀+s₁zi)、与台阶候选点的x坐标值xi的各自值互相接近，台阶候选点的g(s₀+s₁zi－xi)的值增加。结果，充当总和的函数f₁(s)的值增加。道路边界线检测单元15估计函数f₁(s)到达最大值的直线参数s＝{s₀,s₁}。将直线参数s的初始值s_ini设定为s_ini＝{xi的中心值，0}。

[表达式Ⅱ]

       $f_1\left(s\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}g(s_0+s_1{z}_i-x_i)$

[表达式Ⅲ]

       $g\left(x\right)=\exp (-\frac{x^2}{2{\mathrm{\σ}}^2})$

注意，例如，考虑车辆100与路缘等之间的距离和角度，根据下面示出的表达式(16)、(17)来确定值域。此外，优选地将σ设定为大约0.1[m]。函数f₁(s)和参数的初始值，以及根据值域的最优参数能够通过非线性优化方法(例如，S.Johnson,The NLopt nonlinear-optimizationpackage,http://ab-initio.mit.edu/nlopt)来确定。

-10<s₀<10…(16)

-1<s₁<1…(17)

(二次曲线匹配)

道路边界线检测单元15执行关于弯曲道路上的路缘的二次曲线匹配。在本实施例中，道路边界线检测单元15估计由下面所示的表达式Ⅳ定义的函数f₂(s)到达最大值的二次曲线参数s＝{s₀,s₁,s₂}。可以将二次曲线参数s＝{s₀,s₁,s₂}的初始值s₀和s₁设定为使用在直线匹配期间获得的最佳值。同时将新的参数s₂设定为例如，初始值为0并且在范围－0.01＜s₂＜0.01内。

[表达式Ⅳ]

       $f_2\left(s\right)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}g(s_0+s_1{z}_i+s_2{z}_i^2-x_i)$

在二次曲线匹配的最优化之后，确定在直线模型与二次曲线模型之中的将采用的模型。道路边界线检测单元15基于函数f₁(s)的最佳值f₁max和函数f₂(s)的最佳值f₂max来执行该确定。通常地，f₁max＜f₂max，但是对于二次曲线，可能发生过度匹配。因此，优选地，将最佳值加权并比较。例如，当满足下面所示的表达式(18)时，可以采用直线模型，当满足下面所示的表达式(19)时，可以采用二次曲线模型。

1.1×f₁max>f₂max…(18)

1.1×f₁max<f₂max…(19)

注意，当最佳值f₁max、f₂max小于预定下限值τ时，匹配精度被认为是低的。例如，提取的台阶候选点群可能包括不是从立体道路边界等的捕捉图像而获得的大量像素。当最佳值f₁max、f₂max小于预定下限值τ时，道路边界线检测单元15对上侧边界线8、22执行相似的边界线检测处理。例如，当关于左侧下侧边界线7，最佳值f₁max、f₂max小于预定下限值τ时，对上侧边界线8执行直线匹配和二次曲线匹配。结果，当同样地关于上侧边界线8最佳值f₁max、f₂max小于预定下限值τ时，确定了诸如路缘这样的台阶表面不存在。

参考图1所示的流程图，将描述根据本实施例的边界检测装置1的操作。图1所示的控制流程以预定的周期间隔，例如以照相机2、3的帧速，反复地执行。

首先，在步骤S10中，输入由图像获取单元11和距离数据获取单元12产生的视差图像。台阶候选点提取单元13从存储器单元等获取由距离数据获取单元12产生的视差图像信息。在执行了步骤S10之后，所述处理前进到步骤S20。

在步骤S20中，利用台阶候选点提取单元13来计算视差梯度。台阶候选点提取单元13计算关于视差图像的每个像素的视差梯度方向φ。在执行了步骤S20之后，所述处理前进到步骤S30。

在步骤S30中，视差梯度方向φ的变化点由台阶候选点提取单元13提取。台阶候选点提取单元13利用作为焦点像素Pt的视差图像的每个像素，来计算结果C_LL、C_LR、C_RL、C_RR。基于每个像素的结果，台阶候选点提取单元13提取视差梯度方向φ的变化点，或者换句话说，台阶候选点。在执行了步骤S30之后，所述处理前进到步骤S40。

在步骤S40中，利用坐标变换单元14来执行坐标变换。坐标变换单元14将步骤S30中提取的各视差梯度方向φ的变化点的视差图像上的位置(u,v)和视差值d(u,v)变换为实际的坐标(x,y,z)。在执行了步骤S40之后，所述处理前进到步骤S50。

在步骤S50中，利用道路边界线检测单元15来检测边界线。道路边界线检测单元15基于步骤S40中计算的坐标(x,y,z)，检测诸如路缘这样的台阶表面的边界线。在执行了步骤S50之后，所述处理前进到步骤S60。

在步骤S60中，输出检测结果。边界检测装置1将关于步骤S50中检测到的边界线的信息输出。在执行了步骤S60之后，控制流程终止。将输出边界线信息传输到例如车辆控制装置。车辆控制装置基于边界线信息执行诸如识别辅助、操作辅助以及行驶辅助这样的控制。该辅助控制包括：例如，通知驾驶员诸如路缘这样的台阶的存在、辅助驾驶操作以防止车辆100靠近路缘等、自动驾驶控制等。

图11示出了关于下侧边界线7的检测结果，作为关于左侧路缘的由边界检测装置1获得的检测结果的实例。从图11显而易见的是即使在远处位置，也能够以高的精度检测到下侧边界线7。利用根据本实施例的边界检测装置1，因此，即使在视差图像上的视差值d的变化量是小的区域中，也能够以高的精度检测到立体道路边界。

如上所述，根据本实施例的边界检测装置1包括图像获取单元11、距离数据获取单元12、台阶候选点提取单元13和道路边界线检测单元15，并且由台阶候选点提取单元13提取的预定像素区域是如下的像素区域：其中，由预定像素区域(焦点像素Pt)的一侧上的区域(例如，左侧像素Ptl)的视差梯度方向φ3与在另一侧上的区域(例如，右侧像素Ptr)的视差梯度方向φ1所形成的角度，处于直角的预定角度范围之内。

根据本实施例的边界检测装置1能够基于视差梯度方向φ的变化以高的精度检测在车辆的周围环境的捕捉图像内存在的立体道路边界。通过基于视差梯度方向φ来检测边界线，视差值d的变化小的区域中的边界线能够同样以高的精度检测到。利用根据本发明的边界检测装置1，能够通过不仅计算视差梯度方向φ，还计算视差梯度方向φ上的变化量，以高的精度检测到非常小的台阶的位置。此外，直接从视差图像提取路缘(台阶)的上端和下端候选，并且因此与诸如高度图这样的采用离散化的方法相比，信息丢失是小的。此外，即使在亮度值的变化小的区域中，也能够根据视差梯度方向φ的角度差而提取出候选点。由于台阶候选点在图像上提前确定，所以不需要离散化，就能执行变换，并且因此提高了道路边界线的匹配精度。

此外，根据本实施例的预定像素区域是如下的像素区域：其中，在第一方向(u坐标轴方向)上由定位在预定像素区域(焦点像素Pt)的两侧的两个像素区域(左侧像素Ptl和右侧像素Ptr)的视差梯度方向φ形成的角度处于直角的预定角度范围之内，并且在第二方向(v坐标轴方向)上由定位在预定像素区域的两侧的两个像素区域(上侧像素Ptu和下侧像素Ptd)的视差梯度方向φ形成的角度，处于直角的预定角度范围之内。通过确定在两个大致正交的方向上(第一方向和第二方向)将预定像素区域夹在中间的两个区域的视差梯度方向φ所形成的各角度，能够以高的精度检测到边界。

此外，根据本实施例的台阶候选点提取单元13基于下述来确定预定的像素区域是否是台阶表面的上侧或者下侧上的边界：在第一方向上定位在预定像素区域的两侧的两个像素区域的视差梯度方向φ，以及在第二方向上定位在预定像素区域的两侧的两个像素区域的视差梯度方向φ。例如，能够将第一结果C_LL高的像素和第四结果C_RR高的像素分类为上侧边界。此外，能够将第二结果C_LR高的像素和第三结果C_RL高的像素分类为下侧边界。道路边界线检测单元15将被分类为台阶表面的上侧边界的台阶候选点连接到一起，并且将被分类为台阶表面的下侧边界的台阶候选点连接到一起。然后，对分别关于上侧边界和下侧边界的分离的候选点群执行匹配，并且结果，提高了直线匹配和二次曲线匹配的精度。

此外，根据本实施例的台阶候选点提取单元13基于下述来确定预定的像素区域是否是定位在道路的左侧或者右侧上的台阶表面的边界：在第一方向上定位在预定像素区域的两侧的两个像素区域的视差梯度方向φ，以及在第二方向上定位在预定像素区域的两侧的两个像素区域的视差梯度方向φ。例如，当两个像素区域中的一个像素区域的视差梯度方向φ是π或者π附近的角度时，能够将检测到的边界线分类为左侧立体道路边界。更具体地，当焦点像素Pt位于左侧下侧边界线7上时，如图6中所示，左侧像素Ptl和上侧像素Ptu的视差梯度方向φ是π或者π附近的角度。此外，当焦点像素Pt位于左侧上侧边界线8上时，如图7所示，右侧像素Ptr和下侧像素Ptd的视差梯度方向φ是π或者π附近的角度。

另一方面，当两个像素区域的一个的视差梯度方向φ是0或者0附近的角度时，能够将检测到的边界线分类为右侧立体道路边界。当焦点像素Pt位于右侧下侧边界线23上时，如图7中所示，右侧像素Ptr和上侧像素Ptu的视差梯度方向φ是0或者0附近的角度。此外，当焦点像素Pt位于右侧上侧边界线23上时，左侧像素Ptl和下侧像素Ptd的视差梯度方向φ是0或者0附近的角度。道路边界线检测单元15将被分类为定位在左侧上的台阶表面的边界的台阶候选点连接到一起，并且将被分类为定位在右侧上的台阶表面的边界的台阶候选点连接到一起。然后，对分别关于左侧台阶表面和右侧台阶表面的分离的候选点群执行匹配，并且结果，提高了直线匹配和二次曲线匹配的精度。

此外，在本实施例中，公开了以下边界检测方法。根据本实施例的边界检测方法包括：获取步骤(步骤S 10)，其中，基于通过捕捉车辆的周围环境的图像而获得的信息，获取视差图像；提取步骤(步骤S20、S30)，其中，基于像素区域的视差梯度方向，从构成视差图像的各像素区域提取预定的像素区域；以及检测步骤(步骤S40、S50)，其中，通过将至少一些在提取步骤中提取的多个预定像素区域连接到一起，来检测沿着道路而存在的台阶表面的边界。

这里，预定像素区域是如下的像素区域：其中，由预定像素区域(焦点像素Pt)的一侧上的区域(例如，左侧像素Ptl)的视差梯度方向φ3与在另一侧上的区域(例如，右侧像素Ptr)的视差梯度方向φ1所形成的角度，处于直角的预定角度范围之内。预定像素区域是如下的像素区域：其中，在第一方向(u坐标轴方向)上由定位在预定像素区域(焦点像素Pt)的两侧的两个像素区域(左侧像素Ptl和右侧像素Ptr)的视差梯度方向φ形成的角度，处于直角的预定角度范围之内；并且在与第一方向大致正交的第二方向(v坐标轴方向)上由定位在预定像素区域(焦点像素Pt)的两侧的两个像素区域(上侧像素Ptu和下侧像素Ptd)的视差梯度方向φ形成的角度，处于直角的预定角度范围之内。利用如上所述的边界检测方法，根据本实施例的边界检测装置1能够以高的精度检测边界线7、8、22、23。

[实施例的第一修改实例]

(多帧的聚合)

将描述实施例的第一修改实施例。在每帧中提取的台阶候选点中都包括大量的噪声，并且因此为了抑制该噪声，有效地将多帧聚合。为了该目的，优选地设定阻尼系数α，因此利用下面所示的表达式Ⅴ和表达式Ⅵ中的更新表达式，将前述的梯度变化量Pu^(t－1)(u,v)、Pv^(t－1)(u,v)加权并且相加。当在更新表达式中将α设定为过小的值时，可能在道路的曲率变化或者俯仰角变化的情况下获得不理想的结果。例如，将阻尼系数α的值设定为0.5。

[表达式Ⅴ]

       $P_u(u,v)\&LeftArrow;(1-\mathrm{\&alpha;})P_u^{(t-1)}(u,v)+{\mathrm{\&alpha;P}}_u(u,v)$

[表达式Ⅵ]

       $P_v(u,v)\&LeftArrow;(1-\mathrm{\&alpha;})P_v^{(t-1)}(u,v)+{\mathrm{\&alpha;P}}_v(u,v)$

根据本修改例，通过将前述的梯度变化量加权和相加，从而聚合多帧，能够提高提取结果的稳定性。

[实施例的第二修改实例]

(基于傅里叶分析的梯度计算)

将描述实施例的第二修改实例。例如，可以采用如在L.Cohen,Time Frequency Analysis,Prentice Hall Signal Processing Series,PrenticeHall,NJ,1995中使用分析信号并且考虑全局梯度分布的梯度方向计算方法。利用下面所示的表达式Ⅶ，来确定视差梯度方向φ。该表达式中的卷积操作等同于如下操作：确定通过对视差值d(u,v)在u(或者v)方向上实施一维FFT，并且然后在将正频分量设定为两倍且将负频分量设定为0的情况下实施逆FFT，而获得的结果的虚数部分。

[表达式Ⅶ]

       $\mathrm{\&phi;}(u,v)=a\tan 2[\frac{1}{\mathrm{\&pi;v}}*d(u,v),\frac{1}{\mathrm{\&pi;u}}*d(u,v)]$

根据本修改实例的台阶候选点提取单元13在用于确定视差梯度方向φ的处理期间，使用基于傅里叶相位差的梯度方向计算方法。当仅基于局部特征来计算视差梯度方向φ时，局部噪声具有影响。在本修改实例中，除了局部特征之外，还考虑了由傅里叶相位差分析产生的全局梯度分布，并且因此能够分散噪声因素，结果能够以更高的稳定性提取台阶候选点。

[实施例的第三实例]

(窗口尺寸的修改)

将描述实施例的第三修改实例。图像上路缘台阶的表面尺寸根据到照相机2、3的距离而变化。定位在靠近照相机2、3的路缘在图像上显示为大的。因此，窗口尺寸，或者换句话说，焦点像素Pt与各周围像素Ptl、Ptr、Ptu、Ptd之间的距离Δ，可以基于距离信息而变化。例如，距离信息是焦点像素Pt的视差值d(u,v)。当视差值d是小的时，距离Δ的值比当视差值d是大的时更小。因此，能够以适当的窗口尺寸检测到视差梯度方向φ的变化，并且结果，能够进一步向远处以高的精度提取台阶候选点。距离Δ可以根据距离信息中的变化而连续地或者阶段地变化。

此外，可以改变窗口尺寸的高宽比。例如，即使当安置的路缘的形状维持不变时，图像上路缘的形状也依据前方道路是直的道路还是弯曲道路而不同。安置在向右弯曲道路上的左侧路缘的竖直表面(侧面)比安置在直线道路上的左侧路缘，定位得更靠近照相机2、3的视线方向。换句话说，相比在直线道路上的左侧路缘的竖直表面，向右弯曲道路上的左侧路缘的竖直表面显示得更宽。因此，对于向右弯曲道路的左侧路缘，通过提供在水平方向上宽的窗口形状，能够更加准确地了解视差梯度方向φ的变化。注意，能够根据在将二次曲线匹配应用到之前观察到的边界线7、8、22、23期间获得的估计值，来预测前方道路是否是弯曲道路(道路曲率)。例如，随着前方弯曲道路的道路曲率增加，或者换句话说，随着道路更大幅地弯曲，道路边界线检测单元15优选地将窗口形状设定成稳定更宽。窗口形状的高宽比可以根据道路曲率而或者连续地或者阶段地变化。

根据该修改实例的台阶候选点提取单元13在根据焦点像素Pt的距离信息和边界曲率提取梯度变化的同时，使窗口尺寸(距离Δ)和窗口的高宽比变化。通过这样做，能够根据弯曲表面的距离和外观来修改窗口尺寸，并且结果，能够稳定地提取台阶候选点。

[实施例的第四修改实例]

(窗口旋转)

将描述实施例的第四修改实例。图12是示出根据实施例的第四修改实例的视差图像的图，并且图13是示出根据实施例的第四修改实例的窗口的图。在附图中，当边界线相对于图像水平方向的倾斜是小的时，旋转窗口是有效的。可以与如上所述的窗口尺寸的修改相结合地旋转窗口。如图12中所示，当由边界线7、8与图像水平方向形成的角度θ是小的，可能不能够以高的精度检测到视差梯度方向φ的变化。当右侧像素Ptr和左侧像素Ptl都是u坐标轴上的点时，如图6中所示，两个像素的一个可能与下侧边缘线7等重叠，结果，可能不能够适当地检测到视差梯度方向φ的变化。例如，当检测到安置在前方弯曲道路的路缘时，角度θ可能减小。当弯曲道路的路缘存在于车辆100的正前方时，角度θ是小的。因此，由边界线7、8、22、23与u坐标轴形成的角度可能是小的，并且结果，可能不能够以高的精度检测到视差梯度方向φ的变化。

回应这个问题，优选地旋转图6中所示的窗口w。例如，如图13中所示，窗口关于图12中所示的立体道路边界旋转。在旋转后的窗口w’中，图13中所示的u’坐标轴和v’坐标轴充当坐标轴。当提取了左侧滑动道路边的台阶候选点，窗口优选地以预定角度θ1顺时针旋转。通过这样做，能够增加由作为旋转后的第一方向的坐标轴的u’坐标轴与边界线7、8形成的角度。在u’坐标轴方向上，右侧像素Ptr和左侧像素Ptl分别把焦点像素Pt夹在中间。此外，在v’坐标轴方向上，上侧像素Ptu和下侧像素Ptd分别把焦点像素Pt夹在中间。

例如，能够根据预先由道路边界线检测单元15获得的检测结果，来预测或者估计边界线7、8的各自的倾斜。此外，视差图像能够根据到照相机2、3的距离而划分成多个区域，并且能够从最接近照相机2、3的区域依次提取台阶边界。基于在附近区域中获得的边界线检测结果，设定要被用在远处区域的窗口的倾斜也是有效的。通过这样做，当在弯曲入口等处提取台阶边界时，能够进一步向远处以高精度检测到台阶候选点。

当提取右侧立体道路边界的台阶候选点时，优选地将图6中所示的窗口w逆时针旋转。通过这样做，能够增加由旋转之后的第一方向(u’坐标轴方向)与边界线22、23形成的角度。

根据本修改实例的台阶候选点提取单元13当确定焦点像素Pt周围的视差梯度方向φ的变化量时，根据边界曲率来旋转上、下、左和右侧基准像素。因此，根据台阶表面的外观(图像上台阶边界的倾斜)来旋转窗口，并且结果，能够以更高的稳定性来提取台阶候选点。

[实施例的第五修改实例]

将描述实施例的第五修改实例。图14是关于实施例的第五修改实例的说明图。在上述实施例中，台阶表面以相对道路的路面以直角或者大致以直角形成。然而，能够由边界检测装置1检测到的台阶表面角度不限于此。例如，边界检测装置1还能够检测相对于道路的路面以预定角度倾斜的台阶表面。例如，可以引用岸边的斜坡等作为台阶表面的这种类型的实例。边界检测装置1还能够检测斜坡的下端和上端的边界线。

图14中所示的视差图像包括路面区域4、人行道区域5和台阶表面区域26。台阶表面区域26是通过捕捉诸如斜坡这样的、以预定倾斜角度倾斜的台阶表面的图像而获得的区域。台阶表面区域26中的视差梯度方向φ6是相对于u坐标轴和v坐标轴倾斜的方向。关于这种类型的倾斜台阶表面，能够以与上述实施例相似的方式来提取下侧边界线27和上侧边界线28的台阶候选点。相比于当视差梯度方向φ6平行于u坐标轴方向时，当视差梯度方向φ6相对于u坐标轴倾斜时，结果C_LL、C_LR、C_RL、C_RR的各自的最大值更小。因此，相比于竖直表面经受提取的情况，当倾斜的台阶表面受到提取时，优选地降低阈值Cth。优选地根据将要包括在检测对象中的台阶表面的倾斜角度，来适当地确定阈值Cth。

[实施例的第六修改实例]

将描述实施例的第六修改实例。在上述实施例中，像素区域主要由单一的像素构成，然而像素区域可以是多个像素的集合。例如，当确定了焦点像素Pt位于边界线7、8、22、23的一条上时，可以将与焦点像素Pt邻近的像素确定为构成相同的边界线7、8、22、23的像素。换句话说，当由多个像素构成的像素区域的代表像素被设定在焦点像素Pt处，并且该焦点像素Pt是构成边界线7、8、22、23的一条的像素时，构成该像素区域的所有像素都可以被确定为包括在相同的边界线7、8、22、23上。

此外，各像素Ptl、Ptr、Ptu、Ptd除了是单独的像素之外，还可以是由多个像素构成的像素区域。例如，当计算各变化量Pu(u,v)、Pv(u，v)时，多个邻近像素的视差梯度方向φ的平均值或者中心值可以用作视差梯度方向φ的值。例如，左侧像素Ptl和右侧像素Ptr可以分别是由多个像素构成的像素区域，并且视差梯度方向φ上的变化量可以利用各像素区域的视差梯度方向φ的中心值或者平均值来计算。

[实施例的第七修改实例]

将描述实施例的第七修改实例。代替如以上实施例的基于结果C_LL、C_LR、C_RL、C_RR来提取台阶候选点，可以通过计算由视差梯度方向φ形成的各个角度来提取台阶候选点。例如，当由上侧像素Ptu的视差梯度方向φ与下侧像素Ptd的视差梯度方向φ形成的角度的大小在(π/2)±预定角度的范围之内或者在(3π/2)±预定角度的范围之内时，假设满足用于确定台阶候选点的第一条件。此外，当由左侧像素Ptl的视差梯度方向φ与右侧像素Ptr的视差梯度方向φ形成的角度的大小在(π/2)±预定角度的范围之内或者在(3π/2)±预定角度的范围之内时，假设满足用于确定台阶候选点的第二条件。当用于确定台阶候选点的第一条件和第二条件都成立时，将焦点像素Pt提取为台阶候选点。

[实施例的第八修改实例]

将描述实施例的第八修改实例。在以上实施例中，基于由右侧照相机2和左侧照相机3捕捉的立体图像而产生视差图像。然而，本发明不限于此，并且可以基于由单镜头照相机捕捉的立体图像，而产生视差图像。

[实施例的第九修改实例]

将描述实施例的第九修改实例。在以上实施例中，第一方向(例如，u坐标轴方向)和第二方向(例如，v坐标轴方向)是正交的，然而本发明不限于第一方向与第二方向垂直地彼此相交的情况。例如，第二方向可以大致垂直于第一方向。

上述实施例和修改实例中公开的内容可以以适当的组合执行。

Claims (5)

1.一种边界检测装置(1)，其特征在于，包括：

获取单元(11)，该获取单元(11)被构造成基于通过捕捉车辆的周围环境的图像而获得的信息，来获取视差图像，所述视差图像包括第一像素区域和第二像素区域；

提取单元(13)，该提取单元(13)被构造成基于所述第一像素区域的视差梯度方向和所述第二像素区域的视差梯度方向，从所述第一像素区域和所述第二像素区域提取预定像素区域；以及

检测单元(15)，该检测单元(15)被构造成通过将至少一些由所述提取单元提取的多个所述预定像素区域连接在一起，来检测沿着道路存在的台阶表面的边界，

其中，所述第一像素区域和所述第二像素区域将所述预定像素区域夹在中间，并且

由所述第一像素区域的所述视差梯度方向与所述第二像素区域的所述视差梯度方向形成的角度在直角的预定角度范围之内。

2.根据权利要求1所述的边界检测装置，其中

所述第一像素区域包括第一像素和第二像素，

所述第二像素区域包括第三像素和第四像素，

所述第一像素和所述第三像素在第一方向上定位在所述预定像素区域的两侧，

由所述第一像素的第一视差梯度方向与所述第三像素的第三视差梯度方向所形成的角度在直角的预定角度范围之内，

所述第二像素和所述第四像素在第二方向上定位在所述预定像素区域的两侧，该第二方向与所述第一方向大致正交，并且

由所述第二像素的第二视差梯度方向与所述第四像素的第四视差梯度方向所形成的角度在直角的预定角度范围之内。

3.根据权利要求2所述的边界检测装置，其中

所述提取单元被构造成基于所述第一像素的所述第一视差梯度方向、所述第二像素的所述第二视差梯度方向、所述第三像素的所述第三视差梯度方向和所述第四像素的所述第四视差梯度方向，来确定所述预定像素区域是否构成所述台阶表面的上侧或者下侧的边界，并且

所述检测单元被构造成将确定为构成所述台阶表面的上侧的边界的所述预定像素区域连接到一起，并且将确定为构成所述台阶表面的下侧的边界的所述预定像素区域连接到一起。

4.根据权利要求2或者3所述的边界检测装置，其中

所述提取单元被构造成基于所述第一像素的所述第一视差梯度方向、所述第二像素的所述第二视差梯度方向、所述第三像素的所述第三视差梯度方向和所述第四像素的所述第四视差梯度方向，来确定所述预定像素区域是否构成定位在所述道路的左侧或者右侧的所述台阶表面的边界，并且

所述检测单元被构造成将确定为构成定位左侧的所述台阶表面的边界的所述预定像素区域连接到一起，并且将确定为构成定位在右侧的所述台阶表面的边界的所述预定像素区域连接到一起。

5.一种边界检测方法，其特征在于，包括：

基于通过捕捉车辆的周围环境的图像而获得的信息，来获取视差图像，所述视差图像包括第一像素区域和第二像素区域；

基于所述第一像素区域的视差梯度方向和所述第二像素区域的视差梯度方向，从所述第一像素区域和所述第二像素区域提取预定像素区域；以及

通过将至少一些提取的多个所述预定像素区域连接到一起，来检测沿着道路而存在的台阶表面的边界，

其中，所述第一像素区域和所述第二像素区域将所述预定像素区域夹在中间，并且

由所述第一像素区域的所述视差梯度方向与所述第二像素区域的所述视差梯度方向形成的角度在直角的预定角度范围之内。