CN104380337A - 路面斜坡识别设备、识别路面斜坡的方法、以及用于使计算机执行路面斜坡识别的计算机程序 - Google Patents

Abstract

根据通过多个成像器成像的多个成像图像来生成视差信息。生成显示了通过在纵向方向上多次划分多个成像图像而获取的每个行区域的视差值频率分布的视差直方图信息。从具有超出预定的指定值的频率的视差值或者视差值范围中选择具有随着接近成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围。按照所选择的一组视差值或者视差值范围，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况。

Description

路面斜坡识别设备、识别路面斜坡的方法、以及用于使计算机执行路面斜坡识别的计算机程序

技术领域

本发明涉及用于基于通过多个成像器成像驾驶员的车辆的前方区域的多个成像图像来识别驾驶员的车辆行驶在其上的路面的斜坡状况的路面斜坡识别设备、识别路面斜坡的方法、以及用于使得计算机执行路面斜坡识别的计算机程序。

背景技术

传统上，基于驾驶员的车辆的前方区域的成像图像来识别某识别目标对象的识别设备被例如用于驾驶员辅助系统，例如ACC(自适应巡航控制)等，以降低车辆的驾驶员的负担。驾驶员辅助系统执行多种功能，例如防止驾驶员的车辆与障碍物相撞等并且在撞击时降低冲击的自动刹车功能和报警功能、与前方车辆保持距离的驾驶员车辆速度调整功能、支持防止驾驶员的车辆偏离驾驶员的车辆行驶的车道的支持功能等等。

为了正确地实现那些功能，从驾驶员的车辆的前方区域的成像图像中，准确地识别显示了存在于驾驶员的车辆周围的各种识别目标对象(例如，其他车辆、行人、例如车道线的路面要素、探井盖等等，例如电线杆的路边要素、防护栏、路边石、中线等等)的图像部分，识别驾驶员的车辆的可行驶的区域，并且准确地识别对象以避免相撞是非常重要的。此外，为了适当地实现例如自动刹车功能、驾驶员的车辆速度调整功能等等诸如此类的功能，识别驾驶员的车辆的行驶方向上的路面的斜坡状况是有帮助的。

日本专利申请公开号2002-150302公开了一种路面识别设备，其基于由成像器通过成像而获取的驾驶员车辆的前方区域的亮度图像和距离图像(视差图像信息)计算路面上的白线(车道线)的三维形状，并且根据白线的三维形状，定义驾驶员的车辆行驶在其上的路面的三维形状(在驾驶员的车辆的行驶方向上的路面不规则信息)。通过使用路面识别设备，不但可以获取例如在驾驶员的车辆的行驶方向上的路面是否为平地、上坡或者下坡的简单的斜坡状况，还可以获取例如沿着行驶方向的路面不规则信息(斜坡信息)，例如上坡持续一定距离，随后为下坡，并且更远的继续为上坡。

然而，在日本专利申请公开号2002-150302中公开的路面识别设备，通过根据距离图像(视差图像信息)来计算存在于驾驶员的车辆行驶在其上的车道两侧的两条白线的三维形状，并且随后执行插值处理以便在两条白线之间平滑地持续区域，来执行复杂并且高负荷的处理，该处理估计存在于两条白线之间的驾驶员的车辆行驶在其上的车道的路面不规则信息(三维路面形状)。因此，很难缩短获取行驶方向上的路面不规则信息的处理时间，并且存在例如使得其无法应用到用于30FPS(帧/秒)的运动图像的实时处理等中的问题。

发明内容

本发明的实施例的目标是提供一种通过新的识别处理来识别驾驶员的车辆的行驶方向上的路面的斜坡状况的路面斜坡识别设备、识别路面斜坡的方法、以及用于使得计算机执行路面斜坡识别的计算机程序。

为了实现以上目标，本发明的实施例提供了一种具有视差信息生成器的路面斜坡识别设备，该视差信息生成器基于通过多个成像器对驾驶员的车辆的前方区域进行成像而获取的多个成像图像来生成视差信息，该路面斜坡识别设备基于由视差信息生成器所生成的视差信息，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况，该路面斜坡识别设备包括：生成视差直方图信息的视差直方图信息生成器，该视差直方图信息生成器基于由视差信息生成器所生成的视差信息，生成用于显示在通过纵向方向上多次划分成像图像而获取的每一个行区域中的视差值频率分布的视差直方图信息；以及，斜坡状况识别器，该斜坡状况识别器执行斜坡状况识别处理，在所述斜坡状况识别处理中，基于视差直方图信息从具有超出预定的指定值的频率的视差值或者视差值范围中选择符合随着接近成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围；并且按照所选择的一组视差值或者视差值范围，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况。

在本发明的实施例中，执行处理使得基于视差信息生成显示了在每个行区域中的视差值频率分布的视差直方图信息，并且选择符合随着接近成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围。如下文所述，与符合该特征的一组视差值或者视差值范围相对应的像素被以很高的准确度估计为构成用于显示驾驶员的车辆的前方路面的路面图像区域。因此能够说，所选择的一组视差值或者视差值范围等同于与成像图像中的路面图像区域相对应的每个行区域的视差值。

这里，针对于驾驶员的车辆行驶在其上的路面部分(路面部分直接地位于驾驶员的车辆下面)，在驾驶员的车辆的前方路面的斜坡状况(相对斜坡状况)是上坡的情况下，相比于相对斜坡状况为平地的情况，显示所述成像图像中的某个行区域中的路面部分是更靠近的区域。因此，在相对斜坡状况是上坡的情况下，对应于成像图像中的路面图像区域的某个行区域的视差值相比于相对斜坡状况为平地的情况较大。相反，在驾驶员的车辆的前方路面的相对斜坡状况为下坡的情况下，相比于相对斜坡状况为平地的情况，显示所述成像图像中的某个行区域中的路面部分是更远离的区域。因此，在相对斜坡状况是下坡的情况下，对应于成像图像中的路面图像区域的某个行区域的视差值相比于相对斜坡状况为平地的情况较小。因此，可以从行区域的视差值来获取显示在成像图像中的路面图像区域的每个行区域的路面部分的相对斜坡状况。

如上所述，所选择的一组视差值或者视差值范围是在成像图像中的路面图像区域中的每个行区域的视差值，并且因此，从所选择的一组视差值或者视差值区域，可以获取在驾驶员的车辆的前方路面的相对斜坡状况。

关于这里的术语“相对斜坡状况”，将对应于每个行区域的路面部分针对于通过将平行于驾驶员的车辆行驶在其上的路面部分的表面朝向驾驶员的车辆的前方区域扩展而获取的虚拟扩展表面定位在较上侧的情况，认为是对应于行区域的路面部分的相对斜坡状况是上坡的情况，并且将对应于每个行区域的路面部分被定位在较下侧的情况，认为是对应于行区域的路面部分的相对斜坡状况是下坡的情况。

附图说明

图1是示出了本实施例中的车载设备控制系统的示意结构的示意图。

图2是示出了构成车载设备控制设备的成像单元和图像分析单元的示意结构的示意图。

图3是当从与光传输方向垂直的方向看时，成像单元的成像部中滤光器和图像传感器的放大示意图。

图4是示出了滤光器的区域划分模式的示例图。

图5是关于本实施例中的路面斜坡识别处理的功能框图。

图6A是示出了视差图像的视差值分布示例的示例图。图6B是示出了行视差分布图(V-视差图)的示例图，该行视差分布图示出了图6A的视差图像的每行的视差值频率分布。

图7A是示意地示出了由成像部成像的成像图像(亮度图像)示例的示例图像。图7B是图表，其中由视差直方图计算部所计算的行视差分布图(V-视差图)是近似直线的。

图8A是在驾驶员的车辆行驶在其上的路面部分是平地并且当从驾驶员的车辆的侧边看时，在驾驶员的车辆前方的路面也是平地的情况下，驾驶员的车辆的示意图。图8B是在与图8A中相同状态下成像的图像(亮度图像)中的路面区域的图像示例，并且图8C是示出了与图8B对应的行视差分布图(V-视差图)的示例图。

图9A是在驾驶员的车辆行驶在其上的路面部分是平地并且当从驾驶员的车辆的侧边看时，在驾驶员的车辆前方的路面是上坡的情况下，驾驶员的车辆的示意图。图9B是在与图9A中相同状态下成像的图像(亮度图像)中的路面区域的图像示例，并且图9C是示出了与图9B对应的行视差分布图(V-视差图)的示例图。

图10A是在驾驶员的车辆行驶在其上的路面部分是平地并且当从驾驶员的车辆的侧边看时，在驾驶员的车辆前方的路面是下坡的情况下，驾驶员的车辆的示意图。图10B是在与图10A中相同状态下成像的图像(亮度图像)中的路面区域的图像示例，并且图10C是示出了与图10B对应的行视差分布图(V-视差图)的示例图。

图11是在行视差分布图(V-视差图)上示出了作为斜坡参考信息的两个阈值S1、S2的示例图，在行视差分布图中画有近似直线。

具体实施方式

下面，将说明根据本发明实施例的作为车辆系统的车载设备控制系统中使用的路面斜坡识别设备。

注意的是，路面斜坡识别设备不但被用在车载设备控制系统中，而且还用在包括例如对象检测设备的其他系统中，该对象检测设备用于基于成像图像来检测对象。

图1是示出了本实施例中的车载设备控制系统的示意结构的示意图。按照识别目标对象的识别结果，车载设备控制系统控制多种车载设备，其中识别目标对象的识别结果是通过使用包括在驾驶员的车辆100内的成像单元所成像的驾驶员的车辆100的行驶方向的前方区域(成像区域)中所成像的图像数据而获取的，该驾驶员的车辆100诸如是自动车等。

车载设备控制系统包括成像单元101，用于成像驾驶员的车辆100的行驶方向上的前方区域，该驾驶员的车辆100随着成像区域行驶。成像单元101，例如，被布置在驾驶员的车辆100的前车窗105的车内镜(未示出)附近。多种数据，例如通过成像单元101的成像而获取的成像的图像数据等，被输入给作为图像处理器的图像分析单元102。图像分析单元102分析从成像单元101传送的数据，计算驾驶员的车辆100的前方的另一车辆的位置、方向、距离，并且针对驾驶员的车辆100行驶在其上的路面部分(路面部分直接位于驾驶员的车辆100的下方)，检测在驾驶员的车辆100的前方路面的斜坡情况(下面，指的是相对斜坡情况)。在检测另一车辆中，通过识别另一车辆的尾灯，检测到其行驶方向与驾驶员的车辆行驶方向相同的前方车辆，并且通过识别其他车辆的头灯来检测其行驶方向与驾驶员的车辆行驶方向相反的对面来车。

图像分析单元102的计算结果被传送给头灯控制单元103。

头灯控制单元103例如从由图像分析单元102所计算的另一车辆的距离数据，生成控制信号，从而控制作为驾驶员的车辆100的车载设备的头灯104。尤其是，例如执行头灯104的远光或者近光切换控制、以及头灯104的部分块的控制，使得防止驾驶员的车辆100的头灯104的强光入射到前方车辆或者对面来车的驾驶员的眼睛内，执行防止造成其他车辆的驾驶员炫目，以及确保驾驶员的车辆100的驾驶员的视线。

图像分析单元102的计算结果还被传送给车辆行驶控制单元108。在驾驶员的车辆100偏离可行驶的区域等的情况下，车辆行驶控制单元108基于由图像分析单元102所检测的路面区域(可行驶的区域)的识别结果，向驾驶员的车辆100的驾驶员发布报警，并且执行例如驾驶员的车辆100的方向盘或者刹车控制的行驶辅助控制。在由于路面的斜坡使驾驶员的车辆100减速或者加速等的情况下，车辆行驶控制单元108基于由图像分析单元102所检测的路面相对斜坡情况的识别结果，向驾驶员的车辆100的驾驶员发布报警，并且执行例如驾驶员的车辆100的加速器或者刹车控制的行驶辅助控制。

图2是示出了成像单元101和图像分析单元102的示意结构的示意图。

成像单元101作为成像器，是具有两个成像部110A、110B的立体照相机，并且两个成像部110A、110B具有相同的结构。如图2中所示，成像部110A、110B分别包括成像透镜111A、111B，滤光镜112A、112B，包括图像传感器113A、113B的传感器基底114A、114B，以及信号处理器115A、115B，这里成像元件是二维布置的。传感器基底114A、114B输出模拟电信号(在图像传感器113A、113B上的每个光接收元件接收的光接收量)。信号处理器115A、115B生成成像的图像数据，其中从传感器基底114A、114B输出的模拟电信号被转换成数字电信号并且被输出。红色图像数据、亮度图像数据和视差图像数据从本实施例中的成像单元101输出。

成像单元101包括具有FPGA(可编程门阵列)等的处理硬件部120。处理硬件部120包括作为视差信息生成器的视差计算部121，用于计算由每个成像部110A、110B所成像的成像图像之间每个对应的预定图像部分的视差值，以便根据从每个成像部110A、110B输出的亮度图像数据来获取视差图像。这里，术语“视差值”如下。由成像部110A、110B中任一个所成像的成像图像之一被作为参考图像，并且两者中的另一个被作为比较图像。计算在成像区域中包括某点的参考图像中的预定图像区域与在成像区域中包括相应某点的比较图像中的预定图像区域之间的位置移动量，作为预定图像区域的视差值。通过使用三角法原理，根据视差值计算到与预定图像区域对应的成像区域中的某点的距离。

图像分析单元102具有存储器130和MPU(微处理器单元)140。存储器130存储输出自成像单元101的红色图像数据、亮度图像数据和视差图像数据。MPU 140包括软件等，该软件执行识别目标对象的识别处理、视差计算控制等。MPU 140通过使用存储在存储器130中的红色图像数据、亮度图像数据和视差图像数据来执行各种识别处理。

图3是当从与光传输方向垂直的方向看时，滤光镜112A、112B和图像传感器113A、113B的放大示意图。

每个图像传感器113A、113B都是使用CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等的图像传感器，并且作为其成像元件(光接收元件)，使用了光电二极管113a。光电二极管113a被以阵列方式二维地布置在每个成像像素中。为了增加光电二极管113a的光收集效率，在每个光电二极管113a的入射侧提供了显微镜头113b。每个图像传感器113A、113B通过引线键合法等键合到PWB(印刷引线板)，并且形成每个传感器基底114A、114B。

在每个图像传感器113A、113B的显微镜头113b一侧的表面上，分别相邻布置滤光镜112A、113B。如图3所示，形成每个滤光镜112A、112B使得光谱过滤层112b形成在透明过滤基底112a上；然而，可以提供例如偏振滤镜等的另一个滤光镜来代替光谱过滤或者增加到光谱过滤。光谱过滤层112b被分区以便对应于图像传感器113A、113B上的每个光电二极管113a。

分别在滤光镜112A、112B和图像传感器113A、113B之间存在间隔；然而，如果滤光镜112A、112B与图像传感器113A、113B紧密接触，则很容易使得滤光器112A、112B的每个过滤区域的边界与图像传感器113A、113B上的光电二极管113a之间的边界相一致。滤光镜112A、112B和图像传感器113A、113B可以由UV附着剂相键合，或者由用于成像的有效像素的范围以外的隔片支持的情况下，有效像素的四边区域外侧可以是UV键合或者热压缩键合。

图4是示出了滤光镜112A、112B的区域划分模式的示例图。

滤光镜112A、112B包括第一区域和第二区域在内的两种类型的区域，用于分别在图像传感器113A、113B上布置每个光电二极管113a。由此，基于通过其传送要被接收的光的光谱过滤层112b的区域类型，获取图像传感器113A、113B上的每个光电二极管113a的光接收量作为光谱信息。

在每个滤光器112A、112B中，第一区域是红色光谱区域112r，其选择并仅传输在红色波长范围的光；并且第二区域是无光谱区域112c，其在不执行波长选择的情况下传输光。在滤光器112A、112B中，如图4中所示，第一区域112r和第二区域112c以方格图案被布置和使用。因此，在本实施例中，从与第一区域112r对应的成像像素的输出信号来获取红色亮度图像，并且从与第二区域112c对应的成像像素的输出信号来获取无光谱亮度图像。由此，根据本实施例，可以通过一个成像处理获取对应于红色亮度图像和无光谱亮度图像的两种类型的所成像的图像数据。在那些所成像的图像数据中，图像像素的数量少于成像像素的数量；然而，为了获取具有较高分辨率的图像，可以使用通常所知的图像插值处理。

由此获取的红色亮度图像数据被用于检测例如发出红光的尾灯。并且无光谱亮度图像数据被用于检测例如作为车道分界线的白线，或者对面来车的头灯。

接下来，将说明作为本发明的特征的路面斜坡识别处理。

图5是示出了根据本实施例的关于路面斜坡识别处理的功能框图。

视差计算部121使用成像部110A的成像图像作为参考图像，并且使用成像部110B的成像图像作为比较图像。视差计算部121计算它们之间的视差，生成视差图像，并且输出该视差图像。并且，针对参考图像中的多个图像区域，基于所计算的视差值来计算像素值。基于每个计算的图像区域的像素值所表达的图像是视差图像。

尤其地，针对其中在垂直方向上分成多行的某行参考图像，视差计算部121以目标像素为中心定义了多个像素构成的块(例如，16像素×1像素)。在与参考图像的某行相对应的比较图像的行中，与所定义的参考图像的块同样大小的块在水平线方向上(在X方向上)以1个像素移动。并且，计算一相关值，该相关值示出了表示参考图像中定义的块的像素值的特征的特征量与表示比较图像中的每块的像素值的特征的特征量之间的相互关系。基于所计算的相关值，执行匹配处理，该匹配处理在比较图像的每个块中选择与参考图像的块最相关的比较图像的块。并且随后，计算参考图像的块中的目标像素与由匹配处理所选择的比较图像的块中的目标像素相对应的像素之间的位置移动量作为视差值。在整个区域上或者参考图像的具体区域上通过执行这样的处理来计算视差值，由此获取视差图像。作为视差图像数据，由此获取的视差图像被传送给作为视差直方图信息生成器的视差直方图计算部141。

作为用于匹配处理的块的特征量，例如使用块中的每个像素值(亮度值)。作为相关值，例如使用差的绝对值的总和，该差是参考图像数据的块中的每个像素值(亮度值)和与参考图像的块中的每个像素相对应的比较图像的块中的每个像素值(亮度值)之间的差。在这种情况下，可以说总和最小的块是最相关的。

针对视差图像数据的每行，用于获取视差图像数据的视差直方图计算部141计算视差值频率分布。尤其是，当输入具有如图6A中所示的视差值频率分布的视差图像数据时，视差直方图计算部141计算如图6B中所示的每行的视差值频率分布并输出它。根据由此获取的每行的视差值频率分布的信息，例如在二维平面上，获得其中视差图像上的每个像素都被分布的行视差分布图(V-视差图)，在该二维平面中在纵向方向以及横向方向上分别设置视差图像的纵向方向上的位置和视差值。

图7A是示意地示出了由成像部110A成像的成像图像(亮度图像)示例的示例图像。图7B是图表，其中在行视差图(V-视差图)上的像素分布线性近似由视差直方图计算部141所计算的每行的视差值频率分布。

在图7A中示出的示例图像中，被成像的是这样的状态：驾驶员的车辆100行驶在直路的左车道上，每条直路都具有中线和两条车道。参考符号CL是示出了中线的中线图像部分，参考符号WL是示出了作为车道边界的白线的白线图像部分(车道边界图像部分)，并且参考符号EL是示出了路边上的路边石等阶梯差异的路边图像部分上的阶梯差异。下文中，路边图像部分EL和中线图像部分CL上的阶梯差异一起表示为阶梯图像部分差异。此外，由破折线包围的区域RS是车辆行驶在其上的路面区域，其通过中线和路边上的阶梯差异所标记。

在本实施例中，在作为路面图像区域识别器的路面区域识别部142中，根据输出自视差直方图计算部141的每行的视差值频率分布信息来识别路面区域RS。尤其是，路面区域识别部142首先从视差直方图计算部141获取每行的视差值频率分布信息，并且通过最小平方(Least-Squares)、霍夫变换(HoughTransform)等方法执行处理，在该处理中，由信息定义的行视差分布图上的像素分布是近似直线的。在与视差图像(的下方)对应的行视差分布图(的下方)中，由此获得的图7中示出的近似直线是这样的直线，该直线具有斜坡，其中随着该斜坡接近该成像图像的上面部分时视差值逐渐变小。也就是说，近似直线上或者在其附近中分布的像素(在视差图像上的像素)存在于视差图像上的每行中近似相同的距离上，占有率最高，并且示出了在成像图像的上面部分距离变得持续地较远的对象。

这里，既然成像部件110A成像了驾驶员的车辆的前方区域，作为其视差图像的内容，如图7A中所示，路面区域RS在成像图像的下方的占有率是最高的，并且随着路面区域RS接近成像图像的上面部分时路面区域RS的视差值逐渐变小。此外，在同一行(横行)中，构成路面区域RS的像素具有近似相同的视差值。因此，由输出自视差直方图计算部141的每行的视差值频率分布信息所定义的并且分布在上述行视差分布图(V-视差图)上的近似直线上或者其附近中的像素，与构成路面区域RS的像素的特征是一致的。因此，分布在图7B中所示的近似直线上的或者在其附近的像素被以很高的准确性估计为构成路面区域RS的像素。

由此，在基于从视差直方图计算部141获取的每行的视差值频率分布信息计算的在行视差分布图(V-视差图)上，本实施例中的路面区域识别部142执行直线近似，将分布在近似直线上或者在其附近中的像素定义为显示了路面的像素，并且将被所定义的像素占据的图像区域识别为路面区域RS。

注意的是，在路面上，如图7A中所示的一样还存在白线；然而，路面区域识别部142识别包括白线图像部分WL的路面区域RS。

路面区域识别部142的识别结果被传送给后面的处理器，并且被用于各种处理。例如，在驾驶员的车辆的驾驶室的图像显示设备上显示由成像单元101所成像的驾驶员的车辆的前方区域的成像图像的情况下，基于路面区域识别部142的识别结果，执行显示处理使得路面区域RS被容易地视觉辨识，例如在显示的图像上相应的路面区域RS被高亮等。

输出自视差直方图计算部141的每行的视差值频率分布信息也被传送给作为斜坡状况识别器的斜坡状况识别部143。首先，斜坡状况识别部143从输出自视差直方图计算部141的每行的视差值频率分布信息中选择与显示了路面区域RS的像素的特征相一致的一组视差值。尤其是，基于视差值频率分布信息，从具有超出预定的特定值频率的视差值或者视差值范围中，选择符合随着接近成像图像的上面部分而视差值逐渐变小的特征的一组视差值或者视差值范围。具有这样的特征的视差值是对应于图7B中示出的近似直线的视差值。因此，斜坡状况识别部143通过最小平方、霍夫变换等方法，在行视差分布图(V-视差图)的像素分布上执行直线近似，并且在近似直线上或者在其附近选择像素的视差值或者视差值范围。

随后，斜坡状况识别部143从所选择的视差值或者视差值范围中提取定位在成像图像的最上部分的特定的视差值或者视差值范围，并且指定所提取的特定视差值或者视差值范围所归属的行。由此指定的行是这样的行：其中存在图7B中示出的近似直线的上部末端部分T。如图7A中所示，该行显示了在成像图像中的路面区域RS的顶部部分的成像图像中在纵向方向(在成像图像中的高度)上的位置。

这里，如图8A中所示，针对驾驶员的车辆100行驶在其上的路面部分(路面部分直接位于驾驶员的车辆100下方)，在驾驶员的车辆100的前方的路面斜坡状况(相对斜坡状况)是平地的情况下，在成像图像的路面区域RS的顶部部分的成像图像的高度(与显示在成像图像中的路面的最远位置相对应的路面部分)被取为H1，如图8B中所示。在如图9A中所示的相对斜坡状况是上坡的情况下，在成像图像的路面区域RS的顶部部分的成像图像中，与相对斜坡状况是平地的情况下的高度H1相比在成像图像的上侧定位高度H2，如图9B中所示。在如图10A中所示的相对斜坡状况是下坡的情况下，在成像图像的路面区域RS的顶部部分的成像图像中，与相对斜坡状况是平地的情况下的高度H1相比在成像图像的下侧定位高度H3，如图10B中所示。因此，可以按照在成像图像的路面区域RS的顶部部分的成像图像中的高度，获取驾驶员的车辆前方路面的相对斜坡状况。

如上所述，所提取的特定视差值或者视差值范围归属的行，也就是说，在图8C、9C、10C中示出的行视差分布图(V-视差图)中的近似直线的上面末端部分T1、T2、T3的每个高度对应于在成像图像的路面区域RS的顶部部分的成像图像中的每个高度H1、H2、H3。因此，斜坡状况识别部143定义所获取的近似直线的上面末端部分T1、T2、T3的每个高度(行)，并且执行处理，该处理根据近似直线的上面末端部分T1、T2、T3的每个高度(行)识别相对斜坡状况。

在本实施例中，通过分别比较近似直线的上面末端部分T1、T2、T3的每个高度和预先存储在作为斜坡参考信息存储设备的斜坡参考信息存储部144中的斜坡参考信息所表示的两个阈值，关于相对斜坡状况，执行平地、上坡和下坡的三种类型的识别，并且依照识别结果，识别相对斜坡状况。

图11是在示出了近似直线的行视差分布图(V-视差图)中显示两个阈值S1、S2的示例图。

在近似直线的上部末端部分T的高度满足条件：S1≤T＜S2的情况下，识别出相对斜坡状况是平地。在近似直线的上部末端部分T的高度满足条件：S2≤T的情况下，识别出相对斜坡状况是上坡。在近似直线的上部末端部分T的高度满足条件：S1＞T的情况下，识别出相对斜坡状况是下坡。

由此识别了相对斜坡状况的斜坡状况识别部143的识别结果被传送给后面的处理器，并且用于各种处理。例如，斜坡状况识别部143的识别结果被传送给车辆行驶控制单元108，并且依照相对斜坡状况，执行例如执行驾驶员的车辆100的加速或者减速、向驾驶员的车辆100的驾驶员发布报警等的行驶辅助控制。

在本实施例中，识别相对斜坡状况所必需的信息是关于近似直线的上部末端部分T的高度的信息。因此，不必获取针对整个图像的近似直线、以及针对其中能够存在近似直线的上部末端部分T的有限范围(成像图像在纵向方向上的范围)的近似直线，仅需要获取近似直线的上部末端部分T的高度。例如，当相对斜坡状况是平地时，仅仅针对包括显示驾驶员的车辆行驶在其上的路面的路面区域RS的顶部部分的预定高度的范围来获取近似直线，并且随后定义了上部末端部分T。尤其是，获取针对位于上述阈值S1和S2之间的范围的近似直线。并且，在所获取的近似直线的上部末端部分T满足条件：S1≤T<S2的情况下，识别出相对斜坡状况是平地。在所获取的近似直线的上部末端部分T与阈值S2一致的情况下，识别出相对斜坡状况是上坡。在没有获取近似直线的情况下，识别相对斜坡状况是下坡。

由成像部110A成像的亮度图像数据被传送给亮度图像边缘提取部145。亮度图像边缘提取部145将亮度图像的像素值(亮度)变成等于或者大于指定值的部分提取作为边缘部分，并且根据提取的结果，生成亮度边缘图像数据。亮度边缘图像数据是通过二进制来表达边缘部分和非边缘部分的图像数据。作为边缘提取方法，可以使用任何已知的边缘提取方法。由亮度图像边缘提取部145生成的亮度边缘数据被传送给白线识别处理部149。

白线识别处理部149基于亮度边缘图像数据来执行识别显示了路面上的白线的白线图像部分WL的处理。在许多道路上，白线被形成在带黑色的路面上，并且在亮度图像中，白线图像部分WL的亮度足够大于路面上的其他部分的亮度。因此，在亮度图像中具有等于或者大于预定值的亮度差异的边缘部分更可能成为白线的边缘部分。此外，由于显示了路面上的白线的白线图像部分WL被以线条方式显示在成像图像中，因此通过定义被以线条方式布置的边缘部分，可以很高的准确度识别白线的边缘部分。因此，白线识别处理部149对于从亮度图像边缘提取部145获取的亮度边缘图像数据执行例如最小平方、霍夫变换操作等方法的直线近似，并且识别所获取的近似直线作为白线的边缘部分(显示了路面上的白线的白线图像部分WL)。

由此识别的白线识别结果被传送给后面的处理器，并且用于各种处理。例如，在驾驶员的车辆100偏离驾驶员的车辆100行驶的车道等的情况下，可以执行例如向驾驶员的车辆100发布报警、控制驾驶员的车辆100的方向盘或者刹车等的行驶辅助控制。

注意的是，在白线识别处理中，通过使用由以上路面区域识别部142所识别的路面区域RS的识别结果，并且对于路面区域RS的亮度边缘部分执行白线图像部分WL的识别处理，可以降低识别处理的负荷，并且提高识别准确度。

在自动刹车功能中，适当使用路面斜坡信息的驾驶员车辆速度调节功能等，在许多情况下，不需要详细的斜坡信息作为由路面识别设备所识别的路面不规则信息，如在日本专利申请公开号2002-150302所公开，并且表示了关于驾驶员的车辆的行驶方向上的路面是平地、上坡还是下坡的简单斜坡状况的信息就足够了。因此，在本实施例中，执行了识别这样的简单斜坡状况的处理；然而，可以识别更具体的斜坡信息。

例如，作为斜坡参考信息，如果具有等于或者大于三个阈值，例如设置了四个阈值，则可以识别五种斜坡状况，例如平地、缓和上坡、险峻上坡、缓和下坡和险峻下坡。

此外，例如，如果不但定义了行视差分布图(V-视差图)上的近似直线的上部末端部分T的高度(行)，还定义了行视差分布图(V-视差图)上的近似直线的多个部分(多个视差值)的高度(行)，则可以识别多个部分的相对斜坡状况。换句话说，如果连接行视差分布图(V-视差图)上的两个部分的近似直线的斜坡大于或者小于相对斜坡状况为平地情况下的斜坡，则可以识别对应于两个部分之间的部分的路面部分的相对斜坡状况分别是上坡或者下坡。注意的是，在这种情况下，当执行行视差分布图(V-视差图)的直线近似处理时，行视差分布图(V-视差图)被划分，例如每10m的实际距离，并且针对每个划分，单独执行直线近似处理。

此外，本实施例是针对驾驶员的车辆行驶在其上的路面部分(路面部分位于驾驶员的车辆下方)来识别驾驶员的车辆100的前方的路面的斜坡状况的示例，也就是说，识别了相对斜坡状况的示例；然而，当提供这样的设备时，可以获取驾驶员的车辆前方的路面的绝对斜坡状况，该设备针对行驶方向获取驾驶员的车辆的倾斜状态(驾驶员的车辆的倾斜状态是否为平坦状态、向前倾斜状态、向后倾斜状态等)。

以上所述为示例，并且本发明对于以下方面还具有特定效果。

(方面A)

一种路面斜坡识别设备，该路面斜坡识别设备具有基于通过用例如两个成像部110A、110B的多个成像器对驾驶员的车辆的前方区域进行成像而获取的多个成像图像来生成视差信息的视差信息生成器，该路面斜坡识别设备基于由例如视差计算部121的视差信息生成器所生成的视差信息，针对驾驶员的车辆行驶在其上的路面区域，识别驾驶员的车辆前方的路面的斜坡状况(相对斜坡状况)，该路面斜坡识别设备包括例如视差直方图计算部141的视差直方图信息生成器，该视差直方图信息生成器基于由视差信息生成器所生成的视差信息，生成在通过纵向方向上多次划分该成像图像而获取的每一个行区域中显示视差值频率分布的视差直方图信息；和例如斜坡状况识别部143的斜坡状况识别器，该斜坡状况识别器执行斜坡状况识别处理，在所述斜坡状况识别处理中，基于视差直方图信息从具有超出预定的指定值的频率的视差值或者视差值范围中选择符合随着接近该成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围；并且按照所选择的一组视差值或者视差值范围，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆前方的路面的斜坡状况。

根据以上，可以通过低负荷处理来识别相对斜坡状况，并且因此，可以在短时间内执行相对斜坡状况的识别处理，并且还可以针对例如30FPS(每秒帧数)的运动图像执行实时处理。

(方面B)

根据方面A的路面斜坡识别设备，其中斜坡状况识别器从所选择的一组视差值或者视差值范围中提取定位于成像图像的最上面部分的特定的视差值或者视差值范围，并且按照所提取的特定的视差值或者视差值范围所属的行区域来执行用于识别斜坡状况的斜坡状况识别处理。

根据以上，可以较低的处理负荷来识别关于它是否为平地、上坡、下坡的简单的相对斜坡状况。

(方面C)

根据方面A或者方面B的路面斜坡识别设备，还包括：斜坡参考信息存储设备，用于存储对应于至少两个斜坡状况的多个斜坡参考信息，斜坡状况表达了在成像图像的纵向方向上的位置，成像图像中定位了显示该成像图像中的驾驶员的车辆前方的路面的路面图像的顶部部分，其中斜坡状况识别器比较在特定的视差值或者视差值范围所属的行区域的成像图像的纵向方向上的位置和由存储在斜坡参考信息存储设备中的斜坡参考信息所表达的成像图像中的纵向方向上的位置，并且通过使用比较结果来执行用于识别斜坡状况的斜坡状况识别处理。

根据以上，可以通过较低的负荷处理来识别相对斜坡状况。

(方面D)

根据方面B或者方面C的路面斜坡识别设备，其中斜坡状况识别器仅对针对包括与这样的位置相对应的行区域的有限范围内的行区域的视差值或者视差值范围执行斜坡状况识别处理，这样的位置为：当针对驾驶员的车辆行驶在其上的路面部分，驾驶员的车辆的前方路面的斜坡状况是平地时，显示了驾驶员的车辆的前方路面的路面图像的顶部部分所处的成像图像的纵向方向上的位置。

根据以上，与对于作为目标的整个图像的视差值或者视差值范围执行斜坡状况识别处理相比较，可以降低处理负荷，并且额外地降低了所使用的存储器区域，以及因此还可以实现存储器的减少。

(方面E)

根据方面A到方面D的任何一个的路面斜坡识别设备，还包括：路面图像区域识别器，其基于视差直方图信息，从具有频率超出预定的指定值的视差值或者视差值范围中，选择符合随着接近成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围；并且识别这样的图像区域作为显示了路面的路面图像区域：对该图像区域在成像图像中的像素对应于所选择的一组视差值和视差值范围。

根据以上，不仅可以识别驾驶员的车辆行驶在其上的路面的相对斜坡状况，而且可以识别驾驶员的车辆行驶在其上的可行驶范围，并且因此，基于可行驶的范围内的信息和相对斜坡状况，可以执行更高的车载设备控制。

(方面F)

根据方面A到方面E的任何一个的路面斜坡识别设备，其中视差信息生成器检测由多个成像器通过对驾驶员的车辆的前方区域进行成像而获取的多个成像图像之间彼此对应的图像部分，并且生成其中所检测的图像部分之间的位置偏移量被取为视差值的视差信息。

根据以上，可以获取高准确度的视差信息。

(方面G)

根据方面A到方面F的任何一个的路面斜坡识别设备，还包括：多个成像器。

根据以上，可以在车辆中放置路面斜坡识别设备并且将该路面斜坡识别设备用作车辆的应用。

(方面H)

根据方面G的路面斜坡识别设备，其中多个成像器是运动图像成像器，其持续对驾驶员的车辆的前方区域进行成像。

根据以上，可以针对运动图像通过实时处理来识别相对斜坡状况。

(方面I)

一种识别路面斜坡的方法，具有基于通过多个成像器对驾驶员的车辆的前方区域进行成像而获取的多个成像图像来生成视差信息的步骤，其基于在生成视差信息的步骤中所生成的视差信息，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况，该方法包括以下步骤：生成视差直方图信息，该视差直方图信息基于在生成视差信息的步骤中所生成的视差信息，显示了在通过纵向方向上多次划分该成像图像的每个行区域的视差值频率分布；以及，识别斜坡状况，该步骤基于视差直方图信息，执行从具有超出预定的指定值的频率的视差值或者视差值范围中，选择符合随着接近成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围的斜坡状况识别处理；以及按照所选择的一组视差值或者视差值范围，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆前方的路面的斜坡状况。

根据以上，可以通过低负荷处理来识别相对斜坡状况，并且因此，可以在短时间内执行相对斜坡状况的识别处理，并且还可以针对例如30FPS的运动图像进行实时处理。

(方面J)

一种用于使得计算机执行路面斜坡识别的计算机程序，具有基于通过多个成像器对驾驶员的车辆的前方区域进行成像而获取的多个成像图像来生成视差信息的步骤，其基于在生成视差信息的步骤中所生成的视差信息，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况，使得计算机执行路面斜坡识别的计算机程序包括以下步骤：生成视差直方图信息，该视差直方图信息基于在生成视差信息的步骤中所生成的视差信息，显示了在通过纵向方向上多次划分该成像图像的每个行区域的视差值频率分布；以及，识别斜坡状况，该步骤基于视差直方图信息，执行从具有超出预定的指定值的频率的视差值或者视差值范围中，选择符合随着接近成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围的斜坡状况识别处理；以及按照所选择的一组视差值或者视差值范围，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆前方的路面的斜坡状况。

根据以上，可以通过低负荷处理来识别相对斜坡状况，并且因此，可以在短时间内执行相对斜坡状况的识别处理，并且还可以针对例如30FPS的运动图像进行实时处理。注意的是，对计算机程序来说可以被存储在例如CD-ROM等存储介质中的状态被分发或者获取。通过分发或者接收携带了计算机程序的信号并且经由例如公共电话线路、专线、其他通信网络等的传送介质被预定的传送设备所传送，从而实现可以分发或者获取。在分发的情况下，在传送介质中，至少可以传送部分程序。也就是说，在同一时刻在传输介质中不需要存在构成计算机程序的全部数据。携带了计算机程序的信号是体现在包括了计算机程序的预定的载波中的计算机数据信号。此外，从预定的传送设备传送计算机程序的方法包括将构成了计算机程序的数据持续传送和间歇传送的情况。

根据本发明的实施例，可以无需使用由日本专利申请公开号2002-150302所公开的路面识别设备所使用的处理的情况下，通过新的识别处理来识别驾驶员的车辆的行驶方向上的路面的斜坡状况。

尽管已经以示例实施例的方式描述了本发明，然而本发明并未限于示例实施例。应当理解的是，本领域技术人员可以在未偏离由下列权利要求所定义的本发明的范围的前提下，可以对所述的实施例作出各种改变。

相关申请的交叉参考

本申请基于2012年5月31日提交的日本专利申请号2012-123999和2013年3月19日申请的日本专利申请号2013-55905，并主张其优先权，上述申请的公开内容以参考的方式全部并入到本申请中。

Claims (10)

1.一种路面斜坡识别设备，具有基于通过多个成像器对驾驶员的车辆的前方区域进行成像而获取的多个成像图像来生成视差信息的视差信息生成器，所述路面斜坡识别设备基于由所述视差信息生成器所生成的视差信息，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况，所述路面斜坡识别设备包括：

视差直方图信息生成器，其基于由所述视差信息生成器所生成的视差信息，生成用于显示通过在纵向方向上多次划分成像图像而获取的每一个行区域中的视差值频率分布的视差直方图信息；以及

斜坡状况识别器，其执行斜坡状况识别处理，在所述斜坡状况识别处理中，基于所述视差直方图信息，从具有超出预定的指定值的频率的视差值或者视差值范围中选择符合随着接近所述成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围，并且按照所选择的一组视差值或者视差值范围，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况。

2.根据权利要求1所述的路面斜坡识别设备，其中，

所述斜坡状况识别器从所选择的一组视差值或者视差值范围中提取定位在所述成像图像的最上面部分的特定的视差值或者视差值范围，并且按照所提取的特定的视差值或者视差值范围所属的行区域来执行用于识别斜坡状况的斜坡状况识别处理。

3.根据权利要求2所述的路面斜坡识别设备，还包括：

斜坡参考信息存储设备，其存储对应于至少两个斜坡状况的多个斜坡参考信息，至少两个斜坡状况表达了在所述成像图像的纵向方向上的位置，在所述成像图像中路面图像的顶部部分被定位，所述路面图像显示了所述成像图像中的驾驶员的车辆的前方路面，

其中，所述斜坡状况识别器比较在特定的视差值或者视差值范围所属的行区域的成像图像的纵向方向上的位置和由存储在所述斜坡参考信息存储设备中的斜坡参考信息所表达的成像图像中的纵向方向上的位置，并且通过使用比较结果来执行用于识别斜坡状况的斜坡状况识别处理。

4.根据权利要求2或3所述的路面斜坡识别设备，其中，

所述斜坡状况识别器仅对针对包括与这样的位置相对应的行区域的有限范围内的行区域的视差值或者视差值范围执行斜坡状况识别处理，这样的位置为：当驾驶员的车辆的前方路面的斜坡状况相对于驾驶员的车辆行驶在其上的路面部分是平地时，示出驾驶员的车辆的前方路面的路面图像的顶部部分所处的成像图像的纵向方向上的位置。

5.根据权利要求1至4中任意一项所述的路面斜坡识别设备，还包括：

路面图像区域识别器，其基于所述视差直方图信息，从具有频率超出预定的指定值的视差值或者视差值范围中，选择符合随着接近成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围；并且识别与所选择的一组视差值和视差值范围相对应的成像图像中的像素所属的图像区域作为示出了路面的路面图像区域。

6.根据权利要求1至5中任意一项所述的路面斜坡识别设备，其中，

所述视差信息生成器检测由多个成像器通过对驾驶员的车辆的前方区域进行成像而获取的多个成像图像之间彼此对应的图像部分，并且生成其中所检测的图像部分之间的位置偏移量被取为视差值的视差信息。

7.根据权利要求1至6中任意一项所述的路面斜坡识别设备，还包括：

多个成像器。

8.根据权利要求7所述的路面斜坡识别设备，其中，

多个成像器是运动图像成像器，其持续对驾驶员的车辆的前方区域进行成像。

9.一种识别路面斜坡的方法，具有基于通过多个成像器对驾驶员的车辆的前方区域进行成像而获取的多个成像图像来生成视差信息的步骤，所述方法基于在生成视差信息的步骤中所生成的视差信息，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况，所述方法包括以下步骤：

生成视差直方图信息，所述视差直方图信息基于在生成视差信息的步骤中所生成的视差信息，显示了在通过纵向方向上多次划分所述成像图像的每个行区域的视差值频率分布；以及

识别斜坡状况，基于所述视差直方图信息，执行从具有超出预定的指定值的频率的视差值或者视差值范围中，选择符合随着接近成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围的斜坡状况识别处理；以及按照所选择的一组视差值或者视差值范围，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆前方的路面的斜坡状况。

10.一种用于使得计算机执行路面斜坡识别的计算机程序，所述计算机程序具有基于通过多个成像器对驾驶员的车辆的前方区域进行成像而获取的多个成像图像来生成视差信息的步骤，所述计算机程序基于在生成视差信息的步骤中所生成的视差信息，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况，使得计算机执行路面斜坡识别的计算机程序包括以下步骤：

生成视差直方图信息，所述视差直方图信息基于在生成视差信息的步骤中所生成的视差信息，显示了在通过纵向方向上多次划分所述成像图像的每个行区域的视差值频率分布；以及

识别斜坡状况，基于所述视差直方图信息，执行从具有超出预定的指定值的频率的视差值或者视差值范围中，选择符合随着接近成像图像的上面部分时视差值逐渐变小的特征的一组视差值或者视差值范围的斜坡状况识别处理；以及按照所选择的一组视差值或者视差值范围，针对驾驶员的车辆行驶在其上的路面部分，识别驾驶员的车辆的前方路面的斜坡状况。