CN107093180B - 使用轮胎向后飞溅的基于视觉的潮湿路面状况检测 - Google Patents

Abstract

一种确定道路的潮湿表面状况的方法。由主车辆的图像捕获装置来捕获路面图像。图像捕获装置安装在主车辆的一侧并捕获位于向下方向的图像。在被捕获的图像中通过处理器来识别主车辆车轮后方的关注区域。关注区域代表由车轮产生的向后飞溅发生的地方。通过对图像应用滤波器做出关注区域是否存在降水的判定。根据对关注区域降水的识别来生成潮湿路面信号。

Description

使用轮胎向后飞溅的基于视觉的潮湿路面状况检测

技术领域

实施例总体涉及利用检测轮胎向后飞溅而进行潮湿路面的检测。

背景技术

在行驶路面上的降水给车辆造成一些不同的问题。例如，道路上的水降低了车辆轮胎和该道路表面之间的摩擦系数，导致车辆稳定性问题。对行驶道路上降水的检测通常由主车辆决定，主车辆利用在降水已经影响车辆运行时进行的一些感测操作来感测道路上的降水，例如检测车轮打滑。因此，车辆必须监测其自身相对于干路面运行状况的运行状况(如车轮打滑)来确定是否存在降水。因此，该系统可以等待此类状况发生，或者可以将激励引入车辆来确定是否存在该状况(例如，如果存在降水，对从动轮产生突然加速以引起车轮打滑)。

发明内容

本实施例的优点在于利用基于视觉的成像装置检测道路上的水，该基于视觉的成像装置通过其自身的车轮识别该道路表面上分散的降水。本文所描述的技术启动测定是否存在降水不需要车辆或驾驶员的激励。相反，降水是根据监测车轮向后的飞溅来确定的。本技术优选地捕获图像并且检测图像内的边缘，该图像在由激起降水的自身车辆的轮胎导致的飞溅与非飞溅区(即路面上未受干扰的降水)之间进行区分。离线产生已训练的数据库，例如分类器，并且其在车辆内执行，以便利用已训练的分类器很容易地确定是否存在降水。

实施例设想一种确定道路的潮湿表面状况的方法。由主车辆的图像捕获装置来捕获路面图像。将图像捕获装置安装在主车辆的一侧并捕获位于向下方向的图像。在被捕获的图像中通过处理器来识别主车辆车轮后方的关注区域。关注区域代表由车轮产生的向后飞溅发生的地方。确定关注区域是否存在降水。根据对关注区域降水的识别来生成潮湿路面信号。

附图说明

图1是由相机捕获的潮湿面上的车辆场景的示例性透视图。

图2为示出潮湿路面检测系统的方框图。

图3是具有环绕视觉覆盖范围的车辆环绕的示例性透视图。

图4为示出用于检测潮湿面的方法的流程图。

图5为示出来自所捕获图像的示例性关注区域。

图6为示出用于潮湿路面的示例性滤波器响应。

图7为示出用于干路面的示例性滤波器响应。

图8为示出显示同一曲线图上潮湿面和干面的滤波器响应的示例性组合曲线图。

图9为示出验证结果的示例。

具体实施方式

图1示出了沿车辆道路12行进的车辆10.示出降水19置于车辆道路12上，并且随着车辆轮胎在潮湿车辆道路12上旋转，降水19经常被车辆车轮14和安装在车轮14的轮缘18上的轮胎16移位。事先知道车辆何时将沿着该潮湿车辆道路12行驶通常是有利的，使得由于降水引起的问题(例如牵引力的损失或者由于水进入外部进风口引起的发动机退化)能够被排除或者至少减轻。

当行驶于潮湿路面时，车辆道路12上的降水19能够导致牵引力降低。布置在车辆道路12上的降水19降低了车辆轮胎和车辆道路12之间的摩擦系数。因此，降低了车辆轮胎和车辆道路12之间的牵引力。可以通过多种减轻方法来减轻牵引力损失，其包括但不限于警告司机将车速降低到有利于环境条件的速度；用非常低的制动力来致动车辆制动器的自动应用程序，使得形成于制动部件的制动面的降水最小化；当检测到降水时，停用巡航控制功能或限制巡航控制功能的启动；或者通知驾驶员与前面的车辆保持更大的停车距离。应当理解的是，本文所述的实施例可应用于除了汽车以外的其他类型的需要检测潮湿路面状况的系统。可以利用该系统的除了汽车以外的车辆的示例包括但不限于轨道系统，飞机，非道路运动车辆，机器人车辆，摩托车，自行车，农用设备以及施工设备。

图2为示出潮湿路面检测系统的方框图。多个基于车辆的图像捕获装置20安装于车辆上用于捕获车辆周围的图像。所述多个基于车辆的图像捕获装置20可以安装在车辆的前，后以及侧面。图3为示出用于检测车辆周围物体的示例性360度环绕视觉覆盖范围。每个基于图像的捕获装置配合地用于检测和识别位于车辆每侧的物体。基于图像的捕获装置20包括但不限于前视相机22，其安装于车辆的前面，捕获向前或部分朝向车辆侧面的图像。驾驶员侧相机24捕获在车辆驾驶员侧的图像。乘客侧相机26捕获在车辆乘客侧的图像。朝后相机28捕获向后和朝向车辆侧面的图像。

再次参照图2，处理器30处理由图像捕获装置20捕获的图像。处理器30分析图像和数据以确定车辆10的车轮下是否存在降水。处理器30可以是部分现有系统，例如牵引控制系统或者其它系统，或者可以是独立处理器，其专用于分析来自图像捕获装置20的数据。

处理器30可以耦合到一个或多个的输出装置，例如控制器32，如果在路面上发现降水，其发起或致动控制动作。可以采取一个或多个对策来减轻降水对车辆运行可能造成的影响。

控制器32可以是部分车辆子系统或者可以用于使车辆子系统能够应对水的影响。例如，根据道路是潮湿的确定，当牵引力损失发生时，控制器32可以使准备好了制动策略的电气或电动-液压制动系统34或类似系统有效。除了准备制动策略，一旦车辆进入降水，制动系统可以在不告知驾驶员的情况下自主施加光制动力，以便去除车辆制动器上的降水。当驾驶员手动制动时，去除堆积在车轮和制动器上的降水可保持车辆制动驱动器和车轮的制动面之间的预期摩擦系数。

控制器32可以控制牵引力控制系统36，其为每个各自车轮单独分配动力，以便当路面上检测到降水时，通过各自的车轮减少车轮打滑。

控制器32可以控制牵巡航控制系统38，当路面上检测到降水时，其可停用巡航控制或者限制巡航控制的启动。

控制器32可以控制驾驶员信息系统40，其用于向车辆驾驶员提供路面上检测到降水的警告。该由控制器32致动的警告可以警告驾驶员路面上接近的降水，并且可以建议驾驶员将车速降低到有利于当前环境条件的速度，或者控制器32可以开启警告，以便与驾驶车辆后面的车辆保持安全驾驶距离。应理解的是，控制器32，如本文所述，可以包括一个或多个控制器，其控制独立的功能或者可以控制各功能的组合。

控制器32可以进一步控制制动自动打开和关闭用于防止水注入车辆发动机的挡风板42。在这些情况下，当检测到车辆前的路面上存在降水时，控制器32自动致动关闭挡风板42，并且当确定路面上不再存在降水时，可以再次打开挡风板。

控制器32可以进一步控制无线通信装置44的致动，无线通信装置44利用车辆到车辆或车辆到基础设施通讯系统自动将潮湿的路面状况传递给其他车辆。

控制器可以进一步将潮湿路面信号警告提供给车辆驾驶员，警告其不要使用自动化特征，该自动化特征包括但不限于自适应巡航控制，车道追踪，车道变化，逃避/辅助操纵和自动化紧急制动。

本文所述技术优点在于不需要车辆或驾驶员的激励，用于启动测定是否存在水或降水。也就是说，现有技术需要通过车辆进行一些相当大的激励(不论是否经由制动操纵、增加加速度或转向操纵)以便进行表面水检测。基于响应(如车轮打滑，偏航)，该技术确定车辆当前是否正在水或降水上行驶。相比之下，本文所述技术提供了不需要驾驶员激励而确定道路上降水的技术。

图4为示出用于检测道路潮湿面的方法的流程图。在步骤50中，提供了获得场景信息的传感器/融合模块，在该场景信息中，可以分析场景中的各种特征以确定图像中是否存在降水。图5为示出由图像捕获装置捕获的图像。可以处理该图像，从而捕获下方的视图(即向下看行进的道路)。由各自的图像捕获装置使用的透镜可以采用鱼眼式透镜，其捕获较宽的视野(如180度)。图像处理也可以用于改变相机的姿势，这样使图像中看到的姿势是向下看。例如，如果使用来自一个各自侧面的相机的图像，那么可以通过生成虚拟姿势来聚焦图像中的各自位置，该虚拟姿势呈现出如同直接向下看的相机捕获车轮14，路面12以及降水19的场景。为了改变姿势，虚拟相机模型可以与捕获的图像一起使用，这样虚拟姿势用来重新定向图像，从而生成如同相机位于不同的位置并朝向不同的方向(如直接朝下)的图像。重新定向图像以生成虚拟图像包括识别虚拟姿势并将虚拟图像上的每个虚拟点映射到真实图像的对应点上。本文使用的术语“姿势”是指由相机坐标以及相机z轴的取向确定的相机位置的相机取景角度(不论是真实相机还是虚拟相机)。本文使用的术语“虚拟相机”是指除了具有模拟相机姿势以外还具有模拟相机模型参数和模拟成像表面的模拟相机。本文将由处理器执行的相机建模描述为利用虚拟相机建模获得作为场景合成图像的虚拟图像。

再次参照图4，在步骤51中，从真实图像或虚拟图像中识别关注区域。该技术定位了关注区域，如果存在向后的飞溅，该关注区域识别与降水预期分散的地方相对的各自区域。向后飞溅的分散的降水的关注区域通常是在与车辆行进方向相反的车轮后方。如图5所示，49识别的示例性区域代表图像中关注区域。

再次参照图4，在步骤52中，识别关注区域并进行分散的降水分析，以确定关注区域中的路面是否存在降水。通过分析关注区域中的图像是否存在水滴，从而确定来自路面的水随着轮胎旋转而溅起。各种技术可以用于提取特征，该特征可稍后用于确定图像是否具有边缘构成，例如图像中分离飞溅到空气中的降水的区别性边缘和非飞溅区域。因此，边缘检测可以利用滤波器执行，例如LM滤波器组或其它图像分析技术。LM滤波器组是旋转不变的滤波器组，其用于将图像中的纹理及纹理方向进行分类。在此示例中，LM是具有多个滤波器的多尺度多取向滤波器组。其可包括高斯一阶及二阶导数，所述高斯一阶及二阶导数具有各自数量的用于与图像的纹理进行比较的方向。如果关注区域存在降水飞溅，那么图像的像素相对于干面的值将具有更大的值(如LM滤波器较大的响应)。因此，在代表降水的已过滤图像的关注区域中的像素值的绝对均值应远大于代表非飞溅区域(即路面上未受干扰的降水)的像素。滤波器识别区分来自无飞溅区域的飞溅的边缘。

图6为示出潮湿面的示例性滤波器响应60。响应曲线图包括第一轴上的图像宽度(W)以及第二轴上的图像高度(H)。图像内的每个像素由坐标(W，H)表示。在z轴上为每个像素显示响应(强度级大小)。如图6所示，在曲线图中识别与具有飞溅的关注区域49相关联的区域。

相比较，图7为示出用于干面的示例性滤波器62响应。响应曲线图包括x轴上的图像宽度(W)以及y轴上的图像高度(H)。图像内的每个像素用坐标(W，H)表示。在z轴上显示响应(强度级大小)。如图7所示，为了比较示出了与干面上的关注区域49相关联的区域。干面的像素值具有基本为零的LM滤波器响应。相比之下，潮湿面的像素具有基本大于(如绝对值)干面的滤波器响应的LM滤波器响应.

图8为示出显示同一曲线图上潮湿面和干面的滤波器响应的组合曲线图。滤波器响应60代表了潮湿面的响应，而滤波器响应62代表了干面的响应。对比同一曲线图上两种响应，与潮湿面相关联的像素值(绝对值)基本大于与干面相关联的像素值。

再次参照图4，在步骤53中，特征分析应用于用来识别图案匹配的已过滤图像。特征分析在包括特征提取和特征计算的机器学习中通常是脱机训练的，以便建立各自的图案数据库。在创建数据库之后，在线实施分类器。在线特征分析过程中，计算提取的特征并输入到分类器中。分类器将输出对于图像中的当前面是属于潮湿面还是干面的决定。如同先前所提出的，多尺度多取向的LM滤波器组应用特征分析进行特征提取。例如，示例性LM滤波器组可以包括在6个取向和3个尺度下使用高斯一阶及二阶导数的36个滤波器。在训练分类器的过程中应用每个滤波器训练，以生成图案数据库。可选择地，也可以用其它技术进行特征提取，例如深层学习技术。在各个已过滤图像的关注区域的像素的平均强度值可被认为是特征。将各个特征的强度值计算并加入图案数据库中。当在线使用时，分类器将基于以前训练过的分类来确定特征集。下式可以用于确定如下所示的特征强度值：

其中，N是来自第k个LM滤波器的已过滤图像的关注区域中像素的总数，并且I_k(i)是来自第k个LM滤波器的已过滤图像的第i个像素的像素值。

图9为示出验证结果的示例。在该验证测试中，车速设定为40mph，并且表面被各个程度的水覆盖。图9中的每个符号代表特征空间中的样本分布。如图9所示，x轴代表第一特征(F-7),并且y轴代表第二特征(F-13)。这些特征是具有一个水平取向和两个不同尺度的两个高斯一阶导数滤波器。符号“o”代表潮湿面，而符号“x”代表干面。利用已训练分类器，在第一潮湿面和干面之间明确区分特征空间中的样本分布间的分离。

再次参照图4，在步骤54中，基于特征分析确定是否存在降水。如果确定存在降水，那么程序进行到步骤55；否则，程序进行到步骤56。

在步骤56中，根据关注区域存在降水的判定，将标记的潮湿面指示器设定并传送给控制器，该控制器可致动如前所述的各种车辆操作(包括但不限于制动控制，牵引力控制，速度控制，驾驶员警告，挡风板控制以及车辆到车辆通信)。

如果在步骤54中确定关注区域不存在降水，那么程序进行到步骤56，在该步骤中，其它附加技术可以用于验证是否存在降水。

尽管已经详细介绍了本发明的特定实施例，但是本发明领域的技术人员应当了解由下列权利要求限定的、用于实现本发明的各种可选的设计、过滤工艺和实施例。

Claims (5)

1.一种用于确定道路潮湿面状况的方法，所述方法包括如下步骤：

由主车辆的图像捕获装置捕获路面的图像，所述图像捕获装置安装于所述主车辆的侧面并捕获位于向下方向的图像；

在被捕获的图像中用处理器识别所述主车辆的车轮后方的关注区域，所述关注区域代表所述车轮产生的向后飞溅发生的地方；

将滤波器应用于所述图像中的所述关注区域以识别降水, 包括应用边缘滤波器，所述边缘滤波器用于识别所述关注区域中飞溅区域和无飞溅区域之间的边缘，其中，应用边缘滤波器包括应用纹理分类滤波器，所述纹理分类滤波器利用LM滤波器组，所述LM滤波器组包括多个具有各种取向的滤波器，应用于所述关注区域的所述LM滤波器组的多个滤波器辅助识别所述关注区域内的边缘，将特征分析应用于来自所述LM滤波器组的响应以确定是否存在降水，并且，来自所述LM滤波器组的大小为0的响应表示无飞溅状况；

确定所述关注区域是否存在降水；以及

响应于对所述关注区域中降水的所述识别来生成潮湿路面信号。

2.根据权利要求1所述的方法，其中，所述LM滤波器组包括在预定取向和预定大小尺度下的一阶导数滤波器和二阶导数滤波器。

3.根据权利要求1所述的方法，其中，来自LM滤波器组的滤波器具有绝对值大于0的响应表示降水。

4.根据权利要求3所述的方法，其中，应用机器学习技术以利用从多个样本图像中提取的特征来离线训练分类器，在所述车辆内在线执行所述分类器，以便在根据来自所述边缘滤波器的响应确定是否存在降水时，基于由特征分析所提取的特征来检测边缘。

5.根据权利要求4所述的方法，其中，特征的强度值由下式决定：

其中，N是组成第k个滤波器的已过滤图像的所述关注区域中像素的总数，并且

是所述第k个滤波器的所述已过滤图像的第i个像素的像素值。

Images