CN106841196B - 使用轮胎轨迹的基于视觉的潮湿路面状况检测 - Google Patents

Abstract

一种确定道路的潮湿表面状况的方法。通过主车辆的图像捕获装置捕获路面的图像。图像捕获装置安装在主车辆的一侧并且沿向下方向捕获图像。通过处理器识别所捕获图像中的目标区域。目标区域是主车辆轮胎的后方区域。目标区域表示当路面潮湿时由轮胎在道路上转动所生成的轮胎轨迹出现的位置。根据识别轮胎轨迹来确定在目标区域中是否存在水。响应于在目标区域中识别到水而生成潮湿路面信号。

Description

使用轮胎轨迹的基于视觉的潮湿路面状况检测

技术领域

本发明实施例主要涉及利用轮胎轨迹的检测来检测潮湿路面。

背景技术

行驶面上的降水会引发车辆出现多种不同问题。例如，道路上的水减少了车辆轮胎和道路表面之间的摩擦系数，从而产生车辆稳定性问题。检测行驶道路上的降水通常由主车辆利用某个感测操作感测道路上的降水来确定，例如检测车轮打滑，这个操作发生在降水已经影响到车辆运行的时候。因此，车辆必须监测其自身的相对于干燥路面运行状况的运行状况(例如，车轮打滑)，用于确定是否存在降水。因此，这样的系统可能要等到这样的状况发生，或者可能要向车辆发出激励来确定是否存在该状况(例如，当降水存在时，使从动轮生成突然加速，而造成车轮打滑)。

发明内容

实施例的优点是使用基于视觉的成像装置检测道路上的水，该成像装置根据潮湿路面上行驶的车辆的轮胎轨迹识别降水。本文所述的技术不需要来自车辆或驾驶员的指令以开始确定是否存在降水。相反，当轮胎在道路的表面上旋转时，根据对由轮胎将水排向两侧而立即形成的轮胎轨迹进行监测来确定降水。当车辆轮胎沿着路面旋转时，该技术优选地捕获包括留在道面上水中的轮胎轨迹的图像。该技术利用了被捕获场景的偏振图像并应用了边缘滤波技术来识别线边缘。偏振图像被定向以识别由轮胎轨迹生成的图像中的垂直边缘。滤波器在滤波器响应图中生成沿着边缘的大波峰。如果有轨迹存在，那么滤波器响应会有大波峰，而如果没有轨迹存在，则会有相对平坦的波峰响应。使用具有所识别的分离阈值的训练数据来训练分类器，然后将训练后的分类器应用在车辆中，用于根据路面的主动监测对道路上水进行在线检测。

本发明实施例设想了一种确定道路的潮湿表面状况的方法。通过主车辆的图像捕获装置捕获路面的图像。图像捕获装置安装在主车辆的一侧并且沿向下方向捕获图像。通过处理器识别所捕获图像中的目标区域。目标区域是主车辆的轮胎的后方区域。目标区域表示当路面潮湿时由轮胎生成的轮胎轨迹出现的位置。根据识别由轮胎生成的轮胎轨迹，确定水是否存在于目标区域中。根据目标区域中水的识别，生成潮湿路面信号。

附图说明

图1是由照相机捕获的潮湿表面上的车辆场景的示例性透视图。

图2示出了潮湿路面检测系统的框图。

图3是具有环绕视图范围的车辆环绕的示例性透视图。

图4示出了用于检测潮湿路面的方法的流程图。

图5示出了由图像捕获装置捕获的图像。

图6示出了示例性偏振图像。

图7示出了对于潮湿路面的示例性滤波器响应。

图8示出了对于干燥路面的示例性滤波器响应。

图9示出了表征潮湿路面上和干燥路面上的采样数据的示例性特征空间。

具体实施方式

如图1所示，车辆10沿着车辆道路12行驶。当轮胎在车辆道路12的潮湿表面上旋转时，如所示设置在车辆道路12上形式为水的降水19常常被车轮14和安装在车轮14轮缘18上的轮胎16移位。通常有利的是，知道车辆何时将沿着潮湿车辆道路12行驶，这样可以避免或至少减少由水造成的问题(例如由进入外部进风口的水引起的牵引力损失或发动机性能退化)。

车辆道路12上的降水19可以导致在潮湿路面上行驶时牵引力的下降。设置在车辆道路12上的降水19降低了车辆轮胎和车辆道路12之间的摩擦系数。结果，车辆轮胎和车辆道路12之间的牵引力也降低。牵引力的损失可以通过各种缓解技术来缓解，这些技术包括但不限于警告驾驶员将车辆速度降低到有利于环境状况的速度；使用非常低的制动力开始自动应用车辆制动器，以使制动部件的制动表面上形成的降水减到最少；当检测到降水时停用或限制巡航控制功能的激活；或者通知驾驶员与前车保持更大的刹车距离。应当理解的是，除了其中存在检测潮湿路面状况需求的汽车之外，本文所描述的实施例还可以应用于其他类型的系统。除了可以利用该系统的汽车之外的车辆的实例包括但不限于轨道系统、飞机、越野运动车、机器人车辆、摩托车、自行车、农场设备和建筑设备。

图2示出了潮湿路面检测系统的框图。多个基于车辆的图像捕获装置20安装在车辆上，用于捕获车辆周围的图像。该多个基于车辆的图像捕获装置20可以安装在车辆的前部、后部和两侧。图3示出了用于检测车辆周围的物体的示例性360度环绕视图范围。每个基于图像的捕获装置协同用于检测和识别车辆两侧的物体。基于图像的捕获装置20包括但不限于前视图摄像机22，其安装到车辆的前部，用于捕获车辆前方和部分地两侧的图像。驾驶员侧照相机24拍摄车辆的驾驶员侧的图像。乘客侧照相机26拍摄车辆的乘客侧的图像。向后摄像机28拍摄车辆后方和两侧的图像。

再次参照图2，处理器30处理由图像捕获装置20捕获的图像。处理器30分析图像和数据，以当车辆轮胎沿着道路旋转时,根据立刻留在潮湿路面上的轮胎轨迹来确定路面上是否存在水。一旦处理器30识别到车辆10的车轮，处理器30就识别目标区域并立刻分析车轮后面的区域，如果道路上存在水，那么轮胎轨道将可能出现在这个区域中。处理器30可以是现有系统(例如牵引控制系统或其他系统)的一部分，或者可以是专门用于分析来自图像捕获装置22的数据的独立处理器。

处理器30可以联接到一个或多个输出装置，例如控制器32，用于在目标区域中发现水的情况下，发起或启动控制动作。可以启动一个或多个对策，用于减少水可能对车辆运行造成的影响。

控制器32可以是车辆子系统的一部分，或者可以用于使车辆子系统能够处理水的影响。例如，根据道路是潮湿的确定，控制器32可以启用电动或电液制动系统34等，该系统具有制动策略，以备在发生牵引损失的情况下使用。一旦车辆进入水中，除了准备制动策略之外，制动系统可以无需通知驾驶员而自主地施加轻的制动力，以除去车辆制动器中的水。除去车轮和制动器中的积水使驾驶员手动施加制动时，车辆制动致动器和车轮的制动表面之间的摩擦系数维持在期望值。

控制器32可以控制牵引控制系统36，该系统将功率分别分配给每个相应的车轮，用于当检测到路面上有水时通过相应的车轮减少车轮打滑。

控制器32可以控制巡航控制系统38，当检测到路面上有水时，该系统可以停用巡航控制或限制巡航控制的激活。

控制器32可以控制驾驶员信息系统40，用于向车辆的驾驶员提供关于在车辆道路上检测到的水的警告。由控制器32致动的这种警告可以警告驾驶员将要接近路面上的水，并且可以建议驾驶员将车速降低到有利于当前环境状况的速度，或者控制器32可以启动警告以与主车辆前方的车辆维持安全驾驶距离。应当理解的是，如本文所述，控制器32可以包括一个或多个控制器，其控制各个功能或者可以控制功能的组合。

控制器32还可以控制自动打开和关闭空气挡板42的致动，以防止水进入车辆的发动机。在这种状况下，当检测到水存在于车辆前方的路面上时，控制器32自动致动空气挡板42的关闭，并且当确定水不再存在时，控制器32可以重新打开空气挡板。

控制器32还可以控制无线通信装置44的致动，用于利用车对车或车对基础设施通信系统自主地将潮湿路面状况传送到其他车辆。

控制器还可以向车辆驾驶员提供潮湿路面信号以防止使用自动特征，自动特征包括但不限于自适应巡航控制、车道跟随、车道变更、回避/辅助转向操纵、自动紧急制动等等。

本文所描述的技术的优点在于，不需要来自车辆或驾驶员的用于启动确定是否存在水的指令。也就是说，现有技术需要车辆发出相当大的指令，无论是通过制动操纵，还是增加加速度，转向操纵，以便用于地表水检测。根据响应(例如，车轮打滑、打呵欠)，这样的技术确定当前车辆是否正在水上行驶。相比之下，本文所描述的技术不需要驾驶员发出用于确定道路上的水的指令。

图4示出了用于检测道路的潮湿表面的方法的流程图。在步骤50中，获得与车辆的车轮并置的区域的图像。对图像进行分析以获得场景信息，其中可以分析场景中的各种特性，以确定图像中是否存在水。图5示出了由图像捕获装置捕获的图像，该装置安装在车辆的侧面。可以处理图像，以便捕获俯视图(即，在行驶道路上俯视)。相应的图像捕获装置使用的透镜可以采用捕获宽视场(例如，180度)的鱼眼透镜。还可以应用图像处理以改变相机的姿势，使得在图像中观察到的姿势指向下方。例如，如果采用了来自相应的侧照相机中的其中一个的图像，那么图像中的相应位置，尽管不是照相机姿态的焦点，可以被用来生成虚拟姿势，该虚拟姿势渲染场景，就好像直接向下观看捕获车轮14、路面12和水19的照相机。为了改变姿势，可以与所捕获的图像一起使用虚拟相机模型，使得虚拟姿势被用来重新定向图像，从而生成虚拟图像，就好像照相机被重新定向并面向不同的方向(例如，直接面向下)。重新定向图像以生成虚拟图像包括识别虚拟姿势并将虚拟图像上的每个虚拟点映射到真实图像上的对应点。本文所使用的术语“姿势”是指由照相机坐标和照相机Z轴的定向所限定的照相机位置的照相机观察角度(无论是真实照相机还是虚拟照相机)。本文所使用的术语“虚拟照相机”是指除了具有模拟的照相机姿势之外还具有模拟的照相机模型参数和模拟的成像表面的模拟照相机。本文所描述的由处理器执行的照相机建模是指使用虚拟照相机建模获得作为场景的合成图像的虚拟图像是。

再次参照图4，在步骤51中，识别真实图像或虚拟图像的目标区域。这个技术定位目标区域，其识别相对于如果轮胎行驶通过路面上的水而预期的轮胎轨迹的位置的相应区域。如果车辆正在向前移动方向上行进，由车轮留下的轮胎轨迹的目标区域从轮胎直接向后延伸。再次参照图5，由49标识的示例性区域表示图像中的目标区域。

再次参照图4，在步骤52中，极坐标转换被应用到图像。极坐标转换将目标区域的原始区域转换为偏振图像。极坐标转换利用极坐标系，其是二维坐标系，其中平面上的每个点由距离参考点的距离以及与相应参考方向的夹角确定。通常，参考点被称为极，其在图5中示为元素60。参考方向通常被称为极轴。距离极的距离在本文中称为半径。利用半径和夹角将目标区域内的每个像素映射到偏振图像。

图6示出了示例性偏振图像。y轴表示从极到每个像素的半径(r)。x轴表示相对于参考方向的角的度数(θ)。图像极转换用于识别由于轮胎在道路表面上的水上旋转而生成的轮胎轨迹的边缘。根据车速和水深，轮胎轨迹的边缘可以不必严格平行于车辆侧线。由此，轮胎轨迹的边缘和车辆侧线(始于轮胎-道路接触点)之间可以形成小的夹角。由于夹角可能难以实时捕获，所以轮胎-道路接触点可以被认为是极/参考点。因此，可以从极/参考点开始执行极坐标转换，从车辆侧线稍偏离其他方向的边缘将被标准化为偏振图像中的垂直方向。如图6所示，垂直条纹表示轮胎轨迹的边缘。

再次参照图4，在步骤53中，执行轮胎轨迹边缘检测分析以确定在目标区域中是否存在水。可以采用滤波器(例如Gabor滤波器)来执行边缘检测。Gabor滤波器是常用于边缘检测的一类特殊的带通滤波器。这里使用的2D#Gabor滤波器基本上是由正弦平面波调制的高斯核函数。可以通过限定滤波器的参数(例如定向、比例和调制频率)来对滤波器进行定制设置。这样，Gabor滤波器是定向敏感滤波器。本文中，Gabor滤波器的定向限定在垂直方向上。当滤波器在偏振图像上滑动时，滤波器在图像位置处给出强响应，这些图像位置具有同一方向的结构。因此，它有助于检测偏振图像中的垂直边缘线。所识别的边缘有助于确定轮胎轨迹中的边缘。边缘检测强调了所捕获的由轮胎轨迹的边缘生成的图像内的纹理的线性运动。纹理由其中存在边缘的图像中许多不连续的短垂直线表示。相比之下，如果表面是干燥表面或是覆雪表面，那么干燥或覆雪表面的纹理没有线性运动图案。应当理解的是，在不脱离本发明范围的情况下，除了用于识别图像中的轮胎轨迹的边缘的Gabor滤波之外，还可以使用其他类型的滤波。

图7示出了潮湿表面上的偏振图像的滤光器响应。滤波器响应表示为三维图，其x轴为角度(θ)，y轴为半径(r)和z轴为滤波器响应。如图所示，在滤波器响应中，存在于水轨迹和飞溅水之间的边缘与如图8所示的干燥表面的滤波器响应相比具有较大的波峰。如图8所示的示例性图，干燥表面上的滤波器响应基本上是平坦的(例如，零点附近只有小波峰)。相比之下，图7所示的滤波器响应包括沿着边缘(例如，脊)延伸的大波峰62。如图所示，存在多个波峰，它们表示其中水在相应方向上保持靠近轨迹的轮胎轨迹之间的边缘，以及其中水沿各个方向飞溅在空气中的轮胎轨迹之外的边缘。应当理解的是，虽然采用了Gabor滤波器，但也可以采用其他类型的滤波器，包括但不限于Sobel滤波器或LM滤波器。还应当理解的是，与其中水飞溅在空气中的区域相比，偏振图像中的其中轮胎轨迹存在于路面中的区域将具有更暗的阴影。

再次参照图4，在步骤54中，应用特征分析来分析偏振图像的滤波器响应，以努力提取那些能够很好区分不同路面的突出特征。如图7所示，如果有水轨迹存在，那么在每个相应的半径水平处，可以在与相关半径水平相关联的水轨迹边缘线周围检测到大波峰。与干燥表面或覆雪表面相比，来自所有半径水平的波峰值的平均值应当大得多。此外，与干表面上所有像素的滤波器响应值相比，含水表面上所有像素的滤波器响应值的标准偏差应当更大。应当理解的是，首先采用特征提取和特征计算来训练分类器，以构建图案数据库。特征提取包括从各种图像中提取特征以生成图案数据库。在每个半径处，执行扫描(例如，0-20度)并且计算波峰响应的平均值。一旦图案数据库被训练，将在线实现图案数据库或比较器(例如，分离阈值)，其与车辆中的处理器一起用于来自实时图像的所计算的特征值。将所计算的特征值在特征空间方面与分离阈值进行比较，以确定所捕获的图像中是否存在水。用于波峰滤波器响应的平均值的特征值计算的示例如下：

用于图像的所有像素的滤波器响应值的方差的特征值计算的示例如下：

其中N是半径水平的总数，M是度水平的总数，I_ρiθj是半径水平i和度水平j处的像素的滤波器响应值，μ_ROI是偏振图像的所有像素的滤波器响应值的平均值。应当理解的是，统计分析仅仅是特征分析的一个示例，并且可以在不脱离本发明范围的情况下应用其他技术。

图9示出了表征潮湿和干燥路面上的采样数据的示例性特征空间。x轴表示第一特征，例如波峰滤波器响应的平均值，y轴表示图像的所有像素的滤波器响应的方差。符号“x”表示存在水，而符号“o”表示理想的干燥表面。每个特征都在特征空间中绘制出来。在训练后的分类器中，在特征空间中识别分离阈值以区分由轮胎轨迹中的边缘识别的水和理想的干燥表面。

再次参照图4，在步骤55中，根据特征分析来确定是否检测到水面特征。如果确定检测到水面特征，那么流程进入步骤56；否则，流程进入步骤57。

在步骤56中，响应于确定检测到水面特征，设置潮湿表面指示器标志，以指示在目标区域中存在水。信号被传送到控制器，该控制器中可以致动如前所述的各种车辆操作，包括但不限于制动控制、牵引控制、转向控制、速度控制、驾驶员警告、空气挡板控制和车对车通信。

如果在步骤55中确定在目标区域中不存在水，那么流程进入步骤57，其中可以采用其他额外的技术来验证是否存在水。

虽然已经详细描述了本发明的某些实施例，但是本发明所涉及领域的技术人员将认识到用于实施由所附权利要求限定的本发明的各种替代设计、滤波过程和实施例。

Claims (10)

1.一种用于确定道路的潮湿表面状况的方法，所述方法包括以下步骤：

通过主车辆的图像捕获装置捕获路面的图像，所述图像捕获装置安装在所述主车辆的侧面上并且沿着向下方向捕获图像；

通过处理器在所捕获的图像中识别目标区域，所述目标区域在主车辆轮胎的后方区域中，所述目标区域表示当路面潮湿时由所述轮胎生成的轮胎轨迹出现的位置；

根据识别由所述轮胎生成的轮胎轨迹，确定在所述目标区域中是否存在水，包括：将所述目标区域的所述图像转换为偏振图像，所述偏振图像有助于识别所述轮胎轨迹在所述偏振图像中的竖直线边缘；并且

响应于在所述目标区域中识别到水，生成潮湿路面信号。

2.如权利要求1所述的方法，其中，潮湿路面信号警告驾驶员降低车辆速度。

3.如权利要求2所述的方法，其中将所述图像转换为偏振图像包括以下步骤：

识别所述目标区域中的极点；

识别从所述极点开始的极轴；

根据半径和角度产生所述偏振图像，所述偏振图像中的每个半径根据从所述极点到每个图像像素的距离而确定，并且所述偏振图像中的每个角度被确定为所述极轴与每个图像像素之间的角度。

4.如权利要求3所述的方法，其中所述偏振图像有助于识别代表水存在于所述道路上的所述轮胎轨迹的所述竖直线边缘，其中所述偏振图像中的所述轮胎轨迹的阴影比所述道路的相邻区域中水飞溅的阴影更暗。

5.如权利要求4所述的方法，其还包括以下步骤：对所述偏振图像应用滤波器以识别所述图像中的所述轮胎轨迹的所述竖直线边缘。

6.如权利要求5所述的方法，其中应用滤波器包括应用边缘检测滤波器。

7.如权利要求6所述的方法，其中由所述边缘检测滤波器生成滤波器响应，所述滤波器响应生成指示所述轮胎轨迹与飞溅在空气中的水之间的竖直线边缘的数据。

8.如权利要求1所述的方法，其中沿向下方向捕获图像包括所述路面的向下真实图像。

9.如权利要求8所述的方法，其中沿向下方向捕获图像包括根据所述真实图像生成在向下方向上的虚拟图像，其中通过将所述图像重新定向来生成虚拟图像，使得所生成的所述虚拟图像就好像照相机姿势面向下那样生成。

10.如权利要求9所述的方法，其中将所述图像重新定向来生成虚拟图像包括以下步骤：

识别所述虚拟姿势；

将所述虚拟图像上的每个虚拟点映射到所述真实图像上的对应点。