CN106845332A - 利用轮胎旁溅的基于视觉的潮湿路面状况检测 - Google Patents

Abstract

一种确定道路的潮湿路面状况的方法。通过主车辆的图像捕获装置捕获路面的图像。所述图像捕获装置安装在主车辆的一侧并且捕获向下方向上的图像。由处理器识别所捕获的图像中的关注区。所述关注区是在朝向车轮表面旁边的区域侧面中。所述关注区表示其中发生如由车轮产生的发生旁溅的位置。确定关注区中是否有水。响应于关注区中的水的识别而产生潮湿路面信号。

Description

利用轮胎旁溅的基于视觉的潮湿路面状况检测

技术领域

实施例大体上涉及利用轮胎旁溅的检测对潮湿路面进行检测。

背景技术

行驶路面上的积水导致车辆出现若干不同的问题。例如，道路上的水减小车辆轮胎与路面之间的摩擦系数，从而导致车辆的稳定性问题。对行驶道路上的积水的检测通常是通过利用某个感测操作对道路上的积水进行主车辆感测来确定的，当积水已经影响诸如检测车轮滑转的车辆操作时，进行所述感测操作。因此，车辆必须针对干燥路面运行状况监测其自身的运行状况(例如，车辆滑移)用于确定是否存在积水。因此，这样的系统可以等待发生这种状况或可以对车辆进行激励以确定是否存在所述状况(例如，如果存在积水，那么对从动轮产生突然加速以引起车轮滑转)。

发明内容

实施例的优点在于使用基于视觉的成像装置检测道路上的水，所述成像装置识别从路面分散至车轮一侧的积水。本文所述的技术不需要来自车辆或驾驶员的激励来确定是否存在积水。相反，响应于监测车轮一侧的飞溅来确定积水。所述技术优选地捕获包括各个方向上的水飞溅的图像。所述技术利用捕获的场景的极化图像并且应用边缘滤波来识别表示水飞溅的短暂的不连续铅垂线。下文使用二进制成像来进一步增强图像以检测捕获的图像内的边缘。应用相关性分析以通过使用共现矩阵技术来分析二进制图像中的竖直方向上的白色像素之间的相关性程度。积水存在的程度越大，所述共现矩阵技术中识别的相关性程度就越大。

实施例预期一种确定道路的潮湿路面状况的方法。通过所述主车辆的图像捕获装置捕获路面的图像。所述图像捕获装置安装在所述主车辆的一侧并且捕获向下方向上的图像。由处理器识别捕获的图像中的关注区。所述关注区在所述车轮面旁边的区域中。所述关注区表示发生如由所述车轮产生的旁溅的地方。确定所述关注区中是否有水。响应于所述关注区中对水的识别而产生潮湿路面信号。

附图说明

图1是示出潮湿路面检测系统的框图。

图2是潮湿路面上由摄像机捕获的车辆场景的示例性透视图。

图3是具有周围视图覆盖的车辆周围的示例性透视图。

图4示出了用于检测潮湿路面的方法的流程图。

图5示出了由图像捕获装置捕获的图像。

图6示出了示例性极化图像。

图7示出了二进制转换图像。

图8示出了捕获的干燥路面的图像。

图9示出了干燥路面的示例性极化图像。

图10示出了干燥路面的极化图像的二进制转换图像。

图11表示示出了示例性相关性分析结果的示例性图。

具体实施方式

图1中示出了沿着车12行驶的车辆10。以水的形式被示出为设置在车道12上的积水19通常随着安装在车轮14的轮缘18上的轮胎16在车道12上的潮湿路面上旋转而被车轮14和轮胎16移位。通常有利的是己知车辆将在何时沿着潮湿车道12行驶，使得由于水导致的问题，诸如进入外部进气通风孔的牵引力损耗或发动机性能下降可被解决或至少得到缓解。

车道12上的积水19可引起车辆在潮湿路面上行驶时的牵引力的减小。设置在车道12上的积水19降低了车辆轮胎与车道12之间的摩擦系数。因此，降低车辆轮胎与车道12之间的牵引力。可通过各种缓解技术来缓解牵引力损耗，所述缓解技术包括(但不限于)警告驾驶员将车速降低至有利于环境状况的速度；使用极低的制动力来致动车辆制动器的自动应用来最小化形成在制动部件的制动表面上的积水；当检测到积水时停用或限制巡航控制功能性的激活；或通知驾驶员维持与前面车辆的更大的停车距离。应当理解的是，本文所述的实施例可应用于除其中希望检测到潮湿路面状况的汽车之外的其它类型的系统。除可利用此系统的汽车之外的车辆的实例包括但不限于铁路系统、飞机、越野运动车辆、机器人车辆、摩托车、自行车、农用设备和建筑设备。

图2示出了潮湿路面检测系统的框图。多个基于车辆的图像捕获装置20安装在车辆上用于捕获车辆周围的图像。多个基于车辆的图像捕获装置20可以安装在车辆前面、后面和侧面。图3示出了用于检测车辆周围的物体的示例性360度周围视图覆盖。每个基于图像的捕获装置均配合用于检测并且识别车辆的每一侧上的物体。基于图像的捕获装置20包括但不限于前视摄像机22，其安装至捕获前面的图像的车辆正前方以及部分地安装至车辆侧面。驾驶员的侧视摄像机24捕获车辆的驾驶员一侧的图像。乘客的侧视摄像机26捕获车辆的乘客侧的图像。后置摄像机28捕获车辆后部和侧面的图像。

再次参考图2，处理器30处理由图像捕获装置20捕获的图像。处理器30分析图像和数据以确定是否有水被车辆10的车轮溅起。因为摄像机优选地固定在具有固定方位位置的车辆上，所以图像中的车轮位置是固定的。因此，关注区是预定的并且在摄像机校准时离线执行。接着处理器可容易地将关注区在线局部化。处理器30可以是现有系统，诸如牵引力控制系统或其它系统的一部分，或可为专用于分析图像捕获装置20中的数据的独立处理器。

处理器30可以联接至一个或多个输出装置，诸如控制器32，以便如果在关注区中发现水时启动或致动控制动作。可以使用一个或多个对策来缓解水可能对车辆操作产生的影响。

控制器32可以是车辆子系统的部分或可以用于启用车辆子系统来抵抗水的影响。例如，响应于道路是潮湿的确定，控制器32可以启用电气或电动液压制动系统34或其中当发生牵引力损耗时准备好制动策略的类似系统。除准备好制动策略之外，制动系统可以自主地应用驾驶员感知不到的少量制动力以在一旦车辆进水时便立即去除车辆制动器中的水。去除积累在车轮和制动器中的水维持了当驾驶员手动地进行制动时车辆制动致动器与车轮的制动表面之间的期望摩擦系数。

控制器32可以控制牵引力控制系统36，当路面上检测到水时，所述牵引力控制系统36通过相应车轮将动力单独地分配至每个相应车轮以减小车轮滑转。

控制器32可以控制巡航控制系统38，当路面上检测到水时，所述巡航控制系统38可停用巡航控制或限制巡航控制的激活。

控制器32可以控制驾驶员信息系统40以在涉及到车道上检测到水时向车辆的驾驶员提供警告。由控制器32致动的这种警告可以警示驾驶员正靠近路面上的水并且可以建议驾驶员将车速降低至有利于当前环境状况的速度，或控制器32可以致动警告以维持车辆在跟随车辆前面具有安全行驶距离。应当理解的是，如本文所述的控制器32可以包括控制个别功能或可以控制功能组合的一个或多个控制器。

控制器32可以进一步控制自动地打开和关闭空气挡板42的致动，用于防止水吸至车辆的发动机中。在这样的状况下，控制器32在检测到车辆前面的路面上有水时自动地致动空气挡板42的关闭，并且在确定路面上不再有水时可以重新打开空气挡板。

控制器32可以进一步控制无线通信装置44的致动以利用车辆间或车辆与基础设施通信系统将潮湿路面状况自主地传送至其它车辆。

控制器可以针对自动化特征的使用，进一步向车辆的驾驶员提供潮湿路面信号警示，所述自动化特征包括但不限于自适应巡航控制、车道跟踪、变道、规避/辅助转向操控、自动紧急制动等。

本文所述的技术的优点在于不需要激励车辆或驾驶员来确定是否有水。即，现有技术需要车辆进行相当大的激励以便进行路面水检测，激励的方式无论是借助于制动操控、增大加速度还是转向操控均是可行的。基于响应(例如，车轮滑转、横摆)，此技术确定车辆当前是否正在水上行驶。相比之下，本文所述的技术不需要驾驶员激励来确定道路上的水。

图4示出了用于检测潮湿路面的方法的流程图。在步骤50中，获得与车辆的车轮并排的区域的图像。分析图像用于获得其中可以分析场景中的各种特性来确定图像中是否有水的场景信息。图5示出了由安装在车辆的侧面的图像捕获装置来捕获的图像。可以处理图像以便捕获到俯视图(即，俯视行驶道路)。由相应的图像捕获装置利用的镜头可以利用其中捕获宽的视觉(例如，180度)的鱼眼镜头。图像处理还可以应用于改变摄像机的方位使得如图像中观察到的方位指向下。例如，如果利用一个相应侧摄像机中的图像，那么尽管图像中的相应位置并非摄像机方位的焦点，其仍可以用于产生虚拟方位，该虚拟方位使得场景呈现为就如同摄像机在直接向下看时捕获车轮14、路面12和水19一样。为了改变方位，可以结合捕获的图像使用虚拟摄像机模型使得利用虚拟方位来将图像重新定向，使得产生虚拟图像就如同摄像机重新定向并且面向不同方向(例如，直接面朝下)一样。将图像重新定向以产生虚拟图像包括识别虚拟访问且将虚拟图像上的每个虚拟点映射至真实图像上的对应点。如本文所使用的术语方位是指由摄像机坐标以及摄像机z轴的定向界定的摄像机位置的摄像机视角(无论是真实摄像机还是虚拟摄像机)。如本文所使用的术语虚拟摄像机是指除模拟摄像机方位之外还具有模拟摄像机模型参数和模拟成像表面的模拟摄像机。如由处理器执行的摄像机建模在本文描述为使用虚拟摄像机建模获得的是场景的合成图像的虚拟图像。

再次参考图4，在步骤51中，根据真实图像或虚拟图像识别关注区。此技术将关注区局部化，所述关注区相对于如果有旁溅存在的预期存在分散的水的位置来识别相应位置。对于旁溅引起的分散的水，关注区通常从车轮侧面径向地向外延伸。如图5中所示，由49识别的示例性区域表示图像中的关注区。

再次参考图4，在步骤52中，将极坐标转换应用于图像。极坐标转换将原始关注区图像转换为极化图像。极坐标转换利用呈现为二维坐标系统的极坐标系统，在所述二维坐标系统中，通过相距参考点的距离和与相应参考方向所成的角度来确定平面上的每一点。通常，参考点称为极点，其在图5中示出为元件60。参考方向通常称为极轴。相距极点的距离在本文称为半径。利用半径和角度将关注区内的每一像素映射至极化图像。

图6示出了示例性极化图像。y轴表示从极点至每个像素的半径(R)。x轴表示相对于参考方向的角度度数。将原始图像转换为极坐标系统有助于将全部方向的水飞溅的线性移动仅归至竖直方向。这辅助简化用于识别图像中的水的图像分析。如图6中所示，垂直条纹表示图像中的水。

再次参考图4，在步骤53中，对分散的水进行分析以确定关注区中是否有水。可以利用滤波器(诸如索贝尔(Sobel)滤波器)执行边缘检测。索贝尔滤波器对图像进行二维空间梯度测量。滤波器计算输入灰阶图像中的每一点处的绝对梯度大小的近似值。在本文中，仅仅重点关注竖直方向上的梯度信息。通过将输入图像与某个掩模进行卷积来计算梯度。掩模设计成对相对于像素栅格垂直地延长的边缘作出最大程度的响应。即，索贝尔滤波器的作用是求取一阶导数并且计算图像中的像素强度差值。识别的边缘辅助确定介于有水存在与没有水存在之间的边缘。边缘检测突显捕获的图像内的纹理的线性移动。纹理是由其中存在飞溅的图像中的许多不连续的短铅垂线表示。相比之下，如果路面是干燥的或雪覆盖的路面，那么干燥的或雪覆盖的路面的纹理无线性移动图案。应当理解的是，在不违背本发明的范围的情况下，除了索贝尔滤波之外可以使用其它类型的滤波来识别图像中的边缘。

另外，将二进制转换应用于图像使得任何水均被突显并且更易于识别。图7表示其中与没有水64(利用像素值0表示为黑色)相比利用像素值1将水62表示为白色的二进制转换。

再次参考图4，在步骤54中，进行相关性分析以通过利用灰度共现矩阵技术分析二进制图像内的纹理。相关性分析集中于分析二进制图像中的竖直方向上的白色像素之间的相关性关系。灰度共现矩阵通过计算图像中发生竖直方向上的白色像素对的频率将图像的纹理特征化。统计测量包括但不限于从该共现矩阵提取的相关性程度。因此，如图7中所示，具有旁溅的有水路面与无飞溅路面状况相比示出了竖直方向上的白色像素之间的更强相关性。

图8至10表示无飞溅状况分析。图8示出了在干燥路面上行驶时相对于车轮的路面的图像捕获。分析轮胎旁边的区域49。

图9示出了示例性极化图像。将原始图像转换为极坐标系统将辅助统一水飞溅(如果存在)的线性移动。

图10示出了应用于图像的二进制转换，使得任何水均被突显并且更易于识别。路面上存在的水将识别为经二进制转换的图像中垂直延伸的白线。如图10中所示，不存在铅垂线，从而指示没有水飞溅至空气中。

图11表示示例性相关性分析结果。此图形示出了在将共现矩阵技术应用于极化二进制图像之后从干燥和潮湿路面收集的样本图像。x轴表示图像样本数量，而y轴表示纹理相关性程度。基于纹理分析，针对飞溅和理想干燥路面示出纹理相关性程度。符号“o”表示飞溅，而符号“x”表示理想干燥路面。利用经过训练的分类器，特征空间中的样本分布之间的间距(由阈值66表示)在飞溅与理想干燥路面之间具有明显的区别。

再次参考图4，在步骤55中，做出对相关性是否大于阈值的确定。如果确定相关性大于阈值，那么例程进行至步骤56；否则，例程进行至步骤57。

在步骤56中，响应于确定相关性大于阈值，设置所标记的潮湿路面指示符，指示关注区中有水。将信号传送至控制器，其中可致动如前面描述的各种车辆操作，其包括(但不限于)制动控制、牵引力控制、速度控制、驾驶员警告、空气挡板控制和车辆间通信。

如果在步骤55中确定关注区中没有水，那么例程进行至步骤57，其中可以利用其它另外的技术来验证是否有水。

虽然已详细地描述了用于实行本发明的某些实施例，但是熟悉本发明所涉及的领域的技术人员将认识到用于实践如由随附权利要求书界定的本发明的各种替代设计、滤波过程和实施例。

Claims (10)

1.一种用于确定道路的潮湿路面状况的方法，所述方法包括以下步骤：

由主车辆的图像捕获装置捕获路面的图像，所述图像捕获装置安装在所述主车辆的一侧并且捕获向下方向上的图像；

由处理器识别所捕获的图像中的关注区，所述关注区是在朝向车轮表面旁边的区域中，所述关注区表示由所述车轮产生的发生旁溅的位置；

确定所述关注区中是否有水；以及

响应于所述关注区中的水的识别而产生潮湿路面信号。

2.根据权利要求1所述的方法，其中确定所述关注区中是否有水进一步包括将所述图像转换为极化图像的步骤，所述极化图像辅助识别水飞溅的线性竖直方向。

3.根据权利要求1所述的方法，其中确定将所述图像转换为极化图像包括以下步骤：

识别所述关注区中的极点；

识别源于所述极点的极轴；

根据半径和角度产生所述极化图像，所述极化图像中的每个半径根据所述极点相距每个图像像素的距离而确定，且所述极化图像中的每个角度确定为所述极轴与每个图像像素之间的角度。

4.根据权利要求1所述的方法，其进一步包括将滤波器应用于所述极化图像以识别所述图像中的铅垂线的步骤。

5.根据权利要求1所述的方法，其中应用边缘滤波器包括应用纹理分类滤波器。

6.根据权利要求5所述的方法，其中将索贝尔滤波器应用于所述极化图像。

7.根据权利要求5所述的方法，其中所述将滤波器应用于所述关注区的步骤包括应用边缘滤波器，所述边缘滤波器的响应通过区分所述极化图像中的线性移动纹理来识别所述关注区中的水与没有水存在之间的边缘，所述纹理由所述极化图像中的不连续铅垂线表示。

8.根据权利要求7所述的方法，其进一步包括确定所述关注区中是否有水的所述步骤，该步骤进一步包括将二进制转换应用于所述已滤波的图像以进一步区分有水存在和没有水存在的步骤。

9.根据权利要求8所述的方法，其中确定所述关注区中是否有水进一步包括通过比较所述图像中的竖直方向上的白色像素的相关性程度与相关性阈值来应用相关性分析，其中如果所述已滤波的图像的竖直方向上的白色像素之间的所述相关性程度大于相关性阈值，那么确定有水。

10.根据权利要求1所述的方法，其中捕获向下方向上的图像包括基于真实图像产生向下方向上的虚拟图像，其中通过将所述图像重新定向产生虚拟图像，使得所述虚拟图像就如同摄像机方位面朝下那样生成。