CN107273785A - 多尺度融合的道路表面状况检测 - Google Patents

Abstract

一种确定行进路径的表面状况的方法。通过图像捕获装置捕获行进路径表面的多个图像。图像捕获装置以不同的尺度捕获图像。由特征提取模块将特征提取技术应用于缩放图像中的每一个缩放图像。由处理器将融合技术应用于提取特征以识别行进路径的表面状况。道路表面状况信号提供给控制装置。控制装置应用道路表面状况信号以缓解湿道路表面状况。

Description

多尺度融合的道路表面状况检测

技术领域

实施例大体上涉及湿道路表面的检测。

背景技术

在驾驶面上的降水导致车辆的几个不同的问题。例如，道路上的水或雪降低了车辆的轮胎与道路表面之间的摩擦系数，导致车辆稳定性问题。行进道路上的水或雪的检测通常由主车辆确定，该主车辆利用在降水已经影响车辆操作(诸如检测车轮滑移)时发生的一些感测操作来感测道路上的降水。因此，车辆必须监测其自身的操作状况(例如，车轮滑移)与干燥路面操作状况以确定是否存在降水。结果，这种系统可以等待这种状况发生，或者可以向车辆引入激励，用于确定是否存在状况(例如，如果存在降水，则产生用于引起车轮滑移的驱动轮的突然加速)。

在使用捕获的传感器数据(例如图像)的一些应用中，所分析的图像尺度可能妨碍检测结果。也就是说，道路表面状况可以随着车辆沿着道路行进而改变。例如，对于积雪覆盖的道路，由于风和其它要素，车辆道路可能具有积雪覆盖的表面和干燥的覆盖表面的斑块。结果，取决于尺度并当捕获图像时，相应的道路表面检测技术实际上可能检测不到积雪覆盖的表面。

发明内容

实施例的优点是通过融合不同缩放的传感器数据来检测积雪覆盖的表面。本文描述的技术利用提供局部缩放、全局缩放以及其间的缩放的多个变化缩放的传感器数据。局部缩放的传感器数据提供更高的分辨率以允许系统自信地分析行进道路的受限部分。而全局缩放的传感器数据在较低的分辨率下提供了较大面积的行进路径的一般条件，因为分析了较大的表面积。在其间分析各种缩放的传感器数据，并且结果被协作地融合以识别在传感器数据中捕获的道路表面状况。缩放的传感器数据的协作融合允许系统利用每一个缩放的数据可以在检测行进路径的表面上的雪中提供的优点。本文描述的技术利用基于特征的级别融合技术、基于决策的级别融合技术以及基于混合的方法，该基于混合的方法协作地利用基于特征的级别融合方法和基于决策的级别融合方法。

一个实施例设想了一种确定行进路径的表面状况的方法。由基于传感器的装置获得行进路径的表面的数据。基于传感器的装置以不同的尺度捕获数据。由特征提取模块将特征提取技术应用于缩放数据中的每一个缩放数据。由处理器将融合技术应用于所提取的特征以识别行进路径的表面状况。道路表面状况信号提供给控制装置。控制装置应用道路表面状况信号以缓解湿道路表面状况。

附图说明

图1示出了沿着湿表面道路行驶的车辆。

图2示出了湿道路表面检测系统的框图。

图3示出了用于检测车辆周围的对象的示例性环绕视图成像系统。

图4示出了基于特征级融合技术融合结果的第一技术的流程图。

图5示出了基于决策级融合技术融合结果的第二技术的流程图。

图6示出了使用混合技术用于在决策级识别道路表面状况的融合结果的第三技术的流程图。

具体实施方式

在图1中示出的是，沿着行进路径12行进的车辆10。以雪或水的形式的降水19示出为布置在行驶道路12上。有利的是知道车辆何时将沿着积雪覆盖路径12行驶，以使得可以通过将该信息提供给控制装置来帮助车辆确定用于消除牵引力损失和雪可能对车辆造成的其它负面影响的适当对策，来消除雪所导致的问题，诸如牵引力的损失。应当理解，尽管这里为了示例性目的而使用汽车，但是本文所述的实施例可以应用于除了需要检测雪表面状况的汽车之外的其它类型的系统。除了可以利用该系统的汽车之外的车辆的示例包括但不限于铁路系统、飞机、越野运动车辆、机器人车辆、摩托车、自行车、农场设备以及建筑设备。

车辆道路12上的降水19可以导致在积雪覆盖表面上行驶时的牵引力的减小。设置在车辆道路12上的降水19降低了车辆轮胎与车辆道路12之间的摩擦系数。结果，降低了车辆轮胎和车辆道路12之间的牵引力。识别道路上的降水可以进一步帮助车辆确定适当的缓解技术，以通过各种缓解技术来最小化牵引力的任何损失，该缓解技术包括但不限于警告驾驶员将车辆速度降低到有利于环境条件的速度；使用非常低的制动力致动车辆制动器的自动施加，以使形成在制动部件的制动表面上的降水最小化；当检测到降水时停用或限制巡航控制功能的激活；或通知驾驶员保持距前导车辆的更大的停止距离。

图2示出了道路表面状况检测系统的框图。多个基于传感器的装置20安装在车辆上，用于获得与道路表面有关的数据。用于获得数据的各种类型的基于传感器的装置可以包括但不限于基于图像的装置(具有/不具有主动照明源)、激光雷达(LIDAR)、雷达、红外传感器等。为了本文所述的说明性目的，基于车辆的图像捕获装置将表示为多个基于传感器的装置20。多个基于车辆的图像捕获装置20安装在车辆上以捕获车辆周围的图像。多个基于车辆的图像捕获装置20可以安装在车辆的前部、后部以及侧部。图3示出了用于检测车辆周围的对象的示例性360度环绕视图覆盖。基于图像的捕获装置中的每一个协作地用于检测并识别车辆每侧上的对象。基于图像的捕获装置20包括但不限于安装到车辆前部的前视摄像机22，其捕获向前和部分到车辆侧部的图像。驾驶员侧摄像机24捕获车辆的驾驶员侧的图像。乘客侧摄像机26捕获车辆的乘客侧的图像。向后摄像机28捕获向后和到车辆侧部的图像。

再次参考图2，处理器30处理由图像捕获装置20捕获的图像。处理器30分析图像和数据，以基于各种降水检测技术确定道路表面上是否存在降水。各种技术可以包括但不限于镜像光图像分析技术、飞溅检测技术和轮胎轨迹分析技术。

处理器30可以是诸如牵引力控制系统或其它系统的现有系统的一部分，或者可以是专用于分析来自图像捕获装置22的数据的独立处理器。

处理器30可以耦合到一个或多个输出装置，诸如控制器32，用于在基于处理器应用的分析的情况下启动或致动控制动作。可以致动一个或多个对策以缓解降水可能对车辆的操作具有的影响。

控制器32可以是车辆子系统的一部分，或者可以用于使得车辆子系统能够抵消降水的影响。例如，响应于道路被雪覆盖的确定，控制器32可以启用电动或电动液压制动系统34等，其中在发生牵引损失的情况下准备制动策略。除了准备制动策略之外，一旦车辆进入降水，制动系统可以自主地施加轻制动力，以便在没有意识到驾驶员的情况下从车辆制动器去除降水。当手动地施加由驾驶员进行的制动时，从车轮和制动器去除降水积聚保持了车辆制动致动器与车轮的制动表面之间的期望的摩擦系数。

控制器32可以控制牵引力控制系统36，该牵引力控制系统36单独地将功率分配到每一个相应的车轮，以便当在道路表面上检测到相应的降水量时，诸如在水上滑行的情况下，通过相应的车轮减少车轮滑移。

控制器32可以控制巡航控制系统38，当在道路表面上检测到降水时，该巡航控制系统38可以停用巡航控制或限制巡航控制的激活。

控制器32可以控制驾驶员信息系统40，用于向车辆驾驶员提供关于在车辆道路上检测到的降水的警告。由控制器32致动的这种警告可以警告驾驶员接近道路表面上的降水，并且可以建议驾驶员将车辆速度降低到有利于当前环境状况的速度，或者控制器32可以致动警告以保持距被驱动车辆前方的车辆的安全驾驶距离。应当理解，如本文所述的控制器32可以包括控制单独功能或可以控制功能组合的一个或多个控制器。

控制器32可以进一步控制自动打开和关闭空气挡板42的致动，用于防止由于融化的雪而将水吸入到车辆的发动机中。在这种情况下，当检测到水存在于车辆前方的道路表面上时，控制器32自动地致动空气挡板42的关闭，并且当确定水不再存在于道路表面上时，控制器32可重新打开空气挡板。

控制器32可以进一步控制无线通信装置44的致动，用于利用车对车或车对基础设施通信系统自动地将湿路面状况传送到其它车辆。

控制器可以进一步向车辆驾驶员提供湿道路表面信号警报以防止使用自动化特征，所述自动化特征包括但不限于自适应巡航控制、车道跟随、车道变更、逃避/辅助转向机动、自动紧急制动等。

如上所述，执行积雪道路表面检测技术以确定道路表面是否具有布置在表面上的雪。各种因素可影响是否成功检测到道路表面上的降水。可影响道路表面状况的成功检测的一个因素包括图像的尺度。也就是说，不同的缩放图像可能指示不同的道路表面状况，因为道路表面可能不具有均匀状况(例如，均匀的天气模式)。例如，捕获局部大小尺度的道路表面的图像可以具有高分类准确度，因为只有导致高分辨率的道路表面的限制部分被分析，允许系统自信地分析道路的该受限部分。然而，干燥和积雪覆盖的道路表面二者的斑块可能存在于行进路径上，并且如果图像仅捕获干燥部分，则检测结果可能是不正确的，因为没有分析关于包含雪区的行进路径的其它部分的信息缺乏。关于大/全局尺度捕获的道路图像，相对于行进路径的一般条件，捕获并分析更多的信息，因为分析了更大的表面积。虽然可以分析更大的表面积，但分类准确度和置信度低于局部尺度的分类准确度和置信度。结果，在大图像尺度和局部图像尺度之间范围内的各种图像尺度将彼此相对具有优点和缺点。如本文所述的系统利用多个不同大小的尺度，并且结果被协作地融合以识别在图像中捕获的道路表面状况。

图4示出了基于用于识别特征级的道路表面状况的特征融合级技术融合结果的第一技术的流程图。多个图像50各自以不同的尺度捕获，其中捕获道路表面的不同程度的区域覆盖。示例性局部尺度一般在52处示出，其中捕获道路的特写图像。在示例性局部尺度图像52中，道路表面的非常受限的区域包围整个图像(例如，道路的2×2英寸区域)。图像越局部化，图像将提供的分辨率越高，这有助于增加分类准确度和置信度。然而，图像越局部化，关于在受限区域之外的道路表面的表面状况提供的细节越少，这导致缺少关于受限区域之外的道路表面的一般状况的信息。

示例性全局尺度图像通常在54处示出，其中在图像中捕获行进的道路的长延伸部(例如，300英尺)。全局尺度基于道路表面状况是否一致或者状况是否是零星的来提供道路表面状况的更多细节。尽管全局缩放图像54提供关于沿着道路的显著距离的状况的均匀性的增强洞察，但是在全局尺度图像54中存在较小的分辨率。较小的分辨率导致降低的分类准确度和置信度。

范围在局部尺度图像52和全局尺度图像54之间的多个中间尺度图像通常由56表示，并用于分析。改变尺度图像的程度将提供图像分辨率和表面均匀性信息之间的折衷。结果，随着增加的分类准确度和置信度以及在道路的相当距离上的表面状况的均匀性，可以协作地分析尺度中的每一个尺度以用于确定道路的状况。

对于每一个捕获的缩放图像，特征提取模块58应用特征提取技术来提取每一个捕获的缩放图像中的特征。特征提取从测量数据的初始集合(例如，来自图像的原始像素值)开始，并建立旨在是信息性的和非冗余的导出值(特征)，有助于模块62中的后续分类。如何导出特征最常见的是由非常好地理解该问题的人们明确地定义。例如，捕获图像I_i的一些常用的手工制造特征v_i是边缘、定向梯度直方图(HOG)、尺度不变特征变换(SIFT)等。除了这些手工制造的特征之外，还存在另一种类型的技术，在没有人为干预或协助的情况下其自动从数据中发现特征。深度学习是通过使用具有复杂结构或多个非线性变换的多个处理层来对数据中的高级抽象进行建模的方法。在一些应用中已经表明，通过深度学习技术发现的特征比那些手工制作的特征具有更好的性能。

在从每一个相应缩放的图像提取特征之后，将提取特征中的每一个提取特征输入到特征级融合模块60，其中特征融合应用于提取特征中的每一个提取特征。特征级融合模块可以是处理器或另一处理器的一部分。优选地，提取特征各自表示为包括由深度学习技术等产生的表示因素(例如，若干或一组数字)的矢量v_i。特征级融合模块60融合提取的特征以形成融合矢量特征v为：

v＝f(v₁，v₂，...，v_k)

其中函数f(x)以不同尺度的特征矢量作为输入，并且然后将它们融合在一起以生成融合特征矢量v。函数f(x)的简单示例将每一个尺度的特征矢量简化为

在融合特征矢量之后，例如，连接特征矢量，融合矢量v输入到分类器62。分类器62将道路表面状况分类为融合矢量的函数。

所确定的道路状况被输出到输出装置64。输出装置64可包括用于警告驾驶员积雪道路表面状况的视觉警报/警告。输出装置64可以进一步包括如前所述的控制器中的一个控制器，其使用道路表面状况的信息来实现用于缓解导致道路表面状况的牵引力损失的对策。输出装置64可以进一步包括与远程车辆、固定实体或其它相应实体通信以向其他人提供湿道路表面的通知的通信装置。

图5示出了基于用于在决策级识别道路表面状况的决策级的融合结果的第二技术的流程图。以不同的尺度捕获多个图像50，其中捕获道路表面的不同程度的区域覆盖。特征提取模块58将深度学习特征提取技术应用于在局部尺度52、全局尺度54和中间尺度56处捕获的图像以用于特征提取。

响应于从每一个缩放图像提取特征，所提取的特征独立地输入到分类器62，用于识别每一个缩放图像的道路表面状况。也就是说，使用每一个提取的特征v_i来对道路表面状况C_i进行分类。

在每一个相应提取的特征由分类器62独立地分类之后，分类状况中的每一个被输入到决策级融合模块63，用于融合分类结果中的每一个分类结果。决策级融合模块可以是处理器或另一处理器的一部分。通过融合确定的道路表面状况C_i中的每一个来确定最终道路表面状况C。例如，最终道路表面状况C可以使用以下公式来确定：

C＝∑_{f＝1，...，k}w_iC_i

其中w_i是由每一个C_i的分类置信度确定的权重，或者可以基于先验知识。先验知识可以是任何先前的测试或先前经验，其提供关于基于当前状况什么置信度水平将与相应比例相关联的更大的洞察。

响应于最终道路表面状况C的确定，该结果被输出到输出装置64，该输出装置64可以包括用于警告驾驶员的视觉警报/警告，用于缓解道路表面状况的控制器，或用于警告其它实体积雪道路表面状况的通信装置。

图6示出了使用混合技术用于在决策级识别道路表面状况的融合结果的第三技术的流程图。如前所述，以不同的尺度捕获多个图像50，其中捕获道路表面的不同程度的区域覆盖。深度学习特征提取技术应用于在局部尺度52、全局尺度54和中间尺度56处捕获的图像以用于特征提取。

图4中(即特征级融合)和图5中(即决策级融合)描述的融合技术应用于所提取的特征以用于生成两个独立的融合结果。特征级融合结果通常由70表示。决策级融合结果通常由72表示。

特征级融合结果70被输入到分类器62，用于对特征融合结果进行分类并生成所得的道路表面状况。

决策级融合结果72已经被分类，因此决策级融合结果72不需要附加分类。

由分类器62和决策级融合结果72分类的特征级融合结果70被输入到混合融合模块74，其中这些相应的结果被融合在一起以生成融合分类C_h。例如，可以使用以下公式确定融合分类C_h：

C_h＝w_fC_f+w_dC_d

其中C_f是特征级融合结果，w_f是C_f的分类置信度，或者可以基于先验知识，c_d是决策级融合结果，并且w_d是C_d的分类置信度，或者可以基于先验知识。

响应于最终道路表面状况C_h的确定，结果被输出到输出装置64，该输出装置64可以包括用于警告驾驶员的视觉警报/警告，用于缓解道路表面状况的控制器和/或用于警告其它实体积雪道路表面状况的通信装置。

虽然已经详细描述了本发明的某些实施例，但是本发明所涉及领域的技术人员将认识到用于实施由所附权利要求限定的本发明的各种替代设计、过滤过程以及实施例。

Claims (10)

1.一种确定行进路径的表面状况的方法，包括以下步骤：

由基于传感器的装置获得所述行进路径的表面的数据，所述基于传感器的装置以变化的尺度捕获数据；

由特征提取模块将特征提取技术应用于所述缩放数据中的每一个缩放数据；

由所述处理器将融合技术应用于所述提取特征，以识别所述行进路径的表面状况；以及

向控制装置提供道路表面状况信号，所述控制装置应用所述道路表面状况信号以缓解所述湿道路表面状况。

2.根据权利要求1所述的方法，其中来自每一个缩放数据的所述提取特征中的每一个提取特征连接在所述处理器的特征级融合模块中。

3.根据权利要求2所述的方法，其中来自所述特征级融合模块的输出被输入到用于识别所述道路的表面状况的分类器。

4.根据权利要求1所述的方法，其中由所述特征提取模块提取的每一个特征独立地输入到分类器，其中所述分类器为输入到所述处理器的每一个提取特征输出相应的分类结果。

5.根据权利要求4所述的方法，其中所述分类器将每一个提取特征的所述分类结果提供给所述处理器的决策级融合模块，所述决策级融合模块基于融合分类结果确定所述行进路径的表面状况。

6.根据权利要求5所述的方法，其中所述融合分类结果基于以下公式确定：

C＝∑_i＝1_，...，kw_iC_i

其中C_i是所述分类器的每一个提取特征的分类结果，其中w_i是所述加权函数。

7.根据权利要求1所述的方法，其中所述提取特征中的每一个提取特征被输入到生成特征级融合结果的所述处理器的特征级融合模块，以及生成决策级融合结果的所述处理器的决策级融合模块。

8.根据权利要求7所述的方法，其中所述特征级融合结果根据来自每一个相应缩放数据的提取特征来确定，其中每一个提取特征被输入到所述特征级融合模块，用于生成所述特征级融合结果。

9.根据权利要求8所述的方法，其中所述特征级融合结果被输入到用于根据所述提取特征识别所述道路的表面状况的分类器。

10.根据权利要求9所述的方法，其中所述决策级融合结果根据所述决策级融合模块的来自每一个相应缩放数据的提取特征来确定，其中由所述特征提取模块提取的每一个特征独立地输入到所述分类器，其中所述分类器输出每一个所述提取特征的相应分类结果，以及其中所述分类器将所述分类结果提供给所述决策级融合模块，以基于决策级融合结果来生成道路表面状况。