CN109409183A - 分类路面状况的方法 - Google Patents

Abstract

一种识别路面状况的方法包括至少利用第一相机捕获路面的第一图像以及利用第二相机捕获路面的第二图像。一起平铺第一图像和第二图像以形成组合平铺图像。使用卷积神经网络从组合平铺图像中提取特征向量，并且利用分类器根据特征向量确定路面状况。

Description

分类路面状况的方法

引言

本公开总体上涉及一种识别路面状况的方法。

车辆控制系统可以将路面状况用作对车辆的一个或多个部件进行控制的输入。不同的路面状况对轮胎与路面之间的摩擦系数产生影响。干燥的路面状况提供较高的摩擦系数，而积雪覆盖路面状况提供较低的摩擦系数。车辆控制器可以针对不同的路面状况以不同的方式控制或操作车辆。因此，对于车辆而言，期望的是能够确定当前的路面状况。

发明内容

提供了一种识别路面状况的方法。该方法包括利用相机捕获路面的第一图像以及利用相机捕获路面的第二图像。第一图像和第二图像一起平铺以形成组合平铺图像。从组合平铺图像中提取特征向量，并且利用分类器根据特征向量确定路面状况。

在该方法的一个实施例中，利用相机捕获路面的第三图像。第一图像、第二图像和第三图像一起平铺以形成组合平铺图像。

在该方法的一个实施例中，相机包括第一相机、第二相机和第三相机。第一图像由光源主动照亮，并且是第一区域中路面的图像。第一图像由第一相机捕获。第二图像由环境光被动照亮，并且是车辆的车轮飞溅区域中路面的图像。第二图像由第二相机捕获。第三图像由环境光被动照亮，并且是靠近车辆侧面的区域中路面的图像。第三图像由第三相机捕获。

在该方法的一个方面，使用卷积神经网络从组合平铺图像中提取特征向量。

在该方法的另一个方面，将路面状况确定为干燥道路状况、湿滑道路状况或积雪覆盖道路状况中的一种。

在该方法的一个方面，一起平铺第一图像、第二图像和第三图像以定义组合平铺图像包括定义第一图像的分辨率、第二图像的分辨率和第三图像的分辨率。

在该方法的另一个方面，一起平铺第一图像、第二图像和第三图像以定义组合平铺图像包括定义第一图像的图像大小、第二图像的图像大小和第三图像的图像大小。

在该方法的一个实施例中，同时地捕获第一图像、第二图像和第三图像。

还提供了一种车辆。车辆包括车身。至少一个相机附接到车身并且定位成捕获相对于车身的第一区域中路面的图像。光源附接到车身并且定位成照亮第一区域中的路面。至少一个相机定位成捕获相对于车身的第二区域中路面的图像。计算单元与至少一个相机通信。计算单元包括处理器、卷积神经网络、分类器以及其上保存有路面状况算法的存储器。处理器可操作以执行路面状况算法。路面状况算法利用至少一个相机捕获路面的第一图像。第一图像由光源主动照亮。路面状况算法利用至少一个相机捕获路面的第二图像。路面状况算法然后将第一图像和第二图像一起平铺以形成组合平铺图像，并且利用卷积神经网络从组合平铺图像提取特征向量。路面状况算法然后利用分类器根据特征向量确定路面状况。

在该车辆的一个实施例中，至少一个相机包括定位成捕获第一区域中路面的图像的第一相机以及定位成捕获第二区域中路面的图像的第二相机。

因此，通过将第一图像、第二图像和第三图像一起平铺以形成组合平铺图像并且随后使用卷积神经网络从组合平铺图像中提取特征向量，不会丢失各个图像内的信息。因此，组合平铺图像使得卷积神经网络能够识别通过单独检查图像可能无法识别出的特征。本文描述的过程降低了在确定路面状况时的复杂性，由此降低了对执行该过程的计算单元的处理需求，从而提高了计算单元的性能。

结合附图，通过以下对用于实现教导的最佳方式的详细描述，本教导的上述特征和优点以及其他特征和优点将容易变得显而易见。

附图说明

图1是车辆的示意性侧视图。

图2是车辆的示意性平面图。

图3是表示识别路面状况的方法的流程图。

图4是来自车辆的第一相机的第一图像的示意性平面图。

图5是来自车辆的第二相机的第二图像的示意性平面图。

图6是来自车辆的第三相机的第三图像的示意性平面图。

图7是组合平铺图像的示意性平面图。

具体实施方式

本领域的普通技术人员将认识到，诸如“上方”、“下方”、“向上”、“向下”、“顶部”、“底部”等术语是用于描述附图，并不代表对所附权利要求限定的本公开范围的限制。此外，本文可以按照功能和/或逻辑块组件和/或各种处理步骤来描述本教导。应该认识到，这样的块组件可以包括配置为执行指定功能的任何数量的硬件、软件和/或固件组件。

参考附图，其中在几个视图中，相同的数字表示相同的部分，车辆通常以20示出。如本文所用，术语“车辆”并不限于汽车，可以包括可移动平台的形式，例如但不限于卡车、小汽车、拖拉机、摩托车、atv等。尽管结合汽车描述了本公开，但是本公开不局限于汽车。

参考图1和图2，车辆20包括车身22。如本文所用，“车身”应该被广义地解释为包括但不限于车辆20的所有车架及外部面板部件。针对车辆20的预期目的，车身22可以以合适的方式进行配置。车身22的具体类型、样式、尺寸、形状等与本公开的教导无关，因此这里不再进行详细描述。

车辆20包括至少一个相机，并且可以包括多个相机。如图1和图2所示，车辆20包括第一相机24、第二相机26和第三相机28。然而，应该理解的是，车辆20可以包括单个相机、两个不同的相机或者比图1中所示的且在此描述的示例性三个相机更多的相机。

如图1最佳所示，第一相机24附接到车身22并且定位成捕获相对于车身22的第一区域30中路面58的图像。图2中示出了第一区域30。光源32附接到车身22并且定位成照亮第一区域30中的路面58。光源32可以包括光产生设备，例如但不限于发光二极管(LED)、闪光灯、激光器等。第一相机24可以包括适于与图像识别应用程序一起使用的设备，并且该设备能够创建或捕获电子图像并将该图像传送和/或保存到存储器46的存储设备。第一相机24的具体类型、构造、操作等与本公开的教导无关，因此这里不再进行详细描述。

在示例性实施例中示出了第一相机24和光源32附接到车辆20的侧视镜，同时第一区域30处于侧视镜的正下方。这样，光源32可操作以照亮第一区域30中的路面58，并且第一相机24可操作以捕获或创建第一区域30中路面58的图像。应当理解，第一相机24和光源32可以定位在车辆20的车身22上的某个其他位置，并且第一区域30可以被定义为相对于车身22的某个其他区域。

如图1最佳所示，第二相机26附接到车身22并且定位成捕获相对于车身22的第二区域34中路面58的图像。第二区域可以包括但不限于相对于车身22的车轮飞溅区域。第二区域34在下文中被称为车轮飞溅区域34。第二相机26可以包括适于与图像识别应用程序一起使用的设备，并且该设备能够捕获或创建电子图像并将该图像传送和/或保存到存储器46的存储设备。第二相机26的具体类型、构造、操作等与本公开的教导无关，因此这里不再进行详细描述。

在示例性实施例中示出了第二相机26附接到车辆20的前挡泥板，同时车轮飞溅区域34恰好位于车辆20的前轮后方。图2中示出了车轮飞溅区域34。车轮飞溅区域34由环境光照亮。这样，第三相机28没有包括专用光。然而，在其他实施例中，第二相机26可以包括用于照亮车轮飞溅区域34的专用光。应当理解，车辆20包括车辆20的其他车轮的其他车轮飞溅区域34，并且第二相机26可以位于相对于车身22的不同位置处，以便捕获其他车轮飞溅区域34的图像。

如图1最佳所示，第三相机28附接到车身22并且定位成捕获相对于车身22的第三区域36中路面58的图像。第三区域36可以包括但不限于沿着车辆20的靠近车辆20的一侧的区域。第三区域在下文中被称为侧面区域36。图2中示出了侧面区域36。第三相机28可以包括适于与图像识别应用程序一起使用的设备，并且该设备能够捕获或创建电子图像并将该图像传送和/或保存到存储器46的存储设备。第三相机28的具体类型、构造、操作等与本公开的教导无关，因此这里不再进行详细描述。

在示例性实施例中示出了第三相机28附接到车辆20的底板，同时车辆20的侧面区域36在车身22的外侧横向地间隔开。侧面区域36由环境光照亮。这样，第三相机28没有包括专用光。然而，在其他实施例中，第三相机28可以包括用于照亮侧面区域36的专用光。应当理解，车辆20包括其他侧面区域36，并且第三相机28可以位于相对于车身22的不同位置处，以便捕获其他侧面区域36的图像。

虽然结合定位成捕获第一区域30的图像的第一相机24、定位成捕获车轮飞溅区域34的图像的第二相机26以及定位成捕获侧面区域36的图像的第三相机28来描述了示例性实施例，但应该理解的是，各区域相对于车身22的具体位置可以与在此描述的示例性第一区域30、车轮飞溅区域34和侧面区域36有所不同，并且本公开范围并不局限于在此描述的第一区域30、车轮飞溅区域34和侧面区域36。此外，尽管使用三个不同的相机(即第一相机24、第二相机26和第三相机28)来描述了示例性实施例，但应当理解的是，可以使用具备广角镜头的单个相机或两个不同的相机来捕获在此描述的过程中使用的所有三个示例性图像。因此，在此描述的不同图像可以是从单个相机或两个不同的相机拍摄的单个图像或两个不同的图像中裁切或裁剪下来的部分，并且不一定需要用独立的相机以彼此独立的方式捕获。此外，可以从不同的图像中裁剪出每个相应图像。例如，可以从一个图像裁剪出第一图像，并且可以从分开拍摄的另一图像裁剪出第二图像。

计算单元38设置成与第一相机24、第二相机26和第三相机28通信。计算单元38可以替代地被称为车辆控制器、控制单元、计算机、控制模块等。计算单元38包括处理器40、卷积神经网络42、分类器44以及其上保存有路面状况算法48的存储器46，其中处理器40可操作以执行路面状况算法48，从而实现识别路面58的状况的方法。

计算单元38配置为访问(例如，直接从第一相机24、第二相机26和第三相机28接收，或者访问存储器46中的存储版本)分别由第一相机24、第二相机26和第三相机28生成的图像。处理器40可操作以控制和/或处理数据(例如，图像的数据)、输入/输出数据端口、卷积神经网络42、分类器44和存储器46。

处理器40可以包括多个处理器，所述多个处理器可包括单个机器或多个机器中的分布式处理器或并行处理器。处理器40可包括虚拟处理器。处理器40可包括状态机、专用集成电路(ASIC)、包括场可编程门阵列(PGA)在内的PGA或者状态机。当处理器40执行指令以执行“操作”时，这可包括处理器40直接地执行操作，和/或促进、指导或与另一设备或部件协作来执行操作。

计算单元38可以包括各种计算机可读介质，其中包括易失性介质、非易失性介质、可移除介质和不可移除介质。在说明书和权利要求中使用的术语“计算机可读介质”及其变体包括存储介质和/或存储器46。存储介质包括易失性和/或非易失性的，可移除和/或不可移除的介质，例如RAM、ROM、EEPROM、闪存或其他存储器技术、CDROM、DVD或其他光盘存储装置、磁带、磁盘存储装置或其他磁性存储设备、或者其他配置为用于存储可以由计算单元38访问的信息的介质。

虽然存储器46是示出为驻留在处理器40附近，但应该理解的是，存储器46的至少一部分可以是远程访问的存储系统，例如，通信网络上的服务器、远程硬盘驱动器、可移除存储介质、其组合等。因此，下面描述的数据、应用程序和/或软件可以存储在存储器46内和/或经由与其他数据处理系统(未示出)的网络连接而被访问，这些网络连接例如可以包括局域网(LAN)、城域网(MAN)或广域网(WAN)。存储器46包括在计算单元38中使用的若干类别的软件和数据，包括一个或多个应用程序、数据库、操作系统和输入/输出设备驱动程序。

应当理解，操作系统可以是与数据处理系统一起使用的操作系统。输入/输出设备驱动器可以包括由应用程序通过操作系统访问以便与设备和某些存储器组件进行通信的各种例程。应用程序可以作为可执行指令存储在存储器46和/或固件(未示出)中，并且可以由处理器40执行。

应用程序包括各种程序，当由处理器40执行时，这些程序实现计算单元38的各种特征和/或功能。应用程序包括结合了识别路面58的状况的示例性方法来进一步详细描述的图像处理应用程序。应用程序存储在存储器46中并配置为由处理器40执行。

应用程序可以使用存储在数据库中的数据，例如由相机测定的特性的数据(例如，经由输入/输出数据端口接收)。数据库包括由应用程序、操作系统、输入/输出设备驱动程序和可以驻留在存储器46中的其他软件程序使用的静态和/或动态数据。

应当理解，以上描述旨在提供对其中可以实现本公开的一些实施例的各个方面的合适环境的简要一般性描述。说明书和权利要求书中所使用的术语“计算机可读介质”、“计算机可读存储设备”及其变体可以包括存储介质。存储介质可以包括易失性和/或非易失性的，可移除和/或不可移除的介质，例如RAM、ROM、EEPROM、闪存46或其他存储器46技术、CDROM、DVD或其他光盘存储装置、磁带、磁盘存储装置或其他磁性存储设备、或者一些其他可以用于存储可以由计算单元38访问的信息的介质(不包括传播信号)。

尽管描述涉及了计算机可读指令，但是除了计算机可读指令之外或者作为计算机可读指令的代替，本公开的实施例还可以与其他程序模块组合地实现和/或作为硬件和软件的组合来实现。

尽管描述包括了计算机可执行指令的广义上下文，但是本公开还可以与其他程序模块组合地实现和/或作为硬件和软件的组合来实现。术语“应用程序”或其变体在本文中被广泛地使用来包括例程、程序模块、程序、组件、数据结构、算法等。应用程序可以在各种系统配置上实现，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的可编程消费电子产品、其组合等。

如上所述，存储器46包括保存在其上的路面状况算法48，并且处理器40执行路面状况算法48以实现识别路面58的状况的方法。参考图3，该方法包括利用第一相机24捕获路面58的第一图像50(图4所示)，利用第二相机26捕获路面58的第二图像52(图5所示)，并且利用第三相机28捕获路面58的第三图像54(图6所示)。捕获第一图像50、第二图像52和第三图像54的步骤大体上由图3中的框100表示。图4中示出了第一图像50。第一图像50由光源32主动照亮，并且是相对于车身22的第一区域30中路面58的图像。图5中示出了第二图像52。第二图像52由环境光被动照亮，并且是车辆20的车轮飞溅区域34中路面58的图像。图6中示出了第三图像54。第三图像54由环境光被动照亮，并且是车辆20的侧面区域36(靠近车辆20的车身22)中路面58的图像。在示例性实施例中，同时地捕获第一图像50、第二图像52和第三图像54。然而，在其他实施例中，可以不是同时地捕获第一图像50、第二图像52和第三图像54，其中每个图像的捕获之间存在最小的时间间隔。

然后，计算单元38将第一图像50、第二图像52和第三图像54一起平铺以形成组合平铺图像56。平铺第一图像50、第二图像52和第三图像54的步骤大体上由图3中的框102表示。图7中示出了组合平铺图像。尽管结合第一图像50、第二图像52和第三图像54描述了示例性实施例，但是如上所述，该过程可以结合两个图像或者结合三个以上的示例性图像实现。这样，计算单元38对特定数量的捕获图像进行平铺，形成组合平铺图像56。例如，在示例性实施例中，组合平铺图像56包括第一图像50、第二图像52和第三图像54。不过，如果使用了两个图像，则组合平铺图像56将包括两个图像，并且如果使用了比示例性的三个图像更多的图像，则组合平铺图像56将包括该特定数量的图像。

计算单元38可以按照图像彼此相邻定位并且彼此不重叠的次序、顺序或布置将第一图像50、第二图像52和第三图像54平铺在一起。计算单元38可以使用能够以平铺格式定位第一图像50、第二图像52和第三图像54的应用程序或过程来平铺第一图像50、第二图像52和第三图像54。由计算单元38用来平铺第一图像50、第二图像52和第三图像54的特定应用程序与本公开的教导无关，因此这里不再进行详细描述。

为了将第一图像50、第二图像52和第三图像54平铺在一起，第一图像50的分辨率和/或图像大小，第二图像52的分辨率和/或图像大小以及第三图像54的分辨率和/或图像大小可能需要在计算单元38中进行定义。第一图像50、第二图像52和第三图像54中的每一个的相应分辨率和图像大小可以以合适的方式进行定义，例如通过将相应数据输入/编程到计算单元38中，或者通过计算单元38分别与第一相机24、第二相机26和第三相机28通信并对其进行查询以获得信息。应当理解，第一图像50，第二图像52和第三图像54中的每一个的相应分辨率和图像大小可以以某种其他方式进行定义。

一旦计算单元38已经将第一图像50、第二图像52和第三图像54平铺在一起以定义组合平铺图像56，计算单元38就可以从组合平铺图像56中提取一个或多个特征向量。提取特征向量的步骤大体上由图3中的框104表示。计算单元38可以采用合适的图像识别应用程序以合适的方式提取特征向量。例如，在本文所述的示例性实施例中，计算单元38使用卷积神经网络42来提取特征向量。卷积神经网络42是一种深度前馈人工神经网络，这种人工神经网络使用了设计为需要最小预处理的多层感知器的变异体。与其他图像识别算法相比，卷积神经网络使用了相对较少的预处理，这样便允许卷积神经网络42可以学习滤波器，从而提取随时间变化的特征向量。卷积神经网络42的具体特征和操作在本领域中是可用的，因此这里不再进行详细描述。

一旦卷积神经网络42已经提取了特征向量，则计算单元38可以利用分类器44根据特征向量确定路面58的状况。确定路面58的状况的步骤大体上由图3中的框106表示。分类器44可以将路面58的状况确定为在分类器44中定义的表面。例如，分类器44可以被定义为将路面58的状况确定为干燥道路状况、湿滑道路状况或积雪覆盖道路状况中的一种。然而，在其他实施例中，分类器44可以被定义为包括除了本文所述的干燥道路状况、湿滑道路状况和积雪覆盖道路状况之外的其他可能的状况。分类器44操作的方式以及根据表面向量确定路面58的状况的方式对于本领域技术人员来说是可用的，因此这里不再进行详细描述。简言之，分类器44将特征向量与存储在存储器46中的表示路面58的不同状况的文件进行比较，以使特征向量与其中一个示例性道路状况文件相匹配。

计算单元38可以将识别出的路面58的状况传送到车辆20的一个或多个控制系统60，这样一来，这些控制系统60可以按照适合于计算单元38所识别出的当前道路状况的方式来控制车辆20。将路面58的状况传送到控制系统60的步骤大体上由图3中的框108表示。控制系统60随后可以基于识别出的路面58的状况来控制车辆。控制车辆的步骤大体上由图3中的框110表示。例如，如果计算单元38确定出路面58的状况是积雪覆盖状况，则控制系统60(例如但不限于车辆稳定性控制系统)可以以适合于积雪覆盖道路的方式来控制车辆20的制动。

虽然详细描述和附图或图式是用于支持和描述本公开，但是本公开的范围仅由权利要求限定。虽然已经详细描述了用于执行所要求保护的教导的一些最佳方式和其他实施例，但是仍存在有用于实践所附权利要求中限定的本公开的各种替代设计和实施例。

Claims (10)

1.一种识别路面状况的方法，所述方法包括：

利用相机捕获所述路面的第一图像；

利用所述相机捕获所述路面的第二图像；

一起平铺所述第一图像和所述第二图像以形成组合平铺图像；

从所述组合平铺图像中提取特征向量；并且

利用分类器根据所述特征向量确定所述路面的状况。

2.根据权利要求1所述的方法，还包括利用所述相机捕获所述路面的第三图像。

3.根据权利要求2所述的方法，其中所述相机包括第一相机、第二相机和第三相机，并且其中：

利用所述相机捕获所述路面的所述第一图像进一步定义为利用所述第一相机捕获所述路面的所述第一图像；

利用所述相机捕获所述路面的所述第二图像进一步定义为利用所述第二相机捕获所述路面的所述第二图像；并且

利用所述相机捕获所述路面的所述第三图像进一步定义为利用所述第三相机捕获所述路面的所述第三图像。

4.根据权利要求2所述的方法，其中平铺所述第一图像和所述第二图像以形成所述组合平铺图像进一步定义为平铺所述第一图像、所述第二图像和所述第三图像以形成所述组合平铺图像。

5.根据权利要求2所述的方法，其中：

所述第一图像由光源主动照亮；

所述第二图像由环境光被动照亮，并且是车辆的车轮飞溅区域中所述路面的图像；并且

所述第三图像由环境光被动照亮，并且是靠近所述车辆侧面的区域中所述路面的图像。

6.根据权利要求1所述的方法，其中从所述组合平铺图像提取所述特征向量进一步定义为使用卷积神经网络从所述组合平铺图像提取所述特征向量。

7.根据权利要求1所述的方法，其中一起平铺所述第一图像和所述第二图像以定义所述组合平铺图像包括定义所述第一图像的分辨率和所述第二图像的分辨率。

8.根据权利要求1所述的方法，其中一起平铺所述第一图像和所述第二图像以定义所述组合平铺图像包括定义所述第一图像的图像大小和所述第二图像的图像大小。

9.根据权利要求1所述的方法，其中同时地捕获所述第一图像和所述第二图像。

10.根据权利要求1所述的方法，其中捕获所述第一图像和所述第二图像包括从单个图像中裁剪出所述第一图像和所述第二图像以分别形成所述第一图像和所述第二图像。