CN107292386A - 使用深度学习的基于视觉的雨水检测 - Google Patents

Abstract

公开了用于使用车辆车载摄像机来确定在车辆附近是否正在降水的方法。方法可以包括获取多个图像。多个图像中的每一个可以已知为用照相描绘“雨水”或“无雨水”条件。可以对多个图像训练人工神经网络。随后，人工神经网络可以分析由固定至第一车辆的第一摄像机捕获的一个或多个图像。基于那个分析，人工神经网络可以把第一车辆分类为在“雨水”或“无雨水”天气中。

Description

使用深度学习的基于视觉的雨水检测

技术领域

本发明涉及车辆系统以及更具体地涉及用于开发、训练、以及应用算法用于检测驾驶环境中的雨水的系统和方法。

背景技术

雨水和其他降水可以影响车辆的功能。例如，雨水可以降低牵引力、增强炫光、削弱视力等。因此，需要的是用于检测和响应于雨水和其他降水的车辆系统和方法。

发明内容

根据本发明的一方面，提供一种方法，该方法包含：

获取多个图像，每个图像已知为用照相描绘“雨水”或“无雨水”条件；

通过人工神经网络对多个图像进行训练；

在训练之后通过人工神经网络来分析由第一摄像机捕获的一个或多个图像；以及

基于分析通过人工神经网络把第一摄像机分类为在“雨水”天气或“无雨水”天气中。

根据本发明的一实施例，其中多个图像是通过一个或多个车辆车载的一个或多个摄像机捕获的。

根据本发明的一实施例，其中第一摄像机是第一车辆车载的。

根据本发明的一实施例，其中分析车载地在第一车辆上发生。

根据本发明的一实施例，其中分类车载地在第一车辆上发生。

根据本发明的一实施例，其中训练非车载于第一车辆地发生。

根据本发明的一实施例，其中训练在人工神经网络正在相对于第一车辆远程定位的非车载计算机硬件上运行时发生。

根据本发明的一实施例，其中分析和分类在人工神经网络正在以车载的方式承载在第一车辆上的计算机硬件上运行时发生。

根据本发明的一实施例，其中第一摄像机固定至第一车辆并且定向为面向前。

根据本发明的一实施例，其中第一摄像机固定至第一车辆并且定向为面向后。

根据本发明的一实施例，其中一个或多个图像包含在小于十秒钟的一段时间内由第一摄像机捕获的多个连续图像。

根据本发明的另一方面，提供一种方法，该方法包含：

获取由一个或多个车辆车载的一个或多个摄像机捕获的多个图像，多个图像中的每个图像已知为用照相描绘“雨水”条件或“无雨水”条件；

使用多个图像来训练人工神经网络以区分相应于雨水条件的摄影数据和相应于无雨水条件的摄影数据；

在使用之后通过人工神经网络来分析由固定至第一车辆的第一摄像机捕获的一个或多个图像；以及

基于分析通过人工神经网络把第一车辆分类为在“雨水”或“无雨水”天气中。

根据本发明的一实施例，其中分析和分类在人工神经网络正在以车载的方式承载在第一车辆上的计算机硬件上运行时发生。

根据本发明的一实施例，本发明方法进一步地包含通过第一摄像机捕获一个或多个图像。

根据本发明的一实施例，其中分析和分类随着捕获实时地发生。

根据本发明的一实施例，其中分析和分类在捕获之后不到十秒钟发生。

根据本发明的一实施例，其中使用在人工神经网络正在相对于第一车辆远程定位的非车载计算机硬件上运行时发生。

根据本发明的一实施例，其中一个或多个图像包含在小于十秒钟的一段时间内由第一摄像机捕获的多个连续图像。

根据本发明的又一方面，提供一种计算机系统，该计算机系统包含：

一个或多个处理器；

可操作地连接至一个或多个处理器的存储器；以及

存储器存储

人工神经网络，对由一个或多个车辆车载的一个或多个摄像机捕获的多个图像训练人工神经网络以区分相应于“雨水”条件的图像和相应于“无雨水”条件的图像；

由固定至第一车辆的第一摄像机捕获的一个或多个图像；以及

编程为把一个或多个图像输入至人工神经网络以用于分类的软件。

根据本发明的一实施例，其中存储器进一步地存储编程为在人工神经网络确定第一车辆已经从无雨水条件转换至雨水条件时改变第一车辆的功能特性的控制模块。

附图说明

为了本发明的优势将被容易理解，将通过参考在附图中说明的特定实施例来呈现在上面简短描述的本发明的更详细的描述。理解的是，这些附图仅描绘本发明的典型实施例并且因此不认为限制本发明的范围，将通过使用附图用附加特征和细节来描述并且解释本发明，在附图中：

图1是说明根据本发明的以车载的方式承载在车辆上的系统的一实施例的示意图；

图2是可以由根据本发明的系统的摄像机捕获的图像的示意图；

图3是说明根据本发明的系统的一实施例的示意框图；

图4是根据本发明的训练方法的一实施例的示意框图；以及

图5是根据本发明的雨水检测方法的一实施例的示意框图。

具体实施方式

将容易理解的是，如在此在附图中总体上描述和说明的本发明的部件，可以以各种不同配置的方式设置和设计。因此，如在附图中所表示的本发明的实施例的下面更详细的描述，不旨在如声称的限制本发明的范围，但仅代表根据本发明的目前预期实施例的某些示例。通过参考附图将最好地理解目前描述的实施例，其中自始至终相同部分通过相同附图标记指定。

参考图1，现实世界呈现一系列不断变化的条件和障碍。这种现实为提供某些车辆功能的自主控制或动态和/或自主驾驶的基于车辆的系统造成显著挑战。为了克服这些挑战，车辆10可以配备有传感器以感测周围环境。然而，添加至车辆10的每个传感器增加成本和复杂性。

因此，根据本发明的计算机系统12可以使用软件以从由已经以车载的方式承载在车辆10上的一个或多个传感器输出的数据中提取附加功能或效用。也就是说，系统12可以在没有向车辆10添加任何附加硬件的情况下增加车辆10的功能或特征。

例如，根据本发明的系统12可以是、包括、或支持使用深度学习以区分“雨水”和“无雨水”(或其他“降水”和“无降水”)的基于视觉的降水检测。在选择的实施例中，系统12可以分析由以车载的方式承载在车辆10上的一个或多个摄像机14(例如，一个或多个前置摄像机14a、一个或多个后置摄像机14b、一个或多个倒车摄像机14b等或其组合或子组合)收集或捕获的图像数据以确定车辆10周围的环境中是否正在下雨(或正在降落比如雨夹雪、雪等这样的其他降水)。

在某些实施例中，由一个或多个摄像机14捕获的图像数据(例如，视频)可以被系统12处理为单独的图像或画面。系统12内的人工神经网络可以不同地操作这些图像，取决于神经网络是处于训练模式还是实施模式。在训练模式下，系统12内的神经网络可以根据两个不同的或相反的类(例如，雨水和无雨水)来对多个图像(例如，几十个、几百个、或几千个图像)进行训练。在这样的训练数据中捕获或反射的图像和场景的变量可以是高的以提供遍及各种情况、情景和环境的类的可靠确定。

一旦被训练，人工神经网络就可以以实施模式操作。在实施模式下，神经网络可以被输入图像并且确定其中表示哪一类。在选择的实施例中，神经网络的确定可以以每个类或条件的置信百分比来表示。

在选择的实施例中，相应于根据本发明的系统12的神经网络可以比较在一段短时间内由摄像机14捕获的多个连续图像(例如，在一段几秒钟的时间内捕获的几个图像)。如果显著多数的图像被分类为第一条件(例如，雨水)，则系统12可以确定第一条件存在于车辆10的环境中。即使一些图像被分类为第二条件(例如，无雨水)，系统12也可以做出这个确定。

在某些实施例中，实施模式中的一个或多个图像的分类可以随着那些图像的捕获而实时地发生。也就是说，人工神经网络可以在摄像机14捕获特定图像之后在很短的一段时间内量化特定图像与一个或多个类或条件的对应。在选择的实施例中，该很短的一段时间可以大约10秒钟或更少。

参考图2，在选择的实施例中，通过系统12执行的分类可以对包含在由摄像机14捕获的一个或多个图像16内的任何特定特征是不可知的。也就是说，系统12内的神经网络可以不搜索图像16的任何特定特征。相反，神经网络可以判断图像16作为一个整体是否更表明一个类或另一个类。

根据本发明的系统12的这种不可知论可以提供显著的优势。例如，每个图像16可以被检查或分析为“照原样”。也就是说，系统12可能不需要图像预处理以正确地起作用。此外，可能不需要附加校准。此外，在不顾及捕获一个或多个图像16的摄像机14是否固定在确切的位置中、更朝向天空指向、更朝向道路指向、向前指向、向后指向等，神经网络可以分类一个或多个图像16。

参考图3，根据本发明的系统12可以是、包括、或支持使用深度学习的基于视觉的降水检测。系统12可以以任何合适的方式实现这。例如，系统12可以具体体现为硬件、软件、或其一些组合。

在选择的实施例中，系统12可以包括计算机硬件和计算机软件。系统12的计算机硬件可以包括一个或多个处理器18、存储器20、用户界面22、其他硬件24等或其组合或子组合。这个计算机硬件可以是已经包括为车辆10的部分的硬件。存储器20可以可操作地连接至一个或多个处理器18并且存储计算机软件。这可以使一个或多个处理器18能够执行计算机软件。因此，系统12可以通过为车辆10添加和/或修改软件并且不添加任何附加硬件来增加车辆10的功能或特征。

系统12的用户界面22可以使工程师、技术员等能够与系统12的各个方面交互，运行、定制、或控制系统12的各个方面。在选择的实施例中，系统12的用户界面22可以包括一个或多个小型键盘、键盘、触摸屏、定位装置等或其组合或子组合。可选地、或除此之外，用户界面22可以包含端口，一个或多个外部计算机可以通过该端口与系统12或其一个或多个部件通信。

在选择的实施例中，系统12的存储器20可以存储(至少暂时)由一个或多个摄像机14收集或捕获的视频26(例如，一个或多个视频文件26)。可选地、或除此之外，系统12的存储器20可以存储包含、定义、或相应于由一个或多个摄像机14捕获的或从由一个或多个摄像机14收集或捕获的视频中提取的一个或多个图像16的一个或多个图像文件28。此外，存储器20可以存储一个或多个软件模块。例如，存储器20可以存储通信模块30、图像提取模块32、神经网络模块34、反馈模块36、其他数据或软件38等或其组合或子组合。

通信模块30可以使比如一个或多个视频文件26、图像文件28、软件(例如，一个或多个模块30、32、34、36、38或随之的更新)这样的数据能够传递到根据本发明的系统12或从根据本发明的系统12传递出。例如，形成以车载的方式承载在车辆10上的系统12的一部分的通信模块30可以使那个系统12能够接收对系统12的神经网络模块34的更新。因此，非车载于车辆10上的开发的改进可以根据需要或必要时被引入车载。

图像提取模块32可以从由一个或多个摄像机14捕获的视频中提取一个或多个图像16。例如，图像提取模块32可以从存储在存储器20中的视频文件26、正由摄像机14输出的视频等中提取一个或多个图像(例如，在几秒钟的一段时间内捕获的几个图像16)。在选择的实施例中，图像提取模块32可以存储一个或多个图像16，该图像16从而被提取作为存储器20中的图像文件28。

神经网络模块34可以是、包括、或支持编程为执行或应用深度学习的人工神经网络。由人工神经网络执行或应用的深度学习可以使用一个或多个算法以建模相应于一个或多个图像16的数据的高层次抽象。在选择的实施例中，这可以通过使用包含多个非线性变换的多个处理层来实现。

在某些实施例中，形成、包括在神经网络模块34中、或由神经网络34支持的人工神经网络可以以训练模式或实施模式操作。在训练模式下，神经网络可以对多个训练图像(例如，几十个、几百个、或几千个训练图像)进行训练。那些训练图像中的一些可以已知为相应于一个类或条件(例如，雨水条件)，而其他可以已知为相应于不同的类或条件(例如，无雨水条件)。一旦被训练，人工神经网络可以被输入相应于未知的类或条件的图像16。

因此，在实施模式下，相应于神经网络模块34的人工神经网络可以分析由摄像机14捕获的单个图像16(例如，从由摄像机14捕获的视频中提取的单个图像16)以便把一段时间内(例如，直到随后的图像16被分类)车辆10周围的相应环境分类为处于一个条件或另一个条件。可选地，人工神经网络可以分析在很短一段时间内(例如，大约1秒钟、3秒钟、5秒钟、10秒钟等一段时间内捕获的几个图像)由摄像机14捕获的多个图像(例如，从视频或视频文件26中提取的多个连续图像16)。

在选择的实施例中，相应于神经网络模块34的人工神经网络的确定可以为以每个类或条件的置信百分比分析的每个图像16呈现。如果分析一个以上的图像16，则那些图像16中的显著多数可以被分类为第一条件(例如，雨水)以便确定第一条件存在于车辆10的环境中。即使一些图像16被分类为第二条件(例如，无雨水)，神经网络也可以做出这个确定。

相应于神经网络模块34的人工神经网络当正在作为生产车辆10的标准或选择设备的一部分以车载的方式承载的系统12的硬件内或硬件上操作时可以被训练。可选地，相应于神经网络模块34的人工神经网络当正在非生产系统12(例如，计算机实验室中的非车载系统12，专门为了训练目的的以车载的方式承载在测试车辆10上的非生产系统12，等)的硬件内或硬件上操作时可以被训练，然后“克隆”或另外复制到或输入在形成生产车辆10的一部分的生产系统12内。

在选择的实施例中，反馈模块36可以包括在系统12内以支持或实现相应于神经网络模块34的人工神经网络的车载训练。反馈模块36可以为神经网络模块34提供指示哪个类或条件相应于哪个图像16的信息。因此，反馈模块36可以使系统12能够产生训练数据，对该训练数据训练相应的人工神经网络(或提高训练相应的人工神经网络)。

也就是说，为了训练神经网络，可以通过神经网络分析已知类或条件的训练数据。系统12具有由一个或多个车载摄像机14收集的图像16可能是不够的。系统可能还需要知道那些图像16中的哪些相应于一个类或条件并且哪些相应于另一个类或条件。这个附加信息可以由反馈模块16收集和提供。

例如，反馈模块36可以注意到人类驾驶员何时打开挡风玻璃雨刷器，因为这可以指示雨水条件。因此，在或接近在挡风玻璃雨刷器被驾驶员打开时的时间收集或捕获的图像16可以已知为相应于第一类或条件。

在选择的实施例中，多个功能或事实可以被反馈模块36监测以便收集指示当前状况的信息。例如，不是只注意到驾驶员何时打开挡风玻璃雨刷器，而是反馈模块36可以在也没有激活挡风玻璃清洗液的喷射的情况下注意到驾驶员何时打开挡风玻璃雨刷器。后者可以比前者与车辆10周围的环境中的雨水更紧密相关。

相应于系统12的其他数据和/或软件38可以根据需要或必要时支持那个系统12的操作。在某些实施例中，其他软件38可以包括编程为基于由神经网络模块34确定的分类而请求、发起、或实施一个或多个措施或功能的控制模块。例如，当神经网络模块34基于一个或多个图像16确定正在下雨时，控制模块可以请求、发起、或实施改变，比如激活某些雨刮片或车灯、改变某些牵引控制设置、或另外准备相应的车辆12以处理与雨水条件相关联的问题。

参考图4，系统12可以支持、实现、或执行根据本发明的程序40。在选择的实施例中，这样的程序40可以以接收42相应于第一条件(例如，雨水条件)的图像16开始并且接收44相应于第二条件(例如，无雨水条件)的图像16。人工神经网络然后可以对那些接收到的图像16进行训练46。

经训练的人工神经网络(例如，包含在区分相应于一个类或条件的图像与相应于另一类或条件的图像中已经证明有效的一组分类算法的人工神经网络)然后可以传送48(例如，存储在)到车辆10的车载计算机系统12。经训练的人工神经网络然后可以应用50随之相应于由以车载的方式承载在那个车辆10上的一个或多个摄像机14收集或捕获的图像16的分类算法。

参考图5，在选择的实施例中，应用50人工神经网络的分类算法至一个或多个未分类的图像16可以以获取52一个或多个未分类的图像16开始。此后，可以通过为每个这样的图像16分配每个类或条件的置信百分比来分类54那些图像16中的一个或多个。

例如，如果人工神经网络被训练以区分两个类或条件(例如，雨水条件和无雨水条件)，那么人工神经网络可以为每个图像16输出两个百分比。具体地，人工神经网络可以输出指示特定图像16相应于第一类的置信的第一百分比以及指示特定图像16相应于第二类的置信的第二百分比。因此，根据各个百分比的大小(例如，一个类的百分比是否超过特定阈值，另一个类的百分比是否低于特定阈值，或两者)、各个百分比之间的差异(例如，一个类的百分比和另一个类的百分比之间的差异是否超过特定阈值)等或其组合，相应图像16可以被分类为一个类或条件或另一个类或条件。

在某一时刻，可以关于一个或多个图像16是否仍然需要分类54做出确定56。如果图像16仍然需要分类54，则那个图像16可以被分类54。这个过程可以继续直到所有未分类的图像已经被分类54。

一旦完成分类过程54，做出的一个或多个分类就可以被计数58。因此，可以做出关于图像作为一个整体是否更指示一个类或条件或另一个类或条件的确定。如果仅一个图像16被分类54，则计数58可以同样地追踪那个分类。可选地，如果多个图像16被分类54(例如，在一段短时间内由摄像机14捕获的多个图像16)，则计数58可以指示多少被分类54为与一个类或条件有关并且多少被分类54为与另一个类或条件有关。

在选择的实施例中，确定60可以指示是否已经达到阈值。这样的阈值可以设置为“50％”。因此，在两个类的情况下(例如，雨水或无雨水)，如果一个类或条件的计数高于另一个类或条件的计数，则可以达到阈值。可选地，阈值可以设置为高于50％的某值(例如，大概在大约55％至大约85％的范围中)。在这样的实施例或情况下，关于周围环境是否指示一个类或条件或另一个类或条件的总确定60可能不通过哪一类或条件“赢得”计数(tally)58来解决。相反，如同法律诉讼中的更高举证责任，阈值可以确保计数58不只是支持，而是清楚地或强烈地比另一个类或条件支持一个类或条件。因此，可以设置阈值以降低关于一个类或条件(例如，雨水条件)的误报的数量。

如果计数58和/或确定60指示不存在第一条件(例如，雨水条件)，则人工神经网络可以宣布62存在第二条件(例如，无雨水条件)并且系统12可以采取64与那个第二条件一致的一个或多个措施。这样的措施可以包括使车辆10处于它所在的情况、停用某些雨刮片或车灯、改变某些牵引控制设置、或另外使相应车辆12返回至相应于无雨水的“正常”操作条件。系统12也可以输入保持模式并且在获取52新的图像16和再次启动分类过程54之前等待一段时间(例如，10秒钟、30秒钟、1分钟、5分钟、10分钟等)。

相反，如果计数58和/或确定60指示存在第一条件(例如，雨水条件)，则人工神经网络可以宣布66存在第一条件并且系统12可以采取68与那个第一条件一致的一个或多个措施。这样的措施可以包括使车辆10处于它所在的情况、激活某些雨刮片或车灯、改变某些牵引控制设置、或另外使相应车辆12准备返回以适应相应于雨水的“异常”操作条件。系统12也可以输入保持模式并且在获取52新的图像16和再次启动分类过程54之前等待一段时间(例如，10秒钟、30秒钟、1分钟、5分钟、10分钟等)。

在选择的实施例中，在根据本发明的程序50内的某一时刻，系统12可以从人类(例如，人类驾驶员)接收70反馈。这个反馈可以指示哪一类或条件相应于哪一图像16。因此，反馈和相应图像16可以成为用于更新72和/或重新培训人工神经网络的训练数据。可选地、或除此之外，这样的反馈可以用于调整或微调在程序50中使用的一个或多个阈值(例如，百分比阈值，计数阈值)。

图4和5中的流程图说明根据本发明的各种实施例的系统、方法、和计算机程序产品的可能实施方式的结构、功能和操作。在这方面，流程图中的每个框可以代表模块、段、或代码部分，该框包含用于实施指定逻辑功能的一个或多个可执行指令。还将要注意的是，流程图图示的每个框、以及流程图图示中的框的组合，可以通过执行指定功能或措施、或专用硬件和计算机指令的组合的基于专用硬件的系统来实施。

还应该注意的是，在一些可选的实施方式中，在框中提到的功能可在附图中指出的顺序范围外的顺序发生。在某些实施例中，连续显示的两个框可以实际上大体同时执行，或框有时可以以相反的顺序执行，取决于包含的功能。可选地，某些步骤或功能如果不需要的话则可以被省略。

本发明可以在不背离它的精神或基本特征的情况下以其他具体形式具体体现。描述的实施例在所有方面仅被认为是说明性的，而不是限制性的。因此，本发明的范围通过所附权利要求指示，而不是通过上述描述指示。在权利要求的等同物的意义和范围内的所有变化都包含在它们的范围内。

Claims (20)

1.一种方法，所述方法包含：

获取多个图像，每个所述图像已知为用照相描绘“雨水”或“无雨水”条件；

通过人工神经网络对所述多个图像进行训练；

在所述训练之后通过所述人工神经网络来分析由第一摄像机捕获的一个或多个图像；以及

基于所述分析通过所述人工神经网络把所述第一摄像机分类为在“雨水”天气或“无雨水”天气中。

2.如权利要求1所述的方法，其中所述多个图像是通过一个或多个车辆车载的一个或多个摄像机捕获的。

3.如权利要求1所述的方法，其中所述第一摄像机是第一车辆车载的。

4.如权利要求3所述的方法，其中所述分析车载地在所述第一车辆上发生。

5.如权利要求4所述的方法，其中所述分类车载地在所述第一车辆上发生。

6.如权利要求3所述的方法，其中所述训练非车载于所述第一车辆地发生。

7.如权利要求3所述的方法，其中所述训练在所述人工神经网络正在相对于所述第一车辆远程定位的非车载计算机硬件上运行时发生。

8.如权利要求3所述的方法，其中所述分析和所述分类在所述人工神经网络正在以车载的方式承载在所述第一车辆上的计算机硬件上运行时发生。

9.如权利要求1所述的方法，其中所述第一摄像机固定至第一车辆并且定向为面向前。

10.如权利要求1所述的方法，其中所述第一摄像机固定至第一车辆并且定向为面向后。

11.如权利要求1所述的方法，其中所述一个或多个图像包含在小于十秒钟的一段时间内由所述第一摄像机捕获的多个连续图像。

12.一种方法，所述方法包含：

获取由一个或多个车辆车载的一个或多个摄像机捕获的多个图像，所述多个图像中的每个图像已知为用照相描绘“雨水”条件或“无雨水”条件；

使用所述多个图像来训练人工神经网络以区分相应于所述雨水条件的摄影数据和相应于所述无雨水条件的摄影数据；

在所述使用之后通过所述人工神经网络来分析由固定至第一车辆的第一摄像机捕获的一个或多个图像；以及

基于所述分析通过所述人工神经网络把所述第一车辆分类为在“雨水”或“无雨水”天气中。

13.如权利要求12所述的方法，其中所述分析和所述分类在所述人工神经网络正在以车载的方式承载在所述第一车辆上的计算机硬件上运行时发生。

14.如权利要求12所述的方法，进一步地包含通过所述第一摄像机捕获所述一个或多个图像。

15.如权利要求14所述的方法，其中所述分析和所述分类随着所述捕获实时地发生。

16.如权利要求15所述的方法，其中所述分析和所述分类在所述捕获之后不到十秒钟发生。

17.如权利要求12所述的方法，其中所述使用在所述人工神经网络正在相对于所述第一车辆远程定位的非车载计算机硬件上运行时发生。

18.如权利要求12所述的方法，其中所述一个或多个图像包含在小于十秒钟的一段时间内由所述第一摄像机捕获的多个连续图像。

19.一种计算机系统，所述计算机系统包含：

一个或多个处理器；

可操作地连接至所述一个或多个处理器的存储器；以及

所述存储器存储

人工神经网络，对由一个或多个车辆车载的一个或多个摄像机捕获的多个图像训练所述人工神经网络以区分相应于“雨水”条件的图像和相应于“无雨水”条件的图像；

由固定至第一车辆的第一摄像机捕获的一个或多个图像；以及

编程为把所述一个或多个图像输入至所述人工神经网络以用于分类的软件。

20.如权利要求19所述的计算机系统，其中所述存储器进一步地存储编程为在所述人工神经网络确定所述第一车辆已经从无雨水条件转换至雨水条件时改变所述第一车辆的功能特性的控制模块。