CN107918311A - 多传感器降水分级设备和方法 - Google Patents

Abstract

本发明公开了一种车辆，其利用来自不同类型的车载传感器的数据来确定车辆附近是否有气象降水正在落下。车辆可包括捕捉图像数据的车载摄像机和捕捉加速度计数据的车载加速度计。图像数据可表征车辆前面或后面的区域。加速度计数据可表征车辆的挡风玻璃的振动。人工神经网络可在车辆上携带的计算机硬件上运行。人工神经网络可训练成利用作为输入的图像数据和加速度计数据来对车辆的环境中的气象降水进行分级。人工神经网络的分级可用来控制车辆的一种或多种功能，例如挡风玻璃刮水器速度、牵引力控制设置等。

Description

多传感器降水分级设备和方法

技术领域

本发明涉及车辆系统，并且尤其是涉及用于开发、训练以及应用用于将气象降水或者其对驾驶环境造成的某些影响分级的算法的系统和方法。

背景技术

降雨和其他气象降水会影响车辆的功能。例如，降雨会降低牵引力、增强眩光、损害视力等。因此，需要一种用于检测和应对降雨和其他气象降水的车辆系统和方法。

发明内容

根据本发明的一方面，提供一种车辆，包括：

摄像机，摄像机输出图像数据；

挡风玻璃；

加速度计，加速度计输出表征挡风玻璃的振动的加速度计数据；

人工神经网络，人工神经网络被训练用于利用作为输入的图像数据和加速度计数据来对车辆的环境中的气象降水进行分级；以及

至少一个致动器，至少一个致动器基于人工神经网络做出的分级来控制车辆的至少一种功能。

根据本发明的一个实施例，摄像机固定于车辆并且定向成面向前方。

根据本发明的一个实施例，摄像机固定于车辆并且定向成面向后方。

根据本发明的一个实施例，图像数据包括摄像机在小于十秒的时段内捕捉到的多幅连续图像。

根据本发明的一个实施例，车辆进一步包括至少一个挡风玻璃刮水器，并且至少一种功能包括至少一个挡风玻璃刮水器的速度。

根据本发明的一个实施例，车辆进一步包括具有一个或多个轮胎的传动系。

根据本发明的一个实施例，车辆进一步包括传动系传感器，传动系传感器输出表征一个或多个轮胎和驾驶地面的摩擦接合的摩擦数据。

根据本发明的一个实施例，人工神经网络被训练用于至少部分基于图像数据、加速度计数据以及摩擦数据中的每一者来对气象降水进行分级。

根据本发明的一个实施例，车辆进一步包括牵引力控制系统，并且其中至少一种功能包括牵引力控制系统的设置。

根据本发明的一个实施例，车辆进一步包括通信系统，通信系统将人工神经网络的一个或多个分级传送到车辆之外的硬件。

根据本发明的一个实施例，人工神经网络被训练用于对至少三个级别的气象降水进行分级，至少三个级别包括无降雨、低于第一降水率的降雨以及高于第二降水率的降雨，第二降水率等于或大于第一降水率。

根据本发明的一方面，提供一种方法，包括：

由车辆上携带的计算机系统接收摄像机捕捉到的图像数据，摄像机定向成相对于车辆面向前方或面向后方，其中图像数据包括摄像机在一段时间内捕捉到的至少一幅图像；

由计算机系统接收固定于车辆的挡风玻璃的加速度计输出的加速度计数据，其中加速度计数据表征挡风玻璃在该一段时间期间的振动；

由在计算机系统上运行的人工神经网络接收作为输入的图像数据和加速度计数据；

由人工神经网络基于输入生成关于至少三个级别的气象降水的分级分数，至少三个级别包括无降雨、低于第一降水率的降雨以及高于第二降水率的降雨，第二降水率等于或大于第一降水率；以及

由计算机系统基于人工神经网络生成的分级分数来控制车辆的至少一种功能。

根据本发明的一个实施例，其中图像数据包括摄像机在该一段时间内捕捉到的多幅连续图像；以及

该一段时间小于10秒。

根据本发明的一个实施例，车辆包括至少一个挡风玻璃刮水器，并且其中至少一种功能包括至少一个挡风玻璃刮水器的速度。

根据本发明的一个实施例，车辆包括具有一个或多个轮胎的传动系。

根据本发明的一个实施例，车辆进一步包括传动系传感器，传动系传感器输出表征一个或多个轮胎和驾驶地面的摩擦接合的摩擦数据。

根据本发明的一个实施例，方法进一步包括由人工神经网络接收作为输入的图像数据、加速度计数据以及摩擦数据。

根据本发明的一个实施例，车辆进一步包括牵引力控制系统，并且其中至少一种功能包括牵引力控制系统的设置。

根据本发明的一个实施例，车辆进一步包括通信系统，通信系统将人工神经网络做出的一个或多个分级传送到车辆之外的硬件。

根据本发明的一个实施例，车辆之外的硬件形成固定电信基础设施或另一台车辆的一部分。

附图说明

将参考附图中所示的具体实施例来描述上面简述的本发明的更详细说明，以便将容易理解本发明的优点。要理解的是，这些附图仅描绘了本发明的典型实施例，因此不应视为对本发明范围的限制，将通过使用附图额外具体并且详细地描述和解释本发明，其中：

图1为示出了在车辆上携带的根据本发明的系统的一个实施例的示意图；

图2为示出了根据本发明的系统的一个实施例的示意性框图；

图3为根据本发明的训练方法的一个实施例的示意性框图；

图4为划分成多个级别的二维空间的示意性框图，每个级别对应于不同的降水情况；

图5为根据本发明的降水检测方法的一个实施例的示意性框图；

图6为根据本发明的降水检测方法的第一替代实施例的示意性框图；以及

图7为根据本发明的降水检测方法的第二替代实施例的示意性框图。

具体实施方式

将容易理解的是，本文附图中概括描述和示出的本发明的部件可设置和设计成各种各样的不同配置。因此，附图中所示的本发明实施例的如下更详细描述并非旨在限制所要求保护的本发明的范围，而是仅代表根据本发明的当前预期到的实施例的某些示例。最佳的是，将参考附图来理解当前描述的实施例，其中相似的部分始终由相似的附图标记来表示。

参考图1，现实世界呈现出一系列不断变化的状况和障碍。这一现实对提供某些车辆功能或动态的自主控制和/或自主驾驶的基于车辆的系统带来了重大挑战。车辆10可配备有使其系统能够感测(并且因此而适当地应对)周围环境和/或该周围环境对车辆10造成的影响的传感器，以便克服这些挑战。而且，车辆10可配备有不同组传感器，以便一个传感器的薄弱点或“盲区”可被一个或多个其他传感器覆盖或改善。

例如，根据本发明的系统12可包括一个或多个图像传感器14。这种传感器14的输出在对车辆10周围或附近区域中的气象降水进行分级时会非常有用。然而，系统12的一个或多个图像传感器14不会表征气象降水的所有方面。因此，系统12可包括表征气象降水的其他方面的一个或多个其他传感器16。通过使用来自多种类型的传感器14、16的数据，根据本发明的系统12在其对气象降水进行分级时会更加稳健和准确。

在所选择的实施例中，系统12可分析在车辆10上携带的一个或多个图像传感器14收集或捕捉的图像数据。这样的图像传感器14可包括一个或多个摄像机、激光雷达装置、雷达装置、声波成像装置等或者其组合或子组合。一个或多个图像传感器14可为面向前方的图像传感器14a、面向后方的图像传感器14b(例如，一个或多个倒车摄像机)、舱内图像传感器14c(例如，捕捉内部或者挡风玻璃的和/或透过挡风玻璃的驾驶员视点的一个或多个摄像机)等或者其组合或子组合。

在某些实施例中，可融合一个或多个图像传感器14(例如，一个或多个面向前方的图像传感器14a)输出的激光雷达图、摄像机图、雷达图、声音图以及先前的高清晰度图等，以预测降水强度或降水率以及相应的风暴前沿何时会到达车辆10。这可实现前馈系统，该前馈系统将不必等到驾驶员的视线受削弱时才打开一个或多个刮水器。这还可提供对期望的刮水器速度的更好的估计。可供选择地，或者除此之外，可利用对相应的风暴前沿何时会到达车辆10的预测来向相应的驾驶员提供警告，并且对于自主车辆，提供倾向于一条或多条可能更安全的路线而改变行进路径的动力。

一个或多个图像传感器14捕捉的图像数据(例如，视频)可由系统12按照单独的图像或帧来处理。例如，系统12内的人工神经网络可馈送一个或多个图像传感器14捕捉的图像或帧。因此，人工神经网络可在其确定在图像或帧中代表了哪个级别(例如，降水状况的闭集合中的哪种降水状况)时考虑这样的图像或帧。

在所选择的实施例中，对应于根据本发明的系统12的人工神经网络可分析在一段短时间内由图像传感器14捕捉的多幅连续图像(例如，在几秒钟的时段内捕捉的几幅图像)。如果绝大多数的图像指示为第一降水状况(例如，处于特定降水率或接近特定降水率降雨)，则系统12根据对对应于一个或多个其他传感器16的数据的分析，更有可能确定在车辆10的环境中存在第一降水状况。

包含在根据本发明的系统12内的其他传感器16可包括一个或多个加速度计(例如，定位成监测和表征车辆10的挡风玻璃的振动的一个或多个加速度计16a，挡风玻璃的振动可指示正在影响车辆10的气象降水的类型和/或量)、一个或多个传动系传感器(例如，定位成监测或表征车轮打滑、一个或多个轮胎和驾驶地面之间的摩擦接合等的一个或多个传感器16b)、一个或多个温度传感器(例如，测量外部温度的一个或多个温度计，外部温度可指示正在影响车辆10的气象降水的类型)、一个或多个压力传感器(例如，位于车辆10的挡风玻璃、窗户或其他结构上的用来监测或表征风速的一个或多个压力传感器，该一个或多个压力传感器可用来提供自主车辆10的更好的操作)、速度计等或者其组合或子组合。因此，人工神经网络可作为输入接收来源于一个或多个这样的传感器16的信号或数据。因此，人工神经网络进行的分级会更加稳健和准确，这是因为是基于由一个或多个图像传感器14和一个或多个非图像传感器16收集的或者对应于一个或多个图像传感器14和一个或多个非图像传感器16的数据。

在某些实施例中，人工神经网络执行的分级可与捕捉传感器数据一起实时发生，该分级是基于该传感器数据。亦即，人工神经网络可在形成系统12的一部分的各种传感器14、16捕捉特定传感器数据之后的非常短的一段时间内，量化该特定传感器数据(例如，图像数据、加速度计数据、车轮打滑或摩擦数据、温度数据、风速数据、车辆速度数据等或者其组合或子组合)与一个或多个级别的对应关系。在所选择的实施例中，非常短的一段时间可为大约10秒或更短。

在所选择的实施例中，分级或表征分级的信息可从车辆10上的系统12传递或传送到位于车辆10之外的某些硬件。亦即，分级信息可通过V2V(vehicle-to-vehicle，车辆对车辆)、V2I(vehicle-to-infrastructure，车辆对基础设施)、V2X(vehicle-to-everything，车辆对外界)等技术或者其组合或子组合进行传递。例如，一台车辆10a上的系统12所生成的分级信息可传递到附近的一台或多台其他车辆10b。因此，一台车辆10a上做出的分级可被一台或多台其他车辆10b上的系统12使用(例如，被完全采用或考虑)。

在所选择的实施例中，分级信息可从一台车辆10a直接传递18到另一台车辆10b(例如，经由无线电传输)。可供选择地，分级信息可由车辆10a上的系统12馈送20到通信系统22(例如，包括固定电信基础设施的通信系统22)中。例如，系统12可通过向附近的蜂窝塔24a发送一个或多个信号来将分级信息馈送20到蜂窝电话网络中。在所选择的实施例中，在系统12中馈送20的分级信息可路由通过通信系统22并且传送26到一台或多台其他车辆10b的相应系统12。可供选择地，由系统12馈送20到通信系统22中的分级信息可传送28到计算机系统30，由计算机系统30处理，由计算机系统30馈送32回到通信系统22中，并且传送26到一台或多台其他车辆10b的相应系统12。

例如，在所选择的实施例中，通信系统18可包括蜂窝电话网络，该蜂窝电话网络包括位于第一车辆10a附近的第一蜂窝塔24a、位于第二车辆10b附近的第二蜂窝塔24b以及将第一蜂窝塔24a连接到第二蜂窝塔24b的网络34。计算机系统30也可连接到网络34。因此，由对应于第一车辆10a的系统12馈送20到蜂窝电话网络中的分级信息可由计算机系统30接收，以便其可被记录、处理、分配到一台或多台其他车辆10b等或者其组合或子组合。

在所选择的实施例中，根据本发明的系统12执行的分级对于由任何图像传感器14捕捉的一幅或多幅图像或由一个或多个其他传感器16捕捉的传感器数据中包含的任何特定特征可能是不可知的。亦即，系统12内的人工神经网络不会在与各种传感器14、16对应的数据中搜索任何特定特征。相反，人工神经网络可判断由此作为一个整体接收到的所有传感器数据是否更多地指示一个级别或另一个级别。

根据本发明的系统12的这种不可知可提供显著的优点。例如，可“按原样”检查或分析每幅图像。亦即，可不需要系统12预处理图像来正常运行。此外，可不需要额外的校准。而且，人工神经网络可在不考虑捕捉一幅或多幅图像的图像传感器14是否固定在准确位置中、更大程度地对着天空、更大程度地对着道路、对着前方、对着后方等的情况下，在其进行分级处理时使用一幅或多幅图像。

参考图2，根据本发明的系统12可包括或支持利用深度学习的气象降水的分级。系统12可以以任何适合的方式实现气象降水的分级。例如，系统12可体现为硬件、软件或者其某种组合。

在所选择的实施例中，系统12可包括计算机硬件和计算机软件。系统12的计算机硬件可包括一个或多个处理器36、存储器38、一个或多个用户界面40、其他硬件42等或者其组合或子组合。在某些实施例中，该计算机硬件的全部或某些子集可为已作为车辆10的一部分包含的硬件。亦即，计算机硬件的全部或某些部分可为多用途的，并且执行已与车辆10的操作相关的任务。

根据本发明的系统12的存储器38可以可操作地连接到一个或多个处理器36并且存储计算机软件。这可使一个或多个处理器36能够执行该计算机软件。因此，系统12可通过添加和/或修改软件、向车辆10添加额外的硬件或者其组合来增强车辆10的功能或特征。

系统12的用户界面40可使工程师、技术员、驾驶员等能够与系统12的各个方面进行交互、运行、客制化或者控制系统12的各个方面。在所选择的实施例中，系统12的用户界面40可包括一个或多个小键盘、键盘、触摸屏、定位装置等或者其组合或子组合。可供选择地，或除此之外，用户界面40可包括端口，一台或多台外部计算机可通过该端口与系统12或者其一个或多个部件进行通信。

在所选择的实施例中，系统12的存储器38可存储(至少暂时性)传感器数据44(例如，在车辆10上携带的一个或多个传感器16输出的一个或多个信号段)、在车辆10上携带的一个或多个图像传感器14收集或捕捉到的视频46(例如，一个或多个视频文件46)、包含、限定或对应于一个或多个图像传感器14捕捉到的或者从一个或多个图像传感器14收集或捕捉到的视频中提取的一幅或多幅图像的一个或多个图像文件48等或者其组合或子组合。

另外，存储器38可存储一个或多个软件模块。例如，存储器38可存储滤波器模块50、通信模块52、图像提取模块54、神经网络模块56、反馈模块58、其他数据或软件60等或者其组合或子组合。可供选择地，滤波器模块50、通信模块52、图像提取模块54、神经网络模块56以及反馈模块58中的一个或多个模块可体现为硬件或者包括硬件部件。因此，虽然图2将滤波器模块50、通信模块52、图像提取模块54、神经网络模块56以及反馈模块58示出为存储在存储器38中的纯软件模块，但是实际上那些模块50、52、54、56、58中的一个或多个模块可包括硬件、软件或者其组合。

滤波器模块50可使系统12能够根据期望或必要性来对一个或多个传感器14、16输出的信号进行滤波。例如，由监测挡风玻璃的振动的加速度计16a输出的信号可能是含有噪声的。因此，滤波器模块50可对该信号进行滤波以便于从其中提取有用的数据。在所选择的实施例中，滤波器模块50可对一个或多个加速度计(例如，安装在挡风玻璃上和/或监测挡风玻璃的振动的一个或多个加速度计16a)输出的信号采用低通滤波，以定位和区分由影响相应车辆10的气象降水所造成的振动的变化。

通信模块52可使数据(例如一段或多段传感器数据44、视频文件46、图像文件48、软件部件(例如，一个或多个模块50、52、54、56、58或者其更新)、分级(例如，系统12的人工神经网络输出的分级信息)等或者其组合或子组合)能够传递(例如，经由无线电波传递18、20、26)到根据本发明的系统12中或者从根据本发明的系统12传递出。例如，形成一台车辆10b上携带的系统12的一部分的通信模块52可使该系统12能够接收由另一台车辆10a生成的分级信息。可供选择地，或除此之外，通信模块52可使系统12能够接收对其神经网络模块56的更新。因此，可根据期望或必要性将在车辆10之外开发的改进方案带到车辆上来。

图像提取模块54可从一个或多个图像传感器14捕捉的视频中提取一幅或多幅图像。例如，图像提取模块54可从存储在存储器38中的视频文件46、图像传感器14正在输出的视频等中提取一幅或多幅图像(例如，在几秒或更短的时段内捕捉的几幅图像)。在所选择的实施例中，图像提取模块54可将由此作为图像文件48提取的一幅或多幅图像存储在存储器38中。

神经网络模块56可为、包括或支持编程为执行或应用深度学习的人工神经网络。人工神经网络执行或应用的深度学习可利用一种或多种算法来对根据本发明的系统12的各种传感器14、16收集到的对应于一幅或多幅图像的数据、其他传感器数据和/或其组合中的高级抽象概念进行建模。在所选择的实施例中，这可通过利用包括多次非线性变换的多个处理层来实现。

例如，对应于神经网络模块56的人工神经网络可包括具有输入节点、隐藏层以及输出节点的前馈计算图。对于涉及图像的分级，可将形成分级的一部分的输入图像的像素值分配到输入节点，然后通过网络馈送，经过多次非线性变换。在计算结束时，输出节点可产生对应于由神经网络推断出的级别的值。

需要基于实例训练人工神经网络，以便使对应于神经网络模块56的人工神经网络能够区分不同级别的气象降水。因此，必须利用已掌握(例如，标记)降水状况的大量实例图像集和其他传感器数据集(例如，对于每种类型和/或等级而言是数百到数千)作为训练数据，以便创建能够对多种不同类型和/或等级的气象降水进行分级的人工神经网络。因此，可利用反向传播训练人工神经网络。

一旦被训练，对应于神经网络模块56的人工神经网络就可以接收一个或多个输入(例如，一个或多个传感器14、16输出的或者对应于一个或多个传感器14、16的数据)，并且将那些输入分为具有关于训练人工神经网络所针对的每个级别的特定数值相关性(例如，百分比“分数”)。因此，如果针对二十种不同级别的气象降水进行人工神经网络训练，则对于一个或多个输入，人工神经网络可输出二十个数值分数。每一个这样的分数可表示一个或多个输入(或者一个或多个输入反映的物理现实)与不同级别的气象降水的相关性。

在确定或明确的分级中，一个或多个输入可显示出与一个级别的气象降水的较强相关性和与所有其他级别的气象降水的较弱相关性。在不确定或不明确的分级中，一个或多个输入会显示出与任何特定级别的气象降水均没有优先的相关性。例如，特定级别可能有“最高”分数，但是该分数可能接近其他级别的其他分数。

因此，在所选择的实施例中，神经网络模块56可采用一个或多个阈值比较或测试来确定任何特定分级是否足够确定或明确以便起作用或被依赖(例如，分级是否足够确定或明确以便改变车辆10的一些功能以使车辆10更好地做准备来应对预测到的或感知到的气象降水的影响)。例如，神经网络模块56可测试分级以获知最高分数与所有其他分数之间的间隔是否符合或满足某一间隔阈值。

在某些实施例中，形成神经网络模块56、由神经网络模块56支持或者包含在神经网络模块56内的人工神经网络可以以训练模式或实施模式在车辆10上操作。在训练模式下，可针对对应于已知级别的气象降水的多个训练图像或传感器数据进行人工神经网络训练。在实施模式下，人工神经网络可分析一个或多个图像传感器14捕捉的图像数据(例如，从摄像机捕捉的视频中提取的单幅图像、多幅图像或多幅连续图像)和/或由一个或多个其他传感器16生成的或对应于一个或多个其他传感器16的传感器数据，以便在一段时间内(例如，直到后续图像和/或传感器数据被分级或在大约1秒、3秒、5秒、10秒等的时段内)将车辆10周围的相应环境分为处于一个降水状况中或另一个降水状况中。

因此，可训练对应于神经网络模块56的人工神经网络，同时在作为量产车辆10的标准或可选设备的一部分在车辆上携带的系统12的硬件内或硬件上操作。可供选择地，可训练对应于神经网络模块56的人工神经网络，同时在非量产系统12(例如，计算机实验室中的车辆之外的系统12、在测试车辆10上携带的专门用于训练的非量产系统12等)的硬件内或硬件上操作，然后“克隆”或以其他方式复制到形成量产车辆10的一部分的量产系统12上或者输入到量产系统12内。

在某些实施例中，神经网络模块56可为、包括或支持单个通用人工神经网络。通用人工神经网络可接收所有可用或期望的输入(例如，来自图像传感器14和其他非图像传感器16的所有数据)，并且输出所有不同级别的气象降水的所有相关性分数。然而，在其他实施例中，神经网络模块56可包含、包括或支持多个特定工作的人工神经网络或者一个或多个处理少于所有可用输入的人工神经网络。例如，在某些实施例中，第一特定图像人工神经网络可对与一个或多个图像传感器14相对应的图像数据进行分级，同时一个或多个其他处理系统或方法可应用于加速度计数据和/或来自一个或多个其他传感器16的数据。因此，神经网络模块56执行的分析和分级的工作可在一个或多个多重人工神经网络、其他处理或分析系统或者其组合当中进行分配。

在所选择的实施例中，反馈模块58可包含在支持或能够实现在车辆上对对应于神经网络模块56的人工神经网络进行训练的系统12内。反馈模块58可向神经网络模块56提供指示哪个级别或状况对应于哪个传感器数据的信息。因此，反馈模块58可使系统12能够生成训练数据，针对该训练数据对相应人工神经网络进行训练(或改善相应人工神经网络的训练)。

亦即，人工神经网络可分析已知级别的训练数据，以便训练人工神经网络。系统12具有一个或多个车载传感器14、16收集到的传感器数据可能还是不够。系统12还可能需要知道该传感器数据中的哪个数据对应于一个级别以及哪个数据对应于另一个级别。该附加信息可由反馈模块58收集和提供。

例如，反馈模块58可注意到人类驾驶员何时打开挡风玻璃刮水器，因为这可指示降雨状况。因此，可“知道”当驾驶员打开挡风玻璃刮水器的时候或者在该时间附近收集或捕捉到的传感器数据对应于降雨状况。类似地，反馈模块58可注意到人类驾驶员何时激活挡风玻璃清洗液的喷嘴，因为这可指示道路溅射状况。因此，可“知道”当驾驶员打开挡风玻璃清洗液的喷嘴的时候或者在该时间附近收集或捕捉到的传感器数据对应于道路溅射状况。

在所选择的实施例中，反馈模块58可监测多个功能或事实，以便收集指示当前状况的信息。例如，反馈模块58可注意到驾驶员何时在没有另外激活挡风玻璃清洗液的喷嘴的情况下打开挡风玻璃刮水器，而不是只注意到驾驶员何时打开挡风玻璃刮水器。与后者相比，前者可能与车辆10周围的环境中的降雨更加密切相关。

对应于系统12的其他数据和/或软件60可根据期望或必要性来支持该系统12的操作。在某些实施例中，其他软件60可包括编程为基于神经网络模块56确定的分级来请求、发起或实施一个或多个动作或功能的控制模块。例如，当神经网络模块56基于某些传感器数据确定正在以特定降水率降雨时，控制模块可请求、发起或实施改变(例如激活某些刮水片或灯，改变(例如，增加或减小)某些刮水片的速度，改变某些牵引力控制设置，或者以其他方式使相应车辆10准备处理与该特定降雨状况相关的问题)。

参考图3，计算机实验室中的车辆之外的系统12、在测试车辆10上携带的专门用于训练的非量产系统12等可支持、能够实现或执行根据本发明的训练过程62。在所选择的实施例中，这样的过程62可开始于接收64a、64b已知对应于第一降水状况的图像数据(例如，为一个或多个图像传感器14收集到的或对应于一个或多个图像传感器14的数据、与该数据匹配的或者对该数据进行建模的图像等)以及其他传感器数据(例如，为一个或多个其他传感器16收集到的或对应于一个或多个其他传感器16的数据、与该数据匹配的或者对该数据进行建模的加速度计数据、车轮打滑或摩擦数据、温度数据、风速数据、车辆速度数据等或者其组合或子组合)。对于感兴趣的各种其他降水状况，可重复这个步骤。因此，过程62可继续接收66a、66b已知对应于第二降水状况的图像数据和其他传感器数据，接收68a、68b已知对应于第三降水状况的图像数据和其他传感器数据，依次类推，直到接收到70a、70b已知对应于“第N”(即，最终)降水状况的图像和传感器数据。

每种不同的降水状况可对应于或者为不同级别的气象降水。因此，过程62可包括接收对应于要分级的每一级别的气象降水的图像和其他传感器数据。然后可针对所接收到的图像和/或第二数据进行人工神经网络(例如，单个通用人工神经网络或者一个或多个特定数据神经网络)训练72。

然后可将一个或多个经过训练的人工神经网络(例如，包括已证明在基于图像和/或其他传感器数据对气象降水进行分级方面有效的一组分级算法的一个或多个人工神经网络)传递74到(例如，存储在)车辆10的车载计算机系统12。经过训练的人工神经网络或网络然后可将与其对应的分级算法应用76到该车辆10上携带的一个或多个图像和/或其他传感器14、16收集或捕捉到的图像和/或其他传感器数据。

参考图4，在所选择的实施例中，可将根据本发明的人工神经网络训练成识别某个预定组78级别80的气象降水(例如，产生与其有关的相关性分数)。在实施例之间，可改变该组78内的级别80的数量。在某些实施例中，级别80的数量可相对较少。例如，级别80的组78可仅由两个级别80组成(例如，对应于没有降水或不足的降水或值得打开挡风玻璃刮水器的降水影响的第一级别80、对应于足够的降水或值得打开挡风玻璃刮水器的降水影响的第二级别80)。

在其他实施例中，组78中的级别80的数量可明显更多。例如，特定组78内的第一级别80a的气象降水可对应于任何类型的不可检测的降水或降水影响。该组78内的其他级别80的气象降水可对应于各种成对的降水类型和降水率。因此，这些对可限定特定的降水状况。

例如，第一降水类型可为降雨。因此，组78内的第二级别80b可对应于大约每小时0英寸到大约每小时0.5英寸之间的范围内的降雨。组78内的第三级别80c可对应于大约每小时0.5英寸到大约每小时2英寸之间的范围内的降雨。组78内的第四级别80d可对应于大约每小时2英寸或更大的降雨。通过这种方式，各种成对的降水类型和降水率(例如，降水率的范围)可限定各种级别80的气象降水。各种降水率之间的分界线可在不同类型的降水和不同实施例之间变化。因此，以上提供的具体降水率范围为通过举例的方式而不是限制的方式呈现出。

限定了级别80的降水类型或降水影响包括雨、雨夹雪、冰雹、雪、道路溅射等或者其任意组合或子组合。如上面所记录的，这些降水类型或降水影响可与某些降水率范围配对以限定具体的降水状况。然而，在某些实施例中，累积降水率可能不如其他特征那么重要。因此，在这样的实施例中，可基于那些其他特征而不是通过累积降水率来限定级别80。

例如，在所选择的实施例中，“第N”降水类型可为冰雹。对于冰雹，冰雹的冲力可能比累积降水率更重要。因此，冰雹的不同级别80e、80f可根据冲力来限定。因此，以小于某一冲力的冲力(例如，不足以使车辆10产生凹陷或以其他方式损坏车辆10的冲力)撞击车辆10的冰雹可视为一个级别80e，而以大于该某一冲力的冲力(例如，足以使车辆10产生凹陷或以其他方式损坏车辆10的冲力)撞击车辆10的冰雹可视为另一个级别80f。级别80e、80f的这种编制可使系统12能够采取行动、提供警告(例如，对主车辆的驾驶员或对附近车辆10b的驾驶员)等，这些操作能够减小遭受的损害或受到的伤害。

参考图5，在所选择的实施例中，将人工神经网络的分级算法应用76于图像或其他传感器数据可开始于获取82一个或多个未分级图像，以及获取84涉及同一时间段(例如，在同一时间段内或附近全部收集到)的其他未分级传感器数据。可收集如此获取的一个或多个未分级图像和其他未分级传感器数据并将其视为“输入数据”。因此，该输入数据可馈送到人工神经网络，人工神经网络为相应组78的每个级别80生成86相关性分数(例如，置信度的百分比)。

例如，如果人工神经网络训练成区分两个级别80(例如，降水状况和无降水状况)，则人工神经网络可生成86两个相关性分数。具体地，人工神经网络可输出指示输入数据对应于第一级别80的置信度的第一百分比以及指示输入数据对应于第二级别80的置信度的第二百分比。

此后，可确定88是否已满足一个或多个可用的阈值。亦即，根据各相关性分数的大小(例如，一个级别80的百分比是否高于特定阈值，所有其他级别80的百分比是否低于特定阈值或二者)、各相关性分数之间的差(例如，一个级别80的百分比与所有其他级别80的百分比之间的差或间隔是否高于特定阈值)等或者其组合，相应的输入数据可分为一个级别或状况或者其他级别或状况。

例如，在最简单的情况下，阈值可设置为“50％”。因此，在两个级别的情况下(例如，降水或无降水)，如果一个级别80记录为高于其他级别，则可满足该阈值。可供选择地，阈值可设置为高于50％(例如，在大约55％至大约85％的范围内的某处)。在这样的实施例或情况下，不能通过哪个级别80或状况具有最高的相关性分数来解决关于周围环境是否指示一个级别80的总体确定88。相反，如同法律诉讼中的更高的举证责任，该阈值可确保分级并非仅仅倾向于，而是明确或强烈地倾向于一个级别80而超过了所有其他级别。因此，可设置一个或多个阈值以降低关于一个或多个级别80的误报数。

如果确定88指示不存在第一级别80a或“无降水或降水影响”状况，则神经网络模块56或其人工神经网络可表明90存在无降水或降水影响状况(例如，无雨状况)，并且系统12可采取92与该状况相符的一个或多个动作。

这样的动作可包括使车辆10处于其所处的状态、停用某些刮水片或灯、改变某些牵引力控制设置或以其他方式使相应车辆10返回到对应于无降水或降水影响的“正常”操作状态。系统12还可在再次获取82、84新的输入数据并且开始分级过程之前进入保持模式并且等待一段时间(例如，10秒、30秒、1分钟、5分钟、10分钟等)。

相反，如果确定88指示存在特定组78内的某些其他级别80或降水状况(例如，在每小时大约0.5至大约2英寸之间的降雨)，则神经网络模块56或其人工神经网络可表明94存在特定降水状况，并且系统12可采取96与该状况相符的一个或多个动作。

这样的动作可包括使车辆10a处于其所处的状态、激活某些刮水片或灯、改变某些刮水片的速度、改变某些牵引力控制设置、向驾驶员发出一个或多个警告、将特定降水状况传送到通信系统22或某些其他车辆10b或以其他方式使相应车辆10准备适应与特定降水状况相对应的操作状态。系统12还可在再次获取82、84新的输入数据并且开始分级过程之前进入保持模式并且等待一段时间(例如，10秒、30秒、1分钟、5分钟、10分钟等)。在某些实施例中，这样的动作可包括当确定用户在下雨时打开车辆10的车门并且打算离开车辆10时打开专门设计的雨伞或雨衣室等。

根据本发明的系统12可在相应车辆10正在运行时连续地或周期性地处理来自一个或多个传感器14、16的数据以确定当前降水状况。可供选择地，只有当满足某些前提条件时，系统12才会处理来自一个或多个传感器14、16的数据以确定当前降水状况。例如，只有当相应地理位置的天气预报信息指示某种气象降水的可能性时，系统12才会处理这样的数据。

在所选择的实施例中，在通过系统12采取92、96一个或多个动作之后，过程76可结束或者循环回去并且重新开始。可供选择地，过程76可继续以便利用人类反馈来改进系统12。例如，在某些实施例中，系统12可在根据本发明的过程76内的某一时刻接收98来自人类(例如，人类驾驶员)的反馈。该反馈可指示哪个级别80或状况对应于哪个输入数据。因此，该反馈和相应的输入数据可成为用来更新100和/或重新训练人工神经网络的训练数据。可供选择地，或除此之外，这样的反馈可用来调整或微调在过程76中使用的一个或多个阈值。

参考图6，在根据本发明的所选择的过程中，可利用人工神经网络来处理图像数据，而可利用其他信号处理技术来处理其他传感器数据。例如，在所示的过程102中，可由人工神经网络获取82并且处理一幅或多幅图像(例如，面向前方的摄像机14a、面向后方的摄像机14b、舱内摄像机14c捕捉的一幅或多幅图像)，而可通过滤波、使用计数器和锁相回路等或其组合来获取84并且处理加速度计数据(例如，表征挡风玻璃的振动的加速度计数据)。

在某些实施例中，一旦获取到82，就可利用包含递归神经网络的复杂计算机视觉技术来分析一幅或多幅图像以对驾驶员可视性的水平进行建模和预测。例如，基于从舱内摄像机14c获取到82的一幅或多幅图像，系统12可预测驾驶员是否想要打开挡风玻璃刮水器。

在所选择的实施例中，系统12可获取82并且利用一系列图像来预测降雨。这可包括应用仅利用几幅图像就成功操作的可适应阈值技术。因此，所获取82的图像可通过不同的摄像机参数(例如，景深、曝光设置等)来拍摄并且馈送到人工神经网络，人工神经网络可生成104对应于多个级别中的每个级别的相关性分数。此后的某一时间，可将一个或多个阈值与相关性分数进行比较以确定106适当的降水状况80(例如，确定106表明特定降水状况80是否适当)。

在某些实施例中，一个或多个加速度计可安装在车辆的挡风玻璃上。因此，由撞击挡风玻璃的雨滴、冰雹或其他降水或降水影响产生的振动会在加速度计上产生有区别的信号。可对一个或多个加速度计输出的信号进行滤波108(例如，经由低通滤波器)以定位和区分降水或降水影响所造成的变化。对该信号的分析110(例如，使用计数器和锁相回路)可提供降水率的估计。因此，系统12可做出或确定112降水预测(例如，是否存在降水或降水影响的指示)和/或最佳的刮水器速度。此后的某一时间，可将一个或多个阈值与一个或多个这些输出进行比较以确定114适当的降水状况80(例如，确定106表明特定降水状况80是否适当)。

在所选择的实施例中，如果对应于一幅或多幅图像的确定106和对应于加速度计数据的确定114二者均表明特定降水状况80，则系统12可采取与该状况80相符的动作116。例如，系统12可指示116一个或多个刮水器以一种或多种确定的刮水器速度操作。相反，如果确定106、114的其中一者或二者未能最终识别出特定降水状况80，则可不采取或实施任何动作(例如，改变)，直到其他图像和/或加速度计数据最终表明特定降水状况80。这可有助于消除比系统12什么都不做(例如，不对车辆10的功能做出改变)将更让驾驶员烦恼或分心的误报。

参考图7，在根据本发明的所选择的过程中，可利用人工神经网络来处理图像数据，而可利用其他信号处理技术来处理多种类型的其他传感器数据。例如，在所示的过程118中，可由人工神经网络获取82并且处理一幅或多幅图像，而可通过滤波108、使用110计数器和锁相回路等或其组合来获取84a并且处理加速度计数据，以及可以以某种期望的方式获取84b并且处理120摩擦数据(例如，表征车轮打滑、车辆10的一个或多个轮胎和相应驾驶地面之间的摩擦粘着力或接合等或者其组合的数据)。

在某一时刻，可将一个或多个阈值与摩擦数据进行比较以确定114适当的降水状况80(例如，确定106表明特定降水状况80是否适当)。因此，如果对应于一幅或多幅图像的确定106、对应于加速度计数据的确定114以及对应于摩擦数据的确定122均表明特定降水状况80，则系统12可采取与该状况80相符的动作116(例如，指示116一个或多个刮水器以一种或多种确定的刮水器速度操作)。相反，如果任何确定106、114、122均未能最终识别出特定降水状况80，则可不采取或实施任何动作(例如，改变)，直到其他图像、加速度计数据以及摩擦数据最终表明特定降水状况80。同样，这可有助于消除误报。

在根据本发明的过程62、76、102、118中，给予图像数据或图像数据的分级的权重可不等于给予其他传感器数据或基于其他传感器数据的确定的权重。类似地，给予一种类型的其他传感器数据(例如，加速度计数据)或基于一种类型的其他传感器数据的确定的权重可不等于给予另一种类型的其他传感器数据(例如，摩擦数据)或基于另一种类型的其他传感器数据的确定的权重。相反，可应用不同的权重以便优先考虑已证明在特定情况下更有用的数据、分级、确定等。

例如，与加速度计数据相比，图像数据(例如，摄像机收集到的图像数据)在检测雪(例如，正在下落的雪或已经在地面上的雪)的存在时会更有用。因此，在所选择的实施例或情况下，当温度计读取与雪相符的温度时，可对图像数据或基于图像数据的分级进行加权，使其权重高于加速度计数据或基于加速度计数据的确定的权重。在所选择的实施例中，随着人工神经网络(例如，单个通用人工神经网络)的训练，可“烤入(bakein)”这种差异化加权。在其他实施例中，可基于经验或期望手动编入这种差异化加权。

图3以及图5至图7中的流程图示出了依据根据本发明的各种实施例的系统、方法以及计算机程序产品的可能实施方式的架构、功能以及操作。在这点上，流程图中的每个框可代表模块、段或部分代码，该模块、段或部分代码包括用于实现规定逻辑功能的一个或多个可执行指令。还要注意的是，流程图的每个框以及流程图中的框的组合可由执行规定功能或动作的专用的基于硬件的系统或者专用硬件和计算机指令的组合来实现。

还应当注意的是，在一些可供选择的实施方式中，框中记载的功能可不按附图中记载的顺序发生。在某些实施例中，实际上，连续示出的两个框可实质上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所包含的功能。可供选择地，如果不需要的话，则可以省略某些步骤或功能。

在以上公开中，已参考构成本发明一部分的附图，并且在附图中通过举例说明的方式示出了可实践本发明的具体实施方式。应该理解的是，可利用其他实施方式，并且在不脱离本发明的范围的情况下可做出结构变化。说明书中对“一个实施例”、“实施例”、“示例实施例”、“所选择的实施例”、“某些实施例”等的引用表明所述的一个实施例或多个实施例可包括特定特征、结构或者特点，但是不必每个实施例都包括该特定特征、结构或者特点。而且，这种措词未必指的是相同的实施例。进一步地，当与实施例有关地描述特定特征、结构或者特点时，主张的是，不论是否做出明确的描述，结合其他实施例影响该特征、结构或者特点是在本领域技术人员的认知内。

本文中所公开的系统、装置以及方法的实施方式可包括或者利用包括计算机硬件的专用或者通用计算机，比如，像本文中所讨论的，该计算机硬件为例如一个或多个处理器和系统存储器。本发明范围内的实施方式还可包括用于携带或者存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。该计算机可读介质可为能够由通用或者专用计算机系统来存取的任何可用的介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质为传输介质。因此，通过举例并且不受限制的方式，本发明的实施方式可包括至少两种明显不同类型的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、光盘只读存储器(Compact Disc Read-OnlyMemory，CD-ROM)、固态驱动器(Solid State Drive，“SSD”)(例如，基于随机存取存储器)、闪速存储器、相变存储器(Phase-Change Memory，“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或者其他磁性存储装置，或者能够用来存储计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取的任何其他介质。

本文中所公开的装置、系统以及方法的实施方式可通过计算机网络进行通信。“网络”定义为能够实现电子数据在计算机系统和/或模块和/或其他电子装置之间进行传输的一条或多条数据链路。当通过网络或者另外的通信连接(硬连线、无线或者硬连线或无线的结合)向计算机传递或者提供信息时，该计算机将该连接适当地视为传输介质。传输介质可包括网络和/或数据链路，其能够用来携带计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取。以上所述的组合也应该包含在计算机可读介质的范围内。

计算机可执行指令包括例如当在处理器执行时使通用计算机、专用计算机或者专用处理装置执行某个功能或者功能组的指令和数据。计算机可执行指令可为例如二进制数、中间格式指令(例如汇编语言)乃至源代码。尽管以特定于结构特征和/或方法动作的语言描述了本发明的主题，但是应该理解的是，所附权利要求中限定的主题未必受限于上文描述的所述特征或者动作。相反，所述特征和动作被公开为实施权利要求的示例形式。

本领域的技术人员将领会的是，可在具有多种计算机系统配置的网络计算环境中实践本发明，该计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或者可编程的消费电子产品、网络个人计算机(Personal Computer，PC)、小型计算机、大型计算机、移动电话、个人数字助理(Personal Digital Assistant，PDA)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。还可在分布式系统环境中实践本发明，在该分布式系统环境中，经由网络(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路和无线数据链路的结合)连接起来的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可位于本地和远程存储装置中。

进一步地，在适当的情况下，本文中所述的功能可在硬件、软件、固件、数字部件或者模拟部件的一个或多个中执行。例如，一个或多个专用集成电路(application specificintegrated circuit，ASIC)可编程为实现本文中所述的一个或多个系统和程序。某些术语在说明书和权利要求书中始终用来指特定的系统部件。如本领域的技术人员将领会的，可用不同的名称指称部件。本文并非意在区分名称不同而不是功能不同的部件。

应该注意的是，上文所讨论的传感器实施例可包括用来执行其至少一部分功能的计算机硬件、软件、固件或其任意组合。例如，传感器可包括配置成在一个或多个处理器中执行的计算机代码，并且可包括由该计算机代码控制的硬件逻辑/电气电路。本文中提供这些示例装置的目的是为了举例说明，而非意在做出限制。如相关技术领域的技术人员将已知的，本发明的实施例可在更多类型的装置中实现。

本发明的至少一些实施例是针对包括存储在任何计算机可用介质上的这种逻辑(例如，以软件的形式)的计算机程序产品。当在一个或多个数据处理装置中执行时，这种软件使装置像本文中描述的那样运行。

虽然上文已描述了本发明的各种实施例，但是应该理解的是，这些实施例只是通过示例的方式来呈现，而并非是限制性的。对相关技术领域的技术人员而言，将显而易见的是，在不脱离本发明的精神和范围的情况下，能够对本发明做出各种形式和细节上的改变。因此，本发明的广度和范围不应该受到上述任何示范性实施例的限制，而是应该只根据如下权利要求及其等同范围来限定。呈现前文的描述是为了阐述和说明。其并非意在穷举或者将本发明限制成所公开的确切形式。根据上文的教导可做出很多修改和变化。进一步地，应该注意的是，可通过期望用来形成本发明额外的混合实施方式的任何组合来使用任何或者所有前述替代实施方式。

在不脱离本发明的精神或基本特征的情况下，本发明可体现为其他具体形式。所述实施例在各个方面都将仅视为说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述来表示。在权利要求的等同含义和范围内的所有改变都将包含在其范围内。

Claims (15)

1.一种车辆，包括：

摄像机，所述摄像机输出图像数据；

挡风玻璃；

加速度计，所述加速度计输出表征所述挡风玻璃的振动的加速度计数据；

人工神经网络，所述人工神经网络被训练用于利用作为输入的所述图像数据和所述加速度计数据来对所述车辆的环境中的气象降水进行分级；以及

至少一个致动器，所述至少一个致动器基于所述人工神经网络做出的分级来控制所述车辆的至少一种功能。

2.根据权利要求1所述的车辆，其中所述摄像机固定于所述车辆并且定向成面向前方或面向后方。

3.根据权利要求1所述的车辆，其中所述图像数据包括所述摄像机在小于十秒的时段内捕捉到的多幅连续图像。

4.根据权利要求3所述的车辆，进一步包括至少一个挡风玻璃刮水器，并且其中所述至少一种功能包括所述至少一个挡风玻璃刮水器的速度。

5.根据权利要求1所述的车辆，进一步包括传动系传感器，所述传动系传感器输出表征一个或多个轮胎和驾驶地面的摩擦接合的摩擦数据。

6.根据权利要求5所述的车辆，其中所述人工神经网络被训练用于至少部分基于所述图像数据、所述加速度计数据以及所述摩擦数据中的每一者来对气象降水进行分级。

7.根据权利要求1所述的车辆，进一步包括牵引力控制系统，并且其中所述至少一种功能包括所述牵引力控制系统的设置。

8.根据权利要求1所述的车辆，其中所述人工神经网络被训练用于对至少三个级别的气象降水进行分级，所述至少三个级别包括无降雨、低于第一降水率的降雨以及高于第二降水率的降雨，所述第二降水率等于或大于所述第一降水率。

9.一种方法，包括：

由车辆上携带的计算机系统接收摄像机捕捉到的图像数据，所述摄像机定向成相对于所述车辆面向前方或面向后方，其中所述图像数据包括所述摄像机在一段时间内捕捉到的至少一幅图像；

由所述计算机系统接收固定于所述车辆的挡风玻璃的加速度计输出的加速度计数据，其中所述加速度计数据表征所述挡风玻璃在所述一段时间期间的振动；

由在所述计算机系统上运行的人工神经网络接收作为输入的所述图像数据和所述加速度计数据；

由所述人工神经网络基于所述输入生成关于至少三个级别的气象降水的分级分数，所述至少三个级别包括无降雨、低于第一降水率的降雨以及高于第二降水率的降雨，所述第二降水率等于或大于所述第一降水率；以及

由所述计算机系统基于所述人工神经网络生成的所述分级分数来控制所述车辆的至少一种功能。

10.根据权利要求9所述的方法，其中：

所述图像数据包括所述摄像机在所述一段时间内捕捉到的多幅连续图像；以及

所述一段时间小于十秒。

11.根据权利要求10所述的方法，其中所述车辆包括至少一个挡风玻璃刮水器，并且其中所述至少一种功能包括所述至少一个挡风玻璃刮水器的速度。

12.根据权利要求9所述的方法，其中所述车辆进一步包括传动系传感器，所述传动系传感器输出表征一个或多个轮胎和驾驶地面的摩擦接合的摩擦数据。

13.根据权利要求12所述的方法，进一步包括由所述人工神经网络接收作为所述输入的所述图像数据、所述加速度计数据以及所述摩擦数据。

14.根据权利要求13所述的方法，其中所述车辆进一步包括牵引力控制系统，并且其中所述至少一种功能包括所述牵引力控制系统的设置。

15.根据权利要求9所述的方法，其中所述车辆进一步包括通信系统，所述通信系统将所述人工神经网络做出的一个或多个分级传送到所述车辆之外的硬件。