CN113196101A - 探测水坑和积水 - Google Patents

Abstract

本公开涉及了探测积水。在一个示例中，包括一个或多个处理器的系统可被配置为接收由车辆的感知系统生成的传感器数据，其中，传感器数据与车辆周围的区域相对应。一个或多个处理器可识别传感器数据不存在的区域中的位置，并接收与该区域相对应的地图信息，其中，地图信息包括路面位置。一个或多个处理器可确定与地图信息中的一个或多个路面位置相对应的位置；以及基于与地图信息中的一个或多个路面位置相对应的位置的确定，输出该位置处存在积水的指示。

Description

探测水坑和积水

本申请要求2018年12月13日提交的第16/218926号美国申请的利益，其全部公开内容通过引用并入本文。

背景技术

自动驾驶车辆，诸如在自动驾驶模式下操作时不需要人类驾驶员的车辆，可用于帮助将乘客或物品从一个位置运输到另一个位置。自动驾驶车辆的重要组成部分是感知系统，该系统允许车辆使用传感器(诸如相机、雷达、激光雷达(LIDAR)传感器和其他类似装置)感知和解释周围环境。例如，感知系统和/或车辆的计算装置可以处理来自这些传感器的数据，以便识别对象及其特征，诸如位置、形状、大小、方向、航向、加速或减速、类型等。这些信息对于允许车辆的计算系统为车辆做出适当的驾驶决策至关重要。

发明内容

本公开的方面提供了一种探测积水的方法。所述方法可包括由一个或多个处理器接收由车辆的感知系统生成的传感器数据，其中，所述传感器数据与车辆周围的区域相对应；由所述一个或多个处理器识别所述传感器数据不满足数据的阈值量的区域中的位置；由所述一个或多个处理器接收与所述区域相对应的地图信息，其中，所述地图信息包括路面位置；由一个或多个处理器确定与地图信息中的一个或多个路面位置相对应的位置；以及由所述一个或多个处理器基于与所述地图信息中的一个或多个路面位置相对应的所述位置的确定，输出所述位置处存在积水的指示。

在一些实例中，传感器数据可由LIDAR传感器生成。

在一些实例中，识别传感器数据不满足阈值量的区域中的位置包括确定区域中的传感器数据量低于阈值量。

该方法可包括识别积水的起点和终点，其中，起点和终点与接收到的信号从紧邻积水周围的区域反射回的位置相对应，并且所述起点是离车辆最近的点并且终点位于积水的相对侧。在一些示例中，该方法可包括确定积水的长度，其中，该长度是通过计算起点和终点之间的距离来确定的。

该方法可包括识别积水相对侧的对点，其中，对点与接收到的信号从紧邻积水的区域反射回的位置相对应。在一些示例中，该方法包括确定积水的宽度，其中，所述宽度是通过计算所述对点之间的距离来确定的。在一些示例中，该方法包括基于地图信息来确定所述位置处路面的最低高程(elevation)点；确定所述起点或终点的高程；和通过计算所述最低高程点和所述起点或终点高程之间的距离来确定积水的深度。

该方法可包括基于该位置有积水的指示来调整车辆的操作。

该方法可包括确定该位置处存在积水的指示的置信值；以及在置信值满足阈值时调整车辆的操作。

该方法可以包括捕获车辆周围的区域的相机图像(包括图像数据)，并且将该图像输入到模型中以识别积水的位置。在一些示例中，在由模型识别积水位置时，增加置信值，并且在置信值满足阈值时调整车辆的操作。

本公开的另一方面提供了一种用于探测积水的系统。所述系统可包括一个或多个处理器，其中，所述一个或多个处理器被配置为：接收由车辆的感知系统生成的传感器数据，其中，所述传感器数据与车辆周围的区域相对应；识别传感器数据不存在的区域中的位置；接收与区域相对应的地图信息，其中，所述地图信息包括路面位置；确定与地图信息中的一个或多个路面位置相对应的所述位置；以及基于与所述地图信息中的一个或多个路面位置相对应的所述位置的确定，输出所述位置处存在积水的指示。

在一些实例中，系统可包括车辆。

传感器数据可以由感知系统的LIDAR传感器生成。

所述一个或多个处理器可被配置为识别积水的起点和终点，其中，起点和终点与接收到的信号从紧邻所述积水的区域反射回的位置相对应；并且起点和终点位于积水的相对侧。在一些示例中，一个或多个处理器可被配置为确定积水的长度，其中该长度是通过计算起点和终点之间的距离来确定的。

所述一个或多个处理器可被配置为识别积水的相对侧的对点，其中，所述对点与接收到的信号从紧邻积水的区域反射回的位置相对应。在一些实例中，所述一个或多个处理器还被配置为确定积水的宽度，其中，所述宽度是通过计算所述对点之间的距离来确定的。

附图说明

图1是根据示例性实施例的示例车辆的功能图。

图2是根据本公开各方面的地图信息的示例。

图3是根据本公开各方面的车辆的示例外部视图。

图4A是根据本公开各方面的指向位置处的积水的传感器信号的示例图示。

图4B是根据本公开各个方面的指向位置并反射回的传感器信号的示例图示。

图5A是根据本公开各个方面的指向积水并反射回的传感器信号的示例图示。

图5B是根据本公开各个方面的传感器确定由传感器发送和接收的信号所经过的路径的示例图示。

图6A和6B是根据本公开各方面的雷达传感器信号的示例图示。

图7A和7B是根据本公开各个方面的指向和围绕积水的传感器信号的示例图示。

图8A和8B是根据本公开各个方面的确定积水尺寸的示例。

图9是根据本公开的各个方面的流程图。

图10是根据本公开各方面的流程图。

具体实施方式

概述

这项技术涉及探测积水，诸如水坑。车辆经常在存在水坑和其他这样的水池的情况下(统称为“积水”)操作。人类驾驶员可以改变车辆穿过积水的方式，诸如减慢车辆速度，以避免失去与路面的牵引力。在一些实例中，人类驾驶员可确定水太深而无法穿过，并且可在积水周围或远离积水的地方操纵车辆，以避免车辆与路面失去牵引力和/或车辆在积水中熄火。自动驾驶车辆不具有像人类那样对积水进行推理的相同能力，必须能够探测到积水，以便安全运输货物和/或乘客。在这方面，由于没有探测积水的能力，自动驾驶车辆在遇到积水时可能无法改变其操作参数(例如，速度、轨迹等)。因此，自动驾驶车辆可能穿过积水，这可能导致车辆失去与路面的牵引力(即，滑水)，或在一些实例中，在积水中熄火。

为了解决这些问题，自动驾驶车辆可实时探测到积水，并确定在探测到积水时应采取的适当措施。例如，自动驾驶车辆上的一个或多个传感器可以捕获与车辆附近区域相对应的传感器数据。传感器数据可由自动驾驶车辆的一个或多个计算装置分析，并且积水可被探测。在一些实例中，积水的特征，诸如其深度、长度、宽度等也可以被确定。机器学习模型可用于帮助确定车辆附近是否存在积水。根据积水的探测和特征，可确定车辆是否应执行操作。

本文所描述的特征可允许自动驾驶车辆实时探测和响应积水。通过这样做，自动驾驶车辆可以在容易发生洪水的地区操作。此外，自动驾驶车辆可以调整其行为以安全到达目的地。此外，当车辆的上下车位置被确定在积水中或附近时，自动驾驶车辆可改变其上下车位置，使其远离积水。

此外，从积水中溅出的水可能会被车辆传感器探测为对象，这可能会导致车辆突然减速、转向或执行其他操作。通过在水溅出之前探测积水，自动驾驶车辆可以在水溅出之前采取适当的操作，诸如减速或改变其轨迹。此外，当道路上的其他车辆接近或穿过积水时，自动驾驶车辆可能能够预测道路上的其他车辆操作，从而允许自动驾驶车辆采取适当的响应操作。此外，自动驾驶车辆可改变其行为，以避免溅出积水，从而避免溅出向其他车辆和/或行人。

示例系统

如图1所示，根据本公开一个方面的车辆100包括各种组件。尽管本公开的某些方面对于特定类型的车辆特别有用，但该车辆可以是任何类型的车辆，包括但不限于轿车、卡车、摩托车、公共汽车、休闲车等。该车辆可以具有一个或多个计算装置，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算装置中的其他组件的计算装置110。

存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120执行或以其他方式使用的指令134和数据132。存储器130可以是能够存储可由处理器访问的信息的任何类型，包括计算装置可读介质，或其它存储可借助电子装置读取的数据的介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其它光盘，以及其它可写和只读存储器。系统和方法可以包括上述的不同组合，其中指令和数据的不同部分存储在不同类型的媒体上。

指令134可以是由处理器直接(诸如机器代码)或间接(诸如脚本)执行的任何指令集。例如，指令可以作为计算装置代码存储在计算装置可读介质上。在这方面，术语“指令”和“程序”可在本文中互换使用。指令可以以目标代码格式存储以供处理器直接处理，或者以任何其他计算装置语言(包括按需解译或预先编译的独立源代码模块的脚本或集合)存储。下面将更详细地说明指令的功能、方法和例程。

处理器120可根据指令134检索、存储或修改数据132。例如，尽管所要求保护的主题不受任何特定数据结构的限制，但数据可作为具有多个不同字段和记录的表、XML文档或平面文件存储在计算装置寄存器中的关系数据库中。数据还可以被格式化为任何计算装置可读的格式。

一个或多个处理器120可以是任何常规处理器，诸如商用CPU或GPU。或者，一个或多个处理器可以是专用装置，诸如ASIC或其他基于硬件的处理器。尽管图1在功能上示出了计算装置110的处理器、存储器和其他元件在相同块中，但是本领域的普通技术人员将理解，处理器、计算装置或存储器实际上可以包括多个处理器、计算装置、或者存储器，其可以存储或者可以不存储在相同物理外壳中。例如，存储器可以是位于不同于计算装置110的外壳中的硬盘驱动器或其它存储介质。因此，对处理器或计算装置的引用将被理解为包括对处理器或计算装置或存储器的集合的引用，这些处理器或计算装置或存储器可以并行操作，也可以不并行操作。

计算装置110可以是通常使用与诸如上述处理器和存储器的计算装置以及用户输入150(诸如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕或任何其他可操作的电子装置来显示信息的显示器)相连的所有组件。在此示例中，车辆包括内部电子显示器152以及一个或多个扬声器154以提供信息或视听体验。就此而言，内部电子显示器152可位于车辆100的车厢内，并可由计算装置110用于向车辆100内的乘客提供信息。

计算装置110还可以包括一个或多个无线网络连接156，以便于与其他计算装置(诸如下面详细描述的客户端计算装置和服务器计算装置)的通信。无线网络连接可以包括短距离通信协议(诸如蓝牙、蓝牙低能量(LE)、蜂窝连接)、以及各种配置和协议(包括因特网、万维网、内部网、虚拟专用网、广域网、局域网、使用一个或多个公司专有的通信协议、以太网、WiFi和HTTP的专用网络)、以及上述各项的各种组合。

在一个示例中，计算装置110可以是并入车辆100中的自主驾驶计算系统。自主驾驶计算系统可以能够与车辆的各种组件通信，以便在自主驾驶模式下控制车辆。例如，回到图1，计算装置110可以与车辆100的各种系统进行通信，诸如减速系统160、加速系统162、转向系统164、信号系统166、规划系统168、定位系统170和感知系统172，以便在自动驾驶模式下，根据存储器130的指令134，控制车辆100的移动、速度等。同样，尽管这些系统被示出为计算装置110的外部，但实际上，这些系统也可以作为用于控制车辆100的自主驾驶计算系统被并入计算装置110中。

例如，计算装置110可以与减速系统160和加速系统162交互以控制车辆的速度。类似地，转向系统164可由计算装置110使用以控制车辆100的方向。例如，如果车辆100(诸如汽车或卡车)被配置为在道路上使用，则转向系统可包括控制车轮角度以转动车辆的组件。信号系统166可由计算装置110使用，以便例如通过在需要时点亮转向灯或制动灯，向其他驾驶员或车辆发出车辆意图的信号。

规划系统168可由计算装置110使用以确定并遵循到位置的路线。就此而言，规划系统168和/或数据132可存储详细的地图信息，例如，识别道路、车道线、交叉口、人行横道、速度限制、交通信号、建筑物、标志、实时交通信息、停车点、植被、或其他这样的对象和信息的形状和高程的高度详细的地图。

图2是包括交叉口202和204的道路部分的地图信息200的示例。地图信息200可以是存储在计算装置110的存储器130中的地图信息的本地版本。在该示例中，地图信息200包括识别形状、位置、以及车道线210、212、214、交通灯220、222、停车线224、人行横道230、232、人行道240和交通标志250、252的其他特征的信息。本文将地图信息描述为基于图像的地图，地图信息不需要完全基于图像(例如，光栅)。例如，地图信息可以包括一个或多个道路图或信息的图形网络，诸如道路、车道、交叉口以及这些特征之间的连接，这些特征可以由路段表示。每个特征可以被存储为图形数据，并且可以与诸如地理位置和它是否被链接到其他相关特征的信息相关联，例如，停车标志可以被链接到道路和交叉口等。在一些示例中，相关联的数据可以包括基于栅格的道路图索引，以允许有效地查找某些道路图特征。

定位系统170可由计算装置110使用以确定车辆在地图或地球上的相对或绝对位置。例如，定位系统170可以包括GPS接收器以确定装置的纬度、经度和/或高度位置。其他定位系统，诸如基于激光的定位系统、惯性辅助GPS或基于相机的定位也可用于识别车辆的位置。车辆的位置可以包括绝对地理位置，诸如纬度、经度和高度，以及相对位置信息，诸如相对于紧邻其周围的其他车辆的位置，该位置通常可以在该绝对地理位置噪声较小的情况下确定。

定位系统170还可包括与计算装置110通信的其它装置，诸如加速计、陀螺仪或其它方向/速度探测装置，以确定车辆的方向和速度或其变化。仅作为示例，加速装置可确定其相对于重力方向或与其垂直的平面的俯仰、偏航或侧倾(或其变化)。该装置还可以追踪速度的增加或减少以及这样的变化的方向。如本文所述的装置对位置和方向数据的提供可以自动地提供给计算装置110、其他计算装置和前述的组合。

感知系统172还包括一个或多个组件，用于探测车辆外部的对象，诸如其他车辆、道路障碍物、交通信号、标志、树等。例如，感知系统172可以包括激光、声纳、雷达、相机和/或记录可由计算装置110处理的数据的任何其他探测装置。在车辆是乘用车，诸如小型货车的情况下，小型货车可包括安装在车顶或其他方便位置的激光或其他传感器。例如，图3是车辆100的外部视图示例。在此示例中，车顶外壳310和圆顶外壳312可包括LIDAR传感器以及各种相机和雷达单元。此外，位于车辆100前端的外壳320和位于车辆驾驶员侧和乘客侧的外壳330、332可各自存储LIDAR传感器。例如，外壳330位于驾驶员门360前面。车辆100还包括外壳340、342用于雷达装置和/或相机，也位于车辆100的车顶上。附加的雷达装置和相机(未显示)可位于车辆100的前端和后端和/或沿车顶或车顶外壳310的其他位置。

在一个示例中，计算装置110可以是自主驾驶计算系统的控制计算装置，或者并入车辆100中。自主驾驶计算系统可以能够与车辆的各种组件通信，以便根据存储器130的主车辆控制代码来控制车辆100的移动。例如，回到图1，计算装置110可以与车辆100的各种系统通信，诸如减速系统160、加速系统162、转向系统164、信号系统166、规划系统168、定位系统170、感知系统172，以及动力系统174(即，车辆的发动机或马达)，以便根据存储器130的指令134控制车辆100的运动、速度等。同样，尽管这些系统被显示为计算装置110的外部，但实际上，这些系统也可以被并入计算装置110中，再次作为用于控制车辆100的自主驾驶计算系统。

车辆的各种系统可以使用自动车辆控制软件来确定如何控制车辆。例如，感知系统172的感知系统软件模块可以使用由自动驾驶车辆的一个或多个传感器(诸如相机、雷达传感器、雷达单元、声纳单元等)生成的传感器数据来探测和识别对象及其特征。这些特征可能包括位置、类型、航向、方向、速度、加速度、加速度变化、大小、形状等。在一些实例中，特征可以输入到行为预测系统软件模块中，该软件模块使用基于对象类型的各种行为模型来输出探测到的对象的预测的未来行为。在其它实例中，可将特征放入一个或多个探测系统软件模块中，诸如被配置为探测已知交通信号的状态的交通灯探测系统软件模块、被配置为探测从车辆的一个或多个传感器生成的传感器数据构造区的构造区探测系统软件模块、以及被配置为从车辆的传感器生成的传感器数据探测应急车辆的应急车辆探测系统。这些探测系统软件模块中的每一个可以使用各种模型来输出建筑区域或对象是应急车辆的可能性。探测到的对象、预测的未来行为、来自探测系统软件模块的各种可能性、识别车辆环境的地图信息、来自识别车辆位置和方向的定位系统170的位置信息、车辆的目的地以及来自车辆的各种其它系统的反馈可以输入到规划系统168的规划系统软件模块中。规划系统和/或计算装置110可以使用该输入来生成车辆在未来一段短时间内遵循的路线和轨迹。计算装置110的控制系统软件模块可被配置为例如通过控制车辆的制动、加速和转向来控制车辆的运动，以便遵循轨迹。

计算装置110可以通过控制各种组件来控制车辆。例如，举例来说，计算装置110可以使用来自详细地图信息和规划系统168的数据完全自主地将车辆导航到目的地位置。计算装置110可以使用定位系统170来确定车辆的位置和感知系统172，以便在需要安全到达目的地时探测和响应对象。同样，为了这样做，计算装置110可以生成轨迹并使车辆遵循这些轨迹，例如，通过使车辆加速(例如，通过加速系统162向发动机或动力系统174提供燃料或其他能量)、减速(例如，通过减少供应给发动机或动力系统174的燃油、换挡、和/或通过减速系统160施加制动)、改变方向(例如，通过转向系统164转动车辆100的前轮或后轮)、并发出这样的改变的信号(例如，通过点亮信号系统166的转向信号)。因此，加速系统162和减速系统160可以是传动系统的一部分，传动系统包括车辆发动机和车轮之间的各种组件。同样，通过控制这些系统，计算装置110还可以控制车辆的传动系统，以便自主地操纵车辆。

示例方法

除了上述和图中所示的操作之外，现在将描述各种操作。应当理解，以下操作不必按照下面描述的精确顺序执行。相反，可以以不同的顺序或同时处理各种步骤，并且还可以添加或省略步骤。

诸如车辆100的计算装置110的自动驾驶车辆的计算装置可以分析从感知系统172接收的传感器数据以探测积水。在这方面，LIDAR传感器可以发送信号并接收回从车辆附近对象反射回的信号。基于接收到的信号，LIDAR可以确定诸如树、其他车辆、路面等对象是否在车辆附近，以及它们与车辆的各自距离。当积水与传感器的距离超过一定距离(诸如10米或上下)时，发送的接触积水的LIDAR信号可能无法反射回传感器。因此，当传感器与积水的距离超过一定距离时，对于存在积水的位置，LIDAR传感器可能产生很少或没有传感器数据(基于接收回的LIDAR信号)。例如，如图4A所示，当自动驾驶车辆100的LIDAR传感器412与积水的距离大于一定距离时，诸如距离“X”，由LIDAR传感器412发送的LIDAR信号(由虚线422示出)可能不会从积水432反射回。换句话说，如箭头445所示，LIDAR信号422从LIDAR传感器412发出，但是没有从积水432接收回，因为信号可能被积水散射而不是反射回。因此，基于由LIDAR传感器接收到的LIDAR信号产生的传感器数据可以包括与积水432的位置434相对应的少量(如果有的话)数据。相比之下，如图4B所示，在位置434处不存在积水432且自动驾驶车辆100的LIDAR传感器412距离位置434一定距离“X”的情况下，LIDAR信号(如实线423所示)可由LIDAR传感器412发送和接收回，如双面箭头446所示。因此，基于由LIDAR传感器412接收到的LIDAR信号423生成的传感器数据(接收到的传感器数据)可以包括与位置434相对应的数据。

计算装置110可以将接收到的传感器数据与地图信息进行比较，以便确定路面是否被映射到没有接收到传感器数据的位置。在这方面，对于传感器数据量，特别是LIDAR传感器数据量低于阈值的位置，或者对于几乎没有对应传感器数据的所有位置，计算装置110可以将接收到的传感器数据覆盖在与没有或很少传感器数据被接收到的位置相对应的地图信息(诸如地图信息200)上。在这方面，阈值可以对应于在传感器数据中提供的多个LIDAR传感器数据点，这些数据点位于距离车辆给定距离的路面预期位置或附近的某些给定区域或空间体积。在一些实例中，阈值可基于地图信息。在这方面，地图信息可以包括路面被映射时的每个部分的反射率(即，信号返回的强度)。阈值可以是在路面被映射时捕获的反射率处或附近的某个反射率级别。换句话说，阈值可以根据接收到的传感器数据所对应的路面的部分而变化。

如果地图信息指示路面被映射到不存在或很少存在传感器数据的位置，则计算装置110可以确定在不存在传感器数据的位置存在积水。例如，地图信息200指示在积水432的位置处存在道路216。因此，计算装置可以确定传感器数据的缺乏指示积水432覆盖道路216的一部分具有特定置信值。

例如，当传感器数据包括来自垂直反射的信号时，可以增加对存在积水的确定的置信。在这方面，当车辆100向探测到积水的位置行驶时，计算装置110可以监测传感器数据的垂直反射(即，从积水表面和其他对象反射的信号)。例如，如图5A所示，当LIDAR传感器412在一定距离“X”内时，LIDAR信号(图示为实线522和562)可由LIDAR传感器412发送和接收回，如双面箭头546所示。在这方面，LIDAR信号562可由LIDAR传感器412发送，并在从树442反射后反射回LIDAR传感器。由LIDAR传感器发送的信号522可从积水432反射，然后从树442反射。在从树442反射后，信号522可以反转方向并且再次从积水432反射(bounce off)，并且由LIDAR传感器412接收回。

LIDAR传感器412可能无法确定接收到的传感器数据是从积水432和树442表面反射的信号522的结果。而是，接收到的传感器数据可能指示接收到的信号522，包括与树442相对应的接收数据，都来自于积水下方。例如，如图5B所示，标记为522a的信号522的第一部分可能在LIDAR传感器412看来继续通过积水432，如虚线524所示，而不是如实际发生的和如图5A所示从积水432的表面反射。因此，LIDAR传感器412和/或计算装置110可以认为接收回的信号是522a和524的组合，522a和524被发送和从位于积水432下方的树(如虚线443所示)反射。信号522a和524被发送和反射回的方向由双面箭头546所示，如由LIDAR传感器或一些处理器确定的。

为了确定接收到的LIDAR信号是否是垂直反射，计算装置110可以将接收到的传感器数据与从其他传感器接收到的数据(诸如相机图像)进行比较。就此而言，计算装置110可反转接收到的传感器数据，其指示接收到的LIDAR信号来自积水424的下方(例如，图5B的信号522a和524)。反转的传感器数据可以被叠加在一个或多个相机图像上，以确定反转的传感器数据是否与相机图像中捕获的一个或多个对象对齐。如果传感器数据与相机图像中的一个或多个对象对齐，则可以增加确定该位置处的积水的置信值。例如，如果包括对应于树443的数据的反转传感器数据与在一个或多个相机图像中捕获的树442相对应，则置信值可以增加。在确定积水的置信值满足阈值时，车辆可采取如下所述的措施。

在一些实例中，可将与图像的一部分相对应的接收到的LIDAR传感器数据与与图像的另一部分相对应的接收到的传感器数据进行比较。在这方面，如图5中进一步所示，反转的传感器数据可以被叠加在与从不同传感器信号(诸如来自LIDAR传感器412的另一信号)接收的数据相对应的传感器数据562上，计算装置110可以确定在具有特定置信值的位置处存在积水。在来自多个传感器的传感器数据与反转的传感器数据对齐(alight)的情况下，置信值可以增加。

在一些实例中，计算装置可以使用雷达信号来探测积水。例如，由于振动和风的作用，积水表面可能在运动，而路面通常是静止的。因此，路面，诸如如图6A所示的道路601的路面，以一致的频率反射雷达信号610。相反，如图6B所示，从积水表面(诸如积水表面632)反射的雷达信号611将具有指示由水面运动引起的多普勒效应的变化频率。因此，自动驾驶车辆的一个或多个计算装置，诸如自动驾驶车辆100的计算装置110，可以确定在雷达传感器接收指示多普勒效应的信号的路面上存在积水。在一些实例中，使用雷达信号探测积水可用于进一步增加确定积水的置信值。

积水的尺寸(例如长度和宽度)、以及面积的近似值可以由计算装置110可以根据接收到的LIDAR信号和地图信息来确定。在这方面，如本文所述，在存在积水的位置处可能不接收LIDAR信号。因此，一个或多个计算装置110可以计算从紧邻积水周围的位置反射的接收信号之间的距离，以确定积水的长度和宽度。在这方面，可以测量积水的相对侧的点之间的距离，以确定积水的尺寸，例如长度和宽度。

例如，如图中接近积水740的车辆100的俯视图和侧视图7A和7B所示，LIDAR信号710和711可能不会被LIDAR传感器412接收回。用于说明信号710和711的虚线指示信号被LIDAR传感器412发送但不会被接收回。然而，进一步如图7A和7B所示，从紧邻在积水740周围的位置反射回的信号720、721、722和723，可能被LIDAR传感器412接收。用于说明信号720、721、722和723的实线指示信号由LIDAR传感器412被发送和被接收回。

分别被示为点730、731、732和733的接收信号720、721、722和723被反射的位置之间的距离可被确定以确定积水的长度和/或宽度。例如，如图8A所示，位于积水740相对侧的点730和731之间的距离可确定为指示积水740的宽度(标记为“X”)。点732和733可对应于紧邻积水周围的相对侧的最远位置。位于积水740相对侧的点732和733之间的距离可以确定，以指示积水740的长度(标记为“Y”)。积水面积的近似值可以通过积水长度乘以宽度来确定。

可以由计算装置110通过将在积水周围接收到的信号位置与指示积水内最低路面高度的地图信息进行比较来确定积水的深度。例如，如图8B所示，积水740的表面741相对于地面830形成基本上的直线。因此，一个或多个计算装置，诸如计算装置110，可以诸如从地图数据检索路面高度，在接收到的LIDAR信号指示积水开始和结束的位置处(例如，点732和733)。然后，计算装置110可以从地图信息检索起点和终点之间的路面最低点，如图8B中的点734所示。然后可以从起点733或终点732处的路面高度中减去最低点的高度，以确定积水的深度，如图8B中的深度“Z”所示。

在一些实例中，一旦确定积水的置信值满足阈值，就可以确定水的长度、宽度和/或深度。通过这样做，可进一步细化自动驾驶车辆响应于探测到积水而采取的动作，如本文所述。

另外或替代地，可以使用机器学习模型来确定由车辆的相机传感器捕获的图像是否包括积水。该模型可包括分类器，诸如神经网络、深度神经网络、决策树、增强树等。机器学习模型的生成可包括训练该模型以识别积水。训练机器学习模型可包括检索包括积水图像的训练数据。模型的训练数据可以以各种方式从图像集生成。例如，操作员可以通过查看图像并在积水周围绘制边界框，在图像中标记积水的位置。另外或替代地，现有模型或图像处理技术可用于基于积水的特性(诸如颜色、对比度、亮度、纹理等)来标记积水的位置。LIDAR信号、音频信号和其他这样的传感器数据也可用作训练数据。在一些实例中，模型可以首先“离线”训练，即提前和/或在远程计算装置上训练，然后在车辆上发送和实现。

给定包括积水的道路图像(可被视为训练输入)和指示积水和积水位置的标签(可被视为训练输出)，模型可被训练以探测积水并输出在捕获图像中发现的积水位置。例如，模型可以接收道路的图像，并且模型还可以接收指示图像内积水位置的标签。换句话说，训练输入和训练输出被用来训练模型，使其知道它将得到什么样的输入和将产生什么样的输出。基于这些训练数据，模型可以学习识别积水及其位置。在这方面，训练可以提高模型的精度，使得用于训练模型的训练数据(输入和输出)越多，模型在识别积水和积水位置方面的精度就越高。

一旦模型被训练，它可以被发送或以其他方式加载到车辆的计算系统的存储器，诸如车辆100中的计算装置110的存储器130，中以供使用。例如，当车辆(诸如车辆100)行驶时，车辆的感知系统172可以捕获其周围环境的传感器数据。该传感器数据，包括任何图像，可以周期性地输入到模型中。然后，如果图像中存在积水，则模型可以提供积水的相应的位置。该模型可与本文所述的确定自动驾驶车辆轨迹中是否存在积水的其他技术一起使用或结合使用。机器学习模型可用作探测积水的独立系统，或与本文中的一个或多个其它方法结合使用。此外，机器学习模型输出的存在积水可能会增加存在积水的置信值。在一些实例中，机器学习模型还可以被训练来输出积水的尺寸(即，长度和宽度)。

图9是根据本公开的方面的示例流程图900，其可由一个或多个计算装置的一个或多个处理器(诸如计算装置110的处理器120)执行，以便训练机器学习模型以探测积水。在框910，接收包括图像和与图像内的积水相对应的相关联的标签的图像数据。可以使用图像数据来训练模型，使得模型被配置为响应于接收到路面上有积水的图像，输出存在积水的指示和积水的位置，如框920所示。

在置信值被提供并且满足阈值置信值时，车辆(诸如车辆100)可以采取行动来对确定存在于车辆轨迹中的路面上的积水做出相应。例如，一个或多个计算装置110可在车辆接近积水时自动降低其速度。根据积水的特征(例如，深度、宽度、长度)、行驶道路的性质和其他因素，计算装置110可改变自动驾驶车辆的轨迹以绕着积水行驶，或者在该积水的深度满足确定为可安全穿过的阈值的情况下穿过积水的位置。在置信值不满足阈值置信值或落入中等或中间范围的情况下，一个或多个计算装置110可指示自动驾驶车辆100不采取行动、减速以捕获更多数据或执行另一预防性机动，诸如改变轨道或者停下来。

图10是根据本公开的方面的示例流程图1000，其可由一个或多个计算装置的一个或多个处理器(诸如计算装置110的处理器120)执行，以便探测积水。在框1010，由车辆的感知系统生成的传感器数据被接收。传感器数据对应于车辆周围的区域。在框1020中识别该区域中的传感器数据不满足数据的阈值量的位置。与该区域相对应的地图信息被接收，并且该地图信息包括路面位置。如框1040所示，确定该位置与地图信息中的一个或多个路面位置相对应。基于确定该位置与地图信息中的一个或多个路面位置相对应，可以输出该位置处存在积水的指示，如框1050所示。

除非另有说明，否则上述替代示例不是相互排斥的，而是可以以各种组合来实现以实现独特的优点。由于可以在不脱离权利要求所限定的主题的情况下利用上述特征的这些和其他变化及组合，因此上述实施例的描述应当通过说明而不是通过限制权利要求所限定的主题来进行。此外，本文所描述的示例的规定以及措辞为“诸如”、“包括”等的条款不应被解释为将权利要求的主题限定于具体示例；相反，示例旨在仅说明许多可能实施例中的一个。此外，不同附图中的相同附图标记可以识别相同或相似的元件。

Claims (20)

1.一种探测积水的方法，所述方法包括：

由一个或多个处理器接收由车辆的感知系统生成的传感器数据，其中，所述传感器数据对应于车辆周围的区域；

由所述一个或多个处理器识别所述区域中的、所述传感器数据不满足数据的阈值量的位置；

由所述一个或多个处理器接收与所述区域相对应的地图信息，其中，所述地图信息包括路面位置；

由所述一个或多个处理器确定所述位置与所述地图信息中的一个或多个路面位置相对应；以及

由所述一个或多个处理器基于所述位置与所述地图信息中的一个或多个路面位置相对应的确定，输出所述位置处存在积水的指示。

2.根据权利要求1所述的方法，其中，所述传感器数据由LIDAR传感器生成。

3.根据权利要求1所述的方法，其中，识别所述区域中的、所述传感器数据不满足所述阈值量的位置包括确定所述区域中的传感器数据量低于所述阈值量。

4.根据权利要求1所述的方法，还包括识别积水的起点和终点，其中，所述起点和终点与接收到的信号从紧邻积水周围的区域反射回的位置相对应；和

所述起点是离所述车辆最近的点，并且终点位于积水的相对侧。

5.根据权利要求4所述的方法，还包括确定积水的长度，其中，所述长度是通过计算所述起点和终点之间的距离来确定的。

6.根据权利要求1所述的方法，还包括识别积水相对侧的一对点，其中，所述一对点与接收到的信号从紧邻积水周围的区域反射回的位置相对应。

7.根据权利要求4所述的方法，还包括确定积水的宽度，其中，所述宽度是通过计算所述一对点之间的距离来确定的。

8.根据权利要求4所述的方法，还包括：

基于所述地图信息来确定所述位置处路面的最低高程点；

确定起点或终点的高程；和

通过计算最低高程点与起点或终点的高程之间的距离来确定积水的深度。

9.根据权利要求1所述的方法，还包括，基于所述位置处存在积水的指示来调整车辆的操作。

10.根据权利要求1所述的方法，还包括确定所述位置处存在积水的指示的置信值；和

在所述置信值满足阈值时调整车辆的操作。

11.根据权利要求1所述的方法，还包括：

拍摄所述车辆周围的区域的相机图像，包括图像数据；以及

将所述图像输入到模型中以识别积水的位置。

12.根据权利要求11所述的方法，其中，在由所述模型识别积水的位置时，增加置信值；和

在所述置信值满足阈值时调整车辆的操作。

13.一种用于探测积水的系统，所述系统包括：

一个或多个处理器，其中，所述一个或多个处理器被配置为：

接收由车辆的感知系统生成的传感器数据，其中，所述传感器数据对应于车辆周围的区域；

识别所述区域中不存在传感器数据的位置；

接收与所述区域相对应的地图信息，其中，所述地图信息包括路面位置；

确定所述位置与所述地图信息中的一个或多个路面位置相对应；以及

基于所述位置与所述地图信息中的一个或多个路面位置相对应的确定，输出所述位置处存在积水的指示。

14.根据权利要求13所述的系统，还包括车辆。

15.根据权利要求13所述的系统，其中，所述传感器数据由所述感知系统的LIDAR传感器生成。

16.根据权利要求13所述的系统，其中，所述一个或多个处理器还被配置为识别积水的起点和终点，其中，所述起点和终点与接收到的信号从紧邻积水周围的区域反射回的位置相对应；和

所述起点和终点位于积水的相对侧。

17.根据权利要求16所述的系统，其中，所述一个或多个处理器还被配置为确定积水的长度，其中，所述长度是通过计算所述起点和终点之间的距离来确定的。

18.根据权利要求13所述的系统，其中，所述一个或多个处理器还被配置为识别积水的相对侧的一对点，其中，所述一对点与接收到的信号从紧邻积水周围的区域反射回的位置相对应。

19.根据权利要求18所述的系统，其中，所述一个或多个处理器还被配置为确定积水的宽度，其中，所述宽度是通过计算所述一对点之间的距离来确定的。

20.根据权利要求18所述的系统还包括车辆。

Images