CN113302651A - 利用压缩图像数据检测传感器遮挡 - Google Patents

Abstract

本技术涉及检测可能的成像传感器遮挡。在一个示例中，包括成像传感器300和一个或多个处理器120的系统可以被配置为使用成像传感器捕捉第一图像数据。一个或多个处理器可以将第一图像数据编码为未压缩图像文件，并且基于未压缩图像文件生成压缩图像文件。压缩图像文件的文件大小可以被确定，并且基于压缩图像文件的文件大小，该系统可以确定成像传感器可能被遮挡。

Description

利用压缩图像数据检测传感器遮挡

相关申请的交叉引用

本申请要求于2019年1月15日提交的美国专利申请第16/248,096号的权益，其公开内容通过引用结合于此。

背景技术

自主车辆(诸如不需要人类驾驶员的车辆)，可以用于协助将乘客或物品从一个位置运输至另一个位置。这种车辆可以以全自主驾驶模式操作，在这种模式下，乘客可以提供一些初始输入(诸如目的地)，并且车辆操纵自身到该目的地。因此，这种车辆可以在很大程度上依赖于能够在任何给定时间确定自主车辆的位置以及检测和识别车辆外部的对象(诸如其他车辆、停车灯、行人等)的系统。

虽然用于自主车辆的传感器可以有许多不同的配置，作为示例，这些传感器可以包括成像传感器(imaging sensor)，诸如LIDAR传感器、雷达(radar)单元、声纳系统、相机等。在相机示例中，除了配置，相机还具有诸如增益、曝光时间等的各种特征，为了在不同光照条件下获得有用的图像，这些特征必须被设定至特定值。然而，在一些实例中，由于相机镜头完全或部分地被遮挡(occluded)，相机可能无法捕捉有用的图像。

发明内容

本公开的一个方面提供了用于检测可能的成像传感器遮挡的方法，该方法包括：使用成像传感器捕捉第一图像数据；由一个或多个处理器将第一图像数据编码为未压缩图像文件；由一个或多个处理器基于未压缩图像文件生成压缩图像文件；由一个或多个处理器确定压缩图像文件的文件大小；以及由一个或多个处理器基于压缩图像文件的文件大小确定成像传感器可能被遮挡。

在一个示例中，该方法还包括将压缩图像文件的文件大小与阈值文件大小进行比较，并且确定成像传感器被遮挡还包括确定压缩图像文件的文件大小满足阈值文件大小。在一些实例中，基于由一个或多个已知没有遮挡的成像传感器生成的压缩图像文件的平均文件大小，确定阈值文件大小。在一些实例中，基于由成像传感器在训练时段(trainingperiod)期间捕捉的压缩图像的最小文件大小，确定阈值文件大小，其中，训练时段对应于预定义数量的帧或预定义时间段。在一些实例中，基于由成像传感器生成的压缩图像文件的集合的运行平均文件大小(running average file size)，确定阈值文件大小。在一些示例中，阈值文件大小在运行平均文件大小的预定义范围之内。在一些实例中，基于与在第一图像数据的相似时间和/或位置捕捉的图像数据相对应的压缩图像文件，确定阈值文件大小。在一些实例中，在确定成像传感器被遮挡之后，响应于接收到成像传感器没有被遮挡的输入来调整阈值文件大小。

在一些示例中，该方法还包括基于在第一图像数据之后捕捉的另外的图像数据，生成一个或多个另外的压缩图像文件，确定一个或多个另外的图像文件的文件大小，并且其中，确定成像传感器被遮挡还基于一个或多个另外的图像的文件大小。在一些实例中，该方法还包括确定压缩图像的文件大小与一个或多个另外的图像文件的文件大小之间的变化率，其中，确定成像传感器被遮挡还包括确定变化率低于阈值数值(threshold value)。

在一些示例中，该方法包括基于成像传感器被遮挡的确定，发送信号来激活清洁系统(cleaning system)以便清洁成像传感器。

在一些示例中，成像传感器被附接在具有自主驾驶模式的车辆上，并且该方法还包括使用所述确定在自主驾驶模式下控制车辆。

在一些示例中，成像传感器是LIDAR传感器、雷达单元或相机。

本技术的另一方面涉及用于检测可能的成像传感器遮挡的系统。该系统可以包括成像传感器和一个或多个处理器，其中，一个或多个处理器被配置为：使用成像传感器捕捉第一图像数据，将第一图像数据编码为未压缩图像文件，基于未压缩图像文件生成压缩图像文件，确定压缩图像文件的文件大小，并且基于压缩图像文件的文件大小确定成像传感器可能被遮挡。

在一些示例中，一个或多个处理器还被配置为将压缩图像文件的文件大小与阈值文件大小进行比较，并且其中，确定成像传感器被遮挡还包括确定压缩图像文件的文件大小满足阈值文件大小。在一些实例中，一个或多个处理器还被配置为基于由一个或多个已知没有遮挡的成像传感器生成的压缩图像文件的平均文件大小以确定阈值文件大小。

在一些示例中，一个或多个处理器还被配置为基于由成像传感器在训练时段期间捕捉的压缩图像的最小文件大小来确定阈值文件大小，其中，训练时段对应于预定义数量的帧或预定义时间段。在一些实例中，一个或多个处理器还被配置为基于由成像传感器生成的压缩图像文件的集合的运行平均文件大小来确定阈值文件大小。在一些实例中，一个或多个处理器还被配置为基于与在第一图像数据的相似时间和/或位置捕捉的图像数据相对应的压缩图像文件来确定阈值文件大小。

在一些示例中，成像传感器是LIDAR传感器、RADAR单元或相机。

附图说明

图1是根据本公开的各方面的示例车辆的功能图。

图2是根据本公开的各方面的车辆的示例代表性视图。

图3是根据本公开的各方面的成像传感器的示例功能图。

图4A和图4B是根据本公开的各方面的由相机捕捉的示例图像。

图5是根据本公开的各方面的相机捕捉的示例图像。

图6是根据本公开的各方面的数据的示例图形表示。

图7是根据本公开的各方面的由相机捕捉的示例图像。

图8是根据本公开的各方面的示例流程图。

具体实施方式

概述

本技术涉及跟踪由诸如LIDAR传感器、雷达单元、声纳系统、相机等的成像传感器捕捉的压缩图像的数据大小，以检测传感器遮挡。在使用这种图像实时做出关键决定的情况下(诸如在自主车辆使用成像传感器做出驾驶决定的情况下)，了解成像传感器(诸如相机)何时被遮挡可以特别有用。然而，仅基于图像数据来确定成像传感器的遮挡可能非常困难。例如，可以将一个相机捕捉到的图像与另一相机捕捉到的图像进行比较，以确定这两个相机捕捉到的图像是否相同和/或几乎相同。如果图像不同，那么差异可能是由于其中一个相机被对象遮挡所致，例如污垢、泥土、灰尘、雨水、碎屑(detritus)(例如，塑料袋、餐巾纸等)、叶子、镜头和/或外壳上的划痕等。然而，这种比较通常需要能够捕捉与另一相机相似的图像的至少一个冗余相机。此外，冗余系统可能需要大量的处理资源和时间来处理图像并且确定它们是否相同。

例如，成像传感器可以包括将光聚焦向图像传感器的镜头，图像传感器附接在可以处理来自图像传感器的信息的控制器。图像传感器和/或处理器可以生成可以被编码为未压缩图像文件的图像数据。通过使用压缩算法压缩未压缩的图像文件，可以将未压缩图像文件转换为压缩图像文件。

压缩图像文件可以指示捕捉到与压缩图像文件相对应的图像数据的成像传感器是否被遮挡。在这方面，具有满足(即，更大、更小和/或等于)阈值数值的文件大小的压缩图像文件可以被识别为可能包含遮挡。阈值数值可以是阈值文件大小。替代地，或者除了确定压缩图像文件是否满足阈值数值之外，也可以使用诸如统计时间-序列分析(statisticaltime-series analysis)和/或机器学习方法之类的其他技术来检测压缩图像的文件大小的异常变化。这些异常变化可能对应于捕捉所述图像的成像传感器存在遮挡。

本文描述的特征可以允许使用简单而有效的分析来检测成像传感器是观察到黑暗的东西还是仅仅被遮挡，并且从而提升成像传感器的操作。例如，该确定可以由成像传感器或远程处理设备的处理器实时做出。因此，成像传感器的功能可以自我评估(self-assessed)或自动评估(automatically assessed)并且被用于确定是否清洁成像传感器和/或通知人类操作员。这在某些情况下特别有用，在这些情况下，人类操作员难以通过目测容易地识别遮挡，例如，因为成像传感器不容易接近或没有人类操作员可用。类似地，如上所述，本技术在使用此类图像实时做出关键决定的情况下也有用，例如在自主车辆使用成像传感器图像做出驾驶决定的情况下。此外，由于许多视觉处理系统为了存储和处理已经对原始图像文件进行了压缩，因此执行本文所描述的遮挡分析所需要的大部分处理可以已经发生了。因此，遮挡检测在系统已经执行的处理之外，不需要进行很多另外的处理。此外，本文讨论的技术不需要用于遮挡类型的特定模型或理论。因此，这些技术适用于多种类型的遮挡，包括那些成像传感器系统先前无法检测的遮挡。

示例系统

如图1所示，根据本公开的一个方面的车辆100包括各种组件。虽然本公开的某些方面结合特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休闲车等。车辆可以有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。

存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120执行或使用的指令132和数据134。存储器130可以是能够存储处理器可访问的信息的任何类型，包括计算设备可读介质、或存储可以借助电子设备来读取的数据的其他介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘、以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。

指令132可以是由处理器直接执行(诸如机器代码)或间接执行(诸如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在这里可以互换使用。指令可以以目标代码格式存储以便由处理器直接处理、或者以任何其他计算设备语言(包括按需解释或预先编译的脚本或独立源代码模块的集合)存储。下面更详细地解释指令的功能、方法和例程。

处理器120根据指令132可以检索、存储或修改数据134。例如，虽然要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中，在关系数据库中作为具有多个不同字段和记录的表、XML文档或平面文件。数据还可以被格式化为任何计算设备可读的格式。

一个或多个处理器120可以是任何常规处理器，诸如商用CPU。可替代地，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图1在功能上示出了处理器、存储器和计算设备110的其他元件在同一框内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以存储在或不存储在同一物理外壳内。例如，存储器可以是位于不同于计算设备110的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对并行操作或不并行操作的处理器或计算设备或者存储器的集合的引用。

计算设备110可以包括通常与计算设备结合使用的所有组件，诸如上述处理器和存储器，以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作来显示信息的任何其他电子设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这方面，内部电子显示器152可以位于车辆100的车舱内，并且可以由计算设备110使用以向车辆100内的乘客提供信息。

计算设备110还可以包括一个或多个无线网络连接156以便利于与其他计算设备的通信，诸如下面详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短程通信协议，诸如蓝牙、低功耗蓝牙(LE)、蜂窝连接，以及各种配置和协议，包括互联网、万维网、内联网、虚拟专用网、广域网、局域网络、使用专属于一家或多家公司的通信协议的专用网络、以太网、Wi-Fi和HTTP，以及前述的各种组合。

作为示例，计算设备110可以是结合到车辆100中的自主驾驶计算系统。自主驾驶计算系统能够与车辆的各种组件通信以便在完全自主驾驶模式和/或半自主驾驶模式下操纵车辆100。例如，回到图1中，计算设备110可以与车辆100的各种系统通信，诸如减速系统160、加速系统162、转向系统164、信号系统166、导航系统168、定位系统170、感知系统172和动力系统174(例如，汽油或柴油动力马达或电动引擎)，以根据存储器130的指令132控制车辆100的移动、速度等。同样，尽管这些系统被示为在计算设备110的外部，但实际上，这些系统也可以被结合到计算设备110中，同样作为用于控制车辆100的自主驾驶计算系统。

作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，计算设备110可以使用转向系统164来控制车辆100的方向。例如，如果车辆100被配置为在道路上使用，诸如汽车或卡车，则转向系统可以包括控制车轮的角度以转动车辆的组件。计算设备110可以使用信号系统166，以便在需要时例如通过点亮转向灯或刹车灯用信号向其他驾驶员或车辆信号通知车辆的意图。

计算设备110可以使用导航系统168以便确定并遵循到位置的路线。在这方面，导航系统168和/或数据134可以存储详细的地图信息，例如标识道路、车道线、交叉路口、人行横道、速度限制、交通信号、建筑物、标志、实时交通信息、植被的形状和高度、或其他这样的对象和信息的高度详细的地图。换言之，该详细地图信息可以定义车辆预期环境的几何形状，车辆的预期环境包括道路以及这些道路的速度限制(法定速度限制)。此外，该地图信息可以包括关于交通控制(诸如交通信号灯、停车标志、让行标志等)的信息，这些信息结合从感知系统172接收到的实时信息，可以被计算设备110使用以确定在给定位置哪些交通方向具有路权。

感知系统172还包括一个或多个组件，用于检测车辆外部的对象，诸如其他车辆、道路中的障碍物、交通信号、标志、树木等。例如，感知系统172可以包括一个或多个成像传感器。成像传感器包括可见光相机、热成像系统、激光和射频检测系统(例如，LIDAR、RADAR等)、声纳设备、麦克风，和/或任何其他记录可由计算设备110处理的数据的检测设备。感知系统的传感器可以检测对象及其特性，诸如位置、朝向、大小、形状、类型、方向和移动速度等。来自传感器的原始数据和/或上述特性可以量化或布置为描述性函数或向量，并被发送到计算设备110以便进一步处理。作为示例，计算设备110可以使用定位系统170来确定车辆的位置，并且使用感知系统172来检测对象并且在需要时对对象作出响应，以安全到达该位置。

图2是车辆100的示例外部视图，包括感知系统172的各方面。例如，车顶外壳210和圆顶外壳212可以包括LIDAR传感器或系统以及各种相机和雷达单元。此外，位于车辆100前端的外壳220和车辆驾驶员及乘客侧的外壳230、232可以各自存储LIDAR传感器或系统。例如，外壳230位于驾驶员车门260的前面。车辆100还包括也位于车辆100车顶的用于雷达单元和/或相机的外壳240、242。另外的雷达单元和相机(未示出)可以位于车辆100的前端和后端和/或在沿车顶或顶部外壳210的其他位置。

图3是成像传感器300的示例功能图，其可以是感知系统172的任何成像传感器或任何其他成像传感器。成像传感器300可以包括镜头310，其被配置为将接收到的辐射(诸如电磁辐射)聚焦向图像传感器320。图像传感器附接在控制器330，控制器330可以处理从图像传感器320接收到的信息。控制器330可以包括一个或多个类似于处理器120配置的处理器，处理器控制(例如通过设置增益和曝光时间)图像传感器320的操作。当接收到的电磁辐射击中(hit)图像传感器320上的像素时，图像传感器320可以生成传感器数据(即，图像数据)，传感器数据表示在一段时间(通常基于成像传感器的曝光时间)内由图像传感器320所接收的接收到的电磁辐射。控制器可以被配置为将这个传感器数据，或者更确切地说，将图像发送到诸如计算设备110的计算设备用于进一步处理。

控制器330或其他此类处理器还可控制有源照射源340以将电磁辐射发射到成像传感器的外部环境中。被发射的电磁辐射可被成像传感器的外部环境中的对象反射，并作为接收到的电磁辐射被图像传感器320接收。例如，成像传感器300可以是相机并且有源照射源340可以是闪光灯。在另一示例中，成像传感器300可以是LIDAR传感器并且有源照射源340可以是一个或多个被配置为产生脉冲或短脉冲(short burst)光的激光器。在又一示例中，成像传感器300可以是RADAR并且有源照射源340可以是一个或多个被配置为生成脉冲或短脉冲无线电波的换能器。

在一些实例中，替代电磁辐射，或者除了电磁辐射，成像传感器300还可以接收和/或发射声波。在这方面，有源照射源340和图像传感器320可以用一个或多个换能器来代替或补充。例如，成像传感器300可以是被配置为利用一个或多个换能器发射和接收声波的声纳传感器。

示例方法

除了以上所描述和图中所示的操作之外，现在将描述各种操作。应当理解，以下操作不必以下面描述的精确顺序执行。相反，可以以不同的顺序或同时处理各种步骤，并且还可以添加或省略步骤。

如图3中进一步所示，在操作中，当接收到的电磁辐射(或声波)击中图像传感器320(或换能器)时，图像被捕捉，并且表示所捕捉的图像的传感器数据被生成。传感器数据可由图像传感器320和/或控制器330编码为未处理且未压缩的图像文件。这些未压缩和未处理的图像文件通常被称为原始图像文件。由于原始图像文件表示图像传感器320在成像传感器(诸如相机)的总曝光时间内、在其捕捉图像时生成的全部传感器数据，原始图像文件的文件大小可能很大。例如，相机生成的原始图像文件的大小可以约为每兆像素1兆字节，或更多或更少。

为了减小用于存储和/或处理的原始图像文件的大小，处理器(诸如成像传感器中的处理器或计算设备110的处理器120)可以将原始图像文件的格式转换为压缩图像文件。在这方面，处理器可以使用有损压缩算法或无损压缩算法将原始图像文件分别压缩成有损格式或无损格式。有损压缩算法可以减小结果图像文件的大小，但代价是不可逆地从原始图像文件中移除数据。例如，可以使用JPEG压缩算法将原始图像文件转换为有损JPEG格式，该算法不可逆地移除数据以将原始图像文件转换为压缩的JPEG文件。相反，无损压缩算法减少的原始图像文件的大小不像有损压缩算法那么多，但可以通过反向(reversing)压缩来恢复所有原始图像数据。例如，可以使用TIFF压缩算法将原始图像文件转换为无损TIFF格式，该算法可逆地移除数据以将原始图像文件转换为压缩的TIFF文件。在一些实例中，更通用的文件压缩算法(诸如DEFLATE)可用于从相机或其他成像传感器(诸如LIDAR、雷达、声纳等)生成的图像。

压缩图像文件的文件大小可以表示最初的原始图像文件内的重复和/或相似数据的量。在这方面，相比于与具有不规律和/或不相似特征的图像相对应的原始图像文件内数据的实例，在与具有重复和/或相似特征(诸如具有相同或相似颜色和/或重复的空间模式(spatial pattern)的区域)的图像相对应的原始图像文件中所包含的数据的实例中，无论是有损压缩算法还是无损压缩算法，都能够生成更小的文件大小。这是因为压缩算法利用数据中的重复来实现数据简化(data reduction)。因此，相比于对应不规律和/或不相似特征的原始图像文件，包括更多重复的数据(诸如，与具有重复和/或相似图像特征的图像相对应的原始图像文件)可以被更紧凑地压缩。

例如，并且如图4A所示，原始图像文件内的数据可以对应于由本实施例中实现的相机所捕捉的具有不规律和不相似的特征(诸如树403-406、道路407和山丘408、409)的图像401。相反，如图4B所示，原始图像文件内的数据可以对应于由相机捕捉的具有相似或重复的特征(诸如道路417和单个的大山丘418)的图像411。压缩与图4A中所示的图像401相对应的原始图像文件可以导致生成的压缩JPEG文件所具有的文件大小大约比原始图像文件小，例如二到五倍，或更多或更少。压缩与图4B中所示的图像411相对应的原始图像文件可导致生成的压缩JPEG文件具有更小的文件大小，例如，诸如大约比原始图像文件小四到十五倍，或更多或更少。

被遮挡的成像传感器300捕捉的图像可以包含一个或多个具有连续黑暗/空白(即，重复和相似)特征的区域。例如，如图5所示，相机可以捕捉具有连续黑暗/空白特征511的图像501。因此，从与图像501相对应的原始图像文件所生成的压缩图像文件可以比从与没有遮挡的类似图像(诸如图像401)相对应的原始图像文件所生成的压缩图像文件更紧凑。例如，如图6的图形所示，与从没有遮挡的相机捕捉的图像相对应的压缩图像文件可以是27MB左右，与在相机被遮挡时捕捉的图像相对应的压缩图像文件可以是9MB左右，并且与在相机变得被遮挡(becoming occluded)的期间捕捉的图像相对应的压缩图像文件可以是在27MB和9MB之间的某值。如本文所述，图6中绘制的压缩图像文件的文件大小基于由单个相机捕捉的图像。由其他相机和/或其他成像传感器捕捉的压缩图像文件的文件大小可以大于或小于图6中所示的文件大小。

尽管图5示出了完全或几乎完全阻挡光到达成像传感器(即相机)的图像传感器的遮挡物511，遮挡物还可以包括使光在到达和/或穿过成像传感器的镜头和/或外壳时被阻挡、改变和/或模糊的其他障碍物。例如，并且如图7所示，由成像传感器的镜头(诸如成像传感器300的镜头310)上的水滴703-706造成的遮挡可以允许几乎所有的光通过，但可能在由成像传感器捕捉的图像701的部分或者整体上引入模糊。因此，由如图7所示示例中实现为相机的成像传感器300捕捉的图像，可能在水滴703-706遮挡相机的位置损失空间信息。因此，图像的被遮挡部分可以看起来相似(即，具有重复和相似的特征)。

为了确定成像传感器是否可能被遮挡，可以由一个或多个计算设备(诸如计算设备110)将压缩图像文件的文件大小与阈值数值比较。阈值数值可以表示阈值文件大小。在这方面，具有满足阈值数值(即，小于阈值数值)的文件大小的压缩图像文件，可以被识别为可能由被遮挡的成像传感器所捕捉。

阈值数值可以基于由一个或多个已知没有遮挡的成像传感器生成的压缩图像文件的平均文件大小来确定。在这方面，压缩图像文件的平均文件大小可以在检测遮挡之前被确定，诸如在车辆启动时或在校准期间。压缩图像文件的平均文件大小可以被存储以便以后使用，诸如在计算设备110的存储器130中。

由一个或多个已知没有遮挡的成像传感器(诸如该车辆上的一个或多个成像传感器或多个车辆上的一个或多个成像传感器)捕捉的压缩图像文件的平均文件大小，可以通过平均压缩图像文件的文件大小来确定。阈值数值可以设置为平均文件大小。在一些实例中，阈值数值可以是低于平均文件大小的某值，诸如在平均文件大小的一定百分比之内，诸如50％，或更多或更少。由成像传感器生成的低于阈值数值的压缩图像文件可以被识别为由可能被遮挡的成像传感器所捕捉。在平均文件大小基于由多于一个成像传感器捕捉的图像文件的实例中，成像传感器可以优选是相同的，或者更确切地说，相同的制式和型号。可替代地，当使用不同的成像传感器时，从由不同成像传感器捕捉的图像生成的原始图像文件的文件大小可以相同或几乎相同，以允许确定大体准确的阈值数值。

在一些实例中，可以基于从由成像传感器捕捉的图像先前生成的压缩图像文件的大小来确定阈值数值。在这方面，从由成像传感器捕捉的图像生成的压缩图像文件的文件大小可在一段时间内或若干帧内(例如，训练时段)被跟踪，诸如跟踪一分钟或100帧，或更多或更少。可以从跟踪的压缩图像文件中确定最小文件大小并且将其设置为阈值数值。如果从由成像传感器捕捉的图像生成的新生成压缩图像文件的文件大小低于最小文件大小，或者更确切地说，低于阈值数值，那么每个新生成压缩图像可以被识别为可能包含遮挡。

可替代地，从由成像传感器(诸如成像传感器300)捕捉的图像生成的压缩图像文件的文件大小的运行平均值(running average)可以用于确定阈值数值。在这方面，可以确定先前从由成像传感器捕捉的图像生成的压缩图像文件的集合的平均文件大小。压缩图像文件的集合大小可以是100个文件、1000个文件、10000个文件等，或更多或更少。阈值数值可以基于集合的平均文件大小，诸如在平均文件大小的一定百分比之内(例如，在50％以内，或更多或更少)。

对于由成像传感器(诸如成像传感器300)捕捉的满足阈值数值的每个图像，该图像可以添加到集合中，并且最旧的图像可以从集合中移除。由成像传感器捕捉的不满足阈值数值的每个图像可以被识别为可能包含遮挡。

阈值数值还可以基于历史数据来确定，历史数据包括由成像传感器在新图像被成像传感器捕捉的相似的一天中的时间和/或位置捕捉的先前图像。在这方面，数据库可以与被捕捉的位置和/或一天中的时间相关联地存储一个或多个压缩图像文件的文件大小或平均文件大小。阈值数值可以基于存储的平均文件大小或存储在数据库中的压缩图像文件的平均文件大小的确定。例如，从由成像传感器(诸如图像传感器300)在晚上的特定时间在第一位置捕捉的图像生成的压缩图像文件的文件大小可以与阈值数值进行比较，阈值数值基于存储的平均文件大小或存储于数据库中的压缩图像文件的平均文件大小的确定。在阈值数值基于历史数据来确定的实例中，其中历史数据包括由成像传感器在新图像被捕捉的相似的一天中的时间和/或位置捕捉的先前图像，成像传感器可以优选的与被确定可能存在遮挡的成像传感器相同，或者更确切的说，制式与型号相同。可替代地，当使用不同的成像传感器时，从由不同成像传感器捕捉的图像生成的原始图像文件的文件大小可以相同或几乎相同，以允许为正在被确定可能存在遮挡的成像传感器确定大体准确的阈值数值。

在一些实例中，阈值数值不是常数、固定值，而是可以被调整，以避免生成对可能遮挡的假阳性识别(false positive identification)。在这方面，如果在调查可能的遮挡之后，确定捕捉了具有可能遮挡的图像的一个或多个成像传感器在图像被捕捉时并没有被遮挡，那么可以进一步调整阈值数值以降低假阳性的可能性。

除了如上所述将压缩图像的文件大小与适当选择的阈值数值进行比较之外，基于压缩文件大小确定图像是否包含遮挡的其他技术也是可能的。例如，文件大小的统计时间序列分析(statistical time-series analysis)可用于检测压缩图像的文件大小的异常变化，这种异常变化可能与遮挡的存在相对应。这种分析可能依赖于检查文件大小的斜率(导数，或者更确切地说，变化率)，因此不管信号的实际数值如何，斜率的快速变化可能指示了遮挡。

替代或结合本文讨论的阈值数值确定，用于确定成像传感器是否被遮挡的其他类别的分析也是可能的。作为示例，作为时间的函数的、压缩图像的文件大小的第一性原理模型(first-principles model)或现象模型(phenomenological model)可用于统计地拟合(fit)观测到的文件大小数据，其中遮挡在拟合优度统计数值(goodness-of-fitstatistic)超过某阈值数值时被声明。作为另一个示例，包括但不限于长短期记忆网络(long short-term memory network)、随机决策森林(random decision forest)、梯度提升回归技术(gradient boosting regressor technique)和时间延迟神经网络(timedelay neural network)在内的机器学习方法，可以直接用于时间序列数据来检测遮挡的存在。上述任何分析还可以与来自一个或多个其他传感器的数据结合以助于检测遮挡。

一旦确定成像传感器可能被遮挡，就可以采取补救措施。例如，计算设备110可以使成像传感器被清洁、离线、标记为维护等。例如，可以发送信号以激活清洁系统以便清洁成像传感器。作为另一个示例，可以向人类操作员发送指示成像传感器被遮挡的消息。作为另一示例，如果成像传感器被附接在具有自主驾驶模式的车辆(诸如车辆100)，则车辆的控制系统可以使用该确定来控制处于自主驾驶模式种的车辆，例如，通过驾驶地更慢和/或丢弃由成像传感器捕捉的信息，直到成像传感器被清洁或不再被遮挡。在另一个示例中，由潜在的被遮挡的成像传感器捕捉的图像可以与由另一个成像传感器捕捉的图像进行比较，以确定两个成像传感器捕捉的图像是否相同和/或几乎相同。在它们相同或几乎相同的情况下，可以降低用于检测可能遮挡的阈值数值和/或可以不采取进一步的补救措施。

图8是根据本文描述的一些方面的用于确定成像传感器是否被遮挡的示例流程图800。该示例流程图涉及包括成像传感器(诸如成像传感器300)和和具有一个或多个处理器(诸如一个或多个计算设备110的一个或多个处理器120)的一个或多个计算设备的系统。例如，在框810，使用成像传感器的图像传感器捕捉第一图像数据。在框820，第一图像数据被编码为未压缩的图像文件。在框830，基于未压缩的图像文件生成压缩图像文件。在框840，压缩图像文件的文件大小被确定。在框850，基于压缩图像文件的文件大小，成像传感器可能被遮挡的确定被做出。

除非另有说明，否则前述替代示例并不相互排斥，而是可以以各种组合来实现，以实现独特的优点。由于在不脱离由权利要求所限定的主题的情况下，可以利用上述特征的这些和其他变化和组合，所以对实施例的前述描述应该被理解为示例，而不是对由权利要求所限定的主题的限制。此外，对本文描述的示例的提供，以及措辞为“诸如”、“包括”等的分句不应该被解释为将权利要求的主题限制到特定示例；相反，这些示例旨在仅说明多种可能实施例中的一个。此外，不同附图中的相同附图标号可以标识相同或相似的元素。

Claims (20)

1.一种检测可能的成像传感器遮挡的方法，该方法包括：

使用所述成像传感器捕捉第一图像数据；

由一个或多个处理器将第一图像数据编码为未压缩图像文件；

由一个或多个处理器基于所述未压缩图像文件生成压缩图像文件；

由一个或多个处理器确定所述压缩图像文件的文件大小；以及

由一个或多个处理器基于所述压缩文件的文件大小确定成像传感器可能被遮挡。

2.根据权利要求1所述的方法，还包括将所述压缩图像文件的文件大小与阈值文件大小进行比较，以及

其中，确定成像传感器被遮挡还包括确定所述压缩图像文件的文件大小满足阈值文件大小。

3.根据权利要求2所述的方法，还包括：

基于由一个或多个已知没有遮挡的成像传感器生成的压缩图像文件的平均文件大小，确定所述阈值文件大小。

4.根据权利要求2所述的方法，还包括：

基于由成像传感器在训练时段期间捕捉的压缩图像的最小文件大小，确定所述阈值文件大小，其中，所述训练时段对应于预定义数量的帧或预定义时间段。

5.根据权利要求2所述的方法，还包括：

基于由成像传感器生成的压缩图像文件的集合的运行平均文件大小，确定所述阈值文件大小。

6.根据权利要求5所述的方法，其中，所述阈值文件大小在运行平均文件大小的预定义范围之内。

7.根据权利要求2所述的方法，还包括：

基于与在第一图像数据的相似时间和/或位置捕捉的图像数据相对应的压缩图像文件，确定所述阈值文件大小。

8.根据权利要求2所述的方法，其中，在确定成像传感器被遮挡之后，响应于接收到成像传感器没有被遮挡的输入来调整所述阈值文件大小。

9.根据权利要求1所述的方法，还包括：

基于在第一图像数据之后捕捉的另外的图像数据，生成一个或多个另外的压缩图像文件，

确定所述一个或多个另外的图像文件的文件大小，以及

其中，确定成像传感器被遮挡还基于所述一个或多个另外的图像的文件大小。

10.根据权利要求9所述的方法，还包括确定压缩图像的文件大小与一个或多个另外的图像文件的文件大小之间的变化率，

其中，确定成像传感器被遮挡还包括确定变化率低于阈值数值。

11.根据权利要求1所述的方法，还包括基于成像传感器被遮挡的确定，发送信号来激活清洁系统以便清洁成像传感器。

12.根据权利要求1所述的方法，其中，所述成像传感器被附接在具有自主驾驶模式的车辆上，并且所述方法还包括使用所述确定在自主驾驶模式下控制所述车辆。

13.根据权利要求1所述的方法，其中，所述成像传感器是LIDAR传感器、雷达单元或相机。

14.一种用于检测可能的成像传感器遮挡的系统，包括：

成像传感器；以及

一个或多个处理器，其中，所述一个或多个处理器被配置为：

使用所述成像传感器捕捉第一图像数据，

将第一图像数据编码为未压缩图像文件，

基于所述未压缩图像文件生成压缩图像文件，

确定所述压缩图像文件的文件大小，并且

基于所述压缩图像文件的文件大小确定成像传感器可能被遮挡。

15.根据权利要求14所述的系统，其中，所述一个或多个处理器还被配置为将所述压缩图像文件的文件大小与阈值文件大小进行比较，以及

其中，确定成像传感器被遮挡还包括确定所述压缩图像文件的文件大小满足阈值文件大小。

16.根据权利要求15所述的系统，其中，所述一个或多个处理器还被配置为，基于由一个或多个已知没有遮挡的成像传感器生成的压缩图像文件的平均文件大小，确定所述阈值文件大小。

17.根据权利要求15所述的系统，其中，所述一个或多个处理器还被配置为，基于由成像传感器在训练时段期间捕捉的压缩图像的最小文件大小，确定所述阈值文件大小，其中，所述训练时段对应于预定义数量的帧或预定义时间段。

18.根据权利要求15所述的系统，其中，所述一个或多个处理器还被配置为，基于由成像传感器生成的压缩图像文件的集合的运行平均文件大小，确定所述阈值文件大小。

19.根据权利要求15所述的系统，其中，所述一个或多个处理器还被配置为，基于与在第一图像数据的相似时间和/或位置捕捉的图像数据相对应的压缩图像文件，确定所述阈值文件大小。

20.根据权利要求14所述的系统，其中，所述成像传感器是LIDAR传感器、RADAR单元或相机。

Images