CN113677584B - 多传感器同步测量设备 - Google Patents

Abstract

公开了可以被用于校准车辆的传感器的设备和方法。本文公开的校准系统包括触发设备，被配置为检测第一感测事件的。校准系统还包括多个传感器目标。此外，校准系统包括处理器，被配置为响应于第一感测事件，揭示给定区域内的多个传感器目标。校准系统可以被配置为检测来自LIDAR的光撞击光传感器。响应于检测到来自LIDAR的光，多个光可以被照亮，包括可见光和红外线，以对应于LIDAR脉冲的位置和定时。

Description

多传感器同步测量设备

对相关申请的交叉引用

本申请要求于2019年4月17日提交的美国专利申请第16/386,782号的优先权，其全部内容通过引用被合并于此。

背景技术

车辆能够被配置为在自主模式下运行，在自主模式中，车辆利用很少的或没有驾驶员输入而导航通过环境。这样的自主车辆能够包括一个或多个系统(例如，传感器和相关联的计算设备)，其被配置为检测关于车辆运行的环境的信息。车辆及其相关联的计算机实现的控制器使用检测到的信息来在环境中导航。例如，如果系统(或多个)检测到车辆正在接近障碍物，如由计算机实现的控制器所确定的，则控制器调整车辆的方向控制以使车辆绕过障碍物。

例如，自主车辆可以包括激光器、声纳、雷达、相机和扫描并记录来自车辆周围环境的数据的其他传感器。来自这些设备中的一个或多个的传感器数据可以被用于检测对象及其相应特征(位置、形状、航向、速度等)。这种检测和识别对于自主车辆的安全运行是有用的。

发明内容

公开了可以被用于校准车辆的传感器的设备。本文公开的校准系统包括触发设备，被配置为检测第一感测事件。所述校准系统还包括多个传感器目标。此外，所述校准系统包括处理器，被配置为响应于第一感测事件来揭示给定区域内的多个传感器目标。

本公开的一些实施例提供了一种提供传感器校准的方法。所述方法包括由触发设备检测第一感测事件。所述方法也包括响应于第一感测事件揭示多个传感器目标，其中，多个传感器目标在相应传感器的视场的给定区域内。

本公开的一些实施例提供了另一种用于校准传感器的方法。所述方法包括由传感器单元的发射器在区域处发射传感器信号，其中，所述区域包含校准目标。所述方法也包括从多个传感器中的每一个接收传感器数据，其中，传感器数据对应于所述区域。此外，所述方法包括由处理器基于接收的传感器数据确定相应的传感器偏移。所述方法还包括通过应用所确定的相应传感器偏移来操作每个传感器。

通过适当参照附图阅读以下详细描述，这些以及其他方面、优点和替代方案对于本领域普通技术人员来说将变得显而易见。

附图说明

图1是描绘示例自主车辆的方面的功能框图。

图2描绘了示例自主车辆的外部视图。

图3是与自主车辆相关的各种计算系统之间的无线通信的概念性图示。

图4A图示了具有传感器视场的示例自主车辆。

图4B图示了各种传感器的示例视场。

图5A图示了示例目标。

图5B图示了示例目标。

图5C图示了示例目标系统。

图6图示了示例方法。

图7图示了示例方法。

具体实施方式

本文描述了示例方法、设备和系统。应当理解，词语“示例”和“示例性的”在本文用来表示“用作示例、实例或说明”。在本文中被描述为“示例”或“示例性”的任何实施例或特征不一定被解释为比其他实施例或特征更优选或有利。在不脱离本文呈现的主题的范围的情况下，能够利用其他实施例，并且能够进行其他改变。

因此，本文描述的示例实施例并不意味着是限制性的。本公开的方面，如本文一般描述的和在附图中示出的，能够以多种不同的配置来布置、替换、组合、分离和设计，所有这些都在本文被考虑。

此外，除非上下文另有建议，否则每个附图中所示的特征可以彼此结合使用。因此，附图通常应被视为一个或多个总体实施例的组成方面，应当理解，并非所有示出的特征对于每个实施例都是必要的。

I.概述

机器和机器子系统，诸如车辆的传感器系统，可以经过测试和验证，以保持适当的性能并符合规范。然而，传统的传感器验证过程能够是高度手动和昂贵的。例如，传统的传感器验证过程可能涉及熟练的技术人员操作传感器系统，以在受控的校准环境中观察特别策划和放置的校准目标。由此，传统的过程可能与高成本相关联，诸如用于建立和维护合适的校准环境的成本。例如，由于测试传感器的整个扫描范围所需的物理空间，测试长距离传感器的扫描范围可能存在挑战。此外，重复地或周期性地(例如，每天、每月等)测试大量传感器以保持继续符合规范所涉及的时间量可能会导致大量成本和延迟。

本文的示例系统和方法可以涉及使用来自在环境中运行的多个车辆的传感器数据的传感器验证、核实(validation)、测试和/或校准。多个车辆中的每个车辆可以包括被配置为扫描车辆周围环境的相应部分的一个或多个传感器(例如LIDAR、RADAR、光学相机、红外(IR)相机等)。另外，在一些场景中，车辆可以周期性地或间歇地在环境的特定区域内或附近行驶。例如，多个车辆可以定期(例如，每天)行驶到特定的停车场、街道交叉路口或其他位置。

因此，本文的示例系统可以为车辆的多个传感器提供目标。目标系统可以包括光检测器，该光检测器被配置为检测LIDAR系统的激光束(例如，近红外光检测器)何时扫描目标。响应于检测到激光束，系统可以响应地揭示车辆的各种传感器的目标。在一些示例中，系统可以揭示LIDAR目标、雷达目标、光学相机目标和用于红外热相机的红外相机目标中的一个或多个。在检测到激光束触发系统以揭示目标之前，目标对于传感器可能是不容易看到的。

可以在各种传感器的视场区域内提供各种目标。在一些示例中，目标通常可以在某种程度上彼此重叠。一旦目标被揭示，则传感器可以在大致相同的时间和大致相同的位置检测目标。因此，目标可以被用于针对位置精度、定时精度和同步精度来校准传感器。在一些进一步的示例中，目标可以在移动平台上。响应于检测到激光束，系统可以响应性地揭示并且也使得目标对于车辆的各种传感器移动。因此，也可以确定跟踪精度。

在一些示例中，校准系统可以被放置在车辆可以由目标驱动的位置，诸如车辆仓库。当车辆离开仓库时，车辆可以被配置为扫描校准系统(其响应性地导致目标被揭示)。车辆可能能够扫描揭示的各种传感器目标，并确定车辆传感器的校准。在一些示例中，车辆可以确定传感器的各种偏移，并且以所确定的偏移(时间和空间上的偏移)操作传感器，以便使传感器以同步方式操作。在另一示例中，车辆可以确定一个或多个传感器具有大于预定阈值的校准误差。响应于传感器具有大于阈值的校准误差，相应车辆可能不被允许运行，直到传感器被修复和/或重新校准为止。

II.示例系统和设备

现在将更详细地描述示例系统和设备。通常，本文公开的实施例能够与包括扫描系统环境的一个或多个传感器的任何系统一起使用。本文描述的说明性实施例包括采用诸如LIDAR、RADAR、SONAR、照相机等的传感器的车辆。然而，示例系统也可以在其他设备中实现或采取其他设备的形式，诸如机器人设备、工业系统(例如，流水线等)，或者移动通信系统或设备，以及其他可能性。

术语“车辆”在本文被广义地解释为覆盖任何移动对象，包括例如飞行器、船只、宇宙飞船、汽车、卡车、货车、半挂卡车、摩托车、高尔夫球车、越野车、仓库运输车、拖拉机或农用车辆，以及在轨道上行驶的运载工具，诸如过山车、电车、有轨电车或火车车厢等。一些车辆可以在其中没有人的交互用于操作的完全自主模式下、在其中几乎没有人的交互用于操作的半自主模式下或者在其中人操作车辆且传感器可以帮助人的人操作模式下操作。

在示例实施例中，示例车辆系统可以包括一个或多个处理器、一种或多种形式的存储器、一个或多个输入设备/接口、一个或多个输出设备/接口以及机器可读指令，当由一个或多个处理器执行时，所述指令使得系统执行各种功能、任务、能力等。如上所述。下面将更详细地描述本公开范围内的示例系统。

图1是图示根据示例实施例的车辆100的功能框图。车辆100可以被配置为完全或部分以自主模式运行，并且因此可以被称为“自主车辆”。车辆也可以被配置为由人操作，但是通过车辆的传感系统向人提供信息。例如，计算系统111能够在处于自主模式的同时经由对车辆100的控制系统106的控制指令来控制车辆100。计算系统111能够从一个或多个传感器系统104接收信息，并且以自动方式基于所接收的信息进行一个或多个控制过程(诸如设置航向以便避开检测到的障碍物)。

自主车辆100能够是完全自主的或部分自主的。在部分自主车辆中，一些功能能够在一些或所有时间选择性地被手动控制(例如，由驾驶员控制)。此外，部分自主车辆能够被配置为在完全手动操作模式和部分自主和/或完全自主操作模式之间切换。

车辆100包括推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、计算系统111和用户界面112。车辆100可以包括更多或更少的子系统，并且每个子系统能够可选地包括多个组件。此外，车辆100的每个子系统和组件能够互连和/或通信。因此，本文描述的车辆100的一个或多个功能能够可选地在额外的功能或物理组件之间被划分，或者组合成更少的功能或物理组件。在一些进一步的示例中，额外的功能和/或物理组件可以被添加到图1所示的示例中。

推进系统102可以包括可操作来向车辆100提供动力运动的部件。在一些实施例中，推进系统102包括发动机/马达118、能量源120、变速器122和车轮/轮胎124。发动机/马达118将能量源120转换成机械能。在一些实施例中，推进系统102可以可选地包括发动机和/或马达中的一个或两个。例如，气电混合动力车辆可以包括汽油/柴油发动机和电动机。

能量源120代表能量的来源，诸如电能和/或化学能，其可以全部或部分地为发动机/马达118提供动力。也就是说，发动机/马达118能够被配置成将能量源120转换成机械能以操作变速器。在一些实施例中，能量源120能够包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池、电容器、飞轮、再生制动系统和/或其他电源等。能量源120也能够为车辆100的其他系统提供能量。

变速器122包括合适的适于将机械动力从发动机/马达118传递到车轮/轮胎124的齿轮和/或机械元件。在一些实施例中，变速器122包括变速箱、离合器、差速器、驱动轴和/或车轴等。

车轮/轮胎124被布置成在提供与车辆100在其上移动的表面——诸如道路——的摩擦牵引力的同时稳定地支撑车辆100。因此，车轮/轮胎124根据车辆100的性质被配置和布置。例如，车轮/轮胎可以被布置成独轮车、自行车、摩托车、三轮车或汽车/卡车四轮形式。其他车轮/轮胎几何形状也是可能的，诸如包括六个或更多车轮的几何形状。车辆100的车轮/轮胎124的任何组合都可以相对于其他车轮/轮胎124差速旋转。车轮/轮胎124能够可选地包括刚性连接到变速器122的至少一个车轮和耦接到与驱动表面接触的相应车轮的轮辋的至少一个轮胎。车轮/轮胎124可以包括金属和橡胶的任意组合，和/或其他材料或材料的组合。

传感器系统104通常包括一个或多个传感器，被配置为检测关于车辆100周围环境的信息。例如，传感器系统104能够包括全球定位系统(GPS)126、惯性测量单元(IMU)128、雷达单元130、激光测距仪/LIDAR单元132、相机134和/或麦克风136。传感器系统104也可以包括被配置为监控视车辆100的内部系统的传感器(例如，O₂监视器、燃料表、发动机油温、车轮速度传感器等)。包括在传感器系统104中的一个或多个传感器可以被配置为单独和/或共同致动，以便修改一个或多个传感器的位置和/或方向。

GPS 126是被配置为估计车辆100的地理位置的传感器。为此，GPS 126能够包括收发器，可操作来提供关于车辆100相对于地球的位置的信息。

IMU 128能够包括被配置为基于惯性加速度感测车辆100的位置和方向变化的传感器(例如，加速度计和陀螺仪)的任意组合。

雷达单元130能够代表利用无线电信号来感测车辆100的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元130和/或计算系统111还能够被配置为感测对象的速度和/或航向。雷达单元130可以包括任何天线、波导网络、通信芯片和/或可以促进雷达操作的其他组件。

类似地，激光测距仪或LIDAR单元132能够是被配置为使用激光感测车辆100所位于的环境中的对象的任何传感器。除了其他系统组件之外，激光测距仪/LIDAR单元132能够包括一个或多个激光源、激光扫描仪和一个或多个检测器。激光测距仪/LIDAR单元132能够被配置为以相干(例如，使用外差检测)或非相干检测模式操作。

相机134能够包括被配置为捕获车辆100周围环境的多个图像的一个或多个设备。相机134能够是静态相机或视频相机。在一些实施例中，相机134能够诸如通过旋转和/或倾斜安装照相机的平台而是机械可移动的。这样，可以实现车辆100的控制过程来控制摄像机134的移动。

传感器系统104还能够包括麦克风136。麦克风136能够被配置为捕获来自车辆100周围环境的声音。在一些情况下，多个麦克风能够被布置为一个麦克风阵列，或者可能被布置为多个麦克风阵列。

控制系统106被配置为控制调节车辆100及其组件的加速度的操作。为了实现加速，控制系统106包括转向单元138、节气门140、制动单元142、传感器融合算法144、计算机视觉系统146、导航/路径规划系统148和/或避障系统150等。

转向单元138可操作来调整车辆100的航向。例如，转向单元能够调整一个或多个车轮/轮胎124的轴(或多个轴)，以便实现车辆的转向。节气门140被配置为控制例如发动机/马达118的运行速度，并进而经由变速器122和车轮/轮胎124调节车辆100的向前加速度。制动单元142使车辆100减速。制动单元142能够使用摩擦来减慢车轮/轮胎124。在一些实施例中，制动单元142通过再生制动过程感应地使车轮/轮胎124减速，以将车轮/轮胎124的动能转换成电流。

传感器融合算法144是被配置为接受来自传感器系统104的数据作为输入的算法(或存储算法的计算机程序产品)。数据可以包括，例如表示在传感器系统104的传感器处感测到的信息的数据。传感器融合算法144能够包括，例如卡尔曼滤波器、贝叶斯网络等。传感器融合算法144基于来自传感器系统104的数据提供关于车辆周围环境的评定。在一些实施例中，评定能够包括对车辆100周围环境中的单个对象和/或特征的评估、对特定情况的评估、和/或基于特定情况对车辆100和环境中的特征之间的可能干扰的评估(例如，诸如预测碰撞和/或撞击)。

计算机视觉系统146能够处理并分析由相机134捕获的图像，以识别车辆100周围环境中的对象和/或特征。检测到的特征/对象能够包括交通信号、道路边界、其他车辆、行人和/或障碍物等。计算机视觉系统146能够可选地采用对象识别算法、运动恢复结构(SFM)算法、视频跟踪和/或可用的计算机视觉技术来实现检测到的特征/对象的分类和/或识别。在一些实施例中，计算机视觉系统146能够额外地被配置为映射环境地图、跟踪感知的对象、估计对象的速度等。

导航和路径规划系统148被配置为确定车辆100的行驶路径。例如，导航和路径规划系统148能够确定一系列速度和方向航向，以实现车辆沿着基本上避免感知到的障碍物的路径移动，同时在大体上沿着通向最终目的地的基于道路的路径推进车辆，这能够根据例如经由用户界面112的用户输入来设置。导航和路径规划系统148还能够被配置为在车辆100运行的同时基于感知到的障碍物、交通模式、天气/道路条件等动态更新行驶路径。在一些实施例中，导航和路径规划系统148能够被配置为结合来自传感器融合算法144、GPS 126和一个或多个预定地图的数据，以便确定车辆100的行驶路径。

避障系统150能够代表控制系统，该控制系统被配置为识别、评估和避免或以其他方式通过(negotiate)车辆100周围环境中的潜在障碍物。例如，避障系统150能够通过操作控制系统106中的一个或多个子系统进行转向机动(maneuver)、转弯机动、制动机动等，来实现车辆导航的改变。在一些实施例中，避障系统150被配置为基于周围交通模式、道路条件等自动确定可行的(“可用的”)避障机动。例如，避障系统150能够被配置为使得当其他传感器系统检测到车辆、建筑障碍物、其他障碍物等在车辆将要转向的邻近区域时，不进行转向机动。在一些实施例中，避障系统150能够自动选择可用且最大化车辆乘客安全的机动。例如，避障系统150能够选择被预测为在车辆100的客舱中引起最小加速量的避障机动。

车辆100也包括外围设备108，被配置为允许车辆100和外部传感器、其他车辆、其他计算机系统和/或例如车辆100的乘客的用户之间的交互。例如，用于从乘客、外部系统等接收信息的外围设备108能够包括无线通信系统152、触摸屏154、麦克风156和/或扬声器158。

在一些实施例中，外围设备108用于接收车辆100的用户与用户界面112交互的输入。为此，触摸屏154既能够向车辆100的用户提供信息，又能够将用户经由触摸屏154指示的信息传送到用户界面112。触摸屏154能够被配置为经由电容感测、电阻感测、光学感测、表面声波过程等感测来自用户手指(或触笔等)的触摸位置和触摸手势。触摸屏154能够感测手指在平行于触摸屏表面或与触摸屏表面共面的方向上的移动、在垂直于触摸屏表面的方向上的移动、或两者，并且也能够感测施加到触摸屏表面的压力水平。车辆100的乘客也能够利用语音命令接口。例如，麦克风156能够被配置为从车辆100的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器158能够被配置为向车辆100的用户输出音频。

在一些实施例中，外围设备108用于允许车辆100和外部系统之间的通信，外部系统诸如周围环境中的设备、传感器、其他车辆等和/或控制器、服务器等，它们的物理位置远离车辆，提供有关车辆周围环境的有用信息，诸如交通信息、天气信息等。例如，无线通信系统152能够直接或经由通信网络与一个或多个设备进行无线通信。无线通信系统152能够可选地使用3G蜂窝通信，诸如CDMA、EVDO、GSM/GPRS，和/或4G蜂窝通信，诸如WiMAX或LTE。附加地或替代地，无线通信系统152可以例如使用WiFi与无线局域网(WLAN)通信。在一些实施例中，无线通信系统152可以例如使用红外链路、蓝牙和/或紫蜂直接与设备通信。无线通信系统152可以包括一个或多个专用短程通信(DSRC)设备，其可以包括车辆和/或路边站之间的公共和/或私有数据通信。在本公开的上下文中，无线通信系统152也可以采用用于发送和接收嵌入在信号中的信息的其他无线协议，例如各种车辆通信系统。

如上所述，电源110能够向车辆100的组件供电，诸如外围设备108、计算系统111、传感器系统104等中的电子器件。例如，电源110能够包括可再充电的锂离子或铅酸电池，用于存储电能并向各种动力组件放电。在一些实施例中，一组或多组电池能够被配置为提供电力。在一些实施例中，电源110和能量源120能够一起实现，如在一些纯电动汽车中。

车辆100的许多或所有功能能够经由计算系统111来控制，计算系统111从传感器系统104、外围设备108等接收输入，并将适当的控制信号通信到推进系统102、控制系统106、外围设备等以基于其周围环境实现车辆100的自主操作。计算系统111包括执行存储在诸如数据存储器114的非暂时性计算机可读介质中的指令115的至少一个处理器113(其能够包括至少一个微处理器)。计算系统111也可以代表多个计算设备，这些计算设备用于以分布式方式控制车辆100的各个组件或子系统。

在一些实施例中，数据存储器114包含可由处理器113执行的指令115(例如，程序逻辑)，以执行车辆100的各种功能，包括上面结合图1描述的那些功能。数据存储器114也可以包含额外的指令，包括向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从它们接收数据、与它们交互和/或控制它们的指令。

除了指令115之外，数据存储器114可以存储诸如道路地图、路径信息以及其他信息作为地图数据116。在车辆100以自主、半自主和/或手动模式运行期间，车辆100和计算系统111可以使用这样的信息来选择到达最终目的地的可用道路，解释来自传感器系统104的信息等。

车辆100和相关联的计算系统111向车辆100的用户，诸如车辆100的客舱中的乘客，提供信息和/或从其接收输入。用户接口112能够相应地包括一组外围设备108内的一个或多个输入/输出设备，诸如无线通信系统152、触摸屏154、麦克风156和/或扬声器158，以允许计算系统111和车辆乘客之间的通信。

计算系统111基于从指示车辆和/或环境条件的各种子系统(例如，推进系统102、传感器系统104和/或控制系统106)接收的输入以及来自用户界面112的指示用户偏好的输入来控制车辆100的操作。例如，计算系统111能够利用来自控制系统106的输入来控制转向单元138，以避开由传感器系统104和避障系统150检测到的障碍物。计算系统111能够被配置为控制车辆100及其子系统的许多方面。然而，通常，针对手动超控自动控制器驱动操作做出了规定，诸如在紧急情况下，或者仅响应于用户激活的超控等。

本文描述的车辆100的组件能够被配置为以相互连接的方式与它们相应系统内或系统外的其他组件一起工作。例如，相机134能够在以自主模式操作时捕获表示关于车辆100的环境的信息的多个图像。环境可以包括其他车辆、交通信号灯、交通标志、路标、行人等。计算机视觉系统146能够与传感器融合算法144、计算系统111等一起，基于预先存储在数据存储器114中的对象识别模型，和/或通过其他技术，对环境中的各个方面进行分类和/或识别。

尽管车辆100在图1中被描述和图示为具有集成到车辆100中的车辆100的各种组件，例如无线通信系统152、计算系统111、数据存储器114和用户界面112，但是这些组件中的一个或多个能够可选地与车辆100分立安装或关联。例如，数据存储器114能够部分或全部独立于车辆100存在，诸如在基于云的服务器中。因此，车辆100的一个或多个功能元件能够以分开或一起放置的设备元件的形式实现。组成车辆100的功能设备元件通常能够以有线和/或无线方式被通信地耦合在一起。

图2示出了示例车辆200，其能够包括结合参考图1的车辆100描述的一些或全部功能。尽管出于说明的目的，车辆200在图2中被示为四轮车，但是本公开不限于此。例如，车辆200能够代表卡车、货车、半拖车卡车、摩托车、高尔夫球车、越野车或农用车等。

示例车辆200包括传感器单元202、第一LIDAR单元204、第二LIDAR单元206、第一雷达单元208、第二雷达单元210、第一LIDAR/雷达单元212、第二LIDAR/雷达单元214、第三雷达单元220以及雷达单元、LIDAR单元、激光测距仪单元和/或其他类型的一个或多个传感器可以位于车辆200上的两个附加位置216、218。第一LIDAR/雷达单元212和第二LIDAR/雷达单元214中的每一个能够采取LIDAR单元、雷达单元或两者的形式。此外，另一雷达单元可以被包括在车辆的与雷达单元220相对的一侧。

此外，示例车辆200能够包括结合图1的车辆100描述的任何组件。第一、第二和第三雷达单元208、210、220和/或第一和第二LIDAR单元204、206能够主动扫描周围环境中潜在障碍物的存在，并且能够类似于车辆100中的雷达单元130和/或激光测距仪/LIDAR单元132。此外，第一LIDAR/雷达单元212和第二LIDAR/雷达单元214能够主动扫描周围环境中潜在障碍物的存在，并且能够类似于车辆100中的雷达单元130和/或激光测距仪/LIDAR单元132。

在一些示例中，LIDAR单元可以是两种不同类型的LIDAR单元中的一个。第一类型的LIDAR单元可以是旋转并且能够连续扫描LIDAR单元的视场的整个区域的LIDAR。第二类型的LIDAR单元可以是能够旋转并被转向以扫描LIDAR单元的视场的特定区域的LIDAR。第一类型的LIDAR单元可以具有比第二类型的LIDAR单元更短的范围。与第一LIDAR单元相比，第二类型的LIDAR单元在工作时可以具有更小的视场。在一些示例中，车辆200的一个或多个指定的LIDAR单元可以包含一种或两种类型的LIDAR单元。例如，安装在车辆顶部的LIDAR单元204可以包含两种类型的LIDAR单元。在一个示例中，第二类型的LIDAR单元在操作中可以具有在水平面上为8度宽且在垂直面上为15度宽的视场。

传感器单元202被安装在车辆200的顶部并且包括一个或多个传感器，传感器被配置为检测关于车辆200周围环境的信息，并且输出信息的指示。例如，传感器单元202能够包括相机、雷达、LIDAR、测距仪和声学传感器的任意组合。传感器单元202能够包括一个或多个可移动的安装件，安装件可以用于调节传感器单元202中的一个或多个传感器的方位。在一个实施例中，可移动的安装件可以包括旋转平台，旋转平台可以扫描传感器以便从车辆200周围的每个方向获得信息。在另一个实施例中，传感器单元202的可移动的安装件可以在特定角度范围和/或方位角范围内以扫描方式可移动。传感器单元202可以被安装在车顶上，尽管其他安装位置也是可以的。另外，传感器单元202的传感器可以分布在不同的位置，并且不需要布置在单个位置。一些可能的传感器类型和安装位置包括两个附加位置216、218。此外，传感器单元202的每个传感器可以被配置为独立于传感器单元202的其他传感器移动或扫描。

在示例配置中，一个或多个雷达扫描仪(例如，第一雷达单元208和第二雷达单元210)能够位于车辆200的后部附近，以主动扫描汽车200后部的区域中无线电反射对象的存在。类似地，第一LIDAR/雷达单元212和第二LIDAR/雷达单元214可以被安装在车辆的前部附近，以主动扫描车辆前方的区域。雷达扫描仪能够位于，例如适合照亮包括车辆200的向前移动路径的区域而不会被车辆200的其他特征遮挡的位置。例如，雷达扫描仪能够处于被嵌入和/或安装在前保险杠、前大灯、整流罩和/或引擎盖等之中或附近。此外，一个或多个额外的雷达扫描设备能够被定位为主动扫描车辆200的侧面和/或后部，以寻找无线电反射对象的存在，诸如通过将这样的设备包括在后保险杠、侧板、门槛板和/或起落架等中或附近。

实际上，每个雷达单元可以能够扫描超过90度的波束宽度。当雷达单元被放置在车辆的拐角处时，如雷达单元208、210、212和214所示，每个雷达单元可以能够扫描水平面中的90度视场，并为车辆提供车辆周围的整个360度区域的雷达视场。此外，车辆也可以包括两个面向侧面的雷达单元，一个被显示为雷达单元220(第二个未示出，在车辆与雷达单元220相对的一侧)。当其他雷达单元被阻挡时，诸如当进行受保护的右转时(即，当在转弯车辆左侧的车道上有另一车辆时右转)，侧面雷达单元可以能够提供进一步的雷达成像。

尽管图2中未示出，但是车辆200能够包括无线通信系统。无线通信系统可以包括无线发射器和接收器，其可以被配置为与车辆200外部或内部的设备通信。具体地，无线通信系统可以包括收发器，收发器被配置为与其他车辆和/或计算设备通信，例如，在车辆通信系统或道路车站中。这样的车辆通信系统的示例包括专用短程通信(DSRC)、射频识别(RFID)和针对智能交通系统的其他通信标准。

车辆200能够包括相机，可能在传感器单元202内部的位置。相机可以是光敏仪器，例如静态相机、摄像机等，被配置为捕获车辆200的环境的多个图像。为此，相机能够被配置为检测可见光，并且能够额外地或可替代地被配置为检测来自光谱的其他部分的光，例如红外光或紫外光。在一个特定示例中，传感器单元202可以包含光学相机(即，捕获人类可见光的相机)和红外相机两者。红外相机可以能够捕获摄像机视场内的热图像。

相机能够是二维检测器，并且能够可选地具有三维空间范围的灵敏度。在一些实施例中，相机能够包括例如距离检测器，距离检测器被配置为生成指示从相机到环境中的多个点的距离的二维图像。为此，相机可以使用一种或多种距离检测技术。例如，相机能够通过使用结构光技术来提供距离信息，在结构光技术中，车辆200用诸如网格或棋盘图案的预定光图案照射环境中的对象，并且使用相机来检测预定光图案从环境周围的反射。基于反射光图案中的失真，车辆200能够确定到对象上的点的距离。预定光图案可以包括红外光，或者用于这种测量的其他合适波长的辐射。在一些示例中，相机能够被安装在车辆200的前挡风玻璃内。具体地，相机能够被定位为从相对于车辆200的方位的前视视角捕获图像。也可以在车辆200的内部或外部使用摄像机的其他安装位置和视角。此外，相机能够具有相关联的光学器件，光学器件可操作来提供可调节的视场。更进一步，相机能够用可移动的安装件被安装到车辆200上，以改变相机的指向角度，诸如经由摇摄/倾斜机构。

此外，相机传感器可以被配置有卷帘快门。卷帘快门通常会迭代地对光传感器进行采样以捕获图像数据。来自相机传感器的数据可以形成图像、多个图像或视频。例如，在传统的图像传感器中，卷帘快门可以一次对光传感器的一行单元进行迭代采样。当对具有卷帘快门的相机传感器进行采样时，传感器视场中的高速对象可能出现失真。这种失真是由迭代采样引起的。因为单元行被迭代采样，所以被成像的对象在每次采样之间轻微移动。因此，每一行的采样时间将比前一行稍晚。由于采样各个行的延迟，具有水平运动的对象可能具有水平偏斜。例如，在传感器的视场上移动的车辆可能具有使车辆失真的水平偏斜和垂直压缩(或膨胀)。这种偏斜对于基于图像中对象的水平位置的处理来说可能是麻烦的。本系统可以帮助识别由卷帘快门引起的可能的相机失真。

图3是根据示例实现的与自主车辆相关的各种计算系统之间的无线通信的概念性图示。特别地，无线通信可以经由网络304在远程计算系统302和车辆200之间发生。无线通信也可以发生在服务器计算系统306和远程计算系统302之间，以及服务器计算系统306和车辆200之间。在车辆200的运行期间，车辆可以从服务器计算系统306和远程计算系统302两者传送和接收数据，以帮助车辆200的运行。车辆200可以将与其运行相关的数据和来自其传感器的数据通信到服务器计算系统306和远程计算系统302。此外，车辆200可以从服务器计算系统306和远程计算系统302接收与车辆传感器感测到的对象相关的运行指令和/或数据。

车辆200能够与能够在不同地点之间运送乘客或对象的各种类型的车辆相对应，并且可以采取上述任何一种或多种车辆的形式。

远程计算系统302可以代表与远程协助和运行技术相关的任何类型的设备，包括但不限于本文描述的那些。在示例中，远程计算系统302可以代表任何类型的设备，设备被配置为：(i)接收与车辆200相关的信息，(ii)提供接口，人类操作员或计算机操作员通过该接口可以进而感知信息并输入与信息相关的响应；以及(iii)将响应发送到车辆200或其他设备。远程计算系统302可以采取各种形式，诸如工作站、台式计算机、膝上型计算机、平板电脑、移动电话(例如智能电话)和/或服务器。在一些示例中，远程计算系统302可以包括在网络配置中一起操作的多个计算设备。

远程计算系统302可以包括与车辆200的子系统和组件相似或相同的一个或多个子系统和组件。至少，远程计算系统302可以包括被配置用于执行本文描述的各种操作的处理器。在一些实施方式中，远程计算系统302还可以包括用户界面，该用户界面包括输入/输出设备，诸如触摸屏和扬声器。其他示例也是可能的。

网络304代表使能远程计算系统302和车辆200之间的无线通信的基础设施。网络304也使能服务器计算系统306和远程计算系统302之间以及服务器计算系统306和车辆200之间的无线通信。

远程计算系统302的位置能够在示例中变化。例如，远程计算系统302可以具有远离车辆200的位置，车辆200具有经由网络304的无线通信。在另一示例中，远程计算系统302可以与车辆200内的计算设备相对应，该计算设备与车辆200分离，但是人类操作员能够利用该计算设备与车辆200的乘客或驾驶员交互。在一些示例中，远程计算系统302可以是具有可由车辆200的乘客操作的触摸屏的计算设备。

在一些实施方式中，本文描述的由远程计算系统302执行的操作可以额外地或替代地由车辆200(即，由车辆200的任何系统或子系统)执行。换句话说，车辆200可以被配置为提供远程协助机制，车辆的驾驶员或乘客可以与该机制交互。

服务器计算系统306可以被配置为经由网络304与远程计算系统302和车辆200无线通信(或者可能直接与远程计算系统302和/或车辆200通信)。服务器计算系统306可以代表被配置为接收、存储、确定和/或传送与车辆200及其远程协助相关的信息的任何计算设备。这样，服务器计算系统306可以被配置为执行本文描述为由远程计算系统302和/或车辆200执行的任何操作或这些操作的一部分。与远程协助相关的无线通信的一些实现可以利用服务器计算系统306，而其他的可能不利用。

服务器计算系统306可以包括与远程计算系统302和/或车辆200的子系统和组件相似或相同的一个或多个子系统和组件，例如被配置用于执行本文描述的各种操作的处理器，以及用于从远程计算系统302和车辆200接收信息并向其提供信息的无线通信接口。

上述各种系统可以执行各种操作。现在将描述这些操作和相关特征。

根据上面的讨论，计算系统(例如，远程计算系统302，或者服务器计算系统306，或者车辆200本地的计算系统)可以运行以使用相机来捕获自主车辆的环境的图像。通常，至少一个计算系统将能够分析图像并可能控制自主车辆。

在一些实施方式中，为了促进自主操作，车辆(例如，车辆200)可以以多种方式接收表示车辆运行的环境中的对象的数据(这里也称为“环境数据”)。车辆上的传感器系统可以提供表示环境对象的环境数据。例如，车辆可以具有各种传感器，包括相机、雷达单元、激光测距仪、麦克风、无线电单元和其他传感器。这些传感器中的每一个可以向车辆中的处理器通信关于每个相应传感器接收的信息的环境数据。在一个示例中，相机可以被配置为捕获静态图像和/或视频。在一些实施方式中，车辆可以具有位于不同方位的多于一个的相机。此外，在一些实施方式中，相机可以能够移动以在不同方向捕获图像和/或视频。相机可以被配置为将捕获的图像和视频存储到存储器中，以供车辆的处理系统稍后处理。捕获的图像和/或视频可以是环境数据。此外，相机可以包括如本文所述的图像传感器。

在另一个示例中，雷达单元可以被配置为发射电磁信号，该电磁信号从车辆附近的一个或多个对象反射。然后雷达单元可以捕获从对象反射的电磁信号。捕获的反射电磁信号可以使雷达系统(或处理系统)能够对反射电磁信号的对象进行各种确定。例如，可以确定到各种反射对象的距离和位置。在一些实施方式中，车辆可以在不同方向上具有一个以上的雷达。雷达系统可以被配置为将捕获的信息存储到存储器中，以供车辆的处理系统稍后处理。雷达系统捕获的信息可以是环境数据。

在另一个示例中，激光测距仪(例如，LIDAR单元)可以被配置为发射电磁信号(例如，光，诸如来自气体或二极管激光器或其他可能的光源的光)，该电磁信号可以从车辆附近的一个或多个目标对象反射。激光测距仪可以能够捕获的反射电磁(例如激光)信号。捕获的反射电磁信号可以使测距系统(或处理系统)能够确定到各种对象的距离，诸如将电磁信号反射回激光测距仪的对象。测距系统还可以能够确定目标对象的速度或速率，并将其存储为环境数据。

在一些实施方式中，处理系统可以能够组合来自各种传感器的信息，以便进一步确定车辆的环境。例如，处理系统可以组合来自雷达信息和捕获图像两者的数据，以确定自主车辆前方是否有另一车辆或行人。在其他实施方式中，处理系统可以使用传感器数据的其他组合来确定环境。

当在自主模式下运行时，车辆可以在很少或没有人工输入的情况下控制其运行。例如，人类操作员可以在车辆中输入地址，然后车辆可以能够行驶到指定的目的地，而无需人类的进一步输入(例如，人类不必转向或触摸制动/油门踏板)。此外，当车辆自主运行时，传感器系统可以接收环境数据。车辆的处理系统可以基于从各种传感器接收的环境数据来改变车辆的控制。在一些示例中，车辆可以响应于来自各种传感器的环境数据来改变车辆的速度。车辆可以改变速度以避开障碍物、遵守交通法规等。当车辆中的处理系统识别到车辆附近的对象时，车辆可以能够改变速度或者以另一种方式改变运动。

当车辆检测到对象但对对象的检测没有高置信度时，车辆可以请求人类操作员(或更强大的计算机)执行一个或多个远程协助任务，例如：(i)确认对象是否实际存在于环境中(例如，如果实际存在停车标志或如果实际不存在停车标志)、(ii)确认车辆对对象的识别是否正确、(iii)如果识别不正确，则校正识别和/或(iv)为自主车辆提供补充指令(或修改当前指令)。

车辆可以取决于环境数据源以各种方式检测环境的对象。在一些实施方式中，环境数据可以来自相机，并且可以是图像或视频数据。在其他实施方式中，环境数据可以来自LIDAR单元。车辆可以分析捕获的图像或视频数据，以识别图像或视频数据中的对象。方法和装置可以被配置为针对环境对象的存在来监视图像和/或视频数据。在其他实施方式中，环境数据可以是雷达、音频或其他数据。车辆可以被配置为基于雷达、音频或其他数据来识别环境的对象。

在一些实施方式中，车辆用于检测对象的技术可以基于一组已知数据。例如，与环境对象相关的数据可以存储到位于车辆中的存储器中。车辆可以将接收到的数据与存储的数据进行比较，以确定对象。在其他实施方式中，车辆可以被配置为基于数据的情境来确定对象。例如，与建筑相关的街道标志通常可以具有橙色。因此，车辆可以被配置为检测橙色的对象，并且位于道路一侧附近作为与建筑相关的街道标志。另外，当车辆的处理系统在捕获的数据中检测到对象时，它还可以计算每个对象的置信度。

III.示例系统和方法

现在将更详细地描述本公开的示例系统和方法。

图4A图示了具有各种传感器视场的示例自主车辆400。如前面关于图2所讨论的，车辆400可以包含多个传感器。各种传感器的位置可以与图2中公开的传感器的位置相对应。然而，在一些情况下，传感器可以具有其他位置。为了简化绘图，图4A中省略了传感器位置。对于车辆400的每个传感器单元，图4A示出了相应的视场。传感器的视场可以包括传感器可以检测对象的角度区域和与传感器可以可靠检测对象的离传感器的最大距离相对应的范围。

如前所述，车辆400可以包括六个雷达单元。第一雷达单元可以位于车辆的左前方，并且具有与视场402A的角度部分相对应的角度视场。第二雷达单元可以位于车辆的右前侧，并且具有与视场的角度部分相对应的角度视场。第三雷达单元可以位于车辆的左后方，并且具有与视场402C的角度部分相对应的角度视场。第四雷达单元可以位于车辆的右后方，并且具有与视场402D的角度部分相对应的角度视场。第五雷达单元可以位于车辆的左侧，并且具有与视场402E的角度部分相对应的角度视场。第六雷达单元可以位于车辆的右侧，并且具有与视场402E的角度部分相对应的角度视场。六个雷达单元中的每一个可以被配置有90度的可扫描波束宽度。雷达波束宽度可以小于90度，但是每个雷达单元能够可以在90度视场内控制雷达波束。

车辆400的第一LIDAR单元可以被配置为扫描车辆周围的整个360度区域，如与视场404的角度部分相对应的角度视场所示。车辆400的第二LIDAR单元可以被配置为扫描小于车辆周围的360度区域的区域。在一个示例中，第二LIDAR单元可以在水平面上具有8度视场，如与视场406的角度部分相对应的角度视场所示。

此外，车辆也可以包括至少一个相机。相机可以是光学相机和/或红外相机。相机可以具有与视场408的角度部分相对应的角度视场。

除了车辆400的各种传感器中的每一个的视场之外，每个传感器也可以具有相应的范围。在一个示例中，雷达单元的范围可以大于任一LIDAR单元的范围，如雷达单元402A-402E的视场比LIDAR单元404和406的视场延伸得更远所示。此外，第二LIDAR单元的范围可以大于第一LIDAR单元的范围，如视场406比视场406延伸得更远所示。相机可以具有由视场408的范围显示的范围。在各种示例中，相机的范围可以大于或小于其他传感器的范围。

图4B图示了感测系统的各种传感器452A-452C的示例视场。每个传感器452A-452C可以可通信地耦合到给定传感器的相应处理单元454A-454C。尽管传感器被显示为通常彼此并置，但是传感器可以位于车辆的不同部分。各种传感器452A-452C可以是具有视场的本公开的任何传感器。例如，各种传感器452A-452C可以包括LIDAR传感器、光学相机传感器、红外相机传感器和/或雷达传感器。传感器的相应位置可以与参照图2描述的相同。此外，尽管示出了三个传感器，但是在本公开的上下文中也可以使用更多(或更少)的传感器。

在此示例中，三个传感器452A-452C具有相似但不相同的视场456A-456C(例如，重叠的视场)。在其他示例中，三个传感器452A-452C可以具有相同的视场(例如，公共视场)。在其他示例中，三个传感器452A-452C可以具有完全不同的(例如，不重叠的)视场。

处理单元454A-454C可以被配置为同时或接近同时处理由传感器接收的数据。通过将三个传感器创建的数据路由到不同的处理单元，可以并行处理数据。另外，来自处理单元454A-454C的输出可以被通信到车辆控制系统，以帮助控制车辆。因此，经处理的传感器数据可以在大致相同的时间从各种传感器接收。

在一些示例中，车辆控制系统(或车辆的其他处理单元)可以能够测量和/或确定关于每个传感器和处理单元的等待时间。车辆控制系统可以能够调整接收到的数据，以便使各种传感器彼此同步。本系统和方法可以帮助车辆控制系统确定传感器和/或处理器等待时间。在一个示例中，传感器452A可以是LIDAR传感器。在LIDAR传感器452A的操作期间，LIDAR传感器452A可以发射激光脉冲行458。LIDAR传感器452A可以反复地在LIDAR传感器452A的视场456A上发射激光脉冲行458。LIDAR传感器可以从对象接收反射激光脉冲458的反射。在一些其他示例中，激光脉冲458可以不是一行脉冲，而是一个或多个激光点脉冲。LIDAR传感器452A可以将接收到的LIDAR反射转换成电信号，以供LIDAR处理器454A处理。

在此示例中，传感器452B可以是雷达传感器。传感器452A可以在视场456B上发射雷达信号，并接收回雷达脉冲。雷达传感器452B可以将接收到的雷达反射转换成电信号，以供雷达处理器454B处理。此外，在该示例中，传感器452C可以是相机传感器(光学相机、红外相机或两者)。相机传感器452B可以将从其视场456C接收的光转换成电信号，以供相机处理器454C处理。

在各种示例中，传感器的类型、传感器的放置以及传感器视场的大小可以不同于图4B所示。

图5A图示了示例目标500。目标500包括布置在网格502中的多个单元504。尽管网格502被示出为均匀网格(即，行和列中的单元)，但是在一些示例中，网格502可以不是均匀的。网格502的每个单元504可以包括光检测器、发光二极管(LED)和/或IR元件(例如，产生IR传感器可见的热量的元件)中的至少一个。在一些示例中，LED和/或IR元件可以被称为光源。在一个示例中，IR元件可以是使用非晶碳纳米涂层(a-CNC)薄膜的微机电系统(MEMS)IR源元件。a-CNC薄膜可以使IR元件具有长的寿命并且还具有快速脉冲功能。快速脉冲功能可以意味着响应于被施加以发射IR的信号，IR从IR元件被更快地发射。

网格502可以是具有高度512和宽度510的二维网格。网格502可以耦合到处理器514，处理器514执行指令来控制目标500的运行。

在目标500的操作期间，至少一个单元504，例如网格左边缘上的单元，可以包含光传感器。光传感器可以被配置为响应于LIDAR激光脉冲撞击(strike)光传感器而产生电信号。在目标500的操作期间，当目标在LIDAR单元的视场内时，车辆(或其他设备)的LIDAR单元可以扫描穿过目标500的LIDAR光束。LIDAR光束可以作为一系列脉冲被发射。在一些示例中，LIDAR光束可以在LIDAR单元的视场上扫描。当LIDAR光束扫描通过LIDAR单元的视场时，LIDAR光束506一次可以撞击多个单元。当LIDAR光束506扫描通过视场时，它可以顺序508撞击网格502的单元504。因此，LIDAR光束506可以撞击包含光传感器的网格502的单元504。

在另一示例中，多个单元可以包含光传感器，例如网格502的左边缘上的几个单元。在另一示例中，网格502可以具有包含光传感器的多个单元504。通过包括多个光传感器，目标500可以增加其接收LIDAR脉冲的机会。在又一示例中，光传感器可以位于网格502的外部。另外，光传感器可以包括透镜。如果光传感器不包括透镜，则透镜可以使光传感器能够在更宽的区域上检测LIDAR脉冲。

响应于一个(或多个)光传感器感测到LIDAR脉冲，感测脉冲的相应传感器可以向处理器514通信电信号。处理器514能够确定哪个光传感器检测到了LIDAR脉冲(在存在多于一个光检测器的情况下)以及光传感器位于网格502上的何处。

响应于检测到LIDAR脉冲，处理器514可以选择性地照亮网格502的单元504内的多个光源(例如，LED和/或IR源)。在一些示例中，光源可以是LED或IR元件。在其他示例中，每个单元可以包含LED和IR元件二者。在另外的示例中，单个光源既可以发射可见光，又可以发射IR光。

处理器514可以以预定图案照亮多个光源。预定模式可以基于光传感器的位置。预定模式可以对应于LIDAR脉冲的位置。例如，处理器可以被配置为在LIDAR脉冲撞击网格的相应单元504的同时(或大约同时)照亮网格502的光源。因此，处理器514可以协调光源的照明与LIDAR脉冲的定时。

在一些进一步的示例中，网格502可以被校准以确定处理器操作的定时。作为校准的一部分，可以计算向光源提供电压和检测到光源的时间之间的延迟。例如，从电压被施加到光源时起到LED开始输出光，它可以具有有限的时间量。类似地，从电压被施加到IR元件时其到它开始输出光，IR元件可以具有有限的时间量。当处理器触发相应的光源时，它可以能够考虑光源延迟。

图5B图示了示例目标520。目标520可以是如图5B所示的回射器。在其他示例中，目标520可以是另一种形状或形式的反射器。目标520可以是被配置为将照射在目标520上的电磁信号反射回电磁信号来自的方向的目标。因此，如果车辆的雷达单元在目标520的方向上发射雷达信号，目标520将把雷达信号的一部分反射回车辆。

目标可以基于目标520的大小来反映电磁能量的百分比。目标可以被配置为具有高雷达截面(RCS)，也就是说，目标可以被配置为在雷达信号被发射的方向上对雷达信号具有高反射性。在一些示例中，车辆的计算系统可以知道目标520的RCS，并使用已知的RCS来校准和/或验证车辆的雷达单元。

图5C图示了示例目标系统540。目标系统540可以包括第一目标542和第二目标544。第一目标542可以与图5A的目标500相似或相同。第二目标544可以与图5B的目标520相同或相似。这两个目标可以被安装在可移动平台546上。

图5A的处理器514或另一个处理器(未示出)可以被配置为移动包含两个目标542和544的平台546。平台546可以由处理器以预定的运动移动。处理器可以被配置为在车辆附近的整个区域内移动平台546。通过移动平台546，对目标进行成像的车辆处理系统可以接收两个目标542和544的各种位置和轨迹。

在一些进一步的示例中，目标500的组件可以作为混合目标被包括在目标520上。混合目标可以是单一目标，其包括目标520的雷达反射特征以及像目标500一样的在网格布置中的光传感器和光源。因此，在这些示例中，平台546可以仅包括被配置为执行目标542和544的功能的一个目标。

图6是根据示例实施例的方法600的流程图。此外，图7是根据示例实施例的方法700的流程图。例如，图6中所示的方法600和图7中所示的方法700均呈现了可用于车辆100、200、400和/或目标500、520和540中的任何一个的方法的实施例。方法600可以包括如块602-604中的一个或多个所示的一个或多个操作、功能或动作。方法700可以包括如块702-708中的一个或多个所示的一个或多个操作、功能或动作。尽管每个方法的块以顺序的顺序示出，但是在一些情况下，这些块可以并行执行，和/或以不同于本文描述的顺序执行。此外，各种块可以被组合成更少的块，被分成额外的块，和/或基于期望的实现被移除。

此外，对于方法600、方法700以及本文公开的其他过程和方法，流程图示出了当前实施例的一个可能实现的功能和操作。在这点上，每个块可以代表模块、段、制造或操作过程的一部分或程序代码的一部分，其包括可由处理器执行的一个或多个指令，用于实现过程中的特定逻辑功能或步骤。程序代码可以被存储在任何类型的计算机可读介质上，诸如包括磁盘或硬盘驱动器的存储设备。计算机可读介质可以包括非暂时性计算机可读介质，诸如存储短时间数据的计算机可读介质，如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括非暂时性介质，诸如二级或永久长期存储器，例如只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质或有形存储设备。

附加地或可替代地，对于方法600、方法700和本文公开的其他过程和方法，流程图中的一个或多个块可以表示被布线以执行过程中的特定逻辑功能的电路。

在一些示例中，对于方法600、方法700和本文公开的其他过程和方法，流程图中描述的功能可以由单个车辆(例如，车辆100、200等)执行、可以分布在多个车辆之间、可以由远程服务器/外部计算系统(例如系统302和306)执行，和/或可以由一个或多个外部计算系统和一个或多个车辆的组合执行以及其他可能性。

在块602，方法600涉及通过触发设备检测第一感测事件，其中第一感测事件与第一类型的传感器相关联。触发设备可以是被配置为检测LIDAR脉冲的光传感器。在一些示例中，在给定目标上可以存在多于一个的光传感器。此外，在一些示例中，光传感器可以包括透镜，以帮助光传感器接收LIDAR脉冲。触发设备可以被配置为响应于满足触发条件而输出电信号。

在一些示例中，光传感器可以耦合到处理器。响应于光传感器接收到LIDAR脉冲，光传感器可以向处理器输出指示已经接收到LIDAR脉冲的信号。此外，光传感器可以位于包括多个光源以及光传感器的网格上。

在块604，方法600涉及响应于第一感测事件而揭示多个传感器目标中的至少一个，其中多个传感器目标在相应传感器的视场的给定区域内，并且其中，揭示的传感器目标与第二类型的传感器相关联。如前所讨论的，车辆传感器系统可以包括多个传感器，每个传感器具有相应的视场。可能期望方法600响应于光传感器检测到LIDAR脉冲来揭示多个传感器目标中的至少一个。通过在各个传感器的视场的给定区域内具有多个传感器目标，目标可以包括可由车辆的各种传感器检测到的部分。在一些示例中，目标可被配置为提供可由LIDAR单元、雷达单元、光学相机和IR相机检测的部分。

在一些示例中，揭示多个传感器目标中的至少一个可以包括处理器接收指示LIDAR脉冲撞击光传感器的信号并响应地照亮光源。处理器可以能够确定哪个光传感器检测到LIDAR脉冲(在存在多于一个光检测器的情况下)以及光传感器位于网格上的何处。在其他示例中，处理器可以被编程为知道光传感器相对于光源的网格位置的位置。

如前所述，响应于检测到LIDAR脉冲，处理器可以选择性地照亮多个光源(例如，LED和/或IR源)，每个光源在网格单元内。在一些示例中，光源可以是LED或IR元件。在其他示例中，每个单元可以包含LED和IR元件二者。在另外的示例中，单个光源既可以发射可见光，又可以发射IR光。

处理器可以以预定图案照亮多个光源。预定图案可以基于光传感器的位置。预定图案可以与LIDAR脉冲的位置相对应。例如，处理器可以被配置为在LIDAR脉冲撞击网格的相应单元的同时(或大约同时)照亮网格的光源。因此，处理器可以协调光源的照明与LIDAR脉冲的定时。

在一些进一步的示例中，网格可以被校准以确定处理器操作的定时。作为校准的一部分，可以计算向光源提供电压和光源可以被检测到的时间之间的延迟。例如，从电压被施加到光源时起到LED开始输出光，LED可以具有有限的时间量。类似地，从电压被施加到IR元件时起到它开始输出光，IR元件可以具有有限的时间量。当处理器触发相应的光源时，它可以能够考虑光源延迟。

另外，在一些进一步的示例中，处理器还可以知道与车辆传感器相关联的处理延迟。处理延迟可以包括从给定传感器接收到信号时起到与给定传感器相关联的处理器基于检测提供输出信号的时间量。在一些示例中，目标的处理器可以基于车辆传感器的处理延迟来揭示目标。在其他示例中，处理器可以在LIDAR脉冲撞击目标的大致相同时间揭示传感器目标。通过大致同时揭示传感器，车辆的处理单元可以能够确定车辆的各种传感器的处理和感测延迟。

揭示多个传感器目标中的至少一个也可以包括移动传感器目标位于其上的平台。在一个示例中，光传感器、光源网格和雷达目标可以被安装在可移动平台上。平台可以以允许车辆的传感器单元基于目标的位置从各种传感器接收数据的方式移动。

在块702，方法700涉及由传感器在区域处发射传感器信号，其中，该区域包含校准目标。在块702，车辆的传感器可以被配置为发射传感器信号。传感器信号可以包括来自一个或多个LIDAR单元的LIDAR信号和来自一个或多个雷达单元的一个或多个雷达信号。对于LIDAR和雷达传感器，传感器发射信号并接收信号的来自传感器的视场的环境的反射。

在一些示例中，一个LIDAR单元可以被配置为在车辆周围的整个360度区域中以反复方式发射LIDAR脉冲。第二LIDAR单元可以能够转向并瞄准车辆周围环境的给定区域。每个雷达单元可以被配置为在车辆周围的90度区域上发射和接收雷达信号。块702处的发射也可以包括在包括本文公开的传感器目标的区域中发射传感器信号。

在块704，方法700涉及从多个传感器中的每一个接收传感器数据，其中，传感器数据与该区域相对应。如前所述，车辆可以包括多个传感器，每个传感器具有相应的视场，包括角度视场和范围。传感器数据可以由一个或多个LIDAR单元、一个或多个雷达单元以及一个或多个相机单元接收，每个LIDAR单元包括一个或多个LIDAR传感器，每个雷达单元包括一个或多个雷达传感器，每个相机单元包括一个或多个相机传感器。LIDAR单元和雷达单元可以被配置为基于在块702发射的反射LIDAR和雷达信号来接收数据。相机传感器能够接收可见光和/或红外光，并将光转换成数据。

每个传感器可以被配置为接收相应传感器的视场内的数据。在一些示例中，在本申请通篇中描述的传感器目标可以出现在车辆传感器的视场中。在块704，车辆可以接收与目标的检测相对应的数据。目标可以位于一个或多个传感器的视场内。在一些示例中，可能期望目标同时位于每种类型的传感器(例如，LIDAR、雷达、光学相机和IR相机)中的至少一个的视场内。

如前所述，当目标用光传感器感测到LIDAR脉冲时，目标可以相应地照亮一个或多个光源。在一些示例中，目标可以照亮与LIDAR脉冲位置相对应的光源。LIDAR单元可以在雷达单元接收来自目标的雷达反射和相机接收来自光源的光的同时(或大约同时)接收来自目标的LIDAR脉冲的反射。由于这些事件的协调，车辆的处理系统能够确定车辆的各种传感器的各种偏移(定时和空间)。定时偏移可以说明各种接收信号的处理时间。空间偏移可以说明各种传感器的对准。此外，在一些示例中，目标可以移动。

块704还可以包括连续地或周期性地从与目标相对应的各种传感器接收附加数据。因此，移动目标可以使车辆能够进行模拟和/或对应于运动中的车辆的传感器偏移测量。光源开启和关断的模式以及目标的运动都可能导致相机中的快门失真。如前所述，因为相机可以包括卷帘快门(即，以迭代方式采样相机传感器的单元)，所以快速移动的对象可能在相机传感器产生的图像中显得偏斜。因此，本系统和方法可以帮助测量和校正相机卷帘快门误差。

在块706，方法700涉及由处理器基于接收的传感器数据确定相应的传感器偏移。在一些示例中，车辆的处理器可以被配置为从车辆的各种传感器接收经处理的传感器数据。作为校准例程的一部分，处理器可以能够确定各种偏移(像前面描述的定时和空间偏移)。在块704，处理器能够关联由各种传感器接收的传感器数据。基于知道目标的形状和布局，处理器可以能够确定接收到的数据应该是什么样子。也就是说，处理器可以能够确定来自传感器的哪些数据在时间或空间上未对齐。基于这种相关性，处理器可以能够确定给定传感器在时间和空间二者上的各种偏移。此外，处理器还可以能够确定相机的相机采样偏移，以减少由卷帘快门引起的偏斜。

在块708，方法700涉及通过应用所确定的相应传感器偏移来操作每个传感器。通过应用在块706确定的偏移，每个传感器可以应用时间偏移和/或空间偏移。当应用偏移时，各种传感器可以在时间和空间二者上同步。通过使传感器同步，一个传感器在给定时间和地点检测到的对象如果被另一个传感器看到，则应该在相同时间和地点具有类似的检测。偏移可以提高整个传感系统的精度。此外，块708也可以包括对应用了偏移的传感器执行传感器验证。验证可以包括利用应用了偏移的传感器执行块702和704。验证可以使系统能够检查传感器是否以同步方式运行。

虽然本文已经公开了各种示例方面和示例实施例，但是其他方面和实施例对于本领域技术人员来说将是显而易见的。本文公开的各种示例方面和示例实施例是出于说明的目的，而不是为了限制，真正的范围和精神由所附权利要求来指示。

Claims (20)

1.一种用于自主车辆的校准系统，该校准系统包括:

触发设备，被配置为检测由车辆传感器提供的电磁能量；

布置在网格中的多个光源；

处理器，被配置为：

接收第一信号，第一信号指示触发设备检测到由车辆传感器提供的电磁能量的第一脉冲；

基于接收第一信号，照亮布置在网格中的多个光源中的光源的第一集合；

接收第二信号，第二信号指示触发设备检测到由车辆传感器提供的电磁能量的第二脉冲，其中，电磁能量的第二脉冲在电磁能量的第一脉冲之后被检测；以及

基于接收第二信号，照亮布置在网格中的多个光源中的光源的第二集合，其中，光源的第一集合和光源的第二集合取决于预定图案。

2.根据权利要求1所述的校准系统，还包括：

平台，其中，触发设备、布置在网格中的多个光源和处理器位于平台上，并且

其中，处理器还被配置为使得平台根据预定运动来移动。

3.根据权利要求2所述的校准系统，还包括：

多个传感器目标，耦接到平台，其中，所述多个传感器目标包括来自由LIDAR目标、相机目标、红外目标、热红外目标和雷达目标组成的组中的至少一个。

4.根据权利要求3所述的校准系统，其中，所述处理器还被配置为基于多个传感器目标中的每一个的传感器偏移来揭示多个传感器目标。

5.根据权利要求4所述的校准系统，其中，所述处理器还被配置为基于多个传感器目标中的每一个的传播延迟来揭示多个传感器目标。

6.根据权利要求1所述的校准系统，其中，所述触发设备是光传感器。

7.根据权利要求6所述的校准系统，其中，电磁能量的第一检测是第一激光脉冲撞击所述光传感器，并且电磁能量的第二检测是第二激光脉冲撞击所述光传感器。

8.根据权利要求1所述的校准系统，其中，触发设备包括光传感器和透镜，并且

其中，触发设备被布置在网格中。

9.根据权利要求1所述的校准系统，其中，所述网格还包括：

以二维布置的多个单元，其中，每个单元包括多个光源中的光源和红外(IR)源。

10.根据权利要求9所述的校准系统，其中，IR源包括：

微机电系统(MEMS)IR源。

11.根据权利要求1所述的校准系统，其中，触发设备是位于网格中的第一位置处的第一触发设备，并且其中，校准系统还包括：

第二触发设备，位于网格中的第二位置处。

12.根据权利要求1所述的校准系统，其中，多个光源中的每个光源被配置为发射可见光和红外(IR)光。

13.一种用于校准自主车辆的多个传感器的方法，所述方法包括:

在计算设备接收第一信号，第一信号指示触发设备检测到由车辆传感器提供的电磁能量的第一脉冲；基于接收第一信号，照亮布置在网格中的多个光源中的光源的第一集合；

在计算设备接收第二信号，第二信号指示触发设备检测到由车辆传感器提供的电磁能量的第二脉冲，其中，电磁能量的第二脉冲在电磁能量的第一脉冲之后被检测；以及

基于接收第二信号，照亮布置在网格中的多个光源中的光源的第二集合，

其中，光源的第一集合和光源的第二集合取决于预定图案。

14.根据权利要求13所述的方法，还包括：

使得平台根据预定运动来移动，其中，触发设备、计算设备和布置在网格中的多个光源耦接到平台。

15.根据权利要求14所述的方法，还包括：

基于接收第一信号来揭示多个传感器目标中的至少一个，其中，所述多个传感器目标耦接到平台并包括LIDAR目标、相机目标、红外目标和雷达目标。

16.根据权利要求15所述的方法，还包括：基于多个传感器目标中的每一个的传感器偏移来揭示多个传感器目标。

17.根据权利要求16所述的方法，还包括：基于多个传感器目标中的每一个的延迟来揭示多个传感器目标。

18.根据权利要求13所述的方法，其中，接收指示触发设备检测到由车辆传感器提供的电磁能量的第一脉冲的第一信号包括：

基于第一激光脉冲撞击光传感器而接收第一信号，并且

其中，接收指示触发设备检测到由车辆传感器提供的电磁能量的第二脉冲的第二信号包括：

基于第二激光脉冲撞击所述光传感器而接收第二信号。

19.根据权利要求13所述的方法，其中，接收指示触发设备检测到电磁能量的第一脉冲的第一信号包括：

从与触发设备对应的第一光传感器接收第一信号；以及

其中，接收指示触发设备检测到电磁能量的第二检测的第二信号包括：

从与触发设备对应的第二光传感器接收第二信号。

20.一种非瞬时性计算机可读介质，被配置为存储指令，当指令被包括一个或多个处理器的计算系统执行时，使得计算系统执行用于校准自主车辆的传感器的操作，所述操作包括：

接收第一信号，第一信号指示触发设备检测到由车辆传感器提供的电磁能量的第一脉冲；

基于接收第一信号，照亮布置在网格中的多个光源中的光源的第一集合；

接收第二信号，第二信号指示触发设备检测到由车辆传感器提供的电磁能量的第二脉冲，其中，电磁能量的第二脉冲在电磁能量的第一脉冲之后被检测；以及

基于接收第二信号，照亮布置在网格中的多个光源中的光源的第二集合，

其中，光源的第一集合和光源的第二集合取决于预定图案。

Images