CN116193238A - 用于相机方向控制的方法和系统 - Google Patents

Abstract

提供了用于相机方向控制的方法和系统。示例实施例涉及以某些预定角度拍摄图像，以便在图像之间具有一致的曝光。示例实施例包括一种方法。该方法包括使用激光雷达设备来确定激光雷达设备的周围环境的光强信息。光强信息包括曝光阈值范围内的多个角度。该方法还包括确定与曝光阈值范围内的每个角度相关联的旋转时间。此外，该方法包括基于与曝光阈值范围内的每个角度相关联的旋转时间，确定多个目标图像时间。此外，该方法包括通过相机系统在多个目标图像时间处捕获多个图像。

Description

用于相机方向控制的方法和系统

技术领域

本文描述的实施例可以涉及用于通过调整帧时间来控制相机方向以避免不一致曝光的方法。示例实施例涉及相机系统，该相机系统被编程为以某些预定的偏航角和/或仰角拍摄图像，以便在图像之间具有一致的曝光。

背景技术

除非本文另有说明，否则此部分中描述的材料不是本申请中权利要求的现有技术，并且不因为包含在此部分中而被承认为是现有技术。

相机和图像传感器是用于捕获场景的图像的设备。一些相机(例如，胶片相机等)以化学方法在胶片上捕获图像。其它相机(例如，数码相机等)以电学方法捕获图像数据(例如，使用电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)传感器等)。可以分析由相机捕获的图像来确定其内容。例如，处理器可以执行机器学习算法，以便基于包括对象的形状、颜色、大小等的先前分类的对象的库来标识场景中的对象。(例如，这种机器学习算法可以应用于机器人或其它应用中的计算机视觉等)。

相机可以具有可以将相机彼此区分的多种特征。例如，相机和/或由相机捕获的图像可以通过下述值来标识：诸如光圈大小、f数、曝光时间、快门速率、景深、焦距、国际标准化组织(ISO)灵敏度(或增益)、像素大小、传感器分辨率、曝光距离等。这些特征可以基于透镜、图像传感器和/或相机的附加方面。此外，这些特征也可以在单个相机内可调节(例如，相机上的透镜的光圈可以在照片之间调节等)。

此外，相机可以用于激光雷达设备应用中，以检测包围激光雷达的窗口上是否有任何灰尘、水或其它碎片。灰尘、水和其它碎片也可以称为“污垢”，并且可能负面地影响激光雷达读数。在其它伪像当中，激光雷达的光圈上的污垢可能导致范围降级、测距不准确以及由于杂散光的点云中的模糊伪像。一些系统涉及安装在激光雷达设备上的相机。对激光雷达的包围窗口进行成像的相机可以安装在激光雷达设备内部。这样，相机可以被用于检测激光雷达设备本身上的任何遮挡(水、灰尘、碎片等)。

发明内容

在一个方面，提供了一种方法。该方法包括使用激光雷达设备来确定激光雷达设备的周围环境的光强信息。光强信息包括曝光阈值范围内的多个角度。该方法还包括确定与曝光阈值范围内的每个角度相关联的旋转时间。此外，该方法包括基于与曝光阈值范围内的每个角度相关联的旋转时间，确定多个目标图像时间。另外，该方法包括通过相机系统在多个目标图像时间处捕获多个图像。

在另一方面，提供了一种其上存储有指令的非暂时性计算机可读介质。当由处理器执行时，该指令使得处理器执行方法。该方法包括使用激光雷达设备来确定激光雷达设备的周围环境的光强信息。光强信息包括曝光阈值范围内的多个角度。该方法还包括确定与曝光阈值范围内的每个角度相关联的旋转时间。此外，该方法包括基于与曝光阈值范围内的每个角度相关联的旋转时间，确定多个目标图像时间。另外，该方法包括通过相机系统在多个目标图像时间处捕获多个图像。

在附加的方面，提供了一种光学系统。光学检测器系统包括光学组件。光学检测器系统还包括图像传感器，该图像传感器被配置为经由成像光学器件接收来自场景的光。此外，光学检测器系统包括被配置为执行成像例程的控制器。成像例程包括使用激光雷达设备确定激光雷达设备的周围环境的光强信息。光强信息包括曝光阈值范围内的多个角度。成像例程还包括确定与曝光阈值范围内的每个角度相关的旋转时间。此外，成像例程包括基于与曝光阈值范围内的每个角度相关联的旋转时间，确定多个目标图像时间。另外，成像例程包括通过相机系统在多个目标图像时间处捕获多个图像。

通过适当地参考附图阅读以下详细描述，这些以及其它方面、优点和替代对于本领域普通技术人员来说将变得明显。

附图说明

图1是示出根据示例实施例的载具的功能框图。

图2A是根据示例实施例的载具的物理配置的图示。

图2B是根据示例实施例的载具的物理配置的图示。

图2C是根据示例实施例的载具的物理配置的图示。

图2D是根据示例实施例的载具的物理配置的图示。

图2E是根据示例实施例的载具的物理配置的图示。

图3是根据示例实施例的与自主载具相关的各种计算系统之间的无线通信的概念性图示。

图4A是根据示例实施例的包括激光雷达设备的系统的框图。

图4B是根据示例实施例的激光雷达设备的框图。

图5是根据示例实施例的与环境交互的光学系统的图示。

图6A是根据示例实施例的相对于激光雷达设备处于不同角度的背景光的图示。

图6B是根据示例实施例的相对于激光雷达设备处于不同角度的背景光的图示。

图7是根据示例实施例的方法的图示。

图8是根据示例实施例的将背景光转换为曝光时间的图示。

具体实施方式

本文考虑了示例方法和系统。本文描述的任何示例实施例或特征不一定被解释为比其它实施例或特征更优选或更有利。此外，本文描述的示例实施例不意味着是限制性的。将容易理解的是，所公开的系统和方法的某些方面可以以多种不同的配置来布置和组合，所有这些都在本文中考虑。另外，图中所示的特定布置不应被视为限制性的。应当理解，其它实施例可以包括给定附图中所示的更多或更少的每个元件。附加地，所示的元件中的一些可以被组合或省略。此外，示例实施例可以包括附图中未示出的元件。

本文描述的激光雷达设备可以包括一个或多个光发射器以及一个或多个检测器，该检测器用于检测由一个或多个光发射器发射的并且由激光雷达设备周围环境中的一个或多个对象反射的光。例如，周围环境可以包括内部或外部环境，诸如建筑物的内部或建筑物的外部。附加地或替代地，周围环境可以包括载具内部。此外，周围环境可以包括道路周围和/或道路上的邻近区域。周围环境中的对象的示例包括但不限于其它载具、交通标志、行人、骑自行车的人、路面、建筑物、地形等。附加地，一个或多个光发射器可以将光发射到激光雷达系统本身的局部环境中。例如，从一个或多个光发射器发射的光可以与激光雷达系统的壳体和/或耦合到激光雷达系统的表面或结构相互作用。并且在一些情况下，激光雷达系统可以安装到载具上，在这种情况下，一个或多个光发射器可以被配置为发射与载具邻近区域的对象相互作用的光。此外，光发射器可以包括光纤放大器、激光二极管、发光二极管(LED)以及其它可能性。

激光雷达系统包括用于捕获图像的多个组件。例如，一些激光雷达可以包括圆顶以包围和保护激光雷达的其它组件，并且还可以包括用于激光雷达在向其外面操作的窗口。在某些情况下，在制造期间、组装期间或正常使用过程中，窗口可能被碎片遮挡、损坏、错位等。相机可以用于激光雷达应用中，以检测在激光雷达圆顶上是否有任何污垢、水或其它碎片(例如，灰尘、泥土、泥浆、昆虫或其它类型的有机或无机物质等)，或者检测激光雷达圆顶是否损坏(例如，断裂、破碎等)。灰尘、水和其它碎片也可以称为“污垢”，并且可能负面地影响激光雷达读数。一些系统涉及安装在激光雷达设备内部的对激光雷达的包围圆顶窗口进行成像的相机。在这种配置中，相机可以看到激光雷达本身上的任何遮挡(水、灰尘、其它碎片等)。相机可以随着激光雷达旋转，以检测污垢何时遮挡激光雷达窗口的任何部分。这些相机可以被称为相机、污垢相机或遮挡检测相机。

当前在操作期间使用的一种技术是当系统旋转时，相机拍摄尽可能多的图像。因此，图像是从不同的角度拍摄的。然而，取决于载具周围环境，以一些偏航角和仰角拍摄的图像可能曝光过度或不足。例如，考虑汽车在晴天离开隧道的情况。当相机向后指向隧道时，环境照明较暗，因此应当使用较长的曝光时间来避免曝光不足的图像。当相机向前指向太阳时，应当使用较短的曝光时间来避免曝光过度的图像。曝光过度和曝光不足的图像不能用于任何进一步的计算，并且因此不可用。虽然自动曝光可以用于解决图像中的曝光量，但是应当注意，可能仍然存在视场中的区域导致饱和的情况。

本文呈现的示例实施例提供了一种相机系统，该相机系统被编程为以某些预定的偏航角和/或仰角拍摄图像，以便在图像之间具有一致的曝光。相机系统可以是被配置为捕获图像的任何类型的光敏仪器，诸如静态相机、摄影机、热成像相机、立体相机、夜视相机等。该技术的方法可以确定视场的哪些部分不应当通过利用激光雷达设备来成像。例如，当载具进行操作时，相关联的激光雷达设备(其可以具有比遮挡检测相机更高的动态范围)可以从周围场景收集信息。周围场景可以包括内部或外部环境，例如建筑物或隧道内部，或者建筑物外部。附加地或替代地，周围场景可以包括道路周围和/或道路上的邻近区域。周围环境中的对象的示例包括但不限于其它载具、交通标志、行人、骑自行车的人、路面、建筑物、地形等。相关联的激光雷达设备可以从固定大小的偏航扇区中的周围场景收集光强信息。该强度信息可以指示固定大小的偏航扇区中的周围场景的亮度(例如，周围场景中的太阳背景的亮度等)。亮度测量可以用于确定遮挡检测相机的适当曝光时间，该曝光时间随着相机的偏航角而变化。例如，可以为每个偏航扇区计算平均亮度。然后，可以采用预先计算的查找表将“平均亮度”转换为“曝光时间”。在附加的实施例中，任何映射(诸如多项式拟合)可以用于将平均亮度转换为曝光时间。

在本实施例中，在某个角度拍摄图像可以通过基于分配给系统的当前激光雷达偏航角和/或仰角而主动地改变相机拍摄图像的时间来实现。激光雷达软件可以跟踪激光雷达角度，以及相机系统可以考虑角度并且主动调整图像时间，使得可以以指定的角度拍摄下一图像。由于本申请中的相机通常是流传送相机(即，可以实时地向计算机网络或通过计算机网络(诸如互联网)馈送或流传送图像或视频的相机)，可以通过增加或减少与图像读出相关联的空白行来实现角度锁定。空白行不包括任何图像数据，但是可以是通常用于改变每秒帧数的相机模块的参数。具体地，调整空白行以使图像读出花费更长的时间量或更短的时间量，然后这将影响何时拍摄下一图像。增加行数将增加摄影机读出时间，从而延迟下一相机帧开始时间。减少行数将减少摄影机读出时间，从而加快下一相机帧开始时间。在示例传感器模型中，一个附加的空白行可以将下一帧延迟54.792微秒。以这种方式，通过假设恒定速率的激光雷达旋转，可以通过操纵拍摄图像的时间来选择拍摄图像的角度。然后，图像可以用于确定激光雷达窗口是否被污垢遮挡。在替代的实施例中，通过增加或减少与图像读出相关联的空白行，非流传送相机也可以用于以预定角度捕获图像。非流传送相机可以包括存储将在之后的时间处理的多个图像的至少一个相机。

如在本文描述地，一些实施例可以包括当激光雷达设备旋转时，使用激光雷达设备确定激光雷达设备的周围环境的光强信息。激光雷达设备可以包括至少一个高灵敏度的光电二极管，以确定环境的平均背景亮度。平均背景5亮度可以包括由高灵敏度光电二极管感测的平均曝光量。光强信息还可以包括曝光阈值范围内的多个角度。曝光阈值范围可以是期望的曝光时间的范围。

一些实施例然后可以包括确定与曝光阈值范围内的每个角度相关联的旋转时间。可以使用激光雷达的恒定旋转速率和已知的激光雷达设备当前面对的角度来确定旋转时间。激光雷达设备的组件可以跟踪激光雷达设备正面对的角度。基于与曝光阈值范围内的每个角度相关联的旋转时间，一些实施例包括确定多个目标图像时间。为了尝试在最期望的曝光期间拍摄图像而确定目标成像时间。实施例然后包括通过相机系统在多个目标图像时间处捕获多个图像。然后，多个图像可以被用于确定激光雷达设备的窗口是否被遮挡。

以下描述和附图将阐明各种示例实施例的特征。所提供的实施例是示例性的，并且不旨在是限制性的。因此，附图的尺寸不一定按比例绘制。

现在将更详细地描述本公开范围内的示例系统。示例系统可以在汽车中实现或者可以采取汽车的形式。附加地，示例系统还可以在各种载具中实现或采取各种载具的形式，诸如汽车、卡车、摩托车、公共汽车、飞机、直升机、无人机、割草机、运土车、船、潜艇、全地形车、雪地车、飞机、娱乐车、游乐园车、农场设备或载具、建筑设备或载具、仓库设备或载具、工厂设备或载具、电车、高尔夫球车、火车、手推车、人行道运输载具、机器人设备等。其它载具也是可能的。此外，在一些实施例中，示例系统可能不包括载具。

现在参考附图，图1是示出示例载具100的功能框图，该示例载具100可以被配置为完全地或部分地在自主模式下操作。更具体地，载具100可以通过从计算系统接收控制指令而在没有人类交互的情况下以自主模式操作。作为在自主模式下操作的一部分，载具100可以使用传感器来检测并且可能标识周围环境的对象，以使得实现安全导航。附加地，示例载具100可以部分自主(即，半自主)模式操作，其中载具100的一些功能由载具100的人类驾驶员控制，并且载具100的一些功能由计算系统控制。例如，载具100还可以包括子系统，该子系统使得驾驶员能够控制载具100的操作，诸如转向、加速和制动，而同时计算系统执行辅助功能，诸如车道偏离警告/车道保持辅助或基于周围环境中的其它对象(例如，载具等)的自适应巡航控制。

如本文所描述地，在部分自主驾驶模式下，即使载具辅助一个或多个驾驶操作(例如，转向、制动和/或加速以执行车道居中、自适应巡航控制、高级驾驶员辅助系统(ADAS)、紧急制动等)，期望人类驾驶员知晓载具周围的形势并且监督辅助驾驶操作。这里，即使载具可以在某些情况下执行所有的驾驶任务，也期望人类驾驶员负责根据需要进行控制。

尽管为了简洁和简明起见，下面结合自主载具描述了各种系统和方法，但是这些或类似的系统和方法可以被用在没有达到完全自主驾驶系统(即部分自主驾驶系统)级别的各种驾驶员辅助系统中。在美国，汽车工程师协会(SAE)已经定义了不同级别的自主驾驶操作，以指示载具控制驾驶有多少(how much or how little)，尽管美国或其它国家中的不同组织可能对级别进行不同分类。更具体地，所公开的系统和方法可以被用于SAE级别2驾驶员辅助系统，该系统实现转向、制动、加速、车道居中、自适应巡航控制等，以及其它驾驶员支持。所公开的系统和方法可以被用于SAE级别3驾驶辅助系统中，该系统能够在受限条件下(例如，高速公路等)进行自主驾驶。同样地，所公开的系统和方法可以被用于在使用SAE级别4自动驾驶系统的载具中，该自动驾驶系统在大多数常规驾驶情况下自主地操作，并且仅需要人类操作人员偶尔注意。在所有这样的系统中，精确的车道估计可以(例如，当载具在运动时等)在没有驾驶员输入或控制的情况下自主地执行，并且引起载具定位和导航的改进的可靠性以及自主、半自主和其它驾驶员辅助系统的整体安全性。如前所述，除了SAE对自动驾驶操作的级别进行分类的方式之外，美国或其它国家中的其它组织可能对自动驾驶操作的级别进行不同的分类。本文公开的系统和方法可以用于由这些其它组织的自动驾驶操作级别定义的驾驶辅助系统，但是不限于此。

如图1所示，载具100可以包括各种子系统，诸如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、计算机系统112(也可以被称为计算系统)、数据存储装置114和用户接口116。在其它示例中，载具100可以包括更多或更少的子系统，每个子系统可以包括多个元件。载具100的子系统和组件可以以各种方式相互连接。另外，在实施例中，本文描述的载具100的功能可以被划分为附加的功能或物理组件，或者被组合成更少的功能或物理组件。例如，控制系统106和计算机系统112可以组合成根据各种操作来操作载具100的单个系统。

推进系统102可以包括可操作以为载具100提供动力运动的一个或多个组件，并且可以包括发动机/马达118、能量源119、变速器120和车轮/轮胎121，以及其它可能的组件。例如，发动机/马达118可以被配置为将能量源119转换为机械能，并且可以对应于内燃发动机、电动马达、蒸汽机或斯特林发动机中的一个或其组合，以及其它可能的选项。例如，在一些实施例中，推进系统102可以包括多种类型的发动机和/或马达，诸如汽油发动机和电动马达。

能量源119代表可以全部或部分为载具100的一个或多个系统(例如，发动机/马达118)提供动力的能量的源。例如，能量源119可以对应于汽油、柴油、其它基于石油的燃料、丙烷、其它基于压缩气体的燃料、乙醇、太阳能板、电池和/或其它电力源。在一些实施例中，能量源119可以包括燃料箱、电池、电容器和/或飞轮的组合。

变速器120可以将来自发动机/马达118的机械动力传递到载具100的车轮/轮胎121和/或其它可能的系统。这样，变速器120可以包括齿轮箱、离合器、差速器和驱动轴，以及其它可能的组件。驱动轴可以包括连接到一个或多个车轮/轮胎121的轴。

在示例实施例中，载具100的车轮/轮胎121可以具有各种配置。例如，载具100可以以独轮车、自行车/摩托车、三轮车、或汽车/卡车四轮形式，以及其它可能的配置存在。这样，车轮/轮胎121可以以各种方式连接到载具100，并且可以以不同的材料(诸如金属和橡胶)存在。

传感器系统104可以包括各种类型的传感器，诸如全球定位系统(GPS)122、惯性测量单元(IMU)124、雷达126、激光测距仪/LIDAR 128、相机130、转向传感器123和节气门/制动器传感器125，以及其它可能的传感器。在一些实施例中，传感器系统104还可以包括被配置为监视载具100的内部系统的传感器(例如，O₂监视器、燃料表、发动机机油温度、制动器磨损)。

GPS 122可以包括收发器，该收发器可操作以提供关于载具100相对于地球的位置的信息。IMU 124可以具有使用一个或多个加速度计和/或陀螺仪的配置，并且可以基于惯性加速度感测载具100的位置和朝向变化。例如，当载具100静止或运动时，IMU 124可以检测载具100的俯仰和偏航。

雷达126可以代表一个或多个系统，其被配置为使用无线电信号来感测载具100的周围环境内的对象，包括对象的速度和走向(heading)。这样，雷达126可以包括被配置为发送和接收无线电信号的天线。在一些实施例中，雷达126可以对应于可安装的雷达系统，该雷达系统被配置为获得载具100的周围环境的测量。

激光测距仪/LIDAR 128可以包括一个或多个激光源、激光扫描仪和一个或多个检测器，以及其它系统组件，并且可以在相干模式(例如，使用外差检测)或非相干检测模式下操作(即，飞行时间模式)。在一些实施例中，激光测距仪/LIDAR 128的一个或多个检测器可以包括一个或多个光电检测器，其可以是特别灵敏的检测器(例如雪崩光电二极管等)。在一些示例中，这种光电检测器可以能够检测单光子(例如，单光子雪崩二极管(SPAD)等)。此外，这种光电检测器可以被布置(例如，通过串联电连接)成阵列(例如，如在硅光电倍增器(SiPM)中)。在一些示例中，一个或多个光电检测器是盖革模式操作的设备，并且激光雷达包括为这种盖革模式操作设计的子组件。

相机130可以包括被配置为捕获载具100的周围环境的图像的一个或多个设备(例如，静态相机或摄影机、热成像相机、立体相机、夜视相机等)。

转向传感器123可以感测载具100的转向角度，这可以包括测量方向盘的角度或者测量代表方向盘的角度的电信号。在一些实施例中，转向传感器123可以测量载具100的车轮的角度，诸如检测车轮相对于载具100的前向轴线的角度。转向传感器123还可以被配置为测量载具100的方向盘的角度、表示方向盘的角度的电信号和车轮的角度的组合(或子集)。

节气门/制动器传感器125可以检测载具100的节气门位置或制动器位置中的位置。例如，节气门/制动器传感器125可以测量油门踏板(节气门)和制动器踏板两者的角度，或者可以测量电信号，该电信号可以表示例如油门踏板(节气门)的角度和/或制动器踏板的角度。节气门/制动器传感器125还可以测量载具100的节气门体的角度，其可以包括向发动机/马达118(例如，蝶形阀、化油器)提供能量源119的调制的物理机构的一部分。此外，节气门/制动器传感器125可以测量载具100的转子上的一个或多个制动器片(pad)的压力，或者油门踏板(节气门)和制动器踏板的角度、表示油门踏板(节气门)和制动器踏板的角度的电信号、节气门体的角度以及至少一个制动器片施加到载具100的转子上的压力的组合(或子集)。在其它实施例中，节气门/制动器传感器125可以被配置为测量施加到载具的踏板(诸如节气门或制动器踏板)的压力。

控制系统106可以包括被配置为辅助导航载具100的组件，诸如转向单元132、节气门134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路径系统142和避障系统144。更具体地，转向单元132可操作以调节载具100的走向，并且节气门134可以控制发动机/马达118的操作速率以控制载具100的加速度。制动单元136可以使载具100减速，这可以涉及使用摩擦力来使车轮/轮胎121减速。在一些实施例中，制动单元136可以将车轮/轮胎121的动能转换为电流，以供载具100的一个或多个系统随后使用。

传感器融合算法138可以包括卡尔曼(Kalman)滤波器、贝叶斯网络或能够处理来自传感器系统104的数据的其它算法。在一些实施例中，传感器融合算法138可以基于传入的传感器数据提供评估，诸如对单独的对象和/或特征的评估、对特定情况的评估和/或对给定情况内的潜在影响的评估。

计算机视觉系统140可以包括硬件和软件(例如，通用处理器、专用集成电路(ASIC)、易失性存储器、非易失性存储器、一个或多个机器学习模型等)，其可操作来处理和分析图像，以努力确定运动中的对象(例如，其它载具、行人、骑自行车的人、动物等)和不运动的对象(例如，交通灯、道路边界、减速带、坑洞等)。这样，计算机视觉系统140可以使用对象识别、运动结构(SFM)、视频跟踪和计算机视觉中使用的其它算法，例如，来识别对象、绘制环境地图、跟踪对象、估计对象的速率等。

导航/路径系统142可以确定载具100的驾驶路径，这可以涉及在操作期间动态调整导航。这样，导航/路径系统142可以使用来自传感器融合算法138、GPS 122和地图，以及其它源的数据来导航载具100。避障系统144可以基于传感器数据评估潜在障碍，并且使载具100的系统避开或另外越过(negotiate)潜在障碍。

如图1所示，载具100还可以包括外围设备108，诸如无线通信系统146、触摸屏148、麦克风150和/或扬声器152。外围设备108可以为用户提供控件或其它元件以与用户接口116交互。例如，触摸屏148可以向载具100的用户提供信息。用户接口116也可以经由触摸屏148接受来自用户的输入。外围设备108还可以使载具100能够与诸如其它载具设备的设备通信。

无线通信系统146可以直接或经由通信网络与一个或多个设备无线通信。例如，无线通信系统146可以使用3G蜂窝通信，诸如码分多址(CDMA)、演进数据优化(EVDO)、全球移动通信系统(GSM)/通用分组无线电业务(GPRS)、或者蜂窝通信(诸如4G全球微波接入互操作性(WiMAX)或长期演进(LTE))。替代地，无线通信系统146可以使用

或其它可能的连接与无线局域网(WLAN)通信。例如，无线通信系统146也可以使用红外链路、BLUETOOTH或ZIGBEE直接与设备通信。在本公开的上下文中，诸如各种载具通信系统的其它无线协议也是可能的。例如，无线通信系统146可以包括一个或多个专用短程通信(DSRC)设备，其可以包括载具和/或路边站之间的公共和/或私有数据通信。/>

载具100可以包括为组件供电的电源110。在一些实施例中，电源110可以包括可充电锂离子电池或铅酸电池。例如，电源110可以包括被配置为提供电能的一个或多个电池。载具100也可以使用其它类型的电源。在示例实施例中，电源110和能量源119可以集成到单个能量源中。

载具100还可以包括计算机系统112来执行操作，诸如本文描述的操作。如此，计算机系统112可以包括至少一个处理器113(其可以包括至少一个微处理器)，该至少一个处理器113可操作以执行存储在非暂时性计算机可读介质(诸如数据存储装置114)中的指令115。在一些实施例中，计算机系统112可以表示多个计算设备，所述多个计算设备可以用于以分布式方式控制载具100的各个组件或子系统。

在一些实施例中，数据存储装置114可以包含指令115(例如，程序逻辑)，所述指令115可由处理器113执行以执行载具100的各种功能，包括上面结合图1描述的那些功能。数据存储装置114也可以包含附加指令，包括向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与之交互和/或对其进行控制的指令。

除了指令115之外，数据存储装置114可以存储数据，诸如道路地图、路径信息，以及其它信息。在载具100以自主、半自主和/或手动模式操作期间，这种信息可以由载具100和计算机系统112使用。

载具100可以包括用户接口116，用于向载具100的用户提供信息或者从载具100的用户接收输入。用户接口116可以控制或使得能够控制可以显示在触摸屏148上的交互式图像的内容和/或布局。此外，用户接口116可以包括外围设备108的集合内的一个或多个输入/输出设备，诸如无线通信系统146、触摸屏148、麦克风150和扬声器152。

计算机系统112可以基于从各种子系统(例如，推进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制载具100的功能。例如，计算机系统112可以利用来自传感器系统104的输入，以便估计由推进系统102和控制系统106产生的输出。取决于实施例，计算机系统112可以可操作以监视载具100及其子系统的许多方面。在一些实施例中，计算机系统112可以基于从传感器系统104接收的信号禁用载具100的一些或所有功能。

载具100的组件可被配置为以与在其各自的系统内部或外部的其它组件互连的方式工作。例如，在示例实施例中，相机130可以捕获多个图像，所述多个图像可以表示关于在自主模式下操作的载具100的周围环境的状态的信息。周围环境的状态可以包括载具正在操作所处的道路的参数。例如，计算机视觉系统140能够基于道路的多个图像来识别坡度(斜坡(grade))或其它特征。附加地，GPS 122和由计算机视觉系统140识别的特征的组合可以与存储在数据存储装置114中的地图数据一起使用，以确定特定的道路参数。此外，雷达126和/或激光测距仪/LIDAR 128和/或一些其它环境测绘、测距和/或定位传感器系统还可以提供关于载具的环境的信息。

换句话说，各种传感器(可以称为输入指示和输出指示传感器)和计算机系统112的组合可以交互，以提供被提供用于控制载具的输入的指示、或载具的周围的指示。

在一些实施例中，计算机系统112可以基于由其它无线电系统提供的数据来关于各种对象做出确定。例如，载具100可以具有被配置为感测载具的视场中的对象的激光器或其它光学传感器。计算机系统112可以使用来自各种传感器的输出来确定关于载具的视场中的对象的信息，并且可以确定到各种对象的距离和方向信息。计算机系统112还可以基于来自各种传感器的输出来确定对象是期望的还是不期望的。

尽管图1将载具100的各种组件(即，无线通信系统146、计算机系统112、数据存储装置114和用户接口116)示出为集成到载具100中，但是这些组件中的一个或多个可以与载具100分开安装或关联。例如，数据存储装置114可以部分或全部与载具100分开存在。因此，载具100可以以可分开或一起定位的设备元件的形式提供。组成载具100的设备元件可以以有线和/或无线方式通信地耦合在一起。

图2A至图2E示出了示例载具200(例如，全自主载具或半自主载具等)，其可以包括参考图1结合载具100描述的功能中的一些或所有。尽管为了说明的目的，载具200在图2A至图2E中被示为具有侧视镜216的货车，但是本公开不限于此。例如，载具200可以代表卡车、汽车、半挂卡车、摩托车、高尔夫球车、越野车、农用载具或本文别处描述的任何其它载具(例如，公共汽车、船、飞机、直升机、无人驾驶飞机、割草机、运土车、潜水艇、全地形车、雪地车、飞机、娱乐车、游乐园车、农场设备、建筑设备或载具、仓库设备或载具、工厂设备或载具、电车、火车、手推车、人行道运输载具和机器人设备等)。

示例载具200可以包括一个或多个传感器系统202、204、206、208、210、212、214和218。在一些实施例中，传感器系统202、204、206、208、210、212、214和/或218可以代表一个或多个光学系统(例如，相机等)、一个或多个激光雷达、一个或多个雷达、一个或多个测距仪、一个或多个惯性传感器、一个或多个湿度传感器、一个或多个声学传感器(例如，麦克风、声纳设备等)或者被配置为感测关于载具200周围环境的信息的一个或多个其它传感器。换句话说，现在已知或以后创建的任何传感器系统都可以耦合到载具200和/或可以与载具200的各种操作结合利用。作为示例，激光雷达系统可以被用于载具200的自动驾驶或其它类型的导航、规划、感知和/或测绘操作。另外，传感器系统202、204、206、208、210、212、214和/或218可以代表本文描述的传感器的组合(例如，一个或多个激光雷达和雷达；一个或多个激光雷达和相机；一个或多个摄影机和雷达；一个或多个激光雷达、相机和雷达；等等)。

注意在图2A至图2E中描绘的传感器系统的数量、位置和类型(例如，202、204等)旨在作为自主或半自主载具的这种传感器系统的位置、数量和类型的非限制性示例。这种传感器的替代数量、位置、类型和配置是可能的(例如，与载具尺寸、形状、空气动力学、燃料经济性、美学或其它条件相适应，以降低成本、适应特殊的环境或应用情况等)。例如，传感器系统(例如，202、204等)可以布置在载具上的各种其它位置(例如，在位置216等)，并且可以具有对应于载具200的内部和/或周围环境的视场。

传感器系统202可以安装在载具200的顶部，并且可以包括一个或多个传感器，其被配置为检测关于载具200周围环境的信息并且输出该信息的指示。例如，传感器系统202可以包括相机、雷达、激光雷达、测距仪、惯性传感器、湿度传感器和声学传感器(例如，麦克风、声纳设备等)的任何组合)。传感器系统202可以包括一个或多个可移动支架(mount)，其可以可操作以调整传感器系统202中的一个或多个传感器的朝向。在一个实施例中，可移动支架可以包括旋转平台，该旋转平台可以扫描传感器，以便从载具200周围的每个方向获得信息。在另一实施例中，传感器系统202的可移动支架可以在特定的角度和/或方位角和/或仰角范围内以扫描方式可移动。传感器系统202可以安装在车顶的顶上，尽管其它安装位置也是可能的。

附加地，传感器系统202的传感器可以分布在不同的位置，并且不需要在单个位置被并置(collocated)。此外，传感器系统202的每个传感器可以被配置为独立于传感器系统202的其它传感器被移动或扫描。附加地或替代地，多个传感器可以安装在传感器位置202、204、206、208、210、212、214和/或218中的一个或多个处。例如，可能有两个激光雷达设备安装在传感器位置处，和/或可能有一个激光雷达设备和一个雷达安装在传感器位置处。

一个或多个传感器系统202、204、206、208、210、212、214和/或218可以包括一个或多个激光雷达传感器。例如，激光雷达传感器可以包括相对于给定平面(例如，x-y平面等)在一角度范围内布置的多个光发射器设备。例如，传感器系统202、204、206、208、210、212、214和/或218中的一个或多个可以被配置为绕着与给定平面垂直的轴(例如，z轴等)旋转或枢转，以便采用光脉冲对载具200周围环境进行照明。基于检测反射的光脉冲的各个方面(例如，经过的飞行时间、偏振、强度等)，可以确定关于周围环境的信息。

在示例实施例中，传感器系统202、204、206、208、210、212、214和/或218可以被配置为提供相应的点云信息，该点云信息可以与载具200的周围环境内的物理对象相关。虽然载具200和传感器系统202、204、206、208、210、212、214和218被示出为包括某些特征，但是将理解的是，在本公开的范围内考虑了其它类型的传感器系统。此外，示例载具200可以包括结合图1的载具100描述的任何组件。

在示例配置中，一个或多个雷达可以定位在载具200上。类似于上述雷达126，一个或多个雷达可以包括被配置为发射和接收无线电波(例如，频率在30Hz和300GHz之间的电磁波等)的天线。这种无线电波可用于确定载具200周围环境中一个或多个对象的距离和/或速度。例如，一个或多个传感器系统202、204、206、208、210、212、214和/或218可以包括一个或多个雷达。在一些示例中，一个或多个雷达可以定位在载具200的后部附近(例如，传感器系统208、210等)，以在主动地扫描载具200后部附近的环境，以得到无线电反射对象的存在。类似地，一个或多个雷达可以定位在载具200的前方附近(例如，传感器系统212、214等)，以主动地扫描载具200前方附近的环境。雷达可以位于例如适于对包括载具200的向前移动路径的区域进行照明而不会被载具200的其它特征遮挡的位置。例如，雷达可以嵌入和/或安装在前保险杠、前大灯、车罩和/或发动机罩等中或附近。此外，一个或多个附加雷达可以被定位为主动地扫描载具200的侧面和/或后部，以得到无线电反射对象的存在，诸如通过将这种设备包括在后保险杠、侧板、门槛板和/或底盘等中或附近。

载具200可以包括一个或多个摄影机。例如，一个或多个传感器系统202、204、206、208、210、212、214和/或218可以包括一个或多个相机。相机可以是光敏仪器，诸如静态相机、摄影机、热成像相机、立体相机、夜视相机等，其被配置为捕获载具200的周围环境的多个图像。为此，相机可以被配置为检测可见光，并且可以附加地或替代地被配置为检测来自光谱的其它部分的光，诸如红外光或紫外光。相机可以是二维检测器，并且可以可选地具有三维空间范围的灵敏度。在一些实施例中，相机可以包括例如距离检测器，该距离检测器被配置为生成指示从相机到周围环境中的多个点的距离的二维图像。为此，相机可以使用一种或多种距离检测技术。例如，相机可以通过使用结构光技术来提供距离信息，在该结构光技术中，载具200以预定的光图案(诸如网格或棋盘图案)对周围环境中的对象进行照明，并且使用相机来从周围环境检测预定光图案的反射。基于反射光图案的失真，载具200可以确定到对象上的点的距离。预定的光图案可以包括红外光，或者用于这种测量的其它合适波长的辐射。在一些示例中，相机可以安装在载具200的前挡风玻璃内侧。具体地，相机可以被定位成从相对于载具200的朝向的前视视线捕获图像。也可以在载具200内部或外部使用相机的其它安装位置和视角。此外，相机可以具有相关联的光学器件，该光学器件可操作以提供可调节的视场。更进一步，相机可以采用可移动支架安装到载具200，以诸如经由摇动/倾斜机构变化相机的指向角度。

载具200还可以包括一个或多个声学传感器(例如，传感器系统202、204、206、208、210、212、214、216、218中的一个或多个可以包括一个或多个声学传感器等)，该声学传感器用于感测载具200的周围环境。声学传感器可以包括麦克风(例如，压电麦克风、电容式麦克风、带式麦克风、微机电系统(MEMS)麦克风等)，其被用于感测载具200的周围环境的流体(例如空气等)中的声波(即压差)。这种声学传感器可以用于标识周围环境中的声音(例如，警笛、人的讲话、动物的声音、警报等)，载具200的控制策略可以基于该声音。例如，如果声学传感器检测到警笛(例如，流动警笛、消防车警笛等)，载具200可以减速和/或导航到道路边缘。

虽然在图2A至图2E中没有示出，但是载具200可以包括无线通信系统(例如，类似于图1的无线通信系统146和/或除了图1的无线通信系统146之外还包括的无线通信系统等)。无线通信系统可以包括无线发射器和接收器，其可以被配置为与载具200外部或内部的设备通信。具体地，无线通信系统可以包括收发器，该收发器被配置为与例如载具通信系统或道路站中的其它载具和/或计算设备通信。这种载具通信系统的示例包括DSRC、射频识别(RFID)以及针对智能运输系统的其它提议的通信标准。

除了所示组件之外或代替所示组件，载具200可以包括一个或多个其它组件。附加的组件可以包括电气或机械功能。

载具200的控制系统可以被配置为根据多种可能的控制策略当中的控制策略来控制载具200。控制系统可以被配置为从耦合到载具200(在载具200上或不在载具200上)的传感器接收信息，基于该信息修改控制策略(和相关联的驾驶行为)，以及根据修改的控制策略来控制载具200。控制系统还可以被配置为监视从传感器接收的信息，并且连续评估驾驶条件；以及还可以被配置为基于驾驶条件的改变来修改控制策略和驾驶行为。例如，载具从一个目的地到另一目的地所采用的路线可以基于驾驶条件来修改。附加地或替代地，速度、加速度、转角、跟随距离(即，到当前载具前方的载具的距离)、车道选择等可以根据驾驶条件的改变来修改。

图3是根据示例实施例的与载具相关的各种计算系统之间的无线通信的概念性图示。具体地，无线通信可以经由网络304发生在远程计算系统302和载具200之间。无线通信也可以发生在服务器计算系统306和远程计算系统302之间，以及服务器计算系统306和载具200之间。

载具200可以对应于能够在不同位置之间运输乘客或对象的各种类型的载具，并且可以采取以上讨论的载具中的任何一种或多种的形式。在一些情况下，载具200可以以自主或半自主模式操作，这使得控制系统能够使用传感器测量在目的地之间安全地导航载具200。当以自主或半自主模式操作时，载具200可以在有或没有乘客的情况下导航。结果，载具200可以在期望的目的地之间接上和放下乘客。

远程计算系统302可以表示与远程协助技术相关的任何类型的设备，包括但不限于本文描述的那些设备。在示例中，远程计算系统302可以表示被配置为进行以下的任何类型的设备：(i)接收与载具200相关的信息，(ii)提供接口，通过该接口，人类操作者可以依次感知信息并且输入与该信息相关的响应，以及(iii)将该响应发送到载具200或其它设备。远程计算系统302可以采取各种形式，诸如工作站、台式计算机、膝上型计算机、平板计算机、移动电话(例如，智能电话)和/或服务器。在一些示例中，远程计算系统302可以包括在网络配置中一起操作的多个计算设备。

远程计算系统302可以包括与载具200的子系统和组件相似或相同的一个或多个子系统和组件。至少，远程计算系统302可以包括被配置用于执行本文描述的各种操作的处理器。在一些实施例中，远程计算系统302还可以包括用户接口，该用户接口包括输入/输出设备，诸如触摸屏和扬声器。其它示例也是可能的。

网络304表示使得在远程计算系统302和载具200之间能够进行无线通信的基础设施。网络304还使得在服务器计算系统306和远程计算系统302之间以及在服务器计算系统306和载具200之间能够进行无线通信。

在示例中远程计算系统302的位置可以变化。例如，远程计算系统302可以具有远离载具200的位置，该位置具有经由网络304的无线通信。在另一示例中，远程计算系统302可以对应于载具200内的计算设备，该远程计算系统302与载具200分开，但是利用其人类操作者可以与载具200的乘客或驾驶员进行交互。在一些示例中，远程计算系统302可以是具有由载具200的乘客可操作的触摸屏的计算设备。

在一些实施例中，本文描述的由远程计算系统302执行的操作可以附加地或替代地由载具200(即，由载具200的任何(多个)系统或(多个)子系统)执行。换句话说，载具200可以被配置为提供远程协助机制，载具的驾驶员或乘客利用该机制可以交互。

服务器计算系统306可以被配置为经由网络304与远程计算系统302和载具200进行无线通信(或者可能直接与远程计算系统302和/或载具200通信)。服务器计算系统306可以表示被配置为接收、存储、确定和/或发送与载具200及其远程协助相关的信息的任何计算设备。这样，服务器计算系统306可以被配置为执行任何(多个)操作或这些(多个)操作的一部分，这些操作或这些操作的一部分在此被描述为由远程计算系统302和/或载具200执行。与远程协助相关的无线通信的一些实施例可以利用服务器计算系统306，而其它实施例可以不利用。

服务器计算系统306可以包括与远程计算系统302和/或载具200的子系统和组件相似或相同的一个或多个子系统和组件，诸如被配置用于执行本文描述的各种操作的处理器，以及用于从远程计算系统302和载具200接收信息和向其提供信息的无线通信接口。

上述各种系统可以执行各种操作。现在将描述这些操作和相关特征。

根据上面的讨论，计算系统(例如，远程计算系统302、或者服务器计算系统306、或者载具200本地的计算系统)可以操作以使用相机来捕获自主载具的周围环境的图像。一般来说，至少一个计算系统将能够分析图像并且可能控制自主或半自主载具。

在一些实施例中，为了便于自主或半自主操作，载具(例如，载具200)可以以各种方式接收表示载具周围环境中的对象的数据。载具上的传感器系统可以提供表示周围环境的对象的环境数据。例如，载具可以具有各种传感器，包括相机、雷达单元、激光测距仪、麦克风、无线电单元和其它传感器。这些传感器中的每个都可以将关于每个相应的传感器接收的信息的环境数据传送到载具中的处理器。

在一个示例中，相机可以被配置为捕获静态图像和/或视频。在一些实施例中，载具可以具有以不同朝向定位的多于一个的相机。另外，在一些实施例中，相机可能能够移动以在不同方向上捕获图像和/或视频。相机可以被配置为将捕获的图像和视频存储到存储器中，以供载具的处理系统稍后处理。捕获的图像和/或视频可以是环境数据。此外，相机可以包括如本文所述的图像传感器。

在另一示例中，雷达单元可以被配置为发射将被载具附近的各种对象反射的电磁信号，并且然后捕获从对象反射的电磁信号。捕获的反射的电磁信号可以使雷达系统(或处理系统)能够做出关于反射电磁信号的对象的各种确定。例如，可以确定到各种反射对象的距离和位置。在一些实施例中，载具可以在不同的朝向上具有多于一个的雷达。雷达系统可以被配置为将捕获的信息存储到存储器中，以供载具的处理系统稍后处理。雷达系统捕获的信息可以是环境数据。

在另一示例中，激光测距仪可以被配置为发射电磁信号(例如，红外光，诸如来自气体或二极管激光器、或其它可能的光源等的红外光)将被载具附近的目标对象反射。激光测距仪能够捕获反射的电磁(例如，红外光等)信号。捕获的反射的电磁信号可以使测距系统(或处理系统)能够确定到各种对象的距离。激光测距仪还可以能够确定目标对象的速度或速率，并且将其存储为环境数据。

附加地，在示例中，麦克风可以被配置为捕获载具周围环境的音频。麦克风捕获的声音可能包括紧急载具警笛和其它载具的声音。例如，麦克风可以捕获救护车、消防车或警车的警笛的声音。处理系统可以能够标识捕获的音频信号指示紧急载具。在另一示例中，麦克风可以捕获另一载具(诸如来自摩托车)的排气声音。处理系统可以能够识别捕获的音频信号指示摩托车。麦克风捕获的数据可以形成环境数据的一部分。

在又一示例中，无线电单元可以被配置为发射电磁信号，该电磁信号可以采取蓝牙信号、802.11信号和/或其它无线电技术信号的形式。第一电磁辐射信号可以通过定位在无线电单元中的一个或多个天线发射。此外，第一电磁辐射信号可以采用许多不同的无线电信号传送模式中的一种来发射。然而，在一些实施例中，期望以请求来自定位在自主或半自主载具附近的设备的响应的信号传送模式来发射第一电磁辐射信号。处理系统可以能够基于传送(communicate)回到无线电单元的响应来检测附近的设备，并且使用该传送的信息作为环境数据的一部分。

在一些实施例中，处理系统可以能够组合来自各种传感器的信息，以便进一步确定载具的周围环境。例如，处理系统可以组合来自雷达信息和捕获图像的数据以确定另一载具或行人是否在自主或半自主载具的前方。在其它实施例中，处理系统可以使用传感器数据的其它组合来进行关于周围环境的确定。

当以自主模式(或半自主模式)操作时，载具可以在很少或没有人工输入的情况下控制其操作。例如，人类操作者可以将地址输入到载具中，并且然后载具可以能够行驶到指定的目的地，而无需人的进一步输入(例如，人不必转向或接触制动/油门踏板等)。此外，当载具自主或半自主地操作时，传感器系统可以接收环境数据。载具的处理系统可以基于从各种传感器接收的环境数据来改变载具的控制。在一些示例中，载具可以响应于来自各种传感器的环境数据来改变载具的速度。载具可以改变速度都以避开障碍物、遵守交通法规等。当载具中的处理系统标识出载具附近的对象时，载具可以能够改变速度，或者以另一方式改变运动。

当载具检测到对象，但是对于对象的检测没有高的置信度时，载具可以请求人类操作者(或更强大的计算机)执行一个或多个远程协助任务，诸如(i)确认对象是否实际存在于周围环境中(例如，是否实际存在停止标志或是否实际不存在停止标志等)，(ii)确认载具对于对象的标识是否正确，(iii)如果标识不正确，则校正标识，和/或(iv)为自主或半自主载具提供补充指令(或修改当前指令)。远程协助任务还可以包括人类操作者提供控制载具操作的指令(例如，如果人类操作者确定对象是停止标志，则指令载具在停止标志处停止等)，尽管在某些场景下，载具本身可能基于与对象标识相关的人类操作者的反馈来控制其自身的操作。

为了有助于这点，载具可以分析表示周围环境的对象的环境数据，以确定具有低于阈值的检测置信度的至少一个对象。载具中的处理器可以被配置为基于来自各种传感器的环境数据来检测周围环境的各种对象。例如，在一个实施例中，处理器可以被配置为检测对于载具识别可能重要的对象。这种对象可以包括行人、骑自行车的人、街道标志、其它载具、其它载具上的指示器信号以及在捕获的环境数据中检测到的其它各种对象。

检测置信度可以指示所确定的对象在周围环境中被正确地标识或者存在于周围环境中的可能性。例如，处理器可以对所接收的环境数据中的图像数据内的对象执行对象检测，并且基于不能够标识具有高于阈值的检测置信度的对象，来确定至少一个对象具有低于阈值的检测置信度。如果对象的对象检测或对象识别的结果是不确定的，则检测置信度可能较低或低于设定阈值。

取决于环境数据的来源，载具可以以各种方式检测周围环境的对象。在一些实施例中，环境数据可以来自相机，并且可以是图像或视频数据。在其它实施例中，环境数据可以来自激光雷达单元。载具可以分析捕获的图像或视频数据，以标识图像或视频数据中的对象。该方法和装置可以被配置为针对周围环境中的对象的存在来监视图像和/或视频数据。在其它实施例中，环境数据可以是雷达、音频或其它数据。载具可以被配置为基于雷达、音频或其它数据来标识周围环境的对象。

在一些实施例中，载具用于检测对象的技术可以基于一组已知数据。例如，与环境对象相关的数据可以存储在定位在载具中的存储器中。载具可以将接收的数据与存储的数据进行比较以确定对象。在其它实施例中，载具可以被配置为基于数据的上下文来确定对象。例如，与建筑相关的街道标志通常为橙色。因此，载具可以被配置为将为橙色的并且定位在道路侧附近的对象检测为与建筑相关的街道标志。附加地，当载具的处理系统在捕获的数据中检测到对象时，还可以计算针对每个对象的置信度。

此外，载具还可以具有置信度阈值。置信度阈值可以取决于被检测对象的类型而变化。例如，对于可能需要来自载具的快速响应动作的对象(诸如另一载具上的刹车灯)，置信度阈值可能较低。然而，在其它实施例中，对于所有检测到的对象，置信度阈值可以是相同的。当与检测到的对象相关联的置信度大于置信度阈值时，载具可以假设对象被正确地识别并且基于该假设响应性地调整载具的控制。

当与检测到的对象相关联的置信度小于置信度阈值时，载具采取的动作可能变化。在一些实施例中，尽管置信度水平低，但是载具可以进行反应，就好像检测到的对象存在一样。在其它实施例中，载具可以进行反应，就好像检测到的对象不存在一样。

当载具检测到周围环境的对象时，还可以计算与具体检测到的对象相关联的置信度。取决于实施例，可以以各种方式计算置信度。在一个示例中，当检测周围环境的对象时，载具可以将环境数据和与已知对象相关的预定数据进行比较。环境数据和预定数据之间的匹配越接近，则置信度越高。在其它实施例中，载具可以使用环境数据的数学分析来确定与对象相关联的置信度。

响应于确定对象具有低于阈值的检测置信度，载具可以向远程计算系统传送针对对象标识的远程协助的请求。如上所述，远程计算系统可以采取各种形式。例如，远程计算系统可以是与所述载具分开的载具内的计算设备，但是通过该计算设备人类操作者可以与所述载具的乘客或驾驶员交互，诸如用于显示远程协助信息的触摸屏界面(interface)。附加地或替代地，作为另一示例，远程计算系统可以是定位于不在所述载具附近的位置处的远程计算机终端或其它设备。

对远程协助的请求可以包括包含对象的环境数据，诸如图像数据、音频数据等。载具可以通过网络(例如，网络304等)并且在一些实施例中经由服务器(例如，服务器计算系统306等)将环境数据传送到远程计算系统。远程计算系统的人类操作者进而可以使用环境数据作为响应请求的基础。

在一些实施例中，当对象被检测为具有低于置信度阈值的置信度时，对象可以被给予初步标识，并且载具可以被配置为响应于初步标识来调整载具的操作。这种操作调整可以采取停止载具、将载具切换到人工控制模式、改变载具速度(例如，速率和/或方向等)的形式，以及其它可能的调整。

在其它实施例中，虽然载具检测到置信度满足或超过阈值的对象，载具可以根据检测到的对象来操作(例如，如果对象被以高置信度识别为停车标志，则停止，等等)，但是可以被配置为在载具根据检测到的对象进行操作的同时(或者在稍后的时间)请求远程协助。

图4A是根据示例实施例的系统的框图。具体地，图4A示出了包括系统控制器402、激光雷达设备410、多个传感器412和多个可控组件414的系统400。系统控制器402包括处理器404、存储器406和在存储器406上所存储的并且由处理器404可以运行以执行功能的指令408。

处理器404可以包括一个或多个处理器，诸如一个或多个通用微处理器(例如，具有单核或多核等)和/或一个或多个专用微处理器。一个或多个处理器可以包括例如一个或多个中央处理单元(CPU)、一个或多个微控制器、一个或多个图形处理单元(GPU)、一个或多个张量处理单元(TPU)、一个或多个ASIC和/或一个或多个现场可编程门阵列(FPGA)。本文也考虑了被配置为执行软件指令的其它类型的处理器、计算机或设备。

存储器406可以包括计算机可读介质，诸如非暂时性的计算机可读介质，可以包括但不限于只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、非易失性随机存取存储器(例如闪存等)、固态驱动器(SSD)、硬盘驱动器(HDD)、光盘(CD)、数字视频光盘(DVD)、数字磁带、读/写(R/W)CD、R/WDVD等。

下面进一步描述的激光雷达设备410包括被配置为发射光(例如，以光脉冲等)的多个光发射器以及一个或多个被配置为检测光(例如，光脉冲的反射部分等)的光检测器。激光雷达设备410可以从光检测器的输出生成三维(3D)点云数据，并且将3D点云数据提供给系统控制器402。系统控制器402进而可以对3D点云数据执行操作，以确定周围环境的特性(例如，周围环境内对象的相对位置、边缘检测、对象检测、接近感测等)。

类似地，系统控制器402可以使用来自多个传感器412的输出来确定系统400的特性和/或周围环境的特性。例如，传感器412可以包括下述中的一个或多个：GPS、IMU、图像捕获设备(例如，相机等)、光传感器、热传感器以及指示与系统400和/或周围环境相关的参数的其它传感器。出于示例的目的，激光雷达设备410被描绘为与传感器412分开，并且在一些示例中可以被视为传感器412的一部分或被视为传感器412。

基于系统400和/或周围环境的特性——其由系统控制器402基于来自激光雷达设备410和传感器412的输出而确定——系统控制器402可以控制可控组件414执行一个或多个动作。例如，系统400可以对应于载具，在这种情况下，可控组件414可以包括载具的制动系统、转向系统和/或加速系统，并且系统控制器402可以基于从激光雷达设备410和/或传感器412确定的特性来改变这些可控组件的方面(例如，当系统控制器402以自主或半自主模式控制载具时等)。在示例中，激光雷达设备410和传感器412也可由系统控制器402控制。

图4B是根据示例实施例的激光雷达设备的框图。具体地，图4B示出了具有控制器416的激光雷达设备410，该控制器416被配置为控制多个光发射器424和一个或多个光检测器，例如多个光检测器426等。激光雷达设备410还包括被配置为选择多个光发射器424中的相应光发射器并且向其提供电力的点火(firing)电路428，并且可以包括被配置为选择多个光检测器426中的相应光检测器的选择器电路430。控制器416包括处理器418、存储器420和在存储器420上所存储的指令422。

类似于处理器404，处理器418可以包括一个或多个处理器，诸如一个或多个通用微处理器和/或一个或多个专用微处理器。一个或多个处理器可以包括例如一个或多个CPU、一个或多个微控制器、一个或多个GPU、一个或多个TPU、一个或多个ASIC和/或一个或多个FPGA。本文也考虑了被配置为执行软件指令的其它类型的处理器、计算机或设备。

类似于存储器406，存储器420可以包括计算机可读介质，诸如非暂时性的计算机可读介质，诸如但不限于，ROM、PROM、EPROM、EEPROM、非易失性随机存取存储器(例如，闪速存储器等)、SSD、HDD、CD、DVD、数字磁带、R/W CD、R/W DVD等。

指令422存储在存储器420上，并且可由处理器418运行以执行与控制点火电路428和选择器电路430相关的功能，用于生成3D点云数据，以及用于处理3D点云数据(或者可能有助于由另一计算设备，诸如系统控制器402，处理3D点云数据)。

控制器416可以通过使用光发射器424发射光脉冲来确定3D点云数据。为每个光发射器建立发射时间，并且还跟踪发射时的相对位置。诸如各种对象的激光雷达设备410的周围环境的各方面反射光脉冲。例如，当激光雷达设备410处于包括道路的周围环境中时，这样的对象可以包括载具、标志、行人、路面、建筑锥筒等。一些对象可能比其它对象更具反射性，使得反射光的强度可以指示反射光脉冲的对象的类型。此外，对象的表面可能处于相对于激光雷达设备410的不同位置，并且因此花费更多或更少的时间将部分光脉冲反射回到激光雷达设备410。因此，控制器416可以跟踪光检测器检测到反射的光脉冲的检测时间以及光检测器在该检测时间的相对位置。通过测量发射时间和检测时间之间的时间差，控制器416可以确定光脉冲在被接收之前行进了多远，并且因此确定相应对象的相对距离。通过跟踪在发射时间和检测时间的相对位置，控制器416可以确定光脉冲和反射的光脉冲相对于激光雷达设备410的朝向，并且因此确定对象的相对朝向。通过跟踪接收到的光脉冲的强度，控制器416可以确定对象如何反射。基于该信息确定的3D点云数据因此可以指示检测到的反射的光脉冲(例如，在坐标系内，诸如笛卡尔坐标系等)的相对位置和每个反射的光脉冲的强度。

如下面进一步描述地，点火电路428用于选择发射光脉冲的光发射器。选择器电路430类似地用于对光检测器的输出进行采样。

图5示出了根据示例实施例的光学系统500。如前所述，光学系统500可以是激光雷达系统的一部分，例如激光雷达单元528。光学系统500可以安装在激光雷达系统的内部，以监视激光雷达圆顶窗口，并且检测圆顶上是否有任何污垢，或者圆顶是否有损坏。光学系统500包括光学组件510以及一个或多个光源520。在各种实施例中，光学组件510可以包括透镜。在这种情况下，光学组件510可以包括一个或多个平凸透镜、棱镜、柱面透镜、圆锥透镜和/或其它类型的透镜。然而，其它类型的光学组件，例如滤光器、薄膜、平面镜、窗口、漫射器、光栅和/或棱镜也被考虑并且也是可能的。

光学系统500还包括检测器530。检测器530可以是光敏设备，其被配置为检测至少一部分交互光信号524作为检测的光信号526。在一些情况下，检测器530可以包括电荷耦合器件(CCD)、CCD的一部分、相机的图像传感器或相机的图像传感器的一部分中的至少一个。附加地或替代地，检测器530可以包括硅光电倍增器(SiPM)、雪崩光电二极管(APD)、单光子雪崩检测器(SPAD)、低温检测器、光电二极管或光电晶体管。其它光敏设备或系统也是可能的，并且在此被考虑。

在一些实施例中，光学系统500可以包括图像传感器540。例如，图像传感器540可以包括多个电荷耦合器件(CCD)元件和/或多个互补金属氧化物半导体(CMOS)元件。在一些实施例中，光学系统500可以包括多个图像传感器。在示例实施例中，图像传感器540可以被配置为检测红外光谱(例如，大约700纳米到大约1000纳米等)中和/或在可见光谱(例如，约400纳米至约700纳米等)中的光。使用图像传感器540来感测其它光谱范围内的光(例如，波长在8-12微米之间的长波长红外(LWIR)光等)是可能的，并且在本文中被考虑。

图像传感器540可以根据图像传感器格式而被配置(例如，大小、尺寸等)。例如，图像传感器540可以包括全帧(例如，35毫米等)格式传感器。附加地或替代地，图像传感器540可以包括“剪裁的传感器”格式，例如APS-C(例如，28.4mm对角线等)或一英寸(例如，15.86毫米对角线等)格式。在本公开的范围内，其它图像传感器格式被考虑并且是可能的。

附加地，光学系统500还包括控制器550。在一些实施例中，控制器550可以是电耦合到图像传感器540的读出集成电路(ROIC)。控制器550包括现场可编程门阵列(FPGA)或专用集成电路(ASIC)中的至少一个。附加地或替代地，控制器550可以包括一个或多个处理器552和存储器554。一个或多个处理器552可以包括通用处理器(例如，具有单核或多核等)和/或专用处理器(例如，数字信号处理器等)。一个或多个处理器552可以包括例如一个或多个中央处理单元(CPU)、一个或多个微控制器、一个或多个图形处理单元(GPU)、一个或多个张量处理单元(TPU)、一个或多个ASIC和/或一个或多个现场可编程门阵列(FPGA)。本文也考虑了被配置为执行软件指令的其它类型的处理器、计算机或设备。一个或多个处理器552可以被配置为执行在存储器554中所存储的计算机可读程序指令。在一些实施例中，一个或多个处理器552可以运行程序指令来提供本文描述的功能和操作中的至少一些。

存储器554可以包括或采取一个或多个计算机可读存储介质的形式，其可以由一个或多个处理器552读取或访问。一个或多个计算机可读存储介质可以包括易失性和/或非易失性存储组件，诸如光、磁、有机、固态存储器或其它存储器或盘存储装置，其可以整体或部分地与一个或多个处理器552中的至少一个集成。在一些实施例中，存储器554可以使用单个物理设备(例如，一个光、磁、有机固态存储器或其它存储器或盘存储装置单元)来实现，而在其它实施例中，存储器554可以使用两个或更多个物理设备来实现。

如上所述，存储器554可以包括与光学系统500的操作相关的计算机可读程序指令。至少一个处理器552运行在至少一个存储器554中所存储的指令，以便执行操作。

操作包括使用激光雷达设备128来确定激光雷达设备128的周围环境50的光强信息522。光强信息522可以包括曝光阈值范围内的多个角度。在一些实施例中，至少一个高灵敏度光电二极管可以对在小时间窗口内感测到的背景光的量进行积分，以确定周围环境中太阳背景的平均亮度。例如，汽车的镜面反射可能比建筑物的漫反射更亮。

操作还可以包括确定与曝光阈值范围内的每个角度相关联的旋转时间。

操作还可以包括基于与曝光阈值范围内的每个角度相关联的旋转时间，确定多个目标图像时间。

操作还可以包括通过相机系统在多个目标图像时间处捕获多个图像。

图6A和图6B示出了载具600上的激光雷达设备周围的环境。周围环境被分割成多个角度602。附图还示出了具有高曝光的第一角度604、具有低曝光的第二角度606以及由激光雷达设备检测到的曝光阈值范围内的多个角度608。示例实施例可以包括在与曝光阈值范围内的角度相关联的旋转时间处采用模糊检测相机来拍摄图像，使得曝光时间在图像之间是一致的。这样，可以使用相同的曝光设置来拍摄图像，因此改进图像质量并且减少处理时间。

在示例实施例中，图6A示出了平均背景光在载具前方非常亮而在载具后方非常暗的场景。例如，这种场景可能发生在晴天离开隧道时。当模糊检测相机向后指向隧道时，平均背景光较暗，因此应当使用较长的曝光时间来避免曝光不足的图像。当相机向前指向太阳时，应当使用较短的曝光时间来避免曝光过度的图像。然而，通过在曝光阈值范围内以与平均背景亮度相关联的角度拍摄图像，相同的曝光时间可以用于所有图像。通过尝试使所有图像具有一致的曝光时间，可以减少处理。然后，这些图像可以用于确定激光雷达窗口是否被遮挡。

在示例性实施例中，图6B示出了下述场景：其中平均背景光在载具上方由于太阳而非常亮，并且朝向载具也由于太阳的反射而非常亮。这种场景可能发生在特别晴朗的日子。周围环境被分割成多个仰角610。附图还示出了具有高曝光的第一角度612、具有低曝光的第二角度614以及由激光雷达设备检测到的曝光阈值范围内的多个角度616。类似于图6A，可以在激光雷达设备和相机面向与曝光阈值范围内的平均背景亮度相关联的角度时拍摄图像。

图7是根据示例实施例的方法700的流程图。在各种实施例中，方法700的一个或多个框可以由图1所示的计算机系统112来执行。在一些实施例中，方法700的一个或多个框可以由计算设备(例如，光学系统500的一个或多个组件的控制器等)执行。计算设备可以包括计算组件，诸如非易失性存储器(例如，硬盘驱动器、只读存储器(ROM)等)、易失性存储器(例如，随机存取存储器(RAM)，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)、用户输入设备(例如，鼠标、键盘等)、显示器(例如，LED显示器、液晶显示器(LCD)等)和/或网络通信控制器(例如，基于IEEE802.11标准的

控制器、以太网控制器等)。例如，计算设备可以运行在非暂时性计算机可读介质(例如，硬盘驱动器等)上所存储的指令，来执行本文考虑的操作中的一个或多个。

在框702，方法700可以包括使用激光雷达设备来确定激光雷达设备的周围环境的光强信息。光强信息可以包括曝光阈值范围内的多个角度。在框704，该方法可以包括确定与曝光阈值范围内的每个角度相关联的旋转时间。在框706，该方法可以包括基于与曝光阈值范围内的每个角度相关联的旋转时间来确定多个目标图像时间。在框708，该方法可以包括通过相机系统在多个目标图像时间处捕获多个图像。

在方法700的一些实施例中，激光雷达设备持续地(constantly)旋转。该设备可以保持跟踪激光雷达在旋转时当前面对的角度，并且可以采用多个高灵敏度光电二极管来确定激光雷达的周围环境的光强信息，该高灵敏度光电二极管可以集成到激光雷达设备中。可替选地，激光雷达的固有光敏元件可以被用于确定光强信息。激光雷达的固有光敏元件可以是一个或多个光电检测器，如前所述，其可以是特别灵敏的检测器(例如，雪崩光电二极管等)。在一些示例中，这种光电检测器能够检测单光子(例如，单光子雪崩二极管(SPAD)等)。此外，这种光电检测器可以(例如，通过串联的电连接等)被布置成阵列(例如，在硅光电倍增器(SiPM)等中)。在一些示例中，一个或多个光电检测器是盖革模式操作的设备，并且激光雷达包括为这种盖革模式操作设计的子组件。激光雷达设备可以使用光电检测器来感测和引导发射后返回的光脉冲。

光强信息可以包括激光雷达设备的周围环境的多个角度的平均亮度。例如，随着激光雷达设备旋转，激光雷达设备可以感测周围环境的平均背景光，并且可以将感测到的背景光值与激光雷达当时面对的特定角度相关联。光强信息可以还包括至少具有低曝光量和高曝光量的激光雷达设备的周围环境的背景光亮度。具体地，光强信息可以包括激光雷达设备面对的、具有低曝光的多个角度以及激光雷达设备面对的、具有高曝光的多个角度。低曝光可以被认为是任何低于大约每平方米100流明的亮度，并且高曝光可以被认为是任何高于每平方米15，000流明的亮度。

在方法700的示例实施例中，多个角度中的每个角度的平均亮度可以被转换为曝光时间。例如，图8示出了将平均背景亮度转换为曝光时间的查找表。不同的传感器可以被用于测量平均背景光，并且不同种类的传感器可以具有不同的光灵敏度级别。在表中，平均背景光的单位取决于用来收集它们的设备，并且因此可以是任意的。在示例实施例中，激光雷达设备的光电检测器可以被用于以流明来收集原始平均背景光。使用查找表，原始平均背景光可以与用于该背景光的适当曝光时间相关联。在另外的实施例中，可以使用不同的映射来将背景亮度转化为曝光时间。例如，数据可以拟合为多项式。

在方法700的示例实施例中，光强信息可以包括多个角度。多个角度可以由激光雷达设备确定。它们可以是多个偏航角和多个仰角中的至少一个。具体地，对于多个偏航角，当激光雷达设备绕着垂直轴旋转时，激光雷达设备可以保持跟踪激光雷达设备面对的角度。对于仰角，激光雷达设备可以绕着正交轴旋转，并且激光雷达设备可以保持跟踪该角度。多个角度可以在曝光阈值范围内。曝光范围可以是相机的多个曝光时间。例如，大多数相机的可用曝光范围从低于1毫秒到25毫秒。在示例实施例中，曝光时间的阈值范围可以从5毫秒到15毫秒。在替代实施例中，曝光的阈值范围可以是从1毫秒到25毫秒的任何值。

为了确定激光雷达设备的周围环境的光强信息，其中光强信息包括曝光阈值范围内的多个角度，方法700的示例实施例可以包括使用激光雷达设备测量多个固定大小的偏航扇区的平均背景光。多个固定大小的偏航扇区可以是激光雷达设备的360度旋转中的选择部分。扇区的大小可以取决于激光雷达旋转频率和曝光阈值范围以及障碍物检测相机的帧速度。例如，偏航扇区的大小可以是激光雷达设备的旋转频率乘以阈值曝光时间乘以360度。附加地，激光雷达设备的360度旋转可以被分成14个相等大小的扇区。其它数量的相等大小的扇区也是可能的，例如，4个相等划分的固定大小的偏航扇区等。也可以通过变化激光雷达设备的速率或障碍物检测相机的曝光时间来不相等地划分扇区。在另外的实施例中，偏航扇区可以通过插值函数来确定大小，或者基于激光雷达设备的周围环境来动态地确定大小。例如，偏航扇区的大小可以基于环境中的背景照明而变化。

多个固定大小偏航扇区的光强信息然后可以被转换为多个固定大小偏航扇区的曝光时间。如前所述，可以使用查找表或映射技术中的至少一种将光强信息转换为曝光时间。该实施例然后可以包括确定在曝光阈值范围内的多个固定大小的偏航扇区的子集。例如，曝光阈值范围可以从5毫秒到15毫秒。基于查找表或映射技术，包括对应于阈值范围的光强信息的任何固定大小的偏航扇区都是多个固定大小的偏航扇区的子集内的固定大小的偏航扇区。在附加的实施例中，可以基于每个固定大小的偏航扇区内的光强来选择期望的曝光时间。例如，可以在每个偏航扇区内对光强求和，并且然后可以选择曝光时间，使得图像时间与偏航扇区的位置对准。光强也可以在多个偏航扇区上求和，以确定期望的曝光时间。

方法700的一些实施例包括确定与曝光阈值范围内的每个角度相关联的旋转时间。旋转时间可以基于激光雷达设备面对的已知角度和激光雷达设备的恒定旋转速率来确定。随着激光雷达设备旋转，与激光雷达相关联的计算设备，诸如计算机系统112或控制器550，可以保持跟踪激光雷达相对于载具前方所面对的角度。例如，面向载具中央前部的激光雷达可以是零度和360度，而面向载具中央后部的激光雷达可以是180度。类似地，如果激光雷达具有多个扫描轴，则与激光雷达相关联的计算设备可以保持跟踪激光雷达面对的仰角。例如，面朝上的激光雷达可以是零度。

在示例实施例中，角度可以被分组为固定大小的扇区。例如零度到十度，十到二十度等。替选地，角度不被分组在一起，而是可以被单独考虑。

除了与激光雷达设备相关联的计算系统监视激光雷达设备所面对的角度之外，相机系统还可以监视激光雷达设备的旋转所跨越的多个角度。相机系统可以对应于激光雷达设备处的相同计算设备，诸如计算机系统112或控制器550。可替选地，计算机系统可以包括其自己的计算设备。相机系统可以监视由激光雷达设备跨越的多个角度，并且使用该角度来确定何时拍摄图像。由激光雷达设备跨越的多个角度可以是激光雷达面对的从0到360度的角度。

一旦确定了多个角度，并且确定了阈值曝光内的角度，就可以将旋转时间与阈值曝光内的每个角度相关联。激光雷达和附于其上的障碍物检测相机可以以恒定的旋转速率旋转。例如，激光雷达可以以10Hz来旋转。使用激光雷达设备的恒定旋转速率和激光雷达设备的旋转所跨越的多个角度，也可以确定与曝光阈值范围内的每个角度相关联的旋转时间。

方法700的示例实施例可以包括，基于与曝光阈值范围内的每个角度相关联的旋转时间，确定多个目标图像时间。具体地，相机系统可以在与曝光阈值范围内的角度相关联的图像时间处拍摄图像。以这种方式，可以以期望的曝光时间拍摄图像，以试图避免曝光不足或曝光过度的图像。可以在与曝光阈值范围内的多个角度相关联的多个旋转时间期间设置多个目标图像时间。例如，目标图像时间可以是与45度到90度相关联的任何时间，假设45度到90度在曝光阈值范围内。

可以进一步调整目标图像时间，以避免不在阈值内的时间。可以通过变化图像读出空白行来调整多个目标图像时间。图像读出空白行是相机模块的示例实施例中的参数。图像读出空白行不包括任何图像数据，但是可以用于改变每秒帧数。在示例实施例中，变化图像读出空白行包括下述中的至少一个：增加后续图像帧之前的图像帧的相机读出时间，或者减少后续图像帧之前的图像帧的相机读出时间。通过增加空白行的数量，相机读出时间增加，并且因此后续帧的开始时间被延迟。类似地，通过减少空白行的数量，相机读出时间减少，并且后续帧的开始时间提前。通过增加或减少空白行，系统可以操纵在曝光阈值内的角度处拍摄图像的时间。在示例实施例中，一个附加的空白行可以将后续帧延迟54.792微秒。可以使用多个空白帧来实现用于拍摄图像的期望位置。在替代实施例中，空白行可以对应于其它时间。

方法700的示例实施例可以包括由相机系统在多个目标图像时间处捕获多个图像。通过在目标图像时间处拍摄多个图像，可以跨越所有图像使用期望的曝光时间来拍摄图像。拍摄图像以实现目标图像时间的时间可以如上所述地变化，并且可以使用流传送相机实时处理多个图像来拍摄。在替代实施例中，相机系统也可以是被配置为捕获静态图像和/或视频的任何相机。例如，非流传送相机也可以捕获多个图像。非流传送相机可以包括至少一个存储将在以后处理的多个图像的相机。可以跨所有图像采用期望的曝光时间、在多个目标时间处拍摄多个图像，并且该多个图像可以被存储以在稍后的时间确定激光雷达窗口是否被遮挡。一旦在目标图像时间处拍摄了多个图像，它们可以用于确定激光雷达设备是否被遮挡。具体地，多个图像可以用于确定激光雷达窗口上是否有任何污垢，或者激光雷达窗口是否以任何方式损坏。

方法700的示例实施例还可以包括确定在相机系统的曝光阈值范围之外的第二多个角度，以避免在这些角度和时间拍摄图像。该实施例可以包括，使用激光雷达设备来确定光强信息还包括在曝光阈值范围之外的第二多个角度。如前所述，激光雷达设备可以确定角度和每个角度的平均背景光。平均背景光可以转换为曝光时间。如前所述，曝光的阈值范围可以是5毫秒到15毫秒。第二多个角度可以具有在阈值范围之外的曝光，并且因此对于在该角度拍摄图像来说不是优选的。

使用先前描述的方法，计算系统可以确定与旋转时激光雷达设备面对的所有角度相关联的旋转时间。这包括确定与曝光阈值范围之外的第二多个角度中的每个角度相关联的旋转时间。基于与曝光阈值范围之外的第二多个角度中的每个相关联的旋转时间，计算系统可以确定多个不期望的图像时间。多个不期望的图像时间可以包括这样的时间，如果在该时间期间拍摄图像，将产生具有不期望的曝光的图像。因此，响应于确定多个不期望的图像时间，与相机系统相关联的计算系统可以变化图像读出空白行，以避免曝光在阈值之外的角度。

由于多个图像是以使用相似曝光时间的角度拍摄的，以试图协调多个图像，因此本文描述的一些示例实施例可以包括跨越多个图像使用相同的信号处理。具体地，图像是在特定角度拍摄的，并且具有相似的平均背景光和相似的视场，因此它们可以被类似地处理。例如，可以跨越多个图像使用顺序帧处理技术。通常，连续帧处理不是对于随时间旋转360度的传感器的选项，因为多个图像是在包括不同背景光的不同角度处拍摄的。例如，不能使用帧减法来减去背景效果，因为视场的两个不同部分在图像帧中。然而，由于多个图像是在特定角度拍摄的，所以图像帧之间的视场是相似的。因此，在相似角度处拍摄的图像可以被减去背景以确定激光雷达窗口是否被遮挡。类似地，由于图像之间的平均背景光是相似的，所以可以从图像中减去任何背景照明。因此，作为该方法的结果，照明器开和关排序以及减去背景都变得更加有用。

本公开不限于本申请中描述的特定实施例，其旨在示出各个方面。对于本领域的技术人员将明显的是，在不脱离本发明的精神和范围的情况下，可以进行许多修改和变化。除了本文列举的方法和装置之外，对于本领域的技术人员来说，根据前面的描述，本公开范围内的功能上等同的方法和装置将是明显的。这种修改和变化旨在落入所附权利要求的范围内。

以上详细描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中，相似的符号通常标识相似的组件，除非上下文另有指示。本文和附图中描述的示例实施例并不意味着是限制性的。在不脱离本文呈现的主题的范围的情况下，可以利用其它实施例，并且可以进行其它改变。将容易理解的是，如在本文一般描述的和在附图中示出的，本公开的方面可以以多种不同的配置来布置、替换、组合、分离和设计，所有这些在本文都明确地考虑到。

关于附图中的并且如本文所讨论的任何或所有消息流程图、场景和流程图，每个步骤、块、操作和/或通信可以表示根据示例实施例的信息处理和/或信息传输。替代实施例包括在这些示例实施例的范围内。在这些替代实施例中，例如，被描述为步骤、块、传输、通信、请求、响应和/或消息的操作可以不按照所示或所讨论的顺序来执行(包括基本上同时或以相反的顺序)，这取决于所涉及的功能。此外，更多或更少的框和/或操作可以与本文讨论的任何消息流程图、场景和流程图一起使用，并且这些消息流程图、场景和流程图可以部分地或整体地彼此组合。

表示信息处理的步骤、块或操作可以对应于可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路。替代地或附加地，表示信息处理的步骤或块可以对应于程序代码(包括相关数据)的模块、片段或一部分。程序代码可以包括可由处理器执行的一个或多个指令，以用于实现方法或技术中的特定逻辑操作或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上，诸如包括RAM的存储设备、盘驱动器、固态驱动器或其它存储介质。

此外，表示一个或多个信息传输的步骤、块或操作可以对应于同一物理设备中的软件和/或硬件模块之间的信息传输。然而，其它信息传输可以在不同物理设备中的软件模块和/或硬件模块之间进行。

附图中所示的特定布置不应当被视为限制性的。应当理解，其它实施例可以包括给定附图中所示的更多或更少的每个元件。此外，一些示出的元件可以被组合或省略。此外，示例实施例可以包括图中未示出的元件。

虽然本文已经公开了各种方面和实施例，但是其它方面和实施例对于本领域技术人员来说将是明显的。本文公开的各种方面和实施例是为了说明的目的，而不是为了限制，真正的范围由所附权利要求指示。

Claims (20)

1.一种用于相机方向控制的方法，包括：

使用激光雷达设备来确定所述激光雷达设备的周围环境的光强信息，其中，所述光强信息包括曝光阈值范围内的多个角度；

确定与曝光阈值范围内的每个角度相关联的旋转时间；

基于与曝光阈值范围内的每个角度相关联的旋转时间，确定多个目标图像时间；以及

通过相机系统在多个目标图像时间处捕获多个图像。

2.根据权利要求1所述的方法，其中，通过变化图像读出空白行来调整所述多个目标图像时间。

3.根据权利要求2所述的方法，其中，变化图像读出空白行包括增加后续图像帧之前的图像帧的相机读出时间，或者减少后续图像帧之前的图像帧的相机读出时间中的至少一个。

4.根据权利要求1所述的方法，其中，确定所述多个目标图像时间包括在与曝光阈值范围内的多个角度相关联的旋转时间期间设置所述多个目标图像时间。

5.根据权利要求1所述的方法，其中，所述相机系统是流传送相机。

6.根据权利要求1所述的方法，还包括基于所述多个图像确定所述激光雷达设备被遮挡。

7.根据权利要求1所述的方法，其中，所述光强信息包括具有低曝光的多个角度和具有高曝光的多个角度，并且其中，所述低曝光和高曝光包括周围环境的背景光亮度。

8.根据权利要求1所述的方法，其中，使用所述激光雷达设备确定所述激光雷达设备的周围环境的光强信息，其中，所述光强信息包括曝光阈值范围内的多个角度，还包括：

使用激光雷达设备测量多个固定大小的偏航扇区的平均背景光；

将多个固定大小偏航扇区的光强信息转换为多个固定大小偏航扇区的曝光时间；以及

确定多个固定大小偏航扇区的子集在曝光阈值范围内。

9.根据权利要求1所述的方法，其中，所述多个角度包括多个偏航角和多个仰角中的至少一个。

10.根据权利要求1所述的方法，还包括通过所述相机系统监视由所述激光雷达设备的旋转所跨越的多个角度。

11.根据权利要求10所述的方法，其中，与曝光阈值范围内的每个角度相关联的旋转时间基于所述激光雷达设备的恒定旋转速率和所述激光雷达设备的旋转所跨越的多个角度。

12.根据权利要求1所述的方法，其中，所述激光雷达设备的周围环境的光强信息包括所述激光雷达设备的周围环境的多个角度的平均亮度。

13.根据权利要求12所述的方法，还包括将所述多个角度中的每个角度的平均亮度转换为曝光时间。

14.根据权利要求13所述的方法，还包括采用曝光时间捕获多个图像。

15.根据权利要求1所述的方法，还包括：

使用所述激光雷达设备确定所述光强信息还包括在曝光阈值范围之外的第二多个角度；

确定与曝光阈值范围之外的第二多个角度中的每个角度相关联的旋转时间；

基于与曝光阈值范围之外的第二多个角度中的每个角度相关联的旋转时间，确定多个不期望的图像时间；以及

响应于确定多个不期望的图像时间，变化图像读出空白行。

16.一种其上存储有指令的非暂时性计算机可读介质，其中，所述指令在由处理器执行时使处理器执行方法，所述方法包括：

使用激光雷达设备来确定所述激光雷达设备的周围环境的光强信息，其中，所述光强信息包括曝光阈值范围内的多个角度；

确定与曝光阈值范围内的每个角度相关联的旋转时间；

基于与曝光阈值范围内的每个角度相关联的旋转时间，确定多个目标图像时间；以及

通过相机系统在多个目标图像时间处捕获多个图像。

17.根据权利要求16所述的非暂时性计算机可读介质，其中，通过变化图像读出空白行来调整所述多个目标图像时间，并且其中，变化图像读出空白行包括增加后续图像帧之前的图像帧的相机读出时间或减少后续图像帧之前的图像帧的相机读出时间中的至少一个。

18.根据权利要求16所述的非暂时性计算机可读介质，其中，使用所述激光雷达设备来确定所述激光雷达设备的周围环境的光强信息还包括：

使用激光雷达设备测量多个固定大小的偏航扇区的平均背景光；

将多个固定大小偏航扇区的光强信息转换为多个固定大小偏航扇区的曝光时间；以及

确定曝光阈值范围内的多个固定大小偏航扇区的子集。

19.根据权利要求16所述的非暂时性计算机可读介质，其中，所述多个角度包括多个偏航角和多个仰角中的至少一个。

20.一种光学系统，包括：

光学组件；

图像传感器，被配置为经由成像光学器件接收来自场景的光；以及

控制器，被配置为执行成像例程，其中，所述成像例程包括：

使用激光雷达设备来确定所述激光雷达设备的周围环境的光强信息，其中，所述光强信息包括曝光阈值范围内的多个角度；

确定与曝光阈值范围内的每个角度相关联的旋转时间；

基于与曝光阈值范围内的每个角度相关联的旋转时间，确定多个目标图像时间；以及

通过相机系统在多个目标图像时间处捕获多个图像。

Images