CN115210605A - 传感器系统的校准 - Google Patents

传感器系统的校准 Download PDF

Info

Publication number
CN115210605A
CN115210605A CN202180018190.8A CN202180018190A CN115210605A CN 115210605 A CN115210605 A CN 115210605A CN 202180018190 A CN202180018190 A CN 202180018190A CN 115210605 A CN115210605 A CN 115210605A
Authority
CN
China
Prior art keywords
sensor
sensor data
data
lidar
mutual information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180018190.8A
Other languages
English (en)
Inventor
A·苏塔瓦尼
L·瓦拉贾佩特莫汉
B·恩格拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luminol LLC
Original Assignee
Luminol LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luminol LLC filed Critical Luminol LLC
Publication of CN115210605A publication Critical patent/CN115210605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

一种系统包括具有不同且重叠的能视域的多个传感器和通信地耦合到传感器的控制器。用于校准多个传感器的方法包括从传感器获得数据，确定传感器中的至少一个传感器的优化的变换参数，以及将数据从一个传感器投影平面变换到另一传感器投影平面。该方法是迭代过程，该迭代过程使用数据集之间的互信息度量以及变换的传感器数据集来确定一组优化的变换参数。传感器可以是多个激光雷达传感器、相机和激光雷达传感器或其它组的传感器。

Description

传感器系统的校准
相关申请的交叉引用
本申请要求2020年1月7日提交的美国临时申请No.62/958,157和2020年5月7日提交的美国专利申请No.16/869,506的优先权，其全部内容通过引用明确并入本文。
技术领域
本公开总体上涉及校准传感器系统，并且更特别地，优化用于组合来自不同传感器的数据集以校准传感器的变换。
背景技术
本文提供的背景说明是为了总体介绍本公开的背景。当前列出姓名的发明人在本背景部分中描述的范围内的工作以及在提交申请时可能不构成现有技术的描述的方面，既不明确也不隐含地承认为对本公开不利的现有技术。
自动驾驶或“自主”车辆通常采用传感器，诸如光检测和测距(激光雷达)设备、相机、雷达等，以在车辆向其目的地移动时检测或“查看”周围环境。此类车辆包括自动驾驶控制系统，该自动驾驶控制系统处理传感器数据，并基于感测的环境和所需目的地，确定哪些机动和操作状态(例如，制动力、转向方向)在整个行程中在或多或少的连续情况下最合适。通常，在单个车辆上采用多个传感系统来检测目标、识别目标并确定与目标(例如，另一车辆、行人、树木、道路边缘等)的距离，以实现自主车辆的自动驾驶。
光检测和测距(激光雷达)是一种可用于测量到远程目标的距离的技术。通常，激光雷达系统包括光源和光接收器。例如，光源可以是发射具有特定工作波长的光的激光器。例如，激光雷达系统的工作波长可以位于电磁光谱的红外、可见光或紫外部分。光源向目标发射光，该目标然后将光散射。一些散射光在接收器处被接收回来。该系统基于与返回光相关联的一个或多个特性来确定到目标的距离。例如，系统可以基于返回的光脉冲的飞行时间来确定到目标的距离。
此外，系统可以采用多个激光雷达系统或将激光雷达系统与相机或其它成像系统组合以确定到目标的距离、识别目标或组合数据以用于环境映射和其它对象识别目的。
发明内容
本公开的技术的一个示例实施例是一种用于处理从不同类型的传感器接收的数据的计算机实现的方法。该方法包括从第一传感器接收与在第一传感器的能视域(FOR)中检测到的环境相对应的第一传感器数据。该方法进一步包括从在位置和/或定向上与第一传感器具有物理偏移的第二传感器接收与在第二传感器的FOR中检测到的环境相对应的第二传感器数据，第一和第二传感器的FOR至少部分重叠。此外，该方法包括确定用于第一传感器数据和第二传感器数据的对齐的一组变换参数。一组变换参数的确定包括考虑到第一传感器数据和第二传感器数据之间的互信息度量来迭代地修改候选变换参数。
附图说明
图1是其中可以实现本公开的至少一些技术的示例光检测和测距(激光雷达)系统的框图；
图2更详细地示出可以在图1的系统中操作的若干部件；
图3示出图1的激光雷达系统在识别能视域内的目标时可以产生的示例扫描图案；
图4示出当使用多个通道识别能视域内的目标时图1的激光雷达系统可以产生的示例扫描图案；
图5示意性地示出可以在图1的激光雷达系统中操作的光源和检测器的能视域(FOV)；
图6A示出具有多个传感器的示例自主车辆，其中，控制器可以操作各种部件以操纵和操作车辆；
图6B示出具有多个传感器的示例自主车辆，该多个传感器具有不同的能视域和重叠的能视域；
图7示出具有不同能视域的两个传感器的重叠区域；
图8示出示例系统，其中使用具有多个激光雷达传感器头的激光雷达系统来获得关于环境的信息；
图9是用于确定两个传感器系统的最优变换参数的方法的流程图；
图10是用于确定用于组合来自不同激光雷达传感器的数据的最优变换参数的方法的流程图；
图11A是从两个独立的激光雷达传感器接收到的两个激光雷达点云的激光雷达图像，该两个激光雷达传感器具有相应的能视域的空间偏移；
图11B是在执行变换优化之后从两个独立的激光雷达传感器接收到的两个激光雷达点云的激光雷达图像，该两个独立的激光雷达传感器具有能视域的空间偏移；
图12示出示例系统，其中相机与激光雷达系统协作以获得关于环境的信息；
图13是用于优化用于组合激光雷达和相机数据的变换参数的方法的流程图；
图14A是代表环境的摄影图像的图示；
图14B是代表图14A的环境的激光雷达点云的图示；以及
图14C是在激光雷达点云变换的优化之后代表图14A的组合摄影图像和图14B的变换激光雷达点云的图示。
具体实施方式
一般而言，本公开的技术允许配备多个传感器的计算机视觉系统优化用于组合、合并或配准来自多个传感器的数据，并且具体地用于组合来自在其位置和/或角度定向之间具有物理偏移的传感器(即，具有不同和重叠的能视域(FOR)的传感器)的数据的数据变换。换句话说，计算机视觉系统的传感器从不同的相应有利位置感测计算机视觉系统在其中操作的环境的相同部分。计算机视觉系统确定一组优化的变换参数，当应用于传感器数据集之一时，该变换参数产生传感器数据集的对齐。结果，计算机视觉系统可以使用由另一个传感器生成的传感器数据来校准一个传感器，以便正确地重叠传感器数据集并提高感知和预测的整体准确性，例如，根据另一个传感器的输出来调节一个传感器的操作参数，或者确定传感器是否在物理上改变了对齐，并且可以自动重新对齐传感器。
例如，计算机视觉系统可以在自主(“自动驾驶”)车辆中操作。在各种实施方式中，计算机视觉系统执行激光雷达到激光雷达的校准、激光雷达到相机的校准、或另一传感器组合的变换校准。当两个传感器是激光雷达时，计算机视觉系统可以在描述3D点云中点位置的三维(3D)元组之间寻找空间(x,y,z)和旋转(偏航、俯仰、滚动)对齐。另外或可替代地，计算机视觉系统可以使用空间坐标和对应的强度值i，基于统计分析和3D点云中的点的强度值之间的对齐来确定优化的变换，以生成元组(x,y,z,i)。强度值可以指示对象在激光雷达的能视域中的反射率，并且因此强度值可以被认为是能视域中的对象和目标的反射率值。在实施例中，两个传感器可以是相机和激光雷达，并且计算机视觉系统可以确定由相机和激光雷达分别生成的二维(2D)图像中的像素和3D点云中的点的强度值的优化变换，用于组合来自两个检测器的数据以用于自动驾驶应用。除了使用强度值之外或代替使用强度值，计算机视觉系统可以使用激光雷达数据的其它特征或通道进行校准，诸如例如(i)表面法线或(ii)路面或车道标记的检测。
计算机视觉系统可以生成与3D空间中的平移(x,y,z)和旋转(偏航、俯仰、滚动)相对应的候选变换参数。计算机视觉系统可以将变换参数应用于传感器数据集之一中，以试图将传感器数据集或传感器数据的子集带入另一传感器数据集的参考系中。然后，计算机视觉系统可以计算第一传感器数据集和变换的第二传感器数据集的互信息(MI)。为此，例如，计算机视觉系统可以应用联合直方图。MI可以基于(x,y,z)坐标、灰度值、反射率值、强度值、表面法线和/或路面或车道标记的检测。计算机视觉系统可以应用这些步骤作为迭代优化技术的一部分，以便识别一组变换参数，该参数产生例如高于某个阈值的MI度量，或者直到满足另一个退出条件(例如，满足或超过进一步迭代的计算/时间成本阈值，达到优化迭代的最大数量，达到或超过当前迭代与先前迭代之间的成本差)。用于针对下一次迭代确定一组候选变换参数的合适技术包括例如Barzilai-Borwein方法和Nelder-Mead方法。
初始候选变换参数可以对应于经由用户界面接收的操作员输入、先前校准过程的结果、或在第一和第二传感器的FOR之间的某个可接受的重叠量的网格搜索的结果。
此外，在一些实施方式中，计算机视觉系统可以对第一和第二传感器数据集执行多个变换或投影，以将第一和第二数据集变换到相应的投影平面上。然后，计算机视觉系统确定每个平面中每个变换数据集的MI，以找到“最好”(即满足某个可接受性度量，诸如MI阈值)的变换或投影平面，用于第一和第二数据集的合并。在一些情况下，计算机视觉系统可以排除动态对象，诸如汽车或行人，以便在变换优化期间隔离并仅考虑静态对象。此外，在一些实施方式中，计算机视觉系统仅在车辆静止的时间段期间获得用于上述校准过程的传感器数据。
该技术的输出的示例应用包括合并来自多个传感器的传感器数据、经由用户界面以图形方式呈现合并的数据、将合并的数据提供给控制器(其可以帮助自主车辆操作)、根据所确定的一组变换参数确定第一和/或第二传感器的健康、确定第一和/或第二传感器随时间推移的空间偏移或对齐变化、以及确定是否需要第一和/或第二传感器的手动或自动物理重新对齐。
为了在车辆中有效地使用传统相机和激光雷达，或在车辆中使用多个激光雷达系统，根据激光雷达的扫描图案，本公开的系统同步来自相机和激光雷达或多个激光雷达系统的数据。特别地，在具有相机和激光雷达的实施例中，系统使相机以特定速率捕获摄影图像以生成N张照片，而激光雷达系统扫描整个能视域一次以生成一个扫描帧。然后系统将摄影图像中的像素(或像素集)与扫描帧中的相应像素对齐，使得某一帧中的一个激光雷达像素与一张照片中的相应像素对齐，而同一帧中的另一个激光雷达像素与另一张照片中的相应像素对齐。以该方式，系统会考虑在激光雷达完成一个扫描帧的扫描时发生的车辆位移。此外，该系统和方法考虑了激光雷达和相机的FOR差。类似地，该方法和系统可以执行来自两个激光雷达检测器的数据的对齐和组合、合并或配准。
接下来参考图1-5考虑其中可以实现这些技术的示例激光雷达系统，随后是用于检测相对于车辆的环境的传感器的示例几何形状(图6A、6B和7)。然后参考图8和图9讨论用于优化变换参数以组合来自具有不同能视域的多个传感器的数据的示例方法和系统。随后讨论了用于组合来自两个激光雷达传感器的数据并进行校准的方法和系统的示例(图8和10-11B)以及用于组合数据和校准相机-激光雷达传感器系统的方法和系统的示例(图12-14C)。
系统概述
图1示出示例光检测和测距(激光雷达)系统100。激光雷达系统100可以被称为激光测距系统、激光雷达系统、LIDAR系统、激光雷达传感器或激光检测和测距(LADAR或ladar)系统。激光雷达系统100可以包括光源110、反射镜115、扫描器120、接收器140和控制器150。光源110可以是例如激光器，该激光器发射在电磁光谱的红外、可见或紫外部分中具有特定工作波长的光。作为更具体的示例，光源110可以包括工作波长在大约1.2μm和1.7μm之间的激光器。
在操作中，光源110发射输出光束125，该输出光束可以是连续波的、脉冲的或以针对给定应用的任何合适的方式调制的。输出光束125沿发射方向引导到位于距激光雷达系统100距离D且至少部分地包含在系统100的能视域内的远程目标130。取决于激光雷达系统100的场景和/或实施方式，D例如可以在1m和1km之间。
一旦输出光束125到达沿发射方向的目标130，目标130可以散射或在一些情况下反射来自输出光束125的至少一部分光，并且一些散射或反射的光可以返回到激光雷达系统100。在图1的示例中，散射或反射的光由穿过扫描器120的输入光束135表示，该扫描器120可称为光束扫描器、光学扫描器或激光扫描器。输入光束135穿过扫描器120到达反射镜115，该反射镜115可被称为重叠镜、叠加镜或光束组合镜。反射镜115进而将输入光束135引导到接收器140。输入135可以只包含来自输出光束125的光的相对较小的一部分。例如，输入光束135的平均功率、峰值功率或脉冲能量与输出光束125的平均功率、峰值功率或脉冲能量之比可以是大约10-1、10-2、10-3、10-4、10-5、10-6、10-7、10-8、10-9、10-10、10-11或10-12。作为另一个示例，如果输出光束125的脉冲具有1微焦(μJ)的脉冲能量，则输入光束135的相应脉冲的脉冲能量可以具有大约10纳焦(nJ)、1nJ、100皮焦(pJ)、10pJ、1pJ、100飞焦(fJ)、10fJ、1fJ、100阿托焦(aJ)、10aJ或1aJ的脉冲能量。
输出光束125可称为激光束、光束、光学束、发射光束或仅称为束；并且输入光束135可称为返回光束、接收光束、返回光、接收光、输入光、散射光或反射光。如本文所使用的，散射光可以指被目标130散射或反射的光。输入光束135可以包括被目标130散射的来自输出光束125的光、被目标130反射的来自输出光束125的光、或来自目标130的散射光和反射光的组合。
激光雷达系统100的工作波长可以位于例如电磁光谱的红外、可见或紫外部分中。太阳也产生这些波长范围内的光，并且因此太阳光可以充当背景噪声，该背景噪声可掩盖由激光雷达系统100检测到的信号光。该太阳背景噪声可导致误报检测或可能以其它方式破坏激光雷达系统100的测量，特别是当接收器140包括SPAD检测器(其可以高度敏感)时。
一般而言，穿过地球大气层并到达诸如系统100的基于陆地的激光雷达系统的来自太阳的光可以为该系统建立光学背景噪声基底。因此，为了能够检测到来自激光雷达系统100的信号，信号必须上升到背景噪声基底之上。通常可以通过提高输出光束125的功率水平来提高激光雷达系统100的信噪比(SNR)，但在一些情况下，可能需要保持输出光束125的功率水平相对较低。例如，增加输出光束125的发射功率水平可导致激光雷达系统100对眼睛不安全。
在一些实施方式中，激光雷达系统100以大气吸收相对较低的频率操作。例如，激光雷达系统100可以在大约从980nm到1110nm或从1165nm到1400nm范围内的波长操作。
在其它实施方式中，激光雷达系统100以大气吸收高的频率操作。例如，激光雷达系统100可以在大约从930nm到980nm、从1100nm到1165nm或从1400nm到1460nm范围内的波长操作。
根据一些实施方式，激光雷达系统100可以包括人眼安全激光器。人眼安全激光器可以指以下激光器，其具有发射波长、平均功率、峰值功率、峰值强度、脉冲能量、光束大小、光束发散度或曝光时间以使得从激光器发出的光对人的眼睛造成伤害的可能性很小或根本没有。例如，光源110可以分类为在所有正常使用条件下都是安全的1类激光产品(如国际电工委员会(IEC)的60825-1标准所规定的)或I类激光产品(如美国联邦法规(CFR)第21篇第1040.10节所规定的)。在一些实施方式中，光源110可以包括人眼安全激光器(例如，1类或I类激光器)，其被配置为在大约1400nm和大约2100nm之间的任何合适波长下操作。在一些实施方式中，光源110可以包括工作波长在大约1400nm和大约1600nm之间的人眼安全激光器。在一些实施方式中，光源110可以包括工作波长在大约1530nm和大约1560nm之间的人眼安全激光器。在一些实施方式中，光源110可以包括工作波长在大约1400nm和大约1600nm之间的人眼安全光纤激光器或固态激光器。
接收器140可以接收或检测来自输入光束135的光子并且生成一个或多个代表性信号。例如，接收器140可以生成代表输入光束135的输出电信号145。接收器可以将电信号145发送到控制器150。取决于实施方式，控制器150可以包括一个或多个处理器、存储器模块、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或其它合适的电路，其被配置为分析电信号145的一种或多种特性以确定目标130的一种或多种特性，诸如其距激光雷达系统100的沿发射方向的距离。更特别地，控制器150可以分析由光源110发射的光束125的飞行时间或相位调制。如果激光雷达系统100测量飞行时间T(例如，T表示发射的光脉冲从激光雷达系统100行进到目标130并返回激光雷达系统100的往返飞行时间)，则从目标130到激光雷达系统100的距离D可以表达为D＝c·T/2，其中c是光速(大约3.0×108m/s)。
作为更具体的示例，如果激光雷达系统100测量飞行时间为T＝300ns，则激光雷达系统100可以确定从目标130到激光雷达系统100的距离约为D＝45.0m。作为另一个示例，激光雷达系统100测量飞行时间为T＝1.33μs，并因此确定从目标130到激光雷达系统100的距离约为D＝199.5m。从激光雷达系统100到目标130的距离D可以称为目标130的距离、深度或范围。如本文所使用的，光速c是指光在任何合适的介质中(诸如例如在空气、水或真空中)的速度。真空中的光速约为2.9979×108m/s，并且空气(其具有约为1.0003的折射率)中的光速约为2.9970×108m/s。
目标130可以位于距激光雷达系统100的距离D处，该距离D小于或等于激光雷达系统100的最大范围RMAX。激光雷达系统100的最大范围RMAX(也可以称为最大距离)可以对应于激光雷达系统100被配置为感测或识别出现在激光雷达系统100的能视域中的目标的最大距离。激光雷达系统100的最大范围可以是任何合适的距离，诸如例如25m、50m、100m、200m、500m或1km。作为具体示例，最大范围为200米的激光雷达系统可以被配置为感测或识别位于200m以外的各种目标。对于最大范围200m(RMAX＝200m)的激光雷达系统，与最大范围相对应的飞行时间约为
Figure BDA0003826387150000091
在一些实施方式中，光源110、扫描器120和接收器140可以一起封装在单个壳体155内，该壳体155可以是容纳或包含激光雷达系统100的全部或一部分的盒子、箱子或外壳。壳体155包括窗口157，光束125和135穿过该窗口。在一个示例实施方式中，激光雷达系统壳体155包含激光雷达系统100的光源110、重叠镜115、扫描器120和接收器140。控制器150可以驻留在与部件110、120和140相同的壳体155内，或者控制器150可以远离壳体存在。
此外，在一些实施方式中，壳体155包括多个激光雷达传感器，每个激光雷达传感器包括相应的扫描器和接收器。取决于特定的实施方式，多个传感器中的每一个传感器可以包括单独的光源或公共光源。取决于实施方式，多个传感器可以被配置为覆盖不重叠的相邻FOR或部分重叠的FOR。
壳体155可以是防止水蒸气、液态水、污垢、灰尘或其它污染物进入壳体155内部的气密或防水结构。壳体155可以填充有干燥或惰性气体，诸如例如干燥空气、氮气或氩气。壳体155可以包括一个或多个电连接件，用于将电能或电信号传送到壳体和/或从壳体传送出。
窗口157可由任何合适的衬底材料制成，诸如例如玻璃或塑料(例如，聚碳酸酯、丙烯酸、环烯烃聚合物或环烯烃共聚物)。窗口157可以包括内表面(表面A)和外表面(表面B)，并且表面A或表面B可以包括在特定波长处具有特定反射率值的介电涂层。介电涂层(其可称为薄膜涂层、干涉涂层或涂层)可包括具有特定厚度(例如，小于1μm的厚度)和特定折射率的介电材料的一个或多个薄膜层(例如，SiO2、TiO2、Al2O3、Ta2O5、MgF2、LaF3或AlF3)。可以使用任何合适的沉积技术，诸如例如溅射或电子束沉积，将介电涂层沉积到窗口157的表面A或表面B上。
介电涂层可以在特定波长处具有高反射率或在特定波长处具有低反射率。高反射率(HR)介电涂层可以在任何合适的波长或波长组合处具有任何合适的反射率值(例如，大于或等于80％、90％、95％或99％的反射率)。低反射率介电涂层(其可称为抗反射(AR)涂层)可在任何合适的波长或波长组合处具有任何合适的反射率值(例如，小于或等于5％、2％、1％、0.5％或0.2％的反射率)。在特定实施例中，介电涂层可以是在特定波长处具有高或低反射率值的特定组合的二向色涂层。例如，二向色涂层可以在大约1550-1560nm处具有小于或等于0.5％的反射率，并且在大约800-1500nm处具有大于或等于90％的反射率。
在一些实施方式中，表面A或表面B具有在外壳850内包含的一个或多个光源110的工作波长处抗反射的介电涂层。表面A和表面B上的AR涂层可以增加透射通过窗口157的光源110的工作波长处的光量。另外，光源110的工作波长处的AR涂层可以减少来自输出光束125的被窗口157反射回到壳体155中的入射光的量。在示例性实施方式中，表面A和表面B中的每一个表面都具有在光源110的工作波长处具有小于0.5％的反射率的AR涂层。作为示例，如果光源110具有约1550nm的工作波长，则表面A和表面B可各自具有从约1547nm到约1553nm的反射率小于0.5％的AR涂层。在另一个实施方式中，表面A和表面B中的每一个表面都具有在光源110的工作波长处具有小于1％的反射率的AR涂层。例如，如果壳体155封闭具有相应光源的两个传感器头，第一光源发射约1535nm波长处的脉冲，并且第二光源发射约1540nm波长处的脉冲，则表面A和表面B可各自具有从约1530nm到约1545nm的反射率小于1％的AR涂层。
窗口157可以针对壳体155内包含的一个或多个光源110的一个或多个波长具有大于任何合适值的光透射。作为示例，窗口157可以具有在光源110的波长处大于或等于70％、80％、90％、95％或99％的光透射。在一个示例实施方式中，窗口157可以在光源110的工作波长处透射大于或等于95％的光。在另一个实施方式中，窗口157在壳体155内封闭的光源的工作波长处透射大于或等于90％的光。
表面A或表面B可具有二向色涂层，该二向色涂层在一个或多个光源110的一个或多个工作波长处抗反射并且在远离该一个或多个工作波长的波长处高反射。例如，表面A可以具有针对光源110的工作波长的AR涂层，并且表面B可以具有二向色涂层，该二向色涂层在光源工作波长处为AR并且针对远离工作波长的波长为HR。针对远离光源工作波长的波长为HR的涂层可以防止不需要的波长处的大多数入射光透射通过窗口117。在一个实施方式中，如果光源110发射波长约为1550nm的光脉冲，则表面A可以具有从大约1546nm到大约1554nm的反射率小于或等于0.5％的AR涂层。此外，表面B可具有二向色涂层，该二向色涂层在大约1546-1554nm处为AR并且在大约800-1500nm和大约1580-1700nm处为HR(例如，大于或等于90％的反射率)。
窗口157的表面B可以包括疏油、疏水或亲水的涂层。疏油(或疏脂)涂层可以排斥来自窗口157的外表面(表面B)的油(例如指纹油或其它非极性材料)。疏水涂层可以排斥来自外表面的水。例如，表面B可以涂有既疏油又疏水的材料。亲水涂层吸引水，使得水可能倾向于润湿并在亲水表面上形成膜(而不是形成可能发生在疏水表面上的水珠)。如果表面B具有亲水涂层，则落在表面B上的水(例如来自雨水)可在表面上形成膜。与具有非亲水涂层或疏水涂层的表面相比，水的表面膜可导致输出光束125的较少失真、偏转或遮挡。
继续参考图1，光源110可以包括被配置为产生或发射具有特定脉冲持续时间的光脉冲的脉冲激光器。在示例实施方式中，脉冲激光器的脉冲持续时间或脉冲宽度约为10皮秒(ps)至20纳秒(ns)。在另一个实施方式中，光源110是产生脉冲持续时间约为200-400ps的脉冲的脉冲激光器。在另一个实施方式中，光源110是脉冲激光器，该脉冲激光器以大约100kHz至5MHz的脉冲重复频率或大约200ns至10μs的脉冲周期(例如，连续脉冲之间的时间)产生脉冲。取决于实施方式，光源110可以具有基本上恒定或可变的脉冲重复频率。作为示例，光源110可以是脉冲激光器，该脉冲激光器以大约640kHz的基本上恒定的脉冲重复频率(例如，每秒640,000个脉冲)产生脉冲，对应于大约1.56μs的脉冲周期。作为另一个示例，光源110可以具有可以从大约500kHz变化到3MHz的脉冲重复频率。如本文所使用的，光脉冲可称为光学脉冲、光脉冲或脉冲。
通常，输出光束125可以具有任何合适的平均光功率，并且输出光束125可以包括具有任何合适的脉冲能量或峰值光功率的光脉冲。输出光束125的平均功率的一些示例包括1mW、10mW、100mW、1W和10W的近似值。输出光束125的脉冲能量的示例值包括0.1μJ、1μJ、10μJ、100μJ和1mJ的近似值。输出光束125中包括的脉冲的峰值功率值的示例是10W、100W、1kW、5kW、10kW的近似值。具有400ps持续时间和1μJ脉冲能量的示例光脉冲具有大约2.5kW的峰值功率。如果脉冲重复频率为500kHz，则在该示例中，具有1-μJ脉冲的输出光束125的平均功率约为0.5W。
光源110可以包括激光二极管，诸如法布里-珀罗激光二极管、量子阱激光器、分布式布拉格反射器(DBR)激光器、分布式反馈(DFB)激光器或垂直腔表面发射激光器(VCSEL)。在光源110中操作的激光二极管可以是砷化铝镓(AlGaAs)激光二极管、砷化铟镓(InGaAs)激光二极管或磷化铟镓砷(InGaAsP)激光二极管、或任何其它合适的二极管。在一些实施方式中，光源110包括具有大约1400-1600nm的峰值发射波长的脉冲激光二极管。此外，光源110可以包括电流调制以产生光脉冲的激光二极管。
在一些实施方式中，光源110包括脉冲激光二极管，其后是一个或多个光学放大级。例如，光源110可以是光纤激光模块，该光纤激光模块包括峰值波长约为1550nm的电流调制激光二极管，其后是单级或多级掺铒光纤放大器(EDFA)。作为另一个示例，光源110可以包括连续波(CW)或准CW激光二极管，其后是外部光调制器(例如，电光调制器)，并且调制器的输出可以被馈送到光放大器。作为另一个示例，光源110可以包括激光二极管，其后是半导体光放大器(SOA)，其放大由激光二极管产生的光。在其它实施方式中，光源110可以包括脉冲固态激光器或脉冲光纤激光器。
在一些实施方式中，由光源110发射的输出光束125是准直光束，具有任何合适的光束发散度，诸如大约0.1到3.0毫弧度(mrad)的发散度。输出光束125的发散度可以指当输出光束125远离光源110或激光雷达系统100行进时光束大小(例如，光束半径或光束直径)增加的角度度量。输出光束125可以具有基本上圆形的横截面，其具有由单个发散值表征的光束发散度。例如，具有圆形横截面和发散度为1mrad的输出光束125在与激光雷达系统100相距100m的距离处可以具有大约10cm的光束直径或光斑大小。在一些实施方式中，输出光束125可以是散光光束或可以具有基本上椭圆的横截面并且可以由两个发散值表征。作为示例，输出光束125可以具有快轴和慢轴，其中快轴发散度大于慢轴发散度。作为另一个示例，输出光束125可以是具有2mrad的快轴发散角和0.5mrad的慢轴发散角的散光光束。
由光源110发射的输出光束125可以是非偏振的或随机偏振的，可以不具有特定的或固定的偏振(例如，偏振可以随时间变化)，或者可以具有特定的偏振(例如，输出光束125可以是线性偏振的、椭圆偏振的或圆偏振的)。作为示例，光源110可以产生线性偏振光，并且激光雷达系统100可以包括将该线性偏振光转换成圆偏振光的四分之一波片。激光雷达系统100可以将圆偏振光作为输出光束125传输，并接收输入光束135，该输入光束135可以以与输出光束125相同的方式基本上或至少部分地圆偏振(例如，如果输出光束125是右旋圆偏振的，则输入光束135也可以是右旋圆偏振的)。输入光束135可以穿过相同的四分之一波片(或不同的四分之一波片)，导致输入光束135被转换成相对于由光源110产生的线性偏振光正交偏振(例如，以直角偏振)的线性偏振光。作为另一个示例，激光雷达系统100可以采用偏振分集检测，其中分别检测两个偏振分量。输出光束125可以是线性偏振的，并且激光雷达系统100可以将输入光束135分成分别由两个光电二极管(例如，包括两个光电二极管的平衡光接收器)检测的两个偏振分量(例如，s偏振和p偏振)。
继续参考图1，输出光束125和输入光束135可以基本上同轴。换句话说，输出光束125和输入光束135可以至少部分地重叠或共享公共传播轴，使得输入光束135和输出光束125沿着基本上相同的光路行进(尽管方向相反)。当激光雷达系统100跨越能视域扫描输出光束125时，输入光束135可以与输出光束125一起跟随，使得保持两个光束之间的同轴关系。
激光雷达系统100还可以包括一个或多个光学部件，该光学部件被配置为调节、整形、过滤、修改、转向或引导输出光束125和/或输入光束135。例如，激光雷达系统100可以包括一个或多个透镜、反射镜、滤波器(例如，带通或干涉滤波器)、分束器、偏振器、偏振分束器、波片(例如，半波片或四分之一波片)、衍射元件或全息元件。在一些实施方式中，激光雷达系统100包括望远镜、一个或多个透镜、或一个或多个反射镜以将输出光束125扩展、聚焦或准直至所需的光束直径或发散度。作为示例，激光雷达系统100可以包括一个或多个透镜以将输入光束135聚焦到接收器140的有源区域上。作为另一个示例，激光雷达系统100可以包括一个或多个平面镜或曲面镜(例如，凹面、凸面或抛物面镜)以转向或聚焦输出光束125或输入光束135。例如，激光雷达系统100可以包括离轴抛物面镜以将输入光束135聚焦到接收器140的有源区域上。如图1中所示，激光雷达系统100可以包括反射镜115，其可以是金属或介电反射镜。反射镜115可以被配置为使得光束125穿过反射镜115。作为示例，反射镜115可以包括输出光束125穿过的孔、槽或孔径。作为另一个示例，反射镜115可以被配置为使得至少80％的输出光束125穿过反射镜115并且至少80％的输入光束135被反射镜115反射。在一些实施方式中，反射镜115可以使输出光束125和输入光束135基本上同轴，使得光束125和135沿基本上相同的光路在相反方向中行进。
一般而言，扫描器120将输出光束125转向到沿发射方向的一个或多个方向。例如，扫描器120可以包括一个或多个扫描镜和一个或多个致动器，该致动器驱动反射镜以有角度的方式围绕一个或多个轴旋转、倾斜、枢转或移动反射镜。例如，扫描器的第一反射镜可以沿第一方向扫描输出光束125，并且第二反射镜可以沿与第一方向基本上正交的第二方向扫描输出光束125。下面参考图2更详细地讨论扫描器120的示例实施方式。
扫描器120可以被配置为在5度角度范围、20度角度范围、30度角度范围、60度角度范围或任何其它合适的角度范围内扫描输出光束125。例如，扫描镜可被配置为在15度范围内周期性地旋转，这导致输出光束125跨越30度范围扫描(例如，扫描镜的θ度旋转导致输出光束125的2θ度角度扫描)。激光雷达系统100的FOR可以指激光雷达系统100可以被配置为扫描或捕获距离信息的面积、区域或角度范围。当激光雷达系统100在30度的扫描范围内扫描输出光束125时，激光雷达系统100可以被称为具有30度的能视域角。作为另一个示例，具有在30度范围内旋转的扫描镜的激光雷达系统100可以产生跨越60度范围(例如，60度FOR)扫描的输出光束125。在各种实施方式中，激光雷达系统100可以具有大约10°、20°、40°、60°、120°的FOR或任何其它合适的FOR。FOR也可以称为扫描区域。
扫描器120可以被配置为水平和竖直扫描输出光束125，并且激光雷达系统100可以具有沿水平方向的特定FOR和沿竖直方向的另一个特定FOR。例如，激光雷达系统100可以具有10°到120°的水平FOR和2°到45°的竖直FOR。
扫描器120的一个或多个扫描镜可以通信地耦合到控制器150，该控制器150可以控制扫描镜以便在沿发射方向的所需方向或沿着所需的扫描图案引导输出光束125。通常，扫描图案可指输出光束125沿其引导的图案或路径，并且也可称为光学扫描图案、光学扫描路径或扫描路径。作为示例，扫描器120可以包括两个扫描镜，该扫描镜被配置为跨越60°水平FOR和20°竖直FOR扫描输出光束125。可以控制两个扫描镜以遵循基本上覆盖60°×20°FOR的扫描路径。激光雷达系统100可以使用扫描路径来生成具有基本上覆盖60°×20°FOR的像素的点云。像素可以大致均匀地跨越60°×20°FOR分布。可替代地，像素可以具有特定的非均匀分布(例如，像素可以跨越60°×20°FOR的全部或一部分分布，并且像素可以在60°×20°FOR的一个或多个特定区域中具有更高的密度)。
在操作中，光源110可以发射光脉冲，扫描器120跨越激光雷达系统100的FOR扫描该光脉冲。目标130可以散射一个或多个发射的脉冲，并且接收器140可以检测到由目标130散射的光脉冲的至少一部分。
接收器140可称为(或可包括)光接收器、光学接收器、光传感器、检测器、光检测器或光学检测器。在一些实施方式中，接收器140接收或检测输入光束135的至少一部分并产生与输入光束135相对应的电信号。例如，如果输入光束135包括光脉冲，则接收器140可以产生与由接收器140检测到的光脉冲相对应的电流或电压脉冲。在示例实施方式中，接收器140包括一个或多个雪崩光电二极管(APD)或一个或多个单光子雪崩二极管(SPAD)。在另一个实施方式中，接收器140包括一个或多个PN光电二极管(例如，由p型半导体和n型半导体形成的光电二极管结构)或一个或多个PIN光电二极管(例如，由位于p型和n型区域之间的未掺杂本征半导体区域形成的光电二极管结构)。
在实施例中，滤光器可以位于接收器140的前面并且被配置为透射光源110的一个或多个工作波长的光并且衰减周围波长处的光。例如，滤光器可以是位于表面B、表面A或接收器140之前的光路中的任何地方的自由空间光谱滤波器。该滤光器可以透射光源110的工作波长处的光(例如，在大约1530nm和1560nm之间)并衰减该波长范围之外的光。作为更具体的示例，具有大约400-1530nm或1560-2000nm波长的光可以衰减任何合适的量，诸如例如至少5dB、10dB、20dB、30dB或40dB。
接收器140可以具有包括硅、锗或InGaAs的有源区域或雪崩倍增区域。接收器140的有源区域可以具有任何合适的大小，诸如例如大约50-500μm的直径或宽度。接收器140可以包括执行信号放大、采样、滤波、信号调节、模数转换、时间到数字转换、脉冲检测、阈值检测、上升边缘检测或下降边缘检测的电路。例如，接收器140可以包括将接收到的光电流(例如，APD响应于接收到的光信号而产生的电流)转换成电压信号的跨阻放大器。接收器140可以将电压信号引导到脉冲检测电路，该脉冲检测电路产生与接收的光脉冲的一个或多个特性(例如，上升边缘、下降边缘、幅度或持续时间)相对应的模拟或数字输出信号145。例如，脉冲检测电路可以执行时间到数字的转换以产生数字输出信号145。接收器140可以将电输出信号145发送到控制器150用于处理或分析，例如，以确定与接收的光脉冲相对应的飞行时间值。
控制器150可以电耦合或以其它方式通信地耦合到光源110、扫描器120和接收器140中的一个或多个。控制器150可以从光源110接收电触发脉冲或边缘，其中每个脉冲或边缘对应于光源110的光脉冲的发射。控制器150可以向光源110提供指示光源110何时应该产生光脉冲的指令、控制信号或触发信号。例如，控制器150可以发送包括电脉冲的电触发信号，其中光源110响应于每个电脉冲发射光脉冲。此外，控制器150可以使光源110调节由光源110发射的光脉冲的频率、周期、持续时间、脉冲能量、峰值功率、平均功率或波长中的一项或多项。
控制器150可以基于与脉冲何时由光源110发射以及脉冲(例如输入光束135)的一部分何时由接收器140检测或接收相关联的定时信息来确定光脉冲的飞行时间值。控制器150可以包括执行信号放大、采样、滤波、信号调节、模数转换、时间到数字转换、脉冲检测、阈值检测、上升边缘检测或下降边缘检测的电路。
如上所述，激光雷达系统100可用于确定到一个或多个沿发射方向的目标130的距离。通过跨越能视域扫描激光雷达系统100，该系统可用于将距离映射到能视域内的点数。这些深度映射点中的每一个深度映射点都可以称为像素。可以将连续捕获的像素集合(其可以称为深度图、点云或帧)渲染为图像，或者可以对其进行分析以识别或检测对象或确定在FOR内对象的形状或距离。例如，深度图可以覆盖水平延伸60°和竖直延伸15°的能视域，并且深度图可以包括水平方向的100-2000像素乘竖直方向的4-400像素的帧。
激光雷达系统100可以被配置为以大约0.1帧/秒(FPS)和大约1,000FPS之间的任何合适的帧速率重复捕获或生成能视域的点云。例如，激光雷达系统100可以以大约0.1FPS、0.5FPS、1FPS、2FPS、5FPS、10FPS、20FPS、100FPS、500FPS或1,000FPS的帧速率生成点云。在示例实施方式中，激光雷达系统100被配置为以5×105脉冲/秒的速率产生光脉冲(例如，系统可以确定每秒500,000个像素距离)并扫描1000×50像素的帧(例如，50,000像素/帧)，这对应于每秒10帧的点云帧速率(例如，每秒10个点云)。取决于实施方式，点云帧速率可以基本上是固定的或动态可调节的。例如，激光雷达系统100可以以特定帧速率(例如，1Hz)捕获一个或多个点云，并且然后切换为以不同帧速率(例如，10Hz)捕获一个或多个点云。通常，激光雷达系统可以使用较慢的帧速率(例如，1Hz)来捕获一个或多个高分辨率的点云，并使用更快的帧速率(例如，10Hz)来快速捕获多个较低分辨率的点云。
激光雷达系统100的能视域可以重叠、包含或围绕目标130的至少一部分，其可包括相对于激光雷达系统100移动或静止的所有对象或对象的一部分。例如，目标130可包括以下中的全部或一部分：人、车辆、摩托车、卡车、火车、自行车、轮椅、行人、动物、道路标志、交通信号灯、车道标记、路面标记、停车场、塔架、护栏、交通障碍、坑洼、铁路道口、道路上或附近的障碍物、停在道路上或旁边的车辆、公用电线杆、房屋、建筑物、垃圾桶、邮箱、树木、任何其它合适的对象、或两个或更多个对象的全部或一部分的任何合适的组合。
现在参考图2，扫描器162和接收器164可以分别作为扫描器120和接收器140在图1的激光雷达系统中操作。更一般地，扫描器162和接收器164可以在任何合适的激光雷达系统中操作。
扫描器162可以包括由任何合适数量的机械致动器驱动的任何合适数量的反射镜。例如，扫描器162可以包括检流计扫描器、谐振扫描器、压电致动器、多面镜扫描器、旋转棱镜扫描器、音圈电机、直流电机、步进电机或微机电系统(MEMS)设备或任何其它合适的致动器或机构。
检流计扫描器(其也可称为检流计致动器)可包括具有磁体和线圈的基于检流计的扫描电机。当向线圈提供电流时，会向磁体施加旋转力，这导致附接到检流计扫描器的反射镜旋转。可以控制提供给线圈的电流以动态改变检流计镜的位置。谐振扫描器(其可称为谐振致动器)可包括由致动器驱动的弹簧状机构，以产生基本上固定频率(例如，1kHz)的周期性振荡。基于MEMS的扫描设备可以包括直径在大约1和10mm之间的反射镜，其中反射镜使用电磁或静电致动来旋转。音圈电机(其可称为音圈致动器)可以包括磁体和线圈。当向线圈提供电流时，会向磁体施加平移力，这导致附接到磁体的反射镜移动或旋转。多面镜扫描器可以包括在一个方向中旋转的多面镜(例如，四面或六面镜)以跨越FOR扫描输出光束170。
在示例实施方式中，扫描器162包括被配置为沿单个方向扫描输出光束170的单个反射镜(例如，扫描器162可以是沿水平或竖直方向扫描的一维扫描器)。反射镜可以是附接到在特定角度范围内扫描反射镜的扫描器致动器或机构的平面扫描镜。反射镜可以由一个致动器(例如，检流计)或被配置为以推挽配置驱动反射镜的两个致动器驱动。当两个致动器以推挽配置在一个方向中驱动反射镜时，致动器可以位于反射镜的相对端或相对侧。它们可以以协作方式操作，使得当一个致动器推动反射镜时，另一个致动器拉动反射镜，反之亦然。在另一个示例实施方式中，以推挽配置布置的两个音圈致动器沿水平或竖直方向驱动反射镜。
在一些实施方式中，扫描器162可以包括一个反射镜，该反射镜被配置为沿两个轴扫描，其中以推挽配置布置的两个致动器提供沿每个轴的运动。例如，布置成水平推挽配置的两个谐振致动器可以沿水平方向驱动反射镜，并且布置成竖直推挽配置的另一对谐振致动器可以沿竖直方向驱动反射镜。在另一个示例实施方式中，两个致动器沿两个方向(例如，水平和竖直)扫描输出光束170，其中每个致动器提供沿特定方向或围绕特定轴的旋转运动。
扫描器162还可以包括由两个致动器驱动的一个反射镜，该两个致动器被配置为沿两个基本上正交的方向扫描反射镜。例如，谐振致动器或检流计致动器可以沿基本上水平的方向驱动一个反射镜，并且检流计致动器可以沿基本上竖直的方向驱动反射镜。作为另一个示例，两个谐振致动器可以沿两个基本上正交的方向驱动反射镜。
在一些实施方式中，扫描器162包括两个反射镜，其中一个反射镜沿基本上水平方向扫描输出光束170，而另一个反射镜沿基本上竖直方向扫描输出光束170。在图2的示例中，扫描器162包括两个反射镜，反射镜180-1和反射镜180-2。反射镜180-1可以沿基本上水平的方向扫描输出光束170，并且反射镜180-2可以沿基本上竖直的方向扫描输出光束170(或反之亦然)。
在其它实施方式中，扫描器162包括驱动相应反射镜的两个检流计扫描器。例如，扫描器162可以包括沿第一方向(例如竖直)扫描反射镜180-1的检流计致动器，并且扫描器162可以包括沿第二方向(例如水平)扫描反射镜180-2的另一个检流计致动器。在另一个实施方式中，扫描器162包括两个反射镜，其中检流计致动器驱动一个反射镜，而谐振致动器驱动另一个反射镜。例如，检流计致动器可以沿第一方向扫描反射镜180-1，并且谐振致动器可以沿第二方向扫描反射镜180-2。第一和第二扫描方向可以基本上彼此正交，例如，第一方向可以基本上竖直，而第二方向可以基本上水平。在另一个实施方式中，扫描器162可以包括两个反射镜，其中检流计沿第一方向扫描一个反射镜，而另一个反射镜是沿第二方向扫描的多面镜。
为了沿着特定的扫描图案引导输出光束170，扫描器162可以包括同步驱动单个反射镜的两个或更多个致动器。例如，两个或更多个致动器可以沿着两个基本上正交的方向同步驱动反射镜，以使输出光束170遵循具有基本上直线的扫描图案。在一些实施方式中，扫描器162可以包括两个反射镜和同步驱动两个反射镜以生成包括基本上直线的扫描图案的致动器。例如，检流计致动器可以用基本上线性的来回运动来驱动反射镜180-2(例如，检流计可以用基本上正弦或三角形波形驱动)，该基本上线性的来回运动导致输出光束170跟踪基本上水平的来回图案，并且另一个检流计致动器可以沿着基本上竖直的方向扫描反射镜180-1。两个检流计可以同步，使得对于每64个水平轨迹，输出光束170沿着竖直方向形成单个轨迹。无论使用一个或两个反射镜，基本上直线可以基本上水平、竖直或沿着任何其它合适的方向引导。
扫描器162还可以在输出光束170沿基本上水平的方向(例如，用检流计或谐振致动器)扫描以实现直线时，沿竖直方向(例如，用检流计致动器)应用动态调节的偏转。如果不应用竖直偏转，则输出光束170可以在它从一侧扫描到另一侧时描绘出弯曲的路径。在一些实施方式中，扫描器162使用竖直致动器在输出光束170被水平扫描时应用动态调节的竖直偏转以及每次水平扫描之间的离散竖直偏移(例如，使输出光束170步进到后续行的扫描图案)。
继续参考图2，该示例实施方式中的重叠镜190被配置为重叠输入光束172和输出光束170，使得光束170和172基本上同轴。在图2中，重叠镜190包括输出光束170穿过的孔、槽或孔径192，以及将输入光束172的至少一部分朝向接收器164反射的反射表面194。重叠镜190可以定向成使得输入光束172和输出光束170至少部分重叠。
输入光束172可以穿过透镜196，透镜196将光束聚焦到接收器164的有源区域166上。有源区域166可以指接收器164可以接收或检测输入光的区域。有源区域可以具有任何合适的大小或直径d，诸如例如大约25μm、50μm、80μm、100μm、200μm、500μm、1mm、2mm或5mm的直径。重叠镜190可以具有基本上平坦的反射表面194或者反射表面194可以是弯曲的(例如，反射镜190可以是被配置为将输入光束172聚焦到接收器140的有源区域上的离轴抛物面镜)。
孔径192可以具有任何合适的大小或直径Φ1，并且输入光束172可以具有任何合适的大小或直径Φ2，其中Φ2大于Φ1。例如，孔径192可以具有大约0.2mm、0.5mm、1mm、2mm、3mm、5mm或10mm的直径Φ1，并且输入光束172可以具有大约2mm、5mm、10mm、15mm、20mm、30mm、40mm或50mm的直径Φ2。在一些实施方式中，重叠镜190的反射表面194可以将输入光束172的70％或更多反射向接收器164。例如，如果反射表面194在光源160的工作波长处具有反射率R，则朝向接收器164引导的输入光束172的部分可以表达为R×[1-(Φ1/Φ2)2]。作为更具体的示例，如果R为95％，Φ1为2mm，并且Φ2为10mm，则大约91％的输入光束172可被反射表面194朝向接收器164引导。
在能视域内生成像素
图3示出图1的激光雷达系统100可以产生的示例扫描图案240。激光雷达系统100可以被配置为沿着一个或多个扫描图案240扫描输出光束125。在一些实施方式中，扫描图案240对应于跨越具有任何合适水平FOR(FORH)和任何合适竖直FOR(FORV)的任何合适能视域(FOR)的扫描。例如，某个扫描图案可以具有由40°×30°、90°×40°或60°×15°的角度尺寸(例如，FORH×FORV)表示的能视域。作为另一个示例，某个扫描图案可以具有大于或等于10°、25°、30°、40°、60°、90°或120°的FORH。作为另一个示例，某个扫描图案可以具有大于或等于2°、5°、10°、15°、20°、30°或45°的FORV。在图3的示例中，参考线246表示扫描图案240的能视域中心。参考线246可以具有任何合适的定向，诸如0°的水平角(例如，参考线246可以是直线向前定向)和0°的竖直角(例如，参考线246可以具有0°的倾角)，或者参考线246可以具有非零水平角或非零倾角(例如，+10°或-10°的竖直角)。在图3中，如果扫描图案240具有60°×15°的能视域，则扫描图案240覆盖相对于参考线246的±30°水平范围和相对于参考线246的±7.5°竖直范围。另外，图3中的光束125相对于参考线246具有大约水平-15°和竖直+3°的定向。光束125可以被称为具有相对于参考线246的-15°的方位角和+3°的仰角。方位角(其可以称为方位角度)可以表示相对于参考线246的水平角，并且仰角(其可以称为仰角角度、倾斜角或倾斜角度)可以表示相对于参考线246的竖直角。
扫描图案240可以包括多个像素242，并且每个像素242可以与一个或多个激光脉冲和一个或多个相应的距离测量值相关联。扫描图案240的周期可以包括总共Px×Py个像素242(例如，Px×Py个像素的二维分布)。例如，扫描图案240可以包括具有沿水平方向大约100-2000个像素242和沿竖直方向大约4-400个像素242的尺寸的分布。作为另一个示例，扫描图案240可以包括针对扫描图案240的每周期总共64000个像素的沿水平方向的1000个像素242乘以沿竖直方向的64个像素242的分布(例如，帧大小为1000×64个像素)。沿水平方向的像素242的数量可称为扫描图案240的水平分辨率，并且沿竖直方向的像素242的数量可称为扫描图案240的竖直分辨率。作为示例，扫描图案240可以具有大于或等于100个像素242的水平分辨率和大于或等于4个像素242的竖直分辨率。作为另一个示例，扫描图案240可以具有100-2000个像素242的水平分辨率和4-400个像素242的竖直分辨率。另外，取决于对象和目标检测的所需分辨率，FOR内的某些子区域可具有不同的分辨率。在本文讨论的示例中，分辨率可以定义为每FOR的像素数、FOR的每行的像素数(例如，跨越图3的扫描240的每行的四个像素242，新行在FOR的边界处定义)，或另一合适的像素分辨率定义。例如，图3的FOR的子区域可以具有在扫描图案240的每行4和10个像素之间的水平和/或竖直分辨率，以检测树木和越野目标。然而，被确定为包含道路的FOR子区域可具有扫描图案240的每行数百到数千个像素的更高水平和/或竖直分辨率，以更好地检测和跟踪其它车辆、行人、交通线路或道路上的其它目标和对象的位置和运动。
每个像素242可以与距离(例如，到目标130的从其散射相应激光脉冲的部分的距离)和/或一个或多个角度值相关联。作为示例，像素242可以与距离值和表示像素242相对于激光雷达系统100的角度位置的两个角度值(例如，方位角和仰角)相关联。可以至少部分地基于相应脉冲的飞行时间测量来确定到目标130的一部分的距离。角度值(例如，方位角或仰角)可以对应于输出光束125(例如，当从激光雷达系统100发射相应的脉冲时)的角度(例如，相对于参考线246)或输入光束135的角度(例如，当激光雷达系统100接收到输入信号时)。在一些实施方式中，激光雷达系统100至少部分地基于扫描器120的部件的位置来确定角度值。例如，与像素242相关联的方位角或仰角值可以从扫描器120的一个或多个相应扫描镜的角度位置确定。
在一些实施方式中，激光雷达系统100同时跨越能视域引导多个光束。在图4的示例实施方式中，激光雷达系统生成输出光束250A，250B，250C，…250N等，每个光束都遵循线性扫描图案254A，254B，254C，…254N。平行线的数量可以是2、4、12、20或任何其它合适的数量。激光雷达系统100可以在角度上分离光束250A，250B，250C，…250N，使得例如光束250A和250B在一定距离处的间隔可以是30cm，并且相同光束250A和250B之间的间隔在更长的距离处可以是50cm。
类似于扫描图案240，线性扫描图案254A-N中的每个线性扫描图案包括与一个或多个激光脉冲和距离测量值相关联的像素。图4分别示出沿着扫描图案254A、254B和254C的示例像素252A、252B和252C。本示例中的激光雷达系统100可以同时生成像素252A-252N的值，从而提高扫描速率。
取决于实施方式，激光雷达系统100可以输出相同波长或不同波长处的光束250A-N。例如，光束250A可以具有1470nm的波长，光束250B可以具有1500nm的波长，光束250C可以具有1550nm的波长，等等。激光雷达系统100使用的不同波长的数量不需要匹配通道数量。因此，图4的示例实施方式中的激光雷达系统100可以使用具有N个通道的M个波长，其中1≤M≤N。
接下来，图5示出激光雷达系统100的示例光源视野(FOVL)和接收器视野(FOVR)。当扫描器120跨越能视域(FOR)扫描FOVL和FOVR时，光源110可以发射光脉冲。光源视野可以指在特定时刻由光源110照射的角锥。类似地，接收器视野可以指接收器140可以在特定时刻接收或检测光的角锥，并且可能不会接收或检测到接收器视野之外的任何光。例如，当扫描器120跨越能视域扫描光源视野时，激光雷达系统100可以在光源110发射脉冲时在FOVL指向的方向中发送光脉冲。光脉冲可以从目标130散射，并且接收器140可以接收和检测沿着FOVR引导或包含在FOVR内的一部分散射光。
在一些实施方式中，扫描器120被配置为跨越激光雷达系统100的能视域扫描光源视野和接收器视野。当扫描器120在追踪扫描图案240的同时跨越能视域扫描FOVL和FOVR时，激光雷达系统100可以发射和检测多个光脉冲。在一些实施方式中，扫描器120相对于彼此同步地扫描光源视野和接收器视野。在该情况下，当扫描器120跨越扫描图案240扫描FOVL时，FOVR以相同的扫描速度遵循基本上相同的路径。此外，当扫描器120跨越能视域扫描FOVL和FOVR时，FOVL和FOVR可以保持彼此相同的相对位置。例如，FOVL可以基本上与FOVR重叠或在FOVR内部居中(如图4中所示)，并且扫描器120可以在整个扫描中保持FOVL和FOVR之间的该相对定位。作为另一个示例，在整个扫描中，FOVR可以通过扫描滞后于FOVL特定的固定量(例如，FOVR可在与扫描方向相反的方向中从FOVL偏移)。
FOVL可以具有与输出光束125的发散度基本上相同或对应的角度大小或范围ΘL，并且FOVR可以具有与接收器140可以接收和检测光的角度相对应的角度大小或范围ΘR。接收器视野可以是相对于光源视野的任何合适的大小。例如，接收器视野可以小于、基本上等于或大于光源视野的角度范围。在一些实施方式中，光源视野具有小于或等于50毫弧度的角度范围，并且接收器视野具有小于或等于50毫弧度的角度范围。FOVL可以具有任何合适的角度范围ΘL，诸如例如大约0.1mrad、0.2mrad、0.5mrad、1mrad、1.5mrad、2mrad、3mrad、5mrad、10mrad、20mrad、40mrad或50mrad。类似地，FOVR可以具有任何合适的角度范围ΘR，诸如例如大约0.1mrad、0.2mrad、0.5mrad、1mrad、1.5mrad、2mrad、3mrad、5mrad、10mrad、20mrad、40mrad或50mrad。光源视野和接收器视野可以具有大致相等的角度范围。作为示例，ΘL和ΘR二者都可以大约等于1mrad、2mrad或3mrad。在一些实施方式中，接收器视野大于光源视野，或者光源视野大于接收器视野。例如，ΘL可以大约等于1.5mrad，而ΘR可以大约等于3mrad。
像素242可以表示或对应于光源视野。随着输出光束125从光源110传播，输出光束125的直径(以及相应像素242的大小)可以根据光束发散角ΘL而增加。作为示例，如果输出光束125具有2mrad的ΘL，则在与激光雷达系统100相距100m的距离处，输出光束125可以具有大约20cm的大小或直径，并且相应的像素242也可以具有约为20cm的相应的大小或直径。在与激光雷达系统100相距200m的距离处，输出光束125和相应的像素242可各自具有大约40cm的直径。
在车辆中操作的激光雷达系统
如上所述，一个或多个激光雷达系统100可以集成到车辆中。在一个示例实施方式中，多个激光雷达系统100可以集成到汽车中以提供围绕汽车的完整的360度水平FOR。作为另一示例，4-10个激光雷达系统100(每个系统具有45度到120度的水平FOR)可以组合在一起以形成提供覆盖360度水平FOR的点云的感测系统。激光雷达系统100可以被定向为使得相邻的FOR具有一定量的空间或角度重叠，以允许来自多个激光雷达系统100的数据组合或拼接在一起以形成单个或连续的360度点云。作为示例，每个激光雷达系统100的FOR可以与相邻FOR具有约1-45度的重叠。在特定实施例中，车辆可以指被配置为运送人或货物的移动机器。例如，车辆可包括，可采取如下形式，或可称为：小汽车、汽车、机动车辆、卡车、公共汽车、货车、拖车、越野车、农用车辆、割草机、建筑设备、高尔夫球车、房车、出租车、摩托车、踏板车、自行车、滑板、火车、雪地摩托、船只(例如轮船或小船)、飞机(例如固定翼飞机、直升机或飞船)或航天器。在特定实施例中，车辆可包括为车辆提供推进力的内燃机或电动机。
在一些实施方式中，一个或多个激光雷达系统100被包括在车辆中作为高级驾驶员辅助系统(ADAS)的一部分以在驾驶过程中协助车辆的驾驶员。例如，激光雷达系统100可以是ADAS的一部分，其向驾驶员提供信息或反馈(例如，提醒驾驶员注意潜在的问题或危险)或自动控制车辆的一部分(例如，制动系统或转向系统)以避免碰撞或事故。激光雷达系统100可以是车辆ADAS的一部分，其提供自适应巡航控制、自动制动、自动停车、碰撞避让，提醒驾驶员注意危险或其它车辆，将车辆保持在正确的车道上，或在对象或另一车辆处于盲点时提供警告。
在一些情况下，一个或多个激光雷达系统100作为自主车辆驾驶系统的一部分被集成到车辆中。在示例实施方式中，激光雷达系统100将关于周围环境的信息提供给自主车辆的驾驶系统。自主车辆驾驶系统可以包括一个或多个计算系统，该计算系统从激光雷达系统100接收关于周围环境的信息，分析接收到的信息，并向车辆的驾驶系统(例如，方向盘、加速器、制动器或转向灯)提供控制信号。例如，集成到自主车辆中的激光雷达系统100可以每0.1秒向自主车辆驾驶系统提供点云(例如，点云具有10Hz的更新率，表示每秒10帧)。自主车辆驾驶系统可以分析接收到的点云以感测或识别目标130及其相应的位置、距离或速度，并且自主车辆驾驶系统可以基于该信息更新控制信号。作为示例，如果激光雷达系统100检测到正在减速或停车的前方车辆，则自主车辆驾驶系统可以发送指令以释放加速器并应用制动器。
自主车辆可以被称为自主汽车、无人驾驶汽车、自动驾驶汽车、机器人汽车或无人驾驶车辆。自主车辆可以是被配置为感测其环境并在很少或没有人工输入的情况下导航或驾驶的车辆。例如，自主车辆可以被配置为驾驶到任何合适的位置并在整个行程中控制或执行所有安全关键功能(例如，驾驶、转向、制动、停车)，而驾驶员不希望随时控制车辆。作为另一示例，自主车辆可以允许驾驶员安全地将他们的注意力从特定环境中(例如高速公路上)的驾驶任务上转移开，或者自主车辆可以在除少数环境之外的所有环境中提供对车辆的控制，只需要很少或没有驾驶员的输入或注意力。
自主车辆可以被配置为在车辆中存在驾驶员的情况下驾驶，或者自主车辆可以被配置为在没有驾驶员存在的情况下操作车辆。作为示例，自主车辆可包括带有相关控制设备(例如，方向盘、加速踏板和制动踏板)的驾驶员座椅，并且车辆可被配置为驾驶时无人坐在驾驶员座椅上或几乎没有或没有来自坐在驾驶员座椅上的人的输入。作为另一示例，自主车辆可以不包括任何驾驶员座椅或相关联的驾驶员控制设备，并且车辆可以在没有人工输入的情况下执行几乎所有的驾驶功能(例如，驾驶、转向、制动、停车和导航)。作为另一示例，自主车辆可以被配置为在没有驾驶员的情况下操作(例如，车辆可以被配置为在车辆中没有驾驶员的情况下运送人类乘客或货物)。作为另一示例，自主车辆可以被配置为在没有任何人类乘客的情况下操作(例如，车辆可以被配置为在没有任何人类乘客在车辆上的情况下运送货物)。
在一些实施方式中，激光雷达系统的光源远离激光雷达系统的其它一些部件(诸如扫描器和接收器)。此外，在车辆中实现的激光雷达系统可包括比扫描器和接收器更少的光源。
图6A和图6B示出示例自主车辆300，其中控制器304可以操作各种部件302以用于操纵和以其它方式控制车辆300的操作。为了清楚起见，这些部件在图6A中的放大视图中描绘。部件302可包括加速器310、制动器312、车辆发动机314、转向机构316、灯318(诸如刹车灯、头灯、倒车灯、紧急灯等)、挡位选择器320和/或实现和控制车辆300的运动的其它合适的部件。挡位选择器320可包括停车、倒车、中挡、驱动挡位等。部件302中的每个部件302都可包括接口，部件经由该接口接收来自车辆控制器304的命令，诸如“增加速度”、“降低速度”、“左转5度”、“激活左转信号”等，并且，在一些情况下，向车辆控制器304提供反馈。
自主车辆300可以配备激光雷达系统，包括经由传感器链路306耦合到控制器的多个传感器头308A-E。例如，传感器头308中的每一个可包括光源和接收器，并且传感器链路306中的每一个可包括一个或多个光学链路和/或一个或多个电气链路。图6A中的传感器头308被定位或定向，以提供大于30度的车辆周围环境的视图。更通常地，具有多个传感器头的激光雷达系统可在车辆周围提供大约30°、45°、60°、90°、120°、180°、270°或360°的水平能视域。传感器头308中的每一个可以附接到或结合到保险杠、挡泥板、烧烤架、侧面板、扰流板、屋顶、大灯组件、尾灯组件、后视镜组件、引擎盖、后备箱、窗户或车辆的任何其它合适的部分。
在图6A的示例中，将五个传感器头308定位在车辆上(例如，传感器头308中的每一个可以结合到灯组件、侧面板、保险杠或挡泥板中)为传感器头308提供不同能视域的位置处，并且激光器可以位于车辆300内(例如，在后备箱中或附近)。如图6B中所示，五个传感器头308可各自提供120°的水平能视域(FOR)，并且五个传感器头308可以被定向为使得它们一起在车辆周围提供完整的360度视图。作为另一个示例，激光雷达系统302可包括定位于车辆300上或周围的六个传感器头308，传感器头308中的每一个提供60°至90°的水平FOR。作为另一个示例，激光雷达系统可包括八个传感器头308，并且传感器头308中的每一个可以提供45°至60°的水平FOR。作为另一个示例，激光雷达系统可包括六个传感器头308，其中传感器头308中的每一个提供了70°的水平FOR，在相邻的传感器头308之间的重叠约为10°。作为另一个示例，激光雷达系统可包括两个传感器头308，它们一起提供了大于或等于30°的前向水平FOR。
在图6B中所示的实施例中，传感器头308各自具有120°的FOR，在传感器头308的FOR之间提供重叠。例如，由于传感器头308A和308B的位置和相对角构型，传感器头308A和308B具有大约60°的FOR重叠。类似地，传感器头308B和308C以及传感器头208A和308E的FOR的重叠具有大约60°的重叠。由于传感器头308的FOR的不均匀空间分布和布置，传感器头308C和308D以及传感器头308D和308E的FOR的重叠具有大约30°的较小重叠。在实施例中，传感器的FOR的重叠可被配置为取决于传感器头308的数量以及传感器头的空间和角度布置的任何所需重叠。
来自传感器头308中每一个传感器头的数据可以组合或拼接在一起，以生成覆盖车辆周围小于或等于360度的水平视图的点云。例如，激光雷达系统可包括控制器或处理器，该控制器或处理器(例如，经由相应的电气链路306)从传感器头308中的每一个接收数据，并处理接收到的数据以构造覆盖车辆周围360度水平视图的点云，或确定到一个或多个目标的距离。可以经由相应的电气、光学或无线电链路306将点云或来自点云的信息提供给车辆控制器304。车辆控制器304可包括一个或多个CPU、GPU、以及具有持久性部件(例如闪存、光盘)和/或非持久性部件(例如RAM)的非暂态存储器。
在一些实施方式中，点云是通过在激光雷达系统内包括的控制器处组合来自多个传感器头308中的每一个传感器头的数据来生成的，并提供给车辆控制器304。在其它实施方式中，传感器头308中的每一个包括控制器或处理器，该控制器或处理器构造了车辆周围360度水平视图的一部分的点云，并将相应的点云提供给车辆控制器304。车辆控制器304然后将来自相应传感器头308的点云组合或拼接在一起以构造覆盖360度水平视图的组合点云。此外，在一些实施方式中，车辆控制器304与远程服务器通信以处理点云数据。
在一些实施方式中，车辆控制器304经由链路306从传感器头308接收点云数据，并使用本文公开的汇总或单个SDCA的任何一个或多个分析接收到的点云数据，以感测或识别目标及其相应的位置、距离、速度、形状、大小、目标类型(例如，车辆、人类、树木、动物)等。车辆控制器304然后经由链路306向部件302提供控制信号，以基于分析的信息控制车辆的操作。
除了激光雷达系统外，车辆300还可以配备惯性测量单元(IMU)330和其它传感器332，诸如相机、热成像仪、传统雷达(没有示出以避免混乱)等。其它传感器332可各自具有相应的FOR，它们可能会拼接在一起以在车辆周围生成360度的水平视图。在实施例中，来自其它传感器332的数据可以与来自传感器头308的数据结合，以生成数据集以实现车辆300的自主操作。传感器330和332可以经由有线或无线通信链路向车辆控制器304提供附加数据。此外，示例实施方式中的车辆300包括作为被配置为确定声源的声源定位系统的一部分操作的麦克风阵列。
如图6A中所示，车辆控制器304可以包括感知模块352和运动计划器354，它们中的每一个都可以使用硬件、固件、软件或硬件、固件和软件的任何合适的组合来实现。在操作中，感知模块352可以从传感器330、332、308A-E等接收传感器数据，并将接收到的传感器数据应用于感知模型353以生成自主车辆300操作的环境的参数，诸如道路的弯曲率、障碍物的存在、障碍物的距离等。感知模块352然后可以向运动计划器354提供这些生成的参数，这进而生成用于控制自主车辆300的决策，并向加速器310、制动器312、车辆发动机314、转向机构316等提供相应的命令。
运动计划器354可以利用任何合适类型的规则、算法、启发式模型、机器学习模型或其它合适的技术来基于感知模块352的输出做出驾驶决策，该模型利用了如上所述的感知模型353。例如，在一些实施方式中，运动计划器354配置了相应的算法，以响应于特定信号或信号组合做出用于控制自主车辆300的特定决策。作为另一个示例，在一些实施例中，运动计划器354的机器学习模型可以使用感知模型353生成的类型的环境参数的描述来训练。在附加实施例中，虚拟数据训练运动计划器354的机器学习模型。例如，运动计划器354可以是“基于学习的”计划器(例如，使用监督学习或强化学习训练的计划器)、“基于搜索的”计划器(例如，连续A*计划器)、“基于采样的”计划器(例如，在表示一系列可能决策的空间中执行随机搜索的计划器)、“基于预测控制的”计划器(例如，模型预测控制(MPC)计划器)等等。在任何情况下，训练平台都可以单独并独立于感知模块352训练运动计划模型。
脉冲检测细节和电路
优化变换参数以组合来自多个激光雷达传感器的数据
图7示出图6A和图6B的传感器头308A和308B的重叠区域308A-B。传感器头308A和308B二者都检测传感器头308A和308B的相应FOR中的目标360。为了将来自传感器头308A和308B的FOR的数据拼接在一起，必须对来自传感器308A或308B的数据集的至少一个执行变换。另外，传感器头308A可以检测由于传感器头308A和308B的FOR的不同而不能被传感器头308B观察到的目标360的某些特征。例如，传感器头308A可以检测整个车辆并确定该车辆是半卡车，而传感器头308B可能仅检测车辆的后端并且没有足够的数据来确定该车辆是半卡车还是小得多的搬运车。因此，重要的是要正确对齐数据以及确定和执行数据变换，以提高车辆自主操作所需的检测能力、目标识别、目标位置确定和其它特征。
图8示出示例系统400，其中使用多传感器头激光雷达系统406来获得关于环境的信息。系统400可以在车辆中操作并且收集关于车辆前方区域的信息。另外或可替代地，系统400可以收集关于车辆后面、车辆右侧、车辆左侧等区域的信息。例如，激光雷达系统406可以类似于图1的激光雷达系统100，并且可以包含多个传感器头，诸如图6A、6B和7的传感器头308A和308B。如图7中所示，多个传感器头308A和308B具有重叠的FOR区域308A-B。在示例实施方式中，传感器头308A和308B相对于车辆保持相同的定向，使得例如传感器头308A和308B的能视域对应于图6A、6B和7中所示的120度水平能视域。
该示例中的系统400配备有具有持久性和非持久性部件的计算机可读存储器602，以及控制器404，该控制器404包括被配置为访问计算机可读存储器402的一个或多个处理单元(诸如CPU和/或GPU)。计算机可读存储器可以存储成像软件418，该成像软件418被配置为从一个或多个传感器(诸如激光雷达传感器头308A和308B)获得图像数据，并对图像数据执行图像处理技术。此外，计算机可读存储器402可以存储变换优化软件420，该变换优化软件420被配置为对从激光雷达系统406获得的数据集执行数据变换，并且具体地，确定用于组合、合并或配准来自激光雷达系统406的多个传感器头308A和308B的数据集的优化的变换参数。计算机可读存储器402还可以将原始和变换的激光雷达像素数据存储在数据存储装置422中。如本文所使用的，组合传感器数据可以称为合并或配准传感器数据。例如，第一组传感器数据和第二组传感器数据(从两个相应的传感器获得)可以通过使用一组变换参数将第二组传感器数据变换成第一组传感器数据的视角来组合。变换第二组数据可以称为相对于第一组数据配准第二组数据。
在操作中，例如根据与一个通道(参见图3)或若干通道(参见图4)相对应的扫描图案，激光雷达系统406可以使用上面讨论的技术获得像素。为清楚起见，由激光雷达系统406获得的像素在下文中可以称为“激光雷达像素”。一般而言，激光雷达系统406收集扫描帧的M个像素，即，当激光雷达系统406遍历整个扫描图案时。在示例实施方式中，对于传感器头308A和308B中的每一个，M为50000。在其它示例中，传感器头308A和308B可以具有不同的扫描图案分辨率，例如传感器头308A可以在单个扫描图案期间收集40000个像素，而传感器头308B可以在单个扫描图案期间收集60000个像素，这可取决于FOR的优先级和每个相应传感器头的FOR内潜在检测到的目标。
变换优化软件420或另一合适的软件、固件或硬件模块可以实现如图9中所示的方法500，以更准确地对齐来自传感器头之一(例如，传感器头308A)的激光雷达像素数据与来自具有不同FOR的不同传感器头(例如，传感器头308B)的激光雷达数据。为方便起见，下面参考图8的变换优化软件420和其它部件讨论方法500。另外，变换优化软件420可以确定优化的变换参数以用于调节或校准多传感器激光雷达系统406的传感器。
在框502处，图像处理软件418从环境的第一传感器获得与环境相对应的第一传感器数据。例如，图像处理软件418可以从激光雷达系统406的传感器头308A获得一组激光雷达像素。具体地，图像处理软件418可以在时间t11、t12、t13等获得激光雷达像素LP11，LP12，LP13，...。在另一实施方式中，图像处理软件418在时间t11、t12、t13等中的每一个时间从传感器头308A获得多个像素。
在框504处，图像处理软件418从环境的第二传感器获得与环境相对应的第二传感器数据。例如，图像处理软件418可以从激光雷达系统406的传感器头308B获得一组激光雷达像素。具体地，图像处理软件418可以在时间t21、t22、t23等获得激光雷达像素LP21，LP22，LP23，...。在另一实施方式中，图像处理软件418在时间t21、t22、t23等中的每一个时间从传感器头308B获得多个像素。
从传感器头308A和传感器头308B获得的数据集的激光雷达像素至少部分地具有能视域的重叠。框502和504可以单独或同时执行。例如，控制器404可以例如与特定交错并行地从激光雷达系统608的传感器头308A和第二传感器头308B接收数据。
在框506处，变换优化软件420确定变换参数，用于将来自第一传感器(例如，传感器头308A)的数据与来自第二传感器(例如，传感器头308B)的数据对齐。此外，变换优化软件420执行确定来自第一传感器的数据集与第二传感器的数据集的互信息的迭代技术，以识别用于组合来自第一传感器和第二传感器的数据的优化的变换参数。
在框508处，可以使用确定的优化的变换参数来校准传感器头308A或传感器头308B。例如，可以确定传感器头308A和/或传感器头308B的手动或自动重新对齐应该基于所确定的优化的变换参数或所确定的优化的变换参数从所需的或先前确定的一组优化的变换参数的变化来执行。此外，控制器404、图6A的车辆控制器304和图6A的各种部件302可以使用确定的一组优化的变换参数来进行车辆300的自主操作。
图10是根据本文描述的实施例的用于确定用于组合来自不同激光雷达传感器的数据的最优变换参数的方法600的流程图。图10的方法600更详细地描述了图9中所示的一些步骤，并且特别是用于优化变换参数的一些过程。在框602和604处，从相应的激光雷达系统或激光雷达传感器头获得第一激光雷达像素点云和第二激光雷达像素点云。由于相应激光雷达系统或激光雷达传感器头的能视域的重叠，第一和第二激光雷达像素点云具有一些空间数据重叠。在框606处，通过应用齐次变换矩阵对第一激光雷达像素点云进行均匀化，并且生成包含第一激光雷达像素点云中的每个像素的三维空间坐标和强度值的数据集。所产生的数据集是四维数据集，[X,Y,Z,I]，其中“X”、“Y”和“Z”是激光雷达像素的三维空间坐标，并且“I”是第一激光雷达系统的相应接收光强度值。在框608处，通过应用齐次变换矩阵对第二激光雷达像素数据进行均匀化，并且类似地，针对第二激光雷达像素点云生成四维数据集[X，Y，Z，I]，其中“X”、“Y”和“Z”是激光雷达像素的空间坐标，并且“I”是第二激光雷达系统对每个像素的相应接收强度值。
方法600进入优化循环630，该优化循环630使用候选变换参数对均匀化的第二激光雷达像素点云迭代地执行变换，以确定用于组合从第一和第二激光雷达传感器接收的数据以及用于校准激光雷达传感器的最优变换参数。在框610处，候选变换矩阵用于将第二均匀化像素数据集变换成变换点云。候选变换矩阵“T”可具有外部变换参数，诸如一组外部旋转参数“R”和一组外部平移参数“t”，使得T＝[R|t]。旋转参数“R”可以表达为欧拉角或四元数。例如，变换矩阵可以基于提供旋转变换的旋转四元数和/或提供平移的平移向量。使用四元数表达旋转参数可以减少由于万向节锁定和三维空间中的自由度损失而导致的复杂性。像素从均匀化的第二激光雷达像素点云到均匀化的第一激光雷达像素点云中的像素的映射变换可以通过以下执行
pi＝K[R|t]Pi
其中pi是均匀化的第一激光雷达像素点云中的第i个点，K是第一传感器投影矩阵，R是外部旋转参数，t是外部平移参数，Pi是均匀化的第二激光雷达像素点云中的第i个点。
在优化循环630的第一次迭代期间应用于像素数据集的初始变换参数可以由用户输入值、基于一组先前确定的优化的变换值来确定，或者可以由处理器或系统确定，该处理器或系统被配置为找到第一和第二像素点云集的近似能视域重叠。
在生成变换点云之后，在框612和614处，将投影掩模应用于均匀化的第一激光雷达像素点云和变换点云，以生成掩蔽的第一点云和掩蔽的变换点云。
在框616和618处，确定掩蔽的第一点云和掩蔽的变换点云的一维直方图。一维直方图可用于确定各种参数，诸如例如用于平滑直方图数据的平滑参数。
在框622处，生成联合直方图，并且在框623处，对由第一和第二数据集形成的联合直方图应用高斯模糊。在实施例中，可以将不同于高斯模糊的不同平滑滤波器应用于联合直方图以减少联合直方图中的潜在噪声以进行进一步处理。对于第一传感器的FOR和第二传感器的FOR之间的重叠区域，可以从第一和第二数据集确定联合直方图。联合直方图可以包括值的二维网格，其中网格的每个轴对应于来自传感器之一的强度或深度数据(例如，对于相机数据，轴可以对应于强度，而对于激光雷达数据，轴可以对应于强度和/或深度)。此外，网格的每个值表示来自两个传感器的相应样本数据对在重叠区域中出现或被观察到的概率(或次数)。例如，网格值可以包括特定样本数据对出现的次数的计数，并且通过将计数值除以网格中计数值的总数，可以将计数值转换为联合概率值(例如pxY(x，y))。在框624处，从联合直方图确定两个数据集的互信息。两个数据集的互信息是两个数据集共享多少数据的近似度量，并且因此，处理的第一和第二激光雷达像素点云集的联合直方图的互信息是一个度量，该度量可用于确定第一和第二激光雷达像素点云的空间重叠量。此外，互信息可用于确定用于如本文所述的点云变换的优化参数。例如，导致更高互信息值的变换指示第一激光雷达像素点云和变换的像素点云的更好的空间重叠，这是组合来自多个传感器的数据以实现自主车辆操作或校准传感器所必需的，如本文所述。
两个数据集的互信息可以通过独立确定两个数据集的熵来计算，
H(X)＝-∑x∈xpX log pX(x)
H(Y)＝-∑yeYpY log pY(y)
从联合直方图中确定两个数据集的联合熵，
H(X，Y)＝-∑x∈X∑y∈YpXPY log pXY(x，y)
并执行求和
MI(X，Y)＝H(X)+H(Y)-H(X，Y)
其中“X”是来自第一处理的激光雷达像素点云的直方图的数据，并且“Y”是来自第二激光雷达像素点云的处理的变换点云的直方图的数据，“H”是给定的数据集的熵，并且“MI”是互信息值。
用于确定互信息的该过程可称为将概率技术应用于联合直方图的值，并且概率技术可包括或可称为最大似然估计(MLE)。互信息值的范围可以从值0(其指示数据集“X”和“Y”是完全独立的数据集)到远大于1的值(随着值增加，其指示数据集共享更多信息(即第一点云和变换点云中的像素表示来自三维空间中相同点的信息))。在实施例中，互信息可以是标准化值以设定互信息的最大值。在一些实施例中，互信息值可以用应用于像素的一组空间坐标(即X、Y和Z)的第一权重和应用于像素强度值(即，值I)的第二权重来加权。例如，空间坐标和强度值可以被赋予相同的权重，使得两种类型的数据对变换参数具有相同的影响。作为另一个示例，强度值可以被赋予较低的权重(例如，空间坐标权重的一半)，使得强度值对变换参数具有较小影响。在异常情况下，例如，当一个传感器发生镜面反射但另一个传感器仅接收散射光(这可能针对同一对象产生不同的强度值)时，对强度值应用减小的权重可能会有所帮助。在任何实施例中，互信息的测量对于确定用于组合来自多个激光雷达传感器的点云数据以及用于校准多传感器系统中的传感器的优化的变换参数是有用的度量。
方法600可以进一步确定互信息成本。互信息成本是互信息值、加权互信息值或缩放互信息值的负值。此外，可以计算当前互信息值或成本与来自方法600的优化技术的先前迭代的互信息值或成本之间的差。对于第一次迭代，由于缺少用于计算互信息差的任何先前确定的互信息值，可能无法计算互信息差。可替代地，初始互信息差可以是预定义值，并且可以使用初始互信息值和由优化循环630的第一次迭代确定的当前互信息值来确定第一次迭代的互信息差。
在框626处，方法600确定是否已经满足一个或多个退出条件。如果已经满足一个或多个退出条件，则该方法结束并且优化的变换参数被存储在存储器中，传送到处理器或控制器，或经由无线通信、硬连线通信或其它网络或通信接口传送到外部设备或系统。如果在框626处确定一个或多个退出条件尚未满足，则在框628处更新候选外在变换参数(即，旋转和平移变换参数)，并且在框610处均匀化的第二激光雷达像素点云通过更新的候选变换参数变换。在框626处，该方法重复优化循环630，迭代地更新变换参数并确定互信息值，直到满足一个或多个退出条件。
在实施例中，一个或多个退出条件可以包括实现某个互信息值(例如，1、10、20、50、100等的互信息值)，实现最小互信息成本阈值(例如，小于1，小于-1，小于-10，小于-20等的成本阈值)，实现当前迭代的互信息值与先前迭代的互信息值之间的差(例如，小于5、小于1、小于0.5、小于0.1、小于0.05、小于0.01等的差阈值)，实现当前迭代的成本值与先前迭代的成本值之间的差(例如，小于5、小于1、小于0.5、小于0.1、小于0.05、小于0.01等的差阈值)，执行优化循环630的多次迭代(例如、10次迭代、100次迭代、1000次迭代等)或另一退出条件。另外，在实施例中，可以通过将当前迭代的外部变换参数扰动确定值来更新外部参数。例如，当前参数可以被移动或缩放(即，加上或乘以)从加权高斯分布、泊松分布、指数分布或由另一个概率分布或概率密度函数随机生成的值。在示例中，变换参数可以被扰动当前变换参数值的百分比，例如变换参数可以被扰动1％、5％、8％、10％或15％，或当前变换参数值。此外，更新的外部参数可以通过梯度下降算法(例如，Barzilai-Borwein方法)或无梯度方法(例如，Nedler-Mead优化)来确定。
在实施例中，扰动的类型和扰动的量或百分比可以由当前互信息值、互信息成本、当前迭代的成本值与先前迭代的成本值的差或当前迭代的互信息值与先前迭代的互信息值的差来确定。例如，当两次连续迭代之间的互信息值的差大于10时，可能需要将变换参数扰动15％。在随后的迭代中，由于优化过程的两次迭代之间的互信息值的差的减小，可以确定扰动应该减少到5％。在优化期间动态改变扰动可以减少优化时间，实现确定的优化的变换参数的更大的互信息值，并允许在优化期间迭代之间的互信息值的更小的差。
图11A和11B是代表从两个独立的激光雷达传感器接收到的两个激光雷达点云的图像，该两个激光雷达传感器具有两个激光雷达传感器的能视域的空间偏移。图11A将第一传感器的激光雷达点云呈现为虚线，并且将第二传感器的激光雷达点云呈现为虚线。虽然由点划线示出，但图11A的两个激光雷达点云应理解为指示来自激光雷达点云的一组像素，而不是图11A中所示的呈现的点划线。图11A示出两个传感器检测到三维空间的相似区域。具体地，与第一激光雷达传感器对特征702a和704b的检测相比，相应特征702a和702b以及704a和704b示出第二激光雷达传感器具有检测到特征702b和704b略微向右并且略微顺时针倾斜的能视域。
图11B示出在已经对两个激光雷达点云执行诸如图9的方法500或图10的方法600的变换优化过程之后图11A中呈现的两个激光雷达点云。比较图11A和11B的点云以及特征702a、702b、704a和704b，显而易见的是，在已经执行了变换优化之后，第一激光雷达点云(虚线)和第二激光雷达点云(虚线)存在更多的重叠(即，点云之间更大的互信息)。然后可以组合图11B中所示的两个点云，以用于自主驾驶应用或需要对三维空间中的特征和目标进行空间检测的任何应用。此外，通过随时间推移跟踪与随后点云相关联的健康分数，可以确定第一或第二传感器中的一个传感器需要重新对齐或物理调节。例如，具有分别设置在左前大灯和右前大灯上的第一和第二激光雷达传感器的汽车可能会撞到另一辆汽车的保险杠。取决于碰撞的力和位置，碰撞可能导致第二传感器物理移动，从而成角度地和/或平移地改变其能视域。然后可以执行变换优化，并且可以确定第二传感器已经移出可接受的能视域并且需要手动(例如，由机械师、技术人员、车主或其他代理)或自动(例如，由控制器控制的致动器和电机)对第二传感器进行物理调节。
优化变换参数以组合激光雷达和相机数据
图12示出示例系统800，其中相机806与激光雷达系统808协作以获得关于环境的信息。系统800可以在车辆中操作并且收集关于车辆前方区域的信息。另外或可替代地，系统800可以收集关于车辆后面、车辆右侧、车辆左侧等区域的信息。例如，激光雷达系统808可以类似于图1的激光雷达系统100。相机806可以是在视野内捕获被动光信号的任何合适的相机。例如，相机806可以通过检测由视野内的各种目标反射的环境光来一次捕获768×1024的像素阵列。与通过发射光脉冲并检测这些发射光脉冲的反射而在任何时候仅获得相对较小的一组像素的激光雷达系统不同，相机806可以同时捕获大量像素。在示例实施方式中，相机806相对于车辆保持相同的定向，使得例如相机806的视野对应于车辆前方的120度乘60度的视野。
本示例中的系统800配备有计算机可读存储器802，具有持久性和非持久性部件，以及控制器802，该控制器802包括一个或多个处理单元(例如CPU和/或GPU)，该处理单元被配置为访问计算机可读存储器802。计算机可读存储器802可以存储图像处理软件818，该图像处理软件818被配置为使用合适的图像处理技术来检测和识别各种类型的对象。图像处理软件818可以包括一种或几种编程语言的指令，但是通常，图像处理软件818的功能可以使用软件、固件、硬件或其任何合适的组合来实现。计算机可读存储器802可以存储变换优化软件820，该变换优化软件820被配置为对从激光雷达系统808和相机806获得的数据集执行数据变换。变换优化软件820可以是与图8的软件420相同或相似的软件，用于组合来自多个激光雷达传感器头的数据集。计算机可读存储器802还可以存储图像数据822，该图像数据822可以包括一系列照片以及激光雷达点云像素数据。
图13是用于优化用于组合激光雷达和相机数据的变换参数的方法850的流程图。现在同时参考图12和13，在框852处，激光雷达系统808可以获得指示激光雷达系统808的能视域的像素数据。在操作中，例如，根据与一个通道(见图3)或若干通道(见图4)相对应的扫描图案，激光雷达系统808可以使用上面讨论的技术获得像素。为清楚起见，由激光雷达系统808获得的像素在下文中可以称为“激光雷达像素”。在实施例中，可以以与由激光雷达模块808实现的扫描图案相对应的序列来获得激光雷达像素。例如，激光雷达系统可以在时间t1、t2、t3等获得激光雷达像素LP1，LP2，LP3，……。在另一种实施方式中，激光雷达系统可以在时间t1、t2、t3等中的每一个时间获得多个像素。
在框854处，相机806可以在激光雷达系统808获得激光雷达像素的同时以特定速率获得摄影图像。一般而言，相机806可以收集N个图像，而激光雷达系统808收集扫描帧的所有M个像素，即，遍历整个扫描图案。在示例实施方式中，M是50000并且N大约是100。因此，在激光雷达系统808收集50000个激光雷达像素的时间间隔期间，相机806收集100个摄影图像。摄影图像至少部分地与激光雷达系统808的能视域重叠。框852和854可以单独或同时执行。例如，控制器804可以例如与某个交错并行地从相机806和激光雷达系统808接收数据。
在示例中，由于获得激光雷达数据和图像数据的差，图像处理软件818鉴于扫描的定时将激光雷达像素与照片的像素对齐。当然，相机806的分辨率不需要与激光雷达系统808的分辨率匹配。因此，摄影图像通常可以包括比激光雷达点云更少、相同数量或更多的像素。因此，一个激光雷达像素可以与摄影图像的像素簇(例如，三乘三)对齐，或者相反，激光雷达像素簇可以与一个摄影图像或多个摄影图像的单个像素对齐。
作为一个示例，图像处理软件818可以将激光雷达像素与摄影图像的一个或多个像素对齐，和/或将像素与摄影图像的一个或多个像素对齐。在示例实施方式中，对于某个激光雷达像素，图像处理软件818可以识别在时间上最接近激光雷达像素的N个图像序列中的摄影图像。因此，例如，图像处理软件818可以将在扫描图案的中间附近获得的激光雷达像素与大约在N个图像序列的中间捕获的摄影图像对齐。因此，图像处理软件818可以生成组合的、时间对齐的数据集。例如，图像处理软件818可以生成并在存储器602中存储与(相机806和激光雷达系统808的)两种分辨率中的较高者相对应的阵列，其中每个元素都存储激光雷达像素和相机像素二者。
在示例场景中，图像处理软件818以一定程度的确定性确定在摄影图像中捕获的对象是动物，并进一步指示激光雷达系统808将扫描临时聚焦在该感兴趣区域中，以便例如提高关于识别的确定性水平或测量到动物的距离。更一般地，图像处理软件818可以根据所识别的对象来修改扫描图案、脉冲速率、发射脉冲的功率、接收器处的增益等中的一项或多项。在另一个示例场景中，图像处理软件818确定对象可能是人并且为了安全而使激光雷达系统808降低发射脉冲的功率。此外，在一些情况下，图像处理软件818可能无法识别对象，但仍确定对象在激光雷达系统808的能视域内，并基于检测到未知类型的对象来调节扫描图案。
在框856处，图像处理软件818从摄影图像生成灰度图像。在实施例中，灰度图像处理可以由摄影相机或传感器执行，摄影相机或传感器可以将图像捕获为灰度图像，或者灰度图像处理可以由执行图像处理软件818的处理器执行。
在框858处，图像处理软件818将激光雷达像素点云均匀化为包含激光雷达像素点云中的像素中的每个像素的三维空间坐标和强度值的数据集。所产生的数据集是四维数据集，[X,Y,Z,I]，其中“X”、“Y”和“Z”是激光雷达像素的三维空间坐标，并且“I”是激光雷达系统的相应接收光强度值。
方法800进入优化循环860，该优化循环860使用候选变换参数迭代地执行变换，以确定用于组合来自激光雷达和摄影相机的数据以及用于校准激光雷达和摄影图像传感器的最优变换参数。在框862处，如上面参考图10所述，根据候选变换矩阵T＝[R|t]对激光雷达数据进行变换。在框864处，将投影掩模应用于变换的点云。
在框866和868处，分别针对灰度图像数据和掩蔽的激光雷达数据确定一维和二维直方图。在框872处，生成联合直方图，并且在框873处，对由第一数据和第二数据集形成的联合直方图应用高斯模糊，以减少直方图数据的噪声和高频内容。在实施例中，可以将不同于高斯模糊的不同平滑滤波器应用于联合直方图以减少联合直方图中的潜在噪声以进行进一步处理。在框874处，如参考图10所讨论的，从联合直方图确定两个数据集的互信息。方法800可以进一步确定互信息成本。互信息成本是互信息值、加权互信息值或缩放互信息值的负值。另外，可以计算当前互信息值或成本与来自方法800的优化技术的先前迭代的互信息值或成本之间的差。对于第一次迭代，由于缺少用于计算互信息差的任何先前确定的互信息值，可能无法计算互信息差。可替代地，初始互信息差可以是预定义值，并且可以使用初始互信息值和由优化循环6860的第一次迭代确定的当前互信息值来确定第一次迭代的互信息差。
在框876处，方法800确定是否已经满足一个或多个退出条件。如果已经满足一个或多个退出条件，则方法800退出优化循环860，方法800结束，并且优化的变换参数存储在存储器中，传送至处理器或控制器，或经由无线通信、蓝牙通信、硬线通信或其它网络或通信接口传送至外部设备或系统。如果在框876处，确定一个或多个退出条件尚未满足，则在框878处更新外部变换参数(即，旋转和平移变换参数)，并且均匀化的激光雷达像素点云在框862处由更新的候选变换参数变换，并且执行优化循环860的另一次迭代。优化循环860迭代地重复更新候选变换参数并确定互信息值，直到在框876处满足一个或多个退出条件。
在实施例中，一个或多个退出条件可以包括实现某个互信息值(例如，1、10、20、50、100等的互信息值)，实现最小互信息成本阈值(例如，小于1、小于-1、小于-10、小于-20等的成本阈值)，实现当前迭代的互信息值与先前迭代的互信息值之间的差(例如，小于5、小于1、小于0.5、小于0.1、小于0.05、小于0.01等的差阈值)，实现当前迭代的成本值与先前迭代的成本值之间的差(例如，小于5、小于1、小于0.5、小于0.1、小于0.05、小于0.01等的差阈值)，执行优化循环630的多次迭代(例如、10次迭代、100次迭代、1000次迭代等)或另一退出条件。
在实施例中，可以通过将当前迭代的外部变换参数扰动确定值来更新外部参数。例如，当前参数可以乘以从加权高斯分布、泊松分布、指数分布或由另一个概率分布或概率密度函数随机生成的值。在示例中，变换参数可以被扰动当前变换参数值的百分比，例如变换参数可以被扰动1％、5％、8％、10％或15％，或当前变换参数值。
在实施例中，扰动的类型和扰动的量或百分比可以由当前互信息值、互信息成本、当前迭代的成本值与先前迭代的成本值的差或当前迭代的互信息值与先前迭代的互信息值的差来确定。例如，当两次连续迭代之间的互信息值的差大于10时，可能需要将变换参数扰动15％。在随后的迭代中，由于优化过程的两次迭代之间的互信息值的差的减小，可以确定扰动应该减少到5％。在优化期间动态改变扰动可以减少优化时间，实现确定的优化的变换参数的更大的互信息值，并允许在优化期间迭代之间的互信息值的更小的差。
图14A、14B和14C是摄影图像、激光雷达点云以及在激光雷达点云变换的优化之后的组合摄影图像和变换的激光雷达点云的合成图像的图示。通过图14A中的特征902a和图14B中的相同特征902a的位置的不同，可以明显看出摄影相机和激光雷达系统具有不同的能视域。另外，图14A中的特征大小不同于图14B中的特征大小。图14C示出在已经执行了变换参数的优化(例如，通过参考图13描述的优化方法)之后激光雷达数据和摄影数据的组合。激光雷达数据(虚线)已被变换以匹配图像数据的特征。
激光雷达和相机数据的准确映射和组合允许使用相机数据来识别目标，以及使用激光雷达数据来识别距离信息，以用于向汽车提供反馈，并且更具体地，用于实现车辆的自主操作。类似地，可以将组合数据提供给车辆的用户以更好地辅助车辆的手动驾驶。此外，图13的方法800可以辅助校准与车辆相关联的一个或多个传感器。如参考图11A和11B所描述的，与车辆相关联的传感器可能由于诸如车辆或传感器碰撞、由于与驾驶相关联的振动和力导致的移位或许多其它原因的许多因素而随时间推移物理地移位。因此，优化的变换参数也可能由于传感器视野的变化而随时间推移变化。可以确定优化的变换参数已经达到阈值并且需要对传感器进行物理校准。然后可以确定来自传感器的数据对于用于向车辆的用户提供信息或用于实现车辆的自主操作是无效的。此外，传感器的物理校准可以手动(例如，由机械师、技术人员、车辆用户或其它代理)或自动(例如，由控制器和致动器、电机或其它物理调节器)执行。
附加选项和实施例
虽然在本文中已参考组合来自多个激光雷达传感器的激光雷达数据或激光雷达数据与摄影相机数据描述了变换参数和优化方法，但本文描述的方法和系统可用于组合来自具有重叠能视域的任何两个传感器的数据集。例如，数据的其它组合可以包括将激光雷达数据与红外数据、摄影图像数据与雷达数据或指示感兴趣区域的空间视野的其它类型的数据组合。此外，本文公开的优化技术可用于组合两个或更多个数据集，包括从具有重叠能视域的传感器获得的激光雷达数据、摄影图像数据、雷达数据、红外数据、GPS数据、近红外数据和/或超声波数据的任何组合。
本文所述的方法和系统还可用于校准传感器系统的多于两个的传感器。在此类实施例中，来自多个传感器的数据或数据子集(例如，仅包括在传感器的重叠区域中的数据)可以被投影到多个投影平面上以用于传感器的校准。例如，车辆可以具有五个传感器(例如，图6A和6B中所示的汽车)，每个传感器具有与传感器系统的至少一个其它传感器重叠的能视域。如本文所述，变换优化和校准可以针对具有能视域重叠区域的每对相邻传感器执行。此外，来自所有五个传感器的变换数据集的组合可以允许传感器系统的360度能视域。在采用多于两个的传感器的实施例中，传感器之一可以被指定为主传感器，并且来自其它传感器的数据集都可以被变换成主传感器的参考系。例如，传感器308A可以被指定为主传感器，并且可以执行本文描述的优化和校准技术以确定优化的变换参数
Figure BDA0003826387150000421
用于将数据或数据子集从传感器308B变换到传感器308A的参考系。也就是说，
Figure BDA0003826387150000422
其中PB是来自传感器308B的原始数据，
Figure BDA0003826387150000423
是从传感器308B的参考系到传感器308A的参考系的最优变换，而P′B是变换的数据。
然后可以通过首先将来自传感器308C的数据变换到传感器308B的参考系，并且然后执行从308B的参考系到传感器308A的参考系的变换来确定传感器308C的最优变换参数。也就是说，
Figure BDA0003826387150000431
其中PC是来自传感器308C的原始数据或数据子集，
Figure BDA0003826387150000432
是从传感器308C的参考系到传感器308B的参考系的最优变换，并且P′C是变换的数据。此外，能视域的多个重叠区域可用于检查五个传感器308A-E的校准。例如，经由通过传感器308C的参考系和308B的参考系的变换，将来自传感器308D的数据或数据子集变换到传感器308A的参考系，应该产生与通过传感器308E的参考系将来自传感器308B的数据变换到传感器308A的参考系相同的变换数据。也就是说，变换
Figure BDA0003826387150000433
应该大约等于
Figure BDA0003826387150000434
通过多次变换执行多次校准的能力允许对多传感器系统中的传感器进行更稳健的校准、更精确的校准，并提供用于捕获多传感器系统中的传感器故障的多种方法。
在实施例中，可以通过图像处理、通过预定义的方式、通过用户输入或通过另一个系统来确定重叠区域。然后可以仅对来自表示重叠区域中的像素的传感器中的每个传感器的数据执行本文描述的变换优化方法。此类实施例可以减少用于执行优化的处理时间，减少专用于优化的计算资源，和/或减少用于执行优化的系统的存储器需求。
在实施例中，由传感器获得的数据可以包括静态数据或在没有任何东西移动的静态环境中捕获的“快照”。在其它实施例中，动态数据可以在车辆移动，或者传感器能视域或观察环境中的对象正在移动时由传感器捕获。在具有移动对象的实施例中，移动对象可以在本文描述的变换优化技术被执行之前从图像数据(例如，摄影图像数据、激光雷达像素数据等)中被识别并移除。为了识别移动对象，可以考虑激光雷达传感器或相机的速率或速度以确定哪些识别的对象实际上是静止的(例如，停放的汽车、标志、道路、障碍物、树等)和哪些对象正在移动(例如，交通、动物等)。
在动态环境中或从移动的车辆中捕获数据可以称为“智能场景选择”，其可以包括捕获图像并选择图像或场景的一部分，该图像或场景的部分用于本文描述的传感器校准和优化方法。仅当具有多个传感器的车辆停止时(例如，停放、在停车灯处、在停车标志处等)，才可以执行智能场景选择。此外，当场景中的大多数对象是静态的，诸如在荒凉的道路上穿过森林，或者在夜间交通或行人移动很少的道路上行驶时，可以执行智能场景选择。
对于激光雷达到相机的校准，或涉及摄影图像数据的任何变换优化，智能场景选择可以包括在图像中几乎没有或没有阴影时捕获数据，因为阴影可能导致识别和映射像素的复杂性，如本文所述。智能场景选择可以通过确定捕获数据的成本值来实现。例如，可以通过对一个或多个因素进行加权来确定成本值，该因素包括识别场景中的多个移动对象、识别场景中的多个静态对象、确定场景中的镜面反射量等。执行动态数据捕获和智能场景选择可以允许随时执行传感器系统中的传感器的校准，并允许从可能包括静态和移动对象二者的更广泛的场景中捕获数据。
在一些实施例中，智能场景选择可以基于从第一和第二传感器接收的传感器数据之间的相关量来实现。如果传感器数据之间的相关性很高，指示来自两个传感器的数据具有大量的信息重叠(例如，两个数据集都包括相似的特征或对象)，则传感器数据可以用于校准过程。否则，如果来自两个传感器的数据没有很好地相关，则数据可能会被拒绝并且不会用于校准过程。从两个传感器接收的传感器数据之间的相关性可以基于量化两个传感器数据集之间的相关性或信息重叠量的相关性分数。可以使用任何合适的技术来确定相关性分数。例如，相关性分数可以基于归一化信息距离(NID)，其可以具有从0到1的值。两个传感器数据集之间的相关性分数可以表示两个数据集之间的相似性度量。例如，如果每个数据集包括一个或多个相同对象，则两个数据集可具有相对较高的相关性分数(例如，高于0.7的分数)。两个传感器数据集可包括从不同视角观察到的同一对象，使得校准误差很明显，并且两个数据集可具有相对较高的相关性分数。相关性分数可以小于1，因为每个数据集的不同视角可能会导致两个数据集中包含的信息之间存在一些差异。如果两个传感器数据集之间的相关性分数大于特定阈值(例如，0.7)，则传感器数据可用于校准过程。
可以使用单帧数据或多帧数据来应用本文所述的校准过程。例如，图10中所示的激光雷达-激光雷达校准过程可以使用从两个传感器中的每一个传感器接收到的激光雷达数据的单个点云来执行校准。可替代地，来自两个传感器中的每一个传感器的激光雷达数据的多个点云可用于执行校准。多个点云可以包括在激光雷达传感器工作时在不同时间获得的点云。另外或可替代地，多个点云可以包括点云数据的多个投影(例如，来自被投影到两个或更多个投影平面上的单个点云的数据)。对于使用多帧数据的校准过程，可以单独分析数据帧(例如，可以针对来自相应两个传感器的每对数据帧确定联合直方图和互信息的对应值)，或者数据帧可以被组合并一起分析(例如，可以生成与所有数据帧相对应的单个联合直方图，并且可以从单个联合直方图确定互信息的一个对应值)。
一旦确定了一组变换参数，从两个或更多个传感器接收的随后传感器数据可以使用变换参数重叠或组合在一起。在一些实施例中，变换的传感器数据的健康分数可用于测量或监视传感器的健康或性能。随着时间推移或环境温度的变化，传感器的校准可劣化(例如，由于传感器内的光学部件的轻微移动或未对齐)，或者变换参数可能不再成功地与数据重叠(例如，由于传感器内的部件的粗动、故障或破损)。通过确定与从两个或更多个传感器接收的数据重叠程度相对应的健康分数，可以监视传感器的健康或性能。健康分数可以基于互信息度量、成本值或NID值中的一个或多个，并且健康分数可以从第一数据集和变换的第二数据集来确定。在使用一组变换参数执行变换之后，可以确定健康分数(例如，互信息度量)，并且如果健康分数大于或小于特定阈值，则传感器可能需要重新校准、检修或修理。例如，如果第一数据集和变换的第二数据集之间的互信息度量小于重新校准阈值，则这可指示传感器需要重新校准。可以发送通知，指示需要确定一组新的变换参数。作为另一个示例，如果互信息度量小于临界阈值(例如，临界阈值小于重新校准阈值)，则这可指示传感器系统存在问题(例如，零件损坏或移动)。在该情况下，可以发送通知，指示传感器需要检修或修理。此外，传感器系统可以关闭或停止检修，直到执行检修或修理。
在实施例中，可以使用来自具有不同投影平面的多个激光雷达传感器的传感器数据来执行校准，在本公开中称为多视图投影。多视图投影可以包括具有自顶向下投影、前投影和/或侧投影的激光雷达数据集。来自两个或更多个不同投影平面的激光雷达数据可以允许更好地检测传感器对齐/未对齐并确定是否应该重新校准传感器。取决于能视域中对象的某些维度，单视图投影校准可以最小化或弱化空间数据的某些细节。例如，从正面投影中观察到的对象的小幅横向偏移可能不像自顶向下或侧投影中看到的相同偏移那样明显。通过执行多个投影，可以从多个视点查看对象，这提供了可能需要收集和分析以进行校准的不同信息。实现多视图投影允许数据偏移，否则可能会被单个视图遗漏或弱化。多视图投影校准可能对3-D数据集(x,y,z)可用的激光雷达到激光雷达传感器有用。
一般考虑
在一些情况下，计算设备可用于实现本文公开的各种模块、电路、系统、方法或算法步骤。作为示例，本文公开的模块、电路、系统、方法或算法的全部或部分可以由通用单芯片或多芯片处理器、数字信号处理器(DSP)、ASIC、FPGA、任何其它合适的可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何合适的组合实现或执行。通用处理器可以是微处理器，或者任何传统的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合(例如DSP和微处理器的组合)、多个微处理器、与DSP核结合的一个或多个微处理器、或者任何其它此类配置。
在特定实施例中，本文描述的主题的一个或多个实施方式可以被实现为一个或多个计算机程序(例如，编码或存储在计算机可读非暂态存储介质上的计算机程序指令的一个或多个模块)。作为示例，本文公开的方法或算法的步骤可以在可以驻留在计算机可读非暂态存储介质上的处理器可执行软件模块中实现。在特定实施例中，计算机可读非暂态存储介质可包括可用于存储或传输计算机软件并且可由计算机系统访问的任何合适的存储介质。在此，计算机可读非暂态存储介质或媒介可以包括一个或多个基于半导体的或其它集成电路(IC)(诸如例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘(例如，压缩光盘(CD)、CD-ROM、数字多功能光盘(DVD)、蓝光光盘或激光光盘)、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、闪存、固态驱动器(SSD)、RAM、RAM驱动器、ROM、安全数字卡或驱动器、任何其它合适的计算机可读非暂态存储介质、或这些中的两个或更多个的任何合适组合(在适当情况下)。在适当的情况下，计算机可读非暂态存储介质可以是易失性、非易失性或易失性和非易失性的组合。
在一些情况下，本文在单独实施方式的上下文中描述的某些特征也可以组合并在单个实施方式中实现。相反，在单个实施方式的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施方式中实现。此外，虽然特征可以在上面描述为以某些组合起作用并且本身甚至最初要求保护，但在一些情况下，要求保护的组合中的一个或多个特征可以从组合中删除，并且要求保护的组合可以针对子组合或子组合的变体。
虽然在附图中可以将操作描绘为以特定顺序发生，但这不应被理解为要求以所示的特定次序或顺序执行此类操作，或者要求执行所有操作。此外，附图可以以流程图或序列图的形式示意性地描绘一个或多个示例过程或方法。然而，未描绘的其它操作可并入示意性示出的示例过程或方法中。例如，一个或多个附加操作可以在任何所示操作之前、之后、同时或之间执行。此外，在适当的情况下，可以重复图中描绘的一个或多个操作。此外，图中描绘的操作可以以任何合适的顺序执行。此外，虽然特定组件、设备或系统在本文中被描述为执行特定操作，但是任何合适的组件、设备或系统的任何合适的组合可用于执行任何合适的操作或操作的组合。在某些情况下，可以执行多任务或并行处理操作。此外，本文描述的实施方式中各个系统部件的分离不应理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序部件和系统可以一起集成在单个软件产品中或打包成多个软件产品。
已经结合附图描述了各种实施方式。然而，应当理解，这些图不一定按比例绘制。作为示例，图中描绘的距离或角度是说明性的并且可能不一定与所示设备的实际尺寸或布局具有精确关系。
本公开的范围包括本领域普通技术人员将理解的对在此描述或示出的示例实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于本文描述或示出的示例实施例。此外，尽管本公开将本文中的各个实施例描述或示出为包括特定组件、元件、功能、操作或步骤，但是这些实施例中的任何一个实施例可包括本领域普通技术人员将理解的本文任何地方描述或示出的任何组件、元件、功能、操作或步骤的任何组合或排列。
如本文所使用的，术语“或”应被解释为包括或意指任何一个或任何组合，除非另有明确说明或上下文另有说明。因此，在本文中，表述“A或B”是指“A、B或A和B二者”。作为另一示例，在本文中，“A、B或C”是指以下中的至少一个：A；B；C；A和B；A和C；B和C；A、B和C。如果元素、设备、步骤或操作的组合在某些方面本质上是相互排斥的，则会出现此定义的例外。
如本文所使用的，诸如但不限于“约”、“基本上”或“大约”的近似词是指这样一种条件，当如此修改时被理解为不一定是绝对的或完美的，但将被认为对本领域普通技术人员而言足够接近，以保证将所述条件指定为存在。描述可以变化的程度将取决于可以进行多大的改变，并且本领域的普通技术人员仍然认识到修改的特征具有未修改的特征所需的特性或能力。一般而言，但以前述讨论为前提，本文中通过诸如“约”的近似词修饰的数值可能与所述值相差±0.5％、±1％、±2％、±3％、±4％、±5％、±10％、±12％或±15％。
如本文所使用的，术语“第一”、“第二”、“第三”等可用作它们前面的名词的标签，并且这些术语可能不一定暗示特定排序(例如，特定空间、时间或逻辑顺序)。作为示例，系统可以被描述为确定“第一结果”和“第二结果”，并且术语“第一”和“第二”可能不一定暗示在第二结果之前确定第一结果。
如本文所使用的，术语“基于”和“至少部分地基于”可用于描述或呈现影响确定的一个或多个因素，并且这些术语可能不排除可能影响确定的附加因素。确定可以仅基于所呈现的那些因素或者可以至少部分地基于那些因素。短语“基于B确定A”表示B是影响A的确定的因素。在一些情况下，其它因素也可能有助于确定A。在其它情况下，A可能仅基于B确定。

Claims (30)

1.一种用于处理从传感器接收的数据的方法，所述方法包括：
由处理硬件从第一传感器接收与在所述第一传感器的能视域(FOR)中检测到的环境相对应的第一传感器数据；
由所述处理硬件从在位置和/或定向上与所述第一传感器具有物理偏移的第二传感器接收与在所述第二传感器的FOR中检测到的所述环境相对应的第二传感器数据，所述第二传感器的FOR至少部分地与所述第一传感器的FOR重叠；以及
由所述处理硬件确定用于所述第一传感器数据和所述第二传感器数据的对齐的一组变换参数，包括考虑到所述第一传感器数据和所述第二传感器数据之间的互信息度量来迭代地修改候选变换参数。
2.根据权利要求1所述的方法，其中：
接收所述第一传感器数据包括接收由各自包括相应的强度值的像素组成的二维图像；以及
接收所述第二传感器数据包括接收由各自包括一组空间坐标和相应的强度值的点组成的三维点云。
3.根据权利要求2所述的方法，其中，所述互信息度量指示所述第一传感器数据中的所述强度值与所述第二传感器数据中的所述强度值之间的相关性。
4.根据权利要求1所述的方法，其中：
接收所述第一传感器数据包括接收由各自包括一组空间坐标的点组成的第一三维(3D)点云；以及
接收所述第二传感器数据包括接收由各自包括一组空间坐标的点组成的第二3D点云；以及
其中，所述互信息度量指示所述第一传感器数据中的所述一组空间坐标和所述第二传感器数据中的所述一组空间坐标之间的相关性。
5.根据权利要求4所述的方法，其中：
所述第一3D点云和所述第二3D点云中的所述点中的每个点进一步包括相应的强度或反射率值；以及
所述互信息度量进一步指示所述第一传感器数据中的所述强度值和所述第二传感器数据中的所述强度值之间的相关性。
6.根据权利要求5所述的方法，进一步包括在生成所述互信息度量时将第一权重应用于所述一组空间坐标并且将第二权重应用于所述强度值。
7.根据权利要求1所述的方法，其中，所述一组变换参数包括旋转或平移偏移中的至少一个。
8.根据权利要求1所述的方法，其中，迭代地修改所述候选变换参数包括：
由所述处理硬件将一组候选变换参数设定为一组初始变换参数；
由所述处理硬件根据所述一组候选变换参数，将所述第二传感器数据变换到所述第一传感器数据的参考系；
由所述处理硬件计算所述第一传感器数据和变换的第二传感器数据的互信息度量；以及
针对不同的相应组的候选变换参数重复所述变换和所述计算，直到满足退出条件。
9.根据权利要求8所述的方法，进一步包括：
经由用户界面从操作员接收所述一组初始变换参数。
10.根据权利要求8所述的方法，进一步包括：
选择先前校准过程的结果作为所述一组初始变换参数。
11.根据权利要求8所述的方法，进一步包括：
使用网格搜索选择所述一组初始变换参数，所述网格搜索在所述第一传感器的FOR和所述第二传感器的FOR之间产生高于某个阈值的重叠。
12.根据权利要求8所述的方法，其中，变换所述第二传感器数据包括应用齐次变换矩阵，其中所述齐次变换矩阵基于旋转四元数和/或平移向量。
13.根据权利要求8所述的方法，其中，计算所述互信息度量包括：
确定所述第一传感器的FOR和所述第二传感器的FOR之间的重叠区域，以及
仅确定所述重叠区域的互信息度量。
14.根据权利要求8所述的方法，其中：
确定所述互信息度量包括针对所述第一传感器的FOR和所述第二传感器的FOR之间的重叠区域生成所述第一传感器数据和所述第二传感器数据之间的联合直方图，以及
重复所述变换和所述计算包括基于所述联合直方图最大化所述互信息度量。
15.根据权利要求14所述的方法，其中，所述联合直方图包括值的二维网格，其中所述网格的每个轴表示来自所述传感器之一的强度或深度数据，并且所述网格的每个值对应于在所述重叠区域中观察到来自所述两个传感器的相应样本数据对的概率或次数。
16.根据权利要求14所述的方法，其中，确定所述互信息度量进一步包括：
将平滑滤波器应用于所述联合直方图；以及
通过将概率技术应用于所述联合直方图的值来计算所述互信息度量。
17.根据权利要求8所述的方法，其中，重复所述变换和所述计算包括：
由所述处理硬件将梯度下降算法应用于所述一组候选变换参数以生成一组更新的候选变换参数。
18.根据权利要求17所述的方法，其中，所述梯度下降算法符合Barzilai-Borwein方法。
19.根据权利要求8所述的方法，其中，重复所述变换和所述计算包括：
由所述处理硬件将无梯度算法应用于所述一组候选变换参数以生成一组更新的候选变换参数。
20.根据权利要求19所述的方法，其中，无梯度函数符合Nelder-Mead优化方法。
21.根据权利要求8所述的方法，其中，所述退出条件对应于以下至少一项：
(i)所述互信息度量超过第一预定义阈值，
(ii)基于所述互信息度量的成本值低于第二预定义阈值，
(iii)所述变换和所述计算的迭代次数超过第三预定义阈值，
(iv)当前迭代的成本与先前迭代的成本之间的差低于第四预定义阈值。
22.根据权利要求1所述的方法，其中，所述第一传感器数据和所述第二传感器数据中的每一个传感器数据包括由相应的传感器捕获的多个帧。
23.根据权利要求1所述的方法，其中：
接收所述第一传感器数据包括接收第一3D点云；以及
接收所述第二传感器数据包括接收第二3D点云；
所述方法进一步包括：
生成所述第一3D点云和所述第二3D点云在相应投影平面上的多个投影；
针对所述投影平面中的每一个投影平面生成相应的互信息度量，其中投影平面的所述互信息度量指示(i)与所述第一传感器数据中的所述投影平面相关的空间坐标的子集和(ii)与所述第二传感器数据中的所述投影平面相关的空间坐标的子集之间的相关性。
24.根据权利要求1所述的方法，进一步包括：
由所述处理硬件识别由所述第一传感器数据和所述第二传感器数据捕获的动态对象；以及
由所述处理硬件从所述第一传感器数据和所述第二传感器数据中移除动态对象，以便将所述一组变换参数的所述确定仅限于静态对象。
25.根据权利要求1所述的方法，其中：
所述第一传感器和所述第二传感器在车辆中操作；以及
在所述车辆停止时捕获所述第一传感器数据和所述第二传感器数据。
26.根据权利要求1所述的方法，进一步包括基于与来自所述第一传感器和所述第二传感器的传感器数据之间的相关量相对应的相关性分数来选择来自所述第一传感器和所述第二传感器的传感器数据，其中如果所述相关性分数超过特定阈值，则选择来自所述第一传感器和所述第二传感器的数据。
27.根据权利要求1所述的方法，进一步包括：
从所述第一传感器接收一组附加的第一传感器数据以及从所述第二传感器接收一组附加的第二传感器数据；以及
根据所确定的一组变换参数，将所述一组附加的第二传感器数据与所述一组附加的第一传感器数据合并。
28.根据权利要求1所述的方法，进一步包括：
从所述第一传感器接收一组附加的第一传感器数据以及从所述第二传感器接收一组附加的第二传感器数据；
根据所确定的一组变换参数变换所述一组附加的第二传感器数据；以及
确定健康分数，其中，所述健康分数至少部分地基于：(i)与所述一组附加的第一传感器数据和变换的一组附加的第二传感器数据相关联的附加互信息度量，(ii)与所述一组附加的第一传感器数据和所述变换的一组附加的第二传感器数据相关联的成本值，或(iii)与所述一组附加的第一传感器数据和所述变换的一组附加的第二传感器数据相关联的归一化信息距离(NID)值。
29.根据权利要求28所述的方法，进一步包括：
确定所述健康分数小于重新校准阈值；以及
响应于所述健康分数小于所述重新校准阈值，发送需要确定一组新的变换参数的通知。
30.根据权利要求28所述的方法，进一步包括：
确定所述健康分数小于临界阈值；以及
响应于所述健康分数小于所述临界阈值，发送所述第一传感器或所述第二传感器需要检修或修理的通知。
CN202180018190.8A 2020-01-07 2021-01-06 传感器系统的校准 Pending CN115210605A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062958157P 2020-01-07 2020-01-07
US62/958157 2020-01-07
US16/869,506 US11360197B2 (en) 2020-01-07 2020-05-07 Calibration of sensor systems
US16/869506 2020-05-07
PCT/US2021/012309 WO2021141988A1 (en) 2020-01-07 2021-01-06 Calibration of sensor systems

Publications (1)

Publication Number Publication Date
CN115210605A true CN115210605A (zh) 2022-10-18

Family

ID=76655117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180018190.8A Pending CN115210605A (zh) 2020-01-07 2021-01-06 传感器系统的校准

Country Status (7)

Country Link
US (1) US11360197B2 (zh)
EP (1) EP4088139A4 (zh)
JP (1) JP2023510286A (zh)
KR (1) KR20220130143A (zh)
CN (1) CN115210605A (zh)
AU (1) AU2021206645B2 (zh)
WO (1) WO2021141988A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816666B2 (en) * 2017-11-21 2020-10-27 Magna Electronics Inc. Vehicle sensing system with calibration/fusion of point cloud partitions
US20210294328A1 (en) * 2020-03-20 2021-09-23 Brain Corporation Systems and methods for determining a pose of a sensor on a robot
US11398095B2 (en) * 2020-06-23 2022-07-26 Toyota Research Institute, Inc. Monocular depth supervision from 3D bounding boxes
WO2022016277A1 (en) * 2020-07-21 2022-01-27 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
EP4185888A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Beam-steering device particularly for lidar systems
EP4185924A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Beam-steering device particularly for lidar systems
US11995920B2 (en) * 2020-10-23 2024-05-28 Argo AI, LLC Enhanced sensor health and regression testing for vehicles
US11688090B2 (en) * 2021-03-16 2023-06-27 Toyota Research Institute, Inc. Shared median-scaling metric for multi-camera self-supervised depth evaluation
US20230012128A1 (en) * 2021-07-11 2023-01-12 Wanshih Electronic Co., Ltd. Millimeter wave radar apparatus determining obstacle on railway
US11908164B2 (en) * 2021-07-23 2024-02-20 Embark Trucks Inc. Automatic extrinsic calibration using sensed data as a target
TWI827056B (zh) * 2022-05-17 2023-12-21 中光電智能機器人股份有限公司 自動移動載具及其控制方法
KR102525563B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치
CN117146711B (zh) * 2023-10-30 2024-02-13 中国科学院自动化研究所 基于双振镜系统的大范围动态激光重建方法、系统及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491452B2 (en) 2014-09-05 2016-11-08 Intel Corporation Camera calibration
US9582881B2 (en) 2015-03-18 2017-02-28 Intel Corporation Machine vision image sensor calibration
WO2017084009A1 (en) 2015-11-16 2017-05-26 Intel Corporation Disparity search range compression
US11025887B2 (en) 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector
US10241198B2 (en) * 2017-03-30 2019-03-26 Luminar Technologies, Inc. Lidar receiver calibration
CN110573830B (zh) 2017-04-28 2022-03-22 深圳市大疆创新科技有限公司 激光传感器的校准方法
US10154176B1 (en) 2017-05-30 2018-12-11 Intel Corporation Calibrating depth cameras using natural objects with expected shapes
KR102135559B1 (ko) 2018-05-16 2020-07-20 주식회사 유진로봇 초소형 3차원 스캐닝 라이다 센서
US10645364B2 (en) 2017-11-14 2020-05-05 Intel Corporation Dynamic calibration of multi-camera systems using multiple multi-view image frames
US11415683B2 (en) 2017-12-28 2022-08-16 Lyft, Inc. Mobile sensor calibration
US10830871B2 (en) * 2018-03-21 2020-11-10 Zoox, Inc. Sensor calibration
WO2019197894A1 (en) 2018-04-09 2019-10-17 Innoviz Technologies Ltd. Lidar systems and methods with internal light calibration
CN110333503B (zh) * 2019-05-29 2023-06-09 菜鸟智能物流控股有限公司 激光雷达的标定方法、装置及电子设备

Also Published As

Publication number Publication date
US20210208263A1 (en) 2021-07-08
WO2021141988A1 (en) 2021-07-15
AU2021206645B2 (en) 2024-01-11
US11360197B2 (en) 2022-06-14
EP4088139A4 (en) 2024-05-22
JP2023510286A (ja) 2023-03-13
EP4088139A1 (en) 2022-11-16
KR20220130143A (ko) 2022-09-26
AU2021206645A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
AU2021206645B2 (en) Calibration of sensor systems
US11204413B2 (en) Combining lidar and camera data
US11639982B2 (en) Detecting angles of objects
US10094925B1 (en) Multispectral lidar system
US10241198B2 (en) Lidar receiver calibration
US20180284234A1 (en) Foveated Imaging in a Lidar System
US10401481B2 (en) Non-uniform beam power distribution for a laser operating in a vehicle
US10254762B2 (en) Compensating for the vibration of the vehicle
CN110662981B (zh) 在激光雷达系统中操作的光学探测器的时变增益
US20190064331A1 (en) Method for dynamically controlling laser power
JP6387407B2 (ja) 周辺検知システム
CN112955776A (zh) 用于在激光雷达系统中进行地面检测的可调整脉冲特性
US20230204739A1 (en) Lidar system and a method of calibrating the lidar system
EP3982149A1 (en) Multispectral lidar systems and methods
EP3982155A2 (en) Lidar systems and methods
US20240175709A1 (en) Method and electronic device for controlling operation of a self driving car
EP4202486A1 (en) Lidar system and a method of calibrating the lidar system
US20230113669A1 (en) Lidar Sensor with a Redundant Beam Scan
US20220111863A1 (en) Multispectral lidar systems and methods
US20220113429A1 (en) Lidar systems and methods
US20240118389A1 (en) Curved window for expansion of fov in lidar application
US20220196809A1 (en) Scanner for a lidar system and lidar systems and methods including a scanner
US20230366984A1 (en) Dual emitting co-axial lidar system with zero blind zone
WO2023283205A1 (en) Compact lidar systems for vehicle contour fitting
WO2024076687A1 (en) Curved window for expansion of fov in lidar application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination