CN117630882A - 用于光检测和测距（lidar）设备中串扰减轻的时分多址扫描 - Google Patents

用于光检测和测距（lidar）设备中串扰减轻的时分多址扫描 Download PDF

Info

Publication number
CN117630882A
CN117630882A CN202311061387.7A CN202311061387A CN117630882A CN 117630882 A CN117630882 A CN 117630882A CN 202311061387 A CN202311061387 A CN 202311061387A CN 117630882 A CN117630882 A CN 117630882A
Authority
CN
China
Prior art keywords
light
lidar device
light signals
signals
ambient environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311061387.7A
Other languages
English (en)
Inventor
G·戈茨
J·邓菲
A·塔佐利
D·施洛伊宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN117630882A publication Critical patent/CN117630882A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

示例实施例涉及用于光检测和测距(lidar)设备中的串扰减轻的时分多址扫描。示例实施例包括一种方法。所述方法包括将第一组光信号发射到周围环境中。第一组光信号对应于第一角分辨率。所述方法还包括在第一监听窗口期间检测第一组反射光信号。另外，所述方法包括将第二组光信号发射到周围环境中。第二组光信号对应于相对于周围环境的第二角分辨率。第二角分辨率低于第一角分辨率。此外，所述方法包括检测来自周围环境的第二组反射光信号。此外，所述方法包括由lidar设备的控制器合成可用于生成一个或多个点云的数据集。

Description

用于光检测和测距(lidar)设备中串扰减轻的时分多址扫描
背景技术
除非本文另有说明，否则本节中的描述不是本申请中的权利要求的现有技术，并且不因包括在本节中而被承认是现有技术。
自主载具或以自主模式操作的载具可以使用各种传感器来检测其周围。例如，光检测和测距(lidar)设备、无线电检测和测距(radar)设备和/或相机可以用于识别自主载具周围的环境中的对象。例如，这样的传感器可以用于对象检测和规避和/或导航。
发明内容
本文描述的实施例涉及减轻lidar设备中的检测通道之间的串扰。特别地，示例实施例包括执行具有两个对应的检测周期的两个发射周期。在第一周期期间，lidar设备内的所有光发射器发射光信号，并且光检测器在对应于相对长的范围(例如，在300m与450m之间)的持续时间内监听反射光信号。然而，在第二周期期间，仅光设备内的光发射器的子集(可能顺序地)发射光信号，并且对应的光检测器在对应于相对短的范围(例如，在45m和75m之间)的持续时间内监听反射光信号。通过比较在两个周期期间由检测到的光信号表示的范围，能够从得到的数据集中识别和/或去除对应于串扰的信号。
在第一方面，提供了一种方法。所述方法包括从光检测和测距(lidar)设备的第一组光发射器发射第一组光信号到周围环境中。第一组光信号对应于相对于周围环境的第一角分辨率。所述方法还包括由lidar设备的第一组光检测器在第一监听窗口期间检测来自周围环境的第一组反射光信号。第一组反射光信号对应于第一组光信号从周围环境中的对象的反射。另外，所述方法包括从lidar设备的第二组光发射器发射第二组光信号到周围环境中。lidar设备的第二组光发射器表示lidar设备的第一组光发射器的子集。第二组光信号对应于相对于周围环境的第二角分辨率。第二角分辨率低于第一角分辨率。此外，所述方法包括由lidar设备的第二组光检测器在第二监听窗口期间检测来自周围环境的第二组反射光信号。lidar设备的第二组光检测器表示lidar设备的第一组光检测器的子集。第二组反射光信号对应于第二组光信号从周围环境中的对象的反射。第二监听窗口的持续时间比第一监听窗口的持续时间短。此外，所述方法包括由lidar设备的控制器合成可用于生成一个或多个点云的数据集。数据集基于检测到的第一组反射光信号和检测到的第二组反射光信号。
在第二方面，提供了一种光检测和测距(lidar)设备。lidar设备包括第一组光发射器，被配置为将第一组光信号发射到周围环境中。第一组光信号对应于相对于周围环境的第一角分辨率。lidar设备还包括第一组光检测器，被配置为在第一监听窗口期间检测来自周围环境的第一组反射光信号。第一组反射光信号对应于第一组光信号从周围环境中的对象的反射。另外，lidar设备包括第二组光发射器，被配置为将第二组光信号发射到周围环境中。lidar设备的第二组光发射器表示lidar设备的第一组光发射器的子集。第二组光信号对应于相对于周围环境的第二角分辨率。第二角分辨率低于第一角分辨率。此外，lidar设备包括第二组光检测器，被配置为在第二监听窗口期间检测来自周围环境的第二组反射光信号。lidar设备的第二组光检测器表示lidar设备的第一组光检测器的子集。第二组反射光信号对应于第二组光信号从周围环境中的对象的反射。第二监听窗口的持续时间比第一监听窗口的持续时间短。此外，lidar设备包括控制器，被配置为合成可用于生成一个或多个点云的数据集。数据集基于检测到的第一组反射光信号和检测到的第二组反射光信号。
在第三方面，提供了一种系统。所述系统包括光检测和测距(lidar)设备。lidar设备包括第一组光发射器，被配置为将第一组光信号发射到周围环境中。第一组光信号对应于相对于周围环境的第一角分辨率。lidar设备还包括第一组光检测器，被配置为在第一监听窗口期间检测来自周围环境的第一组反射光信号。第一组反射光信号对应于第一组光信号从周围环境中的对象的反射。另外，lidar设备包括第二组光发射器，被配置为将第二组光信号发射到周围环境中。lidar设备的第二组光发射器表示lidar设备的第一组光发射器的子集。第二组光信号对应于相对于周围环境的第二角分辨率。第二角分辨率低于第一角分辨率。此外，lidar设备包括第二组光检测器，被配置为在第二监听窗口期间检测来自周围环境的第二组反射光信号。lidar设备的第二组光检测器表示lidar设备的第一组光检测器的子集。第二组反射光信号对应于第二组光信号从周围环境中的对象的反射。第二监听窗口的持续时间比第一监听窗口的持续时间短。此外，lidar设备包括lidar控制器，被配置为合成可用于生成一个或多个点云的数据集。数据集基于检测到的第一组反射光信号和检测到的第二组反射光信号。所述系统还包括系统控制器。系统控制器被配置为从lidar控制器接收数据集。系统控制器还被配置为基于数据集生成一个或多个点云。
通过在适当的情况下参考附图阅读以下详细描述，这些以及其他方面、优点和替代方案对于本领域普通技术人员将变得清楚。
附图说明
图1是示出根据示例实施例的载具的功能框图。
图2A是根据示例实施例的载具的物理配置的图示。
图2B是根据示例实施例的载具的物理配置的图示。
图2C是根据示例实施例的载具的物理配置的图示。
图2D是根据示例实施例的载具的物理配置的图示。
图2E是根据示例实施例的载具的物理配置的图示。
图2F是根据示例实施例的载具的物理配置的图示。
图2G是根据示例实施例的载具的物理配置的图示。
图2H是根据示例实施例的载具的物理配置的图示。
图2I是根据示例实施例的载具的物理配置的图示。
图2J是根据示例实施例的各种传感器的视场的图示。
图2K是根据示例实施例的用于传感器的波束转向的图示。
图3是根据示例实施例的与自主或半自主载具相关的各种计算系统之间的无线通信的概念图示。
图4A是根据示例实施例的包括lidar设备的系统的框图。
图4B是根据示例实施例的lidar设备的框图。
图5A是根据示例实施例的可用于发射一组光信号并检测一组反射光信号的lidar设备的图示。
图5B是根据示例实施例的lidar设备内的潜在串扰的图示。
图6A是根据示例实施例的在第一周期期间的第一组发射光信号和第一组反射光信号的图示。
图6B是根据示例实施例的在第二周期期间的第二组发射光信号和第二组反射光信号的图示。
图6C是根据示例实施例的在第一周期期间使用的激发(firing)序列的图示。
图6D是根据示例实施例的在第二周期期间使用的激发序列的图示。
图6E是根据示例实施例的在第二周期期间使用的成对的光发射器和光检测器的图示。
图6F是根据示例实施例的在第二周期期间使用的成对的光发射器和光检测器的图示。
图6G是根据示例实施例的在第二周期期间使用的激发序列的图示。
图6H是根据示例实施例的在第二周期期间使用的激发序列的图示。
图7A是根据示例实施例的具有第一角分辨率的照明图案的图示。
图7B是根据示例实施例的具有第二角分辨率的照明图案的图示。
图8A是根据示例实施例的激发电路和相关联的光发射器的示意图。
图8B是根据示例实施例的激发电路和相关联的光发射器的示意图。
图9是根据示例实施例的在第二周期期间的第二组发射光信号和第二组反射光信号的图示。
图10是示出根据示例实施例的方法的流程图。
具体实施方式
本文设想到了示例方法和系统。本文描述的任何示例实施例或特征不一定被解释为比其他实施例或特征优选或有利。此外，本文描述的示例实施例并不意味着限制。将容易理解的是，所公开的系统和方法的某些方面能够以各种各样的不同配置来布置和组合，所有这些都在本文中被预期。另外，图中所示的特定布置不应被视为限制。应该理解，其他实施例可以包括更多或更少的给定图中所示的每个元件。另外，可以组合或省略所示元件中的一些。此外，示例实施例可以包括图中未示出的元件。
如本文所述的lidar设备能够包括一个或多个光发射器和一个或多个检测器，所述一个或多个检测器用于检测由一个或多个光发射器发射并由lidar设备周围的环境中的一个或多个对象反射的光。作为示例，周围环境能够包括内部或外部环境，诸如建筑物的内部或建筑物的外部。附加地或可替代地，周围环境能够包括载具的内部。此外，周围环境能够包括道路周围和/或道路上的附近区域。周围环境中的对象的示例包括但不限于其他载具、交通标志、行人、骑自行车的人、道路表面、建筑物、地形等。另外，一个或多个光发射器能够将光发射到lidar本身的本地环境中。例如，从一个或多个光发射器发射的光能够与lidar的壳体和/或耦合到lidar的表面或结构相互作用。在一些情况下，lidar能够安装到载具，在这种情况下，一个或多个光发射器能够被配置为发射与载具附近的对象相互作用的光。此外，光发射器能够包括光纤放大器、激光二极管、发光二极管(LED)等。
贯穿本公开使用术语“子集”来描述各种设备和系统(例如，lidar设备)内的通道、光检测器、光发射器等的组。如本文所使用的，术语“子集”表示数学术语中的“真子集”或“严格子集”。此外，如本文所使用的术语“子集”排除空集。换句话说，出于本公开的目的，如果集合包含n个元素，那么所述集合的“子集”能够包含从1个元素直到n-1个元素(包括1和n-1在内)的任何整数数量个元素。
lidar设备能够在扫描场景的同时确定到反射环境特征的距离。然后能够将这些距离聚集为指示周围环境中的表面的“点云”(或其他类型的表示)。点云中的各个点能够例如通过发射激光脉冲并检测从周围环境中的对象反射的返回脉冲(如果有的话)，然后根据脉冲的发射与反射脉冲的接收之间的时间延迟确定到对象的距离来确定。例如，所得点云可以对应于指示周围环境中的反射特征的位置的点的三维地图。
在示例实施例中，lidar设备可以包括一个或多个光发射器(例如，激光二极管)和一个或多个光检测器(例如，硅光电倍增器(SiPM)、单光子雪崩二极管(SPAD)/或雪崩光电二极管(APD))。例如，lidar设备可以包括通道阵列，其包括光检测器和对应的光发射器。这样的阵列可以照射场景中的对象并接收来自场景中的对象的反射光，以便收集可以用于生成相对于lidar设备的特定角度视场的点云的数据。此外，为了生成具有增强视场(例如，完整的360°视场)的点云，光发射器阵列和对应的光检测器阵列可以在该增强视场内的预定时间和/或位置发送和接收光。例如，lidar设备可以能够包括围绕垂直轴布置的通道阵列，使得光同时在360°视场周围的多个方向上发送和接收。作为另一示例，lidar设备可以围绕中心轴扫描(例如，旋转或使用其他机制进行波束扫描)以发送/接收多个数据集。数据能够用于形成点云，点云能够被复合(composite)以生成增强的视场。
一些lidar设备可能易受由高强度返回信号产生的噪声的影响。例如，如果一个光发射器朝向高反射对象(例如，回射器)发射光脉冲，则来自该对象的返回脉冲可能具有高强度。在一些情况下，如果返回脉冲的强度足够大，则返回脉冲可能导致lidar设备的通道之间的串扰。换句话说，除了由与发射发射脉冲的光发射器相对应的光检测器进行检测之外，高强度返回脉冲可以由lidar设备内的其他光检测器(例如，与发射发射脉冲的光发射器相对应的光检测器相邻的光检测器)检测。这种串扰可能是光检测器与被检测对象之间的光路内的一个或多个缺陷的结果和/或因其加剧。例如，lidar设备的光学窗口可能在其上具有雨、冷凝物、雪、污垢、泥浆、灰尘、冰、碎屑等。这样的缺陷可以反射、折射和/或分散来自周围环境中的一个或多个对象的一个或多个反射光信号，从而导致串扰。
无论原因如何，串扰都能够导致检测误差。例如，当检测器检测到作为串扰结果的返回脉冲时，与lidar设备相关联的计算设备会不正确地确定在周围环境内的位置处存在对象，即使实际上不存在这样的对象(即，lidar设备会生成假阳性检测)也如此。附加地或可替代地，作为检测到高强度串扰返回脉冲的结果，可能不正确地忽略正确的返回脉冲(例如，处于较低强度)。因此，本文公开的示例实施例可以用于减轻和/或消除由噪声源引起的不正确检测。虽然在整个本公开中参考了由高反射对象引起的串扰，但是将理解，其他噪声源也是可能的，并且也能够使用本文描述的技术来减轻。例如，还可以使用本文描述的一种或多种技术来减轻各种光检测器上的干扰(例如，源自杂散光源，诸如来自不同的lidar设备，或者源自恶意光源，诸如在lidar设备处闪耀激光指示器的某人)。附加地或可替代地，还能够使用本文描述的技术来减轻电串扰。电串扰可以包括例如当一个光检测器经历大的检测信号时耦合到相邻或附近的光检测器中的电信号。
在一些实施例中，提供了一种lidar设备。如上所述，lidar设备可以包括通道阵列。阵列中的每个通道可以包括光检测器和对应的光发射器。例如，给定通道中的光发射器可以被配置为沿着某个发射矢量发射光脉冲，并且对应的光检测器可以被配置为检测从周围环境中的在发射矢量的路径中的对象反射的光脉冲。通道阵列的不同通道中的每个光检测器可以在光检测器阵列中的lidar设备中彼此靠近定位。这样，任何高强度返回脉冲可以影响在检测高强度返回脉冲的主要光检测器附近的光检测器。
减轻这种串扰的一种方式是识别通道阵列中的哪个通道具有与周围环境中导致高强度返回的高反射率对象相交的发射矢量。然后，在识别出作为串扰源的负责(responsible)通道时，该通道中的光发射器能够简单地抑制在未来的发射周期中发射光脉冲。然而，可能难以确定何时(例如，在哪个发射周期中)再次恢复从对应于高强度反射的光发射器发射光脉冲。同样，另一种可能的减轻技术将是简单地忽略在未来检测周期中由阵列中的以下光检测器检测到的任何检测到的脉冲：所述光检测器在检测到高强度反射的主要光检测器附近。然而，这可能导致数个通道在一个或多个检测周期期间基本上未使用。显然，上述减轻策略可能导致多个检测到的脉冲被忽略，这可能是不必要的。
因此，本文描述了能够与先前描述的减轻技术结合使用或代替先前描述的减轻技术使用的替代噪声减轻技术。即，本文描述的技术可以涉及跨两个激发周期发射/检测光信号。第一周期可以涉及激发lidar设备的所有通道并检测所有返回。该第一周期可以寻求检测所有可能的返回，无论是在相对长的范围还是相对短的范围。然而，第二周期可以涉及一系列交错的发射/检测。一系列发射/检测可以由lidar设备内的通道子集(例如，物理上彼此足够远以便不太可能容易受到彼此串扰影响的子集)执行。此外，第二周期中的发射/检测可以对应于在比第一周期中的发射/检测更短的范围内的发射/检测。因此，本文描述的技术可以利用以下事实：串扰在较短距离处可能是更重要的问题(例如，第二周期中的检测事件可以用于检测较短距离对象，而第一周期中的检测事件可以用于检测较长距离对象)。最后，来自第二周期的检测事件可以与来自第一周期的检测事件组合以形成单个数据集。本文描述的技术可以表示对lidar设备的各种通道执行时分多址的方法(即，通过在时间上分离检测事件，能够识别和忽略串扰)。
完整检测周期可以以以下方式进行。首先(即，在第一周期期间)，lidar设备中的每个通道中的光发射器可以发射光信号。此后，lidar设备中的对应光检测器可以在第一检测窗口期间检测来自周围环境中的对象的反射。第一检测窗口的持续时间(即，时间长度)能够相对长(例如，在2.0μs与3.0μs之间)，以便允许检测在相对长的范围(例如，高达300m和450m之间的范围)内的对象。然后可以(例如，在诸如易失性存储器的存储器内)临时存储来自光检测器的在第一检测窗口期间的检测事件。例如，这些检测事件可以被存储为完整波形(例如，来自对应光检测器的强度波形)和/或元数据(例如，对应于检测时间、检测到的强度和/或检测到的偏振的数据)。
此后(即，在第二周期期间)，可以在较短的时间区段期间激发光发射器的子集。例如，如果lidar设备具有16个通道(例如，标记为“通道0”、“通道1”、“通道2”…“通道15”)，则可以按顺序激发预选通道子集中的光发射器。例如，通道0的光发射器可以在第二周期的一部分期间由其自身激发(即，不激发其他光发射器)。在第二周期的该部分期间，通道0的光检测器可以在第二检测窗口期间检测来自周围环境中的对象的反射。第二检测窗口的持续时间可以短于第一检测窗口的持续时间。例如，第二检测窗口的持续时间可以在0.3μs与0.5μs之间，以便检测在相对短的范围(例如，高达45m与75m之间的范围)内的对象。然后，来自第二周期的该部分的(多个)检测事件也可以被临时存储(例如，存储在诸如易失性存储器的存储器内)。与第一周期期间的检测事件一样，这些检测事件可以被存储为完整波形(例如，来自对应光检测器的强度波形)和/或元数据(例如，对应于检测时间、检测到的强度和/或检测到的偏振的数据)。
接下来，可以在第二周期期间针对通道2、通道4、通道6、通道8、通道10、通道12和通道14单独地重复针对通道0执行的第二周期的上述部分。通过并非所有通道都被使用(例如，在先前示例中未使用通道1、3、5、7、9、11、13和15)的事实显而易见的是，在第二周期期间选择的通道的角分辨率可以小于组合的所有通道(例如，在第一周期期间使用的通道)的角分辨率。然而，因为在第二周期期间探测的范围可以比在第一周期期间更短，所以较低的角分辨率可以是可接受的(例如，如果周围环境在较短的范围内线性地过度分辨(over-resolved)，使得它能够在较长的范围内充分地线性分辨)。换句话说，即使在角分辨率降低的情况下，当在第二周期期间涉及的较短范围(例如，小于75m的范围)下考虑时，在第二周期期间捕获的数据仍然可以提供足够的线性分辨率(例如，以点/英寸为单位)。角分辨率的降低量可以至少部分地基于分配给第二周期的总持续时间。例如，如果为第二周期分配5μs，并且每个第二检测窗口的持续时间为0.5μs，则在第二周期期间可以存在10个可用的激发时隙/部分。因此，如果通道在第二周期期间被单独激发，则角分辨率的降低可以对应于通道总数除以可用激发时隙的数量(例如，16个总通道/10个激发时隙，或者角分辨率降低1.6倍)。
应该理解，在上述第二周期期间激发的通道的布置是作为示例提供的，并且其他布置也是可能的并且在本文中被设想到。此外，虽然如上所述在第二周期的每个部分期间可以仅激发单个通道的光发射器，但是在第二周期的部分期间可以使用其他数量的通道(例如，成对通道、三个通道的组、四个通道的组和/或五个通道的组)。例如，可以选择成对通道用于在第二周期的连续部分中同时发射/检测。在这样的实施例中，可以选择在第二周期的每个部分期间选择的成对通道，使得正在使用的通道(例如，正在使用的通道中的检测器)在物理上彼此足够远，以防止在第二周期的每个部分的通道之间发生串扰。在一些实施例中，跨第二周期的多个部分使用的连续成对通道还可以表示跨lidar设备/周围环境的交错。更进一步地，在一些实施例中，在第二周期的一部分期间激发的通道的数量(例如，成对通道)可以不同于在第二周期的另一部分期间激发的通道的数量(例如，一组三个通道)。更进一步地，虽然上述第一周期是较长范围的、增大的角分辨率周期，并且上述第二周期是较短范围的、降低的角分辨率周期，但是将理解，这些周期的顺序能够颠倒(即，第一周期在时间上在第二周期之后执行)。
附加地或可替代地，在一些实施例中，可以将先前的检测数据合并到激发方案中。例如，在一些实施例中，周围环境中的高反射率表面(例如，回射器)可能已经在先前的激发周期期间被识别(例如，基于由lidar设备的一个或多个光检测器检测到的高强度反射)。另外，还可以识别针对识别的高反射率表面的通道(例如，通道的光发射器)。然后，在后续的激发周期中(例如，在上述第一周期和第二周期两者期间)，指向回射器的通道的光发射器可以全部避免激发。这能够提供针对偶然串扰的进一步鲁棒性。
一旦来自第一周期和第二周期的所有检测事件已经被收集，则可以合成那些检测事件以形成可用于生成一个或多个点云的数据集。例如，来自第一周期的数据可以被提供(例如，由lidar设备的控制器提供给计算设备)作为可用于生成第一点云的数据集合，并且来自第二周期的数据可以被提供(例如，由lidar设备的控制器提供给计算设备)作为可用于生成第二点云的数据集合。可替代地，在一些实施例中，来自两个周期的检测事件可以以这样的方式组合，使得所得数据集可用于生成单个点云。在这样的实施例中，可以比较在第一周期和第二周期期间对应于给定通道的检测事件。例如，可以将在第一周期期间针对给定通道(例如，通道1)确定的到周围环境中的对象的距离与在第二周期期间针对相同通道(例如，通道1)确定的到周围环境中的对象的距离进行比较。如果两个距离相同(或在某个阈值差值内)，则可以确定测量是正确的并且不表示串扰。因此，测量距离中的一个或两个可以被包括在可用于生成单个点云的数据集中。此外，如果在第二周期期间的测量没有产生测量的距离，但是在第一周期期间的测量确实产生测量的距离，并且在第一周期期间的测量处于超出在第二周期期间测量的范围的范围内，则在第一周期期间测量的距离同样可以被包括在可用于生成单个点云的数据集中(例如，这是由于该测量能够被确定为不对应于串扰)。然而，如果在第二周期期间和在第一周期期间检测到的检测事件不一致(例如，不在阈值差内)并且两者都对应于在第二周期期间测量的范围内的目标范围，则确定的距离可以不包括在数据集中(例如，这是因为第一周期期间的测量可能是串扰的结果)，或者仅在第二周期期间测量的距离可以包括在数据集中。
以下描述和附图将阐明各种示例实施例的特征。所提供的实施例是作为示例的，并且不旨在是限制性的。因此，附图的尺寸不一定按比例绘制。
现在将更详细地描述本公开范围内的示例系统。示例系统可以在汽车中实现或能够采取汽车的形式。另外，示例系统还可以以各种载具实现或采取各种载具的形式，诸如汽车、卡车(例如，皮卡车、货车、拖拉机和/或牵引车挂车)、摩托车、公共汽车、飞机、直升机、无人机、割草机、土方推土机、船、潜艇、全地形载具、雪地车、飞行器、休闲载具、游乐园载具、农场设备或载具、建筑设备或载具、仓库设备或载具、工厂设备或载具、有轨电车、高尔夫球车、火车、手推车、人行道递送载具、机器人设备等。其他载具也是可能的。此外，在一些实施例中，示例系统可以不包括载具。
现在参考附图，图1是示出示例载具100的功能框图，载具100可以被配置为完全或部分地以自主模式操作。更具体地，载具100可以通过从计算系统接收控制指令而在没有人类交互的情况下以自主模式操作。作为在自主模式下操作的一部分，载具100可以使用传感器来检测并可能地识别周围环境的对象以实现安全导航。另外，示例载具100可以以部分自主(即，半自主)模式操作，其中载具100的一些功能由载具100的人类驾驶员控制，并且载具100的一些功能由计算系统控制。例如，载具100还可以包括子系统，所述子系统使得驾驶员能够控制载具100的操作，诸如转向、加速和制动，同时计算系统基于周围环境中的其他对象(例如，载具)执行辅助功能，诸如车道偏离警告/车道保持辅助或自适应巡航控制。
如本文所述，在部分自主驾驶模式下，即使载具辅助一个或多个驾驶操作(例如，转向、制动和/或加速以执行车道定中(centering)、自适应巡航控制、高级驾驶员辅助系统(ADAS)和/或紧急制动)，也期望人类驾驶员在情境上意识到载具的周围并监督辅助驾驶操作。这里，即使载具可以在某些情境下执行所有驾驶任务，也期望人类驾驶员负责根据需要进行控制。
尽管为了简洁和简明起见，下面结合自主载具描述了各种系统和方法，但是这些或类似的系统和方法能够用于不达到完全自主驾驶系统的级别的各种驾驶员辅助系统(即，部分自主驾驶系统)中。在美国，汽车工程师协会(SAE)已经定义了不同级别的自动驾驶操作，以指示载具控制驾驶的程度多少，不过美国或其他国家的不同组织可以对级别进行不同的分类。更具体地，所公开的系统和方法能够用于实现转向、制动、加速、车道居中、自适应巡航控制等的SAE 2级驾驶员辅助系统以及其他驾驶员支持。所公开的系统和方法能够用在能够在有限(例如，高速公路)条件下自主驾驶的SAE 3级驾驶辅助系统中。同样地，所公开的系统和方法能够用在使用SAE 4级自动驾驶系统的载具中，所述SAE4级自动驾驶系统在大多数常规驾驶情况下自主操作并且仅需要人类操作员的偶尔注意。在所有这样的系统中，准确的车道估计能够在没有驾驶员输入或控制的情况下(例如，在载具运动的同时)自动执行，并且引起载具定位和导航的可靠性以及自主、半自主和其他驾驶员辅助系统的整体安全性的改善。如前所述，除了SAE对自动驾驶操作的级别进行分类的方式之外，美国或其他国家的其他组织可以不同地对自动驾驶操作的级别进行分类。非限制性地，本文公开的系统和方法能够用于由这些其他组织的自动化驾驶操作级别定义的驾驶辅助系统中。
如图1所示，载具100能够包括各种子系统，诸如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、具有数据存储装置114的计算机系统112(其也能够被称为计算系统)以及用户接口116。在其他示例中，载具100可以包括更多或更少的子系统，子系统能够均包括多个元件。载具100的子系统和组件可以以各种方式互连。另外，本文描述的载具100的功能能够被划分为附加的功能或物理组件，或者在实施例内组合为更少的功能或物理组件。例如，控制系统106和计算机系统112可以组合为根据各种操作来操作载具100的单个系统。
推进系统102可以包括可操作为向载具100提供动力运动的一个或多个组件，并且能够包括发动机/马达118、能量源119、变速器120和车轮/轮胎121以及其他可能的组件。例如，发动机/马达118可以被配置为将能量源119转换成机械能，并且能够对应于内燃机、电动机、蒸汽机或斯特林发动机以及其他可能的选项中的一个或组合。例如，在一些实施例中，推进系统102可以包括多种类型的发动机和/或马达，诸如汽油发动机和电动马达。
能量源119表示可以全部或部分地为载具100的一个或多个系统(例如，发动机/马达118)供电的能量源。例如，能量源119能够对应于汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和/或其他电力源。在一些实施例中，能量源119可以包括燃料箱、电池、电容器和/或飞轮的组合。
变速器120能够将机械动力从发动机/马达118传送到车轮/轮胎121和/或载具100的其他可能的系统。这样，变速器120可以包括齿轮箱、离合器、差速器和驱动轴以及其他可能的组件。驱动轴可以包括连接到一个或多个车轮/轮胎121的轮轴。
在示例实施例内，载具100的车轮/轮胎121可以具有各种配置。例如，载具100可以以独轮车、自行车/摩托车、三轮车或汽车/卡车四轮形式以及其他可能的配置存在。这样，车轮/轮胎121以以各种方式连接到载具100，并且能够存在于不同的材料中，例如金属和橡胶。
传感器系统104能够包括各种类型的传感器，诸如全球定位系统(GPS)122、惯性测量单元(IMU)124、雷达126、lidar 128、相机130、转向传感器123和节气门/制动传感器125以及其他可能的传感器。在一些实施例中，传感器系统104还可以包括被配置为监测载具100的内部系统(例如，O2监测器、燃料表、发动机油温和/或制动器磨损)的传感器。
GPS122可以包括收发器，该收发器可操作以提供关于载具100相对于地球的位置的信息。IMU 124可以具有使用一个或多个加速度计和/或陀螺仪的配置，并且可以基于惯性加速度来感测载具100的位置和朝向改变。例如，IMU 124可以在载具100静止或运动的同时检测载具100的俯仰和偏航。
雷达126可以表示被配置为使用无线电信号来感测载具100的周围环境内的对象(包括对象的速度和前进方向)的一个或多个系统。这样，雷达126可以包括被配置为发送和接收无线电信号的天线。在一些实施例中，雷达126可以对应于被配置为获得载具100的周围环境的测量值的可安装雷达。
lidar 128可以包括一个或多个激光源、激光扫描仪和一个或多个检测器以及其他系统组件，并且可以以相干模式(例如，使用外差检测)或以非相干检测模式(即，飞行时间模式)操作。在一些实施例中，lidar 128的一个或多个检测器可以包括一个或多个光电检测器，其可以是特别敏感的检测器(例如，雪崩光电二极管)。在一些示例中，此类光电检测器可以能够检测单光子(例如，SPAD)。此外，这样的光电检测器能够被布置(例如，通过串联的电连接)成阵列(例如，如在SiPM中)。在一些示例中，一个或多个光电检测器是盖革模式操作的设备，并且lidar包括被设计用于这种盖革模式操作的子组件。
相机130可以包括被配置为捕获载具100的周围环境的图像的一个或多个设备(例如，静态相机、摄像机、热成像相机、立体相机和/或夜视相机)。
转向传感器123能够感测载具100的转向角，这可以涉及测量方向盘的角度或测量表示方向盘的角度的电信号。在一些实施例中，转向传感器123可以测量载具100的车轮的角度，诸如检测车轮相对于载具100的前向轴线的角度。转向传感器123还可以被配置为测量方向盘的角度、表示方向盘的角度的电信号和载具100的车轮的角度的组合(或子集)。
节气门/制动传感器125可以检测载具100的节气门位置或制动位置的位置。例如，节气门/制动传感器125可以测量节气门踏板(节气门)和制动踏板两者的角度，或者可以测量能够表示例如油门踏板(节气门)的角度和/或制动踏板的角度的电信号。节气门/制动传感器125还可以测量载具100的节气门体的角度，所述节气门体可以包括向发动机/马达118提供能量源119的调节的物理机构的一部分(例如，蝶形阀、化油器)。另外，节气门/制动传感器125可以测量载具100的转子上的一个或多个制动衬块的压力，或者油门踏板(节气门)和制动踏板的角度、表示油门踏板(节气门)和制动踏板的角度的电信号、节气门体的角度以及至少一个制动衬块施加到载具100的转子的压力的组合(或子集)。在其他实施例中，节气门/制动传感器125可以被配置为测量施加到载具的踏板(诸如节气门或制动踏板)的压力。
控制系统106可以包括被配置为辅助导航载具100的组件，诸如转向单元132、节气门134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路径规划系统142和避障系统144。更具体地，转向单元132可以可操作为调整载具100的前进方向，并且节气门134可以控制发动机/马达118的操作速度以控制载具100的加速度。制动单元136可以使载具100减速，这可以涉及使用摩擦来使车轮/轮胎121减速。在一些实施例中，制动单元136可以将车轮/轮胎121的动能转换成电流，以供载具100的一个或多个系统后续使用。
传感器融合算法138可以包括卡尔曼滤波器、贝叶斯网络或能够处理来自传感器系统104的数据的其他算法。在一些实施例中，传感器融合算法138可以基于传入的传感器数据提供评估，诸如对各个对象和/或特征的评估、对特定情况的评估和/或对给定情况内的潜在影响的评估。
计算机视觉系统140可以包括硬件和软件(例如，诸如中央处理单元(CPU)的通用处理器、诸如图形处理单元(GPU)或张量处理单元(TPU)的专用处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、易失性存储器、非易失性存储器和/或一个或多个机器学习模型)，其可操作以处理和分析图像从而努力确定运动中的对象(例如，其他载具、行人、骑自行车的人和/或动物)和不运动的对象(例如，交通灯、道路边界、减速带和/或坑洼)。这样，计算机视觉系统140可以使用对象识别、运动恢复结构(SFM)、视频跟踪和计算机视觉中使用的其他算法，例如，以识别对象、绘制环境、跟踪对象、估计对象的速度等。
导航/路径规划系统142可以确定载具100的驾驶路径，这可以涉及在操作期间动态地调整导航。这样，导航/路径规划系统142可以使用来自传感器融合算法138、GPS122和地图以及其他源的数据来导航载具100。避障系统144可以基于传感器数据来评估潜在障碍物，并且使载具100的系统避开或以其他方式越过潜在障碍物。
如图1所示，载具100还可以包括外围设备108，诸如无线通信系统146、触摸屏148、内部麦克风150和/或扬声器152。外围设备108可以为用户提供控件或其他元件以与用户接口116交互。例如，触摸屏148可以向载具100的用户提供信息。用户接口116还可以接受经由触摸屏148来自用户的输入。外围设备108还可以使载具100能够与诸如其他载具设备的设备通信。
无线通信系统146可以直接或经由通信网络与一个或多个设备无线通信。例如，无线通信系统146能够使用3G蜂窝通信(诸如码分多址(CDMA)、演进数据优化(EVDO)、全球移动通信系统(GSM)/通用分组无线服务(GPRS))或诸如4G全球微波接入互操作性(WiMAX)或长期演进(LTE)或5G的蜂窝通信。可替代地，无线通信系统146可以使用或其他可能的连接与无线局域网(WLAN)通信。无线通信系统146还可以使用例如红外链路、蓝牙或ZigBee直接与设备通信。在本公开的上下文内，其他无线协议(诸如各种载具通信系统)是可能的。例如，无线通信系统146可以包括一个或多个专用短程通信(DSRC)设备，其能够包括载具和/或路边站之间的公共和/或私有数据通信。
载具100可以包括用于为组件供电的电源110。在一些实施例中，电源110可以包括可再充电锂离子或铅酸电池。例如，电源110可以包括被配置为提供电力的一个或多个电池。载具100还可以使用其他类型的电源。在示例实施例中，电源110和能量源119可以集成到单个能量源中。
载具100还可以包括计算机系统112以执行操作，诸如其中描述的操作。这样，计算机系统112可以包括至少一个处理器113(其能够包括至少一个微处理器)，其可操作以执行存储在非暂时性计算机可读介质(诸如数据存储装置114)中的指令115。在一些实施例中，计算机系统112可以表示可以用于以分布式方式控制载具100的各个部件或子系统的多个计算设备。
在一些实施例中，数据存储装置114可以包含可由处理器113运行以执行载具100的各种功能(包括上面结合图1描述的那些功能)的指令115(例如，程序逻辑)。数据存储装置114也可以包含附加指令，包括用于向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据，从推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个接收数据，与推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个交互和/或控制推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个的指令。
除了指令115之外，数据存储装置114可以存储诸如道路地图、路径信息等其他信息的数据。在载具100以自主、半自主和/或手动模式操作期间，载具100和计算机系统112可以使用这种信息。
载具100可以包括用于向载具100的用户提供信息或从载具100的用户接收输入的用户接口116。用户界面116可以控制或实现对能够在触摸屏148上显示的交互式图像的内容和/或布局的控制。此外，用户接口116能够包括外围设备108的集合内的一个或多个输入/输出设备，诸如无线通信系统146、触摸屏148、麦克风150和扬声器152。
计算机系统112可以基于从各种子系统(例如，推进系统102、传感器系统104和/或控制系统106)以及从用户接口116接收的输入来控制载具100的功能。例如，计算机系统112可以利用来自传感器系统104的输入，以便估计由推进系统102和控制系统106产生的输出。取决于实施例，计算机系统112能够可操作以监测载具100及其子系统的许多方面。在一些实施例中，计算机系统112可以基于从传感器系统104接收的信号禁用载具100的一些或所有功能。
载具100的组件能够被配置为以与其相应系统内或外的其他组件互连的方式工作。例如，在示例实施例中，相机130能够捕获多个图像，所述多个图像能够表示关于以自主或半自主模式操作的载具100的周围环境的状态的信息。周围环境的状态能够包括载具正在其上操作的道路的参数。例如，计算机视觉系统140可以能够基于道路的多个图像来识别斜坡(程度)或其他特征。另外，GPS122和由计算机视觉系统140识别的特征的组合可以与存储在数据存储装置114中的地图数据一起使用以确定特定道路参数。此外，radar 126和/或lidar 128和/或一些其他环境绘制、测距和/或定位传感器系统还可以提供关于载具的周围的信息。
换句话说，各种传感器(其能够被称为输入指示和输出指示传感器)和计算机系统112的组合能够交互以提供被提供来控制载具的输入的指示或载具的周围的指示。
在一些实施例中，计算机系统112可以基于由除无线电系统之外的系统提供的数据来做出关于各种对象的确定。例如，载具100可以具有被配置为感测载具视场中的对象的激光器或其他光学传感器。计算机系统112可以使用来自各种传感器的输出来确定关于载具视场中的对象的信息，并且可以确定到各种对象的距离和方向信息。计算机系统112还可以基于来自各种传感器的输出来确定对象是期望的还是不期望的。
尽管图1将载具100的各种组件(即，无线通信系统146、计算机系统112、数据存储装置114和用户接口116)示出为集成到载具100中，但是这些组件中的一个或多个能够与载具100分开安装或相关联。例如，数据存储装置114能够部分地或全部地与载具100分开存在。因此，载具100能够以可以单独或一起定位的设备元件的形式提供。构成载具100的设备元件能够以有线和/或无线方式通信地耦接在一起。
图2A-图2E示出了示例载具200(例如，全自主载具、半自主载具)，其能够包括结合参考图1的载具100描述的功能中的一些或全部。尽管出于说明性目的，载具200在图2A-图2E中被示出为具有侧视镜的货车，但是本公开不限于此。例如，载具200能够表示卡车、小汽车、半挂车、摩托车、高尔夫球车、越野载具、农用载具或本文其他地方描述的任何其他载具(例如，公共汽车、船、飞机、直升机、无人机、割草机、土方推土机、潜水艇、全地形载具、雪地车、飞行器、休闲载具、游乐园载具、农场设备、建筑设备或载具、仓库设备或载具、工厂设备或载具、有轨电车、火车、手推车、人行道递送载具和/或机器人设备)。
示例载具200可以包括一个或多个传感器系统202、204、206、208、210、212、214和218。在一些实施例中，传感器系统202、204、206、208、210、212、214和/或218能够表示一个或多个光学系统(例如，相机)、一个或多个lidar、一个或多个雷达、一个或多个惯性传感器、一个或多个湿度传感器、一个或多个声学传感器(例如，麦克风、声纳设备)或被配置为感测关于载具200周围的环境的信息的一个或多个其他传感器。换句话说，现在已知或以后创建的任何传感器系统能够耦接到载具200和/或能够与载具200的各种操作结合使用。作为示例，lidar能够用于载具200的自动驾驶或其他类型的导航、规划、感知和/或地图绘制操作。此外，传感器系统202、204、206、208、210、212、214和/或218能够表示本文描述的传感器的组合(例如，一个或多个lidar和雷达；一个或多个lidar和相机；一个或多个相机和雷达；一个或多个lidar、相机和雷达)。
应注意，图2A-图2E中描绘的传感器系统(例如，202、204)的数量、位置和类型旨在作为自主或半自主载具的这种传感器系统的位置、数量和类型的非限制性示例。这种传感器的替代数量、位置、类型和配置是可能的(例如，以符合载具尺寸、形状、空气动力学、燃料经济性、美学或其他条件，和/或降低成本，以适应专门的环境或应用情形)。例如，传感器系统(例如，202、204)能够设置在载具上的各种其他位置(例如，在位置216处)，并且能够具有对应于载具200的内部和/或周围环境的视场。
传感器系统202可以安装在载具200的顶上，并且可以包括被配置为检测关于载具200周围的环境的信息并输出信息的指示的一个或多个传感器。例如，传感器系统202能够包括相机、雷达、lidar、惯性传感器、湿度传感器和声学传感器(例如，麦克风和/或声纳设备)的任何组合。传感器系统202能够包括一个或多个可移动安装件，其能够可操作以调整传感器系统202中的一个或多个传感器的朝向。在一个实施例中，可移动安装件能够包括旋转平台，该旋转平台能够扫描传感器以便从载具200周围的每个方向获得信息。在另一实施例中，传感器系统202的可移动安装件能够在角度和/或方位角和/或高度的特定范围内以扫描方式移动。传感器系统202能够安装在汽车的车顶顶上，但是其他安装位置也是可能的。
另外，传感器系统202的传感器能够分布在不同的位置，并且不需要并置在单个位置。此外，传感器系统202的每个传感器能够被配置为独立于传感器系统202的其他传感器而移动或扫描。附加地或可替代地，多个传感器可以安装在传感器位置202、204、206、208、210、212、214和/或218中的一个或多个处。例如，可以存在安装在传感器位置处的两个lidar设备和/或可以存在安装在传感器位置处的一个lidar设备和一个雷达。
一个或多个传感器系统202、204、206、208、210、212、214和/或218能够包括一个或多个lidar传感器。例如，lidar传感器能够包括相对于给定平面(例如，x-y平面)在一定角度范围内布置的多个光发射器设备。例如，传感器系统202、204、206、208、210、212、214和/或218中的一个或多个可以被配置为围绕垂直于给定平面的轴(例如，z轴)旋转或枢转，以便用光脉冲照射载具200周围的环境。基于检测反射光脉冲的各个方面(例如，经过的飞行时间、偏振和/或强度)，可以确定关于周围环境的信息。
在示例实施例中，传感器系统202、204、206、208、210、212、214和/或218可以被配置为提供可以与载具200的周围环境内的物理对象相关的相应点云信息。虽然载具200和传感器系统202、204、206、208、210、212、214和218被示出为包括某些特征，但是将理解，在本公开的范围内，其他类型的传感器系统被设想到。此外，示例载具200能够包括结合图1的载具100描述的任何组件。
在示例配置中，一个或多个雷达能够位于载具200上。类似于上述雷达126，一个或多个雷达可以包括被配置为发送和接收无线电波(例如，频率在30Hz与300GHz之间的电磁波)的天线。这样的无线电波可以用于确定到载具200的周围环境中的一个或多个对象的距离和/或所述载具200的周围环境中的一个或多个对象的速度。例如，一个或多个传感器系统202、204、206、208、210、212、214和/或218能够包括一个或多个雷达。在一些示例中，一个或多个雷达能够位于载具200的后部附近(例如，传感器系统208、210)，以主动扫描载具200后面附近的环境以寻找无线电反射对象的存在。类似地，一个或多个雷达能够位于载具200的前部附近(例如，传感器系统212、214)，以主动扫描载具200的前部附近的环境。雷达能够位于例如适合于照亮包括载具200的向前移动路径的区域而不被载具200的其他特征遮挡的位置。例如，雷达能够嵌入和/或安装在前保险杠、前大灯、整流罩和/或发动机罩等中或其附近。此外，能够定位一个或多个附加的雷达以主动扫描载具200的侧面和/或后部以寻找无线电反射对象的存在，诸如通过在后保险杠、侧面板、门槛板和/或底盘等中或其附近包括这样的设备。
载具200能够包括一个或多个相机。例如，一个或多个传感器系统202、204、206、208、210、212、214和/或218能够包括一个或多个相机。相机能够是光敏仪器，诸如静态相机、摄像机、热成像相机、立体相机、夜视相机等，其被配置为捕获载具200的周围环境的多个图像。为此，相机能够被配置为检测可见光，并且能够附加地或可替代地被配置为检测来自光谱的其他部分的光，诸如红外光或紫外光。相机能够是二维检测器，并且能够可选地具有三维空间范围的灵敏度。在一些实施例中，相机能够包括例如距离检测器，该距离检测器被配置为生成指示从相机到周围环境中的数个点的距离的二维图像。为此，相机可以使用一种或多种距离检测技术。例如，相机能够通过使用结构光技术来提供范围信息，其中载具200以预定光图案(诸如网格或棋盘图案)照射周围环境中的对象，并且使用相机来检测预定光图案从环境周围环境的反射。基于反射光图案的失真，载具200能够确定到对象上的点的距离。预定光图案可以包括红外光或以用于这种测量的其他合适波长的辐射。在一些示例中，相机能够安装在载具200的前挡风玻璃内。具体地，相机能够被定位为从相对于载具200的朝向的前视视图捕获图像。也能够使用相机的其他安装位置和视角，在载具200内部或外部。此外，相机能够具有相关联的光学器件，其可操作以提供可调节的视场。更进一步地，相机能够利用可移动安装件安装到载具200，以变化相机的指向角度，例如经由平移/倾斜机构。
载具200还可以包括用于感测载具200的周围环境的一个或多个声学传感器(例如，传感器系统202、204、206、208、210、212、214、216、218中的一个或多个可以包括一个或多个声学传感器)。声学传感器可以包括用于感测载具200周围环境的流体(例如，空气)中的声波(即，压差)的麦克风(例如，压电麦克风、电容式麦克风、带式麦克风和/或微机电系统(MEMS)麦克风)。这样的声学传感器可以用于识别载具200的控制策略可以依据的周围环境中的声音(例如，汽笛、人类语音、动物声音和/或警报)。例如，如果声学传感器检测到汽笛(例如，流动汽笛和/或消防车汽笛)，则载具200可以减速和/或导航到道路的边缘。
尽管未在图2A-图2E中示出，但是载具200能够包括无线通信系统(例如，类似于图1的无线通信系统146和/或除了图1的无线通信系统146之外)。无线通信系统可以包括无线发送器和接收器，其能够被配置为与载具200外部或内部的设备通信。具体地，无线通信系统能够包括被配置为与例如在载具通信系统或道路站中的其他载具和/或计算设备通信的收发器。这种载具通信系统的示例包括DSRC、射频识别(RFID)和针对智能运输系统的其他提出的通信标准。
除了所示的那些之外或代替所示的那些，载具200可以包括一个或多个其他组件。附加组件可以包括电气或机械功能。
载具200的控制系统可以被配置为根据多个可能的控制策略之中的控制策略来控制载具200。控制系统可以被配置为从耦接到载具200(在载具200上或离开载具200)的传感器接收信息，基于该信息修改控制策略(和相关联的驾驶行为)，并且根据修改的控制策略来控制载具200。控制系统还可以被配置为监测从传感器接收的信息，并且连续地评估驾驶条件；并且还可以被配置为基于驾驶条件的改变来修改控制策略和驾驶行为。例如，可以基于驾驶条件来修改载具从一个目的地到另一目的地所采取的路线。附加地或可替代地，速度、加速度、转弯角度、跟随距离(即，到当前载具前方的载具的距离)、车道选择等都能够响应于驾驶条件的改变而被修改。
如上所述，在一些实施例中，载具200可以采取货车的形式，但是替代形式也是可能的并且在本文中被设想到。这样，图2F-图2I示出载具250采用半卡车形式的实施例。例如，图2F示出载具250的前视图，并且图2G示出载具250的等距视图。在载具250是半挂卡车的实施例中，载具250可以包括牵引车部分260和拖车部分270(在图2G中示出)。图2H和士2I分别提供牵引车部分260的侧视图和俯视图。类似于上面所示的载具200，图2F-图2I中所示的载具250还可以包括各种传感器系统(例如，类似于参考图2A-图2E示出和描述的传感器系统202、206、208、210、212、214)。在一些实施例中，虽然图2A-图2E的载具200可以仅包括一些传感器系统(例如，传感器系统204)的单个副本，但是图2F-图2I中所示的载具250也可以包括该传感器系统(例如，如图所示的传感器系统204A和204B)的多个副本。
虽然附图和描述通篇可以提及给定形式的载具(例如，半卡车载具250或货车载具200)，但是将理解，本文描述的实施例能够等同地应用于各种载具场景中(例如，在采用考虑载具的形状因子的修改的情况下)。例如，描述或示出为货车载具200的一部分的传感器和/或其他组件也能够在半卡车载具250中使用(例如，用于导航和/或障碍物检测和规避)。
图2J示出各种传感器视场(例如，与上述载具250相关联)。如上所述，载具250可以包含多个传感器/传感器单元。例如，各种传感器的位置可以对应于图2F-图2I中公开的传感器的位置。然而，在一些情况下，传感器可以具有其他位置。为了简化附图，从图2J中省略了传感器位置附图标记。对于载具250的每个传感器单元，图2J示出了代表性视场(例如，标记为252A、252B、252C、252D、254A、254B、256、258A、258B和258C的视场)。传感器的视场可以包括角度区域(例如，方位角区域和/或仰角区域)，传感器可以在该角度区域上检测对象。
图2K示出根据示例实施例的用于载具(例如，参考图2F-图2J示出和描述的载具250)的传感器的波束转向。在各种实施例中，载具250的传感器单元可以是雷达、lidar、声纳等。此外，在一些实施例中，在传感器的操作期间，可以在传感器的视场内扫描传感器。示例传感器的各种不同扫描角度被示出为区域272，所述区域272均指示传感器正在其上操作的角度区域。传感器可以周期性地或迭代地改变传感器正在其上操作的区域。在一些实施例中，载具250可以使用多个传感器来测量区域272。另外，在其他示例中可以包括其他区域。例如，一个或多个传感器可以测量载具250的拖车270和/或载具250正前方的区域的各方面。
在一些角度，传感器的操作区域275可以包括拖车270的后轮276A、276B。因此，传感器可以在操作期间测量后轮276A和/或后轮276B。例如，后轮276A、276B可以反射由传感器发送的lidar信号或雷达信号。传感器可以接收来自后轮276A、276的反射信号。因此，由传感器收集的数据可以包括来自车轮反射的数据。
在一些情况下，诸如当传感器是雷达时，来自后轮276A、276B的反射可以表现为接收到的雷达信号中的噪声。因此，在后轮276A、276B引导雷达信号远离传感器的情况下，雷达可以以增强的信噪比操作。
图3是根据示例实施例的与自主或半自主载具相关的各种计算系统之间的无线通信的概念图示。特别地，无线通信可以经由网络304在远程计算系统302与载具200之间发生。无线通信也可以发生在服务器计算系统306与远程计算系统302之间，以及服务器计算系统306与载具200之间。
载具200能够对应于能够在位置之间运输乘客或对象的各种类型的载具，并且可以采取上面讨论的载具中的任何一个或多个的形式。在一些情况下，载具200可以以自主或半自主模式操作，该模式使得控制系统能够使用传感器测量在目的地之间安全地导航载具200。当在自主或半自主模式下操作时，载具200可以在有或没有乘客的情况下导航。结果，载具200可以在期望的目的地之间搭乘和放下乘客。
远程计算系统302可以表示与远程辅助技术相关的任何类型的设备，包括但不限于本文描述的那些。在示例内，远程计算系统302可以表示任何类型的设备，其被配置为(i)接收与载具200相关的信息，(ii)提供接口，人类操作员能够通过该接口进而感知信息并输入与信息相关的响应，以及(iii)将响应发送到载具200或其他设备。远程计算系统302可以采取各种形式，诸如工作站、台式计算机、膝上型计算机、平板计算机、移动电话(例如，智能电话)和/或服务器。在一些示例中，远程计算系统302可以包括在网络配置中一起操作的多个计算设备。
远程计算系统302可以包括与载具200的子系统和组件类似或相同的一个或多个子系统和组件。至少，远程计算系统302可以包括被配置用于执行本文描述的各种操作的处理器。在一些实施例中，远程计算系统302还可以包括用户接口，该用户接口包括输入/输出设备，诸如触摸屏和扬声器。其他示例也是可能的。
网络304表示实现远程计算系统302与载具200之间的无线通信的基础设施。网络304还实现服务器计算系统306与远程计算系统302之间以及服务器计算系统306与载具200之间的无线通信。
远程计算系统302的位置能够在示例内变化。例如，远程计算系统302可以具有距载具200的远程位置，其具有经由网络304的无线通信。在另一示例中，远程计算系统302可以对应于载具200内的计算设备，该计算设备与载具200分离，但是人类操作者能够利用其与载具200的乘客或驾驶员交互。在一些示例中，远程计算系统302可以是具有可由载具200的乘客操作的触摸屏的计算设备。
在一些实施例中，由远程计算系统302执行的本文描述的操作可以附加地或可替代地由载具200(即，由载具200的任何(多个)系统或(多个)子系统)执行。换句话说，载具200可以被配置为提供载具的驾驶员或乘客能够与其交互的远程辅助机构。
服务器计算系统306可以被配置为经由网络304与远程计算系统302和载具200无线通信(或者可能直接与远程计算系统302和/或载具200通信)。服务器计算系统306可以表示被配置为接收、存储、确定和/或发送与载具200及其远程辅助相关的信息的任何计算设备。这样，服务器计算系统306可以被配置为执行本文描述为由远程计算系统302和/或载具200执行的任何(多个)操作或这种(或这些)操作的各部分。与远程辅助相关的无线通信的一些实施例可以利用服务器计算系统306，而其他实施例可以不利用服务器计算系统306。
服务器计算系统306可以包括与远程计算系统302和/或载具200的子系统和组件类似或相同的一个或多个子系统和组件，诸如被配置用于执行本文描述的各种操作的处理器，以及用于从远程计算系统302和载具200接收信息并向远程计算系统302和载具200提供信息的无线通信接口。
上述各种系统可以执行各种操作。现在将描述这些操作和相关特征。
根据上面的讨论，计算系统(例如，远程计算系统302、服务器计算系统306和/或载具200本地的计算系统)可以操作以使用相机来捕获自主或半自主载具的周围环境的图像。通常，至少一个计算系统将能够分析图像并且可能地控制自主或半自主载具。
在一些实施例中，为了促进自主或半自主操作，载具(例如，载具200)可以以各种方式接收表示载具周围的环境中的对象的数据(在本文中也称为“环境数据”)。载具上的传感器系统可以提供表示周围环境的对象的环境数据。例如，载具可以具有各种传感器，包括相机、雷达、lidar、麦克风、无线电单元和其他传感器。这些传感器中的每一个可以将关于每个相应传感器接收的信息的环境数据传送到载具中的处理器。
在一个示例中，相机可以被配置为捕获静止图像和/或视频。在一些实施例中，载具可以具有以不同朝向定位的多于一个相机。而且，在一些实施例中，相机可以能够移动以在不同方向上捕获图像和/或视频。相机可以被配置为将捕获的图像和视频存储到存储器，以供载具的处理系统稍后处理。捕获的图像和/或视频可以是环境数据。此外，相机可以包括如本文所述的图像传感器。
在另一示例中，雷达可以被配置为发射将被载具附近的各种对象反射的电磁信号，然后捕获从对象反射的电磁信号。捕获的反射电磁信号可以使雷达(或处理系统)能够关于反射电磁信号的对象进行各种确定。例如，可以确定到各种反射对象的距离和各种反射对象的位置。在一些实施例中，载具可以具有在不同朝向上的多于一个雷达。雷达可以被配置为将捕获的信息存储到存储器，以供载具的处理系统稍后处理。由雷达捕获的信息可以是环境数据。
在另一示例中，lidar可以被配置为发送将由载具附近的目标对象反射的电磁信号(例如，红外光，诸如来自气体或二极管激光器或其他可能光源的红外光)。lidar可以能够捕获反射的电磁(例如，红外光)信号。捕获的反射电磁信号可以使测距系统(或处理系统)能够确定到各种对象的距离。lidar还可以能够确定目标对象的速度或速率并将其存储为环境数据。
另外，在示例中，麦克风可以被配置为捕获载具周围的环境的音频。由麦克风捕获的声音可以包括紧急载具汽笛和其他载具的声音。例如，麦克风可以捕获救护车、消防车或警车的汽笛的声音。处理系统可以能够识别捕获的音频信号指示紧急载具。在另一实例中，麦克风可以捕获另一载具的排气的声音，诸如来自摩托车的排气的声音。处理系统可以能够识别捕获的音频信号指示摩托车。由麦克风捕获的数据可以形成环境数据的一部分。
在又一示例中，无线电单元可以被配置为发送电磁信号，该电磁信号可以采用蓝牙信号、802.11信号和/或其他无线电技术信号的形式。第一电磁辐射信号可以经由位于无线电单元中的一个或多个天线发送。此外，第一电磁辐射信号可以用许多不同的无线电信令模式之一来发送。然而，在一些实施例中，期望以信令模式发送第一电磁辐射信号，该信令模式请求来自位于自主或半自主载具附近的设备的响应。处理系统可以能够基于传送回无线电单元的响应来检测附近的设备，并且使用该传送的信息作为环境数据的一部分。
在一些实施例中，处理系统可以能够组合来自各种传感器的信息，以便进一步确定载具的周围环境。例如，处理系统可以组合来自雷达信息和捕获图像两者的数据，以确定另一载具或行人是否在自主或半自主载具的前部。在其他实施例中，处理系统可以使用传感器数据的其他组合来做出关于周围环境的确定。
当在自主模式(或半自主模式)下操作的同时，载具可以在几乎没有人工输入的情况下控制其操作。例如，人类操作员可以将地址输入到载具中，然后载具可以能够在没有来自人类的进一步输入的情况下(例如，人类不必转向或触摸制动器/油门踏板)驾驶到指定目的地。此外，当载具自主地或半自主地操作的同时，传感器系统可以接收环境数据。载具的处理系统可以基于从各种传感器接收的环境数据来改变载具的控制。在一些示例中，载具可以响应于来自各种传感器的环境数据而改变载具的速度。载具可以改变速度以便避开障碍物、遵守交通法规等。当载具中的处理系统识别出载具附近的对象时，载具可以能够改变速度，或者以另一种方式改变移动。
当载具检测到对象但对对象的检测不是高度确信时，载具能够请求人类操作员(或更强大的计算机)执行一个或多个远程辅助任务，诸如(i)确认对象是否实际上存在于周围环境中(例如，如果实际上存在停车标志或者如果实际上不存在停车标志)，(ii)确认载具对对象的识别是否正确，(iii)如果识别不正确，则纠正识别，和/或(iv)为自主或半自主载具提供补充指令(或修改当前指令)。远程辅助任务还可以包括人类操作员提供指令以控制载具的操作(例如，如果人类操作员确定对象是停车标志，则指示交通工具在停车标志处停车)，尽管在一些场景中，载具本身可以基于人类操作员的与对象的识别相关的反馈来控制其自己的操作。
为了促进这一点，载具可以分析表示周围环境的对象的环境数据，以确定具有低于阈值的检测置信度的至少一个对象。载具中的处理器可以被配置为基于来自各种传感器的环境数据来检测周围环境的各种对象。例如，在一个实施例中，处理器可以被配置为检测对于载具识别会是重要的对象。这样的对象可以包括行人、骑自行车的人、街道标志、其他载具、其他载具上的指示器信号以及在捕获的环境数据中检测到的其他各种对象。
检测置信度可以指示确定的对象在周围环境中被正确地识别或者存在于周围环境中的可能性。例如，处理器可以对接收的环境数据中的图像数据内的对象执行对象检测，并且基于不能以高于阈值的检测置信度识别对象来确定至少一个对象具有低于阈值的检测置信度。如果对象的对象检测或对象识别的结果是不确定的，则检测置信度会较低或低于设置的阈值。
载具可以取决于环境数据的来源以各种方式检测周围环境的对象。在一些实施例中，环境数据可以来自相机并且是图像或视频数据。在其他实施例中，环境数据可以来自lidar。载具可以分析捕获的图像或视频数据以识别图像或视频数据中的对象。所述方法和装置可以被配置为针对周围环境的对象的存在来监测图像和/或视频数据。在其他实施例中，环境数据可以是雷达、音频或其他数据。载具可以被配置为基于雷达、音频或其他数据来识别周围环境的对象。
在一些实施例中，载具用于检测对象的技术可以基于一组已知数据。例如，与环境对象相关的数据可以存储到位于载具中的存储器。载具可以将接收的数据与存储的数据进行比较以确定对象。在其他实施例中，载具可以被配置为基于数据的上下文来确定对象。例如，与建筑相关的街道标志通常可以具有橙色。因此，载具可以被配置为检测橙色的对象，并且位于道路侧面附近作为建筑相关的街道标志。另外，当载具的处理系统在捕获的数据中检测到对象时，它还可以计算针对每个对象的置信度。
此外，载具还可以具有置信度阈值。置信度阈值可以取决于正检测的对象的类型而变化。例如，对于会需要来自载具的快速响应动作的对象(诸如另一载具上的制动灯)，置信度阈值可以较低。然而，在其他实施例中，置信度阈值对于所有检测到的对象可以是相同的。当与检测到的对象相关联的置信度大于置信度阈值时，载具可以假设对象被正确识别，并且基于该假设响应地调整对载具的控制。
当与检测到的对象相关联的置信度小于置信度阈值时，载具采取的动作可以变化。在一些实施例中，尽管置信度水平低，但是载具可以如同检测到的对象存在一样做出反应。在其他实施例中，载具可以如同检测到的对象不存在一样作出反应。
当载具检测到周围环境的对象时，它还可以计算与特定的检测到的对象相关联的置信度。取决于实施例，能够以各种方式计算置信度。在一个示例中，当检测到周围环境的对象时，载具可以将环境数据和与已知对象相关的预定数据进行比较。环境数据与预定数据之间的匹配越接近，置信度越高。在其他实施例中，载具可以使用环境数据的数学分析来确定与对象相关联的置信度。
响应于确定对象具有低于阈值的检测置信度，载具可以向远程计算系统发送对远程辅助对象的识别的请求。如上所述，远程计算系统可以采取各种形式。例如，远程计算系统可以是载具内的计算设备，该计算设备与载具分离，但是人类操作员能够利用其与载具的乘客或驾驶员交互，诸如用于显示远程辅助信息的触摸屏界面。附加地或可替代地，作为另一示例，远程计算系统可以是远程计算机终端或位于不靠近载具的位置处的其他设备。
对远程辅助的请求可以包括环境数据，所述环境数据包括对象，诸如图像数据、音频数据等。载具可以通过网络(例如，网络304)并且在一些实施例中经由服务器(例如，服务器计算系统306)将环境数据发送到远程计算系统。远程计算系统的人类操作员又可以使用环境数据作为响应请求的基础。
在一些实施例中，当对象被检测为具有低于置信度阈值的置信度时，可以给予对象初步识别，并且载具可以被配置为响应于初步识别来调整载具的操作。这种操作调整可以采取停止载具、将载具切换到人为控制模式、改变载具的速度(例如，速度和/或方向)以及其他可能的调整的形式。
在其他实施例中，即使载具检测到具有满足或超过阈值的置信度的对象，载具也可以根据检测到的对象操作(例如，如果对象以高置信度被识别为停车标志，则停车)，但是可以被配置为在载具根据检测到的对象操作的同时(或稍后)请求远程辅助。
图4A是根据示例实施例的系统的框图。具体地，图4A示出系统400，其包括系统控制器402、lidar设备410、多个传感器412和多个可控组件414。系统控制器402包括(多个)处理器404、存储器406和存储在存储器406上并且可由(多个)处理器404执行以执行功能的指令408。
(多个)处理器404能够包括一个或多个处理器，诸如一个或多个通用微处理器(例如，具有单核或多核)和/或一个或多个专用微处理器。一个或多个处理器可以包括例如一个或多个中央处理单元(CPU)、一个或多个微控制器、一个或多个图形处理单元(GPU)、一个或多个张量处理单元(TPU)、一个或多个ASIC和/或一个或多个现场可编程门阵列(FPGA)。本文还设想到了被配置为执行软件指令的其他类型的处理器、计算机或设备。
存储器406可以包括计算机可读介质，诸如非暂时性计算机可读介质，其可以包括但不限于只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、非易失性随机存取存储器(例如，闪存)、固态驱动器(SSD)、硬盘驱动器(HDD)、压缩盘(CD)、数字视频盘(DVD)、数字磁带、读/写(R/W)CD、R/WDVD等。
下面进一步描述的lidar设备410包括被配置为(例如，以光脉冲)发射光的多个光发射器和被配置为检测光(例如，光脉冲的反射部分)的一个或多个光检测器。lidar设备410可以从(多个)光检测器的输出生成三维(3D)点云数据，并将3D点云数据提供给系统控制器402。系统控制器402又可以对3D点云数据执行操作以确定周围环境的特性(例如，周围环境内的对象的相对位置、边缘检测、对象检测和/或接近度感测)。
类似地，系统控制器402可以使用来自多个传感器412的输出来确定系统400的特性和/或周围环境的特性。例如，传感器412可以包括GPS、IMU、图像捕获设备(例如，相机)、光传感器、热传感器和指示与系统400和/或周围环境相关的参数的其他传感器中的一个或多个。出于示例的目的，lidar设备410被描绘为与传感器412分离，并且在一些示例中可以被认为是传感器412的一部分或被认为是传感器412。
基于由系统控制器402基于来自lidar设备410和传感器412的输出确定的系统400和/或周围环境的特性，系统控制器402可以控制可控组件414执行一个或多个动作。例如，系统400可以对应于载具，在这种情况下，可控组件414可以包括载具的制动系统、转弯系统和/或加速系统，并且系统控制器402可以基于从lidar设备410和/或传感器412确定的特性来改变这些可控组件的各方面(例如，当系统控制器402以自主或半自主模式控制载具时)。在示例内，lidar设备410和传感器412也可由系统控制器402控制。
图4B是根据示例实施例的lidar设备的框图。特别地，图4B示出lidar设备410，其具有被配置为控制多个光发射器424以及一个或多个光检测器(例如，多个光检测器426)的控制器416。lidar设备410还包括激发电路428，其被配置为选择多个光发射器424中的相应光发射器并向其提供电力；并且可以包括选择器电路430，其被配置为选择多个光检测器426中的相应光检测器。控制器416包括(多个)处理器418、存储器420及存储在存储器420上的指令422。
类似于(多个)处理器404，(多个)处理器418能够包括一个或多个处理器，诸如一个或多个通用微处理器和/或一个或多个专用微处理器。一个或多个处理器可以包括例如一个或多个CPU、一个或多个微控制器、一个或多个GPU、一个或多个TPU、一个或多个ASIC和/或一个或多个FPGA。本文还设想到了被配置为执行软件指令的其他类型的处理器、计算机或设备。
类似于存储器406，存储器420可以包括计算机可读介质，诸如非暂时性计算机可读介质，诸如但不限于ROM、PROM、EPROM、EEPROM、非易失性随机存取存储器(例如，闪存)、SSD、HDD、CD、DVD、数字磁带、R/W CD、R/W DVD等。
指令422存储在存储器420上并且可由(多个)处理器418执行以执行与控制激发电路428和选择器电路430相关的功能，用于生成3D点云数据，以及用于处理3D点云数据(或者可能促进由另一计算设备(诸如系统控制器402)处理3D点云数据)。
控制器416能够通过使用光发射器424发射光脉冲来确定3D点云数据。为每个光发射器建立发射时间，并且还跟踪发射时的相对位置。lidar设备410的周围环境的各方面(诸如各种对象)反射光脉冲。例如，当lidar设备410处于包括道路的周围环境中时，这样的对象可以包括载具、标志、行人、路面、建筑锥体等。一些对象可以比其他对象更具反射性，使得反射光的强度可以指示反射光脉冲的对象的类型。此外，对象的表面可以相对于lidar设备410处于不同的位置，并且因此花费更多或更少的时间来将光脉冲的部分反射回lidar设备410。因此，控制器416可以跟踪反射光脉冲被光检测器检测到的检测时间和光检测器在检测时间的相对位置。通过测量发射时间与检测时间之间的时间差，控制器416能够确定光脉冲在被接收之前行进多远，并且因此确定对应对象的相对距离。通过跟踪在发射时间和检测时间的相对位置，控制器416能够确定光脉冲和反射光脉冲相对于lidar设备410的朝向，并且因此确定对象的相对朝向。通过跟踪接收的光脉冲的强度，控制器416能够确定对象的反射性如何。因此，基于该信息确定的3D点云数据可以指示检测到的反射光脉冲的相对位置(例如，在诸如笛卡尔坐标系的坐标系内)和每个反射光脉冲的强度。
激发电路428用于选择用于发射光脉冲的光发射器。选择器电路430类似地用于对来自光检测器的输出进行采样。
图5A是根据示例实施例的可用于发射一组光信号并检测一组反射光信号的lidar设备的图示。例如，图5A可以表示参考图4B示出和描述的lidar设备410内的光发射器424和光检测器426的物理布置。在一些实施例中，这样的光发射器424和光检测器426可以定位在(例如，安装到或制造在)基板500上。此外，光发射器424和光检测器426可以布置为通道。每个通道可以包括单个光发射器424和单个对应的光检测器426。例如，如图5A所示，光检测器426可以紧邻基板500上的其对应的光发射器424定位(例如，如图所示，沿着z方向在上方或下方)。然而，应该理解，其他实施例也是可能的并且在本文中被设想。例如，多个光检测器可以对应于单个光发射器，多个光发射器可以对应于单个光检测器，和/或光检测器可以不被定位为与它们对应的光发射器相邻。
此外，如图5A中所说明，光发射器424和光检测器426可以分别连接(例如，电连接)到激发电路428和选择器电路430(例如，类似于图4B)。例如，这种连接可以使用导电迹线522发生。然而，将理解，本文所述的技术保持广泛适用，并且图5A的布置(包括激发电路428和选择器电路430的合并)仅作为示例提供。
阵列中的光发射器424可以包括诸如激光二极管的光源。在一些实施例中，光发射器424可以包括脉冲光源。例如，光源可以包括一个或多个脉冲激光器(例如，Q开关激光器)。在替代实施例中，可以使用连续波(CW)光源。在一些实施例中，光发射器424可以包括耦接到光放大器的光纤激光器。特别地，光纤激光器可以是其中有源增益介质(即，激光器内的光学增益源)在光纤中的激光器。此外，光纤激光器能够以各种方式布置在lidar设备410内(例如，部分地设置在基板500上或完全设置在基板500上)。然而，在其他实施例中，阵列中的一个或多个光发射器424可以附加地或可替代地包括LED、垂直腔表面发射激光器(VCSEL)、有机发光二极管(OLED)、聚合物发光二极管(PLED)、发光聚合物(LEP)、液晶显示器(LCD)、MEMS和/或被配置为选择性地透射、反射和/或发射光以提供发射光束和/或脉冲的任何其他设备。光发射器424可以被配置为朝向周围环境中的对象发射光信号，当被这样的对象反射时，光信号能够被光检测器426检测到，以确定lidar设备410与相应对象之间的距离。
由光发射器424发射的波长范围能够例如在电磁波谱的紫外、可见和/或红外部分中。在一些示例中，波长范围能够是窄波长范围，诸如由激光器提供的范围。在一些实施例中，波长范围包括大约905nm的波长。注意，该波长仅作为示例提供，并不意味着限制。
尽管未在图5A中示出，但是将理解，由阵列中的光发射器424发射的光信号(例如，光脉冲)可以经由一个或多个透镜、反射镜、彩色滤光器、偏振器、波导、孔径等发送到周围环境中。例如，在一些实施例中，来自光发射器424的光信号可以在被发送到周围环境之前被重定向、聚焦、准直、滤波和/或以其他方式调整。在一些实施例中，光发射器424可以使用共享光学器件(例如，在所有光发射器424或一组光发射器424之间共享的单个透镜)和/或使用仅对应于单个光发射器424的光学器件(例如，仅由该光发射器424使用的偏振器或彩色滤光器)将光信号发送到周围环境中。
在一些实施例中，例如，光发射器424中的每一个可以将光信号发送到周围环境的不同区域以观察周围环境中的视场。给定光发射器424可以发射光信号的周围环境内的位置可以取决于光发射器424的位置(例如，光发射器424在基板500上的(y，z)位置)、光发射器424相对于基板500的表面的角朝向(如果有的话)、和/或光学器件(例如，反射镜和/或透镜)的位置/朝向，光发射器424通过所述光学器件向周围环境提供光信号。仅在一个示例中，基板500上的光发射器424可以基于基板500上的光发射器424相对于由每个光发射器424使用以向周围环境提供光的共享远心透镜组件的位置，跨方位角和/或仰角的范围将光信号发射到周围环境中(例如，以询问周围环境内的对应角度范围)。由于共享远心透镜组件的形状，光信号可以跨方位角和/或仰角的范围扩散。
光检测器426可以包括各种类型的检测器(例如，单光子检测器)。例如，光检测器426可以包括SPAD和/或SiPM。SPAD可以采用反向偏置p-n结(即，二极管)内的雪崩击穿来增加SPAD上的给定入射照明的输出电流。此外，SPAD可以能够针对单个入射光子生成多个电子-空穴对。在一些实施例中，光检测器426可以被偏置高于雪崩击穿电压。这样的偏置条件可以创建具有大于1的环路增益的正反馈环路。另外，偏置高于阈值雪崩击穿电压的SPAD可以是单光子敏感的。在其他示例中，光检测器426可以包括光敏电阻器、电荷耦合器件(CCD)、光伏电池和/或任何其他类型的光检测器。
在一些实施方式中，光检测器426的阵列可以包括跨阵列的多于一种类型的光检测器。例如，光检测器阵列426能够被配置为检测多个预定波长的光(例如，在光发射器424跨光发射器阵列424发射不同波长的光的实施例中)。为此，例如，光检测器阵列426可以包括对一个波长范围敏感的一些SPAD和对不同波长范围敏感的其他SPAD。在一些实施例中，光检测器426可以对400nm与1.6μm之间的波长(可见和/或红外波长)敏感。此外，光检测器426可以具有各种尺寸和形状。例如，光检测器426可以包括具有为基板500的总面积的1％、0.1％或0.01％的封装尺寸的SPAD。更进一步地，在一些实施例中，光检测器426中的一个或多个可以包括检测器特定的光学器件。例如，光检测器426中的每一个可以包括位于光检测器426上方的微透镜，以增强透射到光检测器426的检测表面的接收光的量。附加地或可替代地，光检测器426中的一个或多个可以包括一个或多个光学滤波器(例如，(多个)中性密度滤波器、(多个)偏振滤波器和/或(多个)彩色滤波器)。
如上所述，光检测器426中的每一个可以对应于光发射器424。在一些实施例中，光检测器426可以经由一个或多个光学器件(例如，彩色滤光器、偏振器、透镜、反射镜和/或波导)从周围场景接收光。这样的光学器件可以特定于光检测器426之一和/或由光检测器426的组(例如，基板500上的所有光检测器)共享。更进一步地，在一些实施例中，除了是用于光检测器426中的一个或多个的接收路径的一部分之外，接收光学器件中的一个或多个可以是用于光发射器424中的一个或多个的发射路径的一部分。例如，反射镜可以将来自一个或多个光发射器424的光反射到周围环境中，并且还可以将从周围环境接收的光引导到一个或多个光检测器426。
如上所述，光发射器424可以被配置为跨方位角和/或仰角(即，偏航角和/或俯仰角)的范围将光信号发送到周围环境。类似地，基于lidar设备410中的光检测器426的位置，光检测器426可以被布置为跨方位角和/或仰角(即，偏航角和/或俯仰角)的对应范围接收从lidar设备410周围的环境中的对象反射的光信号。
光发射器阵列424可以由激发电路428供电和/或控制。同样地，光检测器426可以由选择器电路430供电、由选择器电路430控制和/或将检测信号提供给选择器电路430。如图5A所示，激发电路428可以通过限定在基板500中的导电迹线522连接到一个或多个光发射器424，并且选择器电路430可以通过限定在基板500中的导电迹线522连接到一个或多个光检测器426。图5A示出将激发电路428连接到光发射器424的第一导电迹线522和将选择器电路430连接到光检测器426的第二导电迹线522。应该理解，这仅作为示例提供。在其他实施例中，激发电路428可以通过单独的导电迹线522单独地连接到每个光发射器424。同样，选择器电路430可以通过单独的导电迹线522单独地连接到每个光检测器426。可替代地，激发电路428可以通过单个导电迹线522连接到光发射器424的排，和/或选择器电路430可以通过单个导电迹线522连接到光检测器426的排。例如，四个光发射器424的组可以通过单个导电迹线522连接到激发电路428。以这种方式，四个光发射器424的排能够由激发电路428同时激发。组内的其他数量的光发射器424或光检测器426也是可能的。
在一些实施例中，激发电路428可以包括一个或多个电容器。这样的电容器可以由一个或多个电源充电。然后，为了使光发射器424发射光信号(即，“激发”)，电容器中存储的能量可以通过光发射器424释放。在一些实施例中，激发电路428可以使光发射器424彼此同时发射光信号。在其他实施例中，激发电路428可以使光发射器424顺序地发射光信号。其他激发模式(包括随机和伪随机激发模式)也是可能的并且在本文中被设想到。
另外，在一些实施例中，激发电路428可以由控制器(例如，参考图4B示出和描述的控制器416)控制。控制器416可以经由激发控制信号(例如，根据预定义模式)使用激发电路428选择性地激发光发射器424。在一些实施例中，控制器416还可以被配置为控制lidar设备410的其他功能。例如，控制器可以基于从lidar设备410中的光检测器426接收的电子信号来控制与lidar设备410相关联的一个或多个可移动台的移动和/或生成lidar设备410周围的环境的点云表示，所述电子信号对应于检测到的从环境中的对象反射的光信号。在各种实施例中，可以基于与发射信号的强度相比的检测到的信号的强度和/或基于与发射信号的定时相比的检测到的信号的定时来完成生成点云表示。在替代实施例中，关于检测到的光信号和/或发射的光信号的数据(例如，定时数据或强度数据)可以被发送到单独的计算设备(例如，远程定位的服务器计算设备；或车载载具控制器，诸如参考图4A示出和描述的系统控制器402)。单独的计算设备可以被配置为生成点云表示(例如，并将点云表示存储在诸如存储器406的存储器中，和/或将点云表示发送到lidar控制器)。
将理解，图5A中所示的布置是作为示例提供的，并且其他实施例也是可能的并且在本文中被设想到。例如，lidar设备410可以替代地包括多个基板500，每个基板500在其上具有光发射器424和光检测器426。附加地或可替代地，在一些实施例中，基板500上的光发射器424的数量可以与图5A中所示的不同(例如，多于或少于十六个光发射器424)，基板500上的光检测器426的数量可以与图5A中所示的不同(例如，多于或少于十六个光检测器426)，基板500上的光发射器424的布置可以与图5A中所示的不同，基板500上的光检测器426的布置可以与图5A中所示的不同，导电迹线522的位置和/或数量可以与图5A中所示的不同，光发射器424中的一个或多个的相对尺寸可以与图5A中所示的不同，和/或光检测器426中的一个或多个的相对尺寸可以与图5A中所示的不同。其他差异也是可能的并且在本文中被设想到。
图5B是根据示例实施例的lidar设备(例如，参考图4A、图4B和图5A示出和描述的lidar设备410)内的通道之间的潜在串扰的图示。例如，lidar设备410可以包括基板500、通道阵列(例如，每个通道包括光发射器424和光检测器426，如图5A所示)、激发电路428、选择器电路430和导电迹线522。
作为示例，lidar设备410可以包括第一光发射器502。第一光发射器502可以将光信号发射到周围环境中。通常，在发射光信号被具有中等反射率的表面反射时，中等强度的反射光信号504可以被引导回lidar设备。如图5B所示，中等强度反射光信号504可以照射lidar设备410内的对应的第一光检测器514。此外，中等强度反射光信号504的大小可能不足以基本上和/或可测量地照射lidar设备内的其他光检测器426。然而，如果从第一光发射器502发射到周围环境中的光信号被具有高反射率的表面(例如，回射器)反射，则当入射在光检测器阵列426上时，反射信号的强度可以更高和/或占据更大的可检测区域。如图5B所示，高强度反射光信号506可以照射多个光检测器426。例如，高强度反射光信号506可以照射第一光检测器514以及一个或多个第二光检测器516。第二光检测器516在本文中可以被称为易受串扰(例如，来自由来自第一光发射器502的发射信号产生的反射光信号的串扰)影响的光检测器，这意味着第二光检测器516可能不期望地检测到来自第一通道的光(例如，这可能导致基于第二光检测器516的检测的噪声或不正确的检测事件)。
将理解，lidar设备内的哪些光检测器426能够检测给定反射信号(例如，哪些光检测器426易受串扰影响)可以取决于反射信号的强度(例如，基于周围环境中的表面的反射率)、光检测器426的灵敏度、lidar设备中的光检测器426的位置、lidar设备中的光检测器426的朝向(例如，光检测器426的方位角/偏航角朝向和/或仰角/俯仰角朝向)、到周围环境中的反射表面的距离等。例如，在一些实施例中，从lidar设备410到周围环境中的反射表面的距离越远，可能受串扰影响的光检测器426的数量越少(例如，到反射表面的距离越远，高强度反射光信号506的半径越小)。这可以是反射光信号在传播通过周围环境时衰减/发散的结果(例如，由于周围环境中的灰尘、烟雾等)，导致lidar设备与反射表面之间的间隔越远，光信号的强度降低。
鉴于上述情况，将理解，在各种实施例中，反射信号可以由lidar设备410中的非预期光检测器426检测，从而导致串扰。本文描述的实施例可以尝试减轻lidar设备410内的串扰，而不管原因如何(例如，无论串扰是否由高反射率表面导致和/或如果串扰由高反射率表面导致，无论lidar设备410与高反射率表面之间的间隔如何)。
图6A和图6B示出根据示例实施例的可以用于减轻串扰的技术。该技术可以包括lidar设备(例如，关于图4B、图5A和图5B示出和描述的lidar设备410)的不同通道根据不同的发射图案和/或发射序列发射光信号，随后在后续检测反射光信号。例如，图6A可以示出在第一周期期间由lidar设备410的光发射器424发射的光信号和由lidar设备410的光检测器426检测到的反射光信号。如图5A所示，lidar设备410可以具有16个通道(例如，编号的通道0、通道1、通道2、…、通道15)，每个通道包括光发射器424和对应的光检测器426。在第一周期期间，16个通道中的每一个的光发射器424可以发射光信号，并且如果发射的光信号从周围环境中的对象反射，则对应的光检测器426可以检测反射光信号。lidar设备410内的光检测器426可以在第一周期的监听窗口期间等待反射光信号。该监听窗口可以具有足够的持续时间以允许从远处对象(例如，大于150m远、大于200m远、大于250m远、大于300m远、大于350m远、大于400m远、大于450m远或大于500m远的对象)反射的光信号仍然被光检测器426检测到。
另一方面，图6B可以示出在第二周期期间由lidar设备410的光发射器424发射的光信号和由lidar设备410的光检测器426检测到的反射光信号。如图6B所示，在第二周期期间，只有通道的子集可以发光(例如，在顺序监听窗口期间)。这种发射策略可以防止由于相邻通道同时发射/检测而引起的串扰。例如，如图所示，只有偶数通道(例如，通道0、通道2、通道4)中的光发射器424可以在第二周期期间发射光信号。与第一周期一样，lidar设备410内的光检测器426可以在第二周期的监听窗口期间等待反射光信号。然而，该第二监听窗口可以仅具有足够的持续时间以允许由光检测器426检测从相对靠近的对象(例如，小于150m远、小于125m远、小于100m远、小于75m远或小于50m远的对象)反射的光信号。因为第二周期期间的监听窗口在持续时间上可以比第一周期期间的监听窗口更短，所以第二周期的总持续时间可以小于第一周期的总持续时间。可替代地(例如，如果第二周期的总持续时间与第一周期的总持续时间相同或大于第一周期的总持续时间)，则在第二周期期间来自光发射器424的一个或多个发射可以相对于彼此在时间上交错。这可以提供针对通道之间的串扰的进一步鲁棒性，因为它们在第二周期期间的发射/检测窗口彼此不重叠(例如，由于时间上的交错)。
通过将第一周期的较长距离检测能力与第二周期的较短距离但更抗串扰的检测能力相结合，可以产生增强的数据集(例如，可用于生成一个或多个点云)。例如，lidar设备410的完整激发周期可以包括第一周期，跟随有第二周期。在激发周期期间，可以记录和组合第一周期和第二周期期间的多个发射/检测事件以产生减轻串扰的负面影响的数据集。
图6C示出第一周期(例如，参考图6A示出和描述的第一周期)的激发图。“1”指示相应通道正在指定时间点发射光信号，而“0”指示相应通道正在抑制发射光信号。因此，如图6C所示，lidar设备410的每个通道中的每个光发射器424可以被同时激发。此后，lidar设备410的通道的光检测器426可以使用具有足以用于相对远的对象的持续时间的单个监听窗口。例如，可以使用2.0μs与3.0μs之间的监听窗口(例如，2.5μs，其对应于375m的距离)。通过同时激发lidar设备410的多个通道中的光发射器组424(例如，通过同时激发lidar设备410的所有通道中的所有光发射器424，如图6C所示)，可以减轻lidar设备410内的内部反射的不利影响。例如，在激发光发射器424之后，可能存在由lidar设备410的一个或多个光检测器426检测到lidar设备410的内部组件的反射的短暂时段。这种检测到的内部反射可以有效地防止那些光检测器426在该短暂时段期间(例如，并且由于(多个)光检测器426的潜在饱和而在其后的附加时段内)检测从周围环境反射的信号(即，有效地使光检测器426盲化)。通过同时激发多个光发射器424，基于那些光发射器424激发的内部反射的时间段能够重叠，从而减少lidar设备410内的(多个)光检测器426被盲化花费的总时间(例如，当与替代的顺序激发序列相比时)。
另一方面，图6D示出第二周期(例如，参考图6B示出和描述的第二周期)的激发图。如图6D所示，第二周期可以包括多个激发时间和多个对应的监听窗口。在每个激发时间期间，仅单个通道可以发射光信号。例如，如图所示，在第二周期的第一激发时间期间，通道0的光发射器424可以发射光信号。在通道0发射光信号之后，lidar设备410的光检测器426可以尝试在具有足以用于相对靠近的对象的持续时间监听窗口内检测反射信号。例如，可以使用0.3μs与0.7μs之间的监听窗口(例如，0.5μs，其对应于75m的距离)。此后，在第二周期的第二激发时间期间，通道2的光发射器424可以发射光信号。在通道2发射光信号之后，lidar设备410的光检测器426可以再次尝试检测监听窗口(例如，具有与先前监听窗口相同的持续时间或不同持续时间的监听窗口)内的反射信号。该过程可以继续到通道4，然后是通道6，然后是通道8，然后是通道10，然后是通道12，最后是通道14。这在图6D中由与第五监听窗口相邻的三个点指示。
在替代实施例中，可以在顺序激发时间期间顺序地激发每两个通道，直到分配给第二周期的总时间到期(例如，如果为第二周期分配3.0μs，则可以仅使用六个激发时间/每个0.5μs的监听窗口)。可以选择通道，使得在第二周期期间使用的通道在lidar设备410的光检测器426之间均匀分布。附加地或可替代地，在一些实施例中，通道(例如，通道0至通道15)可以在第二周期期间以交错方式被激发(例如，通道0，然后通道2，然后通道4，然后通道6，然后通道8，然后通道10，然后通道12，然后通道14，然后通道1，然后通道3，然后通道5，然后通道7，然后通道9，然后通道11，然后通道13，然后通道15或通道0，然后通道3，然后通道6，然后通道9，然后通道12，然后通道15，然后通道1，然后通道4，然后通道7，然后通道10，然后通道13，然后通道2，然后通道5，然后通道8，然后通道11，然后通道14)。在其他实施例中，可以基于lidar设备410的一个或多个光学器件(例如，窗口、透镜和/或反射镜)上的污垢程度(例如，存在冷凝物、存在雨、存在雪、存在冰、存在裂缝、存在昆虫残留物和/或存在灰尘)来确定在第二周期期间使用哪些通道。例如，如果位于给定通道的光发射器424或光检测器426前部的光学窗口中存在裂缝，则可以在第二周期期间避免该通道。污垢程度可以基于使用lidar设备410或不同传感器进行的先前测量和/或基于lidar设备410附近的环境天气条件(例如，天气预报、当前温度和/或多普勒雷达数据)。在完成第二周期之后，来自第二周期的检测结果可以与第一周期的检测结果组合，以生成可用于产生一个或多个点云的数据集。
可以根据各种方法来选择在第二周期期间使用(例如，在连续的激发时间/监听窗口中迭代通过)的通道。例如，上述布置中的一个或多个(例如，每两个通道、每三个通道和/或成对交错的通道)可以存储在lidar设备的控制器的存储器内。这样的存储器可以包括在第二周期期间哪些通道以哪个顺序被激发的预定列表。在这样的实施例中，所使用的通道序列可以是固定的并且跨发射周期重复。在一些实施例中，例如，可以根据存储的预定列表在连续激发周期的第二周期期间以循环(round-robin)方式激发通道。
可替代地，选择在第二周期期间使用哪些通道可以基于一个或多个先前的激发周期和/或基于相应激发周期的第一周期。例如，通过分析第一周期，能够识别高强度返回信号。此类高强度返回信号可以表示周围环境中存在一个或多个高反射率表面(例如，回射器)。此外，这种高反射率表面可能更可能引起串扰。这样，在第一周期期间检测到高强度返回的通道(例如，以及lidar设备中该通道的预定角度内的通道)在第二周期期间可以不被使用。然而，在其他实施例中(例如，并且可能更可能)，可以在第二周期期间有意地探测检测到的高强度返回信号附近的那些通道。因为在第一周期期间接收高强度返回的通道附近的通道最有可能在第一周期期间受到串扰的影响，所以在第二周期期间单独探测那些通道会是最有信息的。因此，在第一周期期间与接收高强度返回的通道相距预定角度间隔内的通道可以在第二周期期间迭代(例如，在第二周期的激发时隙期间顺序地激发)。
在其他实施例中，可以选择用于在第二周期期间激发的通道，以便在第二周期期间提供尽可能稳健的跨整个角视场的覆盖。例如，可以为第二周期中的每个激发时隙选择通道子集(例如，通道对、通道三元组、通道四元组)。可以选择给定子集内的每个通道，使得满足最小预定角分辨率条件。例如，可以选择通道，使得在第二周期的每个激发时隙期间激发的每个通道子集内的每个通道在方位角和/或仰角上分开至少预定度数。可以基于lidar设备的一个或多个光学组件(例如，孔径、透镜、波导、反射镜和/或窗口)来确定预定度数。
图6E是lidar设备410中的通道的图示，lidar设备410可以在根据关于图6D示出和描述的激发序列发射和检测光信号时的第二周期期间发射和检测光信号。例如，在图6D的第二周期期间使用的通道在具有虚线的框的内部示出。如图6E所示，所使用的光检测器426可以(例如，沿着z方向垂直地)相对于彼此交错，使得从周围环境中的对象反射的光(例如，在先前的监听窗口期间反射的光)，该光在后续监听窗口之前不会到达lidar设备410的检测平面并表示串扰可能不会被检测到(例如，因为lidar设备410内的相邻光检测器426没有被使用，即使在顺序的监听窗口中也如此)。应该理解，在第二周期期间可以使用其他光检测器426的其他布置(例如，图6F中所示的布置)。
更进一步地，将理解，图6D中所示的激发序列是示例，并且用于第二周期的其他激发模式也是可能的并且在本文中被设想到。例如，每个通道(而不是每两个通道)可以被配置为在顺序激发时间/监听窗口期间发射光(例如，通道0，然后通道1，然后通道2，然后通道3)。可替代地，每三个通道(而不是每两个通道)可以被配置为在顺序激发时间/监听窗口期间发射光(例如，通道0，然后通道3，然后通道6，然后通道9)。在顺序时间窗口期间激发的通道之间的间隔可以基于lidar设备410中的光检测器426的物理间隔。例如，光检测器426彼此的接近程度可以用于确定有多少后续通道易受来自相邻通道的串扰的影响，并且可以仅选择那些不易受来自彼此的串扰影响的通道用于相邻的激发时间/监听窗口。
在其他实施例中，在第二周期期间的每个激发时间/监听窗口期间可以使用多于一个通道。例如，如图6G所示，在第二周期中的每个激发时间期间可以激发两个通道。在一些实施例中，被选择用于同时激发的两个通道可以在lidar设备410内尽可能远离彼此(例如，通过lidar设备410内的通道索引和/或物理位置)。这可以防止在相关联的监听窗口期间使用的两个通道之间的串扰。例如，如图所示，在第二周期的第一激发时间/监听窗口期间，通道0和通道8的光发射器424可以发射光信号，而在第二周期的第二激发时间/监听窗口期间，通道1和通道9的光发射器424可以发射光信号，以此类推。这可以允许在第二周期期间使用更大的通道总数(例如，从而增加所得数据集的分辨率)，但仍然防止串扰的可能性。此外，在一些实施例中，可以选择在第二周期期间被选择用于同时激发的通道，使得即使当基于第二监听窗口的持续时间照射位于最大可检测距离处的高反射对象(例如，回射器)时，通道之间也不发生串扰。贯穿本公开使用短语“使得通道之间不发生串扰”。将理解，虽然清楚地设想到了在通道之间确实不提供串扰的实施例，但是该短语也设想到了提供显著减少的串扰的实施例。例如，在一些实施例中，可以存在用于由lidar设备的(多个)光检测器进行检测的最小阈值强度。低于该最小阈值强度，可以不注册检测事件(例如，由(多个)光检测器和/或由分析来自(多个)光检测器的检测数据的计算设备进行)。然后，在这样的实施例中，短语“使得通道之间不发生串扰”可以对应于通道之间的小于最小阈值强度的串扰水平(例如，同时仍然保持通道之间具有非零强度的串扰信号)。
在其他实施例中，三个通道、四个通道、五个通道等可以被配置为在每个激发时间/监听窗口期间发射/检测光信号。更进一步地，在一些实施例中，在第二周期的不同部分期间可以使用不同数量的通道。例如，如图6H所示，可以在第二周期的第一激发时间/监听窗口期间使用通道0、通道7和通道14；随后是在第二周期的第二激发时间/监听窗口期间的通道1、通道5、通道9和通道13；随后是在第二周期的第三激发时间/监听窗口期间的通道2、通道8和通道15；等等。将理解，第二周期的激发序列的其他实施例也是可能的并且在本文中被设想到。例如，第二周期的顺序监听窗口的持续时间可以在监听窗口之间变化(例如，0.3μs监听窗口，随后是0.5μs监听窗口，随后是0.7μs监听窗口，随后是0.5μs监听窗口，随后是0.3μs监听窗口)。
本文描述的实施例可以利用以下事实：当检测到周围环境中的附近对象时，lidar设备410的通道可以线性地过度分辨(即，具有比必要分辨率更高的分辨率)。该构思在图7A和7B中示出。图7A示出lidar设备410在第一周期期间发射具有第一角分辨率的光信号，而图7B示出lidar设备410在第二周期期间发射具有第二角分辨率的光信号。如图所示，图7A的第一角分辨率(例如，每度发射光信号的数量)高于图7B的第二角分辨率。此外，用于第一周期的监听窗口可以对应于比用于第二周期的监听窗口更大的范围。例如，如图所示，用于第一周期的监听窗口可以对应于300m，而用于第二周期的监听窗口可以对应于50m(尽管所示出的相同原理将以与所示出的范围不同的范围来应用)。如图所示，尽管第二周期的发射图案的第二角分辨率较低，但针对两个发射图案的线性分辨率(例如，由沿图7A和图7B中的y方向的对应于1cm的线表示)可以是相同的。换句话说，两种发射图案都可以能够在它们各自的范围内分辨低至1cm的对象，即使它们不表现出相同的角分辨率。因此，即使当从发射图案中丢弃某些光信号以防止串扰时，来自附近对象的第二周期的结果仍然可以是可用的。
在一些实施例中，为了生成在第一周期和第二周期期间使用的不同激发图案(例如，如图6A和6B所示)，激发电路可以被设计为适应第一周期激发序列和第二周期激发序列两者。作为示例，图8A示出lidar设备(例如，参考图4B示出和描述的lidar设备410)的激发电路428以及相关联的光发射器424。如图8A所示，每个通道(例如，通道0至通道15)可以具有对应的信号线(例如，CHG0至CHG15)，其能够用于选择该通道是否将在给定激发时间期间被激发。这些信号线能够用于翻转充电开关(例如，晶体管)，以便为所讨论的通道对相应的电容器进行充电(例如，充电到激发电压VLASER)。然后，在期望的激发时间，触发控制信号能够用于通过关闭激发开关(例如，晶体管)来使一个或多个光发射器424(例如，激光二极管)激发，以便允许电流从电容器流过相应的光发射器424。
将理解，图8A仅作为示例提供，并且其他激发电路428也是可能的并且在本文中被设想到。仅作为一个替代方案，如果光发射器424以四个为一组被激发(例如，在第二周期期间)，则可以使用图8B的激发电路428和光发射器424布置。与图8A的激发电路428不同，图8B的激发电路428可以仅包括四条信号线(例如，CHG0至CHG3)。每个信号线能够用于选择在给定激发时间/相关联的监听窗口期间是否将激发特定的一组四个通道。如图8B所示，信号线可以用于对四个相应通道的四个相应电容器充电(例如，充电到激发电压VLASER)。然后，在期望的激发时间，触发控制(即，放电)信号(例如，DIS0至DIS3)信号能够用于通过针对给定的一组光发射器424关闭四个对应的激发开关(例如，晶体管)来使一组或多组四个光发射器424(例如，激光二极管)激发，以便允许电流从充电电容器流过该组中的相应光发射器424。
上述用于减轻或消除串扰的技术可以通过附加或替代技术来增强。作为能够与上述第一周期/第二周期技术结合使用的附加串扰减轻技术的一个示例，周围环境中的某些对象的识别能够用于防止未来检测周期中的串扰。例如，周围环境中的高反射(例如，回射)对象能够生成高强度反射，这很可能会引起串扰。这样，当高反射对象在给定检测周期中被识别出时(例如，基于从对象检测到的反射的强度)，lidar设备410可以在未来的检测周期中避免向该对象发射光信号。例如，图9示出在第二周期期间发射的替代的一组电位信号。在图9的第二周期期间(例如，在不同的激发时间/监听窗口期间顺序地)发射的信号可以类似于在图6B的第二周期期间发射的信号。然而，图6B和图9所示的交通标志会具有高反射部分(例如，标志的文字会包括回射器)。这样，为了进一步减轻串扰，图9所示的实施例还可以避免朝向包括交通标志的高反射部分的场景部分发射光信号(例如，在图9中，与图6B不同，通道10的光发射器424可以在第二周期期间避免发射光信号)。可以基于出于在一个或多个先前检测周期期间进行检测的目的而发射到周围环境中的光信号来识别周围环境中的高反射对象。附加地或可替代地，可以基于由lidar设备410的光发射器424发射到周围环境中的校准信号来识别周围环境中的高反射对象，以便在运行时发射/检测将被执行之前识别高反射对象。
除了如上所述调制与第一周期/第二周期相关联的监听窗口和/或角分辨率之外或代替如上所述调制与第一周期/第二周期相关联的监听窗口和/或角分辨率，还能够执行功率调制以从检测信号区别串扰信号。例如，对于在第二周期期间发射的光信号，能够使用比对于在第一周期期间发射的光信号更低的发射功率。这种发射功率二分法可以节省能量(例如，由于发射的光信号不必在第二周期期间行进得那么远，这是因为监听窗口/范围更短)，减少充电时间(例如，用于基于充电电路的RC时间常数或RLC时间常数来激发光发射器424的电容器)，降低在相邻通道中引起串扰的可能性(例如，由于降低的发射功率导致的较低强度反射)，减少lidar设备的光检测器/接收器所需的动态范围的量，和/或防止光检测器在第二周期期间饱和。在一些实施例中，例如，在第二周期期间使用的发射功率可以小于在第一周期期间使用的发射功率的75％、小于50％、小于25％或小于10％。
无论第一周期和第二周期之间采用的差异如何，本文描述的实施例还包括将第一周期的检测事件与第二周期的检测事件组合的技术。在一些实施例中，lidar设备410可以简单地产生包括两个数据片段的数据集；一个片段可用于生成第一点云(例如，对应于发射/检测信号的第一周期)，并且一个片段可用于生成第二点云(例如，对应于发射/检测信号的第二周期)。在其他实施例中，lidar设备410(例如，lidar设备410的控制器416)可以针对在第一周期和第二周期两者期间使用的每个通道确定基于第一周期期间的检测事件的表观目标距离和基于第二周期期间的检测事件的表观目标距离。然后，lidar设备410(例如，lidar设备410的控制器416)可以确定每个通道的两个表观距离之间的差。然后，对于每个通道，lidar设备410(例如，lidar设备410的控制器416)可以将表观距离的差与阈值差值(例如，在0.1与5.0m之间，诸如0.5m、1.0m或2.5m)进行比较，并且如果差小于阈值差值，则将距周期之一(例如，第二周期或第一周期)的表观距离包括在可用于生成表示两个周期期间的检测事件的组合的单个点云的数据集中。如果差值大于阈值差，则lidar设备410(例如，lidar设备410的控制器416)可以替代地排除两个表观距离，默认包括表观距离之一，计算表示两个测量的某种组合的混合距离并包括混合距离(例如，具有基于差值的相关联的置信度水平)等。
图10是根据示例实施例的方法1000的流程图。在一些实施例中，可以执行方法1000以减轻来自lidar设备内的相邻通道的串扰。在一些实施例中，方法1000可以由包括lidar设备(例如，图4B和图5A中所示的lidar设备410)的系统执行。
在框1002处，方法1000可以包括从光检测和测距(lidar)设备的第一组光发射器发射第一组光信号到周围环境中。第一组光信号可以对应于相对于周围环境的第一角分辨率。
在框1004处，方法1000可以包括由lidar设备的第一组光检测器在第一监听窗口期间检测来自周围环境的第一组反射光信号。第一组反射光信号可以对应于第一组光信号从周围环境中的对象的反射。
在框1006处，方法1000可以包括从lidar设备的第二组光发射器发射第二组光信号到周围环境中。lidar设备的第二组光发射器可以表示lidar设备的第一组光发射器的子集。第二组光信号可以对应于相对于周围环境的第二角分辨率。第二角分辨率可以低于第一角分辨率。
在框1008处，方法1000可以包括由lidar设备的第二组光检测器在第二监听窗口期间检测来自周围环境的第二组反射光信号。lidar设备的第二组光检测器可以表示lidar设备的第一组光检测器的子集。第二组反射光信号可以对应于第二组光信号从周围环境中的对象的反射。第二监听窗口的持续时间可以比第一监听窗口的持续时间短。
在框1010处，方法1000可以包括由lidar设备的控制器合成可用于生成一个或多个点云的数据集。数据集可以基于检测到的第一组反射光信号和检测到的第二组反射光信号。
在一些实施例中，方法1000还可以包括从lidar设备的第三组光发射器发射第三组光信号到周围环境中。lidar设备的第三组光发射器可以表示lidar设备的第一组光发射器的与第二组光发射器不同的子集。第三组光信号可以对应于相对于周围环境的第三角分辨率。第三角分辨率可以与第二角分辨率相同。方法1000还可以包括由lidar设备的第三组光检测器在第三监听窗口期间检测来自周围环境的第三组反射光信号。lidar设备的第三组光检测器可以表示lidar设备的第一组光检测器的与第二组光检测器不同的子集。第三组反射光信号可以对应于第三组光信号从周围环境中的对象的反射。第三监听窗口的持续时间可以与第二监听窗口的持续时间相同。数据集可以基于检测到的第三组反射光信号。
在方法1000的一些实施例中，第三监听窗口可以不与第二监听窗口重叠。
在方法1000的一些实施例中，第二组光信号可以包括多个光信号。第三组光信号可以包括多个光信号。第二组光信号和第三组光信号可以相对于周围环境交错。
在方法1000的一些实施例中，第二组光检测器可以包括多个光检测器。第二组光检测器可以从第一组光检测器中选择，以便跨第一组光检测器而均匀地分布。
在方法1000的一些实施例中，第二组光检测器可以在空间中跨第一组光检测器足够稀疏地分布，使得当用第二组光信号中的光信号照射位于最大可检测距离的回射器时，在第二组内的光检测器之间不发生串扰。最大可检测距离可以基于第二监听窗口的持续时间。
在一些实施例中，方法1000还可以包括从lidar设备中的每个光发射器发射校准光信号到周围环境中。另外，方法1000可以包括在校准监听窗口期间由lidar设备的每个光检测器检测来自周围环境的反射校准光信号。每个反射校准光信号可以对应于来自周围环境中的对象的校准光信号之一的反射。此外，方法1000可以包括基于检测到的反射校准光信号来识别lidar设备内的一个或多个光发射器，其中，针对所述一个或多个光发射器，对应的校准光信号从周围环境中的回射器反射。另外，方法1000可以包括从lidar设备中的所有发射器的集合中选择lidar设备的第一组光发射器。第一组光发射器可以对应于未被识别为lidar设备内的一个或多个光发射器的那些光发射器，其中，针对所述一个或多个光发射器，对应的校准光信号从周围环境中的回射器反射。
在方法1000的一些实施例中，可以基于来自周围环境的对应的检测到的反射校准光信号的检测到的强度来识别lidar设备内的一个或多个光发射器，其中，针对所述一个或多个光发射器，对应的校准光信号从周围环境中的回射器反射。
在方法1000的一些实施例中，发射第一组光信号到周围环境中可以包括使用第一发射功率将第一组光信号发射到周围环境中。发射第二组光信号到周围环境中可以包括使用第二发射功率发射第二组光信号到周围环境中。第二发射功率可以小于第一发射功率。
在方法1000的一些实施例中，第二发射功率可以小于第一发射功率的25％。
在方法1000的一些实施例中，数据集可以可用于生成第一点云和第二点云。第一点云可以包括与第一组检测到的反射光信号相关的数据。第二点云可以包括与第二组检测到的反射光信号相关的数据。
在方法1000的一些实施例中，合成数据集可以包括：对于第二组检测到的反射光信号中的每个检测到的反射光信号，基于相应的检测到的反射光信号来确定第二目标距离。合成数据集还可以包括：对于第二组检测到的反射光信号中的每个检测到的反射光信号，基于第一组检测到的反射光信号中的对应的检测到的反射光信号来确定第一目标距离。第一组检测到的反射光信号中的对应的检测到的反射光信号可以已经由lidar设备内的相同光检测器检测到。另外，合成数据集可以包括：对于第二组检测到的反射光信号中的每个检测到的反射光信号，确定第二目标距离与第一目标距离之间的差。此外，合成数据集可以包括：对于第二组检测到的反射光信号中的每个检测到的反射光信号，如果所述差小于阈值差值，则将第二目标距离或第一目标距离包括在数据集中。
在方法1000的一些实施例中，阈值差值可以在0.1m与5.0m之间。
在方法1000的一些实施例中，第一监听窗口的持续时间可以在2.0μs与3.0μs之间。第二监听窗口的持续时间可以在0.3μs与0.5μs之间。
在一些实施例中，方法1000还可以包括基于lidar设备的一个或多个光学器件的污垢程度来确定第一组光发射器内的哪些光发射器包括在第二组光发射器内。
在方法1000的一些实施例中，污垢程度可以基于使用lidar设备或不同传感器的先前测量来确定。
在方法1000的一些实施例中，污垢程度可以基于lidar设备附近的环境天气条件来确定。
在方法1000的一些实施例中，数据集可以包括与第二组检测到的反射光信号中的每个检测到的反射光信号相关联的多个点。多个点中的每一个可以包括目标距离。每个目标距离可以具有基于第二组检测到的反射光信号中的检测到的反射光信号和第一组检测到的反射光信号中的对应的第一检测到的反射光信号确定的相关联的置信度水平。
本公开不限于本申请中描述的特定实施例，其旨在作为各个方面的说明。在不脱离本发明的精神和范围的情况下，能够进行许多修改和变化，这对于本领域技术人员来说是显而易见的。除了本文列举的那些之外，在本公开范围内的功能上等同的方法和装置对于本领域技术人员来说从前面的描述中将是清楚的。这些修改和变化旨在落入所附权利要求的范围内。
以上详细描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中，除非上下文另有规定，否则类似的符号通常标识类似的组件。本文和附图中描述的示例实施例并不意味着限制。在不脱离本文呈现的主题的范围的情况下，能够利用其他实施例，并且能够进行其他改变。容易理解的是，如本文一般描述的并且在附图中示出的本公开的各方面能够以各种不同的配置来布置、替换、组合、分离和设计，所有这些都在本文中明确地被设想到。
关于附图中并且如本文所讨论的消息流程图、场景和流程图中的任何一个或全部，每个步骤、框、操作和/或通信能够表示根据示例实施例的信息的处理和/或信息的传输。替代实施例包括在这些示例实施例的范围内。在这些替代实施例中，例如，描述为步骤、块、传输、通信、请求、响应和/或消息的操作能够不按所示或所讨论的顺序执行，包括基本上同时或以相反的顺序执行，这取决于所涉及的功能。此外，更多或更少的框和/或操作能够与本文讨论的任何消息流程图、场景和流程图一起使用，并且这些消息流程图、场景和流程图能够部分地或全部地彼此组合。
表示信息处理的步骤、块或操作能够对应于能够被配置为执行本文描述的方法或技术的特定逻辑功能的电路。可替代地或附加地，表示信息处理的步骤或块能够对应于模块、分段或程序代码的一部分(包括相关数据)。程序代码能够包括可由处理器执行的一个或多个指令，用于实现方法或技术中的特定逻辑操作或动作。程序代码和/或相关数据能够存储在任何类型的计算机可读介质上，诸如包括RAM、磁盘驱动器、固态驱动器或另一存储介质的存储设备。
此外，表示一个或多个信息传输的步骤、框或操作能够对应于相同物理设备中的软件和/或硬件模块之间的信息传输。然而，其他信息传输能够在不同物理设备中的软件模块和/或硬件模块之间。
附图中所示的特定布置不应被视为限制。应该理解，其他实施例能够包括更多或更少的给定图中所示的每个元件。此外，能够组合或省略所示元件中的一些。此外，示例实施例能够包括附图中未示出的元件。
虽然本文已经公开了各种方面和实施例，但是其他方面和实施例对于本领域技术人员而言将是显而易见的。本文公开的各个方面和实施例是出于说明的目的，而不是限制性的，真正的范围由所附权利要求指示。

Claims (20)

1.一种方法，包括：
从光检测和测距(lidar)设备的第一组光发射器发射第一组光信号到周围环境中，其中，第一组光信号对应于相对于周围环境的第一角分辨率；
由lidar设备的第一组光检测器在第一监听窗口期间检测来自周围环境的第一组反射光信号，其中，第一组反射光信号对应于第一组光信号从周围环境中的对象的反射；
从lidar设备的第二组光发射器发射第二组光信号到周围环境中，其中，lidar设备的第二组光发射器表示lidar设备的第一组光发射器的子集，其中，第二组光信号对应于相对于周围环境的第二角分辨率，并且其中，第二角分辨率低于第一角分辨率；
由lidar设备的第二组光检测器在第二监听窗口期间检测来自周围环境的第二组反射光信号，其中，lidar设备的第二组光检测器表示lidar设备的第一组光检测器的子集，其中，第二组反射光信号对应于第二组光信号从周围环境中的对象的反射，并且其中，第二监听窗口的持续时间比第一监听窗口的持续时间短；以及
由lidar设备的控制器合成可用于生成一个或多个点云的数据集，其中，数据集基于检测到的第一组反射光信号和检测到的第二组反射光信号。
2.根据权利要求1所述的方法，还包括：
从lidar设备的第三组光发射器发射第三组光信号到周围环境中，其中，lidar设备的第三组光发射器表示lidar设备的第一组光发射器的与第二组光发射器不同的子集，其中，第三组光信号对应于相对于周围环境的第三角分辨率，并且其中，第三角分辨率与第二角分辨率相同；以及
由lidar设备的第三组光检测器在第三监听窗口期间检测来自周围环境的第三组反射光信号，其中，lidar设备的第三组光检测器表示lidar设备的第一组光检测器的与第二组光检测器不同的子集，其中，第三组反射光信号对应于第三组光信号从周围环境中的对象的反射，其中，第三监听窗口的持续时间与第二监听窗口的持续时间相同，以及
其中，数据集基于检测到的第三组反射光信号。
3.根据权利要求2所述的方法，其中，第三监听窗口不与第二监听窗口重叠。
4.根据权利要求2所述的方法，其中，第二组光信号包括多个光信号，其中第三组光信号包括多个光信号，并且其中第二组光信号和第三组光信号相对于周围环境交错。
5.根据权利要求1所述的方法，其中，第二组光检测器包括多个光检测器，并且其中，第二组光检测器从第一组光检测器中选择，以便跨第一组光检测器均匀地分布。
6.根据权利要求1所述的方法，其中，第二组光检测器在空间中跨第一组光检测器分布，使得当用第二组光信号中的光信号照射位于最大可检测距离的回射器时，在第二组内的光检测器之间不发生串扰，并且其中，最大可检测距离基于第二监听窗口的持续时间。
7.根据权利要求1所述的方法，还包括：
从lidar设备中的每个光发射器发射校准光信号到周围环境中；
在校准监听窗口期间由lidar设备的每个光检测器检测来自周围环境的反射校准光信号，其中，每个反射校准光信号对应于来自周围环境中的对象的校准光信号之一的反射；
基于检测到的反射校准光信号来识别lidar设备内的一个或多个光发射器，针对所述一个或多个光发射器，对应的校准光信号从周围环境中的回射器反射；以及
从lidar设备中的所有发射器的集合中选择lidar设备的第一组光发射器，其中，第一组光发射器对应于未被识别为lidar设备内的一个或多个光发射器的那些光发射器，针对所述一个或多个光发射器，对应的校准光信号从周围环境中的回射器反射。
8.根据权利要求7所述的方法，其中，基于检测到的来自周围环境的对应的检测到的反射校准光信号的强度来识别lidar设备内的一个或多个光发射器，针对所述一个或多个光发射器，对应的校准光信号从周围环境中的回射器反射。
9.根据权利要求1所述的方法，其中，发射第一组光信号到周围环境中包括使用第一发射功率将第一组光信号发射到周围环境中，其中，发射第二组光信号到周围环境中包括使用第二发射功率发射第二组光信号到周围环境中，并且其中，第二发射功率小于第一发射功率。
10.根据权利要求9所述的方法，其中，第二发射功率小于第一发射功率的25％。
11.根据权利要求1所述的方法，其中，数据集可用于生成第一点云和第二点云，其中，第一点云包括与第一组检测到的反射光信号相关的数据，并且其中，第二点云包括与第二组检测到的反射光信号相关的数据。
12.根据权利要求1所述的方法，其中，合成所述数据集包括，对于第二组检测到的反射光信号中的每个检测到的反射光信号：
基于相应的检测到的反射光信号来确定第二目标距离；
基于第一组检测到的反射光信号中的对应的检测到的反射光信号来确定第一目标距离，其中，第一组检测到的反射光信号中的对应的检测到的反射光信号由lidar设备内的相同光检测器检测到；
确定第二目标距离与第一目标距离之间的差；以及
如果所述差小于阈值差值，则将第二目标距离或第一目标距离包括在数据集中。
13.根据权利要求12所述的方法，其中，阈值差值在0.1m与5.0m之间。
14.根据权利要求1所述的方法，其中，第一监听窗口的持续时间在2.0μs与3.0μs之间，并且其中，第二监听窗口的持续时间在0.3μs与0.5μs之间。
15.根据权利要求1所述的方法，还包括基于lidar设备的一个或多个光学器件的污垢程度来确定第一组光发射器内的哪些光发射器包括在第二组光发射器内。
16.根据权利要求15所述的方法，其中，污垢程度基于使用lidar设备或不同传感器的先前测量来确定。
17.根据权利要求15所述的方法，其中，污垢程度基于lidar设备附近的环境天气条件来确定。
18.根据权利要求1所述的方法，其中，数据集包括与第二组检测到的反射光信号中的每个检测到的反射光信号相关联的多个点，其中，多个点中的每一个包括目标距离，并且其中每个目标距离具有相关联的置信度水平，所述相关联的置信度水平基于第二组检测到的反射光信号中的检测到的反射光信号和第一组检测到的反射光信号中的对应的第一检测到的反射光信号来确定。
19.一种光检测和测距(lidar)设备，包括：
第一组光发射器，被配置为将第一组光信号发射到周围环境中，其中，第一组光信号对应于相对于周围环境的第一角分辨率；
第一组光检测器，被配置为在第一监听窗口期间检测来自周围环境的第一组反射光信号，其中，第一组反射光信号对应于第一组光信号从周围环境中的对象的反射；
第二组光发射器，被配置为将第二组光信号发射到周围环境中，其中，lidar设备的第二组光发射器表示lidar设备的第一组光发射器的子集，其中，第二组光信号对应于相对于周围环境的第二角分辨率，并且其中，第二角分辨率低于第一角分辨率；
第二组光检测器，被配置为在第二监听窗口期间检测来自周围环境的第二组反射光信号，其中，lidar设备的第二组光检测器表示lidar设备的第一组光检测器的子集，其中，第二组反射光信号对应于第二组光信号从周围环境中的对象的反射，并且其中，第二监听窗口的持续时间比第一监听窗口的持续时间短；以及
控制器，被配置为合成可用于生成一个或多个点云的数据集，其中，数据集基于检测到的第一组反射光信号和检测到的第二组反射光信号。
20.一种系统，包括：
光检测和测距(lidar)设备，包括：
第一组光发射器，被配置为将第一组光信号发射到周围环境中，其中，第一组光信号对应于相对于周围环境的第一角分辨率；
第一组光检测器，被配置为在第一监听窗口期间检测来自周围环境的第一组反射光信号，其中，第一组反射光信号对应于第一组光信号从周围环境中的对象的反射；
第二组光发射器，被配置为将第二组光信号发射到周围环境中，其中，lidar设备的第二组光发射器表示lidar设备的第一组光发射器的子集，其中，第二组光信号对应于相对于周围环境的第二角分辨率，并且其中，第二角分辨率低于第一角分辨率；
第二组光检测器，被配置为在第二监听窗口期间检测来自周围环境的第二组反射光信号，其中，lidar设备的第二组光检测器表示lidar设备的第一组光检测器的子集，其中，第二组反射光信号对应于第二组光信号从周围环境中的对象的反射，并且其中，第二监听窗口的持续时间比第一监听窗口的持续时间短；以及
lidar控制器，被配置为合成可用于生成一个或多个点云的数据集，其中，数据集基于检测到的第一组反射光信号和检测到的第二组反射光信号；以及
系统控制器，被配置为：
从lidar控制器接收数据集；以及
基于数据集生成一个或多个点云。
CN202311061387.7A 2022-08-23 2023-08-22 用于光检测和测距（lidar）设备中串扰减轻的时分多址扫描 Pending CN117630882A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/821,535 2022-08-23
US17/821,535 US20240071093A1 (en) 2022-08-23 2022-08-23 Time-Division Multiple Access Scanning for Crosstalk Mitigation in Light Detection and Ranging (Lidar) Devices

Publications (1)

Publication Number Publication Date
CN117630882A true CN117630882A (zh) 2024-03-01

Family

ID=87760644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311061387.7A Pending CN117630882A (zh) 2022-08-23 2023-08-22 用于光检测和测距（lidar）设备中串扰减轻的时分多址扫描

Country Status (4)

Country Link
US (1) US20240071093A1 (zh)
EP (1) EP4328622A1 (zh)
JP (1) JP2024031847A (zh)
CN (1) CN117630882A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019125349A1 (en) * 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
KR20220006638A (ko) * 2019-05-13 2022-01-17 아우스터, 인크. 전자 스캐닝 lidar 시스템을 위한 동기화된 이미지 캡처
EP4222532A4 (en) * 2020-10-23 2024-10-02 Sense Photonics Inc INTEGRATED SOLID-STATE FLASH LIDAR SYSTEM WITH LONG-RANGE NARROW FIELD OF VIEW AND SHORT-RANGE WIDE FIELD OF VIEW

Also Published As

Publication number Publication date
EP4328622A1 (en) 2024-02-28
US20240071093A1 (en) 2024-02-29
JP2024031847A (ja) 2024-03-07

Similar Documents

Publication Publication Date Title
US11960029B2 (en) Selective deactivation of light emitters for interference mitigation in light detection and ranging (lidar) devices
US11945467B2 (en) Identification of proxy calibration targets for a fleet of vehicles
CN113795728B (zh) 确定与光探测和测距(lidar)设备相关的放弃处理的策略的方法和系统
EP4293386A1 (en) Light detectors for nearby object detection in light detection and ranging (lidar) devices
US20240106987A1 (en) Multi-Sensor Assembly with Improved Backward View of a Vehicle
US20220163675A1 (en) Methods of Using Background Images from a Light Detection and Ranging (LIDAR) Device
EP4328622A1 (en) Time-division multiple access scanning for crosstalk mitigation in light detection and ranging (lidar) devices
US20230358868A1 (en) Mitigating Crosstalk from High-Intensity Returns in a Light Detection and Ranging (Lidar) Device
US20240201391A1 (en) Differential Methods for Environment Estimation, Lidar Impairment Detection, and Filtering
EP4336212A1 (en) Temporally modulated light emission for defect detection in light detection and ranging (lidar) devices and cameras
US20230194676A1 (en) Two-Step Return Calibration for Lidar Cross-Talk Mitigation
US20240205054A1 (en) Low-Speed Ring with Controlled Jitter
US20230408651A1 (en) Spinning Lidar With One or More Secondary Mirrors
CN116507936A (zh) 具有垂直腔面发射激光器（vcsel）发射器的光检测和测距（lidar）设备
JP2023504361A (ja) 関心領域およびサーマルバジェットに基づく光検出および測距（ｌｉｄａｒ）デバイスのためのパルスエネルギー計画
CN118900363A (zh) 减少自动曝光时延
CN116193238A (zh) 用于相机方向控制的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication