CN111164453B - 包括共同对准的旋转传感器的设备、其方法以及车辆 - Google Patents

包括共同对准的旋转传感器的设备、其方法以及车辆 Download PDF

Info

Publication number
CN111164453B
CN111164453B CN201880063958.1A CN201880063958A CN111164453B CN 111164453 B CN111164453 B CN 111164453B CN 201880063958 A CN201880063958 A CN 201880063958A CN 111164453 B CN111164453 B CN 111164453B
Authority
CN
China
Prior art keywords
image
lidar
light
sensor
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880063958.1A
Other languages
English (en)
Other versions
CN111164453A (zh
Inventor
P-Y.德罗兹
S.弗格斯
B.赫马林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Priority to CN202311694214.9A priority Critical patent/CN117849763A/zh
Publication of CN111164453A publication Critical patent/CN111164453A/zh
Application granted granted Critical
Publication of CN111164453B publication Critical patent/CN111164453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

对于共同对准的旋转传感器的布置提供了示例实施方式。一个示例设备包括根据设备的指向方向朝着场景发射光脉冲的光检测和测距(LIDAR)发送器。该设备还包括检测从场景反射的所发射的光脉冲的反射的LIDAR接收器。该设备还包括图像传感器，该图像传感器至少基于源自一个或多个外部光源的外部光来捕获场景的图像。该设备还包括支撑处于特定的相对布置的LIDAR发送器、LIDAR接收器和图像传感器的平台。该设备还包括使平台围绕轴旋转以调整设备的指向方向的致动器。

Description

包括共同对准的旋转传感器的设备、其方法以及车辆
相关公开的交叉引用
本申请要求2017年8月8日提交的美国专利申请第15/671,845号的优先权，其全部内容通过引用结合于此。
技术领域
本公开的实施例涉及旋转具有共同对准成像仪的LIDAR。
背景技术
有源(active)传感器，诸如光检测和测距(light detection and ranging，LIDAR)传感器、无线电检测和测距(radio detection and ranging，RADAR)传感器以及声音导航和测距(sound navigation and ranging，SONAR)传感器等，可以通过朝着环境发射信号并检测所发射的信号的反射来扫描环境。无源(positive)传感器，诸如图像传感器和麦克风等，可以检测源自环境中的源的信号。
示例LIDAR传感器可以在扫描场景的同时确定到环境特征(feature)的距离，以组装表示反射表面的“点云”。例如，可以通过发送激光脉冲并检测从环境中的对象反射的返回脉冲(如果有的话)，并且然后根据脉冲的发送和脉冲的反射的接收之间的时间延迟确定到对象的距离，来确定点云中的各个点。因此，可以生成指示环境中反射特征位置的点的三维地图。
示例性图像传感器可以捕获对图像传感器可见的场景的图像。例如，图像传感器可以包括电荷耦合器件(charge-coupled device，CCD)阵列或其他类型的光传感器。每个CCD可以接收入射到阵列上的、来自场景的部分光。然后，当CCD暴露于来自场景的光时，每个CCD可以输出在曝光时间期间入射到CCD上的光量的测量。利用这种布置，可以生成场景的图像，其中图像中的每个像素基于CCD阵列的输出指示一个或多个值(例如，颜色等)。
发明内容
在一个示例中，一种设备包括光检测和测距(LIDAR)发送器，其根据设备的指向方向朝着场景发射光脉冲。该设备还包括LIDAR接收器，其检测从场景反射的所发射的光脉冲的反射。该设备还包括图像传感器，其根据设备的指向方向并基于源自一个或多个外部光源的外部光来捕获场景的图像。该设备还包括平台，其支撑处于特定的相对布置的LIDAR发送器、LIDAR接收器和图像传感器。该设备还包括致动器，其使平台围绕轴旋转以调整设备的指向方向。
在另一示例中，一种车辆包括光检测和测距(LIDAR)传感器，该传感器包括发送器和接收器。发送器根据LIDAR传感器的指向方向朝着场景发射光脉冲。接收器检测从场景传播的所发射的光脉冲的反射。该车辆还包括相机，该相机根据相机的指向方向并基于源自一个或多个外部光源的外部光来捕获场景的图像。该车辆还包括支撑处于特定的相对布置的LIDAR传感器和相机的平台。该车辆还包括致动器，该致动器使平台围绕轴旋转以根据特定的相对布置同时改变LIDAR传感器和相机的指向方向。
在又一示例中，一种方法涉及使用光检测和测距(LIDAR)传感器扫描场景。LIDAR传感器朝着场景发射光脉冲，并检测来自场景的所发射的光脉冲的反射。该方法还包括使用检测源自一个或多个外部光源的外部光的图像传感器生成场景的图像。该方法还包括旋转支撑处于特定的相对布置的LIDAR传感器和图像传感器的平台。旋转该平台包括围绕轴同时旋转LIDAR传感器和图像传感器。
在又一示例中，一种系统包括使用光检测和测距(LIDAR)传感器扫描场景的装置。LIDAR传感器可以朝着场景发射光脉冲，并检测来自场景的所发射的光脉冲的反射。该系统还包括用于使用检测源自一个或多个外部光源的外部光的图像传感器生成场景图像的装置。该系统还包括用于旋转支撑处于特定的相对布置的LIDAR传感器和图像传感器的平台的装置。旋转该平台可以包括围绕轴同时旋转LIDAR传感器和图像传感器。
通过在适当的情况下参考附图阅读以下详细描述，这些以及其他方面、优点和替换对于本领域普通技术人员来说将变得显而易见。此外，应当理解，在本发明内容部分和本文档的其他地方提供的描述旨在通过示例而非限制的方式来说明所要求保护的主题。
附图说明
图1是根据示例实施例的包括共同对准(co-aligned)的旋转传感器的系统的简化框图。
图2示出了根据示例实施例的包括共同对准的旋转传感器的设备。
图3A示出了根据示例实施例的包括共同对准的旋转传感器的另一设备。
图3B是图3A的设备的横截面视图。
图4示出了根据示例实施例的包括共同对准的旋转传感器的又一设备的局部视图。
图5是根据示例实施例的基于来自一个或多个旋转传感器的数据的图像的第一概念性图示。
图6是根据示例实施例的基于来自一个或多个旋转传感器的数据的图像的第二概念性图示。
图7是根据示例实施例的基于来自一个或多个旋转传感器的数据的图像的第三概念性图示。
图8是根据示例实施例的方法的流程图。
图9是根据示例实施例的车辆的简化框图。
图10A示出了根据示例实施例的装备有传感器系统的车辆的几个视图。
图10B示出了传感器系统的示例操作。
具体实施方式
本文描述了示例性实施方式。应当理解，本文使用的词语“示例性”是指“用作示例、实例或说明”。本文描述为“示例性”或“说明性”的任何实施方式或特征不一定被解释为优于或好于其他实施方式或特征。在附图中，相似的符号通常指示相似的组件，除非上下文另有规定。本文描述的示例实施方式并不意味着是限制性的。容易理解的是，如本文中一般描述并在附图中示出的本公开的各方面可以以各种不同的配置来布置、替换、组合、分离和设计。
I.概述
本文的示例性设备、系统和方法涉及感测周围环境的两个或更多传感器(诸如，LIDAR传感器和图像传感器)的同步操作。举例来说，传感器融合算法可用于合并来自图像传感器和LIDAR传感器的数据，以生成所扫描的环境的3D表示。例如，示例系统可以被配置为将由图像传感器捕获的一个或多个图像中的像素映射到使用LIDAR传感器生成的点云中的点。利用这种布置，例如，所扫描的环境的3D表示可以指示与使用LIDAR传感器确定的距离信息相结合的、使用图像传感器确定的颜色信息。
在一些场景下，将来自旋转LIDAR的LIDAR数据与来自图像传感器的图像数据相结合可能涉及各种技术挑战。示例挑战包括同步由两个传感器收集光子的定时、同步两个传感器的视场、以及管理两个传感器的不同曝光时间要求等。举例来说，LIDAR接收器可以被配置为在1纳秒的曝光时间段期间检测所发射的光脉冲的反射。然而，在该示例中，取决于环境中的照明条件和场景内容(例如，白天条件、夜间条件等)，适合于图像传感器的曝光时间可以在1微秒至1毫秒的范围内。此外，如果图像传感器与LIDAR传感器同步旋转(例如，以10Hz)，则图像传感器的较长曝光时间段可能导致图像伪影，诸如图像模糊等。
因此，本公开的一个示例设备可以包括以特定的相对布置安装到旋转平台上的LIDAR传感器和图像传感器。在一个实施方式中，图像传感器可以通过将光聚焦到LIDAR传感器的接收器的相同透镜来对设备的环境中的场景进行成像。在另一实施方式中，图像传感器可以被配置为具有与LIDAR透镜分离的相机透镜的相机的一部分，该LIDAR透镜将光聚焦到LIDAR传感器的接收器上。
不管实施方式如何，在一些示例中，图像传感器因此可以与LIDAR传感器同步旋转，使得两个传感器各自的视场(field-of-view，FOV)响应于旋转而保持至少部分重叠。可选地或附加地，图像传感器可以被配置为根据由LIDAR传感器发射的一个或多个光脉冲的发射时间和/或检测时间来捕获图像像素(例如，通过将图像传感器中的电荷耦合器件(CCD)元件、CMOS图像感测元件、有源像素传感器元件或其他感测元件暴露于来自成像场景的外部光)。
通过这种过程，即使当两个传感器正在旋转以扫描周围环境时，本方法仍然可以通过使两个传感器的FOV和/或图像像素捕获时间与LIDAR光脉冲发射/检测时间同步来提高与组合来自两个传感器的传感器数据相关的计算机操作的精度和/或效率。举例来说，该设备可以包括控制器，该控制器至少基于共同对准的FOV和/或两个传感器生成各自的数据的匹配时间，将捕获的图像像素映射到使用LIDAR传感器生成的点云中的对应点。替代地或附加地，外部或远程计算系统可以从设备接收传感器数据并远程执行映射过程。
在一些示例中，图像传感器可以根据时间延迟和积分(time-delay-and-integration，TDI)配置来实施。例如，图像传感器可以包括提供用于生成捕获的图像的图像像素的数据的感测元件阵列(例如，CCD等)。
在一个实施方式中，图像传感器(或控制器)可以与支撑LIDAR传感器和图像传感器的平台的旋转同步地将由第一列感测元件捕获的数据帧(例如，像素列)移位到与相邻的第二列感测元件相关联的相邻数据帧。然后。由第二列感测元件捕获的数据(例如，在平台旋转之后，其中，当移位的数据被捕获时，平台的旋转使第二列的位置(相对于场景)与第一列的位置相对应或类似)可以被添加到移位的数据帧中。为此，感测元件阵列的一列或多列可以与旋转平台的旋转轴对准(例如，平行等)。此外，例如，图像传感器(或控制器)可以基于平台的旋转速率来确定对列进行移位之间的时间延迟。
在另一实施方式中，无论感测元件阵列是否与旋转轴对准，图像传感器(或控制器)都可以将由使用第一感测元件捕获的第一图像像素指示的数据(例如，光强信息等)与由使用第二感测元件捕获的第二图像像素指示的数据(在从捕获第一图像像素起的时间延迟之后)进行组合(例如，求和)。例如，控制器可以确定由于图像传感器的指向方向(例如，视点等)的相关变化，平台的旋转运动使第一图像中的成像对象在第二图像(在时间延迟之后捕获)中失真。此外，这种失真可能取决于各种因素，诸如透镜特性、图像传感器相对于相机透镜的位置、和/或成像对象和设备之间的距离等因素。为此，例如，控制器可以基于平台的旋转速率、第一图像像素中的对象相对于设备的(例如，来自LIDAR的)距离信息(例如，第二图像中的成像对象的预期像素位置)和/或设备的其他光学特性(例如，将光聚焦到图像传感器上的透镜的焦距、图像传感器相对于透镜的位置等)来选择第二感测元件。
不管实施方式如何，在设备旋转时，图像传感器可以被配置为在不同时间捕获表示场景的特定(相同)区域的多个图像像素。此外，在设备旋转时，图像传感器(或控制器)可以根据场景相对于设备的表观运动来组合场景的特定区域的检测(即，在旋转期间，组合在不同时间捕获的图像像素)。
通过该过程，通过在平台旋转的同时减少单个图像(或像素)捕获期间感测元件的曝光时间以及组合单个图像(或像素)以有效地实现期望的(更长的)曝光时间，可以实现改进的传感器数据质量(例如，在长曝光时间期间，减少与场景相对于图像传感器的表观运动相关联的图像模糊和/或其他图像伪影)。
另外，利用这种布置，例如，通过在时域和/或空域中同步收集来自图像传感器的数据和来自LIDAR传感器的数据来，可以实现来自LIDAR设备和图像传感器的传感器数据的改进的映射(例如，传感器融合等)。例如，即使LIDAR光脉冲发射之间的时间段小于图像传感器的合适曝光时间，设备的控制器仍然可以使图像像素捕获时间与LIDAR光脉冲发射和/或检测时间同步。
II.示例传感器
虽然本文描述的示例传感器包括LIDAR传感器和相机(或图像传感器)，但是其他类型的传感器也是可能的。在不脱离本公开的范围的情况下，在此可替换地使用的示例传感器的非穷举列表包括RADAR传感器、SONAR传感器、声音传感器(例如，麦克风等)、运动传感器、温度传感器、压力传感器等。
为此，本文的示例传感器可以包括有源范围传感器，其基于提供给传感器的调制功率发射信号(例如，脉冲序列或任何其他调制信号)，并且然后检测来自周围环境中的对象的发射信号的反射。替代地或附加地，本文的示例传感器可以包括无源传感器(例如，相机、麦克风、天线、压力传感器等)，其检测源自环境中的(多个)外部源的外部信号(例如，背景信号等)。
现在参考附图，图1是根据示例实施例的包括共同对准的旋转传感器的系统100的简化框图。如图所示，系统100包括电源布置102、控制器104、LIDAR 106、相机108、旋转平台110、一个或多个致动器112、固定平台114、旋转连杆116、外壳118和显示器140。
在其他实施例中，系统100可以包括更多、更少或不同的组件。例如，除了或代替LIDAR 106和相机108，系统100可以可选地包括一个或多个传感器(例如，陀螺仪、加速度计、编码器、麦克风、RADAR、SONAR、温度计等)。此外，所示的组件可以以任何方式组合或划分。例如，LIDAR 106和相机108可以可替换地被实施为包括LIDAR 106和相机108中所示的一个或多个组件的单个物理组件。因此，图1的功能块仅出于描述方便而被示出。在不脱离本公开的范围的情况下，其他示例组件、布置和/或配置也是可能的。
电源布置102可以被配置为向系统100的各种组件供应、接收和/或分配电力。为此，电源布置102可以包括电力源(例如，电池单元等)或以其他方式采取电源的形式，该电力源设置在系统100内并以任何可行的方式连接到系统100的各种组件，以便向这些组件供应电力。附加地或替代地，电源布置102可以包括电源适配器或以其他方式采取电源适配器的形式，该电源适配器被配置为从一个或多个外部电力源(例如，布置在安装有系统100的车辆中的电力源等)接收电力并将接收的电力发送到系统100的各个组件。
控制器104可以包括被布置成促进系统100的某些操作的一个或多个电子组件和/或系统。控制器104可以以任何可行的方式设置在系统100内。在一个实施例中，控制器104可以至少部分地设置在旋转连杆116的中心空腔区域内。在另一实施例中，控制器104的一个或多个功能可以可选地由一个或多个物理上分离的控制器来执行，每个控制器设置在系统100的相应的组件(例如，LIDAR 106、相机108等)内。
在一些示例中，控制器104可以包括或以其他方式耦合到用于将控制信号传递到系统100的各种组件和/或用于将数据从系统100的各种组件传递到控制器104的布线。通常，控制器104接收的数据可以包括基于由LIDAR 106和/或相机108对光的检测的传感器数据以及其他可能性。此外，由控制器104传送的控制信号可以操作系统100的各种组件，诸如通过控制LIDAR 106对光的发射和/或检测、控制相机108对图像的捕获和/或控制(多个)致动器112以使旋转平台110旋转以及其他可能性。
为此，在一些示例中，控制器104可以包括一个或多个处理器、数据存储装置和可由一个或多个处理器运行的程序指令(存储在数据存储装置中)，以使系统100执行本文描述的各种操作。在一些实例中，控制器104可以与外部控制器等(例如，布置在安装有系统100的车辆、机器人或其他机械设备中的计算系统)通信，以帮助促进外部控制器和系统100的各种组件之间的控制信号和/或数据的传递。
附加地或替代地，在一些示例中，控制器104可以包括有线电路以执行本文描述的各种功能。附加地或替代地，在一些示例中，控制器104可以包括一个或多个专用处理器、伺服系统或其他类型的控制器。例如，控制器104可以包括比例-积分-微分(proportional-integral-derivative，PID)控制器或操作(多个)致动器112以根据特定频率或相位调制旋转平台116的旋转的其他控制回路反馈装置。其他示例也是可能的。
LIDAR传感器106可以包括被配置为通过发射光并检测所发射的光的反射来扫描周围环境的任何设备。为此，如图所示，LIDAR 106包括LIDAR发送器120、LIDAR接收器122和一个或多个光学元件124。
发送器120可以被配置为朝着系统100的环境发送光(或其他信号)。在一个示例中，发送器120可以包括一个或多个光源，该一个或多个光源发射波长在波长范围内的一个或多个光束和/或脉冲。例如，取决于光源的配置，波长范围可以是电磁光谱的紫外、可见和/或红外部分。在一些示例中，波长范围可以是窄波长范围，诸如由激光器和/或一些发光二极管提供。
在一些示例中，发送器120中的(多个)光源可以包括激光二极管、二极管条(bar)、发光二极管(light emitting diode，LED)、垂直腔面发射激光器(vertical cavitysurface emitting laser，VCSEL)、有机发光二极管(organic light emitting diode，OLED)、聚合物发光二极管(polymer light emitting diode，PLED)、发光聚合物(lightemitting polymer，LEP)、液晶显示器(liquid crystal display，LCD)、微机电系统(microelectromechanical system，MEMS)、光纤激光器和/或被配置为选择性地发送、反射和/或发射光以提供多个发射光束和/或脉冲的任何其他设备。
接收器122可以包括被布置成截获和检测由发送器120发射并从系统100的周围环境中的一个或多个对象反射的光脉冲的反射的一个或多个光检测器(例如，光电二极管、雪崩光电二极管等)。为此，接收器122可以被配置为检测波长与发送器120发射的光的波长范围相同的光。以这种方式，例如，LIDAR 106可以将由LIDAR 106产生的反射的光脉冲与环境中的其他光区分开。
在一些示例中，接收器122可以包括光电检测器阵列，其可以包括一个或多个检测器，其中每个检测器被配置为将检测到的光(例如，在发送器120发射的光的波长范围内)转换成指示检测到的光的电信号。实际上，这种光电检测器阵列可以以各种方式之一来布置。例如，检测器可以设置在一个或多个基板(例如，印刷电路板(printed circuit board，PCB)、柔性PCB等)上并被布置成检测从光学透镜沿着光学路径行进的传入光。此外，这种光电检测器阵列可以包括以任何可行方式对准的任何可行数量的检测器。
此外，阵列中的检测器可以采取各种形式。例如，检测器可以采取光电二极管、雪崩光电二极管(例如，Geiger模式和/或线性模式雪崩光电二极管)、硅光电倍增器(siliconphotomultiplier，SiPM)、光电晶体管、相机、有源像素传感器(active pixel sensor，APS)、电荷耦合器件(CCD)、低温检测器和/或被配置为接收波长在发送器120发射的光的波长范围内的聚焦光的任何其他光传感器的形式。
在一些示例中，LIDAR 106可以通过改变LIDAR 106的旋转速率和/或调整发送器120发射的光脉冲的脉冲速率来选择或调整水平扫描分辨率。作为具体的示例，发送器120可以被配置为以每秒15,650个光脉冲的脉冲速率发射光脉冲。在该示例中，LIDAR 106可以被配置为以10Hz旋转(即，每秒10次完整的360°)。这样，接收器122可以检测具有0.23°水平角分辨率的光。此外，可以通过改变LIDAR 106的旋转速率或通过调整脉冲速率来调整0.23°的水平角分辨率。例如，如果LIDAR传感器106代替地以20Hz旋转，则水平角度分辨率可以变为0.46°。可选地，如果发送器120在保持10Hz的旋转速率的同时以每秒31,300个光脉冲的速率发射光脉冲，则水平角分辨率可以变为0.115°。其他示例也是可能的。此外，在一些示例中，LIDAR 106可替换地被配置为在LIDAR 106的小于完整360°的旋转内扫描特定范围的视图。
(多个)光学元件124可以被包括在发送器120和/或接收器122中或者以其他方式耦合到发送器120和/或接收器122。在一个示例中，(多个)光学元件124可以被布置成将来自发送器120中的光源的光导向环境。在另一示例中，(多个)光学元件124可以被布置成将来自环境的光聚焦到和/或导向接收器122。在又一示例中，(多个)光学元件124可以被布置成从被导向接收器122的聚焦光中滤除从周围环境入射的背景光。这样，(多个)光学元件124可以包括反射镜、波导、滤光器、透镜和/或被布置成引导光穿过物理空间的传播和/或调整某些光特性的任何其他光学组件的任何可行组合。
在一些实施方式中，光学元件124可以包括至少一个反射镜，该反射镜被布置成折叠接收器122中的光学透镜和光电检测器(或光检测器)之间的光学路径。每个这样的反射镜可以以任何可行的方式固定在LIDAR 106内。此外，为了折叠光学路径的目的，可以布置任何可行数量的反射镜。例如，光学元件124可以包括两个或更多个反射镜，这两个或更多个反射镜被布置成在LIDAR 106的光学透镜和接收器122的光检测器阵列之间折叠光学路径两次或更多次。
在一些实施方式中，光学元件124可以包括滤光器，该滤光器被布置成减少或防止波长在发送器120发射的光的波长范围之外的光朝着接收器122传播。例如，利用这种布置，滤光器可以减少由于背景光从所扫描的环境传播并且源自不同于发送器120的光源的外部光源而引起的噪声。
相机108可以是被配置为捕获系统100所处的环境的图像的任何相机(例如，静态相机、视频相机等)。如图所示，相机108包括图像传感器126和一个或多个光学元件130。
图像传感器126可以包括检测并提供指示图像的数据的任何成像设备。如图所示，图像传感器126可以包括光感测元件128的布置，其中每个光感测元件128提供入射到其上的光波的测量。为此，感测元件128可以包括电荷耦合器件(CCD)、有源像素传感器、互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电检测器、N型金属氧化物半导体(N-type metal-oxide-semiconductor，NMOS)光电检测器、以及其他可能性。
此外，在一些示例中，可以根据感测元件128的布置来组合来自感测元件128的数据，以生成图像。在一个示例中，来自感测元件的二维(two-dimensional，2D)阵列的数据可以对应于图像中的图像像素的2D阵列。其他示例也是可能的(例如，感测元件的三维(three-dimensional，3D)布置等)。
在一些示例中，感测元件可以可选地包括多个相邻的光检测器，其中每个检测器被配置为检测具有特定波长或波长范围的光。例如，图像像素可以基于来自检测红光的强度的第一检测器、检测绿光的强度的第二检测器和检测蓝光的强度的第三检测器的数据的组合来指示颜色信息(例如，红-绿-蓝或RGB)。其他示例也是可能的。
在一个实施例中，图像传感器126可以被配置为检测从场景传播的可见光。此外，在该实施例中，LIDAR 106的接收器122可以被配置为检测在由LIDAR 106的发送器120发射的光的波长范围内的不可见光(例如，红外线等)。在该实施例中，系统100(或控制器104)然后可以将来自LIDAR 106的数据与来自相机108的数据组合，以生成所扫描的环境的彩色三维(3D)表示(例如，点云)。
(多个)光学元件130可以包括诸如透镜、反射镜、波导、滤光器或类似于(多个)光学元件124的任何其他类型的光学组件的任何组合。此外，(多个)光学元件130可以被布置成聚焦、引导和/或调整入射光的光特性，以便朝着感测元件128传播。如上所述，例如，光学元件130可以包括滤光器，该滤光器允许与特定颜色(例如，红色、绿色、蓝色等)相关联的光的波长朝着特定的感测元件传播。
虽然未示出，但是在一些实施方式中，系统100可以包括用于LIDAR 106和相机108的共享光学元件。例如，共享透镜可以被布置成将入射到共享透镜上的光聚焦到LIDAR 106的接收器122和图像传感器126。例如，光学元件124和/或130可以包括选择性或部分反射表面(例如，分色镜、半反射镜等)，其从共享透镜接收聚焦光，将聚焦光的第一部分导向接收器122，并将聚焦光的第二部分导向图像传感器126。例如，分色镜可以沿着聚焦光的路径放置，并且可以具有介电性质，使得聚焦光的第一部分(具有与来自发送器120的发射光脉冲相关联的波长)朝向接收器122，同时将聚焦光的第二部分(具有诸如来自场景的可见光等的其他波长)朝着图像传感器126发送。
因此，在一些示例中，由于共享透镜，LIDAR 106和相机108的视场(FOV)可以至少部分重叠。此外，(多个)光学元件124和/或130可以包括一个或多个光学元件(例如，分色镜、半反射镜等)，其将聚焦光的第一部分(例如，包括发送器120发射的光的反射)导向接收器122，并将来自外部光源的聚焦光的第二部分(例如，包括与发送器120发射的光的波长不同的光)导向相机108。用于同时检测外部光(使用相机108)和LIDAR发射的光的反射(使用接收器122)的其他实施方式也是可能的。
此外，在一些实施方式中，系统100可以包括用于将光聚焦到接收器122上的LIDAR透镜和用于将光聚焦到图像传感器126上的分离的相机透镜。此外，在一些情况下，即使LIDAR 106和相机108采用分离的光学透镜，LIDAR 106和相机108的视场仍然可以被配置为至少部分重叠。例如，LIDAR 106和相机108可以以特定的相对布置来配置(例如，具有相似或相同的指向方向)。
旋转平台110可以被配置为围绕轴旋转。为此，旋转平台110可以由适合于支撑安装在其上的一个或多个组件的任何固体材料形成。例如，LIDAR 106(和/或其发送器120和接收器122)和相机108(和/或其图像传感器126)可以由旋转平台110(直接或间接)支撑，使得这些组件中的每一个响应于旋转平台110的旋转，相对于环境移动同时保持特定的相对布置。具体地，这些组件中的每一个都可以相对于轴(同时)旋转，使得系统100可以从各个方向获得信息。以这种方式，可以通过将旋转平台110致动到不同的方向来水平调整系统100的指向方向。
为了以这种方式旋转平台110，一个或多个致动器112可以致动旋转平台110。为此，致动器112可以包括马达、气动致动器、液压活塞和/或压电致动器、以及其他可能性。
利用这种布置，控制器104可以操作致动器112以各种方式旋转旋转平台110，以便获得关于环境的信息。在一个示例中，旋转平台110可以在任一方向上旋转。在另一示例中，旋转平台110可以执行完整的旋转，使得LIDAR 106(和相机108)提供环境的360°水平FOV。此外，旋转平台110可以以各种频率旋转，以便使系统100以各种刷新速率扫描环境。在一个实施例中，系统100可以被配置为具有15Hz的刷新速率(例如，系统100每秒15次完整旋转)。
固定平台114可以采取任何形状或形式，并且可以被配置为耦合到各种结构，诸如耦合到车辆的顶部。此外，固定平台114的耦合可以经由任何可行的连接器布置(例如，螺栓和/或螺钉)来实现。以这种方式，系统100可以耦合到结构，以便用于各种目的，例如本文描述的那些目的。
旋转连杆116直接或间接将固定平台114耦合到旋转平台110。为此，旋转连杆116可以采取提供旋转平台110相对于固定平台114的、围绕轴的旋转的任何形状、形式和材料。例如，旋转连杆116可以采取基于来自致动器112的致动而旋转的轴或类似物的形式，从而将机械力从致动器112传递到旋转平台110。在一个实施方式中，旋转连杆116可以具有中心腔，系统100的一个或多个组件可以设置在该中心腔中。在一些示例中，旋转连杆116还可以提供通信链路，用于在固定平台114和旋转平台110(和/或其上的组件，诸如LIDAR 106、相机108等)之间传递数据和/或指令。
外壳118可以采取任何形状、形式和材料，并且可以被配置为容纳系统100的一个或多个组件。在一个示例中，外壳118可以是圆顶形外壳。此外，例如，外壳118可以由至少部分不透明的材料构成，这可以允许阻挡至少一些光进入外壳118的内部空间，从而有助于减轻环境光对系统100的一个或多个组件的热和噪声影响。外壳118的其他配置也是可能的。
在一些实施方式中，外壳118可以耦合到旋转平台110，使得外壳118被配置为基于旋转平台110的旋转而围绕上述轴旋转。在一个实施方式中，LIDAR 106、相机108以及系统100的可能的其他组件可以各自设置在外壳118内。以这种方式，LIDAR 106和相机108可以与外壳118一起旋转。
在一些实施方式中，尽管未示出，但是系统100可以可选地包括类似于外壳118的多个外壳，以用于容纳系统100的某些子系统或组件的组合。例如，系统100可以包括用于LIDAR 106的第一外壳和用于相机108的分离外壳。在该示例中，LIDAR 106和相机108(以及它们各自的外壳)仍然可以安装在旋转平台110上或者以其他方式由旋转平台110支撑。因此，即使传感器106和108在物理上实施在分离的外壳中，旋转平台110仍然可以同时旋转处于特定的相对布置的两个传感器106和108。其他示例也是可能的。
显示器140可以可选地被包括在系统100中，以显示关于系统100的一个或多个组件的信息。例如，控制器104可以操作显示器140来显示使用相机108捕获的图像、由来自LIDAR 106的LIDAR数据指示的系统100的环境的表示(例如，3D点云等)和/或基于来自LIDAR 106和相机108的数据的组合的环境的表示(例如，彩色点云等)。为此，显示器140可以包括任何类型的显示器(例如，液晶显示器、LED显示器、阴极射线管显示器、投影仪等)。此外，在一些示例中，显示器140可以具有图形用户界面(graphical user interface，GUI)，以用于显示由相机108捕获的图像、使用LIDAR 106捕获的LIDAR数据和/或关于系统100的各种组件的任何其他信息(例如，经由电源布置102剩余的电力)和/或与之交互。例如，用户可以操纵GUI来调整LIDAR 106和/或相机108的扫描配置(例如，扫描刷新速率、扫描分辨率等)。
如上所述，系统100可以替代地包括比所示出的更多、更少或不同的组件。例如，尽管系统100被示为包括LIDAR 106和相机108，但是系统100可以替代地包括附加的共同对准旋转传感器和/或不同的(例如，RADAR、麦克风等)类型的传感器。此外，应当注意，系统100的各种组件可以被组合或分离成各种不同的布置。例如，尽管LIDAR 106和相机108被示为分离的组件，但是LIDAR 106和相机108的一个或多个组件可以替代地在单个设备(例如，包括发送器120、接收器122、感测元件128等的一个设备)中物理地实施。因此，系统100的这种布置仅出于示例性目的而描述，并不意味着是限制性的。
图2示出了根据示例实施例的包括共同对准的旋转传感器的设备200。如图所示，设备200包括LIDAR 206、相机208、旋转平台210和固定平台214、LIDAR透镜224和相机透镜230，它们分别类似于LIDAR 106、相机108、旋转平台110和固定平台114、(多个)光学元件124和(多个)光学元件130。为此，设备200示出了系统100的示例实施方式，其中LIDAR 206和相机208每个具有分离的各自的光学透镜224和230。
如图所示，由LIDAR 206发射的光束280从透镜224沿着LIDAR 206的指向方向朝着LIDAR 206的环境传播，并且作为反射光290反射离开环境中的一个或多个对象。这样，LIDAR 206然后可以接收反射光290(例如，通过透镜224)，并提供指示一个或多个对象与LIDAR 206之间的距离的数据。
此外，如图所示，相机208接收并检测外部光292。外部光292可以包括源自一个或多个外部光源、背景光源(例如，太阳等)的光，以及其他可能性。为此，外部光292可以包括直接从外部光源朝着透镜230传播的光和/或源自外部光源并在朝着透镜230传播之前从设备200的环境中的一个或多个对象反射离开的光。这样，例如，相机208可以基于外部光292生成环境的图像。图像可以包括各种类型的信息，诸如在外部光290中不同波长(例如，颜色等)的光强度。以及其他示例。
此外，如图所示，相机208以特定的相对布置(例如，朝向页面左侧的类似指向方向)耦合到LIDAR 206(例如，安装在LIDAR 206的顶部)。这样，在一些示例中，即使在传感器206和208的精确的各自位置之间存在偏移(例如，垂直偏移等)，LIDAR 206和相机208的视场(FOV)仍然可以由于它们相似的各自的指向方向而至少部分重叠。注意，其他布置也是可能的(例如，相机208可以可替代地安装到LIDAR 206的底侧或不同侧，LIDAR 206和相机208可以具有不同的指向方向等)。
此外，如图所示，旋转平台210安装LIDAR 206，并因此支撑处于所示的特定的相对布置的LIDAR 206和相机208。举例来说，如果旋转平台210旋转，则LIDAR 206和相机208的指向方向可以根据所示的特定的相对布置同时改变。转而，响应于平台210的这种旋转，LIDAR 106和相机208的各自的FOV之间的重叠程度可以保持不变。
在一些示例中，LIDAR 206(和/或相机208)可以被配置为具有基本圆柱形的形状，并且围绕设备200的轴旋转。此外，在一些示例中，设备200的旋转轴可以基本垂直。因此，例如，通过旋转LIDAR 206(和附接的相机208)，设备200(和/或操作设备200的计算系统)可以确定设备200的环境的360度视图的三维地图(包括基于来自相机208的图像的颜色信息和基于来自LIDAR 206的数据的距离信息)。附加地或替代地，在一些示例中，设备200可以被配置为倾斜旋转平台210的旋转轴(相对于固定平台214)，从而同时调整LIDAR 206和相机208的FOV。例如，旋转平台210可以包括在一个或多个方向上倾斜以改变设备200的旋转轴的倾斜平台。
在一些示例中，透镜224可以具有将发射光束280朝着LIDAR 206的环境准直(和/或引导)以及将从该环境接收的光290聚焦到LIDAR 206的LIDAR接收器(未示出)上这两者的光焦度。在一个示例中，透镜224具有大约120mm的焦距。其他示例焦距也是可能的。通过使用相同的透镜224来执行这两个功能，而不是用于准直的发送透镜和用于聚焦的接收透镜，可以提供在尺寸、成本和/或复杂性方面的优点。然而，可替代地，LIDAR 206可以包括分离的发射和接收透镜。因此，尽管未示出，但LIDAR 206可替代地包括将发射光280导向环境的发送透镜，以及聚焦反射光290以供LIDAR 206检测的分离的接收透镜。
图3A示出了根据示例实施例的包括共同对准的旋转传感器的另一设备300。如图所示，设备300包括旋转平台310、固定平台314、外壳318和透镜324，它们分别类似于旋转平台110、固定平台114、外壳118和(多个)光学元件124(和/或130)。因此，设备300可以类似于系统100和/或设备200。入射光390可以包括发射光380(由设备300发射)的反射，以及源自外部光源的外部光(例如，类似于光292)。因此，与设备200不同，设备300被示为包括用于接收入射光390的单个透镜324，而不是LIDAR透镜(例如，透镜224)和物理上分离的相机透镜(例如，透镜230)。
图3B示出了设备300的横截面视图。如图所示，外壳318包括发送器320、接收器322、透镜324和光学元件354，它们可以分别类似于发送器120、接收器122和(多个)光学元件124(和/或130)。此外，如图所示，设备300包括共享空间340。为了说明的目的，图3B示出了x-y-z轴，其中z轴指向方向页面之外。
发送器320包括沿着弯曲焦面348布置的多个光源342a-c。光源342a-c可以被配置为分别发射波长在波长范围内的多个光束344a-c。例如，光源342a-c可以包括发射波长在波长范围内的光束344a-c的激光二极管。如图所示，光束344a-c被反射镜350反射穿过出射孔径352进入共享空间340并朝向透镜324。
为此，光源342a-c可以包括激光二极管、发光二极管(LED)、激光条(例如，二极管条)、垂直腔面发射激光器(VCSEL)、有机发光二极管(OLED)、聚合物发光二极管(PLED)、发光聚合物(LEP)、液晶显示器(LCD)、微机电系统(MEMS)或被配置为选择性地透射、反射和/或发射光束344a-c的任何其他设备。在一些示例中，光源342a-c可以被配置为发射接收器322可检测到的波长范围内的光束344a-c。例如，波长范围可以是电磁波谱的紫外、可见和/或红外部分。在一些示例中，波长范围可以是窄波长范围，诸如由激光器提供的。在一个实施例中，波长范围包括905纳米的源波长。另外，光源342a-c可以可选地被配置为以脉冲的形式发射光束344a-c。在一些示例中，光源342a-c可以设置在一个或多个基板(例如，印刷电路板(PCB)、柔性PCB等上)，并被布置成朝着反射镜350发射光束344a-c。为此，反射镜350可以包括适合于将光束344a-c的波长反射穿过出射孔径352并朝向透镜324的任何反射材料。
尽管图3B示出了弯曲焦面348在水平平面(例如，x-y平面)上弯曲，但是附加地或替代地，光源344a-c可以沿着在垂直平面(例如，垂直于x-y平面等)上弯曲的焦面布置。在一个示例中，弯曲焦面348可以在垂直平面中具有曲率，并且光源344a-c可以包括附加光源，该附加光源沿着焦面348垂直布置并且被配置为发射指向反射镜350然后被反射镜350反射穿过出射孔径352并朝向透镜324的光束。在该示例中，检测器362a-c还可以包括对应于附加光源的附加检测器。此外，在一些示例中，光源342a-c可以包括沿着弯曲焦面348水平布置的附加光源。在一个实施例中，光源342a-c可以包括发射波长为905nm的光的64个光源。例如，64个光源可以布置为四列，每列包括16个光源。在这种情况下，检测器362a-c可以包括沿着弯曲焦面368类似布置的64个检测器(例如，布置为四列，每列包括16个检测器等等)。然而，在其他实施例中，光源342a-c和检测器362a-c可以包括比所示更多或更少的光源和/或检测器。
由于光源342a-c沿着弯曲焦面348的布置，在一些示例中，光束344a-c可以朝着出射孔径352会聚。因此，在这些示例中，出射孔径352的尺寸可以最小，同时能够容纳光束344a-c的垂直和水平范围。另外，在一些示例中，弯曲焦面348的曲率可以基于透镜324的光学特性。例如，弯曲焦面348可以根据发送器320处的透镜324的焦面(例如，基于透镜324的形状和/或成分)来成形。
如图所示，光束344a-c在穿过发送器320、出射孔径352和共享空间340朝向透镜324延伸的发射路径中传播。此外，如图所示，透镜324可以被配置为将光束344a-c分别准直成光束346a-c，以用于朝向设备300的环境传播。在一些示例中，准直光束346a-c然后可以反射离开环境中的一个或多个对象，并且反射然后可以在入射光390内传播回设备300。
此外，如上所述，入射光390还可以包括源自一个或多个外部光源(例如，太阳能、背景光、路灯、车灯等)的外部光，并且在朝向设备300传播之前，外部光的至少部分也可以被一个或多个对象反射。入射光390然后可以被透镜324聚焦到共享空间340中作为聚焦光348，聚焦光348沿着穿过共享空间340朝着光学元件354延伸的接收路径行进。例如，聚焦光348的至少一部分可以在选择性(或部分)反射表面354a上反射作为朝向接收器322的聚焦光348a-c。
因此，在一些示例中，透镜324能够基于透镜324的光学特性(例如，由于形状、成分等)准直发射光束344a-c并且聚焦入射光390。在一个具体实施例中，透镜324可以具有外壳318外部的非球面324a(面向设备300的环境)和外壳318内部的环形表面324b(面向共享空间340)。通过使用相同的透镜324来执行这两个功能，而不是用于准直的发送透镜和用于聚焦的接收透镜，可以提供在尺寸、成本和/或复杂性方面的优点。然而，在其他实施例中，设备300可以可替代地包括用于准直发射光束344a-c的发送透镜，以及用于聚焦入射光390的分离的接收透镜。例如，尽管未示出，但是设备300可以可替代地包括容纳发送器320的分离的外壳(除了外壳318)，使得光束344a-c在与共享空间340不同的空间中发射。然而，出于示例的目的，设备300被配置为如图所示(即，具有共享的发射/接收透镜324)。
如图所示，光学元件354沿着聚焦光348的路径位于发送器320和共享空间340之间。光学元件354可以包括具有光学特性的任何设备，该光学特性适合于选择性地或部分地将聚焦光348的第一部分(入射在表面354a上)朝向接收器322反射，并且将聚焦光348的第二部分透射穿过光学元件354并朝向图像传感器326。
在一个示例中，光学元件354(或其一部分)可以包括具有部分反射光学性质的材料。例如，光学元件354可以包括半反射镜或分束器，其将聚焦光348的第一部分朝向接收器322反射，并将聚焦光348的第二部分透射穿过光学元件354并朝向图像传感器354。
在另一示例中，光学元件354(或其一部分)可以包括具有基于波长的透射和反射性质的材料。例如，光学元件354可以包括分色镜，该分色镜可以由介电材料、晶体材料或具有基于波长的反射和/或透射性质的任何其他材料形成。因此，例如，分色镜可以被配置为将光束344a-c的波长范围内的光的波长(由发送器320发出并从设备300的环境中的一个或多个对象反射离开)朝向接收器322反射。此外，分色镜可以被配置为将波长在光束344a-c的波长范围之外的聚焦光348的一部分朝向图像传感器326透射。
因此，在一些实施方式中，可以采用光学元件354(例如，作为滤光器等)以通过将这种外部光穿过光学元件354向图像传感器326透射来减少向接收器322传播的外部光(例如，来自光源342a-c以外的光源的光)的量。在其他实施方式中，光学元件354可以用作分束器(例如，半反射镜等)，该分束器朝向接收器322反射聚焦光348的一部分(不需要从反射部分分离特定的波长)。不管实施方式如何，光学元件354可以被配置为允许接收器322和图像传感器326检测(作为聚焦光348聚焦的)入射光390的相应部分。结果，例如，接收器322和图像传感器326都可以具有共同对准的FOV。
如图所示，出射孔径352被包括在光学元件354中。在一些示例中，光学元件354可以由涂覆有选择性或部分反射材料354a(例如，介电材料、晶体材料、具有基于波长的反射和/或透射性质的其他材料、部分反射材料等)的透明材料(例如，玻璃等)形成。在第一示例中，出射孔径352可以对应于光学元件354的未被选择性或部分反射材料354a涂覆的部分。在第二示例中，出射孔径352可以包括分色镜354中的孔或切口。
然而，在其他示例中，出射孔径352可以以不同的方式形成。在一个示例中，光学元件354(例如，分束器、分色镜等)可被形成为具有光学特性，该光学特性允许与光束344a-c相关联的光波长从光学元件354的一侧(例如，面向发送器320的一侧)朝向相对侧(例如，面向共享空间340的一侧)传播和从相对侧(例如，面向共享空间340的一侧)传播出去，同时防止(或反射或减少)一定量的这种光在相对方向(例如，从表面354a朝向元件354的相对表面等)传播。在另一示例中，光学元件354可以被配置为允许与光束344a-344c相关联并以特定角度入射到光学元件354上的光波长的透射，同时以不同角度反射入射到光学元件354上的这种光波长。在该示例中，反射镜350可以被配置为根据允许光束344a-c朝向透镜324透射的特定角度将光束导向光学元件354，并且透镜324可以具有光学特性，使得聚焦光348以不同于特定角度的角度朝向光学元件354a传播。
图像传感器326可以类似于图像传感器126。例如，图像传感器326可以包括被布置成检测穿过光学元件354透射的聚焦光的第一部分的感测元件阵列(例如，CCD等)。此外，图像传感器326可以输出包括指示在给定曝光时间期间入射到感测元件阵列上的光量的图像像素数据(例如，颜色信息等)的图像。因此，输出图像可以对应于基于外部光(与光束344a-344c的反射一起被包括在入射光390中)的检测由设备300(使用发射光束344a-344c)同时扫描的场景的图像。为此，由于可以被图像传感器326的感测元件检测到的入射光390内的外部光的波长范围较大，由图像传感器326检测的外部光可以指示附加信息(例如，RGB颜色信息等)。
此外，根据上面的讨论，聚焦光348的第二部分(入射到光学元件354上)可以在光学元件354处朝向接收器322的入射孔径356反射。在一些示例中，入射孔径356可以包括滤光窗口或滤光器，其被配置为透射源自光源342a-c的光束344a-c的波长范围(例如，源波长)中的波长，同时衰减其他波长(例如，外部光)。因此，如图所示，如光348a-c所示的聚焦光的至少一部分朝向检测器362a-c传播
检测器362a-c可以包括光电二极管、雪崩光电二极管、光电晶体管、电荷耦合器件(CCD)、CMOS传感器、热电堆阵列、低温检测器或被配置为检测波长在发射光束344a-c的波长范围(例如，源波长)内的聚焦光348a-c的任何其他光传感器。
如图所示，检测器362a-c可以沿着接收器322的弯曲焦面368布置。尽管弯曲焦面368被示出为沿着x-y平面(水平平面)弯曲，但是附加地或替代地，弯曲焦面368可以在垂直平面上弯曲。因此，类似于焦面348，焦面368的曲率也可以由透镜324的光学特性来限定。例如，弯曲焦面368可以对应于由透镜324在接收器322处投影的光的焦面。
因此，例如，检测器362a可以被配置为和布置成接收聚焦光部分348a，该聚焦光部分348a对应于从设备300的环境中的一个或多个对象离开的准直光束346a的反射。此外，如上所述，准直光束346a对应于光源342a发射的光束344a。因此，检测器362a可以被配置为基于设备300的各种组件的布置和光学特性来接收最初由光源342a发射的光。类似地，检测器362b可以被布置成接收最初由光源342b发射的光，并且检测器362c可以被布置成接收由光源342c发射的光。
利用这种布置，设备300(和/或操作设备300的计算设备)可以通过将接收光348a-c(使用检测器362a-c测量)的检测特性与发射光束344a-c(使用光源344a-c发送)的特性进行比较来确定一个或多个对象(例如，聚焦光348a-348c的至少一部分被反射离开的一个或多个对象)的至少一个方面。例如，通过比较光源342a-c发射光束344a-c时的发射时间和检测器362a-c接收聚焦光348a-c时的检测时间，可以确定设备300和一个或多个对象之间的距离。作为另一示例，可以比较发射光344a-c和检测光348a-c的各自的调制特性(例如，功率电平、波形形状等)，以确定关于一个或多个对象的信息(例如，距离、速度、材料性质等)。因此，在一些示例中，一个或多个对象的各种特性，诸如距离、速度、形状、材料、纹理以及其他特性，可以可选地使用来自接收器322的数据来确定。
此外，由于接收器322和图像传感器326的共同对准的相对布置，使用图像传感器326收集的图像像素数据(例如，颜色信息等)可以更适合于与使用接收器322收集的LIDAR数据进行有效地映射。例如，计算设备(例如，控制器104等)可以根据发送器320发射的光束344a-c的发射时间和/或接收器322检测的光束348a-c的检测时间来操作图像传感器326以捕获图像像素数据。此外，例如，由于传感器322和326两者的重叠FOV，聚焦光348的共享(共同对准)接收路径(其中其部分分别由接收器322和图像传感器326检测)可以进一步改进来自图像传感器326的图像像素数据到来自接收器322的LIDAR数据的映射。
在一些示例中，设备300可以围绕轴旋转，以确定设备300周围的三维地图。例如，如箭头394所示，设备300可以围绕基本垂直的轴(延伸出页面)旋转。此外，尽管设备300被示出为以逆时针方向(例如，箭头394)旋转，但是设备300也可以可替代地以顺时针方向旋转。此外，在一些示例中，设备300可以旋转360度(例如，完整)旋转。然而，在其他示例中，设备300可以沿着设备300的指向方向的360度范围的一部分来回旋转。例如，设备300可以安装在绕轴来回摆动的平台上，而不进行完整的旋转。
为此，如图所示，光源342a-c和检测器362a-c的布置可以定义设备300的特定垂直LIDAR FOV。在一个实施例中，垂直LIDAR FOV是20°。此外，在一个实施例中，设备300的完整旋转(360度)可以定义设备300的360度水平LIDAR FOV。在这点上，设备303的旋转速率可以定义设备300的LIDAR刷新速率。在一个实施例中，刷新速率是10Hz。此外，LIDAR刷新速率与光源342a-c和检测器352a-c的布置可以一起限定设备300的LIDAR角度分辨率。在一个示例中，LIDAR角度分辨率是0.2°×0.3°。然而，要注意的是，上述各种参数，包括刷新速率、角度分辨率等，可以根据设备300的各种配置而变化。
此外，在一些示例中，不管为设备300的LIDAR扫描操作选择的具体参数如何，设备300中示出的各种组件的特定的相对布置可以促进以与接收器322协调的方式操作图像传感器326。在第一示例中，如果调整发射光束344a-c的光脉冲速率，则可以类似地调整图像传感器326的图像捕获速率，以促进使用图像传感器326收集的图像像素数据到使用接收器322收集的LIDAR数据的基于时域的映射。在第二示例中，即使设备300继续旋转，设备300仍然可以继续在收集的LIDAR数据和收集的图像数据之间提供适当量的重叠数据点(例如，对应于LIDAR数据点的图像像素等)。例如，所示的发送器320、接收器322和图像传感器326的特定的相对布置可以响应于设备300的旋转而保持基本不变。因此，利用这种布置，图像传感器326和接收器322的指向方向可以针对设备300的任何旋转方向(例如，顺时针或逆时针)和/或旋转的速率同时且类似地改变。结果，例如，即使设备300的旋转特性变化，LIDAR数据(来自接收器322)和图像数据(来自图像传感器326)仍然可以包括适当量的重叠数据点(例如，就数据收集的时间和与收集的数据相关联的FOV两者而言)。其他示例也是可能的。
要注意的是，设备300可以包括比所示组件更多、更少或不同的组件。此外，要注意的是，各种组件300的尺寸和形状被示出，仅仅是为了描述方便，而不一定是按比例的。此外，在一些示例中，在不脱离本公开的范围的情况下，所示的一个或多个组件可以以各种不同的配置进行组合、布置或分离。
在第一示例中，光源342a-c和/或检测器362a-c可以被不同地配置(例如，沿着不同的弯曲焦面、沿着线性或平坦焦面、具有不同数量的光源/检测器等)。
在第二示例中，发送器320可以在物理上被实施为外壳318外部的分离组件。因此，外壳318可以可替代地包括接收器322和图像传感器326，但不包括发送器320。
在第三示例中，图像传感器326可以可替换地位于外壳318内的不同位置。例如，图像传感器318可以邻近接收器322布置。在这种情况下，聚焦光348的相对小的部分可以对应于检测器362a-c的检测区域，并且聚焦光348的剩余部分可以由图像传感器326在共享空间340内的任何位置(有或没有光学元件354)截获。
在第四示例中，图像传感器326的方位可以不同于所示的方位。例如，图像传感器326(和/或其感测元件)可以根据由透镜324限定的焦面(例如，垂直于透镜324的焦平面、沿着由透镜324限定的弯曲焦面等)来对准。替代地或附加地，例如，图像传感器326可以包括与设备300的旋转轴对准(例如，平行等)的一列或多列感测元件(例如，类似于感测元件128)。
在第五示例中，接收器322和图像传感器326的位置可以互换。例如，光学反射镜354可替换地被配置为反射发射光束344a-c的波长范围之外的光的波长，并且通过光学元件354透射该波长范围内的光。因此，在这种情况下，接收器322可以替代地位于光学元件354的后面(例如，在图像传感器326所示的位置)，并且图像传感器326可以可替代地位于接收器322所示的位置。其他示例也是可能的。
图4示出了根据示例实施例的包括共同对准的旋转传感器的又一设备400的局部视图。如图所示，设备400包括发送器420、接收器422、图像传感器426和透镜430，它们分别类似于例如发送器120、接收器122、图像传感器126和(多个)光学元件124(或126)。此外，如图所示，设备400还包括波导424(例如，光波导等)和孔径452。
在一些实施方式中，代替或除了被包括在外壳318中的各种组件之外(并且在图3B中示出)，所示出的设备400的一个或多个组件可以与设备300一起使用。因此，类似于设备300，设备400可以被配置为围绕轴旋转，同时保持图4所示的发送器420、接收器422和图像传感器426的特定的相对布置。
此外，如图所示，设备400可以测量在设备400的环境中由场景内的对象498散射的入射光490。为此，入射光490可以类似于入射光390，并且可以包括源自发送器420的光的反射以及源自一个或多个外部光源(以及从对象498反射离开)的外部光。因此，在一些示例中，透镜430可以被配置为共享透镜，该共享透镜根据共享的共同对准的接收路径聚焦光以供接收器422和图像传感器426检测。
发送器420可以包括一个或多个光源，类似于光源342a-c中的任意光源。如图所示，发送器420向波导424的第一侧424a发射光(例如，类似于光束344a-c中的任意光束)。
波导424可以包括引导光的传播的任何光波导(例如，经由波导424的壁(wall)的内部反射等)。如图所示，例如，波导424可以将来自发送器420的发射光(在侧面424a进入波导424)引导到波导424的另一侧(与侧面424a相对)。为此，例如，波导424可以由玻璃基板(例如，玻璃板等)或对发送器420发射的光的一个或多个波长至少部分透明的任何其他材料形成。在一些示例中，如图所示，波导424可以邻近图像传感器426放置和/或与图像传感器426接触，使得来自发送器420的引导光穿过孔径452朝向透镜430透射。
如图所示，图像传感器426包括由感测元件428a-d示例的感测元件阵列。感测元件428a-d可以类似于感测元件128，并且可以包括检测聚焦光448的一部分(由透镜430向图像传感器426聚焦)的任何类型的设备(例如，CCD等)。因此，在一个示例中，来自图像传感器426的感测元件的数据可以用于生成包括对象498的场景的图像(由图像传感器426捕获)的相应图像像素。
此外，如图所示，孔径452可以对应于允许光在波导424和透镜430之间透射的图像传感器426的区域。例如，孔径452可以对应于不包括感测元件的图像传感器426的区域(例如，空腔等)。作为另一示例，孔径452可以对应于对与源自发送器420的发射光的波长相似的光的波长透明的区域。其他示例也是可能的。
因此，在示例场景中，透镜430可以被配置为将发射光(源自发送器420，在侧面424a处进入波导424，并穿过孔径452朝向透镜430透射)导向对象498。在这种场景下，发射光的至少一部分然后可以作为入射光490从对象498反射回透镜430。如上所述，入射光490还可以包括源自(多个)外部光源并且从对象498反射离开的外部光以及源自发送器420的光。继续该场景，透镜430然后可以将入射光490作为聚焦光448聚焦到图像传感器426和孔径452。波导424然后可以经由波导424的壁处的内部反射，例如在波导424内部，引导聚焦光448的至少一部分(即，穿过孔径452透射到波导424中的部分)。例如，在波导424是如图所示的矩形波导的情况下，波导424可以将聚焦光448的至少一部分导向侧面424b。
此外，在这种场景下，入射在侧面424b上的引导光的至少一部分可以从波导424朝向接收器422传播出去。例如，波导424可以被配置为泄漏波导，该泄漏波导允许光子通过侧面424b逃逸，以用于接收器422检测。作为另一示例，尽管未示出，但是设备400可以包括反射镜(例如，反射材料、半反射镜、分色镜等)，该反射镜设置在波导424内或以其他方式耦合到波导424，以通过侧面424b将引导光的至少一部分反射出波导424。其他示例也是可能的。
因此，利用这种布置，接收器422可以检测由发送器420发射(并且从对象498反射离开)的光的反射，并且图像传感器426可以同时或者以另一种协调的方式检测来自场景(从对象498反射离开)并且聚焦到图像传感器426的感测元件(例如，428a-d)上的外部光。例如，透镜430可以被配置为具有用于将入射光490的第一部分聚焦到孔径452的位置上的光焦度，其中该第一部分对应于源自发送器420的发射光。此外，例如，透镜430可以被配置为具有将入射光490的第二部分(例如，源自外部光源)聚焦到图像传感器426的感测元件所处的(例如，更大的)检测区域的光焦度。例如，孔径452可以位于透镜430的焦距处。在这种情况下，光束(穿过孔径452朝向透镜430透射)可以基于透镜430的光学特性朝着对象498发散，并反射回透镜430。此外，由于孔径在透镜430的焦距处，光束的反射可以被聚焦回到孔径452中，而由透镜430聚焦的外部光可能被聚焦到透镜430的焦平面的其他区域上(例如，图像传感器426的感测元件所处的区域)。其他示例也是可能的。
注意，图4中所示的各种组件和特征的尺寸、位置和形状不一定是按比例的，而是为了描述方便而示出的。此外，在一些实施例中，所示组件中的一个或多个组件可以被组合，或者被划分成分离的组件。此外，在一些示例中，系统300可以包括比所示组件更少或更多的组件。
在第一示例中，设备400可以可替代地包括限定穿过图像传感器426的光学路径的多个孔径。此外，类似于孔径452，每个孔径可以耦合到波导、发送器和/或接收器。通过这样做，例如，可以在使用图像传感器426捕获图像的同时捕获多个LIDAR数据点。在第二示例中，图像传感器426(和孔径452)相对于透镜430的距离可以变化。在第三示例中，图像传感器426中的感测元件可以可替代地实施为分离的物理结构。在第四示例中，尽管图像传感器426中的感测元件阵列沿着线性(平坦)表面布置，但是感测元件可以可替代地沿着不同的表面布置。例如，与图像传感器426中的另一列感测元件相比，给定列的感测元件(例如，从元件428c延伸到428d)可以被布置在距透镜430不同的距离处。在第五示例中，接收器422可以被实施为替代地或附加地覆盖波导424的一个或多个其他侧面。在第六示例中，图像传感器426可以包括与所示不同数量的感测元件。其他示例也是可能的。
此外，应当注意，设备200、300、400的传感器配置仅仅是为了示例。因此，在不脱离本公开的范围的情况下，其他示例传感器配置也是可能的。
在第一示例中，不同于所示的各种LIDAR设备布置可以以各种不同的方式与旋转平台上的图像传感器组合，使得图像传感器和LIDAR的接收器响应于平台的旋转保持在特定的相对布置中。例如，LIDAR设备可以被配置为具有与LIDAR接收器分开实施的LIDAR发送器。在这种情况下，LIDAR接收器可以耦合到图像传感器，以实现用于LIDAR接收器和图像传感器的共同对准的接收路径(例如，特定的相对布置、共同对准的指向方向和/或同时改变各自的指向方向)。为此，旋转平台上的LIDAR接收器和图像传感器的特定的相对布置可以根据示例设备内对应LIDAR系统的特定配置和光学特性而改变。
在第二示例中，除了或代替LIDAR和图像传感器，可以使用不同类型的传感器。在一个实施方式中，返回参考图2，LIDAR 206可以用RADAR、SONAR或任何其他类型的有源传感器来代替，并且相机208可以用麦克风、压力传感器、天线或任何其他类型的无源传感器来代替。在另一实施方式中，继续图2的示例，LIDAR 206和相机208都可以用有源传感器(例如，RADAR和SONAR等)代替，或者两者都可以用无源传感器(例如，麦克风和压力传感器等)代替。传感器的其他组合也是可能的。
III.示例扫描方法和计算机可读介质
如上所述，在一些场景下，使用旋转传感器捕获数据可能导致图像模糊(例如，当传感器正旋转时在长时间段内截获光的光检测器可能检测来自场景的几个FOV和/或区域的光)。然而，例如，LIDAR接收器的检测器(例如，单光子雪崩二极管阵列或SPAD)能够在相对短的时间窗口内检测返回的光脉冲。因此，旋转LIDAR可以通过相对于LIDAR的旋转速率在短时间窗口(例如，纳秒、微秒等)内发送短脉冲并监听返回的光脉冲来减轻旋转的影响。
另一方面，例如，图像传感器的CCD元件可能更适合于根据相对较长的曝光时间进行操作，该曝光时间允许收集指示由入射光指示的颜色信息(例如，红、绿或蓝光的强度)的足够量的光。然而，在一些实例中，在这样的曝光时间内曝光CCD元件可能导致CCD元件接收源自场景中多个点而不是单个点的光。此外，例如，较短的曝光时间可能不足以检测足够量的入射光(例如，尤其是在弱光条件下)以提供这种光强度信息。
因此，示例系统可以通过将第一像素(在传感器旋转的同时，在第一时间处捕获)添加到第二像素(在传感器旋转的同时，在第二时间处捕获)来解决这些问题。此外，示例系统可以基于各种因素，诸如，旋转设备的旋转速率、成像对象和旋转设备之间的距离(例如，由LIDAR数据指示)、和/或旋转设备的光学特性(例如，透镜特性、图像传感器相对于透镜焦距的位置等)来选择添加哪些图像像素。
图5是根据示例实施例的基于来自一个或多个旋转传感器的数据的图像502、504的第一概念性图示。在所示的场景中，图像502可以基于在第一时间使用图像传感器126、326、426或相机108、208中的任何一个获得的图像传感器数据。类似地，图像504可以基于在第一时间之后的第二时间获得的图像传感器数据。例如，当系统100、设备200、300和/或400中的任何一个旋转它们各自的图像传感器(或相机)的同时，可以在不同的时间获得图像502、504。
为此，例如，图像502的网格表示中的每个网格单元可以对应于由感测元件(例如，感测元件128或428)阵列在第一时间指示的图像中的特定图像像素(或图像像素组)。例如，网格单元/图像像素502a可以基于来自阵列428中的第一感测元件(或感测元件组)的图像像素数据来确定，图像像素502b可以基于来自在水平方向(例如，相同行)上与第一感测元件相邻的第二感测元件(或组)的数据来确定，并且图像像素502c可以基于来自在水平方向上与第二感测元件相邻的第三感测元件(或组)的数据来确定。举例来说，图像像素502a、502b、502c可以分别使用来自感测元件428a、428b、428c的数据来确定。
注意，图像502中的图像像素502a-c的数量和尺寸不一定按比例，而只是为了描述方便。例如，在实践中，图像502可以包括数百或数千或任何其他数量的图像像素。
继续图5的场景，图像504的图像像素504a、504b、504c可以基于来自用于生成图像502的图像像素502a、502b、502c的相同的各个感测元件的数据，但是是在捕获图像502的数据的第一时间之后的第二时间。
此外，在所示的场景中，图像502、504可以指示由旋转传感器扫描的场景中的星形对象。例如，如图像502所示，在包括像素502a的第一图像像素列和包括像素502b的第二图像像素列内指示成像对象。如图像504所示，成像对象看起来已经移动到图像的右侧(例如，由于图像传感器的旋转)，使得它在包括像素504b和504c的两个图像像素列内被指示。
因此，在一些实施方式中，示例系统可以组合(例如，相加、求和等)图像502的第一图像像素列(即，包括像素502a)的数据与图像504的对应图像像素列(即，包括像素504b)的数据。可选地或附加地，示例系统可以组合来自两个图像的其他对应图像像素列(例如，像素列502b和像素列504c)。因此，示例系统可以生成模拟较长曝光时间(例如，两个图像中使用的曝光时间的和)的合成图像，从而相对于仅与图像502或504之一相关联的质量，来实现合成图像的改进的图像质量。此外，根据上面的讨论，示例系统可以可选地将图像502、504中的一个或两个的捕获时间与与共同对准LIDAR(例如，LIDAR 106、206、306、406等)相关联的光脉冲的发射或检测时间同步。通过这样做，例如，示例系统可以改进用于将LIDAR数据与图像传感器数据进行映射的传感器融合处理(例如，与图像502或504相关联的一个或多个图像像素可以与在相似或相同时间收集的LIDAR数据中的数据点相匹配，等等)。
注意，上面针对图像传感器操作描述的场景仅仅是为了示例。其他示例也是可能的。例如，图像传感器可以可替代地在第一时间仅捕获与图像502相关联的一列图像像素(例如，使用一列感测元件等)而不是整个图像，并且图像传感器可以可替代地在第二时间仅捕获与图像504相关联的一列图像像素而不是整个图像。其他变化也是可能的。
图6是根据示例实施例的基于来自一个或多个旋转传感器的数据的图像602、604的第二概念性图示。在图6的场景中，图像602、604可以分别以与图像502、504的确定类似的方式(例如，在不同的时间使用来自旋转图像传感器的数据等)来确定。为此，图像像素602a、602b、602c、604a、604b、604c可以分别类似于图像像素502a、502b、502c、504a、504b、504c(例如，基于来自相同的各个感测元件的数据)。
如上所述，选择将哪个来自图像502的图像像素添加到来自图像504的对应图像像素可以至少部分基于支撑捕获图像502、504的图像传感器的旋转平台的旋转特性。
举例来说，图6中所示的场景示出了图像传感器以比图5的场景中的图像传感器的旋转速率更高的旋转速率旋转的场景。因此，如图6所示，星形的成像对象看起来比图像504中所示的对应成像对象更靠近图像604的右侧。这样，与图5中的场景不同，该场景中的示例系统可以基于图像602中的像素列(包括像素602a)和图像604中相对更靠近图像604右侧的对应像素列(包括像素604c)的和，在场景的合成图像中生成图像像素列。
具体地，尽管图5和图6的情况指示，由于相关联的图像传感器的旋转，成像对象看起来在单个线性方向上移动，但是在一些情况下，图像传感器的旋转可以可替代地导致成像对象的外观的各种其他失真。举例来说，图像传感器的改变的FOV(例如，图像传感器的指向方向和/或视点的变化等)可能可替代地使成像对象看起来相对于图像602中成像对象的外观在图像604中被旋转、被重新调整尺寸等。作为另一示例，返回参考图2，旋转平台210相对于固定平台214的倾斜方向可能导致由相机208在多个图像中捕获的成像对象(当相机208旋转时)看起来可能在垂直方向上移动。作为又一示例，回头参考图3A-3B，透镜324的光学特性(例如，表面324a、324b的表面形状等)可能导致成像对象的形状随着设备300根据箭头394旋转而失真。取决于包括共同对准的旋转传感器的设备的特定配置，其他示例也是可能的。
图7是根据示例实施例的基于来自一个或多个旋转传感器的数据的图像702、704、706的第三概念性图示。如图所示，图像702、704可以对应于在不同时间使用旋转传感器捕获的图像的网格表示，分别类似于例如图像602、604。此外，如图所示，图像706可以对应于基于来自至少图像702中的第一像素702a和来自图像704的第二像素704a的图像像素数据的和而生成的合成图像。在图7的场景中，示例系统可以在第一时间使用旋转图像传感器的第一感测元件(或感测元件组)捕获像素702a(在图像702中示出)，并且在第二时间使用旋转图像传感器的第二不同感测元件(或组)捕获像素704a。
如上所述，在一些实施方式中，示例系统可以被配置为基于除了旋转传感器的旋转速率之外或者代替旋转传感器的旋转速率的各种因素来选择将哪个(哪些)图像像素添加到图像704中的像素704a。
在第一示例中，示例系统可以基于旋转传感器的旋转速率以及支撑旋转传感器的设备的配置(例如，旋转平台210相对于固定平台214的倾斜方向、透镜324的光学特性、图像传感器426相对于透镜430的位置等)，在第二时间计算与图像704相关联的成像对象中的点(由像素702a指示)的预期像素位置。然后，示例系统可以在第二时间操作特定感测元件(或感测元件组)，以捕获基于计算出的预期像素位置识别的图像像素数据(例如，像素704a)。
在第二示例中，示例系统可以基于与像素702a相关联的对象部分和(多个)旋转传感器之间的距离来计算预期像素位置。例如，在图像传感器旋转相同量之后，来自图像传感器的另一对象可能看起来比更近的对象移动得少。为此，例如，示例系统可以处理由LIDAR接收器(例如，接收器122)在捕获图像像素702a(和/或图像702)的第一时间或在距该第一时间的阈值范围内检测到的LIDAR数据，以估计图像传感器(或LIDAR)和成像对象之间的距离。系统然后可以使用估计的距离(以及第一时间和第二时间之间旋转传感器的旋转量或指向方向的变化)作为基础，来计算与像素702a相关联的对象(或其部分)的预期表观运动。转而，示例系统可以在第二时间将与图像像素704a相关联的图像传感器的感测元件识别为对应于在第一时间由像素702a指示的相同对象(或其部分)。
在第三示例中，示例系统可以采用传感器融合算法(或存储算法的计算机程序产品)，该传感器融合算法被配置为接受来自图像传感器和/或LIDAR传感器的数据作为输入。该数据可以包括，例如，来自LIDAR 106和/或相机108的数据(例如，图像702和/或704)或者表示在图像传感器(和/或LIDAR传感器)旋转期间由传感器感测的信息的任何其他数据。传感器融合算法可以包括例如卡尔曼滤波器、贝叶斯网络、用于本文方法的一些功能的算法或任何其他算法。例如，算法可以识别扫描场景中对象的特征/边缘，然后将这些识别的特征与图像704中的特征进行匹配，以确定像素704a对应于由像素702a指示的对象(或其部分)。
因此，不管实施方式如何，示例系统可以将来自像素702a的数据与(在不同时间捕获的)来自像素704a的数据组合，以生成合成图像706的像素706a，从而模拟在较长曝光时间(例如，与像素702a和704a相关联的曝光时间的和)上捕获的图像像素。
此外，在一些实施方式中，在后续时间捕获的附加像素(并且对应于由像素702a指示的相同对象或其部分)可以被添加到像素702a和704a，以实现合成图像706的进一步改进的图像像素706a。例如，示例系统可以基于上述各种因素(例如，旋转特性、LIDAR距离信息、透镜的光学特性等)来计算对象随时间的多个位置。转而，示例系统可以根据对象的表观运动的计算路径获得(在不同时间捕获的)两个、三个或更多个图像像素，只要对象被预期保持在成像传感器的FOV内(例如，在图像传感器正旋转的同时获得的多个图像的任何图像像素处成像)。
图8是根据示例实施例的方法800的流程图。方法800呈现了可以与例如系统100、设备200、300和/或400中的任何一个一起使用的方法的实施例。方法800可以包括如块802-806中的一个或多个所示的一个或多个操作、功能或动作。尽管这些块以顺序示出，但是在一些情况下，这些块可以并行执行，和/或以不同于本文描述的次序执行。此外，各种块可以基于期望的实施方式被组合成更少的块，被划分成附加的块，和/或被移除。
此外，对于本文公开的方法800以及其他过程和方法，流程图示出了本实施例的一种可能实施方式的功能和操作。在这点上，每个块可以表示模块、分段、制造或操作过程的一部分或程序代码的一部分，其包括可由处理器运行以用于实施过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可以存储在任何类型的计算机可读介质上，例如，诸如包括磁盘或硬盘驱动器的存储设备。计算机可读介质可以包括非暂时性计算机可读介质，例如，诸如像寄存器存储器、处理器高速缓存和随机存取存储器(Random Access Memory，RAM)的短时间存储数据的计算机可读介质。计算机可读介质还可以包括非暂时性介质，例如，诸如像只读存储器(Random Access Memory，RAM)、光盘或磁盘、光盘只读存储器(compact-disc read only memory，CD-ROM)的辅助或永久性长期存储装置。计算机可读介质也可以是任何其他易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质或有形存储设备。此外，对于本文公开的方法800和其他过程和方法，图8中的每个块可以表示被接线以执行过程中的特定逻辑功能的电路。
在块802，方法800涉及使用朝着场景发射光脉冲、并检测来自场景的所发射的光脉冲的反射的光检测和测距(LIDAR)传感器扫描场景。例如，LIDAR 206可以被配置为朝着场景发射光280(例如，以脉冲序列的形式)，并且检测反射光290(例如，以反射的光脉冲的形式等)。
在块804，方法800涉及使用检测源自一个或多个外部光源的外部光的图像传感器生成场景的图像。例如，透镜430可以将入射光490(例如，其可以包括来自诸如太阳、路灯等的外部光源外部光)聚焦到图像传感器426上以生成对象498(入射光490从该对象反射到设备400上)的图像。
在块806，方法800涉及旋转支撑处于特定的相对布置的LIDAR传感器和图像传感器的平台。例如，控制器104可以操作致动器112以使旋转平台110围绕轴旋转。此外，旋转平台可以支撑处于特定的相对布置的LIDAR 106和相机108，并且因此可以同时改变LIDAR106和相机108各自的指向方向。作为示例返回参考图2，LIDAR 206和相机208可以彼此连接，使得透镜224和230具有相似(或相同)的指向方向，然后旋转平台210可以同时旋转LIDAR 206和相机208两者，以同时改变它们各自的指向方向。作为另一示例，图3B所示的设备300的外壳318以相对于彼此的特定的相对布置安装LIDAR发送器320、LIDAR接收器322和图像传感器326。因此，如图3A所示，旋转平台310可以旋转外壳318，使得发送器320、接收器322和图像传感器326响应于旋转而保持在特定的相对布置中。
在一些实施方式中，方法800可以涉及将来自(LIDAR传感器的)LIDAR接收器的数据与来自图像传感器的数据相关联。在一个示例中，控制器104可以将由来自图像传感器的数据指示的图像像素映射到由LIDAR传感器指示的数据云中的对应点。例如，控制器104可以使相机108在基于LIDAR光脉冲的发射和/或检测时间的特定的各个时间捕获一个或多个图像像素。
此外，在一些实施方式中，方法800可以涉及基于来自LIDAR接收器的数据和来自图像传感器的数据确定场景的三维(3D)表示。例如，系统100可以操作显示器140以渲染数据点云的显示，诸如基于来自LIDAR传感器的检测的光脉冲而间隔开的点的布置。
此外，在一些实施方式中，方法800还可以涉及基于由LIDAR传感器指示的距离信息和由图像传感器指示的颜色信息来确定场景的表示。继续上面的示例，系统100可以通过识别来自图像传感器的数据中的对应图像像素(例如，基于图像像素的捕获时间、LIDAR106和相机108的重叠FOV、LIDAR数据和图像传感器数据之间的特征或边缘匹配等)，来将颜色分配给点云中的一个或多个点。系统100然后可以更新经由显示器140渲染的数据点云(3D表示)，以根据使用来自图像传感器的数据确定的颜色来显示彩色数据点。
在一些实施方式中，方法800可以涉及在致动器正旋转平台的同时使图像传感器捕获多个图像。例如，控制器104可以在旋转平台110(其支撑图像传感器126)正在旋转的同时，操作相机106捕获图像序列(例如，图像502、504等)。
在这些实施方式中，方法800还可以涉及确定两个连续图像的捕获之间的时间延迟，并且使图像传感器根据确定的时间延迟来捕获多个图像。例如，返回参考图5，示例系统可以确定图像502中成像的星形对象的像素位置对应于将在图像504中偏移一列图像像素的像素位置。因此，例如，示例系统可以可选地在第一时间捕获图像502作为第一图像，在第二时间捕获图像504作为第二连续图像(例如，不捕获或存储与对应于小于一个像素的距离的成像对象的相对小的表观运动相关联的中间图像等)。
替代地或附加地，在这些实施方式中，方法800还可以涉及使图像传感器在给定时间捕获多个图像中的给定图像，给定时间基于发射的光脉冲中的一个或多个的发射时间(或检测时间)。这样，示例系统可以改进来自LIDAR传感器的LIDAR数据(至少在时域中)与来自图像传感器的对应图像传感器数据的对准。结果，示例系统可以提高将来自图像传感器的颜色信息映射到来自LIDAR传感器的距离信息的精度。
在一些实施方式中，方法800涉及基于平台(其支撑处于特定的相对布置的LIDAR传感器和图像传感器)的旋转速率来确定时间延迟；获得使用图像传感器中的第一感测元件捕获的第一图像像素；在从捕获第一图像像素的时间起经过确定的时间延迟之后，获得使用图像传感器中的第二感测元件捕获的第二图像像素；以及至少基于第一图像像素和第二图像像素的和来确定(在块804处)场景的生成图像的特定图像像素。
例如，返回参考图7，示例系统可以使用与图像像素702a相关联的共同对准(至少在时域中)的LIDAR数据，以选择和/或识别对应图像像素704a在经过确定的时间延迟之后的预期位置(例如，由于块806处的旋转)。然后，在从捕获图像像素702a的时间起经过确定的时间延迟之后，示例系统可以从对应于图像像素704a的位置的适当感测元件获得指示图像像素704a的数据。因此，在这些实施方式中，方法800还可以包括至少基于与第一图像像素相关联并且由来自LIDAR传感器的数据指示的距离信息来选择图像传感器的第二感测元件(例如，对应于像素704a的感测元件)。
IV.示例车辆
本文的一些示例实施方式涉及车辆，该车辆包括传感器系统或设备，诸如系统100、设备200、300和/或400。然而，本文公开的示例传感器也可以用于各种其他目的，并且可以结合在任何可行的系统或布置上或者以其它方式连接到该任何可行的系统或布置。例如，示例传感器系统可用在装配线设置中，以监控装配线中制造的对象(例如，产品)。其他示例也是可能的。
尽管本文的说明性实施例包括安装在汽车上的(多个)传感器(例如，共同对准旋转LIDAR和相机等)，示例传感器布置可以附加地或替代地用于任何类型的车辆，包括传统汽车以及具有自主或半自主操作模式的汽车。因此，术语“车辆”将被广义地解释为覆盖任何移动对象，包括例如飞机、其他飞行器、船、卡车、货车、半拖车卡车、摩托车、高尔夫球车、越野车辆、仓库运输车辆或农用车辆、以及在轨道上行驶的运载工具，诸如过山车、手推车、有轨电车或火车车厢等。
图9是根据示例实施例的车辆900的简化框图。如图所示，车辆900包括推进系统902、传感器系统904、控制系统906、外围设备908和计算机系统910。在一些实施例中，车辆900可以包括更多、更少或不同的系统，并且每个系统可以包括更多、更少或不同的组件。此外，所示的系统和组件可以以任何方式组合或划分。例如，控制系统006和计算机系统910可以组合成单个系统。
推进系统902可以被配置为向车辆900提供动力运动。为此，如图所示，推进系统902包括引擎/马达918、能量源920、变速器922和车轮/轮胎924。
引擎/马达918可以是或包括内燃机、电动马达、蒸汽机和斯特林引擎的任意组合。其他马达和引擎也是可能的。在一些实施例中，推进系统902可以包括多种类型的引擎和/或马达。例如，气-电混合动力汽车可以包括汽油引擎和电动马达。其他示例也是可能的。
能量源920可以是全部或部分驱动引擎/马达918的能量源。也就是说，引擎/马达918可以被配置为将能量源920转换成机械能。能量源920的示例包括汽油、柴油、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电源。(多个)能量源920可以附加地或替代地包括燃料箱、电池、电容器和/或飞轮的任意组合。在一些实施例中，能量源920也可以为车辆900的其他系统提供能量。为此，能量源920可以附加地或替代地包括例如可充电锂离子电池或铅酸电池。在一些实施例中，能量源920可以包括被配置为向车辆900的各种组件提供应电力的一组或多组电池。
变速器922可以被配置为将机械动力从引擎/马达918传递到车轮/轮胎924。为此，变速器922可以包括齿轮箱、离合器、差速器、驱动轴和/或其他元件。在变速器922包括驱动轴的实施例中，驱动轴可以包括被配置为耦合到车轮/轮胎924的一个或多个轴。
车辆900的车轮/轮胎924可以以各种形式配置，包括独轮车、自行车/摩托车、三轮车或汽车/卡车四轮形式。其他车轮/轮胎形式也是可能的，诸如包括六个或更多车轮的那些。在任何情况下，车轮/轮胎924可以被配置为相对于其他车轮/轮胎924差速旋转。在一些实施例中，车轮/轮胎924可以包括固定地附接到变速器922的至少一个车轮和耦合到车轮轮辋的至少一个轮胎，该轮辋可以与驱动表面接触。车轮/轮胎924可以包括金属和橡胶的任意组合，或者其他材料的组合。推进系统902可以附加地或替代地包括除了所示组件之外的组件。
传感器系统904可以包括被配置为感测关于车辆900所处环境的信息的多个传感器，以及被配置为修改传感器的位置和/或方向的一个或多个致动器936。如图所示，传感器系统904包括全球定位系统(Global Positioning System，GPS)926、惯性测量单元(inertial measurement unit，IMU)928、RADAR单元930、激光测距仪和/或LIDAR单元932、以及相机934。传感器系统904也可以包括附加的传感器，包括例如监控车辆900的内部系统的传感器(例如，O2监控器、燃油表、机油温度等)。其他传感器也是可能的。
GPS 926可以是被配置为估计车辆900的地理位置的任何传感器(例如，位置传感器)。为此，GPS 926可以包括被配置为估计车辆900相对于地球的位置的收发器。
IMU 928可以是被配置为基于惯性加速度来感测车辆900的位置和方向变化的传感器的任意组合。传感器的组合可以包括例如加速度计、陀螺仪、罗盘等。
RADAR单元930可以是被配置为使用无线电信号感测车辆900所处环境中的对象的任何传感器。在一些实施例中，除了感测对象之外，RADAR单元930还可以被配置为感测对象的速度和/或航向。
类似地，激光测距仪或LIDAR单元932可以是被配置为使用激光感测车辆900所处环境中的对象的任何传感器。例如，LIDAR单元932可以包括一个或多个LIDAR设备，其中至少一些可以采取系统100、设备200、300和/或400中描述的LIDAR的形式以及其他LIDAR设备配置。
相机934可以是被配置为捕获车辆900所处环境的图像的任何相机(例如，静态相机、视频相机等)。为此，相机934可以采取上述任何形式。例如，相机934可以包括图像传感器，并且可以采取在系统100、设备200、300和/或400中描述的图像传感器/相机中任何一个的形式以及其他相机配置。
控制系统906可以被配置为控制车辆900和/或其组件的一个或多个操作。为此，控制系统906可以包括转向单元938、油门940、制动单元942、传感器融合算法944、计算机视觉系统946、导航或路径控制(pathing)系统948和避障系统950。
转向单元938可以是被配置为调整车辆900的航向的机构的任意组合。油门940可以是被配置为控制引擎/马达918并进而控制车辆900的速度的机构的任意组合。制动单元942可以是被配置为使车辆900减速的机构的任意组合。例如，制动单元942可以使用摩擦来减缓车轮/轮胎924的速度。作为另一示例，制动单元942可以将车轮/轮胎924的动能转换成电流。
传感器融合算法944可以是被配置为接受来自传感器系统904的数据作为输入的算法(或存储算法的计算机程序产品)。该数据可以包括例如表示由传感器系统904感测的信息的数据。传感器融合算法944可以包括，例如，卡尔曼滤波器、贝叶斯网络、机器学习算法、用于本文的方法(例如，方法800等)的一些功能的算法，或任何其他传感器融合算法。传感器融合算法944还可以被配置为基于来自传感器系统904的数据提供各种评估，包括例如对车辆900所处环境中的单个对象和/或特征的评估、对特定情况的评估和/或对基于特定情况的可能影响的评估。其他评估也是可能的。
计算机视觉系统946可以是被配置为处理和分析由相机934捕获的图像，以便识别车辆900所处环境中的对象和/或特征(包括例如交通信号和障碍物)的任何系统。为此，计算机视觉系统946可以使用对象识别算法、运动结构(Structure from Motion，SFM)算法、视频跟踪、或其他计算机视觉技术。在一些实施例中，计算机视觉系统946可以附加地被配置为绘制环境地图、跟踪对象、估计对象的速度等。
导航和路径控制系统948可以是被配置为确定车辆900的行驶路径的任何系统。导航和路径控制系统948还可以被配置为在车辆900处于操作中的同时动态更新车辆900的行驶路径。在一些实施例中，导航和路径控制系统948可以被配置为结合来自传感器融合算法944、GPS 926、LIDAR单元932和/或一个或多个预定地图的数据，以便确定车辆900的驾驶路径。
避障系统950可以是被配置为识别、评估和避开或以其他方式越过车辆900所处环境中的障碍的任何系统。控制系统906可以附加地或可替换地包括除了所示组件之外的组件。
外围设备908可以被配置为允许车辆300与外部传感器、其他车辆、外部计算设备、和/或用户交互。为此，外围设备908可以包括例如无线通信系统952、触摸屏954、麦克风956和/或扬声器958。
无线通信系统952可以是被配置为直接或经由通信网络无线耦合到一个或多个其他车辆、传感器或其他实体的任何系统。为此，无线通信系统952可以包括天线和芯片组，用于直接或经由通信网络与其他车辆、传感器、服务器或其他实体通信。芯片组或无线通信系统952通常可被布置为根据一种或多种类型的无线通信(例如，协议)进行通信，诸如蓝牙、在IEEE 802.11(包括任何IEEE 802.11修订版)中描述的通信协议、蜂窝技术(例如，GSM、CDMA、UMTS、EV-DO、WiMAX或LTE)、Zigbee、专用短程通信(dedicated short rangecommunication，DSRC)和射频识别(radio frequency identification，RFID)通信，以及其他可能性。
用户可以使用触摸屏954向车辆900输入命令。为此，触摸屏954可以被配置为经由电容感测、电阻感测或表面声波处理以及其他可能性来感测用户手指的位置和移动中的至少一个。触摸屏954能够感测在与触摸屏表面平行或与触摸屏表面在同一平面内的方向上、在与触摸屏表面垂直的方向上、或者在这两个方向上的手指移动，并且还能够感测施加到触摸屏表面的压力级别。触摸屏954可以由一个或多个半透明或透明绝缘层以及一个或多个半透明或透明导电层形成。触摸屏954也可以采取其他形式。
麦克风956可以被配置为从车辆900的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器358可以被配置为向用户输出音频。
计算机系统910可以被配置为向推进系统902、传感器系统904、控制系统906和外围设备908中的一个或多个发送数据、从其接收数据、与其交互和/或控制其。为此，计算机系统910可以通过系统总线、网络和/或其他连接机构(未示出)通信地链接到推进系统902、传感器系统904、控制系统906和外围设备908中的一个或多个。
在第一示例中，计算机系统910可以被配置为控制变速器922的操作以提高燃料效率。在第二示例中，计算机系统910可以被配置为使相机934捕获环境的图像。在第三示例中，计算机系统910可以被配置为存储和运行对应于传感器融合算法944的指令。在第四示例中，计算机系统910可以被配置为存储和运行用于使用LIDAR单元932确定车辆900周围环境的3D表示的指令。在第五示例中，计算机系统910可以被配置为同步操作两个共同对准的旋转传感器(例如，LIDAR 932和相机934等)并组合来自两个传感器的信息(例如，来自相机934的颜色信息和来自LIDAR 932的深度信息)，这与对系统100的控制器104的上述讨论一致。其他示例也是可能的。
如图所示，计算机系统910包括处理器912和数据存储装置914。处理器912可以包括一个或多个通用处理器和/或一个或多个专用处理器。就处理器912包括一个以上的处理器而言，这种处理器可以单独或组合工作。
数据存储装置914进而可以包括一个或多个易失性和/或一个或多个非易失性存储组件，例如光、磁和/或有机存储装置，并且数据存储装置914可以整体或部分与处理器912集成。在一些实施例中，数据存储装置914可以包含可由处理器912运行的指令916(例如，程序逻辑)，以使车辆900和/或其组件执行本文描述的各种操作。数据存储装置914也可以包含附加指令，包括向推进系统902、传感器系统904、控制系统906和/或外围设备908中的一个或多个发送数据、从其接收数据、与其交互和/或控制其的指令。
在一些实施例中，车辆900可以包括除了所示的那些元件之外或代替所示的那些元件的一个或多个元件。在一个示例中，车辆900可以包括一个或多个附加接口和/或电源。在另一示例中，除了所示的一个或多个组件之外或代替所示的一个或多个组件，车辆900可以包括系统100、设备200、300和/或400。在这样的实施例中，数据存储装置914还可以包括可由处理器912执行的指令，以控制附加组件和/或与附加组件通信。此外，尽管每个组件和系统被示出为集成在车辆900中，但是在一些实施例中，一个或多个组件或系统可以使用有线或无线连接可移除地安装在车辆900上或以其他方式(机械地或电气地)连接到车辆900。车辆900也可以采取其他形式。
图10A-10B共同示出了根据示例实施例的装备有传感器系统1004的车辆1000。例如，车辆1000可以类似于车辆900。尽管车辆1000被示出为汽车，如上所述，其他类型的车辆也是可能的。此外，尽管车辆1000可以被配置为在自主模式下操作，但是本文描述的实施例也适用于未被配置为自主操作的车辆。
图10A示出了车辆1000的右侧视图、前视图、后视图和顶视图。如图所示，车辆1000包括安装在与车辆1000的车轮(例如车轮1024)所在的底侧相对的车辆1000的顶侧的传感器系统1010。例如，车轮1024可以类似于(多个)车轮924。
传感器系统1010可以类似于或包括系统100、设备200、300、400和/或传感器系统904。例如，传感器系统1010可以包括共同对准的旋转传感器的布置，诸如系统100的LIDAR106和相机108。尽管传感器系统1010被示出和描述为位于车辆1000的顶侧，但是系统1010也可以位于车辆1000的任何其他部分，例如包括车辆1000的任何其他侧。
图10B示出了传感器系统1010可以被配置为通过围绕垂直轴1012旋转来扫描车辆1000周围的环境。例如，系统1010可以包括LIDAR(例如，LIDAR 106等)，该LIDAR在发射一个或多个光脉冲并检测从车辆1000的环境中的对象的反射的光脉冲的同时旋转。此外，例如，与以上讨论一致，系统1010可以包括相机(例如，相机108等)或随LIDAR旋转的其他图像传感器。
因此，如图所示，系统1010的LIDAR可以在系统1010的指向方向上发射光1080(例如，类似于发射光380等)，该指向方向例如被示为朝向页面的右侧的指向方向。利用这种布置，系统1010的LIDAR可以朝向相对靠近车辆的环境区域(例如，车道标志)以及朝向距车辆较远的环境区域(例如，车辆前方的路标)发射光1080。系统1010的LIDAR还可以包括检测发射光(例如，被包括在入射光1090中)的反射的接收器。此外，系统1010可以包括从与LIDAR相同或至少部分重叠的FOV接收入射光1090的一部分(例如，外部光等)的共同对准的相机。
此外，车辆1000可以使系统1010(例如，共同对准的LIDAR和相机布置)围绕轴1012旋转，以同时改变系统1010中的传感器(例如，LIDAR和相机)的指向方向。在一个示例中，车辆1000可以使系统1010围绕轴1012重复旋转达完整的旋转。在该示例中，对于系统1010(或其一个或多个组件)的每个完整旋转，系统1010可以扫描车辆1000周围的360°FOV。在另一示例中，车辆1000可以使系统1010围绕轴1012旋转不到完整的旋转(例如，扫描有限的水平FOV而不是完整的360°FOV)。
V.结论
图中所示的具体布置不应被视为限制性的。应该理解，其他实施方式可以包括更多或更少的给定图中所示的每个元件。此外，一些示出的元件可以被组合或省略。此外，示例性实施方式可以包括图中未示出的元件。此外，虽然本文公开了各种方面和实施方式，但是其他方面和实施方式对于本领域技术人员来说将是明显的。本文公开的各种方面和实施方式是为了说明的目的，而不是旨在限制，真正的范围和精神由所附权利要求指示。在不脱离本文所呈现的主题的精神或范围的情况下，可以利用其他实施方式，并且可以进行其他改变。很容易理解的是，如本文中一般描述并在附图中示出的，本公开的各方面可以以各种不同的配置来布置、替换、组合、分离和设计。

Claims (17)

1.一种包括共同对准的旋转传感器的设备，包括：
光检测和测距LIDAR发送器，根据设备的指向方向朝着场景发射光脉冲；
LIDAR接收器，检测来自所述场景的所发射的光脉冲的反射；
图像传感器，根据所述设备的指向方向并且至少基于源自一个或多个外部光源的外部光来捕获所述场景的图像，其中，所述图像传感器包括感测元件阵列，其中，所述图像传感器基于至少以下各项的和生成捕获的图像的图像像素：由所述阵列中的第一感测元件指示的第一图像像素和由所述阵列中的第二感测元件指示的第二图像像素；
平台，支撑处于特定的相对布置的LIDAR发送器、LIDAR接收器和图像传感器；和
致动器，使所述平台围绕轴旋转以调整所述设备的指向方向，其中，对所述第一图像像素的捕获和对所述第二图像像素的捕获之间的时间延迟至少基于所述平台围绕所述轴的旋转速率。
2.根据权利要求1所述的设备，还包括控制器，所述控制器将来自所述LIDAR接收器的数据与来自所述图像传感器的数据相关联。
3.根据权利要求1所述的设备，还包括控制器，所述控制器基于来自所述LIDAR接收器的数据和来自所述图像传感器的数据确定所述场景的三维(3D)表示。
4.根据权利要求1所述的设备，还包括控制器，所述控制器基于由所述图像传感器指示的颜色信息和由所述LIDAR接收器指示的距离信息确定所述场景的表示。
5.根据权利要求1所述的设备，还包括控制器，所述控制器使所述图像传感器在所述致动器正旋转所述平台时捕获多个图像。
6.根据权利要求5所述的设备，其中，所述控制器基于所述平台围绕所述轴的旋转速率确定所述图像传感器对两个连续的图像的捕获之间的时间延迟，并且其中，所述控制器使所述图像传感器根据所确定的时间延迟捕获所述多个图像。
7.根据权利要求5所述的设备，其中，所述控制器使所述图像传感器在给定时间捕获所述多个图像中的给定图像，所述给定时间基于所发射的光脉冲中的一个或多个的发射时间。
8.根据权利要求1所述的设备，还包括：
透镜，接收朝着所述设备传播并入射到所述透镜上的光，其中，所述透镜透射并聚焦穿过所述透镜的接收到的光，其中，所述图像传感器通过所述透镜对所述场景成像，并且其中，所述LIDAR接收器接收穿过所述透镜的所发射的光脉冲的反射。
9.根据权利要求8所述的设备，还包括：
光学元件，沿着来自所述透镜的聚焦光的路径放置，其中，所述光学元件将所述聚焦光的第一部分导向所述LIDAR接收器，并且其中，所述光学元件将所述聚焦光的第二部分导向所述图像传感器。
10.根据权利要求8所述的设备，还包括：
滤光器，沿着来自所述透镜的聚焦光的路径放置，其中，所述滤光器衰减波长在所发射的光脉冲的波长范围之外的光，其中，所述LIDAR接收器接收穿过所述滤光器的所发射的光脉冲的反射，其中，所述图像传感器接收没有传播穿过所述滤光器的所述聚焦光的至少一部分。
11.一种车辆，包括：
光检测和测距LIDAR传感器，包括发送器和接收器，其中，所述发送器根据所述LIDAR传感器的指向方向朝着场景发射光脉冲，并且其中，所述接收器检测从所述场景传播的所发射的光脉冲的反射；
相机，根据所述相机的指向方向并至少基于源自一个或多个外部光源的外部光来捕获图像，其中，所述相机基于至少以下各项的和生成图像中的图像像素列：使用相机中的第一列感测元件捕获的第一图像像素列和使用相机中的第二列感测元件捕获的第二图像像素列；
平台，支撑处于特定的相对布置的所述LIDAR传感器和所述相机；和
致动器，使所述平台围绕轴旋转，以根据所述特定的相对布置同时改变所述LIDAR传感器的指向方向和所述相机的指向方向，以及其中，所述第一图像像素列的捕获与第二图像像素列的捕获之间的时间延迟至少基于所述平台围绕轴的旋转速率。
12.根据权利要求11所述的车辆，还包括控制器，所述控制器使所述相机根据由所述LIDAR传感器检测到的一个或多个反射的光脉冲的检测时间来捕获多个图像。
13.根据权利要求11所述的车辆，其中，所述相机包括平行于所述平台的旋转轴的一列或多列感测元件。
14.根据权利要求13所述的车辆，其中，所述一列或多列感测元件至少包括所述第一列感测元件和所述第二列感测元件。
15.根据权利要求11所述的车辆，还包括：
LIDAR透镜，将从环境传播的所发射的光脉冲的反射聚焦到所述LIDAR传感器的接收器；以及
相机透镜，将所述外部光聚焦到所述相机中的感测元件阵列。
16.一种用于包括共同对准的旋转传感器的设备的方法，包括：
使用光检测和测距LIDAR传感器扫描场景，其中，所述LIDAR传感器朝着所述场景发射光脉冲，并检测来自所述场景的所发射的光脉冲的反射；
使用检测源自一个或多个外部光源的外部光的图像传感器生成所述场景的图像，生成图像包括：
获得使用所述图像传感器中的第一感测元件捕获的第一图像像素；
获得使用所述图像传感器中的第二感测元件在从捕获所述第一图像像素的时间起经过时间延迟之后捕获的第二图像像素；以及
至少基于所述第一图像像素和所述第二图像像素的和确定所生成的场景图像的特定图像像素；以及
旋转支撑处于特定的相对布置的所述LIDAR传感器和所述图像传感器的平台，其中，旋转所述平台包括围绕轴同时旋转所述LIDAR传感器和所述图像传感器，以及其中，所述时间延迟至少基于所述平台围绕轴的旋转速率。
17.根据权利要求16所述的方法，还包括：
至少基于与所述第一图像像素相关联并且由来自所述LIDAR传感器的数据指示的距离信息来选择所述图像传感器的第二感测元件。
CN201880063958.1A 2017-08-08 2018-07-13 包括共同对准的旋转传感器的设备、其方法以及车辆 Active CN111164453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311694214.9A CN117849763A (zh) 2017-08-08 2018-07-13 旋转lidar和共同对准成像仪

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/671,845 2017-08-08
US15/671,845 US10447973B2 (en) 2017-08-08 2017-08-08 Rotating LIDAR with co-aligned imager
PCT/US2018/042076 WO2019032243A1 (en) 2017-08-08 2018-07-13 ROTARY LIDAR WITH COALIGNED IMAGER

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311694214.9A Division CN117849763A (zh) 2017-08-08 2018-07-13 旋转lidar和共同对准成像仪

Publications (2)

Publication Number Publication Date
CN111164453A CN111164453A (zh) 2020-05-15
CN111164453B true CN111164453B (zh) 2023-12-29

Family

ID=65271431

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880063958.1A Active CN111164453B (zh) 2017-08-08 2018-07-13 包括共同对准的旋转传感器的设备、其方法以及车辆
CN202311694214.9A Pending CN117849763A (zh) 2017-08-08 2018-07-13 旋转lidar和共同对准成像仪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311694214.9A Pending CN117849763A (zh) 2017-08-08 2018-07-13 旋转lidar和共同对准成像仪

Country Status (4)

Country Link
US (5) US10447973B2 (zh)
EP (1) EP3658950A4 (zh)
CN (2) CN111164453B (zh)
WO (1) WO2019032243A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
CN109313024B (zh) 2016-03-11 2022-06-17 卡尔塔股份有限公司 具有实时在线自我运动估计的激光扫描仪
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US10447973B2 (en) 2017-08-08 2019-10-15 Waymo Llc Rotating LIDAR with co-aligned imager
US11758111B2 (en) * 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
US10816666B2 (en) * 2017-11-21 2020-10-27 Magna Electronics Inc. Vehicle sensing system with calibration/fusion of point cloud partitions
US10305604B1 (en) * 2017-12-28 2019-05-28 Facebook, Inc. Coherent aperture combining using machine learning
WO2019165194A1 (en) * 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
US10560685B2 (en) * 2018-06-12 2020-02-11 Aura Intelligent Systems, Inc. Method and apparatus for an advanced radio system
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
US11747481B2 (en) * 2018-07-20 2023-09-05 The Boeing Company High performance three dimensional light detection and ranging (LIDAR) system for drone obstacle avoidance
US10627512B1 (en) * 2018-11-29 2020-04-21 Luminar Technologies, Inc. Early fusion of lidar return data with camera information
WO2020215198A1 (zh) * 2019-04-23 2020-10-29 深圳市大疆创新科技有限公司 一种数据处理方法、装置、设备及可移动平台
WO2020241954A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
US11835627B2 (en) * 2019-07-05 2023-12-05 WeRide Corp. Image capturing method and device
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN114503571B (zh) * 2019-10-03 2024-06-14 Lg电子株式会社 点云数据发送装置和方法、点云数据接收装置和方法
CN111123972B (zh) * 2019-12-04 2023-04-14 北京航天时代激光导航技术有限责任公司 一种基于航向角跟踪的惯性测量组合旋转调制方法
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
KR20210099780A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111466835A (zh) * 2020-03-31 2020-07-31 深圳市银星智能科技股份有限公司 清洁机器人
CN111854698A (zh) * 2020-07-01 2020-10-30 南京理工大学 微型化低成本路面障碍物告警视觉定位传感器及告警方法
US11747454B2 (en) * 2021-06-21 2023-09-05 Cyngn, Inc. Granularity-flexible existence-based object detection
DE102021207214A1 (de) * 2021-07-08 2023-01-12 Robert Bosch Gesellschaft mit beschränkter Haftung Lidar-Sensor, Umfelderfassungssystem und Fahrzeug
CN113733829B (zh) * 2021-07-20 2023-09-22 山东大学 线性渠堤表面及内部病害检测的水陆两栖机器人系统及方法
USD1012739S1 (en) 2021-12-08 2024-01-30 Waymo Llc Sensor assembly
WO2023129725A1 (en) * 2021-12-31 2023-07-06 Velodyne Lidar Usa, Inc. Lidar system having a linear focal plane, and related methods and apparatus
CN115184959A (zh) * 2022-05-24 2022-10-14 中国科学院合肥物质科学研究院 一种旋转式大口径中高层测风激光雷达系统
JP2024068423A (ja) * 2022-11-08 2024-05-20 ソニーセミコンダクタソリューションズ株式会社 センシングシステム、センシング制御装置、及び、センシング方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898125A (zh) * 2014-02-06 2015-09-09 通用汽车环球科技运作有限责任公司 用于汽车的低成本小型lidar
CN104995482A (zh) * 2013-02-12 2015-10-21 法罗技术股份有限公司 多模式光学测量设备和操作方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965677B2 (en) 1998-10-22 2015-02-24 Intelligent Technologies International, Inc. Intra-vehicle information conveyance system and method
WO2002082201A1 (en) 2001-04-04 2002-10-17 Instro Precision Limited Image analysis apparatus
US7363157B1 (en) * 2005-02-10 2008-04-22 Sarnoff Corporation Method and apparatus for performing wide area terrain mapping
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
US8139109B2 (en) 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
US8767190B2 (en) 2006-07-13 2014-07-01 Velodyne Acoustics, Inc. High definition LiDAR system
US20110040427A1 (en) 2007-10-31 2011-02-17 Pinhas Ben-Tzvi Hybrid mobile robot
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US20100157280A1 (en) 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
KR101030763B1 (ko) 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
DE102011076493A1 (de) 2011-05-26 2012-11-29 Hilti Aktiengesellschaft Messeinrichtung zur Distanzmessung
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
KR20140006462A (ko) * 2012-07-05 2014-01-16 현대모비스 주식회사 안전운전 지원 장치 및 방법
US9383753B1 (en) 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
EP3456597B1 (en) * 2013-04-11 2023-06-07 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
US9205776B2 (en) * 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
DE102014211071A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
US20150369565A1 (en) * 2014-06-20 2015-12-24 Matthew Flint Kepler Optical Device Having a Light Separation Element
JP6789926B2 (ja) 2014-08-15 2020-11-25 エイアイ インコーポレイテッドＡＥＹＥ， Ｉｎｃ． Ｌａｄａｒ伝送のための方法及びシステム
US20160073023A1 (en) * 2014-09-05 2016-03-10 360fly, Inc. Panoramic camera systems
KR20160034719A (ko) 2014-09-22 2016-03-30 한화테크윈 주식회사 라이다 시스템
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US9369689B1 (en) * 2015-02-24 2016-06-14 HypeVR Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
US9715016B2 (en) * 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
US20160267669A1 (en) * 2015-03-12 2016-09-15 James W. Justice 3D Active Warning and Recognition Environment (3D AWARE): A low Size, Weight, and Power (SWaP) LIDAR with Integrated Image Exploitation Processing for Diverse Applications
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9651658B2 (en) 2015-03-27 2017-05-16 Google Inc. Methods and systems for LIDAR optics alignment
US9880263B2 (en) 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
DE102015217908A1 (de) * 2015-09-18 2017-03-23 Robert Bosch Gmbh Lidarsensor
WO2017120379A1 (en) * 2016-01-06 2017-07-13 360fly, Inc. Modular panoramic camera systems
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
KR20240051293A (ko) * 2016-09-20 2024-04-19 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US10942272B2 (en) * 2016-12-13 2021-03-09 Waymo Llc Power modulation for a rotary light detection and ranging (LIDAR) device
US10048358B2 (en) * 2016-12-30 2018-08-14 Panosense Inc. Laser power calibration and correction
US10359507B2 (en) * 2016-12-30 2019-07-23 Panosense Inc. Lidar sensor assembly calibration based on reference surface
US10520592B2 (en) * 2016-12-31 2019-12-31 Waymo Llc Light detection and ranging (LIDAR) device with an off-axis receiver
US10743002B2 (en) * 2017-03-03 2020-08-11 Gopro, Inc. Sequential in-place blocking transposition for image signal processing
WO2018176017A1 (en) * 2017-03-24 2018-09-27 Revealit Corporation Method, system, and apparatus for identifying and revealing selected objects from video
US10866313B2 (en) * 2017-07-07 2020-12-15 Waymo Llc Vehicle sensor synchronization using an external clock source
US11300958B2 (en) * 2017-07-13 2022-04-12 Waymo Llc Sensor adjustment based on vehicle motion
US10447973B2 (en) * 2017-08-08 2019-10-15 Waymo Llc Rotating LIDAR with co-aligned imager

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104995482A (zh) * 2013-02-12 2015-10-21 法罗技术股份有限公司 多模式光学测量设备和操作方法
CN104898125A (zh) * 2014-02-06 2015-09-09 通用汽车环球科技运作有限责任公司 用于汽车的低成本小型lidar

Also Published As

Publication number Publication date
EP3658950A4 (en) 2020-12-23
US20240080414A1 (en) 2024-03-07
CN117849763A (zh) 2024-04-09
WO2019032243A1 (en) 2019-02-14
US20190052844A1 (en) 2019-02-14
US10951864B2 (en) 2021-03-16
US11470284B2 (en) 2022-10-11
CN111164453A (zh) 2020-05-15
US11838689B2 (en) 2023-12-05
US20230032410A1 (en) 2023-02-02
EP3658950A1 (en) 2020-06-03
US20200169701A1 (en) 2020-05-28
US10447973B2 (en) 2019-10-15
US20210185281A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111164453B (zh) 包括共同对准的旋转传感器的设备、其方法以及车辆
US11860305B2 (en) Light detection and ranging (LIDAR) device having multiple receivers
US11906671B2 (en) Light detection and ranging (LIDAR) device with an off-axis receiver
CN110073239A (zh) 用于旋转光检测和测距（lidar）设备的功率调制
JP7227391B2 (ja) センサハウジングの障害物を検出するための方法およびシステム
WO2020162994A2 (en) Methods and systems for detecting sensor occlusions
US20220113419A1 (en) LIDAR Based Stereo Camera Correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant