CN118033649A - 同步旋转lidar和卷帘快门相机系统 - Google Patents

同步旋转lidar和卷帘快门相机系统 Download PDF

Info

Publication number
CN118033649A
CN118033649A CN202410086086.8A CN202410086086A CN118033649A CN 118033649 A CN118033649 A CN 118033649A CN 202410086086 A CN202410086086 A CN 202410086086A CN 118033649 A CN118033649 A CN 118033649A
Authority
CN
China
Prior art keywords
lidar
sensor
image
sensing elements
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410086086.8A
Other languages
English (en)
Inventor
B·加森德
B·英格拉姆
A·文德尔
M·A·尚德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN118033649A publication Critical patent/CN118033649A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)

Abstract

一个示例方法包括：接收由耦合到车辆的光检测和测距LIDAR传感器获得的LIDAR数据，其中，所述LIDAR传感器基于所述LIDAR传感器围绕轴的旋转扫描所述车辆的环境，其中，所述LIDAR传感器围绕轴的旋转调整所述LIDAR传感器的视场FOV，并且其中，所述LIDAR数据包括指示到所述车辆的环境中的一个或多个对象的距离的多个LIDAR数据点；接收由耦合到车辆的一个或多个相机获得的指示所述车辆的环境的图像数据，其中，所述一个或多个相机以与LIDAR传感器的旋转相协调的卷帘快门模式操作，其中，所述图像数据包括多个图像像素；以及组合图像数据和LIDAR数据。

Description

同步旋转LIDAR和卷帘快门相机系统
本申请是申请日为2018年07月13日、申请号为：201880063620.6、发明名称为“同步旋转LIDAR和卷帘快门相机系统”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求于2017年9月28日提交的美国专利申请第15/719,366号的优先权，其全部内容通过引用合并于此。
背景技术
诸如光检测和测距(light detection and ranging，LIDAR)传感器、无线电检测和测距(radio detection and ranging，RADAR)传感器以及声音导航和测距(soundnavigation and ranging，SONAR)传感器等的有源传感器可以通过向环境发射信号并检测发射的信号的反射来扫描环境。诸如图像传感器和麦克风等的无源传感器可以检测来自环境中的源的信号。
示例LIDAR传感器可以在扫描场景以聚集表示反射表面的“点云”时确定到环境特征的距离。可以通过以下方式确定点云中的各个点：例如，通过发送激光脉冲并检测从环境中的对象反射的返回脉冲(如果有)，然后根据脉冲的发送和其反射的接收之间的时间延迟确定到对象的距离。因此，可以生成指示环境中的反射特征的位置的点的三维图。
示例图像传感器可以捕获图像传感器可见的场景的图像。例如，图像传感器可以包括互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)有源像素传感器或其他类型的光传感器的阵列。每个CMOS传感器可以从入射到阵列上的场景接收一部分光。然后，当CMOS传感器被暴露于来自场景的光时，每个CMOS传感器可以在曝光时间期间输出入射在CMOS传感器上的光的量的测量。通过这种布置，可以生成场景的图像，其中图像中的每个像素基于来自CMOS传感器阵列的输出指示一个或多个值(例如，颜色等)。
发明内容
在一个示例中，一种系统包括光检测和测距(LIDAR)传感器，该传感器包括发送器和接收器。发送器向LIDAR传感器的环境发射光脉冲。接收器检测发射的光脉冲的反射。LIDAR传感器基于LIDAR传感器围绕轴的旋转来扫描环境。该系统还包括检测来自一个或多个外部光源的外部光的一个或多个相机。一个或多个相机一起提供多行感测元件。每行感测元件与LIDAR传感器的旋转轴对准。该系统还包括控制器，该控制器操作一个或多个相机以获得图像像素行的序列。序列中的第一图像像素行指示在第一曝光时间段期间由第一行感测元件对外部光的测量。序列中的第二图像像素行指示在第二曝光时间段期间由第二行感测元件对外部光的测量。
在另一个示例中，一种设备包括光检测和测距(LIDAR)传感器，该传感器发射多个光束，将多个光束引向由LIDAR传感器的指向(pointing direction)定义的视场(FOV)，以及检测所发射的光束的反射。该设备还包括图像传感器，该图像传感器检测来自一个或多个外部光源的外部光。图像传感器包括相邻行的感测元件的阵列。根据针对LIDAR传感器的给定指向，由LIDAR传感器引导的给定光束的布置来布置阵列中的给定行的感测元件。该设备还包括致动器，该致动器使LIDAR传感器围绕轴旋转以调整LIDAR传感器的指向。由LIDAR传感器发射的多个光束的布置至少基于指向的调整。该设备还包括控制器，该控制器操作图像传感器以至少基于由LIDAR传感器发射的多个光束的布置以特定顺序获得图像像素的序列。图像像素的序列指示由阵列中的相应感测元件根据相应感测元件对外部光的相应曝光时间段进行的测量。相应曝光时间段至少基于特定顺序。
在又一个示例中，一种方法涉及围绕轴旋转光检测和测距(LIDAR)传感器以扫描LIDAR传感器的环境。LIDAR传感器向环境发射光脉冲，并检测所发射的光脉冲的反射。该方法还涉及使用一个或多个相机来获取图像像素行的序列，该一个或多个相机检测来自一个或多个外部光源的外部光。一个或多个相机一起提供多行感测元件。每行感测元件与LIDAR传感器的旋转轴对准。序列中的第一图像像素行指示在第一曝光时间段期间由第一行感测元件对外部光的测量。该序列中的第二图像像素行指示在第二曝光时间段期间由第二行感测元件对外部光的测量。
在又一示例中，系统包括用于使光检测和测距(LIDAR)传感器围绕轴旋转以扫描LIDAR传感器的环境的装置。LIDAR传感器向环境发射光脉冲，并检测所发射的光脉冲的反射。该系统还包括用于使用检测来自一个或多个外部光源的外部光的一个或多个相机来获得图像像素行的序列的装置。一个或多个相机一起提供多行感测元件。每行感测元件与LIDAR传感器的旋转轴对准。序列中的第一图像像素行指示在第一曝光时间段期间由第一行感测元件对外部光的测量。序列中的第二图像像素行指示在第二曝光时间段期间由第二行感测元件对外部光的测量。
在又一示例中，一种方法，包括：接收由耦合到车辆的光检测和测距LIDAR传感器获得的LIDAR数据，其中，所述LIDAR传感器基于所述LIDAR传感器围绕轴的旋转扫描所述车辆的环境，其中，所述LIDAR传感器围绕轴的旋转调整所述LIDAR传感器的视场FOV，并且其中，所述LIDAR数据包括指示到所述车辆的环境中的一个或多个对象的距离的多个LIDAR数据点；接收由耦合到车辆的一个或多个相机获得的指示所述车辆的环境的图像数据，其中，所述一个或多个相机以与LIDAR传感器的旋转相协调的卷帘快门模式操作，其中，所述图像数据包括多个图像像素；以及组合图像数据和LIDAR数据。
在又一示例中，一种非暂时性计算机可读介质，其中存储有可由计算设备执行以使所述计算设备执行操作的指令，其中，所述操作包括：接收由耦合到车辆的光检测和测距LIDAR传感器获得的LIDAR数据，其中，所述LIDAR传感器基于所述LIDAR传感器围绕轴的旋转扫描所述车辆的环境，其中，所述LIDAR传感器围绕轴的旋转调整所述LIDAR传感器的视场FOV，并且其中，所述LIDAR数据包括指示到所述车辆的环境中的一个或多个对象的距离的多个LIDAR数据点；接收由耦合到车辆的一个或多个相机获得的指示所述车辆的环境的图像数据，其中，所述一个或多个相机以与LIDAR传感器的旋转相协调的卷帘快门模式操作，其中，所述图像数据包括多个图像像素；以及组合图像数据和LIDAR数据。
在又一示例中，一种系统，包括：耦合到车辆的光检测和测距LIDAR传感器，其中，所述LIDAR传感器被配置为基于所述LIDAR传感器围绕轴的旋转扫描所述车辆的环境并且从而获得LIDAR数据，其中，所述LIDAR传感器围绕轴的旋转调整所述LIDAR传感器的视场FOV，并且其中，所述LIDAR数据包括指示到所述车辆的环境中的一个或多个对象的距离的多个LIDAR数据点；耦合到所述车辆的一个或多个相机，其中，所述一个或多个相机被配置为获得指示所述车辆的环境的图像数据，其中，所述图像数据包括多个图像像素，并且其中，所述一个或多个相机以与LIDAR传感器的旋转相协调的卷帘快门模式操作；以及控制器，其中，所述控制器被配置为从所述LIDAR传感器接收所述LIDAR数据，从所述一个或多个相机接收所述图像数据，并且组合所述图像数据和所述LIDAR数据。
通过适当地参考附图解读以下详细描述，这些以及其他方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外，应当理解，在本发明内容部分和本文件中其他地方提供的描述旨在通过示例而非限制的方式说明所要求保护的主题。
附图说明
图1是根据示例实施例的系统的简化框图。
图2A示出了根据示例实施例的包括旋转LIDAR传感器和卷帘快门相机(rollingshutter camera)布置的设备。
图2B是图2A的卷帘快门相机布置的截面图。
图2C是图2A的设备的操作的概念性图示。
图2D示出了图2A的设备的俯视图。
图2E示出了图2A的设备的另一俯视图。
图3示出了根据示例实施例的另一种卷帘快门相机布置的截面图。
图4是根据示例实施例的方法的流程图。
具体实施方式
本文描述了示例性实施方式。应当理解，词语“示例性”在本文中用来表示“用作示例、实例或说明”。本文中被描述为“示例性”或“说明性”的任何实施方式或特征不一定被解释为比其他实施方式或特征优选或有利。在附图中，除非上下文另外指出，否则相似的符号通常标识相似的组件。本文描述的示例实施方式并不意味着是限制性的。容易理解的是，如本文一般地描述的以及在附图中示出的，本公开的各方面可以以各种不同的配置进行布置、替换、组合、分离和设计。
I.概述
可以采用传感器融合算法来合并来自多个传感器(诸如，例如图像传感器和LIDAR传感器)的数据以生成扫描的环境的表示。例如，扫描的环境的3D表示可以指示使用图像传感器确定的颜色信息与使用LIDAR传感器确定的其他信息(例如，距离、深度、强度、纹理、反射光脉冲长度等)组合。
本文中的示例设备、系统和方法与感测周围环境的两个或多个传感器的空间和/或时间同步有关。一种示例设备可以包括旋转LIDAR传感器和一个或多个相机。一个或多个相机可以一起提供图像感测元件的相邻行的阵列。阵列中的行可以与LIDAR传感器的旋转轴对准(例如，基本平行于)。例如，如果LIDAR传感器绕垂直轴旋转，则每行感测元件可以被布置为平行于LIDAR传感器的垂直轴的感测元件的垂直线。
例如，利用这种布置，该设备可以改善与以下相关联的定时和观看方向的同步：(i)由一个或多个相机捕获的图像像素；以及(ii)由LIDAR传感器检测的反射光脉冲。
举例来说，LIDAR传感器可以具有基本垂直的旋转轴，并且可以被配置为在LIDAR传感器旋转时重复地以垂直模式(例如，平行于LIDAR传感器的旋转轴)发射光脉冲。与LIDAR传感器的旋转速率相比，以垂直模式发射的光脉冲可以非常迅速地被发射。因此，在该示例中，垂直方向可以被描述为LIDAR传感器的“快轴”，并且LIDAR传感器的水平旋转方向可以被描述为LIDAR传感器的“慢轴”。例如，LIDAR传感器的快轴可以对应于使用LIDAR传感器生成的数据点云中的垂直方向，而LIDAR传感器的慢轴可以对应于数据点云中的水平方向。
设备的控制器可以以与LIDAR传感器发射(和检测)光脉冲的顺序相似的顺序操作一个或多个相机以获得图像像素序列。例如，可以使用阵列中的感测元件的第一行(例如，垂直行)以与由LIDAR传感器发射光脉冲的顺序相似的顺序(例如，从上到下等)来测量序列中图像像素的第一行。然后可以使用阵列中感测元件的相邻垂直行来测量序列中第二行图像像素(在第一行之后)，依此类推。
可以根据阵列中的感测元件的相应行的相应曝光时间段来测量序列中的图像像素的每一行。例如，图像像素的第一行可以指示在第一曝光时间段期间入射在第一行感测元件上的外部光的量，以及图像像素的第二后续行可以指示在第二曝光时间段(在第一曝光时间段开始之后开始)期间的第二(相邻)行感测元件上入射的外部光的量。在一些实施方式中，第二曝光时间段可以在第一曝光时间段开始之后但在第一曝光时间段结束之前开始。可替代地，在其他实施方式中，第二曝光时间段可以在第一曝光时间段结束之后开始。
通过该处理，一个或多个相机的“快轴”可以对应于LIDAR传感器的快轴，并且一个或多个相机的“慢轴”可以对应于LIDAR传感器的慢轴。例如，当将一个或多个相机安装在示例设备中时，(多个)相机可以相对于LIDAR传感器物理地旋转(例如，从水平取向到垂直取向等)，直到一个接一个被测量的成行的感测元件(即，(多个)相机的快轴)平行于LIDAR传感器的旋转轴(即，LIDAR传感器的快轴)。
在一些实施方式中，设备的控制器可以根据由控制器提供的定时配置来操作一个或多个相机以获得图像像素序列。定时配置例如可以基于LIDAR传感器围绕LIDAR传感器的旋转轴的取向(例如，观看方向、指向、角位置等)。
例如，控制器可以获得使用图像感测元件行测量的图像像素，该图像感测元件对LIDAR传感器的当前FOV附近或(至少部分地)重叠的视场(field-of-view，FOV)成像。例如，图像感测元件行可以被配置为检测来自环境的特定区域的外部光。为了使图像像素的收集与LIDAR数据的收集同步，设备可以在包括LIDAR传感器也在扫描环境的特定区域的时间(例如，当旋转LIDAR的FOV与环境的特定区域重叠时)的曝光时间段内，将感测元件行暴露于外部光。例如，通过这样做，该设备可以改善在相似的时间范围期间并且从相似的观看方向将图像像素序列与由LIDAR传感器检测到的相应光脉冲反射进行匹配的可能性。
通过该处理，可以更有效地组合来自LIDAR传感器和(多个)相机的传感器数据。更一般而言，本文的示例实施方式可以通过在时间域和/或空间域中同步两个(或多个)传感器的传感器数据的收集操作来改善与组合来自两个(或多个)传感器的传感器数据有关的计算机操作的准确性和/或效率。
II.示例传感器
尽管本文描述的示例传感器包括LIDAR传感器和相机(或图像传感器)，但是其他类型的传感器也是可能的。在不脱离本公开的范围的情况下可以在本文中替代使用的示例传感器的非穷举列表包括RADAR传感器、SONAR传感器、声音传感器(例如，麦克风等)、运动传感器、温度传感器、压力传感器等。
为此，本文的示例传感器可以包括有源传感器，该有源传感器基于提供给传感器的调制功率来发射信号(例如，脉冲序列或任何其他调制信号)，并且然后从周围的环境中的对象检测所发射信号的反射。可替代地或附加地，本文的示例传感器可以包括检测来自环境中的(多个)外部源的外部信号(例如，背景信号等)的无源传感器(例如，相机、麦克风、天线、压力传感器等)。
现在参考附图，图1是根据示例实施例的包括同步传感器的系统100的简化框图。如所示的，系统100包括电源装置102、控制器104、一个或多个传感器106、一个或多个传感器108、旋转平台110、一个或多个致动器112、固定平台114、旋转连杆(rotary link)116、壳体118和显示器140。
在其他实施例中，系统100可以包括更多、更少或不同的组件。附加地，可以以多种方式组合或划分所示的组件。例如，(多个)传感器108可以被实施为单个物理组件(例如，相机环)。可替代地，例如，(多个)传感器108可以被实施为单独的物理组件的布置。其他示例也是可能的。因此，仅为了便于描述而示出了图1的功能块。在不脱离本公开的范围的情况下，其他示例性组件、布置和/或配置也是可能的。
电源装置102可以被配置为向系统100的各个组件提供、接收和/或分配电力。为此，电源装置102可以包括或者采取以设置在系统100内并以任何可行的方式连接到系统100的各个组件的方式的电源(例如，电池)的形式，以便向这些组件供电。附加地或可替代地，电源装置102可以包括或者采取以电源适配器的形式，其被配置为从一个或多个外部电源(例如，从布置在安装有系统100的车辆中的电源等)接收电力，并将接收到的电力传输到系统100的各个组件。
控制器104可以包括一个或多个电子组件和/或系统，其被布置为促进系统100的某些操作。控制器104可以以任何可行的方式设置在系统100内。在一个实施例中，控制器104可以至少部分地布置在旋转连杆116的中心腔区域内。在另一实施例中，控制器104的一个或多个功能可以可替代地由分别布置在系统100的各个组件(例如，(多个)传感器106、108等)内的一个或多个物理上分开的控制器来执行。
在一些示例中，控制器104可以包括或耦合到用于将控制信号传送到系统100的各个组件和/或用于将数据从系统100的各个组件传送到控制器104的布线。通常，控制器104接收到的信号可以包括基于由LIDAR 106和/或(多个)相机108的光检测的传感器数据以及其他可能性。此外，由控制器104发送的控制信号可以操作系统100的各种组件，诸如通过控制由(多个)传感器106(例如，LIDAR等)进行的光或其他信号的发射和/或检测、经由相机(例如，被包括在(多个)传感器108中)控制图像像素捕获速率或时间、和/或控制(多个)致动器112旋转旋转平台110、以及其他可能性。
为此，在一些示例中，控制器104可以包括一个或多个处理器、数据存储以及可由一个或多个处理器运行以使系统100执行本文所描述的各种操作的程序指令(存储在数据存储中)。在一些情况下，控制器104可以与外部控制器等(例如，布置在安装有系统100的车辆、机器人或其他机械设备中的计算系统)进行通信，以帮助促进外部控制器和系统100各个组件之间的控制信号和/或数据的传送。
附加地或可替代地，在一些示例中，控制器104可以包括布线以执行本文所述的各种功能的电路。附加地或可替代地，在一些示例中，控制器104可以包括一个或多个专用处理器、伺服器或其他类型的控制器。例如，控制器104可以包括比例-积分-微分(proportional-integral-derivative，PID)控制器或其他控制回路反馈装置，其操作(多个)致动器112以根据特定频率或相位调制旋转平台110的旋转。其他示例也是可能的。
传感器106和108可以可选地包括一个或多个传感器，其扫描系统100的周围环境，诸如LIDAR、相机、陀螺仪、加速计、编码器、麦克风、RADAR、SONAR、温度计等。
(多个)传感器106可以包括被配置为通过发射信号并检测所发射的信号的反射来扫描周围环境的任何设备。例如，(多个)传感器106可以包括任何类型的有源传感器。为此，如所示的，传感器106包括发送器120和接收器122。在一些实施方式中，传感器106还可以包括一个或多个光学元件124。
发送器120可以被配置为向系统100的环境发送信号。
在第一示例中，在传感器106被配置为LIDAR传感器的情况下，发送器120可以包括一个或多个光源(未示出)，该一个或多个光源发射具有在波长范围内的波长的一个或多个光束和/或脉冲。取决于光源的配置，波长范围可以例如在电磁光谱的紫外、可见和/或红外部分中。在一些示例中，波长范围可以是狭窄的波长范围，诸如由激光器和/或一些发光二极管提供的波长范围。在一些示例中，发送器120中的(多个)光源可以包括激光二极管、二极管条、发光二极管(light emitting diode，LED)、垂直腔表面发射激光器(verticalcavity surface emitting laser，VCSEL)、有机发光二极管(organic light emittingdiode，OLED)、聚合物发光二极管(polymer light emitting diode，PLED)、发光聚合物(light emitting polymer，LEP)、液晶显示器(liquid crystal display，LCD)、微机电系统(microelectromechanical system，MEMS)、光纤激光器和/或被配置为选择性地透射、反射和/或发射光以提供多个发射的光束和/或脉冲的任何其他设备。
在第二示例中，在传感器106被配置为有源红外(active infrared，IR)相机的情况下，发送器120可以被配置为发射IR辐射以照亮场景。为此，发送器120可以包括被配置为提供IR辐射的任何类型的设备(例如，光源等)。
在第三示例中，在传感器106被配置为RADAR传感器的情况下，发送器120可以包括一个或多个天线，该一个或多个天线被配置为向系统100的环境发射调制的射频(radio-frequency，RF)信号。
在第四示例中，在传感器106被配置为SONAR传感器的情况下，发送器120可以包括一个或多个声学换能器，诸如压电换能器、磁致伸缩换能器、静电换能器等，其被配置为向系统100的环境发射调制的声音信号。在一些实施方式中，声学换能器可以被配置为发射特定波长范围内的声音信号(例如，次声、超声等)。其他示例也是可能的。
接收器122可以包括一个或多个检测器，其被配置为检测由发送器120发射的信号的反射。
在第一示例中，在传感器106被配置为RADAR传感器的情况下，接收器122可以包括一个或多个天线，其被配置为检测由发送器120发射的RF信号的反射。为此，在一些实施方式中，发送器120和接收器122的一个或多个天线可以被物理地实施为相同的物理天线结构。
在第二示例中，在传感器106被配置为SONAR传感器的情况下，接收器122可以包括一个或多个声音传感器(例如，麦克风等)，其被配置为检测由发送器120发射的声音信号的反射。
在第三示例中，在传感器106被配置为有源IR相机的情况下，接收器122可以包括一个或多个光检测器(例如，有源像素传感器等)，其被配置为检测由发送器120发送的并且从场景反射到接收器122的IR光的源波长。
在第四示例中，在传感器106被配置为LIDAR传感器的情况下，接收器122可以包括一个或多个光检测器(例如，光电二极管、雪崩光电二极管等)，其被布置为拦截和检测由发送器120发射并且从系统100周围环境中的一个或多个对象反射的光脉冲的反射。为此，接收器122可以被配置为检测具有与由发送器120发射的光相同波长范围内的波长的光。以这种方式，例如，传感器106(例如，LIDAR)可以将由发送器120产生的反射光脉冲与来自环境中的外部光源的其他光区分开。
在一些情况下，接收器122可以包括光电检测器阵列，该光电检测器阵列可以包括一个或多个检测器，每个检测器被配置为将检测到的光(例如，在由发送器120发射的光的波长范围内)转换为指示检测到的光的电信号。光。实际上，可以以各种方式中的一种来布置这种光电检测器阵列。例如，检测器可被设置在一个或多个基板(例如，印刷电路板(printed circuit board，PCB)、柔性PCB等)上且被布置为检测入射光。而且，这种光电检测器阵列可以包括以任何可行方式对准的任何可行数量的检测器。另外，阵列中的检测器可以采取各种形式。例如，检测器可以采取光电二极管、雪崩光电二极管(avalanchephotodiodes)(例如，盖革模式(Geiger mode)和/或线性模式(linear mode)雪崩光电二极管)、硅光电倍增管(silicon photomultipliers，SiPM)、光电晶体管、相机、有源像素传感器(active pixel sensor，APS)、电荷耦合器件(charge coupled device，CCD)、低温检测器和/或被配置为接收具有在发射光波长范围内的波长的聚焦光的任何其他光传感器的形式。
在一些实施方案中，传感器106(例如，在LIDAR配置中)可以通过改变LIDAR的旋转速率和/或调整由发送器120发射的光脉冲的脉冲速率来选择或调整水平扫描分辨率。作为特定示例，发送器120可以被配置为以每秒15,650个光脉冲的脉冲速率发射光脉冲。在该示例中，LIDAR 106可以被配置为以10Hz旋转(即，每秒十次完整的360°旋转)。这样，接收器122可以检测具有0.23°水平角分辨率的光。此外，可以通过改变LIDAR 106的旋转速率或通过调整脉冲速率来调整0.23°的水平角分辨率。例如，如果LIDAR 106改为以20Hz旋转，则水平角分辨率可能变为0.46°。可替代地，如果发送器120以每秒31,300个光脉冲的速率发射光脉冲，同时保持10Hz的旋转速率，则水平角分辨率可以变为0.115°。其他示例也是可能的。此外，在一些示例中，LIDAR 106可以可替代地被配置为在少于LIDAR 106的完整360°旋转范围内扫描特定范围的视图。
(多个)光学元件124可以可选地被包括在发送器120和/或接收器122中或以其他方式耦合到发送器120和/或接收器122。在一个示例中(例如，在传感器106包括LIDAR传感器的情况下)，可以布置(多个)光学元件124将来自发送器120中的光源的光引向环境。在另一个示例中，(多个)光学元件124可以被布置成将来自环境的光聚焦和/或引导到接收器122。这样，(多个)光学元件124可以包括(多个)反射镜、(多个)波导、滤光器、(多个)透镜或被布置为引导光通过物理空间的传播和/或调整某些光特性的其他任何光学组件的任何可行的组合。例如，光学元件124可以包括滤光器，该滤光器被布置为减小或防止具有在由发送器120发射的光的波长范围之外的波长的光向接收器122传播。例如，利用这种布置，滤光器可以减小由于从扫描的环境传播的以及来自不同于发送器120的光源的外部光源的背景光引起的噪声。
(多个)传感器108可以包括被配置为扫描周围环境的任何类型的传感器。如所示的，传感器108包括感测元件128的阵列。此外，如所示的，传感器108可以可选地包括一个或多个光学元件130。
在一些示例中，(多个)传感器108可以包括有源传感器(例如，LIDAR、RADAR、SONAR等)，其发送信号并检测其反射。因此，尽管未示出，但是传感器108可以包括分别类似于发送器120和接收器122的发送器和接收器。在其他示例中，(多个)传感器108可以包括无源传感器(例如，麦克风、相机、图像传感器、温度计等)，其检测来自一个或多个外部源的外部信号。
在第一示例中，在传感器108被配置为声音传感器的情况下，感测元件128可以包括麦克风阵列，每个麦克风检测入射在阵列中的各个麦克风上的声音(例如，外部信号)。
在第二示例中，在(多个)传感器108被配置为一个或多个相机的情况下，(多个)相机可以包括被配置为捕获系统100所处的环境的图像的任何相机(例如，照相机、摄像机等)。例如，传感器108的相机可以包括检测和提供指示图像的数据的任何成像设备。例如，感测元件128可以包括光感测元件的一个或多个布置，每个布置提供入射到其上的光的测量。为此，感测元件128可以包括电荷耦合器件(CCD)、有源像素传感器、互补金属氧化物半导体(CMOS)光电检测器、N型金属氧化物半导体(NMOS)光电检测器、以及其他可能性。
此外，在一些示例中，可以根据感测元件128的布置来组合来自感测元件128的数据以生成图像。在一个示例中，来自感测元件的二维(2D)阵列的数据可以对应于图像中的图像像素的2D阵列。在另一个示例中，感测元件的3D布置(例如，沿着弯曲表面布置的感测元件)可以类似地用于生成图像中的图像像素的2D阵列。其他示例也是可能的。
在一些示例中，感测元件可以可选地包括多个相邻的光检测器(或其他类型的信号的检测器)，其中每个检测器被配置为检测具有特定波长或波长范围的光(或其他信号)。例如，图像像素可以基于来自检测红光的强度的第一检测器、检测绿光的强度的第二检测器和检测蓝光的强度的第三检测器的数据的组合来指示颜色信息(例如，红-绿-蓝或RGB)。其他示例也是可能的。
在一个实施例中，(多个)传感器108可以被配置为检测从场景传播的可见光。此外，在该实施例中，传感器106的接收器122(例如，LIDAR接收器)可以被配置为检测在由发送器120发射的光的波长范围内的不可见光(例如，红外等)。在该实施例中，系统100(或控制器104)然后可以将来自传感器106(例如，LIDAR)的数据与来自传感器108(例如，相机)的数据进行组合，以生成扫描的环境的彩色三维(3D)表示(例如，点云)。
在一些示例中，(多个)传感器108可以包括以围绕传感器106(例如，LIDAR)的旋转轴的圆形布置设置的多个相机(例如，相机环)。例如，第一传感器可以被布置成对环境的第一视场(FOV)进行成像，该第一视场(FOV)在传感器106绕轴旋转时(或者在由发送器120发送的信号绕着轴转向不同的指向时)至少部分地与传感器106的指向的范围重叠。此外，与第一相机相邻和/或重叠的第二相机可以对与第一相机的第一FOV相邻的第二FOV成像，依此类推。以这种方式，例如，系统100可以被配置为在传感器106绕轴旋转时与传感器106对环境的扫描同时(和/或同步)捕获各个FOV的图像序列。
在一些示例中，(多个)传感器108可以被配置为在卷帘快门模式下操作。
在第一示例中，在(多个)传感器108包括麦克风阵列的情况下，来自阵列中麦克风的每个输出可以与对应于传感器108上的外部声音事件的感测元件(例如，麦克风)的各自的曝光时间段相关联。
在第二示例中，在(多个)传感器108包括一个或多个相机的情况下，由(多个)相机输出的每个像素或像素组可以与对应于外部光的感测元件或感测元件组的各自的曝光时间段相关联。举例来说，(多个)相机108可以一起提供感测元件128的相邻行的阵列。此外，(多个)相机108可以被配置为输出图像像素序列，该图像像素序列对应于通过阵列中的对应的感测元件进行的外部光的测量。例如，(多个)相机108可以基于来自阵列中的第一行感测元件的数据来输出第一行图像像素，随后基于来自阵列中的第二相邻行感测元件的数据来输出第二行图像像素，依此类推。
以这种方式，第一图像像素行可以与第一曝光时间段相关联，在第一曝光时间段期间第一行感测元件被曝光，第二图像像素行可以与第二曝光时间段相关联，在第二曝光时间段期间第二相邻行感测元件被曝光，等等。第一曝光时间段可以在第二曝光时间段开始之前开始。例如，在从第一曝光时间段的开始时间起的时间延迟之后(并且可选地，在第一曝光时间段过去之前)，(多个)相机108可以开始曝光第二相邻行感测元件。另外，第一曝光时间段可以在第二曝光时间段结束之前结束。例如，控制器104可以在第一曝光时间段结束之后并且在第二行感测元件仍暴露于外部光的同时从第一行感测元件读取输出，并且然后在第二曝光时段结束之后并且在第三行感测元件仍暴露于外部光的同时从第二行感测元件读取输出，依此类推。
在一些示例中，在传感器106包括图像传感器的情况下，系统100可以被配置为基于发送器120正在发射光脉冲(或其他信号)的顺序来选择从在卷帘快门模式下的感测元件128获得的图像像素序列的顺序。例如，感测元件128的阵列中的给定行的感测元件可以与LIDAR(例如，传感器106)的旋转轴对准(例如，平行等)。例如，如果LIDAR的旋转轴是垂直轴，则给定的行可以对应于感测元件的垂直行(例如，平行于LIDAR的旋转轴的垂直线性布置)。此外，发送器120可被配置为在LIDAR(例如，传感器106)绕轴旋转时重复地以一条或多条垂直线的布置输出多个光束。这样，例如，(多个)传感器108(例如，(多个)相机)可以使用第一行感测元件来输出第一行图像像素，该第一行感测元件类似于(例如，垂直等)由发送器120发射的多个光束布置来布置。接下来，(多个)相机108然后可以在LIDAR(或其他传感器106)的旋转方向上使用第二相邻行感测元件输出第二行图像像素。因此，例如，在传感器106朝着第二行感测元件旋转之后，第二行图像像素可以与由发送器120发射的光束的第二垂直线对准，依此类推。
例如，通过一个接一个地扫描垂直行的感测元件，从(多个)相机108获得的图像像素序列可以包括在与由发送器120发射的LIDAR光脉冲(或其他信号)的时间和方向(例如，当发送器120绕垂直轴旋转时)相似的时间(以及从观看方向)捕获的足够数量的像素。而例如，如果(多个)相机(例如，(多个)传感器108)反而使用第一水平行感测元件接着第二水平行感测元件依此类推来捕获图像像素序列，则可以在与LIDAR光脉冲的时间和方向相似的时间(以及从观看方向)捕获更少的图像像素。
(多个)光学元件130可以包括光学元件(诸如(多个)透镜、(多个)镜子、(多个)波导、(多个)滤光器或类似于(多个)光学元件124的任何其他类型的光学元件)的任何组合。此外，光学元件130可以布置成聚焦、引导和/或调整入射光的光特性，以朝着感测元件128传播。此外，例如在(多个)传感器108包括多个相机的情况下，(多个)光学元件130可以包括多个相应的相机透镜，其将外部光聚焦到相机的相应图像传感器上。
在一些示例中，(多个)光学元件130可以包括一个或多个滤光器，该滤光器选择性地将特定波长的光向传感器106的一个或多个特定感测元件发送。
在第一示例中，(多个)光学元件130可以包括一个或多个滤光器，该滤光器衰减由发送器120发射的光的光波长。例如，利用这种布置，系统100可以减少与由发送器120发射的高强度光脉冲(或其他信号)相关联的噪声测量(通过(多个)感测元件128)。
在第二示例中，传感器108可以包括被配置为指示入射光的颜色的彩色图像传感器(例如，拜耳滤波器传感器、分层像素传感器阵列等)。在该示例中，(多个)光学元件130可以包括滤色器阵列，其中阵列中的每个滤色器将红、绿或蓝光透射到与滤色器相邻的特定感测元件(并衰减其他波长的光)。然后，系统100可以生成(例如，通过组合来自感测具有不同颜色的光的多个感测元件的输出)指示颜色信息(例如，红色、绿色和蓝色等)的图像像素。
在第三示例中，(多个)光学元件130可以包括一个或多个滤光器，该滤光器衰减由发送器120发射的光(或其他信号)的波长，以及一个或多个其他滤光器，其允许这些波长的透射。例如，(多个)光学元件130可以包括滤色器阵列，其包括绿色、红色和蓝色滤光器。在这种情况下，可以将相对大量的滤色器配置为衰减发送器120的发射光的波长，以减小由发送器120发射的高强度信号的影响。此外，相对较少数量的滤色器(例如，一个或多个绿色滤光器等)可以被配置为(至少部分地)允许由发送器120发射的光(或其他信号)的波长的透射。利用这种布置，发送器120的高强度光(反射系统100的环境中的对象)可以用于在黑暗的外部光条件下(例如，夜间)照亮一个或多个感测元件。
旋转平台110可以被配置为绕轴旋转。例如，传感器106(和/或发送器120及其接收器122)可以由旋转平台110(直接或间接地)支撑，使得这些组件中的每一个响应于旋转平台110的旋转而相对于环境移动。具体地，这些组件中的每一个都可以相对于轴(同时)旋转，使得传感器106可以从各个方向获得信息。在一些示例中，旋转平台110的旋转轴是垂直的，并且传感器106的指向可以通过旋转平台110绕其垂直旋转轴的旋转而水平地调整。旋转平台110可以由适合于支撑安装在其上的一个或多个组件(例如，传感器106)的任何固体材料形成。
为了以这种方式旋转平台110，一个或多个致动器112可以致动旋转平台110。为此，致动器112可以包括电动机、气动致动器、液压活塞和/或压电致动器，以及其他可能性。
通过这种布置，控制器104可以操作致动器112以各种方式旋转旋转平台110，从而获得关于环境的信息。在一个示例中，旋转平台110可以沿任一方向旋转。在另一个示例中，旋转平台110可以执行完整的旋转，使得传感器106(例如，LIDAR)提供环境的360°水平FOV。此外，旋转平台110可以以各种频率旋转，以使传感器106以各种刷新率和/或扫描分辨率来扫描环境。
可替代地或附加地，系统100可以被配置为以各种方式调整所发射的信号(由发送器120发射)的指向。在一些示例中，发送器120的信号源(例如，光源、天线、声学换能器等)可以根据相控阵列配置或其他类型的波束转向配置来操作。
在第一示例中，在传感器106被配置为LIDAR传感器的情况下，发送器120中的光源可以耦合到控制由光源发射的光波的相位的相控阵列光学器件(例如，光学元件124)。例如，控制器104可以被配置为调整相控阵列光学器件(例如，相控阵列光束转向)以改变由发送器120发射的光信号的有效指向(例如，即使旋转平台110不旋转)。
在第二示例中，在传感器106被配置为RADAR传感器的情况下，发送器120可以包括天线阵列，并且控制器104可以为阵列中的每个单独天线提供相应的相移控制信号以修改来自阵列的组合RF信号(例如，相控阵列波束转向)的指向。
在第三示例中，在传感器106被配置为SONAR传感器的情况下，发送器120可以包括声学换能器阵列，并且控制器104可以类似地操作声学换能器阵列(例如，经由相移控制信号等)以实现由阵列发出的组合声音信号的目标指向(例如，即使旋转平台110没有在旋转等)。
在其他示例中，(多个)传感器106的指向可以使用变形柔性结构(例如，MEM等)来控制，该变形柔性结构可以响应于来自控制器104的控制信号而变形以调整由发送器120发射的信号的转向方向。其他示例也是可能的。
固定平台114可以采用任何形状或形式，并且可以被配置为用于耦合至各种结构，例如，诸如耦合至车辆的顶部。同样，可以经由任何可行的连接器布置(例如，螺栓和/或螺钉)来执行固定平台114的耦合。以这种方式，系统100可以耦合到结构，以便用于各种目的，诸如本文所述的那些。在一个示例中，(多个)传感器108可以被耦合到固定平台114。在这个示例中，(多个)传感器108可以相对于(多个)传感器106的旋转运动(或者由发送器120发射的信号的其他改变的波束方向)保持静止。在另一个示例中，(多个)传感器108可以被安装到不同于固定平台114的另一物理结构。
旋转连杆116直接或间接地将固定平台114耦合到旋转平台110。为此，旋转连杆116可以采用任何形状、形式和材料，其提供旋转平台110绕轴相对于固定平台114的旋转。在一些示例中，旋转连杆116可以采取杆等的形式，其基于来自致动器112的致动而旋转，从而将机械力从致动器112传送至旋转平台110。在一个实施方式中，旋转连杆116可以具有系统100的一个或多个组件可设置在其中的空腔。在一些示例中，旋转连杆116还可以提供用于在固定平台114和旋转平台110(和/或其上的组件，诸如传感器106等)之间传送数据和/或指令的通信链接。
壳体118可以采用任何形状、形式和材料，并且可以被配置为容纳系统100的一个或多个组件。在一个示例中，壳体118可以是圆顶形的壳体。此外，在一些示例中，壳体118可以由至少部分不透明的材料组成，这可以允许阻挡至少一些光进入壳体118的内部空间，并且从而帮助减轻在系统100的一个或多个组件上的环境光的热和噪声影响。壳体118的其他配置也是可能的。在一些实施方式中，壳体118可以耦合至旋转平台110，使得壳体118被配置为基于旋转平台110的旋转而围绕上述轴旋转。在这样的实施方式中，(多个)传感器106可以与壳体118一起旋转。在其他实施方式中，当(多个)传感器106在壳体118内旋转时，壳体118可以保持静止。系统100还可以包括类似于壳体118的多个壳体，用于容纳系统100的组件的某些子系统或组合。例如，系统100可以包括用于(多个)传感器106的第一壳体和用于(多个)传感器108的单独的壳体。其他示例也是可能的。
显示器140可以可选地被包括在系统100中，以显示有关系统100的一个或多个组件的信息。例如，控制器104可以操作显示器140以显示使用相机(例如，传感器108)捕获的图像、由来自传感器106的LIDAR数据指示的系统100环境的表示(例如3D点云等)、和/或基于来自传感器106和108的数据的组合的环境的表示(例如有色点云、带有叠加温度指示符的图像等)。为此，显示器140可以包括任何类型的显示器(例如，液晶显示器、LED显示器、阴极射线管显示器、投影仪等)。此外，在一些示例中，显示器140可以具有图形用户界面(graphical user interface，GUI)，用于显示和/或与传感器108捕获的图像、使用传感器106捕获的LIDAR数据和/或关于系统100的各个组件的任何其他信息进行交互(例如，经由电源装置102剩余的电力)。例如，用户可以操纵GUI以调整传感器106和/或108的扫描配置(例如，扫描刷新率、扫描分辨率等)。
注意，系统100的各种组件可以被组合或分离成各种各样的不同的布置。例如，尽管传感器106和108被示为分离的组件，但是传感器106和108的一个或多个组件可以可替代地在单个设备内物理地实施。因此，系统100的这种布置仅出于示例性目的而描述，并不意味着是限制性的。
图2A示出了根据示例实施例的包括旋转LIDAR传感器206和相机环208的设备200。如所示的，设备200包括LIDAR 206、相机环208(例如，卷帘快门相机布置等)、旋转平台210、固定平台214、壳体218、LIDAR透镜224和相机透镜230、232、234，例如，其可以分别类似于(多个)传感器106、(多个)传感器108、旋转平台110、固定平台114、壳体118、光学元件124和光学元件130。
如所示的，由LIDAR 206发射的光束250从透镜224沿LIDAR 206的指向向LIDAR206的环境传播，并反射环境中的一个或多个对象(未显示)作为反射光260。此外，如所示的，LIDAR 206然后可以接收反射光290(例如，通过透镜224)。因此，例如，类似于上面针对传感器106的讨论，LIDAR 206可以基于反射光290的(多个)检测来提供指示一个或多个对象与LIDAR 206之间的距离的数据(例如，数据点云等)。
此外，如所示的，相机环208的每个相机可以接收并检测入射在各个相机上的外部光270的各个部分。为此，外部光270可以包括来自一个或多个外部光源(诸如太阳、路灯以及其他可能性)的光。例如，外部光270可以包括直接从外部光源向相机透镜230、232和/或234传播的光。可替代地或附加地，外部光270可以包括来自外部光源并在向透镜230、232和/或234传播之前反射设备200的环境中的一个或多个对象(未示出)的光。因此，例如，相机环208的相机可以基于外部光270生成环境的一个或多个图像。此外，相对于设备200，由特定相机生成的每个图像可以对应于特定相机的特定FOV。
为此，在一些示例中，相机环208可以包括相对于彼此以环形构造(例如，圆形布置、椭圆形布置等)布置的多个相机。多个相机中的每个相机可以以特定的角度和/或取向定位(例如，安装到设备200和/或相机环208)。因此，例如，第一相机的FOV可以与其他两个相邻相机的FOV相邻和/或部分重叠。例如，利用这种布置，可以将来自各个相机的图像组合成设备200的360度FOV的图像。此外，例如在设备200的组装或校准期间，每个相机的各自角度和/或取向可以调整以减少或防止盲点(例如，周围环境的、不在相机环208中的所有相机的FOV之内的区域)。例如，两个相邻相机的各自的FOV可以对准(例如，通过移动、旋转和/或以其他方式调整两个相机的相对安装位置等)，使得两个相机的FOV之间的环境区域(例如“盲点”)距离设备200小于阈值距离。
为了促进这一点，在一种实施方式中，相机环208可以可选地包括具有一个或多个凹口的壳体(例如，环形等)，该凹口在特定的各个安装位置(例如，角度、取向等)接收和/或支撑相机。在另一个实施方式中，示例系统(例如，系统100、校准系统等)可以被配置为比较由相机捕获的图像，并且基于该比较来确定实现针对相应的相机的相应目标FOV的对准偏移。示例系统还可以包括和/或操作机械臂、致动器和/或任何其他对准装置，以根据所确定的对准偏移来调整相机在相机环208中的位置。其他示例也是可能的。
在一些示例中，设备200(或耦合到其的另一计算设备)可以操作相机环208的相机和/或从其处理所捕获的图像(例如，组合所捕获的图像的部分等)以形成设备200的环境的凝聚圆形视觉。例如，设备200或另一个设备的计算系统(未显示)可以匹配由相机环208捕获的图像中的特征，以生成跨越相机的FOV组合的组合的图像。
在一个实施方式中，透镜230可以聚焦来自设备200的第一90度FOV的光，透镜232可以聚焦来自第二相邻的90度FOV的光，依此类推。第一FOV可以可选地与第一FOV部分重叠。在其他实施方式中，由每个相机成像的FOV可以大于或小于90度。此外，根据上面的讨论，由相机环208中的任何相机捕获的图像可以指示各种类型的信息，诸如外部光270中针对不同波长(例如，颜色等)的光强度以及其他示例。
在一些示例中，基于例如支撑LIDAR 206的旋转平台210的旋转，LIDAR 206(和/或壳体218)可以被配置为具有大致圆柱形的形状并围绕轴242旋转。此外，在一些示例中，旋转轴242可以是基本垂直的。因此，例如，通过绕轴242旋转LIDAR 206，设备200(和/或操作设备200的计算系统)可以基于来自设备200的环境的360度观看的LIDAR 206的数据确定三维图。附加地或可替代地，在一些示例中，设备200可以被配置为倾斜旋转平台210的旋转轴(相对于固定平台214)，从而调整LIDAR 206的FOV。例如，旋转平台210可以包括在一个或多个方向上倾斜的倾斜平台。
在一些示例中，如所示的，LIDAR透镜224可以具有光功率以将发射的光束250准直(和/或引导)向LIDAR 206的环境，并且将从该环境接收的反射光260聚焦到LIDAR 206上的LIDAR接收器(未示出)。在一个示例中，透镜224具有大约120mm的焦距。其他示例焦距是可能的。通过使用相同的透镜224来执行这两个功能，代替用于准直的发送透镜和用于聚焦的接收透镜，可以提供尺寸、成本和/或复杂性方面的优势。然而，可替代地，LIDAR 206可以包括分离的发送和接收透镜。因此，尽管未示出，但是LIDAR 206可以可替代地包括将发射光250引导向环境的发送透镜，以及聚焦反射光260以用于由LIDAR 206的接收器检测的单独的接收透镜。
注意，设备200可以包括比所示出的组件更多、更少或不同的组件，并且所示出的组件中的一个或多个可以以不同的方式组合或分离。在一个示例中，代替多个相机透镜230、232、234，设备200可以可替代地包括围绕相机环208的圆周延伸的单个相机透镜。在另一示例中，尽管相机环208被示出为耦合至固定平台214，但相机环208可替代地被实施为单独的物理结构。在又一示例中，相机环208可定位在LIDAR 206上方，而无需通过旋转平台214旋转。在又一示例中，相机环208可以包括比所示更多或更少的相机。其他示例也是可能的。
图2B示出了根据示例实施例的相机环208的截面图。在图2B的截面图中，轴242(即，LIDAR 206的旋转轴)延伸贯穿页面。如所示的，相机环208包括围绕旋转轴242布置的四个相机208a、208b、208c、208d。因此，在所示的示例中，相机中的每一个可以被配置为对设备200的环境的相应的90度FOV成像。然而，在其他实施例中，相机环208可以包括比所示更少或更多的相机。在一个特定实施例中，相机环208可以可替代地包括八个相机，其中每个相机耦合到相应的透镜，该透镜将来自(至少)环境的相应的45度FOV的光聚焦到相机的图像传感器上。其他示例也是可能的。因此，相机环208可以具有多种不同的配置，并且因此，仅出于描述方便，所示的配置包括四个相机。
此外，如所示的，相机208a包括将来自设备200的环境的外部光(例如，光270)的第一部分聚焦到相机208a的图像传感器226上的透镜230。此外，如所示的，相机208b包括将外部光的第二部分聚焦到相机232的图像传感器246上的透镜232。类似地，相机208c和208d可以被配置为将外部光的各个部分聚焦到相机的图像传感器上。
此外，如所示的，每个图像传感器可以包括与例如感测元件128相似的感测元件阵列。例如，相机208a的图像传感器226可以包括相邻行感测元件的阵列，以感测元件228a-228f(例如，其可以类似于感测元件128)为例。举例来说，图像传感器226中的第一行感测元件可以包括感测元件228a和一个或多个其他感测元件(未示出)，其被垂直地布置为贯穿页面(例如，平行于轴242)。此外，与第一行相邻的第二行感测元件可以包括感测元件228b和贯穿页面垂直地布置的一个或多个其他感测元件(未示出)，依此类推。
以这种方式，例如，相机208a、208b、208c、208d可以一起提供围绕轴242布置的相邻行感测元件的阵列，以便能够对设备200周围的360度(水平)FOV的各种相对应部分进行成像。例如，相机204b的图像传感器246中的给定行的感测元件可以包括感测元件248a(以及平行于贯穿页面的轴242布置的一个或多个其他传感器)。此外，在这种情况下，相机208b中给定行的感测元件也可以与相机208a中包括感测元件228f的感测元件行相邻。因此，在示例场景中，从相机环208获得的图像像素序列可以包括使用来自包括感测元件228f的感测元件行的数据获得的图像像素行，其后是使用来自包括感测元件248a的感测元件行的数据获得的图像像素行。
注意，图像传感器(例如，传感器226、246等)的每一个中的感测元件的行数被示出为仅出于描述方便。然而，在一些实施例中，图像传感器226(和/或246)可以包括比所示的更多或更少的感测元件行。在一个特定实施例中，图像传感器226可以可替代地包括3000行感测元件，并且每行可以包括1000个感测元件(贯穿页面延伸)。在该实施例中，相机208a因此可以被配置为输出3000×1000像素的图像。此外，在该实施例中，相机208a可以被配置为以60Hz的速率捕获图像。其他相机配置参数也是可能的。
注意，设备200的各种组件的尺寸、形状和位置不一定按比例绘制，而是仅出于描述方便的目的示出。在一个示例中，图2B所示的透镜230、232、234、236和传感器226、246等的尺寸可以与所示的尺寸不同。在另一个示例中，透镜230和图像传感器226之间的距离可以与所示的距离不同。在一个实施例中，从透镜230到传感器226的距离可以对应于透镜230的直径的大约两倍。然而，在其他实施例中，图像传感器226和相机透镜230可以相对于另一个具有其他尺寸、形状和/或位置。
图2C是根据示例实施例的设备200的操作的概念性图示。在图2C的图示中，相机208a的图像传感器226的感测元件在页面的平面中。注意，为了便于描述，从图2C的图示中例如省略了设备200的某些组件，诸如相机透镜230和LIDAR 206。
在一些实施方式中，设备200可以被配置为以卷帘快门配置来操作相机208a、208b、208c和/或208d以获得图像像素序列。例如，在图2C的场景中，包括感测元件228a和228g的第一行感测元件可以被配置为测量在第一曝光时间段期间入射在其上的外部光的量。设备200还可以包括模数转换器(未示出)，该模数转换器读取并转换通过第一行感测元件的测量结果(在第一曝光时间段过去之后)，以用于传输至设备200的控制器(例如，控制器104)。在从第一曝光时间段的开始时间起的时间延迟之后(并且可选地，在第一曝光时间段结束之前)，设备200可以在第二曝光时间段开始曝光包括感测元件228b和228h的第二行感测元件。因此，在一些示例中，多行感测元件的曝光时间段可以部分地重叠(例如，第一曝光时间段的开始时间和第二曝光时间段的开始时间之间的时间延迟可以小于第一曝光时间段等)。以这种方式，处于卷帘快门配置的相机可以使曝光时间段的开始时间错开以增加图像刷新率(例如，通过在它们各自的曝光时间段的重叠部分期间同时曝光多行感测元件)。
继续该场景，在第二曝光时间段过去之后，设备200随后可以类似地测量并将通过第二行感测元件的测量结果发送到控制器。然后可以重复该过程，直到扫描了所有行感测元件(即完整的图像帧)。例如，在第二曝光时间段的开始时间之后(并且可选地在第二曝光时间段之前)，设备200可以开始将第三行感测元件(与第二行相邻)暴露于外部光270，依此类推。
此外，如上所述，设备200可以被配置为以与由LIDAR 206发射光脉冲的顺序相似的顺序获得图像像素序列。通过这样做，例如，与以不同顺序获得图像像素序列的实施方式相比，由相机208a-d捕获的更多的图像像素可以与LIDAR数据(例如，所检测到的发射的光脉冲反射)重叠(在时间和观看方向两者上)。
例如，继续图2C的场景，当LIDAR 206处于绕轴242的第一指向或取向时，光束250a、250b、250c可以对应于图2A所示的发射光250。在该场景中，设备200可以被配置为在扫描第二(垂直)行中的感测元件(例如，包括元件228b和228h)之前扫描第一(垂直)行的感测元件(例如，包括元件228a和228g)。通过这样做，就时间和观看方向两者而言，使用第一行感测元件捕获的图像像素更有可能与光束250a-250c的检测到的反射匹配。在该情况下，LIDAR 206然后可以绕轴242旋转(例如，逆时针方向)并发射光束252a-252c。然后，设备200可以使用第二行感测元件(例如，包括感测元件228b和228h)获得第二行图像像素，该第二行图像像素更有可能与(在时间和观察方向上)与光束252a-252c的检测到的光的反射对准，依此类推。
另一方面，如果设备200替代地以包括感测元件228a-228f的行(例如，水平行)的顺序获得图像像素序列，随后是相邻(水平)行感测元件等，则然后图像像素序列将不太可能与光束250a-250c和252a-252c的检测到的反射相匹配。举例来说，如果使用水平(逐行)扫描顺序以60Hz刷新率(即，每秒60张图像)操作图像传感器226，则在所获得的序列中与感测元件228g相关联的图像像素可以具有与光束250c的发射时间相比，大约有16毫秒的时间延迟。其他示例刷新率和/或时间延迟是可能的。
在一些实施方式中，设备200还可以被配置为根据由LIDAR 206的光脉冲/光束的发射顺序来获得序列中的图像像素行。作为上述情形的变型，例如，如果LIDAR 206以该顺序发射光束250a、250b、250c，然后设备200可以被配置为以相似的顺序获得与第一行感测元件相关联的图像像素行(例如，以感测元件228a开始并以感测元件228g结束)。相反，例如，如果LIDAR 206以该顺序发射光束250c、250b、250a，则设备200可以被配置为以相反的顺序获得图像像素行(例如，以感测元件228g开始并以感测元件228a结束)。
此外，在一些实施方式中，设备200可以被配置为基于LIDAR 206的旋转速率来调整捕获图像像素序列中的后续图像像素行之间的时间延迟。例如，如果LIDAR 206增加其旋转速率(例如，经由(多个)致动器112等)，则设备200可以减少获得与第一行感测元件(例如，包括感测元件228a和228g)相关联的第一行图像像素和获得与第二相邻行感测元件相关联的第二行图像像素之间的时间延迟。如上所述，例如，与每行感测元件相关联的曝光开始时间可以取决于获得相对应的图像像素的顺序和时间，并且因此调整时间延迟可以改善图像像素捕获时间(和观察方向)和相应的LIDAR脉冲发射时间(和/或相应的反射的检测)的匹配程度。
图2D示出设备200的俯视图。在图2D的图示中，LIDAR 206可以具有第一指向，该第一指向对应于围绕轴242(例如，向页面底部)的0°角位置。例如，在此配置中，LIDAR 206可以扫描与使用包括透镜234的相机208c(图2B中最佳所示)捕获的图像的中心相对应的周围环境的区域。
图2E示出设备200的另一个俯视图。在图2E的图示中，LIDAR 206可以具有第二指向，该第二指向对应于围绕轴242(例如，向页面顶部)的180°角位置。例如，在将LIDAR 206从图2D的第一指向旋转了围绕轴242的完整旋转的一半之后，LIDAR 206可以具有图2E的第二指向。此外，例如，在此配置中，LIDAR 206可以扫描区与使用包括透镜230的相机208a(图2B中最佳所示)捕获的图像的中心相对应的环境的区域。
在一些情况下，当LIDAR 206绕轴242旋转时，LIDAR 206的FOV与相机208a的FOV重叠的时间段可能小于适合于使用相机208a捕获图像的曝光时间段(和读出时间段)。
在一个示例场景中，在以卷帘快门配置操作相机208a的情况下(例如，相机208a中的感测元件行根据不同的曝光开始时间曝光)，相机208a的图像传感器226可以在60ms时段内测量并输出图像帧(例如，来自图像传感器226的所有感测元件的像素数据)。此外，在该场景中，LIDAR 206可以被配置为以10Hz的旋转速率旋转(即，每100ms围绕轴242完整旋转一圈)。因此，LIDAR 206可以在100ms/4＝25ms(例如，从t＝37.5ms到t＝62.5ms)的时间段内扫描与相机208a的FOV重叠的FOV范围。为了解决相机和LIDAR的扫描持续时间之间的差异，在一些实施方式中，设备200可以被配置为将由LIDAR 206发射的LIDAR光脉冲与由相机中的一些但不是全部图像感测元件捕获的图像像素进行同步。
例如，设备200可以被配置为触发由特定相机捕获图像，使得当LIDAR 206指向与图像的特定区域对准的特定指向时，图像的特定区域(例如，图像中心处或附近的图像像素的(多个)垂直行等)暴露于外部光。
继续上面的场景例如(LIDAR 206以10Hz的频率旋转)，在时间t＝0ms时，LIDAR206(如图2D所示)可以具有第一指向(例如，围绕轴242的角位置＝0°)。此外，在时间t＝50ms处，LIDAR 206(如图2E所示)可以具有第二指向(例如，围绕轴242的角位置＝180°)。
在这种情况下，设备200可以被配置为将(在相机208a内部的)图像传感器226的曝光时间段的中心与LIDAR 206的FOV与相机208a的FOV的中心重叠的时间(例如，t＝50ms)进行同步。例如，在图像传感器226的曝光时间段为60ms的情况下，则在时间t＝30ms处，图像传感器226中的中心垂直行的感测元件可以暴露于外部光。在该示例中，相机208a可以在时间t＝50–30＝20ms时触发图像捕获以将图像传感器226的中心附近的(多个)垂直行的感测元件的曝光与当LIDAR 206正在扫描与图像中心相对应的FOV时(例如，在t＝50ms处)发射的LIDAR光脉冲进行对准(在时间域和空间域两者中)。
利用这种布置，靠近图像中心的图像像素(例如，使用包括感测元件228c的垂直行或者包括感测元件228d的行捕获的图像像素)可以相对更加对准(关于定时和观看方向)在测量这些图像像素时发射/检测到的LIDAR光脉冲。另一方面，使用距离图像传感器中心较远的感测元件行捕获的图像像素可能与在测量这些图像像素时发射/检测到的LIDAR光脉冲相对未对准(在时间或观察方向上)。举例来说，旋转LIDAR的FOV可以在时间t＝37.5ms和t＝62.5ms之间与相机208a的相机FOV重叠。然而，在上述情况下，相机208a可以在时间t＝20ms(即，当LIDAR的FOV重叠于相机的FOV的时间范围之外)开始曝光包括感测元件228a(图2C中最佳所示)的感测元件行。
为了减轻这种未对准，在一些示例中，相机208a、208b、208c、208d可以被配置为具有部分重叠的FOV。例如，相机208d(图2B中最佳示出)可以被配置为具有与相邻相机208a的FOV部分重叠的FOV。此外，与使用相机208d捕捉的图像的中心区域相关联的曝光时间段可以与LIDAR 206指向与使用相机208d捕捉的图像的中心相关联的FOV的时间(例如，t＝25ms)进行同步。因此，在这些示例中，设备200(或其他计算机)可以使用来自相机208d的对准的图像像素数据(例如，靠近捕获的图像的中心的图像像素)来代替使用相机208a捕获的未对准的图像像素数据(例如，距离图像中心更远的图像像素)用于与LIDAR数据进行映射。
图3示出了根据示例实施例的另一卷帘快门相机布置308(例如，相机环)的截面图。相机环308可以类似于图2B所示的相机环208。如所示的，例如，轴342可以是类似于轴242的LIDAR的旋转轴。此外，例如，图像传感器326可以类似于图像传感器226(和/或246)并且可以包括由感测元件328a-328e(其可以类似于感测元件228a-228f)示例的感测元件阵列。例如，图像传感器326可以包括第一行感测元件和第二相邻行感测元件，第一行感测元件包括线性布置(例如，垂直于页面)的感测元件328a和一个或多个其他感测元件(未示出)，第二行感测元件包括线性布置(例如，垂直于页面)的感测元件328b和一个或多个其他感测元件(未示出)。
尽管未示出，但是相机环308还可以包括一个或多个相机透镜(例如，类似于相机透镜230、232、234、236等)，其将入射在相机环308上的外部光的一部分向图像传感器326中的各个感测元件聚焦。附加地或可替代地，相机环308可以包括系统100和/或设备200中的任何一个中所示的一个或多个组件。
如图所示，相机环308包括沿着围绕轴342的弯曲表面(例如，圆形表面)设置的图像传感器326。在一个示例中，图像传感器326可以在安装感测元件(包括感测元件328a-328e等)的布置的柔性基板(例如，柔性PCB等)上实施。因此，利用这种布置，图像传感器326中的感测元件的每行可以与旋转轴342相距相同的给定距离(例如，感测元件的圆形或圆柱形布置)。在另一示例中，图像传感器326可以被实施为围绕旋转轴342彼此相邻布置的多个物理上分离的感测元件行。例如，每个物理上分离的感测元件行可以位于与其他行到旋转轴的距离相同的给定位置。其他示例也是可能的。不管实施方式如何，在相机环308的配置中，图像传感器326中的每行感测元件安装在其上的弯曲表面都可以改善由感测元件所捕获的图像像素和由围绕轴342旋转的LIDAR传感器发射的光束之间的重叠(例如，在观看方向上)。
例如，当LIDAR传感器围绕轴342旋转时，LIDAR设备的视点(例如LIDAR透镜的位置)可能会沿圆形路径移动。因此，利用这种布置，图像传感器326的弯曲表面可以类似于发射的/检测的LIDAR光脉冲的圆形路径，以改善将由传感器326收集的图像像素与LIDAR光脉冲进行匹配的可能性(沿着在LIDAR传感器旋转的水平方向上相似的弯曲路径被检测到)。
III.示例方法和计算机可读介质
图4是根据示例实施例的方法400的流程图。方法400呈现了例如可以与系统100、设备200和/或相机环308中的任何一个一起使用的方法的实施例。方法400可以包括如框402-404中的一个或多个所示出的一个或多个操作、功能或动作。尽管以顺序的顺序示出了这些框，但是在某些情况下，这些框可以并行地和/或以与本文所述的顺序不同的顺序来执行。而且，各种框可以基于期望的实施方式被组合成更少的框、被划分成附加的框和/或被移除。
另外，对于本文公开的方法400和其他处理及方法，该流程图示出了本实施例的一种可能的实施方式的功能和操作。在这方面，每个框可以表示模块、段、制造或操作处理的一部分或程序代码的一部分，其包括一个或多个指令，该指令可以由处理器运行以用于实施该处理中的特定逻辑功能或步骤。程序代码可以存储在任何类型的计算机可读介质上，例如，诸如包括磁盘或硬盘驱动器的存储设备。计算机可读介质可以包括非暂时性计算机可读介质，例如，诸如在短时间内存储数据的计算机可读介质(如寄存器存储器、处理器高速缓存和随机存取存储器(Random Access Memory，RAM))。计算机可读介质还可以包括非暂时性介质，诸如二级或永久性长期存储，如只读存储器(read only memory，ROM)、光盘或磁盘、光盘只读存储器(compact-disc read only memory，CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。例如，计算机可读介质可以被认为是计算机可读存储介质或有形存储设备。另外，对于本文公开的方法400以及其他处理和方法，图4中的每个框可以表示被布线以执行处理中的特定逻辑功能的电路。
在框402处，方法400涉及围绕轴旋转LIDAR传感器以扫描LIDAR传感器的环境。例如，LIDAR传感器206可以安装在围绕轴242旋转的旋转平台210上，以调整LIDAR传感器206的指向。此外，LIDAR传感器206可以在旋转时向由LIDAR 206的指向所定义的环境的视场发射一个或多个光束或脉冲250，并且然后检测发射的光250的反射(例如，反射260)。此外，示例系统可以处理检测到的反射(例如，经由控制器104)以确定有关LIDAR传感器206的环境中的一个或多个对象的信息(例如，距离、纹理、材料等)。
在一些示例中，由LIDAR传感器指向环境的一个或多个光束的布置可以基于LIDAR传感器的旋转特性。再次参考图2C，例如，当LIDAR传感器处于围绕轴242的第一指向时，LIDAR传感器可以发射光束250a、250b、250c，而当LIDAR传感器处于围绕轴242的第二指向时，可以发射光束252a、252b、252c。如果改变LIDAR传感器的旋转特性，则光束250a、250b、250c、252a、252b、252c的布置可以响应地改变。例如，如果LIDAR传感器以更快的速率旋转，则光束250a、250b、250c与光束252a、252b、252c之间的距离可以增加。作为另一示例，如果LIDAR传感器沿相反方向旋转，则光束252a、252b、252c相对于光束250a、250b、250c的方向可以不同于图2C所示。其他示例也是可能的。
在框404处，方法400涉及在旋转LIDAR传感器的同时，使用检测来自一个或多个外部光源的外部光的一个或多个相机来获得图像像素序列。例如，一个或多个相机可以一起提供多个相邻行感测元件，类似于相机208a、208b、208c、208d中的感测元件的布置(图2B所示)。此外，可以根据LIDAR传感器的旋转轴的方向布置一行或多行感测元件。例如，再次参考图2C，包括元件228a和228g的第一行感测元件可以与轴242的垂直方向相似的垂直布置，并且包括元件228b和228h的第二行感测元件也可以与轴242的垂直方向相似的垂直布置，依此类推。
此外，在一些示例中，序列中的第一图像像素行可以指示在第一曝光时间段期间由第一行感测元件对外部光的测量，并且序列中的第二图像像素行可以指示在第二曝光时间段期间由第二行感测元件对外部光的测量。例如，一个或多个相机可以在卷帘快门配置中操作，在该配置中顺序地测量(例如，读出)图像感测元件(或行)以获得图像像素序列。此外，与以上讨论一致，第一行感测元件的第一曝光时间段可以在第二(后续)行感测元件的第二曝光时间段开始之前开始。
例如，第一曝光时间段的开始时间可以早于第二曝光时间段的开始时间。在这种情况下，序列中的第一排或第一行图像像素(在框404处获得)可以基于来自(在第一曝光时间段期间曝光的)第一行感测元件的数据并且该序列中的第二后续的排或行图像像素可以基于来自(在第二曝光时间段期间曝光的)第二行感测元件的数据。
例如，利用这种布置，第一行感测元件可以在第二行开始对环境的第二区域(例如，水平地相邻)进行成像之前，开始对第一行的第一FOV内的环境的第一区域进行成像。此外，LIDAR传感器可以在旋转方向上围绕轴旋转，该旋转方向使LIDAR传感器在扫描由第二行感测元件成像的第二FOV之前扫描由第一行感测元件成像的第一FOV。
因此，在一些实施方式中，获得图像像素序列(或图像像素行)可以包括基于LIDAR传感器的至少一个或多个旋转特性来确定用于操作一个或多个相机的定时配置(和/或由LIDAR传感器指向环境的光束的布置)。在这些实施方式中，方法400还可以涉及在框404处根据所确定的定时配置来操作一个或多个相机以获得图像像素序列。
例如，再次参考图2C，设备200可以基于由LIDAR传感器发射的相应光束的顺序，为特定行的感测元件选择序列中的图像像素的顺序。例如，在LIDAR 206发射光束250c、250b、250a(以该顺序)的情况下，设备200可以获得序列中的第一行图像像素，该第一行图像像素开始于与感测元件228g相关联的像素，并且结束于与感测元件228a相关联的像素。而如果LIDAR 206发射光束250a、250b、250c(按该顺序)，则设备200可以获得序列中的第一行图像像素，该第一行图像像素开始于与感测元件228a相关联的像素，并且结束于与感测元件228g相关联的像素。因此，在一些实施方式中，方法400可以涉及基于由LIDAR传感器发射的多个光束的布置(和/或发射顺序)操作(例如，一个或多个相机中的)图像传感器以获得以特定顺序测量的图像像素序列。
作为另一个示例，设备200可以取决于LIDAR 206的取向或指向来选择传感器226中的哪一行感测元件来读取图像像素。例如，设备200可以触发图像传感器226的曝光(如图2B所示)使得图像传感器226的曝光时间段的中心与LIDAR 206的FOV与图像的中心重叠的时间(例如LIDAR 206处于图2E所示的取向的时间)进行同步。
因此，在一些实施方式中，方法400涉及至少基于LIDAR传感器的角度方向(例如，指向、观看方向等)获得图像像素序列。此外，在一些实施方式中，方法400可以涉及基于与LIDAR传感器在围绕旋转轴的特定取向上相关联的时间，确定一个或多个相机中的特定相机的相机曝光时间段的开始时间。在一些示例中，特定取向可以定义LIDAR传感器的特定FOV，其至少部分地重叠在使用特定相机捕获的图像的一部分(例如，相机的中心区域等)中表示的环境区域。
例如，再次参考图2B，相机208a可以将来自相机208a的FOV的外部光聚焦到图像传感器226。此外，相机208a可以在卷帘快门模式下操作，在该模式下相机开始曝光包含元件228a的第一行传感元件，然后在时间延迟后开始曝光包含元件228b的第二行，依此类推。相机208a的相机曝光时间段可以包括图像传感器226中的所有感测元件行的各自的曝光时间段。此外，在该示例中，方法400的系统可以触发通过相机208a捕获图像，使得相机曝光时间段的中心对应于当LIDAR 206指向相机208a的FOV的中心时的给定时间(例如，当LIDAR 206处于图2E所示的取向时的给定时间)。
在一些实施方式中，方法400涉及基于由LIDAR传感器发射的一个或多个光脉冲(或光束)的一个或多个发射时间来确定(第一行感测元件的)第一曝光时间段的开始时间，并根据上述讨论，基于所确定的开始时间操作一个或多个相机(例如，当发射相应光束时，取决于光束250a-250c和/或252a-252c的发射时间和LIDAR传感器的指向选择合适的行)。
在一些实施方式中，方法400涉及至少基于LIDAR传感器的旋转方向来确定感测元件的相邻行对外部光的相应曝光开始时间的顺序，并且所确定的顺序操作一个或多个相机。例如，再次参考图2C，在获得与元件228b和228h相关联的图像像素行之后，如果LIDAR206沿顺时针方向旋转，则设备200接下来可以获得与感测元件228a和228g相关联的图像像素行。另一方面，如果LIDAR 207沿逆时针方向旋转，则设备200可以替代地获得与包括元件228c的感测元件行相关联的图像像素行。
在一些实施方式中，方法400涉及基于LIDAR传感器的旋转速率确定时间延迟，使用第一行感测元件获得第一图像像素行，以及在从获得第一图像像素行起经过所确定的时间延迟之后，使用第二行感测元件获得第二图像像素行。例如，再次参考图2C，如果LIDAR206的旋转速率减少，则设备200可以增加获得第一图像像素行(包括元素228a和228g)和第二图像像素行(包括元素228b和228h)之间的时间延迟，或者如果LIDAR设备206的旋转速率增加，则可以减小时间延迟。
作为以上示例的变型，设备200可以在第一开始时间开始第一行感测元件(包括元件228a和228g)的第一曝光时间段，并且然后在第二开始时间(即，经过确定的时间延迟之后)开始第二行感测元件(包括元件228b和228h)的第二曝光时间段。因此，在一些实施方式中，方法400涉及基于LIDAR传感器的旋转特性(例如，旋转速率等)确定在第一曝光时间段的开始时间与第二曝光时间段的开始时间之间的时间延迟，并根据所确定的时间延迟操作一个或多个相机。
在一些实施方式中，方法400涉及基于LIDAR传感器的指向(和/或旋转特性)来控制一个或多个相机的相应相机曝光时间段。在其他实施方式中，方法400涉及基于一个或多个相机的相应相机曝光时间段来修改LIDAR传感器的一个或多个旋转特性。再次参考图2B，例如，相机208a、208b、208c、208d可以被操作以使用它们各自的图像传感器以特定的卷帘快门配置来捕获图像，该特定的卷帘快门配置定义了在框404获得的图像像素序列中的图像像素的顺序。在该示例中，方法400的系统可以操作LIDAR传感器以与由相机测量的图像像素的顺序和布置相匹配的顺序和布置发射光束。
例如，再次参考图2C，方法400的系统可以控制发射的光束250a、250b、250c的顺序以匹配测量包括元件228a和228g的第一行感测元件的顺序(例如，从上到下或从下到上)。作为另一个示例，系统可以根据与第一行相关联的图像像素的测量和与包括感测元件228b和228h的第二行相关联的图像像素的测量之间的时间延迟来调整LIDAR 206的旋转频率。作为又一个示例，系统可以调整LIDAR 206的旋转方向以匹配相机208a的“慢轴”的方向。其他示例也是可能的。
在一些实施方式中，方法400涉及至少基于定时配置，将来自LIDAR传感器的数据与图像像素(或图像像素行)序列中的一个或多个图像像素相关联。例如，示例系统可以持续跟踪捕获单个图像像素的时间以及检测到反射的LIDAR脉冲的时间。此外，示例系统然后可以将以阈值时间段捕获的图像像素映射到对应的LIDAR脉冲检测。
可替代地或附加地，在一些实施方式中，方法400涉及至少基于LIDAR传感器的指向和阵列中的感测元件的观看方向，将来自LIDAR传感器的数据与图像像素序列中的一个或多个图像像素相关联。例如，再次参考图2C，可以将基于当LIDAR 206沿第一指向时LIDAR206检测光脉冲250a、250b、250c的反射的数据与使用包括感测元件228a和228g(例如，对应于具有与发射光脉冲250a、250b、250c的LIDAR指向相同或相似的观察方向的图像感测元件)的行中的一个或多个图像感测元件收集的图像像素进行匹配。因此，在一些实施方式中，方法400涉及当由LIDAR传感器收集给定数据时，至少基于第一行感测元件的视场(FOV)与LIDAR传感器的FOV的比较，将序列中的给定图像像素行与由LIDAR传感器收集的给定数据相关联。
在一些实施方式中，方法400涉及基于来自LIDAR传感器的数据和图像像素序列(或图像像素行)来确定环境的三维(3D)表示。例如，示例系统可以将基于LIDAR的信息(例如，到环境中到一个或多个对象的距离等)与基于相机的信息(例如，颜色等)组合起来以生成3D表示。基于LIDAR和图像数据的组合，其他类型的表示(例如2D图像、带有标签的图像、指示阴影或纹理信息的增强图像等)也是可能的。因此，在一些实施方式中，方法400涉及基于由图像像素序列(或图像像素行)指示的颜色信息和由LIDAR传感器指示的信息(例如，距离、深度、纹理、反射率、吸收率、反射光脉冲长度等)来确定环境的表示。
在第一示例中，方法400的系统可以基于来自LIDAR传感器的数据来确定序列中的图像像素的深度信息。例如，系统可以为图像中的图像像素分配深度值。附加地，例如，系统可以生成(例如，经由显示器140)环境中一个或多个对象的3D对象数据模型(例如，3D渲染)(例如，指示环境中3D特征的彩色3D模型等)。在另一实例中，图像处理系统可以通过比较各个对象的深度信息(由相关联的LIDAR数据指示)来标识和区分图像中的多个对象。其他应用也是可能的。因此，在一些实施方式中，方法400涉及将使用LIDAR传感器收集的LIDAR数据点映射到使用一个或多个相机收集的图像像素。例如，LIDAR数据可以被映射到由图像传感器或相机输出的图像的坐标系。
在第二示例中，方法400的系统可以将颜色(基于来自一个或多个相机的数据)分配给LIDAR点云中的各个点。然后，示例系统可以生成(例如，经由显示器140)扫描环境的3D渲染，该3D渲染指示到环境中的特征的距离以及由一个或多个相机的(多个)图像传感器指示的颜色(例如，色点云等)信息。因此，在一些实施方式中，方法400涉及将来自序列的图像像素映射到使用LIDAR传感器获得的对应的LIDAR数据点。例如，图像像素数据可以被映射到由LIDAR传感器输出的LIDAR数据的坐标系。
在第三示例中，方法400的系统可以标识(多个)特定LIDAR数据点和(多个)特定图像像素并将其分配给另一空间(例如3D空间等)中的(多个)特定位置。例如，系统可以使用来自LIDAR传感器、一个或多个相机和/或系统可访问的其他传感器(例如，RADAR、SONAR等)的数据来显示和更新(例如，经由显示器140)环境的表示。因此，在一些实施方式中，方法400涉及将来自序列的图像像素和来自LIDAR传感器的LIDAR数据点映射到给定的3D空间。因此，例如，可以将LIDAR数据和图像像素数据映射到由LIDAR和(多个)相机定义的坐标系以外的坐标系。
在一些实施方式中，方法400涉及以环形布置安装一个或多个相机。再次参考图2B，例如，可以以环形或圆形布置(例如，围绕轴242)安装相机208a、208b、208c、208d以对相机环208的环境的各个部分进行成像。
在第一实施方式中，安装一个或多个相机可以基于环形布置中的一个或多个相机的给定相机的一个或多个特性。例如，可以对给定相机进行单独测试以确保由给定相机成像的给定FOV的范围在距目标FOV的阈值范围内(例如90度、45度等)。为了促进这一点，例如，示例系统可以将由给定相机获得的图像与目标FOV的存储图像进行比较等。因此，在一些示例中，方法400还可以涉及基于所确定的一个或多个特性调整一个或多个相机。
在第二实施方式中，安装一个或多个相机可以基于与在环形布置中的一个或多个相机的相对安装位置相关联的一个或多个特性。在一个示例中，方法400的系统可以确定(与包括相机的设备的距离)由两个相邻相机成像的FOV相交或重叠的距离。使用相邻相机的系统可能无法检测到所确定距离内的环境中的对象(例如“盲点”)。此外，例如，距离的确定可以基于使用相机捕获的图像、由对环境的相同区域成像的其他传感器捕获的传感器数据(例如，LIDAR数据等)等。在另一示例中，该系统可以被配置为确定一个或多个相机的相对旋转取向。例如，可以(例如，基于相机所捕获的图像等)确定相机的侧倾、俯仰等方向上的各个偏移量和/或相互比较。因此，在一些示例中，方法400还可以涉及基于所确定的一个或多个特性来调整一个或多个相机的相对安装位置。
在第三实施方式中，安装一个或多个相机可以涉及确定与一个或多个其他传感器相关联的一个或多个特性，该一个或多个其他传感器扫描由环形布置中的一个或多个相机成像的环境。例如，系统可以将一个或多个相机的FOV与LIDAR的FOV、RADAR的FOV或系统中任何其他传感器的FOV进行比较。此外，在一些实例中，系统可以将环形布置的一个或多个相机安装在特定的安装位置，以实现一个或多个相机的FOV与一个或多个传感器的FOV之间的目标重叠。因此，在一些示例中，方法400还可以涉及基于所确定的与一个或多个传感器相关联的一个或多个特性来调整一个或多个相机的安装位置。
在第四实施方式中，安装一个或多个相机可以涉及确定使用环形布置中的一个或多个相机捕获的图像是否指示环境中的一个或多个对象。例如，系统可以确定(多个)相机的FOV是否适合于检测相对于系统的特定位置的对象(例如，在各种照明条件下的交通灯、行人、建筑锥等)。此外，在一些示例中，方法400还可以涉及基于确定所捕获的图像是否指示一个或多个对象来调整一个或多个相机的安装位置或其他特性(例如，曝光时间、图像亮度等)。
IV.结论
附图中所示的特定布置不应被视为限制。应当理解，其他实施方式可以包括给定图中所示的每个元件的更多或更少。此外，一些示出的元件可以被组合或省略。更进一步，示例性实施方式可以包括在附图中未示出的元件。附加地，尽管本文已经公开了各个方面和实施方式，但是其他方面和实施方式对于本领域技术人员将是显而易见的。本文所公开的各个方面和实施方式是出于说明的目的，而不是旨在进行限制，真实的范围和精神由所附权利要求书指示。在不脱离本文提出的主题的精神或范围的情况下，可以利用其他实施方式，并且可以进行其他改变。容易理解的是，如本文一般地描述的以及在附图中示出的，本公开的各方面可以以各种不同的配置进行布置、替换、组合、分离和设计。

Claims (20)

1.一种方法，包括：
接收由耦合到车辆的光检测和测距LIDAR传感器获得的LIDAR数据，其中，所述LIDAR传感器基于所述LIDAR传感器围绕轴的旋转扫描所述车辆的环境，其中，所述LIDAR传感器围绕轴的旋转调整所述LIDAR传感器的视场FOV，并且其中，所述LIDAR数据包括指示到所述车辆的环境中的一个或多个对象的距离的多个LIDAR数据点；
接收由耦合到车辆的一个或多个相机获得的指示所述车辆的环境的图像数据，其中，所述一个或多个相机以与LIDAR传感器的旋转相协调的卷帘快门模式操作，其中，所述图像数据包括多个图像像素；以及
组合图像数据和LIDAR数据。
2.根据权利要求1所述的方法，其中，所述一个或多个相机包括多行感测元件，其中，每一行感测元件与所述LIDAR传感器的旋转轴对准，并且其中，所述一个或多个相机以卷帘快门模式操作，使得每一行感测元件在相应曝光时间段期间感测相应FOV中的光。
3.根据权利要求2所述的方法，其中，所述卷帘快门模式与所述LIDAR传感器的旋转相协调，使得当所述LIDAR传感器围绕所述轴旋转时，在给定行的感测元件的曝光时间段期间，所述LIDAR传感器的FOV与每个给定行的感测元件的FOV至少部分重叠。
4.根据权利要求1所述的方法，其中，组合所述图像数据和所述LIDAR数据包括：
基于所述LIDAR数据向所述多个图像像素中的各个图像像素分配深度值。
5.根据权利要求1所述的方法，其中，组合所述图像数据和所述LIDAR数据包括：
基于所述图像数据向所述多个LIDAR数据点中的各个LIDAR数据点分配颜色。
6.根据权利要求1所述的方法，还包括：
确定多个图像像素中的一个或多个图像像素的检测时间；以及
确定所述多个LIDAR数据点中的一个或多个LIDAR数据点的检测时间。
7.根据权利要求6所述的方法，其中，组合所述图像数据和所述LIDAR数据包括：
基于一个或多个图像像素的检测时间在一个或多个LIDAR数据点的检测时间的阈值内，将一个或多个图像像素与一个或多个LIDAR数据点相关联。
8.根据权利要求1所述的方法，还包括：
确定多个图像像素中的一个或多个图像像素的感测方向；以及
确定多个LIDAR数据点中的一个或多个LIDAR数据点的感测方向。
9.根据权利要求8所述的方法，其中，组合所述图像数据和所述LIDAR数据包括：
基于匹配一个或多个LIDAR数据点的感测方向的一个或多个图像像素的感测方向，将一个或多个图像像素与一个或多个LIDAR数据点相关联。
10.根据权利要求1所述的方法，其中，组合所述图像数据和所述LIDAR数据包括：
生成环境的三维表示，所述环境的三维表示指示到环境中的一个或多个特征的距离以及一个或多个特征的颜色。
11.根据权利要求1所述的方法，其中，组合所述图像数据和所述LIDAR数据包括：
将所述多个LIDAR数据点中的各个LIDAR数据点映射到所述多个图像像素中的各个图像像素。
12.根据权利要求1所述的方法，其中，组合所述图像数据和所述LIDAR数据包括：
将所述多个图像像素中的各个图像像素映射到所述多个LIDAR数据点中的各个LIDAR数据点。
13.根据权利要求1所述的方法，其中，组合所述图像数据和所述LIDAR数据包括：
将所述多个LIDAR数据点中的各个LIDAR数据点映射到环境的三维表示；以及
将多个图像像素中的各个图像像素映射到环境的三维表示。
14.一种非暂时性计算机可读介质，其中存储有可由计算设备执行以使所述计算设备执行操作的指令，其中，所述操作包括：
接收由耦合到车辆的光检测和测距LIDAR传感器获得的LIDAR数据，其中，所述LIDAR传感器基于所述LIDAR传感器围绕轴的旋转扫描所述车辆的环境，其中，所述LIDAR传感器围绕轴的旋转调整所述LIDAR传感器的视场FOV，并且其中，所述LIDAR数据包括指示到所述车辆的环境中的一个或多个对象的距离的多个LIDAR数据点；
接收由耦合到车辆的一个或多个相机获得的指示所述车辆的环境的图像数据，其中，所述一个或多个相机以与LIDAR传感器的旋转相协调的卷帘快门模式操作，其中，所述图像数据包括多个图像像素；以及
组合图像数据和LIDAR数据。
15.根据权利要求14所述的非暂时性计算机可读介质，其中，所述一个或多个相机包括多行感测元件，其中，每一行感测元件与所述LIDAR传感器的旋转轴对准，并且其中，所述一个或多个相机以卷帘快门模式操作，使得每一行感测元件在相应曝光时间段期间感测相应FOV中的光。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述卷帘快门模式与所述LIDAR传感器的旋转相协调，使得当所述LIDAR传感器围绕所述轴旋转时，在给定行的感测元件的曝光时间段期间，所述LIDAR传感器的FOV与每个给定行的感测元件的FOV至少部分重叠。
17.根据权利要求14所述的非暂时性计算机可读介质，其中，组合所述图像数据和所述LIDAR数据包括：
基于所述LIDAR数据向所述多个图像像素中的各个图像像素分配深度值。
18.根据权利要求14所述的非暂时性计算机可读介质，其中，组合所述图像数据和所述LIDAR数据包括：
基于所述图像数据向所述多个LIDAR数据点中的各个LIDAR数据点分配颜色。
19.一种系统，包括：
耦合到车辆的光检测和测距LIDAR传感器，其中，所述LIDAR传感器被配置为基于所述LIDAR传感器围绕轴的旋转扫描所述车辆的环境并且从而获得LIDAR数据，其中，所述LIDAR传感器围绕轴的旋转调整所述LIDAR传感器的视场FOV，并且其中，所述LIDAR数据包括指示到所述车辆的环境中的一个或多个对象的距离的多个LIDAR数据点；
耦合到所述车辆的一个或多个相机，其中，所述一个或多个相机被配置为获得指示所述车辆的环境的图像数据，其中，所述图像数据包括多个图像像素，并且其中，所述一个或多个相机以与LIDAR传感器的旋转相协调的卷帘快门模式操作；以及
控制器，其中，所述控制器被配置为从所述LIDAR传感器接收所述LIDAR数据，从所述一个或多个相机接收所述图像数据，并且组合所述图像数据和所述LIDAR数据。
20.根据权利要求19所述的系统，其中，所述一个或多个相机包括多行感测元件，其中，每一行感测元件与所述LIDAR传感器的旋转轴对准，并且其中，所述一个或多个相机以卷帘快门模式操作，使得每一行感测元件在相应曝光时间段期间感测相应FOV中的光，并且其中，所述卷帘快门模式与所述LIDAR传感器的旋转相协调，使得当所述LIDAR传感器围绕所述轴旋转时，在给定行的感测元件的曝光时间段期间，所述LIDAR传感器的FOV与每个给定行的感测元件的FOV至少部分重叠。
CN202410086086.8A 2017-09-28 2018-07-13 同步旋转lidar和卷帘快门相机系统 Pending CN118033649A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/719,366 2017-09-28
US15/719,366 US10523880B2 (en) 2017-09-28 2017-09-28 Synchronized spinning LIDAR and rolling shutter camera system
CN201880063620.6A CN111149015B (zh) 2017-09-28 2018-07-13 同步旋转lidar和卷帘快门相机系统
PCT/US2018/042095 WO2019067068A1 (en) 2017-09-28 2018-07-13 SYNCHRONIZED ROTARY LIDAR AND ROLLING SHUTTER CAMERA SYSTEM

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880063620.6A Division CN111149015B (zh) 2017-09-28 2018-07-13 同步旋转lidar和卷帘快门相机系统

Publications (1)

Publication Number Publication Date
CN118033649A true CN118033649A (zh) 2024-05-14

Family

ID=65808450

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880063620.6A Active CN111149015B (zh) 2017-09-28 2018-07-13 同步旋转lidar和卷帘快门相机系统
CN202410086086.8A Pending CN118033649A (zh) 2017-09-28 2018-07-13 同步旋转lidar和卷帘快门相机系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880063620.6A Active CN111149015B (zh) 2017-09-28 2018-07-13 同步旋转lidar和卷帘快门相机系统

Country Status (10)

Country Link
US (4) US10523880B2 (zh)
EP (1) EP3688489B1 (zh)
JP (2) JP6854387B2 (zh)
KR (2) KR102454144B1 (zh)
CN (2) CN111149015B (zh)
AU (2) AU2018341833B2 (zh)
CA (2) CA3077071C (zh)
IL (4) IL299642A (zh)
SG (1) SG11202002584YA (zh)
WO (1) WO2019067068A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
CN110402398B (zh) 2017-03-13 2023-12-01 欧普赛斯技术有限公司 眼睛安全的扫描激光雷达系统
KR20200004840A (ko) * 2017-05-15 2020-01-14 아우스터, 인크. 파노라마 lidar 결과의 컬러 보강
WO2019022941A1 (en) 2017-07-28 2019-01-31 OPSYS Tech Ltd. VCSEL LIDAR TRANSMITTER WITH LOW ANGULAR DIVERGENCE
US10523880B2 (en) 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
IL255559A0 (en) * 2017-11-09 2017-12-31 Eshel Aviv Ltd A system and method for electro-optical photography and event detection in large format and wide sectorial coverage
KR102634870B1 (ko) 2017-11-15 2024-02-13 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템
US11195353B2 (en) * 2018-01-17 2021-12-07 Uatc, Llc Methods, devices, and systems for communicating autonomous-vehicle status
US11019326B2 (en) * 2018-02-09 2021-05-25 Jenoptik Optical Systems, Llc Light-source characterizer and associated methods
EP3775979B1 (en) 2018-04-01 2024-01-17 Opsys Tech Ltd. Noise adaptive solid-state lidar system
US20190331756A1 (en) * 2018-04-25 2019-10-31 Honeywell International Inc. Apparatus and method for risley prism based star tracker and celestial navigation system
US11971485B2 (en) 2018-06-19 2024-04-30 Analog Devices, Inc. Metasurface array for lidar systems
US10531075B1 (en) * 2018-09-27 2020-01-07 Honda Motor Co., Ltd. Synchronization controller unit for sensor node
US11169271B2 (en) * 2018-09-27 2021-11-09 Cyngn, Inc. Obstacle detection systems
US11086018B2 (en) * 2018-10-22 2021-08-10 The Government of the United States of America, as represented by the Secretary of Homeland Security Orbiting actuated three-dimensional spinning sensor
JP2022526998A (ja) 2019-04-09 2022-05-27 オプシス テック リミテッド レーザ制御を伴うソリッドステートｌｉｄａｒ送光機
CN109991617B (zh) * 2019-04-26 2020-08-07 上海禾赛光电科技有限公司 激光雷达
US11846728B2 (en) 2019-05-30 2023-12-19 OPSYS Tech Ltd. Eye-safe long-range LIDAR system using actuator
WO2020251891A1 (en) 2019-06-10 2020-12-17 OPSYS Tech Ltd. Eye-safe long-range solid-state lidar system
US10510155B1 (en) * 2019-06-11 2019-12-17 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
US11835627B2 (en) * 2019-07-05 2023-12-05 WeRide Corp. Image capturing method and device
US11227194B2 (en) * 2019-07-16 2022-01-18 Baidu Usa Llc Sensor synchronization offline lab validation system
JP6977812B2 (ja) * 2019-07-24 2021-12-08 株式会社リコー ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体
CN113866784B (zh) * 2019-08-08 2023-02-03 上海禾赛科技有限公司 激光雷达及其控制方法
CN110488318A (zh) * 2019-08-16 2019-11-22 长沙行深智能科技有限公司 环视相机与雷达同步的曝光控制方法、装置、介质及设备
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US11287530B2 (en) * 2019-09-05 2022-03-29 ThorDrive Co., Ltd Data processing system and method for fusion of multiple heterogeneous sensors
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
CN110703265B (zh) * 2019-09-25 2023-04-28 上海工程技术大学 一种机械旋转式激光雷达测试系统及方法
JP7408334B2 (ja) 2019-10-03 2024-01-05 Thk株式会社 画像処理装置及び移動体制御システム
USD959305S1 (en) * 2019-10-31 2022-08-02 Hesai Technology Co., Ltd. Lidar
KR20210054920A (ko) * 2019-11-06 2021-05-14 삼성전자주식회사 전자 장치 및 그 제어 방법
US11252366B2 (en) 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
CN115023627A (zh) 2019-12-04 2022-09-06 伟摩有限责任公司 用于将世界点投影到滚动快门图像的高效算法
US11493922B1 (en) * 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
CN113138393B (zh) * 2020-01-17 2024-05-31 浙江菜鸟供应链管理有限公司 环境感测系统、控制装置以及环境感测数据融合装置
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
GB202004950D0 (en) * 2020-04-03 2020-05-20 Secr Defence Computer implemented method for detecting pulsed radiation
US11836420B1 (en) * 2020-06-29 2023-12-05 Amazon Technologies, Inc. Constructing a 3D model of a facility based on video streams from cameras at the facility
US20220113419A1 (en) * 2020-10-13 2022-04-14 Waymo, LLC LIDAR Based Stereo Camera Correction
US11211707B1 (en) 2020-11-13 2021-12-28 Lyteloop Technologies, Llc Apparatus for broadband wavelength conversion of dual-polarization phase-encoded signal
US11346923B1 (en) 2020-11-13 2022-05-31 Lyteloop Technologies, Llc LiDAR system implementing wavelength conversion
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
GB2602154A (en) * 2020-12-21 2022-06-22 Nissan Motor Mfg Uk Ltd Lidar sensor assembly and mount
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images
US11555928B2 (en) * 2021-06-21 2023-01-17 Cyngn, Inc. Three-dimensional object detection with ground removal intelligence
KR102490525B1 (ko) * 2021-09-30 2023-01-27 주식회사 모빌테크 카메라의 반응시간을 고려한 회전형 라이다와 카메라의 동기화 방법 및 그 장치
KR102490526B1 (ko) * 2021-09-30 2023-01-27 주식회사 모빌테크 회전형 라이다와 카메라의 동기화 방법 및 그 장치
CN114089373B (zh) * 2022-01-20 2022-05-17 探维科技(北京)有限公司 基于图像融合激光的雷达系统扫描方法及装置
CN114895280A (zh) * 2022-04-27 2022-08-12 深圳玩智商科技有限公司 图像传感器、光学测距方法及装置
KR102631376B1 (ko) * 2022-12-15 2024-02-01 한국전자기술연구원 이종 디바이스 융복합 센서 장치
ES2956935A1 (es) * 2023-08-04 2024-01-04 Oliva Rossello Gabriel Juan Sistema de captación y transmisión de imágenes de eventos deportivos
CN116709035B (zh) * 2023-08-07 2023-11-21 深圳市镭神智能系统有限公司 图像帧的曝光调节方法、装置和计算机存储介质
CN118091609A (zh) * 2024-04-29 2024-05-28 深圳阜时科技有限公司 接收模组、mems振镜激光雷达系统及电子设备

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10160835A (ja) * 1996-11-29 1998-06-19 Sumitomo Electric Ind Ltd 先行車両認識方法
US8965677B2 (en) 1998-10-22 2015-02-24 Intelligent Technologies International, Inc. Intra-vehicle information conveyance system and method
US7319777B2 (en) 2001-04-04 2008-01-15 Instro Precision Limited Image analysis apparatus
JP2004265396A (ja) * 2003-02-13 2004-09-24 Vingo:Kk 映像生成システム及び映像生成方法
JP3879848B2 (ja) * 2003-03-14 2007-02-14 松下電工株式会社 自律移動装置
JP2005215917A (ja) * 2004-01-29 2005-08-11 Hitachi Plant Eng & Constr Co Ltd 施工図作成支援方法およびリプレースモデル作成方法
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
US8139109B2 (en) 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
KR20080113982A (ko) * 2007-06-26 2008-12-31 주식회사 뉴크론 입체 지형 및 지물 정보 제공장치 및 그 제공방법
KR101188584B1 (ko) * 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
US7697126B2 (en) * 2008-04-02 2010-04-13 Spatial Integrated Systems, Inc. Three dimensional spatial imaging system and method
JP2010128792A (ja) * 2008-11-27 2010-06-10 Mitsubishi Electric Corp 表示装置および表示システム
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
JP2011099683A (ja) * 2009-11-04 2011-05-19 Hitachi Automotive Systems Ltd 物体検出装置
JP2011191253A (ja) * 2010-03-16 2011-09-29 Sanpa Kogyo Kk レーザ形状認識センサ及び計測装置
EP3786668A1 (en) 2010-05-17 2021-03-03 Velodyne Lidar, Inc. High definition lidar system
US20130021474A1 (en) * 2011-07-20 2013-01-24 Raytheon Company Rolling-shutter imaging system with synchronized scanning illumination and methods for higher-resolution imaging
US8797512B2 (en) 2011-09-15 2014-08-05 Advanced Scientific Concepts, Inc. Automatic range corrected flash ladar camera
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
JP6416085B2 (ja) * 2012-05-29 2018-10-31 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
EP2920634A4 (en) * 2012-11-16 2016-06-22 Molecular Devices Llc SYSTEM AND METHOD FOR RECORDING IMAGES WITH A SHUTTER CAMERA DURING ASYNCHRONOUS SEQUENCING OF MICROSCOPE DEVICES
JP2014134475A (ja) * 2013-01-11 2014-07-24 Chiyuugai Technos Kk 座標測定方法
US8836922B1 (en) * 2013-08-20 2014-09-16 Google Inc. Devices and methods for a rotating LIDAR platform with a shared transmit/receive path
FR3010221A1 (fr) * 2013-09-03 2015-03-06 Rizze Dispositif d'identification d'infractions routieres par lidar
DE102013110583C5 (de) * 2013-09-24 2017-12-14 Faro Technologies, Inc. Verfahren und Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9831630B2 (en) 2014-02-06 2017-11-28 GM Global Technology Operations LLC Low cost small size LiDAR for automotive
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
DE102014211071A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
KR20230042386A (ko) 2014-08-15 2023-03-28 에이아이, 아이엔씨. 레이더 전송을 위한 방법 및 시스템
KR20160034719A (ko) 2014-09-22 2016-03-30 한화테크윈 주식회사 라이다 시스템
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9651658B2 (en) 2015-03-27 2017-05-16 Google Inc. Methods and systems for LIDAR optics alignment
US9880263B2 (en) * 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
JP2017026487A (ja) * 2015-07-23 2017-02-02 株式会社東芝 形状測定装置、形状測定システムおよび形状測定方法
US10048058B2 (en) * 2015-07-29 2018-08-14 Microsoft Technology Licensing, Llc Data capture system for texture and geometry acquisition
JP5962830B2 (ja) * 2015-09-03 2016-08-03 株式会社ニコン 焦点検出装置
US10712446B1 (en) * 2015-09-25 2020-07-14 Apple Inc. Remote sensing for detection and ranging of objects
JP6579706B2 (ja) * 2015-10-06 2019-09-25 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
EP3165874B1 (en) * 2015-11-04 2020-08-19 Hexagon Technology Center GmbH Method and device for triangulation-based distance measurement
JP2017101965A (ja) * 2015-11-30 2017-06-08 京セラ株式会社 装置
JP6620563B2 (ja) * 2016-01-15 2019-12-18 株式会社Ihi 計測装置
JP2017139691A (ja) * 2016-02-05 2017-08-10 ソニー株式会社 画像処理装置および画像処理方法
JPWO2017159382A1 (ja) * 2016-03-16 2019-01-24 ソニー株式会社 信号処理装置および信号処理方法
CA3017817C (en) * 2016-03-21 2021-04-27 Velodyne Lidar, Inc. Lidar based 3-d imaging with varying illumination field density
CN108885263B (zh) 2016-03-21 2024-02-23 威力登激光雷达有限公司 具有可变脉冲重复的基于lidar的3d成像
US20180136314A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system for analyzing the distance to an object in an image
US10261513B2 (en) * 2016-12-19 2019-04-16 drive.ai Inc. Methods for communicating state, intent, and context of an autonomous vehicle
KR20200004840A (ko) 2017-05-15 2020-01-14 아우스터, 인크. 파노라마 lidar 결과의 컬러 보강
US10678260B2 (en) * 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US10523880B2 (en) 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system

Also Published As

Publication number Publication date
EP3688489B1 (en) 2023-11-08
JP2020535407A (ja) 2020-12-03
IL291712A (en) 2022-05-01
IL284730A (en) 2021-08-31
AU2018341833A1 (en) 2020-04-23
US11558566B2 (en) 2023-01-17
EP3688489A1 (en) 2020-08-05
US20230147270A1 (en) 2023-05-11
EP3688489A4 (en) 2021-01-06
US20210203864A1 (en) 2021-07-01
US20200404197A1 (en) 2020-12-24
AU2018341833B2 (en) 2020-11-19
CA3077071C (en) 2023-10-03
CN111149015A (zh) 2020-05-12
SG11202002584YA (en) 2020-04-29
WO2019067068A1 (en) 2019-04-04
CN111149015B (zh) 2024-01-23
KR20210089792A (ko) 2021-07-16
IL284730B (en) 2022-05-01
AU2021200905A1 (en) 2021-03-04
JP7146004B2 (ja) 2022-10-03
IL273524A (en) 2020-05-31
IL291712B2 (en) 2023-06-01
KR102454144B1 (ko) 2022-10-14
CA3077071A1 (en) 2019-04-04
IL273524B (en) 2021-08-31
US10939057B2 (en) 2021-03-02
JP2021105611A (ja) 2021-07-26
CA3209232A1 (en) 2019-04-04
AU2021200905B2 (en) 2021-11-11
IL299642A (en) 2023-03-01
KR20200046131A (ko) 2020-05-06
US20190098233A1 (en) 2019-03-28
US10523880B2 (en) 2019-12-31
KR102277447B1 (ko) 2021-07-14
JP6854387B2 (ja) 2021-04-07

Similar Documents

Publication Publication Date Title
CN111149015B (zh) 同步旋转lidar和卷帘快门相机系统
CN110832349B (zh) 全景彩色lidar系统和用于lidar系统的方法
US20210208283A1 (en) Efficient algorithm for projecting world points to a rolling shutter image
JP2018119942A (ja) 撮像装置及びその監視方法並びにプログラム
JP2018152632A (ja) 撮像装置および撮像方法
US11867841B2 (en) Methods and systems for dithering active sensor pulse emissions
JP2021534415A (ja) 視野の光学捕捉のためのｌｉｄａｒセンサ、ｌｉｄａｒセンサを備えた作動装置または車両、および視野の光学捕捉のための方法
JP2021148667A (ja) 光学装置及び測距装置
JP7215472B2 (ja) 撮像装置および撮像方法
Choudhury et al. High Speed Imaging with Wide Field-of-View Laser Scanning for a MEMS Mirror-based Lidar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination