CN116583761A - 采用扫描激光雷达系统确定速度 - Google Patents

采用扫描激光雷达系统确定速度 Download PDF

Info

Publication number
CN116583761A
CN116583761A CN202180082000.9A CN202180082000A CN116583761A CN 116583761 A CN116583761 A CN 116583761A CN 202180082000 A CN202180082000 A CN 202180082000A CN 116583761 A CN116583761 A CN 116583761A
Authority
CN
China
Prior art keywords
features
candidate
scan lines
scan
lidar system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180082000.9A
Other languages
English (en)
Inventor
P·马赫什瓦里
M·R·加布雷
S·C·锡拉里
V·R·拉梅扎尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luminol LLC
Original Assignee
Luminol LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luminol LLC filed Critical Luminol LLC
Publication of CN116583761A publication Critical patent/CN116583761A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/588—Velocity or trajectory determination systems; Sense-of-movement determination systems deriving the velocity value from the range measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

扫描成像传感器被配置为感测载具移动通过的环境。一种用于确定与环境中的对象相关联的一个或多个速度的方法包括从第一组扫描线和第二组扫描线生成特征，这两组扫描线对应于两个时间实例。该方法进一步包括基于特征位置和时间差生成候选速度的集合，该特征成对选择自来自第一组的一个特征和来自第二组的另一个特征。此外，该方法包括例如通过从候选速度的集合中识别一个或多个模式来分析候选速度的分布。

Description

采用扫描激光雷达系统确定速度
相关申请的引用
本申请要求于2020年10月7日提交的美国专利申请序列No.17/065,011的优先权，其全部公开内容特此通过引用明确并入。
技术领域
本公开总体上涉及根据某些扫描图案操作的成像系统，并且更特别地，涉及配置此类成像系统以便有效地确定一个或多个成像对象的速度。
背景技术
本文提供的背景描述是为了总地呈现本公开的上下文。目前指定的发明人的工作，在本背景部分中描述的范围内，以及在提交时可能不符合现有技术的描述的方面，既不明示也不暗示地承认为反对本公开的现有技术。
自动驾驶或“自主”载具通常采用成像传感器，诸如光检测和测距(激光雷达)设备，以在载具驶向目的地时检测或“看到”周围环境。此类载具包括控制系统，其处理传感器数据，并基于感测到的环境和期望目的地，在或多或少连续的基础上确定哪些机动和操作参数(例如，速度、制动力、转向方向)在整个旅途中是最合适的。自主载具不仅寻求到达期望目的地，而且还维护自主载具乘客和可能在自主载具附近的任何个人的安全。
实现这一目标是一项艰巨的挑战，主要是因为围绕自主载具的环境瞬息万变，各种各样的对象(例如，其它载具、行人、停车标志、交通信号灯、路缘、车道标记等)可能出现在各种位置/定向，和/或相对于载具以不同的速度移动。收集和处理表示场景的整个帧或甚至多个帧以计算能视域中的对象速度的成像系统可具有有限的响应时间来确定机动和操作参数。此外，依赖于复杂分割和对象跟踪算法的系统可具有处理延迟，这进一步限制了系统可以响应移动对象的时间。
发明内容
本公开的成像系统接收成像系统的能视域(FOR)的传感器数据。该系统可以使用本公开中描述的技术来实现一种用于基于特征在不同时间实例的位置来确定对象的一个或多个速度的方法。可以从两组扫描线生成特征，这两组扫描线横穿重叠的能视域。
这些技术的一个示例实施例是一种使用成像传感器确定对象速度的方法，该方法包括由一个或多个处理器使用由成像传感器在第一时间间隔和第二时间间隔期间收集的数据来确定对象的第一组特征和对象的第二组特征。该方法可以进一步包括由一个或多个处理器基于从第一组和第二组成对选择的特征(即，来自第一组的特征和来自第二组的另一个特征)的空间位置差异计算多个候选速度。更进一步，该方法可以包括基于多个候选速度计算对象的速度。
该技术的另一个示例实施例是被配置为实现上述方法的成像系统(例如，激光雷达系统)。
附图说明
图1是基于使用来自一个或多个传感器的输入计算的速度来控制一个或多个载具传感器的参数的示例软件系统的框图；
图2是可以使用图1的传感器控制架构来控制的示例光检测和测距(激光雷达)系统的框图；
图3示出具有重新扫描区域的示例扫描图案，图2的激光雷达系统在识别目标和/或计算能视域内的一个或多个对象速度时可以产生该扫描图案；
图4A示出图2的激光雷达系统可以在其中操作的示例载具；
图4B示出在图4A的示例载具中操作的激光雷达系统的传感器头之间的成像重叠的示例；
图5A示出在自主载具的行进方向中的示例环境；
图5B示出可以针对图5A的环境生成的示例点云；
图6示出具有重新扫描区域的另一个示例扫描图案；
图7是用于计算对象速度的示例方法的流程图；
图8示出成像系统可针对计算对象速度而生成的示例特征；
图9是基于图8的特征计算的候选速度的示例表；
图10示出用于计算对象速度的候选速度的散点图。
具体实施方式
使用载具的成像传感器的输出快速确定对象的速度可以显著提高情境意识，从而实现载具的自主功能。这里描述的方法包括生成与两个时间段相对应的对象的两组特征。该方法包括随后通过确定从第一组和第二组中成对选择的特征的位置差异来计算多个候选速度。该方法进一步包括基于候选速度的分布来确定对象的速度，如下文更详细描述。该方法和实现该方法的系统缩短了确定一个或多个移动对象的存在、位置和速度所需的时间和/或显著减轻了用于此类确定的计算负荷。
根据本公开的技术，成像系统可以生成对环境中一个或多个对象的速度的估计。在一些实施方式中，系统的成像传感器通过扫描感测区域或能视域(FOR)来收集数据，并提取一个或多个对象的特征，而无需依赖全扫描。例如，对象的每个特征可基于属于单个扫描线的一组数据点。在此类实施方式中，实现该方法的系统可以在FOR的单次扫描过程(即，一帧)中获得与两个不同实例(时间间隔)相对应的两组特征。为此，扫描系统可以被配置为扫描FOR内的区域，其中扫描线相对于彼此适当地延迟。在其它实施方式中，第一组特征和第二组特征可以由单个传感器(或传感器头)在FOR的单独扫描或帧上确定。在其它实施方式中，多个传感器或传感器头可以在两个单独的实例从相应的FOR的重叠中获取数据，并基于相应的数据集来确定相应的特征集。
载具可以是完全自动驾驶或“自主”载具，由人类驾驶员控制的载具，或者使用自主和操作员控制组件的一些组合。例如，所公开的技术可用于捕获载具环境信息以提高自主载具的安全/性能，为人类驾驶员生成警报，或简单地收集与特定驾驶旅途相关的数据(例如，记录在旅途期间遇到了多少其它载具或行人等)。传感器可以是能够感测载具移动通过的环境的任何类型或多种类型的传感器，诸如激光雷达、雷达、相机和/或其它类型的传感器。载具还可以包括其它传感器，诸如惯性测量单元(IMU)，和/或包括提供关于载具当前位置的信息的其它类型的设备(例如，GPS单元)。
传感器数据(以及可能的其它数据)由载具的感知组件处理，其输出指示载具环境的当前状态的信号。例如，感知组件可以识别载具环境内对象的位置和/或速度(并且可能分类和/或跟踪)。作为利用激光雷达或雷达数据的更具体示例，感知组件可以包括将激光雷达或雷达点云设备划分为与可能对象相对应的点的子集的分割模块，确定点的子集的标签/类别的分类模块(分割对象)，以及随时间推移跟踪分割和/或分类对象的跟踪模块(即，跨后续点云帧)。此外，本公开中讨论的技术允许在不依赖于分割的情况下至少近似地确定对象速度和位置估计。
在一些实施方式中，成像系统可以在收集和处理全点云之前处理或在某种意义上预处理点云的部分。例如，成像系统可以被配置为在一个点云内在两个或更多个时间间隔(或实例)期间收集与基本上相同的空间区域和/或FOR相对应的两个或更多个相应数据集。然后系统可以预处理例如两个或更多个数据集以根据下面(特别参考图6-10)讨论的方法计算空间区域和/或FOR内的可能对象的一个或多个速度(以及，在一些实施方式中，位置)。
成像系统可以基于各种类型的信息和/或标准来调节传感器的一个或多个参数。在一些实施例中，成像系统控制确定传感器的聚焦区域的参数。例如，成像系统可以调节激光雷达或雷达设备的FOR的中心和/或大小，和/或修改由此类设备产生的扫描线的空间分布(例如，相对于倾斜角)以聚焦于特定类型的对象、特定的对象分组、环境中特定类型的区域(例如，紧邻载具前方的道路、载具前方的地平线等)等等。对于可以控制扫描线分布的一些实施方式，成像系统可以使传感器产生根据一些连续数学分布的采样布置的扫描线，诸如具有覆盖期望聚焦区域(例如，靠近地平线)的峰值扫描线密度的高斯分布，或在两个或更多个期望聚焦区域中具有峰值扫描线密度的多峰分布。此外，在一些实施方式和/或场景中，成像系统可以根据一些任意分布定位扫描线。例如，成像系统可以定位扫描线以针对环境的两个或更多个区域中的每一个区域实现期望分辨率(例如，使得覆盖紧邻载具前方的道路区域的扫描线与覆盖地平线区域的扫描线、覆盖地平线以上区域的扫描线为2:4:1的比率)。在一些实施方式中，成像系统可以响应于例如一个或多个对象速度和/或位置来定位扫描线以聚焦于一个或多个移动对象。
在一些实施方式中，成像系统可以空间连续的方式(诸如从顶部到底部、从底部到顶部、或从一侧到另一侧)横穿(例如，获取数据或发射激光脉冲)扫描线。在其它实施方式中，成像系统可以从FOR内的一个区域跳到另一个区域，同时稍后返回到省略的部分，但是在同一帧内。在其它实施方式中，成像系统可以重新扫描FOR内的某些区域，从同一区域或不同时间点但在同一帧内的区域获取数据。成像系统可以响应于从处理先前帧和/或从正在进行的帧的预处理获得的信息(例如，对象位置和/或速度、道路配置等)改变一个或多个重新扫描区域。
另外或可替代地，成像系统可以改变扫描通过FOR的定时。也就是说，横穿扫描线的速率可以从一帧到另一帧和/或在一帧内变化。成像系统可以响应于从处理先前帧和/或从正在进行的帧的预处理获得的信息(例如，对象位置和/或速度、道路配置等)改变扫描速率。
对象在FOR内以及相对于固定参考系的运动(即，不仅仅是由于携带成像系统的载具在环境中移动引起的相对运动)对于载具操作特别重要。虽然可以使用多个帧来确定对象速度，但此类方法可能比预期花费更长的时间。另一方面，直接使用载具成像传感器的输出(甚至可能是不完整的帧)来快速确定对象的速度可以显著提高态势感知能力并实现或改善载具的自主功能。
如上所述，这里描述的方法包括生成与两个时间段相对应的对象的两组特征。实现该方法的成像系统可以通过确定从第一组和第二组中成对选择的特征的位置差(并除以相应的时间差)来计算多个候选速度。系统可以基于候选速度的分布来确定对象的速度。该系统然后可以生成在载具运动的操作中使用的信号、用于调节载具的成像系统的操作的信号、以及例如用于与其它载具和/或运输基础设施通信的其它合适的信号。
在一些实施方式中，成像系统使用启发式方法(如各种规则、算法、标准等所表示的)确定聚焦区域。例如，成像系统可以基于环境内“动态”对象或特定类型的动态对象的存在和位置来确定聚焦区域。动态对象的存在、位置和/或类型可以使用被控制的传感器生成的数据和/或使用载具上的一个或多个其它传感器生成的数据来确定。例如，具有广角环境视图的相机可用于确定激光雷达设备的较窄聚焦区域。作为替代示例，成像系统可以最初将激光雷达设备配置为具有相对较大的FOR，并且然后设定为聚焦(例如，将较小的FOR居中，增加周围的扫描密度等)于较大的FOR的特定部分中检测到的动态对象。
基于传感器数据设定聚焦区域可能是有利的，但不依赖于对象的分割或分类。在一些实施方式中，成像系统可以结合直接对传感器数据的子集进行操作的启发式算法以确定具有适当精度的适当聚焦区域。例如，该系统可以至少部分地基于到一个或多个动态对象的距离和/或一个或多个动态对象的速度来确定该区域，该速度至少部分地根据本公开中描述的方法来确定。
接下来参考图1讨论被配置为根据对象的确定速度控制载具传感器的成像系统的示例架构，随后讨论参考图2-5可以在其中实现成像系统的示例激光雷达系统。图6示出用于确定对象速度和调节传感器参数(例如，激光雷达扫描线分布、重新扫描参数等)的示例扫描图案。最后，关于确定一个或多个对象速度的示例方法将参考图7的流程图和随后的附图8-10进行讨论。
图1示出动态控制一个或多个传感器102的一个或多个参数的成像系统100的示例架构。传感器102可由自主载具使用(例如，基于载具的当前环境做出智能驾驶决策)，或由非自主(或自主)载具用于其它目的(例如，收集与特定驾驶旅行有关的数据)。如本文所使用的术语，“自主”或“自动驾驶”载具是被配置为感测其环境并导航或驾驶的载具，无需人工输入、少量人工输入、可选人工输入和/或环境特定的人工输入。例如，自主载具可以配置为在整个行程中驾驶到任何合适的位置并控制或执行所有安全关键功能(例如，驾驶、转向、制动、停车)，而驾驶员不被期望(或甚至能够)随时控制载具。作为另一个示例，自主载具可以允许驾驶员安全地将他或她的注意力从特定环境(例如，在高速公路上)和/或特定驾驶模式中的驾驶任务转移开。
自主载具可以被配置为在载具中有人类驾驶员的情况下驾驶，或者被配置为在没有人类驾驶员在场的情况下驾驶。作为示例，自主载具可能包括具有相关联控件(例如，方向盘、加速踏板和制动踏板)的驾驶员座椅，并且载具可被配置为在没有人坐在驾驶员座椅上或在有限的、有条件的情况下行驶，或者坐在驾驶员座位上的人没有输入的情况下行驶。作为另一个示例，自主载具可不包括任何驾驶员座椅或相关联的驾驶员控件，载具在没有人工输入的情况下始终执行基本上所有驾驶功能(例如，驾驶、转向、制动、停车和导航)(例如，载具可被配置为在载具中没有驾驶员的情况下运输人类乘客或货物)。作为另一个示例，自主载具可被配置为在没有任何人类乘客的情况下操作(例如，载具可以被配置为在载具上没有任何人类乘客的情况下运输货物)。
如本文所使用的术语，“载具”可指被配置为运输人员或货物的移动机器。例如，载具可包括、可采取以下形式或可被称为小汽车、汽车、机动载具、卡车、公共汽车、货车、拖车、越野载具、农用载具、割草机、建筑设备、高尔夫球车、房车、出租车、摩托车、小型摩托车、自行车、滑板、火车、雪地摩托、船只(例如，轮船或小船)、飞机(例如，固定翼飞机、直升机或飞艇)或航天器。在特定实施例中，载具可包括为载具提供推进力的内燃机或电动机。如图1中所见，载具可包括N个不同的传感器102，N是任何合适的整数(例如，1、2、3、5、10、20等)。传感器102中的至少“传感器1”被配置为通过以某种方式与环境进行物理交互来感测自主载具的环境，诸如发射和接收从环境中的对象反射的激光(例如，如果传感器是激光雷达设备)，传输和接收从环境中的对象反射出的无线电或声学信号(例如，如果传感器是雷达或声纳设备)，简单地接收从环境的不同区域生成或反射的光波(例如，如果传感器是相机)，依此类推。取决于实施例，所有传感器102都可以配置为感测环境的一部分，或者一个或多个传感器102可能不与外部环境物理交互(例如，如果传感器102之一是惯性测量单元(IMU))。传感器102可以都是相同类型的，或者可以包括多种不同的传感器类型(例如，具有不同视角的多个激光雷达设备，和/或激光雷达、相机、雷达和热成像设备等的组合)。
由传感器102生成的数据可以用作传感器控制架构100的感知组件104的输入，并且由感知组件104处理以生成描述载具环境的当前状态的感知信号106。应当理解，术语“当前”实际上可以指在任何给定感知信号106的生成之前的非常短的时间，例如，由于由感知组件104的至少一些部分和其它因素引入的短处理延迟。例如，单独的速度检测模块110可以生成与对象速度(以及可能的位置)估计相关联的感知信号，其处理延迟比与对象分类相关联的计算量更大的模块更短。为了生成附加感知信号106，感知组件104可以包括分割、分类和跟踪模块112。在一些实施方式中，单独的分割、分类和跟踪模块生成一些感知信号106。
速度检测模块110可以根据本公开中描述的方法确定FOR内的至少一个对象的速度。通常，确定对象速度的方法可以包括使用由传感器102之一在对应时间间隔期间收集的数据来确定对象的至少两组特征。例如，这两个时间间隔可以对应于与成像传感器的两个帧相关联的时间。因此，这两个数据集可以是来自不同帧的至少部分帧数据。可替代地，这两个数据集可源自传感器的同一帧。为此，扫描传感器可以包括重新扫描区域。
速度确定模块110可由一个或多个处理器基于从第一和第二数据集中成对选择的特征的空间位置差异来计算多个(10至1,000,000或更多)候选速度。随后，速度确定模块110可以基于多个候选速度的分布来计算对象的速度(或多个对象速度)。下面特别参考图7-10描述速度确定模块110所采用的方法的细节。
传感器控制架构100还包括预测组件120，其处理感知信号106以生成描述载具环境的一个或多个预测的未来状态的预测信号122。例如，对于给定的对象，预测组件120可以分析对象的类型/类别连同对象的最近跟踪的移动(如由分割、分类和跟踪模块112确定)以预测对象的一个或多个未来位置。作为相对简单的示例，预测组件120可以假定任何移动对象将继续行进而不会改变它们的当前方向和速度，可能会考虑一阶或更高阶导数以更好地跟踪具有连续变化方向的对象，正在加速的对象，等等。另外或可替代地，预测组件120可以预测与地平线估计或FOR内的其它感兴趣区域相关联的感知信号以调节扫描参数以促进或改进速度检测模块110的性能。此外，预测模块120可以验证或者改进由速度检测模块120计算的一个或多个速度的准确性。更进一步，预测组件120可以使用由速度检测模块110生成的过去值(例如，使用低通、中值、卡尔曼或任何其它合适的滤波)和/或由分割、分类和跟踪模块112生成的过去值。
感知信号106和(在一些实施例中)预测信号122被输入到传感器控制组件130，该传感器控制组件130处理信号106、122以生成传感器控制信号132，该传感器控制信号132控制至少一个传感器102的一个或多个参数(至少包括“传感器1”的参数)。特别地，传感器控制组件130尝试基于检测到的移动(例如，使用感知组件104的模块110和112)或地平线的确定来引导一个或多个传感器102的焦点。应当注意，在一些实施方式中，地平线的确定至少部分地基于检测到的移动。参数调节模块136确定受控传感器(传感器102之中)的参数设定。在一些实施方式中，参数的设定可以基于一个或多个检测到的对象速度。特别地，参数调节模块136确定设定聚焦区域的一个或多个参数的值，并且在一些实施方式中确定受控扫描传感器的扫描速率和图案。通常，受控参数是影响载具环境的哪个区域/部分被特定传感器感测以及如何实现感测的参数。例如，参数调节模块136可以确定设定受控传感器的水平和/或竖直FOR的值(例如，由FOR覆盖的方位角和/或倾斜角的范围)、FOR的中心(例如，通过机械移动整个传感器，或调节移动FOR中心的反射镜)、由传感器产生的扫描线的空间分布、和/或传感器获取扫描线的时间序列。示例扫描线分布和采集序列将在下面参考图7和图8进行更详细的讨论。如所讨论的，受控传感器参数不仅可以影响传感器的聚焦区域，还可以影响感测载具环境的给定区域的方式。例如，参数调节模块136可以控制传感器的帧/刷新率、传感器的空间分辨率(例如，每个点云帧的点数)、时间分辨率(在一帧内的重新扫描FOR部分)，等等。
从上面提供的各种示例可以看出，在一些实施例中，由载具收集的传感器数据可以包括由一个或多个激光雷达设备或更一般地由激光雷达系统生成的点云数据。为了更好地理解可由激光雷达系统生成的数据类型，以及激光雷达系统和设备可发挥作用的方式，参考图2-5描述示例激光雷达系统和示例点云。
图2示出激光雷达系统200。例如，激光雷达系统200可以作为图1的传感器102中的至少一个来操作。虽然本文描述了各种激光雷达系统组件和特性，但可以理解，任何合适的激光雷达设备或系统和/或任何其它合适类型的传感器都可以提供传感器数据以使用本文描述的软件架构进行处理。此外，参考图4A、4B描述使用关于激光雷达系统200描述的原理操作的示例多传感器激光雷达系统。
示例激光雷达系统200可以包括光源210、反射镜215、扫描器220、接收器240和控制器250。光源210可以是例如发射在电磁波谱的红外线、可见光或紫外线部分中具有特定工作波长的光的激光器(例如，激光二极管)。在操作中，光源210发射输出光束225，其可以是连续波、脉冲或以给定应用的任何合适的方式调制。输出光束225顺发射方向引导到距激光雷达系统200距离D的远程目标230，并且至少部分包含在系统200的FOR内。
一旦输出光束225到达顺发射方向的目标230，目标230可散射或在一些情况下反射来自输出光束225的光的至少一部分，并且一些散射或反射的光可返回激光雷达系统200。在图2的示例中，散射或反射的光由输入光束235表示，其穿过扫描器220，该扫描器220可称为光束扫描器、光学扫描器或激光扫描器。输入光束235穿过扫描器220到达反射镜215，该反射镜215可称为重叠反射镜、叠加反射镜、分束镜或光束组合镜。反射镜215进而将输入光束235引导到接收器240。
输入光束235可以包括来自输出光束225的被目标230散射的光、来自输出光束225的被目标230反射的光、或者来自目标230的散射和反射的光的组合。根据一些实施方式，激光雷达系统200可以包括“人眼安全”激光器，其对人眼造成伤害的可能性很小或没有。输入光束235可仅包含来自输出光束225的光的相对小部分。
接收器240可接收或检测来自输入光束235的光子并生成一个或多个代表性信号。例如，接收器240可以生成代表输入光束235的输出电信号245。接收器可以将电信号245发送到控制器250。取决于实施方式，控制器250可以包括一个或多个指令执行处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或被配置为分析电信号245的一个或多个特性以便确定目标230的一个或多个特性(诸如它距激光雷达系统200的顺发射方向的距离)的其它合适的电路。更特别地，控制器250可以分析由光源210发射的光束225的飞行时间或相位调制。如果激光雷达系统200测量T的飞行时间(例如，T表示发射的光脉冲从激光雷达系统200行进到目标230并返回激光雷达系统200的往返飞行时间)，则从目标230到激光雷达系统200的距离D可以表达为D＝c·T/2，其中c是光速(大约3.0×108m/s)。
距激光雷达系统200的距离D小于或等于激光雷达系统200的最大范围RMAX。激光雷达系统200的最大范围RMAX(也可称为最大距离)可对应于激光雷达系统200被配置为感测或识别出现在激光雷达系统200的FOR中的目标的最大距离。激光雷达系统200的最大范围可以是任何合适的距离，诸如例如50m、200m、500m，或1km。
在一些实施方式中，光源210、扫描器220和接收器240可以一起封装在单个壳体255内，该壳体可以是保持或包含激光雷达系统200的全部或部分的盒子、箱子或外壳。壳体255包括光束225和235穿过的窗口257。控制器250可位于与组件210、220和240相同的壳体255内，或者控制器250可位于壳体255外部。例如，在一个实施例中，控制器250可改为位于图1中所示的传感器控制架构100的感知组件104内或部分位于感知组件104内。在一些实施方式中，壳体255包括多个激光雷达传感器，每个传感器包括相应的扫描器和接收器。取决于特定的实施方式，多个传感器中的每一个都可以包括单独的光源或公共光源。例如，取决于实施方式，多个传感器可以被配置为覆盖非重叠的相邻能视域或部分重叠的能视域。
继续参考图2，输出光束225和输入光束235可以基本上同轴。换句话说，输出光束225和输入光束235可以至少部分地重叠或共享公共传播轴，使得输入光束235和输出光束225沿基本上相同的光路(尽管在相反方向中)行进。随着激光雷达系统200跨FOR扫描输出光束225，输入光束235可以跟随输出光束225，使得保持两个光束之间的同轴关系。
一般来说，扫描器220在顺发射方向的一个或多个方向中操纵输出光束225。为了实现这一点，扫描器220可以包括一个或多个扫描镜和一个或多个致动器，该致动器驱动反射镜旋转、倾斜、枢转或以例如绕一个或多个轴成角度的方式移动反射镜。虽然图2仅描绘了单个反射镜215，但是激光雷达系统200可以包括任何合适数量的平面镜或曲面镜(例如，凹面镜、凸面镜或抛物面镜)以控制或聚焦输出光束225或输入光束235。例如，扫描器的第一反射镜可沿第一方向扫描输出光束225，而第二反射镜可沿与第一方向基本上正交的第二方向扫描输出光束225。
如上所述，激光雷达系统200的FOR可以指激光雷达系统200可以被配置为扫描或捕获距离信息的区、区域或角度范围。例如，当激光雷达系统200在30度扫描范围内扫描输出光束225时，激光雷达系统200可被称为具有30度角FOR。扫描器220可被配置为水平和竖直地扫描输出光束225，并且激光雷达系统200的FOR可具有沿水平方向的特定角宽度和沿竖直方向的另一特定角宽度。例如，激光雷达系统200可以具有10°到120°的水平FOR(或者对于多传感器系统高达360°)和2°到45°的竖直FOR。
扫描器220的一个或多个扫描镜可通信地耦合到控制器250，该控制器250可控制扫描镜以便在顺发射方向的期望方向或沿着期望扫描图案引导输出光束225。通常，扫描(或扫描线)图案可以指输出光束225被引导所沿的图案或路径。激光雷达系统200可以使用扫描图案来生成具有基本上覆盖FOR的点或“像素”的点云。像素可以跨FOR大致均匀地分布，或者根据特定的非均匀分布来分布。
在操作中，光源210可以发射光脉冲，扫描器220跨激光雷达系统200的FOR扫描。目标230可以散射或反射一个或多个发射的脉冲，并且接收器240可以检测由目标230散射或反射的光脉冲的至少一部分。接收器240可以接收或检测输入光束235的至少一部分，并产生与输入光束235相对应的电信号。控制器250可以电耦合或者以其它方式通信地耦合到光源210、扫描器220和接收器240中的一个或多个。控制器250可以向光源210提供指令、控制信号或触发信号，指示光源210何时应该产生光脉冲，以及可能地脉冲的特性(例如，持续时间、周期、峰值功率、波长等)。控制器250还可以基于与何时由光源210发射脉冲以及何时由接收器240检测或者接收到脉冲的一部分(例如，输入光束235)相关联的定时信息来确定光脉冲的飞行时间值。
如上所述，激光雷达系统200可用于确定到一个或多个顺发射方向的目标230的距离。通过跨FOR扫描激光雷达系统200，该系统可用于将距离映射到FOR内的多个点。这些深度映射点中的每一个都可以称为像素或体素。连续捕获的像素集合(其可称为深度图、点云或点云帧)可渲染为图像或可被分析以识别或检测对象或确定FOR内的对象的形状或距离。例如，深度图可以覆盖水平延伸60°、竖直延伸15°的FOR，并且深度图可以包括水平方向上的100-2000个像素×竖直方向上的4-400个像素的帧。
激光雷达系统200可以被配置为以例如大约0.1帧/秒(FPS)和大约1,000FPS之间的任何合适的帧率重复捕获或生成FOR的点云。取决于实施方式，点云帧率可以是基本上固定的或动态可调节的。通常，激光雷达系统200可以使用较慢的帧率(例如1Hz)来捕获一个或多个高分辨率点云，并使用较快的帧率(例如20Hz)来快速捕获多个较低分辨率点云。
激光雷达系统200的FOR可以重叠、包含或包围目标230的至少一部分，该目标230可以包括相对于激光雷达系统200或静态环境移动或静止的对象的全部或一部分。例如，目标230可以包括以下中的全部或一部分：人、载具、摩托车、卡车、火车、自行车、轮椅、行人、动物、路标、交通灯、车道标记、路面标记、停车位、塔、护栏、交通屏障、坑洼、铁路道口、道路内或附近的障碍物、路缘、道路上或道路旁停止的载具、电线杆、房屋、建筑物、垃圾桶、邮筒、树木、任何其它合适的对象、或两个或更多个对象的全部或一部分的任何适当组合。
图3示出图2的激光雷达系统200可以产生的示例扫描图案260。特别地，激光雷达系统200可以被配置为沿着扫描图案260扫描输出光束225。在一些实施方式中，扫描图案260对应于跨具有任何合适的水平FOR(FORH)和任何合适的竖直FOR(FORV)的任何合适的FOR的扫描。例如，某个扫描图案可以具有由角度尺寸(例如，FORH×FORV)40°×30°、90°×40°或60°×15°表示的FOR。虽然图3描绘了“之字形”图案260，但其它实施方式可以替代地采用其它图案(例如，平行、水平扫描线)，和/或可以在特定情况下采用其它图案。尽管图3中的扫描图案260包括六条扫描线，但是线的数量可以是任何合适的数量，诸如数十或数百条扫描线。
在图3的示例实施方式和/或场景中，参考线262表示扫描图案260的FOR的中心。在图3中，如果扫描图案260具有60°×15°的FOR，则扫描图案260覆盖了相对于参考线262的±30°水平范围和相对于参考线262的±7.5°竖直范围。方位角(其可称为方位角度)可以表示相对于参考线262的水平角，并且仰角(其可称为高度角、倾斜角或倾斜角度)可表示相对于参考线262的竖直角。
扫描图案260可以包括多个点或像素264，并且每个像素264可以与一个或多个激光脉冲和一个或多个对应的距离测量相关联。扫描图案260的循环可以包括总共Px×Py个像素264(例如，Px乘以Py像素的二维分布)。沿水平方向的像素264的数量可称为扫描图案260的水平分辨率，而沿竖直方向的像素264的数量可称为扫描图案260的竖直分辨率。
每个像素264可以与距离/深度(例如，到目标230的从其散射对应激光脉冲的部分的距离)和一个或多个角度值相关联。作为示例，像素264可以与表示像素264相对于激光雷达系统200的角度位置的距离值和两个角度值(例如，方位角和仰角)相关联。到目标230的一部分的距离可以至少部分地基于对应脉冲的飞行时间测量来确定。更一般地，除了它的两个角度值之外，每个点或像素264可以与一个或多个参数值相关联。例如，除了那个点或像素的角度值之外，每个点或像素264还可以与深度(距离)值、从接收到的光脉冲测量的强度值和/或一个或多个其它参数值相关联。
角度值(例如，方位角或仰角)可以对应于输出光束225的角度(例如，相对于参考线262)(例如，当对应的脉冲从激光雷达系统200发射时)或输入光束235的角度(例如，当激光雷达系统200接收到输入信号时)。在一些实施方式中，激光雷达系统200至少部分地基于扫描器220的组件的位置来确定角度值。例如，与像素264相关联的方位角或仰角值可以从扫描器220的一个或多个对应的扫描镜的角度位置来确定。与参考线262相对应的零倾斜角、零方位角方向可以被称为激光雷达系统200的中性观察方向(或中性注视方向)。
在一些实施方式中，激光雷达系统的光源远离激光雷达系统的一些其它组件，诸如扫描器和接收器。此外，在载具中实现的激光雷达系统可包括比扫描器和接收器更少的光源。
重新扫描区域285可包括扫描线286-288，该扫描线286-288可在FOR的单次扫描过程期间被传感器200横穿两次或更多次。在一些实施方式中，扫描线286-288可以在第二次通过期间相对于第一次通过在相反方向中被扫描。随后，扫描线286-288可以在与第一次通过相同的方向中进行第三次扫描。通常，重新扫描区域的扫描线可以被横穿任何合适的次数，并且具有合适的延迟，这可取决于扫描器220的马达转换速率和反射镜几何形状。此外，重新扫描区域285的扫描线268-288不需要从与第一次通过重新扫描区域285时相同的第二(和/或第三等)路径上的方位角和倾斜角获取数据。更进一步，第一次通过和任何后续通过(或相同的扫描)重新扫描区域285不需要遵循相同的扫描线(即，瞬时观察方向的方位角和倾斜角位置)。多次通过重新扫描区域285可以帮助生成第一组扫描线和第二组(以及可能的第三组等)扫描线，速度检测模块110可以使用该扫描线来计算至少一个对象在重新扫描区域285内的速度。
图4A和图4B示出示例自主载具300，其中控制器304可以操作各种组件302以用于操纵载具300并以其它方式控制载具300的操作。为了清楚起见，这些组件在图4A中以展开视图描绘。图1中所示的感知组件104、预测组件120和传感器控制组件130可以在图4A的载具控制器304中实现。
组件302可以包括加速器310、制动器312、载具发动机314、转向机构316、诸如刹车灯、头灯、倒车灯、应急灯等的灯318、挡位选择器320和/或实现和控制载具300的运动的其它合适的组件。挡位选择器320可以包括停车、倒车、空挡、驱动齿轮等。组件302中的每一个可以包括接口，组件经由该接口从载具控制器304接收命令，诸如“加速”、“减速”、“左转5度”、“激活左转信号”等，并且在一些情况下，向载具控制器304提供反馈。
自主载具300可以配备激光雷达系统，包括激光器和多个传感器头308A-E，该传感器头308A-E经由传感器链路306耦合到控制器。例如，传感器头308中的每一个可以包括光源和接收器，并且传感器链路306中的每一个可以包括一个或多个光学链路和/或一个或多个电链路。图4A中的传感器头308被定位或定向以提供围绕载具的环境的大于30度的视图。更一般地，具有多个传感器头的激光雷达系统可以提供围绕载具的大约30°、45°、60°、90°、120°、180°、270°或360°的水平FOR。传感器头308中的每一个可以附接到或结合到保险杠、挡泥板、格栅、侧面板、扰流板、车顶、前灯组件、尾灯组件、后视镜组件、引擎盖、后备箱、窗户或载具的任何其它合适部分。
在图4A的示例中，五个传感器头308定位于载具上为传感器头308提供不同的视场的位置处(例如，传感器头308中的每一个可以结合到灯组件、侧面板、保险杠或挡泥板中)，并且激光器可以位于载具300内(例如，在后备箱中或后备箱附近)。如图4B中所示，五个传感器头308中的每一个可以提供120°的水平FOR(FOR)，并且五个传感器头308可以被定向以使得它们一起提供围绕载具的完整的360度视图。作为另一个示例，激光雷达系统302可以包括定位在载具300上或周围的六个传感器头308，其中传感器头308中的每一个提供60°到90°的水平FOR。作为另一个示例，激光雷达系统可以包括八个传感器头308，并且传感器头308中的每一个可以提供45°到60°的水平FOR。作为另一个示例，激光雷达系统可包括六个传感器头308，其中传感器头308中的每一个提供70°水平FOR，相邻传感器头308之间重叠大约10°。作为另一个示例，激光雷达系统可以包括两个传感器头308，它们一起提供大于或等于30°的前向水平FOR。
在图4B中所示的实施例中，传感器头308各自具有120°的FOR，这提供了传感器头308A-E的FOR之间的重叠。例如，由于传感器头308A和308B的位置和相对角配置，传感器头308A和308B具有大约60°的FOR重叠。类似地，传感器头308B和308C以及传感器头308A和308E的FOR的重叠具有大约60°的重叠。由于传感器头308A-E的FOR的不均匀空间分布和布置，传感器头308C和308D以及传感器头308D和308E的FOR的重叠具有大约30°的较小重叠。在一些实施例中，取决于传感器头308的数量以及传感器头的空间和角度布置，传感器的FOR的重叠可以被配置为任何期望重叠。
来自传感器头308中的每一个传感器头的数据可以被组合或缝合在一起以生成覆盖围绕载具小于或等于360度水平视图的点云。例如，激光雷达系统可包括控制器或处理器，其从传感器头308中的每一个传感器头接收数据(例如，经由对应的电链路306)并处理接收到的数据以构建覆盖围绕载具360度水平视图的点云或确定到一个或多个目标的距离。点云或来自点云的信息可经由对应的电、光或无线电链路306提供给载具控制器304。载具控制器304可包括一个或多个CPU、GPU和具有持久性组件(例如，闪存、光盘)和/或非持久性组件(例如，RAM)的非暂态存储器。
在一些实施方式中，点云通过在激光雷达系统内包括的控制器处组合来自多个传感器头308中的每一个传感器头的数据来生成，并且被提供给载具控制器304。在其它实施方式中，传感器头308中的每一个包括控制器或处理器，其为围绕载具的360度水平视图的一部分构建点云，并将相应的点云提供给载具控制器304。载具控制器304然后将来自相应传感器头308A-E的点云组合或缝合在一起以构建覆盖360度水平视图的组合点云。更进一步，载具控制器304在一些实施方式中与远程服务器通信以处理点云数据。
在一些实施方式中，载具控制器304经由链路306从传感器头308接收点云数据并且使用本文公开的聚合或单独SDCA中的任何一个或多个来分析接收到的点云数据以感测或识别目标以及它们相应的位置、距离、速度、形状、大小、目标类型(例如，载具、人、树、动物)等。载具控制器304然后基于分析的信息经由链路306向组件302提供控制信号以控制载具的操作。
除了激光雷达系统，载具300还可以配备惯性测量单元(IMU)330和其它传感器332，诸如相机、热成像仪、传统雷达(为了避免混乱而未示出)等。其它传感器332可以各自具有相应的FOR，该FOR可以缝合在一起以生成围绕载具的360度水平视图。在实施例中，来自其它传感器332的数据可以与来自传感器头308的数据组合以生成数据集以实现载具300的自主操作。传感器330和332可以经由有线或无线通信链路向载具控制器304提供附加数据。此外，示例实施方式中的载具300可以包括作为声源定位系统的一部分操作的麦克风阵列，该声源定位系统被配置为确定声源。
如图4A中所示，载具控制器304可以包括感知模块352和运动规划器354，它们中的每一个都可以使用硬件、固件、软件或者硬件、固件和软件的任何合适的组合来实现。关于图1中的组件，例如，感知组件104可以被包括在感知模块352中，而预测组件120和传感器控制组件130可以被集成到运动规划器354中。在操作中，感知模块352可以从传感器330、332、308A-E等接收传感器数据并将接收到的传感器数据应用到感知模型353以生成自主载具300在其中操作的环境参数，诸如道路的曲率、障碍物的存在、到障碍物的距离等。然后，感知模块352可以将这些生成的参数提供给运动规划器354，该运动规划器354进而生成用于控制自主载具300的决策并向加速器310、制动器312、载具发动机314、转向机构316等提供对应的命令。
感知模块352可以包括速度检测模块110。速度检测模块可以有利地使用成对的传感器头308A-E之间的重叠。例如，一对传感器头308A-E可以被配置为从具有合适时间差的重叠区域收集数据。时间差可以比由任一传感器头308A、B获得FOR的全扫描(即，一帧)的时间更少(例如，1/2、1/5、1/10、1/20等)。以该方式，传感器头308A可一次从传感器头308A、B的重叠区域获得一组数据，而传感器头308B可在另一时间从传感器头308A、B的重叠区域获得另一组数据。速度检测模块110可以基于来自传感器头308A的数据集生成一组特征，并且根据来自传感器头308B的数据集生成另一组特征。随后，在不处理整个点云的情况下，速度检测模块110可以计算一个或多个对象的速度，如本公开中所讨论的。值得注意的是，传感器头308A-E可以被布置成使用成对重叠区域在合适的方位跨度上具有连续覆盖。也就是说，例如，在传感器头308A、B之间的重叠结束的地方，传感器头308B、C之间的重叠可以开始。
在一些实施方式中，速度检测模块110可以基于感知模型353的输出生成特征。也就是说，感知模型353可以包括可以帮助从部分点云或者甚至来自单个扫描线的点组识别移动对象的特征的组件。在一些实施方式中，感知模型353，或者更一般地，图1的预测组件120可以基于来自先前帧的数据生成预测特征。速度检测模块110然后可以至少部分地通过将扫描数据与预测特征相关来识别特征和对应位置。
运动规划器354可以利用任何合适类型的规则、算法、启发式模型、机器学习模型或其它合适的技术来基于感知模块352的输出做出驾驶决策，该感知模块352利用上面所讨论的感知模型353。例如，在一些实施方式中，运动规划器354被配置有对应的算法以响应于特定信号或信号组合做出用于控制自主载具300的特定决策。作为另一个示例，在一些实施例中，可以使用感知模型353生成的类型的环境参数的描述来训练用于运动规划器354的机器学习模型。在附加实施例中，虚拟数据可用于训练运动规划器354的机器学习模型。例如，运动规划器354可以是“基于学习的”规划器(例如，使用监督学习或强化学习训练的规划器)、“基于搜索的”规划器(例如，连续A*规划器)、“基于采样的”规划器(例如，在表示可能决策范围的空间中执行随机搜索的规划器)、“基于预测控制的”规划器(例如，模型预测控制(MPC)规划器)等。在任何情况下，训练平台都可以独立于感知模块352单独地训练运动规划模型。
运动规划器354的输出可由载具控制器304(例如，速度检测模块110、预测组件120、感知模块352和/或感知模型353)用于预测对象特征和/或其位置。例如，如果载具300正在转弯，则控制器304可以使用合适的几何变换来预测对由速度检测模块110生成的特征的影响。速度检测模块110可以进而将预测特征和它们的位置与新生成的特征进行比较(例如，通过与预测特征和/或其它算法的相关性)来计算一个或多个对象速度。
图5A描绘示例真实世界驾驶环境380，并且图5B描绘由扫描环境380的激光雷达系统(例如，图2和图3的激光雷达系统200或图4A的激光雷达系统)生成的示例点云390。如图5A中所见，环境380包括具有分隔两个交通方向的中间墙的高速公路，每个方向中具有多条车道。
图5B的点云390对应于示例实施例，其中两个激光雷达设备各自捕获大约60度的水平FOR，并且其中两个能视域具有小的重叠392(例如，两个或三个重叠度)。例如，点云390可能已经使用图4A、4B的传感器头308A和308B生成。点云390虽然合并了来自多于一个传感器头(例如，传感器头308A和308B)的数据，但可以相对于公共原点和参考观察方向向每个点分配范围、方位角和倾斜角。在一些实施方式中，如上所述，重叠可能很大(例如，30-90°)，以允许与同一对象相对应的两组数据，但时间略有不同(例如，全帧扫描的一部分)。公共原点可以指定为多个传感器头的平均位置和中性观察方向，或任何其它方便的点和/或观察方向。虽然在图5B中被描绘为视觉图像，但应当理解，在一些实施例中，点云390实际上不需要经由用户界面来渲染或显示。
如图5B中所示，点云390将地平面394(此处为路面)描绘为多条基本连续的扫描线，并且还在地平面394上方描绘了多个对象396A-D。返回参考图1，成像系统100可以使用分割、分类和跟踪技术识别点云390内的一些或所有对象396A-D。例如，分割、分类和跟踪模块112可以检测地平面394的扫描线中的实质间隙和/或其它不连续性，并且将那些不连续性附近的点组识别为离散对象。分割、分类和跟踪模块112可以使用任何合适的规则、算法或模型来确定哪些点属于同一对象。一旦对象396A-D被识别，图1的分割、分类和跟踪模块112可以尝试跨类似于点云390的未来点云(即，跨多个点云帧)对对象进行分类和/或跟踪。
速度检测模块110可以与分割、分类和跟踪模块112协作来计算对象速度。然而，在一些实施方式中，速度检测模块110可以计算一个或多个对象速度的估计而不依赖于分割、分类和跟踪模块112对点云的处理。速度检测模块110可以使用在点云数据的子集上操作和/或相对于由分割、分类和跟踪模块112或动态对象检测器134使用的算法具有相对较低的复杂度的算法。因此，速度检测模块110可以确定对象速度比分割、分类和跟踪模块112或动态对象检测器134更快。因此，速度检测模块110可以给予参数调节模块136和/或运动规划器354附加的时间来调节传感器参数或响应于移动对象的载具运动。
在一些实施方式中，速度检测模块110可以基于激光雷达系统(例如，激光雷达系统200)的第一组扫描线和激光雷达系统的第二组扫描线来确定第一组特征和第二组特征。速度检测模块110可以使用当激光雷达在第一实例中横穿FOR时捕获的第一组扫描线；以及当激光雷达在紧接第一实例的第二实例中横穿FOR时捕获的第二组扫描线。在一些实施方式中，激光雷达的相同传感器头可以获取连续帧中的第一组扫描线和第二组扫描线。可以通过在相同方向中的扫描或在不同(例如，相反)方向中的扫描来获取连续帧。例如，激光雷达可以以相反的倾斜角和/或相反的方位角方向扫描连续帧。在其它实施方式中，在单个帧内重新扫描FOR的至少一部分的同一传感器头可以从同一帧获取第一组扫描线和第二组扫描线。FOR的重叠部分的重新扫描可以处于相同的扫描方向中和/或处于相反的倾斜角和/或方位角方向中。在任一种情况下，帧可以包括FOR的第一部分和与第一部分重叠的FOR的第二部分的扫描。第一组和第二组扫描线可以来自重叠或重新扫描区域。另外或可替代地，第一组和第二组线可以来自两个单独的传感器头的FOR的重叠区域。
图5B中的对象396A-D(即，与对象相关联的点)示出速度检测模块110可以从数据生成的各种特征。例如，扫描线中点位置的不连续性可指示对象的边缘。另一方面，扫描线中点的斜率的不连续性可指示对象的角。在一些实施方式中，扫描线中的最大曲率，特别是如果超过某个曲率阈值，同样可以指示对象的角。另一类型的特征可以是如被检测为由扫描线中的连续点形成的线段的中心的对象的平坦表面。速度检测模块110可以生成一组特征连同特征类型的相应指示(例如，角、边缘、平坦表面)。
图6示出示例扫描图案600，其中示例点610指示在激光雷达传感器(例如，激光雷达200、传感器头308A-E等)发射激光脉冲时瞬时观察方向的方位角和倾斜角。其它扫描成像传感器可以使用类似的扫描图案。扫描图案600可以由参数调节模块136响应于如由感知组件104(包括速度检测模块110或任何其它合适的模块)检测到的载具环境来调节。扫描图案600包括三个区域，其可指定为地平线区域620、道路区域630和天空区域640。具有相对于倾斜角的最大扫描线密度的地平线区域620(即，连续的扫描线之间的最小倾斜角差)可以对应于激光雷达的聚焦区域。道路区域630可具有比地平线区域620更低但比天空区域640更高的扫描线密度。各种其它扫描线密度是可能的，包括均匀的、随着一个或多个线密度最大值逐渐变化的、或其分段组合。
帧的扫描图案(例如，扫描图案600)可以包括与两个子帧相对应的两个部分，每个子帧对着FOR的对应部分。扫描图案的两个部分可以定义三个区域。第一区域可以仅包括扫描FOR的第一部分并且与第一子帧相对应的扫描线。第三区域可以仅包括扫描FOR的第二部分并且与第二子帧相对应的扫描线。第二区域可以包括扫描FOR的第一部分的一些扫描线和扫描与FOR的第一部分重叠的FOR的第二部分的一些扫描线。因此，第二区域可以被认为是由第一子帧的一部分和第二子帧的一部分覆盖的FOR的重叠区域。
在图6中，第一子帧可以包括全帧扫描的初始部分650。全帧扫描的过渡部分660可以重定向激光雷达的观察方向，以便允许扫描的另一部分670与初始部分650重叠。在一些实施方式中，激光雷达系统可以通过反转控制扫描器(例如，扫描器220)的反射镜的马达的驱动方向来重定向观察方向。在其它实施方式中，扫描器的反射镜可以具有这样的形状，当马达继续在一个方向中扫描时，该形状重定向激光雷达的观察方向。
在一些实施方式中，激光雷达系统可被配置以在扫描的过渡部分660期间不获取扫描线。在其它实施方式中，激光雷达系统可以被配置为在扫描的过渡部分660期间获取附加的扫描线。此外，激光雷达系统可对聚合FOR的任何部分或一组部分进行任何适当次数和任何适当方向的扫描，以获取覆盖聚合FOR的共享区域或部分的扫描线集的对。
通常，横穿对应FOR的任何两组扫描线(每个都是聚合FOR的一部分)可以横穿对应FOR的重叠部分。第一组扫描线可以横穿对应的FOR，并且因此，在第一实例中横穿FOR的重叠部分。第二组扫描线可以横穿对应的FOR，并且因此，在紧随第一实例的第二实例中(例如，用比扫描全FOR和生成帧所花费的时间更少的时间)横穿FOR的重叠部分。第一组扫描线和第二组扫描线可以在相同方向或相反方向中横穿对应的FOR(或聚合FOR的部分)。更一般地，每组扫描线可以在任何合适的方向中横穿FOR的对应的至少一部分。激光雷达系统可以通过从FOR部分的顶部到底部、从底部到顶部、从左到右、从右到左等扫描来获取一些扫描线。
参数调节模块136可以配置扫描图案、重新扫描部分和/或扫描的定时以促进为速度检测模块110获取合适的数据。相反地，参数调节模块136可以至少部分地响应于由速度检测模块110计算的速度来配置扫描。例如，由速度检测模块110检测移动对象可以帮助确定地平线的倾斜角，以及随后的扫描的地平线区域。
图7示出使用激光雷达系统(例如，激光雷达200)确定对象的速度的示例方法700。值得注意的是，该方法可以与不同类型的扫描成像传感器(例如，无源光学、热或雷达)一起使用。尽管激光雷达系统的任何一个或多个处理器可以执行实现方法700的一组指令，但是专用速度检测模块(例如，速度检测模块110)可以被配置为实现方法700。
在框710处，方法700可以包括使用由激光雷达系统(或另一成像传感器)分别在第一时间间隔和第二时间间隔期间收集的数据来确定对象的第一组特征和对象的第二组特征。第一组特征和第二组特征可以基于成像传感器的第一组扫描线和成像传感器的第二组扫描线。激光雷达系统可以获取第一组扫描线和第二组扫描线，如上文所讨论的，特别是参考图6。通常，当成像传感器在第一实例中横穿FOR时，可以捕获第一组扫描线，并且当成像传感器在紧接第一实例之后的第二实例中横穿FOR时，可以捕获第二组扫描线。如上所述，在第一实例和第二实例期间，根据扫描(和重新扫描)图案，激光雷达系统可以在相反方向中或在相同方向中横穿FOR的至少一部分。在任何情况下，第一组扫描线可以对应于或属于成像传感器的FOR的第一部分，并且第二组扫描线可以对应于或属于与FOR的第一部分部分重叠的FOR的第二部分。
方法700的框710可以在图8的上下文中理解。图8示出激光雷达系统可以在方法700的框710处确定的可能特征。在第一实例处，激光雷达系统可以检测在一个(即，第一)位置处的移动对象810a，并检测在另一个(即，第二)位置处的移动对象810b，其中对象810a和对象810b可以是在第一实例和第二实例之间的时间间隔中从第一位置移动到第二位置的同一对象。可以注意到，第一实例和第二实例可以是可以比与获取全帧相对应的时间段更短的合适时间段。
与扫描线820a和820b(即，第一组扫描线)的部分相关联的激光脉冲在第一实例处撞击在对象810a上，并且扫描线830a和830b(即，第二组扫描线)的部分在第二实例处撞击在对象810b上。扫描线820a、b和830a、b的部分各自包括对应的点集，其中每个点具有由激光雷达系统检测到的对应位置。在一些实施方式中，检测到的位置可以在激光雷达系统的参考系中。在其它实施方式中，检测到的位置可以在围绕激光雷达系统的静态环境的参考系或任何其它合适的参考系中。也就是说，激光雷达系统可以跟踪和补偿激光雷达系统的运动。
激光雷达系统可以基于第一组扫描线820a、b提取或生成一(即第一)组特征821-828，并且基于第二组扫描线830a、b提取或生成另一(即第二)组特征831-838。第一和第二组特征可以是基于在两个不同实例处获取的数据的任意两组特征，实例之间具有合适的间隔。
激光雷达系统可以通过检测扫描线中点位置的不连续性来生成特征以识别对象的边缘。激光雷达系统可以将如此检测到的特征标记为边缘特征。在图5B的示例中可以看到许多边缘特征。在图8中，激光雷达系统可以基于第一组扫描线820a、b生成边缘特征821、822、827和828。基于第二组线830a、b，激光雷达系统可以生成边缘特征831、832、837和838。
激光雷达系统可以通过检测扫描线中点的斜率的不连续性来生成特征以识别对象的边缘。激光雷达系统可以将由此检测到的特征标记为角特征。在图5B的示例中可以看到许多角特征。在图8中，激光雷达系统可以基于第一组扫描线820a、b生成角特征825和826。特征825和826左侧的扫描线820a、b中的点具有一个斜率，而特征825和826右侧的点具有不同的斜率。基于第二组线830a、b，激光雷达系统可以生成角特征835和836。特征835和836左侧的扫描线830a、b中的点具有一个斜率，并且特征835和836右侧的点具有不同的斜率。
激光雷达系统可以通过检测由扫描线中的连续点形成的线段的中心(例如，通过计算质心)来生成特征以识别对象的平坦表面。激光雷达系统可以将由此检测到的特征标记为平坦表面特征。在图5B的示例中可以看到许多平坦表面特征。在图8中，激光雷达系统可以基于第一组扫描线820a、b生成平坦表面特征823和824。基于第二组线830a、b，激光雷达系统可以生成平坦表面特征833和834。
如上所述，激光雷达系统可以基于生成对应特征的算法或程序来确定检测到的特征的类型。按类型对特征进行分类可以简化速度的确定，如下所述。对于每个生成的特征，激光雷达系统可以记录特征所属的集合(例如，第一、第二等)、特征的位置和特征的类型。此外，激光雷达系统可以计算与每个特征相关联的时间。由于第一时间实例和第二时间实例可以指对应的适当长度的时间间隔，所以每个生成的特征可以具有对应的时间戳，该时间戳具有高于与扫描线相关联的第一或第二实例的持续时间的精度。
返回到图7，方法700包括，在框720处，基于从第一组和第二组特征中成对选择的特征的空间位置差异来计算多个候选速度。在一些实施方式中，激光雷达系统可以计算与每对特征相对应的速度，其中一个特征来自第一组，而另一个特征来自第二组。可以在图9的上下文中考虑与特征对相对应的速度的计算。
图9是用于示出包括识别候选速度的方法700(框720)的部分的表900。每个候选速度可以是在x、y和/或z方向或任何其他合适的坐标系中具有分量的矢量。该方法不需要依赖于确定第一组821-828和第二组831-838中相同类型的特征之间的对应关系。相反，在一些实施方式中，该方法可以包括将第一组821-828中的每个特征与第二组831-838中的每个特征配对并且计算与每一对相对应的候选速度。激光雷达系统可以通过减去特征的位置并将位置差除以与特征相对应的时间差来计算一对特征的候选速度。在一些实施方式中，第一组或第二组中的特征的位置可以在计算速度之前被插值或以其它方式变换。
在为每个特征分配类型的实施方式中，系统可以使用相同类型的特征对来确定候选速度，同时忽略不同类型的特征对，如表900中的叉号所示。例如第一组的特征821、822、827和828可以是可以与第二组的边缘特征831、832、837和838配对的边缘特征。采用图8中标记的示例特征集，激光雷达系统可以形成十六对边缘特征并计算对应的速度。类似地，平坦表面特征823和824可以与表面特征833和834形成四对，并且角特征825和826可以与角特征835和836形成四对。对于每一对，激光雷达系统可以计算对应的速度。
因此，在一些实施方式中，第一组中的八个特征和第二组中的八个特征可以产生至多64个候选速度。在其它实施方式中，将成对计算限制在相似的特征上可显著减少候选速度的数量。在表900的情况下，可以计算24个候选速度。更一般地，如果第一组和第二组特征各自包括N个特征，并且指定了M个特征类型，则候选速度的数量范围可以从N2/M(特征在特征类型中的平均分布)到N2。在给定的集合中，可能存在10、20、50、100、200、500、1000、2000或任何其它合适数量的特征(包括列表中的特征之间的数字)。另外需要注意的是，第一组和第二组中的特征编号可以不同，并且对应的表不需要形成方阵。
为了简化图9中的图示，表的对角线元素中的候选速度基于在两个不同时间的基本上对应的特征对(即，表示对象810a、b上基本上相同的位置或点的特征)。因此，由于测量噪声，沿对角线的候选速度可能有很大差异。通常，两组中的特征数量可能不同。对应或几乎对应的特征对的候选速度可能不位于表示特征对的表的对角线上。然而，如果有足够数量的对象特征，至少有一些可能是对应的对。无论它们位于表中的何处，基于对象(例如，810a、b)的对应特征对计算的候选速度在值上基本上相似，前提是该对象基本上不旋转。另一方面，基于代表对象上显著不同点的特征对的候选速度可能在值上分布更广泛。激光雷达系统可以通过分析候选速度分布来估计一个或多个对象速度，如下面更详细讨论的。
返回到图7，在框730处，方法700可以包括基于多个候选速度(例如，表900中的候选速度)的分布计算一个或多个对象速度(例如，对象810a、b在两个实例之间的速度)。可以在图10的上下文中讨论基于候选速度分布的对象速度的计算。
图10将候选速度的x分量和y分量的分布图示为散点图1000。在一些实施方式中，第三分量可以是分析的一部分。在其它实施方式中，可以省略z分量。在任何情况下，限制为两个速度分量都会简化说明。示例候选速度1010可以基于可能是相同类型的两个特征(例如，图8中的特征828和831)之间的比较。候选速度的集群1020和1030可以基于成对的对应特征(与对象上的基本上相同点相关联的特征)，诸如图9的表900的对角线元素中的候选速度。
计算对象(例如，对象810a、b)的速度可以包括识别候选速度分布中的模式。对于连续分布，确定模式可以指估计对获得的数据建模的分布函数中的局部最大值。在图10的示例中，识别候选速度分布的模式可以包括识别表示集群1020的速度。激光雷达系统可以识别具有表示集群1030的速度的另一模式。
在一些实施方式中，确定模式可以包括对候选速度进行分区，每个区间对应于候选速度的相应范围。在图10中，区间由虚线描绘。确定模式可以进一步包括确定多个候选速度中有多少属于多个区间中的每一个。例如，零个候选速度属于区间1040，而两个候选速度属于区间1050。集群1020中的大多数速度属于同一区间。同样，集群1030中的大多数速度属于另一个区间。
在一些实施方式中，确定一种或多种模式可以包括从多个区间中选择一个或多个区间的子集，多于阈值数量的候选速度属于该子集。例如，如果阈值是一个区间中的四个速度，则区间的子集可以包括包含集群1020和1030的区间。该阈值可以至少部分地基于任何一个区间中的候选速度的最大数量。例如，激光雷达系统可以将阈值设定为最大区间计数的分数(例如，0.3、0.5、0.7等)。确定模式可以包括使用所选区间的子集来确定对象的速度。当多个区间中只有一个区间具有高于阈值数量的候选速度计数时，该方法可以包括通过对一个区间内的候选速度求平均来计算对象的速度。例如，可以对平均值进行加权，以支持朝向集群中心的速度。在一些场景中，候选速度的集群可占据(即，部分地属于)多个区间。在此类场景中，当多个区间中的两个或更多个相邻区间具有高于阈值的计数时，该方法可以包括通过对两个或更多个相邻区间内的候选速度求平均来计算对象的速度。如上所述，平均值可以被加权。
在一些实施方式中，确定模式的方法不需要包括分区过程。例如，确定候选速度分布中的模式可以包括使用一种或多种聚类算法对候选速度进行聚类。在其它实施方式中，可以通过分析(例如，寻找最小值)候选速度的分布来找到一种或多种模式。另外或可替代地，涉及与连续内核的卷积和在网格上重新采样的重新网格化过程可以产生分布函数的离散估计以供进一步分析。
在一些实施方式或场景中，候选速度分布可以包括多种模式。实现该方法的系统然后可以确定多个模式是否与单个对象或多个对象的特征相关联。在前一种情况下，系统可以使用多种模式计算对象的线速度和对象的旋转速度。更具体地，激光雷达系统可以识别候选速度分布中的第一模式和第二模式并且至少部分地基于所识别的第一模式和第二模式来计算对象的速度(即，线速度)和旋转速度。系统可以通过对与同一对象相关联的两种速度模式求平均来计算线速度，并将旋转速度计算为两种速度模式之间的差值除以与两种速度模式相关联的特征之间的估计分离距离。
在一些场景中，多个候选速度模式可以与不同的对象相关联。因此，实现方法700的系统可以识别候选速度分布中的第一模式和第二模式，并且响应于第一模式和第二模式的差异大于特定阈值量来确定该模式对应于两个单独的对象。另外或可替代地，区分对象可以至少部分地基于与第一和第二速度模式相关联的特征之间的一个或多个距离。例如，方法700可以包括识别候选速度分布中的第一模式和第二模式，并且响应于第一模式和第二模式的差异大于特定阈值量来确定对象包括两个单独的对象。
用于实现上述方法的系统可以配置为在第一时间间隔和第二时间间隔之间具有合适的时间差，以便于准确确定对象速度。具体地，当第一时间间隔和第二时间间隔之间的时间差太小时，第一组和第二组中与对象的基本相似部分相对应的一对特征之间的空间偏移可能太小而无法准确地确定速度。例如，如果位置测量不确定性为1cm，并且两个对应特征之间的位置偏移为2cm，则所得的候选速度估计可能不准确。例如，将两个时间间隔之间的时间差增加10倍，可能会将位置偏移增加到20cm，这显著高于不确定性并导致更准确的速度估计。另一方面，当位置偏移太大(例如，2、5、10、20m)时，取决于对象在FOR内的位置，成像传感器在对象上的透视变化可减少许多对应的特征，并且因此降低估计速度的准确性。
在具有扫描成像传感器的一些实施方式中，系统可以被配置成具有用于获得具有合适时间差的第一组和第二组特征的扫描图案，如上所述。例如，激光雷达系统的扫描可以被配置为在向下的光栅中扫描FOR的一部分，并且然后向上重定向光束并在完成扫描FOR的其余部分之前重新扫描先前扫描的部分。在某种意义上，FOR的一部分可以在所谓的单个帧中被扫描两次(或更多次)。该系统可以被配置为使用马达控制、扫描镜形状的调节或适当的技术组合来执行具有重叠区域的FOR扫描。可替代地，可以在每一帧中在均匀方向中扫描FOR，并且可以调节帧率以便提高确定对象速度的准确性。在任何情况下，系统可以调节扫描图案以控制在速度确定中使用的第一组特征和第二组特征之间的时间差。
一般注意事项
在一些情况下，计算设备可用于实现本文公开的各种模块、电路、系统、方法或算法步骤。作为示例，本文公开的模块、电路、系统、方法或算法的全部或部分可以由通用单芯片或多芯片处理器、数字信号处理器(DSP)、ASIC、FPGA、任何其它合适的可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何合适的组合实现或执行。通用处理器可以是微处理器，或者任何传统的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合(例如DSP和微处理器的组合)、多个微处理器、与DSP核结合的一个或多个微处理器、或者任何其它此类配置。
在特定实施例中，本文描述的主题的一个或多个实施方式可以被实现为一个或多个计算机程序(例如，编码或存储在计算机可读非暂态存储介质上的计算机程序指令的一个或多个模块)。作为示例，本文公开的方法或算法的步骤可以在可以驻留在计算机可读非暂态存储介质上的处理器可执行软件模块中实现。在特定实施例中，计算机可读非暂态存储介质可包括可用于存储或传输计算机软件并且可由计算机系统访问的任何合适的存储介质。在此，计算机可读非暂态存储介质或媒介可以包括一个或多个基于半导体的或其它集成电路(IC)(诸如例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘(例如，压缩光盘(CD)、CD-ROM、数字多功能光盘(DVD)、蓝光光盘或激光光盘)、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、闪存、固态驱动器(SSD)、RAM、RAM驱动器、ROM、安全数字卡或驱动器、任何其它合适的计算机可读非暂态存储介质、或这些中的两个或更多个的任何合适组合(在适当情况下)。在适当的情况下，计算机可读非暂态存储介质可以是易失性、非易失性或易失性和非易失性的组合。
在一些情况下，本文在单独实施方式的上下文中描述的某些特征也可以组合并在单个实施方式中实现。相反，在单个实施方式的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施方式中实现。此外，虽然特征可以在上面描述为以某些组合起作用并且本身甚至最初要求保护，但在一些情况下，要求保护的组合中的一个或多个特征可以从组合中删除，并且要求保护的组合可以针对子组合或子组合的变体。
虽然在附图中可以将操作描述为以特定顺序发生，但这不应被理解为要求以所示的特定次序或顺序执行此类操作，或者要求执行所有操作。此外，附图可以以流程图或序列图的形式示意性地描绘一个或多个示例过程或方法。然而，未描绘的其它操作可并入示意性示出的示例过程或方法中。例如，一个或多个附加操作可以在任何所示操作之前、之后、同时或之间执行。此外，在适当的情况下，可以重复图中描绘的一个或多个操作。此外，图中描绘的操作可以以任何合适的顺序执行。此外，虽然特定组件、设备或系统在本文中被描述为执行特定操作，但是任何合适的组件、设备或系统的任何合适的组合可用于执行任何合适的操作或操作的组合。在某些情况下，可以执行多任务或并行处理操作。此外，本文描述的实施方式中各个系统部件的分离不应理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序部件和系统可以一起集成在单个软件产品中或打包成多个软件产品。
已经结合附图描述了各种实施方式。然而，应当理解，这些图不一定按比例绘制。作为示例，图中描绘的距离或角度是说明性的并且可能不一定与所示设备的实际尺寸或布局具有精确关系。
本公开的范围包括本领域普通技术人员将理解的对在此描述或示出的示例实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于本文描述或示出的示例实施例。此外，尽管本公开将本文中的各个实施例描述或示出为包括特定组件、元件、功能、操作或步骤，但是这些实施例中的任何一个实施例可包括本领域普通技术人员将理解的本文任何地方描述或示出的任何组件、元件、功能、操作或步骤的任何组合或排列。
如本文所使用的，术语“或”应被解释为包括或意指任何一个或任何组合，除非另有明确说明或上下文另有说明。因此，在本文中，表述“A或B”是指“A、B或A和B二者”。作为另一示例，在本文中，“A、B或C”是指以下中的至少一个：A；B；C；A和B；A和C；B和C；A、B和C。如果元素、设备、步骤或操作的组合在某些方面本质上是相互排斥的，则会出现此定义的例外。
如本文所使用的，诸如但不限于“约”、“基本上”或“大约”的近似词是指这样一种条件，当如此修改时被理解为不一定是绝对的或完美的，但将被认为对本领域普通技术人员而言足够接近，以保证将所述条件指定为存在。描述可以变化的程度将取决于可以进行多大的改变，并且本领域的普通技术人员仍然认识到修改的特征具有未修改的特征期望的特性或能力。一般而言，但以前述讨论为前提，本文中通过诸如“约”的近似词修饰的数值可以与所述值相差±0.5％、±1％、±2％、±3％、±4％、±5％、±10％、±12％或±15％。
如本文所使用的，术语“第一”、“第二”、“第三”等可用作它们前面的名词的标签，并且这些术语可能不一定暗示特定排序(例如，特定空间、时间或逻辑顺序)。作为示例，系统可以被描述为确定“第一结果”和“第二结果”，并且术语“第一”和“第二”可能不一定暗示在第二结果之前确定第一结果。
如本文所使用的，术语“基于”和“至少部分地基于”可用于描述或呈现影响确定的一个或多个因素，并且这些术语可能不排除可能影响确定的附加因素。确定可以仅基于所呈现的那些因素或者可以至少部分地基于那些因素。短语“基于B确定A”表示B是影响A的确定的因素。在一些情况下，其它因素也可能有助于确定A。在其它情况下，A可能仅基于B确定。

Claims (20)

1.一种使用成像传感器确定对象速度的方法，所述方法包括：
由一个或多个处理器分别使用由所述成像传感器在第一时间间隔和第二时间间隔期间收集的数据来确定所述对象的第一组特征和所述对象的第二组特征；
由所述一个或多个处理器基于从所述第一组和所述第二组中成对选择的特征的空间位置差异计算多个候选速度；以及
由所述一个或多个处理器基于所述多个候选速度的分布计算所述对象的速度。
2.根据权利要求1所述的方法，其中，生成所述第一组特征和所述第二组特征是基于所述成像传感器的第一组扫描线和所述成像传感器的第二组扫描线。
3.根据权利要求2所述的方法，其中，所述成像传感器是激光雷达传感器。
4.根据权利要求2所述的方法，其中：
当所述成像传感器在第一实例中横穿能视域时，捕获所述第一组扫描线；以及
当所述成像传感器在紧接所述第一实例的第二实例中横穿所述能视域时，捕获所述第二组扫描线。
5.根据权利要求4所述的方法，其中，在所述第一实例和所述第二实例中，所述成像传感器在相反方向中横穿所述能视域。
6.根据权利要求2所述的方法，其中：
所述第一组扫描线对应于所述成像传感器的能视域的第一部分；以及
所述第二组扫描线属于与所述能视域的所述第一部分部分重叠的所述能视域的第二部分。
7.根据权利要求1所述的方法，其中，生成所述第一组特征或所述第二组特征中的特征包括：
检测扫描线中点位置的不连续性以识别所述对象的边缘。
8.根据权利要求1所述的方法，其中，生成所述第一组特征或所述第二组特征中的特征包括：
检测扫描线中点的斜率的不连续性以识别所述对象的角。
9.根据权利要求1所述的方法，其中，生成所述第一组特征或所述第二组特征中的特征包括：
检测由扫描线中的连续点形成的线段的中心以识别所述对象的平坦表面。
10.根据权利要求1所述的方法，其中：
生成所述第一组特征和所述第二组特征包括确定所述特征中每个特征的类型；以及
计算所述多个候选速度包括将成对比较限制为相同类型的特征。
11.根据权利要求1所述的方法，其中，计算所述对象的速度包括：
确定所述多个候选速度的所述分布中的模式。
12.根据权利要求11所述的方法，其中，确定所述候选速度的所述分布中的所述模式包括：
确定所述多个候选速度中有多少属于多个区间中的每个区间，每个区间对应于相应的范围；
从所述多个区间中选择一个或多个区间的子集，超过阈值数量的候选速度属于所述子集；以及
使用所选择的子集确定所述对象的速度。
13.根据权利要求12所述的方法，其中：
当所述多个区间中只有一个区间具有高于所述阈值数量的候选速度计数时，所述方法进一步包括：
通过平均所述一个区间内的所述候选速度来计算所述对象的速度。
14.根据权利要求12所述的方法，其中：
当所述多个区间中的两个或更多个相邻区间具有高于所述阈值的计数时，所述方法进一步包括：
通过平均所述两个或更多个相邻区间内的所述候选速度来计算所述对象的速度。
15.根据权利要求1所述的方法，其中，确定所述候选速度的所述分布中的模式包括对所述候选速度进行聚类。
16.根据权利要求1所述的方法，进一步包括：
识别所述候选速度的所述分布中的第一模式和第二模式；以及
至少部分地基于所述第一模式和所述第二模式来计算所述对象的速度和所述对象的旋转速度。
17.根据权利要求1所述的方法，进一步包括：
识别所述候选速度的所述分布中的第一模式和第二模式；以及
响应于所述第一模式和所述第二模式的差异大于特定阈值量，确定所述对象包括两个单独的对象。
18.一种成像系统，其被配置为：
由一个或多个处理器分别使用由所述成像传感器在第一时间间隔和第二时间间隔期间收集的数据来确定所述对象的第一组特征和所述对象的第二组特征；
由所述一个或多个处理器基于从所述第一组和所述第二组中成对选择的特征的空间位置差异计算多个候选速度；以及
由所述一个或多个处理器基于所述多个候选速度的所述分布计算所述对象的速度。
19.根据权利要求18所述的成像系统，其中，所述成像系统是激光雷达系统，并且生成所述第一组特征和所述第二组特征是基于所述激光雷达的第一组扫描线和所述激光雷达的第二组扫描线。
20.根据权利要求19所述的成像系统，其中，所述激光雷达系统被配置为通过在获得单个帧的过程中重新扫描所述激光雷达的能视域的至少一部分来获得所述第一组扫描线和所述第二组扫描线。
CN202180082000.9A 2020-10-07 2021-09-30 采用扫描激光雷达系统确定速度 Pending CN116583761A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/065,011 US20220107414A1 (en) 2020-10-07 2020-10-07 Velocity determination with a scanned lidar system
US17/065011 2020-10-07
PCT/US2021/052883 WO2022076242A2 (en) 2020-10-07 2021-09-30 Velocity determination with a scanned lidar system

Publications (1)

Publication Number Publication Date
CN116583761A true CN116583761A (zh) 2023-08-11

Family

ID=80931269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180082000.9A Pending CN116583761A (zh) 2020-10-07 2021-09-30 采用扫描激光雷达系统确定速度

Country Status (3)

Country Link
US (1) US20220107414A1 (zh)
CN (1) CN116583761A (zh)
WO (1) WO2022076242A2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021199606A1 (zh) * 2020-03-31 2021-10-07
US11885886B2 (en) * 2020-10-23 2024-01-30 Ford Global Technologies, Llc Systems and methods for camera-LiDAR fused object detection with LiDAR-to-image detection matching
US11733346B2 (en) * 2021-02-24 2023-08-22 Qualcomm Incorporated Assistance information to aid with cooperative radar sensing with imperfect synchronization
US20230098223A1 (en) * 2021-09-27 2023-03-30 Argo AI, LLC Systems and method for lidar grid velocity estimation
US20230278593A1 (en) * 2022-03-01 2023-09-07 Mitsubishi Electric Research Laboratories, Inc. System and Method for Parking an Autonomous Ego-Vehicle in a Dynamic Environment of a Parking Area
US11906623B1 (en) * 2023-01-25 2024-02-20 Plusai, Inc. Velocity estimation using light detection and ranging (LIDAR) system
FR3146523A1 (fr) * 2023-03-08 2024-09-13 Continental Autonomous Mobility Germany GmbH Procédé d’estimation de la vitesse d’un véhicule

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925901B2 (en) * 2007-03-15 2011-04-12 International Business Machines Corporation Method and system for estimating processor utilization from power measurements
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
DE112016006262B4 (de) * 2016-01-20 2023-05-04 Mitsubishi Electric Corporation Dreidimensionaler Scanner und Verarbeitungsverfahren zur Messunterstützung für diesen
US10553110B2 (en) * 2017-06-23 2020-02-04 Here Global B.V. Detection and estimation of variable speed signs
US11415676B2 (en) * 2017-10-09 2022-08-16 Luminar, Llc Interlaced scan patterns for lidar system
US10539665B1 (en) * 2018-08-06 2020-01-21 Luminar Technologies, Inc. Determining distortion by tracking objects across successive frames

Also Published As

Publication number Publication date
US20220107414A1 (en) 2022-04-07
WO2022076242A2 (en) 2022-04-14
WO2022076242A3 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US10514462B2 (en) Training a machine learning based model of a vehicle perception component based on sensor settings
CN116583761A (zh) 采用扫描激光雷达系统确定速度
US11551547B2 (en) Lane detection and tracking techniques for imaging systems
US11391842B2 (en) Adaptive scan pattern with virtual horizon estimation
US20230152458A1 (en) Lidar System with Gyroscope-Aided Focus Steering
WO2022132451A1 (en) Generating lidar scan patterns using reinforcement machine learning
US20230152466A1 (en) Lidar System with Scene Dependent Focus Intensity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination