CN114761298A - 使用传感器数据进行高度估计 - Google Patents

使用传感器数据进行高度估计 Download PDF

Info

Publication number
CN114761298A
CN114761298A CN202080082470.0A CN202080082470A CN114761298A CN 114761298 A CN114761298 A CN 114761298A CN 202080082470 A CN202080082470 A CN 202080082470A CN 114761298 A CN114761298 A CN 114761298A
Authority
CN
China
Prior art keywords
data
distance
height
sensor
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080082470.0A
Other languages
English (en)
Inventor
王闯
Y·谢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoox Inc filed Critical Zoox Inc
Publication of CN114761298A publication Critical patent/CN114761298A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/60—Traversable objects, e.g. speed bumps or curbs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本文讨论了用于估计环境中的物体的高度范围的技术。例如，传感器，诸如激光雷达传感器，可以捕获环境的三维数据。传感器数据可以与二维表示相关联。地面可以从传感器数据中去除，聚类技术可以用于对二维表示中提供的剩余传感器数据进行聚类，以确定其中表示的物体。传感器物体的高度可以基于与该物体相关联的传感器数据的范围表示为第一高度，也可以基于传感器数据和/或与其他物体相关联的传感器数据的波束扩散方面表示为第二高度。因此，物体的最小和/或最大高度可以以稳健的方式确定。这种高度范围可以用于控制自主交通工具。

Description

使用传感器数据进行高度估计
相关专利申请的引用
本申请请求2019年11月27日提交的第16/698055号美国实用专利申请的权益。第16/698055号申请通过引用完全并入本文。
技术背景
交通工具可以使用传感器来捕获传感器数据以检测环境中的物体。对物体特征的准确判断可以帮助，例如，自主交通工具穿越环境。
附图说明
详细描述是参照附图进行的。在图中，附图标记的最左边的数字标识出附图标记首次出现的图。在不同的图中使用相同的附图标记表示类似或相同的部件或特征。
图1是估计物体的高度的示例过程的图解流程图。
图2是用于聚类数据以确定物体数据的示例过程的展示。
图3A-3D展示用于估计与传感器数据相关联的高度的各种方案。
图4是用于实施本文所述技术的示例系统的框图。
图5是用于基于传感器数据估计与物体相关联的高度的示例过程。
图6是用于基于与物体数据相关联的上限和下限确定物体的高度的示例过程。
具体实施方式
本文讨论了用于估计环境中的物体的大小的技术。例如，传感器，诸如激光雷达传感器，可以捕获环境的三维数据。三维传感器数据可以与二维数据表示相关联，以便进一步处理。例如，激光雷达数据可以基于方位角仓和光束指数与二维数据表示相关联。地面可以从二维数据表示中去除，聚类技术可以用于聚类传感器数据，以确定在传感器数据中表示的物体。物体的第一高度可以估计或以其他方式基于与物体相关联的传感器数据的竖直范围来确定。物体的第二高度可以基于从物体的顶部到与上部激光雷达波束相关联的射线的第一竖直距离或从物体的底部到与下部激光雷达波束或地表相关联的射线的第二竖直距离来估计或确定。因此，物体的最小和/或最大高度可以以稳健的方式确定。
在一些示例中，本文讨论的技术可以在交通工具上实施，该交通工具包括用于控制交通工具的主系统和在交通工具上运行以验证主系统的运行并控制交通工具避开碰撞的辅助系统。例如，这些技术可以在辅助系统中实施，以检测环境中的物体，并验证该系统准确地检测最小和/或最大高度的物体。
本文讨论的技术可以包括捕获或接收环境的传感器数据，诸如来自激光雷达传感器的激光雷达数据。为了减少用于处理的数据量，这些技术可以包括接收与可驾驶区域相关联的走廊的指示或以其他方式确定该走廊中表示的地面。走廊外的数据或与地面相关联的数据可以被移除或丢弃，从而产生由非地表激光雷达回波组成的数据集。
在一些示例中，激光雷达数据可以在去除地面之前或之后与二维数据表示相关联。二维数据表示(也被称为二维表示或二维空间)可以表示激光雷达数据，其第一维度表示方位角仓，第二维度表示光束指数。例如，旋转的激光雷达可以包括扫描360度的环境。二维空间的第一维度可以离散成方位角仓(也称为仓)，其中可以包括5度、8度、10度、18度、36度等。二维空间的第二维度可以离散为光束指数，诸如32、64、100、128等单个光束指数(也称为通道)。
在二维空间中表示的数据可以被聚类，以确定数据中表示的物体。这些技术可以包括确定最接近与激光雷达传感器相关联的位置的非地表数据点。也就是说，每个数据点可以与环境中的物体和与激光雷达传感器相关联的位置(诸如原点)之间的距离或范围相关联。在一些示例中，二维空间(或光束指数内)的数据可以在数据结构中按范围排序，以便有效地进行数据查找。
在一些示例中，如本文所讨论的，聚类技术可以在第一时间在光束指数内应用，然后在第一时间之后的第二时间跨光束指数应用。
在确定走廊中最近的非地表数据点(例如，第一点)之后，该技术可以包括确定到二维空间中下一个最近的点(例如，第二点)的距离。例如，该距离可以被确定为环境中的三维距离。如果距离低于阈值，则第一点和第二点可以被聚类以表示同物体。对于每个附加的数据点，相对于第一点，可以重复聚类。接下来，对于每个附加的数据点，相对于第二点，可以重复聚类。例如，可以确定第二点和第三点之间的距离，如果该距离低于阈值距离，则第三点可以与该物体相关联。与同一物体相关联的数据可称为物体数据。
在对同一光束指数内的数据进行聚类后，可以对二维空间的其他数据执行技术。例如，这些技术可以用相同或不同的方位角仓和/或不同的光束指数来执行。聚类的其他方面将在本公开内容中讨论。
技术还包括估计或以其他方式确定与物体数据相关联的高度(和/或高度范围)。在一些示例中，第一高度(例如，高度范围的下限)可以基于与物体数据相关联的竖直距离来确定。例如，光束之间的竖直距离可以至少部分地基于物体数据和与激光雷达传感器相关联的位置或原点之间的范围。也就是说，激光雷达波束的竖直分布可以是物体数据和激光雷达传感器之间距离的函数。例如，在第一距离(例如，5米)，激光雷达波束之间的竖直距离可能是第一竖直距离(例如，3厘米)。在第二距离(例如，10米)，激光雷达波束之间的竖直距离可能是第二竖直距离(例如，6厘米)。因此，物体的第一高度可以至少部分地基于与该物体相关联的光束数量来确定。在一些示例中，物体的高度可以基于三维距离，该三维距离基于数据的X、Y和Z坐标确定。
然而，由于激光雷达传感器的竖直分辨率可能有一些限制，捕获的物体数据可能无法准确地表示环境中的物体的高度。因此，该技术可以包括估计或以其他方式基于物体数据和较高或较低的传感器数据束之间的距离来确定第二高度(例如，高度范围的上限)。例如，物体的第二高度可以估计或以其他方式基于从物体的顶部到与上部激光雷达波束相关联的射线的第一竖直距离或从物体的底部到与下部激光雷达波束或地表相关联的射线的第二竖直距离来确定。估计或以其他方式确定物体的高度的其他方面在整个公开内容中都有讨论。
在一些示例中，交通工具的感知系统可以基于物体的估计尺寸来过滤物体。在一些示例中，可以基于物体的大小高于阈值来控制交通工具。例如，低于阈值的物体可以被过滤或忽略，用于规划目的(或其他操作)。在另一个示例中，高于阈值的物体可被考虑用于规划目的(或其他操作)。控制交通工具的示例操作可包括但不限于安全停车、紧急停车、确定轨迹以避开物体、确定轨迹以避开物体的预测位置等。基于物体的高度的其他操作可以包括分类操作、预测操作等。
本文所述的高度估计技术可以通过提供一种估计或以其他方式确定环境中的物体的高度的稳健方法来改善计算设备的功能。例如，高度数据可以使诸如分类、跟踪、预测、路线规划、轨迹生成等后续过程更准确地执行，可能需要更少的处理能力，和/或可能需要更少的内存。例如，在某些情况下，更快和/或更准确的分割(例如，使用本文讨论的聚类技术)可以用于生成自主交通工具的轨迹，这可以提高自主交通工具乘员的安全性。在一些示例中，这些技术可以用于主/辅助计算系统架构的辅助计算系统，这允许冗余系统大大改善整体可靠性和安全结果。此外，本文讨论的技术可以被纳入可以验证安全的系统中。本文讨论了这些和其他对计算机运作的改进。
本文描述的技术可以通过多种方式实施。下面参照以下数字提供示例实施方案。虽然是在自主交通工具的背景下讨论的，但这里描述的方法、装置和系统可以应用于各种系统(例如，传感器系统或机器人平台)，并且不限于自主交通工具。在一个示例中，类似的技术可以在驾驶员控制的交通工具中使用，这种系统可以提供执行各种机动动作是否安全的指示。在另一个示例中，这些技术可以在制造装配线的背景下，在空中测量的背景下，或在航海的背景下使用。此外，本文所描述的技术可以用于真实数据(例如，使用传感器捕获)、模拟数据(例如，由模拟器生成)，或两者的任何组合。
图1是估计物体的高度的示例过程100的图解流程图。
操作102可以包括接收环境的传感器数据。例如，操作102可以包括接收表示环境104的激光雷达数据。环境104可以包括地表106和物体108。在一些示例中，操作102可以包括从多个传感器(例如，多个激光雷达传感器)接收传感器数据，并将数据融合或以其他方式组合成单一的点云(例如，已校准和对齐的数据集)。在一些示例中，操作102在自主交通工具穿越环境104时可以由自主交通工具执行。
操作110可以包括删除环境104中的地表数据。例如，可以删除地表数据(例如，表示地表106)，以减少数据量和/或提高后续操作的准确性。此外，操作110可以包括确定与自主交通工具的轨迹相关联的走廊112。例如，操作110可以至少部分地基于交通工具的宽度和/或长度、交通工具的当前速度和/或与轨迹相关联的速度等来确定走廊。
关于删除地表数据，操作110可以包括将传感器数据的子集(与走廊相关)分类为属于地表分类或物体分类。地表分类可以将传感器数据识别为与道路和/或其他环境表面相关，而物体分类可以包括不是地表的任何其他物体。在一些示例中，本文讨论的技术可以简单地将传感器数据分类为地表或物体，而不进一步确定物体的类型。
操作110可包括可改善(例如，减少)与将传感器数据分类为地表或物体相关联的假阴性和/或假阳性率的技术。在一些示例中，这些技术可以包括估计直线和/或平面，以模拟道路表面的轮廓(例如，道路高度轮廓)，特别是对于可能包括一个或多个等级变化(例如，道路表面的坡度)的复杂道路。这些地表拟合技术可以包括确定与地表相关联的样条(例如，一个或多个多项式，贝塞尔曲线)，至少部分地基于确定样条(spline)的控制点和结点的数量，该控制点和结点至少部分地基于包括有效返回的传感器数据的数量或百分比。在一些示例中，当传感器数据对环境的一部分来说是稀疏的时，所确定的样条可能是不准确的。这些技术可以附加地或备选地包括在生成样条之前对传感器数据进行加权(例如，通过对最低和/或最高(海拔)传感器数据点进行最小二乘回归加权)，至少部分地基于传感器数据改变与一个或多个控制点相关联的高度值(例如，序数)作为拟合后操作，和/或改变结点的间距作为拟合后操作。在一些示例中，确定样条可以包括至少部分地基于回归算法(例如，最小二乘法)确定控制点和/或结点(knot)的值。例如，识别地表数据的其他示例可以在2019年9月30日提交的题为“Complex Ground Profile Estimation”的美国专利申请第16/588717号中找到，其全部内容在此通过引用并入。
操作114可以包括对数据进行聚类以确定物体。示例116展示基于数据点之间的距离对在二维数据表示中表示的数据进行聚类。例如，二维数据表示118可以包括第一维度表示仓120、122、124和126。这样的仓120-126可以表示本文讨论的方位角仓。此外，二维数据表示118可以包括表示通道130、132、134和136的第二维度。在一些示例中，通道130-136可以表示光束指数，如本文所讨论的。在一些示例中，通道的数量可以至少部分地基于与激光雷达传感器相关联的波束或通道的数量。
在一些示例中，操作102或114可以包括将传感器数据与二维数据表示118相关联。例如，操作可以包括将三维数据与二维数据表示118相关联。
如图所示，二维数据表示118包括数据点138、140、142、144、146、148、150和152。
聚类操作(例如，操作114)可以用于确定物体数据154，表示数据点138、140、142、146和148。物体数据154可以表示环境104中的物体108。一般来说，聚类可以至少部分地基于二维数据表示118中的数据点之间的距离。例如，数据点138和140被包括在物体数据154中，因为数据点138和140之间的距离低于阈值距离。此外，数据点144不被包括在物体数据154中，因为数据点142(与物体数据154相关联的数据点)和数据点144之间的距离高于阈值距离。关于聚类数据的其他细节将结合图2以及整个本公开内容进行讨论。
操作156可以包括估计(或以其他方式确定)物体的高度。示例158展示确定与物体数据154相关联的第一高度160和与物体数据154相关联的第二高度162。示例158表示在示例116中表示的数据的侧面轮廓，以更好地展示由激光雷达传感器164捕获的激光雷达数据之间的范围或深度信息。示例158包括附加的数据点166和168(用于展示各种数据操作，如本文所讨论的)。
第一高度160可以基于与物体数据154相关联的数据的竖直范围来确定。例如，第一高度可以基于与数据点138、146和148相关联的竖直高度来确定。在一些示例中，第一高度可以至少部分地基于一些(例如，最低的数据点148和最高的数据点146)或所有的数据点(例如，数据点138、140、142、146和148)。
第二高度162可以估计或以其他方式基于从物体的顶部(例如，由数据点146表示)到与数据点(例如，数据点166)相关联的上部激光雷达波束相关联的射线的第一竖直距离或从物体的底部(例如，由数据点148表示)到与数据点(例如，数据点152)或地表相关联的下部激光雷达波束相关联的射线的第二竖直距离来确定。
在一些示例中，可以为与物体相关联的每个仓确定第一高度和/或第二高度，而在一些情况下，可以为物体整体确定第一高度和/或第二高度。也就是说，可以为与仓120相关联的物体数据确定第一和第二高度，可以为与仓122相关联的物体数据确定第一和第二高度，以及可以为与仓124相关联的物体数据确定第一和第二高度。在一些情况下，第一和第二高度可以为物体数据154整体确定(例如，基于所有数据点138、140、142、146和148，或基于与物体数据相关联的最低和最高数据点(例如，分别为数据点148和146))。
确定与物体数据154相关联的高度和/或高度范围的附加方面在图3A-3D中讨论，以及在本公开内容中讨论。
图2是用于聚类数据以确定物体数据的示例过程200的展示。过程200包括展示各种处理状态的示例202、204和206。
示例202展示在二维数据表示118中表示的传感器数据。在一些示例中，聚类技术可以包括确定最接近与捕获数据的传感器有关的位置的数据点。例如，数据点138表示离捕获数据点138的激光雷达传感器(例如，激光雷达传感器164)最近的激光雷达数据点。在一些示例中，确定数据点138是最近的点包括将数据点与物体208相关联。在一些示例中，二维数据表示118可以按范围对数据值进行排序，在这种情况下，选择离激光雷达传感器最近的数据点可以包括访问数据值阵列中的第一数据值。
在一些示例中，如果二维数据表示的区域(也被称为数据单元或单元)被确定为与物体(例如，物体208)相关联，则与该区域相关联的所有数据点可以与物体208相关联。在这种情况下，由于与仓122和通道134相关联的区域包括数据点138和140，这两个数据点可以与物体208相关联。
在一些示例中，数据单元内的数据点可以基于与锚点或初始点(例如，数据点138)的距离进行聚类。例如，可以确定数据点138和数据点140之间的距离210。如果距离210低于阈值距离，则数据点140可以与物体208相关联。在示例202中，与仓122和通道134相关联的数据单元相关联的粗黑线表明该数据单元与物体208相关联。
示例204展示对通道134内的数据点进行的操作。例如，聚类可以包括确定数据点138和数据点142之间的距离212。由于在这个示例中距离212低于距离阈值，数据点142可以与物体214相关联。如上所述，在一些示例中，如果数据单元中的单个数据点与物体相关联，则与该数据单元相关联的一些或所有数据点可能与同物体相关联。
接下来，可以确定数据点142和数据点144之间的距离216。在这个示例中，距离216高于阈值距离，因此数据点144与物体214没有关联。
如本文所讨论的，距离212、216等可以被确定为基于数据点在环境中的三维位置的欧几里得距离。在一些示例中，可以考虑与单个方向相关联的距离。例如，数据点之间的X-距离可以相对于第一距离阈值考虑，数据点之间的Y-距离可以相对于距离阈值考虑，数据点之间的Z-距离可以相对于距离阈值考虑。
在一些示例中，操作可以包括确定一些或所有数据点对之间的距离，并且不限于图2中明确展示的距离。例如，操作可以包括确定数据点138和数据点144之间的距离，并相对于阈值评估该距离。
示例206展示基于与其余通道130、132和136相关联的数据的额外操作。例如，可以确定数据点140和数据点148之间的距离218。在这个示例中，距离218低于阈值距离，因此，数据点148可以与物体220相关联。同样，数据点138和146之间的距离222可以低于阈值距离，因此，数据点146(和/或与数据点146相关联的数据单元)可以与物体220相关联。
数据点142和数据点150之间的距离224达到或超过了距离阈值，因此，在这个示例中，数据点150没有与物体220相关联。同样地，数据点148和数据点152之间的距离226达到或超过了距离阈值，因此，在这个示例中，数据点152没有与物体220相关联。
在一些示例中，距离210、212、216、218、222、224和/或226可以基于与二维数据表示118相关联的数据的三维位置(例如，基于X-、Y-和Z-坐标)来确定。
在一些示例中，操作可以包括验证物体数据154对应于最小宽度和/或最小高度(和/或物体数据跨越阈值数量的仓或通道)。在一些示例中，如果物体数据的尺寸低于阈值，则可以过滤或以其他方式忽略物体数据，并且可以在剩余的数据子集上重复这些技术。在某些情况下，过滤后的物体数据可以与基于后续聚类操作的另一个物体数据重新结合起来。
在一些示例中，在基于初始点(例如，数据点138)确定物体(例如，物体220)之后，可以基于二维数据表示118中的剩余数据点重复过程200。也就是说，可以从剩余的数据点(例如，不与物体220相关联的数据点)中选择或确定新的初始点，并且可以重复该过程以确定二维数据表示118中的任何其他物体。
图3A-3D展示用于估计与传感器数据相关联的高度的各种方案。
图3A展示与上面讨论的关于图1的示例158的方案类似的示例300。
示例300展示至少部分地基于表示物体数据154的数据点138、146和148来确定第一高度160和第二高度162。示例158表示在示例116和206中表示的数据的侧面轮廓，以更好地展示由激光雷达传感器164捕获的激光雷达数据之间的范围或深度信息。示例300包括附加的数据点166和168(用于展示各种数据操作，如本文所讨论的)。
第一高度160可以基于数据点138、146和148的竖直范围来确定。在一些示例中，第一高度可以至少部分地基于与物体数据154相关联的一些(例如，最低的数据点148和最高的数据点146)或所有的数据点(例如，数据点138、140、142、146和148)。
第二高度162可以估计或以其他方式基于从物体的顶部(例如，由数据点146表示)到与数据点(例如，数据点166)相关联的上部激光雷达波束相关联的射线的第一竖直距离或从物体的底部(例如，由数据点148表示)到与数据点(例如，数据点152)或地表相关联的下部激光雷达波束相关联的射线的第二竖直距离来确定。
图3B展示用于估计与表示物体数据154的数据点相关联的高度的第二方案的示例302。
第一高度160可以按照上面在示例300中讨论的相同方式确定。
示例302包括数据点304而不是数据点152。在这个示例302中，因为与数据点304相关联的范围小于与部分或全部物体数据154相关联的范围，所以数据点304(以及与数据点304相关联的射线)可能不会被用来估计与物体数据154相关联的第二高度。在一些示例中，可以迭代处理附加的通道，以确定存在数据的最低通道，其范围比与物体数据相关联的范围更远。在这个示例302中，第二高度306至少部分地基于与数据点168相关联的射线。也就是说，确定第二高度(例如，最大高度的估计)的操作可以包括确定与数据点相关联的范围是否高于与物体数据154相关联的范围。
图3C展示用于估计与表示物体数据154的数据点相关联的高度的第三方案的示例308。
第一高度160可以以与上面在示例300中讨论的相同方式确定。
示例308省略了数据点166(相对于示例302中展示的数据点)。在示例308中，与第二高度310相关联的上限至少部分地基于物体数据154的数据点146来确定，该数据点表示与物体数据154相关联的最高点。在一些示例中，根据实施方案，在示例308中确定的第二高度可以与第二高度306相同。也就是说，第二高度310可以至少部分地基于物体数据154的顶部和下一个激光雷达波束之间的竖直距离，而不管数据点是否与激光雷达波束相关联。
图3D展示用于估计与表示物体数据154的数据点相关联的高度的第四方案的示例312。
第一高度160可以按照上面在示例300中讨论的相同方式确定。
示例312包括数据点314而不是数据点168(相对于示例308中展示的数据点)。在示例312中，由于与数据点304和314相关联的范围小于与部分或全部物体数据154相关联的范围，数据点304和314(以及与数据点304和314相关联的射线)可能不被用于估计与物体数据154相关联的第二高度。然而，在这个示例312中，没有非地表数据点表示在物体数据154下面(其中范围比物体数据154更远)。因此，第二高度316可以至少部分地基于表示地面的数据点318上方的已知高度来确定。
可以理解的是，来自示例300、302、308和/或312的技术可以以任何组合方式使用，以根据呈现的数据配置，确定与环境中的物体相关联的第一和/或第二高度。
图4是用于实现本文所述技术的示例系统400的框图。在至少一个示例中，系统400可以包括交通工具402。在图示的示例系统400中，交通工具402是自主交通工具；然而，交通工具402可以是任何其他类型的交通工具。
交通工具402可以是无人驾驶交通工具，诸如被配置为根据美国国家公路交通安全管理局发布的5级分类进行操作的自主交通工具，该分类描述了能够在整个行程中执行所有安全关键功能的交通工具，不期望驾驶员(或乘员)在任何时候控制该交通工具。在这样的示例中，因为交通工具402可以被配置为控制从旅行开始到结束的所有功能，包括所有停车功能，它可能不包括司机和/或用于驾驶交通工具402的控制装置，诸如方向盘、加速踏板和/或制动踏板。这只是示例，本文所述的系统和方法可以被纳入任何地表、空中或水上的交通工具，包括从需要一直由司机手动控制的交通工具到部分或完全自主控制的交通工具。
交通工具402可以包括一个或多个第一计算设备404、一个或多个传感器系统406、一个或多个发射器408、一个或多个通信连接410(也被称为通信设备和/或调制解调器)、至少一个直接连接412(例如，用于与交通工具402物理耦合以交换数据和/或提供电力)，以及一个或多个驱动系统414。该一个或多个传感器系统406可以被配置为捕获与环境相关联的传感器数据。
传感器系统406可以包括飞行时间传感器、位置传感器(例如，GPS、指南针等)、惯性传感器(例如，惯性测量单元(IMU)、加速度计、磁力计、陀螺仪等)、激光雷达传感器、雷达传感器、声纳传感器、红外传感器、相机(例如，RGB、红外、强度、深度等)、麦克风传感器、环境传感器(例如，温度传感器、湿度传感器、光传感器、压力传感器等)、超声波传感器、轮式编码器等。传感器系统406可以包括这些或其他类型的传感器的多个示例。例如，飞行时间传感器可以包括位于交通工具402的边缘、前面、后面、侧面和/或顶部的单个飞行时间传感器。作为另一个示例，摄像传感器可以包括布置在交通工具402的外部和/或内部不同位置的多个摄像头。传感器系统406可以向第一计算设备404提供输入。
交通工具402还可以包括用于发射光和/或声音的发射器408。本示例中的发射器408包括内部音频和视觉发射器，用于与交通工具402的乘客沟通。通过举例而非限制的方式，内部发射器可以包括扬声器、灯、标志、显示屏幕、触摸屏、触觉发射器(例如，振动和/或力反馈)、机械致动器(例如，安全带张紧器、座椅定位器、头枕定位器等)等。本示例中的发射器408还包括外部发射器。通过举例而非限制的方式，本示例中的外部发射器包括发出行驶方向或其他交通工具行动指示的灯光(例如，指示灯、标志、灯光阵列等)，以及一个或多个音频发射器(例如，扬声器、扬声器阵列、喇叭等)，以便与行人或其他附近交通工具进行声音交流，其中一个或多个可以包括声束转向技术。
交通工具402还可以包括使交通工具402与一个或多个其他本地或远程计算设备(例如，远程遥感操作计算设备)或远程服务之间的通信连接410。例如，通信连接410可以促进与交通工具402上的其他本地计算设备和/或驱动系统414的通信。而且，通信连接410可以允许交通工具402与附近的其他计算设备(例如，附近的其他交通工具、交通信号等)通信。
通信连接410可以包括用于将第一计算设备404连接到另一计算设备或一个或多个外部网络416(例如，互联网)的物理和/或逻辑接口。例如，通信连接410可以启用基于Wi-Fi的通信，诸如通过IEEE 802.11标准定义的频率、短距离无线频率，诸如蓝牙、蜂窝通信(例如，2G、3G、4G、4G LTE、5G等)、卫星通信、专用短程通信(DSRC)，或任何合适的有线或无线通信协议，使各计算设备能够与其他计算设备连接。
在至少一个示例中，交通工具402可以包括驱动系统414。在一些示例中，交通工具402可以具有单一驱动系统414。在至少一个示例中，如果交通工具402具有多个驱动系统414，则单个驱动系统414可以设置在交通工具402的相反两端(例如，前面和后面等)。在至少一个示例中，驱动系统414可以包括传感器系统406，以检测驱动系统414和/或交通工具402的周围环境的条件。通过示例而非限制的方式，传感器系统406可以包括一个或多个轮式编码器(例如，旋转编码器)以感知驱动系统的车轮的旋转，惯性传感器(例如，惯性测量单元、加速度计、陀螺仪、磁力计等)以测量驱动系统的方向和加速度，相机或其他图像传感器，超声波传感器以声学方式检测驱动系统周围的物体，激光雷达传感器，雷达传感器等。一些传感器，诸如轮式编码器可以是驱动系统414所独有的。在某些情况下，驱动系统414上的传感器系统406可以与交通工具402的对应系统(例如，传感器系统406)重叠或补充。
驱动系统414可以包括许多交通工具系统，包括高压电池、推动交通工具的马达、将电池的直流电转换为交流电供其他交通工具系统使用的逆变器、包括转向马达和转向架(可以是电动的)的转向系统、包括液压或电动执行器的制动系统、包括液压和/或气动部件的悬挂系统、用于分配刹车力以减轻牵引力损失并保持控制的稳定性控制系统、HVAC系统、照明(例如，照明，诸如用于照亮交通工具外部的头/尾灯)，以及一个或多个其他系统(如冷却系统、安全系统、车载充电系统、其他电气元件，诸如DC/DC转换器、高压接头、高压电缆、充电系统、充电端口等)。附加地，驱动系统414可以包括驱动系统控制器，其可以接收和预处理来自传感器系统406的数据并控制各种交通工具系统的操作。在一些示例中，驱动系统控制器可以包括一个或多个处理器和与该一个或多个处理器通信耦合的存储器。存储器可以存储一个或多个部件以执行驱动系统414的各种功能。此外，驱动系统414还包括一个或多个通信连接，使各驱动系统能够与一个或多个其他本地或远程计算设备通信。
交通工具402可以包括一个或多个第二计算设备418，以提供由第一计算设备404确定的确定和/或命令的冗余、错误检查和/或验证。
举例来说，第一计算设备404可以被认为是主系统，而第二计算设备418可以被认为是辅助系统。主系统通常可以执行处理，以控制交通工具在环境中的操纵方式。主系统可以实现各种人工智能(AI)技术，诸如机器学习，以了解交通工具周围的环境和/或指示交通工具在环境中移动。例如，主系统可以实施AI技术来定位交通工具，检测交通工具周围的物体，分割传感器数据，确定物体的分类，预测物体轨迹，为交通工具生成轨迹，等等。在示例中，主系统处理来自交通工具上多种类型的传感器的数据，诸如光探测和测距(lidar)传感器、雷达传感器、图像传感器、深度传感器(飞行时间、结构光等)等。
辅助系统可以验证主系统的操作，当主系统出现问题时，可以从主系统接管对交通工具的控制。辅助系统可以实现基于交通工具和/或交通工具周围物体的定位、速度、加速度等的概率技术。例如，辅助系统可以实施一种或多种概率技术，以独立地定位交通工具(例如，定位到本地环境)，检测交通工具周围的物体，分割传感器数据，识别物体的分类，预测物体轨道，为交通工具生成轨迹，等等。在示例中，辅助系统处理来自少数传感器的数据，诸如由主系统处理的传感器数据的子集。举例来说，主系统可以处理激光雷达数据、雷达数据、图像数据、深度数据等，而辅助系统可以只处理激光雷达数据和/或雷达数据(和/或飞行时间数据)。然而，在其他示例中，辅助系统可以处理来自任何数量的传感器的数据，诸如来自每个传感器的数据，来自与主系统相同数量的传感器的数据，等等。
例如，包括主计算系统和辅助计算系统的交通工具架构的其他示例可以在2018年11月13日提交的题为“Perception Collision Avoidance”的美国专利申请第16/189726号中找到，该申请的全部内容在此通过引用而纳入。
第一计算设备404可以包括一个或多个处理器420和与该一个或多个处理器420可通信地耦合的存储器422。在图示的示例中，第一计算设备404的存储器422存储了定位部件424、感知部件426、预测部件428、规划部件430、地图部件432、以及一个或多个系统控制器434。虽然为了展示的目的被描述为驻留在存储器422中，但可以考虑的是，定位部件424、感知部件426、预测部件428、规划部件430、地图部件432以及该一个或多个系统控制器434可以附加地或备选地被第一计算设备404访问(例如，存储在交通工具402的不同部件中和/或被交通工具402访问(例如，远程存储)。
在第一计算设备404的存储器422中，定位部件424可以包括从传感器系统406接收数据以确定交通工具402位置的功能。例如，定位部件424可以包括和/或请求/接收环境的三维地图，并且可以连续确定自主交通工具在该地图中的位置。在一些情况下，定位部件424可以使用SLAM(同时定位和绘图)或CLAMS(同时校准、定位和绘图)来接收飞行时间数据、图像数据、激光雷达数据、雷达数据、声纳数据、IMU数据、GPS数据、轮式编码器数据或其任何组合等，以准确确定自主交通工具的位置。在某些情况下，定位部件424可以向交通工具402的各种部件提供数据，以确定用于生成轨迹的自主交通工具的初始位置，如本文所讨论的。
感知部件426可以包括执行物体检测、分割和/或分类的功能。在一些示例中，感知部件426可以提供经过处理的传感器数据，该数据指示靠近交通工具402的实体的存在和/或将该实体分类为实体类型(例如，汽车、行人、骑自行车的人、建筑物、树、路面、路缘、人行道、未知等)。在附加的或备选的示例中，感知部件426可以提供经过处理的传感器数据，该数据指示与检测到的实体和/或实体所处的环境相关联的一个或多个特征。在一些示例中，与实体相关联的特征可以包括但不限于X-位置(全球位置)、Y-位置(全球位置)、Z-位置(全球位置)、方向、实体类型(例如，分类)、实体的速度、实体的范围(大小)等。与环境相关联的特征可以包括但不限于：环境中另一实体的存在、环境中另一实体的状态、一天中的某个时间、一周中的某个日子、季节、天气状况、黑暗/光线的指示等。
如上所述，感知部件426可以使用感知算法来确定与基于传感器数据的环境中的物体相关联的基于感知的边界框。例如，感知部件426可以接收图像数据并对图像数据进行分类，以确定在图像数据中表示物体。然后，使用检测算法，感知部件426可以生成与该物体相关联的二维边界框和/或基于感知的三维边界框。感知部件426可以进一步生成与该物体相关联的三维边界框。如上所述，三维边界框可以提供附加的信息，诸如与物体相关联的位置、方向、姿势和/或尺寸(例如，长度、宽度、高度等)。
感知部件426可以包括存储由感知部件426产生的感知数据的功能。在某些情况下，感知部件426可以确定对应于已被分类为物体类型的物体的轨迹。仅为了展示的目的，感知部件426，使用传感器系统406可以捕获环境的一个或多个图像。传感器系统406可以捕获环境的图像，该环境包括物体，诸如行人。行人可以在时间T处处于第一位置，在时间T+t处处于第二位置(例如，在时间T之后的时间跨度内的运动)。换句话说，行人可以在这个时间跨度内从第一位置移动到第二位置。例如，这种运动可以被记录为与该物体相关联的存储感知数据。
在一些示例中，存储的感知数据可以包括由交通工具402捕获的融合感知数据。融合的感知数据可以包括来自传感器系统406的传感器数据的融合或其他组合，诸如图像传感器、激光雷达传感器、雷达传感器、飞行时间传感器、声纳传感器、全球定位系统传感器、内部传感器，和/或这些的任何组合。存储的感知数据可以附加地或备选地包括分类数据，包括传感器数据中表示的物体(例如，行人、交通工具、建筑物、道路表面等)的语义分类。存储的感知数据可以额外或备选地包括与被归类为动态物体在环境中的运动相对应的轨迹数据(位置、方向、传感器特征等)。轨迹数据可以包括多个不同物体在一段时间内的多个轨迹。该轨迹数据可以被挖掘出来，以识别某些类型的物体(例如，行人、动物等)在物体静止(例如，静止)或移动(例如，行走、跑步等)时的图像。在这个示例中，计算设备确定了与行人相对应的轨迹。
预测部件428可以生成一个或多个概率图，表示环境中一个或多个物体的可能位置的预测概率。例如，预测部件428可以为距离交通工具402的阈值距离内的交通工具、行人、动物等生成一个或多个概率图。在一些情况下，预测部件428可以测量物体的轨迹，并根据观察和预测的行为为该物体生成离散的预测概率图、热图、概率分布、离散的概率分布和/或轨迹。在某些情况下，该一个或多个概率图可以表示环境中该一个或多个物体的意图。
规划部件430可以确定交通工具402在环境中穿行所要遵循的路径。例如，规划部件430可以确定各种路线和路径以及各种级别的细节。在一些情况下，规划部件430可以确定从第一位置(例如，当前位置)到第二位置(例如，目标位置)的路线。就本讨论而言，路线可以是用于在两个地点之间旅行的航点的序列。作为非限制性的示例，航点包括街道、十字路口、全球定位系统(GPS)的坐标等。此外，规划部件430可以生成指令，用于引导自主交通工具沿着从第一地点到第二地点的至少一部分路线。在至少一个示例中，规划部件430可以确定如何引导自主交通工具从航点序列中的第一航点到航点序列中的第二航点。在一些示例中，指令可以是一条路径，或者是一条路径的一部分。在一些示例中，可以基于后退地平线技术，基本上同时生成多条路径(即在技术公差范围内)。在后退数据视界中的多个路径中，可以选择具有最高置信度的单一路径来操作交通工具。
在其他示例中，规划部件430可以备选地或附加地使用来自感知部件426和/或预测部件428的数据来确定交通工具402遵循的路径以穿越环境。例如，规划部件430可以从感知部件426和/或预测部件428接收关于与环境相关联的物体的数据。使用该数据，规划部件430可以确定从第一位置(例如，当前位置)到第二位置(例如，目标位置)的行驶路线，以避开环境中的物体。在至少一些示例中，这样的规划部件430可以确定没有这样的无碰撞路径，并反过来提供一条路径，将交通工具402带到安全的停止点，避开所有碰撞和/或以其他方式减轻损害。
存储器422可以进一步包括一个或多个地图432，可由交通工具402用于在环境中导航。就本讨论而言，地图可以是以二维、三维或N维建模的任何数量的数据结构，其能够提供关于环境的信息，诸如，但不限于，拓扑结构(诸如交叉口)、街道、山脉、道路、地形和一般环境。在某些情况下，地图可以包括但不限于：纹理信息(例如，颜色信息(例如，RGB颜色信息、Lab颜色信息、HSV/HSL颜色信息)等)、强度信息(例如，LIDAR信息、RADAR信息等)；空间信息(例如，投影到网格上的图像数据，单个“surfels”(例如，与单个颜色和/或强度相关联的多边形))，反射率信息(例如，镜面信息、逆反射信息、BRDF信息、BSSRDF信息等)。在一个示例中，地图可以包括环境的三维网格。在某些情况下，地图可以以平铺格式存储，这样，地图的单个平铺表示环境的离散部分，并且可以基于需要加载到工作存储器中，如本文所讨论的。在至少一个示例中，一个或多个地图432可以包括至少一个地图(例如，图像和/或网格)。在一些示例中，交通工具402可以至少部分地基于地图432而被控制。也就是说，地图432可以与定位部件424、感知部件426、预测部件428和/或规划部件430一起使用，以确定交通工具402的位置，识别环境中的物体，生成与物体和/或交通工具402相关联的预测概率，和/或生成路线和/或轨迹以在环境中导航。
在一些示例中，该一个或多个地图432可以存储在通过网络416访问的远程计算设备(诸如计算设备448)上。在一些示例中，可以基于例如特征(例如，实体的类型、一天中的时间、一周中的一天、一年中的季节等)来存储多个地图432。存储多个地图432可以有类似的内存要求，但可以提高访问地图中数据的速度。
在至少一个示例中，第一计算设备404可以包括一个或多个系统控制器434，其可以被配置为控制交通工具402的转向、推进、制动、安全、发射器、通信和其他系统。这些系统控制器434可以与驱动系统414和/或交通工具402的其他部件的相应系统进行通信和/或控制，这些系统控制器可以被配置为按照从规划部件430提供的路径进行操作。
第二计算设备418可以包括一个或多个处理器436和存储器438，包括用于验证和/或控制交通工具402的各个方面的部件，如本文所讨论的。在至少一个示例中，该一个或多个处理器436可以类似于处理器420，而存储器438可以类似于存储器422。然而，在一些示例中，处理器436和存储器438可以包括与处理器420和存储器422不同的硬件，以获得附加的冗余。
在一些示例中，存储器438可以包括定位部件440，感知/预测部件442，规划部件444，以及一个或多个系统控制器446。
在一些示例中，定位部件440可以从传感器406接收传感器数据，以确定自主交通工具402的位置和/或方向(连同姿势)中的一个或多个。这里，位置和/或方向可以是相对于自主交通工具402所处环境中的点和/或物体。在示例中，方向可以包括自主飞行器402相对于参考平面和/或相对于点和/或物体的偏航、滚动和/或俯仰的指示。在示例中，定位部件440可以比第一计算设备404的定位部件424执行更少的处理(例如，更高级别的定位)。例如，定位部件440可以不确定自主交通工具402相对于地图的姿势，而仅仅确定自主交通工具402相对于在自主交通工具402周围检测到的物体和/或表面的姿势(例如，局部位置而不是全局位置)。例如，这样的位置和/或方向可以使用概率滤波技术来确定，例如，贝叶斯滤波器(卡尔曼滤波器、扩展卡尔曼滤波器、无痕卡尔曼滤波器等)使用部分或全部传感器数据。
在一些示例中，感知/预测部件442可以包括检测、识别、分类和/或跟踪传感器数据中表示的物体的功能。例如，感知/预测部件442可以执行聚类操作和操作，以估计或确定与物体相关联的高度，如本文所讨论的。
在一些示例中，感知/预测部件442可以包括M-估计器，但可能缺乏物体分类器，例如，神经网络、决策树和/或用于分类物体的类似物。在附加的或备用的示例中，感知/预测部件442可以包括任何类型的ML模型，被配置为消除物体的分类。相比之下，感知部件426可以包括硬件和/或软件部件的管道，它可以包括一个或多个机器学习模型、贝叶斯过滤器(例如，卡尔曼过滤器)、图形处理单元(GPU)和/或类似物。在一些示例中，由感知/预测部件442(和/或426)确定的感知数据可以包括物体检测(例如，与自主交通工具周围环境中的物体相关联的传感器数据的识别)、物体分类(例如，与检测到的物体相关联的物体类型的识别)、物体轨迹(例如，历史、当前和/或预测的物体位置、速度、加速度和/或航向)，和/或类似物。
感知/预测部件442还可以处理输入数据以确定物体的一个或多个预测轨迹。例如，基于物体的当前位置和物体在几秒钟内的速度，感知/预测部件442可以预测物体在接下来的几秒钟内将移动的路径。在一些示例中，这样的预测路径可以包括使用给定位置、方向、速度和/或方位的运动的线性假设。在其他示例中，这种预测的路径可能包括更复杂的分析。
在一些示例中，规划部件444可以包括从规划部件430接收轨迹的功能，以验证该轨迹没有碰撞和/或在安全范围内。在一些示例中，规划部件444可以生成安全停车轨迹(例如，以“舒适的”减速度(例如，小于最大减速度)停止交通工具402的轨迹)，并且在一些示例中，规划部件444可以生成紧急停车轨迹(例如，有或没有转向输入的最大减速度)。
在一些示例中，系统控制器446可以包括控制交通工具的安全关键部件(例如，转向、制动、马达等)的功能。以这种方式，第二计算设备418可以为交通工具安全提供冗余和/或附加的硬件和软件层。
交通工具402可以通过网络416连接到计算设备448，并且可以包括一个或多个处理器450和与该一个或多个处理器450通信地耦合的存储器452。在至少一个示例中，该一个或多个处理器450可以类似于处理器420，存储器452可以类似于存储器422。在图示的示例中，计算设备448的存储器452存储一个或多个部件454，该部件可以对应于本文讨论的任何部件。
处理器420、436和/或450可以是任何合适的处理器，能够执行指令以处理数据并执行本文所述的操作。作为示例而非限制，处理器420、436和/或450可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或任何其他设备或设备的一部分，该设备处理电子数据以将该电子数据转化为可存储在寄存器和/或存储器中的其他电子数据。在一些示例中，集成电路(例如，ASIC等)、门阵列(例如，FPGA等)和其他硬件设备也可被视为处理器，只要它们被配置为实现编码指令。
存储器422、438和/或452是非临时性计算机可读介质的示例。存储器422、438和/或452可以存储操作系统和一个或多个软件应用程序、指令、程序和/或数据，以实现本文所述的方法和归属于各种系统的功能。在各种实施方案中，存储器422、438和/或452可以使用任何合适的存储器技术来实现，诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器，或能够存储信息的任何其他类型的存储器。本文描述的架构、系统和单个元素可以包括许多其他的逻辑、程序和物理部件，其中附图中所示的部件只是与本文讨论有关的示例。
在一些情况下，本文讨论的部分或全部部件的方面可以包括任何模型、算法和/或机器学习算法。例如，在某些情况下，存储器422、438和/或452中的部件可以被实现为神经网络。在一些示例中，存储器422、438和/或452中的部件可以不包括机器学习算法，以降低复杂性，并从安全的角度进行验证和/或认证。
如本文所讨论的，示例性的神经网络是受生物启发的算法，它将输入数据通过一系列连接层以产生输出。神经网络中的每一层也可以包括另一个神经网络，或者可以包括任何数量的层(无论是否卷积)。正如在本披露的背景下可以理解的那样，神经网络可以利用机器学习，它可以指一类广泛的此类算法，其中输出是基于学习的参数产生的。
虽然是在神经网络的背景下讨论的，但任何类型的机器学习都可以与本公开内容相一致地使用。例如，机器学习或机器学习算法可以包括，但不限于，回归算法(例如，普通最小二乘回归(OLSR)，线性回归，逻辑回归，逐步回归，多变量适应性回归样条(MARS)，局部估计散点平滑(LOESS))，基于示例的算法(例如，岭回归、最小绝对收缩和选择运算符(LASSO)、弹性网、最小角度回归(LARS))、决策树算法(例如，分类和回归树(CART)，迭代二分法3(ID3)，智平房自动交互检测(CHAID)，决策树桩，条件决策树)，贝叶斯算法(例如，天真贝叶斯、高斯天真贝叶斯、多叉天真贝叶斯、平均单项估计器(AODE)、贝叶斯信念网络(BNN)、贝叶斯网络)、聚类算法(如k-means、k-medians、期望最大化(EM)、分层聚类)、关联规则学习算法(例如，感知器、反向传播、hopfield网络、径向基函数网络(RBFN))、深度学习算法(例如，深度波尔兹曼机(DBM)、深度信念网络(DBN)、卷积神经网络(CNN)、叠加自动编码器)、降维算法(例如，主成分分析(PCA)、主成分回归(PCR)、部分最小二乘回归(PLSR)、萨蒙映射、多维缩放(MDS)、投影追求、线性判别分析(LDA)、混合判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA))、集合算法(例如，Boosting、Bootstrapped Aggregation(Bagging)、AdaBoost、Stacked Generalization(混合)、Gradient Boosting Machines(GBM)、Gradient Boosted Regression Trees(GBRT)，随机森林)、SVM(支持向量机)、监督学习、无监督学习、半监督学习，等等。
架构的其他示例包括神经网络，诸如ResNet50、ResNetlOl、VGG、DenseNet、PointNet等。
因此，本文讨论的技术提供了确定环境中的物体的高度数据的强大实现，以允许交通工具(诸如自动驾驶交通工具)的安全运行。
图5和图6展示根据本公开的示例的示例过程。这些过程以逻辑流程图的形式展示，其中每个操作都表示一个操作序列，可以用硬件、软件或其组合来实现。在软件方面，这些操作表示了存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，执行所述的操作。一般来说，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、物体、部件、数据结构等。所述操作的顺序并不打算被解释为一种限制，任何数量的所述操作可以以任何顺序和/或平行地组合起来以实现这些过程。
图5是用于根据传感器数据估计与物体相关联的高度的示例过程500。例如，部分或全部过程500可以由图4中的一个或多个部件执行，如本文所讨论的。例如，过程500的部分或全部可以由第二计算设备418执行。
在操作502，该过程可以包括接收由交通工具的传感器捕获的数据。在一些示例中，操作502可以包括在自主交通工具穿越环境时从自主交通工具的一个或多个激光雷达传感器接收或捕获激光雷达数据。
在操作504，该过程可以包括将数据与二维空间相关联。例如，操作504可以包括将三维数据与二维数据表示相关联。二维数据表示可以包括表示方位角的第一维度，而第二维度可以表示激光雷达波束或通道。在一些示例中，操作504可以包括对数据进行过滤，以去除与地表相关联的数据和/或去除与自主交通工具要遵循的轨迹相关联的走廊之外的数据。
在操作506，该过程可以包括至少部分地基于数据聚类来确定表示物体的物体数据。如本文所讨论的，数据聚类可以至少部分地基于确定点之间的距离低于阈值距离。数据聚类的其他方面在图1和图2以及整个公开内容中讨论。
在操作508，该过程可以包括确定与该物体相关联的高度。如本文所讨论的，操作508可以包括确定与物体相关联的第一高度和第二高度，在一些情况下，这可以表示与物体相关联的最小高度(或下限)和与物体相关联的最大高度(或上限)。
在操作510，该过程可以包括至少部分地基于物体数据的范围来确定第一高度。例如，第一高度可以至少部分地基于与物体数据相关联的竖直距离。确定第一高度的其他方面在图1和3A-3D中讨论，以及在整个披露中讨论。
在操作512，该过程可以包括至少部分地基于1)第一通道中的第一部分和2)第二通道中的第二位置或与地表相关联的第三位置之间的距离确定第二高度。确定第二高度的附加方面在图1、3A-3D和6，以及整个公开内容中讨论。
在操作514，该过程可以包括至少部分地基于与该物体相关联的高度来控制交通工具。在一些示例中，控制交通工具可以包括生成轨迹、执行安全停止轨迹、执行紧急停止轨迹等。在某些情况下，操作可以包括确定该高度是否符合或超过阈值高度，以便进行后续分类、过滤等。
图6是用于根据与物体数据相关联的上限和下限确定物体的高度的示例过程600。例如，如本文所讨论的，过程600的部分或全部可以由图4中的一个或多个部件执行。例如，过程600的部分或全部可以由第二计算设备418执行。
在一些示例中，过程600可以表示在图5的操作512中执行的操作。
一般来说，操作604、606、608和610可以对应于估计或以其他方式确定与物体的高度相关联的上限(或上限范围)，而操作612、614、616和618可以对应于估计或以其他方式确定与物体的高度相关联的下限(或下限范围)。
在操作602，该过程可以包括接收物体数据。例如，在接收物体数据时，可以与二维数据表示相关联和/或根据本文讨论的技术进行聚类。
在操作604，该过程可以包括确定物体数据上方是否存在数据。例如，物体数据之上的任何通道中的数据可能对应于另一个物体(例如，该数据可能与不同于物体数据的第二物体相关联。如果数据在物体数据之上的通道中，则该过程继续到操作606。在一些示例中，操作604可以被限制在物体数据上方的同一仓中的数据。也就是说，如果物体数据不与仓相关联，则操作604可以不考虑操作604中的这种数据。
在操作606，该过程可以包括确定通道中的数据范围(例如，在物体数据上方)是否大于与物体数据相关联的范围。如果通道中的数据范围大于与物体数据相关联的范围，则该过程继续到操作608，其中可以包括使用与通道相关联的射线作为物体的高度的上限。在一些示例中，操作608可以包括确定物体数据(例如，与物体数据相关联的最高点)和与物体数据上方的数据相关联射线和与激光雷达传感器相关联的位置之间的竖直距离。
如果在物体上方的通道中没有数据(例如，在操作604中为“没有”)或在物体数据上方的通道中的数据范围小于物体数据的范围(例如，在操作606中为“没有”)，则该过程继续到操作610。
在操作610，该过程可以包括将物体的顶部作为物体的高度的上限(或上限范围)。在一些示例中，操作610可以包括使用与物体的顶部相关联的位置作为物体的高度的上限(或上限范围)，其中该位置可以至少部分地基于直接在物体的顶部上方的通道。
在操作612，该过程可以包括确定物体数据下面是否存在数据。例如，在物体数据下面的任何通道中的数据可能对应于另一个物体(例如，该数据可能与不同于物体数据的第二物体相关联。如果数据在物体数据下面的通道中，该过程继续到操作614。在一些示例中，操作612可以被限制在物体数据下面的同一仓内的数据。也就是说，如果物体数据不与仓相关联，则操作612可以不考虑操作612中的此类数据。
在操作614，该过程可以包括确定通道中的数据范围(例如，在物体数据下面)是否大于与物体数据相关联的范围。如果通道中的数据范围大于与物体数据相关联的范围，则该过程继续到操作616，其中可以包括使用与通道相关联的射线作为物体的高度的下限。在一些示例中，操作616可以包括确定物体数据(例如，与物体数据相关联的最低点)和与物体数据下方的数据相关联的射线和与激光雷达传感器相关联的位置之间的竖直距离。
如果在物体下面的通道中没有数据(例如，在操作612中为“没有”)或在物体数据下面的通道中的数据范围小于物体数据的范围(例如，在操作614中为“没有”)，则该过程继续到操作618。
在操作618，该过程可以包括使用地表作为物体的高度的下限(或下限范围)。
在操作620，该过程可以包括至少部分地基于在操作604-618中确定的上限和下限来确定第二高度。因此，过程600展示用于估计或以其他方式确定物体的高度的稳健技术。
示例条款
A：一种系统，包括：一个或多个处理器；以及一个或多个非短暂性计算机可读介质，其中存储有计算机可执行指令，该指令在执行时使该一个或多个处理器执行包括以下内容的操作：接收由自主交通工具的激光雷达传感器捕获的激光雷达数据；将激光雷达数据与二维数据表示相关联；接收在二维数据表示中表示的地面的指示；从二维数据表示中删除与地面相关联的激光雷达数据的第一子集，以确定数据的第二子集；至少部分地基于数据聚类，确定第二子集中表示物体的物体数据；至少部分地基于物体数据的竖直范围确定与物体相关联的第一高度；至少部分地基于二维数据表示的第一通道的激光雷达数据点与二维数据表示的第二通道相关联的高度之间的竖直距离确定与物体相关联的第二高度；以及至少部分地基于与物体相关联的第一高度或第二高度中的至少一个控制自主交通工具。
B：A段的系统，其中竖直距离是第一距离，数据聚类包括：确定激光雷达数据的第一数据点和激光雷达数据的第二数据点之间的第二距离；以及至少部分地基于第二距离确定物体数据。
C：A或B段的系统，其中物体是第一物体，以及其中：与第一通道相关联的第一数据表示物体数据的第一部分；与第二通道相关联的第二数据表示不同于第一物体的第二物体；以及竖直距离表示第一数据和与第二数据相关联的射线之间的距离，其中该射线至少部分地基于第二物体和与激光雷达传感器相关联的原点。
D：A-C中任何一段的系统，其中：竖直距离是第一距离；第二高度至少部分地基于物体和与激光雷达传感器相关联的位置之间的第二距离。
E：A-D中任何一段的系统，其中：二维数据表示的第一维度表示与激光雷达数据相关联的方位角仓；以及二维数据表示的第二维度表示与激光雷达数据相关联的光束指数。
F：一种方法，包括：接收由交通工具的传感器捕获的数据；将数据与二维数据表示相关联；至少部分地基于数据聚类，确定表示物体的物体数据；确定以下至少一者作为与该物体相关联的高度：与物体相关联的第一高度，至少部分地基于物体数据的范围；或与物体相关联的第二高度，至少部分地基于二维数据表示的第一通道中的第一位置与二维数据表示的第二通道中的第二位置之间的距离；以及至少部分地基于与物体相关联的高度控制交通工具。
G：F段的方法，其中该距离是第一距离，该数据聚类包括：确定数据的第一数据点和数据的第二数据点之间的第二距离，其中该第二距离是三维欧几里得距离；以及至少部分地基于该距离确定物体数据。
H：F或G段的方法，其中物体是第一物体，以及其中：与第一通道相关联的第一数据表示物体数据的第一部分；与第二通道相关联的第二数据表示不同于第一物体的第二物体；以及距离表示第一数据与与第二数据相关联的射线之间的竖直距离，其中射线至少部分地基于第二物体和与传感器相关联的位置。
I：H段的方法，其中该距离是第一距离，该方法进一步包括：确定第一数据和与传感器相关联的位置之间的第二距离；确定第二数据和与传感器相关联的位置之间的第三距离；确定第二距离小于第三距离；以及至少部分地基于第二距离小于第三距离确定第二高度。
J：F-I段中任何一段的方法，进一步包括：接收数据中表示的地表的指示；以及从二维数据表示中删除数据的至少部分地基于地表的子集。
K：F-J段中任何一段的方法，其中：第一高度表示与该物体相关联的最小高度；以及第二高度表示与该物体相关联的最大高度。
L：F-K段中任何一段的方法，其中：该距离是第一距离；该数据由激光雷达传感器捕获；该第二高度至少部分地基于激光雷达传感器的第一波束和激光雷达传感器的第二波束之间的竖直距离；以及该竖直距离至少部分地基于物体和激光雷达传感器相关联的位置之间的第二距离。
M：F-L段中任何一段的方法，进一步包括：至少部分地基于物体在地面上方的位置确定第二高度。
N：F-M段中任何一段的方法，其中：该数据是由激光雷达传感器捕获的激光雷达数据；该二维数据表示的第一维度表示与该激光雷达数据相关联的方位角仓；以及该二维数据表示的第二维度表示与该激光雷达数据相关联的光束指数。
O：一种存储可由处理器执行的指令的非暂时性计算机可读介质，其中该指令在执行时导致处理器执行包括以下操作：接收由交通工具的传感器捕获的数据；将该数据与二维数据表示关联；至少部分地基于数据聚类，确定表示物体的物体数据；确定以下至少一者作为与该物体相关联的高度：与物体相关联的第一高度，至少部分地基于物体数据的范围；或与物体相关联的第二高度，至少部分地基于二维数据表示的第一通道中的第一位置与二维数据表示的第二通道中的射线之间的竖直距离，其中该射线至少部分地基于传感器；以及至少部分地基于与物体相关联的高度控制交通工具。
P：O段的非暂时性计算机可读介质，其中竖直距离是第一距离，数据聚类包括：确定数据的第一数据点和数据的第二数据点之间的第二距离，其中第二距离是三维欧几里得距离；以及至少部分地基于该距离确定物体数据。
Q：O或P段的非暂时性计算机可读介质，其中该物体是第一物体，以及其中：与第一通道相关联的第一数据表示物体数据的第一部分；与第二通道相关联的第二数据表示不同于第一物体的第二物体；以及竖直距离表示第一数据和与第二数据相关联的射线之间的距离，其中该射线至少部分地基于第二物体和与传感器相关联的位置。
R：O-Q段中任何一段的非暂时性计算机可读介质，其中：数据由激光雷达传感器捕获；第二高度至少部分地基于激光雷达传感器的第一波束和激光雷达传感器的第二波束之间的竖直距离；以及竖直距离至少部分地基于物体和与激光雷达传感器相关联的位置之间的距离。
S:O-R段中任何一段的非暂时性计算机可读介质，至少部分地基于物体在地面上方的位置来确定第二高度。
T：O-S段中任何一段的非暂时性计算机可读介质，其中：该数据是由激光雷达传感器捕获的激光雷达数据；该二维数据表示的第一维度表示与该激光雷达数据相关联的方位角仓；以及该二维数据表示的第二维度表示与该激光雷达数据相关联的光束指数。
虽然上面描述的示例条款是关于一个特定的实施方案的，但应该理解，在本文的上下文中，示例条款的内容也可以通过方法、设备、系统、计算机可读介质和/或另一个实施方案来实现。附加地，示例A-T中的任何一个都可以单独实施，或与示例A-T中的任何其他一个或多个结合实施。
结论
虽然已经描述了本文所述技术的一个或多个示例，但在本文所述技术的范围内还包括其各种改变、补充、排列组合和等价物。
在对示例的描述中，参考了构成本文一部分的附图，这些附图通过展示的方式显示了所要求的主题的具体示例。应该理解的是，可以使用其他的示例，并且可以进行改变或改动，诸如结构上的改变。这样的示例、变化或改变不一定是偏离了预定的权利要求主题的范围。虽然这里的步骤可以按照一定的顺序提出，但在某些情况下，顺序可以改变，以便在不同的时间或以不同的顺序提供某些输入，而不改变所述系统和方法的功能。所披露的程序也可以以不同的顺序执行。此外，这里的各种计算不需要按照所公开的顺序执行，使用计算的替代顺序的其他示例也可以很容易地实现。除了重新排序之外，计算也可以被分解成具有相同结果的子计算。

Claims (15)

1.一种方法，包括：
接收由与交通工具相关联的传感器捕获的数据；
将所述数据与二维数据表示相关联；
至少部分地基于数据聚类，确定表示物体的物体数据；
确定以下至少一者作为与所述物体相关联的高度：
至少部分地基于所述物体数据的范围，与所述物体相关联的第一高度；或
至少部分地基于所述二维数据表示的第一通道中的第一位置与所述二维数据表示的第二通道中的第二位置之间的距离，与所述物体相关联的第二高度；以及
使所述交通工具至少部分地基于与所述物体相关联的所述高度而受到控制。
2.根据权利要求1所述的方法，其中所述距离是第一距离，所述数据聚类包括：
确定所述数据的第一数据点和所述数据的第二数据点之间的第二距离，其中所述第二距离是三维欧几里得距离；以及
至少部分地基于所述距离确定所述物体数据。
3.根据权利要求1或2所述的方法，其中所述物体是第一物体，并且其中：
与所述第一通道相关联的第一数据表示所述物体数据的第一部分；
与所述第二通道相关联的第二数据表示与所述第一物体不同的第二物体；以及
所述距离表示所述第一数据和与所述第二数据相关联的射线之间的竖直距离，其中所述射线至少部分地基于所述第二物体和与所述传感器相关联的位置。
4.根据权利要求3所述的方法，其中所述距离是第一距离，所述方法进一步包括：
确定所述第一数据和与所述传感器相关联的所述位置之间的第二距离；
确定所述第二数据和与所述传感器相关联的所述位置之间的第三距离；
确定所述第二距离小于所述第三距离；以及
至少部分地基于所述第二距离小于所述第三距离确定所述第二高度。
5.根据权利要求1至4中任一项所述的方法，还包括：
接收在所述数据中表示的地面的指示；以及
从所述二维数据表示中删除所述数据的至少部分地基于所述地面的子集。
6.根据权利要求1至5中任一项所述的方法，其中：
所述第一高度表示与所述物体相关联的最小高度；以及
所述第二高度表示与所述物体相关联的最大高度。
7.根据权利要求1至6中任一项所述的方法，其中：
所述距离为第一距离；
所述数据由激光雷达传感器捕获；
所述第二高度至少部分地基于所述激光雷达传感器的第一波束与第二波束之间的竖直距离；以及
所述竖直距离至少部分地基于所述物体和与所述激光雷达传感器相关联的位置之间的第二距离。
8.根据权利要求1至7中任一项所述的方法，进一步包括：
至少部分地基于所述物体在地面上方的位置来确定所述第二高度。
9.根据权利要求1至8中任一项所述的方法，其中：
所述数据是与激光雷达传感器相关联的激光雷达数据；
所述二维数据表示的第一维度表示与所述激光雷达数据相关联的方位角仓；以及
所述二维数据表示的第二维度表示与所述激光雷达数据相关联的光束指数。
10.一种计算机程序制品，包括编码指令，所述编码指令当在计算机上运行时，实现权利要求1至9中任一项所述的方法。
11.一种系统，包括：
一个或多个处理器；以及
一个或多个非暂时性计算机可读介质，存储可由所述一个或多个处理器执行的指令，其中所述指令在执行时导致所述系统执行包括以下内容的操作：
接收由与交通工具相关联的传感器捕获的数据；
将所述数据与二维数据表示相关联；
至少部分地基于数据聚类，确定表示物体的物体数据；
确定以下至少一者作为与所述物体相关联的高度：
至少部分地基于所述物体数据的范围，与所述物体相关联的第一高度；或
至少部分地基于所述二维数据表示的第一通道中的第一位置和所述二维数据表示的第二通道中的射线之间的竖直距离，与所述物体相关联的第二高度，其中所述射线至少部分地基于所述传感器；以及
使所述交通工具至少部分地基于与所述物体相关联的所述高度而受到控制。
12.根据权利要求11所述的系统，其中所述竖直距离为第一距离，所述数据聚类包括：
确定所述数据的第一数据点和所述数据的第二数据点之间的第二距离，其中所述第二距离是三维欧几里得距离；以及
至少部分地基于所述距离来确定所述物体数据。
13.根据权利要求11或12所述的系统，其中所述物体为第一物体，并且其中：
与所述第一通道相关联的第一数据表示所述物体数据的第一部分；
与所述第二通道相关联的第二数据表示与所述第一物体不同的第二物体；以及
所述竖直距离表示所述第一数据和与所述第二数据相关联的射线之间的距离，其中所述射线至少部分地基于所述第二物体和与所述传感器相关联的位置。
14.根据权利要求11至13中任一项所述的系统，其中：
所述数据是由激光雷达传感器捕获的；
所述第二高度至少部分地基于所述激光雷达传感器的第一波束和所述激光雷达传感器的第二波束之间的竖直距离；以及
所述竖直距离至少部分地基于所述物体和与所述激光雷达传感器相关联的位置之间的距离。
15.根据权利要求11至14中任一项所述的系统，其中：
所述数据是与激光雷达传感器相关联的激光雷达数据；
所述二维数据表示的第一维度表示与所述激光雷达数据相关联的方位角仓；以及
所述二维数据表示的第二维度表示与所述激光雷达数据相关联的光束指数。
CN202080082470.0A 2019-11-27 2020-11-19 使用传感器数据进行高度估计 Pending CN114761298A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/698,055 2019-11-27
US16/698,055 US11614742B2 (en) 2019-11-27 2019-11-27 Height estimation using sensor data
PCT/US2020/061278 WO2021108215A1 (en) 2019-11-27 2020-11-19 Height estimation using sensor data

Publications (1)

Publication Number Publication Date
CN114761298A true CN114761298A (zh) 2022-07-15

Family

ID=75973992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080082470.0A Pending CN114761298A (zh) 2019-11-27 2020-11-19 使用传感器数据进行高度估计

Country Status (5)

Country Link
US (1) US11614742B2 (zh)
EP (1) EP4065442A4 (zh)
JP (1) JP2023505059A (zh)
CN (1) CN114761298A (zh)
WO (1) WO2021108215A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210181758A1 (en) 2019-10-26 2021-06-17 Zoox, Inc. Object detection and tracking
US11958502B2 (en) * 2020-09-29 2024-04-16 Waymo Llc Foreign object detection with surfel maps
US11807271B2 (en) * 2021-07-30 2023-11-07 Ford Global Technologies, Llc Method, system, and computer program product for resolving level ambiguity for radar systems of autonomous vehicles
EP4191274A1 (en) * 2021-12-03 2023-06-07 Aptiv Technologies Limited Radar-based estimation of the height of an object
US20230273308A1 (en) * 2022-01-31 2023-08-31 Qualcomm Incorporated Sensor based object detection
EP4249342A1 (en) * 2022-03-21 2023-09-27 TuSimple, Inc. Control subsystem and method to define the response of an autonomous vehicle to an unknown object

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8600589B2 (en) * 2012-04-24 2013-12-03 Exelis, Inc. Point cloud visualization of acceptable helicopter landing zones based on 4D LIDAR
KR20170028126A (ko) * 2015-09-03 2017-03-13 엘지전자 주식회사 차량 운전 보조 장치 및 차량
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10663581B2 (en) 2017-07-13 2020-05-26 GM Global Technology Operations LLC Detection systems and methods using ultra-short range radar
CN109716160B (zh) 2017-08-25 2022-12-02 北京航迹科技有限公司 用于检测车辆环境信息的方法和系统
US10503172B2 (en) 2017-10-18 2019-12-10 Luminar Technologies, Inc. Controlling an autonomous vehicle based on independent driving decisions
TWI651686B (zh) * 2017-11-30 2019-02-21 國家中山科學研究院 一種光學雷達行人偵測方法
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
US11747444B2 (en) * 2018-08-14 2023-09-05 Intel Corporation LiDAR-based object detection and classification

Also Published As

Publication number Publication date
WO2021108215A1 (en) 2021-06-03
EP4065442A1 (en) 2022-10-05
US20210157321A1 (en) 2021-05-27
US11614742B2 (en) 2023-03-28
JP2023505059A (ja) 2023-02-08
EP4065442A4 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
US10937178B1 (en) Image-based depth data and bounding boxes
US11215997B2 (en) Probabilistic risk assessment for trajectory evaluation
US11748909B2 (en) Image-based depth data and localization
US11276179B2 (en) Prediction on top-down scenes based on object motion
JP7350013B2 (ja) マスクを使用したデータセグメンテーション
US11021148B2 (en) Pedestrian prediction based on attributes
US10984543B1 (en) Image-based depth data and relative depth data
US11472442B2 (en) Map consistency checker
US11157774B2 (en) Depth data model training with upsampling, losses, and loss balancing
US11614742B2 (en) Height estimation using sensor data
WO2022081414A1 (en) Estimating ground height based on lidar data
US11227401B1 (en) Multiresolution voxel space
US11538185B2 (en) Localization based on semantic objects
US20220176988A1 (en) Determining inputs for perception system
WO2021096806A1 (en) Depth data model training with upsampling, losses, and loss balancing
US20230091924A1 (en) Associating image data and depth data for depth determination
US11761780B1 (en) Determining data for semantic localization
US11810370B2 (en) Techniques for identifying curbs
US12002217B1 (en) Detection box determination based on pixel clustering
US11906967B1 (en) Determining yaw with learned motion model
US11983933B1 (en) Boundary aware top-down trajectory prediction
US20230245336A1 (en) Distance representation and encoding
US20240098245A1 (en) Sensor calibration validation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination