CN116569070A - 用于分析动态LiDAR点云数据的方法和系统 - Google Patents

用于分析动态LiDAR点云数据的方法和系统 Download PDF

Info

Publication number
CN116569070A
CN116569070A CN202180081737.9A CN202180081737A CN116569070A CN 116569070 A CN116569070 A CN 116569070A CN 202180081737 A CN202180081737 A CN 202180081737A CN 116569070 A CN116569070 A CN 116569070A
Authority
CN
China
Prior art keywords
data
point cloud
image
lidar
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180081737.9A
Other languages
English (en)
Inventor
P·周
Y·唐
G·比内特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ergo Artificial Intelligence Co ltd
Original Assignee
Ergo Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ergo Artificial Intelligence Co ltd filed Critical Ergo Artificial Intelligence Co ltd
Publication of CN116569070A publication Critical patent/CN116569070A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种系统包括用于存储和检索LiDAR数据的计算机可读存储器。存储器包括一个或多个点云数据结构，每个点云数据结构包括第一头部块和多个点块。所述多个点块中的每个点块被配置为存储LiDAR点云数据的至少一部分。存储器包括一个或多个图像数据结构，该图像数据结构具有第二头部块和多个图像列块。每个图像列块包括来自LiDAR点云数据的对应图像的一列像素，并且图像列块共同包含对应图像的所有像素。

Description

用于分析动态LiDAR点云数据的方法和系统
交叉引用和优先权要求
本专利文件要求美国专利申请No.17/115,006的优先权，该申请于2020年12月8日提交并通过引用整体并入本文。
背景技术
现有的点云处理系统通常一次打开一个标准的点云文件格式，诸如例如.ply和.xyz文件。这使得连续将LiDAR数据流传输到这些点云处理系统中以可视化在一系列场景中捕获的数据变得困难。更确切地说，现有的点云处理系统通常仅限于分析静态场景点云数据。此外，专有LiDAR数据格式与现有点云处理系统使用的通用点云数据格式之间通常存在显著差异。因此，专有的点云可视化软件程序通常是为每个适用的LiDAR模型开发的。
本文档描述了针对解决上述问题和/或其它问题的方法和系统。
发明内容
在各种实施例中，一种系统包括电子设备和具有一个或多个编程指令的计算机可读介质。该系统从一个或多个自主车辆的一个或多个LiDAR传感器接收一帧或多帧LiDAR数据的流。LiDAR数据包括与一个或多个图像相关的点云数据。该系统将LiDAR数据的至少一部分指派到一个或多个点云数据结构中，并且每个点云数据结构包括第一头部块和多个点块。该系统将LiDAR数据的至少一部分指派到具有第二头部块和多个图像列块的一个或多个图像数据结构中。每个图像列块包括来自一个或多个图像中对应图像的一列像素，并且图像列块共同包含对应图像的所有像素。系统生成包括以下一项或多项的批：点云数据结构中的一个或多个，或图像数据结构中的一个或多个，并且系统将该批提供给点云处理系统。
该系统可以通过将LiDAR数据的至少一部分存储在多个点块中的每一个中来使电子设备将LiDAR数据的至少一部分指派到一个或多个点云数据结构中。第一头部块可以包括识别存储在多个点块中的LiDAR数据的源的源指示符。
对于每个点块，点云数据结构中的一个或多个可以包括尺寸块，其紧接在对应点块之前并且包括对应点块的尺寸的指示符。
多个点块中的一个或多个可以包括点块的尺寸的指示符。
第一头部块可以包括指示点云数据结构的数据类型的数据类型指示符。
第一头部块可以包括跟随者指示符，其识别在存储器中跟随点云数据结构的数据结构的数据类型。
该系统可以通过将LiDAR数据的至少一部分存储在多个图像列块中的每一个中来使电子设备将LiDAR数据的至少一部分指派到一个或多个图像数据结构中。第二头部可以包括识别存储在多个图像列块中的LiDAR数据的源的源指示符。
第二头部块可以包括指示图像数据结构的数据类型的数据类型指示符。
第二头部块可以包括跟随者指示符，其识别在存储器中跟随图像数据结构的数据结构的数据类型。
第二头部块可以包括对应图像数据结构存储了多少图像列的指示。
第二头部块可以包括图像列块中的一个或多个的尺寸的指示。
在各种实施例中，系统包括用于存储和检索LiDAR数据的计算机可读存储器。存储器包括一个或多个点云数据结构，每个点云数据结构包括第一头部块和多个点块。多个点块中的每一个被配置为存储LiDAR点云数据的至少一部分。存储器包括一个或多个图像数据结构，该图像数据结构具有第二头部块和多个图像列块。每个图像列块包括来自LiDAR点云数据的对应图像的一列像素，并且图像列块共同包含对应图像的所有像素。
附图说明
图1图示了处理LiDAR点云数据的示例方法的流程图。
图2A和图2B图示了示例点云数据结构。
图3图示了点云数据结构的头部块的示例组织。
图4A图示了示例LiDAR点云数据流。
图4B和图4C图示了示例点云数据结构。
图5图示了示例图像数据结构。
图6图示了图像数据结构的头部块的示例组织。
图7图示了示例批。
图8图示了示例批。
图9是图示示例自主车辆系统的框图。
图10图示了示例车辆控制器系统。
图11示出了示例LiDAR系统。
图12是图示可能的电子系统、子系统、控制器和/或AV的其它组件和/或外部电子设备的各种元件的框图。
具体实施方式
如本文档中所使用的，单数形式“一个”、“一种”和“该”包括复数引用，除非上下文另有明确规定。除非另有定义，否则本文使用的所有技术和科学术语具有与本领域普通技术人员普遍理解的相同含义。如本文所使用的，术语“包括”是指“包括但不限于”。与本文档相关的附加术语的定义包括在具体实施方式的末尾。
本文档描述了一种新颖的点云数据结构和图像数据结构，其可以用于经由一个或多个数据通道将LiDAR数据流式传输到一个或多个点云处理系统。如下面更详细讨论的，LiDAR数据点可以分配给(一个或多个)数据结构，这促进它在持续的基础上流传输到一个或多个点云处理系统中，用于各种目的，诸如例如可视化和分析目的。
图1图示了根据实施例的处理LiDAR点云数据的示例方法的流程图。如图1所示，自主车辆可以捕获100LiDAR点云数据。自主车辆可以经由一个或多个LiDAR传感器捕获LiDAR点云数据。LiDAR点数据可以被捕获100作为一个或多个帧。例如，垂直2D LiDAR传感器可以通过在空间中沿着平行轴旋转来扫描圆柱空间。传感器获得的LiDAR点数据可以是帧的格式，其可以包括传感器在每次获得测量时传感器的测量。因此，自主车辆可以捕获100配置在一个或多个帧中的LiDAR点数据的数据集。当LiDAR传感器运行时，自主车辆可以连续捕获100LiDAR点数据。
自主车辆可以将捕获的帧的至少一部分发送102到一个或多个电子设备。在各种实施例中，自主车辆可以在连续(或基本连续)的基础上向一个或多个电子设备发送102捕获的帧。以这种方式，自主车辆可以将捕获的LiDAR点云数据流传输到一个或多个电子设备。电子设备可以远离自主车辆，并且可以是点云分析平台或其它系统或平台的一部分。
在各种实施例中，一个或多个电子设备可以从一个或多个自主车辆接收捕获的帧。自主车辆可以是同一车队的一部分，或者它们可以不是同一车队的一部分。与这些自主车辆相关联的LiDAR数据格式之间可以存在差异。例如，一些自主车辆可以支持专有数据格式，而其它自主车辆可以支持不同的专有数据格式。为了使两个自主车辆捕获的LiDAR数据被可视化和/或以其它方式由点云处理系统进行分析或处理，可以将这个数据翻译成共用格式。
如下文更详细描述的，这个共用格式可以包括一个或多个数据结构。数据结构是指以某种格式组织、管理和/或存储数据集合的存储器的布置。数据结构可以包括一个或多个块。块是指其中存储特定信息的数据结构的条目。数据结构的块可以被布置或配置为使得能够高效地访问和/或修改存储在块内的数据。
一个或多个电子设备可以基于与所发送的帧相关联的LiDAR点云数据的至少一部分来构造104点云数据结构。
图2A图示了示例点云数据结构。如图2A中所示，点云数据结构可以包括头部块200、一个或多个点块202a-N和一个或多个尺寸块204a-N。点块202a-N是指存储点云数据的至少一部分的数据结构的块。尺寸块204a-N是指存储对应点块202a-N的尺寸的指示符的数据结构的块。
每个点块202a-N可以与在点云数据结构中紧接其之前的尺寸块204a-N相关联。尺寸块204a-N可以是存储其对应的点块的尺寸的指示符的块。点云数据结构的最后一个块206可以是指示LiDAR扫掠的结束的值。例如，如图2A中所示，最后一个块206可以具有值“0”。
每个点块202a-N可以包括关于获得的LiDAR点的信息，诸如例如相关联的坐标值。坐标值可以包括笛卡尔坐标系中的x、y、z值。坐标值可以包括球坐标系中的方位角坐标和/或仰角坐标。
图2B图示了替代点云数据结构的示例。如图2B中所示，点云数据结构可以包括头部块200和一个或多个点块202a-N。如图2B中所示，图2B中所示的示例点云数据结构可以存储适用点块内点块的尺寸的指示符，而不是具有单独的尺寸块。
图3图示了点云数据结构的头部块200的示例组织。头部块是指存储与数据结构相关的信息或数据的数据结构的块。如图3中所示，头部块200可以包括类型部分300、版本部分302、源部分304、跟随者部分306和/或保留部分308。部分可以指头部块的某个分区或片段。部分还可以指包括在头部块中的信息。
类型部分300可以包括与数据结构相关联的数据类型的指示符。例如，关于点云数据结构，数据类型部分可以包括数据类型是点云数据结构的指示符。版本部分302可以包括数据结构的版本的指示符，诸如例如用于版本控制的目的。源部分304可以包括原始LiDAR点数据的源的指示符。示例源可以包括例如短程LiDAR、远程LiDAR等。跟随者部分306可以包括在存储器中跟随当前数据结构的数据结构的类型的指示符。例如，如果在存储器中跟随第一点云数据结构的是第二点云数据结构，那么第一点云数据结构的头部的跟随者部分可以包括在存储器中跟随第一点云数据结构的数据结构是点云数据结构的指示。作为另一个示例，如果在存储器中跟随点云数据结构的是图像数据结构(如下文更详细描述的)，那么点云数据结构的头部的跟随者部分可以包括在存储器中跟随第一点云数据结构的数据结构是图像数据结构的指示。
在各种实施例中，保留部分308可以用作未来字段或未来可以添加到数据结构的部分的占位符。
可以构造点云数据结构以容纳无限数量的点块202a-N，因为点云数据结构可以基于LiDAR点云数据的流来构造。因此，点云数据结构可以支持点块和尺寸块的增量构造。
在各种实施例中，一个或多个电子设备可以通过将接收到的LiDAR点云数据的至少一部分分配给点云数据结构的一个或多个点块来构造104点云数据结构，使得这种LiDAR点云数据填充此类点块。例如，对于接收到的每个帧，一个或多个电子设备可以用该帧内的LiDAR点云数据填充点云数据结构的点块。一个或多个电子设备可以用点云中的点数填充与点块相关联的尺寸块。
图4A图示了具有两个帧的示例LiDAR点云数据流，帧1 400和帧2 402。帧1 400包括点云数据点1 404、点云数据点2 406和点云数据点3 408，而帧2 402包括点云数据点4410和点云数据点5 412。
图4B图示了包括帧1 400的示例点云数据结构。如图4B中所示，帧1400的点云数据点(点云数据点1、点云数据点2和点云数据点3)已被添加到点块1 414。与点块1 414相关联的尺寸块1 416填充有存储在点块1中的点云数据点的数量(即，“3”)。图4C图示了包括帧1400和帧2 402的示例点云数据结构。
返回去参考图1，一个或多个电子设备可以基于与由自主车辆发送的帧相关联的LiDAR点云数据的至少一部分来构造106图像数据结构。图像数据结构可以被制定为具有一个或多个头部列和一个或多个图像列。图5图示了示例图像数据结构。
如图5中所示，图像数据结构可以包括头部块500和一个或多个图像列块502a-N。图像列块502a-N是指存储与LiDAR数据相关联的一个或多个像素的数据结构的块。图像数据结构可以是基于像素块的像素结构。可以构造图像数据结构以容纳无限数量的像素列。因此，图像数据结构可以支持像素列的增量构造。
每个图像列块502a-N可以存储对应图像的像素列，其与一个或多个LiDAR传感器的垂直捕获对应。对应的图像可以是由LiDAR数据点云数据的帧表示的图像。每个帧可以表示独特的图像。
图6图示了图像数据结构的头部块200的示例组织。如图6中所示，头部块500可以包括类型部分600、版本部分602、源部分604、跟随者部分606、行部分608、列部分610、格式部分612和保留部分614。
类型部分600可以指示数据结构的数据类型。例如，关于图像数据结构，数据类型部分可以包括数据类型是图像数据结构的指示符。版本部分602可以被用于指示数据结构的版本，诸如例如出于版本控制的目的。源部分604可以指示原始LiDAR点数据的源。示例源可以包括例如短程LiDAR、远程LiDAR等。
跟随者部分606可以指示跟随当前数据结构的数据结构的类型。例如，如果在存储器中跟随第一图像数据结构的是第二图像数据结构，那么第一图像数据结构的头部的跟随者部分可以包括在存储器中跟随第一图像数据结构的数据结构是图像数据结构的指示。作为另一个示例，如果在存储器中跟随图像数据结构是点云数据结构，那么图像数据结构的头部的跟随者部分可以包括在存储器中跟随图像数据结构的数据结构是点云数据结构的指示。
保留部分614可以用作未来字段或未来可以添加到数据结构的部分的占位符。
行部分608可以包括数据结构中有多少图像列的指示。列部分610可以包括图像列的尺寸的指示。格式部分612可以包括图像列内每个元素的格式的指示。
可以构造图像数据结构以容纳无限数量的图像列，因为可以将图像数据结构设计为与LiDAR数据的帧流相匹配的基于像素列块的像素结构。因此，图像数据结构可以支持像素列的增量构造。
在各种实施例中，一个或多个电子设备可以通过将接收到的LiDAR点云数据的至少一部分分配给图像数据结构的一个或多个块来构造106图像数据结构。例如，对于接收到的每个帧，一个或多个电子设备可以用与帧内的LiDAR点云数据对应的像素的至少一部分来填充图像数据结构的图像列块。
在各种实施例中，点云数据结构和图像数据结构可以各自被称为“实体”。实体可以单独地或作为链接的对或多个提供给点云处理和/或分析系统。链接的一对或多个实体可以被称为“单元”。在单元内，一个或多个实体可以包括关于另一个实体是否在该单元中跟随实体的指示。
一个或多个电子设备可以向点云处理系统提供108批。点云分析点云处理系统是指具有一个或多个电子设备和/或存储器设备的系统，这些设备被配置为接受点云数据和/或其它图像数据并将这个数据变换成可视化、动画、模型和/或其它视觉表现。
批可以包括零个或更多个点云数据结构和/或图像数据结构。批可以包括对包括何种(一个或多个)实体(例如，点云数据结构或图像数据结构)的指示。
图7图示了根据各种实施例的示例批。如图7中所示，从第一LiDAR 700的一个或多个传感器接收批712的单元704，而从第二LiDAR 702的一个或多个传感器接收批的单元706。如上所述，可以将批712的至少一部分提供给点云处理系统710。
图8图示了根据各种实施例的另一个示例批。如图8中所示，批800可以包括两个点云数据结构802、804和两个图像数据结构806、808。每个数据结构的跟随者部分可以包括批中跟随它的数据结构的指示。例如，点云数据结构802的头部的跟随者部分可以包括点云数据结构804在批800中跟随它的指示。类似地，点云数据结构804的头部的跟随者部分可以包括图像数据结构806在批中跟随它的指示。批中最后一个数据结构(例如，图像数据结构808)的头部的跟随者部分可以包括没有后续跟随者的指示。例如，跟随者部分可以包括“0”、空值或某个其它指示符。
点云处理系统可以处理批的至少一部分以生成点云数据的一个或多个可视化。例如，点云处理系统可以将一个或多个算法和/或模型应用于批的至少一部分以生成数据的一个或多个可视化。这些可视化可以包括但不限于一个或多个3D模型、一个或多个动画等。点云处理系统可以使一个或多个可视化显示在显示设备上。因此，可以持续地从各种LiDAR源接收点云数据，将其变换成共用格式，并提供给点云处理系统，以便可以可视化捕获的点云数据。
图9是图示示例系统900的框图，该示例系统900包括经由网络910与一个或多个数据存储库902和/或一个或多个服务器903通信的自主车辆901。虽然示出了一个自主车辆，但是多个自主车辆可以通过网络910彼此耦合和/或耦合到数据存储库902和/或服务器903。网络910可以是任何类型的网络，诸如局域网(LAN)、广域网(WAN)(诸如互联网)、蜂窝网络、卫星网络或其组合，并且可以是有线的或无线的。(一个或多个)数据存储库902可以是任何种类的数据存储库，诸如但不限于(一个或多个)地图数据存储库、(一个或多个)交通信息数据存储库、(一个或多个)用户信息数据存储库、(一个或多个)兴趣点数据存储库，或任何其它类型的(一个或多个)内容数据存储库。(一个或多个)服务器903可以是任何种类的服务器或服务器的集群，诸如但不限于Web或云服务器、应用服务器、后端服务器或其组合。
如图9中所示，自主车辆901可以包括传感器系统911、车载计算设备912、通信接口914和用户接口915。自主车辆901还可以包括车辆中包括的某些组件(例如，如图10中所示)，诸如发动机、车轮、方向盘、变速器等，这些组件可以由车载计算设备控制912使用各种通信信号和/或命令(诸如例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等)控制。
传感器系统911可以包括耦合到自主车辆901和/或包括在自主车辆901内的一个或多个传感器。此类传感器的示例包括但不限于LiDAR系统、无线电检测和测距(RADAR)系统、激光检测和测距(LADAR)系统、声音导航和测距(SONAR)系统、一个或多个相机(例如，可见光谱相机，红外相机等)、温度传感器、位置传感器(例如，全球定位系统(GPS)等)、位置传感器、燃料传感器、运动传感器(例如，惯性测量单元(IMU)等)、湿度传感器、占用传感器等。传感器数据可以包括描述物体在自主车辆901的周围环境中的位置的信息、关于环境本身的信息、关于自主车辆901的运动的信息、关于自主车辆的路线的信息等。当自主车辆901在表面上行驶时，传感器中的至少一些可以收集关于该表面的数据。
LiDAR系统可以包括传感器，该传感器被配置为感测或检测自主车辆901所在的环境中的物体和/或行动者。一般而言，LiDAR系统是结合了光学遥感技术的设备，该技术可以通过用光照亮目标来测量到目标的距离和/或目标(例如，地面)的其它特性。作为示例，LiDAR系统可以包括被配置为发射激光脉冲的激光源和/或激光扫描仪以及被配置为接收激光脉冲的反射的检测器。例如，LiDAR系统可以包括由旋转镜反射的激光测距仪，并且激光在一个、两个或更多个维度上围绕被数字化的场景进行扫描，从而以指定的角度间隔搜集距离测量。例如，LiDAR系统可以被配置为发射激光脉冲作为波束。可选地，可以扫描波束以生成二维或三维范围矩阵。在示例中，范围矩阵可以被用于通过测量脉冲的传输与和相应反射信号的检测之间的时间延迟来确定到给定车辆或表面的距离。在一些示例中，多于一个LiDAR系统可以耦合到第一车辆以扫描第一车辆的完整360°地平线。LiDAR系统可以被配置为向计算设备提供表示已经被激光击中的(一个或多个)表面的点数据云。除了范围之外，LiDAR系统还可以根据方位角和仰角来表示这些点，这些点可以被转换成相对于附接到车辆的局部坐标系的(X，Y，Z)点数据。此外，LiDAR可以被配置为提供从可以指示表面类型的表面反射的光或激光的强度值。在示例中，LiDAR系统可以包括诸如光(例如，激光)源、扫描仪和光学器件、光电检测器和接收器电子设备以及定位和导航系统之类的组件。在示例中，LiDAR系统可以被配置为使用紫外(UV)、可见或红外光对物体成像，并且可以与范围广泛的目标(包括非金属物体)一起使用。在一个示例中，窄激光束可以被用于以高分辨率映射物体的物理特征。
应当注意的是，用于收集与表面相关的数据的LiDAR系统可以包括在自主车辆901以外的系统中，诸如但不限于其它车辆(自主或被驾驶)、机器人、卫星等。
图10图示了车辆1001(诸如图1自主车辆的自主车辆901)的示例系统体系架构。车辆1001可以包括发动机或马达1002和用于测量车辆和/或其环境的各种参数的各种传感器。两种类型的车辆共用的运行参数传感器包括例如：位置传感器1036，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器1038；以及里程表传感器1040。车辆1001还可以具有时钟1042，系统体系架构使用时钟1042来确定操作期间的车辆时间。时钟1042可以被编码到车辆车载计算设备1012中，它可以是单独的设备，或者多个时钟可以是可用的。
车辆1001还可以包括操作以搜集关于车辆在其中行驶的环境的信息的各种传感器。这些传感器可以包括例如：位置传感器1060(诸如GPS设备)；物体检测传感器，诸如一个或多个相机1062；LiDAR传感器系统1064；和/或雷达和/或声纳系统1066。传感器还可以包括环境传感器1068，诸如降水传感器和/或环境温度传感器。物体检测传感器可以使车辆1001能够检测在任何方向上车辆1001的给定距离或范围内的物体，而环境传感器收集关于车辆的行驶区域内的环境条件的数据。该系统体系架构还将包括一个或多个用于捕获环境图像的相机1062。
在操作期间，信息从传感器传送到车载计算设备1012。车载计算设备1012分析由传感器捕获的数据并基于分析的结果选择性地控制车辆的操作。例如，车载计算设备1012可以：经由制动控制器1022控制制动；经由转向控制器1024控制方向；经由油门控制器1026(在汽油动力车辆中)或马达速度控制器1028(诸如电动车辆中的电流水平控制器)控制速度和加速度；经由差动齿轮控制器1030(在具有变速器的车辆中)进行控制；和/或经由其它控制器(诸如辅助设备控制器1054)进行控制。
地理位置信息可以从位置传感器260传送到车载计算设备1012，然后车载计算设备1012可以访问与位置信息对应的环境的地图以确定环境的已知固定特征(诸如街道，建筑物、停车标志和/或停/走信号)。从相机1062捕获的图像和/或从诸如LiDAR系统1064之类的传感器捕获的物体检测信息从那些传感器传送到车载计算设备1012。物体检测信息和/或捕获的图像可以由车载计算设备1012处理，以检测车辆1001附近的物体。此外或可替代地，车辆1001可以将任何数据传输到远程服务器系统903(图1)以供处理。用于基于传感器数据和/或捕获的图像进行物体检测的任何已知或将要已知的技术可以用于本文档中公开的实施例中。
车载计算设备1012可以获得、检索和/或创建提供关于自主车辆1001的周围环境的详细信息的地图数据。车载计算设备1012还可以基于例如三维位置数据(例如，来自GPS的数据)、三维朝向数据、预测的位置等来确定环境中AV的位置、朝向、姿态等(定位)。例如，车载计算设备1012可以接收GPS数据以确定AV的纬度、经度和/或高度位置。其它位置传感器或系统(诸如基于激光的定位系统、惯性辅助的GPS或基于相机的定位)也可以被用于识别车辆的位置。车辆的位置可以包括绝对地理位置(诸如纬度、经度和海拔高度)，以及相对位置信息(诸如相对于紧邻其周围的其它汽车的位置，这通常可以以比绝对地理位置以更少的噪声来确定)。地图数据可以提供关于以下方面的信息：不同道路、路段、车道段、建筑物或其它项的身份和位置；交通车道的位置、边界和方向(例如，特定道路内的停车车道、转弯车道、自行车车道或其它车道的位置和方向)以及与交通车道相关联的元数据；交通控制数据(例如，标志、交通灯或其它交通控制设备的位置和说明)；和/或提供帮助车载计算设备1012分析自主车辆1001周围环境的信息的任何其它地图数据。
在某些实施例中，地图数据还可以包括与车辆沿着一条或多条车道行驶的常见模式对应的参考路径信息，使得物体的运动被约束到参考路径(例如，物体通常在其上行驶的交通车道内的位置)。此类参考路径可以是预定义的，诸如交通车道的中心线。可选地，可以基于一段时间内对车辆或其它物体的历史观察来生成参考路径(例如，用于直线行驶、车道合并、转弯等的参考路径)。
在某些实施例中，车载计算设备1012还可以包括和/或可以接收与用户的旅行或路线相关的信息、路线上的实时交通信息等。
车载计算设备1012可以包括和/或可以与选路控制器1031通信，选路控制器1031为自主车辆生成从起始位置到目的地位置的导航路线。选路控制器1031可以访问地图数据存储库以识别车辆可以行驶以从起始位置到达目的地位置的可能路线和路段。选路控制器1031可以对可能的路线进行评分并且识别到达目的地的优选路线。例如，选路控制器1031可以生成最小化欧几里德行驶距离或路线期间的其它成本函数的导航路线，并且还可以访问交通信息和/或可以影响其在特定路线上行驶将花费的时间量的估计。取决于实施方式，选路控制器1031可以使用各种选路方法生成一条或多条路线，诸如Dijkstra算法、Bellman-Ford算法或其它算法。选路控制器1031还可以使用交通信息来生成反映路线的预期条件(例如，当前星期几或一天中的当前时间等)的导航路线，使得为在高峰时间期间行驶而生成的路线可以与为深夜旅行生成的路线不同。选路控制器1031还可以生成多于一条到达目的地的导航路线，并将这些导航路线中的多于一条发送给用户，以供用户从各种可能的路线中选择。
在各种实施例中，车载计算设备1012可以确定自主车辆1001的周围环境的感知信息。基于由一个或多个传感器提供的传感器数据和获得的位置信息，车载计算设备1012可以确定自主车辆1001的周围环境的感知信息。感知信息可以表示普通驾驶员在车辆的周围环境中将感知到什么。感知数据可以包括与自主车辆1001的环境中的一个或多个物体相关的信息。例如，车载计算设备1012可以处理传感器数据(例如，LiDAR或RADAR数据、相机图像等)以便识别自主车辆1001的环境中的物体和/或特征。物体可以包括交通信号、道路边界、其它车辆、行人和/或障碍物等。车载计算设备1012可以使用任何现在或以后已知的物体识别算法、视频跟踪算法和计算机视觉算法(例如，在多个时间段内逐帧迭代地跟踪物体)以确定感知。
在一些实施例中，车载计算设备1012还可以针对环境中的一个或多个识别出的物体确定物体的当前状态。对于每个物体，状态信息可以包括但不限于：当前位置；当前速度和/或加速度，当前航向；当前姿势；当前形状、尺寸或足迹；类型(例如，车辆对行人对自行车对静态物体或障碍物)；和/或其它状态信息。
车载计算设备1012可以执行一个或多个预测和/或预报操作。例如，车载计算设备1012可以预测一个或多个物体的未来位置、轨迹和/或动作。例如，车载计算设备1012可以至少部分地基于感知信息(例如，每个物体的状态数据，包括如下面讨论确定的估计的形状和姿势)、位置信息、传感器数据和/或描述物体、自主车辆1001、周围环境和/或其(一个或多个)关系的过去和/或当前状态的任何其它数据来预测物体的未来位置、轨迹和/或动作。例如，如果物体是车辆并且当前驾驶环境包括十字路口，那么车载计算设备1012可以预测物体是可能直行还是转弯。如果感知数据指示十字路口没有红绿灯，那么车载计算1012还可以预测车辆在进入十字路口之前是否必须完全停止。
在各种实施例中，车载计算设备1012可以确定用于自主车辆的运动计划。例如，车载计算设备1012可以基于感知数据和/或预测数据确定用于自主车辆的运动计划。具体而言，给定关于附近物体的未来位置的预测和其它感知数据，车载计算设备1012可以确定用于自主车辆1001的运动计划，该运动计划相对于物体未来位置处的物体最好地导航自主车辆。
在一个或多个实施例中，车载计算设备1012可以接收预测并做出关于如何处置自主车辆1001环境中的物体和/或行动者的决定。例如，对于特定的行动者(例如，具有给定速度、方向、转向角等的车辆)，车载计算设备1012基于例如交通状况、地图数据、自主车辆的状态等来决定是否超车、让行、停车和/或通过(pass)。此外，车载计算设备1012还规划自主车辆1001在给定路线上行驶的路径，以及驾驶参数(例如，距离、速度和/或转弯角度)。即，对于给定的物体，车载计算设备1012决定对该物体做什么并确定如何做。例如，对于给定的物体，车载计算设备1012可以决定通过该物体并且可以确定是在物体的左侧还是右侧通过(包括诸如速度之类的运动参数)。车载计算设备1012还可以评估检测到的物体与自主车辆1001之间发生碰撞的风险。如果风险超过可接受的阈值，那么可以确定如果自主车辆遵循定义的车辆轨迹和/或在预定义的时间段(例如，N毫秒)内执行一个或多个动态生成的紧急机动动作，那么是否可以避免碰撞。如果可以避免碰撞，那么车载计算设备1012可以执行一个或多个控制指令以执行谨慎机动动作(例如，适度减速、加速、改变车道或转弯)。相反，如果不能避免碰撞，那么车载计算设备912可以执行一个或多个控制指令以执行紧急机动动作(例如，制动和/或改变行驶方向)。
如上面所讨论的，生成有关自主车辆的移动的规划和控制数据以供执行。车载计算设备1012可以例如经由制动控制器控制制动；通过转向控制器控制方向；经由油门控制器(在汽油动力车辆中)或马达速度控制器(诸如电动车辆中的电流水平控制器)；差速器控制器(在带有变速器的车辆中)；和/或其它控制器控制速度和加速度。
在本文档中讨论的各种实施例中，描述可以说明车辆或车辆中(例如，车载计算系统中)包括的控制器可以实现使车辆和/或控制器做出决定并使用决定来控制车辆的操作的编程指令。但是，实施例不限于这种布置，因为在各种实施例中，分析、做出决定和/或运行控制可以全部或部分地由与车辆的车载计算设备和/或车辆控制系统电子通信的其它计算设备处置。此类其它计算设备的示例包括与乘坐车辆的人相关联的电子设备(诸如智能电话)，以及经由无线通信网络与车辆进行电子通信的远程服务器。任何此类设备的处理器都可以执行下面将要讨论的操作。
返回参考图9，通信接口914可以被配置为允许自主车辆901和外部系统(诸如例如外部设备、传感器、其它车辆、服务器、数据存储库、数据库等)之间的通信。通信接口914可以利用任何现在或以后已知的协议、保护方案、编码、格式、包装等，诸如但不限于Wi-Fi、红外链路、蓝牙等。用户接口系统915可以是在车辆901内实现的外围设备的一部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
图11示出了如可以在各种实施例中使用的示例LiDAR系统1101。如图11中所示，LiDAR系统1101包括壳体1105，壳体1105可以绕中心轴(诸如轮毂或车轴1118)旋转360°。壳体可以包括由对光透明的材料制成的发送器/接收器孔隙1111。虽然图11中所示的示例具有单个孔隙，但在各种实施例中，可以提供用于发射和/或接收光的多个孔隙。无论哪种方式，系统都可以通过(一个或多个)孔隙1111中的一个或多个发射光，并在壳体1105绕内部组件旋转时接收朝着(一个或多个)孔隙1111中的一个或多个返回的反射光。在替代实施例中，壳体1105的外壳可以是固定圆顶，至少部分地由对光透明的材料制成，具有在壳体1105内部的可旋转组件。
在旋转壳体或固定圆顶内部是光发射器系统1104，该系统被配置和定位成经由一个或多个激光发射器芯片或其它发光设备生成和发射光的脉冲通过孔隙1111或通过壳体1105的透明圆顶。发射器系统1104可以包括任何数量的单独发射器，包括例如8个发射器、64个发射器或128个发射器。发射器可以发射强度基本相同或强度变化的光。由1104发射各个波束将具有明确定义的偏振状态，该状态在整个阵列中不相同。作为示例，一些波束可以具有垂直偏振，而其它光束可以具有水平偏振。LiDAR系统还将包括光检测器1108，光检测器1108包含被定位和配置为接收反射回系统中的光的光电检测器或光电检测器的阵列。发射器系统1104和检测器1108将与旋转的外壳一起旋转，或者它们将在壳体1105的固定圆顶内旋转。一个或多个光学元件结构1109可以定位在光发射单元1104和/或检测器1108的前面以用作聚焦和引导通过光学元件结构1109的光的一个或多个透镜或波片。
一个或多个光学元件结构1109可以定位在反射镜302的前面以聚焦和引导穿过光学元件结构1109的光。如下所示，系统包括光学元件结构1109，其定位在反射镜1103的前面并连接到系统的旋转元件，使得光学元件结构1109与反射镜1102一起旋转。可替代地或附加地，光学元件结构1109可以包括多个这样的结构(例如，透镜和/或波片)。可选地，多个光学元件结构1109可以布置在壳部分1111上或与壳部分1111成一体的阵列中。
可选地，每个光学元件结构1109可以包括将系统接收的光与系统生成的光分开的分束器。分束器可以包括例如四分之一波或半波波片以执行分离并确保接收到的光被引导到接收器单元而不是发射器系统(这可以在没有这种波片的情况下发生，因为发射的光与接收的光应当表现出相同或相似的偏振)。
LiDAR系统将包括为激光发射器单元1104供电的电力单元1121、马达1103和电子组件。LiDAR系统还将包括分析器1115，其具有诸如处理器1122和非暂态计算机可读存储器1123之类的元件，存储器包含编程指令，这些指令被配置为使系统能够接收由光检测器单元收集的数据，对其进行分析以测量接收到的光的特性，并生成连接的系统可以用来做出有关在收集数据的环境中操作的决定的信息。可选地，分析器1115可以如图所示与LiDAR系统1101成一体，或者它的一些或全部可以在LiDAR系统外部并且经由有线或无线通信网络或链路通信连接到LiDAR系统。
图12描绘了可以包括在系统的任何电子组件中的内部硬件的示例，诸如AV的内部处理系统、外部监视和报告系统或远程服务器。电气总线1200用作互连硬件的其它所示组件的信息高速公路。处理器1205是系统的中央处理设备，被配置为执行为了执行程序指令所需的计算和逻辑运算。如本文档和权利要求中所使用的，术语“处理器”和“处理设备”可以指单个处理器或处理器的集合中共同执行操作的集合的任何数量的处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、远程服务器或这些的组合。只读存储器(ROM)、随机存取存储器(RAM)、闪存、硬盘驱动器和其它能够存储电子数据的设备构成存储器设备1225的示例。存储器设备可以包括存储数据和/或指令的单个设备或设备的集合。本发明的各种实施例可以包括包含编程指令的计算机可读介质，这些编程指令被配置为使一个或多个处理器执行在前面附图的上下文中描述的功能。
可选的显示接口1230可以允许来自总线1200的信息以视觉、图形或字母数字格式显示在显示设备1235上，诸如在车辆的仪表板内显示系统上。还可以提供音频接口和音频输出(诸如扬声器)。可以使用各种通信设备1240与外部设备进行通信，通信设备诸如无线天线、射频识别(RFID)标签和/或短程或近场通信收发器，它们中的每一个都可以可选地经由一个或多个通信系统与设备的其它组件通信连接。(一个或多个)通信设备1240可以被配置为通信连接到通信网络，诸如互联网、局域网或蜂窝电话数据网络。
硬件还可以包括允许从诸如键盘或小键盘、操纵杆、触摸屏、触摸板、遥控器、指点设备和/或麦克风之类的输入设备1250接收数据的用户接口面传感器1245。也可以从可以捕获视频和/或静止图像的相机1220接收数字图像帧。该系统还可以从诸如加速度计、陀螺仪或惯性测量单元之类的运动和/或位置传感器1270接收数据。该系统还可以从LiDAR系统1260接收数据，诸如本文档中前面所述。
上面公开的特征和功能以及替代方案可以组合到许多其它不同的系统或应用中。各种组件可以以硬件或软件或嵌入式软件来实现。本领域技术人员可以做出各种目前无法预见或未预料到的替代、修改、变化或改进，其中每一个也旨在被所公开的实施例所涵盖。
与上面提供的公开相关的术语包括：
“自动化设备”或“机器人设备”是指包括处理器、编程指令和一个或多个组件的电子设备，这些组件基于来自处理器的命令可以在最少或没有人为干预的情况下执行至少一些操作或任务。例如，自动化设备可以执行一个或多个自动功能或功能集。此类操作、功能或任务的示例可以包括但不限于导航、运输、驾驶、交付、装载、卸载、医疗相关过程、建筑相关过程等。示例自动化设备可以包括但不限于自主车辆、无人机和其它自主机器人设备。
术语“车辆”是指能够携带一个或多个人类乘员和/或货物并由任何形式的能量提供动力的任何移动形式的交通工具。术语“车辆”包括但不限于汽车、卡车、货车、火车、自主车辆、飞机、无人机等。“自主车辆”是无需人工操作即可由处理器控制的具有处理器、编程指令和动力传动系统组件的车辆。自主车辆可以是完全自主的，因为它不要求人类操作者来完成大部分或所有驾驶条件和功能，或者它可以是半自主的，因为在某些情况下或对于某些操作可以要求人类操作者，或者人类操作者可以超越车辆的自主系统并可以控制车辆。自主车辆还包括自主系统增强车辆的人类操作的车辆，诸如具有驾驶员辅助转向、速度控制、制动、停车和其它系统的车辆。
在本文档中，术语“街道”、“车道”和“交叉路口”以在一条或多条道路上行驶的车辆为例进行说明。但是，这些实施例旨在包括其它位置的车道和交叉路口，诸如停车区。此外，对于被设计为在室内使用的自主车辆(诸如仓库中的自动拣选设备)，街道可以是仓库的走廊并且车道可以是走廊的一部分。如果自主车辆是无人驾驶飞机或其它飞行器，那么术语“街道”可以表示航线，而车道可以是航线的一部分。如果自主车辆是船只，那么术语“街道”可以表示水路，而车道可以是水路的一部分。
“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者处理器和/或存储器可以与虚拟机或容器布置中的其它设备共享。存储器将包含或接收编程指令，指令在由处理器执行时使电子设备根据编程指令执行一个或多个操作。
术语“存储器”、“存储器设备”、“数据存储库”、“数据存储设施”等每个都是指计算机可读数据、编程指令或两者都存储在其上的非暂态设备。除非另有明确说明，否则术语“存储器”、“存储器设备”、“数据存储库”、“数据存储设施”等旨在包括单个设备实施例、其中多个存储器设备一起或共同存储数据或指令集的实施例，以及此类设备中的各个部分。
术语“物体”在指由车辆感知系统检测到或由模拟系统模拟的物体时旨在涵盖静止物体和移动(或潜在地移动)行动者两者，除非通过术语“行动者”或“静止物体”的术语使用另有明确说明。
术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件组件。除非另有明确说明，否则单数术语“处理器”或“处理设备”旨在包括单个处理设备实施例和其中多个处理设备一起或共同执行过程的实施例。
在本文档中，术语“通信链路”和“通信路径”表示第一设备经由其向一个或多个其它设备发送通信信号和/或从一个或多个其它设备接收通信信号的有线或无线路径。如果设备能够经由通信链路发送和/或接收数据，那么设备是“通信连接的”。“电子通信”是指经由一个或多个信号在两个或更多个电子设备之间传输数据，无论是通过有线网络还是无线网络，以及无论是直接还是经由一个或多个中间设备间接地。
在本文档中，当使用诸如“第一”和“第二”之类的相关次序术语来修饰名词时，这种用法只是为了区分一个项与另一个项，而不是旨在要求顺序次序，除非特别说明。
此外，诸如“垂直”和“水平”，或“前”和“后”之类的相对位置的术语在使用时是指相对于彼此而不必是绝对的，并且仅指与那些术语相关联的设备的取决于设备的朝向的一种可能位置。当本文档使用术语“前部”、“后部”和“侧面”来指代车辆的区域时，它们是指车辆的相对于车辆默认行驶区域的区域。例如，汽车的“前部”是比车辆尾灯更靠近车辆前照灯的区域，而汽车的“后部”是比车辆的前照灯更靠近车辆的尾灯的区域。此外，术语“前”和“后”不一定限于前向或后向区域，而是还分别包括比后部更靠近前部的侧面区域，反之亦然。车辆的“侧面”旨在指车辆的最前部和最后部之间的面向侧面的部分。

Claims (24)

1.一种系统，包括：
电子设备；以及
计算机可读介质，包括一个或多个编程指令，指令在被执行时使所述电子设备：
从一个或多个自主车辆的一个或多个LiDAR传感器接收一帧或多帧LiDAR数据的流，其中所述LiDAR数据包括与一个或多个图像相关的点云数据，
将所述LiDAR数据的至少一部分指派到一个或多个点云数据结构中，其中每个点云数据结构包括：
第一头部块，以及
多个点块，
将所述LiDAR数据的至少一部分指派到一个或多个图像数据结构中，其中图像数据结构包括：
第二头部块，以及
多个图像列块，其中每个图像列块包括来自所述一个或多个图像的对应图像的一列像素，并且其中图像列块共同包含所述对应图像的所有像素，
生成包括以下一项或多项的批：
点云数据结构中的一个或多个点云数据结构，或
图像数据结构中的一个或多个图像数据结构，以及
将所述批提供给点云处理系统。
2.如权利要求1所述的系统，其中当被执行时使所述电子设备将所述LiDAR数据的至少一部分指派到一个或多个点云数据结构中的所述一个或多个编程指令包括当被执行时使所述电子设备将所述LiDAR数据的所述至少一部分存储在所述多个点块的每个点块中的一个或多个编程指令。
3.如权利要求2所述的系统，其中所述第一头部块包括识别存储在所述多个点块中的所述LiDAR数据的源的源指示符。
4.如权利要求1所述的系统，其中对于点块中的每个点块，点云数据结构中的一个或多个点云数据结构包括紧接在对应点块之前并且包括所述对应点块的尺寸的指示符的尺寸块。
5.如权利要求1所述的系统，其中所述多个点块中的一个或多个点块包括点块的尺寸的指示符。
6.如权利要求1所述的系统，其中所述第一头部块包括指示点云数据结构的数据类型的数据类型指示符。
7.如权利要求1所述的系统，其中所述第一头部块包括跟随者指示符，其识别在存储器中跟随点云数据结构的数据结构的数据类型。
8.如权利要求1所述的系统，其中当被执行时使所述电子设备将所述LiDAR数据的至少一部分指派到一个或多个图像数据结构中的所述一个或多个编程指令包括当被执行时使所述电子设备将所述LiDAR数据的所述至少一部分的一部分存储在所述多个图像列块的每个图像列块中的一个或多个编程指令。
9.如权利要求8所述的系统，其中第二头部包括识别存储在所述多个图像列块中的所述LiDAR数据的源的源指示符。
10.如权利要求1所述的系统，其中所述第二头部块包括指示图像数据结构的数据类型的数据类型指示符。
11.如权利要求1所述的系统，其中所述第二头部块包括识别在存储器中跟随图像数据结构的数据结构的数据类型的跟随者指示符。
12.如权利要求1所述的系统，其中所述第二头部块包括对应图像数据结构存储了多少图像列的指示。
13.如权利要求1所述的系统，其中所述第二头部块包括图像列块中的一个或多个图像列块的尺寸的指示。
14.一种包括用于存储和检索LiDAR数据的计算机可读存储器的系统，所述存储器包括：
一个或多个点云数据结构，其中每个点云数据结构包括：
第一头部块，以及
多个点块，其中所述多个点块中的每个点块被配置为存储LiDAR点云数据的至少一部分，以及
一个或多个图像数据结构，其中图像数据结构包括：
第二头部块，
多个图像列块，其中每个图像列块包括来自所述LiDAR点云数据的对应图像的一列像素，并且其中图像列块共同包含对应图像的所有像素。
15.一种方法，包括：
由电子设备：
从一个或多个自主车辆的一个或多个LiDAR传感器接收一帧或多帧LiDAR数据的流，其中所述LiDAR数据包括关于一个或多个图像的点云数据，
将所述LiDAR数据的至少一部分指派到一个或多个点云数据结构中，其中每个点云数据结构包括：
第一头部块，以及
多个点块，
将所述LiDAR数据的至少一部分指派到一个或多个图像数据结构中，其中图像数据结构包括：
第二头部块，以及
多个图像列块，其中每个图像列块包括来自所述一个或多个图像的对应图像的一列像素，并且其中图像列块共同包含所述对应图像的所有像素，
生成包括以下一项或多项的批：
点云数据结构中的一个或多个点云数据结构，或
图像数据结构中的一个或多个图像数据结构，以及
将所述批提供给点云处理系统。
16.如权利要求15所述的方法，其中将所述LiDAR数据的至少一部分指派到一个或多个点云数据结构中包括将所述LiDAR数据的所述至少一部分存储在所述多个点块中的每个点块中。
17.如权利要求16所述的方法，其中所述第一头部块包括识别存储在所述多个点块中的所述LiDAR数据的源的源指示符。
18.如权利要求15所述的方法，其中对于点块中的每个点块，点云数据结构中的一个或多个点云数据结构包括紧接在对应点块之前并且包括所述对应点块的尺寸的指示符的尺寸块。
19.如权利要求15所述的方法，其中所述多个点块中的一个或多个点块包括点块的尺寸的指示符。
20.如权利要求15所述的方法，其中所述第一头部块包括指示点云数据结构的数据类型的数据类型指示符。
21.如权利要求15所述的方法，其中所述第一头部块包括识别在存储器中跟随点云数据结构的数据结构的数据类型的跟随者指示符。
22.如权利要求15所述的方法，其中将所述LiDAR数据的至少一部分指派到一个或多个图像数据结构中包括将所述LiDAR数据的所述至少一部分的一部分存储在所述多个图像列块中的每个图像列块中。
23.如权利要求22所述的方法，其中第二头部包括识别存储在所述多个图像列块中的所述LiDAR数据的源的源指示符。
24.如权利要求15所述的方法，其中所述第二头部块包括以下一项或多项：
指示图像数据结构的数据类型的数据类型指示符；
识别在存储器中跟随图像数据结构的数据结构的数据类型的跟随者指示符；
对应图像数据结构存储了多少图像列的指示；或者
图像列块中的一个或多个图像列块的尺寸的指示。
CN202180081737.9A 2020-12-08 2021-11-09 用于分析动态LiDAR点云数据的方法和系统 Pending CN116569070A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/115,006 2020-12-08
US17/115,006 US12044779B2 (en) 2020-12-08 2020-12-08 Methods and system for analyzing dynamic lidar point cloud data
PCT/US2021/058544 WO2022125241A1 (en) 2020-12-08 2021-11-09 Methods and system for analyzing dynamic lidar point cloud data

Publications (1)

Publication Number Publication Date
CN116569070A true CN116569070A (zh) 2023-08-08

Family

ID=81848914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180081737.9A Pending CN116569070A (zh) 2020-12-08 2021-11-09 用于分析动态LiDAR点云数据的方法和系统

Country Status (4)

Country Link
US (1) US12044779B2 (zh)
EP (1) EP4260285A4 (zh)
CN (1) CN116569070A (zh)
WO (1) WO2022125241A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220407716A1 (en) * 2021-06-21 2022-12-22 Motional Ad Llc Authenticated point cloud data

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU713318B2 (en) 1995-08-31 1999-11-25 Sand Technology Systems International Inc. Memory management system and method using dual indexing structures
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
WO2017154705A1 (ja) 2016-03-09 2017-09-14 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム、データ構造、及び撮像システム
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
CN112438047B (zh) 2018-06-26 2022-08-09 华为技术有限公司 用于点云译码的高级语法设计
KR20210025527A (ko) * 2018-07-06 2021-03-09 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
WO2020071703A1 (ko) 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
US11782158B2 (en) * 2018-12-21 2023-10-10 Waymo Llc Multi-stage object heading estimation
EP3712854B1 (en) 2019-03-19 2024-07-24 Nokia Technologies Oy Method and apparatus for storage and signaling of static point cloud data
EP3926959A4 (en) 2019-03-21 2022-03-23 LG Electronics Inc. POINT CLOUD DATA TRANSMITTER DEVICE, POINT CLOUD DATA TRANSMITTER METHOD, POINT CLOUD DATA RECEIVE DEVICE, AND POINT CLOUD DATA RECEIVE METHOD
US11754715B2 (en) * 2019-07-11 2023-09-12 Baidu Usa Llc Point cloud format optimized for LiDAR data storage based on device property

Also Published As

Publication number Publication date
EP4260285A4 (en) 2024-10-16
EP4260285A1 (en) 2023-10-18
US20220179082A1 (en) 2022-06-09
WO2022125241A1 (en) 2022-06-16
US12044779B2 (en) 2024-07-23

Similar Documents

Publication Publication Date Title
CN116249644B (zh) 由自主车辆执行出路推断以确定通过交叉路口的可行路径的方法和系统
US11851083B2 (en) Methods and system for constructing data representation for use in assisting autonomous vehicles navigate intersections
US11880203B2 (en) Methods and system for predicting trajectories of uncertain road users by semantic segmentation of drivable area boundaries
US11970185B2 (en) Data structure for storing information relating to an environment of an autonomous vehicle and methods of use thereof
US20220242440A1 (en) Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle
CN116670609A (zh) 用于预测自主车辆的未来状态的系统
WO2022108744A1 (en) On-board feedback system for autonomous vehicles
WO2022076157A1 (en) Autonomous vehicle system for detecting pedestrian presence
US11358598B2 (en) Methods and systems for performing outlet inference by an autonomous vehicle to determine feasible paths through an intersection
US12044779B2 (en) Methods and system for analyzing dynamic lidar point cloud data
US20220212694A1 (en) Methods and systems for generating a longitudinal plan for an autonomous vehicle based on behavior of uncertain road users
US12118798B2 (en) Autonomous vehicle system for performing object detections using a logistic cylinder pedestrian model
US20230237793A1 (en) False track mitigation in object detection systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination