CN115797679A - 基于机器学习的点云对准分类 - Google Patents

基于机器学习的点云对准分类 Download PDF

Info

Publication number
CN115797679A
CN115797679A CN202211093284.4A CN202211093284A CN115797679A CN 115797679 A CN115797679 A CN 115797679A CN 202211093284 A CN202211093284 A CN 202211093284A CN 115797679 A CN115797679 A CN 115797679A
Authority
CN
China
Prior art keywords
network
point clouds
lidar point
lidar
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211093284.4A
Other languages
English (en)
Inventor
N·A·卡莫斯
S·A·维德贾亚
T·M·博纳尼
V·E·B·里昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN115797679A publication Critical patent/CN115797679A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了用于基于机器学习的点云对准分类的方法、系统和计算机程序产品。示例方法可以包括：获得至少两个光检测和测距点云即至少两个LiDAR点云；使用至少一个分类器网络来处理所述至少两个LiDAR点云；从所述至少一个分类器网络获得至少一个输出数据集；基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及基于确定为所述至少两个LiDAR点云未对准来进行第一动作。

Description

基于机器学习的点云对准分类
技术领域
本发明涉及一种基于机器学习的点云对准分类的技术。
背景技术
自动驾驶运载工具通常使用LiDAR成像来生成地图的段(segment)的地图以用于导航。通常，点云配准是如下的问题：最大限度地对准用于部分地观察同一场景的两个(或多于两个)点云，以便生成地图的段的地图。配准算法旨在返回最佳对准输入点云的刚性变换。由于影响数据的噪声和该问题的概率性质，例如使用几何技术的配准方法不能保证收敛到最优解。收敛到非最优解可能导致生成了地图的段中的伪影。这种伪影的非限制性示例可以包括双壁或模糊区域。生成了地图的段中的伪影可能降低重建的一致性以及重建在自主运载工具域中的可用性。
在地图生成(mapping)管道的早期阶段检测地图伪影是流线型的具有成本效益的处理的关键。通常，经由通过人在回路的视觉检查来检测未对准。通常，通过人在回路的视觉检查可能：昂贵(例如，为该任务而训练/雇用人的资金密集)；易出错(例如，人为错误、依赖于对2D空间中的点云的人类感测)；不一致(例如，人之间的不同主观感知)；并且难以扩展(例如，不适合城市规模或更大的地图)。
发明内容
本发明提供一种方法，其包括：获得至少两个光检测和测距点云即至少两个LiDAR点云；使用至少一个分类器网络来处理所述至少两个LiDAR点云；从所述至少一个分类器网络获得至少一个输出数据集；基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及基于确定为所述至少两个LiDAR点云未对准来进行第一动作。
本发明提供一种系统，其包括：至少一个处理器；以及存储有指令的至少一个非暂时性存储介质，所述指令在由所述至少一个处理器执行时使所述至少一个处理器进行以下操作：获得至少两个光检测和测距点云即至少两个LiDAR点云；使用至少一个分类器网络来处理所述至少两个LiDAR点云；从所述至少一个分类器网络获得至少一个输出数据集；基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及基于确定为所述至少两个LiDAR点云未对准来进行第一动作。
本发明提供至少一个非暂时性存储介质，其存储有指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器进行以下操作：获得至少两个光检测和测距点云即至少两个LiDAR点云；使用至少一个分类器网络来处理所述至少两个LiDAR点云；从所述至少一个分类器网络获得至少一个输出数据集；基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及基于确定为所述至少两个LiDAR点云未对准来进行第一动作。
附图说明
图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
图2是包括自主系统的运载工具的一个或多于一个系统的图；
图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
图4A是自主系统的某些组件的图；
图4B是神经网络的实现的图；
图4C和图4D是例示CNN的示例操作的图；
图5A是例示点云对准分类器系统的示例的框图；
图5B和图5C是例示点云对准分类器系统的示例网络的框图；
图6是例示由一个或多于一个处理器为了训练感知系统所实现的例程的示例的流程图；
图7A至图7F是例示点云以例示对准点云、未对准点云和/或其分类的图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
在一些方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现分类器系统。作为非限制性示例，分类器系统可以：获得一对LiDAR点云；通过分类器网络处理该对LiDAR点云。分类器网络可以从该对LiDAR点云提取特征，并且计算该对LiDAR点云对准或未对准的概率得分。
借助本文所述的系统、方法和计算机程序产品的实现，自主运载工具或AV系统可以避免在回路伪影检测时使用人。因此，本发明的系统可以：更便宜(例如，避免为该任务而训练/雇用人的资金投入)；更不易出错(例如，避免人为错误，具有2D/3D空间中的点云的像素级感测)；更一致(例如，避免人之间的不同主观感知)；以及随计算资源而扩展(例如，适合于城市规模或更大的地图)。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其他类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据(TLD数据)。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其他系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)；以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些情况下，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
Figure BDA0003837884040000151
接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器306和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
在另一示例中，定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其他装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。以下关于图4B至图4D包括机器学习模型的实现的示例。
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。
现在参考图4B，例示机器学习模型的实现的图。更具体地，例示卷积神经网络(CNN)420的实现的图。为了说明的目的，CNN 420的以下说明将关于通过感知系统402实现CNN 420。然而，将理解，在一些示例中，CNN 420(例如，CNN 420的一个或多于一个组件)由不同于感知系统402的或除感知系统402之外的其他系统(诸如规划系统404、定位系统406和/或控制系统408等)来实现。尽管CNN 420包括如本文所述的某些特征，但这些特征是为了说明的目的而提供的，并且不旨在限制本公开。
CNN 420包括包含第一卷积层422、第二卷积层424和卷积层426的多个卷积层。在一些实施例中，CNN 420包括子采样层428(有时称为池化层)。在一些实施例中，子采样层428和/或其他子采样层具有比上游系统的维度(即，节点的量)小的维度。借助于具有比上游层的维度小的维度的子采样层428，CNN 420合并与上游层的初始输入和/或输出相关联的数据量，由此减少CNN 420进行下游卷积运算所需的计算量。附加地或可替代地，借助于子采样层428与至少一个子采样函数相关联(例如，被配置为进行至少一个子采样函数)(如以下关于图4C和图4D所描述的)，CNN 420合并与初始输入相关联的数据量。
基于感知系统402提供与第一卷积层422、第二卷积层424和卷积层426各自相关联的相应输入和/或输出以生成相应输出，感知系统402进行卷积运算。在一些示例中，基于感知系统402将数据作为输入提供至第一卷积层422、第二卷积层424和卷积层426，感知系统402实现CNN 420。在这样的示例中，基于感知系统402从一个或多于一个不同系统(例如，与运载工具102相同或相似的运载工具的一个或多于一个系统、与远程AV系统114相同或相似的远程AV系统、与队列管理系统116相同或相似的队列管理系统、以及/或者与V2I系统118相同或相似的V2I系统等)接收数据，感知系统402将数据作为输入提供至第一卷积层422、第二卷积层424和卷积层426。以下关于图4C包括卷积运算的详细说明。
在一些实施例中，感知系统402将与输入(称为初始输入)相关联的数据提供至第一卷积层422，并且感知系统402使用第一卷积层422生成与输出相关联的数据。在一些实施例中，感知系统402将由卷积层生成的输出作为输入提供至不同的卷积层。例如，感知系统402将第一卷积层422的输出作为输入提供至子采样层428、第二卷积层424和/或卷积层426。在这样的示例中，第一卷积层422被称为上游层，并且子采样层428、第二卷积层424和/或卷积层426被称为下游层。类似地，在一些实施例中，感知系统402将子采样层428的输出提供至第二卷积层424和/或卷积层426，并且在该示例中，子采样层428将被称为上游层，并且第二卷积层424和/或卷积层426将被称为下游层。
在一些实施例中，在感知系统402向CNN 420提供输入之前，感知系统402对与提供至CNN 420的输入相关联的数据进行处理。例如，基于感知系统402对传感器数据(例如，图像数据、LiDAR数据和/或雷达数据等)进行归一化，感知系统402对与提供至CNN 420的输入相关联的数据进行处理。
在一些实施例中，基于感知系统402进行与各个卷积层相关联的卷积运算，CNN420生成输出。在一些示例中，基于感知系统402进行与各个卷积层和初始输入相关联的卷积运算，CNN 420生成输出。在一些实施例中，感知系统402生成输出并将该输出提供至全连接层430。在一些示例中，感知系统402将卷积层426的输出提供至全连接层430，其中全连接层430包括与被称为F1、F2、...、FN的多个特征值相关联的数据。在该示例中，卷积层426的输出包括与表示预测的多个输出特征值相关联的数据。
在一些实施例中，基于感知系统402识别与作为多个预测中的正确预测的最高可能性相关联的特征值，感知系统402从这多个预测中识别预测。例如，在全连接层430包括特征值F1、F2、...、FN并且F1是最大特征值的情况下，感知系统402将与F1相关联的预测识别为多个预测中的正确预测。在一些实施例中，感知系统402训练CNN 420以生成预测。在一些示例中，基于感知系统402将与预测相关联的训练数据提供至CNN 420，感知系统402训练CNN 420以生成预测。
现在参考图4C和图4D，例示利用感知系统402的CNN 440的示例操作的图。在一些实施例中，CNN 440(例如，CNN 440的一个或多于一个组件)与CNN 420(例如，CNN 420的一个或多于一个组件)(参见图4B)相同或相似。
在步骤450，感知系统402将与图像相关联的数据作为输入提供至CNN 440(步骤450)。例如，如所例示的，感知系统402将与图像相关联的数据提供至CNN 440，其中该图像是表示为以二维(2D)阵列存储的值的灰度图像。在一些实施例中，与图像相关联的数据可以包括与彩色图像相关联的数据，该彩色图像被表示为以三维(3D)阵列存储的值。附加地或可替代地，与图像相关联的数据可以包括与红外图像和/或雷达图像等相关联的数据。
在步骤455，CNN 440执行第一卷积函数。例如，基于CNN 440将表示图像的值作为输入提供至第一卷积层442中所包括的一个或多于一个神经元(未明确例示出)，CNN 440执行第一卷积函数。在该示例中，表示图像的值可以对应于表示图像的区(有时称为感受野)的值。在一些实施例中，各个神经元与滤波器(未明确例示出)相关联。滤波器(有时称为内核)可表示为在大小上与作为输入提供至神经元的值相对应的值阵列。在一个示例中，滤波器可被配置为识别边缘(例如，水平线、垂直线和/或直线等)。在连续的卷积层中，与神经元相关联的滤波器可被配置为连续地识别更复杂的图案(例如，弧和/或对象等)。
在一些实施例中，基于CNN 440将作为输入提供至第一卷积层442中所包括的一个或多于一个神经元中的各个神经元的值与同一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，CNN 440执行第一卷积函数。例如，CNN 440可以将作为输入提供至第一卷积层442中所包括的一个或多于一个神经元中的各个神经元的值与同该一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，以生成单个值或值阵列作为输出。在一些实施例中，第一卷积层442的神经元的集体输出被称为卷积输出。在一些实施例中，在各个神经元具有相同滤波器的情况下，卷积输出被称为特征图。
在一些实施例中，CNN 440将第一卷积层442的各个神经元的输出提供至下游层的神经元。为了清楚起见，上游层可以是将数据传输至不同层(称为下游层)的层。例如，CNN440可以将第一卷积层442的各个神经元的输出提供至子采样层的相应神经元。在示例中，CNN 440将第一卷积层442的各个神经元的输出提供至第一子采样层444的相应神经元。在一些实施例中，CNN 440向提供至下游层的各个神经元的所有值的集合添加偏置值。例如，CNN 440向提供至第一子采样层444的各个神经元的所有值的集合添加偏置值。在这样的示例中，CNN 440基于提供至各个神经元的所有值的集合和与第一子采样层444的各个神经元相关联的激活函数来确定要提供至第一子采样层444的各个神经元的最终值。
在步骤460，CNN 440执行第一子采样函数。例如，基于CNN 440将由第一卷积层442输出的值提供至第一子采样层444的相应神经元，CNN 440可以执行第一子采样函数。在一些实施例中，CNN 440基于聚合函数来执行第一子采样函数。在示例中，基于CNN 440确定提供至给定神经元的值中的最大输入(称为最大池化函数)，CNN 440执行第一子采样函数。在另一示例中，基于CNN 440确定提供至给定神经元的值中的平均输入(称为平均池化函数)，CNN 440执行第一子采样函数。在一些实施例中，基于CNN 440向第一子采样层444的各个神经元提供值，CNN 440生成输出，该输出有时被称为子采样卷积输出。
在步骤465，CNN 440执行第二卷积函数。在一些实施例中，CNN 440以与上述的CNN440如何执行第一卷积函数类似的方式执行第二卷积函数。在一些实施例中，基于CNN 440将由第一子采样层444输出的值作为输入提供至第二卷积层446中所包括的一个或多于一个神经元(未明确例示出)，CNN 440执行第二卷积函数。在一些实施例中，如上所述，第二卷积层446的各个神经元与滤波器相关联。如上所述，与第二卷积层446相关联的(一个或多于一个)滤波器与同第一卷积层442相关联的滤波器相比可被配置为识别更复杂的图案。
在一些实施例中，基于CNN 440将作为输入提供至第二卷积层446中所包括的一个或多于一个神经元中的各个神经元的值与同该一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，CNN 440执行第二卷积函数。例如，CNN 440可以将作为输入提供至第二卷积层446中所包括的一个或多于一个神经元中的各个神经元的值与同该一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，以生成单个值或值阵列作为输出。
在一些实施例中，CNN 440将第二卷积层446的各个神经元的输出提供至下游层的神经元。例如，CNN 440可以将第一卷积层442的各个神经元的输出提供至子采样层的相应神经元。在示例中，CNN 440将第一卷积层442的各个神经元的输出提供至第二子采样层448的相应神经元。在一些实施例中，CNN 440向提供至下游层的各个神经元的所有值的集合添加偏置值。例如，CNN 440向提供至第二子采样层448的各个神经元的所有值的集合添加偏置值。在这样的示例中，CNN 440基于提供至各个神经元的所有值的集合和与第二子采样层448的各个神经元相关联的激活函数来确定提供至第二子采样层448的各个神经元的最终值。
在步骤470，CNN 440执行第二子采样函数。例如，基于CNN 440将由第二卷积层446输出的值提供至第二子采样层448的相应神经元，CNN 440可以执行第二子采样函数。在一些实施例中，基于CNN 440使用聚合函数，CNN 440执行第二子采样函数。在示例中，如上所述，基于CNN 440确定提供至给定神经元的值中的最大输入或平均输入，CNN 440执行第一子采样函数。在一些实施例中，基于CNN 440向第二子采样层448的各个神经元提供值，CNN440生成输出。
在步骤475，CNN 440将第二子采样层448的各个神经元的输出提供至全连接层449。例如，CNN 440将第二子采样层448的各个神经元的输出提供至全连接层449，以使得全连接层449生成输出。在一些实施例中，全连接层449被配置成生成与预测(有时称为分类)相关联的输出。预测可以包括作为输入提供至CNN 440的图像中所包括的对象包括对象和/或一组对象等的指示。在一些实施例中，感知系统402进行一个或多于一个操作以及/或者将与预测相关联的数据提供至本文所述的不同系统。
分类器系统
图5A是例示用于将至少两个点云分类为对准或未对准的点云对准分类器系统500(称为分类器系统500)的示例的框图。
例如，转到图7A至图7C，图7A至图7C描绘与点云的对准对进行比较的点云的未对准对中的伪影。特别地，在图7A中，光栅图像700A中的伪影702-708指示具体特定区域(locality)的未对准点云。伪影702-708可能是由于在点云配准期间收敛到非最优解(例如，到局部最小值)而生成的。点云配准可以尝试最大程度地对准用于部分地观察同一特定区域的两个(或多于两个)点云。通常，配准算法旨在返回最佳对准输入点云的刚性变换。然而，由于影响LiDAR数据的噪声和问题的概率性质，没有配准方法能够确保收敛到最优解。在图7B中，光栅图像700B中的伪影710和712指示未对准点云，而图7C中的光栅图像700C可以指示同一特定区域的对准。分类器系统500可以旨在在回路反馈中不依赖于人的情况下准确地对各点云进行分类。
分类器系统500可以用在点云配准处理、地图校正处理、定位处理和/或校准处理中。根据上下文，分类器系统500可以托管在感知系统402、定位系统406和远程AV系统114等上，并且通常无论在何处都进行点云配准处理、地图校正处理、定位处理和/或校准处理。分类器系统500可以包括分类器网络504，该分类器网络504处理源点云502A和目标点云502B(输入)以将该对点云506的分类输出为对准或未对准(输出)。
在一些实施例中，分类器系统500可以使用机器学习网络将点云分类为未对准或对准。例如，分类器系统500可以：获得至少两个LiDAR点云；使用至少一个分类器网络来处理该至少两个LiDAR点云；从该至少一个分类器网络获得至少一个输出数据集；基于该至少一个输出数据集来确定为该至少两个LiDAR点云未对准；以及基于确定为该至少两个LiDAR点云未对准来进行第一动作。附加地或可替代地，分类器系统500可以：获得第二至少两个LiDAR点云；使用至少一个分类器网络来处理该第二至少两个LiDAR点云；从至少一个分类器网络获得第二至少一个输出数据集；基于该第二至少一个输出数据集来确定为第二至少两个LiDAR点云对准；以及基于确定为该第二至少两个LiDAR点云对准来进行第二动作。因此，通常，分类器系统500可以确定LiDAR点云是对准还是未对准，并根据该确定进行动作。
输入
分类器系统500可以获得源点云502A和目标点云502B作为输入。通常，分类器系统500可以获得源点云502A和目标点云502B，作为点云配准处理、地图校正处理、定位处理和/或校准处理的一部分。例如，分类器系统500可以通过以下来获得源点云502A和目标点云502B(可替代地称为“至少两个LiDAR点云”)：从第一多个LiDAR点云获得至少两个LiDAR点云，以用于点云配准处理，从而生成地图的特定区域的地图；从配置在运载工具(例如，运载工具200)上的LiDAR系统(例如，LiDAR传感器202b)获得至少两个LiDAR点云中的第一LiDAR点云，并且从第二多个LiDAR点云获得至少两个LiDAR点云中的第二LiDAR点云，以用于地图校正处理；从配置在运载工具上的LiDAR系统获得第一LiDAR点云，并且从第三多个LiDAR点云获得第二LiDAR点云，以用于定位处理；或者从配置在运载工具上的LiDAR系统获得第一LiDAR点云，并且从第四多个LiDAR点云获得第二LiDAR点云，以用于校准处理。
在分类器系统500是点云配准处理的一部分的情况下，分类器系统500可以：选择地图的特定区域(例如，未生成地图特定区域或需要重新地图生成的特定区域)；(例如，基于GPS或其他定位确定)从第一多个LiDAR点云中确定在该特定区域附近(例如，在该特定区域的感测范围内)获得的任何LiDAR点云；以及(例如，随机地或者通过用以选择点云(其具有点云覆盖范围重叠的点云)的算法)从任何LiDAR点云的集合中选择至少两个LiDAR点云。第一多个LiDAR点云可以是在点云配准处理和/或地图生成处理中使用的LiDAR点云的全部(或其子集，例如，在城市、州、国家等中)。可以对所选择的LiDAR点云中的一个或两个进行变换以对准相应的LiDAR点云，从而考虑捕获到LiDAR点云的LiDAR传感器的不同地点和/或朝向。这样，可以选择LiDAR点云的对来创建特定区域的合成，以辅助特定区域的地图生成处理。然而，如上所述，(可以被变换的)所选择的LiDAR点云可能包括伪影。因此，可以经由分类器系统500来处理所选择的LiDAR点云的各对(或其子集)，以确定所选择的LiDAR点云是对准还是未对准。这样，可以将LiDAR点云的未对准对从配准处理中移除，使得地图生成处理相对于特定时间的特定区域的现实而维持阈值水平的准确度和精度。
在分类器系统500是地图校正处理的一部分的情况下，分类器系统500可以：确定特定区域的地点(例如，GPS或其他定位确定)；(例如，基于第二多个LiDAR点云的GPS或其他定位确定)从第二多个LiDAR点云中确定在该特定区域附近(例如，在该特定区域的感测范围内)获得的任何LiDAR点云；以及(例如，随机地或者通过用以选择点云(其具有点云覆盖范围与第一LiDAR点云重叠的点云)的算法)从任何LiDAR点云的集合中选择第二LiDAR点云。第二多个LiDAR点云可以是在定位处理(例如，参见以上的定位系统406)的地图中使用的LiDAR点云的全部(或其子集，例如，在城市、州、国家等中)。可以对第一LiDAR点云和第二LiDAR点云中的一个或两个进行变换以对准相应的LiDAR点云，从而考虑捕获到LiDAR点云的LiDAR传感器的不同地点和/或朝向。这样，可以使用当前感测到的LiDAR点云来确认现有的LiDAR点云以辅助特定区域的地图生成处理。然而，如上所述，(可以被变换的)第一LiDAR点云和第二LiDAR点云可能包括伪影。因此，可以经由分类器系统500来处理第一LiDAR点云和第二LiDAR点云的各对(或其子集)，以确定第一LiDAR点云和第二LiDAR点云是对准还是未对准。这样，可以使用LiDAR点云的对准对来确认范围生成地图特定区域(例如，环境保持相同)，以及/或者可以将LiDAR点云的未对准对从地图校正处理中移除，使得地图生成处理相对于特定时间的特定区域的现实而维持阈值水平的准确度和精度。
在分类器系统500是定位处理的一部分的情况下，分类器系统500可以：确定特定区域的地点(例如，GPS或其他定位确定)；(例如，基于第三多个LiDAR点云的GPS或其他定位确定)从第三多个LiDAR点云中确定在该特定区域附近(例如，在该特定区域的感测范围内)获得的任何LiDAR点云；以及(例如，随机地或者通过用以选择点云(其具有点云覆盖范围与第一LiDAR点云重叠的点云)的算法)从任何LiDAR点云的集合中选择第二LiDAR点云。第三多个LiDAR点云可以是在定位处理(例如，参见以上的定位系统406)的地图中使用的LiDAR点云的全部(或其子集，例如，在城市、州、国家等中)。可以对第一LiDAR点云和第二LiDAR点云中的一个或两个进行变换以对准相应的LiDAR点云，从而考虑捕获到LiDAR点云的LiDAR传感器的不同地点和/或朝向。这样，当前感测到的LiDAR点云可以用于与现有的LiDAR点云对准，并且由此通过反转从先前已知地点到当前地点的变换(如果有的话)来确定运载工具的准确地点。然而，如上所述，(可以被变换的)第一LiDAR点云和第二LiDAR点云可能包括伪影。因此，可以经由分类器系统500来处理第一LiDAR点云和第二LiDAR点云的各对(或其子集)，以确定第一LiDAR点云和第二LiDAR点云是对准还是未对准。这样，可以使用LiDAR点云的对准对来确定运载工具的地点；以及/或者可以将LiDAR点云的未对准对标记为可能不一致(例如，环境可能已改变)，并且可以将第二LiDAR点云从定位处理中移除，使得地图生成处理相对于特定时间的特定区域的现实而维持阈值水平的准确度和精度。
在分类器系统500是校准处理的一部分的情况下，分类器系统500可以：从至少一个校准测试中确定校准测试(例如，使用GPS或其他定位确定来确定运载工具200位于已知的校准测试场地)；从第四多个LiDAR点云(例如，从服务器或从存储器)获得与该校准测试相对应的特定测试校准LiDAR作为第二LiDAR点云。第四多个LiDAR点云可以是用于校准LiDAR传感器(例如，LiDAR传感器202a)的全部校准测试点云(或其子集，例如，在城市、州、国家等中)。可以对第一LiDAR点云和第二LiDAR点云中的一个或两个进行变换以对准相应的LiDAR点云，从而考虑捕获到LiDAR点云的LiDAR传感器的不同地点和/或朝向。这样，当前感测到的LiDAR点云可以用于与现有的LiDAR点云一起校准LiDAR传感器(例如，LiDAR传感器202b)。然而，如上所述，(可以被变换的)第一LiDAR点云和第二LiDAR点云可能包括伪影。因此，可以经由分类器系统500来处理第一LiDAR点云和第二LiDAR点云的各对(或其子集)，以确定第一LiDAR点云和第二LiDAR点云是对准还是未对准。这样，LiDAR点云的对准对可以用于指示LiDAR传感器被充分校准，以及/或者LiDAR点云的未对准对可以用于校准LiDAR传感器和/或指示需要进一步校准。
网络
分类器网络504可以从一对点云(例如，源点云502A和目标点云502B)提取特征，并且计算该对点云对准或未对准的概率得分。分类器网络504可以包括至少一个分类器网络。该至少一个分类器网络可以包括基于柱的网络和/或基于核心点卷积的网络中的至少一个。在一些实施例中，分类器网络是基于柱的网络。在一些实施例中，分类器网络是基于核心点卷积的网络。在一些实施例中，分类器网络包括基于柱的网络和基于核心点卷积的网络这两者。以下针对图5B和图5C来论述基于柱的网络和基于核心点卷积的网络的细节。
在至少一个分类器网络包括基于柱的网络和基于核心点卷积的网络这两者的情况下，分类器系统500可以根据基于柱的网络和基于核心点卷积的网络这两者的输出来确定至少两个LiDAR点云是对准还是未对准。例如，分类器系统500可以：选择具有更高置信度值的分类(在(一个或多于一个)输出数据集中输出的情况下)；如果两个输出都同意分类，则确定分类；以及/或者融合来自基于柱的网络和基于核心点卷积的网络这两者的(一个或多于一个)输出数据集。例如，为了融合(一个或多于一个)输出数据集，分类器系统500可以用相应的预定义的权重对(一个或多于一个)输出数据集进行加权、以及根据相应的置信度值对(一个或多于一个)输出数据集进行加权等。因此，为了确定为至少两个LiDAR点云对准或未对准，分类器系统500可以使用各网络的输出。
(一个或多于一个)输出
通常，分类器网络504的基于柱的网络和/或基于核心点卷积的网络可以生成输出数据集。输出数据集可以包括二元分类(对准或未对准)、概率得分和/或置信度得分等。如果输出概率得分，则分类器系统500可以基于概率阈值条件来确定对准或未对准的二元确定。在概率得分大于概率阈值、大于或等于概率阈值、小于概率阈值、或者小于或等于概率阈值的情况下，概率阈值条件可能被评估为对准；在概率得分大于概率阈值、大于或等于概率阈值、小于概率阈值、或者小于或等于概率阈值的情况下，概率阈值条件可能被评估为未对准。
如上所述，分类器系统500可以用于点云配准处理、地图校正处理、定位处理和/或校准处理中。如上所述，分类器系统可以采取不同的动作(取决于动作用在哪个处理中)。特别地，在点云配准处理的情况下，分类器系统500在LiDAR点云未对准的情况下，可以采取第一动作，并且在LiDAR点云对准的情况下，可以采取第二动作。
在一些实施例中，第一动作可以包括：将至少两个LiDAR点云标记为未对准，以及/或者基于将至少两个LiDAR点云标记为未对准来更新地图的特定区域。为了将至少两个LiDAR点云标记为未对准，分类器系统500可以更新第一多个LiDAR点云以指示这两个特定LiDAR点云未对准。为了更新地图的特定区域，分类器系统500可以指示地图的特定区域具有未对准的LiDAR点云和/或没有足够的LiDAR点云数据可靠地用于例如地图生成和/或定位处理。
在一些实施例中，第二动作可以包括：将至少两个LiDAR点云标记为对准，以及/或者基于将第二至少两个LiDAR点云标记为对准来更新地图的特定区域。为了将至少两个LiDAR点云标记为对准，分类器系统500可以更新第一多个LiDAR点云以指示这两个特定LiDAR点云对准。为了更新地图的特定区域，分类器系统500可以指示地图的特定区域具有对准的LiDAR点云和/或具有足够的LiDAR点云数据可靠地用于例如地图生成和/或定位处理。
分类器系统的示例网络
图5B和图5C是例示点云对准分类器系统500的示例网络的框图。
参考图5B，如上所述，基于柱的网络510可以处理源点云502A和目标点云502B以输出对准或未对准的分类。基于柱的网络510可以包括：特征网络510A、至少一个功能网络510E、510F、510G、以及全连接层510H。
特征网络510A可以接收至少一个LiDAR点云(例如，源点云502A、目标点云502B或这两者)并输出至少一个特征图510D。基于柱的网络510可以包括与要输入的至少两个LiDAR点云中的各LiDAR点云相对应的两个或多于两个特征网络510A(称为单独处理点云)。通常，特征网络510A的数量可以与要输入的LiDAR点云的预期数量相对应。在图5B所示的情况下，使用两个特征网络510A来生成与所输入的LiDAR点云中的各LiDAR点云相对应的两个特征图510D。此外，可以使用仅一个特征网络510A来处理至少两个LiDAR点云(称为处理为以下针对图5C所述的合并点云)。如图5B所示，基于柱的网络510可以至少包括用于接收第一LiDAR点云502A并输出第一特征图510D的第一特征网络510A以及用于接收第二LiDAR点云502B并输出第二特征图510D的第二特征网络510A。
各特征网络510A可以包括柱式编码器510B和特征主干510C。如在“PointPillars:Fast Encoders for Object Detection from Point Clouds,”in“Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),”arXiv:1812.05784v2[cs.LG]5 May 2019(其通过引用而被包含于此以用于所有目的)中所述，柱式编码器510B可以接收至少一个LiDAR点云并输出至少一个伪图像。
特征主干510C可以接收至少一个伪图像并输出至少一个特征图510D。特征主干510C可以是特征提取网络。例如，特征主干510C可以是包括ResNet和VGG等中的任何的卷积神经网络等。
至少一个功能网络510E、510F、510G可以接收至少一个特征图510D并输出特征向量。例如，在合并至少两个LiDAR点云的情况下，至少一个功能网络510E、510F、510G可以接收一个特征图，或者在独立处理至少两个LiDAR点云的情况下，至少一个功能网络510E、510F、510G可以接收至少两个特征图(如图5B所示)，等等。至少一个功能网络可以包括级联网络510E、至少一个卷积网络510F和/或扁平网络510G中的至少一个。在至少两个LiDAR点云被处理为合并点云的情况下，至少一个功能网络可以不包括级联网络510E。
全连接层510H可以接收特征向量并输出分类数据集。分类数据集可以是基于柱的网络510所用的至少一个输出数据集，并且因此如上所述包括二元分类(对准或未对准)、概率得分和/或置信度得分等。
参考图5C，如上所述，基于核心点卷积的网络520可以处理源点云502A和目标点云502B以输出对准或未对准的分类。基于核心点卷积的网络520可以包括基于核心点卷积的编码器520B、聚合函数520C和全连接层520D。
基于核心点卷积的编码器520B可以接收至少两个LiDAR点云并输出多个特征向量。例如，如在“KPConv:Flexible and Deformable Convolution for Point Clouds,”in“Proceedings of the IEEE International Conference on Computer Vision 2019,”arXiv:1904.08889v2[cs.CV]19 Aug 2019(其通过引用而被包含于此以用于所有目的)中所述，基于核心点卷积的编码器520B可以基于输入点云来确定多个特征向量。基于核心点卷积的编码器520B可以接收合并点云520A作为输入。合并点云520A可以包括在被输入到基于核心点卷积的编码器520B之前的至少两个LiDAR点云中的各LiDAR点云的各个点[坐标x,y,z和反射率r]。合并点云520A可以被源标记到至少两个LiDAR点云中的各LiDAR点云。例如，各点可以用指示该点的源的二元标签来标记。
通常，预先并不知晓多个特征向量的数量。例如，基于核心点卷积的编码器520B可以进行一系列下采样卷积操作以获得(一个或多于一个)描述性特征。因此，聚合函数520C可以接收多个特征向量并将这多个特征向量聚合成单个特征向量。例如，聚合函数520C可以是以下函数其中之一：最大池化函数、随机选择函数、全局平均函数、均值函数或非参数聚合函数。
全连接层520D可以接收单个特征向量并输出分类数据集。分类数据集可以是基于核心点卷积的网络520所用的至少一个输出数据集，并且因此如上所述包括二元分类(对准或未对准)、概率得分和/或置信度得分等。
定性结果
通常，本文公开的分类器网络504能够实现高水平的准确度以检测未对准。特别地，表1指示分类器网络504的特定类型的未对准检测准确度。
表1
网络类型 未对准检测准确度
基于柱的网络510 96.81％
基于核心点卷积的网络520 99.78％
对于基于柱的网络510，使用独立地处理点云的对的网络版本来报告未对准检测准确度。对于基于核心点卷积的网络520，使用合并点云的对、然后将这些点云的对处理为合并点云的网络版本来报告未对准检测准确度。未对准检测准确度被报告为跨训练过程的不同阶段的最大验证F1得分。
定性结果
转到图7D至图7F，分类器网络504能够正确地对LiDAR点云的对进行分类。例如，分类器网络504能够对具有宽范围的伪影(例如，未对准)的LiDAR点云的对进行分类。
例如，在图7D中，分类器网络504能够正确地将具有大量级伪影(诸如伪影718等)的一对LiDAR点云700D分类为未对准。在图7E中，分类器网络504能够正确地将一对LiDAR点云700E分类为对准。在图7F中，分类器网络504能够正确地将具有低量级伪影(诸如伪影720等)的一对LiDAR点云700F分类为未对准。通常，对具有低量级伪影的一对LiDAR点云进行分类对于人类操作员而言更困难。
分类器网络的训练
通常，可以使用包括监督学习、无监督学习和半监督学习等的各种技术来训练分类器网络504。例如，可以利用适当的损失函数在包括LiDAR点云的未对准对和对准对的经标记集合的训练数据上训练分类器网络504，从而提供反馈以调整分类器网络504。训练数据可以是如通过人在回路所识别的先前识别的LiDAR点云的未对准对和对准对的集合。可替代地或附加地，在人类提供针对由分类器网络504对LiDAR点云的未经标记对/新对所输出的分类的反馈时，训练数据可以包括未对准对和对准对的附加的经标记集合。
在一些情况下，训练数据可以包括从LiDAR点云的对准对所生成的LiDAR点云的未对准对。LiDAR点云的对准对可以从真实世界数据收集获得，并通过人在回路进行标记。在一些情况下，训练数据可以具有相等数量的对准对和未对准对。在一些情况下，训练数据可以具有不相等数量的对准对和未对准对。例如，训练数据可以包括数千到数万个成对的LiDAR点云。此外，训练数据可以被分成成对的LiDAR点云的不同集合以用于验证、训练和测试。在成对的LiDAR点云的各个集合中，可以将一部分指派给对准数据集，并且可以将另一部分指派给未对准数据集。
为了从LiDAR点云的对准对生成LiDAR点云的未对准对，计算机系统(例如，分类器系统500)可以生成未对准变换并将未对准变换应用于未对准数据集的LiDAR点云。例如，针对各对LiDAR点云，可以向该对LiDAR点云中的一个LiDAR点云应用未对准变换。未对准变换可以是刚体变换。为了生成未对准变换，计算机系统可以从平移分量和旋转分量的以零为中心的正态分布(μ＝0,σ2)构建未对准变换，其中σi∈[tx,ty,tz,rx,ry,rz]，其中tx、ty、tz是平移并且rx、ry、rz是旋转。在一些情况下，各σi∈[tx,ty,tz,rx,ry,rz]的幅度可以是根据所观察到的未对准预先确定的。例如，以零为中心的正态分布可以遵循式(1)。
Figure BDA0003837884040000351
Figure BDA0003837884040000352
例如，计算机系统可以根据任意概率p从正态分布来采样分量。概率p可以被设置为例如0.5，但本领域技术人员将认识到概率p可以被设置为不同的概率。
在一些情况下，可以针对各训练周期重新采样未对准变换。因此，在训练期间重复地有效地生成训练数据的随机变量，由此增加训练数据的多样性。
在一些情况下，诸如对于验证训练集等，用户可以为训练数据生成重新创建通常遇到的未对准地图生成伪影的未对准变换。在一些情况下，可以根据用户生成的未对准变换来设置各σi∈[tx,ty,tz,rx,ry,rz]的幅度。
分类器系统的示例流程图
图6是例示由一个或多于一个处理器为了对感知系统402中的点云进行分类所实现的例程600的示例的流程图。图6所例示的流程图仅是为了例示的目的而提供的。将理解，可以移除图6所例示的例程的步骤中的一个或多于一个，或者可以改变步骤的次序。此外，为了说明清楚示例的目的，在各个数据流阶段期间进行各种操作的上下文中描述一个或多于一个特定系统组件。然而，可以使用其他系统布置以及跨系统组件的处理步骤的分布。
在框602处，分类器系统500可以获得至少两个LiDAR点云。例如，如上所述，分类器系统500可以获得源点云502A和目标点云502B。
在框604处，分类器系统500可以通过至少一个分类器网络来处理至少两个LiDAR点云。例如，如上所述，分类器系统500可以通过基于柱的网络510和基于核心点卷积的编码器520B中的一个或两个来处理源点云502A和目标点云502B。
在框606处，分类器系统500可以从至少一个分类器网络获得至少一个输出数据集。例如，如上所述，分类器系统500可以从基于柱的网络510或基于核心点卷积的编码器520B中的一个或两个获得分类数据集。
在框608处，分类器系统500可以基于至少一个输出数据集来确定至少两个LiDAR点云是对准还是未对准。例如，如上所述，分类器系统500可以从来自基于柱的网络510或基于核心点卷积的网络520中的一个或两个的分类数据集中提取(一个或多于一个)二元分类(对准或未对准)或概率得分和/或置信度得分，并且根据该(一个或多于一个)二元分类或关于(一个或多于一个)概率得分的概率阈值条件来确定至少两个LiDAR点云是对准还是未对准。
在框610处，分类器系统500可以基于确定为至少两个LiDAR点云对准来进行第一动作，或者基于确定为至少两个LiDAR点云未对准来进行第二动作。例如，如上所述，分类器系统500可以进行第一动作或第二动作。
示例
条款1.一种方法，包括：获得至少两个光检测和测距点云即至少两个LiDAR点云；使用至少一个分类器网络来处理所述至少两个LiDAR点云；从所述至少一个分类器网络获得至少一个输出数据集；基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及基于确定为所述至少两个LiDAR点云未对准来进行第一动作。
条款2.根据条款1所述的方法，其中，获得所述至少两个LiDAR点云包括：从第一多个LiDAR点云获得所述至少两个LiDAR点云，以用于点云配准处理，从而生成地图的特定区域的地图；从配置在运载工具上的LiDAR系统获得所述至少两个LiDAR点云中的第一LiDAR点云，并且从第二多个LiDAR点云获得所述至少两个LiDAR点云中的第二LiDAR点云，以用于地图校正处理；从配置在所述运载工具上的所述LiDAR系统获得所述第一LiDAR点云，并且从第三多个LiDAR点云获得所述第二LiDAR点云，以用于定位处理；或者从配置在所述运载工具上的所述LiDAR系统获得所述第一LiDAR点云，并且从第四多个LiDAR点云获得所述第二LiDAR点云，以用于校准处理。
条款3.根据条款1或2所述的方法，其中，所述至少一个分类器网络包括基于柱的网络和基于核心点卷积的网络中的至少一个。
条款4.根据条款1至3中任一项所述的方法，其中，所述至少一个分类器网络包括基于柱的网络和基于核心点卷积的网络，以及其中，确定为所述至少两个LiDAR点云未对准包括：融合来自所述基于柱的网络和所述基于核心点卷积的网络的至少一个输出数据集，以及基于经融合的至少一个输出数据集来确定为所述至少两个LiDAR点云未对准。
条款5.根据条款1至4中任一项所述的方法，其中，所述至少一个分类器网络中的第一分类器网络是基于柱的网络，其中所述基于柱的网络包括：特征网络，用于接收至少一个LiDAR点云并输出至少一个特征图，至少一个功能网络，用于接收所述至少一个特征图并输出特征向量，以及全连接层，用于接收所述特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
条款6.根据条款5所述的方法，其中，所述特征网络包括：柱式编码器，用于接收所述至少一个LiDAR点云并输出至少一个伪图像，以及特征主干，用于接收所述至少一个伪图像并输出所述至少一个特征图。
条款7.根据条款5所述的方法，其中，所述至少一个功能网络包括以下项中的至少一个：级联网络、至少一个卷积网络、以及扁平网络。
条款8.根据条款1至4中任一项所述的方法，其中，所述至少一个分类器网络中的第一分类器网络是基于柱的网络，其中所述基于柱的网络包括：第一特征网络，用于接收第一LiDAR点云并输出第一特征图，第二特征网络，用于接收第二LiDAR点云并输出第二特征图，至少一个功能网络，用于接收所述第一特征图和所述第二特征图，并输出特征向量，以及全连接层，用于接收所述特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
条款9.根据条款1至4中任一项所述的方法，其中，所述至少一个分类器网络中的第一分类器网络是基于核心点卷积的网络，其中所述基于核心点卷积的网络包括：基于核心点卷积的编码器，用于接收所述至少两个LiDAR点云并输出多个特征向量，聚合函数，用于接收所述多个特征向量并将所述多个特征向量聚合成单个特征向量，以及全连接层，用于接收所述单个特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
条款10.根据条款9所述的方法，其中，所述至少两个LiDAR点云在被输入到所述基于核心点卷积的编码器之前被合并以形成合并点云。
条款11.根据条款10所述的方法，其中，所述合并点云被源标记到所述至少两个LiDAR点云中的各LiDAR点云。
条款12.根据条款9所述的方法，其中，所述聚合函数包括最大池化函数、随机选择函数、全局平均函数、均值函数或非参数聚合函数。
条款13.根据条款1至12中任一项所述的方法，还包括：获得第二至少两个LiDAR点云；使用所述至少一个分类器网络来处理所述第二至少两个LiDAR点云；从所述至少一个分类器网络获得第二至少一个输出数据集；基于所述第二至少一个输出数据集来确定为所述第二至少两个LiDAR点云对准；以及基于确定为所述第二至少两个LiDAR点云对准来进行第二动作，其中进行所述第二动作包括：将所述第二至少两个LiDAR点云标记为对准，以及/或者基于将所述第二至少两个LiDAR点云标记为对准来更新地图的特定区域。
条款14.根据条款1至13中任一项所述的方法，其中，所述第一动作包括：将所述至少两个LiDAR点云标记为未对准，以及/或者基于将所述至少两个LiDAR点云标记为未对准来更新地图的特定区域。
条款15.一种系统，包括：至少一个处理器；以及存储有指令的至少一个非暂时性存储介质，所述指令在由所述至少一个处理器执行时使所述至少一个处理器进行以下操作：获得至少两个光检测和测距点云即至少两个LiDAR点云；使用至少一个分类器网络来处理所述至少两个LiDAR点云；从所述至少一个分类器网络获得至少一个输出数据集；基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及基于确定为所述至少两个LiDAR点云未对准来进行第一动作。
条款16.根据条款15所述的系统，其中，所述至少一个分类器网络包括基于柱的网络和基于核心点卷积的网络中的至少一个。
条款17.根据条款15或16所述的系统，其中，所述至少一个分类器网络包括基于柱的网络和基于核心点卷积的网络，以及其中，确定为所述至少两个LiDAR点云未对准包括：融合来自所述基于柱的网络和所述基于核心点卷积的网络的至少一个输出数据集，以及基于经融合的至少一个输出数据集来确定为所述至少两个LiDAR点云未对准。
条款18.根据条款15至17中任一项所述的系统，其中，所述至少一个分类器网络中的第一分类器网络是基于柱的网络，其中所述基于柱的网络包括：特征网络，用于接收至少一个LiDAR点云并输出至少一个特征图，至少一个功能网络，用于接收所述至少一个特征图并输出特征向量，以及全连接层，用于接收所述特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
条款19.根据条款15至17中任一项所述的系统，其中，所述至少一个分类器网络中的第一分类器网络是基于核心点卷积的网络，其中所述基于核心点卷积的网络包括：基于核心点卷积的编码器，用于接收所述至少两个LiDAR点云并输出多个特征向量，聚合函数，用于接收所述多个特征向量并将所述多个特征向量聚合成单个特征向量，以及全连接层，用于接收所述单个特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
条款20.至少一个非暂时性存储介质，其存储有指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器进行以下操作：获得至少两个光检测和测距点云即至少两个LiDAR点云；使用至少一个分类器网络来处理所述至少两个LiDAR点云；从所述至少一个分类器网络获得至少一个输出数据集；基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及基于确定为所述至少两个LiDAR点云未对准来进行第一动作。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。
相关申请的交叉引用
本申请要求2021年9月8日提交的标题为“MACHINE LEARNING-BASED POINT CLOUDALIGNMENT CLASSIFICATION”的美国临时专利申请63/261014的权益，其全部内容通过引用而被包含于此。

Claims (20)

1.一种方法，包括：
获得至少两个光检测和测距点云即至少两个LiDAR点云；
使用至少一个分类器网络来处理所述至少两个LiDAR点云；
从所述至少一个分类器网络获得至少一个输出数据集；
基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及
基于确定为所述至少两个LiDAR点云未对准来进行第一动作。
2.根据权利要求1所述的方法，其中，获得所述至少两个LiDAR点云包括：
从第一多个LiDAR点云获得所述至少两个LiDAR点云，以用于点云配准处理，从而生成地图的特定区域的地图；
从配置在运载工具上的LiDAR系统获得所述至少两个LiDAR点云中的第一LiDAR点云，并且从第二多个LiDAR点云获得所述至少两个LiDAR点云中的第二LiDAR点云，以用于地图校正处理；
从配置在所述运载工具上的所述LiDAR系统获得所述第一LiDAR点云，并且从第三多个LiDAR点云获得所述第二LiDAR点云，以用于定位处理；或者
从配置在所述运载工具上的所述LiDAR系统获得所述第一LiDAR点云，并且从第四多个LiDAR点云获得所述第二LiDAR点云，以用于校准处理。
3.根据权利要求1或2所述的方法，其中，所述至少一个分类器网络包括基于柱的网络和基于核心点卷积的网络中的至少一个。
4.根据权利要求1至3中任一项所述的方法，其中，所述至少一个分类器网络包括基于柱的网络和基于核心点卷积的网络，以及其中，确定为所述至少两个LiDAR点云未对准包括：
融合来自所述基于柱的网络和所述基于核心点卷积的网络的至少一个输出数据集，以及
基于经融合的至少一个输出数据集来确定为所述至少两个LiDAR点云未对准。
5.根据权利要求1至4中任一项所述的方法，其中，所述至少一个分类器网络中的第一分类器网络是基于柱的网络，其中所述基于柱的网络包括：
特征网络，用于接收至少一个LiDAR点云并输出至少一个特征图，
至少一个功能网络，用于接收所述至少一个特征图并输出特征向量，以及
全连接层，用于接收所述特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
6.根据权利要求5所述的方法，其中，所述特征网络包括：
柱式编码器，用于接收所述至少一个LiDAR点云并输出至少一个伪图像，以及
特征主干，用于接收所述至少一个伪图像并输出所述至少一个特征图。
7.根据权利要求5所述的方法，其中，所述至少一个功能网络包括以下项中的至少一个：级联网络、至少一个卷积网络、以及扁平网络。
8.根据权利要求1至4中任一项所述的方法，其中，所述至少一个分类器网络中的第一分类器网络是基于柱的网络，其中所述基于柱的网络包括：
第一特征网络，用于接收第一LiDAR点云并输出第一特征图，
第二特征网络，用于接收第二LiDAR点云并输出第二特征图，
至少一个功能网络，用于接收所述第一特征图和所述第二特征图，并输出特征向量，以及
全连接层，用于接收所述特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
9.根据权利要求1至4中任一项所述的方法，其中，所述至少一个分类器网络中的第一分类器网络是基于核心点卷积的网络，其中所述基于核心点卷积的网络包括：
基于核心点卷积的编码器，用于接收所述至少两个LiDAR点云并输出多个特征向量，
聚合函数，用于接收所述多个特征向量并将所述多个特征向量聚合成单个特征向量，以及
全连接层，用于接收所述单个特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
10.根据权利要求9所述的方法，其中，所述至少两个LiDAR点云在被输入到所述基于核心点卷积的编码器之前被合并以形成合并点云。
11.根据权利要求10所述的方法，其中，所述合并点云被源标记到所述至少两个LiDAR点云中的各LiDAR点云。
12.根据权利要求9所述的方法，其中，所述聚合函数包括最大池化函数、随机选择函数、全局平均函数、均值函数或非参数聚合函数。
13.根据权利要求1至12中任一项所述的方法，还包括：
获得第二至少两个LiDAR点云；
使用所述至少一个分类器网络来处理所述第二至少两个LiDAR点云；
从所述至少一个分类器网络获得第二至少一个输出数据集；
基于所述第二至少一个输出数据集来确定为所述第二至少两个LiDAR点云对准；以及
基于确定为所述第二至少两个LiDAR点云对准来进行第二动作，其中进行所述第二动作包括：
将所述第二至少两个LiDAR点云标记为对准，以及/或者
基于将所述第二至少两个LiDAR点云标记为对准来更新地图的特定区域。
14.根据权利要求1至13中任一项所述的方法，其中，所述第一动作包括：
将所述至少两个LiDAR点云标记为未对准，以及/或者
基于将所述至少两个LiDAR点云标记为未对准来更新地图的特定区域。
15.一种系统，包括：
至少一个处理器；以及
存储有指令的至少一个非暂时性存储介质，所述指令在由所述至少一个处理器执行时使所述至少一个处理器进行以下操作：
获得至少两个光检测和测距点云即至少两个LiDAR点云；
使用至少一个分类器网络来处理所述至少两个LiDAR点云；
从所述至少一个分类器网络获得至少一个输出数据集；
基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及
基于确定为所述至少两个LiDAR点云未对准来进行第一动作。
16.根据权利要求15所述的系统，其中，所述至少一个分类器网络包括基于柱的网络和基于核心点卷积的网络中的至少一个。
17.根据权利要求15或16所述的系统，其中，所述至少一个分类器网络包括基于柱的网络和基于核心点卷积的网络，以及其中，确定为所述至少两个LiDAR点云未对准包括：
融合来自所述基于柱的网络和所述基于核心点卷积的网络的至少一个输出数据集，以及
基于经融合的至少一个输出数据集来确定为所述至少两个LiDAR点云未对准。
18.根据权利要求15至17中任一项所述的系统，其中，所述至少一个分类器网络中的第一分类器网络是基于柱的网络，其中所述基于柱的网络包括：
特征网络，用于接收至少一个LiDAR点云并输出至少一个特征图，
至少一个功能网络，用于接收所述至少一个特征图并输出特征向量，以及
全连接层，用于接收所述特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
19.根据权利要求15至17中任一项所述的系统，其中，所述至少一个分类器网络中的第一分类器网络是基于核心点卷积的网络，其中所述基于核心点卷积的网络包括：
基于核心点卷积的编码器，用于接收所述至少两个LiDAR点云并输出多个特征向量，
聚合函数，用于接收所述多个特征向量并将所述多个特征向量聚合成单个特征向量，以及
全连接层，用于接收所述单个特征向量并输出分类数据集，其中所述至少一个输出数据集包括所述分类数据集。
20.至少一个非暂时性存储介质，其存储有指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器进行以下操作：
获得至少两个光检测和测距点云即至少两个LiDAR点云；
使用至少一个分类器网络来处理所述至少两个LiDAR点云；
从所述至少一个分类器网络获得至少一个输出数据集；
基于所述至少一个输出数据集来确定为所述至少两个LiDAR点云未对准；以及
基于确定为所述至少两个LiDAR点云未对准来进行第一动作。
CN202211093284.4A 2021-09-08 2022-09-08 基于机器学习的点云对准分类 Withdrawn CN115797679A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163261014P 2021-09-08 2021-09-08
US63/261,014 2021-09-08
US17/744,052 US20230074860A1 (en) 2021-09-08 2022-05-13 Machine learning-based point cloud alignment classification
US17/744,052 2022-05-13

Publications (1)

Publication Number Publication Date
CN115797679A true CN115797679A (zh) 2023-03-14

Family

ID=83933331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211093284.4A Withdrawn CN115797679A (zh) 2021-09-08 2022-09-08 基于机器学习的点云对准分类

Country Status (5)

Country Link
US (1) US20230074860A1 (zh)
KR (1) KR20230037002A (zh)
CN (1) CN115797679A (zh)
DE (1) DE102022122456A1 (zh)
GB (1) GB2612878A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240054660A1 (en) * 2022-08-11 2024-02-15 Motional Ad Llc Point cloud alignment systems for generating high definition maps for vehicle navigation
CN117368876B (zh) * 2023-10-18 2024-03-29 广州易而达科技股份有限公司 一种人体检测方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760996B2 (en) * 2015-08-11 2017-09-12 Nokia Technologies Oy Non-rigid registration for large-scale space-time 3D point cloud alignment
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
CN113096167A (zh) * 2019-12-23 2021-07-09 阿里巴巴集团控股有限公司 一种点云对齐方法、装置和设备
GB2614379A (en) * 2020-01-03 2023-07-05 Mobileye Vision Technologies Ltd Systems and methods for vehicle navigation

Also Published As

Publication number Publication date
DE102022122456A1 (de) 2023-03-09
US20230074860A1 (en) 2023-03-09
GB2612878A8 (en) 2023-11-22
GB202212956D0 (en) 2022-10-19
KR20230037002A (ko) 2023-03-15
GB2612878A (en) 2023-05-17

Similar Documents

Publication Publication Date Title
US11295477B1 (en) Deep learning-based camera calibration
US11527085B1 (en) Multi-modal segmentation network for enhanced semantic labeling in mapping
US20220355825A1 (en) Predicting agent trajectories
CN115797679A (zh) 基于机器学习的点云对准分类
US20220358328A1 (en) End-to-end system training using fused images
US11640562B1 (en) Counterexample-guided update of a motion planner
CN115705693A (zh) 用于传感器数据的标注的方法、系统和存储介质
US11625909B1 (en) Track segment cleaning of tracked objects
CN116580366A (zh) 用于运载工具的方法、系统和存储介质
CN115713687A (zh) 用于确定对象动态参数的方法、系统和介质
US20240054661A1 (en) Point cloud alignment systems for generating high definition maps for vehicle navigation
WO2023249857A1 (en) Semi-closed loop rollouts for data augmentation
US11400958B1 (en) Learning to identify safety-critical scenarios for an autonomous vehicle
CN115951326A (zh) 对象检测方法、系统和存储介质
US11643108B1 (en) Generating corrected future maneuver parameters in a planner
US11727671B1 (en) Efficient and optimal feature extraction from observations
WO2024030384A1 (en) Object orientation determination from map and group parameters
WO2023146799A1 (en) Counterexample-guided update of a motion planner
WO2023146788A1 (en) Semantic annotation of sensor data with overlapping physical features
CN117152709A (zh) 计算机系统、计算机实现的方法和计算机可读介质
CN116483062A (zh) 用于运载工具的方法、系统以及存储介质
CN117152579A (zh) 用于运载工具的系统和计算机实现的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230314

WW01 Invention patent application withdrawn after publication