CN115375728A - 利用依赖性似然结构的多目标跟踪 - Google Patents

利用依赖性似然结构的多目标跟踪 Download PDF

Info

Publication number
CN115375728A
CN115375728A CN202210101060.7A CN202210101060A CN115375728A CN 115375728 A CN115375728 A CN 115375728A CN 202210101060 A CN202210101060 A CN 202210101060A CN 115375728 A CN115375728 A CN 115375728A
Authority
CN
China
Prior art keywords
hypotheses
candidate
criterion
hypothesis
occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210101060.7A
Other languages
English (en)
Inventor
陈凌姬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN115375728A publication Critical patent/CN115375728A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

本公开包括便于利用依赖性似然结构的多目标跟踪的系统、方法和计算机可读存储介质。为了便于跟踪，可以接收与运载工具所在的环境相关联的传感器数据。可以基于传感器数据获得候选假设集。候选假设集中的各候选假设可以包括表示一个或多于一个目标的候选地点的踪迹和测量信息。对照至少一个标准评价候选假设集。基于对照至少一个标准对候选假设集的评价来确定经排名的假设集。经排名的假设集可以包括从候选假设集中选择的假设的子集，并且可用于估计一个或多于一个目标中的各目标的地点。

Description

利用依赖性似然结构的多目标跟踪
技术领域
本发明涉及便于利用依赖性似然结构的多目标跟踪的系统、方法和计算机可读存储介质。
背景技术
目标跟踪在许多不同技术中发挥重要的作用。例如，自主运载工具可以使用跟踪来跟踪其它运载工具，并使用与被跟踪运载工具有关的信息来做出导航决策。由于计算资源限制，因此当前的跟踪技术通常假定单个目标测量关联似然独立于其它目标测量关联似然(例如，单个目标测量关联似然在其所属的任何假设中保持不变)。然而，存在独立性假定未成立的情形，并且这些情形可能降低跟踪的准确度。
发明内容
一种方法，包括：利用至少一个处理器接收与运载工具所在的环境相关联的传感器数据；利用所述至少一个处理器、基于所述传感器数据获得候选假设集，所述候选假设集中的各候选假设与表示一个或多于一个目标的候选地点的踪迹相对应；利用所述至少一个处理器、对照至少一个标准评价所述候选假设集；利用所述至少一个处理器、基于对照所述至少一个标准对所述候选假设集的评价来确定经排名的假设集，其中，所述经排名的假设集包括基于所述至少一个标准从所述候选假设集中选择的假设的子集；以及利用所述至少一个处理器、基于所述经排名的假设集来估计所述一个或多于一个目标中的各目标的地点。
一种系统，包括：至少一个处理器；以及至少一个非暂时性存储介质，其存储指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器：接收与运载工具所在的环境相关联的传感器数据；基于所述传感器数据获得候选假设集，所述候选假设集中的各候选假设与表示一个或多于一个目标的候选地点的踪迹相对应；对照至少一个标准评价所述候选假设集；基于对照所述至少一个标准对所述候选假设集的评价来确定经排名的假设集，其中，所述经排名的假设集包括基于所述至少一个标准从所述候选假设集中选择的假设的子集；以及基于所述经排名的假设集来估计所述一个或多于一个目标中的各目标的地点。
至少一个非暂时性计算机可读存储介质，其存储指令，所述指令在由一个或多于一个处理器执行时使所述一个或多于一个处理器进行用于多目标跟踪的操作，所述操作包括：接收与运载工具所在的环境相关联的传感器数据；基于所述传感器数据获得候选假设集，所述候选假设集中的各候选假设与表示一个或多于一个目标的候选地点的踪迹相对应；对照至少一个标准评价所述候选假设集；基于对照所述至少一个标准对所述候选假设集的评价来确定经排名的假设集，其中，所述经排名的假设集包括基于所述至少一个标准从所述候选假设集中选择的假设的子集；以及基于所述经排名的假设集来估计所述一个或多于一个目标中的各目标的地点。
附图说明
图1是可以实现包括根据本公开的方面的自主系统的一个或多于一个组件的运载工具等的示例环境；
图2是包括根据本公开的方面的自主系统的运载工具的一个或多于一个系统的图；
图3是图1和图2的一个或多于一个装置以及/或者一个或多于一个系统的组件的图；
图4是根据本公开的方面的自主系统的某些组件的图；
图5A-5G是根据本公开的用于利用依赖性似然结构的多目标跟踪的处理的实现的图；
图6是根据本公开的用于进行利用依赖性似然结构的多目标跟踪的处理的流程图；
图7是例示根据本公开的跟踪系统的方面的框图；
图8是例示根据本公开的进行多目标跟踪的方面的框图；
图9是例示根据本公开的用于跟踪目标的碰撞结构的示例性方面的框图；
图10是例示根据本公开的用于跟踪目标的遮挡结构的示例性方面的框图；
图11是例示根据本公开的跟踪的标绘图；以及
图12A-12B是例示基于独立性假定的跟踪的标绘图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其它示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其它特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的状况或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的状况或事件]时”和/或“响应于检测到[所陈述的状况或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
本文结合阈值来描述本公开的一些实施例。如本文所描述的，满足阈值可以是指值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、和/或等于阈值等。
现在将详细参考实施例，其示例在附图中例示。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
在一些方面和/或实施例中，本文描述的系统、方法和计算机程序产品包括和/或实现用于进行利用依赖性似然结构的多目标跟踪的处理。根据本公开的示例性方法包括利用至少一个处理器接收与运载工具所在的环境相关联的传感器数据。该方法还包括利用至少一个处理器、基于传感器数据获得候选假设集。候选假设集中的各候选假设可以包括表示一个或多于一个目标的地点的踪迹和测量信息。该方法另外包括利用至少一个处理器、对照至少一个标准评价候选假设集，以及利用至少一个处理器、基于对照至少一个标准对候选假设集的评价来确定经排名的假设集。经排名的假设集可以包括基于至少一个标准从候选假设集中选择的假设子集。该方法还包括利用至少一个处理器、基于经排名的假设集来估计一个或多于一个目标中的各目标的地点。
根据本公开的系统可以包括至少一个处理器以及存储指令的至少一个非暂时性存储介质，该指令在由至少一个处理器执行时使该至少一个处理器进行用于利用依赖性似然结构的多目标跟踪的操作。例如，至少一个处理器可以接收与运载工具所在的环境相关联的传感器数据，并基于传感器数据获得候选假设集。候选假设集中的各候选假设可以包括表示一个或多于一个目标的地点的踪迹和测量信息。至少一个处理器还可以对照至少一个标准评价候选假设集，并且基于对照至少一个标准对候选假设集的评价来确定经排名的假设集。经排名的假设集包括基于至少一个标准从候选假设集中选择的假设的子集。至少一个处理器还可以基于经排名的假设集来估计一个或多于一个目标中的各目标的地点。
还公开了存储指令的至少一个非暂时性计算机可读存储介质，该指令在由一个或多于一个处理器执行时使该一个或多于一个处理器进行用于利用依赖性似然结构的多目标跟踪的操作。该操作包括接收与运载工具所在的环境相关联的传感器数据，以及基于传感器数据获得候选假设集。候选假设集中的各候选假设可以包括表示一个或多于一个目标的候选地点的踪迹和测量信息。操作还包括对照至少一个标准评价候选假设集，以及基于对照至少一个标准对候选假设集的评价来确定经排名的假设集。经排名的假设集可以包括基于至少一个标准从候选假设集中选择的假设的子集。操作还包括基于经排名的假设集来估计一个或多于一个目标中的各目标的地点。
借助于本文描述的系统、方法和计算机程序产品的实现，根据本公开的用于利用依赖性似然结构的多目标跟踪的技术有效地减少了跟踪目标的假设的数量，从而降低了跟踪系统的计算复杂度(例如，需要更少的计算资源来进行跟踪)。注意，尽管利用了减少数量的假设，所公开的跟踪技术提供了碰撞和遮挡状况的实例的快速识别，这提高了跟踪准确度。此外，由于高的准确度水平和降低的计算复杂度，所公开的跟踪技术还使得能够同时跟踪更多的目标。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到基础设施(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其它类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其它类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其它类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和线控(DBW)系统202g。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、路标和/或提供视觉导航信息的其它物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其它系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算机202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转弯信号、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或状况的属性的至少一个平台传感器(未明确例示)。在一些示例中，运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)、运载工具200的至少一个装置(例如，运载工具202的系统的至少一个装置)、运载工具510、520、530的至少一个装置(例如，运载工具510、520、530中的任意运载工具的系统的至少一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置)、运载工具202的一个或多于一个装置(例如，运载工具202的系统的一个或多于一个装置)、运载工具510、520、530的一个或多于一个装置(例如，运载工具510、520、530中的任意运载工具的系统的至少一个装置)以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其它装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
Figure BDA0003492481150000171
接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器305和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4，例示自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何属性的高精度地图、描述道路网连接属性的地图、描述车行道物理属性(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其它行驶信号等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
在另一示例中，定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义属性相关联的数据。
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其它装置(例如，前灯、转弯信号、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。
现在参考图5A-5G，示出例示根据本公开的用于利用依赖性似然结构的多目标跟踪的处理的实现500的方面的图。在一些实施例中，实现500包括运载工具510。运载工具510是与图1的运载工具102和/或图2的运载工具200相同或相似的运载工具。运载工具510包括与图3的装置300相同或相似的一个或多于一个装置。另外，运载工具510包括与图4的自主运载工具计算装置400相同或相似的一个或多于一个装置。
运载工具510进行根据本公开的利用依赖性似然结构的多目标跟踪。例如，运载工具510对存在于运载工具510所在环境中的运载工具520、530进行跟踪。注意，虽然图5A-5G示出两个运载工具(例如，运载工具520、530)，但运载工具510可适于使用本文公开的跟踪技术对多于两个运载工具或少于两个运载工具进行多目标跟踪。另外，运载工具510可以利用多目标跟踪来跟踪存在于环境中的其它对象，诸如(一个或多于一个)障碍物560。(一个或多于一个)障碍物560可以包括存在于运载工具510所在环境中的路灯、路标、墙、护栏或其它物理对象。
如图5A所示，运载工具510包括一个或多于一个传感器512。一个或多于一个传感器512包括与图2的运载工具200的传感器装置(诸如照相机202a、LiDAR传感器202b、雷达传感器202c和麦克风202d)相同或相似的传感器装置。如箭头540、542、544、546、548、550、552所示，一个或多于一个传感器512被配置成从一个或多于一个方向监视运载工具510所在的环境。在一些实施例中，一个或多于一个传感器512将传感器信号514发射到环境中并接收信号回波516。为了说明，传感器信号514包括由LiDAR传感器的发光器发射的光，并且传感器回波516包括对象(例如，运载工具520、530、(一个或多于一个)障碍物560等)对发射光的光反射。如上所述，信号回波516中所包括的光反射被LiDAR传感器的光检测器接收，并且光回波被处理以产生传感器数据(例如，点云和/或组合点云等)。注意，虽然参考LiDAR传感器描述了以上示例，但是可以利用其它类型的传感器，诸如照相机或麦克风等。例如，照相机可以捕获环境的图像，并且图像可被用于根据本文公开的概念跟踪存在于运载工具所在环境中的对象。
如框570处所示，自主运载工具计算504接收与运载工具所在环境相关联的传感器数据。如上所述，传感器数据包括使用LiDAR传感器获得的数据(诸如点云和/或组合点云等)，或者包括使用其它类型的传感器获得的其它类型的数据。在实施例中，通过感知系统524来评价传感器数据，该感知系统524提供与存在于环境中的目标有关的信息，如以上参考图4所述。附加地或可替代地，使用定位系统526来评价传感器数据，该定位系统526确定运载工具510在环境内的位置。另外，定位系统526基于传感器数据和感知系统524所提供的信息来确定运载工具520、530的位置。为了说明，感知系统524向定位系统526提供与基于传感器数据识别出的对象(例如，运载工具和障碍物等)有关的信息。然后，定位系统526利用与感知系统524所识别出的对象有关的信息以及传感器数据来确定这些对象在环境内的位置。
如图5B所示，在框572处，自主运载工具计算504基于传感器数据获得候选假设集。在一方面，各候选假设包括从传感器数据导出的踪迹信息和测量信息。踪迹信息和测量信息至少部分地经由感知系统524和定位系统526的操作从传感器数据导出。各踪迹对应于运载工具510正跟踪的目标(例如，人、行人、自行车、运载工具等)(有时称为感兴趣目标)。例如，候选假设提供表示特定时刻的环境的信息，诸如一个或多于一个被跟踪目标相对于彼此和运载工具510的位置。参考图7更详细地描述与踪迹信息和测量信息有关的示例性细节。
如图5C的框574中所示，对照至少一个标准来评价候选假设集。在一方面，至少一个标准包括被配置为对候选假设集进行排名的排名标准。排名标准为各候选假设分配表示候选假设集中的特定候选假设独立地(例如，在不考虑候选假设集中的其它候选假设和/或来自先前时间间隔的假设的情况下)正确识别一个或多于一个目标的地点的似然的度量。虽然排名标准使得能够基于所分配的排名度量(诸如从最高似然到最低似然)对候选假设集进行排序，但是基于对假设的独立评价跟踪多个目标可能导致不准确，尤其是关于跟踪期间可能出现的某些状况(诸如碰撞状况和遮挡状况等)不准确。以下更详细地描述这些状况中的各状况。
为了解决在独立评价候选假设时可能出现的问题，自主运载工具计算504基于对照至少一个标准对候选假设集的评价来确定经排名的假设集，如图5D的框576所示。例如，如上文简要描述的，排名标准使得能够根据基于对各候选假设的单独评价而确定的似然度量来对候选假设集进行排名。基于独立评价分配给候选假设集的该排名度量表示所提议的排名，并且在框576处确定的排名用于验证候选假设集的排名。为了便于候选假设的最终排名，根据碰撞标准、遮挡标准或这两者来对候选假设进行排名。碰撞标准和遮挡标准被配置成在考虑候选假设的依赖性的同时评价候选假设，并且经排名的假设集基于对在考虑依赖性的情况下候选假设集中的特定候选假设是否正确地识别一个或多于一个目标的地点的确定。例如，在跟踪期间以不同的时间间隔(例如，每10毫秒(ms)、100ms、500ms、1秒或其它时间间隔)生成或获得候选假设。如以下参考图8更详细地例示和描述，对于各后续时间间隔，生成或获得的候选假设依赖于先前时间间隔中的假设之一。因此，随着时间的推移，创建包括跟踪期间所获得的所有候选假设的数据结构。作为非限制性示例，如图8所示并在以下更详细地描述，数据结构是树型或链表型数据结构的形式。
应当理解，这种数据结构可能随着跟踪持续时间的增加而变得越来越大，这要求跟踪消耗更大量的存储器资源。然而，本公开的多目标跟踪技术所利用的碰撞标准和/或遮挡标准被配置成减小存储候选假设的数据结构的大小，从而减少进行跟踪所需的存储器资源的量。另外，尽管数据结构的大小减小，但是本公开的多目标跟踪技术所使用的碰撞标准和/或遮挡标准可以提高被跟踪目标的准确度，如下面更详细地解释。
如以上简要地描述，碰撞标准和/或遮挡标准用于评价候选假设集的(提议)排名，以产生考虑了依赖性的(最终或验证)排名假设集。基于碰撞标准的候选假设的评价可以使得能够在候选假设内检测到不可能的或不可信的状况。例如，如果候选假设指示运载工具530将在运载工具520的左侧、但在该候选假设所依赖的父假设中运载工具530在运载工具520的右侧，则碰撞标准指示候选假设包含碰撞状况。碰撞状况可以指示候选假设包含相对于一个或多于一个被跟踪目标的不可信或不可能的位置或地点信息。在上述示例中，运载工具530从运载工具520的一侧切换到运载工具520的另一侧表示运载工具530的相对位置或地点的不可信或不可能的变化，因为候选假设与其父假设之间的时间差可以是几毫秒(例如，10ms、100ms等)的量级，并且运载工具520、530可以在如此小的时间帧内以这种方式改变位置是不可能的或不可信的。
当基于使用碰撞标准对候选假设的评价检测碰撞状况时，针对所评价的候选假设的排名度量可能减小。例如，针对各候选假设的排名度量初始被分配基于排名标准的值(没有考虑依赖性)，并且当基于使用碰撞标准对候选假设的评价检测到碰撞状况时，该排名度量被设置为零值。将使用碰撞标准评价并被确定为不表示碰撞状况的候选假设添加到(最终)排名假设集。如以下更详细地描述，经排名的假设集用于进行跟踪，并且在一些实例中便于操作以控制运载工具510的导航或向(例如，半自主或非自主运载工具的)驾驶员提供警报。
基于遮挡标准对候选假设的评价使得能够检测或验证遮挡状况是否存在于候选假设中。当运载工具被阻挡在传感器的检测场外时，发生遮挡状况。例如，如果运载工具520在运载工具530的前方经过，则运载工具530可能阻止传感器检测到运载工具520。然而，在一些实例中，发生漏检，其中传感器没有恰当地接收到来自对象的信号回波。在这样的实例中，使用排名标准对候选假设的评价似乎指示存在遮挡，因为没有考虑依赖性。可以容易地理解，这种对自主运载工具正在运行的环境的错误理解可能是有问题的并且是不期望的。
为了解决这一挑战，遮挡标准用于评价各候选假设并验证是否存在遮挡状况。例如，通过考虑依赖性信息，诸如在先前假设中存在运载工具、但是待评价的候选假设不包括指示运载工具仍然存在的测量信息时确定运载工具是否被遮挡。不包括遮挡状况或正确地识别遮挡状况的候选假设根据其分配或提议的排名度量(例如，由排名标准确定的排名度量)被添加到(最终)排名假设集。然而，对与在使用排名标准进行评价期间被错误地识别为包括遮挡状况的候选假设相关联的度量值应用惩罚度量。惩罚度量被配置为降低(例如，基于排名标准)被错误地确定为包括遮挡状况的候选假设的度量值或排名。一旦应用惩罚度量，就根据降低的度量值将候选假设添加到经排名的假设集。
如以下将更详细地描述的，利用碰撞标准和/或遮挡标准来产生经排名的假设集可以减少为实现准确跟踪而需要考虑的假设的数量。例如，当利用碰撞标准时，省略包括碰撞状况的任何假设以不在跟踪操作中进一步使用(例如，与碰撞状况相关联的候选假设不在跟踪数据结构内产生子假设)。通过使用碰撞标准识别不准确的候选假设，与先前的跟踪技术相比，使用更小的假设集来进行跟踪。例如，(最终)排名假设集仅包括使用碰撞标准从候选假设中选择的前“X”个经排名的假设。前“X”个经排名的假设可能包括100个假设、200个假设或其它数量的假设。类似地，利用遮挡标准和惩罚度量可以减少不准确的候选假设(例如，包含错误识别的遮挡状况的候选假设)的排名。因此，当选择前“X”个经排名的假设来进行跟踪时，不太可能使用不准确的假设，从而得到与存在于运载工具510所在环境中的对象(例如，运载工具和障碍物等)的地点和关系有关的信息的更准确集合。提高的准确度使得自主运载工具能够做出更智能的决策，并降低在运载工具510的自主导航期间发生事故的似然。除了提高准确度之外，减少的候选假设集还可以减小用于跟踪感兴趣目标的数据结构的大小。数据结构的大小减小使得能够跟踪更多目标和/或允许以减少的计算资源(例如，较少的存储器或其它硬件需求)进行跟踪。以下参考图7-10来更详细地描述使用碰撞和遮挡标准对候选假设的评价。
如图5E的框578处所示，自主运载工具计算504基于在框576处确定的经排名的假设集来估计一个或多于一个目标中的各目标的地点。如上所述，经排名的假设集提供考虑到假设的依赖性的经验证的假设排名，这可以使得能够考虑有问题的状况(例如，碰撞状况和遮挡状况)。考虑这种有问题的状况的能力使得能够更准确地理解运载工具510和运载工具510所在环境中存在的其它对象(诸如运载工具520、530和(一个或多于一个)障碍物560)之间的空间关系。
在图5F的框580处，与图4的规划系统相同或相似的规划系统506基于目标的估计地点来确定一个或多于一个导航操作518。一个或多于一个导航操作包括对运载工具510的速率的调整或修改，诸如使运载工具510加速或减速或改变运载工具510的行驶路径(例如，在特定方向上转弯或转向等)。以上针对图4的规划系统描述了可由规划系统506进行的附加示例性操作。一个或多于一个导航操作518可以被提供给控制系统508，该控制系统508与图4的控制系统相同或相似。
如图5G所示，在框582处，控制系统508基于导航操作生成一个或多于一个控制信号502。一个或多于一个控制信号502包括用以实现一个或多于一个导航操作518的命令。如图5G所示，一个或多于一个控制信号502可被提供给线控系统522，该线控系统522与图2的线控系统相同或相似。如上文参考图2和4所述，线控系统522可以控制运载工具的操作。为了说明，线控系统522利用控制信号502来控制动力总成控制系统(例如，图2的动力总成控制系统204等)、转向控制系统(例如，图2的转向控制系统206等)和/或制动系统(例如，图2的制动系统208等)的操作。注意，虽然图5A-5G例示被配置为进行根据本公开的利用依赖性似然结构的多目标跟踪的运载工具的示例性实现，但是这种实现是为了说明的目的、而不是通过限制的方式提供的。因此，应当理解，所公开的用于进行利用依赖性似然结构的多目标跟踪的技术可以容易地应用于跟踪自主运载工具以外的用例，诸如跟踪细胞(cell)或其它生物相关用例、跟踪人、跟踪动物和跟踪机器人等。
现在参考图6，例示根据本公开的用于利用依赖性似然结构的多目标跟踪的处理600的流程图。在一些实施例中，关于处理600描述的一个或多于一个步骤(例如，完全地和/或部分地)由自主系统(诸如图2的运载工具200等)进行。附加地或可替代地，在一些实施例中，关于处理600描述的一个或多于一个步骤(例如，完全地和/或部分地)由与自主运载工具(诸如图1的远程AV系统114、图1的队列管理系统116或图1的运载工具到基础设施系统118等)分离或者包括该自主运载工具的其它装置或装置组进行。在实施例中，处理600的操作作为指令被存储在存储器(例如，图3的存储器306)中，该指令在由一个或多于一个处理器(例如，图3的(一个或多于一个)处理器304)执行时使该一个或多于一个处理器进行根据本公开的利用依赖性似然结构的多目标跟踪。
在框610处，处理600包括利用至少一个处理器接收与运载工具所在的环境相关联的传感器数据。在一方面，传感器数据包括与点云相关联的LiDAR数据、与图像相关联的图像数据、与视频相关联的视频数据、其它类型的传感器数据或其组合。注意，虽然参考运载工具所在的环境描述了框610，但是处理600不限于涉及运载工具的应用，并且可以容易地应用于期望进行多目标跟踪的能力的其它用例。在框620处，处理600包括利用至少一个处理器、基于传感器数据来获得候选假设集。如本文所述，候选假设集中的各候选假设包括与表示一个或多于一个目标的候选地点的踪迹相对应的信息。一个或多于一个目标包括环境内的其它运载工具(例如，船只、小汽车、卡车、摩托车、飞机、无人机)。在其它用例中，一个或多于一个目标包括细胞(例如，用显微镜观察的细胞)、人、机器人和动物等。以下参考图7-10来描述候选假设的附加示例性方面。
在框630处，处理600包括利用至少一个处理器、对照至少一个标准来评价候选假设集。如本文所述，至少一个标准包括碰撞标准、遮挡标准、或碰撞标准和遮挡标准这两者。碰撞标准被配置为识别与碰撞状况相关联的假设(或假设内的踪迹)。以下参考图7更详细地描述和例示碰撞状况的示例性方面。遮挡标准被配置为识别与正确和错误地识别的遮挡状况相关联的假设(或假设内的踪迹)。以下参考图7更详细地描述和例示遮挡状况的示例性方面。
在框640处，处理600包括利用至少一个处理器、基于对照至少一个标准对候选假设集的评价来确定经排名的假设集。如本文描述的，本公开的跟踪技术利用独立地(例如，在不考虑先前假设的情况下)评价候选假设(或各候选假设的踪迹)的提议和验证方法来确定候选假设的初始或提议的排名(如在框630中)，然后使用至少一个标准来验证提议的排名。作为验证的结果，产生(最终)排名假设集并用于跟踪一个或多于一个感兴趣目标。注意，经排名的假设集可以包括基于至少一个标准从候选假设集中选择的假设的子集。以下参考图7-10来更详细地描述确定用于跟踪的经排名假设集的示例性方面。
处理600包括在框650处利用至少一个处理器、基于经排名的假设集来估计一个或多于一个目标中的各目标的地点。在一方面，基于在框640处确定的当前经排名假设集来确定估计的地点。例如，分析针对给定时间间隔确定的最终排名假设集，以获得对运载工具所感兴趣的(一个或多于一个)被跟踪目标的地点的了解。运载工具利用感兴趣的(一个或多于一个)被跟踪目标的地点来确定用以控制运载工具的导航的一个或多于一个导航操作，诸如避免接触环境内的其它运载工具或对象、减速以保持与环境内的一个或多于一个运载工具的阈值距离、或其它类型的导航操作。在确定一个或多于一个导航操作时，控制信号被提供给线控系统522(例如，图2的线控系统202h)。作为非限制性和例示性示例，线控系统522接收控制，然后向动力总成控制系统(例如，图2的动力总成控制系统204)提供命令。动力总成控制系统然后可以实现用以控制运载工具的导航的方面的导航操作。注意，用于控制运载工具的导航的上述功能是为了说明的目的、而不是通过限制的方式提供的，并且实现根据本公开的跟踪技术的运载工具可以利用不同处理来控制导航。不管用于控制导航的特定子系统(例如，线控系统、动力总成控制系统等)如何，处理600都使得这种控制系统能够快速获得与环境内正被跟踪的感兴趣目标有关的准确信息并对被跟踪目标的地点的改变进行响应。这种能力可以提高自主导航系统的安全性和可靠性，并减轻事故的似然。
另外，处理600使得能够跟踪更多的目标，因为跟踪是基于减少的、用于准确地跟踪运载工具所在环境内的目标的假设集而进行的。另外，用于跟踪的假设的数量减少可以使得能够以较少的计算复杂度进行跟踪，从而使得能够以降低的成本部署准确的跟踪系统。注意，虽然在本文中将一些实现描述为使用处理600以及本公开的其它方面以便于在自主运载工具中跟踪，但是本公开的实施例不限于这种用例。为了说明，处理600也用于半自主运载工具中，诸如在检测到可能有害情形(例如，如果检测到运载工具正在接近环境内的被跟踪目标，则自动制动或转弯)的情况下覆盖手动驾驶命令，并且处理600也用于非自主运载工具(例如，不具有任何自动导航能力的运载工具)，诸如在关于被跟踪目标检测到特定状况时向驾驶员提供可听警告或警报(例如，当目标接近运载工具时提供可听警报)。进一步注意，处理600还容易地用于跟踪除运载工具之外的感兴趣目标，诸如基于显微镜所提供的图像数据来跟踪细胞、跟踪机器人、跟踪动物或期望跟踪的其它情形。因此，应当理解，处理600不限于涉及运载工具的用例，而是提供用于以降低的计算复杂度和提高的准确度来准确地进行多目标跟踪的改进技术。
参考图7，示出例示根据本公开的跟踪系统的方面的框图。在图7中，示出快照710和候选假设730A、730B、...、730n。快照710包括感兴趣目标712和感兴趣目标714的踪迹。快照710对应于被选择以在先前时间间隔期间的跟踪中进一步使用的假设，如参考图8更详细地描述和例示。感兴趣目标712的踪迹对应于感兴趣目标712在环境内的估计地点，并且感兴趣目标714的踪迹对应于感兴趣目标714在环境内的估计地点。例如，感兴趣目标712和感兴趣目标714可以是运载工具(例如，船只、小汽车、卡车、摩托车、飞机、无人机、直升机等)，并且感兴趣目标712、714的踪迹对应于环境(例如，车行道、停车结构等)内的运载工具所在的估计地点。除了其它运载工具之外，感兴趣目标还可以包括静止感兴趣目标(例如，路灯、标志、或者被监视环境内的其它对象)。注意，虽然本公开的一些实施例是关于跟踪运载工具描述的，但是这些示例是通过例示而不是通过限制的方式提供的，并且本文公开的跟踪技术不限于运载工具跟踪——实际上，根据本公开的跟踪技术可以容易地应用于跟踪运载工具之外的感兴趣目标，诸如细胞、人、机器人、动物或其它类型的目标。
快照710还包括测量720、722、724。测量是基于跟踪系统(例如，图2的自主运载工具计算202f、图4的自主运载工具计算400、或图5A-5G的自主运载工具计算504)所观察到的数据而确定的。观察数据对应于与运载工具(或其它类型的感兴趣目标)所在的环境相关联的传感器数据。如上所述，传感器数据包括LiDAR扫描(例如，点云和/或合并点云等)。在该示例中，与LiDAR扫描相关联的数据由LiDAR装置(例如，与图2的LiDAR传感器202b相同或相似或包括LiDAR传感器202b的LiDAR装置)生成。注意，本公开的实施例还可以从其它类型的传感器获得传感器数据。例如，传感器包括一个或多于一个照相机(例如，与图2的照相机202a相同或相似的照相机)，并且传感器数据包括描绘照相机的视场内的场景的图像数据，或者包括与视频相关联的视频数据。注意，其它类型的传感器(例如，与图2的雷达传感器202c相同或相似的雷达传感器和/或与图2的麦克风202d相同或相似的麦克风传感器等)和传感器数据也可用于根据本文公开的概念进行跟踪。注意，为了说明的目的而不是通过限制的方式，图7将测量例示为包括三个测量720、722、724，并且本公开的实施例可以利用提供多于三个测量或少于三个测量的传感器数据。
如图7所示，快照710表示对第一时间点(例如，时间(t)＝0)的感兴趣目标712、714和环境之间的关系的理解。在后续时间点(例如，t＝1)，(例如从传感器)接收与环境相关联的附加传感器数据。使用在后续时间点(例如，t＝1)接收的传感器数据来获得候选假设730A、730B、...、730n的集合。候选假设730A、730B、...、730n中的各假设对应于表示一个或多于一个目标的候选地点的踪迹。例如，假设在快照710中，感兴趣目标712是第一运载工具，并且感兴趣目标714是第二运载工具。在候选假设730A中，感兴趣目标712被估计处于测量722所指示的地点，并且感兴趣目标714被估计处于测量724所指示的地点。在候选假设730B中，感兴趣目标712被估计处于测量720所指示的地点，并且感兴趣目标714被估计处于测量722所指示的地点；并且在候选假设730n中，感兴趣目标712被估计处于测量724所指示的地点，并且感兴趣目标714被估计处于测量720所指示的地点。
单独地考虑各踪迹，可以看出所有候选假设似乎都是可信的。这是因为当仅考虑与感兴趣目标712相关联的踪迹时，感兴趣目标712位于候选假设730A-730n的测量所指示的任何点处都是合理的。类似地，当仅考虑与感兴趣目标714相关联的踪迹时，感兴趣目标714位于候选假设730A-730n的测量所指示的任何点处都是合理的。在一方面，各候选假设(例如，在不考虑其它踪迹或其它被跟踪的感兴趣目标的情况下)根据对各踪迹的单独分析进行初始排名。
如上所述，除了单独评价候选假设730A-730n的踪迹和测量数据之外，根据本公开的跟踪技术还考虑了不同踪迹之间的依赖性。当在依赖性的情况下考虑踪迹时，可以看出候选假设730A和730B表示在t＝0到t＝1的时间间隔期间感兴趣目标712、714的位置的可信转变。为了说明，基于候选假设730A，感兴趣目标712被估计处于与测量722相关联的地点，而感兴趣目标714被估计处于与测量724相关联的地点，并且基于候选假设730B，感兴趣目标712被估计处于与测量720相关联的地点，而感兴趣目标714被估计处于与测量722相关联的地点。候选假设730A和730B的地点估计表示可信的地点估计，因为感兴趣目标712、714在t＝0到t＝1的时间间隔期间保持它们的空间关系(例如，感兴趣目标712保持在感兴趣目标714的同一侧，并且感兴趣目标712、714在时间间隔期间都没有被遮挡)。如上所述，候选假设730A和730B所表示的地点估计被确定为表示感兴趣目标712、714的有效可能地点，因此被用于进一步跟踪。
相比之下，候选假设730n表示在t＝0到t＝1的时间间隔期间感兴趣目标712、714的地点的不可能或不可信的转变。特别地，感兴趣目标712、714在从t＝0到t＝1的时间间隔期间相对于彼此切换它们的位置或地点；然而，该时间间隔可以表示短时间量，诸如1秒、数毫秒(ms)或其它时间帧等。在这样小的时间帧内，感兴趣目标712、714不可能在不发生碰撞的情况下切换位置。如上所述，本公开的跟踪技术利用碰撞标准或碰撞结构来检测例如候选假设730n所表示的情形的发生。如以下参考图8更详细地描述，本文公开的跟踪技术不利用被确定为表示碰撞事件的候选假设。
在图7中，在候选假设740处示出在跟踪期间可能遇到的另一示例性场景。候选假设740表示感兴趣目标712被感兴趣目标714遮挡的遮挡场景。当发生这种遮挡状况时，可能难以估计被遮挡的感兴趣目标的位置。例如，在存在遮挡状况的候选假设中，可能不清楚感兴趣目标712是否不再在环境中(例如，正被跟踪的运载工具是否已经转弯离开道路)，或者感兴趣目标712是否仍然存在于环境中，但由于其位于对象(例如，另一感兴趣目标、街道标志、墙等)后面而不能被感测到。如上所述，使用遮挡标准来评价候选假设740所表示的情形，以确定感兴趣目标是实际上被遮挡还是未被遮挡。当遮挡标准指示候选假设(例如，假设740)内的感兴趣目标实际上未被遮挡时，该候选假设可能不用于进行进一步跟踪。然而，如果遮挡标准指示感兴趣目标被遮挡，则候选假设可被保留以进一步用于跟踪。
参考图8，示出例示根据本公开的进行多目标跟踪的方面的框图。在图8中，多个候选假设被示出为包括假设800、804、808、812、816、820、824、828、832、836、840、844、848、852、856、860、864、868、872、876。基于与环境(例如，运载工具所在的环境、以及正在观察细胞的环境等)相关联的传感器数据(例如，LiDAR扫描、点云、图像和视频等)获得图8所示的各假设，其中传感器数据由诸如LiDAR装置、照相机(例如，摄像机、成像照相机、红外照相机、RGB-D照相机等)、显微镜或其它类型的传感器等的一个或多于一个传感器捕获。
如上文参考图7所描述的，各假设包括与从传感器数据导出的测量(例如，图7的测量720、722、724)相关联的数据以及指示与各测量相关联的踪迹(例如，与图7的感兴趣目标712、714相关联的踪迹)的信息。例如，假设800包括踪迹和测量数据802，假设804包括踪迹和测量数据806，假设808包括踪迹和测量数据810，假设812包括踪迹和测量数据814，假设816包括踪迹和测量数据818，假设820包括踪迹和测量数据822，假设824包括踪迹和测量数据826，假设828包括踪迹和测量数据830，假设832包括踪迹和测量数据834，假设836包括踪迹和测量数据838，假设840包括踪迹和测量数据842，假设844包括踪迹和测量数据846，假设848包括踪迹和测量数据850，假设852包括踪迹和测量数据854，假设856包括踪迹和测量数据858，假设860包括踪迹和测量数据862，假设864包括踪迹和测量数据866，假设868包括踪迹和测量数据870，假设872包括踪迹和测量数据874，并且假设876包括踪迹和测量数据878。
各假设的踪迹和测量数据包括与同感兴趣目标相关联的一个或多于一个踪迹相关联的信息以及与观察到的测量相关联的信息。在非限制性示例中，踪迹和测量数据被存储在数据库中，并且各假设仅包括与各踪迹相对应的标识符以及相关联的测量数据。踪迹标识符(ID)识别特定踪迹，并且测量ID提供对(数据库中)与相应踪迹ID相关联的实际测量数据的参考。为了说明，假设800的踪迹和测量数据802包括正被跟踪的一个或多于一个感兴趣目标的踪迹ID以及与所分配的测量数据相关联或与各轨迹ID相关联的测量ID。在一方面，踪迹和测量数据被指定为踪迹ID和测量ID对(诸如trackID1.measurementID1和trackID2.measurementID2)，其中trackID1.measurementID1对应于与第一感兴趣目标(例如，图7的感兴趣目标712)相关联的踪迹，并且trackID2.measurementID2对应于与第二感兴趣目标(例如，图7的感兴趣目标714)相关联的踪迹。
如图8所示，仅选择一些假设以用于进一步跟踪。例如，假设800与时间间隔t＝x–4相关联，假设804、808、812与时间间隔t＝x–3相关联，假设816、820、824、828、832、836、840与时间间隔t＝x–2相关联，假设844、848、852、876与时间间隔t＝x–1相关联，并且假设860、864、868、872、876与时间间隔t＝x相关联。在时间间隔t＝x–4中，选择假设800以进一步用于跟踪一个或多于一个感兴趣目标。例如，假设800包括在经排名的假设集中并满足阈值排名，其中阈值排名指示应当用于在下一时间间隔(例如，t＝x-3)期间跟踪一个或多于一个感兴趣目标的假设。在一方面，阈值排名是前100个假设。在附加或可替代方面，阈值排名可以是前200个假设、前500个假设、前1000个假设或某个其它排名度量。在一方面，如本文所述，使用依赖性似然结构(诸如碰撞结构、遮挡结构或这两者)来确定排名。注意，依赖性似然结构被用于确定候选假设集的最终排名，但是也可以进行其它度量和分析。例如，在对候选假设进行排名并选择候选假设的子集以用于进一步跟踪之前，单独地(例如，在不考虑其它感兴趣目标的情况下)评价候选假设。在一些实例中，使用依赖性似然结构来确认或证实对候选假设的单独评价的结果。
为了说明，假设804、808、812是针对时间间隔t＝x-3的候选假设集的一部分。单独地(例如，在不考虑其它踪迹或被跟踪目标的情况下)评价与假设804、808、812中的各假设相关联的踪迹以确定测量与先前分配给待评价的踪迹的被跟踪目标的当前地点相对应的似然。这将根据各踪迹的似然度来产生初始排名集。随后，对照至少一个标准来评价踪迹，以确定经排名的假设集。如在上文中描述并在下文中参考图9和10更详细地例示，基于至少一个标准确定的经排名的假设集包括候选假设的子集。例如，在图8中，候选假设804、808、812的评价使得候选假设804和812被包括在经排名的假设集中，而候选假设808不被包括。注意，由于各种原因(诸如不包括准确的信息或仅仅是比时间间隔t＝x-3期间的其它假设排名更低的假设)，从经排名的假设集中省略候选假设808。
如图8所示，对任何特定时间间隔内的经排名假设集的选择便于基于在先前时间间隔期间确定的经排名假设集来跟踪感兴趣目标。例如，在时间间隔t＝x–3期间，基于候选假设804、812进行跟踪；在时间间隔t＝x–2期间，基于候选假设820、832进行跟踪；并且在时间间隔t＝x–1期间，基于候选假设848进行跟踪。注意，图8没有示出在进行跟踪的给定时间间隔中的所有候选假设，并且感兴趣目标的跟踪考虑了针对特定时间间隔的许多不同假设(例如，10个假设、100个假设、200个假设、1000个假设或多于1000个假设)。如上所述，本公开的跟踪技术提供了一种有效的技术，用于通过修剪或省略包含较不准确或不准确数据的假设来减少用于进行跟踪的假设的数量，同时保持足够的准确度水平。减少候选假设的数量可以使得能够跟踪更多的目标以及使进行跟踪所需的计算复杂度最小化，从而使得能够(例如，在计算上和成本上)更有效地进行跟踪。
参考图9，示出例示根据本公开的用于跟踪目标的碰撞结构的示例性方面的框图。更具体地，在图9中，示出候选假设集排名910。候选假设集排名910表示针对某一时间间隔(例如，图8的时间间隔其中之一)的候选假设的排名，并且排名是基于对踪迹的单独评价来确定的，也就是说，排名910不考虑不同被跟踪目标之间的依赖性。如上文参考图7所描述，当不考虑依赖性时，可能难以检测不可信的状况，诸如碰撞状况。为了解决这个挑战，基于至少一个标准(诸如排名标准)来评价候选假设集排名910。排名标准可以是用于检测碰撞状况(诸如图7的候选假设730n中例示的碰撞状况)的碰撞标准。
使用至少一个标准(在该示例中是碰撞标准)以基于不同踪迹之间的依赖性来评价候选假设集排名910。这种评价或分析使得跟踪能够考虑与由所考虑的候选假设表示的感兴趣目标的特定踪迹和移动是可信(如图7的假设730A和730B中那样)还是不可信(如图7的假设730n中那样)有关的见解。例如，候选假设集排名包括排名912、914、916、918、920。各排名与排名度量相关联。例如，排名912包括排名度量值42.5，排名914包括排名度量值31.2，排名916包括排名度量值25.4，排名918包括排名度量值19.7，依此类推。由于排名912-920的排名度量是基于单独考虑各踪迹的独立假设结构来确定的，因此排名度量不反映某些状况，诸如碰撞状况。
为了减轻该问题，使用排名标准来评价候选假设集排名910，在该示例中，排名标准是碰撞标准。在基于排名标准对候选假设集排名910的评价期间，考虑了依赖性。如果排名度量是准确的并且没有检测到碰撞状况，则将候选假设添加到经排名的假设集930。例如，在图9中，排名912被确定为不包括碰撞状况，并被添加到经排名的假设集930。在一方面，候选假设集排名910根据排名度量进行排序或排名，并且作为结果在候选假设被添加到经排名的假设集930时以特定顺序(例如，最高到最低)进行排名。对于与碰撞状况相关联的候选假设(诸如与排名914相关联的假设)，排名度量被分配零(0)值并移动到经排名的假设集930的底部。在附加或可替代的方面，基于排名标准(例如，碰撞标准)识别为与碰撞状况相关联的假设被从经排名的假设集930中省略，标记为与碰撞状况相关联，或者使用其它类型的指定或处理来指定这些假设不应用于进行进一步跟踪。
如在图9中进一步例示，基于排名标准确定为排名916与碰撞状况不相关联，并将排名916添加到经排名的假设集930。类似地，基于排名标准确定为排名918与碰撞状况不相关联，并将排名918添加到经排名的假设集930。应当理解，对于各附加排名920，或者至少直到已将阈值数量的假设添加到经排名的假设集930为止，可以重复以上关于排名912-918描述的处理。在一方面，阈值数量的假设是100个假设、200个假设、500个假设、1000个假设或不包含碰撞状况的某一其它数量的假设。在附加或可替代方面，基于除假设的阈值数量之外的因素来确定经排名的假设集930。例如，基于阈值排名度量来确定经排名的假设集930，其中将与高于阈值排名度量的排名度量相关联且与碰撞状况不相关联的假设添加到经排名的假设集930。
注意，无论用于产生经排名的假设集930的阈值的类型如何，跟踪操作都得到改进。例如，假定要考虑10,000个候选假设，并且假设的阈值数量被配置为产生经排名的假设集930，该假设集930包括不包含碰撞状况的前“X”个假设，其中“X”<501。仅考虑候选假设的总数的一小部分，而无需评价所有10,000个候选假设以在各时间间隔期间进行跟踪。这减少了评价针对任何特定时间间隔的经排名假设集930中所包括的位置信息所需的时间量，并且降低了跟踪的计算复杂度(例如，需要较少的存储器、消耗较少的处理器带宽等)，这可以允许更快地进行跟踪或者允许基于(例如，响应于)(一个或多于一个)被跟踪目标的地点的变化更快地确定导航操作。类似地，在阈值是阈值排名度量的情况下，不需要考虑低于阈值排名度量的任何候选假设。
此外，通过省略或降低与碰撞状况相关联的候选假设的排名(例如，因为在未来时间段中可以省略考虑被跟踪目标的相对位置或地点的不可信或不可能的改变)，跟踪操作变得更准确。为了说明，在图7的示例中，假定候选假设730n向前运送(例如，添加到经排名的假设集930)。在下一时间段期间，候选假设730n用作新快照(例如，类似于图7的快照710)，并且用于基于在下一时间段期间获得的测量来评价感兴趣目标的依赖性。可以理解，使用与来自假设730n的感兴趣目标712、714的地点有关的不可能或不可信的信息可能使下一时间段期间的跟踪的准确度降低。因此，从经排名的假设集930中消除碰撞状况可以提高后续时间段期间的跟踪的总体准确度。
参考图10，示出例示根据本公开的用于跟踪目标的遮挡结构的示例性方面的框图。如上所述，感兴趣目标可能在跟踪期间被遮挡。这可能例如在第一运载工具正跟踪在第一运载工具前方并且在与第一运载工具相同的方向上行驶的两个运载工具、并且其中一个被跟踪运载工具在另一被跟踪运载工具前方经过时发生。当发生这种情况时，经过的运载工具可能被另一被跟踪运载工具遮挡，使得用于进行跟踪的第一运载工具的传感器难以检测经过的运载工具。为了克服这个挑战，根据本公开的跟踪操作利用遮挡结构来评价候选假设，如以下更详细地描述。
在图10中，示出候选假设集排名1010。候选假设集排名1010表示针对某一时间间隔(例如，图8的时间间隔其中之一)的候选假设的排名，并且基于对踪迹的单独评价来确定排名——也就是说，排名1010不考虑不同被跟踪目标之间的依赖性。当不考虑依赖性时，可能难以检测到遮挡状况。为了解决这个挑战，基于至少一个标准(诸如排名标准等)来评价候选假设集排名1010。排名标准可以是用于检测遮挡状况(诸如图7的候选假设740中例示的遮挡状况)的遮挡标准。
使用至少一个标准(在该示例中是遮挡标准)以基于不同踪迹之间的依赖性来评价候选假设集排名1010。这种评价或分析使得跟踪能够考虑与由所考虑的候选假设表示的感兴趣目标的特定踪迹和运动是否如图7的假设740中那样被遮挡有关的见解。例如，候选假设集排名1010包括排名1012、1014、1016、1018、1020。各排名与排名度量相关联。例如，排名1012包括排名度量值42.5，排名1014包括排名度量值31.2，排名1016包括排名度量值25.4，排名1018包括排名度量值19.7，依此类推。由于排名1012-1020的排名度量是基于单独考虑各踪迹的独立假设结构来确定的，因此排名度量可能不准确地反映某些状况，诸如遮挡状况。为了说明，由于遮挡状况、由于漏检(例如，尽管感兴趣目标存在于(一个或多于一个)传感器所监视的环境中，但(一个或多于一个)传感器未能检测到感兴趣目标)，或者可能是运载工具不再处于监视环境中(例如，运载工具离开道路)，因此在针对特定时间间隔的测量中未指示出与感兴趣目标相对应的踪迹。当考虑使用独立似然结构时，可能难以区分这些不同的可能性。
为了减轻该问题，使用排名标准来评价候选假设集1010，在该示例中，排名标准是遮挡标准。排名或遮挡标准考虑了依赖性，这使得能够更有效地确定感兴趣目标是存在于环境内但被遮挡还是不存在于环境中。遮挡标准通过考虑依赖性来指示针对假设的特定感兴趣目标是否满足遮挡状况。例如，在图8中，最初在没有考虑任何依赖性的情况下在假设820中检测到遮挡，然后使用遮挡标准以通过考虑假设820所依赖的假设804来评价是否包括假设820中所表示的特定目标。在不存在遮挡状况、或者实际上遮挡了感兴趣目标的情况下，不改变排名度量，并将排名添加到经排名的假设集1030。例如，在图10中，排名1012被确定为正确地包括遮挡状况(例如，踪迹又独立结构识别为遮挡，并且在考虑到依赖性的情况下踪迹又遮挡标准识别为遮挡)，并被添加到经排名的假设集1030。在一方面，候选假设集排名1010根据排名度量进行排序或排名，并且作为结果在候选假设被添加到经排名的假设集1030时以特定顺序(例如，最高到最低)进行排名。
对于与具有被错误地识别为表示遮挡状况的排名的踪迹相关联的候选假设(诸如与排名1014相关联的假设)，对相应的度量值应用惩罚度量，然后将假设移动到经排名的假设集1030内的适当位置。惩罚度量在将假设包括在经排名的假设集中1030之前使用于对假设集1010进行排名的相应度量值减小。例如，在图10中，排名1014具有度量值31.2，但是在对与排名1014相关联的信息进行评价之后，使用惩罚度量来修改度量值，从而产生度量值14.9。然后，与度量值14.9相关联的假设被添加到经排名的假设集1030，但是与否则将基于候选假设集排名1010中所提供的度量值(例如，度量值31.2)相比处于较低的排名。通过对候选假设集1010中与被错误识别的遮挡状况相关联的假设应用惩罚度量，错误或较不准确的假设在经排名的假设集1030中可能似乎更低。由于针对较不准确的假设(例如，与错误识别的遮挡状况相关联的假设)的排名度量随着时间的推移(例如，在多个时间间隔上，诸如从图7中的t＝x–4到t＝x)降低，因此更准确的假设可以上升到经排名的假设集1030的上部，并且较不准确的假设将下降到下部。如上文参考经排名的假设集930所述，通过仅使用经排名的假设集1030的子集(诸如前“X”个假设)，对感兴趣目标的跟踪可以更准确(例如，因为较不准确的假设在经排名的假设集中将更低，并且在后续时间间隔期间较不可能使用)。
如在图10中进一步例示，基于排名标准确定为排名1018与遮挡状况不相关联或正确地识别遮挡状况，并且将排名1018添加到经排名的假设集1030，而不对排名度量19.7进行惩罚。另外，基于排名标准确定为排名1016与错误识别的遮挡状况相关联，并且应用惩罚度量以在将排名1016并入经排名的假设集1030之前将排名度量从25.4改变为8.6。应当理解，对于各附加排名1020，或者至少直到已将阈值数量的假设添加到经排名的假设集1030为止，可以重复以上关于排名1012-1018描述的处理。在一方面，阈值数量的假设可以是100个假设、200个假设、500个假设、1000个假设或某一其它数量的假设。在附加或可替代方面，可以基于除假设的阈值数量之外的因素来确定经排名的假设集1030。例如，基于阈值排名度量来确定经排名的假设集1030，其中将与高于阈值排名度量的排名度量相关联且与碰撞状况不相关联的假设添加到经排名的假设集1030。
注意，无论用于产生经排名的假设集1030的阈值的类型如何，跟踪操作都得到改进。例如，假定要考虑10,000个候选假设，并且假设的阈值数量被配置为产生经排名的假设集1030，该假设集1030包括前“X”个假设，其中“X”<501。仅考虑候选假设的总数的一小部分，而无需评价所有10,000个候选假设以在各时间间隔期间进行跟踪。此外，由于惩罚度量，因此提供不准确信息(例如，错误识别的遮挡)的假设可能具有较低的排名度量，因此不太可能被包括在针对未来时间间隔的跟踪所基于的假设集中。这减少了评价针对任何特定时间间隔的位置信息所需的时间量，并且降低了跟踪的计算复杂度，从而可以允许更快地进行跟踪或允许基于(例如，响应于)(一个或多于一个)被跟踪目标的地点的变化更快地确定导航操作。类似地，在阈值是阈值排名度量的情况下，不需要考虑低于阈值排名度量的任何候选假设。此外，通过省略或降低与错误识别的遮挡状况相关联的候选假设的排名，跟踪操作可能变得更准确。
参考图11，例示根据本公开的跟踪的标绘图被示出为标绘图1100。标绘图1100是根据涉及两个感兴趣目标的一维模拟创建的。用于模拟的两个感兴趣目标是在单车道道路上行驶的运载工具，并且对各运载工具的跟踪被建模为一系列点。如标绘图1100中可见，第一运载工具沿着用于连接在跟踪期间针对第一运载工具观察到的不同点的线1102所指示的路径行驶，并且第二运载工具沿着用于连接在跟踪期间针对第二运载工具观察到的不同点的线1104所指示的路径行驶。标绘图中的点1106表示建模场景中存在的噪声。
参考图12A和12B，例示基于独立假定的跟踪的标绘图被示出为标绘图1200。标绘图1200是根据与用于创建图11的标绘图1100的模拟类似的、涉及两个感兴趣目标的一维模拟创建的，其中第一运载工具由线1202表示，并且第二运载工具由线1204表示。标绘图中的点1206表示建模场景中存在的噪声。用于产生标绘图1100的测量是使用碰撞结构来处理的，如上文参考图7和9所述，而用于产生标绘图1200的测量是使用假定独立(例如，不考虑依赖性)的跟踪算法来处理的。在标绘图1100中可以看出，两个被跟踪的运载工具都遵循大致线性的路径，并且没有运载工具切换位置。相比之下，标绘图1200例示两个运载工具似乎彼此超车或切换位置，类似于图7的假设730n。两个运载工具的位置的切换在图12B中更清楚地示出，该图12B示出图12A的标绘图1200的放大视图1208。
应当理解，图11、12A和12B例示与其它跟踪技术相比，碰撞结构更准确地跟踪感兴趣目标的位置。特别地，图11-12B示出利用使用碰撞结构的提议和验证方法(其中使用独立似然结构确定初始排名，然后基于碰撞状况的存在验证初始排名以产生用于跟踪的最终排名)可以提高跟踪系统的准确度并提供关于感兴趣目标在环境内如何移动的更好的情形感知。这种能力可能与自主系统特别相关。为了说明，自主运载工具利用传感器数据来观察环境，并且基于对传感器数据和所观察环境的分析来做出导航决策或执行机动动作。提供更准确的跟踪使得自主运载工具(例如，自主运载工具的一个或多于一个系统、下游系统等或涉及控制自主运载工具的操作的系统)能够关于运载工具的导航作出更好的决策，并降低事故的似然。
注意，虽然上面的描述分别描述了碰撞标准或遮挡标准的使用，但是在本公开的一些实现中，碰撞标准和遮挡标准可以一起利用。例如，可以如参考图9所描述地评价候选假设集以识别与碰撞事件相关联的假设。然后从所考虑的假设集中移除与碰撞事件相关联的假设，并且如上文参考图10所描述地使用遮挡标准来评价剩余假设。以这种方式，对应于与碰撞状况相关联的假设的排名降低至零(这意味着它们不需要被遮挡标准考虑)，然后可以评价任何剩余假设以识别与无遮挡状况或实际遮挡状况相关联的假设以及降低在遮挡状况被错误识别的情况下的任何假设的排名。注意，上面的示例为了说明的目的而不是通过限制的方式描述了首先使用碰撞标准来评价候选假设并且然后使用遮挡标准来评价假设，并且可以使用遮挡标准在使用碰撞标准的评价之前评价假设(如果需要的话)，或者可以同时使用两者来评价候选假设。
以上描述概念性地例示根据本公开的实施例的使用碰撞结构(例如，碰撞标准)和/或遮挡结构(例如，遮挡标准)来进行利用依赖性似然结构的多目标跟踪的示例性方面。然而，如下面更详细地示出，也可以数学地示出上述碰撞结构和遮挡结构的概念。
如上所述，现有跟踪技术假定各个目标测量关联的独立性。利用这种方法，将测量分配给假设的踪迹，而不考虑假设中的其它踪迹，也不考虑其它假设(例如，父假设或当前时间间隔的其它假设)的测量和踪迹。为了说明这种独立假定的方法，设(标记)RFS X是全局目标状态，并且设Z是全局测量。然后通过集合积分递归地获得滤波密度π：
Figure BDA0003492481150000431
πk+1|k(Xk+1)＝∫fk+1|k(Xk+1|X)πk(X|Zk)δX，
其中f(·)是运动转变，并且g(·)是测量似然。
给定测量集Z＝{zj,j＝1,...,|Z|}，针对标记RFS X的数据关联假设θ以一对一的方式向各标记l分配测量索引，或者分配特殊索引0以表示漏检。假定条件独立性导致似然函数的以下因式分解形式：
Figure BDA0003492481150000432
其中
Figure BDA0003492481150000433
其中κ(·)表示杂波密度，并且PD(·)表示检测概率。
从上面两个等式可以看出，一旦标记l被分配了测量θ(l)，其关联似然是固定的；其“不关心”同一假设中的其它标记是如何分配的。似然函数的因式分解形式有两个益处：
1)各踪迹的运动学分布的更新仅通过“其自身”的测量来执行；以及
2)取负对数，假设的“成本”可被定义为来自成本矩阵的选择的总和，成本矩阵的条目独立于假设而构造。
第二个益处是可以使用Murty算法有效地解决的排名问题。然而，利用考虑踪迹之间的相互作用、但仍保留因式分解形式的似然结构可能是有益的(第一益处)。下面提供了根据本文公开的概念的、在保持第一益处的同时实现第二益处的这种结构的有效排名算法。
通过针对各踪迹(x,l)引入因子λ(X,θ,l)，似然函数取以下的形式：
Figure BDA0003492481150000441
在这种形式中，各踪迹意识到相对于在给定假设内的其它踪迹“发生了什么”，并相应地调整其自身的似然项。这解释了踪迹之间的并非全部而是某些依赖性，同时仍保持因式分解形式，使得分别计算各踪迹的后验分布。
根据上式(3)，定义根据本公开的碰撞结构(或碰撞标准)。例如，碰撞结构被定义为：
collide(X,θ)，
其表示在所考虑的假设(诸如图7的假设730n)在踪迹之间引入碰撞的情况下返回“真”的检查过程。在上述碰撞结构中，项
Figure BDA0003492481150000442
如上式(3)中所定义，并且因子λ(X,θ,l)被定义为：
Figure BDA0003492481150000443
使用这种碰撞结构，评价假设θ，并且如果发现碰撞，则可以从进一步考虑中丢弃该假设。否则，在没有发现碰撞的情况下，假设的似然与在假定独立的情况下相同。
根据上式(3)，根据本公开的遮挡结构也被定义为：
occluded(X,θ,l)，
并且其提供如下的检查过程，即：在该假设中，如果踪迹l被遮挡，则返回真。
对于遮挡结构，项
Figure BDA0003492481150000444
被修改为：
Figure BDA0003492481150000451
Figure BDA0003492481150000452
的修改允许出现漏检的踪迹被乐观地假定为在某种遮挡下。然后将来自等式(3)的因子λ(X,θ,l)定义为：
Figure BDA0003492481150000453
使用这种遮挡结构，当评价假设时，现在可以验证先前给予漏检的“怀疑的益处”。如果不保证，则必须将似然降低到真值。否则，假设的似然与在假定独立并且oracle给出正确的漏检检测概率的情况下相同。
如上所述，碰撞结构和/或遮挡结构被用于提供提议和验证算法，该提议和验证算法提供用于对假设进行排名的有效技术，从而可以允许包含准确信息的减少数量的假设用于进行跟踪。在一方面，提议和验证算法可以如下限制因子λ(X,θ,l)：
0≤λ(X,θ,l)≤1。 (7)
对于提议和验证算法，处理可以包括：1)设λ(X,θ,l)＝1并且在假设上按照乐观似然的降序顺序构造迭代器。这意味着通过惰性评价(诸如使用方法调用has_next()和get_next())列出假设。在一方面，使用Murty算法构造迭代器。作为结果，产生候选假设集，并根据所提议的排名对候选假设集进行排名，如上文关于排名标准所述并且如图9的候选假设集排名910和图10的候选假设集排名1010所示。2)评价各假设并计算λ(X,θ,l)的值。然后，将各假设如图9的经排名假设集930(例如，用于碰撞结构)和图10的经排名假设集1030(例如，用于遮挡结构)所示按照真实似然的降序顺序插入到单独的排序列表结果中。3)每当∏(x,l)∈Xλ(X,θ,l)＝1发生时，真实似然与乐观似然相同，因此验证了该假设及结果中在其之前的假设的排名(因为新的条目永远不能在其之前)。4)当获得所需数量的前K个假设时或者当没有更多可用的假设时停止。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (20)

1.一种方法，包括：
利用至少一个处理器接收与运载工具所在的环境相关联的传感器数据；
利用所述至少一个处理器、基于所述传感器数据获得候选假设集，所述候选假设集中的各候选假设与表示一个或多于一个目标的候选地点的踪迹相对应；
利用所述至少一个处理器、对照至少一个标准评价所述候选假设集；
利用所述至少一个处理器、基于对照所述至少一个标准对所述候选假设集的评价来确定经排名的假设集，其中，所述经排名的假设集包括基于所述至少一个标准从所述候选假设集中选择的假设的子集；以及
利用所述至少一个处理器、基于所述经排名的假设集来估计所述一个或多于一个目标中的各目标的地点。
2.根据权利要求1所述的方法，其中，所述至少一个标准包括排名标准，并且其中，对照所述至少一个标准评价所述候选假设集包括：
基于所述排名标准对所述候选假设集进行排名。
3.根据权利要求2所述的方法，其中，所述至少一个标准包括碰撞标准或遮挡标准。
4.根据权利要求3所述的方法，其中，所述至少一个标准包括所述碰撞标准，并且其中，对照所述碰撞标准评价所述候选假设集包括：
确定关于所述候选假设集的至少一部分是否满足碰撞状况；以及
基于是否满足所述碰撞状况来在所述经排名的假设集中选择性地包括候选假设。
5.根据权利要求4所述的方法，其中，所述排名标准包括表示在不考虑所述候选假设集中的其它候选假设的情况下所述候选假设集中的特定候选假设正确地识别所述一个或多于一个目标的地点的似然的度量，并且其中，所述碰撞标准指示在考虑来自先前时间间隔的至少一个假设的情况下所述候选假设集中的特定候选假设是否正确地识别所述一个或多于一个目标的地点。
6.根据权利要求4所述的方法，其中，满足所述碰撞状况的候选假设不被包括在所述经排名的假设集中。
7.根据权利要求3所述的方法，其中，所述标准包括所述遮挡标准，并且其中，对照所述遮挡标准评价所述候选假设集包括：
针对各候选假设，确定关于所述一个或多于一个目标中的任意目标是否满足遮挡状况；以及
对满足遮挡状况的候选假设应用惩罚度量，其中，所述惩罚度量使满足所述遮挡状况的候选假设的排名降低。
8.根据权利要求7所述的方法，其中，所述排名标准包括表示在不考虑所述候选假设集中的其它候选假设的情况下与所述候选假设集中的特定候选假设相关联的所述一个或多于一个目标中的至少一个目标被遮挡的似然的度量，并且其中，所述遮挡标准指示在考虑来自先前时间间隔的至少一个假设的情况下与所述特定候选假设相关联的至少一个目标是否被遮挡，其中，在基于所述排名标准而不是所述遮挡标准检测到遮挡的情况下，满足所述遮挡状况。
9.根据权利要求8所述的方法，其中，还包括：
基于所述遮挡标准来确定所述特定候选假设是否与漏检相关联，其中，对与漏检相关联的候选假设不应用所述惩罚度量。
10.根据权利要求3所述的方法，其中，所述至少一个标准包括所述碰撞标准和所述遮挡标准这两者。
11.根据权利要求1所述的方法，其中，从包括LiDAR传感器、照相机和显微镜中至少之一的传感器获得所述传感器数据。
12.根据权利要求1所述的方法，其中，所述一个或多于一个目标包括运载工具、细胞、人、机器人和动物中至少之一。
13.一种系统，包括：
至少一个处理器；以及
至少一个非暂时性存储介质，其存储指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器：
接收与运载工具所在的环境相关联的传感器数据；
基于所述传感器数据获得候选假设集，所述候选假设集中的各候选假设与表示一个或多于一个目标的候选地点的踪迹相对应；
对照至少一个标准评价所述候选假设集；
基于对照所述至少一个标准对所述候选假设集的评价来确定经排名的假设集，其中，所述经排名的假设集包括基于所述至少一个标准从所述候选假设集中选择的假设的子集；以及
基于所述经排名的假设集来估计所述一个或多于一个目标中的各目标的地点。
14.根据权利要求13所述的系统，其中，所述至少一个标准包括排名标准，并且其中，对照所述至少一个标准评价所述候选假设集包括：
基于所述排名标准对所述候选假设集进行排名，其中，所述排名标准包括表示在不考虑所述候选假设集中的其它候选假设的情况下所述候选假设集中的特定候选假设正确地识别所述一个或多于一个目标的地点的似然的度量。
15.根据权利要求14所述的系统，其中，所述至少一个标准包括碰撞标准，所述碰撞标准指示在考虑来自先前时间间隔的至少一个假设的情况下所述候选假设集中的特定候选假设是否正确地识别所述一个或多于一个目标的地点，并且其中，对照所述碰撞标准对所述候选假设集的评价包括：
确定关于所述候选假设集的至少一部分是否满足碰撞状况；以及
基于是否满足所述碰撞状况来在所述经排名的假设集中选择性地包括候选假设，其中，满足所述碰撞状况的候选假设不被包括在所述经排名的假设集中。
16.根据权利要求14所述的系统，其中，所述标准包括遮挡标准，其中，所述遮挡标准指示在考虑来自先前时间间隔的至少一个假设的情况下与所述特定候选假设相关联的至少一个目标是否被遮挡，并且其中，对照所述遮挡标准对所述候选假设集的评价包括：
针对各候选假设，确定关于所述一个或多于一个目标中的任意目标是否满足遮挡状况，其中，在基于所述排名标准而不是所述遮挡标准检测到遮挡的情况下，满足所述遮挡状况；以及
对满足所述遮挡状况的候选假设应用惩罚度量，其中，所述惩罚度量使满足所述遮挡状况的候选假设的排名降低。
17.至少一个非暂时性计算机可读存储介质，其存储指令，所述指令在由一个或多于一个处理器执行时使所述一个或多于一个处理器进行用于多目标跟踪的操作，所述操作包括：
接收与运载工具所在的环境相关联的传感器数据；
基于所述传感器数据获得候选假设集，所述候选假设集中的各候选假设与表示一个或多于一个目标的候选地点的踪迹相对应；
对照至少一个标准评价所述候选假设集；
基于对照所述至少一个标准对所述候选假设集的评价来确定经排名的假设集，其中，所述经排名的假设集包括基于所述至少一个标准从所述候选假设集中选择的假设的子集；以及
基于所述经排名的假设集来估计所述一个或多于一个目标中的各目标的地点。
18.根据权利要求17所述的至少一个非暂时性计算机可读存储介质，所述操作还包括：
基于所述一个或多于一个目标中的各目标的地点来确定一个或多于一个导航操作；以及
至少部分基于所述一个或多于一个导航操作来控制所述运载工具的导航。
19.根据权利要求18所述的至少一个非暂时性计算机可读存储介质，其中，所述至少一个标准包括碰撞标准，并且其中，对照所述碰撞标准评价所述候选假设集包括：
基于独立性标准来确定关于所述候选假设集的至少一部分是否满足碰撞状况；以及
基于是否满足所述碰撞状况来在所述经排名的假设集中选择性地包括候选假设，其中，所述碰撞标准指示在考虑来自先前时间间隔的至少一个假设的情况下所述候选假设集中的特定候选假设是否正确地识别所述一个或多于一个目标的地点。
20.根据权利要求18所述的至少一个非暂时性计算机可读存储介质，其中，所述至少一个标准包括遮挡标准，并且其中，对照所述遮挡标准评价所述候选假设集包括：
基于所述候选假设集的初始排名、针对各候选假设确定关于所述一个或多于一个目标中的任意目标是否满足遮挡状况，所述候选假设集的初始排名是在不考虑所述候选假设集中的其它候选假设的情况下确定的；以及
对在不考虑所述候选假设集中的其它候选假设的情况下被确定为满足所述遮挡状况、而基于所述遮挡标准被确定为不满足所述遮挡状况的候选假设应用惩罚度量。
CN202210101060.7A 2021-05-19 2022-01-27 利用依赖性似然结构的多目标跟踪 Withdrawn CN115375728A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/324,960 2021-05-19
US17/324,960 US20220374734A1 (en) 2021-05-19 2021-05-19 Multi-target tracking with dependent likelihood structures

Publications (1)

Publication Number Publication Date
CN115375728A true CN115375728A (zh) 2022-11-22

Family

ID=79270345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210101060.7A Withdrawn CN115375728A (zh) 2021-05-19 2022-01-27 利用依赖性似然结构的多目标跟踪

Country Status (5)

Country Link
US (1) US20220374734A1 (zh)
KR (1) KR20220156736A (zh)
CN (1) CN115375728A (zh)
DE (1) DE102021132849A1 (zh)
GB (1) GB2606789A (zh)

Also Published As

Publication number Publication date
KR20220156736A (ko) 2022-11-28
GB2606789A (en) 2022-11-23
GB202117356D0 (en) 2022-01-12
US20220374734A1 (en) 2022-11-24
DE102021132849A1 (de) 2022-11-24

Similar Documents

Publication Publication Date Title
US20210197805A1 (en) Safety system for vehicle
US11640562B1 (en) Counterexample-guided update of a motion planner
KR20230039486A (ko) 환경 제한 및 센서 이상 시스템 및 방법
CN115683134A (zh) 用于运载工具定位的方法和系统以及存储介质
US11400958B1 (en) Learning to identify safety-critical scenarios for an autonomous vehicle
CN115808921A (zh) 用于运载工具的方法和系统
CN115903768A (zh) 用于运载工具的方法和系统以及存储介质
US20220374734A1 (en) Multi-target tracking with dependent likelihood structures
US20230159026A1 (en) Predicting Motion of Hypothetical Agents
US20230219595A1 (en) GOAL DETERMINATION USING AN EYE TRACKER DEVICE AND LiDAR POINT CLOUD DATA
US20230227032A1 (en) Vehicle Dynamics Classification for Collision and Loss of Control Detection
US20230373529A1 (en) Safety filter for machine learning planners
US20240051581A1 (en) Determination of an action for an autonomous vehicle in the presence of intelligent agents
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20240038065A1 (en) Managing traffic light detections
US20230236313A1 (en) Thermal sensor data vehicle perception
US20240051568A1 (en) Discriminator network for detecting out of operational design domain scenarios
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
US20230294741A1 (en) Agent importance prediction for autonomous driving
US20230209253A1 (en) Autonomous vehicle with microphone safety
US20230331256A1 (en) Discerning fault for rule violations of autonomous vehicles for data processing
US20240126254A1 (en) Path selection for remote vehicle assistance
US20230298198A1 (en) Light-based object localization
CN116483062A (zh) 用于运载工具的方法、系统以及存储介质
WO2024081593A1 (en) Methods and systems for traffic light labelling via motion inference

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20221122

WW01 Invention patent application withdrawn after publication