CN112394724A - 跟踪对象的方法、系统和存储介质 - Google Patents

跟踪对象的方法、系统和存储介质 Download PDF

Info

Publication number
CN112394724A
CN112394724A CN202010766618.4A CN202010766618A CN112394724A CN 112394724 A CN112394724 A CN 112394724A CN 202010766618 A CN202010766618 A CN 202010766618A CN 112394724 A CN112394724 A CN 112394724A
Authority
CN
China
Prior art keywords
factor
track
previous
tracks
measurements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010766618.4A
Other languages
English (en)
Inventor
陈凌姬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN112394724A publication Critical patent/CN112394724A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种跟踪对象的方法、系统和存储介质，包括：基于所接收到的返回信号来确定所检测到的测量值的集合；确定包括组测量值的集合和组轨道的集合的组；通过计算第一集合的先前轨道状态假设和第二集合的先前轨道状态假设的叉积来创建合并因子，所述合并因子包括与包含第一集合的现有轨道和第二集合的现有轨道的合并集合的现有轨道相关联的合并集合的轨道状态假设；确定第一新因子和第二新因子；基于所述组测量的第一子集来针对所述第一新因子计算第一集合的新轨道状态假设；以及基于所述组测量的第二子集来针对所述第二新因子计算第二集合的新轨道状态假设。

Description

跟踪对象的方法、系统和存储介质
技术领域
本说明书涉及如下的系统，该系统用于对传感器数据进行滤波以跟踪对象，并且特别地，通过合并和拆分轨道状态假设来跟踪自主运载工具周围的环境中的一个或多个对象。
背景技术
自主运载工具可用于将人和/或货物(例如，包裹、对象或其它物品)从一个场所运输到另一场所。例如，自主运载工具可以导航到某人的场所，等待该人登上该自主运载工具，并导航到所指定的目的地(例如，由该人选择的场所)。为了在环境中导航，这些自主运载工具配备有各种传感器以检测周围的对象。
发明内容
本说明书中所述的主题涉及一种用于检测自主运载工具周围的环境中的对象的计算机系统和技术。通常，计算机系统被配置为从运载工具的一个或多个传感器接收输入，基于所接收到的输入来检测运载工具周围的环境中的一个或多个对象，并且基于对象的检测来形成并更新轨道信息。
跟踪是具有挑战性的问题，因为对象可以移动和在数量上变化。此外，来自传感器的测量值具有噪声和不确定的起因。单对象滤波问题具有采用递归形式的贝叶斯解。为了推广到多对象情况，可以使用随机有限集框架。
用于对传感器数据进行滤波并跟踪对象的一个方法包括：合并现有轨道状态假设的集合(轨道状态假设的集合在这里被称为“因子”)，然后在用新收集到的传感器数据更新轨道状态假设之前(例如，在计算新轨道状态假设之前)，将合并集合(例如，合并因子)拆分为两个或多个新假设集合(例如，新因子)。对合并因子进行拆分使得能够将一些轨道视为独立于其它轨道以便更新假设，这特别是对于大量轨道而言，可以大大减轻计算新假设的计算负担。
特别地，描述了一种用于基于传感器所接收到的信号来跟踪对象的技术。在一些实施例中，将传出信号发送到环境中，并且接收到返回信号，其中所述返回信号包括来自环境中的对象的所述传出信号的反射。基于所接收到的返回信号来确定所检测到的测量值的集合，其中所检测到的测量值对应于环境中的对象的相应检测。确定如下的组，其中所述组包括来自所述所检测到的测量值的集合的组测量值的集合、以及与所述组测量值的集合相关联的组轨道的集合。所述组轨道的集合包括：第一轨道，其与第一先前因子相关联；以及第二轨道，其与第二先前因子相关联。所述第一先前因子包括第一集合的先前轨道状态假设，并且所述第一集合的先前轨道状态假设与包括所述第一轨道的第一集合的现有轨道相关联。所述第二先前因子包括第二集合的先前轨道状态假设，并且所述第二集合的先前轨道状态假设与包括所述第二轨道的第二集合的现有轨道相关联。通过计算所述第一集合的先前轨道状态假设和所述第二集合的先前轨道状态假设的叉积来创建合并因子。所述合并因子包括与包含所述第一集合的现有轨道和所述第二集合的现有轨道的合并集合的现有轨道相关联的合并集合的轨道状态假设。根据确定为所述合并因子满足拆分条件，来确定第一新因子和第二新因子。所述第一新因子与所述组测量值的第一子集和所述合并集合的现有轨道的第一子集相关联。所述第二新因子与所述组测量值的第二子集和所述合并集合的现有轨道的第二子集相关联。所述组测量值的第一子集和所述组测量值的第二子集是互斥的。所述合并集合的现有轨道的第一子集和所述集合的现有轨道的第二子集是互斥的。基于所述组测量值的第一子集来针对所述第一新因子计算第一集合的新轨道状态假设。基于所述组测量值的第二子集来针对所述第二新因子计算第二集合的新轨道状态假设。
这些和其它方面、特征和实现可被表示为方法、设备、系统、组件、程序产品、用于进行功能的方法或步骤以及其它方式。
从以下的包括权利要求书的说明书，这些和其它方面、特征和实现将变得明显。
附图说明
图1示出具有自主能力的自主运载工具的示例。
图2例示示例“云”计算环境。
图3例示计算机系统。
图4示出自主运载工具的示例架构。
图5示出感知模块可以使用的输入和输出的示例。
图6示出LiDAR系统的示例。
图7示出操作中的LiDAR系统。
图8示出LiDAR系统的操作的附加细节。
图9示出规划模块的输入和输出之间的关系的框图。
图10示出路径规划中所使用的有向图。
图11示出控制模块的输入和输出的框图。
图12示出控制器的输入、输出和组件的框图。
图13A-13B示出根据一些实施例的跟踪器的示例性假设。
图14A-14C示出根据一些实施例的示例性概率分布。
图15A-15B示出根据一些实施例的示例性假设树。
图15C示出根据一些实施例的因子数量和假设总数的图。
图16示出根据一些实施例的示例性拆分处理。
图17是根据一些实施例的用于检测环境中的对象并跟踪这些对象的示例处理的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本发明的透彻理解。然而，显而易见的是，本发明可以在没有这些具体细节的情况下实施。在其它实例中，众所周知的构造和装置是以框图形式示出的，以避免不必要地使本发明模糊。
在附图中，为了便于描述，显示了示意要素的具体安排或次序，例如表示设备、模块、指令块和数据要素的那些要素。然而，本领域技术人员应当理解，附图中示意要素的具体排序或安排并不意味着要求特定的处理顺序或序列、或处理过程的分离。此外，在附图中包含示意性要素并不意味着在所有实施例中都需要这种要素，也不意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
此外，在附图中，连接要素、例如实线或虚线或箭头用于说明两个或两个以上其它示意要素之间的连接、关系或关联，没有任何此类连接要素并不意味着不能存在连接、关系或关联。换句话说，一些要素之间的连接、关系或关联未在附图中显示，以便不掩盖本发明。此外，为了便于说明，使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接元件代表信号、数据或指令的通信，本领域技术人员应理解，该元件代表影响通信可能需要的一个或多个信号路径(例如，总线)。
现在将详细参考实施例，其示例在附图中示出。在下面的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它情况下，没有详细描述众所周知的方法、程序、组件、电路和网络，以便不会不必要地掩盖实施例的方面。
下面描述的若干特征可以彼此独立地使用，也可以与其它特征的任何组合一起使用。但是，任何个别特征可能不能解决上述任何问题，或者只能解决上述问题之一。上文讨论的一些问题可能不能通过本文所述的任何一个特征得到充分解决。虽然提供了标题，但在本说明的其它地方也可以找到与某一标题有关但在该标题部分未找到的信息。本文根据以下概要描述实施例：
1.总体概述
2.硬件概述
3.自主运载工具架构
4.自主运载工具输入
5.自主运载工具规划
6.自主运载工具控制
7.使用柱(pillar)的对象检测所用的计算系统
8.示例点云和柱
9.用于检测对象并基于对象的检测来操作运载工具的示例处理
总体概述
在复杂环境(例如，城市环境)中驾驶的自主运载工具带来巨大的技术挑战。为了使自主运载工具在这些环境中导航，运载工具使用诸如LiDAR或RADAR等的传感器来实时地检测诸如运载工具、行人和自行车等的各种对象。如所述，用于对传感器数据进行滤波并跟踪对象的一个方法包括：合并现有轨道状态假设的集合以创建合并因子(例如，合并假设的集合)，然后在更新轨道状态假设(例如，计算新轨道状态假设)之前，将合并因子拆分为两个或更多个新因子。拆分合并因子使得能够将一些轨道视为独立于其它轨道以便更新假设，这特别是对于大量轨道而言，可以大大减轻计算新假设的计算负担。
例如，传出信号被发送到环境中，并且接收到返回信号，其中该返回信号包括来自环境中的对象的传出信号的反射。基于所接收到的返回信号来确定所检测到的测量值的集合，其中所检测到的测量值对应于环境中的对象的相应检测。确定如下的组，其中该组包括来自所检测到的测量值的集合的组测量值的集合、以及与该组测量值的集合相关联的组轨道的集合。该组轨道的集合包括：与第一先前因子相关联的第一轨道和与第二先前因子相关联的第二轨道。第一先前因子包括第一集合的先前轨道状态假设，并且第一集合的先前轨道状态假设与包括第一轨道的第一集合的现有轨道相关联。第二先前因子包括第二集合的先前轨道状态假设，并且第二集合的先前轨道状态假设与包括第二轨道的第二集合的现有轨道相关联。通过计算第一集合的先前轨道状态假设和第二集合的先前轨道状态假设的叉积来创建合并因子。该合并因子包括与包含第一集合的现有轨道和第二集合的现有轨道的合并集合的现有轨道相关联的合并集合的轨道状态假设。根据确定为合并因子满足拆分条件，确定第一新因子和第二新因子。第一新因子与组测量值的第一子集和现有轨道的合并集合的第一子集相关联。第二新因子与组测量值的第二子集和现有轨道的合并集合的第二子集相关联。组测量值的第一子集和组测量值的第二子集是互斥的。现有轨道的合并集合的第一子集和现有轨道的集合的第二子集是互斥的。基于组测量值的第一子集来针对第一新因子计算第一集合的新轨道状态假设，并且基于组测量值的第二子集来针对第二新因子计算第二集合的新轨道状态假设。
硬件概述
图1示出具有自主能力的自主运载工具100的示例。
如本文所使用的，术语“自主能力”是指一种功能、特征或设施，该功能、特征或设施使运载工具能够部分地或完全地运行，而无需实时的人类干预，包括但不限于完全自主运载工具、高度自主运载工具、部分自主运载工具和有条件自主运载工具。
如本文所使用的，自主运载工具(AV)是一种具有自主能力的运载工具。
如本文所使用的，“运载工具”包括货物或人员的运输方式。例如，小汽车、公共汽车、火车、飞机、无人机、卡车、船只、舰艇、潜水器、飞船等。无人驾驶的小汽车是运载工具的示例。
如本文所使用的，“轨迹”是指从第一时空场所导航到第二时空场所的路径或路线。在实施例中，第一时空场所被称为初始场所或起始场所，第二时空场所被称为目的地、最终场所、目标、目标位置或目标场所。在一些示例中，轨迹由一个或多个路段(例如，道路的数段)组成，并且各路段由一个或多个块(例如，车道或交叉路口的一部分)组成。在实施例中，时空场所对应于真实世界场所。例如，时空场所是上车或下车场所，以使人员或货物上车或下车。
如本文所使用的，“(一个或多个)传感器”包括一个或多个硬件组件，用于检测与传感器周围环境有关的信息。一些硬件部件可包括感测部件(例如，图像传感器、生物测量传感器)、发送和/或接收部件(例如，激光或射频波发射器和接收器)、电子部件(例如，模数转换器)、数据存储装置(例如，RAM和/或非易失性存储器)、软件或固件部件和数据处理部件(例如，专用集成电路)、微处理器和/或微控制器。
如本文所使用的，“场景描述”是一种数据结构(例如，列表)或数据流，其包括由AV运载工具上的一个或多个传感器检测到的一个或多个分类或标记的对象，或由AV外部的源提供的一个或多个分类或标记的对象。
如本文所使用的，“道路”是一个可以被运载工具穿过的物理区域，并且可以对应于已命名的通道(例如，城市街道、州际高速公路等)或可对应于未命名的通道(例如，房屋或办公楼内的车道、停车场的一段、空置停车场的一段、乡村地区的污物通道等)。因为有些运载工具(如四轮驱动的小卡车、越野车(SUV)等)能够穿越各种不特别适合运载工具行驶的物理区域，因此“道路”可以是任何市政当局或其它政府或行政机构没有正式界定为一条通道的物理区域。
如本文所使用的，“车道”是道路的可被运载工具穿过的部分，并且可对应于车道标记之间的大部分或全部空间，或仅对应于车道标记之间的部分空间(例如，小于50％)。例如，具有相距很远的车道标记的道路可能容纳两个或两个以上的运载工具，使得一个运载工具可以在不穿过车道标记的情况下超过另一个运载工具，因此可被解释为车道比车道标记之间的空间窄，或车道之间有两个车道。在没有车道标记的情况下，也可以对车道进行解释。例如，可以基于环境的物理特征(例如，农村地区的岩石和沿着大道的树木)来定义车道。
“一个或多个”包括由一个要素执行的功能，由多个要素执行的功能、例如以分布式的方式，由一个要素执行的几个功能，由几个要素执行的几个功能，或上述的任意组合。
还将理解的是，尽管在某些情况下，术语“第一”、“第二”等是用来描述各种要素的，但这些要素不应受到这些术语的限制。这些术语仅用于区分一个要素与另一个要素。例如，在未背离各种所述实施例的范围的情况下，第一触点可被称为第二触点，并且同样，第二触点可被称为第一触点。第一触点和第二触点都是触点，但这两者不是相同触点。
此处描述的各种实施例的描述中使用的术语仅用于描述特定实施例，而不是意在限制。正如在所描述的各种实施例和所附权利要求书的描述中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，除非上下文另有明确说明。还应理解，本文所用的"和/或"一词是指并且包括一个或多个相关清单项目的任何和所有可能的组合。还应理解的是，在本说明中使用的术语“包括”、“包含”、“具备”和/或“具有”具体说明存在所述的特征、整数、步骤、操作、要素和/或组成部分，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、要素、组成部分、和/或上述的组。
如本文所使用的，“如果”一词可选择地理解为在该情况下、在当时、或者响应于检测到、或响应于确定为，视上下文而定。同样，“如果已确定”或“如果[所述条件或事件]已被检测到”这一短语，视情境而定，可以理解为“在确定时”或“响应于确定为“或”在检测到[所述条件或事件]时”或“响应于检测到[所述条件或事件]”。
如本文所使用的，AV系统是指AV以及实时生成的支持AV操作的硬件、软件、存储的数据和实时生成的支持AV运作的数据。在实施例中，AV系统并入在AV内。在实施例中，AV系统跨多个场所分布。例如，AV系统的一些软件是在类似于下面结合图3描述的云计算环境300的云计算环境中实现的。
一般而言，本文件描述了适用于任何具有一种或多种自主能力的运载工具的技术，包括完全自主运载工具、高度自主运载工具和有条件自主运载工具，如所谓的第5级、第4级和第3级运载工具(见SAE国际标准J3016：道路上机动车自动驾驶系统相关术语的分类和定义，通过引用将其全部内容纳入本说明，以了解运载工具自主权等级的更多详细信息)。本说明所述技术也适用于部分自主运载工具和驾驶员辅助运载工具，如所谓的2级和1级运载工具(见SAE国际标准J3016：道路上机动车自动驾驶系统相关术语的分类和定义)。在实施例中，一个或多个1级、2级、3级、4级和5级运载工具系统可根据对传感器输入的处理，在某些操作条件下自动执行某些运载工具操作(例如，转向、制动和使用地图)。本文件中所述的技术可以使从完全自主运载工具到人类操作的运载工具的各级运载工具受益。
参考图1，AV系统120使AV 100沿着轨迹198运行，穿过环境190至目的地199(有时称为最终场所)，同时避开对象(例如，自然障碍物191、运载工具193、行人192、骑车者和其它障碍物)和遵守道路规则(例如，操作规则或驾驶偏好)。
在实施例中，AV系统120包括用于从计算机处理器146接收操作命令并对其进行操作的装置101。在实施例中，计算处理器146与下面参考图3描述的处理器304相似。装置101的示例包括转向控制器102、制动器103、挡位、加速踏板或其它加速控制机构、挡风玻璃雨刮器、侧门锁、窗控器和转向指示器。
在实施例中，AV系统120包括用于测量或推断AV 100的状态或条件的属性的传感器121，这些属性例如是AV的位置、线速度和加速度及角速度和加速度、以及航向(例如，AV100的前端的方向)。传感器121的示例包括GPS、以及测量运载工具线性加速度和角速率的惯性测量单元(IMU)、用于测量或估计车轮滑移率的车轮速率传感器、车轮制动压力或制动扭矩传感器、引擎扭矩或车轮扭矩传感器以及转向角度和角速率传感器。
在实施例中，传感器121还包括用于感测或测量AV的环境的属性的传感器。例如，可见光、红外或热(或两者兼有)光谱的单目或立体摄像机122、LiDAR 123、RADAR、超声波传感器、飞行时间(TOF)深度传感器、速率传感器、温度传感器、湿度传感器和降水传感器。
在实施例中，AV系统120包括数据存储单元142和存储器144，用于存储与计算机处理器146或由传感器121收集的数据相关的机器指令。在实施例中，数据存储单元142与以下结合图3描述的ROM 308或存储装置310类似。在实施例中，存储器144与下面描述的主存储器306类似。在实施例中，数据存储单元142和存储器144存储有关环境190的历史、实时和/或预测性信息。在实施例中，存储的信息包括地图、驾驶性能、交通拥堵更新或天气条件。在实施例中，与环境190有关的数据通过来自远程数据库134的通信通道传输到AV 100。
在实施例中，AV系统120包括通信装置140，用于将对其它运载工具的状态和条件(诸如位置、线性和角速度、线性和角加速度以及线性和角航向等)的测量到或推断的属性传送到AV 100。这些装置包括运载工具到运载工具(V2V)和运载工具到基础设施(V2I)通信装置以及用于通过点对点或自组织(ad hoc)网络或两者兼而有之进行无线通信的装置。在实施例中，通信装置140跨电磁频谱(包括无线电和光通信)或其它介质(例如，空气和声学介质)进行通信。运载工具对运载工具(V2V)、运载工具对基础设施(V2I)通信(以及在一些实施例中为一种或多种其它类型的通信)的组合有时被称为运载工具对所有事物(V2X)通信。V2X通信通常符合一个或多个通信标准，用于与自主运载工具进行的和在自主运载工具之间的通信。
在实施例中，通信装置140包括通信接口。例如，有线、无线、WiMAX、WiFi、蓝牙、卫星、蜂窝、光、近场、红外或无线电接口。通信接口将数据从远程数据库134传输到AV系统120。在实施例中，远程数据库134嵌入云计算环境200中，如图2中所述。通信接口140将从传感器121收集的数据或与AV 100操作有关的其它数据传输到远程数据库134。在实施例中，通信接口140向AV 100传输与远程操作有关的信息。在一些实施例中，AV 100与其它远程(例如，“云”)服务器136通信。
在实施例中，远程数据库134还存储和传输数字数据(例如，存储道路和街道场所等的数据)。这些数据存储在AV 100上的存储器144中，或者通过通信通道从远程数据库134传输到AV 100。
在实施例中，远程数据库134存储和传输与以前在一天中类似时间沿着轨迹198行驶的运载工具的驾驶属性有关的历史信息(例如，速率和加速率分布)。在一个实现中，这种数据可以存储在AV 100上的存储器144中，或者通过通信通道从远程数据库134传输到AV100。
位于AV 100上的计算装置146基于实时传感器数据和先验信息以算法方式生成控制动作，使得AV系统120能够执行其自主驾驶能力。
在实施例中，AV系统120包括连接到计算装置146的计算机外围设备132，用于向AV100的用户(例如，乘员或远程用户)提供信息和提醒并接收来自该用户的输入。在实施例中，外围设备132类似于下面参考图3讨论的显示器312、输入装置314和光标控制器316。连接是无线的或有线的。任意两个或更多的接口设备可以集成到单个设备中。
图2例示示例“云”计算环境。云计算是一种服务交付模式，可以方便、按需地在网络上访问共享的可配置计算资源池(例如网络、网络带宽、服务器、处理、内存、存储、应用程序、虚拟机和服务)。在典型的云计算系统中，一个或多个大型云数据中心容纳用于递送云所提供的服务的机器。现在参考图2，云计算环境200包括通过云202互连的云数据中心204a、204b和204c。数据中心204a、204b和204c为连接到云202的计算机系统206a、206b、206c、206d、206e和206f提供云计算服务。
云计算环境200包括一个或多个云数据中心。通常，云数据中心(例如图2中所示的云数据中心204a)是指构成云(例如图2中所示的云202或云的特定部分)的服务器的物理排列。例如，服务器在云数据中心中物理排列成房间、组、行和机架。云数据中心有一个或多个区域，其中包括一个或多个服务器房间。每个房间有一行或多行服务器，每行都包括一个或多个机架。每个机架包括一个或多个单独的服务器节点。在一些实现中，区域、房间、机架和/或行中的服务器根据数据中心设施的物理基础设施要求(包括电力、能源、热力、热源和/或其它要求)分为若干组。在实施例中，服务器节点类似于图3中描述的计算机系统。数据中心204a具有许多分布在多个机架上的计算系统。
云202包括云数据中心204a、204b和204c以及用于连接云数据中心204a、204b和204c并有助于促进计算系统206a-f对云计算服务的访问的网络和网络资源(例如，网络设备、节点、路由器、交换机和网络电缆)。在实施例中，该网络表示一个或多个本地网络、广域网或通过使用地面或卫星连接部署的有线或无线链路连接的网际网络的任意组合。通过网络交换的数据采用多种网络层协议(如Internet协议(IP)、多协议标签交换(MPLS)、异步传输模式(ATM)、帧中继(FrameRelay)等)进行传输。此外，在网络代表多个子网络的组合的实施例中，在每个底层子网络上使用不同的网络层协议。在一些实施例中，网络代表一个或多个互连网际网络(例如公共互联网等)。
计算系统206a-f或云计算服务消费者通过网络链路和网络适配器连接到云202。在实施例中，计算系统206a-f被实现为各种计算装置，例如服务器、台式机、膝上型计算机、平板电脑、智能手机、物联网(IoT)设备、自主运载工具(包括小汽车、无人机、航天飞机、火车、公共汽车等)和消费电子产品。在实施例中，计算系统206a-f在其它系统中实现或作为其它系统的一部分实现。
图3例示计算机系统300。在实现中，计算机系统300是一种专用计算装置。专用计算装置被硬连线以执行这些技术，或包括诸如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)等的被持久编程为进行上述技术的数字电子装置，或可包括一个或多个通用硬件处理器，这些硬件处理器经编程以根据固件、存储器、其它存储器、或者组合中的程序指令执行这些技术。这种专用的计算装置还可以将定制的硬线逻辑、ASIC或FPGA与定制的编程相结合来完成这些技术。在各种实施例中，专用计算装置是台式计算机系统、便携式计算机系统、手持设备、网络设备或包含硬线和/或程序逻辑以实现这些技术的任何其它设备。
在实施例中，计算机系统300包括总线302或用于通信信息的其它通信机制、以及与总线302连接以处理信息的硬件处理器304。硬件处理器304是例如通用微处理器。计算机系统300还包括主存储器306，例如随机存取存储器(RAM)或其它动态存储装置，连接到总线302以存储信息和指令，该信息和指令由处理器304执行。在一个实现中，主存储器306用于在执行要由处理器304执行的指令期间存储临时变量或其它中间信息。当这些指令存储在处理器304可访问的非暂时性存储介质中时，使计算机系统300变成一个专用机器，该机器被定制以执行指令中指定的操作。
在实施例中，计算机系统300还包括只读存储器(ROM)308或连接到总线302的其它静态存储装置，用于存储处理器304的静态信息和指令。提供诸如磁盘、光盘、固态驱动器或三维交叉点存储器等的存储装置310，并连接到总线302以存储信息和指令。
在实施例中，计算机系统300通过总线302连接到诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、发光二极管(LED)显示器或用于向计算机用户显示信息的有机发光二极管(OLED)显示器等的显示器312。包括字母数字键和其它键的输入装置314连接到总线302，用于向处理器304传送信息和命令选择。另一种类型的用户输入装置是光标控制器316，例如鼠标、轨迹球、触控显示器或光标方向键，用于将方向信息和命令选择传送到处理器304，并用于控制光标在显示器312上的移动。这种输入装置通常具有两个轴线上的两个自由度，第一轴线(例如，x轴)和第二轴线(例如，y轴)，这两个轴线允许装置指定平面上的位置。
根据一个实施例，这里的技术由计算机系统300执行，以响应处理器304执行主存储器306中包含的一个或多个指令的一个或多个序列。这些指令从诸如存储装置310等的另一存储介质读入主存储器306。执行主存储器306中包含的指令序列使处理器304执行本文所述的处理步骤。在替代实施例中，使用硬连线电路代替或与软件指令结合使用。
此处使用的术语“存储介质”是指存储数据和/或指令的任何非暂时性介质，这些数据和/或指令使机器以特定方式运行。这种存储介质包括非易失性介质和/或易失性介质。非易失性介质例如包括诸如存储装置310等的光盘、磁盘、固态驱动器或三维交叉点存储器。易失性介质包括动态存储器，诸如主存储器306等。存储介质的常见形式包括例如软盘、软盘、硬盘、固态驱动器、磁带或任何其它磁数据存储介质、CD-ROM、任何其它光数据存储介质、任何具有孔型的物理介质、RAM、PROM和EPROM、FLASH-EPROM、NV-RAM、或任何其它存储芯片或存储盒。
存储介质有别于传输介质，但可以与传输介质相结合使用。传输介质参与存储介质之间的信息传输。例如，传输介质包括同轴电缆、铜线和光纤，其包括具备总线302的电线。传输介质也可以采取声波或光波的形式，如在无线电波和红外数据通信过程中产生的声波或光波。
在实施例中，各种形式的介质涉及向处理器304携带一个或多个指令序列以供执行。例如，这些指令最初是在远程计算机的磁盘或固态驱动器上执行的。远程计算机将指令加载到其动态存储器中，并使用调制解调器通过电话线路发送指令。计算机系统300的本地调制解调器接收电话线路上的数据，并使用红外发射机将数据转换为红外信号。红外探测器接收红外信号中携带的数据，并且适当的电路将数据放置在总线302上。总线302将数据承载到主存储器306，处理器304从主存储器306检索并执行指令。主存储器306接收的指令可以任选地在处理器304执行之前或之后存储在存储装置310上。
计算机系统300还包括连接到总线302的通信接口318。通信接口318提供耦合到连接至本地网络322的网络链路320多双向数据通信。例如，通信接口318是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或用以提供与相应类型电话线路的数据通信连接的调制解调器。作为另一示例，通信接口318是局域网(LAN)卡，用于提供与兼容LAN的数据通信连接。在一些实现中，无线链路也被实现。在任何这种实现中，通信接口318发送和接收承载代表各种信息的数字数据流的电、电磁或光信号。
网络链路320通常通过一个或多个网络向其它数据装置提供数据通信。例如，网络链路320通过本地网络322提供与主计算机324或与由因特网服务提供商(ISP)326运营的云数据中心或设备的连接。ISP 326又通过现在通常称为“因特网”的世界范围分组数据通信网络来提供数据通信服务。本地网络322和因特网328都使用携带数字数据流的电、电磁或光信号。通过各种网络的信号以及网络链路320上并通过通信接口318的信号是传输介质的示例形式，其中通信接口318承载了进出计算机系统300的数字数据。在实施例中，网络320包含上述云202或云202的一部分。
计算机系统300通过(一个或多个)网络、网络链路320和通信接口318发送消息和接收包括程序代码的数据。在实施例中，计算机系统300接收用于处理的代码。接收到的代码在接收到时由处理器304执行，和/或存储在存储装置310中，或存储在其它非易失性存储装置中以便以后执行。
自主运载工具架构
图4示出用于自主运载工具(例如，图1所示的AV 100)的示例架构400。架构400包括感知模块402(有时称为感知电路)、规划模块404(有时称为规划电路)、控制模块406(有时称为控制电路)、定位模块408(有时称为定位电路)和数据库模块410(有时称为数据库电路)。各模块在AV 100的操作中发挥作用。共同地，模块402、404、406、408和410可以是图1所示的AV系统120的一部分。在一些实施例中，模块402、404、406、408和410中的任何模块是计算机软件(例如，计算机可读介质上所存储的可执行代码)和计算机硬件(例如，一个或多个微处理器、微控制器、专用集成电路[ASIC]、硬件存储器装置、其它类型的集成电路、其它类型的计算机硬件、或者这些硬件中的任何或所有的组合)的组合。
在使用中，规划模块404接收表示目的地412的数据，并且确定表示AV 100为了到达(例如，抵达)目的地412而可以行驶的轨迹414(有时称为路线)的数据。为了使规划模块404确定表示轨迹414的数据，规划模块404从感知模块402、定位模块408和数据库模块410接收数据。
感知模块402使用例如也如图1所示的一个或多个传感器121来识别附近的物理对象。将对象分类(例如，分组成诸如行人、自行车、汽车、交通标志等的类型)，并且将包括经分类的对象416的场景描述提供至规划模块404。
规划模块404还从定位模块408接收表示AV位置418的数据。定位模块408通过使用来自传感器121的数据和来自数据库模块410的数据(例如，地理数据)以计算位置来确定AV位置。例如，定位模块408使用来自GNSS(全球导航卫星系统)传感器的数据和地理数据来计算AV的经度和纬度。在实施例中，定位模块408所使用的数据包括具有行车道几何属性的高精度地图、描述道路网络连接属性的地图、描述行车道物理属性(诸如交通速率、交通量、运载工具和自行车车道的数量、车道宽度、车道交通方向、或车道标记类型和场所，或者它们的组合)的地图、以及描述道路特征(诸如十字路口、交通标志或各种类型的其它行驶信号等)的空间场所的地图。
控制模块406接收表示轨迹414的数据和表示AV位置418的数据，并且以将使得AV100行驶轨迹414到达目的地412的方式来操作AV的控制功能420a～420c(例如，转向、油门、制动、点火)。例如，如果轨迹414包括左转，则控制模块406将以如下方式操作控制功能420a～420c：转向功能的转向角度将使得AV 100左转，并且油门和制动将使得AV 100在进行转弯之前暂停并等待经过的行人或运载工具。
自主运载工具输入
图5示出感知模块402(图4)所使用的输入502a-502d(例如，图1中所示的传感器121)和输出504a-504d(例如，传感器数据)的示例。一个输入502a是LiDAR(光检测和测距)系统(例如，图1所示的LiDAR 123)。LiDAR是使用光(例如，诸如红外光等的一道光)来获得与其视线中的物理对象有关的数据的技术。LiDAR系统产生LiDAR数据作为输出504a。例如，LiDAR数据是用于构造环境190的表现的3D或2D点(也称为点云)的集合。
另一输入502b是RADAR(雷达)系统。RADAR是使用无线电波来获得与附近的物理对象有关的数据的技术。RADAR可以获得与不在LiDAR系统的视线内的对象有关的数据。RADAR系统502b产生RADAR数据作为输出504b。例如，RADAR数据是用于构造环境190的表现的一个或多个射频电磁信号。
另一输入502c是照相机系统。照相机系统使用一个或多个照相机(例如，使用诸如电荷耦合器件[CCD]等的光传感器的数字照相机)来获取与附近的物理对象有关的信息。照相机系统产生照相机数据作为输出504c。照相机数据通常采用图像数据的形式(例如，诸如RAW、JPEG、PNG等的图像数据格式的数据)。在一些示例中，照相机系统具有例如为了立体影像(立体视觉)的目的的多个独立照相机，这使得照相机系统能够感知深度。尽管照相机系统所感知的对象在这里被描述为“附近”，但这是相对于AV而言的。在使用中，照相机系统可被配置为“看见”远处的(例如，AV前方的远至1公里以上的)对象。因此，照相机系统可以具有为了感知遥远的对象而优化的诸如传感器和透镜等的特征。
另一输入502d是交通灯检测(TLD)系统。TLD系统使用一个或多个照相机来获得与交通灯、街道标志和提供视觉导航信息的其它物理对象有关的信息。TLD系统产生TLD数据作为输出504d。TLD数据经常采用图像数据的形式(例如，诸如RAW、JPEG、PNG等的图像数据格式的数据)。TLD系统与包含照相机的系统的不同之处在于：TLD系统使用具有宽视场(例如，使用广角镜头或鱼眼镜头)的照相机，以获得与尽可能多的提供视觉导航信息的物理对象有关的信息，使得AV 100有权访问这些对象所提供的所有相关导航信息。例如，TLD系统的视角可以为约120度以上。
在一些实施例中，使用传感器融合技术来组合输出504a-504d。因而，将个体输出504a-504d提供至AV 100的其它系统(例如，提供至如图4所示的规划模块404)，或者采用相同类型(例如，使用相同组合技术或组合相同输出或者这两者)或不同类型(例如，使用不同的各个组合技术或组合不同的各个输出或者这两者)的单个组合输出或多个组合输出的形式，可以将组合输出提供至其它系统。在一些实施例中，使用早期融合技术。早期融合技术的特征在于：将输出组合，之后将一个或多个数据处理步骤应用到组合输出。在一些实施例中，使用后期融合技术。后期融合技术的特征在于：在将一个或多个数据处理步骤应用到个体输出之后，将输出组合。
图6示出LiDAR系统602的示例(例如，图5所示的输入502a)。LiDAR系统602从发光器606(例如，激光发射器)发射光604a-604c。LiDAR系统所发射的光通常不在可见光谱中；例如，经常使用红外光。所发射的光604b中的一些光遇到物理对象608(例如，运载工具)并且反射回到LiDAR系统602。(从LiDAR系统发射的光通常不会穿透物理对象，例如，实心形式的物理对象。)LiDAR系统602还具有用于检测反射光的一个或多个光检测器610。在实施例中，与LiDAR系统相关联的一个或多个数据处理系统生成表示LiDAR系统的视场614的图像612。图像612包括表示物理对象608的边界616的信息。这样，图像612用于确定AV附近的一个或多个物理对象的边界616。
图7示出操作中的LiDAR系统602。在该图所示的情境中，AV 100接收采用图像702的形式的照相机系统输出504c和采用LiDAR数据点704的形式的LiDAR系统输出504a。在使用中，AV 100的数据处理系统将图像702与数据点704进行比较。特别地，在数据点704中也识别出在图像702中识别出的物理对象706。这样，AV 100基于数据点704的轮廓和密度来感知物理对象的边界。
图8示出LiDAR系统602的操作的附加细节。如上所述，AV 100基于LiDAR系统602所检测到的数据点的特性来检测物理对象的边界。如图8所示，诸如地面802等的平坦对象将以一致的方式反射从LiDAR系统602发射的光804a-804d。换句话说，由于LiDAR系统602使用一致的间隔发射光，因此地面802将以相同的一致间隔将光反射回到LiDAR系统602。在AV100在地面802上行驶时，在没有东西阻挡道路的情况下，LiDAR系统602将继续检测到由下一个有效地面点806反射的光。然而，如果对象808阻挡道路，则LiDAR系统602所发射的光804e-804f将以不符合预期一致方式的方式从点810a-810b反射。根据该信息，AV 100可以确定为存在对象808。
路径规划
图9示出(例如，如图4所示的)规划模块404的输入和输出之间的关系的框图900。通常，规划模块404的输出是从起点904(例如，源场所或初始场所)到终点906(例如，目的地或最终场所)的路线902。路线902通常由一个或多个路段定义。例如，路段是指要行驶经过街道、道路、公路、驾驶道或适合汽车行驶的其它物理区域的至少一部分的距离。在一些示例中，例如，如果AV 100是诸如四轮驱动(4WD)或全轮驱动(AWD)小汽车、SUV或小型卡车等的越野运载工具，则路线902包括诸如未铺面道路或开阔田野等的“越野”路段。
除路线902之外，规划模块还输出车道级路线规划数据908。车道级路线规划数据908用于在特定时间基于路线902的路段的条件来驶过这些路段。例如，如果路线902包括多车道公路，则车道级路线规划数据908包括轨迹规划数据910，其中AV 100可以使用该轨迹规划数据910以例如基于出口是否临近、多个车道中的一个以上的车道是否存在其它运载工具、或者在几分钟或更少时间的过程中变化的其它因素，来从这多个车道中选择某车道。同样地，在一些实现中，车道级路线规划数据908包括路线902的某路段特有的速率约束912。例如，如果该路段包括行人或非预期交通，则速率约束912可以将AV 100限制到比预期速率慢的行驶速率，例如基于该路段的限速数据的速率。
在实施例中，向规划模块404的输入包括(例如，来自图4所示的数据库模块410的)数据库数据914、当前场所数据916(例如，图4所示的AV位置418)、(例如，用于图4所示的目的地412的)目的地数据918和对象数据920(例如，如图4所示的感知模块402所感知的经分类的对象416)。在一些实施例中，数据库数据914包括规划时所使用的规则。规则是使用形式语言(例如，使用布尔逻辑)指定的。在AV 100所遇到的任何给定情形中，这些规则中的至少一些规则将适用于该情形。如果规则具有基于AV 100可用的信息(例如，与周围环境有关的信息)所满足的条件，则该规则适用于给定情形。规则可以具有优先级。例如，“如果公路是高速公路，则移动到最左侧车道”这一规则与“如果出口在一英里内临近，则移动到最右侧车道”相比可以具有更低的优先级。
图10示出在路径规划中(例如，由规划模块404(图4))使用的有向图1000。通常，如图10所示的有向图那样的有向图1000用于确定任何起点1002和终点1004之间的路径。在现实世界中，分隔起点1002和终点1004的距离可能相对较大(例如，在两个不同的都市区域中)，或者可能相对较小(例如，毗邻城市街区的两个十字路口或多车道道路的两条车道)。
在实施例中，有向图1000具有表示起点1002和终点1004之间的AV 100可能占用的不同场所的节点1006a-1006d。在一些示例中，例如，在起点1002和终点1004表示不同的都市区域时，节点1006a-1006d表示道路的路段。在一些示例中，例如，在起点1002和终点1004表示相同道路上的不同场所时，节点1006a-1006d表示该道路上的不同位置。这样，有向图1000包括不同粒度级别的信息。在实施例中，具有高粒度的有向图也是具有更大规模的另一有向图的子图。例如，起点1002和终点1004相距远(例如，相距许多英里)的有向图的大部分信息处于低粒度，并且该有向图是基于所存储的数据，但该有向图还包括供该有向图中的表示AV 100的视场中的物理场所的一部分用的一些高粒度信息。
节点1006a-1006d不同于无法与节点重叠的对象1008a-1008b。在实施例中，在粒度低时，对象1008a-1008b表示汽车不能驶过的地区，例如无街道或道路的区域。在粒度高时，对象1008a-1008b表示AV 100的视场中的物理对象，例如其它汽车、行人、或AV 100不能与之共用物理空间的其它实体。在实施例中，对象1008a-1008b的一部分或全部是静态对象(例如，不改变位置的对象，诸如街灯或电线杆等)或动态对象(例如，能够改变位置的对象，诸如行人或其它小汽车等)。
节点1006a-1006d通过边缘1010a-1010c连接。如果两个节点1006a-1006b通过边缘1010a连接，则AV 100可以在一个节点1006a和另一节点1006b之间行驶，例如，而不必在到达另一节点1006b之前行驶到中间节点。(提到AV 100在节点之间行驶意味着AV 100在由相应节点表示的两个物理位置之间行驶。)边缘1010a-1010c通常是双向的，从某种意义上，AV 100从第一节点行驶到第二节点，或者从第二节点行驶到第一节点。在实施例中，边缘1010a-1010c是单向的，从某种意义上，AV 100可以从第一节点行驶到第二节点，然而AV100不能从第二节点行驶到第一节点。在边缘1010a-1010c表示例如单向街道、街道、道路或公路的单独车道、或者由于法律或物理约束因而仅能沿一个方向驶过的其它特征的情况下，边缘1010a-1010c是单向的。
在实施例中，规划模块404使用有向图1000来识别由起点1002和终点1004之间的节点和边缘组成的路径1012。
边缘1010a-1010c具有关联成本1014a-1014b。成本1014a-1014b是表示在AV 100选择该边缘的情况下将花费的资源的值。典型的资源是时间。例如，如果一个边缘1010a所表示的物理距离是另一边缘1010b所表示的物理距离的两倍，则第一边缘1010a的关联成本1014a可以是第二边缘1010b的关联成本1014b的两倍。影响时间的其它因素包括预期交通、十字路口的数量、限速等。另一典型的资源是燃料经济性。两个边缘1010a-1010b可以表示相同的物理距离，但例如由于道路条件、预期天气等，因此一个边缘1010a与另一边缘1010b相比需要更多的燃料。
在规划模块404识别起点1002和终点1004之间的路径1012时，规划模块404通常选择针对成本优化的路径，例如，在将边缘的各个成本相加到一起时具有最小总成本的路径。
自主运载工具控制
图11示出(例如，如图4所示的)控制模块406的输入和输出的框图1100。控制模块根据控制器1102而工作，该控制器1102例如包括：与处理器304类似的一个或多个处理器(例如，诸如微处理器或微控制器或这两者等的一个或多个计算机处理器)；与主存储器306、ROM 308和存储装置310类似的短期和/或长期数据存储装置(例如，存储器随机存取存储器或闪速存储器或这两者)；以及存储器中所存储的指令，这些指令在(例如，由一个或多个处理器)执行时执行控制器1102的操作。
在实施例中，控制器1102接收表示期望输出1104的数据。期望输出1104通常包括速度，例如速率和航向。期望输出1104例如可以基于从(例如，如图4所示的)规划模块404接收到的数据。根据期望输出1104，控制器1102产生可用作油门输入1106和转向输入1108的数据。油门输入1106表示例如通过接合转向踏板或接合另一油门控件来接合AV 100的油门(例如，加速控制)以实现期望输出1104的大小。在一些示例中，油门输入1106还包括可用于接合AV 100的制动器(例如，减速控制)的数据。转向输入1108表示转向角度，例如AV的转向控制(例如，方向盘、转向角致动器或用于控制转向角度的其它功能)应被定位成实现期望输出1104的角度。
在实施例中，控制器1102接收在调整提供至油门和转向的输入时使用的反馈。例如，如果AV 100遇到诸如山丘等的干扰1110，则AV 100的测量速率1112降至低于期望输出速率。在实施例中，任何测量输出1114均被提供至控制器1102，使得例如基于测量速率和期望输出之间的差分1113来进行所需的调整。测量输出1114包括测量位置1116、测量速度1118(包括速率和航向)、测量加速度1120和AV 100的传感器可测量的其它输出。
在实施例中，例如通过诸如照相机或LiDAR传感器等的传感器预先检测与干扰1110有关的信息，并且该信息被提供至预测性反馈模块1122。然后，预测性反馈模块1122将控制器1102可用于相应地调整的信息提供至控制器1102。例如，如果AV 100的传感器检测到(“看见”)山丘，则控制器1102可以使用该信息来准备在适当时间接合油门，以避免显著减速。
图12示出控制器1102的输入、输出和组件的框图1200。控制器1102具有影响油门/制动器控制器1204的操作的速率分析器1202。例如，速率分析器1202根据例如由控制器1102接收到并由速率分析器1202处理后的反馈，来指示油门/制动器控制器1204使用油门/制动器1206进行加速或进行减速。
控制器1102还具有影响方向盘控制器1210的操作的横向跟踪控制器1208。例如，横向跟踪控制器1208根据例如由控制器1102接收到并由横向跟踪控制器1208处理后的反馈，来指示方向盘控制器1210调整转向角致动器1212的位置。
控制器1102接收用于确定如何控制油门/制动器1206和转向角致动器1212的多个输入。规划模块404提供控制器1102例如选择AV 100开始操作时的航向并确定在AV 100到达十字路口时驶过哪个道路路段所使用的信息。定位模块408例如将描述AV 100的当前场所的信息提供至控制器1102，使得控制器1102可以确定AV 100是否处于基于正控制油门/制动器1206和转向角致动器1212的方式而预期所处的场所。在实施例中，控制器1102接收来自其它输入1214的信息，例如从数据库、计算机网络等接收到的信息。
对象跟踪
如上所述，跟踪是具有挑战性的问题，因为对象可以移动并且在数量上变化。此外，来自传感器的测量值具有噪声和不确定的起因。单对象滤波问题具有采用递归形式的贝叶斯解。为了推广到多对象情况，可以使用随机有限集(RFS)框架。
单对象跟踪
由于有可能存在漏检和杂乱的测量值，因此即使单对象跟踪也必须在多对象跟踪的框架中考虑。然而，假定始终利用独特的测量来观察对象，则可以如下对滤波问题求解。
设x表示对象运动学状态。可以通过如下的等式：
xk+1＝f(xk)+vk，
或者等同地，在循环使用f的情况下通过如下的转移密度：
f(xk+1|xk)，
来指定运动模型。
可以通过如下的等式：
zk＝g(xk)+wk，
或者等同地，通过如下的似然密度：
g(zk|xk)，
来指定测量模型。
滤波的一个目的是考虑到所有可用的测量值来获得后验对象密度：pk|k(xk|Z1:k)。这可以通过如下的两个步骤来递归地求解：预测步骤
pk|k-1(xk|z1：k-1)＝∫f(xk|ξ)pk-1|k-1(ξ|z1:k-1)dξ，
和更新步骤
Figure BDA0002614918210000251
其中：分母是归一化常数p(z1:k)。
以上等式给出任何给定点xk处的后验的值。为了实际使用该分布，可以利用后验的有限参数化。在运动模型和测量模型这两者都为线性和高斯、并且初始密度为高斯的情况下，预测密度和后验密度都为高斯，其中仅需维持均值
Figure BDA0002614918210000261
和协方差Pk的演变。对于非线性非高斯情况，解可以利用高斯或粒子的混合来近似。
多对象跟踪
一个解决方案是假定以随着收集数据可以递归地计算的后验密度来概括所有测量值中所包含的信息。定义“全局状态”Xk以表示所有对象并且定义“全局测量值”Zk以表示所有测量值，则可以用以下形式描述滤波解：
pk|k-1(Xk|Z1：k-1)＝∫f(xk|Ξpk-1|k-1(Ξ|Z1：k-1)μ(dΞ)，
Figure BDA0002614918210000262
由于对象和测量值不具有固有排序，因此Xk和Zk分别采用个体对象状态向量和个体测量值的集合的形式，并且该集合是有限的。可以提供数学框架以表征取这样的集合的值的随机变量及其概率分布。使用B.N.Vo,S.Singh和A.Doucet,“Sequential Monte Carlomethods for multitarget filtering with random finite sets,”IEEE Transactionson Aerospace and Electronic Systems,41(4):1224–1245(October 2005)的一部分，设E是单对象状态的空间，并且设F是E的有限子集的集合(因此F是集的集合)。设(Ω,σ(Ω),P)是概率空间。然后，随机有限集Ξ将Ω中的样本映射到F(E)中的集合，并且其子集
Figure BDA0002614918210000265
的概率分布PΞ被定义为如下：
Figure BDA0002614918210000263
对于随机标量，该子集采用区间(-∞,x]的形式。然而，在某些情况下，该形式不便于用于根据单对象运动模型构建多对象运动模型和测量模型。定义RFS的概率分布的替代形式是通过针对任何闭子集定义的信度质量函数PΞ给出的：
Figure BDA0002614918210000264
由此，通过使用具有集导数和集积分的有限集统计(FISST)(参见Ronald Mahler,“Random Set Theory for Target Tracking and Identification,”Handbook ofMultisensor Data Fusion:Theory and Practice,David L.Hall and James Llinas,editors,CRC Press,2nd edition(2008))来定义多对象运动转移密度和测量似然性，使得可以通过递归获得多对象后验：
Figure BDA0002614918210000271
Figure BDA0002614918210000272
上述多对象滤波器解决了多对象跟踪问题，因此在该背景下，“滤波器”和“跟踪器”是同义的。有时，“滤波器”用来指“单对象滤波器”，并且“跟踪器”用来指“多对象滤波器”。
一般的多对象后验分布非常复杂，并且通常在计算上难以处理。因而，进行近似。以下是两个可能的方法。
第一个方法是仅维持和传播分布的第一矩(其被称为概率假设密度(PHD))(参见Ronald P.S.Mahler,“Multitarget Bayes filtering via first-order multitargetmoments,”Aerospace and Electronic Systems,IEEE Transactions on,39(4):1152–1178(October 2003))。均值不是直接通过将不同基数的集合相加来定义的，而是通过计数测度来定义的，使得PHD“表面”在单对象状态的空间中的任何给定“区域”上的积分给出该区域中的对象的预期数量。还存在添加了对象总数的更严格估计的势PHD(CPHD)滤波器(参见R.Mahler,“PHD filters of higher order in target number,”Aerospace andElectronic Systems,IEEE Transactions on,43(4):1523–1543(October 2007))。
第二个方法是以与针对“线性高斯”系统关闭高斯相同的方式，处理在预测和更新下关闭的分布的子类。广义标签多伯努利(Multi-Bernoulli)(GLMB)是一个这样的类(参见Ba N.Vo、Ba-Tuong Vo和Hung Hoang,“An Efficient Implementation of theGeneralized Labeled Multi-Bernoulli Filter,”IEEE Transactions on SignalProcessing,65(8):1975–1987(April 2017))，并且以下更详细地进行说明。
目标是共同估计连续运动学状态以及可以包括对象类型、运动等的离散状态。首先，描述了用以实现此的通用公式、以及利用独立性来提供效率的实现。该实现包括可以允许对离散状态的分量的不同选择的通用库；添加特定属性不需要显著的改变。
之后，定义在连续和离散状态上具有联合分布(其被称为轨道)的轨道点。各轨道点还具有标签或轨道ID。一组这样的轨道形成假设，其隐含地包含在给定时间测量值如何与轨道相关联。一个父假设产生一组子假设，因此假设隐含地包含关联历史。GLMB的类是权重合计为1的一组假设。
对于实际计算，通常存在大量假设。以下所述的合并和拆分算法使得GLMB滤波器是可行的。
利用运动学和离散状态的跟踪
对于线性高斯系统，运动学状态的滤波密度为高斯，并且是通过卡尔曼滤波获得的。当用离散值模式(用于运动)和属性(用于同一性、意图等)增广该状态时，以离散部分为条件的滤波密度通常是多峰的。为了处理复杂性，通常使用诸如交互式多模型(IMM)等的近似方案。以下论述用于非线性非高斯系统的一般解决方案、以及如何获得IMM近似。文献包括与用于线性高斯系统的IMM有关的论文(例如，X.Rong Li和V.P.Jilkov,“Survey ofmaneuvering target tracking,”Part V,Multiple-model methods,IEEE Transactionson Aerospace and Electronic Systems,41(4):1255–1321(October2005)；以及H.A.P.Blom和Y.Bar-Shalom,“The interacting multiple model algorithm forsystems with Markovian switching coefficients,”Automatic Control，IEEETransactions on，33(8):780-783(August 1988))以及论文(例如，Yuthika Punchihewa、Ba-Ngu Vo和Ba-Tuong Vo，“A Generalized Labeled Multi-Bernoulli filter formaneuvering targets，”201619th International Conference on Information Fusion(FUSION)，pages 980-986，IEEE(July 2016))，其中在没有给出近似的具体算法的情况下指定非线性系统的精确解。
仅运动学
通过以下来给出预测密度：
Pk|k-1(x)＝∫f(x|ξ)Pk-1(ξ)dξ，
其中：积分内的P是概率密度，且不考虑轨道生死。考虑到运动模型f(.|.)，定义将先前密度映射到预测密度的预测算子Pred：
Pk|k-1(x)＝Predf[Pk-1(·)](x)。
通过以下给出省略时间下标的更新密度：
Figure BDA0002614918210000291
其中：L(·|·)是传感器似然性。通过定义将(预测)密度映射到后验密度的更新算子Updt，该算子还产生测量值P(z)的似然性，其由η表示：
P(x|z)＝UpdtL[P(·)](x)，P(z)＝η。
以下使用该恒等式：
L(z|x)P(x)＝ηUpdtL[P(·)](x) (1)。
运动学和模式/属性
现在，考虑增广状态(x，i)(其中i是离散的，并且在不失一般性的情况下)采用一组自然数中的值。在实现中，i可以采用元组的形式，例如，(m1，m2)，其中，例如m1是运动模式的指数，并且m2是对象(例如，运载工具)颜色的指数。使用如下的条件分解：
Figure BDA0002614918210000301
并且将增广状态上的分布视为由边缘概率进行加权后的运动学分布的阵列(或从离散符号到这样的分布的映射)。在下文，首先导出联合分布，然后通过以下的关系获得边缘分布和条件分布：
Figure BDA0002614918210000302
半马尔可夫(Semi-Markov)转移
在下文，测量值带有任意的时间戳，因此两个时刻之间的如下的经过时间
δt＝tk-tk-1
可以是不统一的。运动学预测和更新可以考虑到这一点。对于模式转移，采用半马尔可夫模型。对于具有(长期)转移概率矩阵[πij]的给定模式，假定分量i具有转移速率λi，使得：
Figure BDA0002614918210000303
并且不转移的可能性是对单位一的补。为了简单起见，以下假定已根据δt和参数λi如上计算了短期转移概率，并将这两者再次表示为πij。注意，πk|k先前用于表示FISST后验密度，且不应与这里的数字πij混淆。
预测
在跳马尔可夫建立之后，定义从行i到列j的转移概率为
Figure BDA0002614918210000305
的转移矩阵。首先，离散状态(也称为模式)转变为新的值。然后，在新的模式下发生运动。因而，通过以下给出预测密度：
Figure BDA0002614918210000304
其中：Predi表示由第i个模式中的运动模型定义的预测算子。因此，边缘分布如下：
Figure BDA0002614918210000311
并且条件分布如下：
Figure BDA0002614918210000312
更新
设预测密度被参数化为：
P-(x|i)q-(i)。
后验是通过以下给出的：
Figure BDA0002614918210000313
其中：在第二步中，使用通过等式(1)描述的恒等式，ηii是使用以第i个模式为条件的似然性L(z|,i)根据第i个模式的更新P-(·|i)得到的测量概率密度，并且
Figure BDA0002614918210000314
因此，后验边缘和条件是通过以下给出的：
q+(i|z)＝∫P+(x，，i}z)dx＝αi (4),
P+(x|i，z)＝Updti|[P-(·|i)](x) (5)
如果z独立于x而以模式i为条件，例如，当z是i的直接测量值时，则可以用具有条目的混淆矩阵来概括似然性：
Figure BDA0002614918210000321
在这种情况下，ηii＝ciz，并且(5)中的后验运动学密度相对于预测运动学密度不变，即P+(·|i,z)＝P-(·|i)。
预测密度中的各分量P-(·|i)本身是作为预测的结果的子分量{Pji}的总和，并且其更新具有如由等式(3)展示的相同结构。设
Figure BDA0002614918210000322
其中
Figure BDA0002614918210000323
其中，三元组下标意味着在前的第j个分量通过第i个运动模型来预测，并且随后通过第i个似然模型来更新。然后，
Figure BDA0002614918210000324
其中
Figure BDA0002614918210000325
代入(4)和(5)在时间k提供以下：
Figure BDA0002614918210000326
Figure BDA0002614918210000327
精确解
假定对于离散状态存在N个模式。如果模式的起始分布是高斯分布，则等式(7)规定，在一个预测更新周期之后，各模式是高斯的混合。因此，在这这两个操作下，单高斯不是封闭的，并且将必须用单高斯近似来代替该混合以继续递归。
从理论上，模式的高斯混合分布是封闭的，因此粒子分布也是封闭的。如果起始模式是M个高斯的总和，则在一个周期之后，模式将是MN个高斯的总和，之后为MN2个高斯。同样，如果起始模式是具有M个粒子的粒子分布，则在一个循环之后，模式将具有MN个粒子，之后为MN2个粒子。
单高斯
为了针对模式维持具有单高斯的递归，高斯的总和由矩匹配高斯来近似。
根据H.A.P.Blom和Y.Bar-Shalom,“The interacting multiple modelalgorithm for systems with Markovian switching coefficients,”AutomaticControl,IEEE Transactions on,33(8):780–783(August 1988)，在预测步骤之后(即，在等式(2)之后)进行近似时，这是IMM算法；并且在预测步骤之后(即，在等式(7)之后)进行近似时，这是GPB2(广义伪贝叶斯)算法。
高斯的混合
为了利用具有给定数量的分量的高斯的混合来维持递归，使用用小高斯混合来近似大高斯混合的算法。在一些实施例中，仅仅从并集中丢弃较小的权重是不够的，因为权重可能彼此接近，并且这些权重的总和将产生应保持的更大的高斯分量。为了利用具有给定数量的粒子的粒子分布来维持递归，使用用小的一组粒子近似大的一组粒子的算法。
实现
以上公开内容使用通用索引i来表示当前离散状态向量的值。在一些实施例中，使用元组(i,j,k)，其中：例如，i表示运动模式(例如，直行或转弯)，j表示距离变化率测量中(例如，MRR3雷达中)的折叠段，并且k表示为了图示用的颜色。在一些实施例中，运动预测依赖于运动模式，但独立于颜色。利用这种独立性提出了一些挑战。
首先，RFS雷达跟踪器可被编写为可用于基于模型和传感器的选择来构建跟踪器的实例化的通用库。对于点对象，运动学状态可被硬编码为包括位置和速度(采用2D或3D的形式)。离散状态可以不经过硬编码，使得离散状态可以具有任何选择数量的分量，并且由元组编索引。
其次，假定添加两个运动预测器以预测下一时刻的对象状态，一个运动预测器对应于适合于跟踪直行对象的“小q”，并且另一运动预测器对应于适合于跟踪转弯对象的“大q”。期望独立于离散状态具有多少个其它分量以及这些其它分量的相对顺序来编写这两个运动预测器。换句话说，如果稍后添加分量并且元组表示从(i,j,k)改变为(i,j,k,s)，则不期望修改针对这两个预测器所编写的代码(例如，程序)。
第三，条件独立性可以应用在诸如贝叶斯网络等的图形模型中，但与离散状态(例如，IMM、分类和属性)有关的跟踪文献未超出对所有索引进行求和的通用公式。
最后，库的用户可以知晓哪个元组元素表示哪个属性、以及各种模型的独立性质。期望库向用户提供用以对该知识进行编码的简单方式，并以高效的方式进行计算。
在一些实施例中，根据以下所述的方法(例如，使用计算机程序)来对传感器数据进行滤波以跟踪多个对象。
在一些实施例中，首先，保持对所有索引的求和以确保算法正确性。其次，通过缓存来实现计算节省。例如，如果运动预测仅依赖于第一分量(对于运动模式)，则不论以(0,0,0)为条件还是以(0,1,2)为条件，在求和中都使用相同的预测器。因此，可以重用而不是再次计算缓存的结果。第三，术语“同一对象”是指存储器中的同一对象，而不简单是具有相同值的两个对象。这可以通过查找函数和字典的组合来实现。使用前一段中的示例，当给出(0,1,2)作为输入时，查找函数将返回(0,0,0)，其对应于直接保存到字典中的项。
预测器和更新器
各“独特”元组对应于离散状态向量所取的值，而该值反过来决定要实例化哪个预测器对象。在一些实施例中，更新器进行贝叶斯更新，因此更新器必须由测量类型和离散状态值这两者来指定。在一些实施例中，在利用测量帧的滤波的各周期开始时清除缓存。在调用(用于不同的模式元组的)相同预测器以针对相同时间预测相同的运动学分布时，检索并返回缓存的值。
GLMB滤波中的假设合并和拆分
以下用于多对象跟踪的技术采用标签随机有限集(L-RFS)滤波的框架，并且更具体地使用在Ba N.Vo,Ba-Tuong Vo和Hung Hoang,“An Efficient Implementation of theGeneralized Labeled Multi-Bernoulli Filter,”IEEE Transactions on SignalProcessing,65(8):1975-1987(April 2017)中所述的δ广义标签多伯努利(dGLMB)滤波器。在一些实施例中，dGLMB滤波器的实现列举了排名最高的假设。例如，可以从要保持在存储器中的假设的总数方面(例如，基于计算机资源)设置计算预算。考虑可以将关注的状态空间分解成子集、使得各集合中的对象从统计上独立于其它集合中的对象的情形。例如，一个跟踪器可以针对在运载工具前方的对象运行，并且另一跟踪器可以针对在运载工具后方的对象运行，其中分别具有m和n个假设。如果仅一个跟踪器针对整个场景运行，则如图13A和13B所示，假设的总数将为mn。
以下所述的算法动态地决定应如何分解整个空间，其包括是否以及如何拆分和合并假设。在某些情况下，以下的方法与例如在Stephan Reuter、Ba-Tuong Vo、Ba-Ngu Vo和Klaus Dietmayer,“The Labeled Multi-Bernoulli Filter,”IEEE Trans.SignalProcessing,62(12):3246–3260(2014)中基于标签多伯努利(LMB)提出的方法相比提供提高的准确度，并且与在直接在dGLMB上操作的M.Beard、B.Tuong Vo和B.N.Vo,“A Solutionfor Large-scale Multi-object Tracking,”ArXiv e-prints(April 2018)中概要地描述的算法相比在算法上更具体(并且可能更准确)。
在一些实施例中，整个RFS分布被表示为各自具有不同的标签集(例如，轨道的集合或轨道ID的集合)的边缘分布与彼此足够远的空间幅度(例如，空间幅度满足距离阈值、条件或标准)的乘积。各边缘分布均由一组假设来表示。术语“因子”用于表示边缘分布、标签子集(例如，轨道的子集或轨道ID的子集)、空间幅度和假设的子集。
在与一个因子相关联的测量值或轨道也与另一分区中的测量值或轨道相关联时，两个因子“相互作用”。在因子通过利用相同帧的测量值的门控(gating)“相互作用”时，这些因子通过形成与构成假设的组合的列举相对应的边缘分布的乘积而被合并。只要有可能(例如，在满足特定条件的情况下)，将合并因子拆分为两个较小因子，其中这些较小因子中的一个因子利用测量值进行门控而另一个因子不利用测量值进行门控。最后，相应地更新了门控因子。
LMB方法
如图13A所示，轨道(其由轨道标签表示)可以在数个假设中。假设各假设中的轨道具有高斯分布，则Stephan Reuter、Ba-Tuong Vo、Ba-Ngu Vo和Klaus Dietmayer,“TheLabeled Multi-Bernoulli Filter”(IEEE Trans.Signal Processing,62(12):3246–3260,2014)中的LMB方法将相同标签的轨道收缩成分布是高斯混合的一个轨道。理想地，该混合至少是近似单峰的，其允许将轨道聚类成组。GLMB分布是通过LMB来近似的。GLMB明确地列出假设，而LMB由具有存在概率的各个轨道来参数化，并且仅在需要时才通过针对最佳k个假设运行k-最短路径算法来明确地生成假设。
Stephan Reuter、Ba-Tuong Vo、Ba-Ngu Vo和Klaus Dietmayer,“The LabeledMulti-Bernoulli Filter”(IEEE Trans.Signal Processing,62(12):3246–3260,2014)中的图4示出具有拆分和合并的算法。在一些实施例中，该方法包括用以识别应存在两个因子的能力。从GLMB到LMB和从LMB到GLMB的转换不必要地“浪费了”准确度。
(模糊)GLMB方法
M.Beard、B.Tuong Vo和B.N.Vo,“A Solution for Large-scale Multi-objectTracking”(ArXiv e-prints,April 2018)中的方法不使用LMB作为中介，而是直接在GLMB上操作。然而，该方法没有描述如何减少假设的数量以减轻计算负担。该算法在边缘到完全转换方面也失去了一些准确度。
示例合并和拆分算法
如示出针对通用(联合)分布的表的图14A所示，考虑两个离散随机变量A和B上的概率分布P(A,B)。图14B示出图14A的分布的边缘。图14C示出通过假设独立性来使用边缘的联合分布的近似。
如图14B所示，可以通过分别对列和行进行求和来获得边缘P(A)和P(B)。如果有迹象表明A和B是独立的(或者可以在不会引入显著误差的情况下被视为独立的)，则试图通过如下的重建来近似精确分布：
Figure BDA0002614918210000371
这导致如下的最大近似误差：
Figure BDA0002614918210000372
对于图14A-14C中的示例，emax＝0.025。如果误差低于接受阈值，则接受近似并且实现了计算中的一些节省。假定A和B所取的值的集合的基数分别为nA和nB，则代替保持nA+nB个条目，仅保留nAnB个条目。
在跟踪方面，A表示运载工具前方的对象的“全局状态”，并且B表示运载工具后方的对象的全局状态。典型地，A和B是独立的。以下描述如何将(包括无限维运动学分布的)值离散化为“ai”和“bj”、如何获得边缘分布和联合分布、如何将测量值聚类以与A和B配对、以及如何进行测量更新，这可能引起合并和拆分。
因子和假设
设X是进行操作的整个空间，并且该空间上的分布是dGLMB族，即具有权重的一组假设。如果将X分解为XA和XB的笛卡儿乘积、并且如果独立性成立，则可以将原始分布进行因子分解为两个分布的乘积，各分布均是具有权重的一组假设且被称为因子。新测量可以耦合这些因子，其中在这种情况下，构建乘积空间中的分布以进行测量更新，并且如果由此产生的误差在容差范围内，则再次进行因子分解。因而，一旦建立了(用于聚类的)门控和近似的参数，则基于隐含地定义的子空间来自动确定(数量不断变化的)因子，并且这些因子也随着测量值的到达而自动合并和拆分。
在一些实施例中，类似于对成列的数个数字求和以获得一个数字，边缘分布具有较少的假设。
为了组合具有共同假设的项，将运动学分布离散化。为此，首先利用已与轨道的运动学分布相关联的一组测量值来识别该运动学分布。通常，这些测量值使得它们对状态估计的影响随着时间的推移而减小。选择固定的“历史窗口”长度N，并且用测量值ID的元组表示已并入状态估计中的该窗口中的测量值，其中0表示漏检。图15A-15B示出具有合并(其中权重具有前缀“-1”)和拆分(其中权重具有分别用于存在测量值和不存在测量值的前缀“-2”和“-3”)的示例性假设树。图15A-15B示出针对特定运行的假设的演化的示例，其中椭圆形表示假设，点左侧的数字表示轨道ID，并且点右侧的数字表示关联的测量ID。如果选择了窗口长度N＝4，则用元组(70,80,90,94)识别叶层处的具有粗轮廓线的菱形中的轨道3的运动学状态分布。
现在可以用二元组(i,Si)来表示假设，其中：
Figure BDA0002614918210000381
是轨道ID，并且
Figure BDA0002614918210000382
是测量值ID的子集。
图15C示出本文所述的合并/拆分技术的另一方面。图15C是示出在收集(由帧索引在横轴上表示的)测量值的帧的过程中的因子数量(其由相对于左侧纵轴上的标度的实线表示)和假设总数(其由相对于右侧纵轴上的标度的虚线表示)的图。在例示实施例中，因子数量和假设总数通常遵循相同的趋势(例如，假设总数通常分别随着因子数量的增加和减少而增加和减少)。值得注意的是，对于大多数帧，因子数量在5和15之间，并且假设总数在40和120之间(例如，因子和假设的数量不是仅仅随着时间的经过而继续增加)。
边缘化
在这样表示假设的情况下，可以进行两个类型的边缘化：对遥远历史的边缘化和对标签(例如，轨道)的子集的边缘化。在对遥远历史的边缘化中，针对作为在图15A-15B中在假设树中表示为菱形的叶节点的各“当前假设”，追溯到树的根部的假设的谱系并将该谱系表示为元组。根部不一定是该图中的“头部”；头部仅仅是树的“最近”部分的概念根部，以便于绘制。如果谱系被截断到长度L，则两个假设可以具有包含相同的L元组的两个谱系。在这种情况下，忽略较早的历史，这两个假设被视为相同，并且保持仅一个假设，同时将另一假设(例如，将要删除的假设)的权重添加到该一个假设的权重。这实际上是对遥远历史的边缘化。
Claudio Fantacci和Francesco Papi,“Scalable Multisensor MultitargetTracking Using the Marginalized delta-GLMB Density,”IEEE Signal ProcessingLetters,23(6):863–867(June 2016)有效地考虑了长度L＝1的谱系，例如仅比较叶节点。此外，该出版物中的技术在不保持与边缘化假设不同的运动学分布而是保持这两者的加权和的意义上，具有较小的粒度。如果各个体运动学分布均为高斯，则在这样的边缘化之后，保持高斯的混合。因此，当具有相同轨道ID但处于不同假设中的轨道在位置和速度上彼此截然不同时，管理假设被用来交换管理混合的分量。
如以上所述，假设可以由二元组离散化和编索引。如果将标签集
Figure BDA0002614918210000395
划分成
Figure BDA0002614918210000391
则可以将假设的二元组划分成
Figure BDA0002614918210000392
和
Figure BDA0002614918210000393
Figure BDA0002614918210000394
随后，保持一个集合，并且通过添加相应的权重来边缘化另一集合。
如图13A所示，当由两组标签表示的对象彼此远离时，有可能总分布可以由边缘或因子的乘积来很好地近似，其中乘积运算是通过列举来自各边缘的假设的组合来进行的。为了仅保留前K个加权全局假设，可以使用K-最短路径算法(例如，参见“K shortest pathrouting,”www.wikipedia.org(September 26,2018))。原始和重建之间的权重差的向量范数可被用作近似程度有多好的指标。
门控和聚类
在一些实施例中，定义了(粗略)门控函数，该门控函数决定测量值是否可以与轨道ID或另一测量值相关联。由于这些测量值的时间戳可以不同，因此门控参数必须考虑如最大速率那样的事情。在一些实施例中，考虑不确定性，尽管不一定通过矩阵求逆来考虑。相同的轨道ID可以存在于多于一个的假设中。在一些实施例中，如果在任何假设中具有ID的轨道进行门控，则“门控”被定义为真。
在一些实施例中，在测量值的行与轨道+测量值的列(其被视为虚拟轨道)之间定义布尔门控矩阵。在J.Dezert和Y.Bar-Shalom,“Joint probabilistic data associationfor autonomous navigation”(IEEE Transactions on Aerospace and ElectronicSystems,29(4):1275–1286,October 1993)中提出了如下的算法，该算法用以获得对象和测量值的集群，使得在不同的集群之间(在与相同对象/测量值的门控方面)不存在“干扰”。该算法(通过逻辑“或”)将利用相同轨道进行门控的行合并成组。
合并和拆分
在进行测量值以及现有轨道的门控和聚类之后，获得测量值-轨道组。术语“组”用于避免与在用以指代数据的帧的RADAR技术的上下文中有时使用的术语“集群”(cluster)混淆。组可分为以下三个类别：(1)如果该组仅具有轨道但不具有门控测量值，则忽略该组；(2)如果该组具有(在彼此之间进行门控的)测量值的集合但不具有门控轨道，则创建新的因子，并将该新的因子与该组测量值相关联；(3)如果该组具有测量值和门控轨道这两者，则由于轨道(或轨道ID)可以存在于不同的因子中，因此进行进一步的划分以确定应如何进行更新。
在一些实施例中，(例如，使用上述相同的算法)第二次进行聚类，其中测量组起测量的作用，并且因子起轨道的作用。如果测量组中所包含的任何轨道存在于因子中所包含的任何假设中，则测量组用轨道进行门控。上述过程的输出中的集群被称为“超级组”。如果超级组包含因子但不包含门控测量组，则忽略该超级组。否则，确定是否要进行合并和拆分。
如果超级组包含测量组但不包含门控因子，则创建新因子并将该新因子与测量值相关联。如果超级组包含因子和门控测量值这两者，则如下确定合并：(a)如果存在仅一个因子，则不进行合并；以及(b)如果存在多于一个的因子，则合并这些因子。
在给定一组因子的情况下，列举这些因子的假设的“前K个”加权叉积，从而通过串联分量轨道并乘以分量权重来针对各积创建一个新假设。这可以使用K-最短路径算法来进行。由于截断到“前K个”，因此权重被重新归一化。接着，收集这些假设中所涉及的所有轨道ID和所有门控轨道ID。如果该组的差不为空，则确定是否进行拆分。
在图16中示出拆分的处理，其中一个或多个测量值(例如，测量值1、2、3)耦合两个先前独立的因子(例如，因子1和因子2)，但仅利用合并因子(例如，因子1’)中的轨道中的一些轨道进行门控。在图16所示的实施例中，测量值1、2和3利用轨道1和轨道3进行门控，但不利用轨道2或轨道4进行门控。在一些实施例中，如果近似误差足够小(例如，近似误差满足误差条件或小于阈值)，则将合并因子拆分为两个新因子(例如，因子1”和因子2”)。
将各假设(例如，Hypo1)的轨道划分为门控轨道ID(例如，轨道1和轨道3)以及未进行门控的轨道ID(例如，轨道2和轨道4)的元组。然后，所有独特的门控轨道确定“行变量”，并且所有独特的非门控轨道确定“列变量”。构建联合概率的表，其中在该表中，各假设将其权重贡献到条目，但由于离散化的有限历史长度，条目可以具有多个贡献假设，因此输入这些假设的权重的总和。
在一些实施例中，然后对该表进行边缘化。如果由此产生的误差是可接受的，则假定独立性成立并且进行拆分。例如，将因子1’拆分为因子1”和因子2”。各行/列值均创建具有权重的假设，并且这些假设创建新因子。
一旦确定了新的因子，则用这些因子的关联测量值来更新这些因子。如果不存在合并和拆分，则因子是原始因子。如果存在合并但不存在拆分，则新因子是一个合并因子，其中要删除源因子。如果存在拆分，则存在至少两个新因子，并且删除源因子。
如上所述更新各因子。在一些实施例中，针对各因子，进行门控以将新轨道限制到利用与该因子相关联的测量值进行门控的轨道。
用于检测对象并对传感器数据进行滤波的示例处理
图17是用于检测环境中的对象并对来自所检测到的对象的数据进行滤波以跟踪这些对象的示例处理1700的流程图。为方便起见，处理1700将被描述为由位于一个或多个场所的一个或多个计算机系统进行。例如，根据本说明书适当编程的图1的AV系统120(或其一部分)可以进行处理1700。
在框1702中，系统(例如，AV系统120)将传出信号(例如，RADAR数据或光604a-604c)发送到环境(例如，环境190)中。在一些实施例中，传出信号是RADAR、LiDAR或超声信号。
在框1704中，系统接收返回信号，该返回信号包括传出信号的来自环境中的对象(例如，自然障碍物191、运载工具193、行人192、骑自行车者和其它对象)的反射。
在框1706中，系统根据所接收到的返回信号来确定所检测到的测量值的集合，其中所检测到的测量值对应于环境中的对象的相应检测。
在框1708中，系统确定如下的组，其中该组包括来自所检测到的测量值的集合的组测量值的集合(例如，满足门控标准的所有测量值的子集)、以及与该组测量值的集合相关联的组轨道的集合。在一些实施例中，该组是直接地或间接地关联的轨道和测量值的集合(例如，如果测量值m1和m2利用trk1进行门控并且测量值m2也利用trak3进行门控，则即使m1不利用trk3进行门控，测量值m1和轨道trk3也在相同组中)。组轨道的集合包括与第一先前因子相关联的第一轨道和与第二先前因子相关联的第二轨道(例如，组包括来自不同因子的轨道)。第一先前因子包括与包含第一轨道的第一集合的现有轨道相关联的第一集合的先前轨道状态假设。在一些实施例中，第一先前因子的假设中所包括的轨道的集合不同于组中所包括的轨道。第二先前因子包括与包含第二轨道的第二集合的现有轨道相关联的第二集合的先前轨道状态假设。在一些实施例中，第二先前因子的假设中所包括的轨道的集合不同于组中所包括的轨道。在一些实施例中，与第一先前因子相关联的轨道和与第二先前因子相关联的轨道是互斥的。在一些实施例中，第一先前因子和第二先前因子的轨道状态假设是互斥的。
在一些实施例中，确定包括组测量值的集合和组轨道的集合的组包括：基于组轨道的集合中的至少一个轨道的状态(例如，位置和/或速度的估计)来确定为组测量值的集合中的测量值满足门控标准。在一些实施例中，定义门控函数(例如，粗略门控函数)，该门控函数确定测量值是否可以与轨道ID或另一测量值相关联。在一些实施例中，由于测量时间戳可以是不同的，因此门控参数考虑诸如最大速度等的其它参数。在一些实施例中，考虑不确定性，尽管不一定通过矩阵求逆来考虑。同一轨道可以存在于多于一个的假设中。在一些实施例中，如果组仅具有轨道但不具有门控测量值，则忽略该组。在一些实施例中，如果组具有测量值的集合(例如，在彼此之间进行门控的测量值)但不具有门控轨道，则创建新的因子并将该新的因子与测量值的集合相关联。在一些实施例中，如果组具有测量值和门控轨道这两者，则由于轨道可以存在于不同的因子中，因此进行进一步的分区以确定应如何进行更新。
在一些实施例中，组包括具有相应轨道状态假设的因子的集合，其中该因子的集合包括第一先前因子和第二先前因子。在一些这样的实施例中，确定该组包括：确定为第一先前因子的第一集合的先前轨道状态假设中的至少一个轨道状态假设包括组轨道的集合中的至少一个轨道；以及确定为第二先前因子的第二集合的先前轨道状态假设中的至少一个轨道状态假设包括组轨道的集合中的至少一个轨道。例如，在一些实施例中，如果测量值-轨道组中所包含的任何轨道存在于因子的任何假设中，则测量值-轨道组用因子进行门控。在一些实施例中，如果组包含因子但不包含门控测量组，则忽略该组；否则，系统如下考虑是否应进行合并和拆分。如果组包含测量组但不包含门控因子，则创建新因子并将该新因子与测量值相关联。如果该组包含测量组和因子，则：(a)如果存在仅一个因子，则不进行合并；(b)如果存在多于一个的因子，则合并这些因子。
在一些实施例中，系统对遥远历史进行边缘化。例如，在一些实施例中，系统通过将第二轨道状态假设的权重和第三轨道状态假设的权重组合来确定第一集合的先前轨道状态假设中的第一轨道状态假设的权重。在一些实施例中，系统根据确定为在紧挨测量值的当前帧之前的测量值的预定数量的帧上的测量值的各帧处、第二轨道状态假设的历史和第三轨道状态假设的历史是相同的，通过将第二轨道状态假设的权重与第三轨道状态假设的权重组合，来确定第一轨道状态假设的权重。在一些实施例中，对于各假设，假设的谱系可被追溯到假设树的根部(例如，图15A-15B)。在一些实施例中，如果谱系被截断到长度L，则两个假设可以具有包含长度L的相同谱系的谱系。在这种情况下，系统忽略较早的历史并将这两个假设视为相同，并且保持仅一个假设(并删除另一个假设)。将要删除的假设的权重被添加到所保持的假设的权重。
在框1710中，系统创建包括与合并集合的现有轨道相关联的合并集合的轨道状态假设的合并因子，该合并集合的现有轨道包括第一集合的现有轨道和第二集合的现有轨道的(例如，合并集合的现有轨道由第一集合的现有轨道和第二集合的现有轨道构成)。在一些实施例中，系统通过计算第一集合的先前轨道状态假设和第二集合的先前轨道状态假设的叉积来创建合并因子。
在一些实施例中，基于裁切(trimming)标准来裁切合并集合的轨道状态假设，例如，以减轻计算负担。例如，裁切第一集合的先前轨道状态假设和第二集合的先前轨道状态假设的叉积以仅保持前K个假设。
在一些实施例中，创建合并集合的轨道状态假设包括：使用K-最短路径算法来从更大集合的轨道状态假设中选择合并集合的轨道状态假设。例如，在给定一组因子的情况下，系统列举这些因子中所包括的假设的“前K个”加权叉积，并且通过串联分量轨道并乘以分量权重来针对各乘积创建一个新假设。在一些实施例中，其余假设的权重被重新归一化。在一些实施例中，在截断之后，系统收集其余假设中所涉及的所有轨道ID和所有门控轨道ID，并且如果该组的差不为空，则系统确定是否进行拆分。
在框1712中，系统确定第一新因子和第二新因子(例如，合并因子被拆分成两个或更多个新因子)。在一些实施例中，系统根据确定为合并因子满足拆分条件来确定第一新因子和第二新因子。在一些实施例中，拆分条件基于组测量值的集合(例如，满足门控标准的测量值的集合)、第一集合的现有轨道(例如，与第一先前因子相关联的轨道)和第二集合的现有轨道(例如，与第二先前因子相关联的轨道)。
在一些实施例中，第一新因子与组测量值的第一子集和合并集合的现有轨道的第一子集相关联。在一些实施例中，合并集合的现有轨道的第一子集包括来自第一先前因子的第一集合的现有轨道中的至少一个轨道和来自第二先前因子的第二集合的现有轨道中的至少一个轨道。在一些实施例中，第一新因子包括第三集合的先前轨道状态假设，该第三集合的先前轨道状态假设包括来自第一先前因子的第一集合的先前轨道状态假设中的至少一个假设和来自第二先前因子的第二集合的先前轨道状态假设中的至少一个假设。
在一些实施例中，第二新因子与组测量值的第二子集和合并集合的现有轨道的第二子集相关联。在一些实施例中，合并集合的现有轨道的第二子集包括来自第一先前因子的第一集合的现有轨道中的至少一个轨道和来自第二先前因子的第二集合的现有轨道中的至少一个轨道。在一些实施例中，第二新因子包括第四集合的先前轨道状态假设，该第四集合的先前轨道状态假设包括来自第一先前因子的第一集合的先前轨道状态假设中的至少一个假设和来自第二先前因子的第二集合的先前轨道状态假设中的至少一个假设。
在一些实施例中，第一子集的组测量值和第二子集的组测量值是互斥的。在一些实施例中，合并集合的现有轨道的第一子集和现有轨道的集合的第二子集是互斥的。
在一些实施例中，确定第一新因子和第二新因子是根据以下来进行的：确定为合并集合的轨道状态假设(例如，联合概率)的权重与第一集合的先前轨道状态假设的权重和第二集合的先前轨道状态假设的权重的相应乘积(例如，边缘假设的乘积)之间的差小于或等于预定阈值。例如，当对象彼此相对远离时，与对象相关联的轨道的总分布可以用边缘概率的乘积来近似，其中乘积运算是通过从各边缘假设中列举假设的组合来执行的。原始分布和重建分布之间的权重差的向量范数可被用作近似的质量的指标。
在一些实施例中，在系统确定第一新因子和第二新因子之后，系统单独更新各新因子中的假设，例如，仿佛这些假设在统计上是独立的那样。在框1714中，系统基于第一子集的组测量值来针对第一新因子计算第一集合的新轨道状态假设(例如，系统基于与第一新因子相关联的新测量值来更新先前假设；针对这些假设计算新权重和/或估计轨道状态)。在框1716中，系统基于第二子集的组测量值来针对第二新因子计算第二集合的新轨道状态假设(例如，基于与第二新因子相关联的新测量值来更新先前假设；针对这些假设计算新权重和/或估计轨道状态)。
在一些实施例中，使用δ-广义标签多伯努利滤波器来计算第一集合的新轨道状态假设和第二集合的新轨道状态假设。在一些实施例中，δ-广义标签多伯努利滤波器列举排名最高的假设，并且根据要保持在存储器中的假设的总数来设置计算预算。
在先前描述中，已经参考许多具体细节描述了本发明的实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以授权权利要求的具体形式从本申请授权的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (17)

1.一种用于基于传感器所接收到的信号来跟踪对象的方法，所述方法包括：
将传出信号发送到环境中；
接收返回信号，其中所述返回信号包括所述传出信号的来自环境中的对象的反射；
基于所接收到的返回信号来确定所检测到的测量值的集合，所检测到的测量值对应于环境中的对象的相应检测；
确定如下的组，所述组包括来自所述所检测到的测量值的集合的组测量值的集合、以及与所述组测量值的集合相关联的组轨道的集合，其中所述组轨道的集合包括：
与第一先前因子相关联的第一轨道，所述第一先前因子包括第一集合的先前轨道状态假设，所述第一集合的先前轨道状态假设与包括所述第一轨道的第一集合的现有轨道相关联；以及
与第二先前因子相关联的第二轨道，所述第二先前因子包括第二集合的先前轨道状态假设，所述第二集合的先前轨道状态假设与包括所述第二轨道的第二集合的现有轨道相关联；
通过计算所述第一集合的先前轨道状态假设和所述第二集合的先前轨道状态假设的叉积来创建合并因子，所述合并因子包括与合并集合的现有轨道相关联的合并集合的轨道状态假设，所述合并集合的现有轨道包含所述第一集合的现有轨道和所述第二集合的现有轨道；
根据确定为所述合并因子满足拆分条件，来确定第一新因子和第二新因子，其中：
所述第一新因子与所述组测量值的第一子集和所述合并集合的现有轨道的第一子集相关联；
所述第二新因子与所述组测量值的第二子集和所述合并集合的现有轨道的第二子集相关联；
所述组测量值的第一子集和所述组测量值的第二子集是互斥的；以及
所述合并集合的现有轨道的第一子集和所述合并集合的现有轨道的第二子集是互斥的；
基于所述组测量值的第一子集来针对所述第一新因子计算第一集合的新轨道状态假设；以及
基于所述组测量值的第二子集来针对所述第二新因子计算第二集合的新轨道状态假设。
2.根据权利要求1所述的方法，其中，确定包括所述组测量值的集合和所述组轨道的集合的所述组包括：基于所述组轨道的集合中的至少一个轨道的状态来确定为所述组测量值的集合中的测量值满足门控标准。
3.根据权利要求1至2中任一项所述的方法，其中，所述组包括具有相应轨道状态假设的因子的集合，所述因子的集合包括所述第一先前因子和所述第二先前因子，以及其中确定所述组包括：
确定为所述第一先前因子的所述第一集合的先前轨道状态假设中的至少一个轨道状态假设包括所述组轨道的集合中的至少一个轨道；以及
确定为所述第二先前因子的所述第二集合的先前轨道状态假设中的至少一个轨道状态假设包括所述组轨道的集合中的至少一个轨道。
4.根据权利要求1至3中任一项所述的方法，还包括：
根据确定为在紧挨测量值的当前帧之前的测量值的预定数量的帧上的测量值的各帧处、第二轨道状态假设的历史和第三轨道状态假设的历史是相同的，通过将所述第二轨道状态假设的权重和所述第三轨道状态假设的权重组合，来确定所述第一集合的先前轨道状态假设中的第一轨道状态假设的权重。
5.根据权利要求1至4中任一项所述的方法，其中，创建所述合并集合的轨道状态假设包括：使用K-最短路径算法来从更大集合的轨道状态假设中选择所述合并集合的轨道状态假设。
6.根据权利要求1至5中任一项所述的方法，其中，确定所述第一新因子和所述第二新因子是根据以下来进行的：确定为所述合并集合的轨道状态假设的权重与所述第一集合的先前轨道状态假设的权重和所述第二集合的先前轨道状态假设的权重的相应乘积之间的差小于或等于预定阈值。
7.根据权利要求1至6中任一项所述的方法，其中，计算所述第一集合的新轨道状态假设和计算所述第二集合的新轨道状态假设是使用δ-广义标签多伯努利滤波器来进行的。
8.根据权利要求1至7中任一项所述的方法，其中，所述传出信号是RADAR、LiDAR或超声信号。
9.一种用于跟踪对象的系统，包括：
一个或多个计算机处理器；以及
存储有指令的一个或多个非暂时性存储介质，所述指令在由所述一个或多个计算机处理器执行时，使得进行包括以下的操作：
将传出信号发送到环境中；
接收返回信号，其中所述返回信号包括所述传出信号的来自环境中的对象的反射；
基于所接收到的返回信号来确定所检测到的测量值的集合，所检测到的测量值对应于环境中的对象的相应检测；
确定如下的组，所述组包括来自所述所检测到的测量值的集合的组测量值的集合、以及与所述组测量值的集合相关联的组轨道的集合，其中所述组轨道的集合包括：
与第一先前因子相关联的第一轨道，所述第一先前因子包括第一集合的先前轨道状态假设，所述第一集合的先前轨道状态假设与包括所述第一轨道的第一集合的现有轨道相关联；以及
与第二先前因子相关联的第二轨道，所述第二先前因子包括第二集合的先前轨道状态假设，所述第二集合的先前轨道状态假设与包括所述第二轨道的第二集合的现有轨道相关联；
通过计算所述第一集合的先前轨道状态假设和所述第二集合的先前轨道状态假设的叉积来创建合并因子，所述合并因子包括与合并集合的现有轨道相关联的合并集合的轨道状态假设，所述合并集合的现有轨道包含所述第一集合的现有轨道和所述第二集合的现有轨道；
根据确定为所述合并因子满足拆分条件，来确定第一新因子和第二新因子，其中：
所述第一新因子与所述组测量值的第一子集和所述合并集合的现有轨道的第一子集相关联；
所述第二新因子与所述组测量值的第二子集和所述合并集合的现有轨道的第二子集相关联；
所述组测量值的第一子集和所述组测量值的第二子集是互斥的；以及
所述合并集合的现有轨道的第一子集和所述合并集合的现有轨道的第二子集是互斥的；
基于所述组测量值的第一子集来针对所述第一新因子计算第一集合的新轨道状态假设；以及
基于所述组测量值的第二子集来针对所述第二新因子计算第二集合的新轨道状态假设。
10.根据权利要求9所述的系统，其中，确定包括所述组测量值的集合和所述组轨道的集合的所述组包括：基于所述组轨道的集合中的至少一个轨道的状态来确定为所述组测量值的集合中的测量值满足门控标准。
11.根据权利要求9至10中任一项所述的系统，其中，所述组包括具有相应轨道状态假设的因子的集合，所述因子的集合包括所述第一先前因子和所述第二先前因子，以及其中确定所述组包括：
确定为所述第一先前因子的所述第一集合的先前轨道状态假设中的至少一个轨道状态假设包括所述组轨道的集合中的至少一个轨道；以及
确定为所述第二先前因子的所述第二集合的先前轨道状态假设中的至少一个轨道状态假设包括所述组轨道的集合中的至少一个轨道。
12.根据权利要求9至11中任一项所述的系统，还包括：
根据确定为在紧挨测量值的当前帧之前的测量值的预定数量的帧上的测量值的各帧处、第二轨道状态假设的历史和第三轨道状态假设的历史是相同的，通过将所述第二轨道状态假设的权重和所述第三轨道状态假设的权重组合，来确定所述第一集合的先前轨道状态假设中的第一轨道状态假设的权重。
13.根据权利要求9至12中任一项所述的系统，其中，创建所述合并集合的轨道状态假设包括：使用K-最短路径算法来从更大集合的轨道状态假设中选择所述合并集合的轨道状态假设。
14.根据权利要求9至13中任一项所述的系统，其中，确定所述第一新因子和所述第二新因子是根据以下来进行的：确定为所述合并集合的轨道状态假设的权重与所述第一集合的先前轨道状态假设的权重和所述第二集合的先前轨道状态假设的权重的相应乘积之间的差小于或等于预定阈值。
15.根据权利要求9至14中任一项所述的系统，其中，计算所述第一集合的新轨道状态假设和计算所述第二集合的新轨道状态假设是使用δ-广义标签多伯努利滤波器来进行的。
16.根据权利要求9至15中任一项所述的系统，其中，所述传出信号是RADAR、LiDAR或超声信号。
17.一种存储有指令的非暂时性存储介质，所述指令在由一个或多个计算装置执行时，使得进行根据权利要求1至8中任一项所述的方法。
CN202010766618.4A 2019-08-02 2020-08-03 跟踪对象的方法、系统和存储介质 Withdrawn CN112394724A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962882336P 2019-08-02 2019-08-02
US62/882,336 2019-08-02

Publications (1)

Publication Number Publication Date
CN112394724A true CN112394724A (zh) 2021-02-23

Family

ID=72425114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010766618.4A Withdrawn CN112394724A (zh) 2019-08-02 2020-08-03 跟踪对象的方法、系统和存储介质

Country Status (5)

Country Link
US (2) US11555910B2 (zh)
KR (2) KR102298644B1 (zh)
CN (1) CN112394724A (zh)
DE (1) DE102020120128A1 (zh)
GB (1) GB2590103B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113295174A (zh) * 2021-07-27 2021-08-24 腾讯科技（深圳）有限公司 一种车道级定位的方法、相关装置、设备以及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11555910B2 (en) 2019-08-02 2023-01-17 Motional Ad Llc Merge-split techniques for sensor data filtering
US20220173889A1 (en) * 2020-11-30 2022-06-02 Motional Ad Llc Secure Safety-Critical System Log

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031166A1 (en) * 2003-05-29 2005-02-10 Kikuo Fujimura Visual tracking using depth data
US20100013935A1 (en) * 2006-06-14 2010-01-21 Honeywell International Inc. Multiple target tracking system incorporating merge, split and reacquisition hypotheses
US20120148102A1 (en) * 2009-08-20 2012-06-14 Nec Corporation Mobile body track identification system
US20140191899A1 (en) * 2012-06-14 2014-07-10 Catherine Pickle Systems and methods for tracking targets by a through-the-wall radar using multiple hypothesis tracking
CN103940430A (zh) * 2014-03-14 2014-07-23 杭州电子科技大学 一种状态受限移动多传感器配置及多目标跟踪方法
US20140324339A1 (en) * 2013-04-30 2014-10-30 BASELABS GmbH Method and apparatus for the tracking of multiple objects
US20140321704A1 (en) * 2013-04-30 2014-10-30 Canon Kabushiki Kaisha Method, system and apparatus for tracking objects of a scene
CN109508000A (zh) * 2018-12-16 2019-03-22 西南电子技术研究所（中国电子科技集团公司第十研究所） 异构多传感器多目标跟踪方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414643A (en) * 1993-06-14 1995-05-09 Hughes Aircraft Company Method and apparatus for continuous time representation of multiple hypothesis tracking data
JP3638854B2 (ja) * 2000-05-30 2005-04-13 三菱電機株式会社 目標追尾装置
JP3650326B2 (ja) * 2000-11-02 2005-05-18 三菱電機株式会社 追尾処理装置及び追尾処理方法
US7526102B2 (en) 2005-09-13 2009-04-28 Verificon Corporation System and method for object tracking and activity analysis
US20080130949A1 (en) 2006-11-30 2008-06-05 Ivanov Yuri A Surveillance System and Method for Tracking and Identifying Objects in Environments
CN102356398B (zh) 2009-02-02 2016-11-23 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法
US8515881B2 (en) 2011-03-11 2013-08-20 Raytheon Company Multiple hypothesis tracking
US11073608B2 (en) * 2018-10-11 2021-07-27 Raytheon Company Resolving radar angle ambiguities using a multiple hypothesis tracker
DE102020206660A1 (de) * 2019-05-30 2020-12-03 Robert Bosch Gesellschaft mit beschränkter Haftung Redundante umgebungswahrnehmungsverfolgung für automatisierte fahrsysteme
US11555910B2 (en) 2019-08-02 2023-01-17 Motional Ad Llc Merge-split techniques for sensor data filtering

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031166A1 (en) * 2003-05-29 2005-02-10 Kikuo Fujimura Visual tracking using depth data
US20100013935A1 (en) * 2006-06-14 2010-01-21 Honeywell International Inc. Multiple target tracking system incorporating merge, split and reacquisition hypotheses
US20120148102A1 (en) * 2009-08-20 2012-06-14 Nec Corporation Mobile body track identification system
US20140191899A1 (en) * 2012-06-14 2014-07-10 Catherine Pickle Systems and methods for tracking targets by a through-the-wall radar using multiple hypothesis tracking
US20140324339A1 (en) * 2013-04-30 2014-10-30 BASELABS GmbH Method and apparatus for the tracking of multiple objects
US20140321704A1 (en) * 2013-04-30 2014-10-30 Canon Kabushiki Kaisha Method, system and apparatus for tracking objects of a scene
CN103940430A (zh) * 2014-03-14 2014-07-23 杭州电子科技大学 一种状态受限移动多传感器配置及多目标跟踪方法
CN109508000A (zh) * 2018-12-16 2019-03-22 西南电子技术研究所（中国电子科技集团公司第十研究所） 异构多传感器多目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Z. KHAN 等: "Multitarget tracking with split and merged measurements", 《IEEE》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113295174A (zh) * 2021-07-27 2021-08-24 腾讯科技（深圳）有限公司 一种车道级定位的方法、相关装置、设备以及存储介质

Also Published As

Publication number Publication date
GB2590103A (en) 2021-06-23
KR20210112276A (ko) 2021-09-14
GB202011932D0 (en) 2020-09-16
US12092727B2 (en) 2024-09-17
KR102298644B1 (ko) 2021-09-07
KR20210016309A (ko) 2021-02-15
US11555910B2 (en) 2023-01-17
DE102020120128A1 (de) 2021-02-04
GB2590103B (en) 2023-08-30
US20210033720A1 (en) 2021-02-04
US20230333237A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
KR102537412B1 (ko) Radar를 사용한 확장 대상체 추적
CN113012187B (zh) 用于运载工具的方法和前景提取系统以及存储介质
CN112801124B (zh) 用于运载工具的方法和系统
CN111190418A (zh) 使用多维包络调整运载工具的横向间隙
KR20210112293A (ko) 주석 달기를 위한 데이터 샘플의 자동 선택
CN113654564A (zh) 用于运载工具的方法
CN113126612A (zh) 支持自主运载工具导航的对象跟踪
WO2020146447A1 (en) Field theory based perception for autonomous vehicles
US12092727B2 (en) Merge-split techniques for sensor data filtering
US11887324B2 (en) Cross-modality active learning for object detection
US12030485B2 (en) Vehicle operation using maneuver generation
CN112014859A (zh) 估计速率分布
CN115079687A (zh) 用于自主运载工具的系统、方法和存储介质
CN113048995A (zh) 支持自主运载工具导航的长期对象跟踪
CN115220439A (zh) 用于运载工具的系统和方法以及存储介质
US11946749B2 (en) Driving data guided spatial planning
CN113056715B (zh) 用于操作运载工具的方法、运载工具和存储介质
CN115201854A (zh) 用于运载工具的方法、运载工具和存储介质
KR102719202B1 (ko) 기동 생성을 사용한 차량 작동
KR20230082520A (ko) 운전가능한 도로 세그먼트들의 자동 주석 달기
KR20220118292A (ko) 가변 시간 기간을 사용한 자율 주행 차량의 제어

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210223

WW01 Invention patent application withdrawn after publication