CN116465415A - 基于不确定度生成融合对象边界框 - Google Patents

基于不确定度生成融合对象边界框 Download PDF

Info

Publication number
CN116465415A
CN116465415A CN202211694623.4A CN202211694623A CN116465415A CN 116465415 A CN116465415 A CN 116465415A CN 202211694623 A CN202211694623 A CN 202211694623A CN 116465415 A CN116465415 A CN 116465415A
Authority
CN
China
Prior art keywords
bounding box
parameter
fused
difference
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211694623.4A
Other languages
English (en)
Inventor
贾斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Technology Co ltd
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/804,074 external-priority patent/US20230230255A1/en
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN116465415A publication Critical patent/CN116465415A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本文档描述了用于基于不确定度生成融合对象边界框的技术和系统。生成至少两个边界框，每个边界框与不同的传感器相关联。通过混合来自每个边界框的参数分布，可以找到融合的中心点和偏航角以及长度、宽度和速度。可以使用每个边界框的中心点之间的差异来确定是细化融合边界框(例如，找到至少两个边界框之间的交集)还是合并融合边界框(例如，找到至少两个边界框之间的并集)。这导致融合边界框具有与融合边界框相关联的不确定度的置信水平。以这种方式，可以实现融合边界框的不确定度的更好估计，以提高传感器融合系统的跟踪性能。

Description

基于不确定度生成融合对象边界框
背景技术
在一些汽车中，传感器融合系统(例如，融合跟踪器)可以组合从多个传感器获得的信息，以支持自主或半自主控制。融合的传感器数据可以用于推断传感器的视场内对象的位置、速度、轨迹、大小、类别和其他参数。传感器融合对于环境感知和轨迹是至关重要的；然而，高估或低估被融合的传感器数据的不确定度可能会导致较差的融合跟踪性能。
发明内容
本文档描述了用于基于不确定度生成融合对象边界框的技术和系统。生成至少两个边界框，每个边界框与不同的传感器相关联。通过混合来自每个边界框的参数分布，可以找到融合的中心点和偏航角以及长度、宽度和速度。可以在每个边界框的中心点之间找到差异，并使用该差异来确定是细化融合边界框(例如，找到至少两个边界框之间的交集)还是合并融合边界框(例如，找到至少两个边界框之间的并集)。这导致融合边界框具有与融合边界框相关联的不确定度的置信水平。以这种方式，可以实现融合边界框的不确定度的更好估计，以提高传感器融合系统的跟踪性能。
下面描述的各方面包括基于不确定度生成融合边界框。在一个示例中，方法包括基于来自第一传感器的第一传感器数据，获得第一传感器的视场中的对象的第一边界框。方法还包括基于来自第二传感器的第二传感器数据，获得第二传感器的视场中的对象的第二边界框。方法还包括基于第一边界框的至少一个参数和第二边界框的至少一个参数，量化与第一边界框和第二边界框相关联的不确定度。方法还包括基于经量化的不确定度，生成对象的融合边界框。方法还包括输出融合边界框，以用于跟踪对象。
可以由硬件或者硬件和在其上执行的软件的组合来执行这些和其他描述的技术。例如，计算机可读存储介质(CRM)可以具有存储在其上的指令，并且当该指令被执行时将处理器配置成用于执行所描述的技术。系统可以包括用于执行所描述技术的装置。处理器或处理器单元可以是被配置成用于执行本文所描述的方法和技术的系统的一部分。
通过由本公开构想的这些和其他示例的实现，可以通过基于不确定度生成融合对象边界框来实现对象跟踪器的稳定性。本发明内容介绍了与基于不确定度生成融合对象边界框相关的简化概念，在具体实施方式和附图中进一步描述了该简化概念。本发明内容并非旨在标识出要求保护的主题的必要特征，也并非旨在用于确定要求保护的主题的范围。
附图说明
在本文档中参考以下附图描述了基于不确定度生成融合对象边界框的一个或多个方面的细节，附图可以使用相同数字来引用类似特征和组件，以及使用连字符编号来指定这些类似特征和组件的变化。附图组织如下：
图1示出了根据本公开的技术的被配置成用于基于不确定度生成融合对象边界框的交通工具的示例操作环境；
图2示出了根据本公开的技术的用于基于不确定度生成融合对象边界框的汽车系统的示例；
图3示出了根据本公开的技术的基于不确定度生成融合对象边界框的一般示例；
图4示出了根据本公开的技术的用于基于不确定度生成融合对象边界框的示例数据流；
图5示出了根据本公开的技术的与基于不确定度生成融合对象边界框相关联的融合类型；以及
图6示出了根据本公开的技术的用于基于不确定度生成融合对象边界框的示例方法。
具体实施方式
概述
汽车技术正在成功地提高自主性和安全性。实现这一目标的一种方法包括为交通工具配备许多不同类型的传感器，包括光学相机、雷达系统和光检测和测距(LiDAR)系统。传感器收集由传感器融合系统处理的数据，以生成跟踪或边界框，表示交通工具周围环境中的不同对象。这些对象可以是动态的或静止的，并且可以包括行人、动物、其他交通工具、植被、建筑物、路标、以及环境中可能存在的许多其他元素。
可以融合与不同传感器相关联的边界框，以生成融合边界框。融合边界框可以利用不同类型传感器的优势，并将劣势最小化。然而，当前用于融合边界框的方法有一些缺点。融合过程可能没有考虑传感器数据的不确定度。也就是说，在任何给定的数据帧中，来自一个传感器的数据可能比来自另一个传感器的数据更准确。这可能导致融合边界框仅部分地包围对象，或者融合边界框可能变得不稳定。这种不稳定性表现为融合边界框抖动，或围绕对象“跳跃”。
相比之下，下面所公开的技术描述了基于不确定度生成融合边界框。多个基于传感器的边界框可以用作输入。可以将这些边界框的参数(包括中心点、偏航角、长度和宽度)进行相互比较。该比较还可以包括每个被比较的边界框的可调参数。这些可调参数可以从专家意见、大型测试数据集的分析(例如，统计分析、基于机器学习的分析)或通过其他方法导出。多个边界框的比较导致计算被比较的边界框之间的差异。基于差异的大小，可以使用精细融合技术或合并融合技术来融合基于传感器的边界框。精细融合技术基于基于传感器的边界框的参数的正态分布和/或平均值的交集来融合基于传感器的边界框。合并融合技术将基于传感器的边界框的融合基于每个相应的基于传感器的边界框的正态分布的并集。
基于包括基于传感器的边界框的平均值和协方差的统计分布生成的融合边界框可以降低不稳定性并提高准确性。通过以这种方式融合边界框，可以考虑与每个边界框相关的不确定度，以提供对象位置的保守估计，这可以导致安全且可靠的跟踪系统。
示例环境
图1示出了根据本公开的技术的被配置成用于基于不确定度生成融合对象边界框的交通工具102的示例操作环境100。在所描绘的环境100中，传感器融合系统104被安装到交通工具102或被集成在交通工具102内。尽管示出为轿车，但是交通工具102可以表示包括可以用于各种目的的有人系统或无人系统的其他类型的交通工具和机械(例如，摩托车、公共汽车、牵引车、半挂车卡车、水运工具、飞行器或者其他重型设备)。
传感器融合系统104可以包括一个或多个传感器接口106-1至106-n(统称为“传感器接口106”)、边界框生成器108、边界框融合模块110和对象跟踪器模块112。在其他示例中，可以使用与图1中所示的不同的组件的布置或数量来执行与雷达系统204相关联的操作。
传感器接口106-1至106-n可以包括相机接口106-1、雷达接口106-2和一个或多个其他传感器接口106-n。传感器接口106中的每一者向传感器融合系统104提供特定类型的传感器数据。例如，相机接口106-1获得由一个或多个相机传感器生成的视觉数据，雷达接口106-2从与雷达接口106-2通信的一组雷达传感器获得雷达数据。视觉数据和雷达数据与装备在交通工具102上的传感器的相应视场(FOV)116内的对象(例如，对象114)相对应。
通常，制造商可以将传感器和传感器融合系统104安装到可以在环境100中行驶的任何移动平台。传感器可以从交通工具102的任何外表面投射它们相应的FOV。例如，交通工具制造商可以将传感器融合系统104的至少一部分(例如，传感器)集成到侧视镜、保险杠、车顶、或任何其他内部位置或外部位置，其中FOV 116包括环境100的一部分以及环境100中移动或静止的对象。制造商可以设计传感器的位置，以提供充分包围交通工具102可能行驶于其中的环境100的部分的特定FOV。在所描绘的环境100中，传感器融合系统104的一部分安装在交通工具102的前保险杠部分附近。
边界框生成器108可以接收与对象114相关联的视觉数据和雷达数据，并生成视觉边界框118和雷达边界框120。在其他方面中，视觉边界框118和雷达边界框120可以在被传感器融合系统104接收之前生成(例如，每个传感器系统可以包括相应的边界框生成器)。边界框融合模块110可以接收视觉边界框118和雷达边界框120，并将它们融合，以生成融合边界框122。融合边界框122可以被输出到对象跟踪器模块112，以跟踪FOV 116中的对象(例如，对象114)。
融合边界框122包括与视觉边界框118和雷达边界框120相关联的不确定度。由于融合边界框122包括相应传感器数据中固有的不确定度，因此融合边界框122表示在任何给定数据帧中对象114的位置的更保守估计。通过在融合边界框122中包括被量化的不确定度，融合边界框122可以更稳定(例如，更少的对象位置跳跃)，并且可以导致对象跟踪器模块112的更好的跟踪性能。
示例系统
图2示出了根据本公开的技术的用于基于不确定度生成融合对象边界框的汽车系统200的示例。汽车系统200可以集成在交通工具102内。例如，汽车系统200包括控制器202和传感器融合系统104-1。传感器融合系统104-1是传感器融合系统104的一个示例，并且可以集成到汽车环境或其他交通工具环境中。传感器融合系统104-1和控制器202通过链路212来进行通信。链路212可以是有线或无线的链路，并且在某些情况下包括通信总线。控制器202基于通过链路212接收到的信息(诸如当FOV 116中的对象通过处理和融合与对象相关联的传感器数据而被标识出时从传感器融合系统104输出的数据)来执行操作。
控制器202包括处理器204-1和计算机可读存储介质(CRM)206-1(例如，存储器、长期存储、短期存储)，CRM 206-1存储用于汽车模块208的指令。传感器融合系统104-1包括相机接口106-1和雷达接口106-2。传感器融合系统104-1还可以包括其他传感器接口。传感器融合系统104-1可以包括处理硬件，处理硬件包括处理器204-2和计算机可读存储介质(CRM)206-2，计算机可读存储介质(CRM)206-2存储与边界框生成器108-1、边界框融合模块110-1和对象跟踪器模块112-1相关联的指令。
作为边界框生成器108的示例的边界框生成器108-1包括视觉边界框模块210-1和雷达边界框生成器210-2。边界框生成器108-1从相机接口106-1接收与相机的FOV中的对象相关的相机数据，并生成该对象的视觉边界框。同样，边界框生成器108-1从雷达接口106-2接收与对象相关的雷达数据，并生成对象的雷达边界框。在一些情况下，视觉边界框和雷达边界框的参数(例如，中心点、偏航角、长度、宽度)具有相似的值。也就是说，与每个相应边界框相关联的不确定度相对较小，因为边界框的相应参数值之间的差异也较小。在其他情况下，相应参数值可能具有较大的差异(例如，差)。这种较大的差异导致与一个或两个边界框相关的更多不确定度。此外，差异在一个数据帧中可能相对较小，而在另一个数据帧中可能相对较大。这些边界框可以单独地用于定位和跟踪对象，或者它们可以被输出到边界框融合模块110-1，以供进一步处理。
作为边界框融合模块110的示例的边界框融合模块110-1包括融合类型子模块214-1和融合协方差子模块214-2。融合类型子模块214-1接收视觉边界框和雷达边界框，并确定两个边界框的参数之间的差异。差异量确定融合类型是交集融合(例如，低不确定度情况)或并集融合(例如，高不确定度情况)。例如，如果差异低于阈值，则融合类型为交集融合。否则，融合类型为并集融合。一旦确定了融合类型，融合协方差子模块确定融合边界框的协方差并生成融合边界框。可以对从多个不同传感器数据导出的任意数量的边界框执行这些过程。对象跟踪器模块112-1可以使用融合边界框来跟踪环境中的对象。通过将融合边界框基于单独边界框的不确定度，融合边界可以更稳定且对噪声更稳健，并且可以提高跟踪性能。
示例实现
图3示出了根据本公开的技术的基于不确定度生成融合对象边界框的一般示例300。传感器融合系统(未示出)可以从与对象302相关的两个或更多个传感器接收传感器数据，并基于传感器数据生成边界框304。在该示例中，为生成对象302生成雷达边界框304-1和视觉边界框304-2。雷达边界框304-1和传感器边界框304-2分别包括中心点306-1和中心点306-2。
基于雷达边界框304-1和传感器边界框304-2的中心点306以及诸如边界框304的偏航角、长度和/或宽度等其他参数，传感器融合系统可以生成具有对象302的中心点310的融合边界框308。融合边界框308可以是对象302的位置、方向和边界的近似。因为融合边界框308是从各自具有一定量的不确定度的两个或更多个单独的边界框生成的，所以在许多当前的融合系统中，融合边界框308可能变得不稳定，并且围绕对象302逐帧抖动。然而，如本文所描述的，基于不确定度生成融合边界框308考虑了包括传感器数据中的噪声的不确定度，并且可以导致更稳健的跟踪系统和更好的跟踪性能。
图4示出了根据本公开的技术的用于基于不确定度生成融合对象边界框的示例数据流400。输入402包括两个基于传感器的边界框，雷达边界框404和视觉边界框406。在一些方面中，输入402可以替代地或附加地包括从任何其他传感器数据(例如，LiDAR数据、超声数据、红外数据)导出的单独或与雷达边界框404和/或视觉边界框406组合的边界框。
边界框融合模块408接收雷达边界框404和视觉边界框406，并执行融合类型确定410。融合类型确定410通过计算雷达边界框404和视觉边界框406之间的某些参数(例如，中心点、偏航角、长度、宽度)的差异来确定雷达边界框404和视觉边界框406中固有的不确定度有多少。例如，不确定度可以表示为正态分布
p(x,y,θ,l,h,vx,vy)＝N(x,y,θ,l,h,vx,vy) 等式1
其中x和y是中心值的坐标，vx和vy分别是边界框在x轴和y轴上的速度，θ是偏航角，l是长度，h是边界框的宽度。在一些方面中，不确定度可以包括底层传感器的准确性、外部条件(诸如天气)或其他因素。基于差异是小于阈值还是大于(例如，大于或等于)阈值来选择精细融合类型或合并融合类型。小于阈值的较小差异意味着输入402中的不确定度较小。大于或等于阈值的较大差异意味着输入402中的不确定度较大。
一旦确定了融合类型，就执行融合协方差确定412。对于精细融合类型，参数的平均值或参数的正态分布的平均值被用于确定雷达边界框404和视觉边界框406的交集。对于合并融合类型，确定参数的并集或参数的正态分布的并集。
基于融合协方差确定412，生成包括融合边界框416的输出414。融合边界框416可以是相关对象位置的更保守估计，因此是导致比其他边界框融合技术更稳定的跟踪性能的更安全的估计。
图5示出了根据本公开的技术的与基于不确定度生成融合对象边界框相关联的融合类型。为了从基于传感器的边界框(例如，雷达边界框504和视觉边界框506)生成融合边界框502，可以计算每个相应边界框的不确定度。通常，简化的边界框不确定度可以由正态分布表示。
p(x,y,θ)＝N(x,y,θ) 等式2
其中x是沿x轴的中心点值，y是沿y轴的中心点值，θ是偏航角。图5中的虚线椭圆表示雷达边界框正态分布508和视觉边界框正态分布510。也可以评估其他参数，诸如边界框的长度、宽度和速度。融合偏航角可以通过组合雷达边界框504和视觉边界框506的分布来描述
p(θ)＝prN(θr)+pvN(θv) 等式3
其中N(θr)是雷达边界框504的正态分布，N(θv)是视觉边界框506的正态分布。pr和pv分别是雷达边界框504和视觉边界框506的系数。类似地，中心点按二维正态分布分布。融合中心点可以由组合分布来描述。
p(x,y)＝prN(xr,tr)+pvN(xv,yv) 等式4
其中(xr,yr)和(xv,yv)分别是雷达边界框504和视觉边界框506的中心点坐标。
融合类型取决于雷达边界框504和视觉边界框506之间的差异。差异度量可以被描述为雷达边界框504和视觉边界框506的中心点(和/或其他参数)之间的距离
d＝α((xr-xv)2+(xr-xv)2)+β((hr-hv)2+(lr-lv)2)+γ((vx,r-vx,v)2+(vy,r-vy,v)2)
等式5其中α，β和γ是可以通过不同方法(诸如分析大型测试数据集)确定的可调参数。vx,r和vx,v分别是由雷达和视觉给出的边界框的x轴速度。vy,r和vy,v分别是由雷达和视觉给出的边界框的y轴速度。边界框的长度和宽度由l和h表示。
基于差异d的值选择两种融合类型，精细融合和合并融合。如果差异的值大于或等于阈值，则使用合并融合类型来融合边界框。合并融合类型使用参数的正态分布，通常可以描述为
p(x)＝prN(xr)+pvN(xv) 等式6
其中xr和xv分别表示雷达边界框504和视觉边界框506的特定参数。平均值如下所示
E(x)＝μx＝prxr+pvxv 等式7
然后，协方差矩阵可以通过以下等式获得
Var(x)＝prCr+pvCv+pr(xr-μx)(xr-μx)T+pv(xv-μx)(xv-μx)T
等式8
其中Cr和Cv分别表示雷达边界框504和视觉边界框506的协方差。这表示雷达边界框504-1和视觉边界框506-1的高斯混合512或协方差并集的近似。
如果差异小于阈值，则执行精细融合类型。为了细化不确定度，雷达边界框504-2和视觉边界框506-2之间的协方差交集514计算如下
其中ω是指派的权重。由于权重是针对平均估计给出的，
并且
因此方差融合的权重可以获得为
使用等式6至13，可以类似地更新边界框描述的其他变量，诸如y、vx、vy、l、h和θ。
以此方式，可以考虑边界框的不确定度，从而导致更安全和更准确的跟踪器。
示例方法
图6示出了根据本公开的技术的用于基于不确定度生成融合对象边界框的示例方法600。在步骤602处，基于来自第一传感器的第一传感器数据获得第一边界框，在步骤604处，基于来自第二传感器的第二传感器数据获得第二边界框。贯穿本文档，第一层传感器被描述为雷达传感器，第二传感器被描述为相机传感器。然而，可以使用用于检测和跟踪对象的任何传感器。
在步骤606处，量化与第一边界框和第二边界框相关联的不确定度。该不确定度可以是第一边界框和第二边界框的相对应参数之间的差异。例如，差异可以是第一边界框和第二边界框的中心点之间的距离。
在步骤608处，基于不确定度生成对象的融合边界框。融合边界框的生成可以是两种类型中的一种，精细融合或合并融合。精细融合类型找到第一边界框和第二边界框之间的交集，并在差异较小时使用。合并融合类型计算第一边界框和第二边界框的参数的正态分布之间的并集。合并融合类型在差异较大时使用。考虑到这种较大的差异，可以生成较大的融合边界框来补偿较大的不确定度。
在步骤610处，将融合边界框输出到对象跟踪器，以用于跟踪对象。使用本文所描述的方法生成的融合边界框可以减少对象周围融合边界框的抖动或“跳跃”。通过考虑不确定度，对象跟踪器可以更好地执行，并提高安全性。
附加示例
示例1：一种方法，方法包括：基于来自第一传感器的第一传感器数据，获得第一传感器的视场中的对象的第一边界框；基于来自第二传感器的第二传感器数据，获得第二传感器的视场中的对象的第二边界框；基于第一边界框的至少一个参数和第二边界框的至少一个参数，量化与第一边界框和第二边界框相关联的不确定度；基于经量化的不确定度，生成对象的融合边界框；以及将融合边界框输出到对象跟踪器，以用于跟踪对象。
示例2：示例1的方法，其中第一边界框的至少一个参数和第二边界框的至少一个参数包括以下各项中的至少一项：相应边界框的中心点；与相应边界框相关联的偏航角；边界框的长度；边界框的宽度；边界框的x轴速度；或者边界框的y轴速度。
示例3：前述权利要求中任一项的方法，其中量化不确定度包括：确定第一边界框的至少一个参数和相对应的第二边界框的至少一个参数之间的差异。
示例4：前述权利要求中任一项的方法，其中确定差异包括：确定第一边界框的中心点和第二边界框的中心点之间的距离；确定第一边界框的长度和第二边界框的长度之间的差；确定第一边界框的宽度和第二边界框的宽度之间的差；确定第一边界框的x轴速度和第二边界框的x轴速度之间的差；以及确定第一边界框的y轴速度和第二边界框的y轴速度之间的差。
示例5：前述权利要求中任一项的方法，其中量化不确定度还包括：确定与第一边界框的至少一个参数和相对应的第二边界框的至少一个参数相关联的组合分布。
示例6：前述权利要求中任一项的方法，其中生成融合边界框包括：将差异与阈值进行比较；响应于差异低于阈值，基于组合分布确定第一边界框和第二边界框的交集；以及基于交集生成融合边界框。
示例7：前述权利要求中任一项的方法，其中确定交集包括：基于组合分布，确定第一边界框的至少一个参数和相对应的第二边界框的至少一个参数中的每个参数的权重。
示例8：前述权利要求中任一项的方法，其中交集是协方差交集。
示例9：前述权利要求中任一项的方法，其中生成融合边界框包括：将差异与阈值进行比较；响应于差异高于或等于阈值，基于组合分布确定第一边界框和第二边界框的并集；以及基于并集生成融合边界框。
示例10：前述权利要求中任一项的方法，其中确定并集包括：基于第一边界框的至少一个参数和相对应的第二边界框的至少一个参数的平均值，计算表示并集的近似的协方差矩阵。
示例11：前述权利要求中任一项的方法，其中并集的近似是高斯混合。
示例12：一种系统，系统包括：至少一个处理器，至少一个处理器被配置成用于：基于来自第一传感器的第一传感器数据，获得第一传感器的视场中的对象的第一边界框；基于来自第二传感器的第二传感器数据，获得第二传感器的视场中的对象的第二边界框；基于第一边界框的至少一个参数和第二边界框的至少一个参数，量化与第一边界框和第二边界框相关联的不确定度；基于经量化的不确定度，生成对象的融合边界框；以及将融合边界框输出到对象跟踪器，以用于跟踪对象。
示例13：前述权利要求中任一项的系统，其中第一边界框的至少一个参数和第二边界框的至少一个参数包括以下各项中的至少一项：相应边界框的中心点；与相应边界框相关联的偏航角；边界框的长度；边界框的宽度；边界框的x轴速度；或者边界框的y轴速度。
示例14：前述权利要求中任一项的系统，其中至少一个处理器被配置成用于至少通过以下方式来量化不确定度：确定第一边界框的至少一个参数和相对应的第二边界框的至少一个参数之间的差异。
示例15：前述权利要求中任一项的系统，其中至少一个处理器被配置成用于至少通过以下方式来确定差异：确定第一边界框的中心点和第二边界框的中心点之间的距离；确定第一边界框的长度和第二边界框的长度之间的差；以及确定第一边界框的宽度和第二边界框的宽度之间的差。
示例16：前述权利要求中任一项的系统，其中至少一个处理器被配置成用于至少通过以下方式来生成融合边界框：将差异与阈值进行比较；响应于差异低于阈值，基于第一边界框的至少一个参数和相对应的第二边界框的至少一个参数的组合分布，确定第一边界框和第二边界框之间的交集；以及基于交集生成融合边界框。
示例17：前述权利要求中任一项的系统，其中至少一个处理器被配置成用于至少通过以下方式来确定交集：基于组合分布，确定第一边界框的至少一个参数和相对应的第二边界框的至少一个参数中的每个参数的权重。
示例18：前述权利要求中任一项的系统，其中至少一个处理器被配置成用于至少通过以下方式来生成融合边界框：将差异与阈值进行比较；响应于差异高于或等于阈值，基于第一边界框的至少一个参数和相对应的第二边界框的至少一个参数的组合分布，确定第一边界框和第二边界框之间的并集；以及基于并集生成融合边界框。
示例19：前述权利要求中任一项的系统，其中至少一个处理器被配置成用于至少通过以下方式来确定并集：基于第一边界框的至少一个参数和相对应的第二边界框的至少一个参数的平均值，计算表示并集的近似的协方差矩阵。
示例20：一种计算机可读存储介质，计算机可读存储介质包括指令，指令在被执行时将处理器配置成用于：基于来自第一传感器的第一传感器数据，获得第一传感器的视场中的对象的第一边界框；基于来自第二传感器的第二传感器数据，获得第二传感器的视场中的对象的第二边界框；基于第一边界框的至少一个参数和第二边界框的至少一个参数，量化与第一边界框和第二边界框相关联的不确定度；基于经量化的不确定度，生成对象的融合边界框；以及将融合边界框输出到对象跟踪器，以用于跟踪对象。
结语
虽然在前述描述中描述并且在附图中示出了本公开的各种实施例，但应当理解，本公开不限于此，而是可以在接下来的权利要求的范围内以各种方式实施为实践。根据前述描述，将显而易见的是，可以做出各种更改而不偏离由接下来的权利要求所限定的本公开内容的精神和范围。与跟踪性能相关联的问题可能发生在其他系统中。因此，尽管描述为改善自主或半自主交通工具的跟踪性能的方法，但是前述说明书的技术可以应用于将从改善的对象的跟踪性能受益的其他系统。此外，这些技术还可以应用于使用各种传感器来检测和跟踪对象的其他系统。
除非上下文另有明确规定，否则“或”和语法上相关的术语的使用表示无限制的非排他性替代方案。如本文所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多个相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。

Claims (20)

1.一种方法，所述方法包括：
基于来自第一传感器的第一传感器数据，获得所述第一传感器的视场中的对象的第一边界框；
基于来自第二传感器的第二传感器数据，获得所述第二传感器的视场中的所述对象的第二边界框；
基于所述第一边界框的至少一个参数和所述第二边界框的至少一个参数，量化与所述第一边界框和所述第二边界框相关联的不确定度；
基于所述经量化的不确定度，生成所述对象的融合边界框；以及
将所述融合边界框输出到对象跟踪器，以用于跟踪所述对象。
2.如权利要求1所述的方法，其特征在于，所述第一边界框的至少一个参数和所述第二边界框的至少一个参数包括以下各项中的至少一项：
相应边界框的中心点；
与所述相应边界框相关联的偏航角；
所述边界框的长度；
所述边界框的宽度；
所述边界框的x轴速度；或者
所述边界框的y轴速度。
3.如权利要求1所述的方法，其特征在于，量化所述不确定度包括：
确定所述第一边界框的至少一个参数和相对应的所述第二边界框的至少一个参数之间的差异。
4.如权利要求3所述的方法，其特征在于，确定所述差异包括：
确定所述第一边界框的中心点和所述第二边界框的中心点之间的距离；
确定所述第一边界框的长度和所述第二边界框的长度之间的差；
确定所述第一边界框的宽度和所述第二边界框的宽度之间的差；
确定所述第一边界框的x轴速度和所述第二边界框的x轴速度之间的差；以及
确定所述第一边界框的y轴速度和所述第二边界框的y轴速度之间的差。
5.如权利要求3所述的方法，其特征在于，量化所述不确定度还包括：
确定与所述第一边界框的至少一个参数和相对应的所述第二边界框的至少一个参数相关联的组合分布。
6.如权利要求5所述的方法，其特征在于，生成所述融合边界框包括：
将所述差异与阈值进行比较；
响应于所述差异低于所述阈值，基于所述组合分布确定所述第一边界框和所述第二边界框的交集；以及
基于所述交集生成所述融合边界框。
7.如权利要求6所述的方法，其特征在于，确定所述交集包括：
基于所述组合分布，确定所述第一边界框的至少一个参数和相对应的所述第二边界框的至少一个参数中的每个参数的权重。
8.如权利要求6所述的方法，其特征在于，所述交集是协方差交集。
9.如权利要求5所述的方法，其特征在于，生成所述融合边界框包括：
将所述差异与阈值进行比较；
响应于所述差异高于或等于所述阈值，基于所述组合分布确定所述第一边界框和所述第二边界框的并集；以及
基于所述并集生成所述融合边界框。
10.如权利要求9所述的方法，其特征在于，确定所述并集包括：
基于所述第一边界框的至少一个参数和相对应的所述第二边界框的至少一个参数的平均值，计算表示所述并集的近似的协方差矩阵或协方差。
11.如权利要求10所述的方法，其特征在于，所述并集的所述近似是高斯混合。
12.一种系统，所述系统包括：
至少一个处理器，所述至少一个处理器被配置成用于：
基于来自第一传感器的第一传感器数据，获得所述第一传感器的视场中的对象的第一边界框；
基于来自第二传感器的第二传感器数据，获得所述第二传感器的视场中的所述对象的第二边界框；
基于所述第一边界框的至少一个参数和所述第二边界框的至少一个参数，量化与所述第一边界框和所述第二边界框相关联的不确定度；
基于所述经量化的不确定度，生成所述对象的融合边界框；以及
将所述融合边界框输出到对象跟踪器，以用于跟踪所述对象。
13.如权利要求12所述的系统，其特征在于，所述第一边界框的至少一个参数和所述第二边界框的至少一个参数包括以下各项中的至少一项：
相应边界框的中心点；
与所述相应边界框相关联的偏航角；
所述边界框的长度；
所述边界框的宽度；
所述边界框的x轴速度；或者
所述边界框的y轴速度。
14.如权利要求12所述的系统，其特征在于，所述至少一个处理器被配置成用于至少通过以下方式来量化所述不确定度：
确定所述第一边界框的至少一个参数和相对应的所述第二边界框的至少一个参数之间的差异。
15.如权利要求14所述的系统，其特征在于，所述至少一个处理器被配置成用于至少通过以下方式来确定所述差异：
确定所述第一边界框的中心点和所述第二边界框的中心点之间的距离；
确定所述第一边界框的长度和所述第二边界框的长度之间的差；
确定所述第一边界框的宽度和所述第二边界框的宽度之间的差；
确定所述第一边界框的x轴速度和所述第二边界框的x轴速度之间的差；以及
确定所述第一边界框的y轴速度和所述第二边界框的y轴速度之间的差。
16.如权利要求14所述的系统，其特征在于，所述至少一个处理器被配置成用于至少通过以下方式来生成所述融合边界框：
将所述差异与阈值进行比较；
响应于所述差异低于所述阈值，基于所述第一边界框的至少一个参数和相对应的所述第二边界框的至少一个参数的组合分布，确定所述第一边界框和所述第二边界框之间的交集；以及
基于所述交集生成所述融合边界框。
17.如权利要求16所述的系统，其特征在于，所述至少一个处理器被配置成用于至少通过以下方式来确定所述交集：
基于所述组合分布，确定所述第一边界框的至少一个参数和相对应的所述第二边界框的至少一个参数中的每个参数的权重。
18.如权利要求14所述的系统，其特征在于，所述至少一个处理器被配置成用于至少通过以下方式来生成所述融合边界框：
将所述差异与阈值进行比较；
响应于所述差异高于或等于所述阈值，基于所述第一边界框的至少一个参数和相对应的所述第二边界框的至少一个参数的组合分布，确定所述第一边界框和所述第二边界框之间的并集；以及
基于所述并集生成所述融合边界框。
19.如权利要求18所述的系统，其特征在于，所述至少一个处理器被配置成用于至少通过以下方式来确定所述并集：
基于所述第一边界框的至少一个参数和相对应的所述第二边界框的至少一个参数的平均值，计算表示所述并集的近似的协方差矩阵或协方差。
20.一种计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在被执行时将处理器配置成用于：
基于来自第一传感器的第一传感器数据，获得所述第一传感器的视场中的对象的第一边界框；
基于来自第二传感器的第二传感器数据，获得所述第二传感器的视场中的所述对象的第二边界框；
基于所述第一边界框的至少一个参数和所述第二边界框的至少一个参数，量化与所述第一边界框和所述第二边界框相关联的不确定度；
基于所述经量化的不确定度，生成所述对象的融合边界框；以及
将所述融合边界框输出到对象跟踪器，以用于跟踪所述对象。
CN202211694623.4A 2022-01-20 2022-12-28 基于不确定度生成融合对象边界框 Pending CN116465415A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US63/266,976 2022-01-20
US17/804,074 US20230230255A1 (en) 2022-01-20 2022-05-25 Generating a Fused Object Bounding Box Based on Uncertainty
US17/804,074 2022-05-25

Publications (1)

Publication Number Publication Date
CN116465415A true CN116465415A (zh) 2023-07-21

Family

ID=87183056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211694623.4A Pending CN116465415A (zh) 2022-01-20 2022-12-28 基于不确定度生成融合对象边界框

Country Status (1)

Country Link
CN (1) CN116465415A (zh)

Similar Documents

Publication Publication Date Title
US11209284B2 (en) System and method for creating driving route of vehicle
CN110461676B (zh) 控制车辆的横向运动的系统和方法
US10534079B2 (en) Vehicle and controlling method thereof integrating radar and lidar
US11506502B2 (en) Robust localization
CN112154455B (zh) 数据处理方法、设备和可移动平台
CN114391088B (zh) 轨线规划器
CN107972662A (zh) 一种基于深度学习的车辆前向碰撞预警方法
US20150120137A1 (en) Path planning for evasive steering maneuver in presence of target vehicle and surrounding objects
US11708069B2 (en) Obstacle avoidance apparatus and obstacle avoidance route generating apparatus
JP2020037339A (ja) 衝突回避装置
JP7119724B2 (ja) 軸ずれ検出装置及び車両
US11167754B2 (en) Systems and methods for trajectory based safekeeping of vehicles
JP7371269B2 (ja) 自動車のカメラピッチをキャリブレーションする方法及び装置、並びにそのための消滅点推定モデルをコンティニュアルラーニングさせる方法
US20210316722A1 (en) Systems and methods for trajectory based safekeeping of vehicles
CN114518574A (zh) 用于传感器融合系统的基于峰度的修剪
CN116777984A (zh) 用于校准自主交通载具中摄像头的外部参数的系统
CN114942430A (zh) 传感器数据的基于多假设的融合
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
CN116465415A (zh) 基于不确定度生成融合对象边界框
EP4215933A1 (en) Generating a fused object bounding box based on uncertainty
US20220306161A1 (en) Method for detecting inconsistencies in the outputs of perception systems of autonomous vehicles
WO2022065045A1 (ja) 自動運転装置
EP4276773A1 (en) Deep association for sensor fusion
EP4134700A1 (en) Occlusion constraints for resolving tracks from multiple types of sensors
US20230415741A1 (en) Target of Interest Selection on Roadway Ramps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240401

Address after: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant after: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region after: Luxembourg

Address before: Babado J San Michaele

Applicant before: Delphi Technologies, Inc.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240425

Address after: 2 Pestaroz Street, Schaffhausen, Switzerland

Applicant after: Anbofu Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant before: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region before: Luxembourg