CN112561970A - 用于在粒子滤波器估计框架中管理轨迹段的方法 - Google Patents
用于在粒子滤波器估计框架中管理轨迹段的方法 Download PDFInfo
- Publication number
- CN112561970A CN112561970A CN202011031884.9A CN202011031884A CN112561970A CN 112561970 A CN112561970 A CN 112561970A CN 202011031884 A CN202011031884 A CN 202011031884A CN 112561970 A CN112561970 A CN 112561970A
- Authority
- CN
- China
- Prior art keywords
- new
- track
- segments
- surviving
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002245 particle Substances 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005259 measurement Methods 0.000 claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 230000001419 dependent effect Effects 0.000 claims abstract 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000012952 Resampling Methods 0.000 description 4
- 241000272165 Charadriidae Species 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000009187 flying Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000009184 walking Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31005—Detect obstacles on path of vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39046—Compare image of plate on robot with reference, move till coincidence, camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种用于在粒子滤波器估计框架中管理轨迹段的方法,包括以下步骤:取决于先前轨迹段(Tp,t)的列表来执行轨迹段预测,从而确定存留轨迹段和新轨迹段(Tnew);对用于初始化新轨迹段(Tnew)的新测量结果进行采样,从而确定所估计的新轨迹段的数量(Neti);取决于先前轨迹段(Tp,t)的列表来确定存留轨迹段的数量(Np,t);取决于所估计的新轨迹段的数量(Neti)、存留轨迹段的数量(Np,t)和存储器界限(Nmax)来确定要采样的新轨迹段的数量(Nnew)和更新的存留轨迹段的数量(Np,t+1);取决于更新的存留轨迹段的所确定的数量(Np,t+1),从存留轨迹段(Tp,t)的列表中对更新的存留轨迹段(Tp,t+1)进行采样;以及取决于新轨迹段的所确定的数量(Nnew),从未关联的测量结果中对新轨迹段(Tnew)进行采样。
Description
技术领域
本发明涉及一种用于在粒子滤波器估计框架中管理轨迹段(tracklet)的方法和控制单元、以及一种控制方法。
现有技术
至少部分自主驾驶的车辆的必不可少的功能之一是估计其动态世界,该动态世界包括复杂驾驶场景内的各种交通参与者。为了在粒子滤波器估计框架中实现这一点,动态栅格地图是在中等级别(intermediate level)下组合并且估计多感官(multi-sensory)信息的可能方式之一。因此,基于个体粒子滤波器的估计器(所谓的轨迹段)用于稳定动态栅格地图中的动态单元的位置估计准确度,并且用于估计对象的形状。
从理论上讲,轨迹段的数目可能增长超出可用的存储器限制。虽然应当根据如存在概率之类的验证度量来复制和移除轨迹段,但是轨迹段的最大数目应当固定在存储器限制内。
因此,需要一种用于在粒子滤波器估计框架中管理轨迹段的改进方法。
发明内容
根据一方面,一种用于在粒子滤波器估计框架中管理轨迹段的方法包括以下步骤:取决于先前轨迹段的列表来执行轨迹段预测,从而确定存留(persistent)轨迹段和新轨迹段。对用于初始化新轨迹段的新测量结果进行采样,从而确定所估计的新轨迹段的数量。取决于先前轨迹段的列表来确定存留轨迹段的数量。取决于所估计的新轨迹段的数量、存留轨迹段的数量和存储器界限(bound)来确定要采样的新轨迹段的数量和更新的存留轨迹段的数量。取决于更新的存留轨迹段的所确定的数量来从存留轨迹段的列表中对更新的存留轨迹段进行采样,并且取决于新轨迹段的所确定的数量来从未关联的测量结果中对新轨迹段进行采样。
优选地,粒子滤波器估计框架被配置成用于执行基于粒子滤波器的动态栅格地图估计。进一步优选地,动态栅格地图估计包括多通道测量处理。多通道测量处理是基于多层粒子滤波器的跟踪解决方案——MLPT。
如本文中所使用的,术语“栅格地图”描述了其中周围空间被细分成矩形栅格单元的地图。优选地,每个栅格单元是该空间的独立构建块,该构建块存储了如占位(occupancy)概率之类的属性。占位概率由此指示栅格单元的占位值。
优选地,每个轨迹段由双重运动(静态和动态)来描述。
对于基于粒子滤波器的动态栅格地图估计,包括以下步骤。在第一步骤中,通过多个传感器接口来确定目标对象的原始传感器数据(也被称为原始测量结果),对该原始传感器数据进行预处理,并且将其变换成紧凑的、特别是中级(medium-level)的数据结构。附加地,取决于所确定的原始传感器数据来确定紧凑的传感器数据或紧凑的测量结果。因此,每个传感器由其自己的测量模型来描述。例如,激光雷达点云和立体视觉图像两者都被变换成更紧凑的基于Stixel的表示。Stixel将周围环境建模为垂直定向的矩形,这些矩形能够对目标对象(特别是目标对象的个体对象部分)的如位置、深度、大小和语义信息之类的属性进行合并。在不同的示例中,目标对象的雷达位置被压缩到一组预滤波的目标点,这些目标点包括目标对象的笛卡尔位置和速度。
在第二步骤中,将紧凑的传感器数据集成到分离的证据栅格通道中。优选地,证据栅格通道被定义为独立的2D栅格表示,该2D栅格表示累积了来自一个或多个传感器的一组传感器数据(换言之,传感器观察结果)。例如,确定了两个栅格通道,即占位栅格通道和语义栅格通道。进一步优选地,附加的栅格通道使用目标对象的梯度或高度属性。
例如,通过在给定固定时间间隔期间累积来自所有可用传感器的距离测量结果来确定测量占位栅格通道。然后,通过使用Dempster-Shafer证据理论将新测量结果合并到占位栅格中。因此,每个栅格单元由已占用(occupied)、空闲(free)或未知(unknown)的信念质量(belief mass)来描述,并且可以通过使用宾尼式变换将每个栅格单元转换成常规的占位概率。
例如,测量语义栅格通道将Stixel变换和压缩的雷达位置两者提供的语义信息进行组合。因此,由测量语义栅格通道来确定所投影的对象标签。每个所投影的对象标签标识了给定对象类别,例如行人、自行车或车辆,并且具有相关联的置信度得分。由于存储器约束,在将对象标签集成到语义通道中之后,仅顶部对象标签基于其最高累积得分而每个单元地被保留,而不是每个单元地存储所有累积的对象标签的完整直方图。
优选地,以相同的大小和分辨率来描述这两个测量栅格通道。而且,这两个通道在时间上是对齐的。使用相同的时间间隔来集成输入测量结果和空间,其中世界坐标中的给定区域被投影到两个栅格中的相同单元索引中。
在第三步骤中,取决于证据栅格通道来执行基于混合粒子滤波器的估计。基于混合滤波器的估计包括自定位(self-localizing)轨迹段和多通道栅格估计。在基于粒子滤波器的估计中,在每个特定时间处,通过一组个体粒子来近似出概率分布,其中每个粒子表示栅格单元状态的对象假设,并且根据粒子与测量结果匹配的良好程度而具有所指派的权重。
在现有基于栅格的粒子滤波器中,通过一组样本来近似出栅格单元状态。粒子不是永久地与一个栅格单元状态相关联,而是根据其自己的运动模型而传播,并且随后被重新指派给新的目的地栅格单元。然后,针对所有粒子,确定与该新的目的地栅格单元的占位信念成比例的权重。当感测到该目的地栅格单元被占用时,将更高的权重指派给那些粒子。通常,在较大目标对象的中间处预测的粒子可以被指派给被占用的单元中的任一个,并且仍被奖励有高权重。换言之,粒子在不知道相对于对象假设的其自己的位置的情况下接收其权重。优选地,确定权重还取决于关于目标对象形状的附加知识。做出了如下假定:给定动态栅格单元是较大目标对象假设的一部分。因此,除了其位置和速度之外,还通过其与对象界标的相对位置来描述动态栅格单元。通过从相同目标对象形状中选择随机的一组点来初始化对象界标。为了考虑目标对象的几何形状中的改变,还必须在每次测量迭代时递归地更新从栅格单元到其所选界标的相对距离。
针对每个新测量的栅格单元,确定固定的一组粒子。该组粒子将表示基于个体粒子滤波器的估计器——轨迹段。因此,代替于针对整个栅格地图来维持和更新一个较大组的粒子,而是将多个较小的、独立的粒子群体组织到轨迹段中。最后,将通过从相同目标对象轮廓中选择的随机界标的不同组合来描述作为相同目标对象假设的一部分的不同轨迹段,其中该目标对象轮廓指示目标对象的轮廓。然而,将利用为了描述轨迹段状态而预先选择的界标的同一固定星座(constellation)来初始化被包括到一个轨迹段中的所有粒子。
多通道栅格估计包括:将结构化的测量结果集成到栅格通道中。针对每个时间点处的每个栅格单元位置,描述了外观向量(appearance vector),该外观向量将占位和语义通道的原始测量结果进行组合。因此,该外观向量完全由针对已占用的质量、针对空闲的质量以及语义标签来描述。
一旦接收到新测量结果,以下步骤就递归地估计每个轨迹段以及每个栅格单元的动态状态:
通过考虑经过的时间、以及粒子在先前的粒子滤波器循环中的估计状态,在栅格单元中的新位置处预测这些粒子。假定了匀速运动模型,其中通过用随机噪声分量来干扰每个所传播的样本从而计及建模误差。
优选地,界标预测是通过粒子预测隐式地完成的,这是由于界标以粒子状态为条件并且跟随粒子的运动。
在另一步骤中,每个所预测的样本被指派有新的重要性权重。该步骤通过向粒子赋予权重将来自测量结果的信息合并到粒子分布中,该权重与匹配于观察结果的似然(likelihood)成比例。针对特定时间处的测量结果以及来自上文的所预测的状态,测量模型包括三个组份:测量单元似然、基于界标的似然和语义似然。
测量单元似然基于位置误差,该位置误差是测量结果与最接近的粒子之间的距离,而界标似然取决于粒子界标与表示用于形状对齐的量度的目标对象轮廓之间的距离。此外,在给定粒子的语义的情况下,语义似然由不相似性(dissimilarity)度量来定义。
为了更新先前根据Rao-Blackwellisation过程定义的粒子界标,使用了2×2卡尔曼滤波器(每个界标一个)。由每个卡尔曼滤波器所估计的状态是2D位置。此外,通过使用Dempster-Shafer组合规则,利用相关联的测量质量来更新每个粒子的针对已占用的质量和针对空闲的质量。
基于更新的粒子,对栅格单元状态和轨迹段状态进行估计。这些估计是粒子状态的加权平均值。为了计算栅格单元状态,使用了投影到相同单元中的所有轨迹段,无论它们属于哪个轨迹段。然而,轨迹段状态是基于其对应的粒子来估计的,而不管它们被投影到哪个单元中。
具有线性复杂度的随机性通用重采样算法用于在对每个轨迹段的粒子权重进行归一化之后对粒子进行重采样。该算法通过如下方式从先前的组中选择新的一组粒子:考虑它们的重要性权重,并且从而替换具有较低权重的粒子。优选地,执行选择性重采样策略,其中仅当粒子多样性低于预定阈值时触发粒子重采样。
因此,该轨迹段列表由以下等式来定义:
只要轨迹段的数目没有达到存储器的最大容量,就将新轨迹段附加到现有的新轨迹段列表。然而,在达到了最大存储器容量时的情况下,该方法确保了:通过采样,新轨迹段列表将在新轨迹段与存留轨迹段之间具有平衡的比率。在这些极端情况下,新轨迹段的最大允许数目是该系统的参数,并且被设置为小于该列表中的总可用空间的20%。
轨迹段占位质量用于确定所测量的单元被其下面的轨迹段覆盖的程度。
N h,c 表示落入栅格单元c中的轨迹段的数目。基于质量的强度被解释为该单元中的目标对象的预期数目。它还提供了关于单元被轨迹段覆盖的程度的定量值。
假设系统存储器是有限的,使得允许创建的轨迹段的最大值为N max 。附加地,新接受的轨迹段的最大数目为N new_max 。N new_max 是当存储器被填满(或者换言之,没有太多空槽可用)时用于分配新轨迹段的新轨迹段的最大数目。这意味着:即使存储器已满,旧轨迹段中的一些也将被恒定数目N new_max 的新轨迹段所替换。目标是在给定所建立的存储器限制的情况下,针对t处的下一次粒子滤波器迭代来确定存留轨迹段的新数量N p_updated 和新轨迹段的新数量N new 。
在没有任何存储器约束的情况下要初始化的所估计的轨迹段的数目N eti 是通过对满足条件的所有栅格单元进行计数来确定的。在没有存储器限制的情况下,将在所有栅格单元中初始化新轨迹段。然而,在具有上面定义的界限的情况下,新轨迹段的数目N new 通过如下等式来确定:
N es 是可用于添加新轨迹段的空槽的数目,其被定义为:
其中N p,i 是当前粒子滤波器迭代中所使用的轨迹段的总数目。
存留轨迹段的更新的数目N p,t+1通过如下等式来确定:
如果存留轨迹段的数目接近于所允许的轨迹段的最大数目,则所优选的是:为新轨迹段分配固定数目,如100,并且为更新的存留轨迹段分配剩余数目,如900=1000(max)-100(new)。
如果存留轨迹段的数目远远小于最大允许数目(例如,N max =1000中的N p,t =90),则可以利用该可用空间。然而,与此同时,考虑了如N eti 、N es 和N new_max 之类的其他参数。这通过以下约束来指示:
因此,提供了用于轨迹段的跟踪解决方案,该解决方案基于计算机设备上的可用存储器来自动地适配所估计的轨迹段的数目。换言之,存储器复杂度被限制到固定容量,该固定容量作为参数而给出。
因此,提供了粒子、轨迹段、对象和栅格地图的分层存储器结构。
在优选实施例中,该方法包括以下步骤。取决于验证度量来验证轨迹段,从而确定无效轨迹段并且从先前轨迹段的列表中移除无效轨迹段。
在优选实施例中,验证度量包括轨迹段的年龄(age)和/或轨迹段的存在概率。
在优选实施例中,该方法包括以下步骤。对更新的存留轨迹段进行采样包括:从先前轨迹段的列表中对新轨迹段索引进行采样,并且对新轨迹段进行采样包括:对用于初始化新轨迹段的新测量索引进行采样。
在优选实施例中,该方法包括执行轨迹段预测的步骤,该步骤包括确定存留轨迹段和新轨迹段的轨迹段权重。
因此,提供了目标对象存在概率的分层传播。对象的存在概率是作为其所有轨迹段的存在概率的总和而给出的。而轨迹段的存在概率由所有粒子权重的总和来描述。粒子权重的改变被反映为轨迹段存在概率中的改变,并且从而被反映为对象存在概率。
在优选实施例中,轨迹段是指示一组粒子的基于个体粒子滤波器的估计器。
在优选实施例中,确定新轨迹段的数量包括:确定空槽的数量,空槽的数量即从存储器界限中减去存留轨迹段的数量;以及在新轨迹段的最大数量和空槽的数量中选择较高的数量,并且在该较高的数量和所估计的新轨迹段的数量中选择较低的数量。
在优选实施例中,其中确定更新的存留轨迹段的数量包括:在存留轨迹段的数量和存储器界限与新轨迹段的数量之间的差中选择较低的数量。
因此,所面临的挑战之一是设计一种可扩展(可以添加新传感器)并且灵活(估计解决方案可以容易地被解耦或者适应不同的传感器组合)的动态环境估计组件。与此同时,通过利用剩余传感器来生成正确的模型,环境感知应当能够应对当传感器系统的一部分发生故障时的情况。最后,我们需要一种能够自动地“自适应”可用计算资源和存储器的估计解决方案。
根据一方面,如本文中所描述,控制单元被配置成用于执行用于在粒子滤波器估计框架中管理轨迹段的方法。
在优选实施例中,如本文中所描述,提供了一种包括指令的计算机程序,当该程序由计算机执行时,该指令使计算机执行用于测量边界性能的方法。
在优选实施例中,如本文中所描述,提供了一种计算机可读数据载体,其上存储有计算机程序。
根据一方面,如本文中所描述,一种用于对图像数据中的对象进行分类的方法包括以下步骤:使用由粒子滤波器估计框架执行的跟踪方法来接收图像数据并且对图像数据中的对象进行分类,其中该跟踪方法包括用于管理轨迹段的方法。
在图像识别中,对图像中的对象进行检测和分类。例如,在自主驾驶领域中,将对象分类为如街道、交通参与者和环境之类的类别。针对多个随后图像,使用跟踪方法来重新检测不同图像的对象。优选地,该跟踪方法基于轨迹段,该轨迹段表示基于个体粒子滤波器的估计器。
因此,用于管理轨迹段的改进方法导致了用于对图像数据中的对象进行分类的改进方法。
根据一方面,一种用于至少部分自主的机器人的控制方法包括以下步骤:接收至少部分自主的机器人的传感器数据;对接收到的传感器数据执行图像识别,包括执行如本文中描述的用于在粒子滤波器估计框架中管理轨迹段的方法;以及取决于所执行的传感器识别来控制至少部分自主的机器人。
优选地,传感器数据涉及至少部分自主的机器人的环境中的对象。
优选地,传感器数据包括激光雷达数据、雷达数据、热数据、超声数据和/或图像数据、特别是相机数据。
优选地,至少部分自主的机器人包括至少部分自主的车辆。可替代地,至少部分自主的机器人可以是任何其他移动机器人,例如通过飞行、游泳、潜水或步行来移动的那些机器人。在一示例中,至少部分自主的机器人可以是至少部分自主的割草机或至少部分自主的清洁机器人。
在下文中将参考优选示例性实施例来更详细地解释本发明的主题,在附图中图示了这些优选示例性实施例,在附图中:
图1示出了对象、轨迹段和粒子之间的关系的示意图;
图2示出了用于在粒子滤波器估计框架中管理轨迹段的方法的示意图;
图3示出了粒子滤波器估计框架的示意图;以及
图4示出了用于在粒子滤波器估计框架中管理轨迹段的方法的另一示意图。
在附图标记列表中以摘要形式列出了附图中所使用的附图标记及其含义。原则上,在附图中,相同的部分被提供有相同的附图标记。
图1示出了对象、轨迹段和粒子之间的关系的示意图。例如,通过不同的传感器来观察交通场景,从而得到多个栅格单元C的栅格地图M。在栅格地图M中,标识出至少一个对象O。粒子P被分组成轨迹段T。每个轨迹段T包括轨迹段状态,该轨迹段状态是利用个体粒子滤波器通过采用其自己的粒子P来更新的。多个粒子P用于通过对粒子P进行聚类来确定对象O。
图2示出了用于在粒子滤波器估计框架中管理轨迹段的方法的示意图。
在某个时间点t处,在多个先前轨迹段列表ht,p中,多个存留轨迹段Tp,t可用。在下一个时间步骤t+1中,在多个更新的存留轨迹段列表ht+1,p中确定更新的多个存留轨迹段Tp,t+1。存留轨迹段Tp,t+1是仅从存留轨迹段列表ht,p中重新采样的,或者是有选择地从先前轨迹段列表ht,p中的存留轨迹段的粒子P中重新采样的。
此外,包括多个新轨迹段Tnew的新轨迹段列表ht+1,b是根据测量占位质量mc(Occ)、基于栅格单元质量的强度DC和初始化权重winit而确定的。
图3示出了粒子滤波器估计框架10的示意图。粒子滤波器估计框架10包括多个传感器20,该多个传感器20提供了例如交通场景的传感器数据。在这种情况下,一组雷达传感器21、立体视觉传感器22和激光传感器23提供了交通场景中的来自车辆环境的传感器数据。例如,传感器数据覆盖车辆的正视图、后视图,左视图和右视图。来自立体视觉传感器22和激光传感器23的传感器数据被提供给语义stixel单元30,语义stixel单元30提供传感器数据的更紧凑的基于Stixel的表示。
经预处理的传感器数据被提供给栅格通道40,该栅格通道40包括分离的证据栅格通道,在这种情况下是占位栅格通道41和语义栅格通道42。被馈送有传感器数据的栅格通道40是基于多层粒子滤波器的跟踪的基础,该跟踪由估计单元50来执行。估计单元50提供所估计的动态轨迹段60,该动态轨迹段60指示车辆周围的对象的动态位置。
图4示出了用于在粒子滤波器估计框架中管理轨迹段的方法的另一示意图。在第一步骤S10中,取决于先前轨迹段Tp,t的列表来执行轨迹段预测,从而确定存留轨迹段和新轨迹段Tnew。在第二步骤S20中,对用于初始化新轨迹段Tnew的新测量结果进行采样,从而确定所估计的新轨迹段的数量Neti。在第三步骤S30中,取决于先前轨迹段Tp,t的列表来确定存留轨迹段的数量Np,t。在第四步骤S40中,取决于所估计的新轨迹段的数量Neti、存留轨迹段的数量Np,t和存储器界限Nmax来确定要采样的新轨迹段的数量Nnew和更新的存留轨迹段的数量Np,t+1。在第五步骤S50中,取决于更新的存留轨迹段的所确定的数量Np,t+1,从存留轨迹段Tp,t的列表中对更新的存留轨迹段Tp,t+1进行采样。在第六步骤S60中,取决于新轨迹段的所确定的数量Nnew,从未关联的测量结果中对新轨迹段Tnew进行采样。
Claims (11)
1.一种用于在粒子滤波器估计框架中管理轨迹段的方法,包括以下步骤:
取决于先前轨迹段(Tp,t)的列表来执行(S10)轨迹段预测,从而确定存留轨迹段和新轨迹段(Tnew);
对用于初始化新轨迹段(Tnew)的新测量结果进行采样(S20),从而确定所估计的新轨迹段的数量(Neti);
取决于先前轨迹段(Tp,t)的列表来确定(S30)存留轨迹段的数量(Np,t);
取决于所估计的新轨迹段的数量(Neti)、存留轨迹段的数量(Np,t)和存储器界限(Nmax)来确定(S40)要采样的新轨迹段的数量(Nnew)和更新的存留轨迹段的数量(Np,t+1);
取决于更新的存留轨迹段的所确定的数量(Np,t+1),从存留轨迹段(Tp,t)的列表中对更新的存留轨迹段(Tp,t+1)进行采样(S50);以及
取决于新轨迹段的所确定的数量(Nnew),从未关联的测量结果中对新轨迹段(Tnew)进行采样(S60)。
2.根据权利要求1所述的方法,包括以下步骤:
取决于验证度量来验证存留轨迹段,从而确定无效轨迹段;以及
从先前轨迹段(Tp,t)的列表中移除所述无效轨迹段。
3.根据权利要求2所述的方法,其中:
验证度量包括轨迹段的年龄和/或轨迹段的存在概率。
4.根据前述权利要求中任一项所述的方法,其中,
对更新的存留轨迹段进行采样(S50)包括:从先前轨迹段(Tp,t)的列表中对新轨迹段索引进行采样;以及
对新轨迹段(Tnew)进行采样(S60)包括:对用于初始化新轨迹段(Tnew)的新测量索引进行采样。
5.根据前述权利要求中任一项所述的方法,其中,
执行轨迹段预测包括:确定存留轨迹段和新轨迹段(Tnew)的轨迹段权重。
6.根据前述权利要求中任一项所述的方法,其中,
轨迹段是指示一组粒子的基于个体粒子滤波器的估计器。
7.根据前述权利要求中任一项所述的方法,其中,
确定(S40)新轨迹段的数量(Nnew)包括:
确定空槽的数量(Nes),空槽的数量(Nes)即从存储器界限(Nmax)中减去存留轨迹段的数量(Np,i);以及
在新轨迹段的最大数量(Nnew_max)和空槽的数量(Nes)中选择较高的数量,并且在所述较高的数量和所估计的新轨迹段的数量(Neti)中选择较低的数量。
8.根据前述权利要求中任一项所述的方法,其中,
确定(S30)更新的存留轨迹段的数量(Np,i+1)包括:
在存留轨迹段的数量(Np,i)和存储器界限(Nmax)与新轨迹段的数量(Nnew)之间的差中选择较低的数量。
9.一种控制单元,其被配置成用于执行根据权利要求1至8中任一项所述的方法。
10.一种用于对图像数据中的对象进行分类的方法,包括以下步骤:
接收图像数据;以及
使用由粒子滤波器估计框架执行的跟踪方法对图像数据中的对象进行分类,其中所述跟踪方法包括根据权利要求1至8中任一项所述的用于管理轨迹段的方法。
11.一种用于至少部分自主的机器人的控制方法,包括以下步骤:
接收至少部分自主的机器人的传感器数据;
对接收到的传感器数据执行传感器识别,包括执行权利要求1至8中任一项所述的方法;以及
取决于所执行的传感器识别来控制至少部分自主的机器人。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19199905.1 | 2019-09-26 | ||
EP19199905.1A EP3798977A1 (en) | 2019-09-26 | 2019-09-26 | Method for managing tracklets in a particle filter estimation framework |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112561970A true CN112561970A (zh) | 2021-03-26 |
Family
ID=68072162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011031884.9A Pending CN112561970A (zh) | 2019-09-26 | 2020-09-27 | 用于在粒子滤波器估计框架中管理轨迹段的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11282158B2 (zh) |
EP (1) | EP3798977A1 (zh) |
CN (1) | CN112561970A (zh) |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1533628B1 (en) * | 2003-11-19 | 2012-10-24 | Saab Ab | A method for correlating and numbering target tracks from multiple sources |
US20080123900A1 (en) * | 2006-06-14 | 2008-05-29 | Honeywell International Inc. | Seamless tracking framework using hierarchical tracklet association |
US8149278B2 (en) * | 2006-11-30 | 2012-04-03 | Mitsubishi Electric Research Laboratories, Inc. | System and method for modeling movement of objects using probabilistic graphs obtained from surveillance data |
EP1927947A1 (en) * | 2006-11-30 | 2008-06-04 | Mitsubishi Electric Corporation | Computer implemented method and system for tracking objects using surveillance database |
US20080130949A1 (en) * | 2006-11-30 | 2008-06-05 | Ivanov Yuri A | Surveillance System and Method for Tracking and Identifying Objects in Environments |
US8391548B1 (en) * | 2008-05-21 | 2013-03-05 | University Of Southern California | Tracking multiple moving targets in digital video |
US8705793B2 (en) * | 2009-10-08 | 2014-04-22 | University Of Southern California | Object tracking by hierarchical association of detection responses |
EP2395478A1 (en) * | 2010-06-12 | 2011-12-14 | Toyota Motor Europe NV/SA | Monocular 3D pose estimation and tracking by detection |
WO2012024516A2 (en) * | 2010-08-18 | 2012-02-23 | Nearbuy Systems, Inc. | Target localization utilizing wireless and camera sensor fusion |
EP2780871B1 (en) * | 2011-11-15 | 2015-09-16 | Swiss Timing Ltd. | Tracklet-based multi-commodity network flow for tracking multiple people |
WO2013158502A1 (en) * | 2012-04-17 | 2013-10-24 | Raytheon Company | Locally invariant global hypothesis tracking |
US9378455B2 (en) * | 2012-05-10 | 2016-06-28 | Yan M. Yufik | Systems and methods for a computer understanding multi modal data streams |
US9342759B1 (en) * | 2013-03-14 | 2016-05-17 | Hrl Laboratories, Llc | Object recognition consistency improvement using a pseudo-tracklet approach |
US9875550B2 (en) * | 2013-08-28 | 2018-01-23 | Disney Enterprises, Inc. | Method and device for tracking sports players with context-conditioned motion models |
US9361520B2 (en) * | 2014-04-10 | 2016-06-07 | Disney Enterprises, Inc. | Method and system for tracking objects |
US9824281B2 (en) * | 2015-05-15 | 2017-11-21 | Sportlogiq Inc. | System and method for tracking moving objects in videos |
US9582718B1 (en) * | 2015-06-30 | 2017-02-28 | Disney Enterprises, Inc. | Method and device for multi-target tracking by coupling multiple detection sources |
US9767565B2 (en) * | 2015-08-26 | 2017-09-19 | Digitalglobe, Inc. | Synthesizing training data for broad area geospatial object detection |
WO2017088050A1 (en) * | 2015-11-26 | 2017-06-01 | Sportlogiq Inc. | Systems and methods for object tracking and localization in videos with adaptive image representation |
US10289913B2 (en) * | 2016-04-25 | 2019-05-14 | Futurewei Technologies, Inc. | Tracking and detection for motion estimation in real time digital video stabilization |
WO2017199840A1 (ja) * | 2016-05-18 | 2017-11-23 | 日本電気株式会社 | オブジェクト追跡装置、オブジェクト追跡方法および記録媒体 |
US20180047173A1 (en) * | 2016-08-12 | 2018-02-15 | Qualcomm Incorporated | Methods and systems of performing content-adaptive object tracking in video analytics |
US10902243B2 (en) * | 2016-10-25 | 2021-01-26 | Deep North, Inc. | Vision based target tracking that distinguishes facial feature targets |
WO2018081156A1 (en) * | 2016-10-25 | 2018-05-03 | Vmaxx Inc. | Vision based target tracking using tracklets |
GB2561892A (en) * | 2017-04-28 | 2018-10-31 | Nokia Technologies Oy | A Method, an apparatus and a computer program product for object detection |
US10803598B2 (en) * | 2017-06-21 | 2020-10-13 | Pankaj Chaurasia | Ball detection and tracking device, system and method |
GB201716893D0 (en) * | 2017-10-13 | 2017-11-29 | Chancellor Masters And Scholars Of The Univ Of Oxford | Methods and systems for analysing time ordered image data |
US10628961B2 (en) * | 2017-10-13 | 2020-04-21 | Qualcomm Incorporated | Object tracking for neural network systems |
US11556777B2 (en) * | 2017-11-15 | 2023-01-17 | Uatc, Llc | Continuous convolution and fusion in neural networks |
US10867398B2 (en) * | 2017-11-21 | 2020-12-15 | Reliance Core Consulting LLC | Methods, systems, apparatuses and devices for facilitating motion analysis in an environment |
US11127203B2 (en) * | 2018-05-16 | 2021-09-21 | Samsung Electronics Co., Ltd. | Leveraging crowdsourced data for localization and mapping within an environment |
US11370423B2 (en) * | 2018-06-15 | 2022-06-28 | Uatc, Llc | Multi-task machine-learned models for object intention determination in autonomous driving |
WO2020124147A1 (en) * | 2018-12-18 | 2020-06-25 | Genvis Pty Ltd | Video tracking system and data processing |
US10408939B1 (en) * | 2019-01-31 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same |
US10997737B2 (en) * | 2019-05-02 | 2021-05-04 | GM Global Technology Operations LLC | Method and system for aligning image data from a vehicle camera |
US11301690B2 (en) * | 2019-05-13 | 2022-04-12 | Cisco Technology, Inc. | Multi-temporal scale analytics |
US11049170B1 (en) * | 2020-03-15 | 2021-06-29 | Inokyo, Inc. | Checkout flows for autonomous stores |
US11420334B2 (en) * | 2020-04-14 | 2022-08-23 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Candidate six dimensional pose hypothesis selection |
US11145076B1 (en) * | 2020-10-27 | 2021-10-12 | R-Go Robotics Ltd | Incorporation of semantic information in simultaneous localization and mapping |
-
2019
- 2019-09-26 EP EP19199905.1A patent/EP3798977A1/en active Pending
-
2020
- 2020-09-23 US US17/029,541 patent/US11282158B2/en active Active
- 2020-09-27 CN CN202011031884.9A patent/CN112561970A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210097638A1 (en) | 2021-04-01 |
US11282158B2 (en) | 2022-03-22 |
EP3798977A1 (en) | 2021-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3639241B1 (en) | Voxel based ground plane estimation and object segmentation | |
JP7296976B2 (ja) | 意味情報を含むクリーンなマップの作成 | |
US11010907B1 (en) | Bounding box selection | |
CN111771229B (zh) | 用于自动驾驶车辆的点云重影效果检测系统 | |
US10936902B1 (en) | Training bounding box selection | |
CN111201448B (zh) | 用于产生反演传感器模型的方法和设备以及用于识别障碍物的方法 | |
CN110675307A (zh) | 基于vslam的3d稀疏点云到2d栅格图的实现方法 | |
CN111444767B (zh) | 一种基于激光雷达的行人检测和追踪方法 | |
US11506502B2 (en) | Robust localization | |
CN113261010A (zh) | 基于对象轨迹的用于跨域对应的多模态传感器融合方法 | |
EP4020111B1 (en) | Vehicle localisation | |
CN114454875A (zh) | 一种基于强化学习的城市道路自动泊车方法及系统 | |
CN112880694A (zh) | 确定车辆的位置的方法 | |
EP3842836A1 (en) | Method, apparatus and storage medium for positioning object | |
US20210397198A1 (en) | Enhanced vehicle operation | |
Ess et al. | Improved multi-person tracking with active occlusion handling | |
Milli et al. | Multi-modal multi-task (3mt) road segmentation | |
CN114830185A (zh) | 借助于神经网络的位置确定 | |
CN112561970A (zh) | 用于在粒子滤波器估计框架中管理轨迹段的方法 | |
Madhavan et al. | Moving object prediction for off-road autonomous navigation | |
EP4050510A1 (en) | Object information calculation method and system | |
CN116863325A (zh) | 一种用于多个目标检测的方法和相关产品 | |
Richter et al. | Mapping lidar and camera measurements in a dual top-view grid representation tailored for automated vehicles | |
CN117036966B (zh) | 地图中点位特征的学习方法、装置、设备及存储介质 | |
US20240282080A1 (en) | Systems and methods for using image data to analyze an image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |