CN103308058B - 使用加权贝叶斯滤波的融合的增强数据关联 - Google Patents

使用加权贝叶斯滤波的融合的增强数据关联 Download PDF

Info

Publication number
CN103308058B
CN103308058B CN201310072517.7A CN201310072517A CN103308058B CN 103308058 B CN103308058 B CN 103308058B CN 201310072517 A CN201310072517 A CN 201310072517A CN 103308058 B CN103308058 B CN 103308058B
Authority
CN
China
Prior art keywords
target
object detection
detection system
correspondence matrix
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310072517.7A
Other languages
English (en)
Other versions
CN103308058A (zh
Inventor
S.曾
L.施
D.甘地
J.N.尼科劳乌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103308058A publication Critical patent/CN103308058A/zh
Application granted granted Critical
Publication of CN103308058B publication Critical patent/CN103308058B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及使用加权贝叶斯滤波的融合的增强数据关联，具体是关联来自至少两个物体探测系统的目标的方法。基于来自第一物体探测系统和第二物体探测系统的在先目标数据来生成初始在先对应性矩阵。基于当前时步在所述第一物体探测系统的第一视场内识别目标。基于所述当前时步在所述第二物体探测系统的第二视场内识别目标。基于进入和离开相应视场的相应目标来调节所述在先对应性矩阵。根据被调节的在先对应性矩阵来生成在后对应性矩阵。识别所述在后对应性矩阵中的在所述第一物体探测系统的相应目标和所述第二物体探测系统的相应目标之间的对应性。

Description

使用加权贝叶斯滤波的融合的增强数据关联
技术领域
实施例涉及物体传感器融合。
背景技术
视觉成像系统被用于车辆中来增强应用，例如物体探测系统和其他视觉/定位系统。这样的系统利用摄像机来捕捉图像并且之后从图像提取物体。这样的物体可以是其他车辆、行人、或者甚至行驶道路内的物体。
雷达系统也被用于探测行驶道路内的物体。雷达系统利用无线电波来确定物体的距离、海拔、方向或速度。发射器发射无线电波的脉冲，其从它们路径中的任意物体弹回。从物体弹回的脉冲将极小部分的波能量返回到通常与发射器位于相同部位的接收器。
通过配合地利用视觉成像系统和雷达系统来探测物体将增加关于探测和定位车辆行驶路径内的物体的置信度。当车辆沿平坦无俯仰的道路行驶时会容易地实现在不同模式之间的数据关联或数据对应；然而，如果由于道路结构的原因或者由于急刹车造成行驶道路是不平坦的或者道路俯仰突变，则来自不同模式的互补传感器的数据的融合会变得越来越困难。
发明内容
实施例的优点在于，整体合并来自两个单独的物体探测系统的数据，其减少了这两个物体探测系统之间的偏差以使得每个物体探测系统的位置可被合并以便提供关于行驶道路中物体位置的更大置信度。这里描述的技术提供了来自不同模式的数据的稳健且准确的关联。该技术提供了特定处理离开和进入每个模式的视场的目标以便可以对被捕获视场内的相应目标之间的对应性做出假定。此外，这里描述的数据关联技术可以被用作通过目标跟踪来融合来自不同传感器的数据的融合架构技术的子系统。
实施例设想了关联来自至少两个物体探测系统的目标的方法。基于来自第一物体探测系统和第二物体探测系统的在先目标数据来生成初始在先对应性矩阵。基于当前时步在第一物体探测系统的第一视场内识别目标。基于当前时步在第二物体探测系统的第二视场内识别目标。基于进入和离开相应视场的相应目标来调节在先对应性矩阵。根据被调节的在先对应性矩阵来生成在后对应性矩阵。在在后对应性矩阵中在第一物体探测系统的相应目标和第二物体探测系统的相应目标之间识别对应性。
本发明还提供了以下技术方案。
方案1.一种关联来自至少两个物体探测系统的目标的方法，所述方法包括步骤：
基于来自第一物体探测系统和第二物体探测系统的在先目标数据来生成初始在先对应性矩阵；
基于当前时步在所述第一物体探测系统的第一视场内识别目标；
基于所述当前时步在所述第二物体探测系统的第二视场内识别目标；
基于进入和离开相应视场的相应目标来调节所述在先对应性矩阵；
根据被调节的在先对应性矩阵来生成在后对应性矩阵；以及
识别所述在后对应性矩阵中的在所述第一物体探测系统的相应目标和所述第二物体探测系统的相应目标之间的对应性。
方案2.根据方案1所述的方法，其特征在于还包括步骤：最小化从所述第一视场的坐标系到所述第二视场的坐标系的变换的偏移。
方案3.根据方案2所述的方法，其特征在于，利用刚性变换来实现所述变换，所述刚性变化由如下公式确定：
其中T’是更新的变换，T是过去的变换，是当前变换，并且η是0<η<1的学习因子。
方案4.根据方案3所述的方法，其特征在于，所述当前变换由坐标偏移代表，其中是所述第一视场的坐标系和所述第二视场的坐标系之间的x坐标偏移，是y坐标偏移，是角位移偏移。
方案5.根据方案4所述的方法，其特征在于，x坐标偏移由如下公式代表：
其中是在后矩阵，是第j个视觉目标的纵向位移，是角位移偏移，是第k个雷达目标的横向位移，并且是第k个雷达目标的纵向位移。
方案6.根据方案4所述的方法，其特征在于，所述y坐标偏移由如下公式代表：
其中是在后矩阵，是第j个视觉目标的横向位移，是角位移偏移，是第k个雷达目标的横向位移。
方案7.根据方案4所述的方法，其特征在于，所述角位移偏移由如下公式确定：
其中是在后矩阵，是第j个视觉目标的横向位移，是角位移偏移，是第k个雷达目标的横向位移，是第j个视觉目标的纵向位移，以及是第k个雷达目标的纵向位移。
方案8.根据方案1所述的方法，其特征在于，所述生成初始在先对应性矩阵包括通过将所述第一视场内的目标和所述第二视场内的目标之间的所有对应性设定成相等来将所述在先对应性矩阵初始化成无信息。
方案9.根据方案1所述的方法，其特征在于还包括步骤：
将所述在先对应性矩阵设定成等于所述在后对应性矩阵；
针对下一时步确定可从所述第一物体探测系统和所述第二物体探测系统获得新数据帧；
基于在所述下一时步进入和离开相应视场的目标来调节所述在先对应性矩阵；
针对所述下一时步根据被调节的在先对应性矩阵来生成下一在后对应性矩阵；以及
针对所述下一时步，识别所述下一在后对应性矩阵内的在所述第一物体探测系统的相应目标和所述第二物体探测系统的相应目标之间的对应性。
方案10.根据方案1所述的方法，其特征在于，基于进入和离开相应视场的目标来调节所述在先对应性矩阵的步骤还包括步骤：
确定相应目标在先前时步内处于所述第一物体探测系统的视场内；
确定所述相应目标在当前时步内不处于所述第一物体探测系统的视场内；以及
在与所述第一物体探测系统的所述相应目标相关联的在先对应性矩阵中去除相应行。
方案11.根据方案1所述的方法，其特征在于，基于进入和离开相应视场的目标来调节所述在先对应性矩阵的步骤还包括步骤：
确定相应目标在当前时步内处于所述第一物体探测系统的视场内；
确定所述相应目标在先前时步内不处于所述第一物体探测系统的视场内；以及
在与所述第一物体探测系统的所述相应目标相关联的在先对应性矩阵中添加相应行。
方案12.根据方案11所述的方法，其特征在于，通过将所述相应行内的第一组视觉目标和第二组视觉目标之间的所有对应性设定成相等来将所述相应行初始化成在所述在先对应性矩阵内无信息。
方案13.根据方案1所述的方法，其特征在于，基于进入和离开相应视场的目标来调节所述在先对应性矩阵的步骤还包括步骤：
确定相应目标在先前时步内处于所述第二物体探测系统的视场内；
确定所述相应目标在当前时步内不处于所述第二物体探测系统的视场内；以及
在与所述第二物体探测系统的所述相应目标相关联的所述在先对应性矩阵中去除相应列。
方案14.根据方案1所述的方法，其特征在于，基于进入和离开相应视场的目标来调节所述在先对应性矩阵的步骤还包括步骤：
确定相应目标在当前时步内处于所述第二物体探测系统的视场内；
确定所述相应目标在先前时步内不处于所述第二物体探测系统的视场内；以及
在与所述第二物体探测系统的所述相应目标相关联的所述在先对应性矩阵中添加相应行。
方案15.根据方案1所述的方法，其特征在于，所述在后对应性矩阵由以下公式确定：
其中是在后矩阵，是第j个视觉目标Vj与第k个目标Rk关联的概率，并且是使得成为概率分布的标准化因数。
方案16.根据方案1所述的方法，其特征在于，所述第一物体探测系统使用雷达来探测目标并且所述第二物体探测系统使用视觉来探测物体。
方案17.根据方案1所述的方法，其特征在于，所述第一物体探测系统使用雷达来探测目标并且所述第二物体探测系统使用从目标运动模型确定的预测目标，所述目标运动模型根据最后计算的在后对应性矩阵来确定目标的预测位置。
方案18.根据方案1所述的方法，其特征在于，所述第一物体探测系统使用视觉来探测目标并且所述第二物体探测系统使用从目标运动模型确定的预测目标，所述目标运动模型根据最后计算的在后对应性矩阵来确定目标的预测位置。
方案19.根据方案1所述的方法，其特征在于还包括步骤：
使用所述在后对应性矩阵内识别的对应目标基于目标运动模型估计下一时步的目标位置；
将所述在先对应性矩阵设定成等于所述在后对应性矩阵；
将所述在先对应性矩阵应用到第一数据关联模块和第二数据关联模块；
基于下一时步离开和进入所述第一物体探测系统的目标并且基于从所述目标运动模型输出的所述预测目标来调节应用到所述第一数据关联模块的在先对应性矩阵；
根据所述第一数据关联模块的被调节的对应性矩阵来生成第一在后对应性矩阵；
基于下一时步离开和进入所述第二物体探测系统的目标并且基于从所述目标运动模型输出的预测目标来调节应用到所述第二数据关联模块的在先对应性矩阵；
根据所述第二数据关联模块的被调节的对应性矩阵来生成第二在后对应性矩阵；
融合所述第一在后对应性矩阵和所述第二在后对应性矩阵；以及
识别所融合的在后对应性矩阵内的从所述第一数据关联模块和所述第二数据关联模块识别的相应目标之间的对应性。
方案20.根据方案19所述的方法，其特征在于还包括步骤：
在识别所融合的对应性矩阵内的对应目标之后生成时间延迟；以及
将目标运动分析应用到所述对应目标来估计下一时步的每个所述对应目标的目标位置。
附图说明
图1是装备有物体探测系统的车辆的示意图。
图2是被在平坦且笔直的道路表面上驾驶的车辆所捕获的示例性图像。
图3是被沿弯曲且俯仰的道路表面行驶的车辆所捕获的示例性图像。
图4是在雷达系统和视觉系统之间的示例性目标对应性图表。
图5是示出目标关联技术的一般性原理的框图。
图6是用于递归目标关联技术的方法的流程图。
图7是并入递归目标关联技术的融合技术的框图。
具体实施方式
图1中示出了装备有第一物体探测系统12和第二物体探测系统14的车辆10。每个系统利用不同类型的传感器来探测物体。每个相应系统内的每个传感器能够探测和跟踪其相应视场内的多个目标。这里为了示例性目的，第一物体探测系统12包括基于视觉的系统，并且第二物体探测系统14包括基于雷达的系统。应该理解，相应系统是示例性的并且可以使用任意两种或更多种不同的物体探测系统。
在16处大体示出了视觉系统12的视场。视觉系统12所探测到的一组目标被识别为V1、V2和V3。视觉系统12所识别的每个相应目标均包括测量值，例如纵向位移、横向位移、纵向速度和横向速度。
在18处大体示出了雷达系统14的视场。雷达系统14所探测到的一组目标被识别为R1、R2和R3。视觉系统12所识别的每个相应目标均包括测量值，例如纵向位移、横向位移、纵向速度和横向速度。
想法是要在其公共视场内确定雷达目标和视觉目标之间的对应性。图1示出了雷达目标和视觉目标之间的对应性的示例V1→R1、V2→R2和V3→R3。因为测量值由于车辆方向、速度和与其他车辆遮挡的变化而不断改变，必须在每个瞬时由每个相应探测系统来跟踪相应目标。
对于目标跟踪而言准确关联来自不同模式的数据是重要的，不过数据关联是具有挑战性的任务。在某些情况下，例如非平坦道路表面、曲率以及本车辆的突然的俯仰角改变（例如由道路或者急刹车所导致），视觉系统的目标会导致显著地偏离于其真实值。因此，视觉目标之间的距离会相当大。用于对应问题的公知技术是被称为最近相邻匹配的技术。在最近相邻匹配中，对于每一雷达目标，每个雷达目标均被指定到具有距其最近距离的视觉目标。最近匹配方法的问题在于该决定仅基于当前数据。
最近相邻匹配方法对于图2-4所示的场景是无效的。图2示出了时间t1时在没有俯仰变化的平坦且笔直的道路表面19上驾驶的车辆17的图像。在这样的驾驶条件下，如果行驶的道路继续是平坦且笔直的道路表面而没有俯仰变化，则在时间位移图像上视觉目标和雷达目标之间存在显著对应性。
图3示出了在稍后时间沿行驶道路行驶的车辆17的图像。如图像所示，道路19包括俯仰变化以及弯曲。除了图像内捕获的车辆位置的变化之外，视觉系统捕获的距目标的距离变得不可预测。如图4图示的图表所示，不平坦且弯曲的道路表面导致了雷达目标测量值和视觉目标测量值之间的显著距离。Y轴线代表距离，并且x轴线代表时间。视觉系统的目标跟踪由20表示，并且雷达系统的目标跟踪由22表示。如图4所示，在时间t1处视觉系统和雷达系统之间的目标对应性是显著的。也就是说，视觉系统和雷达系统所确定的目标被测量于基本相同的纵向距离。随着时间流逝，雷达系统和视觉系统跟踪的目标之间的对应性变差并且对应性也变得愈发不明确。这是道路由笔直且平坦的道路表面向俯仰且不平坦的道路表面转变的结果。仅在从t2经过一时间段之后（即当行驶道路转变到一致的道路表面时）视觉系统和雷达系统之间的目标对应性获得置信度。如图4所示，从时间段t1到t2，目标的关联性存在下降。
这里描述的技术克服了雷达系统和视觉系统之间目标关联性的不足。为了找到雷达目标和视觉目标之间的对应性，在每个时步维持尺寸为M×N的布尔矩阵A。M是视觉目标的数量，而N是雷达目标的数量。在每个时步更新布尔矩阵A以便再次确定哪个相应雷达目标被关联于哪个相应视觉目标。为了识别相应视觉目标Vj和相应雷达目标Rk之间的对应性，当对应性元素ajk=1时识别出相应视觉目标Vj和相应雷达目标Rk之间的匹配。假定每个视觉目标仅对应于最多一个物体。因此，对于布尔矩阵A中的每个N列，每一列被求和并且最大求和值被识别作为相应视觉目标和相应雷达目标之间的对应匹配。用于识别视觉目标和雷达目标之间是否存在对应性的公式被表述如下：
（1）
其中如果Vj是异常值则和等于0，否则和等于1。
首先假定在雷达系统和视觉系统所探测的被捕获图像序列中存在相同的目标集合。还假定每个单独传感器中存在跟踪器。基于目标识别（即目标识别器的信号），得知相应时步t-1、t-2、……、1处的历史矩阵，A(t-1)、A(t-2)、……、A(1)。
定义刚性2D变换T，其被看作从雷达坐标系向视觉坐标系的变换。[T(Rk)]被定义为视觉坐标系处的雷达目标位置。雷达目标(R1，R2，……，RN)被建模为具有参数{Rk|k=1，……，N}的高斯混合模型（GMM）分布，其中Rk代表雷达位置的测量值（即雷达的纵向和横向位移）。具有参数的GMM的公式能够由如下公式表示：
（2）
其中是2D高斯分布，即
对于k=1，……，N（3）
其中v是可能的视觉目标位置的随机变量，并且σ是标准偏差。
在另一实施例中，是2D高斯分布，即
对于k=1，……，N
其中v=(x,y)是视觉目标位置的随机变量；x和y分别是视觉目标的纵向和横向偏移；x’和y’是在视觉系统坐标系中第k个投影的雷达目标T(Rk)的纵向和横向偏移；并且σx和σy分别是纵向和横向方向的标准偏差。在这种实施例中，能够建模视觉系统的多个特定特征，例如粗略的纵向测量值但精确的方位角测量值。
给定距离r处的视觉目标，则标准偏差被分别设定成σx=αr和σy=βr，其中由视觉系统的性能规格来确定常数α和β。
之后针对噪音或异常值将向量建模成由如下公式代表的一致分布：
（4）
其中是视觉视场的面积。GMM的系数由如下公式表示：
（5）
对于k=1,……,N并且πN+1=w，其中w表示目标是异常值的概率。视觉目标(V1,V2,……,VM)被看作GMM的独立的且相等分布的样本。对应性矩阵能够被处理为布尔随机矩阵。每种实现（realization）A均代表雷达和视觉目标之间的对应性。这可以如下被验证：
（6）
是通常被设定成在时步0时无信息的对应性在先分布。这假定了在时步0每个视觉目标以相等概率被指定到每个雷达目标。这由以下公式代表：
对于所有j（7）
给定在先，则能够计算作为最终对应性的在后。在观测到视觉目标之后，在后由如下公式代表：
，
对于j=1、……、M，k=1、……、N（8）
其中是矩阵的在后概率；是第j个视觉目标Vj与第k个目标Rk关联的概率，如等式（3）所定义；并且是使得成为概率分布的标准化因数。
因此，视觉目标Vj被指定到第kj个雷达目标，其中。应该注意到，如果kj=N+1，则视觉目标是异常值并且不被指定给任何雷达目标。
图5示出了说明目标关联技术的大体原理的框图。探测到的雷达目标数据24和视觉目标数据26被输入到贝叶斯框架模型以用于在时间t1的数据关联推断。还被输入到贝叶斯框架模型30的是在最后时段确定的在先对应性矩阵28。递归数据关联技术被应用到输入数据以便生成在后对应性矩阵32。因此，针对当前时段被生成的在后对应性矩阵32被用作下一确定阶段的在先对应性。
图6示出了用于递归目标关联技术的方法的流程图。在步骤40，在时步零时，在先对应性矩阵被初始化为无信息对应性矩阵。这在例程初始时将所有对应性处理成相等的，这是因此不存在对任意视觉目标和任意雷达目标之间的任意关系的预先假设。这被表示为对于所有的j=1、……、M和k=1、……、N+1，。
在步骤41，做出是否已经从每个感测系统到达新数据帧的判定。数据帧包括来自于雷达系统和视觉系统二者的数据。如果在步骤41做出新数据帧还未到达的判定，则例程继续检查来自视觉系统和雷达系统二者的新数据帧的到达。如果在步骤41做出新数据帧已经到达的判定，则例程前进到步骤42。
在步骤42，分析数据帧以便确定目标是离开还是进入雷达传感器或视觉传感器的视场并且调节在先对应性矩阵。
在步骤43，分析数据帧以便确定相应视觉目标j是否显示在当前目标列表中而没有显示在先前目标列表中。如果相应视觉目标j显示在当前目标列表中但是没有显示在先前目标列表中，则相应行（即相应视觉目标j）被初始化为无信息。这被表示为对于所有k，，其中j’是新添加的行索引。
在步骤44，分析数据帧以便确定相应雷达目标k是否显示在先前目标列表中而没有显示在当前目标列表中。如果相应雷达目标k显示在先前目标列表中但是没有显示在当前目标列表中，则从在先对应性矩阵移除相应列（即相应雷达目标k）。
在步骤45，分析数据帧以便确定相应视觉目标j是否显示在先前目标列表中而没有显示在当前目标列表中。如果相应视觉目标j显示在先前目标列表中但是没有显示在当前目标列表中，则从在先对应性矩阵移除相应行（即相应视觉目标j）。
在步骤46，分析数据帧以便确定相应雷达目标k是否显示在当前目标列表中而没有显示在先前目标列表中。如果相应雷达目标k显示在当前目标列表中但是没有显示在先前目标列表中，则相应零值列被添加到对应性矩阵中。
在步骤47，计算在后矩阵。针对所有j和k使用等式（8）中所示的公式来确定在后对应性矩阵。
在步骤48，基于在后对应性矩阵确定与目标对应性有关的指定。即，具有最接近1的最大值的列被指定成相应雷达目标和相应视觉目标之间的目标对应性（例如等于1或0）。
在步骤49，输出每个视觉目标到雷达目标的指定。对应于视觉目标输出索引列表。索引列表里的每个元素代表视觉目标被指定到的雷达目标索引。第j个视觉目标Vj被指定给第kj个雷达目标并且。
在步骤50，执行传感器配准。传感器配准包括去除来自不同传感器集合的数据的误差和偏差。这包括通过估计2D刚性变换来最小化两个传感器之间的目标匹配误差。通过使用在先值来推导每个时步的更新值从而递归地估计这两个传感器之间的变换。这通过将2D刚性变换从T更新到T’来实现，其中T是过去的变换并且T’是更新的变换。通过如下公式来确定刚性变换：
其中是基于雷达目标和视觉目标之间的匹配对变换的当前估计，并且通过公式来计算，并且预定义的小学习因子（η）是0<η<1。
可以利用过去的变换的三个参数tx、ty、?来推导如上所示的变换T*的解。参数tx代表从雷达坐标系到视觉坐标系的x偏移，参数ty代表从雷达坐标系到视觉坐标系的y偏移，并且?代表从雷达坐标系到视觉坐标系的角位移偏移。通过如下两个等式来定义变换参数：
上述公式将点(x,y)转换到新位置(x',y')。
假定并且，和是第j个视觉目标的纵向和横向位移。和是第k个雷达目标的纵向和横向位移。之后能计算。以及用于推导的变换参数能够被如下计算：
其中是在后矩阵，是第j个视觉目标的横向位移，是角位移偏移，是第k个雷达目标的横向位移，是第j个视觉目标的纵向位移，以及是第k个雷达目标的纵向位移。
在步骤51，下一时步的在先对应性矩阵被设定成当前时步的在后对应性矩阵，其中对于所有j和k，。即，时步t处计算的在后对应性矩阵被用作先前的对应性矩阵以便计算下一时步t+1的下一在后对应性矩阵。
返回到步骤41以便等待新数据帧并且递归地更新对应性矩阵。
图7示出了将递归目标关联技术整合到目标融合算法中的替代性实施例的框图。
在框60，第一物体探测系统（例如雷达）感测第一物体探测系统的视场内的物体。类似地，在框61，第二物体探测系统（例如视觉）感测第二物体探测系统的视场内的物体。
在框62，在第一物体探测系统的视场内识别目标。例如目标与雷达探测系统所捕获的物体有关。
在框63，在第二物体探测系统的视场内识别目标。例如目标与视觉探测系统所捕获的物体有关。
雷达目标62和视觉目标63二者均被看作是独立且相等的分布样本。
数据关联技术可以被用于直接关联来自雷达探测系统和视觉探测系统的目标，如图6所述。不过，如这里所述的整合技术相应地利用与雷达目标整合的第三变量，并且相应地利用该第三变量与视觉目标整合。此后，来自两个整合的结果被融合。
在框64中，当反馈数据涉及来自运动模型的融合目标时，该反馈数据被用作相应地与雷达目标的数据关联技术以及相应地与视觉目标的数据关联技术的输入。来自目标运动模型的反馈数据基于其最后已知的位置和运动分析被识别作为预测融合目标。在下文将具体讨论预测融合目标的细节。
在框65中，探测的雷达目标62和预测融合目标64被提供作为第一数据关联模块的输入，该模块利用递归目标关联技术。如图6所述的数据关联被应用到雷达目标62和预测融合目标64以便生成第一在后对应性矩阵。
在框66中，探测的视觉目标63和预测融合目标64被提供作为第二数据关联模块的输入，该模块利用递归目标关联技术。如图6所述的数据关联被应用到视觉目标63和预测融合目标64以便生成第二在后对应性矩阵。
在框67中，来自框65的递归目标关联技术的输出和来自递归目标关联技术66的输出被提供给融合系统，该融合系统通过使用传感器融合来利用目标跟踪。融合系统融合来自每个在后对应性矩阵的数据以便估计给定目标的位置。能够在框67中使用的融合技术被描述于授权日为2008年12月2日的美国专利7,460,951，其全部内容通过参考并入本文。
在框68中，从框67中的融合系统输出识别融合目标。融合目标被建模作为高斯混合模型（GMM）分布。
在框69中，在前进到框70之前，将延迟施加到融合目标数据。
在框70中，目标运动模型被施加到融合目标。目标运动模型利用融合目标数据并且基于目标的最后已知位置和轨迹来预测目标的未来位置。运动跟踪包括锁定目标并且跟随物体通过多个帧并且基于目标轨迹预测目标路径。在每个融合目标中，目标的纵向偏移（x）、横向偏移（y）、纵向速度（v_x）和横向速度（v_y）是估计的状态变量。因此，如果目标的当前状态是已知的，则可以使用下述公式来估计时间dT之后的未来状态变量：
x’=x+dTv_x
y’=y+dTv_y
v_x’=v_x
v_y’=v_y
因此，目标运动模型将目标的当前状态变换成如下述公式所表示的其未来状态s’：
s'=F(s)+w
其中w是具有适当维度的随机变量，其通常具有零均值并且具有协方差矩阵Q。
在生成目标的目标运动模型之后，在框64中确定目标的预测位置并且将其用作在框65和框66中的数据关联技术的输入。
虽然已经具体描述了本发明的某些实施例，不过熟悉本发明涉及的领域的那些技术人员将意识到各种替代性设计和实施例来实现所附权利要求所限定的发明。

Claims (20)

1.一种关联来自两个不同物体探测系统的目标的方法，所述方法包括步骤：
基于来自第一物体探测系统和第二物体探测系统的在先目标数据来生成初始在先对应性矩阵；
基于当前时步在所述第一物体探测系统的第一视场内识别目标；
基于所述当前时步在所述第二物体探测系统的第二视场内识别目标；
基于进入和离开相应视场的相应目标来调节所述在先对应性矩阵；
根据被调节的在先对应性矩阵来生成在后对应性矩阵；以及
识别所述在后对应性矩阵中的在所述第一物体探测系统的相应目标和所述第二物体探测系统的相应目标之间的对应性。
2.根据权利要求1所述的方法，其特征在于还包括步骤：最小化从所述第一视场的坐标系到所述第二视场的坐标系的变换的偏移。
3.根据权利要求2所述的方法，其特征在于，利用刚性变换来实现所述变换，所述刚性变换由如下公式确定：
其中T’是更新的变换，T是过去的变换，是当前变换，并且η是0<η<1的学习因子。
4.根据权利要求3所述的方法，其特征在于，所述当前变换由坐标偏移代表，其中是所述第一视场的坐标系和所述第二视场的坐标系之间的x坐标偏移，是y坐标偏移，是角位移偏移。
5.根据权利要求4所述的方法，其特征在于，x坐标偏移由如下公式代表：
其中是在后矩阵，是第j个视觉目标的纵向位移，是角位移偏移，是第k个雷达目标的横向位移，并且是第k个雷达目标的纵向位移。
6.根据权利要求4所述的方法，其特征在于，所述y坐标偏移由如下公式代表：
其中是在后矩阵，是第j个视觉目标的横向位移，是角位移偏移，是第k个雷达目标的横向位移，并且是第k个雷达目标的纵向位移。
7.根据权利要求4所述的方法，其特征在于，所述角位移偏移由如下公式确定：
其中是在后矩阵，是第j个视觉目标的横向位移，是角位移偏移，是第k个雷达目标的横向位移，是第j个视觉目标的纵向位移，以及是第k个雷达目标的纵向位移。
8.根据权利要求1所述的方法，其特征在于，所述生成初始在先对应性矩阵包括通过将所述第一视场内的目标和所述第二视场内的目标之间的所有对应性设定成相等来将所述在先对应性矩阵初始化成无信息。
9.根据权利要求1所述的方法，其特征在于还包括步骤：
将所述在先对应性矩阵设定成等于所述在后对应性矩阵；
针对下一时步确定可从所述第一物体探测系统和所述第二物体探测系统获得新数据帧；
基于在所述下一时步进入和离开相应视场的目标来调节所述在先对应性矩阵；
针对所述下一时步根据被调节的在先对应性矩阵来生成下一在后对应性矩阵；以及
针对所述下一时步，识别所述下一在后对应性矩阵内的在所述第一物体探测系统的相应目标和所述第二物体探测系统的相应目标之间的对应性。
10.根据权利要求1所述的方法，其特征在于，基于进入和离开相应视场的目标来调节所述在先对应性矩阵的步骤还包括步骤：
确定相应目标在先前时步内处于所述第一物体探测系统的视场内；
确定所述相应目标在当前时步内不处于所述第一物体探测系统的视场内；以及
在与所述第一物体探测系统的所述相应目标相关联的在先对应性矩阵中去除相应行。
11.根据权利要求1所述的方法，其特征在于，基于进入和离开相应视场的目标来调节所述在先对应性矩阵的步骤还包括步骤：
确定相应目标在当前时步内处于所述第一物体探测系统的视场内；
确定所述相应目标在先前时步内不处于所述第一物体探测系统的视场内；以及
在与所述第一物体探测系统的所述相应目标相关联的在先对应性矩阵中添加相应行。
12.根据权利要求11所述的方法，其特征在于，通过将所述相应行内的第一组视觉目标和第二组视觉目标之间的所有对应性设定成相等来将所述相应行初始化成在所述在先对应性矩阵内无信息。
13.根据权利要求1所述的方法，其特征在于，基于进入和离开相应视场的目标来调节所述在先对应性矩阵的步骤还包括步骤：
确定相应目标在先前时步内处于所述第二物体探测系统的视场内；
确定所述相应目标在当前时步内不处于所述第二物体探测系统的视场内；以及
在与所述第二物体探测系统的所述相应目标相关联的所述在先对应性矩阵中去除相应列。
14.根据权利要求1所述的方法，其特征在于，基于进入和离开相应视场的目标来调节所述在先对应性矩阵的步骤还包括步骤：
确定相应目标在当前时步内处于所述第二物体探测系统的视场内；
确定所述相应目标在先前时步内不处于所述第二物体探测系统的视场内；以及
在与所述第二物体探测系统的所述相应目标相关联的所述在先对应性矩阵中添加相应行。
15.根据权利要求1所述的方法，其特征在于，所述在后对应性矩阵由以下公式确定：
其中是在后矩阵，是在先矩阵，是第j个视觉目标Vj与第k个雷达目标Rk关联的概率。
16.根据权利要求1所述的方法，其特征在于，所述第一物体探测系统使用雷达来探测目标并且所述第二物体探测系统使用视觉来探测物体。
17.根据权利要求1所述的方法，其特征在于，所述第一物体探测系统使用雷达来探测目标并且所述第二物体探测系统使用从目标运动模型确定的预测目标，所述目标运动模型根据最后计算的在后对应性矩阵来确定目标的预测位置。
18.根据权利要求1所述的方法，其特征在于，所述第一物体探测系统使用视觉来探测目标并且所述第二物体探测系统使用从目标运动模型确定的预测目标，所述目标运动模型根据最后计算的在后对应性矩阵来确定目标的预测位置。
19.根据权利要求1所述的方法，其特征在于还包括步骤：
使用所述在后对应性矩阵内识别的对应目标基于目标运动模型估计下一时步的目标位置；
将所述在先对应性矩阵设定成等于所述在后对应性矩阵；
将所述在先对应性矩阵应用到第一数据关联模块和第二数据关联模块；
基于下一时步离开和进入所述第一物体探测系统的目标并且基于从所述目标运动模型输出的预测目标来调节应用到所述第一数据关联模块的在先对应性矩阵；
根据所述第一数据关联模块的被调节的对应性矩阵来生成第一在后对应性矩阵；
基于下一时步离开和进入所述第二物体探测系统的目标并且基于从所述目标运动模型输出的预测目标来调节应用到所述第二数据关联模块的在先对应性矩阵；
根据所述第二数据关联模块的被调节的对应性矩阵来生成第二在后对应性矩阵；
融合所述第一在后对应性矩阵和所述第二在后对应性矩阵；以及
识别所融合的在后对应性矩阵内的从所述第一数据关联模块和所述第二数据关联模块识别的相应目标之间的对应性。
20.根据权利要求19所述的方法，其特征在于还包括步骤：
在识别所融合的对应性矩阵内的对应目标之后生成时间延迟；以及
将目标运动分析应用到所述对应目标来估计下一时步的每个所述对应目标的目标位置。
CN201310072517.7A 2012-03-07 2013-03-07 使用加权贝叶斯滤波的融合的增强数据关联 Expired - Fee Related CN103308058B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/413,861 US8705797B2 (en) 2012-03-07 2012-03-07 Enhanced data association of fusion using weighted Bayesian filtering
US13/413861 2012-03-07

Publications (2)

Publication Number Publication Date
CN103308058A CN103308058A (zh) 2013-09-18
CN103308058B true CN103308058B (zh) 2016-04-13

Family

ID=49029736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310072517.7A Expired - Fee Related CN103308058B (zh) 2012-03-07 2013-03-07 使用加权贝叶斯滤波的融合的增强数据关联

Country Status (3)

Country Link
US (1) US8705797B2 (zh)
CN (1) CN103308058B (zh)
DE (1) DE102013203165B4 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9448304B2 (en) * 2013-03-15 2016-09-20 Src, Inc. Ground moving target indicator (GMTI) radar that converts radar tracks to directed graphs (DG), and creates weighted DGs aligned with superimposed with digital maps
JP6330160B2 (ja) 2014-05-09 2018-05-30 本田技研工業株式会社 物体認識装置
US10310068B2 (en) * 2014-12-08 2019-06-04 Northrop Grumman Systems Corporation Variational track management
WO2017017766A1 (ja) * 2015-07-27 2017-02-02 日産自動車株式会社 物体検出方法及び物体検出装置
DE102015119650A1 (de) * 2015-11-13 2017-05-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Validieren von zumindest einer Zieldetektion eines Zielobjektes, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10565468B2 (en) 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles
JP6512164B2 (ja) * 2016-04-22 2019-05-15 株式会社デンソー 物体検出装置、物体検出方法
US10160448B2 (en) 2016-11-08 2018-12-25 Ford Global Technologies, Llc Object tracking using sensor fusion within a probabilistic framework
CN106767852B (zh) * 2016-12-30 2019-10-11 东软集团股份有限公司 一种生成探测目标信息的方法、装置和设备
JP6988200B2 (ja) * 2017-06-29 2022-01-05 株式会社デンソー 車両制御装置
CN107341513B (zh) * 2017-07-01 2020-10-30 淮阴师范学院 基于稳健的固定阶数滤波模型的多源海洋表面温度遥感产品融合方法
CN107391446A (zh) * 2017-07-24 2017-11-24 江南大学 基于随机矩阵的不规则形状多扩展目标形状和状态估计方法
US10671860B2 (en) * 2018-02-20 2020-06-02 GM Global Technology Operations LLC Providing information-rich map semantics to navigation metric map
KR102391205B1 (ko) * 2018-03-20 2022-04-27 주식회사 에이치엘클레무브 객체 검출 기반 거리 추정 장치 및 그 방법
CN108764108A (zh) * 2018-05-22 2018-11-06 湖北省专用汽车研究院 一种基于贝叶斯统计决策的前车检测方法
CN108827369B (zh) * 2018-07-20 2020-09-08 重庆长安汽车股份有限公司 提升传感器关联效率的方法
US10964033B2 (en) * 2018-08-07 2021-03-30 Qualcomm Incorporated Decoupled motion models for object tracking
WO2020146418A1 (en) * 2019-01-07 2020-07-16 Ainstein Ai, Inc. Radar-camera detection system and methods
JP7185547B2 (ja) * 2019-02-07 2022-12-07 株式会社デンソー 車両検出装置
CN110132290B (zh) * 2019-05-20 2021-12-14 北京百度网讯科技有限公司 智能驾驶路侧设备感知信息融合处理方法、装置、设备
CN110297221B (zh) * 2019-06-19 2021-04-06 西安电子科技大学 一种基于高斯混合模型的数据关联方法
US20220300743A1 (en) * 2021-03-18 2022-09-22 Aptiv Technologies Limited History-Based Identification of Incompatible Tracks
US20230230255A1 (en) * 2022-01-20 2023-07-20 Aptiv Technologies Limited Generating a Fused Object Bounding Box Based on Uncertainty

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航系统
CN101697006A (zh) * 2009-09-18 2010-04-21 北京航空航天大学 基于机载雷达和红外成像传感器数据融合的目标识别方法
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7477758B2 (en) * 1992-05-05 2009-01-13 Automotive Technologies International, Inc. System and method for detecting objects in vehicular compartments
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
US7460951B2 (en) 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8180107B2 (en) * 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems
JP5278419B2 (ja) * 2010-12-17 2013-09-04 株式会社デンソー 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101109640A (zh) * 2006-07-19 2008-01-23 北京航空航天大学 基于视觉的无人驾驶飞机自主着陆导航系统
CN101697006A (zh) * 2009-09-18 2010-04-21 北京航空航天大学 基于机载雷达和红外成像传感器数据融合的目标识别方法
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法

Also Published As

Publication number Publication date
US8705797B2 (en) 2014-04-22
US20130236047A1 (en) 2013-09-12
DE102013203165A1 (de) 2013-09-12
CN103308058A (zh) 2013-09-18
DE102013203165B4 (de) 2021-06-02

Similar Documents

Publication Publication Date Title
CN103308058B (zh) 使用加权贝叶斯滤波的融合的增强数据关联
CN105466438B (zh) 防撞车辆中的传感器测距和应用
CN111932580A (zh) 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
CN107000749B (zh) 车辆的行驶控制装置以及行驶控制方法
US11308717B2 (en) Object detection device and object detection method
JP2020052694A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN112539755B (zh) 用于自主车辆的基于admm算法的更新点云配准管线
CN102194239B (zh) 用于处理图像数据的方法和系统
JP2018062244A (ja) 車両制御装置
CN107000745A (zh) 车辆的行驶控制装置以及行驶控制方法
JP6492469B2 (ja) 自車走行レーン推定装置及びプログラム
CN102565832A (zh) 用附加车载视觉传感器加强gps或gps/传感器车辆定位的方法
JP2014025925A (ja) 車両用コントローラ、車両システム
JP7176478B2 (ja) 画像認識装置
US20070211917A1 (en) Obstacle tracking apparatus and method
CN107004368A (zh) 车辆的行驶控制装置、行驶控制方法以及行驶控制程序
JP7328281B2 (ja) ある車両の環境中の標的車両の軌道を予測する方法及びシステム
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
CN109085840A (zh) 一种基于双目视觉的车辆导航控制系统及控制方法
KR20110060315A (ko) 도로주행 로봇의 자기 위치 인식방법
US11420632B2 (en) Output device, control method, program and storage medium
JP4067340B2 (ja) 対象物認識装置および対象物認識方法
JP6920342B2 (ja) 可動オブジェクトのオブジェクト・キネマティクスを割り出すための装置および方法
WO2019042786A1 (en) ESTIMATION OF SPECIFIC OBJECT TO A ROAD
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160413