CN108280442A - 一种基于轨迹匹配的多源目标融合方法 - Google Patents

一种基于轨迹匹配的多源目标融合方法 Download PDF

Info

Publication number
CN108280442A
CN108280442A CN201810138573.9A CN201810138573A CN108280442A CN 108280442 A CN108280442 A CN 108280442A CN 201810138573 A CN201810138573 A CN 201810138573A CN 108280442 A CN108280442 A CN 108280442A
Authority
CN
China
Prior art keywords
target
sensor
track
information
evidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810138573.9A
Other languages
English (en)
Other versions
CN108280442B (zh
Inventor
孙宏滨
史菊旺
王文秀
冯超
兰旭光
辛景民
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810138573.9A priority Critical patent/CN108280442B/zh
Publication of CN108280442A publication Critical patent/CN108280442A/zh
Application granted granted Critical
Publication of CN108280442B publication Critical patent/CN108280442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轨迹匹配的多源目标融合方法,包括:采用多种传感器采集目标信息;将各传感器采集到的目标信息进行时间配准和空间配准;将图像目标轨迹与其他各种传感器采集到的目标轨迹进行匹配,如果能够匹配成功,则通过图像目标轨迹中的信息补充其他各种传感器中目标轨迹的信息;选择单传感器目标轨迹生成结果以及不同种传感器间的目标匹配结果、轨迹匹配结果作为目标存在性的三个证据,计算得到所述目标存在性的三个证据概率,并将其作为DS证据理论的基本概率分配;应用DS证据理论进行目标存在性融合和类别融合;输出融合结果。本发明能够解决图像目标位置不准确而导致全局目标轨迹频繁中断的问题,可提高准确性和可靠性。

Description

一种基于轨迹匹配的多源目标融合方法
技术领域
本发明属于自动驾驶以及高级辅助驾驶技术领域,特别涉及一种基于轨迹匹配的多源目标融合方法。
背景技术
自动驾驶以及高级辅助驾驶过程中,交通场景下存在多种动态障碍物目标,如车辆、行人、自行车等。动态障碍物目标的速度、类别、位置、朝向等信息,是影响自动驾驶及辅助驾驶安全性和舒适性至关重要的属性信息,尤其是其中的类别信息,关系到控制规划模块的决策准确性。
目前,大多应用不同种类的目标感知传感器来获取动态障碍物目标的各种信息。目标感知传感器多种多样,如激光雷达、相机、毫米波雷达等。目前,随着图像传感器和计算机视觉技术的快速发展,相关的研究主要基于视觉感知方法。与其它传感器相比,视觉感知方法具有检测信息大,价格相对低廉等优点,但对于强光条件、弱光条件等交通场景下,视觉感知方法的感知能力减弱甚至消失,特别是对目标距离的感知能力较差。与视觉感知相比,激光雷达和毫米波雷达对距离的感知较为准确,但对目标类别识别能力较低。综上所述,单一传感器的感知方法普遍存在可靠性低、目标识别信息局限、有效探测范围小等缺点。
现有的多传感器的数据融合技术中,信息矩阵融合(Information MatrixFusion,IMF)方法体现了更好的鲁棒性和精确性,然而,IMF方法直接使用图像目标轨迹与其他传感器目标轨迹进行融合,忽略了图像目标位置感知不准确的问题,可能导致全局融合轨迹的频繁中断。基于DS证据理论的目标存在性和类别融合方法采用单传感器目标的轨迹生成结果和多传感器间目标匹配结果作为两个主要的判别证据,虽然这种方法在传感器融合研究中做出了很大贡献,但其忽略一个重要的证据,即不同传感器间的轨迹匹配结果,这将可能导致仍然无法排除各传感器噪声的干扰,使得目标存在性判别不准确,对后续控制规划模块的决策准确性与行车安全性造成很大的隐患。
发明内容
本发明的目的在于提供一种基于轨迹匹配的多源目标融合方法,以解决上述存在的技术问题。本发明的多源目标融合方法能够提供目标存在性的有力证据,能够解决图像目标位置不准确而导致目标轨迹频繁中断的问题,可提高自动驾驶过程中环境感知的准确性和可靠性。
为了达到上述目的,本发明采用以下技术方案:
一种基于轨迹匹配的多源目标融合方法,包括以下步骤:
步骤1,采用多种传感器采集目标信息,多种传感器中包括用于提供类别信息的图像传感器;
步骤2,采用统一的时间坐标系和地理坐标系,将各传感器采集到的目标信息进行时间配准和空间配准;
步骤3,将图像目标轨迹与其他各种传感器采集到的目标轨迹进行匹配,如果能够匹配成功,则通过图像目标轨迹中的信息补充其他各种传感器中目标轨迹的信息;
步骤4,选择单传感器间目标轨迹生成结果、不同种传感器间目标匹配结果以及轨迹匹配结果作为目标存在性的三个证据,计算得到所述目标存在性的三个证据概率,并将其作为DS证据理论的基本概率分配;
步骤5,应用DS证据理论进行目标存在性融合和类别融合;
步骤6,输出融合结果。
进一步的,步骤2中采用时间同步方法,进行多传感器时间配准,具体包括:采用多线程方式接收各传感器目标数据,建立长度为l的缓冲区,即对每一种传感器数据建立双端队列,连续存储m帧数据;以帧率最小的传感器的目标数据时间为基准时间,即取该传感器目标队列末端数据,在其他种类的传感器的目标队列中找出和基准时间相差最小的数据,一起作为时间同步数据;实现各传感器目标信息的时间配准。
进一步的,步骤2中空间配准的方法具体包括:预设置全局参考坐标系中心,利用各传感器局部坐标系和全局参考坐标系间的转换关系,将这些传感器的数据信息映射到一个共同的坐标系中,实现各传感器目标信息的空间配准。
进一步的,步骤3中,如果图像目标轨迹与另一传感器目标轨迹匹配成功,则通过所述图像目标轨迹上的信息对所述另一传感器上的所述目标轨迹上的全部目标信息进行补充;通过所述图像目标轨迹补充的信息随着所述另一传感器上的所述目标轨迹的持续性不断地传递下去。
进一步的,步骤3中,如果轨迹匹配成功,通过图像目标轨迹向其他种类传感器的目标轨迹补充类别信息。
进一步的,步骤4中,将目标在传感器中是否已匹配到轨迹、目标是否匹配到其它传感器中的同一目标以及目标所在轨迹是否已匹配到其他传感器中的同一轨迹作为判别目标存在性的三个证据,所述三个证据分别来自单传感器轨迹生成结果以及多传感器目标匹配结果、轨迹匹配结果。
进一步的,步骤4中,多传感器目标匹配结果证据生成的具体方法包括:通过将各传感器目标信息进行时间配准和空间配准后得到的初始化目标状态信息,利用匈牙利算法,首先初始化权值矩阵,不同传感器的目标间的欧氏距离作为矩阵中的权值,然后通过寻找完备匹配进行多传感器间的目标匹配;A代表命题目标存在,Θ代表命题目标存在性不确定,多传感器间目标匹配结果证据的基本置信概率的计算公式为:
m1(Θ)=1-m1(A)
(2)其中,m1(A)为目标匹配结果作为命题目标存在证据的置信概率,m1(Θ)为目标匹配结果作为命题目标存在性不确定证据的置信概率,e为自然常数;定义为:
其中,0<ε<0.1;为临界距离,di,j为来自不同传感器的目标i,j之间的距离,若则单传感器间目标匹配成功。
进一步的,步骤4中,单传感器轨迹生成结果证据生成的具体方法为:通过将传感器目标信息进行时间配准和空间配准后得到初始化的目标状态信息,利用匈牙利算法,首先初始化权值矩阵,目标位置与其已匹配轨迹上一帧目标位置的欧式距离初始化权值矩阵,然后通过寻找完备匹配进行单传感器间目标与轨迹的匹配,匹配成功后更新当前目标轨迹;
A代表命题目标存在,Θ代表命题目标存在性不确定,目标轨迹生成结果证据的基本置信概率的计算公式为:
m2(Θ)=1-m2(A)
(5)其中,m2(A)为轨迹生成结果作为命题目标存在证据的基本置信概率,m2(Θ)为轨迹生成结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,定义为
其中,0<ε<0.1,为与目标速度有关的临界距离,davg计算公式为:
其中,k为当前帧的时间戳,n-1为匹配到的轨迹长度,(xi-1,yi-1)为当前轨迹上第i-1帧对应目标的位置信息,(xi,yi)为当前轨迹上第i帧对应目标的位置信息。
进一步的,步骤4中,轨迹匹配结果证据生成的具体方法为:求出不同种类传感器间两条目标轨迹的平均欧氏距离dt2t,若小于临界距离,则匹配成功,作为存在性融合的证据;
A代表命题目标存在,Θ代表命题目标存在性不确定,轨迹匹配结果证据的基本置信概率的计算公式为:
m3(Θ)=1-m3(A)
(9)其中,m3(A)为轨迹匹配结果作为命题目标存在证据的基本置信概率,m3(Θ)为轨迹匹配结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,计算公式为
其中,0<ε<0.1,为临界距离,dt2t为两条轨迹的平均欧氏距离,即
其中,ki为当前帧的时间戳,i,j代表不同传感器,n为轨迹长度,为传感器i对应轨迹中第ki时刻目标的位置信息,为传感器j对应轨迹中第ki时刻目标的位置信息。
进一步的,步骤5中,目标存在性融合具体方法为:
(5.1)将目标存在与否作为DS理论识别框架Ω中的命题,单传感器目标轨迹生成结果以及多传感器间的目标的匹配结果、轨迹匹配结果作为目标存在性的三个证据;
(5.2)A代表命题目标存在,Θ代表命题目标存在性不确定,则Ω={A,Θ};步骤(5.1)中的三个证据支持命题A和Θ发生的程度,即可得到A和Θ的基本概率赋值;将所述三个证据利用DS证据理论的组合规则合并,产生总体的可信度分配,计算公式为:
其中,C1,C2,C3 Ω,K为归一化常数,计算公式为:
(5.3)根据步骤(5.1)的融合结果对目标存在性进行判断:当m(A)-m(Θ)>ε1时,则该目标存在;否则,不确定目标存在与否;其中,0<ε1<0.2。
相比于现有技术,本发明具有以下有益效果:
本发明采用基于轨迹匹配的多传感目标融合技术对动态目标进行感知识别,提供一种多传感器数据融合的实现方法,该方法在具有图像传感器加入的多传感器融合的目标探测、跟踪和识别上具有突出的优势。第一,可以有效地解决多源数据融合过程中图像目标感知距离不准确导致的轨迹频繁中断问题,降低目标信息模糊度和提高识别目标信息可信度,且充分利用图像优秀的目标类别识别能力;第二,能够数倍地扩大捕捉和跟踪时空覆盖范围;第三,除了使用单个传感器目标轨迹生成结果和多传感器间目标匹配结果作为目标存在性判别的证据外,发现并使用了多传感器轨迹匹配结果作为目标存在性判别的有力证据,提高了判断准确性。
附图说明
图1是本发明的一种基于轨迹匹配的多源目标融合方法的流程示意框图;
图2是图1中时间配准示意图;
图3是图像信息传递的流程示意框图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。
参考图1至图3,本发明的一种基于轨迹匹配的多源目标融合方法,包括以下步骤:
步骤1,采用多种传感器采集目标信息,多种传感器中包括用于提供类别信息的图像传感器、8线激光雷达、16线激光雷达、毫米波雷达等。图像传感器选用相机。
步骤2,采用统一的时间坐标系和地理坐标系,将各传感器采集到的目标信息进行时间配准和空间配准。也就是各传感器目标信息采用统一的时间坐标系和地理坐标系进行时空对齐,获得统一的目标状态向量。
参考图2,步骤2中采用时间同步方法,进行多传感器时间配准,具体包括:采用多线程方式接收各传感器目标数据,建立长度为l的缓冲区,即对每一种传感器数据建立双端队列,连续存储m帧数据;以帧率最小的传感器的目标数据时间为基准时间,即取该传感器目标队列末端数据,在其他种类的传感器的目标队列中找出和基准时间相差最小的数据,一起作为时间同步数据输入下一处理模块;实现各传感器目标信息的时间配准。
步骤2中空间配准的方法具体包括:预设置全局参考坐标系中心,利用各传感器局部坐标系和全局参考坐标系间的转换关系,将这些传感器的数据信息映射到一个共同的坐标系中,实现各传感器目标信息的空间配准。
步骤3,将图像目标轨迹与其他各种传感器采集到的目标轨迹进行匹配,如果能够匹配成功,则通过图像目标轨迹中的信息补充其他各种传感器中目标轨迹的信息;如果匹配不成功则不需要将类别信息补入其他各种传感器中目标轨迹,需要重新采集图像目标轨迹。
如果图像目标轨迹与另一传感器目标轨迹匹配成功,则通过所述图像目标轨迹上的信息对所述另一传感器上的所述目标轨迹上的全部目标信息进行补充;通过所述图像目标轨迹补充的信息随着所述另一传感器上的所述目标轨迹的持续性不断地传递下去,也就是若下一帧有目标匹配到该轨迹,则该目标信息可利用这条轨迹上已匹配到的图像信息进行补充,使得该轨迹上的图像信息随着轨迹的持续性不断地传递下去。如果轨迹匹配成功,通过图像目标轨迹向其他种类传感器的目标轨迹补充类别信息。一旦图像目标轨迹与另一传感器目标轨迹匹配成功,则对该传感器的这条轨迹上的所有目标信息进行补充,并随着轨迹的持续性不断地传递下去,而不需要将图像目标融合到全局轨迹中,解决了图像目标位置不准确导致的轨迹频繁中断问题。
步骤4,选择单传感器轨迹生成结果、不同种传感器间的目标匹配结果以及轨迹匹配结果作为目标存在性的三个证据,计算得到所述目标存在性的三个证据概率,并将其作为DS证据理论的基本概率分配;将目标在传感器中是否已匹配到轨迹、目标是否匹配到其它传感器中的同一目标以及目标所在轨迹是否已匹配到其他传感器中的同一轨迹作为判别目标存在性的三个证据,所述三个证据分别来自单传感器轨迹生成结果以及多传感器目标匹配结果、轨迹匹配结果。即:计算得到目标存在性和类别的三个证据概率,作为DS证据理论的基本概率分配;本发明除了利用单传感器目标轨迹生成结果、多传感器间目标匹配结果作为目标存在性的判别证据,还利用了多传感器间轨迹匹配结果作为更有力的判别证据,即三个证据分别为该目标在所属传感器中是否已匹配到轨迹、该目标是否匹配到其它传感器中的同一目标、该目标所在轨迹是否已匹配到其他传感器中的同一轨迹。
步骤4中,多传感器目标匹配结果证据生成的具体方法包括:通过将各传感器目标信息进行时间配准和空间配准后得到的初始化目标状态信息,利用匈牙利算法,首先初始化权值矩阵,不同传感器的目标间的欧氏距离作为矩阵中的权值,然后通过寻找完备匹配进行多传感器间的目标匹配;
A代表命题目标存在,Θ代表命题目标存在性不确定,多传感器间目标匹配结果证据的基本置信概率的计算公式为:
m1(Θ)=1-m1(A)
(2)其中,m1(A)为目标匹配结果作为命题目标存在证据的置信概率,m1(Θ)为目标匹配结果作为命题目标存在性不确定证据的置信概率,e为自然常数,约为2.71828;定义为:
其中,ε是接近于0的常量,0<ε<0.1;为临界距离,di,j为来自不同传感器的目标i,j之间的距离,若则单传感器间目标匹配成功。
步骤4中,单传感器轨迹生成结果证据生成的具体方法为:通过将传感器目标信息进行时间配准和空间配准后得到初始化的目标状态信息,利用匈牙利算法,首先初始化权值矩阵,目标位置与其已匹配轨迹上一帧目标位置的欧式距离初始化权值矩阵,然后通过寻找完备匹配进行单传感器间目标与轨迹的匹配,匹配成功后更新当前目标轨迹;
A代表命题目标存在,Θ代表命题目标存在性不确定,目标轨迹生成结果证据的基本置信概率的计算公式为:
m2(Θ)=1-m2(A)
(6)其中,m2(A)为轨迹生成结果作为命题目标存在证据的基本置信概率,m2(Θ)为轨迹生成结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,定义为
其中,0<ε<0.1,为与目标速度有关的临界距离,davg计算公式为:
其中,k为当前帧的时间戳,n-1为匹配到的轨迹长度,(xi-1,yi-1)为当前轨迹上第i-1帧对应目标的位置信息,(xi,yi)为当前轨迹上第i帧对应目标的位置信息。
步骤4中,轨迹匹配结果证据生成的具体方法为:求出不同种类传感器间两条目标轨迹的平均欧氏距离dt2t,若小于临界距离,则匹配成功,作为存在性融合的证据;
A代表命题目标存在,Θ代表命题目标存在性不确定,轨迹匹配结果证据的基本置信概率的计算公式为:
m3(Θ)=1-m3(A)
(10)其中,m3(A)为轨迹匹配结果作为命题目标存在证据的基本置信概率,m3(Θ)为轨迹匹配结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,计算公式为
其中,0<ε<0.1,为临界距离,dt2t为两条轨迹的平均欧氏距离,即
其中,ki为当前帧的时间戳,i,j代表不同传感器,n为轨迹长度,为传感器i对应轨迹中第ki时刻目标的位置信息,为传感器j对应轨迹中第ki时刻目标的位置信息。
步骤5,应用DS证据理论进行目标存在性融合和类别融合;同时,利用信息融合矩阵对全局目标轨迹进行更新。
DS证据理论(Dempster-Shafer evidential theory)能够处理由于信息不准确引起的不确定性,也能够处理由于不知道的因素引起的不确定性,通过合并多重证据从而做出决策,对推理进行合理的信息论解释,是一种决策理论。
步骤5中,目标存在性融合具体方法为:
(5.1)将目标存在与否作为DS理论识别框架Ω中的命题,单传感器目标轨迹生成结果以及多传感器间的目标的匹配结果、轨迹匹配结果作为目标存在性的三个证据;
(5.2)A代表命题目标存在,B代表命题目标不存在,由于遮挡以及传感器自身测量问题,我们无法找到证据证明目标不存在,即m(B)=0,所以设Θ代表命题目标存在性不确定,则Ω={A,Θ};步骤(5.1)中的三个证据支持命题A和Θ发生的程度,即可得到A和Θ的基本概率赋值;将所述三个证据利用DS证据理论的组合规则合并,产生总体的可信度分配,计算公式为:
其中,C1,C2,C3 Ω,K为归一化常数,计算公式为:
(5.3)根据步骤(5.1)的融合结果对目标存在性进行判断:当m(A)-m(Θ)>ε1时,则该目标存在;否则,不确定目标存在与否;其中,0<ε1<0.2。
在类别融合中,我们把障碍物类别简化为三大类,即行人、非机动车和机动车,所以DS理论识别框架Ω定义为
Ω={nmvec,ped,mvec}
其中nmvec代表非机动车,ped代表行人,mvec代表机动车。利用DS证据理论组合规则与判别规则进行类别融合的方法与存在性融合方法类似,可得到目标最终的类别判别信息。
步骤6,输出融合结果。
本发明能够提供目标存在性的有力证据,能够解决图像目标位置不准确而导致目标轨迹频繁中断的问题,可提高自动驾驶过程中环境感知的准确性和可靠性。
最后应说明的是,以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在本技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于轨迹匹配的多源目标融合方法,其特征在于,包括以下步骤:
步骤1,采用多种传感器采集目标信息,多种传感器中包括用于提供类别信息的图像传感器;
步骤2,采用统一的时间坐标系和地理坐标系,将各传感器采集到的目标信息进行时间配准和空间配准;
步骤3,将图像目标轨迹与其他各种传感器采集到的目标轨迹进行匹配,如果能够匹配成功,则通过图像目标轨迹中的信息补充其他各种传感器中目标轨迹的信息;
步骤4,选择单传感器间目标轨迹生成结果、不同种传感器间目标匹配结果以及轨迹匹配结果作为目标存在性的三个证据,计算得到所述目标存在性的三个证据概率,并将其作为DS证据理论的基本概率分配;
步骤5,应用DS证据理论进行目标存在性融合和类别融合;
步骤6,输出融合结果。
2.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤2中采用时间同步方法,进行多传感器时间配准,具体包括:采用多线程方式接收各传感器目标数据,建立长度为l的缓冲区,即对每一种传感器数据建立双端队列,连续存储m帧数据;以帧率最小的传感器的目标数据时间为基准时间,即取该传感器目标队列末端数据,在其他种类的传感器的目标队列中找出和基准时间相差最小的数据,一起作为时间同步数据;实现各传感器目标信息的时间配准。
3.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤2中空间配准的方法具体包括:预设置全局参考坐标系中心,利用各传感器局部坐标系和全局参考坐标系间的转换关系,将这些传感器的数据信息映射到一个共同的坐标系中,实现各传感器目标信息的空间配准。
4.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤3中,如果图像目标轨迹与另一传感器目标轨迹匹配成功,则通过所述图像目标轨迹上的信息对所述另一传感器上的所述目标轨迹上的全部目标信息进行补充;通过所述图像目标轨迹补充的信息随着所述另一传感器上的所述目标轨迹的持续性不断地传递下去。
5.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤3中,如果轨迹匹配成功,通过图像目标轨迹向其他种类传感器的目标轨迹补充类别信息。
6.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤4中,将目标在传感器中是否已匹配到轨迹、目标是否匹配到其它传感器中的同一目标以及目标所在轨迹是否已匹配到其他传感器中的同一轨迹作为判别目标存在性的三个证据,所述三个证据分别来自单传感器轨迹生成结果以及多传感器目标匹配结果、轨迹匹配结果。
7.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤4中,多传感器目标匹配结果证据生成的具体方法包括:通过将各传感器目标信息进行时间配准和空间配准后得到的初始化目标状态信息,利用匈牙利算法,首先初始化权值矩阵,不同传感器的目标间的欧氏距离作为矩阵中的权值,然后通过寻找完备匹配进行多传感器间的目标匹配;
A代表命题目标存在,Θ代表命题目标存在性不确定,多传感器间目标匹配结果证据的基本置信概率的计算公式为:
m1(Θ)=1-m1(A)
(2)
其中,m1(A)为目标匹配结果作为命题目标存在证据的置信概率,m1(Θ)为目标匹配结果作为命题目标存在性不确定证据的置信概率,e为自然常数;定义为:
其中,0<ε<0.1;为临界距离,di,j为来自不同传感器的目标i,j之间的距离,若则单传感器间目标匹配成功。
8.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤4中,单传感器轨迹生成结果证据生成的具体方法为:通过将传感器目标信息进行时间配准和空间配准后得到初始化的目标状态信息,利用匈牙利算法,首先初始化权值矩阵,目标位置与其已匹配轨迹上一帧目标位置的欧式距离初始化权值矩阵,然后通过寻找完备匹配进行单传感器间目标与轨迹的匹配,匹配成功后更新当前目标轨迹;
A代表命题目标存在,Θ代表命题目标存在性不确定,目标轨迹生成结果证据的基本置信概率的计算公式为:
m2(Θ)=1-m2(A)
(5)
其中,m2(A)为轨迹生成结果作为命题目标存在证据的基本置信概率,m2(Θ)为轨迹生成结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,定义为
其中,0<ε<0.1,为与目标速度有关的临界距离,davg计算公式为:
其中,k为当前帧的时间戳,n-1为匹配到的轨迹长度,(xi-1,yi-1)为当前轨迹上第i-1帧对应目标的位置信息,(xi,yi)为当前轨迹上第i帧对应目标的位置信息。
9.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤4中,轨迹匹配结果证据生成的具体方法为:求出不同种类传感器间两条目标轨迹的平均欧氏距离dt2t,若小于临界距离,则匹配成功,作为存在性融合的证据;
A代表命题目标存在,Θ代表命题目标存在性不确定,轨迹匹配结果证据的基本置信概率的计算公式为:
m3(Θ)=1-m3(A)
(9)
其中,m3(A)为轨迹匹配结果作为命题目标存在证据的基本置信概率,m3(Θ)为轨迹匹配结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,计算公式为
其中,0<ε<0.1,为临界距离,dt2t为两条轨迹的平均欧氏距离,即
其中,ki为当前帧的时间戳,i,j代表不同传感器,n为轨迹长度,为传感器i对应轨迹中第ki时刻目标的位置信息,为传感器j对应轨迹中第ki时刻目标的位置信息。
10.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤5中,目标存在性融合具体方法为:
(5.1)将目标存在与否作为DS理论识别框架Ω中的命题,单传感器目标轨迹生成结果以及多传感器间的目标的匹配结果、轨迹匹配结果作为目标存在性的三个证据;
(5.2)A代表命题目标存在,Θ代表命题目标存在性不确定,则Ω={A,Θ};步骤(5.1)中的三个证据支持命题A和Θ发生的程度,即可得到A和Θ的基本概率赋值;将所述三个证据利用DS证据理论的组合规则合并,产生总体的可信度分配,计算公式为:
其中,C1,C2,K为归一化常数,计算公式为:
(5.3)根据步骤(5.1)的融合结果对目标存在性进行判断:当m(A)-m(Θ)>ε1时,则该目标存在;否则,不确定目标存在与否;其中,0<ε1<0.2。
CN201810138573.9A 2018-02-10 2018-02-10 一种基于轨迹匹配的多源目标融合方法 Active CN108280442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810138573.9A CN108280442B (zh) 2018-02-10 2018-02-10 一种基于轨迹匹配的多源目标融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810138573.9A CN108280442B (zh) 2018-02-10 2018-02-10 一种基于轨迹匹配的多源目标融合方法

Publications (2)

Publication Number Publication Date
CN108280442A true CN108280442A (zh) 2018-07-13
CN108280442B CN108280442B (zh) 2020-07-28

Family

ID=62808272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810138573.9A Active CN108280442B (zh) 2018-02-10 2018-02-10 一种基于轨迹匹配的多源目标融合方法

Country Status (1)

Country Link
CN (1) CN108280442B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957413A (zh) * 2018-07-20 2018-12-07 重庆长安汽车股份有限公司 传感器目标定位准确度测试方法
CN109074407A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 多源数据建图方法、相关装置及计算机可读存储介质
CN109147322A (zh) * 2018-08-27 2019-01-04 浙江工业大学 一种城市交通大数据处理中多源数据自适应融合方法
CN109711398A (zh) * 2018-12-29 2019-05-03 联想(北京)有限公司 传感器空间关系获取方法、装置和电子设备
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN110443190A (zh) * 2019-07-31 2019-11-12 腾讯科技(深圳)有限公司 一种对象识别方法和装置
CN110675418A (zh) * 2019-09-26 2020-01-10 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN110717504A (zh) * 2019-06-28 2020-01-21 武汉大学 一种基于证据理论融合与多源传感器特征匹配的行人定位方法
WO2020143916A1 (en) * 2019-01-10 2020-07-16 Huawei Technologies Co., Ltd. A method for multi-modal sensor fusion using object trajectories for cross-domain correspondence
CN111652914A (zh) * 2019-02-15 2020-09-11 初速度(苏州)科技有限公司 一种多传感器目标融合、追踪方法及系统
CN111783905A (zh) * 2020-09-07 2020-10-16 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备
CN111950613A (zh) * 2020-07-30 2020-11-17 上海卫星工程研究所 多源引导信息星上实时融合处理方法及系统
CN112130136A (zh) * 2020-09-11 2020-12-25 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
CN112598715A (zh) * 2021-03-04 2021-04-02 奥特酷智能科技(南京)有限公司 基于多传感器的多目标跟踪方法、系统及计算机可读介质
CN112590808A (zh) * 2020-12-23 2021-04-02 东软睿驰汽车技术(沈阳)有限公司 多传感器融合方法、系统及自动驾驶车辆
CN112712729A (zh) * 2019-10-26 2021-04-27 华为技术有限公司 预测运动轨迹的方法和系统
CN113511194A (zh) * 2021-04-29 2021-10-19 无锡物联网创新中心有限公司 一种纵向避撞预警方法及相关装置
CN113763430A (zh) * 2021-09-13 2021-12-07 智道网联科技(北京)有限公司 检测移动目标的方法、装置和计算机可读存储介质
CN114353794A (zh) * 2021-11-25 2022-04-15 深圳市鸿逸达科技有限公司 一种基于配戴式定位装置和距离传感器的融合的目标定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1389710A (zh) * 2002-07-18 2003-01-08 上海交通大学 多传感器多目标信息融合方法
CN103256939B (zh) * 2013-04-15 2015-09-23 李德毅 智能车辆利用变粒度路权雷达图进行信息融合的方法
WO2016048743A1 (en) * 2014-09-22 2016-03-31 Sikorsky Aircraft Corporation Context-based autonomous perception
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1389710A (zh) * 2002-07-18 2003-01-08 上海交通大学 多传感器多目标信息融合方法
CN103256939B (zh) * 2013-04-15 2015-09-23 李德毅 智能车辆利用变粒度路权雷达图进行信息融合的方法
WO2016048743A1 (en) * 2014-09-22 2016-03-31 Sikorsky Aircraft Corporation Context-based autonomous perception
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LI-WEI FONG: ""Multi-sensor track-to-track fusion via linear minimum variance sense estimators"", 《ASIAN JOURNAL OF CONTROL》 *
MATHIAS HABERJAHN ET AL: ""Multi Level Fusion of Competitive Sensors for Automotive Environment Perception"", 《16TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION》 *
MICHAEL AEBERHARD ET AL: ""Track-to-Track Fusion With Asynchronous Sensors Using Information Matrix Fusion for Surround Environment Perception"", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
陈则王 等: ""基于证据理论的车辆组合导航系统的信息融合"", 《吉林大学学报(信息科学版)》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957413A (zh) * 2018-07-20 2018-12-07 重庆长安汽车股份有限公司 传感器目标定位准确度测试方法
CN109074407A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 多源数据建图方法、相关装置及计算机可读存储介质
CN109147322A (zh) * 2018-08-27 2019-01-04 浙江工业大学 一种城市交通大数据处理中多源数据自适应融合方法
CN109711398A (zh) * 2018-12-29 2019-05-03 联想(北京)有限公司 传感器空间关系获取方法、装置和电子设备
CN113261010A (zh) * 2019-01-10 2021-08-13 华为技术有限公司 基于对象轨迹的用于跨域对应的多模态传感器融合方法
WO2020143916A1 (en) * 2019-01-10 2020-07-16 Huawei Technologies Co., Ltd. A method for multi-modal sensor fusion using object trajectories for cross-domain correspondence
CN111652914A (zh) * 2019-02-15 2020-09-11 初速度(苏州)科技有限公司 一种多传感器目标融合、追踪方法及系统
CN111652914B (zh) * 2019-02-15 2022-06-24 魔门塔(苏州)科技有限公司 一种多传感器目标融合、追踪方法及系统
CN109934127A (zh) * 2019-02-27 2019-06-25 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN109934127B (zh) * 2019-02-27 2020-12-15 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN110717504A (zh) * 2019-06-28 2020-01-21 武汉大学 一种基于证据理论融合与多源传感器特征匹配的行人定位方法
CN110443190A (zh) * 2019-07-31 2019-11-12 腾讯科技(深圳)有限公司 一种对象识别方法和装置
CN110443190B (zh) * 2019-07-31 2024-02-02 腾讯科技(成都)有限公司 一种对象识别方法和装置
CN110675418A (zh) * 2019-09-26 2020-01-10 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN112712729A (zh) * 2019-10-26 2021-04-27 华为技术有限公司 预测运动轨迹的方法和系统
CN111950613A (zh) * 2020-07-30 2020-11-17 上海卫星工程研究所 多源引导信息星上实时融合处理方法及系统
CN111950613B (zh) * 2020-07-30 2022-08-12 上海卫星工程研究所 多源引导信息星上实时融合处理方法及系统
CN111783905A (zh) * 2020-09-07 2020-10-16 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备
CN112130136A (zh) * 2020-09-11 2020-12-25 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
CN112130136B (zh) * 2020-09-11 2024-04-12 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
CN112590808A (zh) * 2020-12-23 2021-04-02 东软睿驰汽车技术(沈阳)有限公司 多传感器融合方法、系统及自动驾驶车辆
CN112590808B (zh) * 2020-12-23 2022-05-17 东软睿驰汽车技术(沈阳)有限公司 多传感器融合方法、系统及自动驾驶车辆
CN112598715A (zh) * 2021-03-04 2021-04-02 奥特酷智能科技(南京)有限公司 基于多传感器的多目标跟踪方法、系统及计算机可读介质
CN113511194A (zh) * 2021-04-29 2021-10-19 无锡物联网创新中心有限公司 一种纵向避撞预警方法及相关装置
CN113763430A (zh) * 2021-09-13 2021-12-07 智道网联科技(北京)有限公司 检测移动目标的方法、装置和计算机可读存储介质
CN114353794A (zh) * 2021-11-25 2022-04-15 深圳市鸿逸达科技有限公司 一种基于配戴式定位装置和距离传感器的融合的目标定位方法

Also Published As

Publication number Publication date
CN108280442B (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN108280442A (zh) 一种基于轨迹匹配的多源目标融合方法
US20200312127A1 (en) Method and Apparatus for Determining Driving Strategy of a Vehicle
Song et al. Real-time obstacles detection and status classification for collision warning in a vehicle active safety system
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
CN105711597B (zh) 前方局部行驶环境感知系统及方法
CN111164967B (zh) 图像处理设备和图像处理方法
CN103237685B (zh) 盲区显示装置及方法
US8682531B2 (en) Image processing system and vehicle control system
US8995723B2 (en) Detecting and recognizing traffic signs
US20210089794A1 (en) Vehicle system and method for detecting objects and object distance
CN110371114A (zh) 车辆控制装置、车辆控制方法及存储介质
CN108596081A (zh) 一种基于雷达和摄像机融合的车辆行人探测方法
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
CN111881749B (zh) 基于rgb-d多模态数据的双向人流量统计方法
CN109697420A (zh) 一种面向城市交通的移动目标检测及跟踪方法
CN102712282A (zh) 用于控制车辆的前照灯装置的方法和前照灯装置
Meissner et al. Intersection-based road user tracking using a classifying multiple-model PHD filter
CN110211420A (zh) 判断当前场景是否为停车场的方法、系统及计算机可读存储介质
CN108764108A (zh) 一种基于贝叶斯统计决策的前车检测方法
CN107273816A (zh) 基于车载前视单目相机的交通限速标识检测识别方法
CN109099920A (zh) 基于多传感器关联的传感器目标精确定位方法
CN102712284A (zh) 用于控制车辆的前照灯装置的方法和前照灯装置
CN113029185B (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
CN107133568A (zh) 一种基于车载前视相机的限速提示及超速告警方法
CN108960083A (zh) 基于多传感器信息融合的自动驾驶目标分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant