CN108280442B - 一种基于轨迹匹配的多源目标融合方法 - Google Patents

一种基于轨迹匹配的多源目标融合方法 Download PDF

Info

Publication number
CN108280442B
CN108280442B CN201810138573.9A CN201810138573A CN108280442B CN 108280442 B CN108280442 B CN 108280442B CN 201810138573 A CN201810138573 A CN 201810138573A CN 108280442 B CN108280442 B CN 108280442B
Authority
CN
China
Prior art keywords
target
track
matching
existence
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810138573.9A
Other languages
English (en)
Other versions
CN108280442A (zh
Inventor
孙宏滨
史菊旺
王文秀
冯超
兰旭光
辛景民
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810138573.9A priority Critical patent/CN108280442B/zh
Publication of CN108280442A publication Critical patent/CN108280442A/zh
Application granted granted Critical
Publication of CN108280442B publication Critical patent/CN108280442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轨迹匹配的多源目标融合方法,包括:采用多种传感器采集目标信息;将各传感器采集到的目标信息进行时间配准和空间配准;将图像目标轨迹与其他各种传感器采集到的目标轨迹进行匹配,如果能够匹配成功,则通过图像目标轨迹中的信息补充其他各种传感器中目标轨迹的信息;选择单传感器目标轨迹生成结果以及不同种传感器间的目标匹配结果、轨迹匹配结果作为目标存在性的三个证据,计算得到所述目标存在性的三个证据概率,并将其作为DS证据理论的基本概率分配;应用DS证据理论进行目标存在性融合和类别融合;输出融合结果。本发明能够解决图像目标位置不准确而导致全局目标轨迹频繁中断的问题,可提高准确性和可靠性。

Description

一种基于轨迹匹配的多源目标融合方法
技术领域
本发明属于自动驾驶以及高级辅助驾驶技术领域,特别涉及一种基于轨迹匹配的多源目标融合方法。
背景技术
自动驾驶以及高级辅助驾驶过程中,交通场景下存在多种动态障碍物目标,如车辆、行人、自行车等。动态障碍物目标的速度、类别、位置、朝向等信息,是影响自动驾驶及辅助驾驶安全性和舒适性至关重要的属性信息,尤其是其中的类别信息,关系到控制规划模块的决策准确性。
目前,大多应用不同种类的目标感知传感器来获取动态障碍物目标的各种信息。目标感知传感器多种多样,如激光雷达、相机、毫米波雷达等。目前,随着图像传感器和计算机视觉技术的快速发展,相关的研究主要基于视觉感知方法。与其它传感器相比,视觉感知方法具有检测信息大,价格相对低廉等优点,但对于强光条件、弱光条件等交通场景下,视觉感知方法的感知能力减弱甚至消失,特别是对目标距离的感知能力较差。与视觉感知相比,激光雷达和毫米波雷达对距离的感知较为准确,但对目标类别识别能力较低。综上所述,单一传感器的感知方法普遍存在可靠性低、目标识别信息局限、有效探测范围小等缺点。
现有的多传感器的数据融合技术中,信息矩阵融合(Information MatrixFusion,IMF)方法体现了更好的鲁棒性和精确性,然而,IMF方法直接使用图像目标轨迹与其他传感器目标轨迹进行融合,忽略了图像目标位置感知不准确的问题,可能导致全局融合轨迹的频繁中断。基于DS证据理论的目标存在性和类别融合方法采用单传感器目标的轨迹生成结果和多传感器间目标匹配结果作为两个主要的判别证据,虽然这种方法在传感器融合研究中做出了很大贡献,但其忽略一个重要的证据,即不同传感器间的轨迹匹配结果,这将可能导致仍然无法排除各传感器噪声的干扰,使得目标存在性判别不准确,对后续控制规划模块的决策准确性与行车安全性造成很大的隐患。
发明内容
本发明的目的在于提供一种基于轨迹匹配的多源目标融合方法,以解决上述存在的技术问题。本发明的多源目标融合方法能够提供目标存在性的有力证据,能够解决图像目标位置不准确而导致目标轨迹频繁中断的问题,可提高自动驾驶过程中环境感知的准确性和可靠性。
为了达到上述目的,本发明采用以下技术方案:
一种基于轨迹匹配的多源目标融合方法,包括以下步骤:
步骤1,采用多种传感器采集目标信息,多种传感器中包括用于提供类别信息的图像传感器;
步骤2,采用统一的时间坐标系和地理坐标系,将各传感器采集到的目标信息进行时间配准和空间配准;
步骤3,将图像目标轨迹与其他各种传感器采集到的目标轨迹进行匹配,如果能够匹配成功,则通过图像目标轨迹中的信息补充其他各种传感器中目标轨迹的信息;
步骤4,选择单传感器间目标轨迹生成结果、不同种传感器间目标匹配结果以及轨迹匹配结果作为目标存在性的三个证据,计算得到所述目标存在性的三个证据概率,并将其作为DS证据理论的基本概率分配;
步骤5,应用DS证据理论进行目标存在性融合和类别融合;
步骤6,输出融合结果。
进一步的,步骤2中采用时间同步方法,进行多传感器时间配准,具体包括:采用多线程方式接收各传感器目标数据,建立长度为l的缓冲区,即对每一种传感器数据建立双端队列,连续存储m帧数据;以帧率最小的传感器的目标数据时间为基准时间,即取该传感器目标队列末端数据,在其他种类的传感器的目标队列中找出和基准时间相差最小的数据,一起作为时间同步数据;实现各传感器目标信息的时间配准。
进一步的,步骤2中空间配准的方法具体包括:预设置全局参考坐标系中心,利用各传感器局部坐标系和全局参考坐标系间的转换关系,将这些传感器的数据信息映射到一个共同的坐标系中,实现各传感器目标信息的空间配准。
进一步的,步骤3中,如果图像目标轨迹与另一传感器目标轨迹匹配成功,则通过所述图像目标轨迹上的信息对所述另一传感器上的所述目标轨迹上的全部目标信息进行补充;通过所述图像目标轨迹补充的信息随着所述另一传感器上的所述目标轨迹的持续性不断地传递下去。
进一步的,步骤3中,如果轨迹匹配成功,通过图像目标轨迹向其他种类传感器的目标轨迹补充类别信息。
进一步的,步骤4中,将目标在传感器中是否已匹配到轨迹、目标是否匹配到其它传感器中的同一目标以及目标所在轨迹是否已匹配到其他传感器中的同一轨迹作为判别目标存在性的三个证据,所述三个证据分别来自单传感器轨迹生成结果以及多传感器目标匹配结果、轨迹匹配结果。
进一步的,步骤4中,多传感器目标匹配结果证据生成的具体方法包括:通过将各传感器目标信息进行时间配准和空间配准后得到的初始化目标状态信息,利用匈牙利算法,首先初始化权值矩阵,不同传感器的目标间的欧氏距离作为矩阵中的权值,然后通过寻找完备匹配进行多传感器间的目标匹配;A代表命题目标存在,Θ代表命题目标存在性不确定,多传感器间目标匹配结果证据的基本置信概率的计算公式为:
Figure BDA0001576994690000041
m1(Θ)=1-m1(A)
(2)其中,m1(A)为目标匹配结果作为命题目标存在证据的置信概率,m1(Θ)为目标匹配结果作为命题目标存在性不确定证据的置信概率,e为自然常数;
Figure BDA0001576994690000042
定义为:
Figure BDA0001576994690000043
其中,0<ε<0.1;
Figure BDA0001576994690000044
为临界距离,
Figure BDA0001576994690000045
di,j为来自不同传感器的目标i,j之间的距离,若
Figure BDA0001576994690000046
则单传感器间目标匹配成功。
进一步的,步骤4中,单传感器轨迹生成结果证据生成的具体方法为:通过将传感器目标信息进行时间配准和空间配准后得到初始化的目标状态信息,利用匈牙利算法,首先初始化权值矩阵,目标位置与其已匹配轨迹上一帧目标位置的欧式距离初始化权值矩阵,然后通过寻找完备匹配进行单传感器间目标与轨迹的匹配,匹配成功后更新当前目标轨迹;
A代表命题目标存在,Θ代表命题目标存在性不确定,目标轨迹生成结果证据的基本置信概率的计算公式为:
Figure BDA0001576994690000047
m2(Θ)=1-m2(A)
(5)其中,m2(A)为轨迹生成结果作为命题目标存在证据的基本置信概率,m2(Θ)为轨迹生成结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,
Figure BDA0001576994690000048
定义为
Figure BDA0001576994690000049
其中,0<ε<0.1,
Figure BDA0001576994690000051
为与目标速度有关的临界距离,
Figure BDA0001576994690000052
davg计算公式为:
Figure BDA0001576994690000053
其中,k为当前帧的时间戳,n-1为匹配到的轨迹长度,(xi-1,yi-1)为当前轨迹上第i-1帧对应目标的位置信息,(xi,yi)为当前轨迹上第i帧对应目标的位置信息。
进一步的,步骤4中,轨迹匹配结果证据生成的具体方法为:求出不同种类传感器间两条目标轨迹的平均欧氏距离dt2t,若小于临界距离,则匹配成功,作为存在性融合的证据;
A代表命题目标存在,Θ代表命题目标存在性不确定,轨迹匹配结果证据的基本置信概率的计算公式为:
Figure BDA0001576994690000054
m3(Θ)=1-m3(A)
(9)其中,m3(A)为轨迹匹配结果作为命题目标存在证据的基本置信概率,m3(Θ)为轨迹匹配结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,
Figure BDA0001576994690000055
计算公式为
Figure BDA0001576994690000056
其中,0<ε<0.1,
Figure BDA0001576994690000057
为临界距离,
Figure BDA0001576994690000058
dt2t为两条轨迹的平均欧氏距离,即
Figure BDA0001576994690000059
其中,ki为当前帧的时间戳,i,j代表不同传感器,n为轨迹长度,
Figure BDA00015769946900000510
为传感器i对应轨迹中第ki时刻目标的位置信息,
Figure BDA00015769946900000511
为传感器j对应轨迹中第ki时刻目标的位置信息。
进一步的,步骤5中,目标存在性融合具体方法为:
(5.1)将目标存在与否作为DS理论识别框架Ω中的命题,单传感器目标轨迹生成结果以及多传感器间的目标的匹配结果、轨迹匹配结果作为目标存在性的三个证据;
(5.2)A代表命题目标存在,Θ代表命题目标存在性不确定,则Ω={A,Θ};步骤(5.1)中的三个证据支持命题A和Θ发生的程度,即可得到A和Θ的基本概率赋值;将所述三个证据利用DS证据理论的组合规则合并,产生总体的可信度分配,计算公式为:
Figure BDA0001576994690000061
Figure BDA0001576994690000062
其中,C1,C2,C3
Figure BDA0001576994690000064
Ω,K为归一化常数,计算公式为:
Figure BDA0001576994690000063
(5.3)根据步骤(5.1)的融合结果对目标存在性进行判断:当m(A)-m(Θ)>ε1时,则该目标存在;否则,不确定目标存在与否;其中,0<ε1<0.2。
相比于现有技术,本发明具有以下有益效果:
本发明采用基于轨迹匹配的多传感目标融合技术对动态目标进行感知识别,提供一种多传感器数据融合的实现方法,该方法在具有图像传感器加入的多传感器融合的目标探测、跟踪和识别上具有突出的优势。第一,可以有效地解决多源数据融合过程中图像目标感知距离不准确导致的轨迹频繁中断问题,降低目标信息模糊度和提高识别目标信息可信度,且充分利用图像优秀的目标类别识别能力;第二,能够数倍地扩大捕捉和跟踪时空覆盖范围;第三,除了使用单个传感器目标轨迹生成结果和多传感器间目标匹配结果作为目标存在性判别的证据外,发现并使用了多传感器轨迹匹配结果作为目标存在性判别的有力证据,提高了判断准确性。
附图说明
图1是本发明的一种基于轨迹匹配的多源目标融合方法的流程示意框图;
图2是图1中时间配准示意图;
图3是图像信息传递的流程示意框图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。
参考图1至图3,本发明的一种基于轨迹匹配的多源目标融合方法,包括以下步骤:
步骤1,采用多种传感器采集目标信息,多种传感器中包括用于提供类别信息的图像传感器、8线激光雷达、16线激光雷达、毫米波雷达等。图像传感器选用相机。
步骤2,采用统一的时间坐标系和地理坐标系,将各传感器采集到的目标信息进行时间配准和空间配准。也就是各传感器目标信息采用统一的时间坐标系和地理坐标系进行时空对齐,获得统一的目标状态向量。
参考图2,步骤2中采用时间同步方法,进行多传感器时间配准,具体包括:采用多线程方式接收各传感器目标数据,建立长度为l的缓冲区,即对每一种传感器数据建立双端队列,连续存储m帧数据;以帧率最小的传感器的目标数据时间为基准时间,即取该传感器目标队列末端数据,在其他种类的传感器的目标队列中找出和基准时间相差最小的数据,一起作为时间同步数据输入下一处理模块;实现各传感器目标信息的时间配准。
步骤2中空间配准的方法具体包括:预设置全局参考坐标系中心,利用各传感器局部坐标系和全局参考坐标系间的转换关系,将这些传感器的数据信息映射到一个共同的坐标系中,实现各传感器目标信息的空间配准。
步骤3,将图像目标轨迹与其他各种传感器采集到的目标轨迹进行匹配,如果能够匹配成功,则通过图像目标轨迹中的信息补充其他各种传感器中目标轨迹的信息;如果匹配不成功则不需要将类别信息补入其他各种传感器中目标轨迹,需要重新采集图像目标轨迹。
如果图像目标轨迹与另一传感器目标轨迹匹配成功,则通过所述图像目标轨迹上的信息对所述另一传感器上的所述目标轨迹上的全部目标信息进行补充;通过所述图像目标轨迹补充的信息随着所述另一传感器上的所述目标轨迹的持续性不断地传递下去,也就是若下一帧有目标匹配到该轨迹,则该目标信息可利用这条轨迹上已匹配到的图像信息进行补充,使得该轨迹上的图像信息随着轨迹的持续性不断地传递下去。如果轨迹匹配成功,通过图像目标轨迹向其他种类传感器的目标轨迹补充类别信息。一旦图像目标轨迹与另一传感器目标轨迹匹配成功,则对该传感器的这条轨迹上的所有目标信息进行补充,并随着轨迹的持续性不断地传递下去,而不需要将图像目标融合到全局轨迹中,解决了图像目标位置不准确导致的轨迹频繁中断问题。
步骤4,选择单传感器轨迹生成结果、不同种传感器间的目标匹配结果以及轨迹匹配结果作为目标存在性的三个证据,计算得到所述目标存在性的三个证据概率,并将其作为DS证据理论的基本概率分配;将目标在传感器中是否已匹配到轨迹、目标是否匹配到其它传感器中的同一目标以及目标所在轨迹是否已匹配到其他传感器中的同一轨迹作为判别目标存在性的三个证据,所述三个证据分别来自单传感器轨迹生成结果以及多传感器目标匹配结果、轨迹匹配结果。即:计算得到目标存在性和类别的三个证据概率,作为DS证据理论的基本概率分配;本发明除了利用单传感器目标轨迹生成结果、多传感器间目标匹配结果作为目标存在性的判别证据,还利用了多传感器间轨迹匹配结果作为更有力的判别证据,即三个证据分别为该目标在所属传感器中是否已匹配到轨迹、该目标是否匹配到其它传感器中的同一目标、该目标所在轨迹是否已匹配到其他传感器中的同一轨迹。
步骤4中,多传感器目标匹配结果证据生成的具体方法包括:通过将各传感器目标信息进行时间配准和空间配准后得到的初始化目标状态信息,利用匈牙利算法,首先初始化权值矩阵,不同传感器的目标间的欧氏距离作为矩阵中的权值,然后通过寻找完备匹配进行多传感器间的目标匹配;
A代表命题目标存在,Θ代表命题目标存在性不确定,多传感器间目标匹配结果证据的基本置信概率的计算公式为:
Figure BDA0001576994690000091
m1(Θ)=1-m1(A)
(2)其中,m1(A)为目标匹配结果作为命题目标存在证据的置信概率,m1(Θ)为目标匹配结果作为命题目标存在性不确定证据的置信概率,e为自然常数,约为2.71828;
Figure BDA0001576994690000092
定义为:
Figure BDA0001576994690000093
其中,ε是接近于0的常量,0<ε<0.1;
Figure BDA0001576994690000094
为临界距离,
Figure BDA0001576994690000095
di,j为来自不同传感器的目标i,j之间的距离,若
Figure BDA0001576994690000096
则单传感器间目标匹配成功。
步骤4中,单传感器轨迹生成结果证据生成的具体方法为:通过将传感器目标信息进行时间配准和空间配准后得到初始化的目标状态信息,利用匈牙利算法,首先初始化权值矩阵,目标位置与其已匹配轨迹上一帧目标位置的欧式距离初始化权值矩阵,然后通过寻找完备匹配进行单传感器间目标与轨迹的匹配,匹配成功后更新当前目标轨迹;
A代表命题目标存在,Θ代表命题目标存在性不确定,目标轨迹生成结果证据的基本置信概率的计算公式为:
Figure BDA0001576994690000097
m2(Θ)=1-m2(A)
(6)其中,m2(A)为轨迹生成结果作为命题目标存在证据的基本置信概率,m2(Θ)为轨迹生成结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,
Figure BDA0001576994690000101
定义为
Figure BDA0001576994690000102
其中,0<ε<0.1,
Figure BDA0001576994690000103
为与目标速度有关的临界距离,
Figure BDA0001576994690000104
davg计算公式为:
Figure BDA0001576994690000105
其中,k为当前帧的时间戳,n-1为匹配到的轨迹长度,(xi-1,yi-1)为当前轨迹上第i-1帧对应目标的位置信息,(xi,yi)为当前轨迹上第i帧对应目标的位置信息。
步骤4中,轨迹匹配结果证据生成的具体方法为:求出不同种类传感器间两条目标轨迹的平均欧氏距离dt2t,若小于临界距离,则匹配成功,作为存在性融合的证据;
A代表命题目标存在,Θ代表命题目标存在性不确定,轨迹匹配结果证据的基本置信概率的计算公式为:
Figure BDA0001576994690000106
m3(Θ)=1-m3(A)
(10)其中,m3(A)为轨迹匹配结果作为命题目标存在证据的基本置信概率,m3(Θ)为轨迹匹配结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,
Figure BDA0001576994690000107
计算公式为
Figure BDA0001576994690000108
其中,0<ε<0.1,
Figure BDA0001576994690000109
为临界距离,
Figure BDA00015769946900001010
dt2t为两条轨迹的平均欧氏距离,即
Figure BDA0001576994690000111
其中,ki为当前帧的时间戳,i,j代表不同传感器,n为轨迹长度,
Figure BDA0001576994690000112
为传感器i对应轨迹中第ki时刻目标的位置信息,
Figure BDA0001576994690000113
为传感器j对应轨迹中第ki时刻目标的位置信息。
步骤5,应用DS证据理论进行目标存在性融合和类别融合;同时,利用信息融合矩阵对全局目标轨迹进行更新。
DS证据理论(Dempster-Shafer evidential theory)能够处理由于信息不准确引起的不确定性,也能够处理由于不知道的因素引起的不确定性,通过合并多重证据从而做出决策,对推理进行合理的信息论解释,是一种决策理论。
步骤5中,目标存在性融合具体方法为:
(5.1)将目标存在与否作为DS理论识别框架Ω中的命题,单传感器目标轨迹生成结果以及多传感器间的目标的匹配结果、轨迹匹配结果作为目标存在性的三个证据;
(5.2)A代表命题目标存在,B代表命题目标不存在,由于遮挡以及传感器自身测量问题,我们无法找到证据证明目标不存在,即m(B)=0,所以设Θ代表命题目标存在性不确定,则Ω={A,Θ};步骤(5.1)中的三个证据支持命题A和Θ发生的程度,即可得到A和Θ的基本概率赋值;将所述三个证据利用DS证据理论的组合规则合并,产生总体的可信度分配,计算公式为:
Figure BDA0001576994690000114
Figure BDA0001576994690000115
其中,C1,C2,C3
Figure BDA0001576994690000116
Ω,K为归一化常数,计算公式为:
Figure BDA0001576994690000121
(5.3)根据步骤(5.1)的融合结果对目标存在性进行判断:当m(A)-m(Θ)>ε1时,则该目标存在;否则,不确定目标存在与否;其中,0<ε1<0.2。
在类别融合中,我们把障碍物类别简化为三大类,即行人、非机动车和机动车,所以DS理论识别框架Ω定义为
Ω={nmvec,ped,mvec}
其中nmvec代表非机动车,ped代表行人,mvec代表机动车。利用DS证据理论组合规则与判别规则进行类别融合的方法与存在性融合方法类似,可得到目标最终的类别判别信息。
步骤6,输出融合结果。
本发明能够提供目标存在性的有力证据,能够解决图像目标位置不准确而导致目标轨迹频繁中断的问题,可提高自动驾驶过程中环境感知的准确性和可靠性。
最后应说明的是,以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在本技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于轨迹匹配的多源目标融合方法,其特征在于,包括以下步骤:
步骤1,采用多种传感器采集目标信息,多种传感器中包括用于提供类别信息的图像传感器;
步骤2,采用统一的时间坐标系和地理坐标系,将各传感器采集到的目标信息进行时间配准和空间配准;
步骤3,将图像目标轨迹与其他各种传感器采集到的目标轨迹进行匹配,如果能够匹配成功,则通过图像目标轨迹中的信息补充其他各种传感器中目标轨迹的信息;
步骤4,选择单传感器间目标轨迹生成结果、不同种传感器间目标匹配结果以及轨迹匹配结果作为目标存在性的三个证据,计算得到所述目标存在性的三个证据概率,并将其作为DS证据理论的基本概率分配;
步骤5,应用DS证据理论进行目标存在性融合和类别融合;在类别融合中,把障碍物类别简化为行人、非机动车和机动车;
DS理论识别框架Ω定义为Ω={nmvec,ped,mvec};
其中,nmvec代表非机动车,ped代表行人,mvec代表机动车;利用DS证据理论组合规则与判别规则进行类别融合;
步骤6,输出融合结果。
2.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤2中采用时间同步方法,进行多传感器时间配准,具体包括:采用多线程方式接收各传感器目标数据,建立长度为l的缓冲区,即对每一种传感器数据建立双端队列,连续存储m帧数据;以帧率最小的传感器的目标数据时间为基准时间,即取该传感器目标队列末端数据,在其他种类的传感器的目标队列中找出和基准时间相差最小的数据,一起作为时间同步数据;实现各传感器目标信息的时间配准。
3.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤2中空间配准的方法具体包括:预设置全局参考坐标系中心,利用各传感器局部坐标系和全局参考坐标系间的转换关系,将这些传感器的数据信息映射到一个共同的坐标系中,实现各传感器目标信息的空间配准。
4.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤3中,如果图像目标轨迹与另一传感器目标轨迹匹配成功,则通过所述图像目标轨迹上的信息对所述另一传感器上的所述目标轨迹上的全部目标信息进行补充;通过所述图像目标轨迹补充的信息随着所述另一传感器上的所述目标轨迹的持续性不断地传递下去。
5.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤3中,如果轨迹匹配成功,通过图像目标轨迹向其他种类传感器的目标轨迹补充类别信息。
6.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤4中,将目标在传感器中是否已匹配到轨迹、目标是否匹配到其它传感器中的同一目标以及目标所在轨迹是否已匹配到其他传感器中的同一轨迹作为判别目标存在性的三个证据,所述三个证据分别来自单传感器轨迹生成结果以及多传感器目标匹配结果、轨迹匹配结果。
7.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤4中,多传感器目标匹配结果证据生成的具体方法包括:通过将各传感器目标信息进行时间配准和空间配准后得到的初始化目标状态信息,利用匈牙利算法,首先初始化权值矩阵,不同传感器的目标间的欧氏距离作为矩阵中的权值,然后通过寻找完备匹配进行多传感器间的目标匹配;
A代表命题目标存在,Θ代表命题目标存在性不确定,多传感器间目标匹配结果证据的基本置信概率的计算公式为:
Figure FDA0002474360540000021
m1(Θ)=1-m1(A) (2)
其中,m1(A)为目标匹配结果作为命题目标存在证据的置信概率,m1(Θ)为目标匹配结果作为命题目标存在性不确定证据的置信概率,e为自然常数;
Figure FDA0002474360540000031
定义为:
Figure FDA0002474360540000032
其中,0<ε<0.1;
Figure FDA0002474360540000033
为临界距离,
Figure FDA0002474360540000034
di,j为来自不同传感器的目标i,j之间的距离,若
Figure FDA0002474360540000035
则单传感器间目标匹配成功。
8.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤4中,单传感器轨迹生成结果证据生成的具体方法为:通过将传感器目标信息进行时间配准和空间配准后得到初始化的目标状态信息,利用匈牙利算法,首先初始化权值矩阵,目标位置与其已匹配轨迹上一帧目标位置的欧式距离初始化权值矩阵,然后通过寻找完备匹配进行单传感器间目标与轨迹的匹配,匹配成功后更新当前目标轨迹;
A代表命题目标存在,Θ代表命题目标存在性不确定,目标轨迹生成结果证据的基本置信概率的计算公式为:
Figure FDA0002474360540000036
m2(Θ)=1-m2(A) (5)
其中,m2(A)为轨迹生成结果作为命题目标存在证据的基本置信概率,m2(Θ)为轨迹生成结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,
Figure FDA0002474360540000037
定义为
Figure FDA0002474360540000038
其中,0<ε<0.1,
Figure FDA0002474360540000039
为与目标速度有关的临界距离,
Figure FDA00024743605400000310
davg计算公式为:
Figure FDA0002474360540000041
其中,k为当前帧的时间戳,n-1为匹配到的轨迹长度,(xi-1,yi-1)为当前轨迹上第i-1帧对应目标的位置信息,(xi,yi)为当前轨迹上第i帧对应目标的位置信息。
9.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤4中,轨迹匹配结果证据生成的具体方法为:求出不同种类传感器间两条目标轨迹的平均欧氏距离dt2t,若小于临界距离,则匹配成功,作为存在性融合的证据;
A代表命题目标存在,Θ代表命题目标存在性不确定,轨迹匹配结果证据的基本置信概率的计算公式为:
Figure FDA0002474360540000042
m3(Θ)=1-m3(A) (9)
其中,m3(A)为轨迹匹配结果作为命题目标存在证据的基本置信概率,m3(Θ)为轨迹匹配结果作为命题目标存在性不确定证据的基本置信概率,e为自然常数,
Figure FDA0002474360540000043
计算公式为
Figure FDA0002474360540000044
其中,0<ε<0.1,
Figure FDA0002474360540000045
为临界距离,
Figure FDA0002474360540000046
dt2t为两条轨迹的平均欧氏距离,即
Figure FDA0002474360540000047
其中,ki为当前帧的时间戳,i,j代表不同传感器,n为轨迹长度,
Figure FDA0002474360540000048
为传感器i对应轨迹中第ki时刻目标的位置信息,
Figure FDA0002474360540000049
为传感器j对应轨迹中第ki时刻目标的位置信息。
10.根据权利要求1所述的一种基于轨迹匹配的多源目标融合方法,其特征在于,步骤5中,目标存在性融合具体方法为:
(5.1)将目标存在与否作为DS理论识别框架Ω中的命题,单传感器目标轨迹生成结果以及多传感器间的目标的匹配结果、轨迹匹配结果作为目标存在性的三个证据;
(5.2)A代表命题目标存在,Θ代表命题目标存在性不确定,则Ω={A,Θ};步骤(5.1)中的三个证据支持命题A和Θ发生的程度,即可得到A和Θ的基本概率赋值;将所述三个证据利用DS证据理论的组合规则合并,产生总体的可信度分配,计算公式为:
Figure FDA0002474360540000051
Figure FDA0002474360540000052
其中,C1,C2,
Figure FDA0002474360540000054
K为归一化常数,计算公式为:
Figure FDA0002474360540000053
(5.3)根据步骤(5.1)的融合结果对目标存在性进行判断:当m(A)-m(Θ)>ε1时,则该目标存在;否则,不确定目标存在与否;其中,0<ε1<0.2。
CN201810138573.9A 2018-02-10 2018-02-10 一种基于轨迹匹配的多源目标融合方法 Active CN108280442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810138573.9A CN108280442B (zh) 2018-02-10 2018-02-10 一种基于轨迹匹配的多源目标融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810138573.9A CN108280442B (zh) 2018-02-10 2018-02-10 一种基于轨迹匹配的多源目标融合方法

Publications (2)

Publication Number Publication Date
CN108280442A CN108280442A (zh) 2018-07-13
CN108280442B true CN108280442B (zh) 2020-07-28

Family

ID=62808272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810138573.9A Active CN108280442B (zh) 2018-02-10 2018-02-10 一种基于轨迹匹配的多源目标融合方法

Country Status (1)

Country Link
CN (1) CN108280442B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957413A (zh) * 2018-07-20 2018-12-07 重庆长安汽车股份有限公司 传感器目标定位准确度测试方法
WO2020019116A1 (zh) * 2018-07-23 2020-01-30 深圳前海达闼云端智能科技有限公司 多源数据建图方法、相关装置及计算机可读存储介质
CN109147322B (zh) * 2018-08-27 2020-06-23 浙江工业大学 一种城市交通大数据处理中多源数据自适应融合方法
CN109711398B (zh) * 2018-12-29 2021-02-19 联想(北京)有限公司 传感器空间关系获取方法、装置和电子设备
WO2020143916A1 (en) * 2019-01-10 2020-07-16 Huawei Technologies Co., Ltd. A method for multi-modal sensor fusion using object trajectories for cross-domain correspondence
CN111652914B (zh) * 2019-02-15 2022-06-24 魔门塔(苏州)科技有限公司 一种多传感器目标融合、追踪方法及系统
CN109934127B (zh) * 2019-02-27 2020-12-15 电子科技大学 基于视频图像与无线信号的行人识别与跟踪方法
CN110717504A (zh) * 2019-06-28 2020-01-21 武汉大学 一种基于证据理论融合与多源传感器特征匹配的行人定位方法
CN110443190B (zh) * 2019-07-31 2024-02-02 腾讯科技(成都)有限公司 一种对象识别方法和装置
CN110675418B (zh) * 2019-09-26 2023-04-18 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN112712729B (zh) * 2019-10-26 2023-01-06 华为技术有限公司 预测运动轨迹的方法和系统
CN111950613B (zh) * 2020-07-30 2022-08-12 上海卫星工程研究所 多源引导信息星上实时融合处理方法及系统
CN111783905B (zh) * 2020-09-07 2021-01-08 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备
CN112130136B (zh) * 2020-09-11 2024-04-12 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
CN112590808B (zh) * 2020-12-23 2022-05-17 东软睿驰汽车技术(沈阳)有限公司 多传感器融合方法、系统及自动驾驶车辆
CN112598715A (zh) * 2021-03-04 2021-04-02 奥特酷智能科技(南京)有限公司 基于多传感器的多目标跟踪方法、系统及计算机可读介质
CN113511194A (zh) * 2021-04-29 2021-10-19 无锡物联网创新中心有限公司 一种纵向避撞预警方法及相关装置
CN114353794A (zh) * 2021-11-25 2022-04-15 深圳市鸿逸达科技有限公司 一种基于配戴式定位装置和距离传感器的融合的目标定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1389710A (zh) * 2002-07-18 2003-01-08 上海交通大学 多传感器多目标信息融合方法
CN103256939B (zh) * 2013-04-15 2015-09-23 李德毅 智能车辆利用变粒度路权雷达图进行信息融合的方法
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3198524B1 (en) * 2014-09-22 2023-05-10 Sikorsky Aircraft Corporation Context-based autonomous perception

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1389710A (zh) * 2002-07-18 2003-01-08 上海交通大学 多传感器多目标信息融合方法
CN103256939B (zh) * 2013-04-15 2015-09-23 李德毅 智能车辆利用变粒度路权雷达图进行信息融合的方法
CN105930791A (zh) * 2016-04-19 2016-09-07 重庆邮电大学 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN107031600A (zh) * 2016-10-19 2017-08-11 东风汽车公司 基于高速公路的自动驾驶系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Multi Level Fusion of Competitive Sensors for Automotive Environment Perception";Mathias Haberjahn et al;《16th International Conference on Information Fusion》;20130712;全文 *
"Multi-sensor track-to-track fusion via linear minimum variance sense estimators";Li-Wei Fong;《Asian Journal of Control》;20080531;第3卷(第10期);全文 *
"Track-to-Track Fusion With Asynchronous Sensors Using Information Matrix Fusion for Surround Environment Perception";Michael Aeberhard et al;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20120621;第13卷(第4期);全文 *
"基于证据理论的车辆组合导航系统的信息融合";陈则王 等;《吉林大学学报(信息科学版)》;20060131;第24卷(第1期);全文 *

Also Published As

Publication number Publication date
CN108280442A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
CN108280442B (zh) 一种基于轨迹匹配的多源目标融合方法
Chiu et al. Probabilistic 3D multi-modal, multi-object tracking for autonomous driving
CN109086788B (zh) 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统
CN110389348B (zh) 基于激光雷达与双目相机的定位与导航方法及装置
WO2020052540A1 (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
CN111554088A (zh) 一种多功能v2x智能路侧基站系统
Fu et al. Robust real-time vision-based aircraft tracking from unmanned aerial vehicles
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN115372958A (zh) 一种基于毫米波雷达和单目视觉融合的目标检测和跟踪方法
CN112396650A (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
Rawashdeh et al. Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
Kumar et al. Indoor localization of vehicles using deep learning
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
Gies et al. Environment perception framework fusing multi-object tracking, dynamic occupancy grid maps and digital maps
CN114913206A (zh) 一种基于多模态融合的多目标跟踪的方法和系统
CN114119659A (zh) 一种多传感器融合的目标跟踪方法
CN114088081A (zh) 一种基于多段联合优化的用于精确定位的地图构建方法
Muresan et al. Multimodal sparse LIDAR object tracking in clutter
Dinesh Kumar et al. Stereo camera and LIDAR sensor fusion-based collision warning system for autonomous vehicles
Diaz-Ruiz et al. Vision-only 3d tracking for self-driving cars

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant