CN116430375A - 一种多传感器融合的多目标跟踪方法及对应的系统 - Google Patents

一种多传感器融合的多目标跟踪方法及对应的系统 Download PDF

Info

Publication number
CN116430375A
CN116430375A CN202310206949.6A CN202310206949A CN116430375A CN 116430375 A CN116430375 A CN 116430375A CN 202310206949 A CN202310206949 A CN 202310206949A CN 116430375 A CN116430375 A CN 116430375A
Authority
CN
China
Prior art keywords
target
obstacle
tracking
detection
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310206949.6A
Other languages
English (en)
Inventor
王军德
乔小丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kotei Informatics Co Ltd
Original Assignee
Wuhan Kotei Informatics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kotei Informatics Co Ltd filed Critical Wuhan Kotei Informatics Co Ltd
Priority to CN202310206949.6A priority Critical patent/CN116430375A/zh
Publication of CN116430375A publication Critical patent/CN116430375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种多传感器融合的多目标跟踪方法及对应的系统，方法包括：分别获取车载相机和超声波雷达检测的同帧的障碍物目标信息，并进行融合处理，构成当前帧的目标检测集合；基于加权二分图匹配KM算法将目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，得到每一个障碍物目标的最优估计位置，并对目标跟踪器列表中的障碍物目标进行更新。本发明在空域上，获取同帧多个传感器数据之间的内在联系和规律，剔除无用和错误的信息，保留正确和有用的成分；时域上，对多目标进行关联跟踪，实现跨帧跟踪目标并得到最优估计位置，解决障碍物输出精度低及鲁棒性差等问题，保障自动泊车系统的可靠性、安全性及实时性。

Description

一种多传感器融合的多目标跟踪方法及对应的系统
技术领域
本发明涉及自动泊车领域，更具体地，涉及一种多传感器融合的多目标跟踪方法及对应的系统。
背景技术
泊车系统是通过遍布车辆周围的传感器探测车辆周围环境信息和有效泊车空间，并规划泊车路径，控制车辆的转向和加减速，完成泊车操作的功能。但整个过程受传感器精度的影响、通信网络的延迟及车身多传感器采集到的数据属于不同时空维度，数据易出现误检、漏检及坐标准确度低等现象，导致决策规控模块无法根据障碍物提取有效车位，也有可能导致泊车系统紧急制动。
因此，在提供给决策规控模块使用之前，需对感知数据进行融合处理。如何高效准确地挖掘和提取车载相机和超声波雷达在不同时空维度的数据实现对车辆周围环境信息进行快速融合检测、识别，提高障碍物检测的实时性和准确性，为后续路径规划、决策控制提供有力依据。
传统方法对障碍物的后处理主要是将车载相机与超声波传感器输出的障碍物直接融合，因多传感器在不同时空维度上数据输出易出现交替状况，导致融合输出结果精度低。
发明内容
本发明针对现有技术中存在的技术问题，提供一种多传感器融合的多目标跟踪方法及对应的系统。
根据本发明的第一方面，提供了一种多传感器融合的多目标跟踪方法，包括：
分别获取车载相机和超声波雷达检测的同帧的障碍物目标信息；
将车载相机检测的障碍物目标信息和超声波雷达检测的障碍物目标信息进行融合处理，构成当前帧的目标检测集合，所述目标检测集合中包括每一个检测目标的位置；
基于加权二分图匹配KM算法将所述当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，通过卡尔曼滤波方法更新目标跟踪器列表中的障碍物目标，得到当前帧的每一个障碍物目标的最优估计位置。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述将车载相机检测的障碍物目标信息和超声波雷达检测的障碍物目标信息进行融合处理，包括：
将超声波雷达检测的障碍物点数据按照设定规则进行融框处理，获得每一个障碍物目标框；
分别将未融合成功的障碍物点数据以及融合成功的障碍物目标框均与车载相机检测的障碍物目标框进行匹配融合，构成当前帧的目标检测集合。
可选的，还包括：
为检测目标创建跟踪器，基于第一帧障碍物目标检测数据，对卡尔曼滤波器的各个矩阵进行初始化操作，并获取每一个障碍物目标的状态向量，所述状态向量中包括障碍物目标的位置信息、障碍物目标ID以及障碍物目标的类型；
基于多帧障碍物目标的状态向量，构建目标跟踪器列表。
可选的，所述基于加权二分图匹配KM算法将所述当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，包括：
对所述目标跟踪器列表中的每一个跟踪目标进行预测；
计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的关联矩阵；
基于所述关联矩阵获取目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的最优匹配，获取匹配的每一个障碍物目标的最优估计位置。
可选的，所述计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的关联矩阵，包括：
对于障碍物点数据，基于欧式距离计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的每一个跟踪目标的欧式距离；
对于障碍物目标框，计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的每一个跟踪目标的交并比；
相应的，基于所述关联矩阵获取目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的最优匹配，包括：
对于当前帧的目标检测集合中的任一个检测目标，将目标跟踪器列表中与其欧式距离满足第一设定阈值且最小或交并比满足第二设定阈值且最大的跟踪目标作为匹配对。
可选的，所述对所述目标跟踪器列表中的障碍物目标进行更新，包括：
对于目标检测集合和目标跟踪器列表中匹配上的障碍物目标，对目标跟踪器列表中的障碍物目标的状态向量进行更新；
如果目标检测集合中的任一个检测目标与目标跟踪器列表中的跟踪目标连续四次匹配成功，则将所述跟踪目标定义为确定态；否则，定义为不确定态；
当目标检测集合中的检测目标与目标跟踪器列表中的任何一个跟踪目标均匹配失败，则将该检测目标添加到目标跟踪器列表中；
如果跟踪器对跟踪目标连续六次跟踪失败，且该跟踪目标为确定态，则将该跟踪目标删除；
如果跟踪器对跟踪目标连续一次跟踪失败，且该跟踪目标为不确定态，则将该跟踪目标删除。
根据本发明的第二方面，提供一种多传感器融合的多目标跟踪系统，包括：
获取模块，用于分别获取车载相机和超声波雷达检测的同帧的障碍物目标信息；
融合处理模块，用于将车载相机检测的障碍物目标信息和超声波雷达检测的障碍物目标信息进行融合处理，构成当前帧的目标检测集合，所述目标检测集合中包括每一个检测目标的位置；
匹配更新模块，用于基于加权二分图匹配KM算法将所述当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，得到每一个障碍物目标的最优估计位置，并对所述目标跟踪器列表中的障碍物目标进行更新。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现多传感器融合的多目标跟踪方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现多传感器融合的多目标跟踪方法的步骤。
本发明提供的一种多传感器融合的多目标跟踪方法及对应的系统，在空域上，获取同帧多个传感器数据之间的内在联系和规律，剔除无用和错误的信息，保留正确和有用的成分；时域上，对多目标进行关联跟踪，实现跨帧跟踪目标并得到最优估计位置，解决障碍物输出精度低及鲁棒性差等问题，保障自动泊车系统的可靠性、安全性及实时性。
附图说明
图1为本发明提供的一种多传感器融合的多目标跟踪方法流程图；
图2为多传感器融合的多目标跟踪方法的整体流程图；
图3为本发明提供的一种多传感器融合的多目标跟踪系统的结构示意图；
图4为本发明提供的一种可能的电子设备的硬件结构示意图；
图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
针对自动泊车系统障碍物检测误差大、鲁棒性差等问题，本发明提出一种多传感融合多目标跟踪方法，本发明专利属于自动泊车辅助系统的融合跟踪范畴，是智能化自动泊车系统必不可少的组成部分之一。该方法首先将车载相机与超声波雷达检测到的目标进行融合处理，将融合后的信息传入卡尔曼滤波算法中进行目标关联并得到当前目标最优估计位置，解决障碍物输出信息精度低及鲁棒性差等问题。
图1为本发明提供的一种多传感器融合的多目标跟踪方法，分别参见图1和图2，该多传感器融合的多目标跟踪方法主要包括以下步骤：
S1，分别获取车载相机和超声波雷达检测的同帧的障碍物目标信息。
可理解的是，对于多传感器检测到的障碍物信息，需要进行融合处理。其中，本发明中主要是通过超声波雷达检测车辆周围的环境信息和通过车载相机检测车辆周围的环境信息。在空域上，获取当前帧车载相机和超声波雷达检测到的2D障碍物信息。
S2，将车载相机检测的障碍物目标信息和超声波雷达检测的障碍物目标信息进行融合处理，构成当前帧的目标检测集合，所述目标检测集合中包括每一个检测目标的位置。
作为实施例，所述将车载相机检测的障碍物目标信息和超声波雷达检测的障碍物目标信息进行融合处理，包括：将超声波雷达检测的障碍物点数据按照设定规则进行融框处理，获得每一个障碍物目标框；分别将未融合成功的障碍物点数据以及融合成功的障碍物目标框均与车载相机检测的障碍物目标框进行匹配融合，构成当前帧的目标检测集合。
可理解的是，超声波雷达检测到的是障碍物目标点数据，因此，需要将将超声波检测到的点数据按一定规则进行融框处理，形成障碍物目标框，未融合成功的点可以理解为不能形成目标框的一些数据，将这些点数据与车载相机检测的障碍物目标框进行融合，以及通过点数据成功融合的障碍物目标框与车载相机检测的障碍物目标框进行融合，得到超声波雷达和车载相机感知数据融合后的障碍物目标信息，构成当前帧的目标检测集合，目标检测集合中包括融合后的各个检测目标信息，主要包括每一个检测目标的位置信息，可基于卡尔曼滤波器对每一个检测目标的位置信息进行预测。
作为实施例，还包括：为检测目标创建跟踪器，基于第一帧障碍物目标检测数据，对卡尔曼滤波器的各个矩阵进行初始化操作，并获取每一个障碍物目标的状态向量，所述状态向量中包括障碍物目标的位置信息、障碍物目标ID以及障碍物目标的类型；基于多帧障碍物目标的状态向量，构建目标跟踪器列表。
可理解的是，对于每一个检测目标，建立跟踪器进行跟踪，具体的，若为第一帧数据，对卡尔曼滤波器的各个矩阵进行初始化操作，并为检测目标创建跟踪器，其中每一个障碍物目标的状态向量X(x,y,vx,vy)，x和y是点的横纵坐标，框中心点的横纵坐标；vx和vy是横纵坐标速度，状态向量中还可包括每一个障碍物目标的ID和障碍物目标的类型。多帧障碍物目标的状态向量，构建目标跟踪器列表，目标跟踪器列表中包括每一个障碍物目标的位置信息、唯一ID标识和障碍物目标的类型，以便对每一个障碍物目标进行跟踪。
S3，基于加权二分图匹配KM算法将所述当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，通过卡尔曼滤波方法更新目标跟踪器列表中的障碍物目标，得到当前帧的每一个障碍物目标的最优估计位置。
作为实施例，所述基于加权二分图匹配KM算法将所述当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，包括：计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的关联矩阵；基于所述关联矩阵获取目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的最优匹配，获取匹配的每一个障碍物目标的最优估计位置。
可理解的是，将当前帧的每一个检测目标和目标跟踪器列表中的跟踪目标进行关联，从而实现目标跟踪。在关联的过程中，计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的关联矩阵，基于关联矩阵，获取目标跟踪器列表中每一个跟踪目标与目标检测集合中的每一个检测目标的最优匹配，并基于卡尔曼滤波方法得到每一个障碍物目标的最优估计位置。
其中，所述计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的关联矩阵，包括：对于障碍物点数据，基于欧式距离计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的每一个跟踪目标的欧式距离；对于障碍物目标框，计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的每一个跟踪目标的交并比；相应的，基于所述关联矩阵获取目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的最优匹配，包括：对于当前帧的目标检测集合中的任一个检测目标，将目标跟踪器列表中与其欧式距离满足第一设定阈值且最小或交并比满足第二设定阈值且最大的跟踪目标作为匹配对。
可理解的是，在计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的关联矩阵时，计算目标检测集合中的每一个检测目标与目标跟踪器列表中的每一个跟踪目标的欧式距离或者交并比，对于每一个检测目标，首先筛选出欧式距离满足第一设定阈值的跟踪目标，本发明实施例中，筛选出欧式距离小于20cm的跟踪目标；或者筛选出交并比满足第二设定阈值的跟踪目标，本发明实施例中，筛选出交并比大于0.4的跟踪目标。最后，将目标跟踪器列表中与其欧式距离满足第一设定阈值且最小的跟踪目标或者交并比满足第二设定阈值且最大的跟踪目标作为与检测目标的匹配对象。
将当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行关联，实现障碍物目标的跟踪，实现跟踪后，基于卡尔曼滤波方法对目标跟踪器列表中的各种目标进行更新。
作为实施例，基于卡尔曼滤波方法对目标跟踪器列表中的障碍物目标进行更新，包括：对于目标检测集合和目标跟踪器列表中匹配上的障碍物目标，对目标跟踪器列表中的障碍物目标的状态向量进行更新；如果目标检测集合中的任一个检测目标与目标跟踪器列表中的跟踪目标连续四次匹配成功，则将所述跟踪目标定义为确定态；否则，定义为不确定态；当目标检测集合中的检测目标与目标跟踪器列表中的任何一个跟踪目标均匹配失败，则将该检测目标添加到目标跟踪器列表中；如果跟踪器对跟踪目标连续六次跟踪失败，且该跟踪目标为确定态，则将该跟踪目标删除；如果跟踪器对跟踪目标连续一次跟踪失败，且该跟踪目标为不确定态，则将该跟踪目标删除。
可理解的是，对于目标检测集合中检测目标与目标跟踪器列表中的跟踪目标如果匹配上，那么根据检测目标的位置信息去更新目标跟踪器列表中对应的跟踪目标的位置信息。
如果目标检测集合中的检测目标与目标跟踪器列表中的跟踪目标连续四次匹配成功，也就是该检测目标与跟踪目标能够长时间匹配跟踪上，表明该障碍物目标是确定的，将该跟踪目标定义为确定态。若少于连续的四次匹配成功，则将该跟踪目标定义为不确定态。
当目标检测集合中的检测目标与目标跟踪器列表中的任何一个跟踪目标均匹配失败，表明该障碍物目标为新增的障碍物，那么根据该障碍物目标的信息则将该检测目标添加到目标跟踪器列表中，后续进行跟踪。
对于确定态的跟踪目标，如果跟踪器对跟踪目标连续六次跟踪失败，说明该障碍物目标跟踪失败，或者该障碍物目标已经离开，那么在目标跟踪器列表中将该跟踪目标删除。对于不确定态的跟踪目标，如果后续某一次跟踪失败，则直接将该跟踪目标删除。
参见图3，为本发明提供的一种多传感器融合的多目标跟踪系统，该系统包括获取模块301、融合处理模块302和匹配更新模块303，其中：
获取模块301，用于分别获取车载相机和超声波雷达检测的同帧的障碍物目标信息；
融合处理模块302，用于将车载相机检测的障碍物目标信息和超声波雷达检测的障碍物目标信息进行融合处理，构成当前帧的目标检测集合，所述目标检测集合中包括每一个检测目标的位置；
匹配更新模块303，用于基于加权二分图匹配KM算法将所述当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，通过卡尔曼滤波方法更新目标跟踪器列表中的障碍物目标，得到当前帧的每一个障碍物目标的最优估计位置。
可以理解的是，本发明提供的一种多传感器融合的多目标跟踪系统与前述各实施例提供的多传感器融合的多目标跟踪方法相对应，多传感器融合的多目标跟踪系统的相关技术特征可参考多传感器融合的多目标跟踪方法的相关技术特征，在此不再赘述。
请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备400，包括存储器410、处理器420及存储在存储器410上并可在处理器420上运行的计算机程序411，处理器420执行计算机程序411时实现多传感器融合的多目标跟踪方法的步骤。
请参阅图5，图5为本发明提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质500，其上存储有计算机程序511，该计算机程序511被处理器执行时实现多传感器融合的多目标跟踪方法的步骤。
本发明实施例提供的一种多传感器融合的多目标跟踪方法及对应的系统，利用卡尔曼滤波与KM相结合的多传感器融合多目标跟踪方法。在空域上，获取同帧传感器数据之间的内在联系和规律，剔除无用和错误的信息，保留正确和有用的成分；时域上，用卡尔曼滤波和KM算法关联目标，实现跨帧跟踪目标并得到最优估计位置，有效解决障碍物输出精度低、鲁棒性差等问题，为决策规控模块提供可靠的障碍物信息，保障自动泊车系统的可靠性、安全性及实时性。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种多传感器融合的多目标跟踪方法，其特征在于，包括：
分别获取车载相机和超声波雷达检测的同帧的障碍物目标信息；
将车载相机检测的障碍物目标信息和超声波雷达检测的障碍物目标信息进行融合处理，构成当前帧的目标检测集合，所述目标检测集合中包括每一个检测目标的位置；
基于加权二分图匹配KM算法将所述当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，通过卡尔曼滤波方法更新目标跟踪器列表中的障碍物目标，得到当前帧的每一个障碍物目标的最优估计位置。
2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述将车载相机检测的障碍物目标信息和超声波雷达检测的障碍物目标信息进行融合处理，包括：
将超声波雷达检测的障碍物点数据按照设定规则进行融框处理，获得每一个障碍物目标框；
分别将未融合成功的障碍物点数据以及融合成功的障碍物目标框均与车载相机检测的障碍物目标框进行匹配融合，构成当前帧的目标检测集合。
3.根据权利要求1所述的多目标跟踪方法，其特征在于，还包括：
为检测目标创建跟踪器，基于第一帧障碍物目标检测数据，对卡尔曼滤波器的各个矩阵进行初始化操作，并获取每一个障碍物目标的状态向量，所述状态向量中包括障碍物目标的位置信息、障碍物目标ID以及障碍物目标的类型；
基于多帧障碍物目标的状态向量，构建目标跟踪器列表。
4.根据权利要求3所述的多目标跟踪方法，其特征在于，所述基于加权二分图匹配KM算法将所述当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，包括：
对所述目标跟踪器列表中的每一个跟踪目标进行预测；
计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的关联矩阵；
基于所述关联矩阵获取目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的最优匹配，获取匹配的每一个障碍物目标的最优估计位置。
5.根据权利要求4所述的多目标跟踪方法，其特征在于，所述计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的关联矩阵，包括：
对于障碍物点数据，基于欧式距离计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的每一个跟踪目标的欧式距离；
对于障碍物目标框，计算当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的每一个跟踪目标的交并比；
相应的，基于所述关联矩阵获取目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标的最优匹配，包括：
对于当前帧的目标检测集合中的任一个检测目标，将目标跟踪器列表中与其欧式距离满足第一设定阈值且最小或交并比满足第二设定阈值且最大的跟踪目标作为匹配对。
6.根据权利要求5所述的多目标跟踪方法，其特征在于，所述通过卡尔曼滤波方法更新目标跟踪器列表中的障碍物目标，得到当前帧的每一个障碍物目标的最优估计位置，包括：
对于目标检测集合和目标跟踪器列表中匹配上的障碍物目标，对目标跟踪器列表中的障碍物目标的状态向量进行更新；
如果目标检测集合中的任一个检测目标与目标跟踪器列表中的跟踪目标连续四次匹配成功，则将所述跟踪目标定义为确定态；否则，定义为不确定态；
当目标检测集合中的检测目标与目标跟踪器列表中的任何一个跟踪目标均匹配失败，则将该检测目标添加到目标跟踪器列表中；
如果跟踪器对跟踪目标连续六次跟踪失败，且该跟踪目标为确定态，则将该跟踪目标删除；
如果跟踪器对跟踪目标连续一次跟踪失败，且该跟踪目标为不确定态，则将该跟踪目标删除。
7.一种多传感器融合的多目标跟踪系统，其特征在于，包括：
获取模块，用于分别获取车载相机和超声波雷达检测的同帧的障碍物目标信息；
融合处理模块，用于将车载相机检测的障碍物目标信息和超声波雷达检测的障碍物目标信息进行融合处理，构成当前帧的目标检测集合，所述目标检测集合中包括每一个检测目标的位置；
匹配更新模块，用于基于加权二分图匹配KM算法将所述当前帧的目标检测集合中的每一个检测目标与目标跟踪器列表中的跟踪目标进行匹配，通过卡尔曼滤波方法更新目标跟踪器列表中的障碍物目标，得到当前帧的每一个障碍物目标的最优估计位置。
8.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-6任一项所述的多传感器融合的多目标跟踪方法的步骤。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-6任一项所述的多传感器融合的多目标跟踪方法的步骤。
CN202310206949.6A 2023-03-01 2023-03-01 一种多传感器融合的多目标跟踪方法及对应的系统 Pending CN116430375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310206949.6A CN116430375A (zh) 2023-03-01 2023-03-01 一种多传感器融合的多目标跟踪方法及对应的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310206949.6A CN116430375A (zh) 2023-03-01 2023-03-01 一种多传感器融合的多目标跟踪方法及对应的系统

Publications (1)

Publication Number Publication Date
CN116430375A true CN116430375A (zh) 2023-07-14

Family

ID=87091546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310206949.6A Pending CN116430375A (zh) 2023-03-01 2023-03-01 一种多传感器融合的多目标跟踪方法及对应的系统

Country Status (1)

Country Link
CN (1) CN116430375A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152197A (zh) * 2023-10-30 2023-12-01 成都睿芯行科技有限公司 一种跟踪对象的确定方法、系统及跟踪方法、系统
CN117492452A (zh) * 2024-01-03 2024-02-02 安徽中科星驰自动驾驶技术有限公司 一种用于自动驾驶3d障碍物的多模态融合方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152197A (zh) * 2023-10-30 2023-12-01 成都睿芯行科技有限公司 一种跟踪对象的确定方法、系统及跟踪方法、系统
CN117152197B (zh) * 2023-10-30 2024-01-23 成都睿芯行科技有限公司 一种跟踪对象的确定方法、系统及跟踪方法、系统
CN117492452A (zh) * 2024-01-03 2024-02-02 安徽中科星驰自动驾驶技术有限公司 一种用于自动驾驶3d障碍物的多模态融合方法
CN117492452B (zh) * 2024-01-03 2024-04-05 安徽中科星驰自动驾驶技术有限公司 一种用于自动驾驶3d障碍物的多模态融合方法

Similar Documents

Publication Publication Date Title
CN116430375A (zh) 一种多传感器融合的多目标跟踪方法及对应的系统
Meuter et al. A decision fusion and reasoning module for a traffic sign recognition system
CN109099920B (zh) 基于多传感器关联的传感器目标精确定位方法
US11748593B2 (en) Sensor fusion target prediction device and method for vehicles and vehicle including the device
CN113933858A (zh) 定位传感器的异常检测方法、装置及终端设备
US20200174488A1 (en) False target removal device and method for vehicles and vehicle including the device
CN109344776B (zh) 数据处理方法
US20200094823A1 (en) Location prediction for dynamic objects
CN116703962A (zh) 一种多目标跟踪方法及系统
US10719718B2 (en) Device for enabling a vehicle to automatically resume moving
CN116543023A (zh) 一种基于修正DeepSORT的多传感目标群智跟踪方法
CN115014366A (zh) 一种目标融合方法、装置、车辆及存储介质
CN113325415B (zh) 车辆雷达数据和相机数据的融合方法及系统
CN115249407B (zh) 指示灯状态识别方法、装置、电子设备、存储介质及产品
CN115575942A (zh) 激光雷达数据和毫米波雷达数据的融合方法及融合系统
Lamard et al. CPHD filter addressing occlusions with pedestrians and vehicles tracking
CN111684457B (zh) 一种状态检测方法、装置及可移动平台
CN114234989A (zh) 一种车辆偏航后的路网树更新方法及系统
CN113591673A (zh) 用于识别交通标志的方法和设备
CN117730349A (zh) 入侵检测方法和装置
CN113447921A (zh) 用于识别车辆环境的方法
CN116625384B (zh) 一种数据关联方法、装置及电子设备
Kress et al. Start intention detection of cyclists using an LSTM network
CN114200454B (zh) 一种确定可行驶区域的方法和相关装置
JP2020067818A (ja) 画像選択装置及び画像選択方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination