CN114119659A - 一种多传感器融合的目标跟踪方法 - Google Patents

一种多传感器融合的目标跟踪方法 Download PDF

Info

Publication number
CN114119659A
CN114119659A CN202111351723.2A CN202111351723A CN114119659A CN 114119659 A CN114119659 A CN 114119659A CN 202111351723 A CN202111351723 A CN 202111351723A CN 114119659 A CN114119659 A CN 114119659A
Authority
CN
China
Prior art keywords
target
frame
determining
detection
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111351723.2A
Other languages
English (en)
Inventor
罗杰
张畅
宋连
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Research Institute Of Wuhan University Of Technology
Original Assignee
Chongqing Research Institute Of Wuhan University Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Research Institute Of Wuhan University Of Technology filed Critical Chongqing Research Institute Of Wuhan University Of Technology
Priority to CN202111351723.2A priority Critical patent/CN114119659A/zh
Publication of CN114119659A publication Critical patent/CN114119659A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种多传感器融合的目标跟踪方法，该方法包括：获取车辆的雷达传感数据和图像传感数据；根据所述雷达传感数据，确定雷达识别的各个第一目标对应的三维点云数据；根据所述图像传感数据，确定相机识别的各个第二目标对应的二维图像信息；根据对雷达和相机联合标定的变换矩阵，将所述三维点云数据投影至所述二维图像信息，形成目标融合数据；根据所述目标融合数据，进行目标跟踪。本发明结合纯视觉方案和纯雷达方案的优点，保证汽车的行为决策、路径规划以及障碍物避障的精度。

Description

一种多传感器融合的目标跟踪方法
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种多传感器融合的目标跟踪方法。
背景技术
随着人工智能和汽车信息化的飞速发展，无人驾驶技术成为了提高交通通行效率解决城市交通堵塞以及减少交通事故的一项重要技术，是全世界汽车行业的一个研究重点，其中环境感知技术更是无人驾驶技术的基础，是保证汽车安全行驶的关键。它能够帮助车辆实时的获取周围的环境信息，为接下来汽车的控制决策、避障以及路径规划提供帮助。传统的依靠纯视觉或纯雷达方案的汽车都存在着一些问题，纯视觉方案虽然可以得到物体的精确类别、纹理等特征但无法得到物体的三维坐标，几何形状等信息且受光照的影响严重，纯雷达方案相比纯视觉方案能够获取物体的精确三维坐标、不受光照影响但探测距离近、易受雨雪等天气的影响。因此，如何实现车辆驾驶过程中更精确的目标检测是亟待解决的问题。
发明内容
有鉴于此，有必要提供一种多传感器融合的目标跟踪方法，用以克服现有技术中目标检测不够准确的问题。
本发明提供一种多传感器融合的目标跟踪方法，包括：
获取车辆的雷达传感数据和图像传感数据；
根据所述雷达传感数据，确定雷达识别的各个第一目标对应的三维点云数据；
根据所述图像传感数据，确定相机识别的各个第二目标对应的二维图像信息；
根据对雷达和相机联合标定的变换矩阵，将所述三维点云数据投影至所述二维图像信息，形成目标融合数据；
根据所述目标融合数据，进行目标跟踪。
进一步地，所述根据所述雷达传感数据，确定雷达识别的各个目标对应的三维点云数据，包括：
根据所述雷达传感数据进行聚类，检测出每个所述第一目标的目标坐标和目标轮廓；
根据所述第一目标的所述目标坐标和所述目标轮廓，确定所述第一目标相对于雷达的位置信息和体积信息，确定对应的所述三维点云数据。
进一步地，所述根据所述图像传感数据，确定相机识别的各个第二目标对应的二维图像信息，包括：
将所述图像传感数据输入至对应的YOLOv3网络，检测出每个所述第二目标的所属类别和二维检测框坐标；
根据不同类别的所述二维检测框坐标，确定对应的所述二维图像信息。
进一步地，所述根据对雷达和相机联合标定的变换矩阵，将所述三维点云数据投影至所述二维图像信息，形成目标融合数据，包括：
以相机所在位置为圆心，建立世界坐标系；
在所述世界坐标系下，根据多组所述三维点云数据和多组所述二维图像信息，带入预设公式，确定所述变换矩阵；
根据所述变换矩阵，将所述三维点云数据投影至二维平面，基于所述目标坐标和所述目标轮廓，在所述二维平面上形成第一检测框；
根据所述二维图像信息的所述二维检测框坐标，确定对应的第二检测框，将所述第一检测框和所述第二检测框进行IOU匹配；
若匹配成功，将所述第二检测框对应的第二目标的所属类别赋予给所述第一检测框对应的三维点云数据，形成所述目标融合数据。
进一步地，所述根据所述目标融合数据，进行目标跟踪，包括：
根据所述目标融合数据，确定当前时刻的检测目标框；
根据所述当前时刻的检测目标框，进行运动状态估计，确定对应的下一时刻的预测目标框；
根据所述当前时刻的检测目标框和所述下一时刻的预测目标框，确定相对应的目标轨迹；
根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度。
进一步地，所述根据所述当前时刻的检测目标框，进行运动状态估计，确定对应的下一时刻的预测目标框，包括：利用卡尔曼滤波，对所述当前时刻的检测目标框进行运动状态估计，确定对应的所述下一时刻的预测目标框。
进一步地，所述根据所述当前时刻的检测目标框和所述下一时刻的预测目标框，确定相对应的目标轨迹，包括：
对应每个所述目标轨迹，记录上一次检测结果与追踪结果匹配之后的帧数；
若所述帧数大于预设阈值，则结束对所述目标轨迹的跟踪过程；
若所述检测目标框未匹配上对应的所述目标轨迹，且在若干未来时刻的视频帧中都匹配成功，则判断所述检测目标框对应新的所述目标轨迹。
进一步地，所述根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度，包括：
根据所述检测目标框、所述预测目标框和第一矩阵，确定距离偏差，其中，所述第一矩阵为所述检测目标框的位置与平均追踪位置之间的协方差矩阵；
若所述偏差距离小于第一指定阈值，则关联成功。
进一步地，所述根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度，还包括：
确定第i个卡尔曼滤波器最近关联成功的多个所述目标轨迹对应的特征集与所述目标检测框之间的所述余弦距离，其中，i为整数；
若所述余弦距离小于第二指定阈值，则关联成功；
根据所述距离偏差和所述余弦距离的加权结果，确定最终的所述关联程度。
进一步地，在所述根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度的步骤之后，还包括：根据级联匹配，选择最佳的卡尔曼滤波器的匹配结果，并对未匹配的所述目标轨迹和所述检测目标框进行IOU匹配。
与现有技术相比，本发明的有益效果包括：首先，对雷达传感数据和图像传感数据进行有效的获取；然后，利用雷达传感数据，进行目标识别，确定每个目标的三维点云数据；进而，利用相机识别，基于图像传感数据，确定每个识别的目标的二维图像信息；接着，结合雷达和相机各分别识别的目标，让两方面识别的目标信息互为补充，将三维点云数据投影在二维图像信息，形成结合两方面信息的目标融合数据，实现更为精确的识别目的；最后，基于目标融合数据，进行高效的目标跟踪。综上，本发明将雷达的目标检测信息与相机的目标检测信息进行融合，解决单纯依靠相机容易受到光照条件的影响，以及激光雷达探测距离有限的问题，接着对检测目标进行跟踪，为车辆的行为选择、障碍物避障以及路径规划提供基础。
附图说明
图1为本发明提供的多传感器融合的目标跟踪方法的应用系统一实施例的场景示意图；
图2为本发明提供的多传感器融合的目标跟踪方法一实施例的流程示意图；
图3为本发明提供的图2中步骤S2一实施例的流程示意图；
图4为本发明提供的图2中步骤S3一实施例的流程示意图；
图5为本发明提供的图2中步骤S4一实施例的流程示意图；
图6为本发明提供的图2中步骤S5一实施例的流程示意图；
图7为本发明提供的图6中步骤S53一实施例的流程示意图；
图8为本发明提供的图6中步骤S54一实施例的流程示意图；
图9为本发明提供的图6中步骤S54另一实施例的流程示意图；
图10为本发明提供的多传感器融合的目标跟踪装置一实施例的结构示意图；
图11为本发明提供的多传感器融合的目标跟踪系统的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明的描述中，提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，所描述的实施例可以与其它实施例相结合。
本发明提供了一种多传感器融合的目标跟踪方法，融合多方面的传感器信息，为进一步提高目标检测的准确性提供了新思路。下面对具体实施例分别进行详细说明：
本发明实施例提供了一种多传感器融合的目标跟踪方法的应用系统，图1为本发明提供的多传感器融合的目标跟踪方法的应用系统一实施例的场景示意图，该系统可以包括服务器100，服务器100中集成有多传感器融合的目标跟踪装置，如图1中的服务器。
本发明实施例中服务器100主要用于：
获取车辆的雷达传感数据和图像传感数据；
根据所述雷达传感数据，确定雷达识别的各个第一目标对应的三维点云数据；
根据所述图像传感数据，确定相机识别的各个第二目标对应的二维图像信息；
根据对雷达和相机联合标定的变换矩阵，将所述三维点云信息投影至所述二维图像信息，形成目标融合数据；
根据所述目标融合数据，进行目标跟踪。
本发明实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本发明实施例中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
可以理解的是，本发明实施例中所使用的终端200可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端200可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定终端200的类别。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本发明方案一种应用场景，并不构成对本发明方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，例如图1中仅示出2个终端，可以理解的，该多传感器融合的目标跟踪方法的应用系统还可以包括一个或多个其他终端，具体此处不作限定。
另外，如图1所示，该多传感器融合的目标跟踪方法的应用系统还可以包括存储器200，用于存储数据，如雷达传感数据、图像传感数据、三维点云数据以及二维图像信息等。
需要说明的是，图1所示多传感器融合的目标跟踪方法的应用系统的场景示意图仅仅是一个示例，本发明实施例描述的多传感器融合的目标跟踪方法的应用系统以及场景是为了更加清楚地说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着多传感器融合的目标跟踪方法的应用系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
本发明实施例提供了一种多传感器融合的目标跟踪方法，结合图2来看，图2为本发明提供的多传感器融合的目标跟踪方法一实施例的流程示意图，包括步骤S1至步骤S5，其中：
在步骤S1中，获取车辆的雷达传感数据和图像传感数据；
在步骤S2中，根据所述雷达传感数据，确定雷达识别的各个第一目标对应的三维点云数据；
在步骤S3中，根据所述图像传感数据，确定相机识别的各个第二目标对应的二维图像信息；
在步骤S4中，根据对雷达和相机联合标定的变换矩阵，将所述三维点云信息投影至所述二维图像信息，形成目标融合数据；
在步骤S5中，根据所述目标融合数据，进行目标跟踪。
在本发明实施例中，首先，对雷达传感数据和图像传感数据进行有效的获取；然后，利用雷达传感数据，进行目标识别，确定每个目标的三维点云数据；进而，利用相机识别，基于图像传感数据，确定每个识别的目标的二维图像信息；接着，结合雷达和相机各分别识别的目标，让两方面识别的目标信息互为补充，将三维点云数据投影在二维图像信息，形成结合两方面信息的目标融合数据，实现更为精确的识别目的；最后，基于目标融合数据，进行高效的目标跟踪。
作为优选的实施例，结合图3来看，图3为本发明提供的图2中步骤S2一实施例的流程示意图，上述步骤S2具体包括步骤S21至步骤S22，其中：
在步骤S21中，根据所述雷达传感数据进行聚类，检测出每个所述第一目标的目标坐标和目标轮廓；
在步骤S22中，根据所述第一目标的所述目标坐标和所述目标轮廓，确定所述第一目标相对于雷达的位置信息和体积信息，确定对应的所述三维点云数据。
在本发明实施例中，利用雷达进行有效的目标识别，形成对应的三维点云数据。
在本发明一个具体的实施例中，由于激光雷达进行环境感知时，激光扫描到周围物体所返回的数据量是庞大的，因此，采用Mean-Shift聚类算法对点云进行聚类，采样该算法时，不需要我们预先知道数据有多少组或分多少类别，适用于处理大型的激光点云数据。Mean-Shift算法是基于滑动窗口的一种改进算法，用来寻找激光点云的密集区域；
其中，Mean-shift聚类算法公式如下：
给定d维空间的n个数据点集X，那么对于空间中的任意点x的mean-Shift向量基本形式可以表示为：
Figure BDA0003352524110000081
Mh表示漂移向量，k表示数据点xi的数目，xi表示数据集Sk中的数据点，x表示任意点，Sk表示数据集的点到任意点x的距离小于球半径h的数据点xi，也就是：
Sh(x)＝{y:(y-xi)T(y-V)＜h2}
其中，Sh(x)表示小于球半径h的数据点xi构成的数据集，y表示Sh(x)中的数据点，V表示球体积，h表示球半径，通过计算漂移向量更新球心x的位置：
Figure BDA0003352524110000091
其中，x表示更新后的球心，g表示计算距离的函数；
其中，点云Mean-Shift聚类过程如下：
第1步，在未标记的数据点中随机选择一个点作为center；
第2步，找出离center距离在边界之类的所有点，记作集合M，认为这些点属于簇c，同时把球内中属于这个类的概率加1，用于最后的分类；
第3步，以center为中心点，计算从center开始到集合M中每个元素的向量，将这些向量相加，得到向量shift；
第4步，Center＝center+shift。即center沿着shift的方向移动，移动距离为‖shift‖；
第5步，重复执行第2步-第4步，直到shift收敛，记录此时的shift；
第6步，如果收敛时当前簇c的center与其它已经存在的簇c1中心的距离小于阈值，则把c和c1合并，否则把c视为一个新的类；
第7步，重复第1步-第5步直到所有的点都被标记；
第8步，分类，根据每个类，求每个点的访问频率，取访问频率最大的那个类作为当前点集的所属类。
需要说明的是，采用Mean-Shift聚类算法能够检测并聚类出三维点云道路场景的下行走的行人、形式的汽车等动态目标及树木等静态目标，输出目标相对激光雷达的位置XYZ，及障碍物本身的体积LHW等信息。
作为优选的实施例，结合图4来看，图4为本发明提供的图2中步骤S3一实施例的流程示意图，上述步骤S3具体包括步骤S31至步骤S32，其中：
在步骤S31中，将所述图像传感数据输入至对应的YOLOv3网络，检测出每个所述第二目标的所属类别和二维检测框坐标；
在步骤S32中，根据不同类别的所述二维检测框坐标，确定对应的所述二维图像信息。
在本发明实施例中，利用相机进行有效的目标识别，形成对应的二维图像信息。
在本发明一个具体的实施例中，视觉识别采用YOLOv3对目标进行检测，YOLOv3是一个在YOLOv1、YOLOv2基础上改进的一种卷积神经网络，该网络由Darknet-53作为整个网络的分类骨干部分，能够输出三个尺寸的特征图，第一个特征图下采样32倍，第二个特征图下采样16倍，第三个下采样8倍，通过这三种规格的特征图实现了对大尺寸物体和小尺寸物体的检测。当原始图像送入到YOLOv3网络时，该网络最终能输出目标的二维目标框坐标以及所属类别。
作为优选的实施例，结合图5来看，图5为本发明提供的图2中步骤S4一实施例的流程示意图，上述步骤S4具体包括步骤S41至步骤S45，其中：
在步骤S41中，以相机所在位置为圆心，建立世界坐标系；
在步骤S42中，在所述世界坐标系下，根据多组所述三维点云信息和多组所述二维图像信息，带入预设公式，确定所述变换矩阵；
在步骤S43中，根据所述变换矩阵，将所述三维点云数据投影至二维平面，基于所述目标坐标和所述目标轮廓，在所述二维平面上形成第一检测框；
在步骤S44中，根据所述二维图像信息的所述二维检测框坐标，确定对应的第二检测框，将所述第一检测框和所述第二检测框进行IOU匹配；
在步骤S45中，若匹配成功，将所述第二检测框对应的第二目标的所属类别赋予给所述第一检测框对应的三维点云数据，形成所述目标融合数据。
在本发明实施例中，结合雷达和相机，进行有效的信息融合，保证识别的准确性。
在本发明一个具体的实施例中，首先对雷达和相机进行联合标定，借助黑白棋盘格作为标定板来实现两者的联合标定，采用autoware中的标定工具，求得两传感器坐标转换的旋转矩阵R和平移矩阵T。由于相机和激光雷达的坐标位置不同，需要将其中一个传感器的坐标系通过平移及旋转变换统一起来。以相机为圆心建立世界坐标系，同时采集多组不同姿态的图像和三维点云数据，并将采集到的多组数据代入如下公式：
Figure BDA0003352524110000111
其中，u、v表示二维平面坐标，x1、y1、z1表示三维坐标，Zc表示二维转换矩阵，R表示旋转矩阵，T表示平移矩阵，Q表示一个大小为3×4的转换矩阵，fx、fy、cx、cy表示相机的内参矩阵，m11至m34表示采集的多组数据，通过多组数据就可以计算出变换矩阵Q，利用获取到的标定参数就可以利用如下公式将点云转换到世界坐标系上：
Figure BDA0003352524110000112
其中，利用上述两个变换矩阵，使得坐标平移、旋转，实现了激光雷达和相机的坐标对齐，可以将三维点云投影至二维图像上完成激光点云与图像的融合。
作为优选的实施例，结合图6来看，图6为本发明提供的图2中步骤S5一实施例的流程示意图，上述步骤S5具体包括步骤S51至步骤S54，其中：
在步骤S51中，根据所述目标融合数据，确定当前时刻的检测目标框；
在步骤S52中，根据所述当前时刻的检测目标框，进行运动状态估计，确定对应的下一时刻的预测目标框；
在步骤S53中，根据所述当前时刻的检测目标框和所述下一时刻的预测目标框，确定相对应的目标轨迹；
在步骤S54中，根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度。
在本发明实施例中，利用检测目标框、预测目标框和目标轨迹，进行相关轨迹的匹配，保证高效的轨迹追踪。
需要说明的是，跟踪过程采用Deepsort算法，Deepsort是一个多目标跟踪算法，它利用运动模型和外观信息进行数据的匹配，检测算法对每一帧进行目标检测之后，通过带权值的匈牙利匹配算法对之前的对象和现在的运动对象进行匹配，实现对物体的跟踪。
作为优选的实施例，步骤S52中具体包括：利用卡尔曼滤波，对所述当前时刻的检测目标框进行运动状态估计，确定对应的所述下一时刻的预测目标框。在本发明实施例中，利用卡尔曼滤波进行有效的目标轨迹预测。
在本发明一个具体的实施例中，使用
Figure BDA0003352524110000121
这8个参数来对物体的运动状态进行描述，其中(u，v)是检测框的中心坐标，r是长宽比，h是高度，
Figure BDA0003352524110000122
表示速度信息，使用一个基于匀速模型和线性观测模型的标准kalman滤波器进行目标运动状态的预测，预测的结果为(u,v,r,h)。
其中，卡尔曼滤波公式如下：
预测公式如下：
Figure BDA0003352524110000123
Figure BDA0003352524110000124
更新公式如下：
Figure BDA0003352524110000125
Figure BDA0003352524110000126
Figure BDA0003352524110000127
其中，A、B、Q、AT表示预测参数，
Figure BDA0003352524110000128
表示不同时刻的更新坐标，
Figure BDA0003352524110000129
Pk-1表示不同时刻的更新速度，Kk表示预测矩阵，H、HT表示更新矩阵；
作为优选的实施例，结合图7来看，图7为本发明提供的图6中步骤S53一实施例的流程示意图，上述步骤S53具体包括步骤S531至步骤S533，其中：
在步骤S531中，对应每个所述目标轨迹，记录上一次检测结果与追踪结果匹配之后的帧数；
在步骤S532中，若所述帧数大于预设阈值，则结束对所述目标轨迹的跟踪过程；
在步骤S533中，若所述检测目标框未匹配上对应的所述目标轨迹，且在若干未来时刻的视频帧中都匹配成功，则判断所述检测目标框对应新的所述目标轨迹。
在本发明实施例中，在目标检测的基础上引入追踪算法，对车辆周围的运动物体进行跟踪，为车辆轨迹预测及避障提供帮助。
在本发明一个具体的实施例中，对于追踪过程中的每一条轨迹称为一个tracker，对每一个追踪目标，记录自其上一次检测结果与追踪结果匹配之后的帧数ak，如果ak大于最大阈值Amax，则认为对该目标的跟踪过程已经结束，在后续的跟踪过程中取消该轨迹。对于匹配算法没有匹配上的目标，则认为可能出现了新目标，如果在接下来的几帧中都能匹配成功，则认为该目标是一个新的运动目标，否则就认为该目标是一个噪声，将其删除掉。最后，当检测目标和轨迹完成匹配，则将该目标添加到匹配的轨迹上。
作为优选的实施例，结合图8来看，图8为本发明提供的图6中步骤S54一实施例的流程示意图，上述步骤S54具体包括步骤S541至步骤S542，其中：
在步骤S541中，根据所述检测目标框、所述预测目标框和第一矩阵，确定距离偏差，其中，所述第一矩阵为所述检测目标框的位置与平均追踪位置之间的协方差矩阵；
在步骤S542中，若所述偏差距离小于第一指定阈值，则关联成功。
在本发明实施例中，利用检测目标框、预测目标框和第一矩阵，确定偏差距离，进而判断关联成功与否。
作为优选的实施例，结合图9来看，图9为本发明提供的图6中步骤S54另一实施例的流程示意图，上述步骤S54具体还包括步骤S543至步骤S545，其中：
在步骤S543中，确定第i个卡尔曼滤波器最近关联成功的多个所述目标轨迹对应的特征集与所述目标检测框之间的所述余弦距离，其中，i为整数；
在步骤S544中，若所述余弦距离小于第二指定阈值，则关联成功；
在步骤S545中，根据所述距离偏差和所述余弦距离的加权结果，确定最终的所述关联程度。
在本发明实施例中，利用特征集和目标检测，确定余弦距离，进而判断关联成功与否。
在本发明一个具体的实施例中，使用目标检测和track在卡尔曼滤波器预测的位置之间的马氏距离来表示匹配程度，如下式所示：
Figure BDA0003352524110000141
其中，d(1)(i，j)表示马氏距离，dj表示第j个检测框的位置，yi表示第i个追踪器预测的位置，Si表示检测位置与平均追踪位置之间的协方差矩阵，i，j为正整数；
其中，如果某次关联的马氏距离小于指定的阈值t(1)，则设置运动状态为关联成功。使用的公式为：
Figure BDA0003352524110000142
其中，
Figure BDA0003352524110000143
表示关联参数，d(1)(i，j)表示马氏距离，t(1)表示指定的阈值；
当相机运动时可能会造成ID跳变，因此引入第二种匹配方法，计算第i个追踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离。计算公式为：
Figure BDA0003352524110000151
其中，d(2)(i，j)表示最小余弦距离，
Figure BDA0003352524110000152
表示与当前帧第j个检测结果的特征向量，如果d(2)小于指定的阈值，那么认为关联成功；
其中，使用上面的两种方式进行线性加权来作为最终的权值，
ci，j＝λd(1)(i，j)+(1-λ)d(2)(i，j)
Figure BDA0003352524110000153
其中，ci，j表示关联程度，λ表示相应权值，bi，j表示最终的权值。
作为优选的实施例，在所述根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度的步骤之后，还包括：根据级联匹配，选择最佳的卡尔曼滤波器的匹配结果，并对未匹配的所述目标轨迹和所述检测目标框进行IOU匹配。
在本发明实施例中，使用级联匹配解决两个追踪器竞争同一个检测结果的匹配权而造成的轨迹长时间未更新位置的问题，保证了对最近出现的目标赋予最大的优先权，解决竞争问题。
在本发明一个具体的实施例中。在匹配的最后阶段还对未确认和出现帧率为1的未匹配轨迹和检测目标进行基于IOU的匹配，解决因为表观突变或者部分遮挡导致的较大变化，最终实现对物体的跟踪。
本发明实施例还提供了一种多传感器融合的目标跟踪装置，结合图10来看，图10为本发明提供的多传感器融合的目标跟踪装置一实施例的结构示意图，多传感器融合的目标跟踪装置1000包括：
获取单元1001，用于获取车辆的雷达传感数据和图像传感数据；
处理单元1002，用于根据所述雷达传感数据，确定雷达识别的各个第一目标对应的三维点云数据；还用于根据所述图像传感数据，确定相机识别的各个第二目标对应的二维图像信息；还用于根据对雷达和相机联合标定的变换矩阵，将所述三维点云信息投影至所述二维图像信息，形成目标融合数据；
跟踪单元1003，用于根据所述目标融合数据，进行目标跟踪。
多传感器融合的目标跟踪装置的各个单元的更具体实现方式可以参见对于上述多传感器融合的目标跟踪方法的描述，且具有与之相似的有益效果，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上所述的多传感器融合的目标跟踪方法。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例还提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上所述的多传感器融合的目标跟踪方法。
根据本发明上述实施例提供的计算机可读存储介质和计算设备，可以参照根据本发明实现如上所述的多传感器融合的目标跟踪方法具体描述的内容实现，并具有与如上所述的多传感器融合的目标跟踪方法类似的有益效果，在此不再赘述。
本发明实施例还提供了一种多传感器融合的目标跟踪系统，结合图11来看，图11为本发明提供的多传感器融合的目标跟踪系统的结构示意图，包括雷达装置1101、相机装置1102和如上所述的计算设备，其中，雷达装置用于向如上所述的计算设备传输雷达传感数据，相机装置用于向如上所述的计算设备传输图像传感数据。
本发明公开了一种多传感器融合的目标跟踪方法，首先，对雷达传感数据和图像传感数据进行有效的获取；然后，利用雷达传感数据，进行目标识别，确定每个目标的三维点云数据；进而，利用相机识别，基于图像传感数据，确定每个识别的目标的二维图像信息；接着，结合雷达和相机各分别识别的目标，让两方面识别的目标信息互为补充，将三维点云数据投影在二维图像信息，形成结合两方面信息的目标融合数据，实现更为精确的识别目的；最后，基于目标融合数据，进行高效的目标跟踪。
本发明技术方案，采用多传感器融合的方法对物体进行目标检测,避免单一传感器带来的问题，将雷达的目标检测信息与相机的目标检测信息进行融合，解决单纯依靠相机容易受到光照条件的影响，以及激光雷达探测距离有限的问题，接着对检测目标进行跟踪，为车辆的行为选择、障碍物避障以及路径规划提供基础。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种多传感器融合的目标跟踪方法，其特征在于，包括：
获取车辆的雷达传感数据和图像传感数据；
根据所述雷达传感数据，确定雷达识别的各个第一目标对应的三维点云数据；
根据所述图像传感数据，确定相机识别的各个第二目标对应的二维图像信息；
根据对雷达和相机联合标定的变换矩阵，将所述三维点云数据投影至所述二维图像信息，形成目标融合数据；
根据所述目标融合数据，进行目标跟踪。
2.根据权利要求1所述的多传感器融合的目标跟踪方法，其特征在于，所述根据所述雷达传感数据，确定雷达识别的各个目标对应的三维点云数据，包括：
根据所述雷达传感数据进行聚类，检测出每个所述第一目标的目标坐标和目标轮廓；
根据所述第一目标的所述目标坐标和所述目标轮廓，确定所述第一目标相对于雷达的位置信息和体积信息，确定对应的所述三维点云数据。
3.根据权利要求2所述的多传感器融合的目标跟踪方法，其特征在于，所述根据所述图像传感数据，确定相机识别的各个第二目标对应的二维图像信息，包括：
将所述图像传感数据输入至对应的YOLOv3网络，检测出每个所述第二目标的所属类别和二维检测框坐标；
根据不同类别的所述二维检测框坐标，确定对应的所述二维图像信息。
4.根据权利要求3所述的多传感器融合的目标跟踪方法，其特征在于，所述根据对雷达和相机联合标定的变换矩阵，将所述三维点云数据投影至所述二维图像信息，形成目标融合数据，包括：
以相机所在位置为圆心，建立世界坐标系；
在所述世界坐标系下，根据多组所述三维点云数据和多组所述二维图像信息，带入预设公式，确定所述变换矩阵；
根据所述变换矩阵，将所述三维点云数据投影至二维平面，基于所述目标坐标和所述目标轮廓，在所述二维平面上形成第一检测框；
根据所述二维图像信息的所述二维检测框坐标，确定对应的第二检测框，将所述第一检测框和所述第二检测框进行IOU匹配；
若匹配成功，将所述第二检测框对应的第二目标的所属类别赋予给所述第一检测框对应的三维点云数据，形成所述目标融合数据。
5.根据权利要求4所述的多传感器融合的目标跟踪方法，其特征在于，所述根据所述目标融合数据，进行目标跟踪，包括：
根据所述目标融合数据，确定当前时刻的检测目标框；
根据所述当前时刻的检测目标框，进行运动状态估计，确定对应的下一时刻的预测目标框；
根据所述当前时刻的检测目标框和所述下一时刻的预测目标框，确定相对应的目标轨迹；
根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度。
6.根据权利要求5所述的多传感器融合的目标跟踪方法，其特征在于，所述根据所述当前时刻的检测目标框，进行运动状态估计，确定对应的下一时刻的预测目标框，包括：利用卡尔曼滤波，对所述当前时刻的检测目标框进行运动状态估计，确定对应的所述下一时刻的预测目标框。
7.根据权利要求5所述的多传感器融合的目标跟踪方法，其特征在于，所述根据所述当前时刻的检测目标框和所述下一时刻的预测目标框，确定相对应的目标轨迹，包括：
对应每个所述目标轨迹，记录上一次检测结果与追踪结果匹配之后的帧数；
若所述帧数大于预设阈值，则结束对所述目标轨迹的跟踪过程；
若所述检测目标框未匹配上对应的所述目标轨迹，且在若干未来时刻的视频帧中都匹配成功，则判断所述检测目标框对应新的所述目标轨迹。
8.根据权利要求5所述的多传感器融合的目标跟踪方法，其特征在于，所述根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度，包括：
根据所述检测目标框、所述预测目标框和第一矩阵，确定距离偏差，其中，所述第一矩阵为所述检测目标框的位置与平均追踪位置之间的协方差矩阵；
若所述偏差距离小于第一指定阈值，则关联成功。
9.根据权利要求5所述的多传感器融合的目标跟踪方法，其特征在于，所述根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度，还包括：
确定第i个卡尔曼滤波器最近关联成功的多个所述目标轨迹对应的特征集与所述目标检测框之间的所述余弦距离，其中，i为整数；
若所述余弦距离小于第二指定阈值，则关联成功；
根据所述距离偏差和所述余弦距离的加权结果，确定最终的所述关联程度。
10.根据权利要求5所述的多传感器融合的目标跟踪方法，其特征在于，在所述根据马氏距离和/或余弦距离，确定所述当前时刻的检测目标框与所述目标轨迹的关联程度的步骤之后，还包括：根据级联匹配，选择最佳的卡尔曼滤波器的匹配结果，并对未匹配的所述目标轨迹和所述检测目标框进行IOU匹配。
CN202111351723.2A 2021-11-12 2021-11-12 一种多传感器融合的目标跟踪方法 Pending CN114119659A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111351723.2A CN114119659A (zh) 2021-11-12 2021-11-12 一种多传感器融合的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111351723.2A CN114119659A (zh) 2021-11-12 2021-11-12 一种多传感器融合的目标跟踪方法

Publications (1)

Publication Number Publication Date
CN114119659A true CN114119659A (zh) 2022-03-01

Family

ID=80396616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111351723.2A Pending CN114119659A (zh) 2021-11-12 2021-11-12 一种多传感器融合的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN114119659A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN115792890A (zh) * 2023-02-06 2023-03-14 成都九洲迪飞科技有限责任公司 基于凝聚量测自适应互联的雷达多目标跟踪方法及系统
WO2023178925A1 (zh) * 2022-03-21 2023-09-28 中汽研（天津）汽车工程研究院有限公司 一种基于icp与多特征数据关联的障碍物预测与跟踪方法
CN117970935A (zh) * 2024-04-02 2024-05-03 博创联动科技股份有限公司 一种基于数字乡村的农机自动避障方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023178925A1 (zh) * 2022-03-21 2023-09-28 中汽研（天津）汽车工程研究院有限公司 一种基于icp与多特征数据关联的障碍物预测与跟踪方法
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN115792890A (zh) * 2023-02-06 2023-03-14 成都九洲迪飞科技有限责任公司 基于凝聚量测自适应互联的雷达多目标跟踪方法及系统
CN115792890B (zh) * 2023-02-06 2023-08-15 成都九洲迪飞科技有限责任公司 基于凝聚量测自适应互联的雷达多目标跟踪方法及系统
CN117970935A (zh) * 2024-04-02 2024-05-03 博创联动科技股份有限公司 一种基于数字乡村的农机自动避障方法及系统

Similar Documents

Publication Publication Date Title
CN111127513B (zh) 一种多目标跟踪方法
CN108399218B (zh) 基于Walsh内核投影技术的自动驾驶车辆定位
CN114119659A (zh) 一种多传感器融合的目标跟踪方法
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
KR20180056685A (ko) 비 장애물 영역 검출을 위한 시스템 및 방법
CN114419152B (zh) 一种基于多维度点云特征的目标检测与跟踪方法及系统
CN114049382B (zh) 一种智能网联环境下目标融合跟踪方法、系统和介质
CN112016467B (zh) 交通标志识别模型训练方法、识别方法、系统、设备及介质
WO2012086821A1 (ja) 測位装置、測位方法
CN112052802B (zh) 一种基于机器视觉的前方车辆行为识别方法
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
KR20230026130A (ko) 자율 주행을 위한 단일 계층 3차원 다중 객체 검출 장치 및 방법
US11748449B2 (en) Data processing method, data processing apparatus, electronic device and storage medium
CN114817426A (zh) 地图建构装置及方法
CN114565668A (zh) 即时定位与建图方法及装置
CN116576857A (zh) 一种基于单线激光雷达的多障碍物预测导航避障方法
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN114088081A (zh) 一种基于多段联合优化的用于精确定位的地图构建方法
CN114998276A (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN117053779A (zh) 一种基于冗余关键帧去除的紧耦合激光slam方法及装置
CN116758153A (zh) 用于机器人精准位姿获取的基于多因子图的后端优化方法
CN115223135B (zh) 车位跟踪方法、装置、车辆及存储介质
CN110864670A (zh) 目标障碍物位置的获取方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination