CN114119671B - 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 - Google Patents
一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 Download PDFInfo
- Publication number
- CN114119671B CN114119671B CN202111452024.7A CN202111452024A CN114119671B CN 114119671 B CN114119671 B CN 114119671B CN 202111452024 A CN202111452024 A CN 202111452024A CN 114119671 B CN114119671 B CN 114119671B
- Authority
- CN
- China
- Prior art keywords
- motion
- detection
- dimensional
- target tracking
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 81
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法,所述方法包括:接收激光雷达采集的点云和相机采集的RGB图像;将点云数据输入三维检测器得到三维检测结果;将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络,实时更新跟踪器,循环完成目标跟踪;所述端到端多目标跟踪网络,用于基于RGB图像和三维检测结果,并结合上一帧轨迹的运动特征和外观特征,分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联,并结合遮挡情况更新跟踪器实现目标跟踪。本发明的方法有效地融合了多源信息,并考虑到图像中目标容易存在遮挡,构建了遮挡网络进一步优化外观特征,提高了多目标跟踪算法的准确性。
Description
技术领域
本发明涉及自动驾驶技术领域,提出一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法。
背景技术
近些年来,无人驾驶技术领域发展迅速,在无人驾驶技术中感知技术是不可或缺的一环。无人驾驶车辆依赖激光雷达、相机、轮速里程计等传感器对环境进行感知,如车道线检测、三维目标检测都属于无人驾驶技术的基本功能。而三维多目标跟踪是基于基本功能之上的辅助决策功能,三维多目标跟踪算法根据检测器所检测到的目标的状态来对每个目标的状态进行预测进一步完成自动驾驶任务的决策。通过对目标的状态进行预测,对存在的风险进行分析;达到对车辆的驾驶行为提供更为精准的控制,从而提高驾驶的安全性和舒适性。
作为自动驾驶(辅助驾驶)系统的辅助决策功能之一,三维多目标跟踪可以认为是决策中极为重要的一环,对检测场景的目标一一分配状态并且随着时间的增加一直跟踪这个目标。多目标跟踪算法不仅完善了检测器的信息,还能对后续自动驾驶的决策提供了巨大的帮助。
当前,国内外均对三维多目标跟踪技术有了一定的研究,从数据输入角度出发,针对三维多目标跟踪任务的数据输入来源主要来自于相机和激光雷达这两类传感器。相机作为针孔模型的感光元器件,会提供类似于人眼直观感受的图像信息;而激光雷达作为一种主动采集式的传感器,能够通过发射接收激光,得到场景中目标的真实空间坐标信息。
从领域当前的研究现状来看,这两种传感器都广泛应用于三维多目标跟踪。然而,这两种传感器都有着很明显的缺陷。对于相机来说,图像作为一种稠密的2D表现方式,通过像素位置和像素数值来表达空间信息,压缩了Z轴的深度信息,这会导致在三维多目标跟踪任务中难以预测物体的空间绝对位置;另外,相机镜头还对光线的变化十分敏感,时常会出现过曝或者过暗的情形,在这种场景下采集到的数据难以辨识,缺失有效信息;同时目标被遮挡时图像信息的缺失导致对目标的跟踪也造成了极大的隐患。而对于激光雷达来说,虽然可以得到目标精确的空间位置信息,但是激光雷达作为主动式传感器,只能接受由传感器发射的激光信号,无法接受物体通过可见光反射的信号,所以无法得到物体的颜色纹理等特征信息;再者,激光的波长十分短,这又导致激光雷达的数据对于特殊天气十分敏感,比如在雨雪天气下得到的激光雷达点云通常会出现很多噪点。
综上所述,如果使用图像作为主要的输入信息,在遮挡等条件导致目标图像信息缺失的时候,跟踪系统将会出现严重的失灵,无法准确定位目标的位置极大影响跟踪的准确度,此外图像中缺乏空间距离信息也造成了多目标跟踪的位置预测的短板。激光雷达点云虽然可以克服光照变化的问题,但点云的稀疏性和无序性也限制了其跟踪的性能。因此,针对单纯使用车载相机或激光雷达时跟踪准确率总是存在着缺陷。一种新颖的思路是考虑结合更多的传感器,并进行数据融合以提高对环境感知的能力。但现阶段大量的实验表明,如果只是简单的对激光雷达获得的点云信息和相机获得的RGB图像做像素级融合,不仅不会使多目标跟踪算法的准确度提升,反而会起到负面作用,通常都会在一定程度上降低多目标跟踪的准确度。不仅如此,这样的计算也会极大增加计算复杂度,对整体的系统耗时产生巨大的影响。
发明内容
本发明的目的在于克服现有技术缺陷,提出了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法。
为了实现上述目的,本发明提出了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法,所述方法包括:
步骤1)接收激光雷达采集的点云和相机采集的RGB图像;
步骤2)将点云数据输入三维检测器得到三维检测结果;
步骤3)将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络,实时更新跟踪器,循环完成目标跟踪;
所述端到端多目标跟踪网络,用于基于RGB图像和三维检测结果,并结合上一帧轨迹的运动特征和外观特征,分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联,并结合遮挡情况更新跟踪器实现目标跟踪。
作为上述方法的一种改进,所述步骤2)之前还包括对接收的点云和RGB图像进行标定和对齐。
作为上述方法的一种改进,所述步骤2)具体包括:
将点云数据输入PointRCNN三维检测器,进行目标在三维空间中的位置检测,得到的三维检测结果包括:目标的类别、二维边界框的位置、目标中心的三维坐标系的位置、目标的长宽高、旋转角及检测得分。
作为上述方法的一种改进,所述端到端多目标跟踪网络使用CenterNet作为网络的基本骨架,并连接关联分支和遮挡分支,由关联分支进行轨迹和检测的关联,再结合遮挡分支计算的遮挡得分实时更新跟踪器,完成跟踪。
作为上述方法的一种改进,所述端到端多目标跟踪网络的处理过程具体包括:
对RGB图像进行图像特征提取得到每个目标的运动特征和外观特征,并输入遮挡分支;
根据三维检测结果以及运动特征和外观特征构建跟踪器;
对于收到的第一帧数据检测设置为轨迹;
对于非第一帧数据检测,结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵,并进行轨迹和检测的关联;
根据遮挡分支计算的遮挡得分选择最优外观特征进而更新跟踪器。
作为上述方法的一种改进,所述对于非第一帧数据检测,结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵,并进行轨迹和检测的关联;具体包括:
式中,di(x,y,z)为当前时刻t的检测,tj(x,y,z)为当前时刻t现存的轨迹,L2(·)表示欧氏距离运算;
建立外观关联矩阵Apperancet;
对于关联成功的检测,根据遮挡分支输出的遮挡得分选择最优外观特征,从而更新跟踪器,对于关联不成功的轨迹则该轨迹为新的轨迹。
作为上述方法的一种改进,所述方法还包括:使用标准的KITTI数据集对端到端多目标跟踪网络进行训练的步骤。
一种基于遮挡补偿的立体空间信息融合的多目标跟踪系统,所述系统包括:端到端多目标跟踪网络、接收模块、三维检测模块和跟踪模块;其中,
所述接收模块,用于接收激光雷达采集的点云和相机采集的RGB图像;
所述三维检测模块,用于将点云数据输入三维检测器得到三维检测结果;
所述跟踪模块,用于将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络,实时更新跟踪器,循环完成目标跟踪;
所述端到端多目标跟踪网络,用于基于RGB图像和三维检测结果,并结合上一帧轨迹的运动特征和外观特征,分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联,并结合遮挡情况更新跟踪器实现目标跟踪。
一种终端设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法中任一项所述的方法。
一种非易失性存储介质,用于存储计算机程序,所述计算机程序当被处理器执行时执行上述方法中任一项所述的方法。
与现有技术相比,本发明的优势在于:
1、本发明的方法可以有效地通过图像特征提升跟踪的准确度,该过程是一种信息补偿的方式,使用添加后的二维特征信息补偿三维信息完成三维多目标跟踪,算法的结果可以验证该方法的有效性,能有效地提升三维多目标跟踪的准确度;
2、与现有技术相比,本发明解决了点云数据缺乏目标的纹理信息,解决了图像缺乏目标的深度位置信息,采用了两者结合的办法极大提高了目标跟踪的准确率;
3、本发明通过在三维空间中使用三维卡尔曼滤波器有效利用了点云信息解决了目标遮挡的问题,在二维平面使用端到端的关联网络关联目标解决三维空间中的目标大位移和不规则运动导致的关联失败的问题,从而有效地融合了多源信息,使两种数据优势互补,同时考虑到图像中目标容易存在遮挡,构建了遮挡网络进一步优化外观特征,提高了三维多目标跟踪算法的准确性。
附图说明
图1是本发明的基于遮挡补偿的立体空间信息融合的多目标跟踪方法流程图;
图2是本发明的端到端的多目标跟踪网络结构图;
图3是本发明的点云和图像信息互补实现跟踪的示意图。
具体实施方式
本发明提供了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法。其具体步骤如下:
步骤1、采集自动驾驶车辆的激光雷达点云Point Cloud以及相机图像Image,默认已经完成标定和对齐。
步骤2、对于存在的点云数据使用PointRCNN算法将目标在三维空间中的位置进行检测。得到目标的检测状态,包含着目标的类别、二维边界框的位置、目标中心的三维坐标系的位置(x,y,z)、目标的长宽高(h,w,l)、旋转角ry及检测得分;
步骤3、对于二维图像,采用Centernet的端到端的跟踪框架。首先将图像输入网络,网络会对图像进行特征提取,同时根据三维检测的结果对每一个目标提取特征并且进行保存。同理对下一帧的图像进行的特征提取,对于每一个目标提取特征进行保存。将两帧的目标得到的特征输入到端到端的关联框架之中,得到了对应的匹配,实现了两帧之间目标的标号唯一性,实现了目标的跟踪;
步骤4、当目标存在遮挡情况时目标的关联将会变得十分复杂,因此使用三维卡尔曼滤波器从空间角度进行跟踪可以极大提高目标的跟踪准确度。
步骤5、但是仅仅依靠三维卡尔曼滤波当目标出现大位移或不规则运动时将会造成跟踪不准确的问题。因此,通过步骤4的运动模型和步骤3得到的特征来对目标进行联合关联。
步骤6、同时考虑到步骤3得到的目标的特征在遮挡情况下不具有表达性,因此构建了遮挡网络来判断目标的遮挡状态,轨迹最终的特征表示由其各个时刻的特征和遮挡状态共同决定。
本发明通过三维空间信息的引入有效解决了二维平面多目标跟踪的遮挡问题,通过图像特征的引入有效解决了三维多目标跟踪中目标大位移和不规则运动导致跟踪失效的问题,同时考虑到目标从三维空间投影到二维时,存在着图像平面的遮挡,引入了遮挡分支来进一步解决遮挡的问题;
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图1所示,本发明的实施例1提出了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法的流程图,包括步骤如下:
步骤1、采集自动驾驶场景下的激光雷达点云以及相机图像,默认已经完成标定和对齐。由于算法的验证要保证公开有效,所以在公开数据集KITTI进行相关的实验。
步骤2、训练端到端的多目标跟踪网络。输入图像为KITTI跟踪数据集的图像,其结构为一个连接检测和关联的框架,框架为多分支任务。一个分支进行关联任务,另外一个分支进行遮挡情况的回归。
步骤3、根据得到的三维检测的结果传入到端到端的关联网络中,对于每一个目标提取416大小的特征向量,对于两帧的目标进行关联,得到最后的关联结果。
步骤4、图2所示为本发明的端到端的多目标跟踪网络结构图,主要包括网络结构设计、模型训练三个部分。需要说明的是,端到端的多目标跟踪网络结构图的搭建、训练、测试的硬件和软件平台为Ubuntu18.04+RTX3090+pytorch1.7+cuda11.1+python3.6。在下述步骤叙述中,对业内人士基本都掌握的理论方法不做过多叙述。
和传统语义分割网络类似,使用了CenterNet作为网络的基本骨架,跟踪的关联网络中生成了一一对应的标签,然后使用公式(1)作为关联的损失函数。使用局部信息损失函数作为遮挡分支的识别。
图3所示为本发明的点云和图像信息互补实现在线跟踪的示意图。
具体实现方式:
1)首先对于t时刻点云输入将其传递到PointRCNN三维检测器,得到的三维检测结果,将得到的检测结果及图像输入到二维特征提取网络中对每一个目标进行特征提取。
2)根据得到的每一个目标的特征将其传递到遮挡网络中进行遮挡情况的识别。同时构建一个三维空间的运动模型,其基础为三维卡尔曼滤波器,运动模型可以预测目标在下一个时刻的状态。然后使用欧氏距离获得运动代价矩阵Mt。
式中,di为当前时刻的检测,tj为当前时刻现存的轨迹。
3)将1)中得到的特征与现有轨迹的特征传递到端到端的关联网络中,得到相似度矩阵Apperancet。
4)由于在二维空间中目标可能会存在遮挡,因此根据2)得到的运动代价矩阵,我们使用匈牙利算法进行运动匹配,得到关联到的轨迹和检测。对于剩余的轨迹和检测我们使用外观相似度矩阵Apperancet来进行匹配,解决由于不规则运动或者大位移造成目标在运动模型没有匹配上的问题。
我们通过关联到的检测更新轨迹,更新其三维空间中的坐标,同时更新其外观特征,我们根据轨迹多个时刻内的目标遮挡状态,选择遮挡情况最小的外观特征作为轨迹的外观特征。对于没有关联到的轨迹认为是新的轨迹。
实施例2
本发明的实施例2提出了一种基于遮挡补偿的立体空间信息融合的多目标跟踪系统,所述系统包括:端到端多目标跟踪网络、接收模块、三维检测模块和跟踪模块;其中,
所述接收模块,用于接收激光雷达采集的点云和相机采集的RGB图像;
所述三维检测模块,用于将点云数据输入三维检测器得到三维检测结果;
所述跟踪模块,用于将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络,实时更新跟踪器,循环完成目标跟踪;
所述端到端多目标跟踪网络,用于基于RGB图像和三维检测结果,并结合上一帧轨迹的运动特征和外观特征,分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联,并结合遮挡情况更新跟踪器实现目标跟踪。
实施例3
本发明的实施例3还可提供的一种计算机设备,包括:至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解,总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。
其中,用户接口可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本申请公开实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统和应用程序。
其中,操作系统,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。
在本上述的实施例中,还可通过调用存储器存储的程序或指令,具体的,可以是应用程序中存储的程序或指令,处理器用于:
执行实施例1的方法的步骤。
实施例1的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
实施例4
本发明实施例4提供一种非易失性存储介质,用于存储计算机程序。当该计算机程序被处理器执行时可以实现实施例1中方法的各个步骤。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法,所述方法包括:
步骤1)接收激光雷达采集的点云和相机采集的RGB图像;
步骤2)将点云数据输入三维检测器得到三维检测结果;
步骤3)将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络,实时更新跟踪器,循环完成目标跟踪;
所述端到端多目标跟踪网络,用于基于RGB图像和三维检测结果,并结合上一帧轨迹的运动特征和外观特征,分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联,并结合遮挡情况更新跟踪器实现目标跟踪;
所述端到端多目标跟踪网络的处理过程具体包括:
对RGB图像进行图像特征提取得到每个目标的运动特征和外观特征,并输入遮挡分支;
根据三维检测结果以及运动特征和外观特征构建跟踪器;
对于收到的第一帧数据检测设置为轨迹;
对于非第一帧数据检测,结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵,并进行轨迹和检测的关联;
根据遮挡分支计算的遮挡得分选择最优外观特征进而更新跟踪器;
所述对于非第一帧数据检测,结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵,并进行轨迹和检测的关联;具体包括:
式中,di(x,y,z)为当前时刻t的检测,tj(x,y,z)为当前时刻t现存的轨迹,L2(·)表示欧氏距离运算;
建立外观关联矩阵Apperancet;
对于关联成功的检测,根据遮挡分支输出的遮挡得分选择最优外观特征,从而更新跟踪器,对于关联不成功的轨迹则该轨迹为新的轨迹。
2.根据权利要求1所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法,其特征在于,所述步骤2)之前还包括对接收的点云和RGB图像进行标定和对齐。
3.根据权利要求1或2所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法,其特征在于,所述步骤2)具体包括:
将点云数据输入PointRCNN三维检测器,进行目标在三维空间中的位置检测,得到的三维检测结果包括:目标的类别、二维边界框的位置、目标中心的三维坐标系的位置、目标的长宽高、旋转角及检测得分。
4.根据权利要求3所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法,其特征在于,所述端到端多目标跟踪网络使用CenterNet作为网络的基本骨架,并连接关联分支和遮挡分支,由关联分支进行轨迹和检测的关联,再结合遮挡分支计算的遮挡得分实时更新跟踪器,完成跟踪。
5.根据权利要求1所述的基于遮挡补偿的立体空间信息融合的多目标跟踪方法,所述方法还包括:使用标准的KITTI数据集对端到端多目标跟踪网络进行训练的步骤。
6.一种基于遮挡补偿的立体空间信息融合的多目标跟踪系统,其特征在于,所述系统包括:端到端多目标跟踪网络、接收模块、三维检测模块和跟踪模块;其中,
所述接收模块,用于接收激光雷达采集的点云和相机采集的RGB图像;
所述三维检测模块,用于将点云数据输入三维检测器得到三维检测结果;
所述跟踪模块,用于将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络,实时更新跟踪器,循环完成目标跟踪;
所述端到端多目标跟踪网络,用于基于RGB图像和三维检测结果,并结合上一帧轨迹的运动特征和外观特征,分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联,并结合遮挡情况更新跟踪器实现目标跟踪;
所述端到端多目标跟踪网络的处理过程具体包括:
对RGB图像进行图像特征提取得到每个目标的运动特征和外观特征,并输入遮挡分支;
根据三维检测结果以及运动特征和外观特征构建跟踪器;
对于收到的第一帧数据检测设置为轨迹;
对于非第一帧数据检测,结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵,并进行轨迹和检测的关联;
根据遮挡分支计算的遮挡得分选择最优外观特征进而更新跟踪器;
所述对于非第一帧数据检测,结合上一帧轨迹的运动特征和外观特征分别建立运动关联矩阵和外观矩阵,并进行轨迹和检测的关联;具体包括:
式中,di(x,y,z)为当前时刻t的检测,tj(x,y,z)为当前时刻t现存的轨迹,L2(·)表示欧氏距离运算;
建立外观关联矩阵Apperancet;
对于关联成功的检测,根据遮挡分支输出的遮挡得分选择最优外观特征,从而更新跟踪器,对于关联不成功的轨迹则该轨迹为新的轨迹。
7.一种终端设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
8.一种非易失性存储介质,用于存储计算机程序,所述计算机程序当被处理器执行时执行权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111452024.7A CN114119671B (zh) | 2021-12-01 | 2021-12-01 | 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111452024.7A CN114119671B (zh) | 2021-12-01 | 2021-12-01 | 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114119671A CN114119671A (zh) | 2022-03-01 |
CN114119671B true CN114119671B (zh) | 2022-09-09 |
Family
ID=80369324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111452024.7A Active CN114119671B (zh) | 2021-12-01 | 2021-12-01 | 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114119671B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943943B (zh) * | 2022-05-16 | 2023-10-03 | 中国电信股份有限公司 | 目标轨迹获得方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
CN111260775A (zh) * | 2020-01-23 | 2020-06-09 | 清华大学 | 基于遮挡信息多尺度感知的三维重建方法及装置 |
CN111274976A (zh) * | 2020-01-22 | 2020-06-12 | 清华大学 | 基于视觉与激光雷达多层次融合的车道检测方法及系统 |
CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
CN111860425A (zh) * | 2020-07-30 | 2020-10-30 | 清华大学 | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 |
CN113139620A (zh) * | 2021-05-14 | 2021-07-20 | 重庆理工大学 | 基于目标关联学习的端到端多目标检测与跟踪联合方法 |
CN113468950A (zh) * | 2021-05-12 | 2021-10-01 | 东风汽车股份有限公司 | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 |
CN113537046A (zh) * | 2021-07-14 | 2021-10-22 | 安徽酷哇机器人有限公司 | 基于检测车辆轨迹大数据的地图车道线标注方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11017550B2 (en) * | 2017-11-15 | 2021-05-25 | Uatc, Llc | End-to-end tracking of objects |
US11494937B2 (en) * | 2018-11-16 | 2022-11-08 | Uatc, Llc | Multi-task multi-sensor fusion for three-dimensional object detection |
CN110688905B (zh) * | 2019-08-30 | 2023-04-18 | 中山大学 | 一种基于关键帧的三维物体检测与跟踪方法 |
CN113012193B (zh) * | 2019-12-20 | 2022-07-26 | 四川大学 | 一种基于深度学习的多行人跟踪方法 |
CN113506317B (zh) * | 2021-06-07 | 2022-04-22 | 北京百卓网络技术有限公司 | 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法 |
-
2021
- 2021-12-01 CN CN202111452024.7A patent/CN114119671B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
CN111274976A (zh) * | 2020-01-22 | 2020-06-12 | 清华大学 | 基于视觉与激光雷达多层次融合的车道检测方法及系统 |
CN111260775A (zh) * | 2020-01-23 | 2020-06-09 | 清华大学 | 基于遮挡信息多尺度感知的三维重建方法及装置 |
CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
CN111860425A (zh) * | 2020-07-30 | 2020-10-30 | 清华大学 | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 |
CN113468950A (zh) * | 2021-05-12 | 2021-10-01 | 东风汽车股份有限公司 | 一种基于深度学习的无人驾驶场景下的多目标跟踪方法 |
CN113139620A (zh) * | 2021-05-14 | 2021-07-20 | 重庆理工大学 | 基于目标关联学习的端到端多目标检测与跟踪联合方法 |
CN113537046A (zh) * | 2021-07-14 | 2021-10-22 | 安徽酷哇机器人有限公司 | 基于检测车辆轨迹大数据的地图车道线标注方法及系统 |
Non-Patent Citations (4)
Title |
---|
Channel Attention in LiDAR-camera Fusion for Lane Line Segmentation;XinyuZhang 等;《Pattern Recognition》;20211031;1-10 * |
Robust Target Recognition and Tracking of;Ze Liu 等;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20210224;1-14 * |
基于深度学习的自动驾驶技术综述;张新钰 等;《清华大学学报(自然科学版)》;20180415;第58卷(第4期);438-444 * |
机器视觉与毫米波雷达信息融合的车辆检测技术;高继东 等;《中国测试》;20211031;第47卷(第10期);33-40 * |
Also Published As
Publication number | Publication date |
---|---|
CN114119671A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102436300B1 (ko) | 위치결정 요소 검출 방법, 장치, 기기 및 매체 | |
US11380089B1 (en) | All-weather target detection method based on vision and millimeter wave fusion | |
US11398097B2 (en) | Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature | |
US20230260151A1 (en) | Simultaneous Localization and Mapping Method, Device, System and Storage Medium | |
JP7240367B2 (ja) | 車両の位置特定に用いられる方法、装置、電子デバイス及び記憶媒体 | |
CN109343061B (zh) | 传感器标定方法、装置、计算机设备、介质和车辆 | |
CN110793544B (zh) | 路侧感知传感器参数标定方法、装置、设备及存储介质 | |
KR20200128145A (ko) | 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스 | |
Brunner et al. | Selective combination of visual and thermal imaging for resilient localization in adverse conditions: Day and night, smoke and fire | |
CN111797657A (zh) | 车辆周边障碍检测方法、装置、存储介质及电子设备 | |
US11200432B2 (en) | Method and apparatus for determining driving information | |
US11092690B1 (en) | Predicting lidar data using machine learning | |
CN115147809B (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
CN111144315A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
CN115147328A (zh) | 三维目标检测方法及装置 | |
CN114119671B (zh) | 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法 | |
CN110458815B (zh) | 自动驾驶有雾场景检测的方法及装置 | |
CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 | |
CN115631397A (zh) | 一种基于双模态图像的目标检测方法及装置 | |
Wang et al. | Pedestrian detection based on YOLOv3 multimodal data fusion | |
CN116433715A (zh) | 基于多传感器前融合结果的时序追踪方法、装置及介质 | |
Liu et al. | Vehicle video surveillance system based on image fusion and parallel computing | |
CN112529011A (zh) | 目标检测方法及相关装置 | |
WO2023283929A1 (zh) | 双目相机外参标定的方法及装置 | |
Shen et al. | YCANet: Target Detection for Complex Traffic Scenes Based on Camera-LiDAR Fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |