CN115273034A - 一种基于车载多传感器融合的交通目标检测与跟踪方法 - Google Patents

一种基于车载多传感器融合的交通目标检测与跟踪方法 Download PDF

Info

Publication number
CN115273034A
CN115273034A CN202210944753.2A CN202210944753A CN115273034A CN 115273034 A CN115273034 A CN 115273034A CN 202210944753 A CN202210944753 A CN 202210944753A CN 115273034 A CN115273034 A CN 115273034A
Authority
CN
China
Prior art keywords
point cloud
track
information
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210944753.2A
Other languages
English (en)
Inventor
华国栋
刘德祥
陈雪莹
莫磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhixing Future Automobile Research Institute Co ltd
Southeast University
Original Assignee
Jiangsu Zhixing Future Automobile Research Institute Co ltd
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhixing Future Automobile Research Institute Co ltd, Southeast University filed Critical Jiangsu Zhixing Future Automobile Research Institute Co ltd
Priority to CN202210944753.2A priority Critical patent/CN115273034A/zh
Publication of CN115273034A publication Critical patent/CN115273034A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/814—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level using belief theory, e.g. Dempster-Shafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于车载多传感器融合的交通目标检测与跟踪方法，包括以下步骤：对车载摄像头采集的图像使用语义分割算法获得图像的语义信息；将激光雷达采集点云信息投影到图像平面来获取对应位置的语义信息；根据左右视角的语义信息进行融合校正；将校正后的语义信息添加到点云中得到扩展的带有语义信息的点云数据；使用点云目标检测器检测交通目标的位置、速度、宽高、朝向信息；在获得交通目标信息的基础上，使用匈牙利算法关联轨迹和传感器的观测的检测信息；使用关联后的检测信息，依据卡尔曼滤波更新车辆目标的状态，从而得出交通目标的形状、运动、轨迹信息，以提高自动驾驶车辆环境感知的精确性和实时性。

Description

一种基于车载多传感器融合的交通目标检测与跟踪方法
技术领域
本发明属于自动驾驶感知领域，涉及一种基于车载多传感器融合的交通目标检测与跟踪方法。
背景技术
在自动驾驶的车辆上往往安装多种传感器，不同的传感器在感知能力方面有各自的优势和劣势。比如，像单目摄像头这样的基于RGB的视觉传感器已经得到广泛应用，其数据经过处理可以高效准确地进行目标检测。但这种类型的传感器易受周边环境的影响，比如天气、光照等条件，并且其在速度、距离感知等方面精度不高。像激光雷达等3D传感器可以克服易受天气、光照影响的缺点，并且在目标的距离、速度测量方面精度也较高。但是他们不能感知一些颜色、纹理等视觉属性。因此，每种类型的传感器感知能力有限，都有各自的优劣势。与此同时，多传感器融合可以将各自的优势最大化并且可以有效规避不足，具体来说，多传感器融合具有如下优势：1、增强系统的生存能力，多传感器的测量信息之间有一定的冗余度；2、扩展空间覆盖范围；3、扩展时间覆盖范围；4、提高可信度和降低信息模糊性；5、改进探测性能和提高空间分辨率。在自动驾驶场景中，必须实时准确地感知车辆周围的交通目标以及轨迹，才能进行正确合理的决策。也就是说要准确地检测到交通目标的信息以及行驶轨迹，因此将多传感器信息有效融合是交通目标准确感知和跟踪的必要条件。为了达到上述目标，需要对多传感器数据信息进行合理提取，并且实现高效的融合与跟踪方法达到实时性的要求。
如今，面向自动驾驶的多源传感器器融合感知的研究已经取得了很多研究成果。然而还存在以下问题：1、多源传感器融合感知方法的计算复杂度高，实时性难以满足；2、在多传感器融合感知的流程过于复杂，拓展性和鲁棒性差，不便于实际部署。
发明内容
为解决上述问题，本发明公开了一种基于车载多传感器融合的交通目标检测与跟踪方法，对车载摄像头采集的图像使用语义分割算法获得图像的语义信息图，再将激光雷达采集点云信息投影到语义信息图上获取对应位置的信息，并对从不同视角获得的语义信息进行校正，再将信息扩展到点云数据上，以此作为点云目标检测器的输入，检测交通目标的位置、速度、宽高、朝向信息。在获得交通目标信息的基础上，使用匈牙利算法关联轨迹和传感器的观测的检测信息，依据卡尔曼滤波更新车辆目标的状态，从而得出交通目标的形状、运动、轨迹信息以提高自动驾驶车辆环境感知的精确性和实时性。
为达到上述目的，本发明的技术方案如下：
一种基于车载多传感器融合的交通目标检测与跟踪方法，该方法包括如下步骤：
1、使用语义分割网络DeepLab V3+，分别对左侧和右侧车载摄像头采集的图像进行分割，得到图片上每个像素对应的类别信息；
2、将激光雷达采集的点云分别投影到左右摄像头的图像平面，来获取左右图片中对应投影位置的类别置信度；
3、使用证据理论作为融合校正方法，针对不同视角类别信息存在偏差的问题，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，得出更准确的类别信息；
4、根据PointPainting融合流程，将从图像平面得到的类别语义信息添加到点云的信息中，再使用点云目标检测网络PointPillar去检测交通目标的位置、速度、宽高、朝向信息；
5、对现有轨迹使用卡尔曼滤波预测下个时刻轨迹对应的状态信息；
6、根据步骤4得到的交通目标信息和步骤5得到的轨迹信息，使用匈牙利算法关联轨迹和传感器的观测的检测信息；对于未关联的轨迹，若超过时间阈值则删除；对于未关联的检测信息，创建新的轨迹。已经关联的轨迹和观测用于更新车辆目标卡尔曼滤波的状态参数，从而得出交通目标的形状、运动、轨迹信息以提高自动驾驶车辆环境感知的精确性和实时性。
进一步的，步骤1中从语义分割网络DeepLab V3+得出左右视角图像各像素的语义信息，主要有以下的步骤：
1)首先从车载的左前和右前摄像头采集的图片队列中，查找对应时间戳的两张图片；
2)使用KITTI数据集训练DeepLab V3+模型，从而对模型进行微调，使其适用于交通目标图像分割；
3)将相同时间戳的左前视角和右前视角的图片作为网络输入，得到分割后的图像，过程表达为：
S＝Seg(limg) (1)
其中limg∈RW,H,3为宽为W，高为H的RGB图片，S∈RW,H,C为输出的分割图，分割图和原图像宽高一致，C为交通目标类别总数。
进一步的，步骤2中，将激光雷达采集的同一时间戳的点云分别投影到左右摄像头的图像平面，来获取左右图片中对应投影位置的类别置信度，主要有以下的步骤：
1)从激光雷达采集的点云队列中选择对应时间戳的点云数据；
2)将点云数据投影到对应的图像平面，具体而言，先将点云的点从激光雷达坐标系变换到相机坐标系下，再根据具体视角的相机作15°以内的旋转，最后再将三维空间的点投影到相机平面，完整的投影过程表达为以下形式：
pc(i)＝PrectRrectTL2cpL(i) (2)
其中，pL(i)＝(xi,yi,zi,ri),
Figure BDA0003786909500000031
为点云的N个点中的任意一点，TL2c为从车载激光雷达到摄像头的变换矩阵，Rrect为不同视角相机的旋转矩阵，Prect为向相机平面投影的投影矩阵；
3)根据2)得到的映射位置，在语义图中索引对应位置的类别置信度，索引过程表述为：
s(i)＝S[pc(i)[0],pc(i)[1]] (3)
类别置信度s(i)为点云中的第i个点投影后的像素所在目标为背景、汽车、行人、非机动车等的可能性。
进一步的，步骤3中，使用基于证据理论的融合校正方法，针对左前视角和右前视角图片的类别信息置信度不一致的情况，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，具体分为以下步骤：
1)针对所有可能的类别假设，构建证据假设Ω＝{背景,机动车,行人,非机动车}和基本信度分布(Basic Belief Assignments)，简称BBA。第i个点的BBA定义为：
Figure BDA0003786909500000032
2)将来自左前视角和右前视角的摄像头的像素语义信息看成两组证据ml(·)和mr(·)，根据视觉相似性，考虑存在不确定性的复合类别：机动车∪非机动车，行人∪非机动车，从而确定识别框架为
Figure BDA0003786909500000033
Figure BDA0003786909500000034
3)使用Dempster融合规则，将两组证据ml(·)和mr(·)进行融合校正，得出融合后的BBA，如下所示：
Figure BDA0003786909500000041
其中K为折扣系数，计算方式如下：
Figure BDA0003786909500000042
进一步的，步骤4中，根据PointPainting融合流程，与点云中各点对应的类别语义信息添加到点云的信息中，再使用点云目标检测网络PointPillar去检测交通目标的位置、速度、宽高、朝向信息，具体地，分为以下步骤：
1)将采用证据理论融合校正后的结果与原点云的点向量相连接，扩充原点云数据的维度，扩充后的点云记为ppainted(·)，扩充后点云中的任意一点ppainted(i)，
Figure BDA0003786909500000043
表示为
ppainted(i)＝(pL(i)[0],…,s(i)[0],…) (7)
2)使用PointPillar网络对扩充后的点云进行目标检测，得到交通目标的位置、速度、宽高、朝向等信息。PointPillar的具体实现主要分为三个步骤：(a)将点云转换成伪图像；(b)使用2D backbone网络学习高层次的表征；(c)任务网络实现3D Box的检测和回归任务。
对于点云到伪图像的转换，首先按照点云所在的X和Y轴位置，将点云划分为一个个的网格，所有划分在同一个网格中的点云点数据构成了一个pillar。扩展后的点云需要进一步处理，表示D＝13维的向量(x,y,z,r,xc,yc,zc,xp,yp,s)，其中xc,yc,zc为该点云所在的pillar的所有点的几何中心，xp＝x-xc,yp＝y-yp，表示了点云点与pillar里所有点几何中心的偏移量，s为扩展点云携带的类别语义信息的4维向量。设每帧点云有P个非空的pillars，每个pillar有N个点云数据，则该帧点云可表示为(D,P,N)的张量。为了保证每个pillar都有N个点云数据，采用多选少补的策略。当每个pillar中的点云个数超过N时，随机采样N个点；当每个pillar中的点云个数少于N个时，少于部分就填充0向量。由此实现了从无规则的点云数据到形状固定的堆叠的Pillars的转换。接着使用简化的PointNet对pillars进行特征提取，得到形状为(C,P,N)的张量。再在pillar所在的维度进行MaxPooling操作，得到形状为(C,P)的特征图。为了实现伪图片特征，将P转换为(H,W)，从而获得形状为(C,H,W)的伪图片。
对于检测网络的backbone模块，主要采用渐进式下采样，形成金字塔特征，再将不同层次的特征上采样到同一的尺寸，最后进行拼接。
对于任务网络，采用SSD做3D检测。每个3DBBox用一个7维的向量(x,y,z,w,h,l,θ)来表示。其中(x,y,z)为中心，w,h,l为目标的尺寸数据，θ为方位角。任务网络的回归任务就是学习这七个参数。网络的Loss由三个方面的子Loss组成，分别为定位Loss、方位Loss以及类别Loss。
定位Loss采用SmoothL1损失函数进行训练，定义为
Figure BDA0003786909500000051
其中具体的位置、形状参数计算方式如下：
Figure BDA0003786909500000052
Figure BDA0003786909500000053
Figure BDA0003786909500000054
其中da为anchor的对角线。
为了避免方向判别错误，引入Softmax损失学习交通目标的方向，该损失记作Ldir。交通目标的分类采用Focal Loss，表示如下：
Lcls＝-αa(1-pa)γlog pa (9)
在检测网络中，参数设置为α＝0.25,γ＝2。
总的Loss定义为：
Figure BDA0003786909500000055
进一步的，在步骤5对现有轨迹使用卡尔曼滤波预测下个时刻轨迹对应的状态信息，具体分为以下步骤：
1)使用11维向量T＝(x,y,z,θ,l,w,h,s,vx,vy,vz)来描述交通目标轨迹的状态,t-1时刻关联轨迹的状态表示为
Figure BDA0003786909500000056
其中mt-1为t-1时刻轨迹总数；
2)建立交通目标运动模型，从t-1时刻估计t时刻的状态。由于时间间隔较短，将运动模型假设为匀速模型，从而得出
xest＝x+vx, (11)
yest＝y+vy, (12)
zest＝z+vz (13)
因此，t时刻的第i个轨迹预测为
Figure BDA0003786909500000061
其中i∈{1,2,…,mt-1}。
进一步的，步骤6使用匈牙利算法关联轨迹和传感器的检测信息。根据关联结果做不同的处理。对于未关联的轨迹，若超过时间阈值，表明该跟踪对象已经离开观测范围，则将之前存储维护的关联轨迹删除。对于未关联的检测信息，表明该交通目标为刚刚进入观测范围的新目标对象，因此创建新的轨迹对象并维护。已经关联的轨迹和观测用于更新车辆目标卡尔曼滤波的状态参数，从而得出最新的交通目标的形状、运动、轨迹信息，并保存最新的已匹配轨迹并输出。具体分为以下步骤：
1)使用匈牙利算法对已维护的轨迹和目标检测器的结果进行关联。匈牙利算法建立一个二分图，二分图的一部分是步骤5预测出的当前时刻的轨迹，另一部分是当前时刻目标检测的结果，轨迹和检测结果之间边的权重Cost Metric需要在建图时确定，确定的方法主要有：(a)计算欧氏距离。通过计算目标检测框的中心点和轨迹状态中的框中心点之间的距离；(b)IoU匹配。通过计算目标检测框和轨迹状态维护的框的交并比，从而进一步确定边的权重；(c)外观相似度。前两种方式当目标出现了重叠阻挡问题，目标框形状也会发生变化，从而导致匹配计算的权重不准确。外观相似度通过卷积网络提取其中的特征，和轨迹的框中的特征进行对比。将IoU匹配和视觉相似度结合起来考虑来提高权重的准确性。建立好二分图之后，使用匈牙利匹配算法找出这个二分图的一个最大匹配。得出的结果表示为：
Figure BDA0003786909500000062
Figure BDA0003786909500000063
Figure BDA0003786909500000064
Figure BDA0003786909500000065
其中Tmatch和Dmatch为已经匹配好的轨迹集合和检测集合，Tunmatch是未匹配的轨迹集合，Dunmatch是未匹配的检测集合。
2)将轨迹和检测相匹配的结果用于更新卡尔曼滤波的当前时刻的状态值。由1)可得，经过数据匹配之后得到的匹配轨迹结果为
Figure BDA0003786909500000066
根据卡尔曼滤波更新公式，将
Figure BDA0003786909500000067
和
Figure BDA0003786909500000068
进行加权平均后，更新后的第k条轨迹表示为
Figure BDA0003786909500000069
Figure BDA00037869095000000610
其中k∈{1,2,…,wt}。
3)对于没有匹配的轨迹Tunmatch，存在两种情况：(a)该交通目标已经离开观测区域；(b)该交通目标仍在观测区域，但是检测器漏检或者该交通目标被遮挡了。因此，为了区分这两种情况，设置一个时间阈值，当没匹配轨迹存在时长超过阈值时，将该轨迹删除，表明该交通目标已经离开观测区域。
对于没有匹配的检测Dunmatch，也存在两种情况：(a)该交通目标刚进入观测区域，之前没有轨迹记录；(b)该交通目标已在观测区域，但是检测器本次检测误检。因此，为了区分这两种情况，设置一个帧数阈值，当超过这个阈值后，仍然存在没有匹配的检测，则创建新的轨迹对象并维护，表明该交通目标开始进入观测区域。
本发明的有益效果是：
1、本发明提供了一种在准确性和实时性前提下，提高自动驾驶交通目标检测和跟踪的方法；
2、针对多源信息融合检测算法计算复杂度高，可拓展性不强的问题，提供了使用图像语义扩展点云信息的思路，有效降低融合计算复杂度，提高可拓展性；
3、针对交通目标跟踪的问题，使用匈牙利算法进行数据关联，卡尔曼滤波进行预测和更新，保证实时性的同时提高跟踪的准确性。
附图说明
图1是本发明中涉及的各种坐标系以及之间转换关系的示意图；
图2是本发明匈牙利算法关联轨迹和目标检测观测结果的示意图；
图3是本发明中融合目标检测模块检测出的结果图；
图4是本发明中目标跟踪模块跟踪的结果图；
图5是本发明的结构框图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征相互结合，所形成的技术方案均在本发明的保护范围之内。
一种基于车载多传感器融合的交通目标检测与跟踪方法，该方法如图5所示，包括如下步骤：
1、使用语义分割网络DeepLab V3+，分别对左侧和右侧车载摄像头采集的图像进行分割，得到图片上每个像素对应的类别信息；
2、将激光雷达采集的点云分别投影到左右摄像头的图像平面，来获取左右图片中对应投影位置的类别置信度；
3、使用证据理论作为融合校正方法，针对不同视角类别信息存在偏差的问题，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，得出更准确的类别信息；
4、根据PointPainting融合流程，将从图像平面得到的类别语义信息添加到点云的信息中，再使用点云目标检测网络PointPillar去检测交通目标的位置、速度、宽高、朝向信息；
5、对现有轨迹使用卡尔曼滤波预测下个时刻轨迹对应的状态信息；
6、根据步骤4交通目标信息和步骤5轨迹信息，使用匈牙利算法关联轨迹和传感器的观测的检测信息。对于未关联的轨迹，若超过时间阈值则删除。对于未关联的检测信息，创建新的轨迹。已经关联的轨迹和观测用于更新车辆目标卡尔曼滤波的状态参数，从而得出交通目标的形状、运动、轨迹信息以提高自动驾驶车辆环境感知的精确性和实时性。
步骤1，从语义分割网络DeepLab V3+得出左右视角图像各像素的语义信息，主要有以下的步骤：
1)首先从车载的左前和右前摄像头采集的图片队列中，查找对应时间戳的两张图片；
2)使用KITTI数据集训练DeepLab V3+模型，从而对模型进行微调，使其适用于交通目标图像分割；
3)将相同时间戳的左前视角和右前视角的图片作为网络输入，得到分割后的图像，过程表达为：
S＝Seg(limg) (1)
其中limg∈RW,H,3为宽为W，高为H的RGB图片，S∈RW,H,C为输出的分割图，分割图和原图像宽高一致，C为交通目标类别总数。
步骤2，将激光雷达采集的同一时间戳的点云分别投影到左右摄像头的图像平面，来获取左右图片中对应投影位置的类别置信度，主要有以下的步骤：
1)从激光雷达采集的点云队列中选择对应时间戳的点云数据；
2)将点云数据投影到对应的图像平面，具体而言，先将点云的点从激光雷达坐标系变换到相机坐标系下，再根据具体视角的相机作15°以内的旋转，最后再将三维空间的点投影到相机平面，完整的投影过程表达为以下形式：
pc(i)＝PrectRrectTL2cpL(i) (2)
其中，pL(i)＝(xi,yi,zi,ri),
Figure BDA0003786909500000091
为点云的N个点中的任意一点，TL2c为从车载激光雷达到摄像头的变换矩阵，Rrect为不同视角相机的旋转矩阵，Prect为向相机平面投影的投影矩阵；
3)根据2)得到的映射位置，在语义图中索引对应位置的类别置信度，索引过程表述为：
s(i)＝S[pc(i)[0],pc(i)[1]] (3)
类别置信度s(i)为点云中的第i个点投影后的像素所在目标为背景、汽车、行人、非机动车等的可能性。
步骤3，使用基于证据理论的融合校正方法，针对左前视角和右前视角图片的类别信息置信度不一致的情况，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，具体分为以下步骤：
1)针对所有可能的类别假设，构建证据假设Ω＝{背景,机动车,行人,非机动车}和基本信度分布(Basic Belief Assignments)，简称BBA。第i个点的BBA定义为：
Figure BDA0003786909500000092
2)将来自左前视角和右前视角的摄像头的像素语义信息看成两组证据ml(·)和mr(·)，根据视觉相似性，考虑存在不确定性的复合类别：机动车∪非机动车，行人∪非机动车，从而确定识别框架为
Figure BDA0003786909500000093
Figure BDA0003786909500000094
3)使用Dempster融合规则，将两组证据ml(·)和mr(·)进行融合校正，得出融合后的BBA，如下所示：
Figure BDA0003786909500000095
其中K为折扣系数，计算方式如下：
Figure BDA0003786909500000096
步骤4，根据PointPainting融合流程，与点云中各点对应的类别语义信息添加到点云的信息中，再使用点云目标检测网络PointPillar去检测交通目标的位置、速度、宽高、朝向信息，具体地，分为以下步骤：
1)将采用证据理论融合校正后的结果与原点云的点向量相连接，扩充原点云数据的维度，扩充后的点云记为ppainted(·)，扩充后点云中的任意一点ppainted(i)，
Figure BDA0003786909500000101
表示为
ppainted(i)＝(pL(i)[0],…,s(i)[0],…) (7)
2)使用PointPillar网络对扩充后的点云进行目标检测，得到交通目标的位置、速度、宽高、朝向等信息。PointPillar的具体实现主要分为三个步骤：(1)将点云转换成伪图像；(2)使用2D backbone网络学习高层次的表征；(3)任务网络实现3DBBox的检测和回归任务。
对于点云到伪图像的转换，首先按照点云所在的X和Y轴位置，将点云划分为一个个的网格，所有划分在同一个网格中的点云点数据构成了一个pillar。扩展后的点云需要进一步处理，表示D＝13维的向量(x,y,z,r,xc,yc,zc,xp,yp,s)，其中xc,yc,zc为该点云所在的pillar的所有点的几何中心，xp＝x-xc,yp＝y-yp，表示了点云点与pillar里所有点几何中心的偏移量，s为扩展点云携带的类别语义信息的4维向量。设每帧点云有P个非空的pillars，每个pillar有N个点云数据，则该帧点云可表示为(D,P,N)的张量。为了保证每个pillar都有N个点云数据，采用多选少补的策略。当每个pillar中的点云个数超过N时，随机采样N个点；当每个pillar中的点云个数少于N个时，少于部分就填充0向量。由此实现了从无规则的点云数据到形状固定的堆叠的Pillars的转换。接着使用简化的PointNet对pillars进行特征提取，得到形状为(C,P,N)的张量。再在pillar所在的维度进行MaxPooling操作，得到形状为(C,P)的特征图。为了实现伪图片特征，将P转换为(H,W)，从而获得形状为(C,H,W)的伪图片。
对于检测网络的backbone模块，主要采用渐进式下采样，形成金字塔特征，再将不同层次的特征上采样到同一的尺寸，最后进行拼接。
对于任务网络，采用SSD做3D检测。每个3DBBox用一个7维的向量(x,y,z,w,h,l,θ)来表示。其中(x,y,z)为中心，w,h,l为目标的尺寸数据，θ为方位角。任务网络的回归任务就是学习这七个参数。网络的Loss由三个方面的子Loss组成，分别为定位Loss、方位Loss以及类别Loss。
定位Loss采用SmoothL1损失函数进行训练，定义为
Figure BDA0003786909500000111
其中具体的位置、形状参数计算方式如下：
Figure BDA0003786909500000112
Figure BDA0003786909500000113
Figure BDA0003786909500000114
其中da为anchor的对角线。
为了避免方向判别错误，引入Softmax损失学习交通目标的方向，该损失记作Ldir。交通目标的分类采用Focal Loss，表示如下：
Lcls＝-αa(1-pa)γlog pa (9)
在检测网络中，参数设置为α＝0.25,γ＝2。
总的Loss定义为：
Figure BDA0003786909500000115
步骤5对现有轨迹使用卡尔曼滤波预测下个时刻轨迹对应的状态信息，具体分为以下步骤：
1)使用11维向量T＝(x,y,z,θ,l,w,h,s,vx,vy,vz)来描述交通目标轨迹的状态,t-1时刻关联轨迹的状态表示为
Figure BDA0003786909500000116
其中mt-1为t-1时刻轨迹总数；
2)建立交通目标运动模型，从t-1时刻估计t时刻的状态。由于时间间隔较短，将运动模型假设为匀速模型，从而得出
xest＝x+vx, (11)
yest＝y+vy, (12)
zest＝z+vz (13)
因此，t时刻的第i个轨迹预测为
Figure BDA0003786909500000117
其中i∈{1,2,…,mt-1}。
步骤6中使用匈牙利算法关联轨迹和传感器的检测信息。根据关联结果做不同的处理。对于未关联的轨迹，若超过时间阈值，表明该跟踪对象已经离开观测范围，则将之前存储维护的关联轨迹删除。对于未关联的检测信息，表明该交通目标为刚刚进入观测范围的新目标对象，因此创建新的轨迹对象并维护。已经关联的轨迹和观测用于更新车辆目标卡尔曼滤波的状态参数，从而得出最新的交通目标的形状、运动、轨迹信息，并保存最新的已匹配轨迹并输出。具体分为以下步骤：
1)使用匈牙利算法对已维护的轨迹和目标检测器的结果进行关联。匈牙利算法建立一个二分图，二分图的一部分是步骤5)预测出的当前时刻的轨迹，另一部分是当前时刻目标检测的结果，轨迹和检测结果之间边的权重Cost Metric需要在建图时确定，确定的方法主要有：(a)计算欧氏距离。通过计算目标检测框的中心点和轨迹状态中的框中心点之间的距离；(b)IoU匹配。通过计算目标检测框和轨迹状态维护的框的交并比，从而进一步确定边的权重；(c)外观相似度。前两种方式当目标出现了重叠阻挡的问题，目标框形状也会发生变化，从而导致匹配计算的权重不准确。外观相似度通过卷积网络提取其中的特征，和轨迹的框中的特征进行对比。将IoU匹配和视觉相似度结合起来考虑来提高权重的准确性。建立好二分图之后，使用匈牙利匹配算法找出这个二分图的一个最大匹配。得出的结果表示为：
Figure BDA0003786909500000121
Figure BDA0003786909500000122
Figure BDA0003786909500000123
Figure BDA0003786909500000124
其中Tmatch和Dmatch为已经匹配好的轨迹集合和检测集合，Tunmatch是未匹配的轨迹集合，Dunmatch是未匹配的检测集合。
2)将轨迹和检测相匹配的结果用于更新卡尔曼滤波的当前时刻的状态值。由1)可得，经过数据匹配之后得到的匹配轨迹结果为
Figure BDA0003786909500000125
根据卡尔曼滤波更新公式，将
Figure BDA0003786909500000126
和
Figure BDA0003786909500000127
进行加权平均后，更新后的第k条轨迹表示为
Figure BDA0003786909500000128
Figure BDA0003786909500000129
其中k∈{1,2,…,wt}。
3)对于没有匹配的轨迹Tunmatch，存在两种情况：(a)该交通目标已经离开观测区域；(b)该交通目标仍在观测区域，但是检测器漏检或者该交通目标被遮挡了。因此，为了区分这两种情况，设置一个时间阈值，当没匹配轨迹存在时长超过阈值时，将该轨迹删除，表明该交通目标已经离开观测区域。
对于没有匹配的检测Dunmatch，也存在两种情况：(a)该交通目标刚进入观测区域，之前没有轨迹记录；(b)该交通目标已在观测区域，但是检测器本次检测误检。因此，为了区分这两种情况，设置一个帧数阈值，当超过这个阈值后，仍然存在没有匹配的检测，则创建新的轨迹对象并维护，表明该交通目标开始进入观测区域。
图3和图4为本发明的实验结果图。
图3是使用PointPainting融合目标检测流程检测出来的结果图，对车载摄像头采集的图像使用语义分割算法获得图像的语义信息，并将激光雷达采集点云信息投影到图像平面来获取对应位置的语义信息，得到扩展的带有语义信息的点云数据，再使用点云目标检测器检测交通目标的位置、速度、宽高、朝向信息。从结果图可以看出，使用基于PointPainting融合流程的检测器可以高效精确地实现交通目标的检测。
图4是使用匈牙利算法关联轨迹和传感器的观测的检测信息，并使用关联后的检测信息，依据卡尔曼滤波更新车辆目标的轨迹状态的结果图。从结果图可以看出，使用3D卡尔曼滤波的跟踪方法能够有效地对交通目标进行跟踪。
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：包括如下步骤：
S1，使用语义分割网络DeepLab V3+，分别对左侧和右侧车载摄像头采集的图像进行分割，得到图片上每个像素对应的类别信息；
S2，将激光雷达采集的点云分别投影到左右摄像头的图像平面，来获取左右图片中对应投影位置的类别置信度；
S3，使用证据理论作为融合校正方法，针对不同视角类别信息存在偏差的问题，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，得出更准确的类别信息；
S4，根据PointPainting融合流程，将从图像平面得到的类别语义信息添加到点云的信息中，再使用点云目标检测网络PointPillar去检测交通目标的位置、速度、宽高、朝向信息；
S5，对现有轨迹使用卡尔曼滤波预测下个时刻轨迹对应的状态信息；
S6，根据步骤S4得到的交通目标信息和步骤S5得到的轨迹信息，使用匈牙利算法关联轨迹和传感器的观测的检测信息；对于未关联的轨迹，若超过时间阈值则删除；对于未关联的检测信息，创建新的轨迹；已经关联的轨迹和观测用于更新车辆目标卡尔曼滤波的状态参数，从而得出交通目标的形状、运动、轨迹信息以提高自动驾驶车辆环境感知的精确性和实时性。
2.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：步骤S1中从语义分割网络DeepLab V3+得出左右视角图像各像素的语义信息，具体有以下的步骤：
1)首先从车载的左前和右前摄像头采集的图片队列中，查找对应时间戳的两张图片；
2)使用KITTI数据集训练DeepLab V3+模型，从而对模型进行微调，使其适用于交通目标图像分割；
3)将相同时间戳的左前视角和右前视角的图片作为网络输入，得到分割后的图像，过程表达为：
S＝Seg(limg) (1)
其中limg∈RW,H,3为宽为W，高为H的RGB图片，S∈RW,H,C为输出的分割图，分割图和原图像宽高一致，C为交通目标类别总数。
3.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：步骤S2中，将激光雷达采集的同一时间戳的点云分别投影到左右摄像头的图像平面，来获取左右图片中对应投影位置的类别置信度，具体有以下的步骤：
1)从激光雷达采集的点云队列中选择对应时间戳的点云数据；
2)将点云数据投影到对应的图像平面，具体而言，先将点云的点从激光雷达坐标系变换到相机坐标系下，再根据具体视角的相机作15°以内的角度旋转，最后再将三维空间的点投影到相机平面，完整的投影过程表达为以下形式：
pc(i)＝PrectRrectTL2cpL(i) (2)
其中，
Figure FDA0003786909490000021
为点云的N个点中的任意一点，TL2c为从车载激光雷达到摄像头的变换矩阵，Rrect为不同视角相机的旋转矩阵，Prect为向相机平面投影的投影矩阵；
3)根据2)得到的映射位置，在语义图中索引对应位置的类别置信度，索引过程表述为：
s(i)＝S[pc(i)[0]，pc(i)[1]] (3)
类别置信度s(i)为点云中的第i个点投影后的像素所在目标为背景、汽车、行人、非机动车的可能性。
4.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：步骤S3中，使用基于证据理论的融合校正方法，针对左前视角和右前视角图片的类别信息置信度不一致的情况，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，具体分为以下步骤：
1)针对所有可能的类别假设，构建证据假设Ω＝{背景，机动车，行人，非机动车}和基本信度分布；第i个点的基本信度分布定义为：
Figure FDA0003786909490000022
2)将来自左前视角和右前视角的摄像头的像素语义信息看成两组证据ml(·)和mr(·)，根据视觉相似性，考虑存在不确定性的复合类别：机动车∪非机动车，行人∪非机动车，从而确定识别框架为
Figure FDA0003786909490000023
Figure FDA0003786909490000031
3)使用Dempster融合规则，将两组证据ml(·)和mr(·)进行融合校正，得出融合后的基本信度分布，如下所示：
Figure FDA0003786909490000032
其中K为折扣系数，计算方式如下：
Figure FDA0003786909490000033
5.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：步骤S4中，根据PointPainting融合流程，与点云中各点对应的类别语义信息添加到点云的信息中，再使用点云目标检测网络PointPillar去检测交通目标的位置、速度、宽高、朝向信息，具体地，分为以下步骤：
1)将采用证据理论融合校正后的结果与原点云的点向量相连接，扩充原点云数据的维度，扩充后的点云记为ppainted(·)，扩充后点云中的任意一点
Figure FDA0003786909490000034
表示为
ppainted(i)＝(pL(i)[0]，...，s(i)[0]，...) (7)
2)使用PointPillar网络对扩充后的点云进行目标检测，得到交通目标的位置、速度、宽高、朝向信息；PointPillar的具体实现分为三个步骤：(a)将点云转换成伪图像；(b)使用2D backbone网络学习高层次的表征；(c)任务网络实现3D Box的检测和回归任务；
对于点云到伪图像的转换，首先按照点云所在的X和Y轴位置，将点云划分为一个个的网格，所有划分在同一个网格中的点云点数据构成了一个Pillar；扩展后的点云需要进一步处理，表示D＝13维的向量(x，y，z，r，xc，yc，zc，xp，yp，s)，其中xc，yc，zc为该点云所在的pillar的所有点的几何中心，xp＝x-xc，yp＝y-yp，表示了点云点与pillar里所有点几何中心的偏移量，s为扩展点云携带的类别语义信息的4维向量；设每帧点云有P个非空的pillars，每个pillar有N个点云数据，则该帧点云可表示为(D，P，N)的张量；为了保证每个pillar都有N个点云数据，采用多选少补的策略；当每个pillar中的点云个数超过N时，随机采样N个点；当每个pillar中的点云个数少于N个时，少于部分就填充0向量；由此实现了从无规则的点云数据到形状固定的堆叠的pillars的转换；接着使用简化的PointNet对pillars进行特征提取，得到形状为(C，P，N)的张量；再在pillar所在的维度进行MaxPooling操作，得到形状为(C，P)的特征图；为了实现伪图片特征，将P转换为(H，W)，从而获得形状为(C，H，W)的伪图片。
对于检测网络的backbone模块，主要采用渐进式下采样，形成金字塔特征，再将不同层次的特征上采样到同一的尺寸，最后进行拼接；
对于任务网络，采用SSD做3D检测；每个3D BBox用一个7维的向量(x，y，z，w，h，l，θ)来表示；其中(x，y，z)为中心，w，h，l为目标的尺寸数据，θ为方位角；任务网络的回归任务就是学习这七个参数；网络的Loss由三个方面的子Loss组成，分别为定位Loss、方位Loss以及类别Loss；
定位Loss采用SmoothL1损失函数进行训练，定义为
Figure FDA0003786909490000041
其中具体的位置、形状参数计算方式如下：
Figure FDA0003786909490000042
Figure FDA0003786909490000043
Δθ＝sin(θgt-θa)
Figure FDA0003786909490000044
其中da为anchor的对角线；
为了避免方向判别错误，引入Softmax损失学习交通目标的方向，该损失记作Ldir；交通目标的分类采用Focal Loss，表示如下：
Lcls＝-αa(1-pa)γlog pa (9)
在检测网络中，参数设置为α＝0.25，γ＝2；
总的Loss定义为：
Figure FDA0003786909490000045
6.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：步骤S5中，对现有轨迹使用卡尔曼滤波预测下个时刻轨迹对应的状态信息，具体分为以下步骤：
1)使用11维向量T＝(x，y，z，θ，l，w，h，s，vx，vy，vz)来描述交通目标轨迹的状态，t-1时刻关联轨迹的状态表示为
Figure FDA0003786909490000046
其中mt-1为t-1时刻轨迹总数；
2)建立交通目标运动模型，从t-1时刻估计t时刻的状态；由于时间间隔较短，将运动模型假设为匀速模型，从而得出
xest＝x+vx， (11)
yest＝y+vy， (12)
zest＝z+vz (13)
因此，t时刻的第i个轨迹预测为
Figure FDA0003786909490000051
其中i∈{1，2，...，mt-1}。
7.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：在步骤S6，使用匈牙利算法关联轨迹和传感器的检测信息，根据关联结果做不同的处理；对于未关联的轨迹，若超过时间阈值，表明该跟踪对象已经离开观测范围，则将之前存储维护的关联轨迹删除；对于未关联的检测信息，表明该交通目标为刚刚进入观测范围的新目标对象，因此创建新的轨迹对象并维护；已经关联的轨迹和观测用于更新车辆目标卡尔曼滤波的状态参数，从而得出最新的交通目标的形状、运动、轨迹信息，并保存最新的已匹配轨迹并输出；具体分为以下步骤：
1)使用匈牙利算法对已维护的轨迹和目标检测器的结果进行关联；匈牙利算法建立一个二分图，二分图的一部分是步骤S5预测出的当前时刻的轨迹，另一部分是当前时刻目标检测的结果，轨迹和检测结果之间边的权重CostMetric需要在建图时确定，确定的方法有：(a)计算欧氏距离；通过计算目标检测框的中心点和轨迹状态中的框中心点之间的距离；(b)IoU匹配；通过计算目标检测框和轨迹状态维护的框的交并比，从而进一步确定边的权重；(c)外观相似度；前两种方式当目标出现了重叠阻挡的问题，目标框形状也会发生变化，从而导致匹配计算的权重不准确；外观相似度通过卷积网络提取其中的特征，和轨迹的框中的特征进行对比；将IoU匹配和视觉相似度结合起来考虑来提高权重的准确性；建立好二分图之后，使用匈牙利匹配算法找出这个二分图的一个最大匹配；得出的结果表示为：
Figure FDA0003786909490000052
Figure FDA0003786909490000053
Figure FDA0003786909490000054
Figure FDA0003786909490000055
其中Tmatch和Dmatch为已经匹配好的轨迹集合和检测集合，Tunmatch是未匹配的轨迹集合，Dunmatch是未匹配的检测集合；
2)将轨迹和检测相匹配的结果用于更新卡尔曼滤波的当前时刻的状态值；由1)可得，经过数据匹配之后得到的匹配轨迹结果为
Figure FDA0003786909490000061
根据卡尔曼滤波更新公式，将
Figure FDA0003786909490000062
和
Figure FDA0003786909490000063
进行加权平均后，更新后的第k条轨迹表示为
Figure FDA0003786909490000064
Figure FDA0003786909490000065
其中k∈{1，2，...，wt}；
3)对于没有匹配的轨迹Tunmatch，存在两种情况：(a)该交通目标已经离开观测区域；(b)该交通目标仍在观测区域，但是检测器漏检或者该交通目标被遮挡了；因此，为了区分这两种情况，设置一个时间阈值，当没匹配轨迹存在时长超过阈值时，将该轨迹删除，表明该交通目标已经离开观测区域；
对于没有匹配的检测Dunmatch，也存在两种情况：(a)该交通目标刚进入观测区域，之前没有轨迹记录；(b)该交通目标已在观测区域，但是检测器本次检测误检；因此，为了区分这两种情况，设置一个帧数阈值，当超过这个阈值后，仍然存在没有匹配的检测，则创建新的轨迹对象并维护，表明该交通目标开始进入观测区域。
CN202210944753.2A 2022-08-08 2022-08-08 一种基于车载多传感器融合的交通目标检测与跟踪方法 Pending CN115273034A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210944753.2A CN115273034A (zh) 2022-08-08 2022-08-08 一种基于车载多传感器融合的交通目标检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210944753.2A CN115273034A (zh) 2022-08-08 2022-08-08 一种基于车载多传感器融合的交通目标检测与跟踪方法

Publications (1)

Publication Number Publication Date
CN115273034A true CN115273034A (zh) 2022-11-01

Family

ID=83748708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210944753.2A Pending CN115273034A (zh) 2022-08-08 2022-08-08 一种基于车载多传感器融合的交通目标检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN115273034A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830079A (zh) * 2023-02-15 2023-03-21 天翼交通科技有限公司 交通参与者的轨迹追踪方法、装置及介质
CN115877343A (zh) * 2023-02-02 2023-03-31 中电信数字城市科技有限公司 基于雷达目标跟踪的人车匹配方法、装置和电子设备
CN115985113A (zh) * 2022-12-07 2023-04-18 北京万集科技股份有限公司 交通信号灯控制方法及电子设备
CN116523970A (zh) * 2023-07-05 2023-08-01 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN116844134A (zh) * 2023-06-30 2023-10-03 北京百度网讯科技有限公司 目标检测方法、装置、电子设备、存储介质及车辆

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115985113A (zh) * 2022-12-07 2023-04-18 北京万集科技股份有限公司 交通信号灯控制方法及电子设备
CN115985113B (zh) * 2022-12-07 2023-11-14 北京万集科技股份有限公司 交通信号灯控制方法及电子设备
CN115877343A (zh) * 2023-02-02 2023-03-31 中电信数字城市科技有限公司 基于雷达目标跟踪的人车匹配方法、装置和电子设备
CN115830079A (zh) * 2023-02-15 2023-03-21 天翼交通科技有限公司 交通参与者的轨迹追踪方法、装置及介质
CN116844134A (zh) * 2023-06-30 2023-10-03 北京百度网讯科技有限公司 目标检测方法、装置、电子设备、存储介质及车辆
CN116523970A (zh) * 2023-07-05 2023-08-01 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN116523970B (zh) * 2023-07-05 2023-10-20 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置

Similar Documents

Publication Publication Date Title
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN113485441B (zh) 结合无人机高精度定位和视觉跟踪技术的配网巡检方法
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
WO2022188663A1 (zh) 一种目标检测方法及装置
Rawashdeh et al. Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
CN114898314B (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN114114312A (zh) 一种基于多焦距相机与激光雷达融合的三维目标检测方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN116295412A (zh) 一种基于深度相机的室内移动机器人稠密建图与自主导航一体化方法
CN117115784A (zh) 目标数据融合的车辆检测方法及检测装置
CN113589848B (zh) 基于机器视觉的多无人机探测定位跟踪系统及方法
CN116508071A (zh) 用于注释汽车雷达数据的系统和方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN116912786A (zh) 一种基于车路协同的智能网联汽车多模态融合检测方法
Ho et al. Localization on freeways using the horizon line signature
CN114323038B (zh) 融合双目视觉和2d激光雷达的室外定位方法
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质
CN115792912A (zh) 一种弱观测条件下基于视觉与毫米波雷达融合的水面无人艇环境感知方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination