CN110675431A - 一种融合图像和激光点云的三维多目标跟踪方法 - Google Patents

一种融合图像和激光点云的三维多目标跟踪方法 Download PDF

Info

Publication number
CN110675431A
CN110675431A CN201910948851.1A CN201910948851A CN110675431A CN 110675431 A CN110675431 A CN 110675431A CN 201910948851 A CN201910948851 A CN 201910948851A CN 110675431 A CN110675431 A CN 110675431A
Authority
CN
China
Prior art keywords
target
point cloud
image
dimensional
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910948851.1A
Other languages
English (en)
Other versions
CN110675431B (zh
Inventor
许娇龙
聂一鸣
肖良
赵大伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN201910948851.1A priority Critical patent/CN110675431B/zh
Publication of CN110675431A publication Critical patent/CN110675431A/zh
Application granted granted Critical
Publication of CN110675431B publication Critical patent/CN110675431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明一种融合图像和激光点云的三维多目标跟踪方法，融合激光雷达的点云以及相机的图像数据，充分发挥点云数据和图像数据之间互补的优势，通过提取目标的三维空间位置信息，点云特征、图像特征，对检测目标与跟踪轨迹之间进行匹配，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，得到准确稳定的三维多目标跟踪。本发明可用于各类无人车中的行人、车辆等运动目标的跟踪和预测，也可以用于安防监控以及无人机对地目标侦察等领域。

Description

一种融合图像和激光点云的三维多目标跟踪方法
技术领域
本发明属于信息与通信技术领域，具体涉及一种三维多目标跟踪方法。
背景技术
目前大多数多目标跟踪方法都是基于单一传感器，如仅依赖激光雷达或者相机。激光雷达的点云数据能提供目标的三维信息，虽然能较好地克服目标相互遮挡问题，但是点云数据只有几何信息，难以对目标属性进行识别，因此很难对跟踪过程中重新出现的目标进行识别。
由于图像数据相比点云数据具有更丰富的信息，基于图像及视频数据的多目标跟踪是目前研究得较多的方法，但是图像由于受到光照、阴影的影响比较大，使得跟踪的可靠性大大降低。另外由于图像只有二维平面信息，无法获取被遮挡的目标的信息，容易造成跟踪丢失或错误。
基于激光雷达和相机的多传感器融合能充分发挥点云和图像数据的互补性，提高系统的努棒性，但是目前对多传感器融合的目标跟踪研究不多，通常只是将各个传感器各自的跟踪结果进行后期融合，对跟踪性能的提高有限，尤其是对于长时间跟踪过程中消失目标的重新识别的问题难以解决。
发明内容
本发明目的在于解决目标遮挡造成的跟踪丢失和长时间跟踪过程中消失目标难以识别的技术问题
为达到上述目的，本发明提供的技术方案为：
一种融合图像和激光点云的三维多目标跟踪方法，包括如下步骤：
S1.从激光雷达获取点云数据，检测出目标的三维空间位置信息并提取点云特征；
进一步的，所述步骤S1还包括如下步骤：
S11.对采集的点云通过点云目标检测算法得到目标的三维空间位置信息包括目标中心点(x,y,z)，长宽高(l,w,h)以及朝向θ；
S12.对三维边界框内的点云进行特征提取，得到目标的点云特征。
进一步的，所述步骤S12还包括如下步骤：
S121.从预先采集的三维点云数据中提取出各个目标对应的点云，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；
S122.在标注的数据集上训练点云深度神经网络，训练过程以最小化在标注样本上的分类误差作为目标。
S2.从相机获取图像数据，将目标三维边界投影到图像平面，并提取投影区域的图像特征；
进一步的，所述步骤S2还包括如下步骤：
S21.预先对激光雷达和相机进行联合标定，得到三维点云与图像像素之间的投影变换矩阵；
进一步的，所述步骤S21还包括如下步骤：
S211.预先放置若干立方体箱子，箱子的位置和朝向随机摆放；
S212.使用待标定的激光雷达采集所述立方体箱子的点云数据，同时使用待标定相机采集所述立方体箱子的图像数据；
S213.在采集的点云数据中选取箱子角点上的激光点，获取其三维坐标，并在采集的图像中选取对应角点的像素，得到角点的图像坐标；
S214.根据选取的三维点云坐标和对应的二维图像坐标求解出所述的投影矩阵。
S22.采集到图像数据时，使用所述投影变换矩阵，将目标三维边界投影到图像平面，得到目标在图像中的二维边界框；
S23.对二维边界框内的图像进行特征提取，得到目标的图像特征；
进一步的，所述步骤S23还包括如下步骤：
S231.从预先采集的图像数据中标注出各个目标所在的区域，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；
S232.在标注的数据集上训练深度卷积神经网络，训练过程以最小化在标注样本上的分类误差为目标。
S3.计算检测到的目标和跟踪轨迹在点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并；
S4.将合并的相似度矩阵通过匈牙利算法计算目标和轨迹之间的二分图匹配关系，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，实现对三维目标的跟踪。
进一步的，所述步骤S3还包括如下步骤：
S31.用t表示视频图像的帧号，在t＝0时，将检测的每一个目标初始化为一个跟(x,y,z,θ,l,w,h,vx,vy,vz)，其中(x,y,x)为目标的中心点，(l,w,h)为长宽高，θ为朝向，(vx,vy,vz)为目标在x,y,z方向的速度；
S32.在t>0时，首先通过卡尔曼滤波器，预测t-1帧的轨迹在t帧的三维空间位置信息；
S33.计算目标和所述跟踪轨迹预测的点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并
进一步的，在第t帧检测的目标为
Figure BDA0002224886440000031
t-1帧跟踪的轨迹表示为{Tt j|j∈[0,m]}，所述步骤S33的具体步骤为：
S331.计算目标和跟踪轨迹在三维空间位置上的相似度矩阵
S332.计算目标和跟踪轨迹在点云特征上的相似度矩阵
Figure BDA0002224886440000033
S333.计算目标和跟踪轨迹在图像特征上的相似度矩阵
Figure BDA0002224886440000034
S334.对所述相似度矩阵进行合并，得到合并相似度矩阵
进一步的，所述S4还包括如下步骤：
S41.根据所述的合并相似度矩阵，用匈牙利算法求解二分图匹配问题，得到目标与跟踪轨迹的关联结果。
S42.对于在所述关联结果中配对成功的目标和轨迹，将其作为卡尔曼滤波器的观测变量，对卡尔曼滤波器的参数进行更新。
S43.对于在所述关联结果中未匹配的目标，初始化为新的轨迹，对于未匹配的轨迹，对其未匹配次数进行累加，如果其连续L帧未能匹配成功，将其删除，其中L是一个可以设置的参数。
附图说明
图1是激光雷达与相机联合标定的实现流程示意图；
图2是本发明融合图像与激光点云进行三维多目标跟踪的实现流程示意图；
图3是提取点云特征的深度神经网络结构示意图；
图4是提取图像特征的深度神经网络结构示意图。
具体实施方式
以下结合说明书附图和具体优选实例对本发明作进一步的详细描述，但并不因此而限制本发明的保护范围。
如图1所示，本实例融合图像和激光点云的三维多目标跟踪方法，步骤包括：
S1.从激光雷达获取点云数据，检测出目标的三维空间位置信息并提取点云特征；
S2.从相机获取图像数据，将目标三维边界投影到图像平面，并提取投影区域的图像特征；
S3.计算检测到的目标和跟踪轨迹在点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并；
S4.将合并的相似度矩阵通过匈牙利算法计算目标和轨迹之间的二分图匹配关系，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，实现对三维目标的跟踪。
本实例融合激光雷达的点云以及相机的图像数据，充分发挥点云数据和图像数据之间互补的优势，通过提取目标的三维空间位置信息，点云特征、图像特征，对检测目标与跟踪轨迹之间进行匹配，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，得到准确稳定的三维多目标跟踪，可用于各类无人车中的行人、车辆等运动目标的跟踪和预测，也可以用于安防监控以及无人机对地目标侦察等领域。
本实例在检测目标与跟踪轨迹的数据关联中，结合了目标的三维空间位置信息、点云特征以及图像特征，其中目标的三维空间位置信息能有效区分目标之间的相互遮挡，点云特征能有效区分目标之间的三维形状特点，图像特征能表征目标的颜色、纹理等属性，可以因长时间遮挡或消失的目标的重新识别能带来很大的提高。
本实例中，所述步骤S1中从激光雷达获取点云数据，检测出目标的三维空间位置信息并提取点云特征的具体步骤为：
S11.对采集的点云通过点云目标检测算法得到目标的三维空间位置信息包括目标中心点(x,y,z)，长宽高(l,w,h)以及朝向θ；
S12.对三维边界框内的点云进行特征提取，得到目标的点云特征。
本实施例中，点云特征通过点云深度神经网络PointNet提取，其网络结构如图3所示，包括点云特征提取子网络和点云分类子网络。其中，点云特征提取子网络用于所述点云特征提取，点云分类子网络用于训练网络权重。图3中MLP(Multiple-Layer-Perception)表示多层感知机，MaxPool是最大值池化操作，c表示目标的类别数，得到的点云特征的维度为d1。PointNet通过预先采集和标注的点云样本训练得到，训练过程包括以下步骤：
S121.从预先采集的三维点云数据中提取出各个目标对应的点云，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；
S122.在标注的数据集上训练点云深度神经网络，训练过程以最小化在标注样本上的分类误差作为目标。
所述步骤S2中从相机获取图像数据，将目标三维边界投影到图像平面，并提取投影区域的图像特征，具体步骤为：
S21.预先对激光雷达和相机进行联合标定，得到三维点云与图像像素之间的投影变换矩阵；
S22.采集到图像数据时，使用所述投影变换矩阵，将目标三维边界投影到图像平面，得到目标在图像中的二维边界框；
S23.对二维边界框内的图像进行特征提取，得到目标的图像特征。
本实例中，所述步骤S21的具体步骤为：
S211.预先放置若干立方体箱子，箱子的位置和朝向随机摆放；
S212.使用待标定的激光雷达采集所述立方体箱子的点云数据，同时使用待标定相机采集所述立方体箱子的图像数据；
S213.在采集的点云数据中选取箱子角点上的激光点，获取其三维坐标，并在采集的图像中选取对应角点的像素，得到角点的图像坐标；
S214.根据选取的三维点云坐标和对应的二维图像坐标求解出所述的投影矩阵。
假设(x,y,z)和(u,v)分别为角点在激光雷达坐标系和图像像素坐标系下的坐标，根据针孔相机模型可以得到，两坐标间转换关系如下：
Figure BDA0002224886440000051
其中K为相机的内参矩阵，相机的内参在出厂之后是固定的，通常由生产厂商提供或通过标定算法获得，[R,T]是相机的外参矩阵。式(1)需要求解的是3D点到2D点的投影变换矩阵M，可以通过经典的PnP(Perspective-n-Point)算法求解，采用PnP算法，需要选取至少3对所述角点。
本实施例中，所述步骤S2中图像特征通过深度卷积神经网络提取，其网络结构如图4所示，包括图像特征提取子网络和图像分类子网络。其中，图像特征提取子网络用于所述图像特征提取，图像分类子网络用于训练网络权重。图4中的H和W分别为输入图像的高和宽，Conv表示卷积层，BN表示批归一化层，AvgPool是平均值池化层，FC表示全连接层，c表示目标的类别数，提取的特征长度为d2。该网络通过预先采集和标注的图像样本训练得到，训练过程包括以下步骤：
S231.从预先采集的图像数据中标注出各个目标所在的区域，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；
S232.在标注的数据集上训练深度卷积神经网络，训练过程以最小化在标注样本上的分类误差为目标。
本实施例中，所述步骤S3的具体步骤为：
S31.用t表示视频图像的帧号，在t＝0时，将检测的每一个目标初始化为一个跟(x,y,z,θ,l,w,h,vx,vy,vz)，其中(x,y,x)为目标的中心点，(l,w,h)为长宽高，θ为朝向，(vx,vy,vz)为目标在x,y,z方向的速度；
S32.在t>0时，首先通过卡尔曼滤波器，预测t-1帧的轨迹在t帧的三维空间位置信息；
S33.计算目标和所述跟踪轨迹预测的点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并。
本实施例中，所述步骤S33的卡尔曼滤波器对轨迹的预测用下式表示：
xt＝xt-1+vx,yt＝yt-1+vy,zt＝zt-1+vz (2)
本实施例中，在第t帧检测的目标为
Figure BDA0002224886440000061
,t-1帧跟踪的轨迹表示为{Tt j|j∈[0,m]}，所述步骤S34的具体步骤为：
S331.计算目标和跟踪轨迹在三维空间位置上的相似度矩阵
Figure BDA0002224886440000062
S332.计算目标和跟踪轨迹在点云特征上的相似度矩阵
Figure BDA0002224886440000063
S333.计算目标和跟踪轨迹在图像特征上的相似度矩阵
Figure BDA0002224886440000064
S334.对所述相似度矩阵进行合并，得到合并相似度矩阵(本发明核心的内容)
本实施例中，所述步骤S331中所述相似度矩阵
Figure BDA0002224886440000066
中第i行第j列元素为目标i与轨迹j在三维空间的重合率。重合率用交并比表示为：
其中Di∩Tj为目标i与轨迹j在三维空间的相交部分的体积，Di∪Tj为目标i与轨迹j在三维空间的总体积。
本实施例中，所述步骤S332中所述相似度矩阵
Figure BDA0002224886440000071
中第i行第j列元素为目标i与轨迹j在图像特征上的余弦距离：
Figure BDA0002224886440000072
其中
Figure BDA0002224886440000073
和
Figure BDA0002224886440000074
分别为目标i和轨迹j的点云特征，式(4)中·为向量点乘运算，|| ||为向量求模运算。
本实施例中，所述步骤S333中所述相似度矩阵中第i行第j列元素为目标i与轨迹j在点云特征上的余弦距离：
Figure BDA0002224886440000076
其中
Figure BDA0002224886440000077
和分别为目标i和轨迹j的图像特征，式(4)中·为向量点乘运算，|| ||为向量求模运算。
本实施例中，所述步骤S334中所述合并相似度矩阵
Figure BDA0002224886440000079
通过下式计算：
Figure BDA00022248864400000710
其中λ1、λ2和λ3为权重系数，控制不同相似度矩阵在合并相似度矩阵中的权重。
本实施例中，所述步骤S4的具体步骤为：
S41.根据所述的合并相似度矩阵，用匈牙利算法求解二分图匹配问题，得到目标与跟踪轨迹的关联结果。
S42.对于在所述关联结果中配对成功的目标和轨迹，将其作为卡尔曼滤波器的观测变量，对卡尔曼滤波器的参数进行更新。
S43.对于在所述关联结果中未匹配的目标，初始化为新的轨迹，对于未匹配的轨迹，对其未匹配次数进行累加，如果其连续L帧未能匹配成功，将其删除，其中L是一个可以设置的参数。
虽然本发明已通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (8)

1.一种融合图像和激光点云的三维多目标跟踪方法，其特征在于，包括如下步骤：
S1.从激光雷达获取点云数据，检测出目标的三维空间位置信息并提取点云特征；
S2.从相机获取图像数据，将目标三维边界投影到图像平面，并提取投影区域的图像特征；
S3.计算检测到的目标和跟踪轨迹在点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并；
S4.将合并的相似度矩阵通过匈牙利算法计算目标和轨迹之间的二分图匹配关系，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，实现对三维目标的跟踪。
2.根据权利要求1所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S1还包括如下步骤：
S11.对采集的点云通过点云目标检测算法得到目标的三维空间位置信息包括目标中心点(x,y,z)，长宽高(l,w,h)以及朝向θ；
S12.对三维边界框内的点云进行特征提取，得到目标的点云特征。
3.根据权利要求2所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S12还包括如下步骤：
S121.从预先采集的三维点云数据中提取出各个目标对应的点云，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；
S122.在标注的数据集上训练点云深度神经网络，训练过程以最小化在标注样本上的分类误差作为目标。
4.根据权利要求1所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S2还包括如下步骤：
S21.预先对激光雷达和相机进行联合标定，得到三维点云与图像像素之间的投影变换矩阵；
S22.采集到图像数据时，使用所述投影变换矩阵，将目标三维边界投影到图像平面，得到目标在图像中的二维边界框；
S23.对二维边界框内的图像进行特征提取，得到目标的图像特征。
5.根据权利要求4所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S21还包括如下步骤：
S211.预先放置若干立方体箱子，箱子的位置和朝向随机摆放；
S212.使用待标定的激光雷达采集所述立方体箱子的点云数据，同时使用待标定相机采集所述立方体箱子的图像数据；
S213.在采集的点云数据中选取箱子角点上的激光点，获取其三维坐标，并在采集的图像中选取对应角点的像素，得到角点的图像坐标；
S214.根据选取的三维点云坐标和对应的二维图像坐标求解出所述的投影矩阵。
6.根据权利要求4所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S23还包括如下步骤：
S231.从预先采集的图像数据中标注出各个目标所在的区域，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；
S232.在标注的数据集上训练深度卷积神经网络，训练过程以最小化在标注样本上的分类误差为目标。
7.根据权利要求1-6任一权利要求所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，
所述步骤S3还包括如下步骤：
S31.用t表示视频图像的帧号，在t＝0时，将检测的每一个目标初始化为一个跟(x,y,z,θ,l,w,h,vx,vy,vz)，其中(x,y,x)为目标的中心点，(l,w,h)为长宽高，θ为朝向，(vx,vy,vz)为目标在x,y,z方向的速度；
S32.在t>0时，首先通过卡尔曼滤波器，预测t-1帧的轨迹在t帧的三维空间位置信息；
S33.计算目标和所述跟踪轨迹预测的点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并
所述S4还包括如下步骤：
S41.根据所述的合并相似度矩阵，用匈牙利算法求解二分图匹配问题，得到目标与跟踪轨迹的关联结果。
S42.对于在所述关联结果中配对成功的目标和轨迹，将其作为卡尔曼滤波器的观测变量，对卡尔曼滤波器的参数进行更新。
S43.对于在所述关联结果中未匹配的目标，初始化为新的轨迹，对于未匹配的轨迹，对其未匹配次数进行累加，如果其连续L帧未能匹配成功，将其删除，其中L是一个可以设置的参数。
8.根据权利要求7所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，
在第t帧检测的目标为
Figure FDA0002224886430000021
帧跟踪的轨迹表示为{Tt j|j∈[0,m]}，所述步骤S33的具体步骤为：
S331.计算目标和跟踪轨迹在三维空间位置上的相似度矩阵
Figure FDA0002224886430000031
S332.计算目标和跟踪轨迹在点云特征上的相似度矩阵
S333.计算目标和跟踪轨迹在图像特征上的相似度矩阵
Figure FDA0002224886430000033
S334.对所述相似度矩阵进行合并，得到合并相似度矩阵
Figure 1
。
CN201910948851.1A 2019-10-08 2019-10-08 一种融合图像和激光点云的三维多目标跟踪方法 Active CN110675431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910948851.1A CN110675431B (zh) 2019-10-08 2019-10-08 一种融合图像和激光点云的三维多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910948851.1A CN110675431B (zh) 2019-10-08 2019-10-08 一种融合图像和激光点云的三维多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110675431A true CN110675431A (zh) 2020-01-10
CN110675431B CN110675431B (zh) 2020-09-11

Family

ID=69080733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910948851.1A Active CN110675431B (zh) 2019-10-08 2019-10-08 一种融合图像和激光点云的三维多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110675431B (zh)

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192331A (zh) * 2020-04-09 2020-05-22 浙江欣奕华智能科技有限公司 一种激光雷达和相机的外参标定方法及装置
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111476242A (zh) * 2020-03-31 2020-07-31 北京经纬恒润科技有限公司 一种激光点云语义分割方法及装置
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111666855A (zh) * 2020-05-29 2020-09-15 中国科学院地理科学与资源研究所 基于无人机的动物三维参数提取方法、系统及电子设备
CN111708021A (zh) * 2020-07-15 2020-09-25 四川长虹电器股份有限公司 一种基于毫米波雷达的人员跟踪与识别算法
CN111709988A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111753638A (zh) * 2020-05-03 2020-10-09 深圳奥比中光科技有限公司 一种基于rgbd图像的行人跟踪方法及系统
CN111754798A (zh) * 2020-07-02 2020-10-09 上海电科智能系统股份有限公司 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法
CN111783905A (zh) * 2020-09-07 2020-10-16 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备
CN111866305A (zh) * 2020-08-11 2020-10-30 普达迪泰（天津）智能装备科技有限公司 室内外特定条件下的图像增强与环境适应性方法
CN111899279A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 一种目标对象的运动速度检测方法及装置
CN111896973A (zh) * 2020-07-16 2020-11-06 武汉大学 基于主被动融合的超远距离目标三维运动轨迹预测方法
CN111949943A (zh) * 2020-07-24 2020-11-17 北京航空航天大学 一种面向高级自动驾驶的v2x和激光点云配准的车辆融合定位方法
CN112085801A (zh) * 2020-09-08 2020-12-15 清华大学苏州汽车研究院（吴江） 基于神经网络的三维点云和二维图像融合的校准方法
CN112233097A (zh) * 2020-10-19 2021-01-15 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112561966A (zh) * 2020-12-22 2021-03-26 清华大学 一种融合时空信息的稀疏点云多目标跟踪方法
CN112731371A (zh) * 2020-12-18 2021-04-30 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪系统及方法
CN112740268A (zh) * 2020-11-23 2021-04-30 华为技术有限公司 目标检测方法和装置
CN112965081A (zh) * 2021-02-05 2021-06-15 浙江大学 基于融合行人信息的特征地图的模仿学习社交导航方法
CN112985259A (zh) * 2021-01-25 2021-06-18 中国人民解放军军事科学院国防科技创新研究院 基于多目视觉的目标定位方法及系统
CN113066124A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种神经网络的训练方法以及相关设备
CN113468950A (zh) * 2021-05-12 2021-10-01 东风汽车股份有限公司 一种基于深度学习的无人驾驶场景下的多目标跟踪方法
CN113496249A (zh) * 2020-03-18 2021-10-12 通用汽车环球科技运作有限责任公司 使用低水平相机雷达融合的物体检测
CN113705669A (zh) * 2021-08-27 2021-11-26 上海商汤临港智能科技有限公司 一种数据匹配方法、装置、电子设备以及存储介质
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船
CN113763423A (zh) * 2021-08-03 2021-12-07 中国北方车辆研究所 一种基于多模态数据的系统性目标识别与跟踪方法
CN113780214A (zh) * 2021-09-16 2021-12-10 上海西井信息科技有限公司 基于人群进行图像识别的方法、系统、设备及存储介质
CN113780213A (zh) * 2021-09-16 2021-12-10 上海西井信息科技有限公司 基于监控进行行人识别的方法、系统、设备及存储介质
WO2022021027A1 (zh) * 2020-07-27 2022-02-03 深圳市大疆创新科技有限公司 目标跟踪方法、装置、无人机、系统及可读存储介质
CN114078331A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 超速检测方法、装置、视觉传感器和存储介质
CN114119659A (zh) * 2021-11-12 2022-03-01 武汉理工大学重庆研究院 一种多传感器融合的目标跟踪方法
CN114120075A (zh) * 2021-11-25 2022-03-01 武汉市众向科技有限公司 一种融合单目相机和激光雷达的三维目标检测方法
CN114119671A (zh) * 2021-12-01 2022-03-01 清华大学 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN114137562A (zh) * 2021-11-30 2022-03-04 合肥工业大学智能制造技术研究院 一种基于改进全局最邻近的多目标跟踪方法
CN114155720A (zh) * 2021-11-29 2022-03-08 上海交通大学 一种路侧激光雷达的车辆检测和轨迹预测方法
CN114170580A (zh) * 2021-12-01 2022-03-11 连云港杰瑞电子有限公司 一种面向高速公路的异常事件检测方法
CN114332158A (zh) * 2021-12-17 2022-04-12 重庆大学 一种基于相机和激光雷达融合的3d实时多目标跟踪方法
CN114419152A (zh) * 2022-01-14 2022-04-29 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及系统
CN114419130A (zh) * 2021-12-22 2022-04-29 中国水利水电第七工程局有限公司 一种基于图像特征和三维点云技术的散料体积测量方法
CN114419098A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 基于视觉变换的运动目标轨迹预测方法及装置
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质
CN114879217A (zh) * 2022-07-12 2022-08-09 中国工程物理研究院应用电子学研究所 一种目标位姿的判断方法及系统
CN114898585A (zh) * 2022-04-20 2022-08-12 清华大学 基于路口多视角的车辆轨迹预测规划方法及系统
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN115018908A (zh) * 2022-06-01 2022-09-06 中国人民解放军63660部队 一种基于阴影的飞行器落点单目测量方法
WO2022188663A1 (zh) * 2021-03-09 2022-09-15 华为技术有限公司 一种目标检测方法及装置
CN115222808A (zh) * 2021-06-30 2022-10-21 达闼机器人股份有限公司 基于无人机的定位方法、装置、存储介质和电子设备
CN115272425A (zh) * 2022-08-29 2022-11-01 中铁云网信息科技有限公司 一种基于三维点云的铁路工地区域入侵检测方法及系统
CN115390582A (zh) * 2022-07-15 2022-11-25 江西理工大学 一种基于点云的多旋翼无人机跟踪拦截方法及系统
CN115390066A (zh) * 2022-08-17 2022-11-25 苏州广目汽车科技有限公司 一种基于摄像头与毫米波雷达融合的改进匈牙利算法目标跟踪匹配方法
CN115877343A (zh) * 2023-02-02 2023-03-31 中电信数字城市科技有限公司 基于雷达目标跟踪的人车匹配方法、装置和电子设备
CN115965925A (zh) * 2023-03-03 2023-04-14 安徽蔚来智驾科技有限公司 点云目标检测方法、计算机设备、存储介质及车辆
CN116168062A (zh) * 2023-04-21 2023-05-26 深圳佑驾创新科技有限公司 一种3d目标跟踪方法及装置
CN117452392A (zh) * 2023-12-26 2024-01-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种用于车载辅助驾驶系统的雷达数据处理系统和方法
CN117576166A (zh) * 2024-01-15 2024-02-20 浙江华是科技股份有限公司 基于相机和低帧率激光雷达的目标跟踪方法及系统
CN117784798A (zh) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 目标跟踪方法、智能设备及计算机可读存储介质
GB2622776A (en) * 2022-09-23 2024-04-03 Continental Automotive Gmbh Method and system for associating two or more images
CN118259312A (zh) * 2024-04-01 2024-06-28 武汉科技大学 一种基于激光雷达的车辆碰撞预警方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN108731587A (zh) * 2017-04-14 2018-11-02 中交遥感载荷（北京）科技有限公司 一种基于视觉的无人机动态目标跟踪与定位方法
EP3407090A1 (de) * 2017-05-24 2018-11-28 Jena Optronik GmbH Verfahren zur erfassung und autonomer verfolgung eines zielobjekts mittels eines lidar-sensors
CN108921935A (zh) * 2018-06-05 2018-11-30 中国人民解放军军事科学院国防科技创新研究院 一种基于加速高斯混合模型的空间目标重建方法
CN109410282A (zh) * 2018-11-08 2019-03-01 上海木木聚枞机器人科技有限公司 一种输液杆的检测跟踪方法和装置
US10289938B1 (en) * 2017-05-16 2019-05-14 State Farm Mutual Automobile Insurance Company Systems and methods regarding image distification and prediction models
CN110163869A (zh) * 2019-04-18 2019-08-23 深圳大学 一种图像重复元素分割方法、智能设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108731587A (zh) * 2017-04-14 2018-11-02 中交遥感载荷（北京）科技有限公司 一种基于视觉的无人机动态目标跟踪与定位方法
US10289938B1 (en) * 2017-05-16 2019-05-14 State Farm Mutual Automobile Insurance Company Systems and methods regarding image distification and prediction models
EP3407090A1 (de) * 2017-05-24 2018-11-28 Jena Optronik GmbH Verfahren zur erfassung und autonomer verfolgung eines zielobjekts mittels eines lidar-sensors
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN108921935A (zh) * 2018-06-05 2018-11-30 中国人民解放军军事科学院国防科技创新研究院 一种基于加速高斯混合模型的空间目标重建方法
CN109410282A (zh) * 2018-11-08 2019-03-01 上海木木聚枞机器人科技有限公司 一种输液杆的检测跟踪方法和装置
CN110163869A (zh) * 2019-04-18 2019-08-23 深圳大学 一种图像重复元素分割方法、智能设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIANG XIAO 等: "CRF based Road Detection with Multi-Sensor Fusion", 《2015 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 *
曾碧 等: "一种融合多特征聚类集成的室内点云分割方法", 《计算机工程》 *
豆军: "基于结构特征保持的点云配准算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496249B (zh) * 2020-03-18 2024-04-05 通用汽车环球科技运作有限责任公司 使用低水平相机雷达融合的物体检测
CN113496249A (zh) * 2020-03-18 2021-10-12 通用汽车环球科技运作有限责任公司 使用低水平相机雷达融合的物体检测
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111462029B (zh) * 2020-03-27 2023-03-03 阿波罗智能技术(北京)有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111476242A (zh) * 2020-03-31 2020-07-31 北京经纬恒润科技有限公司 一种激光点云语义分割方法及装置
CN111476242B (zh) * 2020-03-31 2023-10-20 北京经纬恒润科技股份有限公司 一种激光点云语义分割方法及装置
CN111192331A (zh) * 2020-04-09 2020-05-22 浙江欣奕华智能科技有限公司 一种激光雷达和相机的外参标定方法及装置
CN111709988B (zh) * 2020-04-28 2024-01-23 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111709988A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111753638A (zh) * 2020-05-03 2020-10-09 深圳奥比中光科技有限公司 一种基于rgbd图像的行人跟踪方法及系统
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111626217B (zh) * 2020-05-28 2023-08-22 宁波博登智能科技有限公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111666855A (zh) * 2020-05-29 2020-09-15 中国科学院地理科学与资源研究所 基于无人机的动物三维参数提取方法、系统及电子设备
CN111666855B (zh) * 2020-05-29 2023-06-30 中国科学院地理科学与资源研究所 基于无人机的动物三维参数提取方法、系统及电子设备
CN111754798A (zh) * 2020-07-02 2020-10-09 上海电科智能系统股份有限公司 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法
CN111899279A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 一种目标对象的运动速度检测方法及装置
CN111708021A (zh) * 2020-07-15 2020-09-25 四川长虹电器股份有限公司 一种基于毫米波雷达的人员跟踪与识别算法
CN111708021B (zh) * 2020-07-15 2022-04-15 四川长虹电器股份有限公司 一种基于毫米波雷达的人员跟踪与识别算法
CN111896973A (zh) * 2020-07-16 2020-11-06 武汉大学 基于主被动融合的超远距离目标三维运动轨迹预测方法
CN111896973B (zh) * 2020-07-16 2023-01-17 武汉大学 基于主被动融合的超远距离目标三维运动轨迹预测方法
CN111949943A (zh) * 2020-07-24 2020-11-17 北京航空航天大学 一种面向高级自动驾驶的v2x和激光点云配准的车辆融合定位方法
WO2022021027A1 (zh) * 2020-07-27 2022-02-03 深圳市大疆创新科技有限公司 目标跟踪方法、装置、无人机、系统及可读存储介质
CN111866305A (zh) * 2020-08-11 2020-10-30 普达迪泰（天津）智能装备科技有限公司 室内外特定条件下的图像增强与环境适应性方法
CN114078331A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 超速检测方法、装置、视觉传感器和存储介质
CN114078331B (zh) * 2020-08-19 2023-02-17 北京万集科技股份有限公司 超速检测方法、装置、视觉传感器和存储介质
CN111783905A (zh) * 2020-09-07 2020-10-16 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备
CN111783905B (zh) * 2020-09-07 2021-01-08 成都安智杰科技有限公司 一种目标融合方法、装置、存储介质及电子设备
CN112085801A (zh) * 2020-09-08 2020-12-15 清华大学苏州汽车研究院（吴江） 基于神经网络的三维点云和二维图像融合的校准方法
CN112085801B (zh) * 2020-09-08 2024-03-19 清华大学苏州汽车研究院（吴江） 基于神经网络的三维点云和二维图像融合的校准方法
CN112233097B (zh) * 2020-10-19 2022-10-28 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112233097A (zh) * 2020-10-19 2021-01-15 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112740268A (zh) * 2020-11-23 2021-04-30 华为技术有限公司 目标检测方法和装置
CN112740268B (zh) * 2020-11-23 2022-06-07 华为技术有限公司 目标检测方法和装置
CN112731371B (zh) * 2020-12-18 2024-01-23 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪系统及方法
CN112731371A (zh) * 2020-12-18 2021-04-30 重庆邮电大学 一种激光雷达与视觉融合的集成化目标跟踪系统及方法
CN112561966B (zh) * 2020-12-22 2022-11-11 清华大学 一种融合时空信息的稀疏点云多目标跟踪方法
CN112561966A (zh) * 2020-12-22 2021-03-26 清华大学 一种融合时空信息的稀疏点云多目标跟踪方法
CN112985259B (zh) * 2021-01-25 2023-05-16 中国人民解放军军事科学院国防科技创新研究院 基于多目视觉的目标定位方法及系统
CN112985259A (zh) * 2021-01-25 2021-06-18 中国人民解放军军事科学院国防科技创新研究院 基于多目视觉的目标定位方法及系统
CN112965081B (zh) * 2021-02-05 2023-08-01 浙江大学 基于融合行人信息的特征地图的模仿学习社交导航方法
CN112965081A (zh) * 2021-02-05 2021-06-15 浙江大学 基于融合行人信息的特征地图的模仿学习社交导航方法
CN113066124A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种神经网络的训练方法以及相关设备
WO2022188663A1 (zh) * 2021-03-09 2022-09-15 华为技术有限公司 一种目标检测方法及装置
CN113468950A (zh) * 2021-05-12 2021-10-01 东风汽车股份有限公司 一种基于深度学习的无人驾驶场景下的多目标跟踪方法
CN115222808A (zh) * 2021-06-30 2022-10-21 达闼机器人股份有限公司 基于无人机的定位方法、装置、存储介质和电子设备
CN115222808B (zh) * 2021-06-30 2023-10-20 达闼机器人股份有限公司 基于无人机的定位方法、装置、存储介质和电子设备
CN113763423A (zh) * 2021-08-03 2021-12-07 中国北方车辆研究所 一种基于多模态数据的系统性目标识别与跟踪方法
CN113705669A (zh) * 2021-08-27 2021-11-26 上海商汤临港智能科技有限公司 一种数据匹配方法、装置、电子设备以及存储介质
WO2023024443A1 (zh) * 2021-08-27 2023-03-02 上海商汤智能科技有限公司 数据匹配方法及装置、电子设备、存储介质和程序产品
CN113780213A (zh) * 2021-09-16 2021-12-10 上海西井信息科技有限公司 基于监控进行行人识别的方法、系统、设备及存储介质
CN113780214B (zh) * 2021-09-16 2024-04-19 上海西井科技股份有限公司 基于人群进行图像识别的方法、系统、设备及存储介质
CN113780214A (zh) * 2021-09-16 2021-12-10 上海西井信息科技有限公司 基于人群进行图像识别的方法、系统、设备及存储介质
CN113780213B (zh) * 2021-09-16 2024-02-02 上海西井科技股份有限公司 基于监控进行行人识别的方法、系统、设备及存储介质
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船
CN114119659A (zh) * 2021-11-12 2022-03-01 武汉理工大学重庆研究院 一种多传感器融合的目标跟踪方法
CN114120075A (zh) * 2021-11-25 2022-03-01 武汉市众向科技有限公司 一种融合单目相机和激光雷达的三维目标检测方法
CN114120075B (zh) * 2021-11-25 2024-09-24 武汉大学 一种融合单目相机和激光雷达的三维目标检测方法
CN114155720A (zh) * 2021-11-29 2022-03-08 上海交通大学 一种路侧激光雷达的车辆检测和轨迹预测方法
CN114137562A (zh) * 2021-11-30 2022-03-04 合肥工业大学智能制造技术研究院 一种基于改进全局最邻近的多目标跟踪方法
CN114170580A (zh) * 2021-12-01 2022-03-11 连云港杰瑞电子有限公司 一种面向高速公路的异常事件检测方法
CN114119671A (zh) * 2021-12-01 2022-03-01 清华大学 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN114119671B (zh) * 2021-12-01 2022-09-09 清华大学 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN114332158A (zh) * 2021-12-17 2022-04-12 重庆大学 一种基于相机和激光雷达融合的3d实时多目标跟踪方法
CN114332158B (zh) * 2021-12-17 2024-05-07 重庆大学 一种基于相机和激光雷达融合的3d实时多目标跟踪方法
CN114419130A (zh) * 2021-12-22 2022-04-29 中国水利水电第七工程局有限公司 一种基于图像特征和三维点云技术的散料体积测量方法
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质
CN114419152B (zh) * 2022-01-14 2024-04-26 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及系统
CN114419152A (zh) * 2022-01-14 2022-04-29 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及系统
CN114419098A (zh) * 2022-01-18 2022-04-29 长沙慧联智能科技有限公司 基于视觉变换的运动目标轨迹预测方法及装置
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN114898585A (zh) * 2022-04-20 2022-08-12 清华大学 基于路口多视角的车辆轨迹预测规划方法及系统
CN115018908A (zh) * 2022-06-01 2022-09-06 中国人民解放军63660部队 一种基于阴影的飞行器落点单目测量方法
CN115018908B (zh) * 2022-06-01 2024-04-26 中国人民解放军63660部队 一种基于阴影的飞行器落点单目测量方法
CN114879217B (zh) * 2022-07-12 2022-10-21 中国工程物理研究院应用电子学研究所 一种目标位姿的判断方法及系统
CN114879217A (zh) * 2022-07-12 2022-08-09 中国工程物理研究院应用电子学研究所 一种目标位姿的判断方法及系统
CN115390582A (zh) * 2022-07-15 2022-11-25 江西理工大学 一种基于点云的多旋翼无人机跟踪拦截方法及系统
CN115390066A (zh) * 2022-08-17 2022-11-25 苏州广目汽车科技有限公司 一种基于摄像头与毫米波雷达融合的改进匈牙利算法目标跟踪匹配方法
CN115272425A (zh) * 2022-08-29 2022-11-01 中铁云网信息科技有限公司 一种基于三维点云的铁路工地区域入侵检测方法及系统
CN115272425B (zh) * 2022-08-29 2023-08-15 中铁云网信息科技有限公司 一种基于三维点云的铁路工地区域入侵检测方法及系统
GB2622776A (en) * 2022-09-23 2024-04-03 Continental Automotive Gmbh Method and system for associating two or more images
CN115877343A (zh) * 2023-02-02 2023-03-31 中电信数字城市科技有限公司 基于雷达目标跟踪的人车匹配方法、装置和电子设备
CN115965925A (zh) * 2023-03-03 2023-04-14 安徽蔚来智驾科技有限公司 点云目标检测方法、计算机设备、存储介质及车辆
CN116168062B (zh) * 2023-04-21 2023-09-29 深圳佑驾创新科技股份有限公司 一种3d目标跟踪方法及装置
CN116168062A (zh) * 2023-04-21 2023-05-26 深圳佑驾创新科技有限公司 一种3d目标跟踪方法及装置
CN117452392B (zh) * 2023-12-26 2024-03-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种用于车载辅助驾驶系统的雷达数据处理系统和方法
CN117452392A (zh) * 2023-12-26 2024-01-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种用于车载辅助驾驶系统的雷达数据处理系统和方法
CN117576166A (zh) * 2024-01-15 2024-02-20 浙江华是科技股份有限公司 基于相机和低帧率激光雷达的目标跟踪方法及系统
CN117576166B (zh) * 2024-01-15 2024-04-30 浙江华是科技股份有限公司 基于相机和低帧率激光雷达的目标跟踪方法及系统
CN117784798A (zh) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 目标跟踪方法、智能设备及计算机可读存储介质
CN117784798B (zh) * 2024-02-26 2024-05-31 安徽蔚来智驾科技有限公司 目标跟踪方法、智能设备及计算机可读存储介质
CN118259312A (zh) * 2024-04-01 2024-06-28 武汉科技大学 一种基于激光雷达的车辆碰撞预警方法

Also Published As

Publication number Publication date
CN110675431B (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN110675431B (zh) 一种融合图像和激光点云的三维多目标跟踪方法
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
US9286678B2 (en) Camera calibration using feature identification
CN113269098A (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
JP2017526082A (ja) 動作推定方法、移動体、およびプロセッサに動作推定方法を実行させるコンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
CN102313536A (zh) 基于机载双目视觉的障碍物感知方法
Zou et al. Real-time full-stack traffic scene perception for autonomous driving with roadside cameras
CN114049382A (zh) 一种智能网联环境下目标融合跟踪方法、系统和介质
Song et al. End-to-end learning for inter-vehicle distance and relative velocity estimation in ADAS with a monocular camera
Budvytis et al. Large scale joint semantic re-localisation and scene understanding via globally unique instance coordinate regression
CN116681730A (zh) 一种目标物追踪方法、装置、计算机设备和存储介质
Milani et al. Impact of drone swarm formations in 3D scene reconstruction
CN115063454A (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN115272493A (zh) 一种基于连续时序点云叠加的异常目标检测方法及装置
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
Yuan et al. ROW-SLAM: Under-canopy cornfield semantic SLAM
JP2007280387A (ja) 物体移動の検出方法及び検出装置
Majdik et al. Micro air vehicle localization and position tracking from textured 3d cadastral models
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
García-García et al. 3D visual odometry for road vehicles
Wang et al. Online drone-based moving target detection system in dense-obstructer environment
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN116977362A (zh) 目标跟踪方法、装置、计算机设备和存储介质
KR102407690B1 (ko) 평면 특징을 이용한 3차원 라이다의 캘리브레이션 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant