CN114926808A - 一种基于传感器融合的目标检测及追踪方法 - Google Patents

一种基于传感器融合的目标检测及追踪方法 Download PDF

Info

Publication number
CN114926808A
CN114926808A CN202210330797.6A CN202210330797A CN114926808A CN 114926808 A CN114926808 A CN 114926808A CN 202210330797 A CN202210330797 A CN 202210330797A CN 114926808 A CN114926808 A CN 114926808A
Authority
CN
China
Prior art keywords
target
matching
point cloud
algorithm
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210330797.6A
Other languages
English (en)
Inventor
李超群
曲婷
王锦坤
李鑫
高炳钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202210330797.6A priority Critical patent/CN114926808A/zh
Publication of CN114926808A publication Critical patent/CN114926808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于传感器融合的目标检测及追踪方法，包括：通过车载传感设备获取周围目标物的状态信息，分别对图像数据和点云数据进行目标检测；对所述车载传感设备所包括的激光雷达和摄像头进行外参数标定；采用匈牙利算法对所述激光雷达和摄像头各自采集的数据进行目标匹配；使用卡尔曼滤波算法对完成数据匹配的目标进行追踪，得到周围多目标的运动轨迹。该方法通过激光雷达和摄像头融合丰富了目标物信息，解决了单一传感器检测目标信息不够充足的问题；通过实施追踪技术解决漏检、遮挡问题，且便于多目标分析；整套方案检测精度较高，实时性好。

Description

一种基于传感器融合的目标检测及追踪方法
技术领域
本发明属于无人驾驶车辆环境感知领域以及传感器技术领域，特别涉及一种基于传感器融合的目标检测及追踪方法。
背景技术
在智能驾驶快速发展的今天，各种传感器被安装在汽车上，以提供对周围环境的准确、实时的感知。其中最常见的就是摄像头，由于单一传感器均存在着一定劣势，比如单一的摄像头无法获得目标准确的深度信息、受光照影响大；而雷达在获取深度信息方面有着巨大优势，但在目标分类能力上，与视觉又有巨大差距，多传感器融合方法得到了国内外学者的关注。智能驾驶某些感知检测网络虽精度高，但是实时性差且不易在嵌入式设备上部署，并且缺少对多目标环境下对全局目标分别追踪、航迹管理的问题的解决。
因此，针对无人驾驶车辆环境感知，如何实现摄像头与雷达采集数据的准确匹配，且实时性高，成为本领域同行从业人员研究的热点。
发明内容
本发明的主要目的在于提供一种至少部分解决上述技术问题的基于传感器融合的目标检测及追踪方法，该方法在满足实时性要求的同时精度可以得到保障；且该方法基于步骤设置紧凑合理，有良好的可验证性以及实用性，该算法处理用时较短，可以为后续决策、规划等模块预留充足的时间。
为实现上述目的，本发明采取的技术方案为：
一种基于传感器融合的目标检测及追踪方法，包括：
通过车载传感设备获取周围目标物的状态信息，分别对图像数据和点云数据进行目标检测；
对所述车载传感设备所包括的激光雷达和摄像头进行外参数标定；
采用匈牙利算法对所述激光雷达和摄像头各自采集的数据进行目标匹配；
使用卡尔曼滤波算法对完成数据匹配的目标进行追踪，得到周围多目标的运动轨迹。
进一步地，分别对图像数据和点云数据进行目标检测，包括：
使用Yolov3算法对图像数据进行目标检测，输出图像中多目标的位置、目标类别和置信度信息；
使用长方体切割RANSAC算法去地面Kdtree加速的欧式聚类算法，对点云数据进行目标检测。
进一步地，使用长方体切割RANSAC算法去地面Kdtree加速的欧式聚类算法，对点云数据进行目标检测，包括：
使用PCL库函数通过设定长方体的边界顶点值，滤除掉长方体区域以外的点云数据，获得有效点云数据；
采用RANSAC算法在所述有效点云数据中拟合大平面，分离出地面点；
采用Kdtree对分离出地面点后的点云数据进行搜索，并采用欧式聚类算法实现对点云数据中的目标检测。
进一步地，对所述车载传感设备所包括的激光雷达和摄像头进行外参数标定，包括：
选用改进的lidar_camera_calibration算法，添加初始化模块、自动提取点云角点模块，实现对激光雷达和摄像头进行外参数标定。
进一步地，采用匈牙利算法对所述激光雷达和摄像头各自采集的数据进行目标匹配，包括：
通过时间同步器将所述激光雷达和摄像头各自采集的进行时间同步，统一至一个坐标系下；
使用匈牙利算法，遍历所述激光雷达和摄像头检测得到的中点，以图像坐标系下距离最近为目标，寻找匹配的图像检测框中点与点云聚类中心；
关键点匹配计数做多帧多目标的匹配，形成多目标信息序列。
进一步地，关键点匹配计数做多帧多目标的匹配，形成多目标信息序列，包括：
对前后帧图像分别提取关键点，并计算每个关键点的描述子；
将前后两帧的关键点通过计算描述子距离进行匹配，得到关键点匹配点对；
针对每个检测框对它内部的关键点，在另一帧中的每个检测框中计数；
若是含有对应匹配关键点，则计数加一，以匹配关键点计数最大的检测框为配对对象，形成多目标信息序列。
进一步地，使用卡尔曼滤波算法对完成数据匹配的目标进行追踪，得到周围多目标的运动轨迹，包括：
根据所述多目标物信息序列，对每个目标物做卡尔曼滤波进行追踪，实现全局多目标的航迹管理，获取多个周围目标物的运动情况，并且平滑轨迹。
与现有技术相比，本发明具有如下有益效果：
一种基于传感器融合的目标检测及追踪方法，包括：通过车载传感设备获取周围目标物的状态信息，分别对图像数据和点云数据进行目标检测；对所述车载传感设备所包括的激光雷达和摄像头进行外参数标定；采用匈牙利算法对所述激光雷达和摄像头各自采集的数据进行目标匹配；使用卡尔曼滤波算法对完成数据匹配的目标进行追踪，得到周围多目标的运动轨迹。该方法通过激光雷达和摄像头融合丰富了目标物信息，解决了单一传感器检测目标信息不够充足的问题；通过实施追踪技术解决漏检、遮挡问题，且便于多目标分析；整套方案检测精度较高，实时性好。
进一步地，该方法还具有如下优势：
1)以降低误匹配率为目标，提出一种优化外参求解的方案，通过较准确外参提高匹配准确率，将现有的外参标定算法进行了改进，添加了初始化模块、自动提取点云角点模块，增强了处理过程的自动化性能，优化了结果的准确性。
2)多帧匹配时通过关键点匹配计数，而不是直接通过位置对应，使得算法更加鲁棒，减少单一距离指标带来的误匹配。
3)采用的处理方案检测网络成分低，实时性高，且便于在嵌入式设备上部署。
4)检测模块后加入追踪处理，有利于跨帧确定目标的身份，将目标信息分组，平滑轨迹，以及便于通过预测解决目标遮挡问题。
附图说明
图1为本发明实施例提供的基于传感器融合的目标检测及追踪方法的流程图；
图2为本发明实施例提供的外参标定方法流程图；
图3为本发明实施例提供的点云角点检测模块的流程图；
图4为本发明实施例提供的点云投影至图像效果示意图；
图5为目标检测结果，框及标签为图像检测结果，点为点云聚类中心点在图像上的投影示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照图1所示，本发明提供的一种基于传感器融合的目标检测及追踪方法，包括：
S10、通过车载传感设备获取周围目标物的状态信息，分别对图像数据和点云数据进行目标检测；
S20、对所述车载传感设备所包括的激光雷达和摄像头进行外参数标定；
S30、采用匈牙利算法对所述激光雷达和摄像头各自采集的数据进行目标匹配；
S40、使用卡尔曼滤波算法对完成数据匹配的目标进行追踪，得到周围多目标的运动轨迹。
下面分别对上述各个步骤进行详细的说明：
在一个实施例中，上述S10步骤，分别对图像数据和点云数据进行目标检测，包括：
S11、使用Yolov3算法对图像数据进行目标检测，输出图像中多目标的位置、目标类别和置信度信息；
S12、使用长方体切割RANSAC算法去地面Kdtree加速的欧式聚类算法，对点云数据进行目标检测
本实施例中，使用Yolov3算法对图像进行目标检测。基于OpenCV::dnn或者Darknet均可实现Yolov3，其中若要使用GPU加速，OpenCV::dnn只支持Intel的GPU。为支持Nvidia GPU，在实施过程中将目标检测的信息使用darknet_ros包输出。将摄像头的数据话题作为包的输入，可以输出图像中多目标的位置、目标类别、置信度信息。检测可不再重新训练，直接使用Yolov3提供的权重文件，检测精度已较好。Yolov3使用Darknet-53作为整个网络的分类骨干部分。只有卷积层，通过调节卷积步长控制输出特征图的尺寸。总共输出三个特征图，对应不同的下采样倍数，多特征图拼接以融合不同尺度的特征。
点云目标检测采用“长方体切割-RANSAC算法去地面-Kdtree加速的欧式聚类”策略。随机抽样一致性算法(RANSAC)可以用来在点云中拟合大平面，进而分离出地面点；Kdtree是k维搜索树，通过上下或者左右分割空间以对邻近点最快查找而不需要遍历；欧几里得聚类(简称欧式聚类)算法是一种通过建立拓扑关系搜索每个点云与其相邻点之间的欧氏距离。
首先使用PCL库函数，通过设定长方体的边界顶点值，滤除掉长方体区域以外的点云点，相当于给点云处理划定了一个初步ROI。这样可以减少周围环境如建筑、树木对目标检测的影响。
使用RANSAC算法进行三维点云处理分为如下几个步骤：从点云信号中随机选中的3个种子点，并由这三个点拟合一个平面方程；计算一个小邻域内各点到这个平面的距离，设定一个距离阈值k，为某点若是属于平面应满足的点到平面的距离范围，设定一个点数阈值n，为构成一个平面至少有的点数，参数大小根据环境中平面的情况以及点云密集程度进行估计。如果小于阈值k，则认为这个点属于平面的内点，反之则属于外点；如果同一个平面的内点数超过设定的阈值n，就保存下这个平面。
设定距离阈值k、某类点数上限m、点数下限n，参数大小的确定根据点云密集程度进行估计。对每个点云点进行最近邻搜索，将它周围距离小于距离阈值k的点加入集合，然后对集合中的点重复上面操作，直到点云集合不再有新的点加入。判断该类点数是否在上限m与下限n之间，满足则作为一结果类。
其中在进行点云点搜索的时候，将点云用Kdtree进行管理，实现搜索的加速。
其中，RANSAC算法全称是随机抽样一致算法(random sample consensus,RANSAC)，RANSAC算法的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。数据分两种：有效数据(inliers)和无效数据(outliers)。偏差不大的数据称为有效数据，偏差大的数据是无效数据。
在一个实施例中，上述步骤S20中，外参标定环节选用改进的lidar_camera_calibration算法。为其添加初始化模块，并且改进点云提取角点方法，由手动变为自动拟合标定板边缘、计算顶点。添加初始值模块在防止优化陷入局部最优值问题上十分有效，总体标定流程如图2所示。
首先制作标定板，标定板的形式是一块方形纸板，且板子左上角贴上ArUco码，以用于后续的图像标定板检测。标定板倾斜悬挂，并将标定板ArUco标记的个数，标定板尺寸记录到外参拟标定代码的配置文件。
图像通过OpenCV库函数检测标定板角点，点云通过检测多线点云左右边缘点，得到边缘点，对边缘点拟合直线，得到每个标定板四条边缘线方程，计算两两交点得到点云中的标定板角点位置，与图像中的形成对应，得到多对特征点对。通过处理点云、图像对应点的数据，计算得到外参矩阵。采用最小化重投影误差为优化目标，进行非线性优化求解，可以使用Ceres库进行计算，得到重投影误差最小时候的旋转及平移矩阵，作为所需要的外参矩阵，以上步骤构成流程图图2。
其中点云角点检测模块的流程如图3。针对使用的Velodyne VLP-16机械式激光雷达，标定板上的点云为多条平行线，每条线的左右边缘点即为标定板边缘候选点。针对候选点计算两点连线方向，将候选点按是否在同一条边缘上分组，得多个边缘方程，然后求交点，和图像检测的角点作为对应。
初始值模块的求解原理如下：
约束方程共两个：
Figure BDA0003572966660000089
其中，Rcl为激光雷达摄像头之间的外参旋转矩阵，tcl为外参平移向量，nl为标定板在激光雷达坐标系下的法向量，nc为标定板在相机(摄像头)坐标系下的法向量，Pl为激光雷达坐标系下点的坐标，dc为相机(摄像头)坐标系原点到标定板的垂直距离。点云与图像检测到的标定板法向量满足约束(1)，点在标定板上满足约束(2)。
令
Figure BDA0003572966660000081
N为用于求解的点云总帧数，i为每帧的索引，求外参旋转矩阵Rcl、平移向量tcl合适初始值，即为C最小时对应的参数。化简后得最小化C即最大化F，
Figure BDA0003572966660000082
令
Figure BDA0003572966660000083
则
Figure BDA0003572966660000084
当RH为正定矩阵时矩阵的迹最大，对H做SVD分解，
Figure BDA0003572966660000085
当
Figure BDA0003572966660000086
时，
Figure BDA0003572966660000087
Figure BDA0003572966660000088
RH为正定矩阵，此时F最大，C最小，故得到Rcl的估计值，代入约束(2)得到tcl的估计值。将此值作为初始值输入非线性优化模块，提供梯度下降的起点，防止优化陷入局部最优值，便于得到全局最优的外参值。求解初始值时采用某几对测量数据，不需将全部测量代入。
在一个实施例中，上述步骤S30中，采用匈牙利算法对所述激光雷达和摄像头各自采集的数据进行目标匹配，包括：
S31、通过时间同步器将所述激光雷达和摄像头各自采集的进行时间同步，统一至一个坐标系下；
S32、使用匈牙利算法，遍历所述激光雷达和摄像头检测得到的中点，以图像坐标系下距离最近为目标，寻找匹配的图像检测框中点与点云聚类中心；
S33、关键点匹配计数做多帧多目标的匹配，形成多目标信息序列。
其中，步骤S31将点云、图像数据时空对齐。时间同步比如使用c++中的同步器类Synchronizer，设置近似时间同步策略，实现了对两个数据的对齐。将同步的所有消息以一个回调的方式触发，在回调函数内处理同步后的数据。
空间同步通过点云坐标投影至图像来实现，然后将点云坐标系下的点通过乘以外参矩阵、内参矩阵的运算，得到其在图像坐标系下的点，如公式(10)，从而实现点云到图像的投影，将两传感器的数据实现空间对齐。其中Puv是图像坐标系下的坐标，u、v为点在图像坐标系下的横纵像素坐标值，Pl为激光雷达坐标系下点的坐标，K是相机内参矩阵，Z是激光雷达坐标系下三维坐标的z坐标值，Rcl为激光雷达摄像头之间的外参旋转矩阵，tcl为外参平移向量，u、v为点在像素坐标系下的横纵坐标值。
Figure BDA0003572966660000091
通过时间同步器将两个传感器的数据进行时间同步，外参标定得到两传感器坐标系之间的刚体变换矩阵之后，将两者的坐标信息统一至一个坐标系下，通过点云坐标投影至图像来实现，投影后效果如图4所示。
步骤S32，使用匈牙利算法对两传感器做目标匹配。
在图像检测框与点云检测框中，找中心点距离最近的作为一对匹配，丰富目标物信息。并且引入匈牙利算法的“一对一”思想，防止多对一的匹配出现，降低误匹配率。首先通过外参矩阵、内参矩阵的运算求出点云聚类中心点在图像坐标系下的坐标，可视化效果为图5所示。然后使用匈牙利算法，遍历两个传感器检测得到的中点，以图像坐标系下距离最近为目标，寻找匹配的图像检测框中点与点云聚类中心。
步骤S33，关键点匹配计数做多帧多目标的匹配。
由于物体连续运动，并且每一帧上有多个目标，若想分别得到每个目标的连续运动信息，需要进行多帧匹配，将多帧的运动信息按照物体ID进行分组。使用关键点匹配计数的方法，将每一帧检出的多个目标物进行两帧之间的匹配，信息分别添加进每个目标标签下，形成每个目标物多帧的信息序列。具体操作是对前后帧图像分别提取关键点，并计算每个关键点的描述子，然后将前后两帧的关键点通过计算描述子距离进行匹配，得到关键点匹配点对，之后针对每个检测框，对它内部的关键点，在另一帧中的每个检测框中计数，若是含有对应匹配关键点，则计数加一，以匹配关键点计数最大的检测框为配对对象。多帧匹配的时候使用关键点匹配计数，而不是通过位置来去对应，使得算法更加鲁棒，更适合于物体密集场景，减少单一距离指标带来的误匹配。
在一个实施例中，上述S40步骤，使用卡尔曼滤波算法对目标进行追踪，得到周围多目标的运动轨迹。
得到目标检测结果后，加入跟踪模块，在数据帧中检测到多个对象时，跟踪有助于跨帧确定对象的身份，并且在检测失败丢失对象的时候可以用跟踪预测结果进行补充。并且车辆在复杂路况行驶时，在多目标问题中，进行目标跟踪有利于确定对象的身份及轨迹，获取周围车辆的运动分布状态，并且增强感知可靠性与实时性。
利用目标物信息序列，对每个目标物做卡尔曼滤波进行追踪，实现全局多目标的航迹管理，获取多个周围目标物的运动情况，并且平滑轨迹。本方案中取目标运动方程为线性方程，初步选取线性卡尔曼滤波器作为跟踪方案。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于传感器融合的目标检测及追踪方法，其特征在于，包括：
通过车载传感设备获取周围目标物的状态信息，分别对图像数据和点云数据进行目标检测；
对所述车载传感设备所包括的激光雷达和摄像头进行外参数标定；
采用匈牙利算法对所述激光雷达和摄像头各自采集的数据进行目标匹配；
使用卡尔曼滤波算法对完成数据匹配的目标进行追踪，得到周围多目标的运动轨迹。
2.根据权利要求1所述的一种基于传感器融合的目标检测及追踪方法，其特征在于：分别对图像数据和点云数据进行目标检测，包括：
使用Yolov3算法对图像数据进行目标检测，输出图像中多目标的位置、目标类别和置信度信息；
使用长方体切割RANSAC算法去地面Kdtree加速的欧式聚类算法，对点云数据进行目标检测。
3.根据权利要求2所述的一种基于传感器融合的目标检测及追踪方法，其特征在于：使用长方体切割RANSAC算法去地面Kdtree加速的欧式聚类算法，对点云数据进行目标检测，包括：
使用PCL库函数通过设定长方体的边界顶点值，滤除掉长方体区域以外的点云数据，获得有效点云数据；
采用RANSAC算法在所述有效点云数据中拟合大平面，分离出地面点；
采用Kdtree对分离出地面点后的点云数据进行搜索，并采用欧式聚类算法实现对点云数据中的目标检测。
4.根据权利要求1所述的一种基于传感器融合的目标检测及追踪方法，其特征在于：对所述车载传感设备所包括的激光雷达和摄像头进行外参数标定，包括：
选用改进的lidar_camera_calibration算法，添加初始化模块、自动提取点云角点模块，实现对激光雷达和摄像头进行外参数标定。
5.根据权利要求1所述的一种基于传感器融合的目标检测及追踪方法，其特征在于：采用匈牙利算法对所述激光雷达和摄像头各自采集的数据进行目标匹配，包括：
通过时间同步器将所述激光雷达和摄像头各自采集的进行时间同步，统一至一个坐标系下；
使用匈牙利算法，遍历所述激光雷达和摄像头检测得到的中点，以图像坐标系下距离最近为目标，寻找匹配的图像检测框中点与点云聚类中心；
关键点匹配计数做多帧多目标的匹配，形成多目标信息序列。
6.根据权利要求5所述的一种基于传感器融合的目标检测及追踪方法，其特征在于：关键点匹配计数做多帧多目标的匹配，形成多目标信息序列，包括：
对前后帧图像分别提取关键点，并计算每个关键点的描述子；
将前后两帧的关键点通过计算描述子距离进行匹配，得到关键点匹配点对；
针对每个检测框对它内部的关键点，在另一帧中的每个检测框中计数；
若是含有对应匹配关键点，则计数加一，以匹配关键点计数最大的检测框为配对对象，形成多目标信息序列。
7.根据权利要求6所述的一种基于传感器融合的目标检测及追踪方法，其特征在于：使用卡尔曼滤波算法对完成数据匹配的目标进行追踪，得到周围多目标的运动轨迹，包括：
根据所述多目标物信息序列，对每个目标物做卡尔曼滤波进行追踪，实现全局多目标的航迹管理，获取多个周围目标物的运动情况，并且平滑轨迹。
CN202210330797.6A 2022-03-30 2022-03-30 一种基于传感器融合的目标检测及追踪方法 Pending CN114926808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210330797.6A CN114926808A (zh) 2022-03-30 2022-03-30 一种基于传感器融合的目标检测及追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210330797.6A CN114926808A (zh) 2022-03-30 2022-03-30 一种基于传感器融合的目标检测及追踪方法

Publications (1)

Publication Number Publication Date
CN114926808A true CN114926808A (zh) 2022-08-19

Family

ID=82805733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210330797.6A Pending CN114926808A (zh) 2022-03-30 2022-03-30 一种基于传感器融合的目标检测及追踪方法

Country Status (1)

Country Link
CN (1) CN114926808A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994934A (zh) * 2023-03-16 2023-04-21 福思(杭州)智能科技有限公司 数据时间对齐方法、装置以及域控制器
CN116449347A (zh) * 2023-06-14 2023-07-18 蘑菇车联信息科技有限公司 路侧激光雷达的标定方法、装置及电子设备
CN117576166A (zh) * 2024-01-15 2024-02-20 浙江华是科技股份有限公司 基于相机和低帧率激光雷达的目标跟踪方法及系统
WO2024114119A1 (zh) * 2022-11-29 2024-06-06 中车南京浦镇车辆有限公司 一种基于双目相机引导的传感器融合方法
WO2024152715A1 (zh) * 2023-01-17 2024-07-25 腾讯科技（深圳）有限公司 图像序列的检测方法和装置、介质、设备和程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111145240A (zh) * 2019-11-18 2020-05-12 西宁市动物疫病预防控制中心(挂西宁市畜牧兽医站牌子) 一种基于3d相机的活体西门塔尔牛体尺在线测量方法
CN111505624A (zh) * 2020-04-30 2020-08-07 中国汽车工程研究院股份有限公司 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
CN112487919A (zh) * 2020-11-25 2021-03-12 吉林大学 一种基于相机与激光雷达的3d目标检测与跟踪方法
CN113506318A (zh) * 2021-07-12 2021-10-15 广东工业大学 一种车载边缘场景下的三维目标感知方法
CN114119659A (zh) * 2021-11-12 2022-03-01 武汉理工大学重庆研究院 一种多传感器融合的目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111145240A (zh) * 2019-11-18 2020-05-12 西宁市动物疫病预防控制中心(挂西宁市畜牧兽医站牌子) 一种基于3d相机的活体西门塔尔牛体尺在线测量方法
CN111505624A (zh) * 2020-04-30 2020-08-07 中国汽车工程研究院股份有限公司 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
CN112487919A (zh) * 2020-11-25 2021-03-12 吉林大学 一种基于相机与激光雷达的3d目标检测与跟踪方法
CN113506318A (zh) * 2021-07-12 2021-10-15 广东工业大学 一种车载边缘场景下的三维目标感知方法
CN114119659A (zh) * 2021-11-12 2022-03-01 武汉理工大学重庆研究院 一种多传感器融合的目标跟踪方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114119A1 (zh) * 2022-11-29 2024-06-06 中车南京浦镇车辆有限公司 一种基于双目相机引导的传感器融合方法
WO2024152715A1 (zh) * 2023-01-17 2024-07-25 腾讯科技（深圳）有限公司 图像序列的检测方法和装置、介质、设备和程序产品
CN115994934A (zh) * 2023-03-16 2023-04-21 福思(杭州)智能科技有限公司 数据时间对齐方法、装置以及域控制器
CN116449347A (zh) * 2023-06-14 2023-07-18 蘑菇车联信息科技有限公司 路侧激光雷达的标定方法、装置及电子设备
CN116449347B (zh) * 2023-06-14 2023-10-03 蘑菇车联信息科技有限公司 路侧激光雷达的标定方法、装置及电子设备
CN117576166A (zh) * 2024-01-15 2024-02-20 浙江华是科技股份有限公司 基于相机和低帧率激光雷达的目标跟踪方法及系统
CN117576166B (zh) * 2024-01-15 2024-04-30 浙江华是科技股份有限公司 基于相机和低帧率激光雷达的目标跟踪方法及系统

Similar Documents

Publication Publication Date Title
CN114926808A (zh) 一种基于传感器融合的目标检测及追踪方法
CN110187334B (zh) 一种目标监控方法、装置及计算机可读存储介质
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及系统
CN115049700A (zh) 一种目标检测方法及装置
WO2024114119A1 (zh) 一种基于双目相机引导的传感器融合方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN109961461B (zh) 一种基于三维分层图模型的多运动目标跟踪方法
CN114898314B (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
CN112150448B (zh) 图像处理方法、装置及设备、存储介质
CN115272493B (zh) 一种基于连续时序点云叠加的异常目标检测方法及装置
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN116245937A (zh) 货物堆垛的堆高预测方法及装置、设备、存储介质
CN114764885A (zh) 障碍物的检测方法、装置、计算机可读存储介质和处理器
CN115407338A (zh) 一种车辆环境信息感知方法及系统
CN116184431A (zh) 无人机自主导航定位地图构建方法、装置及系统
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
CN117197182B (zh) 雷视标定方法、设备及存储介质
CN114037968A (zh) 基于深度雷达点云和图像数据融合的车道线检测方法
CN116508071A (zh) 用于注释汽车雷达数据的系统和方法
CN111598956A (zh) 标定方法、装置和系统
CN115082712B (zh) 一种基于雷视融合的目标检测方法、装置和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination