CN115937810A - 一种基于双目相机引导的传感器融合方法 - Google Patents

一种基于双目相机引导的传感器融合方法 Download PDF

Info

Publication number
CN115937810A
CN115937810A CN202211614042.5A CN202211614042A CN115937810A CN 115937810 A CN115937810 A CN 115937810A CN 202211614042 A CN202211614042 A CN 202211614042A CN 115937810 A CN115937810 A CN 115937810A
Authority
CN
China
Prior art keywords
target
laser radar
information
binocular camera
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211614042.5A
Other languages
English (en)
Inventor
陈志�
范俊俊
王文军
张世泽
胡基贵
孙兆聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
CRRC Nanjing Puzhen Co Ltd
Original Assignee
Tsinghua University
CRRC Nanjing Puzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, CRRC Nanjing Puzhen Co Ltd filed Critical Tsinghua University
Publication of CN115937810A publication Critical patent/CN115937810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目相机引导的传感器融合方法，属于智能车辆环境感知技术领域，本发明采用双目视觉引导的融合方法，可以利用视觉目标信息建立其运动轨迹，进而预测其在三维空间中的位置；本发明采用数据层的融合方法，利用视觉的预测结果以辅助激光雷达划定探测范围，大幅度降低运算数据量，对计算平台性能要求较低；本发明基于双目视觉获取的目标探测结果，可以准确获取目标深度，扩展目标检测信息及增强目标探测的鲁棒性。

Description

一种基于双目相机引导的传感器融合方法
技术领域
本发明涉及智能车辆环境感知技术领域，特别涉及一种基于双目相机引导的传感器融合方法。
背景技术
目前已有具体的研究工作与工程应用采用视觉或激光雷达等单一类型的传感器实现目标检测的功能。视觉传感器由于成本低、易于目标识别与采集信息数据丰富等特点被广泛地应用在目标检测中。激光雷达具有主动探测目标的能力，测距精度较高，近年来随着雷达工作原理的优化与升级，具备量产的可能。随着交通状况的日益复杂，基于单一传感器的检测方式受到算法复杂、检测信息量不足的制约，已经难以满足当前对于目标探测鲁棒性与检测速度的要求；
为了弥补单一传感器检测效果的不足，采用多种传感器进行融合检测的方法逐渐发展。这种检测方式在复杂的环境下还能提高系统的鲁棒性，因此多传感器信息融合的检测方式在目标检测的研究中使用得越来越频繁。目前将多传感器的数据融合分为决策层融合、特征层融合与数据层融合三个层次。刘诤轩在论文《融合双目视觉和2D激光雷达的室外定位》中采用双目视觉检测车辆的相对位姿，并结合一个时间窗口内多个时刻的激光雷达数据进行融合，最终得到一个局部子图，经过去噪声与匹配处理后实现车辆的高精度定位。巩朝光在论文《基于激光雷达与视觉融合的SLAM方法研究》中设计了激光雷达与双目相机的分类融合框架，通过对提取的视觉特征与激光点云进行分类与匹配，再根据匹配结果对特征线段进行合并，得到融合后的点云信息。这两篇论文都在双目相机与激光雷达的数据层层面进行数据融合，精度高但不利于工程实现；
专利“CN114463303A”提出了一种基于双目相机和激光雷达融合的道路目标检测方法，该方法将激光雷达技术与视觉传感器相结合，结合YOLOv4检测模型对雷达与双目视觉结果进行融合，从而为目标检测提供更智准确的技术手段；专利“CN111340797A”提出了一种激光雷达与双目相机数据融合检测方法及系统，该方法利用双目相机的检测结果与激光雷达的检测结果进行融合，并判断融合重叠率是否大于一定阈值，若大于设定值则输出融合结果，否则需要重新进行目标检测，该方法提高了测量精度。这两篇专利在双目相机与激光雷达的决策层进行融合，有较好的工程效果但不利于性能的提升。现有研究大多利用传统方法进行相机与激光雷达数据层或决策层的融合以进行目标检测，这些方法较难实现工程应用性与检测性能的平衡；
基于目前的研究现状，本发明提出了一种基于双目相机引导的传感器融合方法，它间接实现了双目相机与激光雷达在数据层进行数据融合，能够结合双目相机与激光雷达传感器的优势，有效地提升目标探测的准确性与鲁棒性，满足工程应用的需求。
发明内容
本发明提供一种基于双目相机引导的传感器融合方法，用以解决背景技术中所存在的问题。
一种基于双目相机引导的传感器融合方法，包括如下步骤：
步骤一：基于双目相机采集的视觉图像信息以及激光雷达采集的三维点云信息，对组成双目相机的左相机和右相机进行相机标定，对激光雷达与左相机进行联合标定；
步骤二：通过双目相机与激光雷达采集电子导向胶轮车的前向环境信息；
步骤三：通过立体匹配算法计算电子导向胶轮车的前向环境的深度信息；
步骤四：通过基于YOLOv7的目标检测神经网络，获取相机采集的图像中目标的视觉信息、包含目标类别及二维平面位置信息；
步骤五：结合神经网络输出的目标视觉信息、环境深度信息与目标时刻信息，获取基于立体视觉的目标探测结果；
步骤六：基于步骤五中获取的目标探测结果中的目标时刻信息，建立目标的运动轨迹，预测激光雷达采集时刻下目标的立体位置信息；
步骤七：基于步骤六预测的目标的立体位置信息，对激光雷达采集的点云进行分割与聚类，输出目标探测结果；
步骤八：基于卡尔曼滤波算法与近邻算法对激光雷达探测的目标进行跟踪，结合运营场景对融合后的目标进行修正输出。
所述步骤一中进行相机标定的具体步骤如下：
通过双目相机采集的视觉图像信息，采用张正友标定法，获取左相机内部参数ML、畸变系数DL、右相机内部参数MR、畸变系数DR以及左右相机间的外部参数MLR。
所述步骤一中进行联合标定的具体步骤如下：
通过标定板在激光雷达采集的三维点云信息与左相机采集的视觉图像信息中的二维位置信息进行联合标定，获取激光雷达与左相机之间的外部参数MLC。
所述步骤三中的计算方法如下：
将统一场景下左右视图对应的像素点进行匹配，得到视差图，基于Bouguet算法获取图像二维位置到空间三维位置的投影矩阵Q，计算目标深度信息。
所述步骤四包括：采集并制造运营环境中目标图像的数据集，将已有目标标注的数据集作为神经网络的训练集，通过训练模型获取神经网络的权重系数，再对左相机采集的图像进行预测，获取包含目标类别及描述目标平面位置的二维包围框信息的目标检测结果。
所述步骤五包括：使用步骤三中的计算方法将步骤四中获取的目标平面信息投影至三维空间，获取用三维包围框描述的立体信息的目标检测结果，再结合图像时间戳，获取基于立体视觉的目标探测结果。
所述步骤七包括：
利用RANSAC算法对地面进行分割，提取非地面目标点云，基于步骤六获取的立体位置信息进行点云聚类，获得目标点云簇，输出用三维包围框描述的立体信息的点云目标检测结果，通过双目相机获取的目标信息，引导激光雷达对目标进行精准测距；
所述点云聚类的步骤如下：
(1)激光雷达通过获取双目相机探测出的目标类别与历史轨迹信息，对目标的空间位置进行建模预测，辅助划定探测范围；
(2)选择探测范围内点云集中的任意一个点M，并根据探测范围自适应设定聚类阈值，基于KDTree的数据结构搜索M近邻的k个点，筛选与点M的距离小于聚类阈值的点并存放于集合Q中，若Q中的点增加，则在Q中选取点M以外的任意点用以更新点M，持续搜索直至集合Q中元素不再增加；
(3)对双目相机获取的图像中所有的检测物体重复步骤(1)和步骤(2)，再利用聚类检测算法完成所有目标的检测，输出目标类别、点云、三维矩形框以及时间戳。
在对激光雷达采集的点云进行聚类前，采用运动畸变补偿的方式消除点云内部的运动畸变，具体如下：
采用IMU进行激光雷达的运动畸变补偿，在接收激光雷达扫描数据的同时，将该数据与IMU采集的车辆姿态角数据保存在同一循环队列中，处理器根据激光雷达的采样时间间隔与数据时间戳计算得到每个激光点的采用时间，在IMU的数据队列中寻找时间相邻的两帧数据，利用球面线性插值的方式，将同一测量时刻下的激光点与车辆运动姿态配对，从而能够将一帧激光雷达扫描数据的每一个激光点坐标转换到同一时刻下电子导向胶轮车的对应位置坐标系下，以使得将激光雷达在一段时间内收集的所有点云统一至一个时刻下，实现对激光雷达的运动畸变补偿。
所述步骤八中基于卡尔曼滤波算法与近邻算法实现对目标的跟踪的方法如下：
基于目标运动模型构建并初始化卡尔曼滤波器组及配置相关参数，计算目标点云的质心位置。基于卡尔曼滤波器组通过当前时间戳下目标的质心位置预测下一帧点云时刻目标的质心位置。在下一帧点云中基于近邻算法搜索互相匹配的真实目标与预测目标组合，实现帧间的目标关联，即获取到了相邻两帧同一目标的空间位置。利用目标在下一帧点云中的空间位置与时间戳信息对卡尔曼滤波器组的目标状态进行更新，再对目标状态进行预测。循环上述过程，可以实现对目标的跟踪。
与现有技术相比，本发明的有益效果是：本发明采用双目视觉引导的融合方法，可以利用视觉目标信息建立其运动轨迹，进而预测其在三维空间中的位置；采用数据层的融合方法，利用视觉的预测结果以辅助激光雷达划定探测范围，大幅度降低运算数据量，对计算平台性能要求较低；
基于双目视觉获取的目标探测结果，可以准确获取目标深度，扩展目标检测信息及增强目标检测的鲁棒性。
附图说明
图1为本发明的传感器融合方法的原理图；
图2为本发明的传感器融合方法的流程图；
图3为激光雷达点云聚类的流程图；
图4为点云聚类后的效果图；
图5为目标跟踪示意图。
具体实施方式
下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
如图1至图5所示，本发明实施例提供的一种基于双目相机引导的传感器融合方法，包括如下步骤：
步骤一：基于双目相机采集的视觉图像信息以及激光雷达采集的三维点云信息，对组成双目相机的左相机和右相机进行相机标定，对激光雷达与左相机进行联合标定；
本发明提出的融合方法，首先基于双目相机进行目标检测与网络跟踪，双目相机一般由左右两个水平放置的相机构成，两个相机分别对目标进行成像，由于相机间存在一定长度的基线，目标的成像位置会有所不同，可以利用成像位置的差异及基线长度计算出目标与相机间的位置关系；
步骤一中进行相机标定的具体步骤如下：
通过双目相机采集的视觉图像信息，采用张正友标定法，获取左相机内部参数ML、畸变系数DL、右相机内部参数MR、畸变系数DR以及左右相机间的外部参数MLR；
步骤一中进行联合标定的具体步骤如下：
通过标定板在激光雷达采集的三维点云信息与左相机采集的视觉图像信息中的二维位置信息进行联合标定，获取激光雷达与左相机之间的外部参数MLC，进而将各自坐标系下的测量值转换到列车坐标系中；
双目校正根据相机标定时获取的相对位置关系与左右相机各自的内部参数据对两个相机拍摄的视图进行去畸变和行对准，使左右视图成像原点坐标一致、两相机的光轴平行、对极线对齐与左右相机的成像平面共面；
步骤二：通过双目相机与激光雷达采集电子导向胶轮车的前向环境信息；
步骤二是在保持双目相机与激光雷达位置不变的的基础上进行的；
步骤三：通过立体匹配算法计算电子导向胶轮车的前向环境的深度信息；
步骤三中的计算方法如下：将统一场景下左右视图对应的像素点进行匹配，得到视差图，基于Bouguet算法获取图像二维位置到空间三维位置的投影矩阵Q，计算目标深度信息；
步骤四：通过基于YOLOv7的目标检测神经网络，获取相机采集的图像中目标的视觉信息、包含目标类别及二维平面位置信息；
上述步骤四具体为：采集并制造运营环境中目标图像的数据集，将已有目标标注的数据集作为YOLOv7神经网络的训练集，通过训练模型获取神经网络的权重系数，再对左相机采集的图像进行预测，获取包含目标类别及描述目标平面位置的二维包围框信息的目标检测结果，本发明利用基于深度学习的目标检测算法对单张图像进行目标检测，可以识别出行人、车辆等交通参与者，并对其进行分类，获取基于立体视觉的目标探测结果；
另外，本发明所采用的YOLOv7是在YOLOv5的基础上通过对内部多项架构的改革提高了检测的速度与准确性；YOLOv7主要使用MP结构与ELAN，它可以通过控制最短的梯度路径和更深的网络结构更高效地进行深度学习；YOLOv7的损失函数分为目标置信度损失、坐标损失与分类损失三个主要部分，主要在匹配策略过程中进行数据候选，保留损失最小的数据，实现高精度的目标检测；
步骤五：结合神经网络输出的目标视觉信息、环境深度信息与目标时刻信息，获取基于立体视觉的目标探测结果；
上述步骤五使用步骤三中的计算方法将步骤四中获取的目标平面信息投影至三维空间，获取用三维包围框描述的立体信息的目标检测结果，再结合图像时间戳，获取基于立体视觉的目标探测结果
步骤六：基于步骤五中获取的目标探测结果中的目标时刻信息，建立目标的运动轨迹，预测激光雷达采集时刻下目标的立体位置信息；
步骤七：基于步骤六预测的目标的立体位置信息，对激光雷达采集的点云进行分割与聚类，输出目标探测结果；
上述步骤七具体为：结合电子导向胶轮车的运营环境特点，利用RANSAC算法对地面进行分割，提取非地面目标点云，基于步骤六获取的立体位置信息进行点云聚类，获得目标点云簇，输出用三维包围框描述的立体信息的点云目标检测结果，通过双目相机获取的目标信息，引导激光雷达对目标进行精准测距；一般应用双目相机获取目标的类别与位置，需要考虑图像存在的采样延时与目标检测算法的处理时间，目前激光雷达点云聚类主要采用欧氏聚类方法进行聚类，这种聚类方法认为在激光雷达采集的所有的点云数据中，相同的物体的点云中任意两点的距离会小于一定数值，因此可以将距离小于一定数值的点合成一类，最终完成目标聚类。这种聚类方式精度较高，但是它的聚类速度并不占优势，虽然这种方法采用KD-Tree加快了数据的查找速度，但是在高速变化的场景中仍然显得不足；本发明开创性地采用了双目相机引导激光雷达进行目标聚类的方式，不仅能够提高聚类的速度，对最终识别结果的精准性与鲁棒性也有较好的结果，点云聚类的步骤如下：
(1)激光雷达通过获取双目相机探测出的目标类别与历史轨迹信息，对目标的空间位置进行建模预测，辅助划定探测范围；
(2)选择探测范围内点云集中的任意一个点M，并根据探测范围自适应设定聚类阈值，基于KDTree的数据结构搜索M近邻的k个点，筛选与点M的距离小于聚类阈值的点并存放于集合Q中，若Q中的点增加，则在Q中选取点M以外的任意点用以更新点M，持续搜索直至集合Q中元素不再增加；
(3)对双目相机获取的图像中所有的检测物体重复步骤(1)和步骤(2)，再利用聚类检测算法完成所有目标的检测，输出目标类别、点云、三维矩形框以及时间戳。
另外在激光雷达跟随胶轮车辆运动的过程中，由于电子导向胶轮车在高速运动，不同的时刻胶轮车辆的基准位姿不相同，导致激光点采集的激光点云会出现运动畸变，同时，如果激光雷达扫描的频率较低，激光点的数据并非瞬间获得，也会导致激光点云出现运动畸变，因此在对激光雷达采集的点云进行聚类前，采用运动畸变补偿的方式消除点云内部的运动畸变，具体如下：
采用IMU进行激光雷达的运动畸变补偿，在接收激光雷达扫描数据的同时，将该数据与IMU采集的车辆姿态角数据保存在同一循环队列中，处理器根据激光雷达的采样时间间隔与数据时间戳计算得到每个激光点的采用时间，在IMU的数据队列中寻找时间相邻的两帧数据，利用球面线性插值的方式，将同一测量时刻下的激光点与车辆运动姿态配对，从而能够将一帧激光雷达扫描数据的每一个激光点坐标转换到同一时刻下电子导向胶轮车的对应位置坐标系下，以使得将激光雷达在一段时间内收集的所有点云统一至一个时刻下，实现对激光雷达的运动畸变补偿。
步骤八：基于卡尔曼滤波算法与近邻算法对激光雷达探测的目标进行跟踪，结合运营场景对融合后的目标进行修正输出；
上述步骤八中基于卡尔曼滤波算法与近邻算法实现对目标的跟踪的方法如下：
基于目标运动模型构建并初始化卡尔曼滤波器组及配置相关参数，计算目标点云的质心位置，基于卡尔曼滤波器组通过当前时间戳下目标的质心位置预测下一帧点云时刻目标的质心位置，在下一帧点云中基于近邻算法搜索互相匹配的真实目标与预测目标组合，实现帧间的目标关联，即获取到了相邻两帧同一目标的空间位置，利用目标在下一帧点云中的空间位置与时间戳信息对卡尔曼滤波器组的目标状态进行更新，再对目标状态进行预测，循环上述过程，可以实现对目标的跟踪。本发明提出一种由双目相机引导的传感器融合框架，提供了一种由双目相机引导的传感器数据层的融合方法，兼顾了目标探测性能与工程应用，实现了不同功能的传感器间优势互补，提升了目标探测系统的智能化程度，基于深度学习的视觉目标检测系统，相比3D目标检测系统，发展成熟，对计算平台的性能要求更低。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于双目相机引导的传感器融合方法，其特征在于，包括如下步骤：
步骤一：基于双目相机采集的视觉图像信息以及激光雷达采集的三维点云信息，对组成双目相机的左相机和右相机进行相机标定，对激光雷达与左相机进行联合标定；
步骤二：通过双目相机与激光雷达采集电子导向胶轮车的前向环境信息；
步骤三：通过立体匹配算法计算电子导向胶轮车的前向环境的深度信息；
步骤四：通过基于YOLOv7的目标检测神经网络，获取相机采集的图像中目标的视觉信息、包含目标类别及二维平面位置信息；
步骤五：结合神经网络输出的目标视觉信息、环境深度信息与目标时刻信息，获取基于立体视觉的目标探测结果；
步骤六：基于步骤五中获取的目标探测结果中的目标时刻信息，建立目标的运动轨迹，预测激光雷达采集时刻下目标的立体位置信息；
步骤七：基于步骤六预测的目标的立体位置信息，对激光雷达采集的点云进行分割与聚类，输出目标探测结果；
步骤八：基于卡尔曼滤波算法与近邻算法对激光雷达探测的目标进行跟踪，结合运营场景对融合后的目标进行修正输出。
2.如权利要求1所述的一种基于双目相机引导的传感器融合方法，其特征在于，所述步骤一中进行相机标定的具体步骤如下：
通过双目相机采集的视觉图像信息，采用张正友标定法，获取左相机内部参数ML、畸变系数DL、右相机内部参数MR、畸变系数DR以及左右相机间的外部参数MLR。
3.如权利要求1或2所述的一种基于双目相机引导的传感器融合方法，其特征在于，所述步骤一中进行联合标定的具体步骤如下：
通过标定板在激光雷达采集的三维点云信息与左相机采集的视觉图像信息中的二维位置信息进行联合标定，获取激光雷达与左相机之间的外部参数MLC。
4.如权利要求1所述的一种基于双目相机引导的传感器融合方法，其特征在于，所述步骤三中的计算方法如下：
将统一场景下左右视图对应的像素点进行匹配，得到视差图，基于Bouguet算法获取图像二维位置到空间三维位置的投影矩阵Q，计算目标深度信息。
5.如权利要求1所述的一种基于双目相机引导的传感器融合方法，其特征在于，所述步骤四包括：采集并制造运营环境中目标图像的数据集，将已有目标标注的数据集作为神经网络的训练集，通过训练模型获取神经网络的权重系数，再对左相机采集的图像进行预测，获取包含目标类别及描述目标平面位置的二维包围框信息的目标检测结果。
6.如权利要求1所述的一种基于双目相机引导的传感器融合方法，其特征在于，所述步骤五包括：使用步骤三中的计算方法将步骤四中获取的目标平面信息投影至三维空间，获取用三维包围框描述的立体信息的目标检测结果，再结合图像时间戳，获取基于立体视觉的目标探测结果。
7.如权利要求1所述的一种基于双目相机引导的传感器融合方法，其特征在于，所述步骤七包括：
利用RANSAC算法对地面进行分割，提取非地面目标点云，基于步骤六获取的立体位置信息进行点云聚类，获得目标点云簇，输出用三维包围框描述的立体信息的点云目标检测结果，通过双目相机获取的目标信息，引导激光雷达对目标进行精准测距；
所述点云聚类的步骤如下：
(1)激光雷达通过获取双目相机探测出的目标类别与历史轨迹信息，对目标的空间位置进行建模预测，辅助划定探测范围；
(2)选择探测范围内点云集中的任意一个点M，并根据探测范围自适应设定聚类阈值，基于KDTree的数据结构搜索M近邻的k个点，筛选与点M的距离小于聚类阈值的点并存放与集合Q中，若Q中的点增加，则在Q中选取点M以外的任意点用以更新点M，持续搜索直至集合Q中元素不再增加；
(3)对双目相机获取的图像中所有的检测物体重复步骤(1)和步骤(2)，再利用聚类检测算法完成所有目标的检测，输出目标类别、点云、三维矩形框以及时间戳。
8.如权利要求7所述的一种基于双目相机引导的传感器融合方法，其特征在于，在对激光雷达采集的点云进行聚类前，采用运动畸变补偿的方式消除点云内部的运动畸变，具体如下：
采用IMU进行激光雷达的运动畸变补偿，在接收激光雷达扫描数据的同时，将该数据与IMU采集的车辆姿态角数据保存在同一循环队列中，处理器根据激光雷达的采样时间间隔与数据时间戳计算得到每个激光点的采用时间，在IMU的数据队列中寻找时间相邻的两帧数据，利用球面线性插值的方式，将同一测量时刻下的激光点与车辆运动姿态配对，从而能够将一帧激光雷达扫描数据的每一个激光点坐标转换到同一时刻下电子导向胶轮车的对应位置坐标系下，以使得将激光雷达在一段时间内收集的所有点云统一至一个时刻下，实现对激光雷达的运动畸变补偿。
9.如权利要求1所述的一种基于双目相机引导的传感器融合方法，其特征在于，所述步骤八中基于卡尔曼滤波算法与近邻算法实现对目标的跟踪的方法如下：
基于目标运动模型构建并初始化卡尔曼滤波器组及配置相关参数，计算目标点云的质心位置，基于卡尔曼滤波器组通过当前时间戳下目标的质心位置预测下一帧点云时刻目标的质心位置，在下一帧点云中基于近邻算法搜索互相匹配的真实目标与预测目标组合，实现帧间的目标关联，即获取到了相邻两帧同一目标的空间位置，利用目标在下一帧点云中的空间位置与时间戳信息对卡尔曼滤波器组的目标状态进行更新，再对目标状态进行预测，循环上述过程，可以实现对目标的跟踪。
CN202211614042.5A 2022-11-29 2022-12-15 一种基于双目相机引导的传感器融合方法 Pending CN115937810A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211507517 2022-11-29
CN2022115075170 2022-11-29

Publications (1)

Publication Number Publication Date
CN115937810A true CN115937810A (zh) 2023-04-07

Family

ID=86697442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211614042.5A Pending CN115937810A (zh) 2022-11-29 2022-12-15 一种基于双目相机引导的传感器融合方法

Country Status (2)

Country Link
CN (1) CN115937810A (zh)
WO (1) WO2024114119A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563186A (zh) * 2023-05-12 2023-08-08 中山大学 一种基于专用ai感知芯片的实时全景感知系统及方法
WO2024114119A1 (zh) * 2022-11-29 2024-06-06 中车南京浦镇车辆有限公司 一种基于双目相机引导的传感器融合方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118334016B (zh) * 2024-06-12 2024-10-08 青岛交通工程监理咨询有限公司 一种公路工程施工质量检测方法
CN118408553B (zh) * 2024-07-01 2024-08-30 西南科技大学 一种环境三维重建与识别的无人机导航方法
CN118584523A (zh) * 2024-08-01 2024-09-03 浙江易视通联信息科技有限公司 基于时序更新的救援定位数据融合分析方法及系统
CN118603052B (zh) * 2024-08-08 2024-10-01 陕西炬烽建筑劳务有限公司 一种土木工程用地形勘测装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951305B (zh) * 2020-08-20 2022-08-23 重庆邮电大学 一种基于视觉和激光雷达的目标检测和运动状态估计方法
CN112926514A (zh) * 2021-03-26 2021-06-08 哈尔滨工业大学（威海） 一种多目标检测及跟踪方法、系统、存储介质及应用
CN114463303B (zh) * 2022-01-29 2024-08-02 合肥工业大学 一种基于双目相机和激光雷达融合的道路目标检测方法
CN114926808A (zh) * 2022-03-30 2022-08-19 吉林大学 一种基于传感器融合的目标检测及追踪方法
CN115937810A (zh) * 2022-11-29 2023-04-07 中车南京浦镇车辆有限公司 一种基于双目相机引导的传感器融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114119A1 (zh) * 2022-11-29 2024-06-06 中车南京浦镇车辆有限公司 一种基于双目相机引导的传感器融合方法
CN116563186A (zh) * 2023-05-12 2023-08-08 中山大学 一种基于专用ai感知芯片的实时全景感知系统及方法

Also Published As

Publication number Publication date
WO2024114119A1 (zh) 2024-06-06

Similar Documents

Publication Publication Date Title
CN111929699B (zh) 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及系统
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法
CN110246159B (zh) 基于视觉和雷达信息融合的3d目标运动分析方法
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN112258600A (zh) 一种基于视觉与激光雷达的同时定位与地图构建方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN110288659B (zh) 一种基于双目视觉的深度成像及信息获取方法
CN113095154A (zh) 基于毫米波雷达与单目相机的三维目标检测系统及方法
CN115731268A (zh) 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN104331901A (zh) 一种基于tld的多视角目标跟踪装置及方法
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
CN116878501A (zh) 一种基于多传感器融合的高精度定位与建图系统及方法
CN115855079A (zh) 一种时间异步的感知传感器融合方法
CN112581543A (zh) 运动机器人视觉导航方法
CN116468786A (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN118244281A (zh) 一种视觉与雷达融合的目标定位方法及装置
CN115218906A (zh) 面向室内slam的视觉惯性融合定位方法及系统
CN110851978A (zh) 一种基于可见性的摄像机位置优化方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN115019167B (zh) 基于移动终端的融合定位方法、系统、设备及存储介质
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
CN111798496B (zh) 一种视觉锁定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination