CN110942477B - 一种利用双目相机和激光雷达深度图融合的方法 - Google Patents

一种利用双目相机和激光雷达深度图融合的方法 Download PDF

Info

Publication number
CN110942477B
CN110942477B CN201911146443.0A CN201911146443A CN110942477B CN 110942477 B CN110942477 B CN 110942477B CN 201911146443 A CN201911146443 A CN 201911146443A CN 110942477 B CN110942477 B CN 110942477B
Authority
CN
China
Prior art keywords
depth
edge
depth map
map
binocular camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911146443.0A
Other languages
English (en)
Other versions
CN110942477A (zh
Inventor
仲维
李豪杰
陈圣伦
王智慧
罗钟铉
刘日升
樊鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911146443.0A priority Critical patent/CN110942477B/zh
Publication of CN110942477A publication Critical patent/CN110942477A/zh
Application granted granted Critical
Publication of CN110942477B publication Critical patent/CN110942477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种利用双目相机和激光雷达深度图融合的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法。系统容易构建，程序简单，易于实现；利用双目相机和激光雷达融合构建深度图，使得深度图更加稠密精确，而且算法鲁棒性强。

Description

一种利用双目相机和激光雷达深度图融合的方法
技术领域
本发明属于图像处理和计算机视觉领域。利用双目相机和激光雷达的特性，相互弥补缺陷，使得深度图更精细更准确。
背景技术
激光雷达是实现移动机器人和汽车自动驾驶环境感知的重要传感器之一,适用于复杂交通环境感知,它的优点所得到的深度图精度较高，它的缺点是分辨率低，获得深度图十分稀疏容易忽视小目标。双目立体视觉作为计算机视觉的重要分支,它被广泛应用于汽车无人驾驶技术当中,但是由于视觉、受光照等环境因素影响较大,导致了其所得深度图精度偏低。所以在移动机器人和汽车自动驾驶等领域中需要一种深度图融合方法，使得生成的深度图即精确又稠密。本发明面临两个难点，一是传感器位姿和时间戳标定，发明中使用深度图标定和最大点云配准两阶段方法解决，二是数据融合，在本发明中使用场景边缘以启发式的方法完成。
发明内容
本发明为了解决现有技术中存在的问题，提供了一种利用双目相机和激光雷达深度图融合的方法。具体技术方案的步骤如下：
1)传感器配准
使用双目相机和激光雷达同时拍摄不同姿态，不同位置的标定物；提取深度图边缘特征E，E是提取深度边缘特征的函数，使用特征进行匹配获得传感器位姿T1，深度图转换得到的点云分别为Ps和Pl，使用最大一致集修正位姿T1得到位姿T。
使用双目相机和激光雷达同时拍摄，并保持传感器充分移动；获得的数据为双目相机深度图序列和激光雷达深度图序列，使用空域配准的方法分别计算两个序列的运动轨迹，并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn；取平均值作为两传感器的时间偏移。
2)边缘提取
两种传感器生成的配准后深度图分别为Ds和Dl，对应双目相机的场景图为Is；分别提取三张图像的边缘ED(Ds)、ED(Dl)和EI(Is)，ED和EI分别为提取深度图和场景图边缘的函数，得到的边缘图为
Figure BDA0002282322820000021
和
Figure BDA0002282322820000022
三者的稀疏程度由小到大为
Figure BDA0002282322820000023
和
Figure BDA0002282322820000024
边缘图中的边缘并不是密闭的，使用边缘修复函数Ep处理边缘图得到密闭的边缘图EDl、EDs和EIs。
3)深度图融合
首先结合EIs和Ds检查密闭边缘的深度情况，记录异常值的mask；其次结合mask，EDs和Ds使用EDs修复mask区域深度值；最后使用EDl、Ds和Dl使用密闭边缘中的Dl校正Ds；
算法中n为设定值。
本发明的有益效果是：
本发明设计了一种利用双目相机和激光雷达融合生成深度图的方法。利用两种传感器的特性，相互弥补缺陷，使得融合生成的深度图更精细更准确。具有以下特点：
1、程序简单，易于实现；
2、算法效率高，实时性强；
3、融合生成的深度图更精细更准确。
附图说明
图1是系统架构。
图2是传感器配准的算法流程。
图3是传感器融合生成深度图的算法流程。
图4是Kitti数据集双目相机场景图。
图5是Kitti数据集场景图生成的深度图。
图6是Kitti数据集激光雷达数据。
图7是融合后深度图效果示意图。
具体实施方式
本发明提出了一种利用双目相机和激光雷达融合生成深度图的方法，结合附图及实施例详细说明如下：
总体流程如图1，首先系统获取传感器得到的场景图如图4和深度图如图5，然后提取图像边缘，最后使用边缘信息和配准信息进行深度融合。具体的方法如下：
1)传感器配准
首先进行传感器空域配准如图2左侧，使用双目相机和激光雷达同时拍摄不同姿态，不同位置的标定物。设由深度图分别为Ds和Dl，提取深度图边缘特征E，E是提取深度边缘特征的函数，使用Ds的特征{fs}和Dl的特征{fl}进行匹配获得匹配对{<fsi,flj>}，匹配对对应的三维点为{<psi,plj>}。计算传感器位姿T1，即||T1psi-plj||<ε1。然后将深度图转换得到的点云分别为Ps和Pl，使用最大一致集修正位姿，即要使点对
Figure BDA0002282322820000031
满足
Figure BDA0002282322820000032
且点对的数量达到最大，得到位姿为T。
然后进行传感器时间戳配准如图2右侧，使用双目相机和激光雷达同时拍摄，并保持相机充分移动。获得的数据为双目相机深度图序列和激光雷达深度图序列，分别计算两个序列的运动轨迹li和ld，计算轨迹的方法使用空域配准的方法。并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn。取平均值t作为两传感器的时间偏移。
2)边缘提取
如图3上部两种传感器生成深度图分别为Ds和Dl，并用位姿T配准，对应双目相机的场景图为Is。分别提取三张图像的边缘ED(Ds)，ED(Dl)和EI(Is),ED和EI分别为提取深度图和场景图边缘的函数，得到的边缘图为
Figure BDA0002282322820000033
和
Figure BDA0002282322820000034
然后使用边缘修复函数Ep处理边缘图得到密闭的边缘图EDl,EDs和EIs。
3)深度图融合
如图3下部在深度融合前首先检查Ds和Dl的时间戳是否在偏移t之内；若不在则停止深度图融合；若在，则首先结合EIs和Ds检查密闭边缘的深度情况，DE表示边缘深度值，利用边缘膨胀检查边缘内区域深度值d是否与最近的边的深度值dES满足|d-dES|<ε3，不满足则记录为异常值并记入mask1；其次结合mask1，EDs和Ds，遍历EDs内的深度值使用dE修复mask1；最后使用EDl、Ds和Dl，检查密闭边缘都存在深度值的区域检查是否满足|dl-ds|<ε4，不满足则使用dl替换ds，如果只有存在dl则直接填充，如果只有存在ds则计算ds最近EDl边缘和次近的边缘的深度值dEl1和dEl2，使用三线性插值计算dt替换ds。融合后的预计效果如图7。
算法中ε1、ε2、ε3、ε4和n为设定值。

Claims (2)

1.一种利用双目相机和激光雷达深度图融合的方法，其特征在于，包括以下步骤：
1)传感器配准
使用双目相机和激光雷达同时拍摄不同姿态，不同位置的标定物；提取深度图边缘特征E，E是提取深度边缘特征的函数，使用特征进行匹配获得传感器位姿T1，深度图转换得到的点云分别为Ps和Pl，使用最大一致集修正位姿T1得到位姿T；
使用双目相机和激光雷达同时拍摄，并保持传感器充分移动；获得的数据为双目相机深度图序列和激光雷达深度图序列，使用空域配准的方法分别计算两个序列的运动轨迹，并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn；取平均值作为两传感器的时间偏移；
2)边缘提取
两种传感器生成的配准后深度图分别为Ds和Dl，对应双目相机的场景图为Is；分别提取三张图像的边缘ED(Ds)、ED(Dl)和EI(Is)，ED和EI分别为提取深度图和场景图边缘的函数，得到的边缘图为
Figure FDA0003260457030000016
和
Figure FDA0003260457030000013
三者的稀疏程度由小到大为
Figure FDA0003260457030000014
和
Figure FDA0003260457030000015
边缘图中的边缘并不是密闭的，使用边缘修复函数Ep处理边缘图得到密闭的边缘图EDl、EDs和EIs；
3)深度图融合
首先结合EIs和Ds检查密闭边缘的深度情况，记录异常值的mask；其次结合mask，EDs和Ds使用EDs修复mask区域深度值；最后使用EDl、Ds和Dl使用密闭边缘中的Dl校正Ds；算法中n为设定值；具体如下：
在深度融合前首先检查Ds和Dl的时间戳是否在偏移t之内；若不在则停止深度图融合；若在，则首先结合EIs和Ds检查密闭边缘的深度情况，DE表示边缘深度值，利用边缘膨胀检查边缘内区域深度值d是否与最近的边的深度值dES满足|d-dES|<ε3，不满足则记录为异常值并记入mask1；其次结合mask1，EDs和Ds，遍历EDs内的深度值使用dE修复mask1；最后使用EDl、Ds和Dl，检查密闭边缘都存在深度值的区域检查是否满足|dl-ds|<ε4，不满足则使用dl替换ds，如果只有存在dl则直接填充，如果只有存在ds则计算ds最近EDl边缘和次近的边缘的深度值dEl1和dEl2，使用三线性插值计算dt替换ds；
算法中ε3和ε4为设定值。
2.根据权利要求1所述的利用双目相机和激光雷达深度图融合的方法，其特征在于，步骤1)传感器配准：
设由深度图分别为Ds和Dl，提取深度图边缘特征E，E是提取深度边缘特征的函数，使用Ds的特征{fs}和Dl的特征{fl}进行匹配获得匹配对{<fsi,flj>}，匹配对对应的三维点为{<psi,plj>}；计算传感器位姿T1，即||T1psi-plj||<ε1；然后将深度图转换得到的点云分别为Ps和Pl，位姿T要使点对
Figure FDA0003260457030000021
满足
Figure FDA0003260457030000022
且点对的数量达到最大，得到位姿为T；
使用双目相机和激光雷达同时拍摄，并保持相机充分移动；获得的数据为双目相机深度图序列和激光雷达深度图序列，分别计算两个序列的运动轨迹li和ld，计算轨迹的方法使用空域配准的方法；并将轨迹分为n个时间段进行对齐，获得时间偏移t1,…,tn；取平均值t作为两传感器的时间偏移；
算法中ε1、ε2和n为设定值。
CN201911146443.0A 2019-11-21 2019-11-21 一种利用双目相机和激光雷达深度图融合的方法 Active CN110942477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911146443.0A CN110942477B (zh) 2019-11-21 2019-11-21 一种利用双目相机和激光雷达深度图融合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911146443.0A CN110942477B (zh) 2019-11-21 2019-11-21 一种利用双目相机和激光雷达深度图融合的方法

Publications (2)

Publication Number Publication Date
CN110942477A CN110942477A (zh) 2020-03-31
CN110942477B true CN110942477B (zh) 2021-11-19

Family

ID=69907317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911146443.0A Active CN110942477B (zh) 2019-11-21 2019-11-21 一种利用双目相机和激光雷达深度图融合的方法

Country Status (1)

Country Link
CN (1) CN110942477B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192303B (zh) * 2020-04-09 2020-08-07 北京三快在线科技有限公司 一种点云数据处理方法及装置
CN111366084B (zh) * 2020-04-28 2021-06-25 上海工程技术大学 基于信息融合的零件尺寸检测平台及检测方法、融合方法
CN112233163B (zh) * 2020-12-14 2021-03-30 中山大学 一种激光雷达立体相机融合的深度估计方法、装置及其介质
CN115546318B (zh) * 2022-11-23 2023-04-07 中科星图测控技术股份有限公司 一种自动高速弹道标定方法
CN115994934B (zh) * 2023-03-16 2023-06-13 福思(杭州)智能科技有限公司 数据时间对齐方法、装置以及域控制器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法
US20170302910A1 (en) * 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for merging depth maps in a depth camera system
CN108805906A (zh) * 2018-05-25 2018-11-13 哈尔滨工业大学 一种基于深度图的运动障碍物检测及定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DHA: Lidar and Vision data Fusion-based On Road Object Classifier;Jianhui Zhao 等;《2018 International Joint Conference on Neural Networks (IJCNN)》;20181015;全文 *
基于双目视觉的移动机器人地图创建方法的研究;彭建建;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20190115;第2019年卷(第01期);全文 *

Also Published As

Publication number Publication date
CN110942477A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN110942477B (zh) 一种利用双目相机和激光雷达深度图融合的方法
US20220207776A1 (en) Disparity image fusion method for multiband stereo cameras
US11908152B2 (en) Acceleration method of depth estimation for multiband stereo cameras
CN108257161B (zh) 基于多相机的车辆环境三维重构和运动估计系统及方法
CN110689008A (zh) 一种面向单目图像的基于三维重建的三维物体检测方法
CN111060924B (zh) 一种slam与目标跟踪方法
CN110349249B (zh) 基于rgb-d数据的实时稠密重建方法及系统
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN110910498B (zh) 一种利用激光雷达和双目相机构建栅格地图的方法
CN109087394A (zh) 一种基于低成本rgb-d传感器的实时室内三维重建方法
WO2024114119A1 (zh) 一种基于双目相机引导的传感器融合方法
CN113409459A (zh) 高精地图的生产方法、装置、设备和计算机存储介质
CN105279771B (zh) 一种视频中基于在线动态背景建模的运动目标检测方法
CN103886107A (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN109724586B (zh) 一种融合深度图和点云的航天器相对位姿测量方法
CN112085801A (zh) 基于神经网络的三维点云和二维图像融合的校准方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN106340045A (zh) 三维人脸重建中基于双目立体视觉的标定优化方法
CN113888639A (zh) 基于事件相机与深度相机的视觉里程计定位方法及系统
CN112270698A (zh) 基于最邻近曲面的非刚性几何配准方法
CN117237789A (zh) 基于全景相机和激光雷达融合生成纹理信息点云地图方法
Wang et al. Temporal and spatial online integrated calibration for camera and LiDAR
CN110889364A (zh) 一种利用红外传感器和可见光传感器构建栅格地图的方法
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant