CN110097589A - 一种应用于稀疏地图稠密化的深度补全方法 - Google Patents

一种应用于稀疏地图稠密化的深度补全方法 Download PDF

Info

Publication number
CN110097589A
CN110097589A CN201910356917.8A CN201910356917A CN110097589A CN 110097589 A CN110097589 A CN 110097589A CN 201910356917 A CN201910356917 A CN 201910356917A CN 110097589 A CN110097589 A CN 110097589A
Authority
CN
China
Prior art keywords
determining device
loss function
generator
depth map
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910356917.8A
Other languages
English (en)
Inventor
张宏
黄兴鸿
林旭滨
陈创斌
何力
管贻生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiutian innovation (Guangdong) Intelligent Technology Co.,Ltd.
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910356917.8A priority Critical patent/CN110097589A/zh
Publication of CN110097589A publication Critical patent/CN110097589A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Abstract

本发明公开了一种应用于稀疏地图稠密化的深度补全方法，通过对抗神经网络构建回归模型，包括以下步骤：采用卷积神经网络构建生成器，根据真实的稠密深度图构建L1损失函数，采用卷积神经网络构建判断器，通过对L1损失函数和判断器的损失函数进行加权得到生成器的损失函数；将生成器的损失函数反向传播给生成器进行参数优化，得到更加准确的预测的稠密深度图。该深度补全方法区别于已有的多视图进行图像的深度预测的算法，基于对抗神经网络的深度补全算法有利于提高深度补全的有效性和实时性，从而实现ORB‑SLAM的稀疏地图稠密化并应用于移动机器人视觉导航。

Description

一种应用于稀疏地图稠密化的深度补全方法
技术领域
本发明属于机器人技术领域，尤其涉及一种应用于稀疏地图稠密化的深度补全方法。
背景技术
使用单目或双目视觉传感器进行环境建模，是一个低成本的、具有巨大应用前景的计算机视觉应用领域，一般而言，在机器人领域常将其归类为VSLAM(VisualSimultaneous Localization and Mapping)问题。在目前VSLAM的研究问题上，ORB-SLAM是公认的成熟且鲁棒的VSLAM的系统，该系统统拥有较高的定位精度，具备了前端里程计、后端局部优化以及回环检测全局优化等各个模块，但是由于其利用多视图几何进行定位计算量大的本质，导致构建的地图相当稀疏而不能用于后续的机器人导航。稀疏地图的稠密化通常利用图像间的数据关联以及多视几何关系，从而实现图像每个像素的深度预测。
因此，有必要研究一种应用于稀疏地图稠密化的深度补全方法。
发明内容
本发明的目的在于提供一种应用于稀疏地图稠密化的深度补全方法，以实现ORB-SLAM的稀疏地图稠密化，使之可应用于移动机器人视觉导航。
为达此目的，本发明采用以下技术方案：
本发明提出了一种应用于稀疏地图稠密化的深度补全方法，通过对抗神经网络构建回归模型，包括以下步骤：
采用卷积神经网络构建生成器，其中，以当前RGB图像和稀疏深度图作为生成器的输入，生成器的输出作为预测的稠密深度图；
根据真实的稠密深度图构建L1损失函数，其中，L1损失函数等于预测的稠密深度图与真实的稠密深度图之间的差值；
采用卷积神经网络构建判断器，其中，将预测的稠密深度图、真实的稠密深度图和RGB图像作为判断器的输入，判断器的输出作为判断器的损失函数，来优化判断器的参数；
通过对L1损失函数和判断器的损失函数进行加权得到生成器的损失函数；
将生成器的损失函数反向传播给生成器进行参数优化，得到更加准确的预测的稠密深度图。
可选的，所述真实的稠密深度图的获取方法为采用激光雷达或者深度相机获取。
可选的，所述将生成器的损失函数反向传播给生成器进行生成器参数优化，得到更加准确的预测的稠密深度图的步骤包括：
判断器和生成器参数优化是同时进行的，生成器根据其自身的损失函数每生成一帧新的预测的稠密深度图，即作为判断器的输入，以此生成判断器的新的损失函数。
可选的，所述采用卷积神经网络构建判断器，其中，将预测的稠密深度图、真实的稠密深度图和RGB图像作为判断器的输入，判断器的输出作为判断器的损失函数的步骤包括：
预测的稠密深度图和RGB图像作为判断器的输入，对应输出为假损失，其中，假损失为判断器的输出偏向于判断该稠密深度图为假；
真实的稠密深度图和RGB图像作为判断器的输入，对应输出为真损失；其中，真损失为判断器的输出偏向于判断该稠密深度图为真；
假损失和真损失进行加权生成判断器的损失函数，来优化判断器的参数。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例提供的一种应用于稀疏地图稠密化的深度补全方法，区别于已有的多视图进行图像的深度预测的算法，基于对抗神经网络的深度补全算法有利于提高深度补全的有效性和实时性，从而实现ORB-SLAM的稀疏地图稠密化并应用于移动机器人视觉导航。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种应用于稀疏地图稠密化的深度补全方法的流程图。
图2为本发明实施例提供的一种应用于稀疏地图稠密化的深度补全方法的另一流程图。
图3为本发明实施例提供的一种应用于稀疏地图稠密化的深度补全方法的又一流程图。
图4为本发明实施例提供的一种应用于稀疏地图稠密化的深度补全方法的系统框架图。
图5为本发明实施例提供的一种应用于稀疏地图稠密化的深度补全方法的判断器参数优化过程图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1至图5所示，本实施例提供了一种应用于稀疏地图稠密化的深度补全方法，提出一种利用对抗神经网络进行深度补全算法。区别于已有的多视图进行图像的深度预测的算法，基于对抗神经网络的深度补全算法有利于提高深度补全的有效性和实时性，从而实现ORB-SLAM的稀疏地图稠密化并应用于移动机器人视觉导航。
本实施例的技术方案将稀疏地图稠密化中的深度补全视为回归问题，生成器通过构建回归模型从RGB图像和稀疏的对应RGB像素深度得到整副图像对应的深度图，通过L1正则项和判断器构建损失函数，优化生成器参数寻求最优的回归模型。
具体的，本实施例中，将ORB-SLAM运行过程中，通过图像间的数据关联以及多视几何关系产生的少量像素深度，对每一帧而言，称为稀疏深度图。将具有所有像素深度的，对每一帧而言，称为稠密深度图。
该应用于稀疏地图稠密化的深度补全方法，通过对抗神经网络构建回归模型，包括以下步骤：
步骤S1，采用卷积神经网络构建生成器，其中，以当前RGB图像和稀疏深度图作为生成器的输入，生成器的输出作为预测的稠密深度图；
步骤S2，根据真实的稠密深度图构建L1损失函数，其中，L1损失函数等于预测的稠密深度图与真实的稠密深度图之间的差值；
步骤S3，采用卷积神经网络构建判断器，其中，将预测的稠密深度图、真实的稠密深度图和RGB图像作为判断器的输入，判断器的输出作为判断器的损失函数，来优化判断器的参数；
步骤S4，通过对L1损失函数和判断器的损失函数进行加权得到生成器的损失函数；
步骤S5，将生成器的损失函数反向传播给生成器进行参数优化，得到更加准确的预测的稠密深度图。
在构建生成器的损失函数过程中，利用了L1损失函数和判断器的损失函数来优化生成器参数，生成器的损失函数可表达为如下：
Gloss＝α*Llloss+(1-α)*Dloss
其中α为小于1的加权系数，属于认为给定值。L1loss为L1正则化提供的损失函数，计算公式为：L1loss＝||G(Irgb，dsparse)-dgt||1，Dloss为判断器提供的损失函数，计算公式为：Dloss＝(D(G(Irgb，dsparse)，Irgb)-1)2。
可选的，真实的稠密深度图的获取方法为采用激光雷达或者深度相机获取。
进一步的，步骤S5包括：
步骤501，判断器和生成器参数优化是同时进行的，生成器根据其自身的损失函数每生成一帧新的预测的稠密深度图，即作为判断器的输入，以此生成判断器的新的损失函数。
进一步的，步骤S3包括：
步骤S301，预测的稠密深度图和RGB图像作为判断器的输入，对应输出为假损失，其中，假损失为判断器的输出偏向于判断该稠密深度图为假；
步骤S302，真实的稠密深度图和RGB图像作为判断器的输入，对应输出为真损失；其中，真损失为判断器的输出偏向于判断该稠密深度图为真；
步骤S303，假损失和真损失进行加权生成判断器的损失函数，来优化判断器的参数。
因此，判断器的损失函数表达为：
Dtrain_loss＝0.5*(fakeloss+realloss)
其中fakeloss为预测的稠密深度图作为判断器的输入判断器产生的假损失，计算公式为：fakeloss＝D(Irgb，ddense)2，realloss为真实的稠密深度图作为判断器的输入判断器产生的真损失，计算公式为：realloss＝(D(Irgb,dgt)-1)2。
通过并行的优化生成器和判断器的参数，生成器通过判断器产生的损失函数Dloss和L1正则化提供的损失函数L1loss，不断迭代参数以找到最优模型，构建适合的回归模型来实现深度图补全，从而实现稀疏地图的稠密化。
综上所述，该应用于稀疏地图稠密化的深度补全方法，通过对抗神经网络构建回归模型，将RGB图像和稀疏深度图作为回归模型的输入，得到稠密深度图，实现VSLAM中稀疏地图的稠密化。
本实施例提供的应用于稀疏地图稠密化的深度补全方法，区别于已有利用图像的数据关联以及多视角几何关系进行稠密化的方法，构建的回归模型，有利于在已知稀疏深度图和RGB图像的基础上，端到端的得到稠密深度图实现稀疏地图的稠密化。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种应用于稀疏地图稠密化的深度补全方法，其特征在于，通过对抗神经网络构建回归模型，包括以下步骤：
采用卷积神经网络构建生成器，其中，以当前RGB图像和稀疏深度图作为生成器的输入，生成器的输出作为预测的稠密深度图；
根据真实的稠密深度图构建L1损失函数，其中，L1损失函数等于预测的稠密深度图与真实的稠密深度图之间的差值；
采用卷积神经网络构建判断器，其中，将预测的稠密深度图、真实的稠密深度图和RGB图像作为判断器的输入，判断器的输出作为判断器的损失函数；
通过对L1损失函数和判断器的损失函数进行加权得到生成器的损失函数；
将生成器的损失函数反向传播给生成器进行参数优化，得到更加准确的预测的稠密深度图。
2.根据权利要求1所述的一种应用于稀疏地图稠密化的深度补全方法，其特征在于：
所述真实的稠密深度图的获取方法为采用激光雷达或者深度相机获取。
3.根据权利要求1所述的一种应用于稀疏地图稠密化的深度补全方法，其特征在于：
所述将生成器的损失函数反向传播给生成器进行生成器参数优化，得到更加准确的预测的稠密深度图的步骤包括：
判断器和生成器参数优化是同时进行的，生成器根据其自身的损失函数每生成一帧新的预测的稠密深度图，即作为判断器的输入，以此生成判断器的新的损失函数。
4.根据权利要求3所述的一种应用于稀疏地图稠密化的深度补全方法，其特征在于，所述采用卷积神经网络构建判断器，其中，将预测的稠密深度图、真实的稠密深度图和RGB图像作为判断器的输入，判断器的输出作为判断器的损失函数的步骤包括：
预测的稠密深度图和RGB图像作为判断器的输入，对应输出为假损失，其中，假损失为判断器的输出偏向于判断该稠密深度图为假；
真实的稠密深度图和RGB图像作为判断器的输入，对应输出为真损失；其中，真损失为判断器的输出偏向于判断该稠密深度图为真；
假损失和真损失进行加权生成判断器的损失函数来优化判断器的参数。
CN201910356917.8A 2019-04-29 2019-04-29 一种应用于稀疏地图稠密化的深度补全方法 Pending CN110097589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910356917.8A CN110097589A (zh) 2019-04-29 2019-04-29 一种应用于稀疏地图稠密化的深度补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910356917.8A CN110097589A (zh) 2019-04-29 2019-04-29 一种应用于稀疏地图稠密化的深度补全方法

Publications (1)

Publication Number Publication Date
CN110097589A true CN110097589A (zh) 2019-08-06

Family

ID=67446509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910356917.8A Pending CN110097589A (zh) 2019-04-29 2019-04-29 一种应用于稀疏地图稠密化的深度补全方法

Country Status (1)

Country Link
CN (1) CN110097589A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062981A (zh) * 2019-12-13 2020-04-24 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
CN111192313A (zh) * 2019-12-31 2020-05-22 深圳优地科技有限公司 机器人构建地图的方法、机器人及存储介质
CN112541482A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112650255A (zh) * 2020-12-29 2021-04-13 杭州电子科技大学 一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法
CN112861729A (zh) * 2021-02-08 2021-05-28 浙江大学 一种基于伪深度图引导的实时深度补全方法
CN113034562A (zh) * 2019-12-09 2021-06-25 百度在线网络技术（北京）有限公司 用于优化深度信息的方法和装置
CN113160327A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种点云补全的实现方法和系统
CN114119889A (zh) * 2021-11-12 2022-03-01 杭州师范大学 基于跨模态融合的360度环境深度补全和地图重建方法
WO2022045495A1 (en) * 2020-08-25 2022-03-03 Samsung Electronics Co., Ltd. Methods for depth map reconstruction and electronic computing device for implementing the same
WO2022142596A1 (zh) * 2020-12-30 2022-07-07 华为技术有限公司 一种图像处理方法，装置及储存介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360159A (zh) * 2018-09-07 2019-02-19 华南理工大学 一种基于生成对抗网络模型的图像补全方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360159A (zh) * 2018-09-07 2019-02-19 华南理工大学 一种基于生成对抗网络模型的图像补全方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FANGCHANG MA AND SERTAC KARAMAN: "Sparse-to-Dense Depth Prediction from Sparse Depth Samples and a Single Image", 《2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
YUKI TSUJI ET AL: "Non-Guided Depth Completion with Adversarial Networks", 《2018 21ST INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034562B (zh) * 2019-12-09 2023-05-12 百度在线网络技术（北京）有限公司 用于优化深度信息的方法和装置
CN113034562A (zh) * 2019-12-09 2021-06-25 百度在线网络技术（北京）有限公司 用于优化深度信息的方法和装置
CN111062981A (zh) * 2019-12-13 2020-04-24 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
CN111062981B (zh) * 2019-12-13 2023-05-05 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
CN111192313A (zh) * 2019-12-31 2020-05-22 深圳优地科技有限公司 机器人构建地图的方法、机器人及存储介质
CN111192313B (zh) * 2019-12-31 2023-11-07 深圳优地科技有限公司 机器人构建地图的方法、机器人及存储介质
WO2022045495A1 (en) * 2020-08-25 2022-03-03 Samsung Electronics Co., Ltd. Methods for depth map reconstruction and electronic computing device for implementing the same
CN112541482A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112541482B (zh) * 2020-12-25 2024-04-02 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112650255A (zh) * 2020-12-29 2021-04-13 杭州电子科技大学 一种基于视觉与激光雷达信息融合的机器人室内外定位导航系统方法
WO2022142596A1 (zh) * 2020-12-30 2022-07-07 华为技术有限公司 一种图像处理方法，装置及储存介质
CN112861729B (zh) * 2021-02-08 2022-07-08 浙江大学 一种基于伪深度图引导的实时深度补全方法
CN112861729A (zh) * 2021-02-08 2021-05-28 浙江大学 一种基于伪深度图引导的实时深度补全方法
CN113160327A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种点云补全的实现方法和系统
CN114119889A (zh) * 2021-11-12 2022-03-01 杭州师范大学 基于跨模态融合的360度环境深度补全和地图重建方法
CN114119889B (zh) * 2021-11-12 2024-04-09 杭州师范大学 基于跨模态融合的360度环境深度补全和地图重建方法

Similar Documents

Publication Publication Date Title
CN110097589A (zh) 一种应用于稀疏地图稠密化的深度补全方法
CN108198145B (zh) 用于点云数据修复的方法和装置
CN107862293B (zh) 基于对抗生成网络的雷达生成彩色语义图像系统及方法
JP7282080B2 (ja) 二次元画像および点群データからの三次元境界ボックス
CN109766878B (zh) 一种车道线检测的方法和设备
WO2022188379A1 (zh) 服务于电力机器人的人工智能系统及方法
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN108520554B (zh) 一种基于orb-slam2的双目三维稠密建图方法
CN108537876A (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
CN109784333A (zh) 基于点云带权通道特征的三维目标检测方法及系统
CN111340868B (zh) 基于视觉深度估计的无人水下航行器自主决策控制方法
CN113377888B (zh) 训练目标检测模型和检测目标的方法
CN108986166A (zh) 一种基于半监督学习的单目视觉里程预测方法及里程计
CN108898669A (zh) 数据处理方法、装置、介质和计算设备
CN105865462A (zh) 带有深度增强视觉传感器的基于事件的三维slam方法
CN110189400A (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN112365604A (zh) 基于语义分割和slam的ar设备景深信息应用方法
CN104794713A (zh) 基于arm和双目视觉的温室作物数字化成像方法
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN110610650A (zh) 一种基于深度学习和深度相机的点云语义地图的构建方法
CN116194951A (zh) 用于基于立体视觉的3d对象检测与分割的方法和装置
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和系统
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210830

Address after: 528253 room 3, 803, floor 8, block 3, Tian'an center, No. 31, Jihua East Road, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration)

Applicant after: Jiutian innovation (Guangdong) Intelligent Technology Co.,Ltd.

Address before: No.729, Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province 510060

Applicant before: GUANGDONG University OF TECHNOLOGY

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190806

RJ01 Rejection of invention patent application after publication