CN111354030B - 嵌入SENet单元的无监督单目图像深度图生成方法 - Google Patents

嵌入SENet单元的无监督单目图像深度图生成方法 Download PDF

Info

Publication number
CN111354030B
CN111354030B CN202010132191.2A CN202010132191A CN111354030B CN 111354030 B CN111354030 B CN 111354030B CN 202010132191 A CN202010132191 A CN 202010132191A CN 111354030 B CN111354030 B CN 111354030B
Authority
CN
China
Prior art keywords
layer
convolution
convolution module
jumping
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010132191.2A
Other languages
English (en)
Other versions
CN111354030A (zh
Inventor
王祝萍
戴新柯
张皓
黄超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010132191.2A priority Critical patent/CN111354030B/zh
Publication of CN111354030A publication Critical patent/CN111354030A/zh
Application granted granted Critical
Publication of CN111354030B publication Critical patent/CN111354030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种嵌入SENet单元的无监督单目图像深度图生成方法，具体为：构建深度估计网络，将目标图像输入训练好的深度估计网络获得目标图像深度图；所述的训练过程采用相机位姿估计网络；所述的深度估计网络包括编码器和解码器，所述的编码器包括7层编码卷积模块，所述的解码器包括7层解码卷积模块和7层跳跃连接的跳跃卷积模块，第1层跳跃卷积模块包括依次连接的卷积层、ReLU激活层、卷积层和ReLU激活层，第2～7层跳跃卷积模块中每块跳跃卷积模块包括残差卷积单元和SENet单元。与现有技术相比，本发明具有精度高等优点。

Description

嵌入SENet单元的无监督单目图像深度图生成方法
技术领域
本发明涉及计算机视觉领域，尤其是涉及一种嵌入SENet单元的无监督单目图像深度图生成方法。
背景技术
近年来，人工智能技术开始广泛地应用在人们日常生活的方方面面，其中，感知场景三维结构和解析场景几何关系更是有助于智能体理解现实环境。在同时定位与建图(SLAM)中，相比于单目SLAM，基于RGB-D的SLAM无论是跟踪还是构图都具有更稳健的鲁棒性。视觉里程计作为SLAM的关键，可以使用相机的相邻帧估计相机自运动，广泛应用于高级驾驶员辅助系统、自动驾驶、智能车辆、机器人等领域。
现有的深度传感器都有其自身的局限性且难以满足工程应用的需求。LiDAR，基于结构光的深度传感器和立体相机，成本高且仅提供远距离物体的稀疏测量；基于结构光的深度传感器(例如Kinect)对光照敏感且耗电，在强光下会产生很多噪音，有效测量距离短；立体相机需要较大的基线和仔细校准以实现精确的三角测量，这需要大量的计算并且通常会在无特征区域失败。由上述内容可知，市场上现有的三维结构传感器都有其各自的局限性，或因成本太高而无法推广应用，或因传感器的构造原理而无法获得理想的深度视觉信息，因为从单视点图像去预测其表达出来的三维场景结构是一个病态和模糊问题，与成像过程相反，给定一张某场景的单目彩色图像，其存在很多个三维场景结构能来描述彩色图像中表达出来的布局，因此前单视点图像的深度估计任务远落后于多视点图像，单目图像深度估计存在艰难挑战。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种嵌入SENet单元的无监督单目图像深度图生成方法，提高了深度图像估计精度。
本发明的目的可以通过以下技术方案来实现：
一种嵌入SENet单元的无监督单目图像深度图生成方法，具体为：构建深度估计网络，将目标图像输入训练好的深度估计网络获得目标图像深度图；
所述的训练过程具体为：
采集包括若干视频帧集的训练集，构建相机位姿估计网络，将每个视频帧集中的参考帧Ia及Ia的相邻帧Ib输入相机位姿估计网络获得相机六自由度位姿变换关系Pab，将Ia和Ib输入深度估计网络对应获得参考帧深度图Da和相邻帧深度图Db，所述的Ia根据Pab通过形变获得合成帧I′α，所述的Da根据Pab通过形变获得合成深度图所述的Da根据Pab通过投影和双线性插值生成相邻帧深度图D′b，根据Ia、Ib、I′α、/>和D′b构建损失函数，利用损失函数训练深度估计网络。
进一步地，所述的损失函数L包括光度损失Lp、平滑损失Ls和几何一致性损失Lgc，计算公式为：
L＝Lp+αLs+βLgc
其中α、β是Ls在L中所占有的权重；
所述的Lp的计算公式为：
其中，V为从Ia成功投影到Ib的点集，p属于集合V，|V|为V的数量，λs为图像重投影相似权重，λi为图像结构相似性权重，Iα(p)为参考帧Iα上的点，I′α(p)为根据Pab通过形变获得合成帧I′α上的点，SSIMαα'(p)为Ia和I′α的图像相似性损失。
所述的Ls的计算公式为：
其中，为沿空间方向的一阶导数；
所述的Lgc的计算公式为：
其中，Ddiff(p)为深度不一致值，计算公式为：
其中，为Da根据Pab通过形变获得合成深度图/>上的点，D′b(p)为Da根据Pab通过投影和双线性插值生成相邻帧深度图D′b上的点。
进一步地，所述的深度估计网络包括编码器和解码器，所述的编码器包括7层编码卷积模块，所述的解码器包括7层解码卷积模块和7层与编码卷积模块跳跃连接的跳跃卷积模块，所述的7层解码卷积模块的输入通道依次为32、64、128、256、512、512和512，第1层跳跃卷积模块包括依次连接的卷积层、ReLU激活层、卷积层和ReLU激活层，第2～7层跳跃卷积模块中每层跳跃卷积模块包括残差卷积单元和SENet单元，所述的残差卷积单元的输出作为SENet单元的输入，所述的残差卷积单元的输入和输出以及SENet单元的输出相加作为第2～7层跳跃卷积模块中每块跳跃卷积模块的输出；
进一步地，第6层编码卷积模块和第1层跳跃卷积模块跳跃连接构成；第2层解码卷积模块的通道输入由第5层编码卷积模块和第2层跳跃卷积模块跳跃连接构成；第3层解码卷积模块的通道输入由第4层编码卷积模块和第3层跳跃卷积模块跳跃连接构成；第4层解码卷积模块的通道输入由第3层编码卷积模块和第4层跳跃卷积模块跳跃连接构成；第5层解码卷积模块的通道输入由第2层编码卷积模块和第5层跳跃卷积模块跳跃连接再加上该层输出深度图构成；第6层解码卷积模块的通道输入由第1层编码卷积模块和第6层跳跃卷积模块跳跃连接构成再加上该层输出深度图构成；第7层解码卷积模块的通道输入由第7层跳跃卷积模块再加上该层输出深度图构成，每层跳跃卷积模块的输出再经过Sigmoid激活层后输出6中不同尺度的深度图。
所述的SENet单元包括依次连接的全局池化层、全连接层、ReLU激活层、全连接层和Sigmoid激活层，所述的残差卷积单元包括依次连接的卷积层、批标准化层、ReLU激活层、卷积层和批标准化层。
进一步地，所述的相机位姿估计网络包括7层卷积模块，该7层卷积模块的输入通道数依次为16、32、64、128、256、256和256，每层卷积模块包括1层卷积层和1层ReLU激活层。
与现有技术相比，本发明具有以如下有益效果：
(1)本发明建立了相机位姿估计网络，对深度估计网络进行无监督训练，训练过程只需要单目图像视频流，不需要采用成本高、获取复杂的真实深度图做回归，成本低，同时在深度估计网络中嵌入跳跃连接，实现了不同层间的深度信息传递和特征融合，避免了特征信息的缺失，第2～7层跳跃卷积模块中每块跳跃卷积模块包括残差卷积单元和SENet单元，残差卷积单元的输出作为SENet单元的输入，残差卷积单元的输入和输出以及SENet单元的输出相加作为第2～7层跳跃卷积模块中每块跳跃卷积模块的输出，SENet单元的通道注意力方法对输入先进行了全局平均池化，再通过训练学习得到了不同的一维激励权重来激活每一个通道，不同通道的不同权重能够能够根据该任务重要程度提升对当前任务贡献更大的特征的权重并降低对当前任务用处不大的特征的权重，能够自动获取特征的重要程度，使得深度估计网络输出的深度图精度更高；
(2)本发明采用光度损失、平滑损失和几何一致性损失组成损失函数，光度损失考虑了图像相似性SSIM损失，提高了处理如图像遮挡和运动物体这些异常值的鲁棒性，平滑损失可以保证边缘像素不连贯区域变化过大区域趋于平滑，而几何一致性损失能够有效利用多帧图像之间的一致性信息，比单帧估计所能利用的信息更多，整体保证了深度估计网络输出的深度图的梯度平滑性边缘分界更清晰，精度更高；
(3)本发明在第6层编码卷积模块和第1层跳跃卷积模块、第5层编码卷积模块和第2层跳跃卷积模块、第4层编码卷积模块和第3层跳跃卷积模块、第3层编码卷积模块和第4层跳跃卷积模块、第2层编码卷积模块和第5层跳跃卷积模块以及第1层编码卷积模块和第6层跳跃卷积模块之间跳跃连接构成，每层跳跃卷积模块的输出再经过卷积层、Sigmoid激活层后输出6中不同尺度的深度图，提高了的深度估计网络的训练精度。
附图说明
图1为深度估计网络的结构示意图；
图2为训练过程示意图；
图3为残差卷积单元结构示意图；
图4为SENet单元结构示意图；
图5为本发明的方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种嵌入SENet单元的无监督单目图像深度图生成方法，如图5，具体为：
选取KITTI的原始数据集作为训练集，KITTI包括若干视频帧集，将所有图像缩放至832×256像素大小；
构建相机位姿估计网络和深度估计网络；
如图2，训练过程具体为：将每个视频帧集中与参考帧Ia及Ia的相邻帧Ib输入相机位姿估计网络获得相机六自由度位姿变换关系Pab，将Ia和Ib输入深度估计网络对应获得参考帧深度图Da和相邻帧深度图Db，Ia根据Pab通过形变获得合成帧I′α，Da根据Pab通过形变获得合成深度图Da根据Pab通过投影和双线性插值生成相邻帧深度图D′b，根据Ia、Ib、I′α、和D′b构建损失函数，利用损失函数进行约束以训练深度估计网络；
将目标图像输入训练好的深度估计网络获得目标图像深度图。
损失函数L包括光度损失Lp、平滑损失Ls和几何一致性损失Lgc，计算公式为：
L＝Lp+αLs+βLgc
其中α、β是Ls在L中所占有的权重；
出于对异常值处理的鲁棒性，选择L1损失来逐像素进行比较差异然后取绝对值，加入图像相似性SSIM损失，构建Lp，计算公式为：
其中，V为从Ia成功投影到Ib的点，|V|为V的数量，λs为图像重投影相似权重)，取0.85，λi为图像结构相似性权重，取0.15，Iα(p)为参考帧Iα上的点，I′α(p)为根据Pab通过形变获得合成帧I′α上的点，SSIMαα'(p)为Ia和I′α的图像相似性损失。
Ls的计算公式为：
其中，为沿空间方向的一阶导数；
Lgc的计算公式为：
其中，Ddiff(p)为深度不一致值，计算公式为：
其中，为Da根据Pab通过形变获得合成深度图/>上的点，D′b(p)为Da根据Pab通过投影和双线性插值生成相邻帧深度图D′b上的点。
如图1、图3和图4，深度估计网络包括编码器和解码器，编码器包括7层编码卷积模块，解码器包括7层解码卷积模块和7层跳跃连接的跳跃卷积模块，7层解码卷积模块的输入通道依次为32、64、128、256、512、512和512，第1层跳跃卷积模块包括依次连接的卷积层、ReLU激活层、卷积层和ReLU激活层，第2～7层跳跃卷积模块中每块跳跃卷积模块包括残差卷积单元和SENet单元，残差卷积单元的输出作为SENet单元的输入，残差卷积单元的输入和输出以及SENet单元的输出相加作为第2～7层跳跃卷积模块中每块跳跃卷积模块的输出；
第6层编码卷积模块和第1层跳跃卷积模块跳跃连接构成；第2层解码卷积模块的通道输入由第5层编码卷积模块和第2层跳跃卷积模块跳跃连接构成；第3层解码卷积模块的通道输入由第4层编码卷积模块和第3层跳跃卷积模块跳跃连接构成；第4层解码卷积模块的通道输入由第3层编码卷积模块和第4层跳跃卷积模块跳跃连接构成；第5层解码卷积模块的通道输入由第2层编码卷积模块和第5层跳跃卷积模块跳跃连接再加上该层输出深度图构成；第6层解码卷积模块的通道输入由第1层编码卷积模块和第6层跳跃卷积模块跳跃连接再加上该层输出深度图构成；第7层解码卷积模块的通道输入由第7层跳跃卷积模块再加上该层输出深度图构成，每层跳跃卷积模块的输出再经过Sigmoid激活层后输出6种不同尺度的预测深度图。
SENet单元包括依次连接的全局池化层、全连接层、ReLU激活层、全连接层和Sigmoid激活层，残差卷积单元包括依次连接的卷积层、批标准化层、ReLU激活层、卷积层和批标准化层。
相机位姿估计网络包括7层卷积模块，该7层卷积模块的输入通道数依次为16、32、64、128、256、256和256，每层卷积模块包括1层卷积层和1层ReLU激活层，最后1层卷积模块经过1层卷积层后输出相机六自由度位姿，根据参考帧和相邻帧各自的相机六自由度位姿获得相机六自由度位姿变换关系。
设定一次迭代过程的大小为1000张图片，一次迭代所用的样本大小为8，选取学习率大小为0.0001，利用ADAM优化器，迭代200次，采用Eigen划分数据集的方式，对测试集中的图片进行预测，对于生成的深度数据结果的评估，使用绝对相关误差Abs_rel、平方相关误差Sq_rel、均方根误差rmse、rmse_log和深度阈值δ作为评价指标，表1为本实施例的评估结果：
表1评价结果
表1表明了本实施例获取的KITTI数据集交通场景图对应的深度图效果好。
本实施例提出了一种嵌入SENet单元的无监督单目图像深度图生成方法，能够自动获取特征的重要程度，根据该重要程度提升对当前任务贡献更大的特征的权重并降低对当前任务用处不大的特征的权重，精度更高。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种嵌入SENet单元的无监督单目图像深度图生成方法，具体为：构建深度估计网络，将目标图像输入训练好的深度估计网络获得目标图像深度图；
所述的训练过程采用相机位姿估计步骤；
其特征在于，所述的深度估计网络包括编码器和解码器，所述的编码器包括7层编码卷积模块，所述的解码器包括交叉设置的7层解码卷积模块和7层与编码卷积模块跳跃连接的跳跃卷积模块，第1层跳跃卷积模块包括依次连接的卷积层、ReLU激活层、卷积层和ReLU激活层，第2～7层跳跃卷积模块中每层跳跃卷积模块包括残差卷积单元和SENet单元，所述的残差卷积单元的输出作为SENet单元的输入，所述的残差卷积单元的输入和输出以及SENet单元的输出相加作为第2～7层跳跃卷积模块中每块跳跃卷积模块的输出；
所述的相机位姿估计步骤具体为：
采集包括若干视频帧集的训练集，构建相机位姿估计网络，将每个视频帧集中参考帧Ia及Ia的相邻帧Ib输入相机位姿估计网络获得相机六自由度位姿变换关系Pab，将Ia和Ib输入深度估计网络对应获得参考帧深度图Da和相邻帧深度图Db，所述的Ia根据Pab通过形变获得合成帧I'α，所述的Da根据Pab通过形变获得合成深度图所述的Da根据Pab通过投影和双线性插值生成相邻帧深度图D'b，根据Ia、Ib、I′α、/>和D'b构建损失函数，利用损失函数训练深度估计网络；
所述的损失函数L包括光度损失Lp、平滑损失Ls和几何一致性损失Lgc，计算公式为：
L＝Lp+αLs+βLgc
其中α、β是Ls在L中所占有的权重；
所述的Lp的计算公式为：
其中，V为从Ia成功投影到Ib的点集，p属于集合V，|V|为V的数量，λs为图像重投影相似权重，λi为图像结构相似性权重，Iα(p)为参考帧Iα上的点，I'α(p)为根据Pab通过形变获得合成帧I'α上的点，SSIMαα'(p)为Ia和I'α的图像相似性损失；
所述的Ls的计算公式为：
其中，为沿空间方向的一阶导数；
所述的Lgc的计算公式为：
其中，Ddiff(p)为深度不一致值，计算公式为：
其中，为Da根据Pab通过形变获得Db a上的点，D'b(p)为Da根据Pab通过投影和双线性插值生成D'b上的点。
2.根据权利要求1所述的一种嵌入SENet单元的无监督单目图像深度图生成方法，其特征在于，第6层编码卷积模块和第1层跳跃卷积模块跳跃连接构成；第2层解码卷积模块的通道输入由第5层编码卷积模块和第2层跳跃卷积模块跳跃连接构成；第3层解码卷积模块的通道输入由第4层编码卷积模块和第3层跳跃卷积模块跳跃连接构成；第4层解码卷积模块的通道输入由第3层编码卷积模块和第4层跳跃卷积模块跳跃连接构成；第5层解码卷积模块的通道输入由第2层编码卷积模块和第5层跳跃卷积模块跳跃连接再加上该层输出深度图构成；第6层解码卷积模块的通道输入由第1层编码卷积模块和第6层跳跃卷积模块跳跃连接再加上该层输出深度图构成；第7层解码卷积模块的通道输入由第7层跳跃卷积模块再加上该层输出深度图构成，第2～7层分别通过Sigmoid激活层输入6中不同尺度的深度图。
3.根据权利要求1所述的一种嵌入SENet单元的无监督单目图像深度图生成方法，其特征在于，所述的SENet单元包括依次连接的全局池化层、全连接层、ReLU激活层、全连接层和Sigmoid激活层。
4.根据权利要求1所述的一种嵌入SENet单元的无监督单目图像深度图生成方法，其特征在于，所述的7层解码卷积模块的输入通道依次为32、64、128、256、512、512和512。
5.根据权利要求1所述的一种嵌入SENet单元的无监督单目图像深度图生成方法，其特征在于，所述的残差卷积单元包括依次连接的卷积层、批标准化层、ReLU激活层、卷积层和批标准化层。
6.根据权利要求1所述的一种嵌入SENet单元的无监督单目图像深度图生成方法，其特征在于，所述的相机位姿估计网络包括7层卷积模块，该7层卷积模块的输入通道数依次为16、32、64、128、256、256和256。
7.根据权利要求6所述的一种嵌入SENet单元的无监督单目图像深度图生成方法，其特征在于，每层卷积模块包括1层卷积层和1层ReLU激活层。
CN202010132191.2A 2020-02-29 2020-02-29 嵌入SENet单元的无监督单目图像深度图生成方法 Active CN111354030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010132191.2A CN111354030B (zh) 2020-02-29 2020-02-29 嵌入SENet单元的无监督单目图像深度图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010132191.2A CN111354030B (zh) 2020-02-29 2020-02-29 嵌入SENet单元的无监督单目图像深度图生成方法

Publications (2)

Publication Number Publication Date
CN111354030A CN111354030A (zh) 2020-06-30
CN111354030B true CN111354030B (zh) 2023-08-04

Family

ID=71197296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010132191.2A Active CN111354030B (zh) 2020-02-29 2020-02-29 嵌入SENet单元的无监督单目图像深度图生成方法

Country Status (1)

Country Link
CN (1) CN111354030B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220013071A (ko) * 2020-07-24 2022-02-04 에스케이하이닉스 주식회사 깊이 맵 생성 장치
CN112184611A (zh) * 2020-11-03 2021-01-05 支付宝(杭州)信息技术有限公司 图像生成模型训练方法以及装置
CN114170286B (zh) * 2021-11-04 2023-04-28 西安理工大学 一种基于无监督深度学习的单目深度估计方法
CN114693759B (zh) * 2022-03-31 2023-08-04 电子科技大学 一种基于编解码网络的轻量级快速图像深度估计方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503680A (zh) * 2019-08-29 2019-11-26 大连海事大学 一种基于非监督的卷积神经网络单目场景深度估计方法
WO2019223382A1 (zh) * 2018-05-22 2019-11-28 深圳市商汤科技有限公司 单目深度估计方法及其装置、设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223382A1 (zh) * 2018-05-22 2019-11-28 深圳市商汤科技有限公司 单目深度估计方法及其装置、设备和存储介质
CN110503680A (zh) * 2019-08-29 2019-11-26 大连海事大学 一种基于非监督的卷积神经网络单目场景深度估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于循环卷积神经网络的单目视觉里程计;陈宗海;洪洋;王纪凯;葛振华;机器人(第002期);全文 *

Also Published As

Publication number Publication date
CN111354030A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN111354030B (zh) 嵌入SENet单元的无监督单目图像深度图生成方法
Zhu et al. Unsupervised event-based learning of optical flow, depth, and egomotion
US20210150747A1 (en) Depth image generation method and device
Lin et al. Depth estimation from monocular images and sparse radar data
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN108491763B (zh) 三维场景识别网络的无监督训练方法、装置及存储介质
CN110942484B (zh) 基于遮挡感知和特征金字塔匹配的相机自运动估计方法
CN111105432A (zh) 基于深度学习的无监督端到端的驾驶环境感知方法
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN113077505B (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN113850900A (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统
CN113313732A (zh) 一种基于自监督学习的前视场景深度估计方法
CN111325784A (zh) 一种无监督位姿与深度计算方法及系统
CN115035171A (zh) 基于自注意力导向特征融合的自监督单目深度估计方法
CN112686952A (zh) 一种图像光流计算系统、方法及应用
CN116468769A (zh) 一种基于图像的深度信息估计方法
CN115035172A (zh) 基于置信度分级及级间融合增强的深度估计方法及系统
Komatsu et al. Octave deep plane-sweeping network: Reducing spatial redundancy for learning-based plane-sweeping stereo
Chawla et al. Image masking for robust self-supervised monocular depth estimation
Mondal et al. Fusion of color and hallucinated depth features for enhanced multimodal deep learning-based damage segmentation
CN113920317B (zh) 基于可见光图像和低分辨率深度图像的语义分割方法
Zhang et al. End-to-end learning of self-rectification and self-supervised disparity prediction for stereo vision
CN115131418A (zh) 一种基于Transformer的单目深度估计算法
CN116563478A (zh) 一种同步定位与建图slam算法、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant