CN115082540A - 一种适用于无人机平台的多视图深度估计方法及装置 - Google Patents

一种适用于无人机平台的多视图深度估计方法及装置 Download PDF

Info

Publication number
CN115082540A
CN115082540A CN202210874554.9A CN202210874554A CN115082540A CN 115082540 A CN115082540 A CN 115082540A CN 202210874554 A CN202210874554 A CN 202210874554A CN 115082540 A CN115082540 A CN 115082540A
Authority
CN
China
Prior art keywords
depth
initial
map
edge
cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210874554.9A
Other languages
English (en)
Other versions
CN115082540B (zh
Inventor
陶文兵
徐思源
刘李漫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Tuke Intelligent Information Technology Co ltd
Original Assignee
Wuhan Tuke Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tuke Intelligent Technology Co ltd filed Critical Wuhan Tuke Intelligent Technology Co ltd
Priority to CN202210874554.9A priority Critical patent/CN115082540B/zh
Publication of CN115082540A publication Critical patent/CN115082540A/zh
Application granted granted Critical
Publication of CN115082540B publication Critical patent/CN115082540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种适用于无人机平台的多视图深度估计方法及装置，其方法包括：获取无人机采集到的一幅参考图像及其多幅邻域图像，并将根据其构建图像对；根据每组图像对和单应变换，得到多个二维代价体C；将每个二维代价体C进行解码和边缘特征提取，得到其对应的特征图和概率图P；将每个所述概率图P与所述特征图逐点相乘，得到多个亲和力矩阵F；将每个F和每个C进行多次迭代传播，得到最终的边缘信息引导的代价体
Figure 388961DEST_PATH_IMAGE002
及其对应的边缘优化的深度图
Figure 438826DEST_PATH_IMAGE003
；优化所述
Figure 118593DEST_PATH_IMAGE004
和深度图
Figure 773565DEST_PATH_IMAGE003
后并解码，得到最终的深度图估计。本发明通过对边缘信息进行编码、在网络中融合和传播，有效地将空间感知信息融入端到端的深度估计网络中，从而适用于无人机平台下的多个领域。

Description

一种适用于无人机平台的多视图深度估计方法及装置
技术领域
本发明属于计算机视觉技术领域，具体涉及一种适用于无人机平台的多视图深度估计方法及装置。
背景技术
无人机以其体型轻巧、飞行稳定、成本低廉等诸多特性，已见于图像摄影、地形勘探、灾难救援等多个应用领域。随着近年来人工智能技术的迅速发展，基于无人机平台的大数据分析方案有了更广泛的应用市场。具体在计算机视觉领域，利用图像处理技术对无人机采集的影像加以分析，从而能增强其对飞行环境的三维空间感知能力，达到目标场景三维重建、飞行控制与避障等目的。而图像深度作为一种典型的立体几何量度，可以直接有效地反映出当前场景中的三维结构，因此我们的工作关注适用于无人机平台的多视图深度估计任务。
与传统的几何深度估计方法相比，基于学习的方法在精度和效率上都显示出巨大的优势，而估计的困难在于无纹理区域、尖锐结构和非朗伯曲面。当然，为了缓解这个问题，在构建深度网络时会考虑场景的几何结构。最近的一些工作采用几何线索，例如法线、平面或者超级像素，来揭示不同场景中物体的结构关系，这优于早期仅将深度估计视为整体误差优化问题的方法。为了保留局部和全局结构特征，另外一些创新方法还提出了新的框架以共同预测深度和法线。这些方法在平面区域上取得了显著的改进，但在学习过程中仍然没有足够的边缘感知特征。边缘信息是一种信息丰富的几何先验知识，已在其他立体视觉任务和进一步的实际任务中被证明具有重要意义，但在多视图深度估计领域仍处于探索阶段。
发明内容
为提高深度学习网络估计无人机平台获取图像深度的过程中的边缘感知和精度 的问题，在本发明的第一方面提供了一种适用于无人机平台的多视图深度估计方法，包括： 获取无人机采集到的一幅参考图像及其多幅邻域图像；给定输入源-参考图像对
Figure 40888DEST_PATH_IMAGE001
，在 整个场景深度范围内均匀采样
Figure 182019DEST_PATH_IMAGE002
个假设深度值，其中：输入源I S 为无人机采集到的一幅参 考图像，I r 为多幅邻域图像的一幅；基于参考图像，多幅邻域图像及其单应变换后的图像， 得到多个初始二维代价体C；将所述多个二维代价体C进行解码，得到多个初始深度图D init ； 对每个初始深度图D init 进行边缘检测和特征提取，得到其对应的边缘感知的特征图；根据 每个初始深度图D init 及其对应的初始二维代价体C，生成逐像素的概率图P；将每个所述概 率图P与所述边缘感知的特征图逐点相乘，得到多个亲和力矩阵F；将所述多个亲和力矩阵F 与多个初始二维代价体C进行多次迭代传播，得到最终的边缘信息引导的代价体
Figure 476735DEST_PATH_IMAGE003
及其对 应的边缘优化的深度图
Figure 310698DEST_PATH_IMAGE004
；对多个边缘信息引导的代价体
Figure 323654DEST_PATH_IMAGE003
取平均，并将其与对应的边 缘优化深度图
Figure 268476DEST_PATH_IMAGE004
相加得到复合图像，通过训练完成的卷积神经网络将所述复合图像还 原为最终的深度图估计
Figure 683277DEST_PATH_IMAGE005
。
在本发明的一些实施例中，所述基于参考图像，多幅邻域图像及其单应变换后的 图像，得到多个初始二维代价体C包括：在每个假设深度
Figure 222230DEST_PATH_IMAGE006
下，基于平面扫描方法，使用可 微单应变换将输入员
Figure 988061DEST_PATH_IMAGE007
投影到参考相机坐标系下，得到变换后的源图像
Figure 595628DEST_PATH_IMAGE008
；计算
Figure 864936DEST_PATH_IMAGE009
的 绝对差构造一致性体，利用二维卷积神经网络对所述一致性体进行初步的正则化，得到多 个初始二维代价体C。进一步的，所述将所述多个二维代价体C进行解码，得到多个初始深度 图D init 包括：将每个正则化后的初始二维代价体
Figure 775123DEST_PATH_IMAGE010
输入到卷积神经网络中；经过卷积神经 网络的Softmax处理后，每个二维代价体
Figure 762671DEST_PATH_IMAGE010
转换为具有2通道特征的初始深度图D init 。在本 发明的一些实施例中，所述根据每个初始深度图D init 及其对应的初始二维代价体C，生成逐 像素的概率图P包括：对每个初始深度图
Figure 786646DEST_PATH_IMAGE011
进行边缘检测，并将得到的边缘值与邻域图像
Figure 910460DEST_PATH_IMAGE012
加权取和，输入到一个二维卷积神经网络，得到边缘感知的特征图；同时，对每个初始深 度图D init 对应的初始二维代价体C，执行Softmax操作得到深度概率体
Figure 522707DEST_PATH_IMAGE013
；由初始深度图
Figure 653343DEST_PATH_IMAGE014
作为
Figure 9238DEST_PATH_IMAGE015
中的索引，生成一张逐像素的概率图
Figure 244348DEST_PATH_IMAGE016
。
在本发明的一些实施例中，所述将所述多个亲和力矩阵F与多个初始二维代价体C 进行多次迭代传播，得到最终的边缘信息引导的代价体
Figure 496338DEST_PATH_IMAGE003
及其对应的边缘优化的深度图
Figure 192898DEST_PATH_IMAGE017
包括：在每次迭代传播中，沿着假设深度的维度，将每个初始二维代价体C划分为
Figure 555747DEST_PATH_IMAGE018
个匹配代价图的集合
Figure 388573DEST_PATH_IMAGE019
；将每个亲和力矩阵
Figure 77044DEST_PATH_IMAGE020
视作一个逐像素的 权值矩阵，对每一个匹配代价图
Figure 260900DEST_PATH_IMAGE021
进行局部的加权求和，得到一次迭代传播后的匹配代价 图
Figure 148478DEST_PATH_IMAGE022
；经过第t次传播后，在第n个深度假设下的匹配代价图
Figure 101391DEST_PATH_IMAGE023
；在深度假设维度将
Figure 695183DEST_PATH_IMAGE024
个迭代传播后的匹配代价图连接，获得由边缘信息引导的代价体
Figure 100757DEST_PATH_IMAGE025
；利用卷积神经网络对
Figure 602145DEST_PATH_IMAGE026
应用Softmax操作，得到经过边缘优 化的深度图
Figure 409564DEST_PATH_IMAGE027
。
在上述的实施例中，还包括：
采用深度损失函数
Figure 439837DEST_PATH_IMAGE028
和 混合法相损失
Figure 332707DEST_PATH_IMAGE029
对每个初始深度图D init 、每个边缘优化的深 度图
Figure 827667DEST_PATH_IMAGE030
和最终的深度图估计进行监督，其中Q表示深度图上的所有有效点，
Figure 755171DEST_PATH_IMAGE031
是它们 的总数；
Figure 956345DEST_PATH_IMAGE032
是像素q处的估计深度值，
Figure 70932DEST_PATH_IMAGE033
是q处的深度真值。
本发明的第二方面，提供了一种适用于无人机平台的多视图深度估计装置，包括： 获取模块，用于获取无人机采集到的一幅参考图像及其多幅邻域图像；给定输入源-参考图 像对
Figure 648544DEST_PATH_IMAGE001
，在整个场景深度范围内均匀采样
Figure 433485DEST_PATH_IMAGE002
个假设深度值，其中：输入源I S 为无人机 采集到的一幅参考图像，I r 为多幅邻域图像的一幅；解码模块，用于基于参考图像，多幅邻 域图像及其单应变换后的图像，得到多个初始二维代价体C；将所述多个二维代价体C进行 解码，得到多个初始深度图D init ；提取模块，用于对每个初始深度图D init 进行边缘检测和特 征提取，得到其对应的边缘感知的特征图；根据每个初始深度图D init 及其对应的初始二维 代价体C，生成逐像素的概率图P；将每个所述概率图P与所述边缘感知的特征图逐点相乘， 得到多个亲和力矩阵F；传播模块，用于将所述多个亲和力矩阵F与多个初始二维代价体C进 行多次迭代传播，得到最终的边缘信息引导的代价体
Figure 539981DEST_PATH_IMAGE034
及其对应的边缘优化的深度图
Figure 141864DEST_PATH_IMAGE004
；还原模块，用于对多个边缘信息引导的代价体
Figure 992008DEST_PATH_IMAGE034
取平均，并将其与对应的边缘优化 深度图
Figure 628526DEST_PATH_IMAGE004
相加得到复合图像，通过训练完成的卷积神经网络将所述复合图像还原为最 终的深度图估计
Figure 905923DEST_PATH_IMAGE005
。
本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供适用于无人机平台的多视图深度估计方法。
本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的适用于无人机平台的多视图深度估计方法。
本发明的有益效果是：
本发明基于深度学习的无人机航拍影像深度估计网络框架上，以利用无人机采集的一幅参考图像和多幅邻域图像及其相机姿态作为输入，预测参考图像的深度。经过边缘优化步骤，通过对边缘信息进行编码、在网络中融合和传播，有效地将空间感知信息融入端到端的深度估计网络中，从而使其能更好地捕捉几何形状，得到进一步的优化。本发明同时提出一个边缘信息编码模块对深度边缘特征进行编码，解决了二值化边缘图与深度学习网络的可微特征表达的差异性问题；提出一个边缘感知的空间传播模块以指导边缘特征在代价体上的迭代传播，解决了边缘特征在深度学习网络中的融合问题。由于对多视图深度估计网络进行了优化，优化后的深度图结果的精度和准确率都得到大幅提升，并且在全局结构和细节区域上都得到了改进。
附图说明
图1为本发明的一些实施例中的适用于无人机平台的多视图深度估计方法的基本流程示意图；
图2为本发明的一些实施例中的适用于无人机平台的多视图深度估计方法的具体流程示意图；
图3为本发明的一些实施例中的适用于无人机平台的多视图深度估计方法的整体原理示意图；
图4为本发明的一些实施例中的适用于无人机平台的多视图深度估计装置的结构示意图；
图5为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
参考图1与图2，在本发明的第一方面，提供了一种适用于无人机平台的多视图深 度估计方法，包括：S100.获取无人机采集到的一幅参考图像及其多幅邻域图像；给定输入 源-参考图像对
Figure 995102DEST_PATH_IMAGE001
，在整个场景深度范围内均匀采样
Figure 383358DEST_PATH_IMAGE002
个假设深度值，其中：输入源I S 为无人机采集到的一幅参考图像，I R 为多幅邻域图像的一幅；S200.基于参考图像，多幅邻 域图像及其单应变换后的图像，得到多个初始二维代价体C；将所述多个二维代价体C进行 解码，得到多个初始深度图D init ；S300.对每个初始深度图D init 进行边缘检测和特征提取，得 到其对应的边缘感知的特征图；根据每个初始深度图D init 及其对应的初始二维代价体C，生 成逐像素的概率图P；将每个所述概率图P与所述边缘感知的特征图逐点相乘，得到多个亲 和力矩阵F；S400.将所述多个亲和力矩阵F与多个初始二维代价体C进行多次迭代传播，得 到最终的边缘信息引导的代价体
Figure 405541DEST_PATH_IMAGE034
及其对应的边缘优化的深度图
Figure 853840DEST_PATH_IMAGE035
；S500.对多个边 缘信息引导的代价体
Figure 164735DEST_PATH_IMAGE036
取平均，并将其与对应的边缘优化深度图
Figure 371330DEST_PATH_IMAGE037
相加得到复合图像， 通过训练完成的卷积神经网络将所述复合图像还原为最终的深度图估计
Figure 982440DEST_PATH_IMAGE038
。
可以理解，深度估计网络通常通过构造代价体来建模优化问题，然后应用代价体正则化，这可以看作是一个平滑回归过程。但是，对于那些尖锐（突变）的区域，不加区分地引入平滑度约束可能会导致模糊的边缘或错误的深度结果。由于这些网络采用常规的回归机制，相邻区域的深度值往往是连续的。有鉴于此，在公开中，通过引入边缘信息来揭示尖锐区域的位置分布，然后利用该位置来引导正则化或传播过程，从而减轻在边缘上深度剧变产生的负面影响。代价体是指：通过逐视差平面或者逐深度平面地扫描一对二维特征，所得的三维特征即匹配代价体。每一次扫描不改变二位特征的坐标空间，所以得到的匹配代价体仍然属于视锥空间。双目深度估计广泛采用平面扫描法构造匹配代价体（CostVolume）。
在本发明的一些实施例的步骤S100中，获取无人机采集到的一幅参考图像及其多 幅邻域图像；给定输入源-参考图像对
Figure 601641DEST_PATH_IMAGE039
，在整个场景深度范围内均匀采样
Figure 665412DEST_PATH_IMAGE040
个假 设深度值，其中：输入源I S 为无人机采集到的一幅参考图像，I R 为多幅邻域图像的一幅。具体 地，无人机采集一幅参考图像及其N-1多幅邻域图像，并根据其构建输入源-参考图像。
在本发明的一些实施例的步骤S200中，所述基于参考图像，多幅邻域图像及其单 应变换后的图像，得到多个初始二维代价体C包括：在每个假设深度
Figure 926629DEST_PATH_IMAGE041
下，基于平面扫描方 法，使用可微单应变换将输入员
Figure 392245DEST_PATH_IMAGE042
投影到参考相机坐标系下，得到变换后的源图像
Figure 916767DEST_PATH_IMAGE043
；计 算
Figure 467834DEST_PATH_IMAGE044
的绝对差构造一致性体，利用二维卷积神经网络对所述一致性体进行初步的正 则化，得到多个初始二维代价体C。
具体地，步骤S200包括：
S201：在每个深度假设
Figure 798321DEST_PATH_IMAGE041
下，遵循经典的平面扫描方法，使用可微单应变换将源 视图
Figure 384024DEST_PATH_IMAGE042
投影到参考相机坐标系下，得到变换后的源图像
Figure 347956DEST_PATH_IMAGE043
。可微单应变换计算过程如公式 （1）所示。
Figure 386319DEST_PATH_IMAGE045
(1)
其中，K代表相机的内参，
Figure 723760DEST_PATH_IMAGE046
表示从源视图转移到参考视图的旋转和平 移矩阵。H n 表示在深度假设d n 下的单应变换矩阵。
Figure 898389DEST_PATH_IMAGE047
和
Figure 295872DEST_PATH_IMAGE048
分别表示参考视图下的原始坐 标，以及在深度假设d n 下由源视图投影后的坐标。
S202：利用二维卷积神经网络对一致性体进行初步的正则化。该二维卷积神经网 络由一个五层的U型神经网络构成，网络最终的输出二维代价体
Figure 821532DEST_PATH_IMAGE049
大小为
Figure 962663DEST_PATH_IMAGE050
。
S203：将步骤S102正则化网络输出的初始二维代价体
Figure 991799DEST_PATH_IMAGE049
输入深度解码层。深度解 码层首先包括一层卷积神经网络，该卷积层的输出特征通道为1；随后由一次Softmax处理 得到的2通道特征，操作得到初始深度图D init 。
进一步的，所述将所述多个二维代价体C进行解码，得到多个初始深度图D init 包 括：将每个正则化后的初始二维代价体
Figure 560183DEST_PATH_IMAGE049
输入到卷积神经网络中；经过卷积神经网络的 Softmax处理后，每个二维代价体
Figure 307560DEST_PATH_IMAGE049
转换为具有2通道特征的初始深度图D init 。
在本发明的一些实施例的步骤S300中，所述根据每个初始深度图D init 及其对应的 初始二维代价体C，生成逐像素的概率图P包括：对每个初始深度图D init 进行边缘检测，并将 得到的边缘值与邻域图像I r 加权取和，输入到一个二维卷积神经网络，得到边缘感知的特 征图；同时，对每个初始深度图D init 对应的初始二维代价体C，执行Softmax操作得到深度概 率体p v ；由初始深度图D init 作为p v 中的索引，生成一张逐像素的概率图
Figure 255311DEST_PATH_IMAGE051
。
具体地，所述S300包括：
S301：对初始深度图D init 进行边缘检测。具体而言，采用传统的Canny算子显式地表达深度边缘，并将边缘值与参考图像I r 加权取和，得到边缘增强的参考图像。
S302：使用边缘特征编码网络处理步骤S201中得到的边缘增强的参考图像。该网 络是一个轻量的二维卷积神经网络，由若干层相等尺度的卷积层组成。其中，前三层由三组 扩张卷积层、BatchNorm层、ReLU激活层构成，后三层由三组普通卷积层、BatchNorm层构成。 网络输出的边缘感知特征的大小为
Figure 138954DEST_PATH_IMAGE052
。
S303：结合步骤S102中得到的代价体
Figure 878240DEST_PATH_IMAGE049
和步骤S103中得到的初始深度图
Figure 112912DEST_PATH_IMAGE053
，计 算逐像素的概率图P。具体地，对代价体
Figure 595846DEST_PATH_IMAGE049
实行Softmax操作得到深度概率体p v ，其大小为
Figure 599574DEST_PATH_IMAGE054
；沿着深度假设维度，由深度值D init 作为p v 中的索引，搜寻各个像素点对应 的概率值，从而获得一张逐像素的概率图
Figure 509761DEST_PATH_IMAGE051
。
参考图2和图3，在本发明的一些实施例的步骤S400中，所述将所述多个亲和力矩 阵F与多个初始二维代价体C进行多次迭代传播，得到最终的边缘信息引导的代价体
Figure 231730DEST_PATH_IMAGE055
及 其对应的边缘优化的深度图
Figure 518354DEST_PATH_IMAGE004
包括：在每次迭代传播中，沿着假设深度的维度，将每个 初始二维代价体C划分为
Figure 642168DEST_PATH_IMAGE056
个匹配代价图的集合
Figure 460607DEST_PATH_IMAGE057
；将每个亲和力 矩阵
Figure 669872DEST_PATH_IMAGE058
视作一个逐像素的权值矩阵，对每一个匹配代价图
Figure 494608DEST_PATH_IMAGE059
进行局部的加权求和，得到 一次迭代传播后的匹配代价图
Figure 472928DEST_PATH_IMAGE060
；经过第t次传播后，在第n个深度假设下的匹配代价图
Figure 724918DEST_PATH_IMAGE061
；在深度假设维度将
Figure 421479DEST_PATH_IMAGE062
个迭代传播后的匹配代价图连接，获得由边缘信息引导的 代价体
Figure 784327DEST_PATH_IMAGE063
；利用卷积神经网络对
Figure 882733DEST_PATH_IMAGE064
应用Softmax操作，得到经 过边缘优化的深度图
Figure 305624DEST_PATH_IMAGE004
。
具体地，S400包括：S401：对于步骤S300中得到的边缘感知的亲和力矩阵F，进行归 一化操作，获得传播过程中的局部权值矩阵w。计算过程如公式（2）所示，其中
Figure 223902DEST_PATH_IMAGE065
表示点
Figure 390441DEST_PATH_IMAGE066
邻域中距其位移(a,b)的点在局部卷积过程中的权值。
Figure 334564DEST_PATH_IMAGE067
(2)；
S402：利用步骤S301中得到的权值矩阵
Figure 928357DEST_PATH_IMAGE068
，对每一个匹配代价图
Figure 333930DEST_PATH_IMAGE069
进行局部的 卷积操作。对于第t次迭代，边缘引导的卷积操作将前一次迭代得到的匹配代价图
Figure 38581DEST_PATH_IMAGE070
作为 输入，输出经过一次边缘传播的匹配代价图
Figure 846000DEST_PATH_IMAGE071
。
Figure 610694DEST_PATH_IMAGE072
中像素点
Figure 237984DEST_PATH_IMAGE073
对应值的计算过 程如公式（3）所示：
Figure 746326DEST_PATH_IMAGE074
(3)；上 述
Figure 673830DEST_PATH_IMAGE075
表示哈达玛积（Hadamard product）乘积算符。
S403.重复步骤S401和S402，直至得到经过第
Figure 609425DEST_PATH_IMAGE076
次传播后，在第
Figure 992521DEST_PATH_IMAGE077
个深度假设下的 匹配代价图
Figure 304554DEST_PATH_IMAGE078
。在深度假设维度将
Figure 820985DEST_PATH_IMAGE079
个迭代传播后的匹配代价图连接，获得由边缘 信息引导的代价体
Figure 927482DEST_PATH_IMAGE080
。对
Figure 794944DEST_PATH_IMAGE081
应用深度解码层，即输出通道为1 的卷积层及Softmax操作，获取经过边缘优化的深度图
Figure 645088DEST_PATH_IMAGE004
。
参考图3，在本发明的一些实施例的步骤S500中，计算步骤S400中获得的各个图像 对
Figure 281606DEST_PATH_IMAGE082
对应的代价体的平均值，与相应的边缘优化深度图
Figure 559003DEST_PATH_IMAGE004
相加，输入一个二维 卷积神经网络加以Softmax操作得到最终的深度图估计
Figure 913761DEST_PATH_IMAGE005
。
继续参考图3，在上述的实施例的步骤S100-S500中，还包括：S600.采用深度损失 函数
Figure 302017DEST_PATH_IMAGE083
和混合法相损失
Figure 793041DEST_PATH_IMAGE084
对每个初始深度图D init 、每个边缘优化的深度图
Figure 509849DEST_PATH_IMAGE004
和最终的深度图估计进行监督，其中
Figure 86324DEST_PATH_IMAGE085
表示深度图上的所有有效点，
Figure 278271DEST_PATH_IMAGE086
是它们的总数；
Figure 889381DEST_PATH_IMAGE087
是像素
Figure 508581DEST_PATH_IMAGE088
处的估计深度值，而
Figure 572352DEST_PATH_IMAGE089
是q处的深度真值。
具体地，S601：为监督三个阶段（S200-S500中的涉及的代价网络、边缘线性传播网络、优化网络）中获得的一系列深度图，对所有深度图及其对应的逆深度图采用像素级深度损失，如公式（4）所示：
Figure 302411DEST_PATH_IMAGE090
(4)，
其中Q表示深度图上的所有有效点，
Figure 33606DEST_PATH_IMAGE086
是它们的总数；
Figure 823708DEST_PATH_IMAGE087
是像素q处的估计 深度值，
Figure 640354DEST_PATH_IMAGE089
是q处的深度真值。
整个网络的深度损失函数为：
Figure 177033DEST_PATH_IMAGE091
(5)，
其中n表示源视图数量，
Figure 497156DEST_PATH_IMAGE092
表示网络的三个阶段。
S602：对网络中各阶段所得的深度图，计算其对应的法相图，对其进行法相监督，损失函数如公式（6）所示：
Figure 723738DEST_PATH_IMAGE093
(6)，
其中， Q表示深度图上的所有有效点，
Figure 762101DEST_PATH_IMAGE086
是它们的总数。
Figure 833962DEST_PATH_IMAGE094
是像素
Figure 274171DEST_PATH_IMAGE095
处的 估计法相值，而
Figure 406075DEST_PATH_IMAGE096
是q处的组合法相真值。
整个网络的法相损失函数为：
Figure 931734DEST_PATH_IMAGE097
(7)，
其中n表示源视图数量，
Figure 807287DEST_PATH_IMAGE098
表示网络的三个阶段。
实施例2
参考图4，本发明的第二方面，提供了一种适用于无人机平台的多视图深度估计装 置1，包括：获取模块11，用于获取无人机采集到的一幅参考图像及其多幅邻域图像；给定输 入源-参考图像对
Figure 102002DEST_PATH_IMAGE001
，在整个场景深度范围内均匀采样
Figure 670386DEST_PATH_IMAGE002
个假设深度值，其中：输入 源I S 为无人机采集到的一幅参考图像，I r 为多幅邻域图像的一幅；解码模块12，用于基于参 考图像，多幅邻域图像及其单应变换后的图像，得到多个初始二维代价体C；将所述多个二 维代价体C进行解码，得到多个初始深度图D init ；提取模块13，用于对每个初始深度图D init 进 行边缘检测和特征提取，得到其对应的边缘感知的特征图；根据每个初始深度图D init 及其 对应的初始二维代价体C，生成逐像素的概率图P；将每个所述概率图P与所述边缘感知的特 征图逐点相乘，得到多个亲和力矩阵F；传播模块14，用于将所述多个亲和力矩阵F与多个初 始二维代价体C进行多次迭代传播，得到最终的边缘信息引导的代价体
Figure 432411DEST_PATH_IMAGE099
及其对应的边缘 优化的深度图D edgs ；还原模块15，用于对多个边缘信息引导的代价体
Figure 111654DEST_PATH_IMAGE099
取平均，并将其与对 应的边缘优化深度图D edgs 相加得到复合图像，通过训练完成的卷积神经网络将所述复合图 像还原为最终的深度图估计D refine 。
进一步的，所述解码模块包括：变换单元，用于在每个假设深度
Figure 260875DEST_PATH_IMAGE100
下，基于平面扫 描方法，使用可微单应变换将输入员
Figure 734582DEST_PATH_IMAGE101
投影到参考相机坐标系下，得到变换后的源图像
Figure 234834DEST_PATH_IMAGE102
；正则化单元，用于计算
Figure 452188DEST_PATH_IMAGE103
的绝对差构造一致性体，利用二维卷积神经网络对所 述一致性体进行初步的正则化，得到多个初始二维代价体C。
实施例3
参考图5，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的方法。
电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Python，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种适用于无人机平台的多视图深度估计方法，其特征在于，包括：
获取无人机采集到的一幅参考图像及其多幅邻域图像；给定输入源-参考图像对
Figure 639894DEST_PATH_IMAGE001
，在整个场景深度范围内均匀采样
Figure 888342DEST_PATH_IMAGE002
个假设深度值，其中：输入源I S 为无人机采集 到的一幅参考图像，I r 为多幅邻域图像的一幅；
基于参考图像，多幅邻域图像及其单应变换后的图像，得到多个初始二维代价体C；将所述多个二维代价体C进行解码，得到多个初始深度图D init ；
对每个初始深度图D init 进行边缘检测和特征提取，得到其对应的边缘感知的特征图；根据每个初始深度图D init 及其对应的初始二维代价体C，生成逐像素的概率图P；将每个所述概率图P与所述边缘感知的特征图逐点相乘，得到多个亲和力矩阵F；
将所述多个亲和力矩阵F与多个初始二维代价体C进行多次迭代传播，得到最终的边缘 信息引导的代价体
Figure 110376DEST_PATH_IMAGE004
及其对应的边缘优化的深度图
Figure 476898DEST_PATH_IMAGE005
；
对多个边缘信息引导的代价体
Figure 442580DEST_PATH_IMAGE004
取平均，并将其与对应的边缘优化深度图D edgs 相加得到复合图像，通过训练完成的卷积神经网络将所述复合图像还原为最终的深度图估计D refine 。
2.根据权利要求1所述的适用于无人机平台的多视图深度估计方法，其特征在于，所述基于参考图像，多幅邻域图像及其单应变换后的图像，得到多个初始二维代价体C包括：
在每个假设深度
Figure 545534DEST_PATH_IMAGE006
下，基于平面扫描方法，使用可微单应变换将输入员
Figure 938469DEST_PATH_IMAGE008
投影到参考 相机坐标系下，得到变换后的源图像
Figure 517918DEST_PATH_IMAGE009
；
计算
Figure 287291DEST_PATH_IMAGE010
的绝对差构造一致性体，利用二维卷积神经网络对所述一致性体进行初步 的正则化，得到多个初始二维代价体C。
3.根据权利要求2所述的适用于无人机平台的多视图深度估计方法，其特征在于，所述将所述多个二维代价体C进行解码，得到多个初始深度图D init 包括：
将每个正则化后的初始二维代价体
Figure 775910DEST_PATH_IMAGE012
输入到卷积神经网络中；
经过卷积神经网络的Softmax处理后，每个二维代价体
Figure 339747DEST_PATH_IMAGE012
转换为具有2通道特征的初始深度图D init 。
4.根据权利要求1所述的适用于无人机平台的多视图深度估计方法，其特征在于，所述根据每个初始深度图D init 及其对应的初始二维代价体C，生成逐像素的概率图P包括：
对每个初始深度图D init 进行边缘检测，并将得到的边缘值与邻域图像
Figure 415281DEST_PATH_IMAGE014
加权取和，输入到一个二维卷积神经网络，得到边缘感知的特征图；
同时，对每个初始深度图D init 对应的初始二维代价体C，执行Softmax操作得到深度概率体P v ；由初始深度图D init 作为P v 中的索引，生成一张逐像素的概率图
Figure 988345DEST_PATH_IMAGE016
。
5.根据权利要求1所述的适用于无人机平台的多视图深度估计方法，其特征在于，所述 将所述多个亲和力矩阵F与多个初始二维代价体C进行多次迭代传播，得到最终的边缘信息 引导的代价体
Figure 816624DEST_PATH_IMAGE017
及其对应的边缘优化的深度图D edgs 包括：
在每次迭代传播中，沿着假设深度的维度，将每个初始二维代价体C划分为
Figure 66208DEST_PATH_IMAGE018
个匹配 代价图的集合
Figure DEST_PATH_IMAGE019
；将每个亲和力矩阵
Figure 563792DEST_PATH_IMAGE020
视作一个逐像素的权值矩阵，对 每一个匹配代价图
Figure DEST_PATH_IMAGE021
进行局部的加权求和，得到一次迭代传播后的匹配代价图
Figure 143809DEST_PATH_IMAGE022
；
经过第t次传播后，在第n个深度假设下的匹配代价图
Figure DEST_PATH_IMAGE023
；在深度假设维度将
Figure 810283DEST_PATH_IMAGE024
个迭 代传播后的匹配代价图连接，获得由边缘信息引导的代价体
Figure DEST_PATH_IMAGE025
；利用卷积神经网络对
Figure 935496DEST_PATH_IMAGE026
应用Softmax操作，得到经过边缘优化的深度图D edgs 。
6.根据权利要求1至5任一项所述的适用于无人机平台的多视图深度估计方法，其特征在于，还包括：
采用深度损失函数
Figure DEST_PATH_IMAGE027
和混合 法相损失
Figure 421841DEST_PATH_IMAGE028
对每个初始深度图D init 、每个边缘优化的深度图D edgs 和最终的深度图估计进行监督，其中Q表示深度图上的所有有效点，
Figure DEST_PATH_IMAGE029
是它们的总数；
Figure 293632DEST_PATH_IMAGE030
是像素q处的估计深度值，
Figure 362082DEST_PATH_IMAGE031
是q处的深度真值。
7.一种适用于无人机平台的多视图深度估计装置，其特征在于，包括：
获取模块，用于获取无人机采集到的一幅参考图像及其多幅邻域图像；给定输入源-参 考图像对
Figure 704202DEST_PATH_IMAGE001
，在整个场景深度范围内均匀采样
Figure 740160DEST_PATH_IMAGE002
个假设深度值，其中：输入源I S 为无 人机采集到的一幅参考图像，I r 为多幅邻域图像的一幅；
解码模块，用于基于参考图像，多幅邻域图像及其单应变换后的图像，得到多个初始二维代价体C；将所述多个二维代价体C进行解码，得到多个初始深度图D init ；
提取模块，用于对每个初始深度图D init 进行边缘检测和特征提取，得到其对应的边缘感知的特征图；根据每个初始深度图D init 及其对应的初始二维代价体C，生成逐像素的概率图P；将每个所述概率图P与所述边缘感知的特征图逐点相乘，得到多个亲和力矩阵F；
传播模块，用于将所述多个亲和力矩阵F与多个初始二维代价体C进行多次迭代传播，得到最终的边缘信息引导的代价体
Figure 193138DEST_PATH_IMAGE033
及其对应的边缘优化的深度图D edgs ；
还原模块，用于对多个边缘信息引导的代价体
Figure 381674DEST_PATH_IMAGE033
取平均，并将其与对应的边缘优化深度图D edgs 相加得到复合图像，通过训练完成的卷积神经网络将所述复合图像还原为最终的深度图估计D refine 。
8.根据权利要求7所述的适用于无人机平台的多视图深度估计装置，其特征在于，所述解码模块包括：
变换单元，用于在每个假设深度
Figure 379848DEST_PATH_IMAGE006
下，基于平面扫描方法，使用可微单应变换将输入员
Figure 653834DEST_PATH_IMAGE035
投影到参考相机坐标系下，得到变换后的源图像
Figure 159771DEST_PATH_IMAGE009
；；
正则化单元，用于计算
Figure 202813DEST_PATH_IMAGE010
的绝对差构造一致性体，利用二维卷积神经网络对所述 一致性体进行初步的正则化，得到多个初始二维代价体C。
9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其特征在于，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6任一项所述的适用于无人机平台的多视图深度估计方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的适用于无人机平台的多视图深度估计方法。
CN202210874554.9A 2022-07-25 2022-07-25 一种适用于无人机平台的多视图深度估计方法及装置 Active CN115082540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210874554.9A CN115082540B (zh) 2022-07-25 2022-07-25 一种适用于无人机平台的多视图深度估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210874554.9A CN115082540B (zh) 2022-07-25 2022-07-25 一种适用于无人机平台的多视图深度估计方法及装置

Publications (2)

Publication Number Publication Date
CN115082540A true CN115082540A (zh) 2022-09-20
CN115082540B CN115082540B (zh) 2022-11-15

Family

ID=83243765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210874554.9A Active CN115082540B (zh) 2022-07-25 2022-07-25 一种适用于无人机平台的多视图深度估计方法及装置

Country Status (1)

Country Link
CN (1) CN115082540B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457101A (zh) * 2022-11-10 2022-12-09 武汉图科智能科技有限公司 面向无人机平台的边缘保持多视图深度估计及测距方法
CN115908723A (zh) * 2023-03-09 2023-04-04 中国科学技术大学 基于区间感知的极线引导多视图立体重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187076A1 (en) * 2013-12-31 2015-07-02 Personify, Inc. System and Methods for Persona Identification Using Combined Probability Maps
CN107862742A (zh) * 2017-12-21 2018-03-30 华中科技大学 一种基于多假设联合视图选择的稠密三维重建方法
US20190295282A1 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
CN113066168A (zh) * 2021-04-08 2021-07-02 云南大学 一种多视图立体网络三维重建方法及系统
US20210350560A1 (en) * 2019-01-24 2021-11-11 Imperial College Innovations Limited Depth estimation
CN114463492A (zh) * 2022-01-12 2022-05-10 青海师范大学 一种基于深度学习的自适应通道注意力三维重建方法
CN114648608A (zh) * 2022-03-29 2022-06-21 国能大渡河猴子岩发电有限公司 基于mvsnet的隧洞三维模型重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150187076A1 (en) * 2013-12-31 2015-07-02 Personify, Inc. System and Methods for Persona Identification Using Combined Probability Maps
CN107862742A (zh) * 2017-12-21 2018-03-30 华中科技大学 一种基于多假设联合视图选择的稠密三维重建方法
US20190295282A1 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
US20210350560A1 (en) * 2019-01-24 2021-11-11 Imperial College Innovations Limited Depth estimation
CN113066168A (zh) * 2021-04-08 2021-07-02 云南大学 一种多视图立体网络三维重建方法及系统
CN114463492A (zh) * 2022-01-12 2022-05-10 青海师范大学 一种基于深度学习的自适应通道注意力三维重建方法
CN114648608A (zh) * 2022-03-29 2022-06-21 国能大渡河猴子岩发电有限公司 基于mvsnet的隧洞三维模型重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PAUL GUERRERO 等: ""DepthCut: improved depth edge estimation using multiple unreliable channels"", 《THE VISUAL COMPUTER》 *
YUHUA XU 等: "Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light", 《ARXIV.ORG》 *
刘会杰 等: "融合注意力机制和多层U-Net的多视图立体重建", 《中国图象图形学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457101A (zh) * 2022-11-10 2022-12-09 武汉图科智能科技有限公司 面向无人机平台的边缘保持多视图深度估计及测距方法
CN115908723A (zh) * 2023-03-09 2023-04-04 中国科学技术大学 基于区间感知的极线引导多视图立体重建方法
CN115908723B (zh) * 2023-03-09 2023-06-16 中国科学技术大学 基于区间感知的极线引导多视图立体重建方法

Also Published As

Publication number Publication date
CN115082540B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN112001914B (zh) 深度图像补全的方法和装置
US11164326B2 (en) Method and apparatus for calculating depth map
CN115082540B (zh) 一种适用于无人机平台的多视图深度估计方法及装置
US10547871B2 (en) Edge-aware spatio-temporal filtering and optical flow estimation in real time
CN111652966A (zh) 一种基于无人机多视角的三维重建方法及装置
Won et al. End-to-end learning for omnidirectional stereo matching with uncertainty prior
CN110910437B (zh) 一种复杂室内场景的深度预测方法
CN113850900B (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统
US20230245282A1 (en) Method and device for depth image completion
CN113129352A (zh) 一种稀疏光场重建方法及装置
CN112767478B (zh) 一种基于表观指导的六自由度位姿估计方法
CN114519772A (zh) 一种基于稀疏点云和代价聚合的三维重建方法及系统
CN114677422A (zh) 深度信息生成方法、图像虚化方法和视频虚化方法
JP2024507727A (ja) 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング
CN105466399A (zh) 快速半全局密集匹配方法和装置
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN112116646B (zh) 一种基于深度卷积神经网络的光场图像深度估计方法
US8847954B1 (en) Methods and systems to compute 3D surfaces
CN116091712B (zh) 一种面向计算资源受限设备的多视图立体重建方法与系统
CN116188583B (zh) 相机位姿信息生成方法、装置、设备和计算机可读介质
CN114332211B (zh) 一种基于边缘重建和密集融合网络的零件位姿计算方法
Hu et al. 3D map reconstruction using a monocular camera for smart cities
CN115908731A (zh) 一种基于云边协同的双无人机三维重建方法
KR20220080696A (ko) 깊이 추정 방법, 디바이스, 전자 장비 및 컴퓨터 판독가능 저장 매체
Lu et al. Satmvs: A novel 3d reconstruction pipeline for remote sensing satellite imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd.

Country or region after: China

Address before: 430000 B033, No. 05, 4th floor, building 2, international enterprise center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone)

Patentee before: Wuhan Tuke Intelligent Technology Co.,Ltd.

Country or region before: China