CN111462329A - 一种基于深度学习的无人机航拍影像的三维重建方法 - Google Patents

一种基于深度学习的无人机航拍影像的三维重建方法 Download PDF

Info

Publication number
CN111462329A
CN111462329A CN202010212933.2A CN202010212933A CN111462329A CN 111462329 A CN111462329 A CN 111462329A CN 202010212933 A CN202010212933 A CN 202010212933A CN 111462329 A CN111462329 A CN 111462329A
Authority
CN
China
Prior art keywords
depth
depth map
network
unmanned aerial
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010212933.2A
Other languages
English (en)
Other versions
CN111462329B (zh
Inventor
彭聪
江清芳
孙蕊
龚华军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010212933.2A priority Critical patent/CN111462329B/zh
Publication of CN111462329A publication Critical patent/CN111462329A/zh
Application granted granted Critical
Publication of CN111462329B publication Critical patent/CN111462329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习的无人机航拍影像的三维重建方法。属于计算机视觉技术领域。提出了一种在现有的三维重建方法下，根据多视图几何理论，提供了一种基于深度学习的无人机航拍影像的三维重建方法。按以下步骤进行重建：S1、改进MVSNet网络模型；S2、利用BlendedMVS数据集，对改进后的网络模型进行训练；S3、利用无人机上多个相机进行数据采集；S4、对步骤S3获取到的图片数据进行格式处理；S5、采用深度图融合算法技术，把深度图转变为3D点云图保存。本发明采用结合深度学习思想的MVS(Multi‑View Stereo)算法，而MVS作为对重叠图像进行稠密表示的一种估计方法，具有重建精度高的优点。同时，利用深度学习有效改善了重建快速性和完整性。

Description

一种基于深度学习的无人机航拍影像的三维重建方法
技术领域
本发明涉及一种基于深度学习的无人机航拍影像的三维重建方法，属于计算机视觉技术领域。
背景技术
无人机(Unmanned Aerial Vehicle，UAV)因其灵活性高、成本低、抗干扰能力强、受地面地形约束小等特点，广泛应用于军事领域及民用领域。此外，无人机能够巡航于云层以下，因此可以快速获取高空间分辨率的航拍影像，为基于影像的三维重建提供了有效途径。
现有的基于无人机航拍影像的三维重建技术可以划分为两类方法：
一种是传统航测方法。该类方法广泛应用于大范围航迹规则的摄影测量。然而，传统航测方法生产工艺复杂、生产效率低下、工作强度较高，需要内外业人员具备专业素质，这一系列的弊端使得传统的方式并不能满足某些情况下的时效性需求。此外，传统航测方法中无人机仅作为数据获取的工具，无法实时传输处理图像数据，在现场无法确定原始成果的质量情况，使得三维重建周期长、成本高、过程繁琐。
另一种是基于多视图几何的三维重建方法。该类方法根据匹配特征点之间的几何约束关系求解基础矩阵，进一步得到相机的运动参数，从而重建出场景的三维结构，广泛应于复杂地形区域下不规则航迹采集的影像处理。这其中，SfM(Structure-from-Motion)和SLAM(Simultaneous Localization and Mapping)作为视觉重建的核心算法技术，取得了很大的进展。SfM主要用于离线计算无序图像序列的相机参数模型，而SLAM则用于实时计算视频流中相机的位置参数。由于SLAM计算量大、精度不高、耗时长且硬件设备要求高，使其难以快速实现稠密地图重建。采用上述方法在进行三维重建时，如何保证重建完整性的情况下实现高效率的无人机快速三维重建是研究的重点和难点。
发明内容
本发明针对以上问题，提出了一种在现有的三维重建方法下，根据多视图几何理论，提供了一种基于深度学习的无人机航拍影像的三维重建方法。该方法将无人机上搭载的多个相机采集到的建筑物视频序列作为输入，基于现有MVSNet网络设计适用于无人机的神经网络模型，并利用已有的大型户外建筑物数据集训练该网络模型得到最优模型参数，进一步对视频序列图像进行格式处理并实时输入最优网络模型中，最终得到建筑物的3D点云重建图。
本发明的技术方案为：按以下步骤进行重建：
S1、改进MVSNet网络模型，使其与无人机载体适配；
S2、利用BlendedMVS数据集，对改进后的网络模型进行训练，经过若干次迭代更新网络权重参数，选取最优网络模型参数；
S3、利用无人机上多个相机进行数据采集，从而获取到的含有位置信息的航拍图片数据；
S4、对步骤S3获取到的图片数据进行格式处理，并在此后输入端到端的神经网络模型得到的相关深度图中；
S5、采用深度图融合算法技术，把深度图转变为3D点云图保存。
步骤S1中按以下步骤改进MVSNet网络模型：
S1.1、提取图像特征：对MVSNet中特征提取的卷积神经网络进行改进，使其在保证能够提取充足的特征点情况下，减少图片的占有内存，更有效率地对图像进行降采样处理，从而最终能更好的和无人机相结合；
S1.2、构建3D代价体素Cost Volume：根据参考视图的相机锥体构建3D代价体素Cost Volume：根据可微单应性变换，利用提取到的N个特征图和相应的相机参数把其他视角提取到的特征图转化到参考相机视锥下的不同深度上，由此得到N个特征体，进一步基于方差操作将它们合成一个Cost Volume，最后采用一个多尺度3D卷积神经网络去噪声污染得到最优Cost Volume；
S1.3、生成初始深度图：根据概率加权和公式，沿着深度方向计算期望值，在构建代价体素Cost Volume期间，此处的期望值能够产生一个连续的深度估算，输出深度图，从而更好地控制离群值滤波的阈值参数；
S1.4、利用损失函数优化深度图：根据深度残差网络，将初始深度图和调整大小的参考视图进行连接操作输入网络，网络输出的结果添加初始深度图后生成细化深度图；根据真值深度图，利用绝对平均差作为训练的损失函数，同时对初始深度图和细化深度图进行优化操作。
步骤S1.1包括：
采用一个8层2D卷积神经网络对输入图像进行特征提取，将第二、第四、第六层步长设置为2，使特征提取金字塔分为四种尺度，并且卷积神经网络输出得到的特征图尺寸为原始输入尺寸的1/8，且通道数为32；对于每种尺度，利用一层卷积网络来提取更高层次的图像表示；除了最后一层卷积层外，每个卷积层后面都有一个批处理标准化层(BN)和线性修正单元(ReLU)；同时，对于N个视图所采用的N个特征提取金字塔之间共享权重参数；经此操作后，每个保留像素点的原始领域信息被编码到像素描述符中，使得提取的每个特征图包含了原始像素的周围信息。
步骤S1.2包括：
利用可微单应性变换，将所有特征图转换到平行于参考视锥的不同平面上，基于像素操作的平面变换公式如下：
x0～Hi(d)·x
其中，x为投影前像素点，x0为投影后的像素点，～为投影操作，Hi(d)为第i个特征图和深度为d的参考特征图之间的单应性变换；
单应性变换由一个3*3矩阵表示：
Figure BDA0002423426320000031
其中，Ki，Ri和ti分别为第i个视角图像的相机内参矩阵，旋转矩阵和位移矩阵，
Figure BDA0002423426320000036
Figure BDA0002423426320000032
和t1分别为参考视角图像的相机内参矩阵的转置，旋转矩阵的转置和位移矩阵，I为单位矩阵，d为深度值；这里从425mm到681mm以2mm间距采样128个深度值；
单应性变换作为连接2D特征提取和3D正则化网络的核心步骤，采用可微的方式实现了N个特征图到N个特征体的操作，并且实现了深度图推理的端到端训练；
每个特征体大小可由下列数学表达式计算：
Figure BDA0002423426320000033
其中，D为深度采样数128，F为特征图通道数32，经过三个步长为2的卷积层缩放得到特征图宽度和高度都为原来的1/8；
进一步基于方差操作具体数学表达式如下：
Figure BDA0002423426320000034
其中，N为视角个数，
Figure BDA0002423426320000035
为N个特征体的平均值，Vi为第i个特征体；由此构建成一个3D代价体素Cost Volume；
采用一个四级多尺度3D卷积神经网络对代价体素Cost Volume进行正则化操作达到平滑去噪声效果；它使用了编码器-解码器结构，以相对较低的内存和计算成本从一个较大的接收域聚合邻近的信息；将第一个3D卷积层后的32通道代价体素Cost Volume减小到8通道，并将每个尺度内的卷积设置为2层；最后一个卷积层输出一个1通道的代价体素CostVolume；最后利用softmax操作沿深度方向进行概率归一化。
步骤S1.3中概率加权和具体数学表达式如下：
Figure BDA0002423426320000041
其中，P(d)为深度d处所有像素点的概率估计值，[dmin，dmax]为采样深度取值范围。
步骤S1.4包括：
利用深度残差网络来生成细化深度图，深度残差网络一共有四层卷积层，前三层为32通道的2D卷积层，最后一层为1通道的2D卷积层；除了最后一层外，每个卷积层后面都有一个批处理标准化层和线性修正单元，最后一层用来学习负残差，深度残差网络输出的结果添加上初始深度图后得到细化深度图；
根据损失函数优化初始深度图和细化深度图，损失函数数学表达式如下：
Figure BDA0002423426320000042
其中，d(p)为像素点p的真值深度值，
Figure BDA0002423426320000043
为像素点p的初始深度估计，
Figure BDA0002423426320000044
为像素点p的精细深度估计，将λ参数设置为1:0。
步骤S2包括：
BlendedMVS数据集中的低分辨率数据集图片尺寸为768*576，该数据集包含113个精心挑选和重建的3D模型。这些纹理模型涵盖了各种不同的场景，包括城市、建筑、雕塑和小物件。每个场景包含20到1000张输入图像，总共有17818张图像。为了使用BlendedMVS训练MVSNet网络，将所有训练样本调整为H*W＝576*768，并将深度采样值设为D＝128。相应地，将该数据集分为106个训练场景和7个验证场景来评估网络训练。
本发明采用结合深度学习思想的MVS(Multi-View Stereo)算法，而MVS作为对重叠图像进行稠密表示的一种估计方法，具有重建精度高的优点。同时，利用深度学习有效改善了重建快速性和完整性。
本发明提出的基于深度学习的无人机航拍影像的三维重建方法与现有的技术相比优点在于：
一、本发明采用基于深度学习无人机航拍影像的三维重建方法，不再将无人机仅作为数据获取的工具，而是在现场能确定原始成果的质量情况，充分利用无人机平台的便捷性为三维重建的时效性服务。
二、采用基于深度学习的MVS算法，与传统MVS方法相比，通过神经网络提取图像特征，生成深度图。基于学习的方法可以引入全局语义信息，如高光先验和反射先验，从而实现更强的匹配，解决了传统方法难以处理场景中低纹理、高光和反射区域的稠密匹配问题，从而很大程度上改善了重建的完整性。
三、本发明将深度学习思想与无人机载体相结合，为无人机进行三维重建提供一种新的思路，有效提高了利用无人机进行重建的速度。
附图说明
图1为基于深度学习的无人机航拍影像的三维重建方法流程图；
图2为改进MVSNet原理框图；
图3为提取图像特征的金字塔网络模型；
图4为深度图优化原理图。
具体实施方式
本发明针对MVSNet网络模型进行改进，使其更好地应用到无人机载体上。根据BlendedMVS数据集，对改进后的网络模型进行训练，经过若干次迭代更新网络权重参数，选取最优网络模型参数。利用无人机上多个相机进行数据采集，其包括将采集到的含有位置信息的航拍图片数据实时上传，图像序列经格式处理后输入端到端的神经网络模型得到相关深度图。采用深度图融合算法技术，把深度图转变为3D点云图保存。
下面结合附图和具体实施步骤对本发明进行详细说明。
如图1所示，本发明的具体实施方法如下：
S1、改进MVSNet网络模型，使其与无人机载体适配；从而可更好地应用到无人机载体上；
图2展示了改进后MVSNet原理框图，进一步对各个模块详细描述。
S1.1、提取图像特征：对MVSNet中特征提取的卷积神经网络进行改进，使其在保证能够提取充足的特征点情况下，减少图片的占有内存，更有效率地对图像进行降采样处理，从而最终能更好的和无人机相结合；
采用一个8层2D卷积神经网络对输入图像进行特征提取，将第二、第四、第六层步长设置为2，使特征提取金字塔分为四种尺度，并且卷积神经网络输出得到的特征图尺寸为原始输入尺寸的1/8，且通道数为32；对于每种尺度，利用一层卷积网络来提取更高层次的图像表示；除了最后一层卷积层外，每个卷积层后面都有一个批处理标准化层(BN)和线性修正单元(ReLU)；同时，对于N个视图所采用的N个特征提取金字塔之间共享权重参数；经此操作后，每个保留像素点的原始领域信息被编码到像素描述符中，使得提取的每个特征图包含了原始像素的周围信息。
图3为提取图像特征的网络模型结构图。
S1.2、构建3D代价体素Cost Volume：根据参考视图的相机锥体构建3D代价体素Cost Volume：根据可微单应性变换，利用提取到的N个特征图和相应的相机参数把其他视角提取到的特征图转化到参考相机视锥下的不同深度上，由此得到N个特征体，进一步基于方差操作将它们合成一个Cost Volume，最后采用一个多尺度3D卷积神经网络去噪声污染得到最优Cost Volume；
利用可微单应性变换，将所有特征图转换到平行于参考视锥的不同平面上，基于像素操作的平面变换公式如下：
x0～Hi(d)·x
其中，x为投影前像素点，x0为投影后的像素点，～为投影操作，Hi(d)为第i个特征图和深度为d的参考特征图之间的单应性变换。
单应性变换由一个3*3矩阵表示：
Figure BDA0002423426320000061
其中，Ki，Ri和ti分别为第i个视角图像的相机内参矩阵，旋转矩阵和位移矩阵，
Figure BDA0002423426320000062
Figure BDA0002423426320000063
和t1分别为参考视角图像的相机内参矩阵的转置，旋转矩阵的转置和位移矩阵，I为单位矩阵，d为深度值。这里从425mm到681mm以2mm间距采样128个深度值。
单应性变换作为连接2D特征提取和3D正则化网络的核心步骤，采用可微的方式实现了N个特征图到N个特征体的操作，并且实现了深度图推理的端到端训练。
每个特征体大小可由下列数学表达式计算：
Figure BDA0002423426320000071
其中，D为深度采样数128，F为特征图通道数32，经过三个步长为2的卷积层缩放得到特征图宽度和高度都为原来的1/8。
进一步基于方差操作具体数学表达式如下：
Figure BDA0002423426320000072
其中，N为视角个数，
Figure BDA0002423426320000073
为N个特征体的平均值，Vi为第i个特征体。由此构建成一个3D代价体素Cost Volume。
采用一个四级多尺度3D卷积神经网络对代价体素Cost Volume进行正则化操作达到平滑去噪声效果。它使用了编码器-解码器结构，以相对较低的内存和计算成本从一个较大的接收域聚合邻近的信息。将第一个3D卷积层后的32通道代价体素Cost Volume减小到8通道，并将每个尺度内的卷积设置为2层。最后一个卷积层输出一个1通道的代价体素CostVolume。最后利用softmax操作沿深度方向进行概率归一化。
S1.3、生成初始深度图：根据概率加权和公式，沿着深度方向计算期望值，在构建代价体素Cost Volume期间，此处的期望值能够产生一个连续的深度估算，输出深度图，从而更好地控制离群值滤波的阈值参数；
概率加权和具体数学表达式如下：
Figure BDA0002423426320000074
其中，P(d)为深度d处所有像素点的概率估计值，[dmin，dmax]为采样深度取值范围。
S1.4、利用损失函数优化深度图：根据深度残差网络，将初始深度图和调整大小的参考视图进行连接操作输入网络，网络输出的结果添加初始深度图后生成细化深度图；根据真值深度图，利用绝对平均差作为训练的损失函数，同时对初始深度图和细化深度图进行优化操作。
利用深度残差网络来生成细化深度图，深度残差网络一共有四层卷积层，前三层为32通道的2D卷积层，最后一层为1通道的2D卷积层。除了最后一层外，每个卷积层后面都有一个批处理标准化层(BN)和线性修正单元(ReLU)，最后一层用来学习负残差，深度残差网络输出的结果添加上初始深度图后得到细化深度图。
图4为深度图优化模块，包含深度残差网络结构图。
根据损失函数优化初始深度图和细化深度图，损失函数数学表达式如下：
Figure BDA0002423426320000081
其中，d(p)为像素点p的真值深度值，
Figure BDA0002423426320000082
为像素点p的初始深度估计，
Figure BDA0002423426320000083
为像素点p的精细深度估计，将λ参数设置为1:0。
S2、利用BlendedMVS数据集，对改进后的网络模型进行训练，经过若干次迭代更新网络权重参数，选取最优网络模型参数；
即利用BlendedMVS中低分辨率数据集对网络模型进行训练和验证。
BlendedMVS数据集中的低分辨率数据集图片尺寸为768*576，该数据集包含113个精心挑选和重建的3D模型。这些纹理模型涵盖了各种不同的场景，包括城市、建筑、雕塑和小物件。每个场景包含20到1000张输入图像，总共有17818张图像。为了使用BlendedMVS训练MVSNet网络，将所有训练样本调整为H*W＝576*768，并将深度采样值设为D＝128。相应地，将该数据集分为106个训练场景和7个验证场景来评估网络训练。
S3、利用无人机上多个相机进行数据采集，从而获取到的含有位置信息的航拍图片数据；
S4、对步骤S3获取到的图片数据进行格式处理，并在此后输入端到端的神经网络模型得到的相关深度图中；
S5、采用深度图融合算法技术，把深度图转变为3D点云图保存。
综上所述，本发明基于多视图几何理论，提供了一种基于深度学习的无人机航拍影像的三维重建方法。该方法将无人机上搭载的多个相机采集到的建筑物视频序列作为输入，基于现有MVSNet网络设计适用于无人机的神经网络模型，并利用已有的大型户外建筑物数据集训练该网络模型得到最优模型参数，进一步对视频序列图像进行格式处理并实时输入最优网络模型中，最终得到建筑物的3D点云重建图。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的无人机航拍影像的三维重建方法，其特征在于，按以下步骤进行重建：
S1、改进MVSNet网络模型，使其与无人机载体适配；
S2、利用BlendedMVS数据集，对改进后的网络模型进行训练，经过若干次迭代更新网络权重参数，选取最优网络模型参数；
S3、利用无人机上多个相机进行数据采集，从而获取到的含有位置信息的航拍图片数据；
S4、对步骤S3获取到的图片数据进行格式处理，并在此后输入端到端的神经网络模型得到的相关深度图中；
S5、采用深度图融合算法技术，把深度图转变为3D点云图保存。
2.根据权利要求1所述的一种基于深度学习的无人机航拍影像的三维重建方法，其特征在于，步骤S1中按以下步骤改进MVSNet网络模型：
S1.1、提取图像特征：对MVSNet中特征提取的卷积神经网络进行改进，使其在保证能够提取充足的特征点情况下，减少图片的占有内存，更有效率地对图像进行降采样处理，从而最终能更好的和无人机相结合；
S1.2、构建3D代价体素Cost Volume：根据参考视图的相机锥体构建3D代价体素CostVolume：根据可微单应性变换，利用提取到的N个特征图和相应的相机参数把其他视角提取到的特征图转化到参考相机视锥下的不同深度上，由此得到N个特征体，进一步基于方差操作将它们合成一个Cost Volume，最后采用一个多尺度3D卷积神经网络去噪声污染得到最优Cost Volume；
S1.3、生成初始深度图：根据概率加权和公式，沿着深度方向计算期望值，在构建代价体素Cost Volume期间，此处的期望值能够产生一个连续的深度估算，输出深度图，从而更好地控制离群值滤波的阈值参数；
S1.4、利用损失函数优化深度图：根据深度残差网络，将初始深度图和调整大小的参考视图进行连接操作输入网络，网络输出的结果添加初始深度图后生成细化深度图；根据真值深度图，利用绝对平均差作为训练的损失函数，同时对初始深度图和细化深度图进行优化操作。
3.根据权利要求2所述的一种基于深度学习的无人机航拍影像的三维重建方法，其特征在于，步骤S1.1包括：
采用一个8层2D卷积神经网络对输入图像进行特征提取，将第二、第四、第六层步长设置为2，使特征提取金字塔分为四种尺度，并且卷积神经网络输出得到的特征图尺寸为原始输入尺寸的1/8，且通道数为32；对于每种尺度，利用一层卷积网络来提取更高层次的图像表示；除了最后一层卷积层外，每个卷积层后面都有一个批处理标准化层(BN)和线性修正单元(ReLU)；同时，对于N个视图所采用的N个特征提取金字塔之间共享权重参数；经此操作后，每个保留像素点的原始领域信息被编码到像素描述符中，使得提取的每个特征图包含了原始像素的周围信息。
4.根据权利要求2所述的一种基于深度学习的无人机航拍影像的三维重建方法，其特征在于，步骤S1.2包括：
利用可微单应性变换，将所有特征图转换到平行于参考视锥的不同平面上，基于像素操作的平面变换公式如下：
x0～Hi(d)·x
其中，x为投影前像素点，x0为投影后的像素点，～为投影操作，Hi(d)为第i个特征图和深度为d的参考特征图之间的单应性变换；
单应性变换由一个3*3矩阵表示：
Figure FDA0002423426310000021
其中，Ki，Ri和ti分别为第i个视角图像的相机内参矩阵，旋转矩阵和位移矩阵，
Figure FDA0002423426310000022
Figure FDA0002423426310000023
和t1分别为参考视角图像的相机内参矩阵的转置，旋转矩阵的转置和位移矩阵，I为单位矩阵，d为深度值；这里从425mm到681mm以2mm间距采样128个深度值；
单应性变换作为连接2D特征提取和3D正则化网络的核心步骤，采用可微的方式实现了N个特征图到N个特征体的操作，并且实现了深度图推理的端到端训练；
每个特征体大小可由下列数学表达式计算：
Figure FDA0002423426310000024
其中，D为深度采样数128，F为特征图通道数32，经过三个步长为2的卷积层缩放得到特征图宽度和高度都为原来的1/8；
进一步基于方差操作具体数学表达式如下：
Figure FDA0002423426310000031
其中，N为视角个数，
Figure FDA0002423426310000032
为N个特征体的平均值，Vi为第i个特征体；由此构建成一个3D代价体素Cost Volume；
采用一个四级多尺度3D卷积神经网络对代价体素Cost Volume进行正则化操作达到平滑去噪声效果；它使用了编码器-解码器结构，以相对较低的内存和计算成本从一个较大的接收域聚合邻近的信息；将第一个3D卷积层后的32通道代价体素Cost Volume减小到8通道，并将每个尺度内的卷积设置为2层；最后一个卷积层输出一个1通道的代价体素CostVolume；最后利用softmax操作沿深度方向进行概率归一化。
5.根据权利要求2所述的一种基于深度学习的无人机航拍影像的三维重建方法，其特征在于，步骤S1.3中概率加权和具体数学表达式如下：
Figure FDA0002423426310000033
其中，P(d)为深度d处所有像素点的概率估计值，[dmin，dmax]为采样深度取值范围。
6.根据权利要求2所述的一种基于深度学习的无人机航拍影像的三维重建方法，其特征在于，步骤S1.4包括：
利用深度残差网络来生成细化深度图，深度残差网络一共有四层卷积层，前三层为32通道的2D卷积层，最后一层为1通道的2D卷积层；除了最后一层外，每个卷积层后面都有一个批处理标准化层和线性修正单元，最后一层用来学习负残差，深度残差网络输出的结果添加上初始深度图后得到细化深度图；
根据损失函数优化初始深度图和细化深度图，损失函数数学表达式如下：
Figure FDA0002423426310000034
其中，d(p)为像素点p的真值深度值，
Figure FDA0002423426310000035
为像素点p的初始深度估计，
Figure FDA0002423426310000036
为像素点p的精细深度估计，将λ参数设置为1:0。
7.根据权利要求1所述的一种基于深度学习的无人机航拍影像的三维重建方法，其特征在于，步骤S2包括：
BlendedMVS数据集中的低分辨率数据集图片尺寸为768*576，该数据集包含113个精心挑选和重建的3D模型。这些纹理模型涵盖了各种不同的场景，包括城市、建筑、雕塑和小物件。每个场景包含20到1000张输入图像，总共有17818张图像。为了使用BlendedMVS训练MVSNet网络，将所有训练样本调整为H*W＝576*768，并将深度采样值设为D＝128；相应地，将该数据集分为106个训练场景和7个验证场景来评估网络训练。
CN202010212933.2A 2020-03-24 2020-03-24 一种基于深度学习的无人机航拍影像的三维重建方法 Active CN111462329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010212933.2A CN111462329B (zh) 2020-03-24 2020-03-24 一种基于深度学习的无人机航拍影像的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010212933.2A CN111462329B (zh) 2020-03-24 2020-03-24 一种基于深度学习的无人机航拍影像的三维重建方法

Publications (2)

Publication Number Publication Date
CN111462329A true CN111462329A (zh) 2020-07-28
CN111462329B CN111462329B (zh) 2023-09-29

Family

ID=71685669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010212933.2A Active CN111462329B (zh) 2020-03-24 2020-03-24 一种基于深度学习的无人机航拍影像的三维重建方法

Country Status (1)

Country Link
CN (1) CN111462329B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233228A (zh) * 2020-10-28 2021-01-15 五邑大学 基于无人机的城市三维重建方法、装置及存储介质
CN112509124A (zh) * 2020-12-14 2021-03-16 成都数之联科技有限公司 深度图获得方法及系统及无人机正射图生成方法及介质
CN112734915A (zh) * 2021-01-19 2021-04-30 北京工业大学 一种基于深度学习的多视角立体视觉三维场景重建方法
CN112762957A (zh) * 2020-12-29 2021-05-07 西北工业大学 一种基于多传感器融合的环境建模及路径规划方法
CN112800524A (zh) * 2021-02-05 2021-05-14 河北工业大学 一种基于深度学习的路面病害三维重建方法
CN112967381A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 三维重建方法、设备和介质
CN113066168A (zh) * 2021-04-08 2021-07-02 云南大学 一种多视图立体网络三维重建方法及系统
CN113066165A (zh) * 2021-03-19 2021-07-02 北京邮电大学 多阶段无监督学习的三维重建方法、装置和电子设备
CN113139661A (zh) * 2021-04-19 2021-07-20 中山大学 一种基于深度学习和多目遥感影像的地物深度预测方法
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113393577A (zh) * 2021-05-28 2021-09-14 中铁二院工程集团有限责任公司 一种倾斜摄影地形重建方法
CN113673400A (zh) * 2021-08-12 2021-11-19 土豆数据科技集团有限公司 基于深度学习的实景三维语义重建方法、装置及存储介质
CN113870422A (zh) * 2021-11-30 2021-12-31 华中科技大学 一种基于金字塔Transformer的点云重建方法、装置、设备及介质
CN113963117A (zh) * 2021-10-29 2022-01-21 温州大学 一种基于可变卷积深度网络的多视图三维重建方法及装置
CN114268782A (zh) * 2020-09-16 2022-04-01 镇江多游网络科技有限公司 基于注意力迁移的2d到3d视频转换方法、装置及存储介质
CN114463492A (zh) * 2022-01-12 2022-05-10 青海师范大学 一种基于深度学习的自适应通道注意力三维重建方法
CN114494594A (zh) * 2022-01-18 2022-05-13 中国人民解放军63919部队 基于深度学习的航天员操作设备状态识别方法
CN115147709A (zh) * 2022-07-06 2022-10-04 西北工业大学 一种基于深度学习的水下目标三维重建方法
CN115457101A (zh) * 2022-11-10 2022-12-09 武汉图科智能科技有限公司 面向无人机平台的边缘保持多视图深度估计及测距方法
CN115908730A (zh) * 2022-11-11 2023-04-04 南京理工大学 一种在低通信带宽下远程操控端基于边缘的三维场景重建系统方法
CN117974895A (zh) * 2024-01-31 2024-05-03 中国矿业大学(北京) 一种管道单目视频三维重建和深度预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
US20160239976A1 (en) * 2014-10-22 2016-08-18 Pointivo, Inc. Photogrammetric methods and devices related thereto
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
CN110570522A (zh) * 2019-08-22 2019-12-13 天津大学 一种多视图三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239976A1 (en) * 2014-10-22 2016-08-18 Pointivo, Inc. Photogrammetric methods and devices related thereto
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
CN110570522A (zh) * 2019-08-22 2019-12-13 天津大学 一种多视图三维重建方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268782A (zh) * 2020-09-16 2022-04-01 镇江多游网络科技有限公司 基于注意力迁移的2d到3d视频转换方法、装置及存储介质
CN112233228A (zh) * 2020-10-28 2021-01-15 五邑大学 基于无人机的城市三维重建方法、装置及存储介质
CN112233228B (zh) * 2020-10-28 2024-02-20 五邑大学 基于无人机的城市三维重建方法、装置及存储介质
CN112509124A (zh) * 2020-12-14 2021-03-16 成都数之联科技有限公司 深度图获得方法及系统及无人机正射图生成方法及介质
CN112509124B (zh) * 2020-12-14 2023-09-22 成都数之联科技股份有限公司 深度图获得方法及系统及无人机正射图生成方法及介质
CN112762957A (zh) * 2020-12-29 2021-05-07 西北工业大学 一种基于多传感器融合的环境建模及路径规划方法
CN112762957B (zh) * 2020-12-29 2022-12-30 西北工业大学 一种基于多传感器融合的环境建模及路径规划方法
CN112734915A (zh) * 2021-01-19 2021-04-30 北京工业大学 一种基于深度学习的多视角立体视觉三维场景重建方法
CN112800524A (zh) * 2021-02-05 2021-05-14 河北工业大学 一种基于深度学习的路面病害三维重建方法
CN112967381B (zh) * 2021-03-05 2024-01-16 北京百度网讯科技有限公司 三维重建方法、设备和介质
CN112967381A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 三维重建方法、设备和介质
CN113066165A (zh) * 2021-03-19 2021-07-02 北京邮电大学 多阶段无监督学习的三维重建方法、装置和电子设备
CN113066165B (zh) * 2021-03-19 2022-06-21 北京邮电大学 多阶段无监督学习的三维重建方法、装置和电子设备
CN113066168A (zh) * 2021-04-08 2021-07-02 云南大学 一种多视图立体网络三维重建方法及系统
CN113178009B (zh) * 2021-04-19 2023-08-25 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113139661A (zh) * 2021-04-19 2021-07-20 中山大学 一种基于深度学习和多目遥感影像的地物深度预测方法
CN113393577B (zh) * 2021-05-28 2023-04-07 中铁二院工程集团有限责任公司 一种倾斜摄影地形重建方法
CN113393577A (zh) * 2021-05-28 2021-09-14 中铁二院工程集团有限责任公司 一种倾斜摄影地形重建方法
CN113673400A (zh) * 2021-08-12 2021-11-19 土豆数据科技集团有限公司 基于深度学习的实景三维语义重建方法、装置及存储介质
CN113963117B (zh) * 2021-10-29 2024-03-29 温州大学 一种基于可变卷积深度网络的多视图三维重建方法及装置
CN113963117A (zh) * 2021-10-29 2022-01-21 温州大学 一种基于可变卷积深度网络的多视图三维重建方法及装置
CN113870422A (zh) * 2021-11-30 2021-12-31 华中科技大学 一种基于金字塔Transformer的点云重建方法、装置、设备及介质
CN113870422B (zh) * 2021-11-30 2022-02-08 华中科技大学 一种点云重建方法、装置、设备及介质
CN114463492A (zh) * 2022-01-12 2022-05-10 青海师范大学 一种基于深度学习的自适应通道注意力三维重建方法
CN114463492B (zh) * 2022-01-12 2024-03-26 青海师范大学 一种基于深度学习的自适应通道注意力三维重建方法
CN114494594A (zh) * 2022-01-18 2022-05-13 中国人民解放军63919部队 基于深度学习的航天员操作设备状态识别方法
CN115147709B (zh) * 2022-07-06 2024-03-19 西北工业大学 一种基于深度学习的水下目标三维重建方法
CN115147709A (zh) * 2022-07-06 2022-10-04 西北工业大学 一种基于深度学习的水下目标三维重建方法
CN115457101A (zh) * 2022-11-10 2022-12-09 武汉图科智能科技有限公司 面向无人机平台的边缘保持多视图深度估计及测距方法
CN115908730A (zh) * 2022-11-11 2023-04-04 南京理工大学 一种在低通信带宽下远程操控端基于边缘的三维场景重建系统方法
CN117974895A (zh) * 2024-01-31 2024-05-03 中国矿业大学(北京) 一种管道单目视频三维重建和深度预测方法及系统

Also Published As

Publication number Publication date
CN111462329B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
CN111599001B (zh) 基于图像三维重建技术的无人机导航地图构建系统及方法
CN111652966B (zh) 一种基于无人机多视角的三维重建方法及装置
Liu et al. A novel recurrent encoder-decoder structure for large-scale multi-view stereo reconstruction from an open aerial dataset
CN113936139B (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN111127538B (zh) 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN111899328B (zh) 一种基于rgb数据与生成对抗网络的点云三维重建方法
CN113345082B (zh) 一种特征金字塔多视图三维重建方法和系统
CN110232738B (zh) 基于视差图和关键点的多视图遥感图像立体重构方法
CN116543117B (zh) 一种无人机影像的高精度大场景三维建模方法
CN115984494A (zh) 一种基于深度学习的月面导航影像三维地形重建方法
CN114359503A (zh) 一种基于无人机倾斜摄影建模方法
CN110197505A (zh) 基于深度网络及语义信息的遥感图像双目立体匹配方法
CN116222577B (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN113096239A (zh) 一种基于深度学习的三维点云重建方法
CN116051758A (zh) 一种用于室外机器人的含有高度信息的地貌地图构建方法
CN115049794A (zh) 通过深度补全生成稠密的全局点云图方法及系统
CN113840127B (zh) 一种卫星视频影像获取水域自动掩膜处理dsm的方法
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN113780389A (zh) 基于一致性约束的深度学习半监督密集匹配方法及系统
CN112115786A (zh) 基于注意力U-net的单目视觉里程计方法
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
CN114283258A (zh) 一种基于cnn的单幅图像生成三维点云的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant