CN112288875B - 一种面向无人机矿山巡检场景的快速三维重建方法 - Google Patents
一种面向无人机矿山巡检场景的快速三维重建方法 Download PDFInfo
- Publication number
- CN112288875B CN112288875B CN202011194504.3A CN202011194504A CN112288875B CN 112288875 B CN112288875 B CN 112288875B CN 202011194504 A CN202011194504 A CN 202011194504A CN 112288875 B CN112288875 B CN 112288875B
- Authority
- CN
- China
- Prior art keywords
- image
- scene
- mine
- depth
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000007689 inspection Methods 0.000 title claims abstract description 17
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims 2
- 230000000007 visual effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种面向无人机矿山巡检场景的快速三维重建方法，首先通过无人机上挂载的云台相机采集矿山场景的图像序列，并导入图像拍摄时刻对应的经度、纬度和海拔高度；再基于多视角几何技术快速构建准确的场景稀疏点云以及相机位姿，并基于深度学习的深度图融合方法，得到整个场景的稠密点云；最后基于多视角立体视觉技术在稠密点云基础上重建网格并进行纹理贴图，恢复得到包含真实纹理的数字正射影像DOM和数字地表模型DSM。应用本发明的方案，通过将多视角几何、多视角立体视觉与新兴的深度学习技术进行整合，快速输出精度更高的矿山场景三维模型，实现建模速度和精度的平衡，能如实反映矿山的具体情况，实用性强。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种面向无人机矿山巡检场景的快速三维重建方法。
背景技术
为了确保采矿作业安全进行以及提高矿山场景整体的作业效率，常用的是进行定期的巡检维护。传统的矿山巡检主要为人工巡检，存在劳动强度大、危险系数高、主观因素强以及人力成本高等问题。
近些年，智能巡检逐渐流行，主要是：将智能巡检无人机与该领域有机结合，通过数据采集、场景建模、异常标识以及地理定位等结合，能有效降低工作风险，提高矿山巡检效率。但现有的智能巡检存在系统结构复杂、精准度不高等缺陷。
因此，设计一种操作便捷且能实现高精度智能巡检的方法具有重要意义。
发明内容
本发明提供一种面向无人机矿山巡检场景的快速三维重建方法，通过将多视角几何、多视角立体视觉与新兴的深度学习技术进行整合，快速输出精度更高的矿山场景三维模型，实现建模速度和精度的平衡，能如实反映矿山的具体情况，实用性强。具体技术方案如下：
一种面向无人机矿山巡检场景的快速三维重建方法，包括以下步骤：
步骤S1、采集数据，具体是：由无人机上挂载的云台相机获取矿山场景的图像序列，并同时导入图像拍摄时刻对应的经度、纬度和海拔高度；
步骤S2、基于多视角几何技术构建矿山场景稀疏点云以及相机位姿，具体包括：
步骤S2.1、对步骤S1获得的图像序列进行特征提取和图像匹配并输出图像之间的相邻关系；
步骤S2.2、将步骤S2.1所得图像之间的相邻关系通过无向图表示，删除无向图中所有的割边；对匹配后的图像建立特征点对；
步骤S2.3、求解步骤S2.2中的特征点对的本质矩阵；对本质矩阵进行SVD分解求取相邻图像间的旋转矩阵，并根据步骤S2.1中图像匹配的匹配关系恢复平移向量；得到初始的相机外参；
步骤S2.4、在GPS约束的情况下，依次对步骤S2.3获得的初始的相机外参进行全局非线性优化，并根据角度误差和像素残差剔除外点，完成相机位姿和场景点云的估算，输出相机的内参、外参、畸变参数及矿山场景三维稀疏点云；
步骤S3、基于深度学习的深度图融合方法，在结合步骤S2.1所得图像之间的相邻关系及相机的内参、外参以及畸变参数的基础上，通过预先建立的训练模型恢复每张图像对应的深度图，根据步骤S2.4获得的三维稀疏点云确定每张图像对应的深度范围，然后将深度图进行融合，最终得到矿山场景的稠密点云；
步骤S4：基于多视角立体视觉技术在稠密点云基础上重建网格并进行纹理贴图，恢复得到包含真实纹理的三维模型。
以上技术方案中优选的，所述步骤S2.1中：特征提取为提取SIFT特征；图像匹配采用快速层级哈希匹配的方式根据SIFT特征计算得到了两幅图像之间的匹配关系。
以上技术方案中优选的，所述步骤S2.3中：采用五点法求解特征点对的本质矩阵。
以上技术方案中优选的，所述步骤S2.4中非线性优化的方法为最小二乘法。
以上技术方案中优选的，所述步骤S3中预先建立的训练模型为基于卷积神经网络在DTU数据集上训练得到的，其输入是一张原始图像和其对应的深度图，输出是经过训练抽象得到的模型；将深度图进行融合为根据步骤S2.4中得到的相机外参建立深度图之间的关系，并将邻近范围的点合并为一个点，最终完成所有深度图的融合。
以上技术方案中优选的，所述步骤S4中三维模型为数字正射影像和数字地表模型。
应用本发明方法，通过将多视角几何、多视角立体视觉与新兴的深度学习技术进行整合，快速输出精度更高的矿山场景三维模型，具体是：由无人机上挂载的云台相机获取矿山场景的图像序列，并同时导入图像拍摄时刻对应的经度、纬度和海拔高度，从而确保输出模型包含实际的地理坐标；基于多视角几何技术快速构建准确的场景稀疏点云以及相机位姿，通过预估相机内参和畸变参数的方式，有效地避免了点云扭曲和断裂问题，更好地保证了场景点云的准确性和完整性；基于深度学习的深度图融合方法，通过预先建立的训练模型恢复每张图像对应的深度图，然后将这些深度图进行融合，最终得到整个场景的稠密点云，还原更为丰富的场景信息；基于多视角立体视觉技术在稠密点云基础上重建网格并进行纹理贴图，恢复得到包含真实纹理的数字正射影像DOM和数字地表模型DSM。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本实施例中基于多视角几何技术生成的矿山场景三维稀疏点云结果图；
图2是稀疏点云构建时预估相机参数前后的结果比对图，其中：图2(a)是优化(预估相机参数)前，图2(b)是优化(预估相机参数)后；
图3是本实施例中深度图融合方法示意图；
图4是经过深度图融合后的某实际场景稠密点云结果图；
图5是本实施例矿山场景输出的数字正射影像和数字地表模型；
图6是本实施例矿山场景的三维效果图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。
实施例：
一种面向无人机矿山巡检场景的快速三维重建方法，首先通过无人机上挂载的云台相机采集矿山场景(以矿山场景的局部为例)的图像序列，并导入图像拍摄时刻对应的经度、纬度和海拔高度；再基于多视角几何技术快速构建准确的场景稀疏点云以及相机位姿，并基于深度学习的深度图融合方法，得到整个场景的稠密点云；最后基于多视角立体视觉技术在稠密点云基础上重建网格并进行纹理贴图，恢复得到包含真实纹理的数字正射影像DOM和数字地表模型DSM。具体实施步骤如下：
步骤S1：由无人机上挂载的云台相机获取矿山场景的图像序列(此处的图像序列即为按照航线飞行过程中拍摄到的一系列图像，会根据拍摄先后顺序进行图像命名)，并同时导入图像拍摄时刻对应的经度、纬度和海拔高度，从而确保输出模型包含实际的地理坐标。在数据采集时，为避免重建结果出现拉伸，建议云台相机基本垂直于地面拍摄，且确保图像重叠率大于65％即可。当无GPS信息时，纯图像可以构建对应的三维模型，但其没有绝对尺度信息和地理位置坐标，因此建议用户提供拍摄时刻的GPS信息。相对于SLAM技术要求的高重叠率，本发明方法所需的低重叠率图像确保了作业的高效性。
步骤S2：基于多视角几何技术快速构建准确的矿山场景稀疏点云以及相机位姿，通过预估相机内参和畸变参数的方式(这是构建准确场景点云和相机位姿的前提，通过预估相机内参和畸变参数，保证了最终可以构建得到准确的点云和位姿)，有效地避免了点云扭曲和断裂问题，更好地保证了场景点云的准确性和完整性。具体操作是：
步骤S2.1、在完成对输入图像序列的特征提取和图像匹配并输出图像之间的相邻关系；此处的特征提取为抽取SIFT特征，其具有旋转、尺度、亮度不变性，并对视角变化、仿射变换、噪声也保持一定程度的稳定性等优点；图像匹配采用快速层级哈希匹配的方式根据SIFT特征计算得到了两幅图像之间的匹配关系；
步骤S2.2、将步骤S2.1所得图像之间的相邻关系可以通过无向图表示；随后删除无向图中所有的割边(只要是割边就直接删除，没有其他限定条件)，以剔除不稳定的图像对；对匹配后的图像建立特征点对；
步骤S2.3、求解步骤S2.2中的特征点对的本质矩阵；对本质矩阵进行SVD分解求取相邻图像间的旋转矩阵(该处利用了五点法求解了本质矩阵，其中，这里的点指的是图像匹配后建立的特征点对；然后对本质矩阵进行SVD分解，最终选择一组最优解作为两图像之间的相对旋转矩阵)，并在此基础上根据匹配关系恢复平移向量；得到初始的相机外参；
步骤S2.4、在GPS约束的情况下，依次对对步骤S2.3获得的初始的相机外参进行全局非线性优化(基于最小二乘法的非线性优化)，并根据角度误差和像素残差剔除外点(这里角度误差和像素残差的值来剔除外点，如果误差或残差较大，则剔除该点)，完成相机位姿和场景点云的估算输出相机的内参、外参、畸变参数及矿山场景三维稀疏点云，矿山场景三维稀疏点云模型如图1所示。
除此之外，对于长航线场景，为了避免相机畸变带来的点云扭曲问题，本发明选择了图像序列中连通性较好的一段数据预先进行相机内参和畸变参数优化(此处，连通性较好指的是该数据不会存在多个连通域，只有唯一的连通域；相机内参和畸变参数优化的过程其实是使用了少量数据来进行全局非线性优化得到结果参数的过程)，再将优化得到的参数代入全段数据进行光束平差操作(光束平差即为BundleAdjustment，将图像匹配关系、GPS作为已知量，将相机内外参以及场景点云作为未知量，通过最小二乘法来联合优化未知量得到重投影误差最小时对应的优化参数结果)，从而可以有效地解决点云错位和缺失问题，如图2所示。
步骤S3：基于深度学习的深度图融合方法，在结合步骤S2.1所得图像之间的相邻关系及相机的内参、外参以及畸变参数的基础上，通过预先建立的训练模型(该模型是基于卷积神经网络在DTU数据集上训练得到的，其输入是一张原始图像和其对应的深度图，输出是经过训练抽象得到的模型)恢复每张图像对应的深度图，根据步骤S2.4获得的三维稀疏点云确定每张图像对应的深度范围，然后将这些深度图进行融合，最终得到整个场景的稠密点云，还原更为丰富的场景信息。
本发明方法引入了循环神经网络架构，依序的在深度方向通过GRU单元正则化二维代价图(GRU即为循环神经网络，其可通过不断更新当前时刻状态来使学习过程的代价收敛，防止过拟合的情况出现)，以减小内存消耗并提高大尺度三维场景重建的适用性。其网络架构如图3所示，输入的多视角图像首先在二维的特征提取层提取特征，并经由可微的单应矩阵变换(单应矩阵是常规概念，可微是指针对矩阵中的系数可求导，因此无需展开说明)到参考影像的相机视椎体的正面平行面上，然后在不同深度计算代价(代价用来衡量预测值与真实值之间的误差，越小越好，因此需要通过找到最小代价来得到深度结果)，并通过卷积的GRU单元进行循环正则化(GRU即为循环神经网络，其可通过不断更新当前时刻状态来使学习过程的代价收敛，防止过拟合的情况出现)，使在深度方向获取几何和单向的语义信息成为可能；将每个深度上正则化处理的损失图结合，利用softmax计算得到概率体积P，并基于深度图与基准的二进制占据空间Q进行交叉熵计算来得到模型的损失，经过深度图融合后的实际测试结果如图4所示，可见，基于深度学习的深度图融合方法能够输出还原度更高的稠密点云，通过建立包含语义信息的训练模型，可以使用二维特征提取层提取输入图像的特征，从而更好地进行二维到三维的匹配，有效地规避了传统方法容易受到弱纹理和光线反射干扰的缺点。另外，基于深度学习的方法还具有处理速度快以及场景细节还原度高的特点，从而为快速构建准确的三维模型提供了技术依托。
步骤S4：基于多视角立体视觉技术在稠密点云基础上重建网格并进行纹理贴图，恢复得到包含真实纹理的数字正射影像DOM和数字地表模型DSM。从得到的稀疏点云或稠密点云中很难体现场景的纹理信息，为此需要对三维点云做进一步处理得(进一步处理指的是步骤S4中所述的网格重建)到三维模型，并将模型进行纹理贴图，通过这样得到的结果才能够真实的反映出场景信息。这其中从三维点云到三维网格的过程称为网格重建，而在没有颜色信息的网格上还原真实场景的过程称为纹理贴图。
本发明方法使用的网格重建方法流程为：首先构建四面体集合(对点云进行空间排序，根据给定的最小距离构建Delaunay四面体集合)，通过光线相交计算四面体的可见性，以四面体为节点，三角形为边，构建有向图，将表面重构问题转化为最大流最小割问题，求得的最小割即为三维模型表面，再对网格进行修复和补洞处理，最后删除网格边界处的无效三角形并对网格进行平滑处理。
本发明方法使用的纹理贴图方法流程为：首先根据三角形在每幅图像的信息找出每个三角形的最优图像，然后对纹理块之间的接缝进行颜色调整，减小接缝处的色差，最后合并纹理块，生成纹理模型，并以包含实际地理坐标的数字正射影像DOM和数字地表模型DSM表示，该矿山场景的输出结果如图5所示，该矿山场景的三维效果图如图6所示。
应用本发明的方案，一方面能够将多视角几何、多视角立体视觉与深度学习有机结合，输出比传统三维重建方法更加快速和准确的场景模型；另一方面结合无人机平台可用于任何矿山场景进行巡检，实用性强。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种面向无人机矿山巡检场景的快速三维重建方法，其特征在于，包括以下步骤：
步骤S1、采集数据，具体是：由无人机上挂载的云台相机获取矿山场景的图像序列，并同时导入图像拍摄时刻对应的经度、纬度和海拔高度；
步骤S2、基于多视角几何技术构建矿山场景稀疏点云以及相机位姿，具体包括：
步骤S2.1、对步骤S1获得的图像序列进行特征提取和图像匹配并输出图像之间的相邻关系；
步骤S2.2、将步骤S2.1所得图像之间的相邻关系通过无向图表示，删除无向图中所有的割边；对匹配后的图像建立特征点对；
步骤S2.3、求解步骤S2.2中的特征点对的本质矩阵；对本质矩阵进行SVD分解求取相邻图像间的旋转矩阵，并根据步骤S2.1中图像匹配的匹配关系恢复平移向量；得到初始的相机外参；
步骤S2.4、在GPS约束的情况下，依次对步骤S2.3获得的初始相机外参进行全局非线性优化，并根据角度误差和像素残差剔除外点，完成相机位姿和场景点云的估算，输出相机的内参、外参、畸变参数及矿山场景三维稀疏点云；
步骤S3、基于深度学习的深度图融合方法，在结合步骤S2.1所得图像之间的相邻关系及相机的内参、外参以及畸变参数的基础上，通过预先建立的训练模型恢复每张图像对应的深度图，根据步骤S2.4获得的三维稀疏点云确定每张图像对应的深度范围，然后将深度图进行融合，最终得到矿山场景的稠密点云；
步骤S4：基于多视角立体视觉技术在稠密点云基础上重建网格并进行纹理贴图，恢复得到包含真实纹理的三维模型；
所述步骤S2.1中：特征提取为提取SIFT特征；图像匹配采用快速层级哈希匹配的方式根据SIFT特征计算得到了两幅图像之间的匹配关系；
所述步骤S2.3中：采用五点法求解特征点对的本质矩阵；
所述步骤S2.4中非线性优化的方法为最小二乘法；
所述步骤S3中预先建立的训练模型为基于卷积神经网络在DTU数据集上训练得到的，其输入是一张原始图像和其对应的深度图，输出是经过训练抽象得到的模型；
所述基于深度学习的深度图融合方法采用循环神经网络架构，依序在深度方向通过GRU单元正则化二维代价图，具体是，输入的多视角图像首先在二维的特征提取层提取特征，并经由可微的单应矩阵变换到参考影像的相机视椎体的正面平行面上，然后在不同深度计算代价，并通过卷积的GRU单元进行循环正则化；将每个深度上正则化处理的损失图结合，利用softmax计算得到概率体积P，并基于深度图与基准的二进制占据空间Q进行交叉熵计算来得到模型的损失。
2.根据权利要求1所述的面向无人机矿山巡检场景的快速三维重建方法，其特征在于，所述步骤S4中三维模型为数字正射影像和数字地表模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011194504.3A CN112288875B (zh) | 2020-10-30 | 2020-10-30 | 一种面向无人机矿山巡检场景的快速三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011194504.3A CN112288875B (zh) | 2020-10-30 | 2020-10-30 | 一种面向无人机矿山巡检场景的快速三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112288875A CN112288875A (zh) | 2021-01-29 |
| CN112288875B true CN112288875B (zh) | 2024-04-30 |
Family
ID=74353763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011194504.3A Active CN112288875B (zh) | 2020-10-30 | 2020-10-30 | 一种面向无人机矿山巡检场景的快速三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288875B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112685979B (zh) * | 2021-03-11 | 2021-07-30 | 浙江大学 | 一种基于深度学习的流体密度场生成方法和装置 |
| CN113012293B (zh) * | 2021-03-22 | 2023-09-29 | 平安科技（深圳）有限公司 | 石刻模型构建方法、装置、设备及存储介质 |
| CN113096250A (zh) * | 2021-04-02 | 2021-07-09 | 华中师范大学 | 基于无人机航拍影像序列的三维建筑模型库系统构建方法 |
| CN113178009B (zh) * | 2021-04-19 | 2023-08-25 | 中国人民解放军陆军工程大学 | 一种利用点云分割和网格修补的室内三维重建方法 |
| CN113205506B (zh) * | 2021-05-17 | 2022-12-27 | 上海交通大学 | 一种电力设备全空间信息三维重构方法 |
| CN113204897B (zh) * | 2021-06-02 | 2022-02-08 | 北京慧拓无限科技有限公司 | 平行矿山仿真系统场景建模方法、装置、介质及设备 |
| CN113066185B (zh) * | 2021-06-03 | 2021-09-17 | 北京慧拓无限科技有限公司 | 矿山仿真系统的场景数据创建方法、装置、介质及设备 |
| CN113793414A (zh) * | 2021-08-17 | 2021-12-14 | 中科云谷科技有限公司 | 建立工业现场环境三维视图的方法、处理器及装置 |
| CN113936116B (zh) * | 2021-11-12 | 2024-04-16 | 合众新能源汽车股份有限公司 | 用于透明a柱的复杂空间曲面映射方法 |
| CN114373042B (zh) * | 2021-12-14 | 2024-05-03 | 南京杰图空间信息技术有限公司 | 一种基于电力巡检三维场景快速建模方法 |
| CN114355977B (zh) * | 2022-01-04 | 2023-09-22 | 浙江大学 | 一种基于多旋翼无人机的塔式光热电站镜场巡检方法及装置 |
| CN114924585B (zh) * | 2022-05-19 | 2023-03-24 | 广东工业大学 | 基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统 |
| CN115574831A (zh) * | 2022-09-28 | 2023-01-06 | 曾丽红 | 一种基于地图融合的无人机导航方法 |
| CN116580099A (zh) * | 2023-07-14 | 2023-08-11 | 山东艺术学院 | 一种基于视频与三维模型融合的林地目标定位方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184863A (zh) * | 2015-07-23 | 2015-12-23 | 同济大学 | 一种基于无人机航拍序列影像的边坡三维重建方法 |
| EP3349176A1 (en) * | 2017-01-17 | 2018-07-18 | Facebook, Inc. | Three-dimensional scene reconstruction from set of two-dimensional images for consumption in virtual reality |
| CN108416840A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于单目相机的三维场景稠密重建方法 |
| CN109461180A (zh) * | 2018-09-25 | 2019-03-12 | 北京理工大学 | 一种基于深度学习的三维场景重建方法 |
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110288712A (zh) * | 2019-03-30 | 2019-09-27 | 天津大学 | 室内场景的稀疏多视角三维重建方法 |
| CN111563923A (zh) * | 2020-07-15 | 2020-08-21 | 浙江大华技术股份有限公司 | 获得稠密深度图的方法及相关装置 |
-
2020
- 2020-10-30 CN CN202011194504.3A patent/CN112288875B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184863A (zh) * | 2015-07-23 | 2015-12-23 | 同济大学 | 一种基于无人机航拍序列影像的边坡三维重建方法 |
| EP3349176A1 (en) * | 2017-01-17 | 2018-07-18 | Facebook, Inc. | Three-dimensional scene reconstruction from set of two-dimensional images for consumption in virtual reality |
| CN108416840A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于单目相机的三维场景稠密重建方法 |
| CN109461180A (zh) * | 2018-09-25 | 2019-03-12 | 北京理工大学 | 一种基于深度学习的三维场景重建方法 |
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110288712A (zh) * | 2019-03-30 | 2019-09-27 | 天津大学 | 室内场景的稀疏多视角三维重建方法 |
| CN111563923A (zh) * | 2020-07-15 | 2020-08-21 | 浙江大华技术股份有限公司 | 获得稠密深度图的方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112288875A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288875B (zh) | 一种面向无人机矿山巡检场景的快速三维重建方法 | |
| CN111599001B (zh) | 基于图像三维重建技术的无人机导航地图构建系统及方法 | |
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN108198145B (zh) | 用于点云数据修复的方法和装置 | |
| Bosch et al. | A multiple view stereo benchmark for satellite imagery | |
| CN104156536B (zh) | 一种盾构机刀具磨损的可视化定量标定及分析方法 | |
| Chen et al. | A methodology for automated segmentation and reconstruction of urban 3-D buildings from ALS point clouds | |
| CN109242862B (zh) | 一种实时的数字表面模型生成方法 | |
| CN111126148B (zh) | 一种基于视频卫星影像的dsm生成方法 | |
| CN108734728A (zh) | 一种基于高分辨序列图像的空间目标三维重构方法 | |
| CN103635935B (zh) | 3d街道 | |
| CN110197505B (zh) | 基于深度网络及语义信息的遥感图像双目立体匹配方法 | |
| CN107369204B (zh) | 一种从单幅照片恢复出场景基本三维结构的方法 | |
| CN114332348B (zh) | 一种融合激光雷达与图像数据的轨道三维重建方法 | |
| CN113192193A (zh) | 基于Cesium三维地球框架的高压输电线路走廊三维重建方法 | |
| CN103606151A (zh) | 基于影像点云的大范围虚拟地理场景自动构建方法 | |
| CN103839286B (zh) | 一种对象语义约束的真正射影像优化采样方法 | |
| CN112419512B (zh) | 一种基于语义信息的空中三维模型修复系统及方法 | |
| CN104715504A (zh) | 一种鲁棒的大场景稠密三维重建方法 | |
| CN110992366A (zh) | 一种图像语义分割方法、装置及存储介质 | |
| CN115423978A (zh) | 用于建筑物重建的基于深度学习的图像激光数据融合方法 | |
| CN115272599A (zh) | 一种面向城市信息模型的三维语义地图构建方法 | |
| CN115049794A (zh) | 通过深度补全生成稠密的全局点云图方法及系统 | |
| CN116740288B (zh) | 一种融合激光雷达、倾斜摄影的三维重建方法 | |
| CN113487741B (zh) | 稠密三维地图更新方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |