CN116612235A - 一种多视图几何无人机图像三维重建方法及存储介质 - Google Patents
一种多视图几何无人机图像三维重建方法及存储介质 Download PDFInfo
- Publication number
- CN116612235A CN116612235A CN202310151494.2A CN202310151494A CN116612235A CN 116612235 A CN116612235 A CN 116612235A CN 202310151494 A CN202310151494 A CN 202310151494A CN 116612235 A CN116612235 A CN 116612235A
- Authority
- CN
- China
- Prior art keywords
- image
- reconstruction
- point cloud
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011118 depth filtration Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims 1
- 230000002776 aggregation Effects 0.000 claims 1
- 238000012216 screening Methods 0.000 claims 1
- 238000011084 recovery Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 101100533511 Drosophila melanogaster SIFaR gene Proteins 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种多视图几何无人机图像三维重建方法及存储介质，方法包括：1)通过无人机对输电线路、变电站进行倾斜摄影获取到可见光序列影像；2)运动恢复结构SFM，通过深度学习方法获取图像特征、特征匹配，通过多视图几何、三角测量、姿态估计、光束平差(BA)优化、进行空三解算获得稀疏点云及相机姿态；3)在上一步输出图像、位姿基础上，通过深度图估计立体匹配算法(SGM、Patch match)，进行稠密重建，获得稠密点云；4)表面重建、纹理贴图获得实景模型。实验结果表明，本发明的方法能够在提供输电线路、变电站等倾斜摄影数据的基础上，生成可以用于后续无人机巡检航线规划任务的实景三维模型。
Description
技术领域
本发明涉及图像三维重建领域，具体涉及一种无人机图像三维重建方法及存储介质，尤其是一种基于深度学习结合多视图几何的无人机图像三维重建方法及存储介质。
背景技术
随着我国工业化进程的不断推进，我们对电力系统的安全稳定也提出了更高要求。电网输电线路、变电站需要定时、不定时巡检，才能及时发现隐患、风险，并进行处理，已保障输电系统的正常稳定运行。
目前，在电网输电线路、变电站巡检任务中，利用无人机进行自动巡检已经得到了大范围的运用，在提升电力运行安全，提高作业效率方面，都有很好的效果。
要无人机能够自动巡检，就需要做三维实景建模，从而进行航线规划。其中运用比较广泛的是基于直升机采集三维激光点云，其在输电线路这种大目标开阔区域作业等场景已经取得很好的效果。
但现有的激光点云采集方式成本高昂，平均一公里成本约2000元左右，而且只使用于大目标开阔区域作业，例如针对主网线路进行。
因此，有必要针提供一种成本低、细节丰富、适用于目标低、环境复杂等特点的三维实景建模方法。
发明内容
有鉴于此，本发明提供一种多视图几何无人机图像三维重建方法及存储介质，该方法基于深度学习结合多视图几何进行三维重建，通过无人机对采集倾斜摄影影像数据，再通过三维重建技术，获得精度高、细节丰富的输电线路、变电站实景模型，用于后续无人机精细化巡检的航线规划。对比三维激光点云模型，本发明具有成本低、细节丰富、适用于目标低、环境复杂等特点。
本发明的技术方案为：
一种多视图几何无人机图像三维重建方法，包括以下步骤：
步骤1，通过无人机对输电线路、变电站进行倾斜摄影获取到可见光序列影像。
步骤2稀疏重建(SFM)，包括：
步骤2.1基于深度学习的特征提取、匹配
视觉三维重建首要的一步就是特征点提取，这里的特征点指的是能够在不同光照、不同视角下都能够稳定且可重复检测的2D图像的位置。基于CNN的算法几乎在以图像作为输入的所有领域表现出相比人类特征工程更加优秀的表达能力。但是应用到具体的3D重建等工作上还是不如传统的特征，如SIFR、SURF、ORB等。本发明采用和L2-Net相似的网络结构基于深度学习局部特征学习方法，利用的是全卷积网络，同时feature map降维是利用卷积层的stride设置为2实现的。每个卷积后面都跟着一个BN层，但是该BN层的参数不会在训练过程中去更新(w和b固定为1和0)。网络最后使用Local Response Normalization(LRN)层输出一个单位特征向量。其中输入是32×32 32\times 3232×32大小的patch，输出是128d的特征向量。
步骤2.2稀疏重建获取稀疏点云、相机位姿
首先选择寻找初始像对，运用归一化八点法进行基础矩阵F求解，解算获得相机内参K、外参R、T。
三角化求解对应位点坐标，由于噪声的存在两条直线往往不相交，所以采用非线性方法优化求解物点P三维坐标、相机内参K、外参R、T。
增量式重建逐步顺序加入联近影像构成影像对进行求解运算，并进行迭代优化重投影误差，利用光束平差(BA)优化，最终得到相机位姿、稀疏点云。
步骤3稠密重建获取稠密点云
对于深度图估计，目的是恢复参考影像的深度信息。基于MVS的深度估计，主流方法的流程是：首先，对一个参考影像，筛选用于和参考影像配对计算视差的原始影像。其次，参考视差计算的经典框架(BGM、Patch match)，计算参考影像上特征对应的匹配代价，在通过代价聚合，计算深度值，最后进行深度过滤，优化初始深度图。
对于稠密重建，目的是恢复场景的周密点云。利用深度图配准原理融合深度图，恢复稠密点云。
从深度图获取点云，图像坐标系转换为世界坐标系，变换约束条件为相机内参。公式为：
其中x,y,z是点云坐标系，x’,y’是图像坐标系，D为深度值。下面介绍其推导的过程。
首先，要了解下世界坐标到图像的映射过程，考虑世界坐标点M(Xw,Yw,Zw)映射到图像点m(u,v)的过程。
形式化表示如下：
其中：u,v分别为图像坐标系下的任意坐标点；u0,v0分别为图像的中心坐标；xw,yw,zw表示世界坐标系下的三维坐标点；zc表示相机坐标的z轴值，即目标到相机的距离；R,T分别为外参矩阵的3x3旋转矩阵和3x1平移矩阵。
相机坐标系和世界坐标系的坐标原点重合，因此相机坐标和世界坐标下的同一个物体具有相同的深度，即zc＝zw.于是公式可进一步简化为：
从以上的变换矩阵公式，可以计算得到图像点[u,v]T到世界坐标点[xw,yw,zw]T的变换公式:
步骤4，表面重建、纹理贴图获得场景的三维实景模型。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序能够被处理器执行以实现本发明所述的无人机图像三维重建方法的步骤。
本发明的有益效果：
本发明通过深度学习特征检测、匹配方法提取图像特征，并计算本质矩阵F，解算相机位姿、利用光束平差(BA)方法，优化最小投影误差，空三解算得到稀疏点云及相机位姿。而后利用立体匹配算法进行深度估计，求解得到稠密点云。进而进行曲面重建、纹理贴图，最终获得三维实景模型。用于无人机巡检航线任务规划。
附图说明
图1：三维重建整体流程图。
图2：稀疏重建流程图。
图3：特征提取神经网络结构图。
图4：特征提取方法比较示意图。
图5：重投影误差示意图
图6：稀疏点云及位姿结果示意图。
图7：深度图估计框架示意图。
图8：世界坐标到图像的映射过程示意图
图9：稠密重建获取稠密点云的图片。
图10：表面重建、纹理贴图的图片。
具体实施方式
下面结合附图对本发明进行详细说明。
如图1所示，一种基于深度学习结合多视图几何的无人机图像三维重建方法，包括以下步骤：
步骤1稀疏重建(SFM)，如图2所示，输入影像数据，输出稀疏点云、相机位姿。包括：
步骤1.1基于深度学习的特征提取、匹配
视觉三维重建首要的一步就是特征点提取，这里的特征点指的是能够在不同光照、不同视角下都能够稳定且可重复检测的2D图像的位置。基于CNN的算法几乎在以图像作为输入的所有领域表现出相比人类特征工程更加优秀的表达能力。但是应用到具体的3D重建等工作上还是不如传统的特征，如SIFR、SURF、ORB等。所以本文提出一种新型的基于深度学习局部特征学习方法，主要用是从多视图重建中学习到几何约束信息。实验证明本文提出的方法效果在大量的基准上取得了很好的效果，而且对重建任务也很适用，把学习的局部特征应用到SFM pipeline，可有效提高重建效果。
本实施例通过一种基于深度学习的特征检测方法，采用和L2-Net相似的网络结构，如图3所示。相比较传统的Sift特征提取方法可获取到更多、更好的特征点信息，如图4所示，上部分表示传统Sift方法，下部分表示本实施例的方法。
步骤1.2稀疏重建获取稀疏点云、相机位姿
如图5所示，首先选择寻找初始像对，运用归一化八点法进行基础矩阵F求解，解算获得相机内参K、外参R、T。
三角化求解对应位点坐标，由于噪声的存在两条直线往往不相交，所以采用非线性方法优化求解物点P三维坐标、相机内参K、外参R、T。
增量式重建逐步顺序加入联近影像构成影像对进行求解运算，并进行迭代优化重投影误差，利用光束平差(BA)优化，最终得到相机位姿、稀疏点云，如图6所示。
步骤2稠密重建获取稠密点云，输入影像、相机位姿、稀疏点云，输出稠密点云
对于深度图估计，目的是恢复参考影像的深度信息。基于MVS的深度估计，主流方法的流程(如图7所示)是：首先，对一个参考影像，筛选用于和参考影像配对计算视差的原始影像。其次，参考视差计算的经典框架(BGM、Patch match)，计算参考影像上特征对应的匹配代价，在通过代价聚合，计算深度值，最后进行深度过滤，优化初始深度图。
对于稠密重建，目的是恢复场景的周密点云。利用深度图配准原理融合深度图，恢复稠密点云。
从深度图获取点云，图像坐标系转换为世界坐标系，变换约束条件为相机内参。公式为：
其中x,y,z是点云坐标系，x’,y’是图像坐标系，D为深度值。下面介绍其推导的过程。
首先，要了解下世界坐标到图像的映射过程，考虑世界坐标点M(Xw,Yw,Zw)映射到图像点m(u,v)的过程，如图8所示。
形式化表示如下：
其中：u,v分别为图像坐标系下的任意坐标点；u0,v0分别为图像的中心坐标；xw,yw,zw表示世界坐标系下的三维坐标点；zc表示相机坐标的z轴值，即目标到相机的距离；R,T分别为外参矩阵的3x3旋转矩阵和3x1平移矩阵。
相机坐标系和世界坐标系的坐标原点重合，因此相机坐标和世界坐标下的同一个物体具有相同的深度，即zc＝zw.于是公式可进一步简化为：
从以上的变换矩阵公式，可以计算得到图像点[u,v]T到世界坐标点[xw,yw,zw]T的变换公式:
稠密重建获取稠密点云,如图9所示。
步骤3，表面重建、纹理贴图，输入影像、稠密点云，输出三模型
最后，经过曲面重建、纹理贴图获得场景的三维模型如图10所示。
Claims (6)
1.一种多视图几何无人机图像三维重建方法，其特征在于，包括以下步骤：
步骤1，通过无人机对输电线路、变电站进行倾斜摄影获取到可见光序列影像；
步骤2，稀疏重建SFM，通过深度学习方法获取图像特征、特征匹配，通过多视图几何、三角测量、姿态估计、光束平差BA优化、进行空三解算获得稀疏点云及相机姿态；
步骤3，在上一步输出图像、位姿基础上，通过深度图估计立体匹配算法，进行稠密重建，获得稠密点云；
步骤4，表面重建、纹理贴图获得实景模型。
2.根据权利要求1所述的方法，其特征在于，所述步骤2包括：
步骤2.1基于深度学习的特征提取、匹配
所述特征指的是能够在不同光照、不同视角下都能够稳定且可重复检测的2D图像的位置；
采用和L2-Net相似的网络结构，利用的是全卷积网络，同时feature map降维是利用卷积层的stride设置为2实现的；每个卷积后面都跟着一个BN层，但是该BN层的参数不会在训练过程中去更新，w和b固定为1和0；网络最后使用LRN层输出一个单位特征向量；其中输入是32×32 32\times 3232×32大小的patch，输出是128d的特征向量。
3.根据权利要求2所述的方法，其特征在于，所述步骤2还包括：
步骤2.2稀疏重建获取稀疏点云、相机位姿
首先选择寻找初始像对，运用归一化八点法进行基础矩阵F求解，解算获得相机内参K、外参R、T：
三角化求解对应位点坐标，由于噪声的存在两条直线往往不相交，所以采用非线性方法优化求解物点P三维坐标、相机内参K、外参R、T；
增量式重建逐步顺序加入联近影像构成影像对进行求解运算，并进行迭代优化重投影误差，利用光束平差BA优化，最终得到相机位姿、稀疏点云。
4.根据权利要求3所述的方法，其特征在于，所述步骤3包括：
3.1对一个参考影像，筛选用于和参考影像配对计算视差的原始影像；
3.2参考视差计算的经典框架，计算参考影像上特征对应的匹配代价，在通过代价聚合，计算深度值；
3.3进行深度过滤，优化初始深度图。
5.根据权利要求4所述的方法，其特征在于，所述步骤3还包括：
从深度图获取点云，图像坐标系转换为世界坐标系，变换约束条件为相机内参，公式为：
其中x,y,z是点云坐标系，x’,y’是图像坐标系，D为深度值。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序能够被处理器执行以实现如权利要求1-5中任一项所述的多视图几何无人机图像三维重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310151494.2A CN116612235A (zh) | 2023-02-22 | 2023-02-22 | 一种多视图几何无人机图像三维重建方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310151494.2A CN116612235A (zh) | 2023-02-22 | 2023-02-22 | 一种多视图几何无人机图像三维重建方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116612235A true CN116612235A (zh) | 2023-08-18 |
Family
ID=87677041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310151494.2A Pending CN116612235A (zh) | 2023-02-22 | 2023-02-22 | 一种多视图几何无人机图像三维重建方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612235A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934829A (zh) * | 2023-09-15 | 2023-10-24 | 天津云圣智能科技有限责任公司 | 无人机目标深度估计的方法、装置、存储介质及电子设备 |
-
2023
- 2023-02-22 CN CN202310151494.2A patent/CN116612235A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934829A (zh) * | 2023-09-15 | 2023-10-24 | 天津云圣智能科技有限责任公司 | 无人机目标深度估计的方法、装置、存储介质及电子设备 |
| CN116934829B (zh) * | 2023-09-15 | 2023-12-12 | 天津云圣智能科技有限责任公司 | 无人机目标深度估计的方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| CN115100339B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN108537876A (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
| CN108734728A (zh) | 一种基于高分辨序列图像的空间目标三维重构方法 | |
| CN110135455A (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN109815847B (zh) | 一种基于语义约束的视觉slam方法 | |
| CN108876814B (zh) | 一种生成姿态流图像的方法 | |
| CN112288875A (zh) | 一种面向无人机矿山巡检场景的快速三维重建方法 | |
| JP2014096152A (ja) | ポイントクラウド内の埋め戻しポイント | |
| CN111882668B (zh) | 一种多视角立体对象重建方法与系统 | |
| CN113192200B (zh) | 一种基于空三并行计算算法的城市实景三维模型的构建方法 | |
| CN112651881B (zh) | 图像合成方法、装置、设备、存储介质以及程序产品 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN114419028A (zh) | 融合空间多视角的输电线路绝缘子缺陷去重方法及装置 | |
| CN111860651A (zh) | 一种基于单目视觉的移动机器人半稠密地图构建方法 | |
| CN116612235A (zh) | 一种多视图几何无人机图像三维重建方法及存储介质 | |
| Wang et al. | Terrainfusion: Real-time digital surface model reconstruction based on monocular slam | |
| CN113393577B (zh) | 一种倾斜摄影地形重建方法 | |
| CN112862736B (zh) | 一种基于点的实时三维重建与优化方法 | |
| CN114202632A (zh) | 网格线性结构恢复方法、装置、电子设备及存储介质 | |
| CN116822100B (zh) | 一种数字孪生建模方法及其仿真试验系统 | |
| Zhang et al. | A stereo SLAM system with dense mapping | |
| CN116977596A (zh) | 一种基于多视角图像的三维建模系统及方法 | |
| Li et al. | Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |