CN114820916A - 基于gpu的大型场景三维稠密重建方法 - Google Patents

基于gpu的大型场景三维稠密重建方法 Download PDF

Info

Publication number
CN114820916A
CN114820916A CN202110093576.7A CN202110093576A CN114820916A CN 114820916 A CN114820916 A CN 114820916A CN 202110093576 A CN202110093576 A CN 202110093576A CN 114820916 A CN114820916 A CN 114820916A
Authority
CN
China
Prior art keywords
matching
image
reconstruction
dimensional
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110093576.7A
Other languages
English (en)
Other versions
CN114820916B (zh
Inventor
刘怡光
孙尚
郑豫楠
史雪蕾
徐振宇
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110093576.7A priority Critical patent/CN114820916B/zh
Publication of CN114820916A publication Critical patent/CN114820916A/zh
Application granted granted Critical
Publication of CN114820916B publication Critical patent/CN114820916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Operations Research (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于GPU的大型场景三维稠密重建方法，属于计算机三维立体视觉领域。本发明通过利用局部相关性与熵，为二维图像中的不同像素自动分配合适的匹配窗口大小，以改善对弱纹理区域与随机纹理区域的重建效果；同时使用了兼顾重叠区域与相机参数的临近图像选取策略，为每幅图像选取合适数量的临近图像进行立体匹配；此外本发明在立体匹配中使用自适应多图匹配度集成损失方程来合理使用匹配冗余信息；通过采取以上策略，本发明让重建模型有着较高的精确度与完整度。本发明可在图形处理器（GPU）上并行部署，可实现对大规模场景的高质量快速重建。

Description

基于GPU的大型场景三维稠密重建方法
技术领域
本发明是一种基于GPU的大型场景三维稠密重建算法，属于计算机三维立体视觉领域。
背景技术
三维稠密重建是计算机视觉中的一个重要研究方向，其目的是通过场景的一些二维摄影图像与图像所对应的相机参数恢复出场景的稠密三维结构模型，如点云模型；三维重构在在文物保护、逆向CAD、旅游、虚拟现实等领域都有着广泛的应用；基于深度图融合的三维稠密重建算法的大致流程为先恢复出每一张二维图像中的每个像素的深度信息，并通过对这些深度信息进行融合，最后得到三维模型。
虽然现已有多种算法达到了较好的重建效果，但因在立体匹配中使用的相似度衡量方法仅能衡量局部相似性，当遇到平滑区域(如墙面)与重复纹理区域(如草地)时，使用这些方法往往不能较好地恢复这些区域的结构，扩大匹配窗口可以改善该问题，但如对所有像素均使用较大的匹配窗口，会造成重建结果过于平滑，丢失细节信息，且会消耗大量的计算时间与资源。
因大型场景往往包含较多图像，恢复单张图像地深度值时，若使用所有其它图像来进行立体匹配，会极大地增加内存占用与计算时间；只使用少量临近图像可以改善该问题，但选取合适的临近图像也是一个难题，如两图像相邻过远，会改善重建结果的精度，但两图像重叠区域较少，会让重建结果的完整度降低；如两图像距离过近，会改善重建结果的完整度，但会引入更多的误差。
使用多张图像进行立体匹配可以产生更多的冗余信息，合理地利用冗余信息可以减少重建过程中结果陷入局部最优解的几率，让重建结果得到改善。
发明内容
本发明的目的在于提出了一种基于GPU的大型场景三维稠密重建方法，其可以在保证精确度与完整度的情况下，高效地实现大型场景的三维稠密重建。
本发明的通过局部像素相关性与像素熵值为立体匹配过程中的每一个像素分配合适的匹配窗口大小；同时结合图像重叠区域信息与图像所对应相机参数信息，为每幅图像选取合适数量的临近图像用于立体匹配；最后本发明使用了一种新的损失函数方程，能够更好地集成来自不同邻近图像的匹配信息并改善重建结果。
本发明的基于GPU的大型场景三维稠密重建方法步骤如下所示：
1.读取场景包含的二维图像与图像相对应的相机参数(内参与外参)，以及由Structure From Motion(SFM)软件输出的稀疏重建结果。
2.根据局部像素相关性与像素熵值来为每个像素选取合适的匹配窗口大小，从而改善对弱纹理区域与随机纹理区域的重建效果，步骤如下：
1)对于每一幅图像，对每个像素计算不同匹配窗口大小下的熵值，以此来初步判定匹配窗口大小。
2)通过计算每个像素与临近像素的Zero-mean Normalized Cross correlation(ZNCC)值，通过ZNCC值来调整匹配窗口大小。
3.根据图像交叠区域信息与图像所对应相机参数信息为每张图像选取适当数量的临近图像用于立体匹配，步骤如下：
1)通过投影点位置变化过滤掉离所选图像过近的图像。
2)使用重叠区域、基线距离、相机主轴夹角对保留的图像进行排序，并选取前K个图像作为临近图像用于立体匹配。
4.使用SFM输出的稀疏三维点对每幅图像的深度值辅助进行随机初始化。
5.使用基于PatchMatch与红-黑模式(black-red pattern)传播的方法，并使用本发明所提出的损失函数进行立体匹配。
6.为每个像素通过随机扰动产生新的深度值和法向量，并与旧值排列组合，产生新的组合，如新组合能减小匹配损失，则用新组合代替旧组合。
7.重复步骤5和6固定次数。
8.使用几何一致性对重建结果进行过滤，删除错误重建点，同时将所有点反投影至三维空间中，进行融合，最终生成所需点云模型。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施来进行进一步进行描述。
1.读取场景包含的二维图像与图像相对应的相机参数(内参与外参)，以及由Structure From Motion(SFM)软件输出的稀疏重建结果。
2.根据局部像素相关性与像素熵值来为每个像素选取合适的匹配窗口大小，从而改善对弱纹理区域与随机纹理区域的重建效果，步骤如下：
1)对于每一幅图像，首先计算以所选像素x为中心，以匹配窗口边长为边长的方形窗口内所有像素的熵值，I(x)为像素x的亮度值，像素亮度值在此被离散化为0-255的整数，H(x)既为所求的熵值；将匹配窗口大小逐渐扩大直至H(x)达到阈值tH，若使用允许的最大匹配窗口仍不能达到tH，则将该像素对应的匹配窗口置为最大匹配窗。
Figure BDA0002912272940000031
Figure BDA0002912272940000038
H(x)＝∑z-h(z)log(h(z)) (3)
2)计算每个像素与临近像素的Zero-mean Normalized Cross correlation(ZNCC)值，相邻像素为以所选像素为中心，边长为r的正方形窗口内的像素；统计ZNCC值大于α的相邻像素的个数，若数量小于tα，则将此像素的匹配窗口置为所使用的最大窗口。
3.根据图像交叠区域信息与图像所对应相机参数信息为每张图像选取适当数量的临近图像用于立体匹配，步骤如下：
1)使用τ来过滤距离当前所选图像过小的其它图像，X为SFM软件输出的稀疏三维点，Ci为当前所选图像的相机光心，x′j和
Figure BDA0002912272940000032
对应着X与
Figure BDA0002912272940000033
在其它图像j上的投影点，集合A代表所选图像与其他图像j均可观测到的三维稀疏点集。
Figure BDA0002912272940000034
Figure BDA0002912272940000035
2)使用ζ对保留的图像进行从小到大排序，并选取前K个图像作为临近图像用于立体匹配，NA是两图像共同可见三维稀疏点的数量，bij为两图对应相机间的基线长度，
Figure BDA0002912272940000036
为两相机主轴夹角。
Figure BDA0002912272940000037
4.使用SFM输出的稀疏三维点对每幅图像的深度值进行辅助随机初始化，当所选像素左上，左下，右上，右下区域均存在SFM软件重建的稀疏三维点所对应的二维特征点，且这些特征点到所选像素的距离小于w，可见图像数量大于v时，选取范围在这些点最小深度与最大深度之间的随机值作为该像素所对应的初始深度值；对于未满足以上条件的点，在根据场景设定的最小深度值和最大深度值间随机选取值进行初始化。
5.使用基于PatchMatch与红-黑模式(black-red pattern)传播的方法，将较优的深度和法向量信息传播至周围像素，进行立体匹配，在匹配过程中使用本发明提出的损失方程，Z(x，j)代表使用x的深度与法向量信息在图像j上计算产生的ZNCC值，C(x，j)代表归一化后的匹配损失值，C(x)为集成后的损失方程，ω为奖励因子以平衡重建结果损失值与该像素可视图像数量。
Figure BDA0002912272940000041
Figure BDA0002912272940000042
6.为每个像素通过随机扰动产生新的深度值和法向量，并与旧值排列组合，产生新的组合，如新组合能减小匹配损失，则用新组合代替旧组合。
7.重复步骤5和6固定次数。
8.使用几何一致性对重建结果进行过滤，删除错误重建点，同时将所有点反投影至三维空间中，进行融合，最终生成所需点云模型。

Claims (4)

1.一种基于GPU的大型场景三维稠密重建方法，其特征主要包含如下步骤：
1)读取场景包含的二维图像与图像相对应的相机参数(内参与外参)，以及由Structure From Motion(SFM)软件输出的稀疏重建结果；
2)通过局部像素的相关性与像素熵值为每幅二维图像中的每个像素分配合适的匹配窗口大小；
3)利用图像间交叠区域信息与相机参数信息来为每幅二维图像选择合适的用于进行立体匹配的临近图像；
4)利用稀疏重建结果辅助随机初始化每个像素对应的深度信息与平面法向量；
5)使用基于PatchMatch与红-黑模式(black-red pattern)传播的立体匹配方法，将较优的深度和法向量信息传播至周围像素，进行稠密重建；
6)使用随机扰动生成新的深度与法向量候选，如其能增强匹配度，则替换旧值；
7)重复5)与6)固定次数；
8)使用几何一致性对重建结果进行过滤，删除错误重建点，同时将所有点反投影至三维空间中，进行融合，最终生成所需点云模型。
2.根据权利要求1所述的基于GPU的大型场景三维稠密重建方法，其特征在于，所述步骤2)中，可以通过图像像素信息自动进行匹配窗口大小选择：
1)计算当匹配窗口不同时，以所选像素为中心点的匹配窗口内像素的熵值，并以此初步确定匹配窗口大小；
2)计算所选像素与其相邻像素的Zero-mean Normalized Cross correlation(ZNCC)值，并统计ZNCC大于tα的个数α，并通过α对初步确定的匹配窗口大小进行调整。
3.根据权利要求1所述的基于GPU的大型场景三维稠密重建方法，其特征在于所述步骤3)中，首先通过使用SFM软件输出的稀疏重建结果来过滤掉距离过近的图像；之后用稀疏重建结果初步判定图像交交叠区域，并与图像所对应相机间的主轴夹角、极线长度进行参数融合，为每幅图像选出合适的用于立体匹配的临近图像。
4.根据权利要求1所述的基于GPU的大型场景三维稠密重建方法，其特征在于所述步骤5)中，提出了损失方程，C(x，j)为使用像素x的深度信息和法向量在临近图像j上得到的匹配误差，C(x)表示集成后的误差：
C(x，j)＝(1+eγZ(x，j))-1 (1)
Figure FDA0002912272930000021
1)适当地舍弃邻近边缘部分的重建结果；
2)通过Sigmod方程对使用不同临近图像计算得到的匹配度进行归一化；
3)使用奖励因子w来平衡匹配度与可见图像数量；
4)为不同的C(x，j)分配不同的权重。
CN202110093576.7A 2021-01-22 2021-01-22 基于gpu的大型场景三维稠密重建方法 Active CN114820916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110093576.7A CN114820916B (zh) 2021-01-22 2021-01-22 基于gpu的大型场景三维稠密重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110093576.7A CN114820916B (zh) 2021-01-22 2021-01-22 基于gpu的大型场景三维稠密重建方法

Publications (2)

Publication Number Publication Date
CN114820916A true CN114820916A (zh) 2022-07-29
CN114820916B CN114820916B (zh) 2023-05-23

Family

ID=82523893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110093576.7A Active CN114820916B (zh) 2021-01-22 2021-01-22 基于gpu的大型场景三维稠密重建方法

Country Status (1)

Country Link
CN (1) CN114820916B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715504A (zh) * 2015-02-12 2015-06-17 四川大学 一种鲁棒的大场景稠密三维重建方法
CN105336003A (zh) * 2015-09-28 2016-02-17 中国人民解放军空军航空大学 结合gpu技术实时流畅绘制出三维地形模型的方法
CN111798505A (zh) * 2020-05-27 2020-10-20 大连理工大学 一种基于单目视觉的三角化测量深度的稠密点云重建方法及系统
CN111968218A (zh) * 2020-07-21 2020-11-20 电子科技大学 基于gpu集群的三维重建算法并行化方法
CN112085845A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 基于无人机影像的室外场景快速三维重建装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715504A (zh) * 2015-02-12 2015-06-17 四川大学 一种鲁棒的大场景稠密三维重建方法
CN105336003A (zh) * 2015-09-28 2016-02-17 中国人民解放军空军航空大学 结合gpu技术实时流畅绘制出三维地形模型的方法
CN111798505A (zh) * 2020-05-27 2020-10-20 大连理工大学 一种基于单目视觉的三角化测量深度的稠密点云重建方法及系统
CN111968218A (zh) * 2020-07-21 2020-11-20 电子科技大学 基于gpu集群的三维重建算法并行化方法
CN112085845A (zh) * 2020-09-11 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 基于无人机影像的室外场景快速三维重建装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王莹等: "一种提升3维重建精度和效率的图像选择方法" *

Also Published As

Publication number Publication date
CN114820916B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
US10484663B2 (en) Information processing apparatus and information processing method
US10540576B1 (en) Panoramic camera systems
Li et al. PMSC: PatchMatch-based superpixel cut for accurate stereo matching
JP6143747B2 (ja) 深度測定の品質の向上
Tsai et al. Block-based vanishing line and vanishing point detection for 3D scene reconstruction
CN108776989B (zh) 基于稀疏slam框架的低纹理平面场景重建方法
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN113345082B (zh) 一种特征金字塔多视图三维重建方法和系统
CN103996202A (zh) 一种基于混合匹配代价和自适应窗口的立体匹配方法
Yang et al. Non-parametric depth distribution modelling based depth inference for multi-view stereo
Jin et al. Occlusion-aware unsupervised learning of depth from 4-d light fields
CN114332125A (zh) 点云重建方法、装置、电子设备和存储介质
CN113963117A (zh) 一种基于可变卷积深度网络的多视图三维重建方法及装置
CN114419568A (zh) 一种基于特征融合的多视角行人检测方法
Cheng et al. GaussianPro: 3D Gaussian Splatting with Progressive Propagation
CN113034666A (zh) 一种基于金字塔视差优化代价计算的立体匹配方法
CN112184731A (zh) 一种基于对抗性训练的多视图立体深度估计方法
Lu et al. Depth-based view synthesis using pixel-level image inpainting
US8847954B1 (en) Methods and systems to compute 3D surfaces
CN114820916A (zh) 基于gpu的大型场景三维稠密重建方法
CN115619974A (zh) 基于改进PatchMatch网络的大型场景三维重建方法、重建装置、设备及存储介质
Morreale et al. Dense 3D visual mapping via semantic simplification
RU2716311C1 (ru) Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети
CN112489204A (zh) 基于rgb图像的3d房间布局重建系统
Zhang et al. Multi-view depth estimation with color-aware propagation and texture-aware triangulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant