CN116071484A - 一种大场景稀疏光场十亿像素级智能重建方法及装置 - Google Patents

一种大场景稀疏光场十亿像素级智能重建方法及装置 Download PDF

Info

Publication number
CN116071484A
CN116071484A CN202310208383.0A CN202310208383A CN116071484A CN 116071484 A CN116071484 A CN 116071484A CN 202310208383 A CN202310208383 A CN 202310208383A CN 116071484 A CN116071484 A CN 116071484A
Authority
CN
China
Prior art keywords
dimensional
light field
reconstruction
rough
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310208383.0A
Other languages
English (en)
Other versions
CN116071484B (zh
Inventor
方璐
王光宇
张晋之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202310208383.0A priority Critical patent/CN116071484B/zh
Publication of CN116071484A publication Critical patent/CN116071484A/zh
Application granted granted Critical
Publication of CN116071484B publication Critical patent/CN116071484B/zh
Priority to US18/351,742 priority patent/US11908067B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种大场景稀疏光场十亿像素级智能重建方法及装置，该方法包括：基于多视角三维重建系统得到粗糙三维几何模型；在粗糙三维几何模型上构建形变元隐式表征；对形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果。本发明在光场理解中采用了基于元形变的隐式表征，在稀疏的视角观测下，充分利用十亿像素级感知分辨率，通过元表面的特征映射与隐式光照建模，优化场景的精细几何结构与材质属性，实现十亿像素级超高分辨率的大场景稀疏光场重建与渲染。

Description

一种大场景稀疏光场十亿像素级智能重建方法及装置
技术领域
本发明涉及三维重建与智能理解/人工智能技术领域，特别是涉及一种大场景稀疏光场十亿像素级智能重建方法及装置。
背景技术
大场景稀疏光场的十亿像素级重建与渲染是人工智能、机器视觉、无人系统等领域的核心技术难题，其指的是：从十亿像素级超高分辨率的稀疏视角观测中提取出场景的几何结构、表面属性与全局光照信息，并在此基础上实现十亿像素级大场景光场重建与自由视点渲染。
目前，大场景光场的感知与重建之间存在显著的差距。借助最先进的计算成像技术已能够实现对于大场景光场的十亿像素级超高分辨率感知，而现有的重建算法却受制于表征的可扩展性，难以实现超高分辨率的大场景光场重建与渲染。在真实室外大场景中，人们对于光场的十亿像素级高分辨感知往往是稀疏的，较低的视角分辨率导致重建与渲染的精度大幅降低，在此情形下，十亿像素级的超高感知分辨率为重建算法提供了新的机遇与挑战。
大场景光场渲染是计算机视觉中广泛研究的基本问题。根据对场景表示方式的不同，可以将大场景光场渲染方法划分为两类：基于显式几何的方法与基于隐式几何的方法。基于显式几何的方法首先采用多视角三维重建技术恢复场景的三维模型，然后据此进行视角投影变换与多视角特征聚合，或采用特征描述子对三维模型进行增强，并通过可微渲染与特征解码器生成场景光场的新视点渲染。此类方法适用于几何结构简单的大场景，在对分辨率要求不高时能够获得较好的渲染效果。基于隐式几何的方法将大场景的几何结构建模为连续的体密度场或有向距离场，采用神经辐射场表示三维空间中的光场分布，并利用多视角色彩一致性端到端地优化几何与光场的隐式表示。此类方法显著依赖于密集采样的输入视角，难以根据稀疏观测生成高质量的大场景新视角渲染。
基于稀疏观测进行新视角渲染在AR/VR等领域有着广泛的应用。现有方法大多采用数据驱动的方式获取稀疏光场先验，例如将稀疏视角特征作为网络输入，通过不同场景上的大量训练来提升算法在稀疏视角下的泛化性能。这类方法能够胜任几何结构较为单一的场景，但难以泛化到复杂的真实大场景中。另一些方法通过引入几何先验或正则项来提升其对于稀疏光场的鲁棒性，例如采用深度补全方法对初始深度预测进行修正或设计正则化损失来约束几何结构的解空间。但是，这类方法无法表示精细的几何结构，因此难以生成逼真且分辨率较高的新视角光场渲染。
现有技术方案：将多视角三维重建系统与光场渲染技术结合，或者在冗余的三维空间中隐式地优化几何表示。对于前者，当观测视角较为稀疏时，几何重建的精度较低且相邻观测视角信息差异显著，此类方法难以针对几何结构进行精细优化，因此在渲染新视角时难以生成高分辨率的细节与逼真的高光颜色。对于后者，即使引入几何先验，此类方法仍然难以根据稀疏光场恢复出有效的几何结构，从而严重制约了隐式光场表征的表示能力。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
针对上述问题，本发明提出了一种大场景稀疏光场十亿像素级智能重建方法，基于十亿像素级超高分辨率的稀疏视角观测，利用感知分辨率弥补视角分辨率，针对复杂大场景实现超高分辨率的新视角光场渲染。
本发明的另一个目的在于提出一种大场景稀疏光场十亿像素级智能重建装置。
为达上述目的，本发明一方面提出一种大场景稀疏光场十亿像素级智能重建方法，包括：
基于多视角三维重建系统得到粗糙三维几何模型；
在所述粗糙三维几何模型上构建形变元隐式表征；
对所述形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果。
进一步的本发明实施例的大场景稀疏光场十亿像素级智能重建方法还可以具有以下附加技术特征：
进一步地，所述基于多视角三维重建系统得到粗糙三维几何模型，包括：
利用多视角三维重建系统获取三维点云；
根据所述三维点云和泊松表面重建方法得到粗糙三维表面模型；以及，
使用曲面参数化方法将所述粗糙三维表面模型进行局部共形的参数化，得到若干个局部面片的二维参数网格以得到所述粗糙三维几何模型。
进一步地，所述在所述粗糙三维几何模型上构建形变元隐式表征，包括：
将所述局部面片的二维参数网格归一化为矩形，并将矩形采样点在所述二维参数网格上经过插值得到的特征向量输入元形变网络，输出得到矩形采样点在高维特征空间的形变量；
将基于所述形变量得到的高维特征向量输入特征映射网络，输出得到矩形采样点的法向量、漫反射颜色值、非朗伯材质属性以及几何特征向量；
将矩形采样点的观测角度值、所述矩形采样点的法向量、所述非朗伯材质属性以及所述几何特征向量输入神经渲染器，输出得到当前观测方向上的高光颜色值，根据所述高光颜色值和所述漫反射颜色值得到矩形采样点的颜色预测结果。
进一步地，所述对所述形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果，包括：
构建多层感知机网络模型；
将所述矩形采样点的坐标、插值得到的特征向量、观测角度值输入所述多层感知机网络模型，输出得到矩形采样点的色彩RGB值。
进一步地，所述方法，还包括：
获取所述大场景光场的稀疏视角图像；
随机选取多视角的所述稀疏视角图像上的多个像素进行反投影，每个像素发出一条射线，计算各像素射线穿过的粗糙三维表面上的点，并计算各点渲染出的颜色值。
为达上述目的，本发明另一方面提出一种大场景稀疏光场十亿像素级智能重建装置，包括：
模型获取模块，用于基于多视角三维重建系统得到粗糙三维几何模型；
表征构建模块，用于在所述粗糙三维几何模型上构建形变元隐式表征；
光场重建模块，用于对所述形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果。
本发明实施例的大场景稀疏光场十亿像素级智能重建方法和装置，实现高分辨率、高保真度的大场景稀疏光场自由视点渲染。使用基于形变元的特征映射和隐式光照建模，实现了稀疏视角下的大场景光场自由视点渲染。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的大场景稀疏光场十亿像素级智能重建方法的流程图；
图2是根据本发明实施例的大场景稀疏光场十亿像素级神经渲染运行框图；
图3是根据本发明实施例的元形变表征示意图；
图4是根据本发明实施例的基于元形变表征的神经渲染网络结构示意图；
图5是根据本发明实施例的大场景稀疏光场新视点渲染结果图；
图6是根据本发明实施例的大场景稀疏光场新视点渲染结果图；
图7是根据本发明实施例的大场景稀疏光场十亿像素级渲染结果图；
图8是根据本发明实施例的大场景稀疏光场十亿像素级智能重建装置的结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的大场景稀疏光场十亿像素级智能重建方法和装置。
图1是本发明实施例的大场景稀疏光场十亿像素级智能重建方法的流程图。
如图1所示，该方法包括但不限于以下步骤：
步骤S1，基于多视角三维重建系统得到粗糙三维几何模型。
具体的，本发明使用现有的多视角三维重建系统获取三维点云，用现有的泊松表面重建方法恢复出完整度较高但精度很低的粗糙三维表面模型，并使用已有曲面参数化方法将三维表面模型进行局部共形的参数化，得到若干局部面片的二维参数网格。
优选地，本发明可以采用深度传感器获取粗糙三维表面：包括但不限于双目深度传感器、结构光传感器、ToF传感器等。
步骤S2，在粗糙三维几何模型上构建形变元隐式表征。
具体的，本发明的元形变表征，如图3所示。为了更有效地编码高分辨稀疏光场信息，本发明将每一个局部面片对应的二维参数网格归一化为矩形，并在四个顶点分别定义一个可优化的特征向量。
作为一个实施例，本发明使用了一个基于多层感知机(MLP)的元形变网络，将采样点在其二维参数网格上经过邻域插值得到的特征向量作为输入，输出该点在高维特征空间的形变量，用于刻画精细的几何结构与多视角一致性。为了描述场景的物理材质属性，使用基于多层感知机的特征映射网络，将采样点形变后的高维特征向量作为输入，输出该点的法向量、漫反射颜色、非朗伯材质属性以及一个高维的几何特征向量。为了逼真地渲染场景中与视角相关的光场信息，构建了基于多感知机网络的神经渲染器，对场景的光照信息与反射光场进行了隐式建模。该渲染器输入包括观测视角方向、采样点的法向量、非朗伯材质属性以及几何特征向量，输出是该点在当前观测方向上呈现的高光颜色，与漫反射颜色相加后得到采样点最终的颜色预测。如图4所示，为基于元形变表征的神经渲染网络结构示意图。
步骤S3，对形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果。
具体地，本发明给几何基元上的每个点定义一个色彩属性，并用第三个多层感知机网络来建模，输入为该点的坐标、插值得到的特征向量、观测视角，输出为该点的色彩RGB值。
进一步地，给定大场景的稀疏视角图像，随机选取多视角图像上的若干像素进行反投影，每个像素发出一条射线，利用光栅化可微渲染器计算各像素射线穿过的粗糙三维表面上的点，随后将各点通过步骤S2计算渲染出的颜色。同时本发明使用多视角图像作为监督信号，同时对元形变表征的特征向量与网络参量进行优化。
综上，本发明在光场理解中采用了基于元形变的隐式表征，在稀疏的视角观测下，充分利用十亿像素级感知分辨率，通过元表面的特征映射与隐式光照建模，优化场景的精细几何结构与材质属性， 实现十亿像素级超高分辨率的大场景稀疏光场重建与渲染。如图2所示的图2中的（a）、图2中的（b）和图2中的（c）为大场景稀疏光场十亿像素级神经渲染运行框图。
在本实施例中，本发明使用Tanks and Temples、ETH3D、GigaMVS数据集对元形变表征进行训练和测试。测试结果表明，本发明可以有效地提升大场景稀疏光场自由视点渲染的精细度、颜色真实度以及各项数值指标。重建结果如图5，图6，图7所示。其中，图5左边两列为目前最优算法的渲染效果，图5第三列为本发明提出方法的渲染效果，第四列为Tanks and Temples数据集提供的真实参考图像。
图6左边三列为现有最优算法的渲染效果，第四列为本发明提出方法的渲染效果，第五列为ETH3D数据集提供的真实参考图像。
图7左边三列为现有最优算法的渲染效果，第四列为本发明提出方法的渲染效果，第五列为GigaMVS数据集提供的真实参考图像。
进一步地，通过实验验证了在Tanks and Temples、ETH3D、GigaMVS数据集下，均可以生成颜色真实度高且细节丰富的新视点渲染结果。具体来说，本发明从Tanks andTemples、ETH3D、GigaMVS数据集中选取了15个大场景数据，测试算法在稀疏输入视角下的性能。本发明的方法在PSNR，SSIM，LPIPS三项常用指标上均表现出明显优势。测试结果表明，本发明可以有效地提升大场景稀疏光场自由视点渲染的质量，在精度和颜色真实度方面相较于当前最好的方法有明显的提升。
根据本发明实施例的大场景稀疏光场十亿像素级智能重建方法，使得渲染结果具有更丰富的细节与高保真的颜色。定义在局部的元形变表征能够对复杂大场景的光场信息进行有效地表示与压缩存储。基于该表征的渲染与优化效率较高。基于十亿像素级超高分辨率的稀疏视角观测，利用感知分辨率弥补视角分辨率，针对复杂大场景实现超高分辨率的新视角光场渲染。
为了实现上述实施例，如图8所示，本实施例中还提供了大场景稀疏光场十亿像素级智能重建装置10，该装置10包括，模型获取模块100、表征构建模块200和光场重建模块300。
模型获取模块100，用于基于多视角三维重建系统得到粗糙三维几何模型；
表征构建模块200，用于在粗糙三维几何模型上构建形变元隐式表征；
光场重建模块300，用于对形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果。
进一步地，上述模型获取模块100，还用于：
利用多视角三维重建系统获取三维点云；
根据三维点云和泊松表面重建方法得到粗糙三维表面模型；以及，
使用曲面参数化方法将粗糙三维表面模型进行局部共形的参数化，得到若干个局部面片的二维参数网格以得到粗糙三维几何模型。
进一步地，上述表征构建模块200，还用于：
将局部面片的二维参数网格归一化为矩形，并将矩形采样点在二维参数网格上经过插值得到的特征向量输入元形变网络，输出得到矩形采样点在高维特征空间的形变量；
将基于形变量得到的高维特征向量输入特征映射网络，输出得到矩形采样点的法向量、漫反射颜色值、非朗伯材质属性以及几何特征向量；
将矩形采样点的观测角度值、矩形采样点的法向量、非朗伯材质属性以及几何特征向量输入神经渲染器，输出得到当前观测方向上的高光颜色值，根据高光颜色值和漫反射颜色值得到矩形采样点的颜色预测结果。
进一步地，上述光场重建模块300，还用于：
构建多层感知机网络模型；
将矩形采样点的坐标、插值得到的特征向量、观测角度值输入多层感知机网络模型，输出得到矩形采样点的色彩RGB值。
进一步地，装置10，还包括渲染模块，用于：
获取大场景光场的稀疏视角图像；
随机选取多视角的稀疏视角图像上的多个像素进行反投影，每个像素发出一条射线，计算各像素射线穿过的粗糙三维表面上的点，并计算各点渲染出的颜色值。
根据本发明实施例的大场景稀疏光场十亿像素级智能重建装置，使得渲染结果具有更丰富的细节与高保真的颜色。定义在局部的元形变表征能够对复杂大场景的光场信息进行有效地表示与压缩存储。基于该表征的渲染与优化效率较高。基于十亿像素级超高分辨率的稀疏视角观测，利用感知分辨率弥补视角分辨率，针对复杂大场景实现超高分辨率的新视角光场渲染。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

Claims (10)

1.一种大场景稀疏光场十亿像素级智能重建方法，其特征在于，包括以下步骤：
基于多视角三维重建系统得到粗糙三维几何模型；
在所述粗糙三维几何模型上构建形变元隐式表征；
对所述形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果。
2.根据权利要求1所述的方法，其特征在于，所述基于多视角三维重建系统得到粗糙三维几何模型，包括：
利用多视角三维重建系统获取三维点云；
根据所述三维点云和泊松表面重建方法得到粗糙三维表面模型；以及，
使用曲面参数化方法将所述粗糙三维表面模型进行局部共形的参数化，得到若干个局部面片的二维参数网格以得到所述粗糙三维几何模型。
3.根据权利要求2所述的方法，其特征在于，所述在所述粗糙三维几何模型上构建形变元隐式表征，包括：
将所述局部面片的二维参数网格归一化为矩形，并将矩形采样点在所述二维参数网格上经过插值得到的特征向量输入元形变网络，输出得到矩形采样点在高维特征空间的形变量；
将基于所述形变量得到的高维特征向量输入特征映射网络，输出得到矩形采样点的法向量、漫反射颜色值、非朗伯材质属性以及几何特征向量；
将矩形采样点的观测角度值、所述矩形采样点的法向量、所述非朗伯材质属性以及所述几何特征向量输入神经渲染器，输出得到当前观测方向上的高光颜色值，根据所述高光颜色值和所述漫反射颜色值得到矩形采样点的颜色预测结果。
4.根据权利要求3所述的方法，其特征在于，所述对所述形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果，包括：
构建多层感知机网络模型；
将所述矩形采样点的坐标、插值得到的特征向量、观测角度值输入所述多层感知机网络模型，输出得到矩形采样点的色彩RGB值。
5.根据权利要求4所述的方法，其特征在于，所述方法，还包括：
获取所述大场景光场的稀疏视角图像；
随机选取多视角的所述稀疏视角图像上的多个像素进行反投影，每个像素发出一条射线，计算各像素射线穿过的粗糙三维表面上的点，并计算各点渲染出的颜色值。
6.一种大场景稀疏光场十亿像素级智能重建装置，其特征在于，包括：
模型获取模块，用于基于多视角三维重建系统得到粗糙三维几何模型；
表征构建模块，用于在所述粗糙三维几何模型上构建形变元隐式表征；
光场重建模块，用于对所述形变元隐式表征进行优化，以得到大场景光场的自由视点渲染的光场重建结果。
7.根据权利要求6所述的装置，其特征在于，所述模型获取模块，还用于：
利用多视角三维重建系统获取三维点云；
根据所述三维点云和泊松表面重建方法得到粗糙三维表面模型；以及，
使用曲面参数化方法将所述粗糙三维表面模型进行局部共形的参数化，得到若干个局部面片的二维参数网格以得到所述粗糙三维几何模型。
8.根据权利要求7所述的装置，其特征在于，所述表征构建模块，还用于：
将所述局部面片的二维参数网格归一化为矩形，并将矩形采样点在所述二维参数网格上经过插值得到的特征向量输入元形变网络，输出得到矩形采样点在高维特征空间的形变量；
将基于所述形变量得到的高维特征向量输入特征映射网络，输出得到矩形采样点的法向量、漫反射颜色值、非朗伯材质属性以及几何特征向量；
将矩形采样点的观测角度值、所述矩形采样点的法向量、所述非朗伯材质属性以及所述几何特征向量输入神经渲染器，输出得到当前观测方向上的高光颜色值，根据所述高光颜色值和所述漫反射颜色值得到矩形采样点的颜色预测结果。
9.根据权利要求8所述的装置，其特征在于，所述光场重建模块，还用于：
构建多层感知机网络模型；
将所述矩形采样点的坐标、插值得到的特征向量、观测角度值输入所述多层感知机网络模型，输出得到矩形采样点的色彩RGB值。
10.根据权利要求9所述的装置，其特征在于，所述装置，还包括渲染模块，用于：
获取所述大场景光场的稀疏视角图像；
随机选取多视角的所述稀疏视角图像上的多个像素进行反投影，每个像素发出一条射线，计算各像素射线穿过的粗糙三维表面上的点，并计算各点渲染出的颜色值。
CN202310208383.0A 2023-03-07 2023-03-07 十亿像素级大场景光场智能重建方法及装置 Active CN116071484B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310208383.0A CN116071484B (zh) 2023-03-07 2023-03-07 十亿像素级大场景光场智能重建方法及装置
US18/351,742 US11908067B1 (en) 2023-03-07 2023-07-13 Method and device for gigapixel-level light field intelligent reconstruction of large-scale scene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310208383.0A CN116071484B (zh) 2023-03-07 2023-03-07 十亿像素级大场景光场智能重建方法及装置

Publications (2)

Publication Number Publication Date
CN116071484A true CN116071484A (zh) 2023-05-05
CN116071484B CN116071484B (zh) 2023-06-20

Family

ID=86176955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310208383.0A Active CN116071484B (zh) 2023-03-07 2023-03-07 十亿像素级大场景光场智能重建方法及装置

Country Status (2)

Country Link
US (1) US11908067B1 (zh)
CN (1) CN116071484B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095119A (zh) * 2023-08-17 2023-11-21 郑州众益信息科技有限公司 一种地空一体测绘方法及系统
CN117372602A (zh) * 2023-12-05 2024-01-09 成都索贝数码科技股份有限公司 一种异构三维多对象融合渲染方法、设备及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129352A (zh) * 2021-04-30 2021-07-16 清华大学 一种稀疏光场重建方法及装置
CN114463172A (zh) * 2022-01-05 2022-05-10 上海师范大学 一种面向视图一致性的光场图像超分辨率重建方法
CN114494610A (zh) * 2022-04-14 2022-05-13 清华大学 大场景光场实时重建智能理解系统与装置
WO2022133944A1 (zh) * 2020-12-24 2022-06-30 华为技术有限公司 图像处理方法和图像处理装置
CN115115797A (zh) * 2022-08-25 2022-09-27 清华大学 大场景稀疏光场语义驱动智能重建方法、系统与装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983815B2 (en) * 2021-05-28 2024-05-14 Nvidia Corporation Synthesizing high resolution 3D shapes from lower resolution representations for synthetic data generation systems and applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022133944A1 (zh) * 2020-12-24 2022-06-30 华为技术有限公司 图像处理方法和图像处理装置
CN113129352A (zh) * 2021-04-30 2021-07-16 清华大学 一种稀疏光场重建方法及装置
CN114463172A (zh) * 2022-01-05 2022-05-10 上海师范大学 一种面向视图一致性的光场图像超分辨率重建方法
CN114494610A (zh) * 2022-04-14 2022-05-13 清华大学 大场景光场实时重建智能理解系统与装置
CN115115797A (zh) * 2022-08-25 2022-09-27 清华大学 大场景稀疏光场语义驱动智能重建方法、系统与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
游耀堂: ""基于稀疏表示理论的光场图像超分辨率重建算法研究"", 《华南理工大学硕士学位论文》, no. 1 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095119A (zh) * 2023-08-17 2023-11-21 郑州众益信息科技有限公司 一种地空一体测绘方法及系统
CN117095119B (zh) * 2023-08-17 2024-05-28 郑州众益信息科技有限公司 一种地空一体测绘方法及系统
CN117372602A (zh) * 2023-12-05 2024-01-09 成都索贝数码科技股份有限公司 一种异构三维多对象融合渲染方法、设备及系统
CN117372602B (zh) * 2023-12-05 2024-02-23 成都索贝数码科技股份有限公司 一种异构三维多对象融合渲染方法、设备及系统

Also Published As

Publication number Publication date
CN116071484B (zh) 2023-06-20
US11908067B1 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
CN116071484B (zh) 十亿像素级大场景光场智能重建方法及装置
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
CN114998548B (zh) 一种图像重建的方法和系统
CN115115797B (zh) 大场景稀疏光场语义驱动智能重建方法、系统与装置
CN113313828B (zh) 基于单图片本征图像分解的三维重建方法与系统
CN118076977A (zh) 使用分层神经表示的可编辑自由视点视频
CN116721210A (zh) 基于神经有符号距离场的实时高效三维重建方法及装置
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
Liu et al. Creating simplified 3D models with high quality textures
Shalma et al. A review on 3D image reconstruction on specific and generic objects
CN117252987B (zh) 一种基于显式和隐式混合编码的动态场景重建方法
CN117635801A (zh) 基于实时渲染可泛化神经辐射场的新视图合成方法及系统
CN117315153A (zh) 一种协同光场与占用场的人体重建与渲染方法及装置
He et al. CP‐NeRF: Conditionally Parameterized Neural Radiance Fields for Cross‐scene Novel View Synthesis
Yao et al. Real-time stereo to multi-view conversion system based on adaptive meshing
CN114219900A (zh) 基于混合现实眼镜的三维场景重建方法、重建系统和应用
Zhang et al. Garfield++: Reinforced gaussian radiance fields for large-scale 3d scene reconstruction
KR20220069827A (ko) 절삭 부호화 거리 함수를 이용한 3차원 볼륨 해상도 변환 방법 및 장치
Zhang et al. CURL: Continuous, Ultra-compact Representation for LiDAR
Cai et al. Nerf-based multi-view synthesis techniques: A survey
Wang et al. NeRO: Neural Road Surface Reconstruction
Zeng et al. Oblique-MERF: Revisiting and Improving MERF for Oblique Photography
Austin 3D Scene Part Decomposition
Zhao et al. Generalizable 3D Gaussian Splatting for novel view synthesis
CN118314299A (zh) 基于分离模型的快速神经辐射场三维重建方法、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant