CN113140033B - 基于可微渲染的单张积云图像重建方法 - Google Patents
基于可微渲染的单张积云图像重建方法 Download PDFInfo
- Publication number
- CN113140033B CN113140033B CN202110336694.6A CN202110336694A CN113140033B CN 113140033 B CN113140033 B CN 113140033B CN 202110336694 A CN202110336694 A CN 202110336694A CN 113140033 B CN113140033 B CN 113140033B
- Authority
- CN
- China
- Prior art keywords
- cloud
- image
- contour
- voxel
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000009877 rendering Methods 0.000 title claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000009826 distribution Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 229930014626 natural product Natural products 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 28
- 238000012549 training Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000002910 structure generation Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开的实施例公开了基于可微渲染的单张积云图像重建方法。该方法的一具体实施方式包括：获取单张的自然积云图像；通过编码‑解码器结构的卷积神经网络确定图像的密度；确定三维空间中积云结构的损失函数；通过反向模型，确定等式中各变量梯度，并利用梯度优化算法对积云结构进行迭代更新；将积云模型投影至二维平面，以生成深度图和轮廓图；使用纹理生成网络，生成相应的积云图像。
Description
技术领域
本公开的实施例涉及计算机技术领域，具体涉及基于可微渲染的单张积云图像重建方法。
背景技术
积云的三维重建在计算机图形学领域一直是学者们关注的研究问题之一。在自然条件下，目前的观测设备很难对云的全貌进行观测，想要获取同一朵云的多视点图像则需要付出高昂的代价，通过无人机或航拍才有可能得到同一朵云的多视点图像，由此可知云的真实三维数据是不易获取且昂贵的。因此针对单张自然图像的积云建模就显得尤其具有研究价值。
近年来，可微渲染网络得到了研究者们的关注，并在此方面展开了一系列研究，使用近似梯度进行替换传统的栅格化渲染、或提出了可微的投影操作以获取轮廓、法线等信息。可微渲染在深度学习的三维重建中起着重要的桥梁作用，可以连接三维模型数据与二维的图像数据，这让使用图像训练三维模型重建网络成为可能。
本工作仅在计算机图形学范畴内针对积云这种自然现象的表观建模进行研究，拟结合可微渲染网络得到积云的渲染图像，从而使用渲染出来的积云图像与真实的积云数据集图像传入判别器进行判别，判别后将梯度反传对积云结构生成网络进行无监督训练。本研究提出了一个基于可微渲染网络的无监督积云重建框架，包含了积云结构生成网络、积云渲染网络两部分。
本发明与现有技术相比的优点在于：
(1)本发明降低了网络训练门槛，减少了数据集的制作难度，以可微渲染技术为桥梁连通二维与三维数据的鸿沟，并提出一个无监督的单张积云图像建模框架。
(2)本发明考虑了参与性介质的物理特性，参与性介质会与光发生交互，如吸收、发射、散射从而改变光能的的强度大小，重建积云的密度场，提高了重建结果的真实感。
(3)构造可微的积云投影模块，适用于流体的深度和轮廓提取操作，该可微模块可与神经网络进行衔接一起构造训练网络。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了基于可微渲染的单张积云图像重建方法方法，来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面，本公开的一些实施例提供了一种基于可微渲染的单张积云图像重建方法，该方法包括：获取单张的自然积云图像；通过编码-解码器结构的卷积神经网络确定图像的密度；确定三维空间中积云结构的损失函数；通过反向模型，确定等式中各变量梯度，并利用梯度优化算法对积云结构进行迭代更新；将积云模型投影至二维平面，以生成深度图和轮廓图；使用纹理生成网络，生成相应的积云图像。
本发明的出发点为这样一个前提条件：即估计的积云体积密度分布V在固定视角α下投影到成像平面的轮廓
与目标积云图像的轮廓S相一致。换而言之，预测的积云体积密度分布V在固定视角α下，其生成的投影轮廓
与ground truth S越接近，则预测的积云体积密度分布越接近于图像I的真实密度分布。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本公开的一些实施例的基于可微渲染的单张积云图像重建方法的一个应用场景的示意图；
图2是根据本公开的基于可微渲染的单张积云图像重建方法的一些实施例的流程图；
图3是根据积云模型，生成积云图像的示意图；
图4是深度投影操作的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是本公开的一些实施例的基于可微渲染的单张积云图像重建方法的一个应用场景的示意图。
在图1的应用场景中，首先，获取单张的自然积云图像。其次，使用卷积神经网络估计图像的密度。然后，计算在三维空间中积云结构生成器的损失函数。进一步，通过反向模型求计算梯度并对结构进行迭代更新。除此之外，将积云模型投影到二维平面得到深度图和轮廓图。最后，使用纹理生成网络生成相应的积云图像。
继续参考图2，示出了根据本公开的基于可微渲染的单张积云图像重建方法的一些实施例的流程200。该基于可微渲染的单张积云图像重建方法，包括以下步骤：
步骤201，获取单张的自然积云图像。
在一些实施例中，基于可微渲染的单张积云图像重建方法的执行主体可以从互联网上，获取自然积云图像。
可选地，其中，上述自然积云图像中包括单个积云，所述自然积云图像可以是高分辨率(1920*1080)的图像，所述自然积云图像可以是在固定摄像机角度、光线充足、噪声干扰较小且背景色单一的前提下拍摄的图像。
步骤202，通过编码-解码器结构的卷积神经网络确定图像的密度。
在一些实施例中，可以将单张图像的积云重建看成为一个密度估计问题，即，用单张积云图像估计三维积云体积的密度分布。上述执行主体可以通过编码-解码器结构的卷积神经网络确定图像的密度。该过程可形式化为：
其中，I表示积云图像。f表示图像经过编码-解码器的过程。
为估计的积云密度分布。
可选地，上述执行主体可以通过所述编码-解码器结构的卷积神经网络，确定所述自然积云图像的隐空间表达，以生成隐向量。其中，所述隐向量用于生成所述自然积云图像对应的积云体积密度分布。上述执行主体可以通过编码网络(Encoder Network)h(·)学习得到视点不变下的积云图像的隐空间表达。该隐向量可以通过解码网络(DecoderNetwork)g(·)，生成对应的积云提及密度分布
作为示例，当已知积云的目标体积密度分布为V。则可以得到在三维空间中的积云结构生成器的损失函数。其中，上述损失函数可以是：
其中，
表示上述损失函数。
步骤203，确定三维空间中积云结构的损失函数。
在一些实施例中，上述执行主体可以通过各种方式，确定三维空间中积云结构的损失函数。
可选地，上述执行主体可以根据所述积云体积密度分布，确定真实图像的损失函数。其中，在现实世界中，由于较难通过数据采集的方式得到真实的积云体积密度分布数据。因此，本公开采用了基于轮廓的体积损失函数，以图像的轮廓信息对积云体的生成提供约束。使用轮廓体的体积损失函数须服从以下条件：估计的积云体积密度分布
在固定视角α下投影到成像平面的轮廓
与目标积云图像的轮廓S相一致。基于此，积云结构生成网络的损失函数定义可以如下：
Lshape(I)＝Lshape(I；S)＝＝||P(f(I))-S||2
其中，Lshape(I)表示积云结构生成网络的损失函数。损失函数由原始图像I和ground truth轮廓S作为输入，并得到输出。其中，f(I)表示经过编码-解码器之后的三维体模型，P(f(I))表示将其在固定视角下进行投影，投影后的轮廓与ground truth轮廓S做差并求得损失函数的结果。
步骤204，通过反向模型，确定等式中各变量梯度，并利用梯度优化算法对积云结构进行迭代更新。
在一些实施例中，上述执行主体可以将步骤203中的积云结构生成网络的损失函数，通过神经网络的反向传播，对初始的密度进行优化，并迭代更新其中的参数。
可选地，上述执行主体采用基于轮廓的体积损失函数，以图像的轮廓信息对积云提的生成提供约束。
步骤205，将积云模型投影至二维平面，以生成深度图和轮廓图。
在一些实施例中，上述执行主体可以通过各种方式，将积云模型投影至二维平面，以生成深度图和轮廓图。
在一些实施例的一些可选地实现方式中，上述执行主体可以将积云模型投影至二维平面，以生成深度图和轮廓图。其中，云是一种典型的参与性介质。参与性介质会与光发生交互，如吸收、发射、散射从而改变光能的的强度大小。传统的图形学积云渲染算法需要将积云形状进行离散化表示，如使用粒子采样的方法对积云体进行粒子渲染，而该离散化过程是不可逆的。随着可微编程技术的兴起，可微渲染成了求解Inverse Graphics问题的重要技术手段。该技术通过反向模型求计算等式中各变量梯度，从而利用如随机梯度下降法等梯度优化算法对参数进行迭代更新，使得计算结果与目标结果接近。可微编程可与现有的物理模型为基础创建可微物理求解模块，这使得可微程序的参数具有非常明确的物理含义。由于可微编程是利用梯度下降算法进行迭代优化的，这一特点与目前流行的深度学习框架正好吻合，使得可微求解模块可与深度学习框架进行融合。
积云渲染网络的主要功能是以积云模型作为输入，通过构造一个可微的投影模块，将积云模型投影到二维平面，分别投影出积云对应的深度图和轮廓图。最后，使用纹理生成网络根据深度图和轮廓图作为输入，生成处相应的积云图像，从而达到了积云渲染的目的。过程示意图可以参考图4。
其中，轮廓的投影可形式化表示为
的可微操作。V为三维积云体素。φ为相机视角。
表示体素V在视角φ下的轮廓投影。
为三维坐标到实数集
的映射。表示三维积云体素中的体素单元是否在云体内部，若在云体内则该值为1，否则为0。体素单元的坐标表示为c＝(i，j，k)。在摄像机视角φ，体素V表示为Vφ(c)＝Φ(V，Tφ(c))。Tφ(c)表示体素单元c被旋转φ之后的坐标位置。Φ代表的是采样操作。Φ(V，c)表示根据提供的体素单元c的坐标采集体素V。采样操作可以是三线性采样操作或最近邻采样操作。
为了获得连续的投影结果，本公开采用指数函数P(V)i，j＝1-e-τ∑kV(i，j，k)进行可微操作。在上述的指数函数中，τ是光滑系数，x值越大投影结果越不光滑，如τ是一个很大的数，则得到的投影操作结果为二值图像。该投影操作背后的物理含义为从成像平面射出一根射线，射线与积云体素接触后沿着射线方向进行积分，该物理过程也可以用来探测体素的厚度。V(i，j，k)表示坐标为(i，j，k)的体素。
在已知的相机角度φ下，体素V的投影为
i，j为对应投影图像的像素位置。
积云的深度图投影即为射线从成像平面出发，到达与积云表面接触时所经过的距离，深度检测的过程与LiDAR成像类似。定义A(V，φ，c)为可见函数，表示体素V中的体素单元c在相机为φ视角下是否可见。A(V，φ，c)如下公式所示：
可见函数A(V，φ，c)与轮廓投影类似，唯一不同之处是当射线未接触到积云表面时A的值为1，如若接触到、进入或穿出积云体素时，A值会接近于0，即表示该处位置是不可见的。至此，我们已经知道了体素中每一个体素单元的可见情况，只需把射线经过的体素位置对应的可见函数A进行积分，即可得到体素的深度投影，深度图的可微投影操作可表示为：
在与深度学习框架结合时，使用指数衰减将会获得更好的结果，为此定义深度图的投影操作
如下公式所示：
作为示例，深度投影操作如图4所示。
其中，为了方便描述，将获取到的积云深度图和轮廓图统称为积云的2.5D轮廓图。
步骤206，使用纹理生成网络，生成相应的积云图像。
在一些实施例中，上述执行主体可以通过各种方式使用纹理生成网络，生成相应的积云图像。
在一些实施例的一些可选地实现方式中，上述执行主体可以使用纹理生成网络，生成相应的积云图像。其中，本公开可以通过训练一个积云图像合成网络(神经网络模型)，作为上述纹理生成网络，用于合成对应的积云图像，从而达到了积云渲染的目的。
其中，上述积云图像合成网络的图像合成模块包括一个纹理生成器Gtexture，一个积云图像鉴别器Dimage，一个2.5轮廓图鉴别器D2.5D和两个编码器Etexture和E2.5D。，Etexture用来编码纹理纹理和光照信息，E2.5D用来编码由之前可微模块生成的积云深度图和轮廓图。一张积云图像的渲染过程如下式子所示：x＝Gtexture(v2.5D，ztexture)。x为渲染的积云图像。v2.5D为深度图和轮廓图。ztexture为从正态分布随机采样的纹理噪声和光照信息。训练时联合Gtexture、Etextur和E2.5D进行训练，在训练图像生成时使用如下损失函数：
其中，Dimage用来鉴别渲染图像的真伪。Ex[]表示分布函数的期望值，E(V2.5D，Ztexture)表示深度图和轮廓图的编码器期望Dimage为GAN网络的判别器，使用如下损失函数来计算生成的2.5D轮廓图：
其中，D2.5D是鉴别器，用来鉴别2.5D轮廓是来自于真实数据产生的还是随机采样得到的轮廓。
表示鉴别器的期望，为了得到积云图像域与2.5D轮廓域之间的映射关系。
最后使用循环一致性损失函数来解决域间的映射，其中，
和
为这两个循环一致性损失函数的权重系数：
本公开的上述各个实施例具有如下有益效果：(1)本发明降低了网络训练门槛，减少了数据集的制作难度，以可微渲染技术为桥梁连通二维与三维数据的鸿沟，并提出一个无监督的单张积云图像建模框架。(2)本发明考虑了参与性介质的物理特性，参与性介质会与光发生交互，如吸收、发射、散射从而改变光能的的强度大小，重建积云的密度场，提高了重建结果的真实感。(3)构造可微的积云投影模块，适用于流体的深度和轮廓提取操作，该可微模块可与神经网络进行衔接一起构造训练网络。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (7)
1.一种基于可微渲染的单张积云图像重建方法，包括：
获取单张的自然积云图像，其中，所述自然积云图像是高分辨率的图像，所述自然积云图像是在固定摄像机角度下拍摄的图像；
通过编码-解码器结构的卷积神经网络确定图像的密度；
确定三维空间中积云结构的损失函数；
通过反向模型，确定等式中各变量梯度，并利用梯度优化算法对积云结构进行迭代更新；
将积云模型投影至二维平面，以生成深度图和轮廓图；
使用纹理生成网络，生成相应的积云图像；
其中，估计的积云体积密度分布在固定视角下投影到成像平面的轮廓与目标积云图像的轮廓相一致；
其中，轮廓的投影可形式化表示为
的可微操作，V为三维积云体素，φ为相机视角，
表示体素V在视角φ下的轮廓投影，
为三维坐标到实数集
的映射，表示三维积云体素中的体素单元是否在云体内部，若在云体内则该值为1，否则为0，体素单元的坐标表示为c＝(i，j，k)，在摄像机视角φ，体素V表示为Vφ(c)＝Φ(V，Tφ(c))，Tφ(c)表示体素单元c被旋转φ之后的坐标位置，Φ代表的是采样操作，Φ(V，c)表示根据提供的体素单元c的坐标采集体素V，采样操作是三线性采样操作或最近邻采样操作。
2.根据权利要求1所述的方法，其中，所述自然积云图像中包括单个积云，所述自然积云图像是在光线充足、噪声干扰较小且背景色单一的前提下拍摄的图像。
3.根据权利要求2所述的方法，其中，所述通过编码-解码器结构的卷积神经网络确定图像的密度，包括：
通过所述编码-解码器结构的卷积神经网络，确定所述自然积云图像的隐空间表达，以生成隐向量，其中，所述隐向量用于生成所述自然积云图像对应的积云体积密度分布。
4.根据权利要求3所述的方法，其中，所述确定三维空间中积云结构的损失函数，包括：
根据所述积云体积密度分布，确定真实图像的损失函数，其中，所述积云结构的损失函数如下：
Lshape(I)＝Lshape(I；S)＝||P(f(I))-S||2
其中，Lshape(I)表示积云结构的损失函数，I表示积云图像，f(I)表示经过编码-解码器的卷积神经网络得到的三维体模型，V表示积云的体积密度分布，S表示目标积云图像的轮廓，P(f(I))表示将三维体模型在固定视角下进行投影，投影后的轮廓与目标积云图像的轮廓得到的结果。
5.根据权利要求3所述的方法，其中，在所述通过反向模型，确定等式中各变量梯度，并利用梯度优化算法对积云结构进行迭代更新之前，所述方法还包括：
采用基于轮廓的体积损失函数，以图像的轮廓信息对积云提的生成提供约束。
6.根据权利要求5所述的方法，其中，所述将积云模型投影至二维平面，以生成深度图和轮廓图，包括：
通过构造一个可微的投影模块，将所述积云模型投影至二维平面，以投影得到积云对应的深度图和轮廓图。
7.根据权利要求6所述的方法，其中，所述使用纹理生成网络，生成相应的积云图像，包括：
将处理得到的深度图和轮廓图，作为所述纹理生成网络的输入，生成相应的积云图像，以实现积云渲染的目的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110336694.6A CN113140033B (zh) | 2021-03-29 | 2021-03-29 | 基于可微渲染的单张积云图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110336694.6A CN113140033B (zh) | 2021-03-29 | 2021-03-29 | 基于可微渲染的单张积云图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113140033A CN113140033A (zh) | 2021-07-20 |
| CN113140033B true CN113140033B (zh) | 2022-10-04 |
Family
ID=76810196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110336694.6A Active CN113140033B (zh) | 2021-03-29 | 2021-03-29 | 基于可微渲染的单张积云图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113140033B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993825A (zh) * | 2019-03-11 | 2019-07-09 | 北京工业大学 | 一种基于深度学习的三维重建方法 |
| CN110458939A (zh) * | 2019-07-24 | 2019-11-15 | 大连理工大学 | 基于视角生成的室内场景建模方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299263B (zh) * | 2014-09-14 | 2017-06-20 | 北京航空航天大学 | 一种基于单幅图像建模云场景的方法 |
| CN107564095A (zh) * | 2017-08-08 | 2018-01-09 | 北京航空航天大学 | 一种基于单幅自然图像重建积云三维形状的方法 |
| CN107689079B (zh) * | 2017-08-28 | 2019-12-27 | 北京航空航天大学 | 一种卫星云图与自然图像结合的云景重建方法 |
| CN110097629A (zh) * | 2019-03-21 | 2019-08-06 | 北京航空航天大学 | 一种基于草图检索的云景构建方法 |
| CN110096766B (zh) * | 2019-04-15 | 2020-09-18 | 北京航空航天大学 | 一种基于物理的三维云运动演化方法 |
| WO2020242170A1 (en) * | 2019-05-28 | 2020-12-03 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
| CN112396703B (zh) * | 2020-11-18 | 2024-01-12 | 北京工商大学 | 一种单图像三维点云模型重建方法 |
-
2021
- 2021-03-29 CN CN202110336694.6A patent/CN113140033B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993825A (zh) * | 2019-03-11 | 2019-07-09 | 北京工业大学 | 一种基于深度学习的三维重建方法 |
| CN110458939A (zh) * | 2019-07-24 | 2019-11-15 | 大连理工大学 | 基于视角生成的室内场景建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113140033A (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tulsiani et al. | Multi-view supervision for single-view reconstruction via differentiable ray consistency | |
| CN103530907B (zh) | 基于图像的复杂三维模型绘制方法 | |
| Somraj et al. | Vip-nerf: Visibility prior for sparse input neural radiance fields | |
| Liu et al. | A general differentiable mesh renderer for image-based 3D reasoning | |
| Atapour-Abarghouei et al. | Generative adversarial framework for depth filling via wasserstein metric, cosine transform and domain transfer | |
| Liu et al. | High-quality textured 3D shape reconstruction with cascaded fully convolutional networks | |
| CN116051696B (zh) | 一种可重光照的人体隐式模型的重建方法和装置 | |
| CN117333637B (zh) | 三维场景的建模及渲染方法、装置及设备 | |
| CN116416376A (zh) | 一种三维头发的重建方法、系统、电子设备及存储介质 | |
| Venkat et al. | Deep textured 3d reconstruction of human bodies | |
| Yang et al. | Reconstructing objects in-the-wild for realistic sensor simulation | |
| CN115797561A (zh) | 三维重建方法、设备及可读存储介质 | |
| Lochmann et al. | Real-time Reflective and Refractive Novel-view Synthesis. | |
| CN115205463A (zh) | 基于多球面场景表达的新视角图像生成方法、装置和设备 | |
| CN118196306A (zh) | 基于点云信息和高斯云团的3d建模重建系统、方法及装置 | |
| Rajeswar et al. | Pix2shape: Towards unsupervised learning of 3d scenes from images using a view-based representation | |
| Maxim et al. | A survey on the current state of the art on deep learning 3D reconstruction | |
| CN114926591A (zh) | 多分支深度学习的3d人脸重建模型训练方法、系统及介质 | |
| CN111161384A (zh) | 一种参与介质的路径引导方法 | |
| CN118154770A (zh) | 基于神经辐射场的单幅树木图像三维重建方法和装置 | |
| Liu et al. | Sparse-to-dense coarse-to-fine depth estimation for colonoscopy | |
| Purushwalkam et al. | Conrad: Image constrained radiance fields for 3d generation from a single image | |
| CN113140033B (zh) | 基于可微渲染的单张积云图像重建方法 | |
| Dai et al. | PBR-Net: Imitating physically based rendering using deep neural network | |
| Del Gallego et al. | A new approach for training a physics-based dehazing network using synthetic images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |