CN114972112B - 用于图像逆渲染的方法、装置、设备和介质 - Google Patents

用于图像逆渲染的方法、装置、设备和介质 Download PDF

Info

Publication number
CN114972112B
CN114972112B CN202210689653.XA CN202210689653A CN114972112B CN 114972112 B CN114972112 B CN 114972112B CN 202210689653 A CN202210689653 A CN 202210689653A CN 114972112 B CN114972112 B CN 114972112B
Authority
CN
China
Prior art keywords
image
illumination
feature map
feature
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210689653.XA
Other languages
English (en)
Other versions
CN114972112A (zh
Inventor
李臻
王灵丽
黄翔
潘慈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Can See Beijing Technology Co ltd AS
Original Assignee
You Can See Beijing Technology Co ltd AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Can See Beijing Technology Co ltd AS filed Critical You Can See Beijing Technology Co ltd AS
Priority to CN202210689653.XA priority Critical patent/CN114972112B/zh
Publication of CN114972112A publication Critical patent/CN114972112A/zh
Priority to PCT/CN2023/074800 priority patent/WO2023241065A1/zh
Application granted granted Critical
Publication of CN114972112B publication Critical patent/CN114972112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)

Abstract

本公开实施例公开了一种用于图像逆渲染的方法、装置、电子设备和存储介质，其中，方法包括：将待处理图像输入特征预测模型，经特征预测模型预测待处理图像的几何特征和材质特征，得到待处理图像的几何特征图和材质特征图，几何特征图包括法向图和深度图，材质特征图包括反照率特征图、粗糙度特征图和金属度特征图；将待处理图像、几何特征图和材质特征图输入光照预测模型，逐像素预测待处理图像的光照值，得到待处理图像的光照特征图；基于几何特征图、材质特征图和光照特征图，对待处理图像进行预设处理。克服了简化的材质表示对逆渲染过程中表观获取的限制，有助于提升逆渲染预测的材质、几何和光照的物理正确性。

Description

用于图像逆渲染的方法、装置、设备和介质
技术领域
本公开涉及计算机视觉领域，尤其涉及一种用于图像逆渲染的方法、装置、电子设备和存储介质。
背景技术
图像的逆渲染是计算机图形学和计算机视觉领域中的一项重要应用，其目的是从图像中恢复图像的几何、材质、光照等属性。在混合现实领域和场景数字化领域中，可以根据逆渲染得到的几何、材质、光照等属性对图像进行处理，例如可以在图像中生成虚拟物体。而逆渲染得到的图像的几何、材质、光照等属性直接关系到虚拟物体与场景的融合效果。
由于图像中存在由复杂的几何、迥异的材质以及镜面反射、间接光照反射等复杂的光照效果，因而从图像中逆渲染整个场景是非常困难的，尤其是金属、镜子、反光表面等复杂材质，这些都对逆渲染及其后续应用造成了极大限制。
发明内容
本公开实施例提供一种用于图像逆渲染的方法、装置、电子设备和存储介质。
本公开实施例的一个方面，提供一种用于图像逆渲染的方法，包括：将待处理图像输入特征预测模型，经特征预测模型预测待处理图像的几何特征和材质特征，得到待处理图像的几何特征图和材质特征图，其中，几何特征图包括法向图和深度图，材质特征图包括反照率特征图、粗糙度特征图和金属度特征图；将待处理图像、几何特征图和材质特征图输入光照预测模型，经光照预测模型逐像素预测待处理图像的光照值，得到待处理图像的光照特征图；基于几何特征图、材质特征图和光照特征图，对待处理图像进行预设处理。
在一些实施例中，将待处理图像、几何特征图和材质特征图输入光照预测模型，经光照预测模型逐像素预测待处理图像的光照特征，得到待处理图像的光照特征图，包括：利用光照预测模型对待处理图像、几何特征图和材质特征图进行处理，预测待处理图像中的像素点的光照值，并基于预测得到的光照值生成该像素点对应的全景图像；拼接待处理图像中的像素点对应的全景图像，得到光照特征图。
在一些实施例中，该方法还包括获取特征预测模型和光照预测模型的步骤：将样本图像输入预训练的特征预测模型，预测样本图像的几何特征和材质特征，得到样本图像的样本几何特征图和样本材质特征图；将样本图像、样本几何特征图和样本材质特征图输入预训练的光照预测模型，预测样本图像中像素点的光照值，得到样本图像的样本光照特征图；利用可微渲染模块，基于样本几何特征图、样本材质特征图和样本光照特征图生成渲染图像；基于样本图像与渲染图像之间的差异调整预训练的特征预测模型和预训练的光照预测模型的参数，直至满足预设训练完成条件，得到特征预测模型和光照预测模型。
在一些实施例中，预训练的光照特征预测模型经由如下方式得到：获取初始光照特征预测模型对样本数据进行处理得到的初始光照特征图；基于初始光照特征图与样本标签之间的差异，确定预测损失函数的值；基于初始光照特征图中相邻像素点的光照值之间的差异以及相邻像素点的深度之间的差异，确定空间连续损失函数的值；基于预测损失函数的值和空间连续损失函数的值，训练初始光照特征预测模型，得到预训练的光照特征预测模型。
在一些实施例中，基于初始光照特征图中相邻像素点的光照值之间的差异以及相邻像素点的深度之间的差异，确定空间连续损失函数的值，包括：将初始光照特征图中的像素点的光照值向相邻像素点投影，得到初始光照特征图中的像素点的投影光照值，并确定初始光照特征图中的像素点的光照值与投影光照值之间的差值；基于初始光照特征图中的像素点深度梯度以及预设的连续性权重参数，确定缩放因子，缩放因子与深度梯度正相关；基于差值与缩放因子，确定空间连续损失函数的值。
在一些实施例中，得到待处理图像的几何特征图和材质特征图之后，方法还包括：将待处理图像、几何特征图和材质特征图输入引导滤波模型，确定滤波参数；基于滤波参数，对反照率特征图和粗糙度特征图进行平滑处理。
在一些实施例中，该方法还包括获取滤波参数的步骤：基于待处理图像、几何特征图和材质特征图，生成输入图像，输入图像的分辨率小于待处理图像的分辨率；利用引导滤波模型，预测输入图像的初始滤波参数，并对初始滤波参数进行上采样，得到与待处理图像的分辨率一致的滤波参数。
本公开实施例还提供了一种用于图像逆渲染的装置，包括：特征预测单元，被配置成将待处理图像输入特征预测模型，经特征预测模型预测待处理图像的几何特征和材质特征，得到待处理图像的几何特征图和材质特征图，其中，几何特征图包括法向图和深度图，材质特征图包括反照率特征图、粗糙度特征图和金属度特征图；光照预测单元，被配置成将待处理图像、几何特征图和材质特征图输入光照预测模型，经光照预测模型逐像素预测待处理图像的光照值，得到待处理图像的光照特征图；图像处理单元，被配置成基于几何特征图、材质特征图和光照特征图，对待处理图像进行预设处理。
本公开的实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序产品；处理器，用于执行存储器中存储的计算机程序产品，且计算机程序产品被执行时，实现上述任一实施例中的方法。
本公开的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时，实现上述任一实施例中的方法。
本公开的实施例提供的用于图像逆渲染的方法，可以利用特征预测模型预测待处理图像的几何特征和材质特征，其中，几何特征包括法向特征和深度特征，材质特征包括反照率、粗糙度和金属度；然后利用光照预测模型预测待处理图像的光照值，并根据预测得到的几何特征、材质特征和光照值对图像进行预设处理。通过深度特征、反照率、粗糙度和金属度可以更物理、更准确地表征待处理图像中的复杂材质，由此，可以在后续处理的过程中对镜面反射等复杂的光照环境进行更细节的建模，克服了简化的材质表示对逆渲染过程中表观获取的限制，有助于提升依赖逆渲染预测得到的材质、几何和光照的物理正确性，以及提升依赖逆渲染得到的材质表示进行图像处理的效果。例如在混合现实领域和场景数字化领域中，可以以此提高虚拟物体与场景的融合效果。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开的用于图像逆渲染的方法的一个实施例的流程图；
图2为本公开的用于图像逆渲染的方法的一个场景示意图；
图3为本公开的用于图像逆渲染的方法的一个实施例中训练特征预测模型和光照预测模型的流程示意图；
图4为本公开的用于图像逆渲染的方法的一个实施例中的预训练光照预测模型的流程示意图；
图5为本公开的用于图像逆渲染的方法的一个实施例中计算空间损失函数的流程示意图；
图6为本公开用于图像逆渲染的装置一个实施例的结构示意图；
图7为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
在实施本公开的过程中，发明人发现，在对图像进行逆渲染时，相关技术中通常采用漫反射材质等简化的材质表示，这种方式无法准确地表示图像中的复杂材质(例如反光表面、金属表面)和复杂光照环境(例如镜面反射)，导致后续处理时无法准确地对图像中的材质和光照环境进行建模，从而影响到了图像处理的效果，例如在图像中插入的虚拟物体与场景的融合效果较差。
示例性方法
下面结合图1对本公开的用于图像逆渲染的方法进行示例性说明。图1示出了本公开的用于图像逆渲染的方法的一个实施例的流程图，如图1所示，该流程包括以下步骤：
步骤110、将待处理图像输入特征预测模型，经特征预测模型预测待处理图像的几何特征和材质特征，得到待处理图像的几何特征图和材质特征图。
其中，几何特征图包括法向图和深度图，材质特征图包括反照率特征图、粗糙度特征图和金属度特征图。
在本实施例中，几何特征表征待处理图像的几何属性，例如可以包括法向特征和深度特征，其中，法向特征表征像素点的法向量，深度特征表征像素点的深度。材质特征表示待处理图像的像素点的材质属性，例如可以包括反照率(base color)、粗糙度(roughness)和金属度，其中，反照率表示物体表面全部被照明的部分向各个方向散射的光流与入射到该物体表面的光流之比。粗糙度表示物体表面的光滑程度，用于描述光照射到物体表面时的行为，例如粗糙度越小的物体表面，则光照射在该物体表面时越接近镜面反射。金属度用于表征物体的金属程度，金属度越高，则物体越接近金属，反之，则越接近非金属。
特征预测模型表征待处理图像与其几何特征和材质特征的对应关系，用于预测待处理图像中每个像素点的几何特征和材质特征，并根据预测得到的特征值形成对应的特征图。相应的，法向图、深度图、反照率特征图、粗糙度特征图和金属度特征图分别表示待处理图像中各像素点的法向量、深度、反照率、粗糙度和金属度。
在一个具体的示例中，特征预测模型可以是卷积神经网络、残差网络等等任意的神经网络模型，例如基于ResNet和Unet的多分支编码器-解码器，其中，编码器可以是ResNet-18，解码器则是由5层带跳跃连接的卷积层组成。利用样本数据对特征预测模型训练之后，可以利用特征预测模型实现对待处理图像的特征提取、下采样、提取高维特征、上采样、解码、跃层连接、融合浅层特征等处理，并最终预测出待处理图像中每个像素点的法向特征、深度特征、反照率、粗糙度和金属度，并根据预测得到的特征值分别形成法向特征图、深度特征度、反照率特征图、粗糙度特征图和金属度特征图，从而得到待处理图像的几何特征和材质特征。
步骤120、将待处理图像、几何特征图和材质特征图输入光照预测模型，经光照预测模型逐像素预测待处理图像的光照值，得到待处理图像的光照特征图。
在本实施例中，光照值表征点在空间中的光照环境。光照预测模型表征待处理图像及其几何特征、材质特征与光照环境的对应关系。
在一个具体的示例中，光照预测模型可以采用卷积神经网络、残差网络等等任意的神经网络模型，例如基于ResNet和Unet的多分支编码器-解码器。执行主体(例如可以是终端设备或服务器)通过预处理，将待处理图像、几何特征图(包括法向特征图和深度特征图)、材质特征图(包括反照率特征图、粗糙度特征度、金属度特征图)在通道数上叠加，然后将叠加后的图像输入光照预测模型，经过特征提取、编码、解码等操作，预测出每个像素点的空间光照环境，即每个像素点的光照值，并根据预测得到的光照值形成空间连续的HDR光照特征图。
步骤130、基于几何特征图、材质特征图和光照特征图，对待处理图像进行预设处理。
在本实施例中，通过步骤110和步骤120可以实现对待处理图像的逆渲染，得到待处理图像的几何特征和材质特征。预设处理则表示基于逆渲染得到的几何特征和材质特征对待处理图像进行的后续处理，例如在混合现实领域中，可以将相机采集的真实图像作为待处理图像，并在真实图像中插入虚拟图像，从而实现了物理世界与虚拟图像的融合。再例如，还可以基于待处理图像的几何特征和材质特征，通过动态虚拟物体合成，在待处理图像中生成虚拟物体。再例如，还可以基于待处理图像的几何特征和材质特征，对待处理图像中的物体的材质进行编辑，以呈现不同材质的物体。
下面结合图2所示的场景对本实施例中的用于图像逆渲染的方法进行示例性说明。如图2所示：待处理图像210为LDR全景图像，利用特征预测模型220可以预测出待处理图像210的几何特征图230和材质特征图240，其中，几何特征图包括法向特征图231和深度特征图232，材质特征图包括反照率特征图241、粗糙度特征图242和金属度特征图243。之后，将待处理图像210、几何特征图230、材质特征图240输入第二预测模型250，得到光照度特征图260。再之后，基于几何特征图230和材质特征图240，在待处理图像210中生成虚拟物体271、虚拟物体272和虚拟物体273，得到处理后的图像270。
本实施例提供的用于图像逆渲染的方法，可以利用特征预测模型预测待处理图像的几何特征和材质特征，其中，几何特征包括法向特征和深度特征，材质特征包括反照率、粗糙度和金属度；然后利用光照预测模型预测待处理图像的光照值，并根据预测得到的几何特征、材质特征和光照值对图像进行预设处理。通过深度特征、反照率、粗糙度和金属度可以更物理、更准确地表征待处理图像中的复杂材质，由此，可以在后续处理的过程中对镜面反射等复杂的光照环境进行更细节的建模，克服了简化的材质表示对逆渲染过程中表观获取的限制，有助于提升依赖逆渲染预测得到的材质、几何和光照的物理正确性，以及提升依赖逆渲染得到的材质表示进行图像处理的效果。
在本实施例的一些可选的实施方式中，上述步骤120可以进一步包括：利用光照预测模型对待处理图像、几何特征图和材质特征图进行处理，预测待处理图像中的像素点的光照值，并基于预测得到的光照值生成该像素点对应的全景图像；拼接待处理图像中的像素点对应的全景图像，得到光照特征图。
在本实施方式中，光照预测模型通过对待处理图像、几何特征图和材质特征图进行处理，可以预测出每个像素点在空间中的光照环境。由于点在空间中可以接收到从任意角度发射出的光线，因而可以利用360°的全景图像表征点的光照环境。之后，根据像素点在待处理图像中的位置，将各个像素点对应的全景图像拼接为光照特征图。
在本实施方式中，通过光照预测模型预测待处理图像中的像素点的光照值，并利用全景图像对像素点的光照值进行表征，可以更准确地表征待处理图像的光照特征。
接着参考图3，图3示出了本公开的用于图像逆渲染的方法的一个实施例中训练特征预测模型和光照预测模型的流程示意图。如图3所示，该流程包括以下步骤：
步骤310、将样本图像输入预训练的特征预测模型，预测样本图像的几何特征和材质特征，得到样本图像的样本几何特征图和样本材质特征图。
在本实施例中，预训练的特征预测模型表示经过训练、可以完成对输入图像的预测操作的特征预测模型。
作为示例，可以利用虚拟数据集实现对特征预测模型的预训练。虚拟数据集可以包括利用正向渲染处理得到的虚拟图像以及正向渲染过程中生成的虚拟几何特征图和虚拟材质特征图。然后，将虚拟图像作为初始特征预测模型的输入，将虚拟几何特征图和虚拟材质特征图作为期望输出，对初始特征预测模型进行训练，即可得到预训练的特征预测模型。
步骤320、将样本图像、样本几何特征图和样本材质特征图输入预训练的光照预测模型，预测样本图像中像素点的光照值，得到样本图像的样本光照特征图。
在本实施例中，预训练的光照预测模型表示经过训练、可以完成对样本图像、样本几何特征图和样本材质特征图的预测操作的光照预测模型。
作为示例，可以利用虚拟数据集实现对光照预测模型的预训练，虚拟数据集可以包括利用正向渲染处理得到的虚拟图像以及正向渲染过程中生成的虚拟几何特征图、虚拟材质特征图和虚拟光照特征图。将虚拟图像、虚拟几何特征图和虚拟材质特征图作为输入，将虚拟光照特征图作为期望输出，对初始光照预测模型进行训练，即可得到预训练的特征预测模型。
步骤330、利用可微渲染模块，基于样本几何特征图、样本材质特征图和样本光照特征图生成渲染图像。
相关技术中，通过渲染生成图像时，在光线追踪阶段，由于无法确定相机接收到的光线与整个场景的关系，导致渲染过程是不可微的。而神经网络的反向传导是通过求导实现的，因而，不可微的渲染过程无法为神经网络提供约束。
在本实施例中，经过逆渲染得到的样本几何特征图、样本材质特征图和样本光照特征图是将特征值映射至相机空间所得到的图像，可微渲染模块无需进行光线追踪，直接利用样本几何特征图、样本材质特征图和样本光照特征图计算着色值，从而通过可微的渲染处理生成渲染图像。
作为示例，可微渲染模块可以从样本几何特征图、样本材质特征图和样本光照特征图中确定出每个像素点的法向量、反照度、粗糙度和金属度，然后将法向量、反照度、粗糙度、金属度和光照值代入渲染方程中，然后通过蒙特卡洛采样的方法求解渲染方程，确定出该像素点的着色值。在这里，为了生成更细节的镜面反射，可以采用重要性采样方法计算蒙特卡罗积分。
如下公式(1)至公式(6)示出了本示例中的可微渲染过程，其中，公式(1)为渲染方程。
h＝bisector(v，l) (5)
α＝R22 (6)
式中，fd表示漫反射属性分量，fs表示镜面反射属性分量，表示着色值，Li表示光照值，ωi表示光线的入射角，n表示法向量，B表示反照率，M表示金属度，R表示粗糙度，D、F、G、v、l、h均为渲染过程中的中间变量，其计算方式为本领域的公知常识，此处不再赘述。
步骤340、基于样本图像与渲染图像之间的差异，调整预训练的特征预测模型和预训练的光照预测模型的参数(即对预训练的特征预测模型和预训练的光照预测模型进行训练)，直至满足预设训练完成条件，得到特征预测模型和光照预测模型。
作为示例，预设训练完成条件可以是损失函数收敛或迭代执行步骤310至步骤240的次数达到预设次数。
例如，执行主体可以利用L1函数或L2函数作为渲染损失函数，然后基于样本图像与渲染图像之间的差异，确定渲染损失函数的值。之后，可以利用神经网络的反向传导的特性，通过对渲染损失函数求导的方式对预训练的特征预测模型和预训练的光照预测模型的参数进行调整，直到渲染损失函数的函数值收敛，得到特征预测模型和光照预测模型。
再例如，当迭代执行步骤310至步骤340的次数达到预设次数后，可以终止训练，得到特征预测模型和光照预测模型。
在本实施例中，基于逆渲染得到的几何特征、材质特征和光照特征，通过可微的渲染处理生成渲染图像，并基于渲染图像与样本图像的差异，调整预训练的特征预测模型和预训练的光照预测模型的参数，可以为特征预测模型和光照预测模型提供物理约束，以此提高特征预测模型和光照预测模型的准确度，有助于提高逆渲染得到的属性的准确度。
在上述实施例的一些可选实现方式中，光照特征预测模型的预训练过程可以采用图4所示的流程，如图4所示，该流程包括以下步骤：
步骤410、获取初始光照特征预测模型对样本数据进行处理得到的初始光照特征图。
作为示例，样本数据可以包括正向渲染处理得到的虚拟图像以及正向渲染过程中生成的虚拟几何特征图、虚拟材质特征图和虚拟光照特征图。其中，虚拟图像、虚拟几何特征图和虚拟材质特征图可以作为输入，虚拟光照特征图可以作为样本标签。
步骤420、基于初始光照特征图与样本标签的差异，确定预测损失函数的值。
在本实施例中，预测损失函数表征初始光照预测模型的输出与样本标签的差异程度，例如可以采用L1函数或L2函数作为预测损失函数。
步骤430、基于初始光照特征图中相邻像素点的光照值之间的差异以及相邻像素点的深度之间的差异，确定空间连续损失函数的值。
通常，空间中相邻的两个点之间的光照环境是接近的，相应地，距离较远的两个点之间的光照环境则相差较大。将这两个点映射至图像中之后，可以通过像素点之间的深度表示这两个点在空间的距离。
在本实施例中，空间连续损失函数可以表示相邻像素点之间的光照环境的差异。当两个相邻的像素点具有相近的深度时，表示两者具有相近的光照环境，此时空间连续损失函数的值也较小；反之，当两个相邻的像素点的深度差异较大时，表示两者的光照环境可以具有较大的差异，此时，空间连续损失函数的值也较大。
步骤440、基于预测损失函数的值和空间连续损失函数的值，训练初始光照特征预测模型，得到预训练的光照特征预测模型。
在本实施例中，执行主体可以迭代执行上述步骤410至步骤440，并基于预测损失函数的值和空间连续损失函数的值对初始光照特征预测模型的参数进行调整，直至预测损失函数和空间连续损失函数收敛或迭代执行步骤410至步骤440的次数达到预设次数，可以终止训练，得到预训练的光照预测模型。
图4所示的实施例体现了利用预测损失函数和空间连续损失函数对光照预测模型的预训练进行约束的步骤，通过空间连续损失函数可以对待处理图像中的局部光照提供整体约束，以防止光照突变，以此约束光照预测模型的预训练，可以提高光照预测模型的准确度，有助于更准确地获取待处理图像的光照特征。
在图4所示的实施例的一些可选地实现方式中，可以通过图5所示的流程确定空间连续损失函数的值，如图5所示，该流程包括以下步骤：
步骤510、将初始光照特征图中的像素点的光照值向相邻像素点投影，得到初始光照特征图中的像素点的投影光照值，并确定初始光照特征图中的像素点的光照值与投影光照值之间的差值。
在本实施例中，初始光照特征图中的像素点的光照值与投影光照值之间的差值可以表征相邻像素点之间的光照环境的差异。
作为示例，执行主体可以通过投影算子实现光照值的投影，将每个像素点的光照值向预定方向的相邻像素点作投影，即可得到每个像素点的投影光照值，之后，可以确定每个像素点的光照值与投影光照值之间的差值。
步骤520、基于初始光照特征图中的像素点深度梯度以及预设的连续性权重参数，确定缩放因子。
其中，缩放因子与深度梯度正相关。
在本实施方式中，像素点深度梯度可以表示相邻像素点对应的点在空间中的距离。连续性权重参数的取值通常可以根据经验设定。
例如，执行主体可以首先预测两个相邻像素点的深度梯度，然后根据深度梯度与连续性权重参数确定缩放因子。通过缩放因子可以允许各个像素点之间的光照环境存在一定的偏差。
步骤530、基于差值与缩放因子，确定空间连续损失函数的值。
作为示例，执行主体可以将每个像素点对应的差值分别与其对应的缩放因子相乘，然后将所有像素点对应的乘积和的均值作为空间连续损失函数的值。
作为示例，本实施方式中的空间连续损失函数可以采用如下公式(7)：
其中，LSC表示空间连续损失函数，N表示像素点的数量，Warp()表示投影算子，表示经预测得到的光照值，/>表示缩放因子，β表示连续性权重参数，/>表示预测的深度梯度。
在图5所示的流程中，通过像素点的光照值与投影光照之间的差值表征相邻像素点的光照环境之间的差异，基于像素点的深度梯度与连续性权重参数确定缩放因子，并通过像素点的光照值与投影光照之间的差值以及缩放因子确定空间连续损失函数的值，可以更准确地表征空间中不同位置的点的光照环境之间的差异，例如距离较远的点的光照环境可以具有较大的差异，距离较近的点的光照环境也可以比较接近。以此约束光照预测模型的预训练过程，可以使得光照预测模型学习空间中的点的位置与光照环境之间的潜在关联，从而提高预测准确度。
在上述实施例的一些可选地实施方式中，通过步骤110得到待处理图像的几何特征图和材质特征图之后，还可以对反照率特征图和粗糙度特征度进行如下处理：将待处理图像、几何特征图和材质特征图输入引导滤波模型，确定滤波参数；基于滤波参数，对反照率特征图和粗糙度特征图进行平滑处理。
在本实施方式中，可以利用引导滤波模型对反照率特征图和粗糙度特征图进行平滑处理，以提高反照率特征图和粗糙度特征图的图像质量。将平滑处理后的反照率特征图和粗糙度特征图输入光照预测模型，有助于提高光照特征的预测准确度；同时，利用平滑处理后的反照率特征图和粗糙度特征图对待处理图像进行预设处理时，可以提高处理后的图像的质量。
作为示例，引导滤波模型可以是嵌入了引导滤波层的卷积神经网络。
进一步的，滤波参数通过如下方式得到：基于待处理图像、几何特征图和材质特征图，生成输入图像，输入图像的分辨率小于待处理图像的分辨率；利用引导滤波模型，预测输入图像的初始滤波参数，并对初始滤波参数进行上采样，得到与待处理图像的分辨率一致的滤波参数。
作为示例，可以将待处理图像、几何特征图和材质特征图的分辨率降低至原分辨率的一半，然后输入引导滤波模型，得到一半分辨率的初始滤波参数，然后对初始滤波参数进行上采样，得到与原始分辨率一致的滤波参数。
在本实施方式中，通过降低输入图像的分辨率，获得初始滤波参数，然后通过上采样得到输入图像一致的滤波参数，可以更快速地获取滤波参数，有助于提高引导滤波模型对图像进行平滑处理的效率。
示例性装置
下面结合图6对本公开的用于图像逆渲染的装置进行示例性说明，如图6所示，该装置包括：特征预测单元610，被配置成将待处理图像输入特征预测模型，经特征预测模型预测待处理图像的几何特征和材质特征，得到待处理图像的几何特征图和材质特征图，其中，几何特征图包括法向图和深度图，材质特征图包括反照率特征图、粗糙度特征图和金属度特征图；光照预测单元620，被配置成将待处理图像、几何特征图和材质特征图输入光照预测模型，经光照预测模型逐像素预测待处理图像的光照值，得到待处理图像的光照特征图；图像处理单元630，被配置成基于几何特征图、材质特征图和光照特征图，对待处理图像进行预设处理。
在其中一个实施例中，光照预测单元620进一步包括：预测模块，被配置成利用光照预测模型对待处理图像、几何特征图和材质特征图进行处理，预测待处理图像中的像素点的光照值，并基于预测得到的光照值生成该像素点对应的全景图像；拼接模块，被配置成拼接待处理图像中的像素点对应的全景图像，得到光照特征图。
在其中一个实施方式中，该装置还包括模型训练单元，被配置成：将样本图像输入预训练的特征预测模型，预测样本图像的几何特征和材质特征，得到样本图像的样本几何特征图和样本材质特征图；将样本图像、样本几何特征图和样本材质特征图输入预训练的光照预测模型，预测样本图像中像素点的光照值，得到样本图像的样本光照特征图；利用可微渲染模块，基于样本几何特征图、样本材质特征图和样本光照特征图生成渲染图像；基于样本图像与渲染图像之间的差异，调整预训练的特征预测模型和预训练的光照预测模型的参数，直至满足预设训练完成条件，得到特征预测模型和光照预测模型。
在其中一个实施方式中，该装置还包括预训练单元，被配置成：获取初始光照特征预测模型对样本数据进行处理得到的初始光照特征图；基于初始光照特征图与样本标签之间的差异，确定预测损失函数的值；基于初始光照特征图中相邻像素点的光照值之间的差异以及相邻像素点的深度之间的差异，确定空间连续损失函数的值；基于预测损失函数的值和空间连续损失函数的值，训练初始光照特征预测模型，得到预训练的光照特征预测模型。
在其中一个实施方式中，预训练单元还包括损失函数模块，被配置成包括：将初始光照特征图中的像素点的光照值向相邻像素点投影，得到初始光照特征图中的像素点的投影光照值，并确定初始光照特征图中的像素点的光照值与投影光照值之间的差值；基于初始光照特征图中的像素点深度梯度以及预设的连续性权重参数，确定缩放因子，缩放因子与深度梯度正相关；基于差值与缩放因子，确定空间连续损失函数的值。
在其中一个实施方式中，该装置还包括滤波单元，被配置成：将待处理图像、几何特征图和材质特征图输入引导滤波模型，确定滤波参数；基于滤波参数，对反照率特征图和粗糙度特征图进行平滑处理。
在其中一个实施方式中，该装置还包括参数确定单元，被配置成：基于待处理图像、几何特征图和材质特征图，生成输入图像，输入图像的分辨率小于待处理图像的分辨率；利用引导滤波模型，预测输入图像的初始滤波参数，并对初始滤波参数进行上采样，得到与待处理图像的分辨率一致的滤波参数。
示例性电子设备
下面，参考图7来描述根据本公开实施例的电子设备。
图7图示了根据本公开实施例的电子设备的框图。
如图7所示，电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以存储一个或多个计算机程序产品，所述存储器可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序产品，处理器可以运行所述计算机程序产品，以实现上文所述的本公开的各个实施例的用于图像逆渲染的方法以及/或者其他期望的功能。
在一个示例中，电子装置还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然，为了简化，图7中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的用于图像逆渲染的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的用于图像逆渲染的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种用于图像逆渲染的方法，其特征在于，包括：
将待处理图像输入特征预测模型，经所述特征预测模型预测所述待处理图像的几何特征和材质特征，得到所述待处理图像的几何特征图和材质特征图，其中，所述几何特征图包括法向图和深度图，所述材质特征图包括反照率特征图、粗糙度特征图和金属度特征图；
其中，利用所述特征预测模型预测出待处理图像中每个像素点的法向特征、深度特征、反照率、粗糙度和金属度，并根据预测得到的特征值分别形成法向特征图、深度特征度、反照率特征图、粗糙度特征图和金属度特征图；
将所述待处理图像、所述几何特征图和所述材质特征图输入光照预测模型，经所述光照预测模型逐像素预测所述待处理图像的光照值，得到所述待处理图像的光照特征图；
其中，将待处理图像、所述几何特征图、所述材质特征图在通道数上叠加，将叠加后的图像输入所述光照预测模型，预测出每个像素点的光照值，并根据预测得到的光照值形成空间连续的光照特征图；
基于所述几何特征图、所述材质特征图和所述光照特征图，对所述待处理图像进行预设处理；
其中，所述方法还包括获取预训练的光照预测模型的步骤：
获取初始光照预测模型对样本数据进行处理得到的初始光照特征图；
基于所述初始光照特征图与样本标签之间的差异，确定预测损失函数的值；
基于所述初始光照特征图中相邻像素点的光照值之间的差异以及所述相邻像素点的深度之间的差异，确定空间连续损失函数的值；所述空间连续损失函数表示相邻像素点之间的光照环境的差异；
基于所述预测损失函数的值和所述空间连续损失函数的值，训练所述初始光照预测模型，得到所述预训练的光照预测模型。
2.根据权利要求1所述的方法，其特征在于，将所述待处理图像、所述几何特征图和所述材质特征图输入光照预测模型，经光照预测模型逐像素预测所述待处理图像的光照特征，得到所述待处理图像的光照特征图，包括：
利用所述光照预测模型对所述待处理图像、所述几何特征图和所述材质特征图进行处理，预测所述待处理图像中的像素点的光照值，并基于预测得到的光照值生成该像素点对应的全景图像；
拼接所述待处理图像中的像素点对应的全景图像，得到所述光照特征图。
3.根据权利要求2所述的方法，其特征在于，还包括获取所述特征预测模型和所述光照预测模型的步骤：
将样本图像输入预训练的特征预测模型，预测所述样本图像的几何特征和材质特征，得到所述样本图像的样本几何特征图和样本材质特征图；
将所述样本图像、所述样本几何特征图和所述样本材质特征图输入预训练的光照预测模型，预测所述样本图像中像素点的光照值，得到所述样本图像的样本光照特征图；
利用可微渲染模块，基于所述样本几何特征图、所述样本材质特征图和所述样本光照特征图生成渲染图像；
基于所述样本图像与所述渲染图像之间的差异，调整所述预训练的特征预测模型和所述预训练的光照预测模型的参数，直至满足预设训练完成条件，得到所述特征预测模型和所述光照预测模型。
4.根据权利要求3所述的方法，其特征在于，基于所述初始光照特征图中相邻像素点的光照值之间的差异以及所述相邻像素点的深度之间的差异，确定空间连续损失函数的值，包括：
将所述初始光照特征图中的像素点的光照值向相邻像素点投影，得到所述初始光照特征图中的像素点的投影光照值，并确定所述初始光照特征图中的像素点的光照值与投影光照值之间的差值；
基于所述初始光照特征图中的像素点深度梯度以及预设的连续性权重参数，确定缩放因子，所述缩放因子与所述深度梯度正相关；
基于所述差值与所述缩放因子，确定所述空间连续损失函数的值。
5.根据权利要求1至4之一所述的方法，其特征在于，得到所述待处理图像的几何特征图和材质特征图之后，所述方法还包括：
将所述待处理图像、所述几何特征图和所述材质特征图输入引导滤波模型，确定滤波参数；
基于所述滤波参数，对所述反照率特征图和所述粗糙度特征图进行平滑处理。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括获取所述滤波参数的步骤：
基于所述待处理图像、所述几何特征图和所述材质特征图，生成输入图像，所述输入图像的分辨率小于所述待处理图像的分辨率；
利用所述引导滤波模型，预测所述输入图像的初始滤波参数，并对所述初始滤波参数进行上采样，得到与所述待处理图像的分辨率一致的滤波参数。
7.一种用于图像逆渲染的装置，其特征在于，包括：
特征预测单元，被配置成将待处理图像输入特征预测模型，经所述特征预测模型预测所述待处理图像的几何特征和材质特征，得到所述待处理图像的几何特征图和材质特征图，其中，所述几何特征图包括法向图和深度图，所述材质特征图包括反照率特征图、粗糙度特征图和金属度特征图；
其中，利用所述特征预测模型预测出待处理图像中每个像素点的法向特征、深度特征、反照率、粗糙度和金属度，并根据预测得到的特征值分别形成法向特征图、深度特征度、反照率特征图、粗糙度特征图和金属度特征图；
光照预测单元，被配置成将所述待处理图像、所述几何特征图和所述材质特征图输入光照预测模型，经所述光照预测模型逐像素预测所述待处理图像的光照值，得到所述待处理图像的光照特征图；
其中，将待处理图像、所述几何特征图、所述材质特征图在通道数上叠加，将叠加后的图像输入所述光照预测模型，预测出每个像素点的光照值，并根据预测得到的光照值形成空间连续的光照特征图；
图像处理单元，被配置成基于所述几何特征图、所述材质特征图和所述光照特征图，对所述待处理图像进行预设处理；
预训练单元，被配置成：获取初始光照预测模型对样本数据进行处理得到的初始光照特征图；基于所述初始光照特征图与样本标签之间的差异，确定预测损失函数的值；基于所述初始光照特征图中相邻像素点的光照值之间的差异以及所述相邻像素点的深度之间的差异，确定空间连续损失函数的值；所述空间连续损失函数表示相邻像素点之间的光照环境的差异；基于所述预测损失函数的值和所述空间连续损失函数的值，训练所述初始光照预测模型，得到预训练的光照预测模型。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序产品；
处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述权利要求1-6任一所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时，实现上述权利要求1-6任一所述的方法。
CN202210689653.XA 2022-06-17 2022-06-17 用于图像逆渲染的方法、装置、设备和介质 Active CN114972112B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210689653.XA CN114972112B (zh) 2022-06-17 2022-06-17 用于图像逆渲染的方法、装置、设备和介质
PCT/CN2023/074800 WO2023241065A1 (zh) 2022-06-17 2023-02-07 用于图像逆渲染的方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210689653.XA CN114972112B (zh) 2022-06-17 2022-06-17 用于图像逆渲染的方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN114972112A CN114972112A (zh) 2022-08-30
CN114972112B true CN114972112B (zh) 2024-05-14

Family

ID=82964485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210689653.XA Active CN114972112B (zh) 2022-06-17 2022-06-17 用于图像逆渲染的方法、装置、设备和介质

Country Status (2)

Country Link
CN (1) CN114972112B (zh)
WO (1) WO2023241065A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972112B (zh) * 2022-06-17 2024-05-14 如你所视(北京)科技有限公司 用于图像逆渲染的方法、装置、设备和介质
CN117649478B (zh) * 2024-01-29 2024-05-17 荣耀终端有限公司 模型训练方法、图像处理方法及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583161A (zh) * 2020-06-17 2020-08-25 上海眼控科技股份有限公司 模糊图像的增强方法、计算机设备和存储介质
CN112070888A (zh) * 2020-09-08 2020-12-11 北京字节跳动网络技术有限公司 图像生成方法、装置、设备和计算机可读介质
CN112862736A (zh) * 2021-02-05 2021-05-28 浙江大学 一种基于点的实时三维重建与优化方法
CN113298936A (zh) * 2021-06-01 2021-08-24 浙江大学 一种基于深度学习的多rgb-d全脸材质恢复方法
CN113947613A (zh) * 2021-12-21 2022-01-18 腾讯科技（深圳）有限公司 目标区域检测方法、装置、设备及存储介质
CN114022599A (zh) * 2021-07-14 2022-02-08 成都蓉奥科技有限公司 一种线性变换球面分布的实时间接光泽反射渲染方法
CN114191815A (zh) * 2021-11-09 2022-03-18 网易（杭州）网络有限公司 一种游戏中的显示控制方法和装置
CN114445546A (zh) * 2022-02-08 2022-05-06 百果园技术(新加坡)有限公司 渲染模型训练方法、渲染方法、装置、设备及存储介质
CN114547749A (zh) * 2022-03-03 2022-05-27 如你所视(北京)科技有限公司 户型预测方法、装置以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091339A1 (en) * 2015-11-25 2017-06-01 International Business Machines Corporation Tool to provide integrated circuit masks with accurate dimensional compensation of patterns
US11295514B2 (en) * 2018-11-16 2022-04-05 Nvidia Corporation Inverse rendering of a scene from a single image
CN112927341A (zh) * 2021-04-02 2021-06-08 腾讯科技（深圳）有限公司 光照渲染方法、装置、计算机设备和存储介质
CN114581577A (zh) * 2022-02-10 2022-06-03 山东大学 物体材质微表面模型重构方法及系统
CN114972112B (zh) * 2022-06-17 2024-05-14 如你所视(北京)科技有限公司 用于图像逆渲染的方法、装置、设备和介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583161A (zh) * 2020-06-17 2020-08-25 上海眼控科技股份有限公司 模糊图像的增强方法、计算机设备和存储介质
CN112070888A (zh) * 2020-09-08 2020-12-11 北京字节跳动网络技术有限公司 图像生成方法、装置、设备和计算机可读介质
CN112862736A (zh) * 2021-02-05 2021-05-28 浙江大学 一种基于点的实时三维重建与优化方法
CN113298936A (zh) * 2021-06-01 2021-08-24 浙江大学 一种基于深度学习的多rgb-d全脸材质恢复方法
CN114022599A (zh) * 2021-07-14 2022-02-08 成都蓉奥科技有限公司 一种线性变换球面分布的实时间接光泽反射渲染方法
CN114191815A (zh) * 2021-11-09 2022-03-18 网易（杭州）网络有限公司 一种游戏中的显示控制方法和装置
CN113947613A (zh) * 2021-12-21 2022-01-18 腾讯科技（深圳）有限公司 目标区域检测方法、装置、设备及存储介质
CN114445546A (zh) * 2022-02-08 2022-05-06 百果园技术(新加坡)有限公司 渲染模型训练方法、渲染方法、装置、设备及存储介质
CN114547749A (zh) * 2022-03-03 2022-05-27 如你所视(北京)科技有限公司 户型预测方法、装置以及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Learning Indoor Inverse Rendering With 3D Spatially-Varying Lighting;Zian Wang 等;《ICCV 2021》;20211231;全文 *
PhyIR: Physics-based Inverse Rendering for Panoramic Indoor Images;Zhen Li等;《Computer Vision and Pattern Recognition》;第12713-12723页 *
Two-shot spatially-varying brdf and shape estimation;Mark Boss 等;《CVPR2020》;20201231;全文 *
一种融合Transformer和CNN的印刷体数学表达式图像识别方法;尹锋 等;《电子技术与软件工程》;20220215(第4期);全文 *

Also Published As

Publication number Publication date
WO2023241065A1 (zh) 2023-12-21
CN114972112A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
US11037274B2 (en) Denoising Monte Carlo renderings using progressive neural networks
US10796414B2 (en) Kernel-predicting convolutional neural networks for denoising
CN114972112B (zh) 用于图像逆渲染的方法、装置、设备和介质
CN108537864B (zh) 利用具有网络渲染层的神经网络编辑数字图像
Han et al. TSR-TVD: Temporal super-resolution for time-varying data analysis and visualization
Samaras et al. Incorporating illumination constraints in deformable models for shape from shading and light direction estimation
JP7473335B2 (ja) ソリッドｃａｄフィーチャを推測するためのニューラルネットワークの学習
US8610712B2 (en) Object selection in stereo image pairs
US6249285B1 (en) Computer assisted mark-up and parameterization for scene analysis
JP7473336B2 (ja) ソリッドｃａｄフィーチャを推測するためのニューラルネットワークの学習
JP2022036024A (ja) パラメータ化された３ｄモデルを出力するニューラルネットワーク
EP4345770A1 (en) Information processing method and apparatus, computer device, and storage medium
CN116958492B (zh) 一种基于NeRf重建三维底座场景渲染的VR编辑方法
CN113379885A (zh) 虚拟头发的处理方法及装置、可读存储介质及电子设备
US11989846B2 (en) Mixture of volumetric primitives for efficient neural rendering
Zhu et al. Learning-based inverse rendering of complex indoor scenes with differentiable monte carlo raytracing
Mittal Neural Radiance Fields: Past, Present, and Future
CN117456236A (zh) 一种3d点云数据零样本分类方法、装置、设备及存储介质
US9665955B1 (en) Pose-space shape fitting
CN116524101A (zh) 基于辅助缓冲区信息和直接光照的全局光照渲染方法及装置
US10706509B2 (en) Interactive system for automatically synthesizing a content-aware fill
CN114708586A (zh) 一种从图像和视频中提取三维人脸表征的方法
KR20080050299A (ko) 3차원 그래픽 시스템의 쉐이더 제공 및 변환 장치
JP2022036023A (ja) ３ｄモデルを出力する変分オートエンコーダ
KR102593135B1 (ko) 딥러닝 기술 기반 3차원 공간 모델링 및 시점 합성을 통해 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법과 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant