CN116310053A - 场景渲染中光强分布的确定方法、渲染方法、设备和介质 - Google Patents

场景渲染中光强分布的确定方法、渲染方法、设备和介质 Download PDF

Info

Publication number
CN116310053A
CN116310053A CN202310061686.4A CN202310061686A CN116310053A CN 116310053 A CN116310053 A CN 116310053A CN 202310061686 A CN202310061686 A CN 202310061686A CN 116310053 A CN116310053 A CN 116310053A
Authority
CN
China
Prior art keywords
light intensity
intensity distribution
probability density
sampling
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310061686.4A
Other languages
English (en)
Inventor
黄佳维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Airbound Information Technology Co ltd
Original Assignee
Anhui Airbound Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Airbound Information Technology Co ltd filed Critical Anhui Airbound Information Technology Co ltd
Priority to CN202310061686.4A priority Critical patent/CN116310053A/zh
Publication of CN116310053A publication Critical patent/CN116310053A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Computer Graphics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Generation (AREA)

Abstract

本申请属于计算机图形技术领域，具体涉及一种场景渲染中光强分布的确定方法、渲染方法、设备和介质。场景渲染中光强分布的确定方法包括：S1、获取待渲染的三维场景信息；S2、从三维场景信息中获取当前采样点，将当前采样点的三维信息输入到通过在线训练得到的神经网络模型中，得到光强分布概率密度模型的模型参数；S3、基于模型参数，通过光强分布概率密度模型得到当前采样点的显式的光强分布概率密度函数，该函数用于表示当前采样点的全局光强分布信息。该方法有效降低了渲染计算时间，大大提高了渲染速度和渲染效果的真实性。

Description

场景渲染中光强分布的确定方法、渲染方法、设备和介质
技术领域
本申请属于计算机图形技术领域，具体涉及一种场景渲染中光强分布的确定方法。
背景技术
物理渲染是计算机生成逼真图像的核心技术，被广泛应用于影视、动画、建筑设计等行业。物理渲染的主要原理为对光传播过程进行物理建模，对感光元件接收到的光强进行物理模拟计算，对于感光元件上的每个像素，其收集到的光强度定义为一个积分模型，被称为“渲染方程”。由于这一物理模型依赖于环境中的光源分布和几何分布，无法解析地获得一个准确解。当前的标准方法为通过蒙特卡洛法，对不同方向进行采样，来估算描述光照的物理模型，并提高其精度。
通过蒙特卡洛法计算的结果的误差会随着采样次数的上升而减少。因为采样速度有限，以及采样间的方差巨大，传统的物理渲染往往需要消耗大量时间来生成最终图像，对计算资源和人力资源都是极大的消耗。为了加速这一过程，针对该物理模型的重要性采样技术使得物理渲染的速度有了大幅度的提高。但是由于缺少光照的全局信息，其无法对整个渲染方程进行重要性采样，进而导致单张图片的渲染往往还是需要较长的计算时间，而若减少渲染时间将降低渲染效果的真实性。
综上所述，如何同时提高渲染速度和渲染效果的真实性，是目前本领域技术人员亟待解决的技术问题。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本申请提供一种场景渲染中光强分布的确定方法、渲染方法、设备和介质。
(二)技术方案
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请实施例提供一种场景渲染中光强分布的确定方法，该方法包括以下步骤：
S1、获取待渲染的三维场景信息；
S2、从所述三维场景信息中获取当前采样点，将当前采样点的三维信息输入到通过在线训练得到的神经网络模型中，得到预先建立的光强分布概率密度模型的模型参数；
S3、基于所述模型参数，通过光强分布概率密度模型得到当前采样点的显式的光强分布概率密度函数，所述光强分布概率密度函数用于表示当前采样点的全局光强分布信息。
可选地，所述光强分布概率密度函数表示为经归一化处理的多个概率密度函数的线性组合，所述光强分布概率密度模型的模型参数包括每个概率密度函数的权重系数和每个概率密度函数中的参数。
可选地，所述概率密度函数为如下公式所示的归一化各向异性球面高斯密度函数：
Figure BDA0004061318780000021
其中，v表示单位向量，x,y,z表示三个标准正交基，λ表示用于控制整个分布的宽窄的参数，α表示用于控制双方向分布的相关性的参数。
可选地，在步骤S1之后，步骤S2之前还包括：对三维场景进行渲染的同时对建立的初始神经网络模型进行训练，具体包括以下步骤：
S21、建立待训练的初始神经网络模型，建立光强分布概率密度模型；
S22、对三维场景中的像素点进行渲染时，对渲染像素点时经过的各个采样点，基于采样点的材质信息建立表面散射分布模型，基于所述表面散射分布模型和/或通过所述光强分布概率密度模型选取采样方向进行采样，得到采样点的概率密度和采样值；基于所述采样值对相应的像素点进行物理渲染；
S23、将采样点的三维信息作为训练样本输入所述初始神经网络模型，所述初始神经网络模型输出所述光强分布概率密度模型的概率密度函数参数；
S24、基于所述概率密度函数参数得到光强分布概率密度函数，基于所述光强分布概率密度函数得到采样方向上的预测概率密度；
S25、基于预测概率密度、采样点的概率密度和采样值计算神经网络模型训练的损失值，通过反向传播和梯度下降更新所述初始神经网络模型的模型参数；
S26、迭代执行步骤S22-S25，直至达到预设的采样次数。
可选地，在步骤S22-S25迭代执行过程中，基于所述表面散射分布模型和/或通过所述光强分布概率密度模型选取采样方向进行采样，包括：
设定阈值g，随着迭代次数的增加，阈值g取值逐渐增大，取值范围为0至1，生成随机数a；
当a大于等于g时，基于所述表面散射分布模型选取采样方向进行采样；
当a小于g时，通过训练中的神经网络模型得到光强分布概率密度模型的当前模型参数，基于当前模型参数得到的光强分布概率密度函数选取采样方向进行采样。
可选地，所述神经网络模型为多层感知机、U-net、ResNet中的一种。
第二方面，本申请实施例提供一种物理渲染方法，该方法包括：
借助于如上第一方面任一项所述的场景渲染中光强分布的确定方法对待渲染三维场景中的采样点进行顺次采样，并在每次采样后得到每个采样点的全局光强分布信息；
基于所述全局光强分布信息进行重要性采样得到采样点的光照信息，基于所述光照信息对三维场景进行物理渲染，得到渲染后的三维场景图像。
可选地，基于所述全局光强分布信息进行重要性采样得到采样点的光照信息，包括：
根据每个采样点的全局光强分布信息对直接光照和间接光照进行采样；
基于采样结果，用蒙特卡洛积分法计算得到每个采样点的光照信息。
第三方面，本申请实施例提供一种物理渲染方法，所述物理渲染方法为任一设备中对待渲染的三维场景采用模型训练和渲染同步的策略进行的渲染方法，所述方法包括：
针对待渲染的三维场景信息中每个待渲染的像素点，采用模型训练和渲染同步的策略，获取渲染该像素点时经过的各个采样点的全局光强分布信息；
基于所述全局光强分布信息进行重要性采样得到采样点的光照信息；
基于所述光照信息对待渲染的像素点进行物理渲染，得到渲染后的三维场景图像。
可选地，针对待渲染的三维场景信息中每个待渲染的像素点，采用模型训练和渲染同步的策略，获取渲染该像素点时经过的各个采样点的全局光强分布信息，包括：
建立光强分布概率密度模型和待训练的初始神经网络模型；
对三维场景进行渲染的同时对所述初始神经网络模型进行训练，得到经过训练的神经网络模型；所述神经网络模型用于基于采样点的三维信息生成所述光强分布概率密度模型的模型参数；
从所述三维场景信息中获取当前渲染处理的像素点，将渲染该像素点时经过的各个采样点的三维信息输入到经过训练的神经网络模型中，得到相应的模型参数；
基于所述模型参数，通过光强分布概率密度模型得到各个采样点的显式的光强分布概率密度函数，所述光强分布概率密度函数用于表示采样点的全局光强分布信息。
可选地，所述光强分布概率密度函数表示为经归一化处理的多个概率密度函数的线性组合，所述光强分布概率密度模型的模型参数包括每个概率密度函数的权重系数和每个概率密度函数中的参数。
可选地，所述概率密度函数为如下公式所示的归一化各向异性球面高斯密度函数：
Figure BDA0004061318780000051
其中，v表示单位向量，x,y,z表示三个标准正交基，λ表示用于控制整个分布的宽窄的参数，α表示用于控制双方向分布的相关性的参数。
可选地，对三维场景进行渲染的同时对所述初始神经网络模型进行训练，具体包括以下步骤：
A21、对三维场景中的像素点进行渲染时，对渲染像素点时经过的各个采样点，基于采样点的材质信息建立表面散射分布模型；
A22、基于所述表面散射分布模型和/或通过所述光强分布概率密度模型选取采样方向进行采样，得到采样点的概率密度和采样值；基于所述采样值对相应的像素点进行物理渲染；
A23、将采样点的三维信息作为训练样本输入所述初始神经网络模型，所述初始神经网络模型输出所述光强分布概率密度模型的概率密度函数参数；
A24、基于所述概率密度函数参数得到光强分布概率密度函数，得到所述光强分布概率密度函数采样方向上的预测概率密度；
A25、基于预测概率密度、采样点的概率密度和采样值计算神经网络模型训练的损失值，通过反向传播和梯度下降更新所述初始神经网络模型的模型参数；
A26、迭代执行步骤A22-A25，直至达到预设的采样次数。
可选地，在步骤A22-A25迭代执行过程中，A22包括：
设定阈值g，随着迭代次数的增加，阈值g取值逐渐增大，取值范围为0至1，生成随机数a；
当a大于等于g时，基于所述表面散射分布模型选取采样方向进行采样；
当a小于g时，通过训练中的神经网络模型得到光强分布概率密度模型的当前模型参数，基于当前模型参数得到的光强分布概率密度函数当前得到的光强分布概率密度模型选取采样方向进行采样。
可选地，所述神经网络模型为多层感知机、U-net、ResNet中的一种。
可选地，基于所述全局光强分布信息进行重要性采样得到采样点的光照信息，包括：
根据每个采样点全局光强分布信息对直接光照和间接光照进行采样；
基于采样结果，用蒙特卡洛积分法计算得到每个采样点的光照信息。
第四方面，本申请实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的场景渲染中光强分布的确定方法或如上第三方面任一项所述的物理渲染方法的步骤。
第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面任一项所述的场景渲染中光强分布的确定方法或如上第三方面任一项所述的物理渲染方法的步骤。
(三)有益效果
本申请的有益效果是：本申请提出了一种场景渲染中光强分布的确定方法、渲染方法、设备和介质，其中的方法包括：S1、获取待渲染的三维场景信息；S2、从三维场景信息中获取当前采样点，将当前采样点的三维信息输入到通过在线训练得到的神经网络模型中，得到光强分布概率密度模型的模型参数；S3、基于模型参数，通过光强分布概率密度模型得到当前采样点的显式的光强分布概率密度函数，该函数用于表示当前采样点的全局光强分布信息。该方法有效降低了渲染计算时间，大大提高了渲染速度和渲染效果的真实性。
进一步地，通过采用归一化各向异性球面高斯密度函数，可以很好的拟合像素点概率密度的球形分布，因此能够使得模型训练速度更快，进而提高渲染速度。
附图说明
本申请借助于以下附图进行描述：
图1为物理渲染原理示意图；
图2为本申请一个实施例中的场景渲染中光强分布的确定方法流程示意图；
图3为本申请另一个实施例中的场景渲染中光强分布的确定方法流程示意图，
图4为本申请一个实施例中的物理渲染方法流程示意图；
图5为本申请一个实施例中的物理渲染过程示例图；
图6为本申请一个实施例中不同渲染器的渲染结果对比图；
图7为本申请另一个实施例中的物理渲染方法流程示意图；
图8为本申请另一个实施例中的物理渲染方法的渲染结果方差对比图；
图9为本申请一个实施例中的电子设备的架构示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。
在对本申请的场景渲染中光强分布的确定方法进行介绍之前，先对本申请中涉及的物理渲染的原理进行说明。
基于物理规则的渲染(Physically based rendering，PBR)是指使用真实的渲染/光照模型以及测量得到的表面值来准确地表示真实世界中的材质。图1为物理渲染原理示意图，如图1所示，x为待渲染对象上的一点，S为虚拟相机，P为虚拟相机中的成像点，也即渲染图像上对应的像素点。
将x点在三维空间的光照可归纳为被称为“渲染方程”的数学模型，该模型为一个球面上的积分式：
L(x)＝Le+∫Ωfs(x，ωi，ωo)Licosθ
其中，Le表示x点发出的光的强度，Li表示外部入射光强度，fs表示反射函数，θ表示法向与入射方向夹角，Ω表示半球面，fs表示反射分布函数，ωi、ωo分别表示入射立体角和出射立体角。
对渲染的效率起决定性影响的部分来自于两个“采样”部分，即采样直接光照和采样散射方向。“采样”是指，虽然物理渲染计算的是一个表面上所有方向来的光的积分，但因为该积分不存在解析解，只能随机选取几个方向，通过这几个方向上的来光对总和进行估计，即蒙特卡洛法。如果能做到对来光越强的方向采样越多，即所谓重要性采样，得到的结果就越准确。
采样散射方向的方式是根据反射系数来选择，这是因为当对局部进行计算的时候，无法获得全局信息，所以只能根据有限的信息来进行采样。因此导致单张图片的渲染往往还是需要较长的计算时间，并且渲染效果缺乏真实性。
针对以上问题，本申请提出了一种场景渲染中光强分布的确定方法。以下结合附图，详细说明本申请各实施例提供的技术方案。
实施例一
图2为本申请一个实施例中的场景渲染中光强分布的确定方法流程示意图。该方法可由图像生成装置执行，该装置可以由软件和/或硬件的方式实现，并一般可以集成在终端设备或服务器中。如图2所示，该方法包括以下步骤：
S1、获取待渲染的三维场景信息；
S2、从三维场景信息中获取当前采样点，将当前采样点的三维信息输入到通过在线训练得到的神经网络模型中，得到预先建立的光强分布概率密度模型的模型参数；
S3、基于模型参数，通过光强分布概率密度模型得到当前采样点的显式的光强分布概率密度函数，光强分布概率密度函数用于表示当前采样点的全局光强分布信息。
本实施例的场景渲染中光强分布的确定方法，通过在线训练得到的神经网络模型显式地生成针对每个三维坐标独立的光强分布概率密度模型，然后利用该分布模型去配置样本，从而达到高效率地对被积分光照函数进行无偏估计的目的；进而能够在图形渲染中降低渲染计算时间，提高渲染速度和渲染效果的真实性。
为了更好地理解本发明，以下对本实施例中的各步骤进行展开说明。
本实施例S1中，三维场景信息是根据几何信息、视点信息和纹理信息，用定义的语言或者数据结构对于三维物体进行描述生成的。
本实施例S2中，光强分布概率密度函数为经归一化处理的多个概率密度函数的线性组合。
具体地，光强分布概率密度模型表示如下：
Figure BDA0004061318780000101
其中，D(x)为光强分布概率密度模型，Ai为各分量系数，K为归一化系数，Gi(x；θi)为参数θi确定的某种高斯分布函数，N为高斯分布函数的数量。
本实施例S2中，神经网络模型可以是多层感知机、U-net、ResNet中的一种。
本实施例中，在步骤S3之后，在场景渲染的过程中对神经网络模型继续进行训练，具体包括：
基于光强分布概率密度函数得到采样方向上的预测概率密度；
基于预测概率密度选取采样方向进行采样，得到采样点的概率密度和采样值，基于预测概率密度、采样点的概率密度和采样值计算神经网络模型训练的损失值，通过反向传播和梯度下降更新神经网络模型的模型参数；
重复执行以上步骤，直至达到预设的迭代次数或误差满足预设的误差精度。
通过本实施例的方法，对直接光照和散射方向实现了重要性采样，提升渲染计算的效率和采样的准确度。
实施例二
图3为本申请另一个实施例中的场景渲染中光强分布的确定方法流程示意图，如图3所示，该方法包括以下步骤：
S10、获取待渲染的三维场景信息；
S20建立待训练的初始神经网络模型，建立光强分布概率密度模型；
S30、从待渲染的三维场景信息中获取当前渲染处理的像素点，对该像素点进行渲染的同时基于渲染该像素点时经过的各个采样点对建立的初始神经网络模型进行训练，得到经过训练的神经网络模型；
S40、从待渲染的三维场景信息中获取当前渲染处理的像素点，针对渲染该像素点时经过的各个采样点，将采样点的三维信息输入到经过训练的神经网络模型中，得到光强分布概率密度模型的模型参数；
S50、基于模型参数，通过光强分布概率密度模型得到采样点的显式的光强分布概率密度函数，光强分布概率密度函数用于表示采样点的全局光强分布信息。
本实施例在实施例一的基础上，对光强分布概率密度模型以及初始神经网络模型的训练过程进行具体说明。
本实施例中，光强分布概率密度模型中的概率密度函数可以是如下公式所示的归一化各向异性球面高斯密度函数：
Figure BDA0004061318780000111
其中，v表示单位向量，x,y,z表示三个标准正交基，λ表示用于控制整个分布的宽窄的参数，α表示用于控制双方向分布的相关性的参数。这里，a越小，则整个分布越扁，否则越圆。
在其他一些实施例中，概率密度函数也可以采用如下公式所示的球面高斯函数：
G(v；μ，λ)＝exp(λ(μ·v-1))
其中，v表示单位向量，μ表示叶轴，λ表示分布的锐度。
在其他一些实施例中，概率密度函数还可以采用如下公式所示的二维高斯函数：
Figure BDA0004061318780000112
其中，ρ表示变量x和y的相关性，μx，μy分别表示分布中心的xy坐标，σx，σy分别表示x和y的方差。
三种函数均可作为光强分布的密度模型的基础组件，但归一化各向异性球面高斯密度函数能够在最少的参数下提供最高的表示精度。
本实施例中，神经网络模型的训练方法包括：
S22、对三维场景中的像素点进行渲染时，对渲染像素点时经过的各个采样点，基于采样点的材质信息建立表面散射分布模型，基于表面散射分布模型和/或通过光强分布概率密度模型选取采样方向进行采样，得到采样点的概率密度和采样值；基于采样值对相应的像素点进行物理渲染；
具体地，标准分布模型可以是基于表面反射系数的分布函数。
基于表面散射分布模型和/或通过光强分布概率密度模型选取采样方向进行采样的具体方法包括：
设定阈值g，随着迭代次数的增加，阈值g取值逐渐增大，取值范围为0至1，生成随机数a；
当a大于等于g时，基于表面散射分布模型选取采样方向进行采样；
当a小于g时，通过训练中的神经网络模型得到光强分布概率密度模型的当前模型参数，基于当前模型参数得到的光强分布概率密度函数选取采样方向进行采样。
S23、将采样点的三维信息作为训练样本输入初始神经网络模型，初始神经网络模型输出光强分布概率密度模型的概率密度函数参数；
这里模型参数不仅包括概率密度函数中的参数，还包括概率密度函数的权重参数。
S24、基于概率密度函数参数得到光强分布概率密度函数，基于光强分布概率密度函数得到采样方向上的预测概率密度；
S25、基于预测概率密度、采样点的概率密度和采样值计算神经网络模型训练的损失值，通过反向传播和梯度下降更新初始神经网络模型的模型参数；
S26、迭代执行步骤S22-S25，直至达到预设的采样次数。
需要说明的是，损失函数可以采用KL分歧(Kullback-Leibler Divergence)、平均方差(MSE)、以及蒙特卡洛方差等算法，均可以得到预期结果，本实施例并不对损失函数的具体形式进行限定。
由于本实施例方法通过一边渲染，一边学习，再将学习的结果直接投入在渲染中，从而大大提高了渲染的效率。
举例来说，训练的具体步骤如下：
A、对位于X的点，随机选取一个方向ωj，进行采样，此时ωj服从预先设定的分布p(ω)，获得结果L0；
B、对待训练的神经网络N，输入x，输出光强分布概率密度模型q(x,θ)的参数集θ；
C、根据光强分布概率密度模型q(x，θ)，即参数为θ的关于ω的分布q，算出在方向ωj上的概率密度q(ωj|x,θ)；
D、将KL分歧作为误差函数，通过以下公式计算出误差值：
Figure BDA0004061318780000131
其中，θ表示神经网络预测的x点的概率密度分布模型所对应的参数，
Figure BDA0004061318780000132
表示参数集θ的梯度，F为全局缩放值(将在训练算法中被抵消)，E表示采样的强度期望。
E、反向传播，利用梯度下降更新神经网络中的参数；
F、判断模型是否收敛，若是，结束模型训练；若否，返回步骤A。
在步骤A中，随机选取方向ωj所使用的分布，最初是一个基于表面反射系数的分布p0(ω)，随着训练的推进，会渐渐过渡到使用神经网络N生成的分布q(x,θ)。无论具体使用的是哪种分布，选取方向ωj的概率都是:
p(ωj)＝p0(ωj)*(1-g)+q(ωj)*g。
最初，阈值g是0，即完全使用p0；随着进展，g会慢慢增大到1，这时候完全使用神经网络生成的分布q。
实施例三
本申请第二方面提供了一种物理渲染方法，图4为本申请一个实施例中的物理渲染方法流程示意图，如图4所示，该方法包括以下步骤：
S100、借助于如上实施例中任一项所述的场景渲染中光强分布的确定方法对待渲染三维场景中的采样点进行顺次采样，并在每次采样后得到每个采样点的全局光强分布信息；
S200、基于全局光强分布信息进行重要性采样得到采样点的光照信息，基于光照信息对三维场景进行物理渲染，得到渲染后的三维场景图像。
本实施例步骤S100中的场景渲染中光强分布的确定方法在执行过程中实现上述方法实施例中场景渲染中光强分布的确定方法的步骤，其实现原理和技术效果类似，本实施例此处不再赘述。
本实施例步骤S100中，光线到达第一个采样点x1后，根据得到的全局光强分布信息确定采样方向进行采样，反射到达下一采样点x2，然后再次根据得到的全局光强分布信息确定采样方向进行采样，顺次采样直至达到预设的采样次数或者满足其他预设的停止条件。
本实施例步骤S200中，基于全局光强分布信息进行重要性采样得到采样点的光照信息，包括：
根据每个采样点的全局光强分布信息对直接光照和间接光照进行采样；
基于采样结果，用蒙特卡洛积分法计算得到每个采样点的光照信息。
图5为本申请一个实施例中的物理渲染过程示例图，如图5所示，基于通过光强分布信息得到的光照信息、预先得到的空间几何信息和材质信息对目标场景进行物理渲染，得到具有照片级真实感的图片。
图6为本申请一个实施例中不同渲染器的渲染结果对比图，图6中(a)为待渲染目标场景的图像，(b1)和(b2)、(c1)和(c2)、(d1)和(d2)分别是在相同采样数量情况下，通过本实施例的渲染方法、常规路径跟踪(path tracing，PT)、现有技术中涉及到的行业领先方法(PPG)对(a)中两个方框进行渲染的结果。(e1)和(e2)是渲染结果参考图(Reference)。(b1)和(b2)、(c1)和(c2)、(d1)和(d2)的平均绝对百分比误差分别为0.096、0.174、0.150。如图6所示，相同采样数时，采用本发明的渲染结果与其他方法得到的渲染结果相比，渲染效果明显更好。
实施例四
本申请第三方面提供了另一种物理渲染方法，图7为本申请另一个实施例中的物理渲染方法流程示意图，如图7所示，该物理渲染方法为任一设备中对待渲染的三维场景采用模型训练和渲染同步的策略进行的渲染方法，该方法包括：
S01、针对待渲染的三维场景信息中每个待渲染的像素点，采用模型训练和渲染同步的策略，获取渲染该像素点时经过的各个采样点的全局光强分布信息；
S02、基于全局光强分布信息进行重要性采样得到采样点的光照信息，基于光照信息对待渲染的像素点进行物理渲染，得到渲染后的三维场景图像。
具体地，针对待渲染的三维场景信息中每个待渲染的像素点，采用模型训练和渲染同步的策略，获取渲染该像素点时经过的各个采样点的全局光强分布信息，包括：
建立光强分布概率密度模型和待训练的初始神经网络模型；
对三维场景进行渲染的同时对初始神经网络模型进行训练，得到经过训练的神经网络模型；神经网络模型用于基于采样点的三维信息生成光强分布概率密度模型的模型参数；
从三维场景信息中获取当前渲染处理的像素点，将渲染该像素点时经过的各个采样点的三维信息输入到经过训练的神经网络模型中，得到相应的模型参数；
基于模型参数，通过光强分布概率密度模型得到各个采样点的显式的光强分布概率密度函数，光强分布概率密度函数用于表示采样点的全局光强分布信息。
本实施例中，光强分布概率密度函数表示为经归一化处理的多个概率密度函数的线性组合，光强分布概率密度模型的模型参数包括每个概率密度函数的权重系数。概率密度函数可以是归一化各向异性球面高斯密度函数。
本实施例中，神经网络模型为多层感知机、U-net、ResNet中的一种。
本实施例中，对三维场景进行渲染的同时对初始神经网络模型进行训练，具体包括以下步骤：
A21、对三维场景中的像素点进行渲染时，对渲染像素点时经过的各个采样点，基于采样点的材质信息建立表面散射分布模型；
A22、基于表面散射分布模型和/或通过光强分布概率密度模型选取采样方向进行采样，得到采样点的概率密度和采样值；基于采样值对相应的像素点进行物理渲染；
A23、将采样点的三维信息作为训练样本输入所述初始神经网络模型，所述初始神经网络模型输出所述光强分布概率密度模型的概率密度函数参数；
A24、基于所述概率密度函数参数得到光强分布概率密度函数，得到所述光强分布概率密度函数采样方向上的预测概率密度；
A25、基于预测概率密度、采样点的概率密度和采样值计算神经网络模型训练的损失值，通过反向传播和梯度下降更新所述初始神经网络模型的模型参数；
A26、迭代执行步骤A22-A25，直至达到预设的采样次数。
在步骤A22-A25迭代执行过程中，A22包括：
设定阈值g，随着迭代次数的增加，阈值g取值逐渐增大，取值范围为0至1，生成随机数a；
当a大于等于g时，基于所述表面散射分布模型选取采样方向进行采样；
当a小于g时，通过训练中的神经网络模型得到光强分布概率密度模型的当前模型参数，基于当前模型参数得到的光强分布概率密度函数当前得到的光强分布概率密度模型选取采样方向进行采样。
本实施例中，基于全局光强分布信息进行重要性采样得到采样点的光照信息，包括：
根据每个采样点全局光强分布信息对直接光照和间接光照进行采样；
基于采样结果，用蒙特卡洛积分法计算得到每个采样点的光照信息。
图8为本申请另一个实施例中的的物理渲染方法的渲染结果方差对比图，图中横轴为采样次数，纵轴为结果的方差(与真值对比)。从图中可以看出，在同样的采样次数下，采用本发明进行渲染的结果的方差远远低于常规渲染算法。例如，本发明只需要120次采样即可使方差下降至0.25，而传统方法获得同样结果需要500次采样。
实施例五
本申请第四方面提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上实施例中任意一项所述的场景渲染中光强分布的确定方法或如上实施例中任意一项所述的物理渲染方法的步骤。
图9为本申请另一个实施例中的电子设备的架构示意图。
图9所示的电子设备可包括：至少一个处理器101、至少一个存储器102、至少一个网络接口104和其他的用户接口103。电子设备中的各个组件通过总线系统105耦合在一起。可理解，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统105。
其中，用户接口103可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等。
可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Sync Link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。
其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1022，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。
在本发明实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行第一方面或第三方面所提供的方法步骤。
上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。
另外，结合上述实施例中的场景渲染中光强分布的确定方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任意一种场景渲染中光强分布的确定方法或物理渲染方法。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (18)

1.一种场景渲染中光强分布的确定方法，其特征在于，该方法包括以下步骤：
S1、获取待渲染的三维场景信息；
S2、从所述三维场景信息中获取当前采样点，将当前采样点的三维信息输入到通过在线训练得到的神经网络模型中，得到预先建立的光强分布概率密度模型的模型参数；
S3、基于所述模型参数，通过光强分布概率密度模型得到当前采样点的显式的光强分布概率密度函数，所述光强分布概率密度函数用于表示当前采样点的全局光强分布信息。
2.根据权利要求1所述的场景渲染中光强分布的确定方法，其特征在于，所述光强分布概率密度函数表示为经归一化处理的多个概率密度函数的线性组合，所述光强分布概率密度模型的模型参数包括每个概率密度函数的权重系数和每个概率密度函数中的参数。
3.根据权利要求2所述的场景渲染中光强分布的确定方法，其特征在于，所述概率密度函数为如下公式所示的归一化各向异性球面高斯密度函数：
Figure FDA0004061318770000011
其中，v表示单位向量，x,y,z表示三个标准正交基，λ表示用于控制整个分布的宽窄的参数，α表示用于控制双方向分布的相关性的参数。
4.根据权利要求1所述的场景渲染中光强分布的确定方法，其特征在于，在步骤S1之后，步骤S2之前还包括：对三维场景进行渲染的同时对建立的初始神经网络模型进行训练，具体包括以下步骤：
S21、建立待训练的初始神经网络模型，建立光强分布概率密度模型；
S22、对三维场景中的像素点进行渲染时，对渲染像素点时经过的各个采样点，基于采样点的材质信息建立表面散射分布模型，基于所述表面散射分布模型和/或通过所述光强分布概率密度模型选取采样方向进行采样，得到采样点的概率密度和采样值；基于所述采样值对相应的像素点进行物理渲染；
S23、将采样点的三维信息作为训练样本输入所述初始神经网络模型，所述初始神经网络模型输出所述光强分布概率密度模型的概率密度函数参数；
S24、基于所述概率密度函数参数得到光强分布概率密度函数，基于所述光强分布概率密度函数得到采样方向上的预测概率密度；
S25、基于预测概率密度、采样点的概率密度和采样值计算神经网络模型训练的损失值，通过反向传播和梯度下降更新所述初始神经网络模型的模型参数；
S26、迭代执行步骤S22-S25，直至达到预设的采样次数。
5.根据权利要求4所述的场景渲染中光强分布的确定方法，其特征在于，在步骤S22-S25迭代执行过程中，基于所述表面散射分布模型和/或通过所述光强分布概率密度模型选取采样方向进行采样，包括：
设定阈值g，随着迭代次数的增加，阈值g取值逐渐增大，取值范围为0至1，生成随机数a；
当a大于等于g时，基于所述表面散射分布模型选取采样方向进行采样；
当a小于g时，通过训练中的神经网络模型得到光强分布概率密度模型的当前模型参数，基于当前模型参数得到的光强分布概率密度函数选取采样方向进行采样。
6.根据权利要求4所述的场景渲染中光强分布的确定方法，其特征在于，所述神经网络模型为多层感知机、U-net、ResNet中的一种。
7.一种物理渲染方法，其特征在于，该方法包括：
借助于如上权利要求1至6任一项所述的场景渲染中光强分布的确定方法对待渲染三维场景中的采样点进行顺次采样，并在每次采样后得到每个采样点的全局光强分布信息；
基于所述全局光强分布信息进行重要性采样得到采样点的光照信息，基于所述光照信息对三维场景进行物理渲染，得到渲染后的三维场景图像。
8.根据权利要求7所述的物理渲染方法，其特征在于，基于所述全局光强分布信息进行重要性采样得到采样点的光照信息，包括：
根据每个采样点的全局光强分布信息对直接光照和间接光照进行采样；
基于采样结果，用蒙特卡洛积分法计算得到每个采样点的光照信息。
9.一种物理渲染方法，其特征在于，所述物理渲染方法为任一设备中对待渲染的三维场景采用模型训练和渲染同步的策略进行的渲染方法，所述方法包括：
针对待渲染的三维场景信息中每个待渲染的像素点，采用模型训练和渲染同步的策略，获取渲染该像素点时经过的各个采样点的全局光强分布信息；
基于所述全局光强分布信息进行重要性采样得到采样点的光照信息；
基于所述光照信息对待渲染的像素点进行物理渲染，得到渲染后的三维场景图像。
10.根据权利要求9所述的物理渲染方法，其特征在于，针对待渲染的三维场景信息中每个待渲染的像素点，采用模型训练和渲染同步的策略，获取渲染该像素点时经过的各个采样点的全局光强分布信息，包括：
建立光强分布概率密度模型和待训练的初始神经网络模型；
对三维场景进行渲染的同时对所述初始神经网络模型进行训练，得到经过训练的神经网络模型；所述神经网络模型用于基于采样点的三维信息生成所述光强分布概率密度模型的模型参数；
从所述三维场景信息中获取当前渲染处理的像素点，将渲染该像素点时经过的各个采样点的三维信息输入到经过训练的神经网络模型中，得到相应的模型参数；
基于所述模型参数，通过光强分布概率密度模型得到各个采样点的显式的光强分布概率密度函数，所述光强分布概率密度函数用于表示采样点的全局光强分布信息。
11.根据权利要求10所述的物理渲染方法，其特征在于，所述光强分布概率密度函数表示为经归一化处理的多个概率密度函数的线性组合，所述光强分布概率密度模型的模型参数包括每个概率密度函数的权重系数和每个概率密度函数中的参数。
12.根据权利要求11所述的物理渲染方法，其特征在于，所述概率密度函数为如下公式所示的归一化各向异性球面高斯密度函数：
Figure FDA0004061318770000041
其中，v表示单位向量，x,y,z表示三个标准正交基，λ表示用于控制整个分布的宽窄的参数，α表示用于控制双方向分布的相关性的参数。
13.根据权利要求10所述的物理渲染方法，其特征在于，对三维场景进行渲染的同时对所述初始神经网络模型进行训练，具体包括以下步骤：
A21、对三维场景中的像素点进行渲染时，对渲染像素点时经过的各个采样点，基于采样点的材质信息建立表面散射分布模型；
A22、基于所述表面散射分布模型和/或通过所述光强分布概率密度模型选取采样方向进行采样，得到采样点的概率密度和采样值；基于所述采样值对相应的像素点进行物理渲染；
A23、将采样点的三维信息作为训练样本输入所述初始神经网络模型，所述初始神经网络模型输出所述光强分布概率密度模型的概率密度函数参数；
A24、基于所述概率密度函数参数得到光强分布概率密度函数，得到所述光强分布概率密度函数采样方向上的预测概率密度；
A25、基于预测概率密度、采样点的概率密度和采样值计算神经网络模型训练的损失值，通过反向传播和梯度下降更新所述初始神经网络模型的模型参数；
A26、迭代执行步骤A22-A25，直至达到预设的采样次数。
14.根据权利要求13所述的物理渲染方法，其特征在于，在步骤A22-A25迭代执行过程中，A22包括：
设定阈值g，随着迭代次数的增加，阈值g取值逐渐增大，取值范围为0至1，生成随机数a；
当a大于等于g时，基于所述表面散射分布模型选取采样方向进行采样；
当a小于g时，通过训练中的神经网络模型得到光强分布概率密度模型的当前模型参数，基于当前模型参数得到的光强分布概率密度函数当前得到的光强分布概率密度模型选取采样方向进行采样。
15.根据权利要求13所述的物理渲染方法，其特征在于，所述神经网络模型为多层感知机、U-net、ResNet中的一种。
16.根据权利要求9所述的物理渲染方法，其特征在于，基于所述全局光强分布信息进行重要性采样得到采样点的光照信息，包括：
根据每个采样点全局光强分布信息对直接光照和间接光照进行采样；
基于采样结果，用蒙特卡洛积分法计算得到每个采样点的光照信息。
17.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上权利要求1至6任一项所述的场景渲染中光强分布的确定方法或如上权利要求9至16任一项所述的物理渲染方法的步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上权利要求1至6任一项所述的场景渲染中光强分布的确定方法或如上权利要求9至16任一项所述的物理渲染方法的步骤。
CN202310061686.4A 2023-01-19 2023-01-19 场景渲染中光强分布的确定方法、渲染方法、设备和介质 Pending CN116310053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310061686.4A CN116310053A (zh) 2023-01-19 2023-01-19 场景渲染中光强分布的确定方法、渲染方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310061686.4A CN116310053A (zh) 2023-01-19 2023-01-19 场景渲染中光强分布的确定方法、渲染方法、设备和介质

Publications (1)

Publication Number Publication Date
CN116310053A true CN116310053A (zh) 2023-06-23

Family

ID=86817643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310061686.4A Pending CN116310053A (zh) 2023-01-19 2023-01-19 场景渲染中光强分布的确定方法、渲染方法、设备和介质

Country Status (1)

Country Link
CN (1) CN116310053A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237507A (zh) * 2023-11-16 2023-12-15 北京渲光科技有限公司 参与介质的渲染方法、装置、存储介质及计算机设备
CN117274473A (zh) * 2023-11-21 2023-12-22 北京渲光科技有限公司 一种多重散射实时渲染的方法、装置及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237507A (zh) * 2023-11-16 2023-12-15 北京渲光科技有限公司 参与介质的渲染方法、装置、存储介质及计算机设备
CN117237507B (zh) * 2023-11-16 2024-01-30 北京渲光科技有限公司 参与介质的渲染方法、装置、存储介质及计算机设备
CN117274473A (zh) * 2023-11-21 2023-12-22 北京渲光科技有限公司 一种多重散射实时渲染的方法、装置及电子设备
CN117274473B (zh) * 2023-11-21 2024-02-02 北京渲光科技有限公司 一种多重散射实时渲染的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN116310053A (zh) 场景渲染中光强分布的确定方法、渲染方法、设备和介质
Garon et al. Deep 6-DOF tracking
US10304244B2 (en) Motion capture and character synthesis
CN110062934A (zh) 使用神经网络确定图像中的结构和运动
KR102318772B1 (ko) 도메인 분리 뉴럴 네트워크들
EP3454302B1 (en) Approximating mesh deformation for character rigs
CN106846467B (zh) 基于每个相机位置优化的实体场景建模方法和系统
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
US7995059B1 (en) Mid-field and far-field irradiance approximation
JP2018106712A (ja) 二次曲面の高速レンダリング及びその輪郭の印付け
CN114925748B (zh) 模型训练及模态信息的预测方法、相关装置、设备、介质
US11403807B2 (en) Learning hybrid (surface-based and volume-based) shape representation
US8314797B1 (en) Method and apparatus for irradiance computation in 3-D computer graphics
US20230401799A1 (en) Augmented reality method and related device
JP2024507727A (ja) 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN113298913A (zh) 数据增强方法、装置、电子设备及可读存储介质
CN113886510A (zh) 一种终端交互方法、装置、设备及存储介质
US20230401737A1 (en) Method for training depth estimation model, training apparatus, and electronic device applying the method
CN117456236A (zh) 一种3d点云数据零样本分类方法、装置、设备及存储介质
CN114565953A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20220392251A1 (en) Method and apparatus for generating object model, electronic device and storage medium
US7839407B2 (en) Methods and apparatus for accelerated animation using point multiplication
US10275925B2 (en) Blend shape system with texture coordinate blending
US11393069B2 (en) Image processing apparatus, image processing method, and computer readable recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination