CN116188666A - 实时渲染中光照探针自适应排布方法及装置 - Google Patents
实时渲染中光照探针自适应排布方法及装置 Download PDFInfo
- Publication number
- CN116188666A CN116188666A CN202211593449.4A CN202211593449A CN116188666A CN 116188666 A CN116188666 A CN 116188666A CN 202211593449 A CN202211593449 A CN 202211593449A CN 116188666 A CN116188666 A CN 116188666A
- Authority
- CN
- China
- Prior art keywords
- illumination
- probe
- real
- probes
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 237
- 239000000523 sample Substances 0.000 title claims abstract description 170
- 238000009877 rendering Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000002787 reinforcement Effects 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000004040 coloring Methods 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 13
- 230000001154 acute effect Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009304 pastoral farming Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/55—Radiosity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种实时渲染中光照探针自适应排布方法及装置，本发明包括实时渲染器和强化学习网络，实时渲染器根据光照探针的位置坐标，将空间划分为若干四面体网格，并存储划分后的空间结构信息，同时生成光照探针存储结构，存储间接光照信息以及深度信息；以及将光照探针提供的间接光照与直接光照结合形成最终的光照渲染图像；强化学习网络基于光照渲染图像按照预设反馈函数计算反馈值；基于反馈值更新光照探针的位置坐标及自身策略；将更新后的光照探针位置坐标输入至实时渲染器；循环重复执行直至实时渲染器生成的光照渲染图像达到预设效果。本发明能够在光照探针数量有限的情况下，有效提升探针排布的效率和质量。
Description
技术领域
本发明涉及计算机图形学技术领域，尤其涉及一种实时渲染中光照探针自适应排布方法及装置。
背景技术
实时渲染是图形学以及游戏行业中的一个重要研究领域。而光照探针(LightProbe)是实时渲染领域现阶段应用较为广泛的技术，这种技术按一定的规则在空间中生成若干光照探针，并对各光照探针附近的光辐射信息进行采样存储，运行时，仅需以就近插值的方式计算任意点的光照信息，就能以较小的空间、时间成本，近似出较为真实的全局光照效果。
通常光照探针在场景中的放置策略是均匀的网格结构，这种结构便于着色点的定位，能直接通过三线性插值求得着色点处的光照信息，但实际场景中的光场变化频率往往是非均匀的，存在光照变化密集明显的区域，也存在光照变化稀疏区域，以同样的、等间隔的形式对场景的光照分布进行采样，很可能造成不必要的空间浪费，与此同时，忽略场景中的遮挡而直接均匀分布探针，容易导致漏光现象(Light Leaking)，因此均匀放置虽然节省了时间成本，却并不能达到理想的效果。
艺术家们为了使游戏画面能实时达到最优的效果，通常会选择手动非均匀放置光照探针，然而构建大规模游戏场景往往需要大量光照探针的分布，一个个手动放置光照探针费时费力，因此光照探针的自适应放置方案一直是渲染学界在研究的问题。
强化学习是一种以状态动作为映射，学习如何获得最大反馈的学习机制。学习目标不会提前被告知每个动作的价值，而是必须通过执行动作来尝试发现哪些动作会产生最大回报。在强化学习算法中，有三类核心参数，分别是状态(s)，行为(a)和反馈(r)。状态(State)用来表示目标在某一时刻的信息，行为(Action)表示目标可以采取的动作，反馈(Reward)则是对象在某个状态采取某个动作所能获得的即时收益。设函数Q(s，a)表示在状态为s的情况下执行行为a所能获得的价值，则模型通过不断学习，逐步更新Q函数以调整自身的行为，获得最大的价值。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种实时渲染中光照探针自适应排布方法及装置。
技术方案：本发明所述的实时渲染中光照探针自适应排布方法包括：
(1)以光照探针位置为状态、以移动方向为动作构建并初始化强化学习网络；
(2)向实时渲染器输入光照探针数量及各光照探针初始位置坐标；
(3)实时渲染器根据光照探针的位置坐标，将空间划分为若干四面体网格，并存储划分后的空间结构信息，同时生成光照探针存储结构，存储间接光照信息以及深度信息；
(4)实时渲染器将光照探针提供的间接光照与直接光照结合形成最终的光照渲染图像；
(5)基于光照渲染图像按照预设反馈函数计算反馈值；
(6)强化学习网络基于反馈值更新光照探针的位置坐标及自身策略；
(7)将更新后的光照探针位置坐标输入至实时渲染器；
(8)重复(3)至(7)直至实时渲染器生成的光照渲染图像达到预设效果。
进一步的，步骤(1)具体包括：
(1.1)构建强化学习网络，所述强化学习网络具体为DQN网络，包括若干依次连接的全连接层，最后一层全连接层为输出层，维度为6N，N为光照探针数量；
(1.2)设置强化学习网络的状态为各光照探针位置坐标，动作为光照探针向上、下、左、右、前、后6个方向的移动；
(1.3)设置强化学习网络初始探索率以及探索终止时的探索率，随机获取光照探针的初始位置坐标。
进一步的，步骤(3)具体包括：
(3.1)实时渲染器以光照探针位置为顶点，进行Delaunay四面体剖分，得到若干四面体网格；
(3.2)存储每个四面体网格的空间结构信息，包括四面体的顶点索引及坐标、所包含的光照探针的索引、所包含的面索引、所对应的四个邻居四面体网格索引；
(3.3)生成光照探针存储结构，存储间接光照辐照度贴图、深度均值贴图以及深度的二次方均值贴图。
进一步的，所述间接光照辐照度贴图通过以下方法得到：
构建一张贴图，将光照探针以斐波那契的球面采样方式，朝四周方向发出光线，记录与场景碰撞点处的颜色信息，将这些碰撞点作为次级光源，在各方向上计算辐照度，即对次级光源提供的辐射度进行积分，得到光照探针在每个方向上提供的间接光照辐照度，并使用八面体映射的方式，存储于构建的贴图中，得到间接光照辐照度贴图。
进一步的，所述斐波那契的球面采样方式具体为：
按照以下公式进行采样：
Pi＝(cos(φi)sin(θi),sin(φi)sin(θi),cos(θi))
式中，Pi为采样的第i个点，n为采样点数。
进一步的，步骤(4)具体包括：
(4.1)对场景中的着色点，基于存储的空间结构信息随机选择一个初始的四面体网格计算其重心坐标，若重心坐标存在负分量，则向最小的负分量对应的方向移动到邻居四面体网格，直至重心坐标的所有分量均为正值，此时表明找到了着色点所在的四面体网格；
(4.2)获取着色点所在四面体网格的四个顶点上的光照探针，对四个光照探针的间接光照辐照度贴图进行采样，并采用重心坐标对采样后的间接光照辐照度进行插值；
(4.3)根据光照探针存储结构存储的深度均值贴图以及深度的二次方均值贴图，得到光照探针在着色点方向上的深度的均值和方差，再结合着色点相对关照探针的深度，采用切比雪夫不等式计算着色点对探针的可见度值；
(4.4)按照可见度值对插值后的间接光照辐照度进行加权计算，得到着色点的间接光照辐照度，再与直接光照辐照度相加，得到最终的光照渲染结果。
可选的，步骤(5)可以包括：
(5.1A)生成参考标准Ground-truth；
(5.2A)基于光照渲染图像和参考标准Ground-truth按照下列反馈函数计算反馈值：
式中，R表示反馈值，width和height分别表示光照渲染图像的长和宽，ri,j，gi,j，bi,j分别为光照渲染图像第i行第j列像素点的r,g,b通道的颜色值，r′i,j，g′i,j，b′i,j分别为参考标准第i行第j列像素点的r,g,b通道的颜色值。
可选的，步骤(5)也可以包括：
(5.1B)将整个场景渲染到一张贴图上，生成场景贴图；
(5.2B)对每一个光照探针，计算其对场景贴图上的每一个像素的可见度值，基于可见度值将所有光照探针能覆盖的像素集合求并集，并计算并集中包含的像素数量IN；
(5.3B)对每个光照探针，计算其到场景贴图上所有可见像素的距离，并按照下列方式对距离赋予正值或负值，得到最终距离值dk：若光照探针到场景表面着色点的向量，与场景表面法线的向量点乘为正值，即夹角为锐角，则表明探针在物体内，将距离记为负值；否则距离记为正值；
(5.4B)对每个光照探针，计算场景贴图上可见的每个着色点到光照探针的向量与表面法线的点乘，累加所有光照探针的点乘结果记为F；
(5.5B)按照下列反馈函数计算反馈值：
式中，R表示反馈值，α、β、γ表示对应权重，G表示场景贴图上可见像素的集合。
本发明所述的实时渲染中光照探针自适应排布装置包括：
实时渲染器，用于根据光照探针的位置坐标，将空间划分为若干四面体网格，并存储划分后的空间结构信息，同时生成光照探针存储结构，存储间接光照信息以及深度信息；以及将光照探针提供的间接光照与直接光照结合形成最终的光照渲染图像；
强化学习网络，用于基于光照渲染图像按照预设反馈函数计算反馈值，基于反馈值更新光照探针的位置坐标及自身策略，并将更新后的光照探针位置坐标输入至实时渲染器；其中，该强化学习网络以光照探针位置为状态、以移动方向为动作。
有益效果：本发明与现有技术相比，其显著优点是：
1.为光照探针的自适应排布提供了一种新的思路，即使用强化学习思想实时训练模型，使光照探针位置向量快速收敛至理想状态。
2.本发明能通过强化学习的自适应非均匀排布，有效避免现有光照探针排布技术存在的漏光问题，且在设备内存资源有限的前提下，本发明能使用数量较少的光照探针达到更优的渲染效果。
附图说明
图1是本发明提供的实时渲染中光照探针自适应排布方法的流程示意图；
图2是本发明的模块关系图；
图3是本发明于四面体网格内插值光照探针的说明示意图；
图4是本发明于四面体网格外插值光照探针的说明示意图；
图5是本发明与Ground-truth及均匀探针分布的渲染对比图；
图6是本发明训练前后的光照探针位置分布图；
图7是本发明训练前后的结果对比图。
具体实施方式
本实施例提供一种实时渲染中光照探针自适应排布方法，如图1和图2所示，包括如下步骤：
(1)以光照探针位置为状态、以移动方向为动作构建并初始化强化学习网络。
该步骤具体包括：
(1.1)构建强化学习网络，所述强化学习网络具体为DQN网络，包括若干依次连接的全连接层，最后一层全连接层为输出层，维度为6N，N为光照探针数量；本实施例中，设置光照探针的数量为8个，全连接层数量为3层，每层48个神经元，网络的激活函数设置为Softmax。
(1.2)设置强化学习网络的状态为各光照探针位置坐标，动作为光照探针向上、下、左、右、前、后6个方向的移动；每个光照探针的位置是一个长度为3的向量，则模型的状态可以用长度为3n的向量表示，在场景中，每个探针的动作可以是朝前、后、上、下、左、右四个方向移动一个单位长度，则对整个场景而言，每步可以采取的行为选择为6n个。
(1.3)设置强化学习网络初始探索率为1以及探索终止时的探索率为0.01，随机获取光照探针的初始位置坐标。
(2)向实时渲染器输入光照探针数量及各光照探针初始位置坐标。
(3)实时渲染器根据光照探针的位置坐标，将空间划分为若干四面体网格，并存储划分后的空间结构信息，同时生成光照探针存储结构，存储间接光照信息以及深度信息。
该步骤具体包括：
(3.1)实时渲染器以光照探针位置为顶点，进行Delaunay四面体剖分，得到若干四面体网格；具体的，可以使用Tetgen提供的API实现；
(3.2)存储每个四面体网格的空间结构信息，包括四面体的顶点索引及坐标、所包含的光照探针的索引、所包含的面索引、所对应的四个邻居四面体网格索引；
(3.3)生成光照探针存储结构，存储间接光照辐照度贴图、深度均值贴图以及深度的二次方均值贴图。
其中，所述间接光照辐照度贴图通过以下方法得到：
构建一张贴图，将光照探针以斐波那契的球面采样方式，朝四周512个方向发出光线，记录与场景碰撞点处的颜色信息，将这些碰撞点作为次级光源，在各方向上计算辐照度，即对次级光源提供的辐射度进行积分，得到光照探针在每个方向上提供的间接光照辐照度，并使用八面体映射的方式，存储于构建的贴图中，得到间接光照辐照度贴图。
其中，所述斐波那契的球面采样方式具体为：
按照以下公式进行采样：
Pi＝(cos(φi)sin(θi),sin(φi)sin(θi),cos(θi))
式中，Pi为采样的第i个点，n为采样点数。
(4)实时渲染器将光照探针提供的间接光照与直接光照结合形成最终的光照渲染图像。
该步骤具体包括：
(4.1)对场景中的着色点，基于存储的空间结构信息随机选择一个初始的四面体网格计算其重心坐标，若重心坐标存在负分量，则向最小的负分量对应的方向移动到邻居四面体网格，直至重心坐标的所有分量均为正值，此时表明找到了着色点所在的四面体网格；
(4.2)获取着色点所在四面体网格的四个顶点上的光照探针，对四个光照探针的间接光照辐照度贴图进行采样，并采用重心坐标对采样后的间接光照辐照度进行插值；具体的插值方案来自：[CUPISZ R.Light probe interpolation usingtetrahedraltessellations[C]//Game Developers Conference(GDC).2012.]；
(4.3)根据光照探针存储结构存储的深度均值贴图以及深度的二次方均值贴图，得到光照探针在着色点方向上的深度的均值和方差，再结合着色点相对关照探针的深度，采用切比雪夫不等式计算着色点对探针的可见度值；
(4.4)按照可见度值对插值后的间接光照辐照度进行加权计算，得到着色点的间接光照辐照度，再与直接光照辐照度相加，得到最终的光照渲染结果。
其中，具体的，四面体网格内部空间计算重心坐标的方法如下：若已知着色点P以及内部空间四面体(P1,P2,P3,P4)如图3所示，则三维重心坐标可由二维重心坐标衍生为如下形式：
P(x,y,z)＝aP0+bP1+cP2+dP3
a+b+c+d＝1
整理为矩阵形式，则有：
d＝1-a-b-c
由于仅有P为实时输入的数据，矩阵
可以被预计算，以提高实时渲染的效率。
四面体网格外部空间计算重心坐标的方法如下：
如图4，设Shading point为的位置为点P，外部空间对应的三个Probe所在的位置分别为P0,P1,P2，
为三角形P0P1P2表面法线，
为该空间的边界射线，且满足在
方向上投影为1。则可以将三角形P0P1P2沿
外推至三角形Q0Q1Q2，满足P在Q0Q1Q2所在的平面上：
由P在Q0Q1Q2所在平面上，有：
P＝aQ0+bQ1+cQ2
整理得：
A＝P0-P1
B＝P1-P2
C＝P2-P
为了让齐次方程
存在非0解，则T的行列式需为0：
det(T)＝0
det(T)中，仅t为未知量，则等式最终简化为关于t的一元三次方程。
设等式最终为：
t3+pt2+qt+r＝0
方程的系数p,q,r将与P0,P1,P2,
及P有关，由于点P的坐标是实时输入的，方程系数可以表示为如下形式：
其中矩阵m3×4与将
相关，可以被预计算以提高实时计算的效率。
按上述方程求得系数，即可对一元三次方程进行求解。
解得t后，即可求得Q0,Q1,Q2坐标，从而在三角形Q0Q1Q2内计算P点的重心坐标。
(5)基于光照渲染图像按照预设反馈函数计算反馈值。
步骤(5)的实现可以为多种，本实施例给出A、B两种实现方式，A方式包括：
(5.1A)采用Pathtracer生成参考标准Ground-truth；
(5.2A)基于光照渲染图像和参考标准Ground-truth按照下列反馈函数计算反馈值：
式中，R表示反馈值，width和height分别表示光照渲染图像的长和宽，ri,j，gi,j，bi,j分别为光照渲染图像第i行第j列像素点的r,g,b通道的颜色值，r′i,j，g′i,j，b′i,j分别为参考标准第i行第j列像素点的r,g,b通道的颜色值。A方式中Ground-truth的生成较为耗时，探针自适应排布所需的时间成本较高。
B方式包括：
(5.1B)将整个场景渲染到一张贴图上，生成场景贴图；
(5.2B)对每一个光照探针，计算其对场景贴图上的每一个像素的可见度值，基于可见度值将所有光照探针能覆盖的像素集合求并集，并计算并集中包含的像素数量IN；像素数量越多，则给予模型更高的奖励。
(5.3B)对每个光照探针，计算其到场景贴图上所有可见像素的距离，并按照下列方式对距离赋予正值或负值，得到最终距离值dk：若光照探针到场景表面着色点的向量，与场景表面法线的向量点乘为正值，即夹角为锐角，则表明探针在物体内，将距离记为负值；否则距离记为正值；错误地将探针放置进物体内部，是导致漏光的常见原因之一，可以通过距离指标来避免此类问题。
(5.4B)对每个光照探针，计算场景贴图上可见的每个着色点到光照探针的向量与表面法线的点乘，累加所有光照探针的点乘结果记为F。探针到表面着色点的向量与表面越接近0°(Grazing Angle)，探针的辐射度对着色点的光照贡献越小，较小的贡献容易造成数值精度误差，对表面着色并不能起到预期的作用，因此可以使模型在学习时尽量避免Grazing Angle。
(5.5B)按照下列反馈函数计算反馈值：
式中，R表示反馈值，α、β、γ表示对应权重，G表示场景贴图上可见像素的集合。具体的各指标的权重可以由模型自主学习得出。
(6)强化学习网络基于反馈值更新光照探针的位置坐标及自身策略。
强化学习网络训练时Batchsize设置为32，学习率设置为0.001，初始阶段的探索率为1，探索终止时的探索率为0.01，在训练中，调整探索率，使其逐渐变低。然后，通过随机判断是否进行探索，如果判定结果为进行，则随机选择一个行为进行探索，否则就将当前状态输入之前的训练网络进行行为选择，并将当前状态、选择的动作、Reward和下个状态这个四元组作为一条经验存入经验池。当经验池存储信息足够时，从经验池中取出若干经验进行训练，训练中，将实时与渲染器交互以获取反馈，指导模型下一步的动作。
(7)将更新后的光照探针位置坐标输入至实时渲染器。
(8)重复(3)至(7)直至实时渲染器生成的光照渲染图像达到预设效果。
本实施例中的渲染器使用C++环境下的G3D渲染器搭建，训练网络使用Python中的Tensorflow搭建，二者的通信可以使用共享内存实现，具体的python中可以使用mmap库，C++中可以使用CreateFileMapping和MapViewOfFile函数实现。
本实施例还提供一种实时渲染中光照探针自适应排布装置，包括：
实时渲染器，用于根据光照探针的位置坐标，将空间划分为若干四面体网格，并存储划分后的空间结构信息，同时生成光照探针存储结构，存储间接光照信息以及深度信息；以及将光照探针提供的间接光照与直接光照结合形成最终的光照渲染图像；
强化学习网络，用于基于光照渲染图像按照预设反馈函数计算反馈值，基于反馈值更新光照探针的位置坐标及自身策略，并将更新后的光照探针位置坐标输入至实时渲染器；其中，该强化学习网络以光照探针位置为状态、以移动方向为动作。
本实施例与上述方法一一对应，未详尽之处参考方法描述，不再赘述。
下面针对本发明进行仿真验证。
在场景中放置64个Probe，每个Probe的采样数为256，Probe纹理大小为256*256，使用与Ground-truth无关的加权指标指导模型训练，经过20个Episide，每个1600次迭代后，生成的对比结果如图5所示。光照探针默认位置及网络学习后的位置对比如图6所示。本例中可以看出，经本方法排布后的光照探针，其位置趋向于光照变化更密集的区域。图7为8个Probe经过2500轮训练，训练前后的对比图，可以在左图水池下侧观察到更加明显的间接光照，证明了本方法的有效性。
以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (9)
1.一种实时渲染中光照探针自适应排布方法，其特征在于包括：
(1)以光照探针位置为状态、以移动方向为动作构建并初始化强化学习网络；
(2)向实时渲染器输入光照探针数量及各光照探针初始位置坐标；
(3)实时渲染器根据光照探针的位置坐标，将空间划分为若干四面体网格，并存储划分后的空间结构信息，同时生成光照探针存储结构，存储间接光照信息以及深度信息；
(4)实时渲染器将光照探针提供的间接光照与直接光照结合形成最终的光照渲染图像；
(5)基于光照渲染图像按照预设反馈函数计算反馈值；
(6)强化学习网络基于反馈值更新光照探针的位置坐标及自身策略；
(7)将更新后的光照探针位置坐标输入至实时渲染器；
(8)重复(3)至(7)直至实时渲染器生成的光照渲染图像达到预设效果。
2.根据权利要求1所述的实时渲染中光照探针自适应排布方法，其特征在于：步骤(1)具体包括：
(1.1)构建强化学习网络，所述强化学习网络具体为DQN网络，包括若干依次连接的全连接层，最后一层全连接层为输出层，维度为6N，N为光照探针数量；
(1.2)设置强化学习网络的状态为各光照探针位置坐标，动作为光照探针向上、下、左、右、前、后6个方向的移动；
(1.3)设置强化学习网络初始探索率以及探索终止时的探索率，随机获取光照探针的初始位置坐标。
3.根据权利要求1所述的实时渲染中光照探针自适应排布方法，其特征在于：步骤(3)具体包括：
(3.1)实时渲染器以光照探针位置为顶点，进行Delaunay四面体剖分，得到若干四面体网格；
(3.2)存储每个四面体网格的空间结构信息，包括四面体的顶点索引及坐标、所包含的光照探针的索引、所包含的面索引、所对应的四个邻居四面体网格索引；
(3.3)生成光照探针存储结构，存储间接光照辐照度贴图、深度均值贴图以及深度的二次方均值贴图。
4.根据权利要求3所述的实时渲染中光照探针自适应排布方法，其特征在于：所述间接光照辐照度贴图通过以下方法得到：
构建一张贴图，将光照探针以斐波那契的球面采样方式，朝四周方向发出光线，记录与场景碰撞点处的颜色信息，将这些碰撞点作为次级光源，在各方向上计算辐照度，即对次级光源提供的辐射度进行积分，得到光照探针在每个方向上提供的间接光照辐照度，并使用八面体映射的方式，存储于构建的贴图中，得到间接光照辐照度贴图。
5.根据权利要求4所述的实时渲染中光照探针自适应排布方法，其特征在于：所述斐波那契的球面采样方式具体为：
按照以下公式进行采样：
Pi＝(cos(φi)sin(θi),sin(φi)sin(θi),cos(θi))
式中，Pi为采样的第i个点，n为采样点数。
6.根据权利要求1所述的实时渲染中光照探针自适应排布方法，其特征在于：步骤(4)具体包括：
(4.1)对场景中的着色点，基于存储的空间结构信息随机选择一个初始的四面体网格计算其重心坐标，若重心坐标存在负分量，则向最小的负分量对应的方向移动到邻居四面体网格，直至重心坐标的所有分量均为正值，此时表明找到了着色点所在的四面体网格；
(4.2)获取着色点所在四面体网格的四个顶点上的光照探针，对四个光照探针的间接光照辐照度贴图进行采样，并采用重心坐标对采样后的间接光照辐照度进行插值；
(4.3)根据光照探针存储结构存储的深度均值贴图以及深度的二次方均值贴图，得到光照探针在着色点方向上的深度的均值和方差，再结合着色点相对关照探针的深度，采用切比雪夫不等式计算着色点对探针的可见度值；
(4.4)按照可见度值对插值后的间接光照辐照度进行加权计算，得到着色点的间接光照辐照度，再与直接光照辐照度相加，得到最终的光照渲染结果。
7.根据权利要求1所述的实时渲染中光照探针自适应排布方法，其特征在于：步骤(5)具体包括：
(5.1A)生成参考标准Ground-truth；
(5.2A)基于光照渲染图像和参考标准Ground-truth按照下列反馈函数计算反馈值：
式中，R表示反馈值，width和height分别表示光照渲染图像的长和宽，ri,j，gi,j，bi,j分别为光照渲染图像第i行第j列像素点的r,g,b通道的颜色值，ri′,j，gi′,j，bi′,j分别为参考标准第i行第j列像素点的r,g,b通道的颜色值。
8.根据权利要求1所述的实时渲染中光照探针自适应排布方法，其特征在于：步骤(5)具体包括：
(5.1B)将整个场景渲染到一张贴图上，生成场景贴图；
(5.2B)对每一个光照探针，计算其对场景贴图上的每一个像素的可见度值，基于可见度值将所有光照探针能覆盖的像素集合求并集，并计算并集中包含的像素数量IN；
(5.3B)对每个光照探针，计算其到场景贴图上所有可见像素的距离，并按照下列方式对距离赋予正值或负值，得到最终距离值dk：若光照探针到场景表面着色点的向量，与场景表面法线的向量点乘为正值，即夹角为锐角，则表明探针在物体内，将距离记为负值；否则距离记为正值；
(5.4B)对每个光照探针，计算场景贴图上可见的每个着色点到光照探针的向量与表面法线的点乘，累加所有光照探针的点乘结果记为F；
(5.5B)按照下列反馈函数计算反馈值：
式中，R表示反馈值，α、β、γ表示对应权重，G表示场景贴图上可见像素的集合。
9.一种实时渲染中光照探针自适应排布装置，其特征在于包括：
实时渲染器，用于根据光照探针的位置坐标，将空间划分为若干四面体网格，并存储划分后的空间结构信息，同时生成光照探针存储结构，存储间接光照信息以及深度信息；以及将光照探针提供的间接光照与直接光照结合形成最终的光照渲染图像；
强化学习网络，用于基于光照渲染图像按照预设反馈函数计算反馈值，基于反馈值更新光照探针的位置坐标及自身策略，并将更新后的光照探针位置坐标输入至实时渲染器；其中，该强化学习网络以光照探针位置为状态、以移动方向为动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211593449.4A CN116188666A (zh) | 2022-12-13 | 2022-12-13 | 实时渲染中光照探针自适应排布方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211593449.4A CN116188666A (zh) | 2022-12-13 | 2022-12-13 | 实时渲染中光照探针自适应排布方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116188666A true CN116188666A (zh) | 2023-05-30 |
Family
ID=86441152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211593449.4A Pending CN116188666A (zh) | 2022-12-13 | 2022-12-13 | 实时渲染中光照探针自适应排布方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188666A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788677A (zh) * | 2023-12-29 | 2024-03-29 | 摩尔线程智能科技(上海)有限责任公司 | 全局光照确定方法、装置及存储介质 |
| CN117876572A (zh) * | 2024-03-13 | 2024-04-12 | 腾讯科技（深圳）有限公司 | 光照渲染方法、装置、设备及存储介质 |
-
2022
- 2022-12-13 CN CN202211593449.4A patent/CN116188666A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788677A (zh) * | 2023-12-29 | 2024-03-29 | 摩尔线程智能科技(上海)有限责任公司 | 全局光照确定方法、装置及存储介质 |
| CN117876572A (zh) * | 2024-03-13 | 2024-04-12 | 腾讯科技（深圳）有限公司 | 光照渲染方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116188666A (zh) | 实时渲染中光照探针自适应排布方法及装置 | |
| CN116452758B (zh) | 一种神经辐射场模型加速训练方法、装置、设备及介质 | |
| Pirk et al. | Plastic trees: interactive self-adapting botanical tree models | |
| CN108830913B (zh) | 基于用户颜色引导的语义级别线稿上色方法 | |
| Weiss et al. | Differentiable direct volume rendering | |
| WO2018113502A1 (zh) | 一种自动生成网格与着色器多层次细节的方法 | |
| CN104183008B (zh) | 一种基于表面信号拟合和曲面细分的着色器简化方法、装置及图形渲染方法 | |
| CN114255313B (zh) | 镜面物体三维重建方法、装置、计算机设备和存储介质 | |
| CN104167015A (zh) | 一种基于表面信号拟合的着色器简化方法、装置及图形渲染方法 | |
| CN115457188A (zh) | 一种基于注视点的3d渲染显示方法及系统 | |
| CN104851133A (zh) | 一种图像自适应网格生成变分方法 | |
| CN116843841B (zh) | 基于网格压缩的大规模虚拟现实系统 | |
| CN114494553B (zh) | 基于渲染时间估计和lod选择的实时渲染方法、系统及设备 | |
| CN117058302A (zh) | 一种基于NeRF的可泛化性场景渲染方法 | |
| Concheiro et al. | Interactive rendering of NURBS surfaces | |
| Grauer-Gray et al. | Hierarchical belief propagation to reduce search space using cuda for stereo and motion estimation | |
| Klehm et al. | Property and lighting manipulations for static volume stylization using a painting metaphor | |
| CN114494564A (zh) | 法线贴图生成方法、设备、电子设备及存储介质 | |
| Liu et al. | Neural impostor: Editing neural radiance fields with explicit shape manipulation | |
| Williams et al. | A surrogate assisted evolutionary strategy for image approximation by density-ratio estimation | |
| CN117611717A (zh) | 图像渲染方法、装置、计算机设备和存储介质 | |
| Almanza-Medina et al. | Imaging sonar simulator for assessment of image registration techniques | |
| CN103745496A (zh) | 基于二维图像为交互界面的转换函数的直接体绘制方法 | |
| US8576239B2 (en) | Parallel coherent random walk search for image processing | |
| CN115457206A (zh) | 三维模型生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |