CN116385623A - 具有深度信息的参与介质多重散射的绘制方法及系统 - Google Patents
具有深度信息的参与介质多重散射的绘制方法及系统 Download PDFInfo
- Publication number
- CN116385623A CN116385623A CN202310388832.4A CN202310388832A CN116385623A CN 116385623 A CN116385623 A CN 116385623A CN 202310388832 A CN202310388832 A CN 202310388832A CN 116385623 A CN116385623 A CN 116385623A
- Authority
- CN
- China
- Prior art keywords
- medium
- attribute
- emergent
- drawn
- multiple scattering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000009877 rendering Methods 0.000 claims abstract description 19
- 230000005855 radiation Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 43
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 19
- 238000005315 distribution function Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 48
- 238000012549 training Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Abstract
本发明提出了具有深度信息的参与介质多重散射的绘制方法及系统，涉及图形真实感渲染技术领域，获取待绘制介质物体的属性数据；根据待绘制介质物体的属性数据，从相机出发，向待绘制的二维图像上每个像素发射多根射线进行体积路径追踪，得到每根射线入射点的信息；将每根射线入射点的信息，输入到多重散射预测模型中，得到每根射线的出射位置、出射方向以及出射多重散射辐射亮度值；基于所有射线的信息，获得每个像素的颜色值，得到多重散射绘制的介质物体二维图像；本发明将具有表面的参与介质建模为两个表面及之间的均匀介质层，使用神经网络对具有深度信息的参与介质的光传输结果进行预测，从而提高绘制速度，得到高质量的绘制结果。
Description
技术领域
本发明属于图形真实感渲染技术领域，尤其涉及具有深度信息的参与介质多重散射的绘制方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
对参与介质的真实感绘制需要模拟光线在介质内部的散射现象；由于光在参与介质中需要发生大量散射事件，所以经典的路径追踪算法中仅对表面进行计算的方法已无法满足现实需求；随之，研究者们将光从物体表面射入，在参与介质中传输，最终从表面另一点出射的传输效应，描述为双向散射表面反射分布函数(Bidirectional SurfaceScattering Reflectance Distribution Function，BSSRDF)；为了有效地对这一过程进行绘制，建立一个准确而紧凑的光与介质的散射模型是必要的，其中多重散射是指光线在介质中经历三次及以上次散射；由于需要对介质内部大量散射事件进行追踪计算，多重散射是BSSRDF中最复杂的一项；尤其对于高散射系数的参与介质，多重散射现象会对介质外观起到至关重要的作用，需要耗费大量的时间进行绘制，使得场景的真实感绘制变得非常困难。
但是，目前对于BSSRDF的研究局限于漫反射理论，缺少进一步的研究。近年来，深度学习的不断发展，使得使用神经网络预测参与介质内部多重散射项成为可能，虽然提高了绘制效率，但缺少对比较薄的参与介质渲染的研究；进一步地，对更为复杂的多层材质BSSRDF的绘制进行的研究仍然处于空白。
发明内容
为克服上述现有技术的不足，本发明提供了具有深度信息的参与介质多重散射的绘制方法及系统，将具有表面的参与介质建模为两个表面及之间的均匀介质层，使用神经网络对具有深度信息的参与介质的光传输结果进行预测，从而提高绘制速度，得到高质量的绘制结果。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了具有深度信息的参与介质多重散射的绘制方法；
具有深度信息的参与介质多重散射的绘制方法，包括：
步骤S1：获取待绘制介质物体的属性数据，包括介质属性和表面属性；
步骤S2：根据待绘制介质物体的属性数据，从相机出发，向待绘制的二维图像上每个像素发射多根射线进行体积路径追踪，得到每根射线入射点的信息，包括入射点处的深度属性和入射角度；
步骤S3：将每根射线入射点的信息，输入到多重散射预测模型中，得到每根射线的出射位置、出射方向以及出射多重散射辐射亮度值；
步骤S4：基于所有射线的信息，获得每个像素的颜色值，得到多重散射绘制的介质物体二维图像。
进一步的，所述多重散射预测模型，包括位置概率密度网络、方向概率密度网络和评估网络；
所述位置概率密度网络，以待绘制介质物体的介质属性、表面属性、深度属性和入射角度为输入，预测出射位置；
所述方向概率密度网络，以待绘制介质物体的介质属性、表面属性、深度属性和出射位置为输入，预测出射方向；
所述评估网络，以待绘制介质物体的介质属性、表面属性、深度属性、出射位置和出射方向为输入，预测所述出射位置和出射方向上的出射多重散射辐射亮度值。
进一步的，所述位置概率密度网络，具体为：
将待绘制介质物体的介质属性、表面属性、深度属性和入射角度，输入到训练后的位置概率密度网络中，输出待绘制介质物体表面关于出射位置的概率密度函数参数；
根据待绘制介质物体表面关于出射位置的概率密度函数参数进行采样，得到一个出射位置。
进一步的，根据待绘制介质物体表面关于出射位置的概率密度函数参数进行采样，得到一个出射位置，具体为：
根据概率密度函数中的混合系数集合，对该混合系数集合计算累积分布函数，然后进行采样得到一个球面高斯分布；
从所述球面高斯分布中，采样得到一个出射位置。
进一步的，所述方向概率密度网络，具体为：
将所述介质属性、表面属性、深度属性、入射角度和设定出射位置，输入到训练后的方向概率密度网络中，输出待绘制介质物体表面设定出射位置关于出射方向的概率密度函数参数；
根据待绘制介质物体表面设定出射位置关于出射方向的概率密度函数参数进行采样，得到一个出射方向。
进一步的，所述体积路径追踪，具体为：
在实际渲染过程中，首先从相机出发，向图像上的每个像素发射多根射线进行路径追踪，光线在场景中进行求交，当光线碰撞到具有表面的参与介质物体时，则发生反射或折射；
当光线折射进入介质后，则记录待绘制物体的表面属性、介质属性、入射点处的深度属性和入射角度。
进一步的，所述获得每个像素的颜色值，具体为：
基于待绘制物体的表面属性、介质属性、入射点处的深度属性和入射角度，通过多重散射预测模型得到出射位置、出射方向以及出射多重散射辐射亮度值，将亮度值不断积累直至与光源相交，最终获得像素的颜色值。
本发明第二方面提供了具有深度信息的参与介质多重散射的绘制系统。
具有深度信息的参与介质多重散射的绘制系统，包括数据获取模块、路径追踪模块、亮度预测模块和图像绘制模块：
数据获取模块，其被配置为：获取待绘制介质物体的属性数据，包括介质属性和表面属性；
路径追踪模块，其被配置为：根据待绘制介质物体的属性数据，从相机出发，向待绘制的二维图像上每个像素发射多根射线进行体积路径追踪，得到每根射线入射点的信息，包括入射点处的深度属性和入射角度；
亮度预测模块，其被配置为：将每根射线入射点的信息，输入到多重散射预测模型中，得到每根射线的出射位置、出射方向以及出射多重散射辐射亮度值；
图像绘制模块，其被配置为：基于所有射线的信息，获得每个像素的颜色值，得到多重散射绘制的介质物体二维图像。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的具有深度信息的参与介质多重散射的绘制方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的具有深度信息的参与介质多重散射的绘制方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
本发明提出一种位置概率密度网络，对参与介质出射位置的概率密度函数进行重构，该网络适用于各种类型和属性的具有深度信息的参与介质。
本发明提出一种方向概率密度网络，对参与介质出射方向的概率密度函数进行重构，该网络适用于各种类型和属性的具有深度信息的参与介质。
本发明提供一种全连接的评估网络对BSSRDF中的多重散射信息进行重构，将其中的多重散射现象提炼为一个九维函数：两维对应参与介质的属性(反照率α和各向异性系数g)，一维对应表面属性(折射率η)，一维对应入射点的深度属性，一维对应入射方向与入射点表面法线的夹角，两维对应光线射出表面时的出射位置的空间坐标，最后两维对应光线从表面某一出射点射出时的出射方向，该网络适用于各种类型和属性的具有深度信息的参与介质。
本发明对体积路径追踪方法在上述基础上进行了优化和改进：使用两个采样网络和一个评估网络计算具有深度信息的参与介质的光传输结果，为之后多层材质的建模打下基础。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图。
图2为第一个实施例的具有深度信息的参与介质局部示意图。
图3为第一个实施例的位置概率密度网络的结构图。
图4为第一个实施例的位置空间映射示意图。
图5为第一个实施例的方向概率密度网络的结构图。
图6为第一个实施例的方向空间变换示意图。
图7为第一个实施例的评估网络的结构图。
图8(a)为第一个实施例中评估网络数据集的一个可视化结果图。
图8(b)为第一个实施例中评估网络重构的一个可视化结果图。
图9为第一个实施例的绘制结果图。
图10为第二个实施例的系统结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
实施例一
本实施例公开了具有深度信息的参与介质多重散射的绘制方法；
如图1所示，具有深度信息的参与介质多重散射的绘制方法，包括：
步骤S1：获取待绘制介质物体的属性数据，包括介质属性和表面属性。
将具有深度信息的参与介质，局部建模为两个表面层与表面层之间的参与介质层，图2是具有深度信息的参与介质局部示意图，如图2所示，具体包括：粗糙电介质表面-均匀介质层面-粗糙电介质表面，多重散射为光线射入粗糙电介质表面后，在均匀介质层中发生三次及以上次散射的现象。
待绘制介质物体的属性数据，具体为：
(1)介质属性，包括：散射反照率和各项异性系数。
散射反照率，用α表示，用于描述光在介质中每单位距离被散射的概率密度σs占透射衰减系数σt＝a+s的比率，范围为[0,1]，其中，σa为描述光在每单位距离被吸收的概率密度；
所述各项异性系数，用于描述相位函数的各向异性程度，用g表示，其范围为[-1,+1]；当g为0时，散射时每个方向的传播概率相同，越接近1，直线传播的概率越大，越接近-1，反向传播的概率越大。
(2)表面属性，是指折射率，用于描述描述光在真空中的传播速度与光在该介质中的传播速度之比，用η表示。
所述介质属性与表面属性，由不同的介质决定，由用户输入，用于下面的步骤S2-S4。
步骤S2：根据待绘制介质物体的属性数据，从相机出发，向待绘制的二维图像上每个像素发射多根射线进行体积路径追踪，得到每根射线入射点的信息，包括入射点处的深度属性和入射角度，具体为：
采用体积路径追踪(Volumetric Path Tracing，VPT)算法，每个像素追踪多条相机射线，每一条射线在场景中进行求交，即通过射线和三角模型检测，判断是否碰撞到)当射线碰撞到具有表面的参与介质物体时，则发生反射或折射，得到每根射线入射点的信息，包括入射点处的深度属性和入射角度。
所述深度属性，通过在入射点处沿着表面法线的反方向与待绘制物体求交，计算入射点与该交点之间的直线距离获取的，即入射点处上表面与下表面之间的垂直距离，用d表示。
所述入射角度，为入射方向与入射点处表面法线的夹角，用θi表示。
步骤S3：将每根射线入射点的信息，输入到多重散射预测模型中，得到每根射线的出射位置、出射方向以及出射多重散射辐射亮度值。
应理解地，本实施例使用的多重散射预测模型的结构为全连接网络，包括：位置概率密度网络、方向概率密度网络和评估网络；对于所有数据，先将其归一化，并随机混合它们；整个网络由Pytorch来训练，其优化器为Adam，训练后的多重散射预测模型的处理步骤为：
步骤S301：将待绘制介质物体的介质属性、表面属性、深度属性和入射角度，输入到训练好的位置概率密度网络，预测并输出出射位置。
(1)位置概率密度网络的构建和训练
图3是位置概率密度网络的结构图，如图3所示，位置概率密度网络的结构为：包括依次连接的第一输入层、第一隐藏层、第二隐藏层、第三隐藏层、第四隐藏层、第五隐藏层、第六隐藏层和第一输出层；每个隐藏层有48个节点，所述位置概率密度网络相邻层中前一个层的任一节点均与后一个层的所有节点连接，并使用ReLU作为激活函数。
第一输入层的输入参数，包括介质属性参数、表面属性参数、深度属性参数以及入射角度参数，其中，介质属性参数、表面属性参数和深度属性参数，是指散射反照率α、各向异性系数g、折射率η和入射点处上表面与下表面之间的垂直距离d；入射角度为入射方向与入射点处表面法线的夹角，用θi表示。
第一输出层的输出参数，为待绘制介质物体表面关于出射位置(xloc，yloc，zloc)的概率密度函数p(xloc，yloc，zloc)的参数(πk，μk，logλ)，其中，空间位置坐标(xloc，yloc，zloc)为局部直角坐标系下的上、下表面的x、y坐标映射到单位球面的坐标，其用于表示出射位置，图4是位置空间映射示意图，如图4所示。
局部直角坐标与单位球面坐标的空间位置映射，具体计算方式为：假设上表面坐标为(x，y，1)，下表面坐标为(x，y，-1)，然后将空间位置基于向量单位化的方法得到单位球面坐标(xloc，yloc，zloc)。
关于出射位置的概率密度函数p(xloc，yloc，zloc)为混合球面高斯函数，表达式如下：
p(xloc，yloc，zloc)＝∑kπkGk(μk，λ)
概率密度函数p(xloc，yloc，zloc)的参数(αk，μk，logλ)，其中，混合球面高斯函数分布中第k个球面高斯分布对应的混合系数πk，满足所有混合系数相加为1，即∑kπk＝1；第k个球面高斯分布Gk(μk，λ)为三维球面高斯函数，μk为球面高斯函数的均值，logλ为球面高斯函数的锐度λ的对数。
构建第一训练集，通过第一训练集对位置概率密度网络进行训练。
第一训练集包括已知介质属性、表面属性、深度属性、已知入射角度、已知光线从具有表面的参与介质物体出射时上表面和下表面的出射位置和概率密度值；将训练集输入到位置概率密度网络中进行训练，当损失函数达到最小值时，得到训练后的位置概率密度网络。
第一训练集中的绘制介质为多个绘制介质；在训练的过程中，并不是将单一类型的绘制介质作为输入值，而是将多种类型的绘制介质信息进行混合后，输入到位置概率密度网络中进行训练。
(2)训练好的位置概率密度网络的处理步骤为：
1)将待绘制介质物体的介质属性、表面属性、深度属性和入射角度，输入到训练后的位置概率密度网络中，输出待绘制介质物体表面关于出射位置的概率密度函数参数。
2)根据待绘制介质物体表面关于出射位置的概率密度函数参数进行采样，得到一个出射位置。
具体的，位置概率密度网络经过训练后，输出待绘制介质物体表面关于出射位置的概率密度函数参数，即混合系数集合，根据概率密度函数的混合系数集合，对该混合系数集合计算累积分布函数(CDF，Cumulative Distribution Function)，然后进行采样得到一个球面高斯分布。
从球面高斯分布中采样得到一个出射位置：首先在均值为(0，0，1)的球面高斯函数中采样一个出射位置，然后计算(0，0，1)方向到实际均值方向的旋转矩阵，最后将该旋转矩阵应用于采样得到的出射位置，即可得到最终的出射位置。
步骤S302：将待绘制介质物体的介质属性、表面属性、深度属性、入射角度和出射位置，输入到训练好的方向概率密度网络，预测并输出出射方向。
(1)方向概率密度网络的构建和训练
图5是方向概率密度网络的结构图，如图5所示，方向概率密度网络的结构包括：依次连接的第二输入层、第七隐藏层、第八隐藏层、第九隐藏层、第十隐藏层、第十一隐藏层、第十二隐藏层和第二输出层，使用ReLU作为激活函数，每个隐藏层有64个节点，所述方向概率密度网络相邻层中前一个层的任一节点均与后一个层的所有节点连接。
第二输入层的输入的参数
θi表示入射角度，θl，/>
为出射空间位置映射到单位球面的球坐标。
第二输出层的输出参数是待绘制介质物体表面关于出射方向(xdir，ydir)的概率密度函数p(xdir，ydir)参数
其中，方向坐标(xdir，ydir)用于表示出射方向，该坐标是由球坐标系下的坐标/>
变换而来，图6是方向空间变换示意图，见图6所示，其中，θo为出射方向与局部坐标系下z轴的夹角，/>
为出射方向在xoy平面的分量与x轴的夹角。
所述方向坐标为了更好地拟合概率密度函数，在局部直角坐标系下将出射单位半球投射到z＝1平面，得到投影后的出射方向坐标(xdir，ydir，zdir)，具体变换的计算方式如下：
zdir＝cosθo
概率密度函数p(xdir，ydir)为混合高斯函数，表达式如下：
概率密度函数p(xloc，yloc)的参数
其中，混合高斯函数分布中第k个高斯分布对应的混合系数αk，满足所有混合系数相加为1，即∑kπk＝1；第k个高斯分布
为二维高斯函数，μk为高斯函数的均值，/>
为高斯函数的方差/>
的对数。
构建第二训练集，对方向概率密度网络进行训练。
第二训练集包括已知介质属性、表面属性、深度属性、已知入射光线与入射点表面法线的夹角、已知光线从具有表面的参与介质物体出射时的出射位置、出射方向和概率密度值；将第二训练集输入到方向概率密度网络中进行训练，当损失函数达到最小值时，得到训练后的方向概率密度网络。
第二训练集中的绘制介质为多个绘制介质，在训练的过程中，并不是将单一类型的绘制介质作为输入值，而是将多种类型的绘制介质信息进行混合后，输入到方向概率密度网络中进行训练。
(2)训练好的方向概率密度网络的处理步骤为：
1)将所述介质属性、表面属性、深度属性、入射角度和设定出射位置，输入到训练后的方向概率密度网络中，输出待绘制介质物体表面设定出射位置关于出射方向的概率密度函数参数。
2)根据待绘制介质物体表面设定出射位置关于出射方向的概率密度函数参数进行采样，得到一个出射方向。
与位置概率密度网络类似，根据概率密度函数参数中的系数值，使用CDF采样得到高斯分布；从所述高斯分布中，使用Box-Muller算法采样得到一个出射方向。
步骤S303：将待绘制介质物体的介质属性、表面属性、深度属性、入射角度、出射位置和出射方向，输入到训练好的评估网络，预测并输出出射位置和出射方向上的出射多重散射辐射亮度值。
(1)评估网络的构建和训练
图7是评估网络的结构图，如图7所示，评估网络的结构包括：依次连接的第三输入层、第十三隐藏层、第十四隐藏层、第十五隐藏层、第十六隐藏层、第十七隐藏层、第十八隐藏层和第三输出层；每个隐藏层有48个节点，相邻层中前一个层的任一节点均与后一个层的所有节点连接；并使用tanh作为激活函数。
第三输入层的输入参数为
第三输出层的输出参数为待绘制介质物体表面上设定位置的设定方向上的多重散射辐射亮度值。
构建第三训练集，对评估网络进行训练。
第三训练集包括已知介质属性、表面属性、深度属性、已知入射光线与入射点表面法线的夹角、已知光线从具有表面的参与介质物体出射时的出射位置、出射方向和多重散射辐射亮度值；将第三训练集输入到评估网络中进行训练，当损失函数达到最小值时，得到训练后的评估网络。第三训练集中的绘制介质为多个绘制介质，在训练的过程中，并不是将单一类型的绘制介质作为输入值，而是将多种类型的绘制介质信息进行混合后，输入到评估网络中进行训练。
图8(a)呈现了第三训练集中某一位置上不同出射方向上的多重散射波瓣，其在直角坐标系(x，y，z)中基于不同出射方向上辐射亮度的对数值作为半径绘制而成；图8(b)呈现了使用评估网络预测得到的相同位置上不同出射方向上的多重散射波瓣；从图8中可以看到，本实施例的评估网络能够真实地还原模拟数据，同时在一定程度上平滑了蒙特卡洛方法带来的噪声影响。
(2)训练好的评估网络的处理：
评估网络，定义了一个和介质属性、表面属性、深度属性、入射角度、光线出射表面时的空间位置、出射方向有关的BSSRDF(双向表面散射反射分布函数，BidirectionalSurface Scattering Reflectance Distribution Function)中的多重散射项的表达，该表达给出了光线从表面折射进入后，经过一系列散射从表面射出时，在新的出射方向上的光辐射能量。
评估网络对这一多重散射项进行拟合，多重散射项使用
对其进行表示，极坐标/>
表示出射的空间位置，球坐标/>
表示出射方向。
对于整个具有深度的参与介质空间来说，假定平均自由程都为1，使用各向异性参数g和散射反射率α表示不同的介质属性组合，使用折射率η表示不同属性的表面，使用深度属性d表示参与介质层的不同深度，入射角度包括：
θi∈{0°，15°，30°，45°，60°，70°，80°，85°，88°}
不同深度的每种介质对于每个入射角度都对应一个多重散射表，该表存储了光线在介质上、下表面不同位置上沿着不同方向出射时的光辐射亮度值。
为了获取三个网络训练所需的第一训练集、第二训练集、第三训练集，对于不同深度的每一种参与介质(αi，gi，ηi)，在上表面中心原点(0，0，0)沿着每一入射角度θi不断发射5亿光子，光子经过不断地散射或被吸收，从上表面或下表面出射，对于每个进入该位置记录点的光子，都将其在该位置对各个方向(10×36种方向)的多重散射贡献记录并累加起来；当光子都发射完毕后，对每个样本点都使用基于概率密度的方法进行归一化，即除以每个记录位置的空间体积和所有进入该位置的光束的数目。
步骤S4：基于所有射线的信息，获得每个像素的颜色值，得到多重散射绘制的介质物体二维图像。
得到所有射线的信息，包括待绘制物体的表面属性、介质属性、入射点处的深度属性、入射角度、出射位置、出射方向以及出射多重散射辐射亮度值后，继续路径追踪，将路径上每个事件的辐射亮度值不断积累直至射线与光源相交得到结果值，将每个像素的所有射线经过体积路径追踪计算的结果值基于蒙特卡洛方法进行计算，最终获得像素的颜色值，图9展示了根据本实施例的步骤进行绘制得到的结果图。
实施例二
本实施例公开了具有深度信息的参与介质多重散射的绘制系统；
如图10所示，具有深度信息的参与介质多重散射的绘制系统，包括数据获取模块、路径追踪模块、亮度预测模块和图像绘制模块：
数据获取模块，其被配置为：获取待绘制介质物体的属性数据，包括介质属性和表面属性；
路径追踪模块，其被配置为：根据待绘制介质物体的属性数据，从相机出发，向待绘制的二维图像上每个像素发射多根射线进行体积路径追踪，得到每根射线入射点的信息，包括入射点处的深度属性和入射角度；
亮度预测模块，其被配置为：将每根射线入射点的信息，输入到多重散射预测模型中，得到每根射线的出射位置、出射方向以及出射多重散射辐射亮度值；
图像绘制模块，其被配置为：基于所有射线的信息，获得每个像素的颜色值，得到多重散射绘制的介质物体二维图像。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的具有深度信息的参与介质多重散射的绘制方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的具有深度信息的参与介质多重散射的绘制方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.具有深度信息的参与介质多重散射的绘制方法，其特征在于，包括：
步骤S1：获取待绘制介质物体的属性数据，包括介质属性和表面属性；
步骤S2：根据待绘制介质物体的属性数据，从相机出发，向待绘制的二维图像上每个像素发射多根射线进行体积路径追踪，得到每根射线入射点的信息，包括入射点处的深度属性和入射角度；
步骤S3：将每根射线入射点的信息，输入到多重散射预测模型中，得到每根射线的出射位置、出射方向以及出射多重散射辐射亮度值；
步骤S4：基于所有射线的信息，获得每个像素的颜色值，得到多重散射绘制的介质物体二维图像。
2.如权利要求1所述的具有深度信息的参与介质多重散射的绘制方法，其特征在于，所述多重散射预测模型，包括位置概率密度网络、方向概率密度网络和评估网络；
所述位置概率密度网络，以待绘制介质物体的介质属性、表面属性、深度属性和入射角度为输入，预测出射位置；
所述方向概率密度网络，以待绘制介质物体的介质属性、表面属性、深度属性、入射角度和出射位置为输入，预测出射方向；
所述评估网络，以待绘制介质物体的介质属性、表面属性、深度属性、入射角度、出射位置和出射方向为输入，预测所述出射位置和出射方向上的出射多重散射辐射亮度值。
3.如权利要求2所述的具有深度信息的参与介质多重散射的绘制方法，其特征在于，所述位置概率密度网络，具体为：
将待绘制介质物体的介质属性、表面属性和深度属性，输入到训练后的位置概率密度网络中，输出待绘制介质物体表面关于出射位置的概率密度函数参数；
根据待绘制介质物体表面关于出射位置的概率密度函数参数进行采样，得到一个出射位置。
4.如权利要求3所述的具有深度信息的参与介质多重散射的绘制方法，其特征在于，根据待绘制介质物体表面关于出射位置的概率密度函数参数进行采样，得到一个出射位置，具体为：
根据概率密度函数中的混合系数集合，对该混合系数集合计算累积分布函数，然后进行采样得到一个球面高斯分布；
从所述球面高斯分布中，采样得到一个出射位置。
5.如权利要求2所述的具有深度信息的参与介质多重散射的绘制方法，其特征在于，所述方向概率密度网络，具体为：
将所述介质属性、表面属性、深度属性、入射角度和设定出射位置，输入到训练后的方向概率密度网络中，输出待绘制介质物体表面设定出射位置关于出射方向的概率密度函数参数；
根据待绘制介质物体表面设定出射位置关于出射方向的概率密度函数参数进行采样，得到一个出射方向。
6.如权利要求1所述的具有深度信息的参与介质多重散射的绘制方法，其特征在于，所述体积路径追踪，具体为：
在实际渲染过程中，首先从相机出发，向图像上的每个像素发射多根射线进行路径追踪，射线在场景中进行求交，当射线碰撞到具有表面的参与介质物体时，则发生反射或折射；
当射线折射进入介质后，则记录待绘制物体的表面属性、介质属性、入射点处的深度属性和入射角度。
7.如权利要求1所述的具有深度信息的参与介质多重散射的绘制方法，其特征在于，所述获得每个像素的颜色值，具体为：
基于待绘制物体的表面属性、介质属性、入射点处的深度属性和入射角度，通过多重散射预测模型得到出射位置、出射方向以及出射多重散射辐射亮度值，将亮度值不断积累直至与光源相交，最终获得像素的颜色值。
8.具有深度信息的参与介质多重散射的绘制系统，其特征在于，包括数据获取模块、路径追踪模块、亮度预测模块和图像绘制模块：
数据获取模块，其被配置为：获取待绘制介质物体的属性数据，包括介质属性和表面属性；
路径追踪模块，其被配置为：根据待绘制介质物体的属性数据，从相机出发，向待绘制的二维图像上每个像素发射多根射线进行体积路径追踪，得到每根射线入射点的信息，包括入射点处的深度属性和入射角度；
亮度预测模块，其被配置为：将每根射线入射点的信息，输入到多重散射预测模型中，得到每根射线的出射位置、出射方向以及出射多重散射辐射亮度值；
图像绘制模块，其被配置为：基于所有射线的信息，获得每个像素的颜色值，得到多重散射绘制的介质物体二维图像。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310388832.4A CN116385623A (zh) | 2023-04-07 | 2023-04-07 | 具有深度信息的参与介质多重散射的绘制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310388832.4A CN116385623A (zh) | 2023-04-07 | 2023-04-07 | 具有深度信息的参与介质多重散射的绘制方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385623A true CN116385623A (zh) | 2023-07-04 |
Family
ID=86963178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310388832.4A Pending CN116385623A (zh) | 2023-04-07 | 2023-04-07 | 具有深度信息的参与介质多重散射的绘制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385623A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292068A (zh) * | 2023-11-24 | 2023-12-26 | 北京渲光科技有限公司 | 一种多重散射分布生成网络训练方法、渲染方法及装置 |
-
2023
- 2023-04-07 CN CN202310388832.4A patent/CN116385623A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292068A (zh) * | 2023-11-24 | 2023-12-26 | 北京渲光科技有限公司 | 一种多重散射分布生成网络训练方法、渲染方法及装置 |
| CN117292068B (zh) * | 2023-11-24 | 2024-03-05 | 北京渲光科技有限公司 | 一种多重散射分布生成网络训练方法、渲染方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017248506B2 (en) | Implementation of an advanced image formation process as a network layer and its applications | |
| Lafortune | Mathematical models and Monte Carlo algorithms for physically based rendering | |
| CN105378796B (zh) | 可伸缩体积3d重构 | |
| US7990380B2 (en) | Diffuse photon map decomposition for parallelization of global illumination algorithm | |
| Qin et al. | Aura 3D textures | |
| CN108537869B (zh) | 一种基于级联纹理的圆锥追踪动态全局光照方法 | |
| Doraiswamy et al. | Topology-based catalogue exploration framework for identifying view-enhanced tower designs | |
| CN116385623A (zh) | 具有深度信息的参与介质多重散射的绘制方法及系统 | |
| TW201401225A (zh) | 異質參與媒體之一點所接收光量之估計方法及所構成裝置 | |
| Zhang et al. | Illumination estimation for augmented reality based on a global illumination model | |
| CN116206045A (zh) | 半无限参与介质多重散射的绘制方法及系统 | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| Siebert et al. | Fast optical monte carlo simulation with surface-based geometries using chroma | |
| Sone et al. | Parameter Estimation of BSSRDF for Heterogeneous Materials. | |
| Dietrich et al. | Terrain guided multi-level instancing of highly complex plant populations | |
| CN117292068B (zh) | 一种多重散射分布生成网络训练方法、渲染方法及装置 | |
| CN117333609B (zh) | 图像渲染方法、网络的训练方法、设备及介质 | |
| CN117152335B (zh) | 一种用于训练体渲染模型、体渲染的方法及装置 | |
| Fang et al. | A real-time rendering method for high albedo anisotropic materials with multiple scattering | |
| Kajs | Real-Time Rendering of Granular Materials | |
| CN117274473B (zh) | 一种多重散射实时渲染的方法、装置及电子设备 | |
| Yan | Physically-based Modeling and Rendering of Complex Visual Appearance | |
| Tang et al. | M-NeuS: volume rendering based surface reconstruction and material estimation | |
| Zhao | Application of Automatic Analysis of Image Data Based on KD-Tree in Ray Tracing Technology | |
| Romanyuk et al. | Global Lighting Based on Functionally Defined Surfaces and Voxels in Real Time Using a GPU |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |