CN109509248B - 一种基于神经网络的光子映射渲染方法和系统 - Google Patents

Abstract

本发明涉及一种基于神经网络的光子映射渲染方法和系统。该方法包括：1)采用光子映射方法生成k张不同渲染质量的彩色效果图；2)将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练得到神经网络模型；3)基于所述神经网络模型合成全局光照明渲染图像。与现有的渐进式光子映射方法相比，本发明只需要通过由几次迭代的光子映射所产生的中间粗糙结果，就可以藉由本发明提出的神经网络，推测合成渐进式光子映射收敛的渲染结果，从而解决了传统渐进式光子映射方法需要非常耗时的大量迭代才能生成较为理想的渲染结果的问题。

Description

一种基于神经网络的光子映射渲染方法和系统

技术领域

本发明属于计算机图形学技术领域，具体涉及一种基于神经网络的光子映射渲染方法和系统。

背景技术

全局光照明图像的生成，是计算机图形学的一个重要领域。其关键是如何为3D场景添加更真实的光照明效果。光子映射算法是计算机图形学中的一个经典的全局光照明算法，能够绘制出更逼真的焦散等现象，但一个严重的缺点是其所需的绘制时间非常长。

传统的高度真实感全局光照明计算和渲染方法中，光子映射方法是其中一种代表性方法。而渐进式光子映射(Hachisuka,T.,Ogaki,S.,and Jensen,H.W.Progressivephoton mapping.ACM Transactions on Graphics(TOG)27,5(2008),130.)又是目前光子映射方法的最主流解决框架。然而渐进式光子映射最核心的问题在于，每一张渲染图像都需要进行上千次甚至更多次的迭代(也就是上千次的photon tracing步骤)之后才能获得高质量的渲染效果图。

发明内容

本发明针对上述问题，提供一种基于重建神经网络的光子映射渲染方法和系统，能够在较短的时间内绘制出较好的光照明计算和渲染效果。

本发明采用的技术方案如下：

一种基于神经网络的光子映射渲染方法，包括以下步骤：

1)采用光子映射方法生成k张不同渲染质量的彩色效果图；

2)将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练，得到神经网络模型；

3)基于所述神经网络模型合成全局光照明渲染图像。

进一步地，所述k张不同渲染质量的彩色效果图为k张不同光子收集半径的渲染的彩色效果图，所述k张不同光子收集半径的渲染的彩色效果图在生成时，除了光子半径或者迭代次数的变化，其他绘制参数包括视点参数、光源参数、绘制视口窗口均不发生任何改变；生成的每一张彩色效果图都是一张粗糙图，k张粗糙图构成一组粗糙图。

进一步地，在生成若干组粗糙图作为神经网络训练的网络输入用的数据集时，分别对光源位置以及假想相机位置作一些变化，创建出不同光照参数和视角的场景并进行渲染；对于每一个光照参数和视角，使用SPPM算法生成迭代1000轮次以上的渲染图作为标签。每输入一组粗糙图做训练称为一个周期，在一个周期开始之前打乱整个数据集，并对于每组图随机进行224×224的裁剪(Crop)，裁剪之后的图像作为网络训练的数据输入。对于每个场景的全部粗糙图，抽出其中的90％作为训练集，其余的作为测试集。

进一步地，所述神经网络模型包括：卷积层，与所述卷积层连接的非线性激活层，与所述非线性激活层连接的多个残差结构块，与所述残差结构块连接的Eltwise层，与所述Eltwise层连接的卷积层，以及连接所述非线性激活层和所述Eltwise层的旁路；所述多个残差结构块中，一个残差结构块代表一个残差网络的功能块。

进一步地，所述神经网络模型的训练过程包括：所述卷积层采用卷积核对输入的数据做卷积操作以抽取浅层特征；然后通过所述非线性激活层进行激活；所述旁路将输入直接连到后面的神经网络层，使得后面的神经网络层可以直接学习残差；所述多个残差结构块通过直接将输入信息传到输出，保护信息的完整性，直接连接浅层网络与深层网络，从而使得梯度能够很好地传递到浅层；所述旁路的输出和经过多个残差结构块之后输出的数据执行Eltwise层的按元素操作；最后执行卷积操作并输出，经过多次训练最终得到神经网络模型及其参数。

进一步地，所述残差结构块进行以下操作：

1)对输入数据建立一个shortcut连接，即添加恒等映射，确保结构更深的网络不会比浅的网络效果差；

2)对输入数据做卷积；

3)通过非线性激活层进行激活；

4)对数据再次做卷积；

5)把步骤1)的直接输出和步骤4)经过再次卷积之后输出的数据执行按元素操作；

6)输出结果。

进一步地，所述Eltwise层的按元素操作包括三种类型的操作：点乘、求和、取最大值。

与上面方法对应地，本发明还提供一种基于重建神经网络的光子映射渲染系统，其包括：

输入数据生成模块，用于采用光子映射方法生成k张不同渲染质量的彩色效果图；

神经网络模型训练模块，用于将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练，得到神经网络模型；

渲染模块，使用所述神经网络模型把当前视点条件下所生成的粗糙图合成全局光照明渲染图像。

进一步地，所述神经网络模型包括：卷积层，与所述卷积层连接的非线性激活层，与所述非线性激活层连接的多个残差结构块，与所述残差结构块连接的Eltwise层，与所述Eltwise层连接的卷积层，以及连接所述非线性激活层和所述Eltwise层的旁路；所述多个残差结构块中，一个残差结构块代表一个残差网络的功能块。

本发明从深度学习入手，构造了一种神经网络，用于合成基于光子映射方法的全局光照明图像。当前，机器学习中的神经网络在图像识别、图像去噪、图像去模糊、图像修复等等应用上，都取得了很好的效果。本发明针对减少光子映射方法的渲染计算和时间代价的需求，提出了一种新型的神经网络结构，并基于此神经网络设计并进行实验，能够在较短的时间内计算和绘制出较好的全局光照明渲染效果。

与现有的渐进式光子映射方法相比，本发明只需要通过由几次迭代步骤(即光子追踪photon tracing的步骤)的光子映射所产生的中间粗糙结果作为输入数据，就可以藉由本发明提出的神经网络，推测合成出与渐进式光子映射收敛的渲染效果相近的结果，从而解决了传统渐进式光子映射方法需要非常耗时的大量迭代才能生成较为理想的渲染结果的问题。

附图说明

图1是神经网络结构图((a)图)与其中ResBlock结构图((b)图)。

图2是场景一Box的作为网络训练输入数据的k张粗糙图(k＝10)。

图3是场景一Box的经过神经网络合成的渲染图((a)图)和真实值效果图((b)图)。

图4是场景二Torus的作为网络训练输入数据的k张粗糙图(k＝10)。

图5是场景二Torus的经过神经网络合成的渲染图((a)图)和真实值效果图((b)图)。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明设计了应用于光子映射渲染合成问题的神经网络。光子映射的理论与方法在通过神经网络进行求解时所涉及的关键问题为：其一是光子映射合成问题属于密集预测(dense prediction)问题，不需要批次归一化层(Batch Normalization,BN)；其二是光子映射合成问题需要解决因半径过小而引起的噪声，以及因半径过大引起的模糊问题；其三是光子映射合成问题适合使用全卷积神经网络，因为此问题与周围像素的值更相关，而对全局信息不敏感。

1.神经网络的输入数据集

对于网络的输入，由于光子映射渲染合成方法的特殊性，可以将RGB通道分开进行训练，但是因为实验后发现对单通道进行单独训练会导致生成的效果图与收敛图之间存在色差，因此不分离RGB通道进行训练。还有一个需要考虑的问题是，以什么参数生成光子映射的中间结果。在渐进式光子映射算法中，发射到三维场景中的光子数目与最终计算的时间成正比，也意味着时间开销越多，渐进光子映射算法使用的信息量就越大。相比于需要处理庞大的信息量的渐进式光子映射算法，本发明所提出的基于神经网络的光子映射方法在合成最终的渲染结果时所需的信息量远远少于传统渐进式光子映射算法。因此需要考虑解决的问题是如何最大程度地使用这些有限的信息量，通过训练出的优化的网络参数，来合成出最终理想的渲染结果。

本发明的方案是使用不同的光子收集半径，即生成k张不同光子收集半径的渲染的彩色效果图。这种方案与多尺度采样相似，同时可以利用多个半径变相增大卷积网络的感受野(即输出(Output)中一个像素对应输入中的像素数量)。最终使用了不同半径生成的粗糙的二维RGB色彩图作为网络的输入，这些图被称为粗糙图(如图1所示的Rough Picture(s))。网络的输出也为三通道RGB彩色图。

输入采用的是k张不同光子收集半径进行渲染的RGB三通道彩色效果图。为了获得比较好的渲染效果和比较好的神经网络训练效率，k一般取介于5至15之间的数值，当k取值较小时，生成渲染图像的质量较低，而当k取值较大时，则训练神经网络的数据较多，导致网络训练的时间较长，效率较低。既可以采用k个不同的光子收集半径进行光子的收集并渲染以生成k张不同的效果图；也可以采用k次迭代的photon tracing步骤，每一次迭代步都得到一张彩色渲染图，从而生成k张不同的效果图。上述k张效果图组成一组，在生成时除了上述的光子半径或者迭代次数的变化，其他的绘制参数如视点参数、光源参数、绘制视口窗口等参数均不发生任何改变。生成的每一张色彩图都是一张粗糙图，k张粗糙图构成一组粗糙图。合成一张渲染效果图的方法及其光子收集半径的概念与意义可参考(ToshiyaHachisuka,Shinji Ogaki,and Henrik Wann Jensen.2008.Progressive photonmapping.ACM Transactions on Graphics(TOG)27,5(2008),130.)。

在生成若干组包含上述k张彩色图像作为神经网络训练的输入数据集时，分别对光源位置以及假想相机位置作一些变化，创建出不同光照参数和视角的场景并进行渲染，为了获得较好的神经网络模型及其网络参数，往往生成上千组甚至上万组图像，每组图像都是由k张上述彩色图像(作为粗糙图)组成。对于每一个光照参数和视角，使用SPPM算法(Toshiya Hachisuka and Henrik Wann Jensen.2009.Stochastic progressive photonmapping.ACMTransactions on Graphics(TOG)28,5(2009),141.)生成迭代1000轮次以上的图作为标签(label)。这k张图中的每一张图所使用来进行渲染的光子量是生成标签(label)所需要的非常小的量，例如只有1‰(即通常只需要相比于生成label时间的1‰)，也就是利用非常稀疏的光子计算来全局光照明(radiance)并渲染生成k张粗糙图，然后将这k张粗糙图所组成的一组在RGB三通道(channel)上叠放(concat)以后，作为网络的输入。在实际实施例中，生成的作为神经网络输入的图像的分辨率均为672×672。

每个周期(epoch，周期被定义为向前和向后传播中所有批次的单次训练迭代，这意味着1个周期是整个输入数据的单次向前和向后传递)之前打乱(shuffle)整个数据集，对于每组图随机进行224×224的裁剪(Crop)，也可以采用其它a×a大小的裁剪方式。对于每个场景的所有图，抽出其中的90％作为训练集，其余的作为测试集。

2.神经网络结构

本实施例采用的神经网络结构如图1所示，其中(a)图为神经网络结构图，(b)图为ResBlock结构图。神经网络的训练过程包括以下步骤：

1)从训练集中选择一组数据作为神经网络的输入数据，先用卷积层(Conv)的m×m卷积核对输入的数据做卷积操作以抽取浅层特征，此处m的大小可以采用3,5,7等数值；

2)通过非线性激活层ReLU进行激活，称为线性整流函数(Rectified LinearUnit,ReLU),又称修正线性单元，是一种人工神经网络中常用的激活函数(activationfunction)，通常指代以斜坡函数及其变种为代表的非线性函数；PreLU(Parametric ReLU)等其它形式的变体也可行；

3)通过一个shortcut(旁路的支线)将输入直接连到后面的神经网络层，使得后面的层可以直接学习残差；

4)经过多个残差结构块(Resblock)，其中每个Resblock代表一个残差网络的功能块，该功能块通过直接将输入信息传到输出，保护信息的完整性，直接连接浅层网络与深层网络，从而使得梯度能够很好地传递到浅层；整个网络则只需要学习输入、输出差别的那一部分，简化学习目标和难度；本实施例中该Resblock的数目在实现时采用了8个，更多或者更少的残差结构块也是可行的，更多的残差结构块往往需要更长的网络训练时间，而更少的残差结构块往往造成训练出的网络参数不够优化的现象；

5)把步骤3)的直接输出和步骤4)经过多个Resblock之后输出的数据执行按元素操作(Eltwise层操作，即图1中的加法，该操作包含三种类型的操作：product(点乘)、sum(求和)、max(取最大值))；

6)执行卷积操作并输出：从步骤1的训练集中选择新的一组数据作为输入，反复执行步骤2的网络结构的各项子步骤，并用损失函数(loss function)来度量当前网络模型与作为参考的实际数据(reference)的差距从而调整校正网络的参数，经过多次的训练可以最终得到神经网络模型及其参数。

残差结构块(Resblock)的网络结构如下：

1)首先对输入数据建立一个shortcut连接，即添加identity map(恒等映射)，确保结构更深的网络不会比浅的网络效果差；

2)对输入数据先做卷积，卷积层(Conv)的特征图(feature map)数量为64(也可以是其它值)；

3)通过非线性激活层ReLU进行激活；

4)对数据再次卷积，卷积层(Conv)的特征图(feature map)数量为64；

5)把步骤1)的直接输出和步骤4)经过再次卷积之后输出的数据执行按元素操作(Eltwise层操作)；

6)输出结果。

3.实现细节

在进行神经网络训练的过程中，本实施例使用Adam算法(Kingma,Diederik P.,and Jimmy Lei Ba."Adam:Amethod for stochastic optimization."Proceedings ofthe 3rd International Conference on Learning Representations(ICLR).2015.)对网络参数进行调整优化，Adam算法中的三个参数β₁，β₂，∈分别为0.9、0.999、10^-8。批次大小(batchsize)设置为20。基础学习率(learning rate)设置为10^-4，恒定不变。ResBlock的个数为8，卷积核为3×3。

由于光子映射问题中常会出现噪声，本实施例采用的网络的损失函数(LossFunction)为广泛使用的l₁Error，在损失函数的计算中，l₁范数的误差计算的是对应像素之间的光亮度(luminance，标量)的绝对差值，而不是色彩RGB三通道之间的差距。

4.实验结果

图2，4为两个实验场景，图2为Box，即舞厅，图4为Torus，即圆环，每个场景分别由数量非常稀少的10张粗糙图构成一组作为网络输入数据。图3，5中的(a)图为卷积核为3x3的神经网络输出结果，(b)图为作为真实值的参考图像(Reference，为采用传统方法生成的高精度的渲染图像)。其中粗糙图从上到下、从左到右，半径依次增大，左上图半径最小，右下图半径最大。可以明显看出，半径选取的不同对粗糙图的画面质量的影响。半径小的图，光斑清晰但噪声多；半径大的图噪声少但边界模糊。没有一张粗糙图能够和参考图像相比。而经过本发明训练的神经网络所得到的输出已经与最高渲染质量的参考图(Reference)比较接近了。本发明的神经网络在测试时效率很高，时间代价与网络输入代价相比可以忽略不计。

本发明另一实施例提供一种基于神经网络的光子映射渲染系统，其包括：输入数据生成模块，用于采用光子映射方法生成k张不同渲染质量的彩色效果图；神经网络模型训练模块，用于将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练，得到神经网络模型；渲染模块，使用所述神经网络模型把当前视点条件下所生成的粗糙图合成全局光照明渲染图像。其中各模块的具体实现方式包括所述神经网络模型的具体结构见前面对光子映射渲染方法的说明。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (6)

1.一种基于神经网络的光子映射渲染方法，其特征在于，包括以下步骤：

1)采用光子映射方法生成k张不同渲染质量的彩色效果图；

2)将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练，得到神经网络模型；

3)基于所述神经网络模型合成全局光照明渲染图像；

所述k张不同渲染质量的彩色效果图为k张不同光子收集半径的渲染的彩色效果图，所述k张不同光子收集半径的渲染的彩色效果图在生成时，除了光子半径或者迭代次数的变化，其他绘制参数包括视点参数、光源参数、绘制视口窗口均不发生任何改变；生成的每一张彩色效果图都是一张粗糙图，k张粗糙图构成一组粗糙图；

所述神经网络模型包括：卷积层，与所述卷积层连接的非线性激活层，与所述非线性激活层连接的多个残差结构块，与所述残差结构块连接的Eltwise层，与所述Eltwise层连接的卷积层，以及连接所述非线性激活层和所述Eltwise层的旁路；所述多个残差结构块中，一个残差结构块代表一个残差网络的功能块；

所述神经网络模型的训练过程包括：所述卷积层采用卷积核对输入的数据做卷积操作以抽取浅层特征；然后通过所述非线性激活层进行激活；所述旁路将输入直接连到后面的神经网络层，使得后面的神经网络层可以直接学习残差；所述多个残差结构块通过直接将输入信息传到输出，保护信息的完整性，直接连接浅层网络与深层网络，从而使得梯度能够很好地传递到浅层；所述旁路的输出和经过多个残差结构块之后输出的数据执行Eltwise层的按元素操作；最后执行卷积操作并输出，经过多次训练最终得到神经网络模型及其参数。

2.根据权利要求1所述的方法，其特征在于，在生成若干组粗糙图作为神经网络训练的网络输入用的数据集时，分别对光源位置以及假想相机位置作变化，创建出不同光照参数和视角的场景并进行渲染；对于每一个光照参数和视角，使用SPPM算法生成迭代1000轮次以上的渲染图作为标签；每输入一组粗糙图做训练称为一个周期，在一个周期开始之前打乱整个数据集，并对于每组图进行裁剪，裁剪之后的图像作为网络训练的数据输入。

3.根据权利要求1所述的方法，其特征在于，所述k的取值为5～15。

4.根据权利要求1所述的方法，其特征在于，所述残差结构块进行以下操作：

1)对输入数据建立一个shortcut连接，即添加恒等映射，确保结构更深的网络不会比浅的网络效果差；

2)对输入数据做卷积；

3)通过非线性激活层进行激活；

4)对数据再次做卷积；

5)把步骤1)的直接输出和步骤4)经过再次卷积之后输出的数据执行按元素操作；

6)输出结果。

5.根据权利要求1所述的方法，其特征在于，所述Eltwise层的按元素操作包括三种类型的操作：点乘、求和、取最大值。

6.一种基于神经网络的光子映射渲染系统，其特征在于，包括：

输入数据生成模块，用于采用光子映射方法生成k张不同渲染质量的彩色效果图；

神经网络模型训练模块，用于将多组由k张不同渲染质量的彩色效果图构成的训练集输入神经网络进行训练，得到神经网络模型；

渲染模块，用于使用所述神经网络模型把当前视点条件下所生成的粗糙图合成全局光照明渲染图像；

所述k张不同渲染质量的彩色效果图为k张不同光子收集半径的渲染的彩色效果图，所述k张不同光子收集半径的渲染的彩色效果图在生成时，除了光子半径或者迭代次数的变化，其他绘制参数包括视点参数、光源参数、绘制视口窗口均不发生任何改变；生成的每一张彩色效果图都是一张粗糙图，k张粗糙图构成一组粗糙图；

所述神经网络模型包括：卷积层，与所述卷积层连接的非线性激活层，与所述非线性激活层连接的多个残差结构块，与所述残差结构块连接的Eltwise层，与所述Eltwise层连接的卷积层，以及连接所述非线性激活层和所述Eltwise层的旁路；所述多个残差结构块中，一个残差结构块代表一个残差网络的功能块；

所述神经网络模型的训练过程包括：所述卷积层采用卷积核对输入的数据做卷积操作以抽取浅层特征；然后通过所述非线性激活层进行激活；所述旁路将输入直接连到后面的神经网络层，使得后面的神经网络层可以直接学习残差；所述多个残差结构块通过直接将输入信息传到输出，保护信息的完整性，直接连接浅层网络与深层网络，从而使得梯度能够很好地传递到浅层；所述旁路的输出和经过多个残差结构块之后输出的数据执行Eltwise层的按元素操作；最后执行卷积操作并输出，经过多次训练最终得到神经网络模型及其参数。