CN105787892A - 一种基于机器学习的蒙特卡洛噪声去除方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的蒙特卡洛噪声去除方法，包括步骤如下：构建一个由输入层、隐藏层和输出层组成的神经网络；针对带有不同分布特效场景图片，在不同样本率下进行多次渲染，将得到的结果图片组成训练集；使用弹性反向传播算法训练神经网络；处理MC渲染图像中的高动态范围峰值，将被标记为峰值的点使用平均颜色代替。本发明首次将监测学习应用于蒙特卡洛噪声去除，能够生成高质量的MC去噪图像，特别是在快速渲染和低样本率渲染时，本方法的效率优势尤其明显。

Description

一种基于机器学习的蒙特卡洛噪声去除方法

技术领域

本发明涉及计算机图像处理技术领域，具体涉及一种基于机器学习的蒙特卡洛噪声去除方法。

背景技术

从场景模型中产生相片般真实的图像需要在图像的每一个像素点处计算一个复杂的多维积分场景函数。举例而言，生成类似于深度域和运动模糊的效果需要整合的领域包括镜头位置和时间。MC渲染系统通过在多维空间中追踪光线(样本)近似模拟积分以评估场景函数。尽管近似积分可以只用一小部分样本就迅速的完成评估，这一估计的不准确度相对于真实值而言在最后的结果图像中表现为更不可接受的噪声。由于MC预测器的差异随着样本数量而线性减少，很多样本都需要获得一个可靠的积分预测。计算额外光线的高成本导致了漫长的渲染时间，这对MC渲染在现代电影产品中的应用产生了负面影响。

一个可以缓解该问题的方法就是迅速用少量样本渲染一个嘈杂的图像并且随后对其进行过滤预处理以产生一个可接受的，无噪声的结果。这一方法已经成为了近几年拓展研究的目标。更为成功的方法通常使用基于特征的过滤器(例如，交叉双边或者交叉非局部方法过滤)以利用额外的场景特征例如世界位置，这可以帮助指导过滤过程。由于这些特征都与场景细节有着高相关性，在过滤过程中使用他们能够极大地改善结果图片的质量。

一些方法已经在使用这些信息去处理一些特定的分布式效果，例如全局照明和景深，然而，最主要的挑战还是如何开发这些额外信息去将一些常见的分布式效果去噪，这要求为所有的特征设置过滤权重(下文称为过滤参数)以便在场景细节被保存的同时将噪声去除。

为了完成这一工作Sen和Darabi提出使用场景特征和利用交互信息计算出随机参数之间的功能性依赖关系，这一过程用来去除噪声比较慢。一些算法是建立在这一基础上的——使用误差估计标准以从离散集中选出最佳的过滤参数。这些方法最主要的缺点在于他们的误差标准通常在低样本率时是嘈杂的，减少了过滤选择的准确度。此外，从一个预先选择的可能不包含最佳选择的离散集中，选出了过滤参数，这使得这些方法会产生一些过度模糊的图像。

发明内容

本发明提供了一种基于机器学习的蒙特卡洛噪声去除方法，首次将监测学习应用于蒙特卡洛噪声去除，能够生成高质量的MC去噪图像，特别是在快速渲染和低样本率渲染时，本方法的效率优势尤其明显。

一种基于机器学习的蒙特卡洛噪声去除方法，包括：

步骤1，构建由输入层、隐藏层和输出层组成的神经网络(多层感知器MLP)；

步骤2，针对若干带有不同分布特效场景的图片，在不同采样率下进行多次渲染，将得到的渲染结果图片组成训练集；

步骤3，训练集作为神经网络的输入，使用弹性反向传播算法训练神经网络，得到去除噪声后的图像；

步骤4，针对去除噪声后的图像中的高动态范围峰值，使用平均颜色代替，得到结果图像。

本发明使用的MLP不同于标准的MLP，而是将过滤包含进了训练过程，作为优选，输入层、隐藏层和输出层分别包含若干节点，第l层的第s个节点的输出利用下式计算：

${\mathrm{\α}}_s^l=f^l(\underset{t=1}{\overset{n_{l-1}}{\Σ}}{w}_{t,s}^l{\mathrm{\α}}_t^{l-1}+w_{0,s}^l)$

其中，f^l是l层的活动函数；n_l-1是第l-1层的节点数，是连接第l-1层中第t个节点和第l层中第s个节点的权重；是相应节点的偏差；为第l-1层的第t个节点的输出。

本发明在衡量过滤图片像素值和真实图片像素值的误差时，由于人类视觉系统对图像暗部的色彩变化更加敏感，本发明没有使用标准的MSE，而使用了改良的相对平均平方误差标准(RelMSE)，具体地，采用如下公式衡量过滤图片像素值和真实图片像素值的误差E_i：

其中，i为像素的序号，n为每个像素处的样本数量；为过滤图片像素的第q个颜色通道；c_i,q为真实图片像素的第q个颜色通道；ε为一个很小的实数，r,g,b分别代表不同的颜色通道。

本发明使用了弹性反向传播算法(RPROP)更新MLP神经网络中的权重，而不是常用的梯度下降法，在每一次反向传播的迭代过程中，如果当前和先前的迭代是连续的(拥有相同的正负号标志)，那么特定权重的梯度会得到补偿(增加适当的权重)，相反地则会得到惩罚(减少适当的权重)。

由于MC渲染图像中的高动态范围峰值像素不能被高效地传播，优选地，步骤4中，针对某一色块，若该色块的中心像素的任何一个颜色通道超过平均色块两倍标准差，则利用色块的平均颜色代替中心像素的颜色。

本发明发现了嘈杂的输入数据和最佳过滤参数之间具有一个复杂的关系，而过滤参数可以被不同的因素(例如：特征差异和局部区域的噪声)有效的预测出来，但是每一个独立的因素自身则不能准确地预测他们。基于这些发现，提出了一个可以学习这些因素和最佳过滤参数之间关系的监测学习算法，以避免现有算法所遇到的问题。

在本发明的技术方案中，训练了一个基于一系列嘈杂MC渲染图像和他们对应的真实图片的非线性回归模型，在训练和测试时，使用一个多层感知器(MLP)配合一个对应的过滤器。

本发明的目的是将一个只使用少量样本渲染的带噪声的输入图像进行处理，然后生成一个无噪声的类似于使用很多个样本渲染得到的真实图像。

在常见的过滤方法中，已过滤的图像在像素i处被计算为一个所有像素在以像素i为中心方形邻域N(i)(例如，55*55)的加权平均值：

${\hat{C}}_i=\frac{{\mathrm{\Σ}}_{j\∈N\left(i\right)}{d}_{i,j}{\stackrel{\‾}{C}}_j}{{\mathrm{\Σ}}_{j\∈N\left(i\right)}{d}_{i,j}}$

其中，d_i,j是像素i和相邻像素点j之间被过滤器定义的权重，而是将像素j处的所有样本色彩平均化后计算出的嘈杂像素色彩。

在训练阶段，以低采样率同时渲染嘈杂图像和他们对应的真实图像，得到一系列带有各种分配特效的场景。这些嘈杂图像随后被处理以抽取每一个像素周围方形区域的一系列有效的特征。最后，构建的神经网络基于这些特征进行训练以指导过滤器产生根据特定的误差标准而类似于真实图像的图片。

一旦神经网络被训练完成，在测试阶段，使用神经网络过滤新的带有一般分布式特效的嘈杂渲染结果。本发明提供的方法只需要几秒钟，然而却在众多分布式特效(包括，景深，运动模糊，区域光照，镜面反射，和全局照明)上产生了比现有方法更好的结果。

此外，与很多现有方法不同的是，本发明中没有使用自适应采样，只是一个简单的能够有效去除MC噪声后续处理过程。总体来说，本发明具有以下有益效果：

1.采用机器学习的方法减少一般的MC噪声。尽管机器学习在此之前已经在图像领域被广泛应用，但本发明第一个将监测学习应用于MC噪声去除。

2.采用一个神经网络结合一个过滤器，通过有效的训练，产生接近于真实图像的结果。

附图说明

图1为本发明基于机器学习的蒙特卡洛噪声去除方法的流程图。

具体实施方式

下面将结合具体实施例对本发明进行详细说明。

如图1所示，基于机器学习的蒙特卡洛噪声去除方法，包括：

步骤1，构建一个由输入层、隐藏层和输出层组成的MLP(多层感知器)神经网络。

对于任何一个机器学习系统，都有3个必须决定的关键元素：

(1)选择代表机器学习系统输出g的模型；

(2)适当的误差标准E用以衡量过滤图像和真实图像间的差别；

(3)最小化输出 $g^{*}={\arg \min }_{g}E(h({\stackrel{\‾}{s}}_{N\left(i\right)},g\left(X_i\right)),c_i)$ 能量函数的最佳策略。

针对关键元素(1)，本实施例使用一个神经网络(即多层感知器)，作为一个回归模型，该模型简单有效，并且用于探究输入与输出之间复杂的非线性关系也十分有效。此外，MLP是内在并行的，并且可以有效的应用在GPU上。

本发明提出的方法不同于标准的MLP，而是将过滤包含进了训练过程，这就要求在训练阶段通过反向传播去更新神经网络的权重，要求过滤器的过滤参数必须是可微的。幸运的是，一般过滤器例如高斯、交叉双边和交叉非局部均值都是可微的，并且可以应用于本发明提供的机器学习系统。

神经网络由多层组成，即输入层，隐藏层和输出层，输入层、隐藏层和输出层分别包含若干节点，每层的节点通过权重完全连接下一层所有节点，一些节点的输出是前一层输出节点的加权和函数加上一个作为补偿的附加偏差项，第l层的第s个节点的输出利用下式计算：

${\mathrm{\α}}_s^l=f^l(\underset{t=1}{\overset{n_{l-1}}{\Σ}}{w}_{t,s}^l{\mathrm{\α}}_t^{l-1}+w_{0,s}^l)$

其中，f^l是l层的活动函数；n_l-1是第l-1层的节点数，是连接第l-1层中第t个节点和第l层中第s个节点的权重；是相应节点的偏差；为第l-1层的第t个节点的输出。

如果在所有层中使用线性的活动函数(例如f^l(x)＝x)，那么神经网络就变成了一个简单的线性函数，例如，函数f^l(x)＝1/(1+e^-x)。

针对关键元素(2)，本实施例并没有使用标准的MSE，而是使用了相对平均平方误差(RelMSE)标准，该标准与本发明的应用场合更加匹配，因为人类的视觉系统对图片暗处的色彩变化更加敏感，本实施例对相对MSE做了略微的修改，采用如下公式衡量过滤图片像素值和真实图片像素值的误差E_i：

其中，i为像素的序号，n为每个像素处的样本数量；为过滤图片像素的第q个颜色通道；c_i,q为真实图片像素的第q个颜色通道；ε为一个很小的实数(本实施例中设为0.01，以避免除数为0)，r,g,b分别代表不同的颜色通道。此处，除以表示上述的感知效果即在真实图片的暗部给予更高的权重。

对相对MSE标准做的修改是计算误差时乘以系数n/2，由于平方误差随着MC渲染(蒙特卡洛渲染)中样本数量线性减少，具有较少样本的图像比具有较多样本的图像误差要多。这会使得本发明提供的学习系统在支持训练低采样率图像时出现偏差，通过乘以平方差n，取消了反转关系并且要求所有图片对误差都具有相等的贡献，无论其采样率为多少。此外，误差除以2以产生更简单的导数(derivative)。注意此处的误差标准不同于一般在神经网络集群中使用的标准，例如平均平方误差(MSE)和交叉熵值。

步骤2，针对若干带有不同分布特效场景的图片，在不同采样率下进行多次渲染，将得到的渲染结果图片组成训练集。

本实施例使用20个带有不同分布特效场景的图片，对每一个场景在不同的采样率下进行渲染，每个场景一共得到25幅图片，这些图片共同构成了训练集。

对于每一个图片(即嘈杂图像)，在每一个像素点抽取一系列基础特征和第二特征。

基础特征是直接通过渲染系统输出的特征，在交叉双边过滤器(eq2)中使用了7个基础特征(M＝7)，分别为：屏幕位置、颜色、和五个额外的特征(K＝5)。

五个额外特征分别为：a、世界坐标；b、阴影法向；c、第一交集纹理值和第二交集纹理值(第一交集指两个中心像素周围第一层像素集的交集，第二交集指两个中心像素周围第二层或更多层像素级的交集；第一交集纹理值和第二交集纹理值是两个特征)；e、直接光照可见性。最后一个特征被现有技术使用过，在本发明的系统中十分有用。

在渲染时，对每一个输出在屏幕位置x，y的样本，颜色是RGB模式，世界坐标为笛卡尔坐标形式(x,y,z)，阴影法向(l,j,k)，第一交集纹理值和第二交集纹理值以RGB形式，以及直接光照可见性是单一二进制值，一共18个浮点值(18个浮点值分别为屏幕坐标(x,y)，颜色RGB，世界坐标(x,y,z)，阴影法向(l，j，k)，第一交集纹理值(r，g，b)，第二交集纹理值(r，g，b)，直接光照可见性值，共计18个)。

第二特征包括：

特征统计：计算在像素点处k＝5个额外特征的平均差和标准差。为了获取更全局的统计，还计算了每个像素处7*7范围内像素平均特征的平均差和标准差。对每一个部分(例如，阴影法向中的i,j,k)分开计算统计结果，然后取平均值以得到每个特征的单一值。对每个像素和其周围的色块一共有20个值，这20个值均作为神经网络的输入。

梯度：使用Sobel算子计算K个额外特征的梯度量级；

平均差：两个像素集之间的绝对平均差；

MAD：两个像素集之间的绝对中位差；

采样率：像素点处的光线样本率。

随后对所有样本在像素处的特征值做平均化处理，以产生图像中每一个像素点的平均基础特征。注意在这一点，平均直接光照可见性表示看见光线并且不是二进制值的部分阴影射线。此外，在一个11*11的窗口内以7*7大小的面片使用非局部平均过滤器预先过滤了额外特征。

用颜色的偏差标准化颜色的差距，额外特征的偏差标准化额外特征的距离。用下面的函数表示颜色的偏差

$D({\stackrel{\‾}{c}}_i,{\stackrel{\‾}{c}}_j)=\frac{{\left|\right|{\stackrel{\‾}{c}}_i-{\stackrel{\‾}{c}}_j\left|\right|}^2}{{\mathrm{\ψ}}_i^2+{\mathrm{\ψ}}_j^2+\mathrm{\ζ}}$

其中，ψ_i为像素i处颜色样本的标准差；ψ_j是像素j处颜色样本的标准差；ζ是一个很小的值(10^-10)以避免除数为零，为像素i处的颜色；为像素j处的颜色。

对于额外特征，使用下面的函数表示额外特征的偏差

$D_k({\stackrel{\‾}{f}}_{i,k},{\stackrel{\‾}{f}}_{j,k})=\frac{{\left|\right|{\stackrel{\‾}{f}}_{i,k}-{\stackrel{\‾}{f}}_{j,k}\left|\right|}^2}{\max ({\mathrm{\ψ}}_{k,i}^2,\mathrm{\δ})}$

其中，为像素i处第k个特征的特征值；为像素j处第k个特征的特征值；ψ_k,i是像素i处第k个特征的标准差，δ是一个很小的值(10^-4)以避免除数为零。

最后，通过使用一个与过滤基础特征时相同的计算权重的非局部平均过滤器对额外特征ψ_k,i的嘈杂标准差做平滑处理。

在每一个像素处，从相邻的嘈杂样本计算了一系列第二特征作为神经网络的输入，大多数特征源自(或者直接实现)现有的MC去噪算法。

特征统计：计算在像素点处k＝5个额外特征的平均差和标准差。为了获取更全局的统计，还计算了每个像素处7*7范围内像素平均特征的平均差和标准差。对每一个部分(例如，阴影法向中的i,j,k)分开计算统计结果，然后取平均值以得到每个特征的单一值。对每个像素和其周围的色块一共有20个值，这20个值均作为神经网络的输入(中心像素点处5个额外特征的平均差和标准差，中心像素周围7*7像素集的5个额外特征的平均差和标准差，共计20个值)。

步骤3，训练集作为神经网络的输入，使用弹性反向传播算法训练神经网络，得到去除噪声后的图像。

通过一个迭代、三步过程可称之为弹性反向传播算法来训练神经网络，这一过程的目的是找到神经网络中每一个节点可以最小化训练图像中每一个像素点处计算输出和期望输出(如，真实图像值)之间误差的最佳权重E＝∑_{i∈allpixels}E_i，即关键元素(3)的获取。

在开始反向传播过程之前，权重被随机的初始化为0附近的值(本实施例位于-0.5到0.5之间)。

在第一步，即前馈传播，神经网络的输出使用所有的输入进行计算。这可以利用一系列矩阵乘法高效地实现。

在第二步中，计算输出和期望输出之间的误差用于决定每一个在输出误差上权重的效力，这要求对误差取微分

因此，活动函数(过滤器也一样)需要是可微分的，第一步和第二步是对训练集中所有的数据实施的，并且每一个权重的误差梯度是累加的。

最后，在第三步中，所有的权重根据误差梯度被更新。这就完成了一个单个迭代的训练，也就是一个阶段，通常需要很多个阶段来合理的训练系统以获得一个收敛的权重。

现在检验反向传播算法要求的系统的可微性。使用链式规则，能量方程对权重的导数表示如下：

$\frac{\∂E_i}{\∂w_{t,s}^l}=\underset{m=1}{\overset{M}{\Σ}}\[\underset{q\∈\{r,g,b\}}{\Σ}\[\frac{\∂E_{i,q}}{\∂{\hat{c}}_{i,q}}\frac{\∂{\hat{c}}_{i,q}}{\∂{\mathrm{\θ}}_{m,i}}\]\frac{\∂{\mathrm{\θ}}_{m,i}}{\∂w_{t,s}^l}\]$

此处M是过滤参数的数量。第一项是误差对过滤像素的导数，计算如下：

$\frac{\∂E_{i,q}}{\∂{\hat{c}}_{i,q}}=n\frac{{\hat{c}}_{i,q}-c_{i,q}}{c_{i,q}^2+\∈}$

此外，θ_m,i为标准MLP网络输出。最后，中间一项要求过滤器必须是可微分的，以便能计算出过滤颜色对过滤参数的微分

总结训练的过程，计算了神经网络里每一个权重的微分，并且在每一阶段结束后更新了权重，这个迭代过程一直持续到收敛为止。

步骤4，针对去除噪声后的图像中的高动态范围峰值，使用平均颜色代替，得到结果图像。

MC渲染图像有高动态范围并且可以包含峰值，带有辐射值的排列量级要大于他们的邻点。通常这些高能量的像素不能被高效地传播，甚至对于更大的过滤器也是这样，因此需要区别对待。

在应用了这些过滤器后，将这些在第一次计算了RGB颜色的平均值和标准差的所有相邻3*3像素块的过滤结果进行峰值验证。如果中心像素的任何颜色通道超过平均色块两倍标准差，那么该中心像素就被标记为峰值然后用平均颜色块(相邻3*3像素块的平均颜色)来代替。

通过步骤4对去噪后的图像进一步进行平滑处理，使结果图像的去噪效果更为理想。

Claims (4)

1.一种基于机器学习的蒙特卡洛噪声去除方法，其特征在于，包括：

步骤1，构建由输入层、隐藏层和输出层组成的神经网络；

步骤2，针对若干带有不同分布特效场景的图片，在不同采样率下进行多次渲染，将得到的渲染结果图片组成训练集；

步骤3，训练集作为神经网络的输入，使用弹性反向传播算法训练神经网络，得到去除噪声后的图像；

步骤4，针对去除噪声后的图像中的高动态范围峰值，使用平均颜色代替，得到结果图像。

2.如权利要求1所述的基于机器学习的蒙特卡洛噪声去除方法，其特征在于，所述输入层、隐藏层和输出层分别包含若干节点，第l层的第s个节点的输出利用下式计算：

$a_s^l=f^l(\underset{t=1}{\overset{n_{l-1}}{\mathrm{\Σ}}}{w}_{t,s}^l{a}_t^{l-1}+w_{0,s}^l)$

其中，f^l是l层的活动函数；n_l-1是第l-1层的节点数，是连接第l-1层中第t个节点和第l层中第s个节点的权重；是相应节点的偏差；为第l-1层的第t个节点的输出。

3.如权利要求1所述的基于机器学习的蒙特卡洛噪声去除方法，其特征在于，采用如下公式衡量过滤图片像素值和真实图片像素值的误差E_i：

其中，i为像素的序号，n为每个像素处的样本数量；为过滤图片像素的第q个颜色通道；c_i,q为真实图片像素的第q个颜色通道；ε为一个很小的实数，r,g,b分别代表不同的颜色通道。

4.如权利要求1所述的基于机器学习的蒙特卡洛噪声去除方法，其特征在于，步骤4中，针对某一色块，若该色块的中心像素的任何一个颜色通道超过平均色块两倍标准差，则利用色块的平均颜色代替中心像素的颜色。