CN109934902A - 一种使用场景特征约束的梯度域渲染图像重构方法 - Google Patents

Abstract

本发明公开了一种使用场景特征约束的梯度域渲染图像重构方法，包括：(1)采用梯度域渲染算法将待重构三维场景图像进行渲染，得到高噪声图像及梯度场；(2)从待重构三维场景图像中提取出场景特征；(3)以场景特征作为约束条件，求解目标优化函数，得到重构图像I^*。本发明能够合理利用场景特征，指导重构过程，为梯度域渲染提供一种有效的后处理方法，使重构后图像噪声降到人类视觉可接受程度。

Description

一种使用场景特征约束的梯度域渲染图像重构方法

技术领域

本发明涉及图像处理，尤其涉及一种使用场景特征约束的梯度域渲染图像重构方法。

背景技术

梯度域渲染是一项新颖的离线渲染技术，自从2013年被提出后，被广泛研究。至今为止，提出了梯度域Metropolis光线传输算法、梯度域路径跟踪算法、梯度域光子映射算法等等。与传统离线渲染技术不同，梯度域方法在采样路径空间的同时，还采样了图像的梯度。有理论分析指出，采样得到的梯度场的噪声远小于采样的像素值的噪声。因此，在相同采样率下，使用梯度域方法渲染的图像的噪声要明显小于传统渲染方法。

使用梯度域方法会得到一个高噪声的图像以及一个梯度场，因此还需要一个后处理过程来重构出最终的图像。目前，广泛使用的是通过求解泊松方程来进行重构。其本质即求解一个凸优化问题，处理速度快，且容易使用GPU进行并行计算。另一种后处理方法是使用迭代法，从原始的高噪声图开始，遍历每个像素，并利用梯度更新邻域像素，反复应用此更新策略直至像素值不再变化。此方法相对于求解泊松方程，收敛速度较慢，且重构后的图像效果没有本质的提升。这两种方法仅仅利用了梯度场，因此重构的图像质量完全受限于梯度场的质量。虽然梯度场噪声较小，但还远没有达到人类视觉可接受的程度。考虑到场景中其他特征，例如：法向、反射系数、深度，与重构后的图像密切相关，并且噪声极小。如何有效利用这些特征，是减少噪声的关键。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种使用场景特征约束的梯度域渲染图像重构方法，能够合理利用场景特征，指导重构过程，为梯度域渲染提供一种有效的后处理方法，使重构后图像噪声降到人类视觉可接受程度。

技术方案：本发明所述的使用场景特征约束的梯度域渲染图像重构方法包括：

(1)采用梯度域渲染算法将待重构三维场景图像进行渲染，得到高噪声图像及梯度场；

(2)从待重构三维场景图像中提取出场景特征；

(3)以场景特征作为约束条件，求解以下目标优化函数，得到重构图像I^*：

式中，I为待重构三维场景图像，α为平衡因子，I^g为步骤(1)得到的高噪声图像，H^dx、H^dy分别为水平、垂直方向的梯度算子，I^dx、I^dy分别为步骤(1)得到的梯度场的水平、垂直方向分量，β为约束强度，I_i、I_j分别为待重构三维场景图像中第i、j个像素点，N_i为像素点I_i的8个邻域像素集合，为置信度，T_n-1(t_i,j)表示自由度或采样样本数为n-1的t-分布，具体为：μ_i、μ_j分别为对像素I_i、I_j的相邻像素点采样后得到像素值样本的均值，为对应方差，w_i,j为重构系数，通过最小化重构误差得到，其约束条件为分别为像素点I_i、I_j的场景特征，表示马氏距离。

进一步的，步骤(2)中提取场景特征的方法为：

(2.1)获取光线在待重构三维场景图像中传输的路径{p₀,p₁,p₂,…p_m}，即光线与待重构三维场景图像的交点集合，其中p₀为路径起点，即第一个交点；

(2.2)获取路径中第个点处的法向和反射率作为路径中点p_k的场景特征，其中，k＝1,…,m，ε为设定阈值，ρ_l表示点p_l处的表面粗糙度。

有益效果：本发明与现有技术相比，其显著优点是：

本发明的特点：

1.采用正则化项的方式将场景特征约束引入标准泊松方程，所得到的仍然是凸优化问题，易于求解，可用GPU并行化；

2.采用有效的方法提取丰富的场景特征，使得重构过程鲁棒性更强，不易出现条纹、走样、模糊等问题；

3.采用t-检验对约束强度进行加权，使得约束自适应于采样结果，且有效防止了高亮度区域边界的泛光问题。

附图说明

图1是本发明的流程示意图；

图2是本发明的重构效果图。

具体实施方式

本实施例提供了一种使用场景特征约束的梯度域渲染图像重构方法，如图1所示，包括：

(1)采用梯度域渲染算法将待重构三维场景图像进行渲染，得到高噪声图像I^g及梯度场I^dx、I^dy。

(2)从待重构三维场景图像中提取出场景特征。

提取有效的场景特征是提升重构后图像质量的另一关键因素，若使用的场景特征不足以标识场景，则使用任何形式的场景特征约束将无法完美重构。通常使用的场景特征有光线与场景第一个交点处的法向、反射系数和深度，然而对于镜面等光泽表面，这显然是不够的。例如，对于一面垂直于观察方向的镜子，其法向、反射系数、深度均是相同的，然而在镜子中反射出的物体却可能是多样的。如果使用镜子区域的这三种特征约束重构过程，则重构出的镜子区域必然会有一定程度的模糊，对于粗糙度较小的光泽表面同样会出现此问题。因此，有必要继续追踪光线，获取后续场景交点处的特征。若仅使用第二个交点的特征在一些特殊情况依然会出现问题，因为第二个交点仍然可能是光泽表面。为了适应特殊情况，本实施例采用了更鲁棒性的策略：获取光线在待重构三维场景图像中传输的路径{p₀,p₁,p₂,…p_m}，即光线与待重构三维场景图像的交点集合，其中p₀为路径起点，即第一个交点；提取路径中第个点处的法向和反射率作为路径中点p_k的场景特征，其中，k＝1,…,m，ε为设定阈值，为0.9，ρ_l表示点p_l处的表面粗糙度。

(3)以场景特征作为约束条件，求解以下目标优化函数，得到重构图像I^*：

式中，I为待重构三维场景图像，α为平衡因子，I^g为步骤(1)得到的高噪声图像，H^dx、H^dy分别为水平、垂直方向的梯度算子，I^dx、I^dy分别为步骤(1)得到的梯度场的水平、垂直方向分量，β为约束强度，I_i、I_j分别为待重构三维场景图像中第i、j个像素点，N_i为像素点I_i的8个邻域像素集合，为置信度，T_n-1(t_i,j)表示自由度或采样样本数为n-1的t-分布，具体为：μ_i、μ_j分别为对像素I_i、I_j的相邻像素点采样后得到像素值样本的均值，为对应方差，w_i,j为重构系数，通过最小化重构误差得到，其约束条件为分别为像素点I_i、I_j的场景特征，表示马氏距离。

其中，目标优化函数建立的过程为：

首先，通过以下泊松方程可求解出重构图像I^*：

整理可得：

上式为凸优化问题，E为单位矩阵，可以得到其闭式解为I^*＝(A^TA)^-1A^Tb，为标准的泊松方程增加本发明所使用的正则化项后，仍然可以整理为上式的形式，拥有闭式解。下面将详细说明本发明使用的正则化项。

考虑每个像素及其8邻域内的像素，这9个像素之间具有一定的相关性，且这种相关性与其对应的三维场景中的特征有很强的联系。本发明中假设这种相关性是线性的，并且希望重构出来的像素值与场景特征之间具有尽可能接近的相关性。场景特征的线性相关性即其中f_i为特征且通过最小化重构误差即可求出最优的重构系数，这里表示马氏距离，其距离矩阵为一个对角矩阵，且矩阵元素即8邻域内第i维特征的标准差σ_i的倒数，∈为一个正实数，防止除以0错误。将此线性关系作为正则化项加入标准泊松方程可得：

式中的约束强度β为一个常数，这表明无论在任何图像区域，均使用相同强度的约束。然而对于一些特殊区域，邻域像素值相距甚远，特别是物体边界、高亮度区域边界等。而这些区域的特征变化并不显著，这就导致了重构后的图像过度平滑，高亮度区域边界还会泛光。为了解决这一问题，势必要考虑采样的像素值本身，而直接使用采样的均值并不可靠，因为它们具有很大的噪声。本发明中使用t-检验的方式解决此问题，即检验相邻像素的均值相同的置信度，并使用置信度对约束强度进行加权。考虑图像空间中相邻像素位置的两组对路径空间采样得到的样本(像素值)令其均值为μ_i、μ_j，方差为则构造t-检验统计量：

其中n为采样数。定义置信度向量为Q，则本发明中通过像素i与其8邻域的像素的t-检验置信度的最小值填充Q，即将Q上面的重构方程即得到最终形式的重构方程：

图2对比了两处细节的重构效果。使用标准泊松方程重构的图像相比于原始图像噪声明显减少，但仍然存在大量极易被观察到的噪声；相比之下，增加了本发明提出的场景特征约束后，图像变得平滑，噪声明显减少，并且较好地保留了金属表面的高光等高频细节。

以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种使用场景特征约束的梯度域渲染图像重构方法，其特征在于包括：

(1)采用梯度域渲染算法将待重构三维场景图像进行渲染，得到高噪声图像及梯度场；

(2)从待重构三维场景图像中提取出场景特征；

(3)以场景特征作为约束条件，求解以下目标优化函数，得到重构图像I^*：

式中，I为待重构三维场景图像，α为平衡因子，I^g为步骤(1)得到的高噪声图像，H^dx、H^dy分别为水平、垂直方向的梯度算子，I^dx、I^dy分别为步骤(1)得到的梯度场的水平、垂直方向分量，β为约束强度，I_i、I_j分别为待重构三维场景图像中第i、j个像素点，N_i为像素点I_i的8个邻域像素集合，为置信度，T_n-1(t_i,j)表示自由度或采样样本数为n-1的t-分布，具体为：μ_i、μ_j分别为对像素I_i、I_j的相邻像素点采样后得到像素值样本的均值，为对应方差，w_i,j为重构系数，通过最小化重构误差得到，其约束条件为f_j分别为像素点I_i、I_j的场景特征，表示马氏距离。

2.根据权利要求1所述的使用场景特征约束的梯度域渲染图像重构方法，其特征在于：步骤(2)中提取场景特征的方法为：

(2.1)获取光线在待重构三维场景图像中传输的路径{p₀,p₁,p₂,…p_m}，即光线与待重构三维场景图像的交点集合，其中p₀为路径起点，即第一个交点；

(2.2)获取路径中第个点处的法向和反射率作为路径中点p_k的场景特征，其中，k＝1,…,m，ε为设定阈值，ρ_l表示点p_l处的表面粗糙度。

3.根据权利要求1所述的使用场景特征约束的梯度域渲染图像重构方法，其特征在于：所述平衡因子α取值为0.2。

4.根据权利要求1所述的使用场景特征约束的梯度域渲染图像重构方法，其特征在于：所述约束强度β取值为2～5。

5.根据权利要求2所述的使用场景特征约束的梯度域渲染图像重构方法，其特征在于：所述设定阈值ε取值为0.9。