CN107833198B - 一种基于大尺度分解的户外场景重光照方法 - Google Patents

Abstract

本发明提出了一种基于大尺度分解的户外场景重光照方法，对输入图像进行处理，按照图像中材质和内容对其进行着色操作，手动生成输入图像的蒙板图像，然后对于参考图像，选择Patch_match方法对参考图像进行匹配变形，将输入图像和参考图像分别根据给出的自适应参数选择机制，利用加权最小二乘滤波器(Weighted Least Square，简称WLS滤波器)，将输入图像和参考图像的亮度层分解为大尺度层与细节层，在输入图像大尺度层的导引下，对参考对象大尺度层进行导引滤波(Guided Filter，简称GF滤波器)，使得滤波结果与输入对象的大尺度层在结构上对齐，从而进一步实现渲染，通过点除算法(Point Division)，实现预输出图像细节层和大尺度层的融合，得到最终的重光照结果。该方法很容易通过软件实现。

Description

一种基于大尺度分解的户外场景重光照方法

技术领域

本发明属于可视计算、计算机视觉领域，具体涉及一种基于大尺度分解的户外场景重光照方法。

背景技术

基于图像的无3D模型的逼真虚拟重光照已经在可视计算领域广泛地研究，并且在视觉设计、数字娱乐和电影制片等方面得到广泛地应用。

基于图像的虚拟重光照可以被粗略的分为以下几类：人脸重光照，场景重光照和物体重光照。除了3D重建理论，另外的研究方向是利用参考图像更实际的应用到现实世界的应用中。在此方向中，人脸重光照是最为普遍的研究方向。参考图像来源从多幅人脸参考图像，到两幅人脸参考图像再到单幅人脸参考图像。场景重光照和物体重光照仍然需要多幅参考图像。与室内光照估计相比,户外场景有两个特点,这两个特点也是对户外场景进行光照估计时面临的两个主要挑战：(1)户外场景一般规模庞大,很难建立其几何模型。(2)户外场景光照复杂,且不能人为控制。

在相同的种族中，人的脸部有着相同的皮肤反射率。因此，基于人脸的重光照方法通常采用只将光照迁移应用到相应的光照组件中的方法。然而，一般的物体通常都有各种各样的颜色，上述的方法就不再适用。本发明从人脸重光照方法中获得了灵感，首先，将参考图像A和B参照输入图像进行颜色变换。

不同于人脸有着相似的几何形状，在场景重光照方向，针对一般的场景，如山峰、城市、草原等，虽然它们可能有相同的语义标签，但是仍具有各种各样的几何形状和材质。现在的针对人脸轮廓检测的人脸校准算法并不能直接应用于一般的户外场景。另外，类似皮肤的反射率的假设也不再适合于一般户外场景。因此，提出一种适用于户外场景的重光照方法是非常必要的。之前的发明中在分解材质和环境光颜色时效果不佳。

发明内容

本发明要解决的技术问题为：克服现有技术的不足，提供一种基于匹配变形和大尺度分解的户外场景重光照方法，该方法能够有效的减少参考图像的数量，降低发明成本，而且将像素级匹配提升至块级别匹配，大大节约运行时间，提高运行效率。

本发明采用的技术方案为：一种基于大尺度分解的户外场景重光照方法，实现步骤如下：

(1)对输入图像进行处理生成输入图像的蒙板图像，并对蒙板图像进行处理；

(2)用Patch_match方法对参考图像进行匹配变形；

(3)输入图像和参考图像的大尺度分解，即对输入图像和匹配变形后的参考图像进行大尺度分解，对两幅图像的大尺度层根据给出的自适应参数选择机制，利用加权最小二乘滤波和导引滤波等方法使得两幅图像的滤波结果的大尺度层在结构上对齐；

(4)将输入图像和变形后参考图像融合后的大尺度层与输入图像的细节层和颜色层进一步渲染、融合，最终实现户外场景的重光照。

其中，步骤(1)所述蒙版图像处理采取以下步骤：

(11)将普通的户外场景材质按照白云、天空、建筑、树木、草地、水面、地面、光源、其他等9类进行划分，并选用相应的颜色对输入图像进行标注；

(12)将蒙板彩色图像转换为灰度图像，完成图像降维操作，转换公式为gray＝R*0.2989+G*0.587+B*0.114；

(13)参照输入图像物体前景色相值I1对参考图像物体前景色相值A1进行对应性调整，得到变色后的参考图像A'；遍历灰度图像，最终实现蒙板图像的处理。根据如下公式:

其中，lambda为大尺度分解方法的重要参数，ga为蒙板图像的梯度值，la(·)为每种材质的随机参数。

其中，步骤(2)所述Patch_match变形方法采取以下步骤：

(21)初始化过程：假设输入图像为A，参考图像为B。将NNF(最佳近邻场，NearestNeighbor Field，简称NNF)初始为随机值或已知信息。当使用随机偏移量时，采用图像B全部区域的独立均匀采样。NNF是方程：

其定义域为图像A中所有块的坐标。方程的值为匹配块相对于查询块的坐标偏移量。如果图像A中坐标为a的块其匹配块为图像B中坐标为b的块，那么f(a)＝b-a；

(22)传播：使用已知的匹配块信息：f(x-1,y)和f(x,y-1)来改善当前的匹配块信息f(x,y)。即f(x,y)＝argmin{D(f(x,y)),D(f(x-1,y)),D(f(x,y-1))}。两个块之间的距离定义为方程D，D(ν)表示图像A中坐标为a的块与图像B中坐标为a+v的块之间的欧式距离；

(23)随机搜索：在一个窗口大小指数递减的搜索窗内随机的搜索备选块，以改善匹配距离(误差)。即u_i＝v₀+wαⁱR_i。其中v₀＝f(x,y),R_i为[-1,1]×[-1,1]中的一个均匀分布随机点。w是最大搜索半径，α是搜索半径衰减率。得到变形图像。

其中，步骤(3)所述基于加权最小二乘滤波和导引滤波等方法对齐两幅图像的大尺度层结构的方法采取以下步骤：

(31)将输入图像和变形参考图像在CIELAB色彩空间分离为亮度层和色彩层；

(32)对图像的亮度层l的每一像素按WLS公式进行处理得到图像的大尺度层s。公式即(1+L_l)s＝l。其中，

D_x和D_y是向前微分算子，

和

是向后微分算子。A_x和A_y分别是包含平滑权重a_x(l)和a_y(l)的对角矩阵，

p表示一个像素在图像上空间位置，α＝1.2。λ值设置为

其中，w_p为以像素p为中心的局部窗口，局部窗口半径设为8，λ_s＝1，λ_l＝4，t₁＝0.02；

(33)对输入图像的大尺度层s做除法得到输入图像的细节层图像d，d＝l/s,其中l是输入图像是亮度层；

(34)在输入图像大尺度层G的导引下，对参考图像大尺度层I进行导引滤波(Guided Filter，简称GF滤波器)，使得滤波结果与输入对象的大尺度层在结构上对齐，得到输出图像q。公式为：q_k＝a_kG_k+b_k。其中，系数a_k和b_k在以像素点k为中心的窗口w_k内均被假设为常量。线性系数a_k和b_k可以通过最小化滤波结果q和滤波器输入图像I之差决定，目标函数函数定义为：

从像素i居中窗口所计算的系数a_k和b_k为所有涉及像素i的局部窗口所计算系数a_k和b_k的代表。

局部窗口半径r的公式为：

其中，|p₁-p₂|表示像素点p₁坐标到像素点p₂坐标的欧氏距离，r₁＝18，r₀＝3，T_d＝10。

本发明的原理在于：

根据目前户外场景重光照方案的缺陷和不足，可以总结出设计基于大尺度分解的户外场景重光照方法一些规则，如下所述：

(1)在传统场景重光照方法中，参考视频和多幅参考图像的使用对重光照方法的运行时间和空间都是极大的考验；

(2)材质主要是用来表现物体对光的交互(反射、折射等)性质的，材质可以在场景中创建更为真实的效果。对不同场景中不同的材质进行分类标记处理，则将会对实现户外场景重光照方法具有独特的现实意义；

(3)不同于人脸有着相似的几何形状，在场景重光照方向，针对一般的场景，如山峰、城市、草原等，具有各种各样的几何形状和材质。现在的针对人脸轮廓检测的人脸校准算法并不能直接应用于一般的户外场景。因此，必须使用一个适用于户外场景的匹配和变形算法；

(4)在多种色彩空间中，CIELAB色彩空间能够更好的描述图像的光影效果和色彩效果，对图像的重光照处理提供了极好的处理空间；

(5)对于场景图像，对其图像结构的边缘保持是实现其重光照的重要基础。现有的边缘保持滤波器主要有三种：双边滤波器(Bilateral Filter，简称BF滤波器)，加权最小二乘滤波器(Weighted Least Square，简称WLS滤波器)和导引滤波器(Guided Filter，简称GF滤波器)。

根据上述规则，本发明利用蒙版生成与处理、匹配变形、大尺度分解方法，设计了一种新的户外场景重光照方案。在该方案中，蒙版用来降低材质对后期光照迁移的影响，提高迁移效果的鲁棒性。块匹配变形用来对参考图像中物体前景区域与输入图像进行块级别匹配，找到与输入图像对应的相似块，对参考图像在块级别进行重排。大尺度分解用来实行将参考图像光照效果迁移到输入图像中。实验分析表基于大尺度分解的户外场景图像重光照方法，能够适合实际的户外场景重光照应用。

本发明与现有的技术相比，其优势在于：

(1)方法在多类型物体参考图像中都具有较强的鲁棒性，将以往的多幅参考图像降低至2幅参考图像，大大降低了发明成本，节省了运行空间；

(2)将场景图像的匹配由像素级别提升到块级别，大大节约了运行时间，提高了运行效率；

(3)场景重光照方案结构简单，易于实现；

(4)考虑到对于输入图像不同的材质重光照效果有一定的差异，因此设计了较为新颖的输入图像蒙板，提供了更好的边缘保持滤波参数，产生了更有辨识度的光照效果；

(5)采用基于边缘保持的滤波器，对大尺度分解后的分层处理提供了更加精细的处理模式，产生了更有辨识度的光照效果。

附图说明

图1是本发明应用场景图；

图2是本发明方案流程图。

具体实施方式：

下面结合附图和具体实施方式对本发明作进一步详细的说明。

块匹配变形过程：

输入图像为A，参考图像为B和变形后的参考图像均作为本发明在大尺度分解过程的输入，在实际操作中，这3幅图像以矩阵形式存在。

将NNF(最佳近邻场，Nearest Neighbor Field，简称NNF)初始为随机值或已知信息。当使用随机偏移量时，采用图像B全部区域的独立均匀采样。NNF是方程：

其定义域为图像A中所有块的坐标。方程的值为匹配块相对于查询块的坐标偏移量。如果图像A中坐标为a的块其匹配块为图像B中坐标为b的块，那么：

f(a)＝b-a (2)

使用已知的匹配块信息：f(x-1,y)和f(x,y-1)来改善当前的匹配块信息f(x,y)。即：

f(x,y)＝argmin{D(f(x,y)),D(f(x-1,y)),D(f(x,y-1))} (3)

两个块之间的距离定义为方程D，D(ν)表示图像A中坐标为a的块与图像B中坐标为a+v的块之间的欧式距离；

在一个窗口大小指数递减的搜索窗内随机的搜索备选块，以改善匹配距离(误差)。即：

u_i＝v₀+wαⁱR_i (4)

其中v₀＝f(x,y),R_i为[-1,1]×[-1,1]中的一个均匀分布随机点。w是最大搜索半径，α是搜索半径衰减率。得到变形后参考图像。

大尺度分解过程：

输入图像为A，参考图像为B和变形后的参考图像均作为本发明在大尺度分解过程的输入，在实际操作中，这3幅图像以矩阵形式存在。

将输入图像和变形参考图像在CIELAB色彩空间分离为亮度层和色彩层；

对图像的亮度层l的每一像素按WLS公式进行处理得到图像的大尺度层s。公式即：

(1+L_l)s＝l (5)

其中，

D_x和D_y是向前微分算子，

和

是向后微分算子。A_x和A_y分别是包含平滑权重a_x(l)和a_y(l)的对角矩阵，公式即：

其中，p表示一个像素在图像上空间位置，α＝1.2。

λ值设置公式为：

λ(p)＝λ_s+(λ_l-λ_s)*γ(p)(8)

其中，w_p为以像素p为中心的局部窗口，局部窗口半径设为8，λ_s＝1，λ_l＝4，t₁＝0.02；

对输入图像的大尺度层s做除法得到输入图像的细节层图像d，即：

d＝l/s (10)

其中l是输入图像是亮度层。

在输入图像大尺度层G的导引下，对参考图像大尺度层I进行导引滤波(GuidedFilter，简称GF滤波器)，使得滤波结果与输入对象的大尺度层在结构上对齐，得到输出图像q。公式为：

q_k＝a_kG_k+b_k (11)

其中，系数a_k和b_k在以像素点k为中心的窗口w_k内均被假设为常量。线性系数a_k和b_k可以通过最小化滤波结果q和滤波器输入图像I之差决定，目标函数函数定义为：

从像素i居中窗口所计算的系数a_k和b_k为所有涉及像素i的局部窗口所计算系数a_k和b_k的代表。局部窗口半径r的公式为：

其中，p₁-p₂表示像素点p₁坐标到像素点p₂坐标的欧氏距离，r₁＝18，r₀＝3，T_d＝10。

总之，本发明中提出的基于大尺度分解的户外场景重光照方法能够适用于多种户外场景。本发明首次将匹配变形算法和WLS滤波器算法以及GF滤波器算法相结合，并应用到户外场景图像重光照中，大大降低了运行空间，减少了运行时间，提高了运算效率。通过实验显示出本发明提出的方法能够有效减少以往参考视频和多幅参考图像所占用的空间，大大降低了发明成本，节省了运行空间；通过使用匹配变形方法，大大节约了运行时间，提高了运行效率。并且该户外场景重光照方法很容易通过软件实现，本发明可广泛应用计算机视觉、视觉设计、数字娱乐和电影制片等中。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (1)

1.一种基于大尺度分解的户外场景重光照方法，其特征在于：该方法实现步骤如下：

步骤(1)、对输入图像进行处理生成输入图像的蒙板图像，并对蒙板图像进行处理；

步骤(2)、用Patch_match方法对输入图像的蒙板图像和参考图像进行匹配变形；

步骤(3)、输入图像的蒙板图像和参考图像的大尺度分解，即对输入图像的蒙板图像和匹配变形后的参考图像进行大尺度分解，利用加权最小二乘滤波和导引滤波方法使得两幅图像的滤波结果的大尺度层在结构上对齐；

步骤(4)、将输入图像的蒙板图像和变形后参考图像融合后的大尺度层与输入图像的蒙板图像的细节层和颜色层进一步渲染、融合，最终实现户外场景的重光照；

其中，步骤(1)所述蒙板 图像处理采取以下步骤：

(11)将普通的户外场景材质按照白云、天空、建筑、树木、草地、水面、地面、光源、其他等9类进行划分，并选用相应的颜色对输入图像进行标注；

(12)将蒙板彩色图像转换为灰度图像，完成图像降维操作，转换公式为gray＝R*0.2989+G*0.587+B*0.114；

(13)参照输入图像物体前景色相值I1对参考图像物体前景色相值A1进行对应性调整，得到变色后的参考图像A'；遍历灰度图像，最终实现蒙板图像的处理；根据如下公式:

其中，lambda为大尺度分解方法的重要参数，ga为蒙板图像的梯度值，la(·)为每种材质的随机参数；

步骤(2)所述Patch_match变形方法采取以下步骤：

(21)初始化过程：假设输入图像的蒙板图像为A，参考图像为B；将NNF(最佳近邻场，Nearest Neighbor Field，简称NNF)初始为随机值或已知信息；当使用随机偏移量时，采用图像B全部区域的独立均匀采样；NNF是方程：

其定义域为图像A中所有块的坐标；方程的值为匹配块相对于查询块的坐标偏移量；如果图像A中坐标为a的块其匹配块为图像B中坐标为b的块，那么f(a)＝b-a；

(22)传播：使用已知的匹配块信息：f(x-1,y)和f(x,y-1)来改善当前的匹配块信息f(x,y)；即f(x,y)＝argmin{D(f(x,y)),D(f(x-1,y)),D(f(x,y-1))}；两个块之间的距离定义为方程D，D(ν)表示图像A中坐标为a的块与图像B中坐标为a+v的块之间的欧式距离；

(23)随机搜索：在一个窗口大小指数递减的搜索窗内随机的搜索备选块，以改善匹配距离误差，即u_i＝v₀+wαⁱR_i，其中v₀＝f(x,y),R_i为[-1,1]×[-1,1]中的一个均匀分布随机点，w是最大搜索半径，α是搜索半径衰减率，得到变形图像；

步骤(3)所述基于加权最小二乘滤波和导引滤波方法对齐两幅图像的所述大尺度层结构的方法采取以下步骤：

(31)将输入图像的蒙板图像和变形参考图像在CIELAB色彩空间分离为亮度层和色彩层；

(32)对图像的亮度层l的每一像素按WLS公式进行处理得到图像的大尺度层s，公式即(1+L_l)s＝l，其中，

D_x和D_y是向前微分算子，

和

是向后微分算子，A_x和A_y分别是包含平滑权重a_x(l)和a_y(l)的对角矩阵，

p表示一个像素在图像上空间位置，α＝1.2，λ值设置为λ(p)＝λ_s+(λ_l-λ_s)*γ(p)，

其中，w_p为以像素p为中心的局部窗口，局部窗口半径设为8，λ_s＝1，λ_l＝4，t₁＝0.02；

(33)对输入图像的蒙板图像的大尺度层s做除法得到输入图像的蒙板图像的细节层图像d，d＝l/s，其中l是输入图像的蒙板图像的亮度层；

(34)在输入图像的蒙板图像大尺度层G的导引下，对参考图像大尺度层I进行导引滤波(Guided Filter，简称GF滤波器)，使得滤波结果与输入对象的大尺度层在结构上对齐，得到输出图像q，公式为：q_k＝a_kG_k+b_k，其中，系数a_k和b_k在以像素点k为中心的窗口w_k内均被假设为常量，线性系数a_k和b_k可以通过最小化滤波结果q和滤波器输入图像I之差决定，目标函数函数定义为：

从像素i居中窗口所计算的系数a_k和b_k为所有涉及像素i的局部窗口所计算系数a_k和b_k的代表，

局部窗口半径r的公式为：

其中，|p₁-p₂|表示像素点p₁坐标到像素点p₂坐标的欧氏距离，r₁＝18，r₀＝3，T_d＝10。

Images