CN102789636A - 基于多尺度联合双边栅格平滑模型的图像细节增强方法 - Google Patents

Abstract

本发明公开了一种基于多尺度联合双边栅格平滑模型的图像细节增强方法。该方法包括通过联合双边栅格平滑模型，得到base层，输入图像与base层图像的差图为detail层；多尺度求解base层图像和detail层图像；上一步中求解的n个base层图像和detail层图像作为输入，经过设计的细节增强模块，可以合成出细节增强后的图像I_enhance。本发明的目的是能够用较快的速度达到较好的边缘保持、噪声平滑以及细节增强效果，使图像具有更高的显示质量，给人更逼真更具感染力的视觉效果。

Description

基于多尺度联合双边栅格平滑模型的图像细节增强方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多尺度联合双边栅格平滑模型的图像细节增强方法。

背景技术

随着消费型和专业型数码相机的日益普及，海量的图像数据正在被产生。但由于场景条件的影响，很多在高动态范围场景、昏暗环境或特殊光线条件下拍摄的图像视觉效果不佳，需要进行后期增强处理压缩或拉伸动态范围或提取一致色感才能满足清晰显示的要求。

图像细节增强是指一类按照应用的要求，对现有图像进行加工，以突出图像中某些信息，削弱或去除某些不需要的信息，得到对具体应用来说更实用的图像，或将原图像转换成一种更适合人或机器进行分析处理的形式的图像处理方法。图像增强并不增加数据的内在信息含量，但会增加所选择特征的动态范围，以使其容易被检测到。传统的图像增强包括对比度和边缘增强、伪彩色增强、锐化和放大等等。

数字电视正在由标清向高清、平面向三位转变。图像增强技术在显示技术领域有着重要的应用，可以在高清的基础上，提供更加色彩艳丽、画质逼真的效果，给人以冲击力的视觉享受。图像增强技术不仅在标清片源在高清数字电视上播放时有着重要的作用，而且对于高清数字电视片源的播放质量也有重要的作用。

现有技术方案按照进行处理所在空间的，主要分为频域处理方法和空域处理方法大类。频域处理方法是借助傅里叶分析等变换方法将图像转换至频率域后再做滤波等处理，代表方法有同态滤波器、非锐化掩膜方法等等。空域处理方法是直接作用于图像中的像素点，对图像进行增强处理，代表方法有直方图方法、空间滤波方法等等。

现有技术方案都各有所短，如基于三边滤波的图像增强方法时间复杂度高，处理效率低，而基于高斯滤波的图像增强方法虽然处理速度很快，但是在细节增强效果上不甚理想。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种基于多尺度联合双边栅格平滑模型的图像细节增强方法，通过该方法能够用较快的速度达到较好的边缘保持、噪声平滑以及细节增强效果，使图像具有更高的显示质量，给人更逼真更具感染力的视觉效果。

一种基于多尺度联合双边栅格平滑模型的图像细节增强方法，具体包括以下步骤：

Step1：初始输入图像为I_origin，通过联合双边栅格平滑模型，得到base层，输入图像与base层图像的差图为detail层；

Step2：多尺度求解base层图像和detail层图像，采用每次经过联合双边栅格平滑模型处理得到的base层作为平滑模型的新输入，迭代求解输入图像的n个base层图像和detail层图像；

Step3：上一步中求解的n个base层图像和detail层图像作为输入，经过设计的细节增强模块，可以合成出细节增强后的图像I_enhance。

Step2中采用了联合滤波的思想，将锐化后的原图像作为附加输入，再进行边缘保持滤波提取detail；加入锐化图像的联合滤波基本表示形式为

${\mathrm{SCF}}_p(I,S)=\frac{\underset{q\∈N}{\mathrm{\Σ}}{I}_q{f}_1\left(\right||p-q|\left|\right)f_2\left(\right||S_p-S_q|\left|\right)}{\underset{q\∈N}{\mathrm{\Σ}}{f}_1\left(\right||p-q|\left|\right)f_2\left(\right||S_p-S_q|\left|\right)}$

其中，输入为原图像I和锐化图像S；N是p邻接点的集合，f₁f₂是平滑滤波函数，分母作为正则标准的参数，用锐化图像S的值差作为range域的输入，强化边缘，保证detail尽可能在平滑过程中保留下来。

本发明采用的滤波器是基于双边滤波器改进的，双边滤波器的基本形式为：

$h\left(x\right)=k^{-1}\left(x\right){\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}f\left(\mathrm{\ξ}\right)c(\mathrm{\ξ},x)s(f\left(\mathrm{\ξ}\right),f\left(x\right))\mathrm{d\ξ}$

考虑到双边滤波的计算复杂度较高，本发明用基于三维的滤波数据结构——双边栅格进行加速，双边栅格是将二维坐标，加上图像的亮度域作为第三维，用三维数组存储亮度值，给定原图像I，锐化图像S，采样率σ_s，σ_r，创建联合双边栅格

$\mathrm{Grid}(g_x,g_y,g_z)=\frac{1}{n}\underset{g_x,g_y=\left[\frac{x,y}{{\mathrm{\σ}}_s}\right],g_z=\left[\frac{S(x,y)}{{\mathrm{\σ}}_r}\right]}{\mathrm{\Σ}}I(x,y)$

其中n为求和的次数之和，作为正则参数，这里[.]表示对坐标的下采样。

用base(k)表示第k层的base图，base(0)为原图像I，定义第k层的detail图为detail_k＝base_k-1-base_k，

对base(k)层的计算，考虑到对原图多尺度层的分析，采用迭代策略，不断对上一尺度的base层进行锐化联合双边栅格滤波得到当前尺度的base层

base_k=SCF(base_k-1,S(base_k-1))

分解后得到的n个base层图像和detail层图像，他们都表示了不同程度的图像上的信息；Base层经过多次迭代平滑后，会越来越平滑甚至粗糙，detail层的细节信息也越来越少，但是高尺度的细节层代表着它在滤波过程中的保持能力较弱。

在细节增强模块，将多尺度base层和detail层分别做加权平均，得到最终的base和detail层；本发明采用的是线性变化的权系数策略，对越来越平滑的base(k)，权系数会下降，对越来越稀少的细节信息detail，权系数相对增加；

${\mathrm{base}}_{\mathrm{final}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{i}\×{\mathrm{base}}_i}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{i}},{\det \mathrm{ail}}_{\mathrm{final}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i\×{\det \mathrm{ail}}_i}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i}---\left(6\right)$

最后，通过I_enhance=base_final+detail_final*factor合成最终base层和detail层的图像，求解细节增强后的图像。增强因子根据各种策略设计，本发明采用最简单的经验因子0.4。

本发明技术方案带来的有益效果：通过双边栅格网格的设计，比原来的双边滤波模型的速度提升了5-10倍(因输入图像规模而改变)。此外联合双边思想和多尺度思想的结合，使得本文在图像细节增强上的效果有所改进，通过该方法能够用较快的速度达到较好的边缘保持、噪声平滑以及细节增强效果，使图像具有更高的显示质量，给人更逼真更具感染力的视觉效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明的方法流程图；

图2是本发明的base-detail层分解框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是能够用较快的速度达到较好的边缘保持、噪声平滑以及细节增强效果，使图像具有更高的显示质量，给人更逼真更具感染力的视觉效果。

本发明提供一种基于多尺度联合双边栅格平滑模型的图像细节增强方法，具体流程如图1所示，包括以下步骤：

Step1：初始输入图像为I_origin，通过联合双边栅格平滑模型，得到base层，输入图像与base层图像的差图为detail层；

Step2：多尺度求解base层图像和detail层图像。采用每次经过联合双边栅格平滑模型处理得到的base层作为平滑模型的新输入，迭代求解输入图像的n个base层图像和detail层图像。

Step3：上一步中求解的n个base层图像和detail层图像作为输入，经过设计的细节增强模块，可以合成出细节增强后的图像I_enhance。

比较经典的平滑模型是双边滤波平滑。本发明新设计的多尺度联合双边栅格平滑模型，是基于双边滤波的基础上，进行了拓展，在运行效率和平滑效果上都有所改进。

详细的通过多尺度联合双边栅格平滑模型分解求得base层图像和detail层图像的设计框架，如图2所示。

在分解框架中，采用了联合滤波的思想，将锐化后的原图像作为附加输入，再进行边缘保持滤波提取detail。加入锐化图像的联合滤波基本表示形式为

${\mathrm{SCF}}_p(I,S)=\frac{\underset{q\∈N}{\mathrm{\Σ}}{I}_q{f}_1\left(\right||p-q|\left|\right)f_2\left(\right||S_p-S_q|\left|\right)}{\underset{q\∈N}{\mathrm{\Σ}}{f}_1\left(\right||p-q|\left|\right)f_2\left(\right||S_p-S_q|\left|\right)}---\left(1\right)$

其中，输入为原图像I和锐化图像S；N是p邻接点的集合，f₁f₂是平滑滤波函数，分母作为正则标准的参数。用锐化图像S的值差作为range域的输入，可以强化边缘，保证detail尽可能在平滑过程中保留下来。

求解锐化图像S的方法，是结合了3x3的Roberts算子和拉普拉斯算子作为复合算子对图像进行锐化，见公式2。这里可以采取多种策略相结合求得锐化图像S，比如梯度图、拉普拉斯算子操作后的图像或者其他的一些锐化滤波后的图像。

$S(x,y)={\▿}^{2}I+R\left(I\right)$ (2)

$=I(x-1,y)+2I(x,y+1)+I(x+1,y+1)+I(x,y-1)-5I(x,y)$

本发明采用的滤波器是基于双边滤波器改进的。双边滤波器的基本形式为：

$h\left(x\right)=k^{-1}\left(x\right){\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}f\left(\mathrm{\ξ}\right)c(\mathrm{\ξ},x)s(f\left(\mathrm{\ξ}\right),f\left(x\right))\mathrm{d\ξ}---\left(3\right)$

考虑到双边滤波的计算复杂度较高，本发明用基于三维的滤波数据结构——双边栅格进行加速。双边栅格是将二维坐标，加上图像的亮度域作为第三维，用三维数组存储亮度值。给定原图像I，锐化图像S，采样率σ_s，σ_r，可以创建联合双边栅格

$\mathrm{Grid}(g_x,g_y,g_z)=\frac{1}{n}\underset{g_x,g_y=\left[\frac{x,y}{{\mathrm{\σ}}_s}\right],g_z=\left[\frac{S(x,y)}{{\mathrm{\σ}}_r}\right]}{\mathrm{\Σ}}I(x,y)---\left(4\right)$

其中n为求和的次数之和，作为正则参数，这里[.]表示对坐标的下采样。

当建立好三维栅格后，对栅格进行三维空间的双边滤波f，f是空间域方差维s，亮度维方差维r的三维空间的高斯卷积，得到新的双边栅格Grid’。

经过这样平滑滤波后的双边滤波，不仅滤波规模大大减小，增加了运算速度，而且对边缘的保持性也很好。最后，再参考原图像，对局部的栅格进行插值，得到base层图像。

通过上述过程即可求得一般的base层。为了提高平滑效果，本发明的平滑模型中加入了多尺度的迭代分解方法，求解源图像的n个不同尺度的base层和detail层图像。

具体求解方法是，用base(k)表示第k层的base图，base(0)为原图像I。可以定义第k层的detail图为detail_k＝base_k-1-base_k。

对base(k)层的计算，考虑到对原图多尺度层的分析，我们采用迭代策略，不断对上一尺度的base层进行锐化联合双边栅格滤波得到当前尺度的base层

base_k=SCF(base_k-1,S(base_k-1))    (5)

分解后得到的n个base层图像和detail层图像，他们都表示了不同程度的图像上的信息。Base层经过多次迭代平滑后，会越来越平滑甚至粗糙，detail层的细节信息也越来越少，但是高尺度的细节层代表着它的在滤波过程中的保持能力较弱。

下一步，在细节增强模块，我们提出一种策略，将多尺度base层和detail层分别做加权平均，得到最终的base和detail层。本发明采用的是线性变化的权系数策略，对越来越平滑的base(k)，权系数会下降，对越来越稀少的细节信息detail，权系数相对增加。

${\mathrm{base}}_{\mathrm{final}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{i}\×{\mathrm{base}}_i}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{i}},{\det \mathrm{ail}}_{\mathrm{final}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i\×{\det \mathrm{ail}}_i}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i}---\left(6\right)$

最后，通过I_enhance=base_final+detail_final*factor合成最终base层和detail层的图像，求解细节增强后的图像。这里的增强因子可以根据各种策略设计，本发明采用最简单的经验因子0.4。

以上对本发明实施例所提供的一种基于多尺度联合双边栅格平滑模型的图像细节增强方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于多尺度联合双边栅格平滑模型的图像细节增强方法，其特征在于，具体包括以下步骤：

Step1：初始输入图像为I_origin，通过联合双边栅格平滑模型，得到base层，输入图像与base层图像的差图为detail层；

Step2：多尺度求解base层图像和detail层图像，采用每次经过联合双边栅格平滑模型处理得到的base层作为平滑模型的新输入，迭代求解输入图像的n个base层图像和detail层图像；

Step3：上一步中求解的n个base层图像和detail层图像作为输入，经过设计的细节增强模块，可以合成出细节增强后的图像I_enhance。

2.如权利要求1所述的方法，其特征在于，Step2中采用了联合滤波的思想，将锐化后的原图像作为附加输入，再进行边缘保持滤波提取detail；加入锐化图像的联合滤波基本表示形式为

${\mathrm{SCF}}_p(I,S)=\frac{\underset{q\∈N}{\mathrm{\Σ}}{I}_q{f}_1\left(\right||p-q|\left|\right)f_2\left(\right||S_p-S_q|\left|\right)}{\underset{q\∈N}{\mathrm{\Σ}}{f}_1\left(\right||p-q|\left|\right)f_2\left(\right||S_p-S_q|\left|\right)}$

其中，输入为原图像I和锐化图像S；N是p邻接点的集合，f₁ f₂是平滑滤波函数，分母作为正则标准的参数，用锐化图像S的值差作为range域的输入，强化边缘，保证detail尽可能在平滑过程中保留下来。

3.如权利要求2所述的方法，其特征在于，本发明采用的滤波器是基于双边滤波器改进的，双边滤波器的基本形式为：

$h\left(x\right)=k^{-1}\left(x\right){\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}f\left(\mathrm{\ξ}\right)c(\mathrm{\ξ},x)s(f\left(\mathrm{\ξ}\right),f\left(x\right))\mathrm{d\ξ}$

考虑到双边滤波的计算复杂度较高，本发明用基于三维的滤波数据结构——双边栅格进行加速，双边栅格是将二维坐标，加上图像的亮度域作为第三维，用三维数组存储亮度值，给定原图像I，锐化图像S，采样率σ_s，σ_r，创建联合双边栅格

$\mathrm{Grid}(g_x,g_y,g_z)=\frac{1}{n}\underset{g_x,g_y=\left[\frac{x,y}{{\mathrm{\σ}}_s}\right],g_z=\left[\frac{S(x,y)}{{\mathrm{\σ}}_r}\right]}{\mathrm{\Σ}}I(x,y)$

其中n为求和的次数之和，作为正则参数，这里[.]表示对坐标的下采样。

4.如权利要求1所述的方法，其特征在于，用base(k)表示第k层的base图，base(0)为原图像I，定义第k层的detail图为detail_k＝base_k-1-base_k，

对base(k)层的计算，考虑到对原图多尺度层的分析，采用迭代策略，不断对上一尺度的base层进行锐化联合双边栅格滤波得到当前尺度的base层

base_k=SCF(base_k-1,S(base_k-1))

分解后得到的n个base层图像和detail层图像，他们都表示了不同程度的图像上的信息；Base层经过多次迭代平滑后，会越来越平滑甚至粗糙，detail层的细节信息也越来越少，但是高尺度的细节层代表着它的在滤波过程中的保持能力较弱。

5.如权利要求1或4所述的方法，其特征在于，在细节增强模块，将多尺度base层和detail层分别做加权平均，得到最终的base和detail层；本发明采用的是线性变化的权系数策略，对越来越平滑的base(k)，权系数会下降，对越来越稀少的细节信息detail，权系数相对增加；

${\mathrm{base}}_{\mathrm{final}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{i}\×{\mathrm{base}}_i}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{1}{i}},{\det \mathrm{ail}}_{\mathrm{final}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i\×{\det \mathrm{ail}}_i}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}i}---\left(6\right)$

最后，通过I_enhance=base_final+detail_final*factor合成最终base层和detail层的图像，求解细节增强后的图像。

6.如权利要求5所述的方法，其特征在于，增强因子根据各种策略设计，本发明采用最简单的经验因子0.4。

Images