CN102142134A - 一种基于三维栅格平滑模型的图像细节增强方法 - Google Patents

Abstract

本发明公开了一种基于三维栅格平滑模型的图像细节增强方法。本发明的方法包括：将二维图像源图像

转换为三维结构形式，采用三维栅格平滑模型，对源图像进行边缘保持的平滑操作，输出边缘保持平的滑图像

,然后对进行细节增强，输出目标图像

。本发明技术方案能够用较快的速度达到较好的边缘保持及噪声平滑效果，提升图像的显示质量。

Description

一种基于三维栅格平滑模型的图像细节增强方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于三维栅格平滑模型的图像细节增强方法。

背景技术

随着数字科技技术的进步，人们开始走进数字化生活，随时随地都可以接触到与数字图像相关的技术。视觉是人类最高级的感知器官，而图像则在人类的感知中扮演重要的角色。数码相机、摄像机、手机等数码电子产品的快速发展，使得人们对图像处理有了越来越高的要求。传统的以信号处理为基础的图像去噪、滤波等方法已经无法满足人们对于图像处理的需要。当前，以图像缩放、图像修复、图像合成及图像增强等涉及图像几何变换操作为代表的新型应用，促进了数字几何处理方法与传统图像处理方法的相互结合。如何使得数字几何处理方法与传统图像处理方法更好的结合已经成为图像处理研究工作者的热点研究问题。这些新型应用将为人们提供更好的视觉效果，为数字生活建设提供极大的支持。

数字电视正由标清向高清、平面向三维转变。随着显示技术的发展，人们对画面的要求不仅是高清晰度，还要求色彩艳丽、画质逼真。为了不断提高画面视觉效果，一方面要大力发展硬件技术，另一方面也要提升软件技术。高质量的图像增强算法是对图像在获得过程中丢失的部分数据的恢复。图像增强不仅在标清片源在高清数字电视上播放时有着重要的作用，而且对于高清数字电视片源的播放质量也有重要的作用。

因此，为了给人们提供更高质量的视觉显示效果，现有的图像增强技术还需改进。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于三维栅格平滑模型的图像细节增强方法，提升图像的显示效果。

本发明提供一种基于三维栅格平滑模型的图像细节增强方法，能够较好地突出图像的边缘的同时达到较好的平滑效果。

本发明的目的通过以下技术方案予以实现。本发明提供一种基于三维栅格平滑模型的图像细节增强方法，包括以下步骤：

首先构建三维栅格，将二维源图像I_IN用三维栅格结构形式表示。三维栅格上的每个结点以(u，v，ρ)表示三维空间坐标，其中u、v表示像素的空间位置，ρ表示像素的亮度值。

其次对三维栅格结构形式表示的图像进行边缘保持平滑操作。步骤包括：利用高斯核函数可分离性质，构造三维高斯空间卷积核，根据三维高斯空间卷积核和图像三维栅格结构表示形式，将双边平滑模型从二维空间上的操作转化为三维空间上的线性卷积操作。

然后把完成平滑操作的图像由三维表示形式转回二维表示形式，得到所需要的平滑图像输出I′_EPS。对平滑图像I′_EPS进行颜色空间还原，然后进行图像细节增强操作。

所述采用三维栅格平滑模型，对源图像进行边缘保持的平滑操作包括以下步骤：

(1)构建三维栅格，将二维源图像I_IN用三维栅格结构形式表示；

(2)对三维栅格结构形式表示的图像进行边缘保持的平滑操作；

(3)把完成平滑操作的图像由三维表示形式转回二维表示形式。

所述构建三维栅格，将二维源图像I_IN用三维栅格结构形式表示的步骤包括：

将二维图像转为三维结构的形式，首先以离散的脉冲函数的形式定义数字图像，这里所采用的离散脉冲函数的定义为：

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1,& x=0\\ 0,& x\≠0\end{array}\right.$

其次，结合离散脉冲函数将双边平滑模型改写如下：

最后，根据数字图像直方图的思想，计算图像局部区域内的图像直方图，并定义局部直方图函数如下：

$H\left(i\right)=\underset{k\∈S}{\mathrm{\Σ}}\mathrm{\δ}(i-I(p+k)),$ $\∀i\∈R$

图像直方图反映了图像像素亮度的分布情况，利用这一特点构建基于直方图分布特性的亮度域维度，即以直方图的层次作为图像空间的第三维度量，取代由离散脉冲函数所构建的第三维度量；由此即可构造三维空间内的三维栅格结构，来表示原始图像信号；设三维栅格上的每个结点以(u，v，ρ)表示三维空间坐标，每个结点表示为ψ(u，v，ρ)；根据局部直方图性质和三维栅格结构特性，定义如下的三维栅格构建公式：

ψ([k_x/S_x]，[k_y/S_y]，[I(p+k)/R])+＝(I((p+k))，1)

其中符号“+＝”表示局部区域内亮度值相同但空间坐标相异的像素在数量上累加，即等价于局部直方图中的某一像素值的像素数量累增；将上述三维栅格构造公式推广到整个图像区域，则可得到由结点构造的三维空间内的栅格结构；三维栅格内的每个结点，反映了局部区域内的像素分布情况，并记录了某一像素值的数量。

所述对三维栅格结构形式表示的图像进行边缘保持的平滑操作的步骤包括：

a.根据向量空间的思想，双边平滑实际上是定义在S×R≡S_x×S_y×R空间中的操作；利用高斯核函数可分离性质，构造三维高斯空间卷积核：

b.根据三维高斯空间卷积核和所得的图像三维栅格结构表示形式，将双边平滑模型从二维空间上的操作转化为三维空间上的线性卷积操作；定义基于三维栅格结构的平滑模型如下：

${\hat{I}}_b\left(p\right)=g_{{\mathrm{\σ}}_S,{\mathrm{\σ}}_R}\⊗\mathrm{\ψ}\left(p\right)$

其中表示三维空间卷积操作；

c.根据所构造的三维栅格和三维线性卷积操作，二维的双边平滑操作可以视作是三维的线性卷积操作，实现双边平滑操作的优化加速算法。

所述把完成平滑操作的图像由三维表示形式转回二维表示形式，步骤包括：

这一操作通过简单的线性插值方式进行，定义三维线性插值操作如下：

${\left[W_b{\hat{I}}_b\left(p\right)\right]}_2\←\mathrm{interpolate}({\left[W_b{\hat{I}}_b\left(p\right)\right]}_3,\frac{k_x}{S_x},\frac{k_y}{S_y},\frac{I(p+k)}{R})$

${\left[W_b\right]}_2\←\mathrm{interpolate}({\left[W_b\right]}_3,\frac{k_x}{S_x},\frac{k_y}{S_y},\frac{I(p+k)}{R})$

其中W_b表示三维空间卷积所产生的加权系数；[·]₂和[·]₃分别表示二维平面图像形式和三维栅格结构形式；

得到插值形式之后，对加权的图像进行归一化操作，归一化过程如下所示：

$I_b^{\′}\left(p\right)=\frac{{\left[W_b{\hat{I}}_b\left(p\right)\right]}_2}{{\left[W_b\right]}_2}$

最终可以得到所需要的平滑图像输出I′_EPS。

所述进行增强细节图像操作之前，需要对平滑图像I′_EPS进行颜色空间还原，然后进行图像细节增强操作。

传统的图像细节增强过程定义如下：

I_DE＝(I_IN-I′)*ξ+I_IN

其中I_DE表示图像细节增强后的图像，I_IN是输入图像，I′是经过空间平滑后的图像，ξ是增强因子。这样的细节增强方法，必须先利用细节检测方法对图像细节进行检测。但是，若输入图像包含噪声等干扰信息时，由于细节检测方法的不完善，往往将噪声等信息也误作为图像细节而进行了加强。这种情况下，非但起不到增强图像视觉效果的作用，反而进一步降低了图像的信息表达能力。虽然可以在细节增强之前，对输入图像进行一定的去噪操作，但是，这样会影响对原始图像细节信息的检测效果。

因此，提出了基于三维栅格平滑模型的图像细节增强方法。借助三维栅格平滑模型的边缘保持能力和去噪能力之间的相互统一，可以在突出图像边缘等细节信息的同时，避免受到噪声等干扰信息的影响。定义基于三维栅格平滑模型的细节增强过程如下：

I_DE＝I′_EPS+(I_IN-I′_EPS)*τ

其中I_DE表示图像细节增强后的图像，I_IN是输入图像，I′_EPS是经过边缘保持的三维栅格平滑处理后的图像，τ是细节增强因子。

本发明的有益效果是通过本发明能够保持图像边缘清晰的同时达到较好的平滑效果，通过图像细节增强，提升了图像的显示质量。

附图说明

下面将结合本发明实施例和附图，对本发明作进一步的详地描述。

图1是本发明的控制流程图；

图2三维栅格模型结构示意图；

图3原始的苹果图像与进行细节增强后的效果；

图4原始的鹦鹉图像与进行细节增强后的效果

具体实施方式

下面将结合本发明实施例和附图，对本发明的一种基于三维栅格平滑模型的图像细节增强方法作进一步的详地描述。

如图1所示是该发明的一个实施方案的控制流程图，主要包括以下步骤：

(1)输入源图像I_IN；

(2)颜色空间转换；

(3)采用三维栅格平滑模型，对源图像进行边缘保持的平滑操作；

(4)颜色空间还原；

(5)进行图像细节增强操作；

(6)输出目标图像I_DE。

下面作详细介绍。本发明方法首先把一幅图像I_IN作为输入，进行颜色空间转换后，构建三维栅格结构，把二维的图像I用三维栅格结构表示。然后构建三维高斯空间卷积核

根据所构建的三维高斯空间卷积核及图像三维栅格表示形式，进行双边平滑模型操作，实质上进行三维空间上的线性卷积，通过线性插值方法及归一化操作，把三维栅格结构形式的图像展平，输出边缘保持的平滑图像I′_EPS。对平滑图像I′_EPS进行颜色空间还原，然后对还原颜色空间后的图像进行细节增强，得到目标图像I_DE。

其中，步骤(3)中所述采用三维栅格平滑模型，对源图像进行边缘保持的平滑操作包括以下步骤：

1)构建三维栅格，将二维源图像I_IN用三维栅格结构形式表示；

2)对三维栅格结构形式表示的图像进行边缘保持的平滑操作；

3)把完成平滑操作的图像由三维表示形式转回二维表示形式。

所述构建三维栅格，将二维源图像I_IN用三维栅格结构形式表示的步骤包括：

将二维图像转为三维结构的形式，首先以离散的脉冲函数的形式定义数字图像，这里所采用的离散脉冲函数的定义为：

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1,& x=0\\ 0,& x\≠0\end{array}\right.$

其次，结合离散脉冲函数将双边平滑模型改写如下：

最后，根据数字图像直方图的思想，计算图像局部区域内的图像直方图，并定义局部直方图函数如下：

$H\left(i\right)=\underset{k\∈S}{\mathrm{\Σ}}\mathrm{\δ}(i-I(p+k)),$ $\∀i\∈R$

图像直方图反映了图像像素亮度的分布情况，利用这一特点构建基于直方图分布特性的亮度域维度，即以直方图的层次作为图像空间的第三维度量，取代由离散脉冲函数所构建的第三维度量；由此即可构造三维空间内的三维栅格结构，来表示原始图像信号；设三维栅格上的每个结点以(u，v，ρ)表示三维空间坐标，每个结点表示为ψ(u，v，ρ)；根据局部直方图性质和三维栅格结构特性，定义如下的三维栅格构建公式：

ψ([k_x/S_x]，[k_y/S_y]，[I(p+k)/R])+＝(I((p+k))，1)

其中符号“+＝”表示局部区域内亮度值相同但空间坐标相异的像素在数量上累加，即等价于局部直方图中的某一像素值的像素数量累增；将上述三维栅格构造公式推广到整个图像区域，则可得到由结点构造的三维空间内的栅格结构；三维栅格内的每个结点，反映了局部区域内的像素分布情况，并记录了某一像素值的数量。

所述对三维栅格结构形式表示的图像进行边缘保持的平滑操作的步骤包括：

a.根据向量空间的思想，双边平滑实际上是定义在S×R≡S_x×S_y×R空间中的操作；利用高斯核函数可分离性质，构造三维高斯空间卷积核：

b.根据三维高斯空间卷积核和权利要求3所得的图像三维栅格结构表示形式，将双边平滑模型从二维空间上的操作转化为三维空间上的线性卷积操作；定义基于三维栅格结构的平滑模型如下：

${\hat{I}}_b\left(p\right)=g_{{\mathrm{\σ}}_S,{\mathrm{\σ}}_R}\⊗\mathrm{\ψ}\left(p\right)$

其中

表示三维空间卷积操作；

c.根据所构造的三维栅格和三维线性卷积操作，二维的双边平滑操作可以视作是三维的线性卷积操作，实现双边平滑操作的优化加速算法。

所述把完成平滑操作的图像由三维表示形式转回二维表示形式，步骤包括：

这一操作通过简单的线性插值方式进行，定义三维线性插值操作如下：

${\left[W_b{\hat{I}}_b\left(p\right)\right]}_2\←\mathrm{interpolate}({\left[W_b{\hat{I}}_b\left(p\right)\right]}_3,\frac{k_x}{S_x},\frac{k_y}{S_y},\frac{I(p+k)}{R})$

${\left[W_b\right]}_2\←\mathrm{interpolate}({\left[W_b\right]}_3,\frac{k_x}{S_x},\frac{k_y}{S_y},\frac{I(p+k)}{R})$

其中W_b表示三维空间卷积所产生的加权系数；[·]₂和[·]₃分别表示二维平面图像形式和三维栅格结构形式；

得到插值形式之后，对加权的图像进行归一化操作，归一化过程如下所示：

$I_b^{\′}\left(p\right)=\frac{{\left[W_b{\hat{I}}_b\left(p\right)\right]}_2}{{\left[W_b\right]}_2}$

最终可以得到所需要的平滑图像输出I′_EPS。

所述进行增强细节图像操作之前，需要对平滑图像I′_EPS进行颜色空间还原，然后进行图像细节增强操作。

传统的图像细节增强过程定义如下：

I_DE＝(I_IN-I′)*ξ+I_IN

其中I_DE表示图像细节增强后的图像，I_IN是输入图像，I′是经过空间平滑后的图像，ξ是增强因子。这样的细节增强方法，必须先利用细节检测方法对图像细节进行检测。但是，若输入图像包含噪声等干扰信息时，由于细节检测方法的不完善，往往将噪声等信息也误作为图像细节而进行了加强。这种情况下，非但起不到增强图像视觉效果的作用，反而进一步降低了图像的信息表达能力。虽然可以在细节增强之前，对输入图像进行一定的去噪操作，但是，这样会影响对原始图像细节信息的检测效果。

因此，提出了基于三维栅格平滑模型的图像细节增强方法。借助三维栅格平滑模型的边缘保持能力和去噪能力之间的相互统一，可以在突出图像边缘等细节信息的同时，避免受到噪声等干扰信息的影响。定义基于三维栅格平滑模型的细节增强过程如下：

I_DE＝I′_EPS+(I_IN-I′_EPS)*τ

其中I_DE表示图像细节增强后的图像，I_IN是输入图像，I′_EPS是经过边缘保持的三维栅格平滑处理后的图像，τ是细节增强因子。

图2为三维栅格模型的结构示意图，图中栅格的层次表示亮度的灰度级，每个栅格结点表示亮度值相同但空间坐标相异的像素在数量上累加，即等价于局部直方图中的某一像素值的像素数量累增。图3、图4为该方法的两组应用实例。图3原始的苹果图像与进行细节增强后的效果比较，其中(a)是原图，(b)是本发明方法处理输出结果图，细节增强因子取值4。图4原始的鹦鹉图像与进行细节增强后的效果，其中(a)是原图，(b)是本发明方法处理输出结果图，细节增强因子取值4。

综上，本发明实施例的一种基于三维栅格平滑模型的图像细节增强方法，能够保持图像边缘清晰的同时达到较好的平滑效果，通过图像细节增强，提升了图像的显示质量。

Claims (6)

1.一种基于三维栅格平滑模型的图像细节增强方法，其特征在于，包括以下步骤：

(1)输入源图像I_IN；

(2)颜色空间转换；

(3)采用三维栅格平滑模型，对源图像进行边缘保持的平滑操作；

(4)颜色空间还原；

(5)进行图像细节增强操作；

(6)输出目标图像I_DE。

2.根据权利要求1所述的一种基于三维栅格平滑模型的图像细节增强方法，其特征在于：

所述采用三维栅格平滑模型，对源图像进行边缘保持的平滑操作包括以下步骤：

(1)构建三维栅格，将二维源图像I_IN用三维栅格结构形式表示；

(2)对三维栅格结构形式表示的图像进行边缘保持的平滑操作；

(3)把完成平滑操作的图像由三维表示形式转回二维表示形式。

3.根据权利要求1或2所述的一种基于三维栅格平滑模型的图像细节增强方法，其特征在于，所述构建三维栅格，将二维源图像I_IN用三维栅格结构形式表示的步骤包括：

将二维图像转为三维结构的形式，首先以离散的脉冲函数的形式定义数字图像，这里所采用的离散脉冲函数的定义为：

$\mathrm{\δ}\left(x\right)=\left\{\begin{array}{cc}1,& x=0\\ 0,& x\≠0\end{array}\right.$

其次，结合离散脉冲函数将双边平滑模型改写如下：

最后，根据数字图像直方图的思想，计算图像局部区域内的图像直方图，并定义局部直方图函数如下：

$H\left(i\right)=\underset{k\∈S}{\mathrm{\Σ}}\mathrm{\δ}(i-I(p+k)),$ $\∀i\∈R$

图像直方图反映了图像像素亮度的分布情况，利用这一特点构建基于直方图分布特性的亮度域维度，即以直方图的层次作为图像空间的第三维度量，取代由离散脉冲函数所构建的第三维度量；由此即可构造三维空间内的三维栅格结构，来表示原始图像信号；设三维栅格上的每个结点以(u，v，ρ)表示三维空间坐标，每个结点表示为ψ(u，v，ρ)；根据局部直方图性质和三维栅格结构特性，定义如下的三维栅格构建公式：

ψ([k_x/S_x]，[k_y/S_y]，[I(p+k)/R])+＝(I((p+k))，1)

其中符号“+＝”表示局部区域内亮度值相同但空间坐标相异的像素在数量上累加，即等价于局部直方图中的某一像素值的像素数量累增；将上述三维栅格构造公式推广到整个图像区域，则可得到由结点构造的三维空间内的栅格结构；三维栅格内的每个结点，反映了局部区域内的像素分布情况，并记录了某一像素值的数量。

4.根据权利要求1或2所述的一种基于三维栅格平滑模型的图像细节增强方法，其特征在于，所述对三维栅格结构形式表示的图像进行边缘保持的平滑操作的步骤包括：

a.根据向量空间的思想，双边平滑实际上是定义在S×R≡S_x×S_y×R空间中的操作；利用高斯核函数可分离性质，构造三维高斯空间卷积核：

b.根据三维高斯空间卷积核和所得的图像三维栅格结构表示形式，将双边平滑模型从二维空间上的操作转化为三维空间上的线性卷积操作；定义基于三维栅格结构的平滑模型如下：

${\hat{I}}_b\left(p\right)=g_{{\mathrm{\σ}}_S,{\mathrm{\σ}}_R}\⊗\mathrm{\ψ}\left(p\right)$

其中

表示三维空间卷积操作；

c.根据所构造的三维栅格和三维线性卷积操作，二维的双边平滑操作可以视作是三维的线性卷积操作，实现双边平滑操作的优化加速算法。

5.根据权利要求1或2所述的一种基于三维栅格平滑模型的图像细节增强方法，其特征在于：

所述把完成平滑操作的图像由三维表示形式转回二维表示形式，步骤包括：

这一操作通过简单的线性插值方式进行，定义三维线性插值操作如下：

${\left[W_b{\hat{I}}_b\left(p\right)\right]}_2\←\mathrm{interpolate}({\left[W_b{\hat{I}}_b\left(p\right)\right]}_3,\frac{k_x}{S_x},\frac{k_y}{S_y},\frac{I(p+k)}{R})$

${\left[W_b\right]}_2\←\mathrm{interpolate}({\left[W_b\right]}_3,\frac{k_x}{S_x},\frac{k_y}{S_y},\frac{I(p+k)}{R})$

其中W_b表示三维空间卷积所产生的加权系数；[·]₂和[·]₃分别表示二维平面图像形式和三维栅格结构形式；

得到插值形式之后，对加权的图像进行归一化操作，归一化过程如下所示：

$I_b^{\′}\left(p\right)=\frac{{\left[W_b{\hat{I}}_b\left(p\right)\right]}_2}{{\left[W_b\right]}_2}$

最终可以得到所需要的平滑图像输出I′_EPS。

6.根据权利要求1所述的一种基于三维栅格平滑模型的图像细节增强方法，其特征在于：

所述进行增强细节图像操作之前，需要对平滑图像I′_EPS进行颜色空间还原，然后进行图像细节增强操作；

定义基于三维栅格平滑模型的细节增强过程如下：

I_DE＝I′_EPS+(I_IN-I′_EPS)*τ

其中I_DE表示图像细节增强后的图像，I_IN是输入图像，I′_EPS是经过边缘保持的三维栅格平滑处理后的图像，τ是细节增强因子。

Images