CN101866479B - 基于非下采样Contourlet变换的边缘自适应图像放大方法 - Google Patents

Abstract

一种基于非下采样Contourlet变换的边缘自适应图像放大方法，步骤包括：(1)输入原始图像，设定目标图像的分辨率，确定图像的放大比例系数；(2)对原始图像进行非下采样Contourlet变换，得到变换域的方向子带系数图像；(3)对方向子带系数图像采用方向自适应的插值方法放大至目标分辨率；(4)根据放大的方向子带系数图像，估计目标图像每一待插值点的插值方向；(5)根据目标图像待插值点的插值方向，采用方向自适应的插值方法获得待插值点的像素值；(6)输出最终的放大图像。本发明实现了任意方向的插值，放大后的图像边缘平滑度高，图像整体视觉效果好，可应用于灰度或彩色图像的比例放大。

Description

基于非下采样Contourlet变换的边缘自适应图像放大方法

技术领域

本发明属于图像处理领域，涉及一种图像多尺度几何分析工具在图像放大领域中的应用，更具体地说是一种边缘自适应图像放大方法，可应用于自然场景图像和人工合成图像等的放大处理。

背景技术

由于图像成像传感器和图像传输等方面的原因，图像原始分辨率往往较低。为适应特殊显示设备如液晶显示屏、等离子彩电和数字高清晰度电视显示设备等的应用，原始分辨率图像往往需进行放大处理。图像放大主要通过图像插值技术实现，面临的主要问题是在放大图像的同时需保持图像边缘或纹理区域的锐度。传统的图像插值放大方法有最近邻插值法、双线性插值法、双三次插值法(Bicubic)和样条插值法，这些方法由于计算简单，易于实现且插值核函数不需要先验知识，得到广泛的应用，但这些方法容易造成图像边缘的模糊现象。

Xin Li和Michael T.Orchard提出基于边缘检测的插值方法(NewEdge-Directed Interpolation，NEDI)以边缘为导向，根据所选的局部邻域训练窗的协方差和边界信息获得图像插值点的插值系数。NEDI在一定程度上改善了插值图像边缘的锐度与连续性，但在纹理密集区域的插值结果并不理想。基于NEDI的思想，Nicola Asuni和Andrea Giachetti提出iNEDI(Improved New Edge directed Interpolation)和ICBI(Iterative Curvature BasedInterpolation)。iNEDI改进了NEDI的协方差训练窗，使其窗大小随图像边缘的粗细而变化，而ICBI则在NEDI的基础上考虑图像边缘曲率连续性、曲率增强和辐射轮廓线三因素的影响，在计算预测系数时对此三因素进行了适当的加权。iNEDI和ICBI的改进提高了插值图像边缘的平滑度，图像获得了更好的视觉效果，这些插值方法往往复杂度较高。

近年来小波在图像处理领域的应用得到了广泛的研究。小波对点状奇异的目标函数是最优的基，但对具有直线或曲线状的奇异函数，小波并不能进行最稀疏的表达，因而小波并不能很好地捕获图像边缘的方向信息。Minh N.Do和Vetterli Metterli于2001年提出的一种新的图像多尺度多方向几何分析工具——Contourlet变换。与小波不同，Contourlet变换将尺度分解和方向分解分开进行，具有高度的多方向特性，因而可更准确地捕获图像中边缘和纹理的奇异性，即“线奇异”。但由于Contourlet变换引入了下采样操作，致使其不具备平移不变特性，因而信号频谱会产生混叠，最终导致重建图像产生伪吉布斯现象。为此，Arthur L Cunha、Jianping Zhou和Minh N Do于2005年提出了一种非下采样Contourlet变换(NSCT)。NSCT分别采用非下采样的塔型滤波器组和非下采样的方向滤波器组进行尺度分解和方向分解，不但继承了Contourlet变换的多尺度多方向特性，而且具有平移不变特性，能够有效降低图像的伪吉布斯现象。NSCT的变换域系数具有稀疏特性，且由于非下采样平移不变特性，使其对图像边缘或纹理的方向敏感。NSCT的方向滤波器组具有各向异性的基函数。图像在某方向的奇异性(边缘法线方向)与基函数的方向性越一致，该奇异性通过滤波器的响应越大，即变换后的系数幅值越大；反之，则系数幅值越小。

目前NSCT在图像去噪、图像增强、边缘检测和图像融合等领域已得到应用，这些应用中均利用了NSCT变换域系数的稀疏特性。目前NSCT在图像放大领域尚未有应用。

发明内容

针对现有技术在图像放大时存在的缺陷或者不足，本发明提出一种基于非下采样Contourlet变换的边缘自适应图像放大方法，该方法利用了非下采样Contourlet变换域系数的稀疏特性和方向特性。该方法首先对图像进行非下采样Contourlet变换，然后利用变换域的方向子带的系数幅值相关性并采用线性模型估计插值方向的方法得到图像待插值点的插值方向，最后采用基于方向自适应的插值方法获得目标图像待插值点的像素值。本发明可应用于灰度图像的比例放大，并可应用于例如YCbCr(亮度、蓝色色度、红色色度)或RGB(红色、绿色、蓝色)两种格式进行存储的彩色图像的比例放大。

本发明所解决的技术问题可采用如下的技术解决方案来实现：

一种基于非下采样Contourlet变换的边缘自适应图像放大方法，包括以下步骤：

(1)输入原始图像，并设定目标图像的分辨率，确定图像在水平方向和垂直方向的放大比例系数；

若原始图像的分辨率为M×N，目标图像的分辨率为P×Q，那么所述的水平方向和垂直方向放大比例系数分别为P/M和Q/N，其中M，N，P和Q均为正整数。

(2)对原始图像进行非下采样Contourlet变换，得到非下采样Contourlet变换域的方向子带系数图像；

其中非下采样Contourlet变换采用的尺度分解滤波器是”maxflat”塔型滤波器，采用的方向分解滤波器是″diamond maxflat″方向滤波器。原始图像进行一层的尺度分解得到低通分量图像和带通分量图像，带通分量图像进行三层方向分解得到8个方向的方向子带系数图像。

(3)根据步骤(1)确定的放大比例系数，对步骤(2)得到的8个方向子带系数图像采用方向自适应的插值方法放大至目标分辨率，得到目标分辨率的8个方向子带系数图像；

其中插值方向由8个方向子带所代表的原始图像的分解方向确定，如对于子带序号为′2′的方向子带，其子带分解方向为′2′所代表的楔形区域，则插值方向为该区域的角平分线方向，即为2·π/8+π/16。

(4)根据步骤(3)得到的放大的方向子带系数图像，估计目标图像每一个待插值点的插值方向，插值方向的角度范围在0～π之间；

首先，采用鲁棒的中值估计方法估计图像的噪声标准方差并确定边缘阈值，根据阈值将待插值点分为非方向插值点和方向插值点。然后，对于非方向插值点，不估计其插值方向；对于方向插值点，利用与待插值点相对应坐标位置的在放大后的方向子带系数图像中的8个系数的幅值相关性，并利用线性模型估计插值方向的方法获得该待插值点的插值方向。

对于某一待插值点在放大后的方向子带中对应的8个系数，设A是响应系数幅值最大的方向子带所代表的方向，即极值方向，系数幅值为V_a，B、C分别是A的左右近邻方向子带的方向，系数幅值分别为V_b、V_c，而P是利用线性模型估计得到的插值方向，在水平轴上，B，C分别在A的左右两侧。

在V_a＞V_b＞V_c的情况下，P在A、B之间，假设直线PB与AC的斜率相等，设P、A两点间的水平距离是x，求得

x＝0.5[(V_b-V_c)/(V_a-V_c)].

从而，P的方向角度为A-x。

在V_a＞V_c＞V_b的情况下，P在A、C之间，假设直线AB与PC的斜率相等，P、A两点间的水平距离是x，求得

x＝0.5[(V_c-V_b)/(V_a-V_b)].

从而，P的方向角度为A+x。

(5)根据步骤(4)得到的目标图像待插值点的插值方向，采用方向自适应的插值方法获得目标图像待插值点的像素值；

若待插值点为非方向插值点，则在原始图像中取与待插值点最近邻的4个样本点进行双线性插值，获得待插值点的像素值。

若待插值点为方向插值点，则采用方向自适应的改进的双线性插值方法，即是沿着待插值点的插值方向在原始图像中取4个样本点，利用4个样本点插值得到待插值点的像素值，如下：

对于每一个待插值点，获得其在原图像中的映射坐标，并以该映射坐标为中心在原图像中取4x4像素块，做过插值点的直线方程l：

y-y₀＝tanθ·(x-x₀).

其中，(x₀，y₀)是4x4块中待插值点的坐标，坐标原点为4x4像素块的左下角，θ为插值方向。

设P(x₀，y₀)＝(1+f_x，2-f_y)为待插值点的坐标，f_x，f_y分别为待插值点P与P的左上角最邻近点N之间的水平和垂直距离。

若0≤θ≤π/4或3·π/4≤θ＜π，设l与水平线y＝1和y＝2的交点的水平坐标分别为x₁和x₂，通过对x₁和x₂上下取整得到的左右最近邻整像素点分别为A、B和C、D，A、B、C和D构成平行四边形，水平插值系数如下：

其中，

表示向下取与x最近邻的整数，向上取与x最近邻的整数。

从而，点P的插值计算公式为：

P＝(A·f_x1R+B·f_x1L)·f_y+(C·f_x2R+D·f_x2L)·(1-f_y).

当直线l与水平线y＝1和y＝2的交点超出4x4块的边界时，以P点最近邻的四个像素点进行双线性插值。

若π/4＜θ＜3*π/4，设l与垂直线x＝1和x＝2交点的垂直坐标分别为y₁和y₂，通过对y₁和y₂上下取整得到的上下最近邻整像素点分别为A、B和C、D，A、B、C和D构成平行四边形，垂直插值系数如下：

其中，

表示向下取与y最近邻的整数，

向上取与y最近邻的整数。

从而，点P的插值计算公式为：

P＝(A·f_y1L+B·f_y1H)·(1-f_x)+(C·f_y2L+D·f_y2H)·f_x.

当直线l与垂直线x＝1和x＝2的交点超出4x4块的边界时，以P点最近邻的四个像素点进行双线性插值。

(6)输出最终的放大图像。

本发明旨在提出一种基于非下采样Contourlet变换的边缘自适应图像放大方法，根据非下采样Contourlet变换对图像的稀疏表示特性和方向敏感特性，利用变换域的方向子带系数估计目标图像待插值点的插值方向，然后根据插值方向进行方向自适应的插值。其特点和优点为：

(1)针对现有基于小波变换的放大方法不能有效利用图像的边缘或纹理的方向信息的缺点，提出采用非下采样Contourlet变换捕获图像边缘或纹理的方向信息，并利用方向信息估计插值方向的方法。

(2)由于根据方向子带系数估计得到的插值方向并非预设的方向，本发明采用基于方向自适应的改进的双线性插值方法实现了任意方向的插值。

本发明提供的图像放大方法，可用于提高图像的分辨率，以便于更细致地观察目标感兴趣区域的信息。

附图说明

图1为本发明实施例的基于非下采样Contourlet变换的边缘自适应图像放大方法的流程图。

图2为本发明实施例非下采样Contourlet变换进行一层尺度分解和带通分量进行三层方向子带分解的示意图。

图3为本发明实施例进行非下采样Contourlet变换得到的8个方向子带系数图像所代表的方向楔形区域示意图。

图4为本发明实施例采用线性模型估计待插值点插值方向的示意图。

图5为本发明实施例基于方向自适应的改进的双线性插值方法的示意图。

具体实施方式

下面结合附图对本发明一种基于非下采样Contourlet变换的边缘自适应图像放大方法通过实施例进行详细说明。

参考图1，本发明的具体实施例如下：

(1)输入原始图像，并设定目标图像的分辨率，确定图像在水平方向和垂直方向的放大比例系数；

设原始图像的分辨率为M×N，目标图像的分辨率为P×Q，那么所述的水平方向和垂直方向放大比例系数分别为P/M和Q/N，其中M，N，P和Q均为正整数。

(2)对原始图像进行非下采样Contourlet变换，得到非下采样Contourlet变换域的方向子带系数图像；

进行非下采样Contourlet变换所采用的尺度分解滤波器是″maxflat″塔型滤波器，采用的方向分解滤波器是″diamond maxflat″方向滤波器。原始图像进行一层的尺度分解得到低通分量图像和带通分量图像，得到的带通分量图像进行三层的方向分解，得到8个方向的方向子带系数图像。非下采样Contourlet变换过程如图2所示，其中201是尺度分解得到的低通分量图像，202是尺度分解得到的带通分量图像，203是进行三层方向分解得到的方向子带频谱划分结构。得到的8个方向子带系数图像所代表的方向楔形区域如图3所示。

(3)根据步骤(1)确定的放大比例系数，对步骤(2)得到的8个方向子带系数图像采用方向自适应的改进的双线性插值方法放大至目标分辨率，得到目标分辨率的8个方向子带系数图像；

其中插值方向由8个方向子带所代表的图像的分解方向确定，如对于子带序号为′2′的方向子带，其子带分解方向为′2′所代表的楔形区域，则插值方向为该区域的角平分线方向，即为2·π/8+π/16。

(4)根据步骤(3)得到的放大后的方向子带系数图像，估计目标图像每一个待插值点的插值方向；

首先采用鲁棒的中值估计方法估计图像的噪声标准方差，计算公式为：

${\mathrm{\σ}}_n^k=\mathrm{median}\left(\right|C_{\mathrm{ij}}^k\left|\right)/0.6745,$ (k＝0，1...，2ⁿ-1)

其中，k是子带序号，

是第k个方向子带坐标为(i，j)的系数，n是方向子带分解的层数，

是该子带的阈值。最终的阈值由下式计算：

$T=\mathrm{\ϵ}\·\mathrm{median}\left({\mathrm{\σ}}_n^k\right),(k=\mathrm{0,1}...,2^n-1).$

其中，ε为加权系数，且1.0≤ε≤5.0.

利用阈值将待插值点分为非方向插值点和方向插值点。设与当前待插值点对应坐标位置的在放大的方向子带系数图像中的8个系数的幅值最大的系数的幅值为V_m，若V_m＞T，则当前待插值点为方向插值点，否则为非方向插值点。

对于非方向插值点，不估计其插值方向；对于方向插值点，利用与待插值点对应坐标位置的在放大后的方向子带系数图像中的8个系数的幅值相关性，并利用线性模型估计该待插值点的插值方向。

例如，对于某一待插值点在放大后的方向子带中对应的8个系数，如图4所示，设A是响应系数幅值最大的方向子带所代表的方向，即极值方向，系数幅值为V_a，B、C分别是A的左右近邻方向子带的方向，系数幅值分别为V_b、V_c，而P是利用线性模型估计得到的插值方向。在水平轴上，B，C分别在A的左右两侧。

在V_a＞V_b＞V_c的情况下，如图4(a)所示，P在A、B之间，假设直线PB与AC的斜率相等，设P、A两点间的水平距离是x，求得

x＝0.5[(V_b-V_c)/(V_a-V_c)].

从而，P的方向角度为A-x。例如设A对应的方向子带序号为′2′，则P的方向角度为θ＝(2-x)·π/8+π/16。

在V_a＞V_c＞V_b的情况下，如图4(b)所示，P在A、C之间，假设直线AB与PC的斜率相等，P、A两点间的水平距离是x，求得

x＝0.5[(V_c-V_b)/(V_a-V_b)].

从而，P点的方向角度为A+x。例如设A对应的方向子带序号为′2′，则P的方向角度为θ＝(2+x)·π/8+π/16。

(5)根据步骤(4)得到的目标图像待插值点的插值方向，采用方向自适应的改进的双线性插值方法获得目标图像待插值点的像素值；

若待插值点为非方向插值点，则在原始图像中取与待插值点最近邻的4个样本点进行双线性插值，获得待插值点的像素值。

若待插值点为方向插值点，则采用方向自适应的改进的双线性插值方法。如图5所示，沿着待插值点的插值方向在原始图像中获得4个样本点，利用4个样本点插值得到待插值点的像素值，如下：

对于每一待插值点，在原图像中获得以其为中心的4x4像素块，做过插值点的直线方程l：

y-y₀＝tanθ·(x-x₀).

其中，(x₀，y₀)是4x4块中待插值点的坐标，坐标原点为4x4像素块的左下角，θ为插值方向。

设P(x₀，y₀)＝(1+f_x，2-f_y)为待插值点，f_x，f_y分别为待插值点P与P的左上角最邻近点N之间的水平和垂直距离。

若0≤θ≤π/4或3·π/4≤θ＜π，如图5(a)所示，设l与水平线y＝1和y＝2交点的水平坐标分别为x₁和x₂，通过对x₁和x₂上下取整得到的左右最近邻整像素点分别为A、B和C、D，A、B、C和D构成平行四边形，水平插值系数如下：

其中，

表示向下取与x最近邻的整数，

向上取与x最近邻的整数。

从而，点P的插值计算公式为：

P＝(A·f_x1R+B·f_x1L)·f_y+(C·f_x2R+D·f_x2L)·(1-f_y).

当直线l与水平线y＝1和y＝2的交点超出4x4块的边界时，以P点最近邻的四个像素点进行双线性插值。

若π/4＜θ＜3*π/4，如图5(b)所示，设l与垂直线x＝1和x＝2交点的垂直坐标分别为y₁和y₂，通过对y₁和y₂上下取整得到的上下最近邻整像素点分别为A、B和C、D，A、B、C和D构成平行四边形，垂直插值系数如下：

其中，

表示向下取与y最近邻的整数，

向上取与y最近邻的整数。

从而，点P的插值计算公式为：

P＝(A·f_y1L+B·f_y1H)·(1-f_x)+(C·f_y2L+D·f_y2H)·f_x.

当直线l与垂直线x＝1和x＝2的交点超出4x4块的边界时，以P点最近邻的四个像素点进行双线性插值。

(6)输出最终的放大图像。

本发明可应用于灰度图像的比例放大，并可应用于例如YCbCr(亮度、蓝色色度、红色色度)或RGB(红色、绿色、蓝色)两种格式进行存储的彩色图像的比例放大。对于灰度图像，直接对其灰度通道进行放大；对于彩色图像，每个颜色通道分别单独进行放大。本发明实施例采用线性模型实现了一种插值方向的估计方法，并采用方向自适应的改进的双线性插值方法实现了插值，但本行业的技术人员应该了解，本发明不受上述实施例的限制。上述实施例和说明书中的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明在基于非下采样Contourlet变换的插值方向估计方法和采用的方向自适应的插值方法方面还有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (7)

1.一种基于非下采样Contourlet变换的边缘自适应图像放大方法，该方法包括以下步骤：

(1)输入原始图像，并设定目标图像的分辨率，确定图像在水平方向和垂直方向的放大比例系数；

(2)对原始图像进行非下采样Contourlet变换，得到非下采样Contourlet变换域的方向子带系数图像；

(3)根据步骤(1)确定的放大比例系数，对步骤(2)得到的方向子带系数图像采用方向自适应的插值方法放大至目标分辨率，得到目标分辨率的方向子带系数图像；

(4)根据步骤(3)得到的放大的方向子带系数图像，估计目标图像每一个待插值点的插值方向；

(5)根据步骤(4)得到的目标图像待插值点的插值方向，对原始图像采用方向自适应的插值方法获得目标图像待插值点的像素值；

(6)输出最终的放大图像。

2.根据权利要求1所述的方法，其特征在于：步骤(3)所述的对方向子带系数图像采用的方向自适应的插值方法，其插值方向根据方向子带各自所代表的图像的分解方向确定。

3.根据权利要求1所述的方法，其特征在于：步骤(4)所述的目标图像待插值点的插值方向估计方法，是利用与待插值点相对应坐标位置的在放大后的方向子带系数图像中的响应系数幅值最大的方向子带所代表的方向即极值方向以及与极值方向相邻的方向子带的方向间的关系估计插值方向的方法。

4.根据权利要求1所述的方法，其特征在于：步骤(5)所述的方向自适应的插值方法，其插值方向由步骤(4)的插值方向估计方法确定。

5.根据权利要求3所述的方法，其特征在于：所述的插值方向估计方法，是一种基于线性模型的插值方向估计方法。

6.根据权利要求5所述的方法，其特征在于：所述的基于线性模型的插值方向估计方法，其步骤如下：

(1)对于当前待插值点，获得与待插值点相对应坐标位置的在所有放大的方向子带中响应系数幅值最大的方向，即极值方向，设为A，系数幅值为V_a；同时获得A的左右近邻方向子带的方向B和C，系数幅值分别为V_b、V_c，设P是利用线性模型估计得到的插值方向，在水平轴上，B，C在A的左右两侧；

(2)利用步骤(1)的极值方向及与极值方向相邻的方向子带的方向间的关系，来估计插值方向，包括以下两种情况：

在V_a＞V_b＞V_c的情况下，P在A、B之间，假设直线PB与AC的斜率相等，P、A两点间的水平距离是x，则

x＝0.5[(V_b-V_c)/(V_a-V_c)]

从而，P的方向角度为A-x；

在V_a＞V_c＞V_b的情况下，P在A、C之间，假设直线AB与PC的斜率相等，P、A两点间的水平距离是x，则

x＝0.5[(V_c-V_b)/(V_a-V_b)]

从而，P的方向角度为A+x。

7.根据权利要求2或4所述的方法，其特征在于：所述的方向自适应的插值方法，是一种基于方向自适应的改进的双线性插值方法，它是沿着待插值点的插值方向在原始图像中取4个样本点，利用4个样本点插值得到待插值点的像素值。

Images