CN101246591A - 基于图像边缘特征的恢复图像重构方法 - Google Patents

Abstract

本发明公开了一种基于图像边缘特征的恢复图像重构方法，包括如下步骤：对压缩后的图像(g_i；j)进行多方向正则化处理，得到图像(f_i；j)；对图像(f_i；j)进行小波分解，分解成多个部分；对压缩后的图像(g_i；j)进行小波分解，分解成多个部分；对其中的低频子频段部分进行正则化处理，得到处理后的低频子频段部分；对处理后的低频子频段部分和图像(f_i；j)分解出的其余部分进行逆小波变换，得到重构的图像。本图像重构方法的算法复杂度低，适用面广，对边缘轮廓复杂的图像尤为有效，特别适用于在较高压缩比下的恢复图像的复原操作。

Description

基于图像边缘特征的恢复图像重构方法

技术领域

本发明涉及一种实现图像重构的方法，尤其涉及一种基于图像的边缘特征实现的恢复图像重构方法，属于数字图像后处理技术领域。

背景技术

为了获得在低位率下高质量的恢复图像，数字图像后处理技术是十分重要的。通过数字图像后处理技术中的有关操作，可以有效改善影像的细节，实现图像降噪、灰阶对比度调整等，将未经处理的影像中看不到的特征信息在荧屏上显示，从而使恢复图像更为清晰。

数字图像后处理技术主要有两个方面，一是图像增强，另一个是图像恢复(图像重构)。图像增强主要是通过增强图像的某些特征，提高图像的视觉质量，而没有考虑图像的逼近度(PSNR)；图像复原主要是从有损压缩的恢复图像中尽可能得到原始图像，因此主要的考察指标是图像的逼近度(PSNR)。目前，针对压缩图像的重构技术是图像压缩领域的重要课题之一。

国内外学者已经就上述课题进行了深入的研究。例如针对在低位率下量化引起的误差比较大，因此恢复图像在图像的光滑和边缘附近出现了方块效应，特别是高频子带的量化误差导致振铃效应或者在边缘附近的模糊现象，Reeve等人最先提出用空域上滤波器进行滤波的方法来减小压缩图像的块效应。另外，Kim等人提出了基于小波表示法的去除块效应的方法。还有人提出了基于凸集投影的迭代的图像后处理技术。但是，这些方法普遍没有考虑由于高频子带量化误差引起的边缘模糊问题。为此，Guoliang Fan等人通过建立描述边缘的数学模型，提出了边缘重构技术，并进一步提出了基于小波系数模最大表示方法的基于边缘的后处理技术。Geman等人假设图像是由边缘分割开的平滑区域组成，研究了利用正则化函数(通常也称为罚函数)来重构图像的边缘，通过罚函数能够有效刻画图像的边缘特征。Yang和Charbonnier在此基础上提出了半二次正则化方法，通过该方法可以得到全局最优解，并且有效地降低了算法的复杂度。

在图像压缩领域，小波变换是目前最为有效的变换工具。但是小波变换是表示具有点奇异性目标函数的最优基，它能有效表示信号的零维奇异特征，即反映奇异点的位置和特性，但是很难表示更高维的几何特征。在二维图像中，特别是高分辨率可见光遥感图像的一个主要特点是边缘结构非常复杂，图像表现出非常强的线或者面奇异性。由于边缘、轮廓和纹理等具有高维奇异性的几何特征包含了大部分信息，用小波来表示图像存在明显的局限性。

目前，广泛采用的二维小波是由两个一维正交小波的张量积形成，其基函数只有水平、垂直、对角线三个方向，其中对角线方向的基函数包括两个方向。同时，二维小波变换的另一个问题是它们的基函数都是各向同性的，即基函数的支撑是方形的。在描述图像边缘的时候，由一维小波张成的二维小波基具有正方形的支撑区间。在不同的分辨率下，其支撑区间为不同尺寸大小的正方形。由于二维小波逼近奇异曲线的过程最终表现为用“点”来逼近线的过程，当尺度变细时，非零小波系数的数目以指数形式增长，出现了大量不可忽略的系数。因此，在高压缩比的情况下，会导致恢复图像Gibbs现象。

发明内容

本发明的目的是提供一种基于图像边缘特征的图像重构方法。该方法具有一般性，可以根据图像复杂度决定实际所采用的方向数量，是一种有效的针对遥感图像的多方向多子带的恢复图像恢复技术。

为实现上述发明目的，本发明采用下述的技术方案：

一种基于图像边缘特征的恢复图像重构方法，其特征在于包括如下步骤：

1)对压缩后的图像g_i；j进行正则化处理，得到图像f_i；j；

2)对图像f_i；j进行小波分解，分解成低频子频段LLf、水平方向高频垂直方向低频子频段HLf、垂直方向高频水平方向低频子频段LHf和对角线方向高频子频段HHf四个部分；

3)对压缩后的图像g_i；j进行小波分解，分解成低频子频段LLg、水平方向高频垂直方向低频子频段HLg、垂直方向高频水平方向低频子频段LHg和对角线方向高频子频段HHg四个部分；

4)按照步骤1)对低频子频段部分LLg进行正则化处理，得到处理后的低频子频段部分LLg′；

5)对步骤4)获得的处理后的低频子频段部分LLg′和步骤2)获得的水平方向高频垂直方向低频子频段HLf、垂直方向高频水平方向低频子频段LHf和对角线方向高频子频段HHf进行逆小波变换，得到重构的图像。

其中，在所述步骤1)中，用正则化项来表示图像的边缘特征。

当所述图像为遥感图像时，在水平、垂直和对角线方向上进行所述正则化处理。

本发明所提供的压缩图像的重构方法的算法复杂度低，适用面广，对边缘轮廓复杂的图像尤为有效，特别适用于在较高压缩比下的恢复图像的复原操作，有关实验结果表明，使用本方法，恢复图像的逼近度和视觉效果都较现有技术有一定的提高。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

图1为对图像进行小波分解的子频段示意图。

具体实施方式

在此，我们以对典型遥感图像的处理过程为例，对本发明所提供的基于图像边缘特征的图像重构方法的具体实施步骤进行详细的说明。

参见图1所示的小波分解子频段示意图。一幅遥感图像“City”经过小波变换，被分解成低频子频段LL和三个高频子频段：水平方向高频垂直方向低频的子频段HL，垂直方向高频水平方向低频的子频段LH和对角线方向高频的子频段HH。由于低频子频带能够保留图像主要信息，因此我们对图像的低频分量和高频分量分别进行正则化处理。具体的图像重构方法包括如下的步骤：

1)对压缩后的图像g_i；j进行正则化处理，得到图像f_i；j。

在此需要首先说明的是，图像用N×N的二维变量来表示，其中i指它的横坐标，j指它的纵坐标。在恢复图像的后处理中，模型可表示为：

g_ij＝f_ij+η_ij  i，j＝1，2，3，...，N    (1)

其中，g_i；j表示压缩后的图像，f_i；j指原始图像，η_i；j指两者之间的误差。

图像正则化处理是指：在一定的约束条件下，最小化一个含正则化项的罚函数，来得到原始图像。如下所示：

$\tilde{f}=\arg \min \left(J\left(f\right)\right)---\left(2\right)$

其中J由两部分组成

J(f)＝J₁(f)+λJ₂(f)    (3)

J₁表示所求解与真实解的误差，确保其逼真度。J₂为其正则化项，用来表示图像的边缘特征，λ是正则化参数。

$J_1\left(f\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(g_{i,j}-f_{i,j})}^2$

$J_2\left(f\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\left\{\mathrm{\φ}\right[{\left(D_{x}f\right)}_{i,j}]+\mathrm{\φ}[{\left(D_{y}f\right)}_{i,j}\left]\right\}$

其中，

(D_xf)_i，j＝f_i，j+1-f_i，j，(D_yf)_i，j＝f_i+1，j-f_i，j

要使J(f)最小，则必须满足J′(f)＝0。

其中，J′是J的导数，于是上式简化成：

f-g-λΔ_pondf＝0                     (4)

其中Δ_pond近似于Laplacian算子的权系数。Laplacian算子的权重由函数给出。

由于式(4)是一个复杂的非线性方程，通常是比较难求解的，因此可以使用Geman和Charbonnier在论文《Deterministic edge-preserving regulationin computed imaging》(发表于IEEE Trans.Image processing.vol.6，pp.298-311，Feb 1997.)中提出的半二次正则化方法，通过引入一个新的辅助变量和新的函数，把式(3)变成一个二次方程，从而易于进行处理。

由于遥感图像边缘轮廓复杂，表现出多方向性，因此我们考虑多方向上的正则化处理，即研究水平(两个方向)、垂直(两个方向)、对角线(两个方向)，共八个方向上正则化处理。多方向的正则化模型定义如下：

$J\left(f\right)=J_1\left(f\right)+\mathrm{\λ}{J}_2\left(f\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(g_{i,j}-f_{i,j})}^2+\mathrm{\λ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\φ}\left({\left(D^{k}f\right)}_{i,j}\right)---\left(5\right)$

式(5)实际上由式(3)扩展而来，其中的D^kf为图像的导数，包括水平方向，垂直方向和对角线方向，定义如下：

(D¹f)_i，j＝f_i，j+1-f_i，j          (D²f)_i，j＝f_i，j-1-f_i，j

(D³f)_i，j＝f_i+1，j-f_i，j          (D⁴f)_i，j＝f_i-1，j-f_i，j

(D⁵f)_i，j＝(f_i+1，j+1-f_i，j)/   (D⁶f)_i，j＝(f_i-1，j+1-f_i，j)/

(D⁷f)_i，j＝(f_i+1，j-1-f_i，j)/   (D⁸f)_i，j＝(f_i-1，j-1-f_i，j)/

要使J(f)最小，则必须满足J′(f)＝0，于是进一步推算如下：

$J(f,b)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(g_{i,j}-f_{i,j})}^2+\mathrm{\λ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{8}{\mathrm{\Σ}}}\{{\left(b_k\right)}_{i,j}{\left(D^{k}f\right)}_{i,j}^2+\mathrm{\ψ}[{\left(b_k\right)}_{i,j}\left]\right\}---\left(6\right)$

当b固定时，由于J(f，b)关于f是二次的，所以它的求解是比较简单的，新的fⁿ⁺¹就是以下方程的解：

$(I-{\mathrm{\λ\Δ}}_A^{n+1})f^{n+1}=g---\left(7\right)$

其中 ${\mathrm{\Δ}}_A^{n+1}=-\underset{k=1}{\overset{8}{\mathrm{\Σ}}}{\left(D^k\right)}^t{b}_k^{n+1}{D}^k,b_k^{n+1}=\mathrm{diag}\left\{{\left(b_k\right)}_{i,j}^{n+1}\right\}.$

对于式(7)，其实际上是大型稀疏系数矩阵，其维数过大，很难在计算机内存中完成计算。比如对于512×512的图像，公式(7)中矩阵的大小为512²×512²。而且由于b已是对角矩阵，也无法再进行化简，而只能通过循环迭代来求解。为此，本发明人特地提出如下快速的算法。

当只考虑水平(两个方向)、垂直(两个方向)和对角线(两个方向)多个方向的导数时，则可得：

$f_{i,j}=g_{i,j}+\underset{m,n\∈\mathrm{\Ω}/\{i,j\}}{\mathrm{\Σ}}{\mathrm{\σ}}_{m,n}{D}_{m,n},\mathrm{\Ω}=\{m=i-1,i,i+1;n=j-1,j,j+1\}---\left(8\right)$

其中

${\mathrm{\σ}}_{m,n}=\frac{{\mathrm{\λb}}_{m,n}}{1+2{\mathrm{\λb}}_{m,n}},$ $b_{m,n}=\frac{{\mathrm{\φ}}^{\′}\left(D_{m,n}\right)}{{2D}_{m,n}},$ $D_{m,n}=\frac{g_{m,n}-g_{i,j}}{L_{m,n}},$

$L=\left(\begin{array}{ccc}\sqrt{2}& 1& \sqrt{2}\\ 1& 1& 1\\ \sqrt{2}& 1& \sqrt{2}\end{array}\right)$

上述的式(8)就是实际计算所采用的公式。

2)对图像f_i；j进行小波分解，分解成四个部分：低频子频段LLf、水平方向高频垂直方向低频子频段HLf、垂直方向高频水平方向低频子频段LHf和对角线方向高频子频段HHf。

3)对压缩后的图像g_i；j进行小波分解，分解成四个部分：低频子频段LLg、水平方向高频垂直方向低频子频段HLg、垂直方向高频水平方向低频子频段LHg和对角线方向高频子频段HHg。

上述的这两步是图像重构领域的常规操作，在此就不详细赘述了。

4)按照1)中的具体步骤，根据上述的式(8)对LLg进行正则化处理，得到LLg′。

接下来，实施步骤

5)对LLg′、HLf、LHf和HHf进行逆小波变换，得到重构的图像

此处的逆小波变换也是图像重构领域的常规操作，在此就不详细赘述了。

下面将讨论使用上述的图像重构方法所获得的实验结果。这里我们选取典型的遥感图像City、Factory、Xiamen、Shanghai、Hong Kong。这些图像是在压缩比为16∶1以后得到的图像，罚函数φ(t)取为log(1+t²)。由此获得的实验结果如表1所示。

图像	City	Factory	Xiamen	Shanghi	Hongng	Guangzhou	Sydney
								压缩图像的PSNR值	23.93	21.52	25.50	28.14	24.65	28.32	21.37
复原图像的PSNR值	24.15	21.68	25.64	28.30	24.75	28.40	21.42

表1

通过上述的实验结果表明，本发明所提出的压缩图像重构方法对边缘轮廓复杂的图像更有效，同时在更高压缩比下的压缩图像的重构同时有效。有关实验结果表明在主观质量和客观质量上都取得好的结果。

另外，需要特别强调的是，本发明提出的压缩图像的重构方法具有一般性。虽然在具体实施例部分只考虑了8个方向，但在实际中可以根据图像复杂度决定更多的方向，利用本发明所提供的基本框架可以平行得到相应的算法。这是本领域一般技术人员都能熟悉和胜任的基本技能，在此就不一一赘述了。

上面对本发明所提供的基于图像边缘特征的图像重构方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (3)

1.一种基于图像边缘特征的恢复图像重构方法，其特征在于包括如下步骤：

1)对压缩后的图像(g_i；j)进行正则化处理，得到图像(f_i；j)；

2)对图像(f_i；j)进行小波分解，分解成低频子频段(LLf)、水平方向高频垂直方向低频子频段(HLf)、垂直方向高频水平方向低频子频段(LHf)和对角线方向高频子频段(HHf)四个部分；

3)对压缩后的图像(g_i；j)进行小波分解，分解成低频子频段(LLg)、水平方向高频垂直方向低频子频段(HLg)、垂直方向高频水平方向低频子频段(LHg)和对角线方向高频子频段(HHg)四个部分；

4)按照步骤1)对低频子频段部分(LLg)进行正则化处理，得到处理后的低频子频段部分(LLg′)；

5)对步骤4)获得的处理后的低频子频段部分(LLg′)和步骤2)获得的水平方向高频垂直方向低频子频段(HLf)、垂直方向高频水平方向低频子频段(LHf)和对角线方向高频子频段(HHf)进行逆小波变换，得到重构的图像。

2.如权利要求1所述的基于图像边缘特征的图像重构方法，其特征在于：

所述步骤1)中，用多方向正则化项来表示图像的边缘特征。

3.如权利要求1所述的基于图像边缘特征的图像重构方法，其特征在于：

所述步骤1)中，当所述图像为遥感图像时，在水平、垂直和对角线方向上进行所述正则化处理。

Images