CN102254305A - 基于三字典块匹配的图像复原方法 - Google Patents

Abstract

本发明公开了一种基于三字典块匹配的图像复原方法，主要解决现有技术在图像复原时，无法锐化图像边缘且造成部分图像高频细节丢失的问题。本发明的技术方案为：首先输入一幅待处理模糊图像，并构造模糊字典D_b，清晰字典D_c和高频字典D_h；然后通过将待处理的模糊图像分块，分别找到各图像块在模糊字典D_b中最匹配的图像块；再利用三个字典间的一一对应关系恢复出低频结果图和高频结果图；最后将恢复出的低频结果图和高频结果图相加，得到最终的复原结果图。本发明在图像复原时，能够去除图像梯度效应，锐化图像边缘，恢复图像高频细节信息，提高模糊图像的恢复质量。可用于对各种已知模糊类型的模糊图像进行复原。

Description

基于三字典块匹配的图像复原方法

技术领域

本发明属于图像处理技术领域，具体地说是一种对模糊图像进行复原的方法，该方法可用于对各种已知模糊类型的模糊图像进行复原。

背景技术

图像复原是指去除或减轻在获取数字图像过程中发生的图像质量下降的现象，它是图像处理中重要而又富有挑战性的研究内容。对于图像复原问题，研究者已经提出了很多方法。

传统的复原方法有逆滤波，维纳滤波，卡尔曼滤波和广义逆的奇异值分解法等，这些方法已经被广泛地应用于图像复原上，但是这些方法要求模糊图像具有较高的信噪比，如逆滤波的方法仅适用于高信噪比的图像，这一点限制了传统的复原方法在实际中的应用。这些方法的另一个缺点就是在复原时，图像边缘不能很好地恢复，同时又丢失了一些细节信息。

上述经典的复原方法不但效果差，而且在实际应用中不能很好的实现。因此，目前国际上提出了一些改进上述缺点的图像复原方法。如，I.Daubechies等人提出基于小波的阈值迭代法，参见文献《An iterative thresholding algorithm for linear inverse problemswith a sparsity constraint》，Commun.Pure Appl.Math.，2004，Vol.57，No.11，pp.1413-1457。这种方法将两次迭代所得的复原结果的差值作为下一次迭代结果的补偿，是一种有效的复原方法。但是，这种方法是在小波域进行噪声抑制，容易产生振铃效应，且不能锐化图像边缘。此后，J.Bioucas-Dias等人将阈值迭代法进行了改进，参见文献《AnewTwIST：two-step iterative shrinkage/thresholding algorithms for image restoration》，IEEETrans.Image Process.，2007，Vol.16，No.12，pp.2992-3004。该方法的收敛速度比一般的阈值迭代法有所提高，同时，J.Bioucas-Dias等人在他们的代码示例中，将噪声系数转换到全变分域中进行抑制，去除了振铃效应，但是这种方法在图像的平滑区域容易产生阶梯效应，且不能很好的恢复图像高频细节。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于三字典块匹配的图像复原方法，以在图像复原时，能够去除图像梯度效应，锐化图像边缘，恢复图像高频细节信息，提高模糊图像的恢复质量。

实现本发明目的的技术方案为：通过将待处理的模糊图像分块，分别找到各图像块在模糊字典中最匹配的图像块，然后利用三个字典间的对应关系恢复出低频结果图和高频结果图，再将恢复出的低频结果图和高频结果图相加，得到最终的复原结果图。其具体步骤包括：

(1)输入一幅待处理模糊图像X_b，初始化模糊图像X_b的低频结果图X_l＝0，低频结果图X_l的大小与模糊图像X_b大小相同；初始化模糊图像X_b的高频结果图X_h＝0，高频结果图X_h的大小与模糊图像X_b相同；

(2)将待处理模糊图像X_b进行大小为5×5的分块，分块过程中相邻块之间重叠4个像素，得到图像块集合P＝{P(i)|i＝1，2，…，G}，初始化i＝1；

(3)设构造字典所用的清晰样本图像的个数M＝5，模糊字典D_b、清晰字典D_c和高频字典D_h分别含有的图像块数目N＝300000，聚类数目n＝600；

(4)对M幅清晰样本图像进行预处理并采样，分别得到模糊字典D_b，清晰字典D_c和高频字典D_h：

(4a)对M幅清晰样本图像用与待处理模糊图像X_b相同的模糊核进行模糊化，得到M幅模糊样本图像，对这M幅模糊样本图像分别按照从左到右，从上到下的顺序提取5×5的图像块，把得到的N个图像块排成一行，得到模糊字典D_b；

(4b)对M幅清晰样本图像分别按照从左到右，从上到下的顺序提取5×5的图像块，把得到的N个图像块排成一行，得到清晰字典D_c；

(4c)对M幅清晰样本图像进行高斯高通滤波，得到M幅高频图像，对这M幅高频图像分别按照从左到右，从上到下的顺序提取5×5的图像块，把得到的N个图像块排成一行，得到高频字典D_h；

(5)将模糊字典D_b中的所有图像块用k-means方法聚成n类，得到聚类中心集C＝{C(k)|k＝1，2，…，n}；

(6)提取模糊图像X_b中的第i个图像块P(i)，在聚类中心集C＝{C(k)|k＝1，2，…，n}中搜索与图像块P(i)最匹配的聚类中心C(j)，C(j)为聚类中心集C中的第j个图像块；

(7)搜索聚类中心C(j)子类中与图像块P(i)最匹配的前5个图像块P′_b(t)，t＝1，2，…，5，通过模糊字典D_b、清晰字典D_c和高频字典D_h这三个字典图像块之间的位置对应关系，分别找到清晰字典D_c中与P′_b(t)相对应的5个清晰图像块P′_c(t)和高频字典D_h中与P′_b(t)相对应的5个高频图像块P′_h(t)；

(8)通过非局部权重公式求出与图像块P(i)最匹配的5个图像块P′_b(t)对于图像块P(i)的权重系数w(t)，对清晰字典D_c中的5个清晰图像块P′_c(t)进行非局部协作处理，得到低频结果图像块P_l(i)；对高频字典D_h中的5个高频图像块P′_h(t)进行非局部协作处理，得到高频结果图像块P_h(i)，将P_l(i)和P_h(i)放到低频结果图X_l和高频结果图X_h中对应位置，同时将图像块P(i)的标记修改为i＝i+1；

(9)判断图像块标记i是否大于待处理模糊图像X_b中所含的图像块总数G，如果i＞G，则执行步骤(10)；否则，返回步骤(6)，直到满足条件i＞G为止；

(10)分别对低频结果图X_l和高频结果图X_h中的像素重叠部分求平均，得到求平均后的低频结果图

与求平均后的高频结果图

最终的复原结果图X为

与

相加之和，即 $X={\stackrel{\‾}{X}}_l+{\stackrel{\‾}{X}}_h.$

本发明与现有的技术相比具有以下优点：

1、本发明利用模糊字典D_b、清晰字典D_c和高频字典D_h之间的块匹配技术，与基于小波或全变分的图像复原方法相比，解决了复原结果图容易产生阶梯效应的问题；

2、本发明采用非局部协作处理方法重构复原图像，能够锐化图像边缘，且能够恢复更多的图像细节。

附图说明

图1是本发明的流程图；

图2是本发明建立的三个字典的子流程图；

图3是本发明中用三个字典块匹配方法进行图像复原的示意图；

图4是本发明在仿真实验中建立三个字典时用到的5幅清晰样本图像；

图5是本发明仿真实验中使用的Cameraman清晰图像；

图6是本发明仿真实验中使用的Cameraman模糊图像；

图7是本发明在仿真实验中得到的Cameraman复原图；

图8是用现有的基于小波的阈值迭代法在仿真实验中得到的Cameraman复原图；

图9是用现有的基于全变分的阈值迭代法在仿真实验中得到的Cameraman复原图。

具体实施方式

参照图1，发明的具体实现步骤如下：

步骤1，输入一幅待处理模糊图像X_b，初始化模糊图像X_b的低频结果图X_l为空矩阵，即X_l＝0，初始化模糊图像X_b的高频结果图X_h为空矩阵，即X_h＝0，该低频结果图X_l的矩阵大小和高频结果图X_h的矩阵大小均与待处理模糊图像X_b的大小相同。

步骤2，对待处理模糊图像X_b进行大小为5×5的分块，分块过程中相邻块之间重叠4个像素，得到图像块集合P＝{P(i)|i＝1，2，…，G}，初始化i＝1。

步骤3，设构造字典所用的清晰样本图像的个数M＝5，模糊字典D_b、清晰字典D_c和高频字典D_h分别含有的图像块总数目N＝300000，聚类数目n＝600。

步骤4，对M幅清晰样本图像进行预处理并采样，分别得到模糊字典D_b，清晰字典D_c和高频字典D_h。

参照图2，本步骤的具体实现如下：

(4a)对M幅清晰样本图像用与待处理模糊图像X_b相同的模糊核进行模糊化，得到M幅模糊样本图像，对这M幅模糊样本图像分别按照从左到右，从上到下的顺序提取5×5的图像块，把得到的N个图像块排成一行，得到模糊字典D_b；

(4b)对M幅清晰样本图像分别按照从左到右，从上到下的顺序提取5×5的图像块，把得到的N个图像块排成一行，得到清晰字典D_c；

(4c)对M幅清晰样本图像进行高斯高通滤波，得到M幅高频图像，对这M幅高频图像分别按照从左到右，从上到下的顺序提取5×5的图像块，把得到的N个图像块排成一行，得到高频字典D_h。

步骤5，将模糊字典D_b中的所有图像块，利用由Tapas Kanungo等人在文献《Anefficient k-means clustering algorithm：analysis and implementation》，IEEE transactions onpattern analysis and machine intelligence，2002，Vol.24，No.7，pp.881-892中提出的k-means方法聚成n类，得到聚类中心集C＝{C(k)|k＝1，2，…，n}。

步骤6，提取待处理模糊图像X_b中的第i个图像块P(i)，在聚类中心集C＝{C(k)|k＝1，2，…，n}中搜索与图像块P(i)最匹配的聚类中心，其搜索过程通过如下匹配度公式实现，即找出NORM1(k)，k＝1，2，…，n中的最小值NORM1(j)，则NORM1(j)对应的聚类中心C(j)就是与图像块P(i)最匹配的聚类中心，匹配度公式为：

NORM1(k)＝||P(i)-C(k)||²

其中，NORM1(k)为匹配度估计函数，C(k)为聚类中心集C＝{C(k)|k＝1，2，…，n}中的第k个聚类中心。

步骤7，在聚类中心C(j)的子类中搜索与图像块P(i)最匹配的5个图像块P′_b(t)，t＝1，2，…，5，其搜索过程通过如下匹配度公式实现，即找出NORM2(s)，s＝1，2，…，N中最小的前5个值，根据标记s找出相对应的D_b(s)中的5个图像块，得到与P(i)最相似的5个图像块，匹配度公式为：

NORM2(s)＝||P(i)-D_b(s)||²

其中，NORM2(s)为匹配度估计函数，图像块D_b(s)为第j个聚类中心C(j)所对应的子类中的图像块，也是模糊字典D_b中第s个图像块，s＝1，2，…，N。找出NORM2(s)中的最小的5个值，将对应的D_b(s)中的5个图像块赋值给图像块P′_b(t)，t＝1，2，…，5。

步骤8，通过图3所示模糊字典D_b、清晰字典D_c和高频字典D_h这三个字典中图像块之间的一一对应关系，分别找到清晰字典D_c中与P′_b(t)相对应的5个清晰图像块P′_c(t)和高频字典D_h中与P′_b(t)相对应的5个高频图像块P′_h(t)。

步骤9，通过非局部权重公式求出与图像块P(i)最匹配的5个图像块P′_b(t)对于图像块P(i)的权重系数w(t)，其计算公式为：

w(t)＝exp(-||P(i)-P′_b(t)||²/h)/c

其中，归一化因子调节参数h＝100，P′_b(t)为聚类中心C(j)的子类中与图像块P(i)最匹配的前5个图像块。

步骤10，对清晰字典D_c中的5个清晰图像块P′_c(t)进行非局部协作处理，得到低频结果图像块P_l(i)，其计算公式为：

$P_l\left(i\right)=\underset{t=1}{\overset{5}{\mathrm{\Σ}}}w\left(t\right)P_c^{\′}\left(t\right)$

其中，w(t)为权重系数，P′_c(t)为清晰字典D_c中与P′_b(t)相对应的5个清晰图像块。

步骤11，对高频字典D_h中的5个高频图像块P′_h(t)进行非局部协作处理，得到高频结果图像块P_h(i)，其计算公式为：

$P_h\left(i\right)=\underset{t=1}{\overset{5}{\mathrm{\Σ}}}w\left(t\right)P_h^{\′}\left(t\right)$

其中，w(t)为权重系数，P′_h(t)为高频字典D_h中与P′_b(t)相对应的5个高频图像块。

步骤12，将求得的低频结果图像块P_l(i)和高频结果图像块P_h(i)放到低频结果图X_l和高频结果图X_h中的对应位置，同时将图像块P(i)的标记修改为i＝i+1。

步骤13，判断图像块标记i是否大于模糊图像X_b中所含的图像块总数G，如果i＞G，则执行步骤(14)，否则，返回步骤(6)，直到满足条件i＞G为止。

步骤14，分别对低频结果图X_l和高频结果图X_h中的像素重叠部分求平均，得到求平均后的低频结果图

与求平均后的高频结果图

最终的复原图X为

与

相加之和，即 $X={\stackrel{\‾}{X}}_l+{\stackrel{\‾}{X}}_h.$

本发明的效果可以通过以下仿真实验进一步说明：

1.实验条件：实验所用计算机的CPU为Intel Core2 Duo 2.33GHz，内存为2GB，编程平台为Matlab R2009a。实验所用到的图像来源于标准图像库，分别为Cameraman，Peppers，Boats，图像大小均为256×256，实验中建立字典时所用的5幅清晰样本图像如图4所示。

实验参数设置为：模糊核函数矩阵H＝ones(9)/81，其中ones(9)为大小是9×9的全1矩阵；噪声为高斯白噪声，标准差σ＝2。

2.实验内容

用本发明和现有的基于小波的阈值迭代法、现有的基于全变分的阈值迭代法分别对图6所示的Cameraman模糊图像进行复原仿真，其中用本发明得到的Cameraman复原结果如图7，用现有的基于小波的阈值迭代法得到的Cameraman复原结果如图8；用现有的基于全变分的阈值迭代法得到的Cameraman复原结果如图9。

仿真实验中，应用峰值信噪比PSNR评价指标来评价复原结果的优劣，其PSNR的定义为：

$\mathrm{PSNR}={10\log }_{10}\left(\frac{{255}^2\×M\×N}{\mathrm{\Σ}{\left|\right|x-f\left|\right|}^2}\right)$

其中，f为清晰图像，x为复原后的图像，M和N为清晰图像f的像素行数和像素列数。

用本发明和现有的基于小波的阈值迭代法、基于全变分的阈值迭代法，分别对图像Cameraman，Peppers和Boats进行模糊图像复原仿真。应用峰值信噪比PSNR对复原结果图进行评价，评价结果如表1所示，其中，Alg1是本发明的方法，Alg2是基于小波的阈值迭代法，Alg3是基于全变分的阈值迭代法。

表1.本发明和两种对比方法在仿真实验中得到的PSNR值(单位为dB)

3.实验结果分析

对比本发明得到的复原图7、基于小波的阈值迭代法得到的复原图8和基于全变分的阈值迭代法得到的复原图9可以看出，图7所示的本发明得到的Cameraman复原结果不但有效地去除了模糊，使图像边缘清晰，同时还保留了更多的图像细节，更接近图5所示的原Cameraman清晰图像；图8所示的基于小波的阈值迭代法得到的复原结果中残留了许多噪声，并且产生了严重的锯齿和振铃效应；图9所示的基于全变分的阈值迭代法能够有效地抑制噪声，但是其复原结果过于平滑，丢失了图像的细节。

从表1中可以看出，本发明比其它两种对比方法具有更高的PSNR值，有更好的复原性能。

Claims (6)

1.一种基于三字典块匹配的图像复原方法，包括如下步骤：

(1)输入一幅待处理模糊图像X_b，初始化模糊图像X_b的低频结果图X_l＝0，低频结果图X_l的大小与模糊图像X_b大小相同；初始化模糊图像X_b的高频结果图X_h＝0，高频结果图X_h的大小与模糊图像X_b相同；

(2)将待处理模糊图像X_b进行大小为5×5的分块，分块过程中相邻块之间重叠4个像素，得到图像块集合P＝{P(i)|i＝1，2，…，G}，初始化i＝1；

(3)设构造字典所用的清晰样本图像的个数M＝5，模糊字典D_b、清晰字典D_c和高频字典D_h分别含有的图像块数目N＝300000，聚类数目n＝600；

(4)对M幅清晰样本图像进行预处理并采样，分别得到模糊字典D_b，清晰字典D_c和高频字典D_h：

(4a)对M幅清晰样本图像用与待处理模糊图像X_b相同的模糊核进行模糊化，得到M幅模糊样本图像，对这M幅模糊样本图像分别按照从左到右，从上到下的顺序提取5×5的图像块，把得到的N个图像块排成一行，得到模糊字典D_b；

(4b)对M幅清晰样本图像分别按照从左到右，从上到下的顺序提取5×5的图像块，把得到的N个图像块排成一行，得到清晰字典D_c；

(4c)对M幅清晰样本图像进行高斯高通滤波，得到M幅高频图像，对这M幅高频图像分别按照从左到右，从上到下的顺序提取5×5的图像块，把得到的N个图像块排成一行，得到高频字典D_h；

(5)将模糊字典D_b中的所有图像块用k-means方法聚成n类，得到聚类中心集C＝{C(k)|k＝1，2，…，n}；

(6)提取模糊图像X_b中的第i个图像块P(i)，在聚类中心集C＝{C(k)|k＝1，2，…，n}中搜索与图像块P(i)最匹配的聚类中心C(j)，C(j)为聚类中心集C中的第j个聚类中心；

(7)搜索聚类中心C(j)子类中与图像块P(i)最匹配的前5个图像块P′_b(t)，t＝1，2，…，5，通过模糊字典D_b、清晰字典D_c和高频字典D_h这三个字典图像块之间的位置对应关系，分别找到清晰字典D_c中与P′_b(t)相对应的5个清晰图像块P′_c(t)和高频字典D_h中与P′_b(t)相对应的5个高频图像块P′_h(t)；

(8)通过非局部权重公式求出与图像块P(i)最匹配的5个图像块P′_b(t)对于图像块P(i)的权重系数w(t)，对清晰字典D_c中的5个清晰图像块P′_c(t)进行非局部协作处理，得到低频结果图像块P_l(i)；对高频字典D_h中的5个高频图像块P′_h(t)进行非局部协作处理，得到高频结果图像块P_h(i)，将P_l(i)和P_h(i)放到低频结果图X_l和高频结果图X_h中对应位置，同时将图像块P(i)的标记修改为i＝i+1；

(9)判断图像块标记i是否大于待处理模糊图像X_b中所含的图像块总数G，如果i＞G，则执行步骤(10)；否则，返回步骤(6)，直到满足条件i＞G为止；

(10)分别对低频结果图X_l和高频结果图X_h中的像素重叠部分求平均，得到求平均后的低频结果图

与求平均后的高频结果图

最终的复原图X为

与

相加之和，即 $X={\stackrel{\‾}{X}}_l+{\stackrel{\‾}{X}}_h.$

2.根据权利要求1所述的基于三字典块匹配的图像复原方法，其中步骤(6)所述的在聚类中心集C＝{C(k)|k＝1，2，…，n}中搜索与图像块P(i)最匹配的聚类中心，其搜索过程通过如下匹配度公式实现，即找出NORM1(k)，k＝1，2，…，n中的最小值NORM1(j)，则NORM1(j)对应的聚类中心C(j)就是与图像块P(i)最匹配的聚类中心，匹配度公式为：

NORM1(k)＝||P(i)-C(k)||²

其中，NORM1(k)为匹配度估计函数，C(k)为聚类中心集C＝{C(k)|k＝1，2，…，n}中的第k个聚类中心；

3.根据权利要求1所述的基于三字典块匹配的图像复原方法，其中步骤(7)所述的在聚类中心C(j)所对应的子类中搜索与P(i)相匹配的前5个图像块P′_b(t)，t＝1，2，…，5，其搜索过程通过如下匹配度公式实现，即找出NORM2(s)，s＝1，2，…，N中最小的前5个值，根据标记s找出相对应的D_b(s)中的5个图像块，得到与P(i)最相似的5个图像块，匹配度公式为：

NORM2(s)＝||P(i)-D_b(s)||²

其中，NORM2(s)为匹配度估计函数，图像块D_b(s)是第j个聚类中心C(j)对应子类中的图像块，也是模糊字典D_b中的第s个图像块，s＝1，2，…，N。找出NORM2(s)中的最小的5个值，将对应的D_b(s)中的5个图像块赋值给图像块P′_b(t)，t＝1，2，…，5；

4.根据权利要求1所述的基于三字典块匹配的图像复原方法，其中步骤(8)所述的通过非局部权重公式求出与图像块P(i)最匹配的5个图像块P′_b(t)对于图像块P(i)的权重系数w(t)，其计算公式为：

w(t)＝exp(-||P(i)-P′_b(t)||²/h)/c

其中，归一化因子

调节参数h＝100，P′_b(t)为聚类中心C(j)的子类中与图像块P(i)最匹配的前5个图像块；

5.根据权利要求1所述的基于三字典块匹配的图像复原方法，其中步骤(8)所述的对清晰字典D_c中的5个清晰图像块P′_c(t)进行非局部协作处理，得到低频结果图像块P_l(i)，其计算公式为：

$P_l\left(i\right)=\underset{t=1}{\overset{5}{\mathrm{\Σ}}}w\left(t\right)P_c^{\′}\left(t\right)$

其中，w(t)为权重系数，P′_c(t)为清晰字典D_c中与P′_b(t)相对应的5个清晰图像块；

6.根据权利要求1所述的基于三字典块匹配的图像复原方法，其中步骤(8)所述的对高频字典D_h中的5个清晰图像块P′_h(t)进行非局部协作处理，得到高频结果图像块P_h(i)，其计算公式为：

$P_h\left(i\right)=\underset{t=1}{\overset{5}{\mathrm{\Σ}}}w\left(t\right)P_h^{\′}\left(t\right)$

其中，w(t)为权重系数，P′_h(t)为高频字典D_h中与P′_b(t)相对应的5个高频图像块。

Images