CN102800055B - 图像盲去模糊的低秩分解方法 - Google Patents

Abstract

本发明公开了一种图像盲去模糊的低秩分解方法，主要解决现有技术在图像盲去模糊时不能良好的恢复图像边缘和高频细节的问题。其实现过程为：(1)利用频域迭代法对模糊图像b进行预恢复，得到迭代图像和模糊核i＝1,2,3...45；(2)对迭代图像i＝1,2,3...45中的每幅图像做归一化处理，得到规范的迭代图像i＝1,2,3...45；(3)将规范的迭代图像i＝1,2,3...45中的每幅图像都拉成一列，按照i＝1,2,3...45的顺序排成高维数据M；(4)计算高维数据M的低秩矩阵L；(5)把低秩矩阵L的每一列还原成图像，得到低秩图像rⁱ，i＝1,2,3...45；(6)对低秩图像rⁱ，i＝1,2,3...45做均值处理，得到最终清晰图像F。本发明能够充分利用每次迭代的图像信息，去除振铃效应，恢复出清晰且细节丰富的图像，可用于对各种模糊图像进行盲去模糊。

Description

图像盲去模糊的低秩分解方法

技术领域

本发明属于图像处理技术领域，具体地说是一种对模糊图像进行盲去模糊方法，该方法可用于对各种未知模糊类型的模糊图像进行去模糊。

背景技术

图像去模糊的目的是从观测到的模糊图像重新估计原始图像。图像去模糊的分为两大类：图像非盲去模糊和图像盲去模糊。如果图像的退化过程已知，即模糊核已知，则这类图像去模糊的问题称为图像非盲去模糊，这类问题已经研究的非常纯熟，现有很多技术可以得到非常清晰的解；如果图像的模糊核是未知的，则这类图像去模糊的问题称为图像盲去模糊。由于此类问题中图像可以利用的经验知识比较少，使得图像盲去模糊更加困难，但是此类问题更符合实际需求，因而图像盲去模糊问题成为现代研究的热点。

图像盲去模糊传统上分为参数法和迭代法两类算法。所谓参数法，即模型参数法，就是将模糊核和真实图像用某一类模型加以描述，但模型的参数需要进行辨识。在参数法中，典型的有先验模糊辨识和ARMA参数估计法。缺点是计算量太大，解非唯一以及估计算法往往不稳定，效果差。所谓的迭代法，不是通过建立模型而是通过算法的迭代过程，加上有关真实图像和模糊核的约束来辨识模糊核和真实图像的方法。迭代法是图像盲复原算法中应用最广泛的一类算法。比较经典的是Ayers和Dainty于1988年提出的基于单帧的迭代盲目去卷积方法。它用先验知识来对图像进行非负性限制，在每一次迭代中可以通过简单的逆滤波得到图像和模糊核的估计。但是这种图像算法古老，对噪声敏感，迭代时间也非常的长。

上述经典的盲去模糊方法不但效果差而且在实际应用中不能很好的实现，因此，目前国际上提出了一些改进上述缺点的图像盲去模糊方法。Rob Fergus等人提出基于图像梯度分布的贝叶斯方法，参见文章《Removing Camera shake from a SinglePhotograph》。这种方法分析了图像的梯度分布，用曲线对梯度分布进行拟合，先求出模糊核，再用经典的L-R迭代法进行图像的非盲复原。这种方法虽然在一定程度上能去除模糊，但是会产生严重的振铃效应，不能良好的恢复图像，且仅仅利用了一副图像的信息，恢复的图像细节信息不够。Dilip Krishman等人运用模糊核和图像的先验特性，用迭代求解的方式进行去模糊，参见文章《Blind Deconvolution Using aNormalized Sparsity Measure》。该方法能较好的恢复图像的边缘。但是，这种方法的求出的图像太过锐化，产生失真，并且这种方法也只是输出迭代中的最后一幅图像，不能有效的利用图像的全部信息，因此恢复结果缺少高频细节。

发明内容

本发明的目的在于克服上述已有技术的不足，提出基于低秩的图像盲去模糊方法，以更好的去除振铃效应和失真，获得更多的图像细节信息。

实现本发明目的的技术方案是：利用图像的先验信息，在频域与时域迭代的求解过程中得到多幅图像与模糊核，把迭代过程中得到的所有图像进行低质处理得到低秩图像，然后对低秩图像做均值即得到最终的清晰图像。其步骤包括：

(1)输入模糊图像b；

(2)对模糊图像b预恢复，得到更新后的迭代图像和更新后的模糊核

(3)对更新后的迭代图像i＝1,2,3...45中的每幅图像做归一化处理，得到规范的迭代图像i＝1，2,3...45；

(4)将规范的迭代图像i＝1,2,3...45中的每幅图像都拉成一列，按照i＝1,2,3...的顺序排成高维数据M；

(5)根据高维数据M计算低秩矩阵L：

5a)输入高维数据M，并设置迭代标记t＝0，迭代误差ε为0.001；

5b)按照以下计算迭代低秩矩阵L^t和判定矩阵S：

$L^t=Y_3\×{(Y_1\×Y_3)}^{-1}\×Y_2^{-1},$

S＝ρ₂₀₀₀₀(M-L^t)，

其中，矩阵Y₁为中间变量：Y₁＝(M×A)^T，A为高斯随机矩阵，(·)^T表示矩阵(·)的转置；矩阵Y₂为中间变量：Y₂＝M^T×Y₁，M^T是M的矩阵转置；矩阵Y₃为中间变量：Y₃＝M×Y₂；ρ₂₀₀₀₀(·)表示设置(·)中的后20000个元素为0；

5c)判断下述条件是否成立：式中，表示矩阵二范数的平方；如果成立则停止迭代，并将最终的迭代低秩矩阵L^t作为所求的低秩矩阵L，否则返回步骤5b)；

(6)把低秩矩阵L的每一列用matlab软件中的reshape函数还原成图像，得到低秩图像rⁱ，i＝1,2,3...45；

(7)按以下公式对低秩图像rⁱ做均值处理，得到最终清晰图像F：

$F=\frac{{\mathrm{\Σ}}_{i=1}^{45}{r}^i}{45}.$

本发明改进了传统算法中恢复图像细节信息少的缺点，引入了频域迭代的思想，利用多幅图像的先验信息，运用低秩的算法获得了清晰图像，具有良好的去模糊效果。仿真实验表明，本发明能有效的恢复模糊图像、去除振铃效应、增加图像的高频信息并且减少图像失真，使去模糊后的图像更符合人们的视觉感受。

附图说明

图1是本发明的流程图；

图2是本发明和现有方法仿真应用的Cameraman256清晰图像；

图3是本发明和现有方法仿真应用的Cameraman256模糊图像；

图4是本发明对图3的去模糊结果图；

图5是现有的基于图像梯度分布的方法对图3的去模糊结果图；

图6是现有的基于先验特性的方法对图3的去模糊结果图；

图7是本发明模拟模糊图像时用到的第一种模糊核；

图8是本发明模拟模糊图像时用到的第二种模糊核。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，对模糊图像b预恢复，得到更新后的迭代图像和更新后的模糊核

1a)设置迭代标记为i＝1，迭代最大值为imax＝45，设置迭代图像yⁱ的初始值y⁰为模糊图像b，模糊核kⁱ的初始值k⁰为高斯脉冲函数；

1b)按照下列公式计算迭代图像yⁱ：

$y^i=\mathrm{IFFT}[{(1-\mathrm{\α})P}^{i-1}+\mathrm{\α}\frac{{\mathrm{XW}}^{*i-1}/{\mathrm{\δ}}^2}{{\left|W^{i-1}\right|}^2/{\mathrm{\δ}}^2+{\mathrm{\λ}}_2}],$

其中α，λ₂为两个不同的调节参数，α＝0.9，λ₂＝0.00001，W^i-1为模糊核k^i-1的频域表示，W^*i-1为W^i-1的共轭，P^i-1为上一次迭代求得的迭代图像y^i-1的频域表示，X为模糊图像的b频域表示，IFFT[·]为傅里叶逆变换，δ为迭代图像y^i-1的噪声方差，式中，N为迭代图像y^i-1的总列数，m是求和的索引号，z_m是迭代图像y^i-1的第k列元素；

1c)运用基于局部多项式置信区间交叉的方法更新迭代图像yⁱ，得到更新后的图像

其中，基于局部多项式置信区间交叉的方法参见V.Katkovnik等人发表的《Adaptive window size image denoising based on intersection of condence intervals(ICI)rule》,Journal ofMathematical Imaging and Vision,vol.16,pp.223-235,2002；

1d)按照下列公式，计算模糊核kⁱ：

$k^i=\mathrm{IFFT}[(1-\mathrm{\β})W^{i-1}+\mathrm{\β}\frac{{\mathrm{XP}}^{*i}/{\mathrm{\δ}}^2}{{\left|P^i\right|}^2/{\mathrm{\δ}}^2+{\mathrm{\λ}}_3}],$

其中β，λ₃为两个不同的调节参数，β＝0.6，λ₃＝0.00001，Pⁱ为更新后的迭代图像的频域表示，P^*i为Pⁱ的共轭，W^i-1为上一次迭代得到的模糊核k^i-1的频域表示，X为模糊图像b的频域表示，IFFT[·]为傅里叶逆变换，δ为模糊核k^i-1的噪声方差，式中，N为模糊核k^i-1的总列数，m是求和的索引号，z_m是模糊核k^i-1的第m列元素；

1e)利用基于局部多项式置信区间交叉的方法更新模糊核kⁱ，得到更新后的模糊核并且设置迭代索引i＝i+1；

其中，基于局部多项式置信区间交叉的方法参见V.Katkovnik等人发表的《Adaptive window size image denoising based on intersection of condence intervals(ICI)rule》,Journal ofMathematical Imaging and Vision,vol.16,pp.223-235,2002；

1f)将迭代索引i的值与迭代最大值imax进行比较，如果迭代索引i的值大于迭代最大值imax，则停止迭代，输出更新后的迭代图像i＝1,2,3...45和更新后的模糊核i＝1,2,3...45；否则返回步骤1b)。

步骤2，对更新后的迭代图像中的每幅图像进行归一化处理，得到规范的迭代图像i＝1，2,3...45。

其中图像的归一化按如下公式计算：

$y_g^i=\frac{y_s^i-\min }{\max -\min },$

式中，min是指每幅迭代图像中的最小值，max是指迭代图像中的最大值。

步骤3，形成高维数据M，并计算高维数据M的低秩矩阵L。

3a)将规范的迭代图像i＝1,2,3...45中的每幅图像都拉成一列，按照i＝1,2,3...45的顺序排成高维数据M；

3b)设置迭代标记t＝0，设置迭代误差ε为0.001；

3c)按照以下计算迭代低秩矩阵L^t和判定矩阵S：

$L^t=Y_3\×{(Y_1\×Y_3)}^{-1}\×Y_2^{-1},$

S＝ρ₂₀₀₀₀(M-L^t)，

其中，矩阵Y₁为中间变量：Y₁＝(M×A)^T，A为高斯随机矩阵，(·)^T表示矩阵(·)的转置；矩阵Y₂为中间变量：Y₂＝M^T×Y₁，M^T是M的矩阵转置；矩阵Y₃为中间变量：Y₂＝M×Y₂；ρ₂₀₀₀₀(·)表示设置(·)中的后20000个元素为0；

3d)判断下述条件是否成立：式中，表示矩阵二范数的平方；如果成立则停止迭代，并将最终的迭代低秩矩阵L^t作为所求的低秩矩阵L，否则返回步骤3c)。

步骤4，获得低秩图像rⁱ，i＝1,2,3...45，并对其做均值处理，得到最终清晰图像F；

4a)把低秩矩阵L的每一列用matlab软件中的reshape函数还原成图像，得到低秩图像rⁱ，i＝1,2,3...45

4b)按以下公式对低秩图像rⁱ，i＝1,2,3...45做均值处理，得到最终清晰图像F：

$F=\frac{{\mathrm{\Σ}}_{i=1}^{45}{r}^i}{45},$

其中，i是求和的索引号。

本发明的效果可以通过以下实验具体说明：

1．实验条件：实验所用微机的CPU为Intel Core2 Duo 2.33GHz，内存为2GB，编程平台为Matlab R2009a。实验所用到的图像来源于标准图像库，分别为Lena512，Lena256，Cameraman256大小均为256×256。

2．实验内容与结果分析

本实验仿真利用了5种模拟模糊核H₁、H₂、H₃、H₄和H₅对图2所示的原始图像进行模拟模糊，形成八幅模糊图像，其中：模糊核H₁为角度为60度、位移为15的运动模糊滤波器；模糊核H₂为角度为90度、位移为13的运动模糊滤波器；模糊核H₃为角度为60度、位移为10的运动模糊滤波器；模糊核H₄为如图7所示的大小为27×27的自然模糊核；模糊核H₅为如图8所示的大小为25×25的自然模糊核。

用本发明和现有的基于图像梯度分布的法和基于先验特性的方法分别对所有模糊图像进行去模糊得到的恢复结果的评价指标见表一；其中，用本发明的方法对图3所示的模糊核为H₄的模糊图像Cameraman256进行去模糊得到的恢复结果如图4所示，用现有的基于图像梯度分布的方法对图3所示的模糊核为H₄的模糊图像Cameraman256进行去模糊得到的恢复结果如图5所示，用现有的基于先验特性的方法对图3所示的模糊核为H₄的模糊图像Cameraman256进行去模糊，得到的恢复结果如图6所示。

从图4可见，本发明对图3进行去模糊的结果有丰富的高频细节，图4中人物的衣服和相机的边缘都恢复的非常清晰且没有振铃效应，更接近如图2所示的原始图像；

从图5可见，现有的基于图像梯度分布的方法对图3进行去模糊的结果有很严重的振铃效应，图5中人物的衣服和头发附近有很多重影，且图像边缘恢复不清晰，丢失了很多细节信息，与图2所示的原始图像相差很多；

从图6可见，现有的基于先验特性的方法对图3进行去模糊的结果产生了失真，图6中的相机附近仍然有很多重影，影响了人们的视觉感受，与图2所示的原始图像相差很多。

实验中，应用峰值信噪比PSNR评价指标来评价去模糊结果的优劣，PSNR的定义为：

$\mathrm{PSNR}=10{\log }_{10}\left(\frac{{255}^2\×M\×N}{\mathrm{\Σ}{\left|\right|x-f\left|\right|}^2}\right),$

其中，f为清晰图像，x为去模糊后的图像，M和N为清晰图像f的像素行数和像素列数。

表1.本发明和对比方法在不同实验设置下得到的PSNR值

测试图像	模糊类型	Alg1	Alg2	Alg3
					Lena512	H1	25.8704	25.0827	22.1413
Lena512	H2	27.1087	23.8307	17.9038
					Lena512	H4	22.3861	21.5217	22.2629
Lena256	H3	30.9472	25.7729	20.6522
					Lena256	H5	22.0535	21.2611	21.0040
Cameraman256	H3	28.3214	22.1305	20.9526
					Cameraman256	H4	20.3582	19.7711	19.8500
Cameraman256	H5	20.4247	19.4867	19.1495

表1中Alg1是本发明的方法，Alg2是现有的基于图像梯度分布的方法，Alg3是现有的基于先验特性的方法；从表1中可以看出，本发明比其它两种对比方法具有更高的PSNR值，有更好的去模糊性能。

Claims (3)

1.一种图像盲去模糊的低秩分解方法，包括如下步骤：

(1)输入模糊图像b；

(2)对模糊图像b预恢复，得到更新后的迭代图像和更新后的模糊核

(3)对更新后的迭代图像i＝1,2,3...45中的每幅图像做归一化处理，得到规范的迭代图像i＝1,2,3...45；

(4)将规范的迭代图像i＝1,2,3...45中的每幅图像都拉成一列，按照i＝1,2,3...45的顺序排成高维数据M；

(5)根据高维数据M计算低秩矩阵L：

5a)输入高维数据M，并设置迭代标记t＝0，迭代误差ε为0.001；

5b)按照以下计算迭代低秩矩阵L^t和判定矩阵S：

$L^t=Y_3\×{(Y_1\×Y_3)}^{-1}\×Y_2^{-1},$

S＝ρ₂₀₀₀₀(M-L^t)，

其中，矩阵Y₁为中间变量：Y₁＝(M×A)^T，A为高斯随机矩阵，(·)^T表示矩阵(·)的转置；矩阵Y₂为中间变量：Y₂＝M^T×Y₁，M^T是M的矩阵转置；矩阵Y₃为中间变量：Y₃＝M×Y₂；ρ₂₀₀₀₀(·)表示设置(·)中的后20000个元素为0；

5c)判断下述条件是否成立：式中，表示矩阵二范数的平方；如果成立则停止迭代，并将最终的迭代低秩矩阵L^t作为所求的低秩矩阵L，否则返回步骤5b)；

(6)把低秩矩阵L的每一列用matlab软件中的reshape函数还原成图像，得到低秩图像rⁱ，i＝1,2,3...45；

(7)按以下公式对低秩图像rⁱ做均值处理，得到最终清晰图像F：

$F=\frac{{\mathrm{\Σ}}_{i=1}^{45}{r}^i}{45}.$

2.根据权利要求1所述的图像盲去模糊的低秩分解方法，其中步骤(2)中所述的对模糊图像b预恢复，按如下步骤进行：

2a)设置迭代索引为i＝1，迭代最大值为imax＝45，将迭代图像yⁱ的初始值y⁰设置为模糊图像b，将模糊核kⁱ的初始值k⁰设置为高斯脉冲函数；

2b)按照下列公式计算迭代图像yⁱ：

$y^i=\mathrm{IFFT}[(1-\mathrm{\α})P^{i-1}+\mathrm{\α}\frac{{\mathrm{XW}}^{*i-1}/{\mathrm{\δ}}^2}{{\left|W^{i-1}\right|}^2/{\mathrm{\δ}}^2+{\mathrm{\λ}}_2}],$

其中α，λ₂为两个不同的调节参数，α＝0.9，λ₂＝0.00001，W^i-1为模糊核k^i-1的频域表示，W^*i-1为W^i-1的共轭，P^i-1为上一次迭代求得的迭代图像y^i-1的频域表示，X为模糊图像的b频域表示，IFFT[·]为傅里叶逆变换，δ为迭代图像y^i-1的噪声方差，式中，N为迭代图像y^i-1的总列数，m是求和的索引号，z_m是迭代图像y^i-1的第k列元素；

2c)运用基于局部多项式置信区间交叉的方法更新迭代图像yⁱ，得到更新后的图像

2d)按照下列公式，计算模糊核kⁱ：

$k^i=\mathrm{IFFT}[(1-\mathrm{\β})W^{i-1}+\mathrm{\β}\frac{{\mathrm{XP}}^{*i}/{\mathrm{\δ}}^2}{{\left|P^i\right|}^2/{\mathrm{\δ}}^2+{\mathrm{\λ}}_3}],$

其中β，λ₃为两个不同的调节参数，β＝0.6，λ₃＝0.00001，Pⁱ为更新后的迭代图像的频域表示，P^*i为Pⁱ的共轭，W^i-1为上一次迭代得到的模糊核k^i-1的频域表示，X为模糊图像b的频域表示，IFFT[·]为傅里叶逆变换，δ为模糊核k^i-1的噪声方差，式中，N为模糊核k^i-1的总列数，m是求和的索引号，z_m是模糊核k^i-1的第m列元素；

2e)利用基于局部多项式置信区间交叉的方法更新模糊核kⁱ，得到更新后的模糊核并且设置迭代索引i＝i+1；

2f)判断如果迭代索引i的值大于迭代最大值imax，则返回步骤2b)，否则停止迭代，输出更新后的迭代图像i＝1,2,3...45和更新后的模糊核i＝1,2,3...45。

3.根据权利要求1所述的图像盲去模糊的低秩分解方法，其中步骤(3)中所述的对更新后的迭代图像中的每幅图像做归一化处理得到规范的迭代图像i＝1,2,3...45，按如下公式计算：

$y_g^i=\frac{y_s^i-\min }{\max -\min },$

其中，min是指迭代图像中的最小值，max是指迭代图像中的最大值。