CN106709877A - 一种基于多参数正则优化模型的图像去模糊方法 - Google Patents

Abstract

本发明公开了一种基于多参数正则优化模型的图像去模糊方法，所述图像去模糊方法包括以下步骤：通过将吉洪诺夫正则项与Huber函数进行结合，构建多参数的正则优化模型，该模型用于对图像进行去模糊处理；将多参数的正则优化模型转换为增广拉格朗日函数的形式；通过交替方向最小化算法求解上述增广拉格朗日函数，重建出原始散焦图像对应的全聚焦图像。本发明提出的图像去模糊方法可以对灰度图像，文本图像、非文本图像和低照度图像去模糊，恢复的图像包含更加丰富的细节纹理，更少的失真，没有伪影现象，更加清晰自然。

Description

一种基于多参数正则优化模型的图像去模糊方法

技术领域

本发明涉及图像去模糊领域，尤其涉及一种基于多参数正则优化模型的图像去模糊方法，该方法提出一个多参数正则优化模型，该模型能够用来重建全聚焦图像。

背景技术

图像去模糊是计算机视觉领域中的一个重要的研究课题。图像模糊过程可以建模为一个潜在清晰图像与一个未知的点扩散函数的卷积，其中点扩散函数能够用来描述模糊的成因。于是，图像去模糊可以定义为一个解卷积过程，其主要目的是反向求解上述卷积过程，重建出潜在的清晰图像。

对于图像去模糊问题，最近几年相继出现了很多图像去模糊算法，这些算法可以被分为两大类：盲去模糊方法和非盲去模糊方法。当一幅图像的模糊内核未知时，对图像进行解卷积处理被称为图像的盲去模糊。近年来，陆续有学者提出一些图像盲去模糊算法。Cho等人^[1]指出一些受到模糊的强边缘包含丰富的信息，可以被用来辅助模糊内核的估计和图像重建。Pan等人^[2]通过输入图像中的结构信息辅助模糊内核的估计，并且在重建图像时使用一种自适应的空间加权先验来恢复图像中的纹理细节信息。Liu等人^[3]指出模糊过程会造成图像的频率降低，然后通过分析输入图像的频谱在模糊前后的差异来进行模糊内核估计和图像重建。Perrone等人^[4]指出在进行图像重建时，对模糊内核进行归一化约束可以保证正则优化模型的快速收敛。在实际执行中，上述这些盲去模糊算法需要在一个联合优化框架中同时对模糊内核和潜在清晰图像进行计算。但是，这种联合计算方式在寻找精确解时存在局限性，这是因为联合求解可能会导致求解过程陷入局部最优解，而不是全局最优解。

非盲去模糊算法首先对图像的模糊内核进行估计，然后利用估计出的模糊内核重建出潜在的清晰图像。Song等人^[5]通过将图像梯度直方图参数和一个非盲去模糊技术进行结合，来重建潜在清晰图像。Xu等人^[6]通过构建一个稀疏L₀表达式来估计未知的模糊内核，然后采用Hyper-Laplacian先验来消除运动模糊。Hu等人^[7]指出存在于图像中的结构信息可以用来估计模糊内核，提出一个基于条件随机场(CRF)的学习模型，该模型能够自动地选取出图像中一些包含丰富结构信息的图像区域来估计模糊内核。Pan等人^[8]提出一种基于图像亮度和梯度的L₀-正则化先验进行文本图像的去模糊，并构建出一种基于半二次方分裂最小化的高效求解算法，该方法能够保证正则优化模型中的每个子问题都具有封闭形式解，并确保其快速收敛。但是上述算法不适用于光学散焦图像的去模糊处理。本方法所提模型有效地解决了这一问题，可以从光学散焦图像中重建出清晰的全聚焦图像。

发明内容

本发明提供了一种基于多参数正则优化模型的图像去模糊方法，本发明利用交替方向最小化算法求解多参数正则模型的优化问题，能够重建出原始散焦图像对应的全聚焦图像，详见下文描述：

一种基于多参数正则优化模型的图像去模糊方法，所述图像去模糊方法包括以下步骤：

通过将吉洪诺夫正则项与Huber函数进行结合，构建多参数的正则优化模型，该模型用于对图像进行去模糊处理；

将多参数的正则优化模型转换为增广拉格朗日函数的形式；

通过交替方向最小化算法求解上述增广拉格朗日函数重建出原始散焦图像对应的全聚焦图像。

所述多参数的正则优化模型具体为：

其中，是保真项，α是平衡保真项的权值参数、μ₁和μ₂是正则项的权值参数。是吉洪诺夫正则化项的离散形式，表示像素点i在水平和垂直方向的一阶有限差分；▽₁和▽₂是两个线性差分算子，f是潜在清晰图像；d是现有的散焦模糊图像，h表示二维高斯模糊内核；φ(G_if)是Huber函数。

所述增广拉格朗日函数的形式具体为：

其中，κ_i是拉格朗日乘子，用来约束z_i＝G_if，γ是一个正尺度参数，f,z,κ分别为待重建的潜在清晰图像，引入的辅助矩阵，引入的拉格朗日乘子矩阵。

所述通过交替方向最小化算法求解上述增广拉格朗日函数重建出原始散焦图像对应的全聚焦图像的步骤具体为：

输入散焦模糊图像d，二维高斯模糊内核h，初始拉格朗日乘子κ⁰；将初始的清晰图像估计为f⁰＝d，初始化κ⁰＝0；

利用循环迭代方法重建原始的清晰图像。

本发明提供的技术方案的有益效果是：本发明提出的图像去模糊方法可以对灰度图像，文本图像、非文本图像和低照度图像去模糊，恢复的图像包含更加丰富的细节纹理，更少的失真，没有伪影现象，更加清晰自然。

附图说明

图1为一种基于多参数正则优化模型的图像去模糊方法的流程图；

图2为非文本图像的去模糊实验结果的示意图；

图3为灰度图像的去模糊实验结果的示意图；

图4为文本图像的去模糊实验结果的示意图；

图5为低照度图像的去模糊实验结果的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了获得高质量的全聚焦图像，本发明实施例构建出一个多参数的正则优化模型，该模型创新性地将吉洪诺夫正则项^[9]与Huber函数^[10]进行结合，其中吉洪诺夫正则项能够很好地针对图像的平滑区域进行去噪处理，Huber函数能够有效地保留一幅图像中的高频成分。本发明实施例将上述两个正则项进行结合来获得更好的图像重建结果。

实施例1

本发明实施例提供了一种基于多参数正则优化模型的图像去模糊方法，参见图1，该方法包括以下步骤：

101：通过将吉洪诺夫正则项与Huber函数进行结合，构建多参数的正则优化模型，该模型用于对图像进行去模糊处理；

102：将多参数的正则优化模型转换为增广拉格朗日函数的形式；

103：通过交替方向最小化算法^[11]求解上述增广拉格朗日函数重建出原始散焦图像对应的全聚焦图像。

综上所述，本发明实施例提出的图像去模糊方法可以对灰度图像，文本图像、非文本图像和低照度图像去模糊，恢复的图像包含更加丰富的细节纹理，更少的失真，没有伪影现象，更加清晰自然。

实施例2

下面结合具体的计算公式，对实施例1中的方案进行详细介绍，详见下文描述：

201：构建多参数的正则优化模型，该模型用于对图像进行去模糊处理：

其中，图像模糊过程表示为：

d＝hf+r (1)

其中，是现有的散焦模糊图像，h表示二维高斯模糊内核，是潜在清晰图像，hf表示将h与f进行卷积运算，r表示加性噪声；表示一个n²维的实数空间。

给定散焦图像提出一个多参数的正则优化模型来重建清晰图像f，该模型可表示为：

其中，是保真项，α是平衡保真项的权值参数、μ₁和μ₂是正则项的权值参数。是吉洪诺夫正则化项的离散形式，表示像素点i在水平和垂直方向的一阶有限差分；φ(G_if)为Huber函数。其中▽₁和▽₂是两个线性差分算子。

在正则优化模型中，吉洪诺夫正则项针对图像的平滑区域具有很强的噪声处理能力，但是，该正则项将会造成图像中高频成份的损失。另外一个正则项为n²个Huber函数之和该正则项可以有效保留一幅图像中的高频成分。假定β＞＞0，可以表示为：

其中，β为正参数；表示从二维实数域降到一维实数域；s表示自变量。

本发明实施例将上述两个正则项进行结合，通过引入辅助变量z_i，将构建出的正则优化模型改写成增广拉格朗日函数的形式：

其中，κ_i是拉格朗日乘子，用来约束z_i＝G_if，γ是一个正尺度参数，f,z,κ分别为待重建的潜在清晰图像，引入的辅助矩阵，引入的拉格朗日乘子矩阵。

202：输入散焦模糊图像d，二维高斯模糊内核h，初始拉格朗日乘子κ⁰；

203：将初始的清晰图像估计为f⁰＝d，初始化κ⁰＝0；

204：利用循环迭代方法重建原始的清晰图像。

其中，每一次循环产生清晰度增加的图像，最后通过k次循环迭代重建出最终的清晰图像，每一次迭代过程产生清晰图像f^k+1的过程如下：

(1)利用f^k和κ^k计算z^k+1；f^k、κ^k和z^k+1分别为：第k次迭代重建的清晰图像，第k次迭代生成的拉格朗日乘子，第k+1次迭代生成的辅助变量。

首先通过固定f^k和κ^k计算z^k+1，z^k+1可以利用下述公式求解：

根据文献[11]的方法，通过求解上式，z^k+1的解为：

(2)利用z^k+1和κ^k计算f^k+1；f^k+1为第k+1次迭代重建的清晰图像。

接下来通过固定z^k+1和κ^k计算f^k+1，f^k+1可以利用下述公式求解：

将式(7)表示为凸二次函数为：

其中，T表示矩阵的转置。

式(8)可以解析地求解。将式(8)两端对f求导并令导数等于零：

此时f满足下式：

假定卷积具有周期性，G_i是分块循环矩阵，式(10)的闭式解在频域可以表示为：

其中，和分别表示离散傅里叶变换(DFT)和离散傅里叶逆变换，是复共轭算子。

(3)利用z^k+1和f^k+1计算κ^k+1

固定z^k+1和f^k+1计算κ^k+1，κ^k+1可以利用下述公式求解：

κ^k+1＝κ^k-ζγ(z^k+1-Gf^k+1) (12)

其中，表示κ每次更新的步长，用来确保正则优化模型的收敛。

(4)迭代终止条件为：

当k＝500时满足迭代终止条件，从而输出最终重建的清晰图像。

综上所述，本发明实施例提出的图像去模糊方法可以对灰度图像，文本图像、非文本图像和低照度图像去模糊，恢复的图像包含更加丰富的细节纹理，更少的失真，没有伪影现象，更加清晰自然。

实施例3

下面结合具体的附图、以及实验数据对实施例1和2中的方法进行可行性验证，详见下文描述：

本发明实施例通过主观实验结果对比和客观LR准则的评价分数来证实算法的有效性。本发明实施例构建的正则优化模型的参数设置为：α＝22,μ₁＝0.9,μ₂＝0.1和γ＝10，表示κ每次更新的步长，用来确保正则优化模型的收敛。

1、主观实验

本发明实施例所提方法分别与快速图像去模糊算法^[1]，基于频谱特性的图像去模糊算法^[3],基于全变分的图像去模糊算法^[4],基于稀疏表示的自然图像去模糊算法^[6]进行比较，实验结果对比如图2、图3、图4、以及图5所示。

在图2(a)和(b)中，本方法能够恢复更多的纹理信息。比如：第一幅图像中的篮子和木纹区域，本方法的实验结果比其余三种算法的结果包含更加丰富的细节纹理。在图2(c)中，快速图像去模糊算法^[1]和基于全变分的图像去模糊算法^[4]的结果出现很明显的伪影，通过对比，本方法的结果更加清晰自然。

基于频谱特性的图像去模糊算法^[3]能够对灰度图像进行去模糊。对比实验结果如图3所示。从图3中可以看出，本方法能够比基于频谱特性的图像去模糊算法^[3]恢复出更多的纹理细节信息。

图4给出了一些包含文本信息的散焦模糊图像的实验对比结果。图4的第2行和第4行分别是快速图像去模糊算法^[1]和基于全变分的图像去模糊算法^[4]的实验结果，这两种算法虽然可以对图像中的纹理信息进行恢复，但是重建出的图像出现很多伪影现象，从而影响整体的重建质量。通过对比，本方法的实验结果含有较少的图像失真，看起来更加自然。图4的第3行是基于稀疏表示的自然图像去模糊算法^[6]的实验结果，该算法重建出的图像含有较少的失真现象，但是可以看到，本方法的重建结果比算法[6]的重建结果更加清晰。

图5给出了一些低照度散焦模糊图像的实验对比结果，其中图5(a)是原始低照度图像，图5(b-e)是快速图像去模糊算法^[1]，基于全变分的图像去模糊算法^[4]，基于稀疏表示的自然图像去模糊算法^[6]和基于灰度和梯度先验知识的文本图像去模糊算法^[8]的重建结果，图5(f)是本方法的实验结果。从图中可以看出，本方法能够在尽量不产生图像失真的前提下更好地恢复出图像中的文本和纹理细节信息。

2、图像去模糊实验结果的定量比较

Logistic回归准则(LR准则)通过对大量主观评价得分和模糊特征度量指标进行深度融合，能够自动地对图像重建的质量进行评价。LR准则的输出是一个评价分数，越大的分数表示越好的重建质量。

本发明实施例采用该准则对本方法和快速图像去模糊算法^[1]，基于全变分的图像去模糊算法^[4]，基于稀疏表示的自然图像去模糊算法^[6]的结果进行定量比较，比较结果如表1。对比发现，本方法的重建结果优于其余三种算法的结果。

表1所提算法与参考文献[1]，[4]，[6]中的算法定量比较

图像名	Cho et al.[1]	Xu et al.[6]	Perrone et al.[4]	Ours
					图2(a)	-6.86	-8.45	-8.40	-7.89
图2(b)	-9.70	-12.08	-11.87	-11.56
					图2(c)	-6.79	-6.97	-7.30	-6.92
图4(a)	-11.13	-10.37	-10.30	-9.89
					图4(b)	-8.21	-10.03	-9.15	-9.77
图4(c)	-9.08	-6.72	-.8.78	-6.90
					图5	-12.77	-12.03	-11.65	-11.03

综上所述，本发明实施例提出的图像去模糊方法可以对灰度图像，文本图像、非文本图像和低照度图像去模糊，恢复的图像包含更加丰富的细节纹理，更少的失真，没有伪影现象，更加清晰自然。

参考文献

[1]Cho S,Lee S.Fast motion deblurring[C]//ACM Transactions onGraphics(TOG).ACM,2009,28(5):145.

[2]Pan J,Liu R,Su Z,et al.Kernel estimation from salient structurefor robust motion deblurring[J].Signal Processing:Image Communication,2013,28(9):1156-1170.

[3]Liu G,Chang S,Ma Y.Blind image deblurring using spectralproperties of convolution operators[J].IEEE Transactions on Image Processing,2014,23(12):5047-5056.

[4]Perrone D,Favaro P.Total variation blind deconvolution:The devilis in the details[C]//2014 IEEE Conference on Computer Vision and PatternRecognition.IEEE,2014:2909-2916.

[5]Song C,Deng H,Gao H,et al.Bayesian non-parametric gradienthistogram estimation for texture-enhanced image deblurring[J].Neurocomputing,2016,197:95-112.

[6]Xu L,Zheng S,Jia J.Unnatural L_o sparse representation for naturalimage deblurring[C]//Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition.2013:1107-1114.

[7]Hu Z,Yang M H.Learning good regions to deblur images[J].International Journal of Computer Vision,2015,115(3):345-362.

[8]Pan J,Hu Z,Su Z,et al.Deblurring text images via L0-regularizedintensity and gradient prior[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2014:2901-2908.

[9]A.Tikhonov and V.Arsenin,Solution of Ill-Posed Problems,V.H.Winston,Washington,DC,1977.

[10]M.Nikolova and M.K.Ng,Analysis of half-quadratic minimizationmethods for signal and image recovery,SIAM J.Sci.Comput.,27(2005),pp.937–966.

[11]Yang J,Yin W,Zhang Y,et al.A fast algorithm for edge-preservingvariational multichannel image restoration[J].SIAM Journal on ImagingSciences,2009,2(2):569-592.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多参数正则优化模型的图像去模糊方法，其特征在于，所述图像去模糊方法包括以下步骤：

通过将吉洪诺夫正则项与Huber函数进行结合，构建多参数的正则优化模型，该模型用于对图像进行去模糊处理；

将多参数的正则优化模型转换为增广拉格朗日函数的形式；

通过交替方向最小化算法求解上述增广拉格朗日函数重建出原始散焦图像对应的全聚焦图像。

2.根据权利要求1所述的一种基于多参数正则优化模型的图像去模糊方法，其特征在于，所述多参数的正则优化模型具体为：

$\underset{f}{\min }\frac{\mathrm{\α}}{2}\left|\right|hf-d|{|}_2^2+{\mathrm{\μ}}_1\·\underset{i=1}{\overset{n^2}{\Σ}}\mathrm{\φ}\left(G_{i}f\right)+{\mathrm{\μ}}_2\·\underset{i=1}{\overset{n^2}{\Σ}}|\left|G_{i}f\right|{|}_2^2$

其中，是保真项，α是平衡保真项的权值参数、μ₁和μ₂是正则项的权值参数。是吉洪诺夫正则化项的离散形式，表示像素点i在水平和垂直方向的一阶有限差分；▽₁和▽₂是两个线性差分算子，f是潜在清晰图像；d是现有的散焦模糊图像，h表示二维高斯模糊内核；φ(G_if)是Huber函数。

3.根据权利要求2所述的一种基于多参数正则优化模型的图像去模糊方法，其特征在于，所述增广拉格朗日函数的形式具体为：

其中，κ_i是拉格朗日乘子，用来约束z_i＝G_if，γ是一个正尺度参数，f,z,κ分别为待重建的潜在清晰图像，引入的辅助矩阵，引入的拉格朗日乘子矩阵。

4.根据权利要求1或2或3所述的一种基于多参数正则优化模型的图像去模糊方法，其特征在于，所述通过交替方向最小化算法求解上述增广拉格朗日函数重建出原始散焦图像对应的全聚焦图像的步骤具体为：

输入散焦模糊图像d，二维高斯模糊内核h，初始拉格朗日乘子κ⁰；将初始的清晰图像估计为f⁰＝d，初始化κ⁰＝0；

利用循环迭代方法重建原始的清晰图像。