CN105931191B - 基于凹凸混合正则先验的图像盲去卷积方法 - Google Patents

Abstract

本发明公开了基于凹凸混合正则先验的图像盲去卷积方法，该方法是一种针对相机摄像头的散焦、抖动等原因造成的图像模糊进行去卷积的方法。主要分三步执行，即：输入降质的模糊图像，求解图像的凹凸混合广义全变差最小化泛函，迭代估计中间清晰图像。利用给定的模糊核尺寸以及上述清晰图像的梯度信息，求解模糊核的凹凸混合弹性网正则化最小化泛函，迭代估计中间模糊核。利用上述两步骤交替迭代结束后的最终模糊核以及倒基尼系数稀疏正则的图像非盲去卷积方法，迭代估计最终去卷积图像。

Description

基于凹凸混合正则先验的图像盲去卷积方法

技术领域

本发明涉及一种基于凹凸混合正则先验的图像盲去卷积方法，属于计算摄像技术领域。

背景技术

在很多实际应用中，拍摄图片经常会不可避免的存在模糊。图像盲去模糊是指去除或减轻相机拍摄图像过程中发生的图像运动模糊现象，是近年来计算摄像技术领域重要而兼具挑战性的研究内容，不管是在数字媒体领域还是在国防、社会安全领域都有迫切的现实需求。图像盲去模糊的核心问题是估计对应各种模糊的模糊核，即点扩散函数。作为典型的不适定反问题，图像盲去模糊往往依赖随机性的贝叶斯统计或确定性的正则化方法，当前文献的重点往往放在挖掘、确定关于图像先验知识的数学表达，即适于模糊核估计的图像模型。

根据推断准则，当前的盲运动去模糊方法大体可分为两类，即变分贝叶斯(variational Bayes；VB)和最大后验估计(maximum a posterior；MAP)。但由于上述两类方法都是基于贝叶斯公式，因此存在一个重要的共性问题就是如何确定清晰图像与模糊核的先验。当采用常见的自然图像统计先验时，理论和实验结果均显示了VB型方法相对于MAP型方法的优越性。例如，在开创性文献《Removing camera shake from a singlephotograph》，ACM Trans.Graph.，2006，vol.25,no.3,pp.787–794，Fergus等人利用图像的混合高斯模型(mixture-of-Gaussians；MoG)和模糊核的混合指数模型(mixture-of-Exponentials；MoE)提出了第一个非参运动模糊核VB估计方法；他们同时发现，基于相同的先验MAP型方法却完全失败了。VB准则具有更强的鲁棒性，能够最大程度地保证自然图像先验区别模糊图像与清晰图像，从而降低交替迭代陷入局部极小点的风险。事实上，在基于MAP的模糊核估计框架下，诸如基于l_p-范数(1≥p＞＞0)的超高斯、专家场(fields ofexperts；FoE)等自然图像先验倾向于模糊图像而非清晰图像。

根据上述结果，不难理解当前有效的MAP型模糊核估计方法往往基于经验性设计的非自然图像稀疏先验，如：重加权l₂-范数先验，规范化稀疏先验，l_0.3-范数先验，渐进逼近l₀-范数先验，基于显著性边缘预测的稀疏先验，等等。所有这些先验都是高度非凸的，本质上都是通过不同的技术手段近似l₀-范数。而VB型模糊核估计方法往往利用常见的自然图像先验，如：空间不变的高斯先验，MoG先验，l_0.8-范数先验等。从技术实现的角度看，总体而言，现有VB方法存在计算复杂度高的问题，而且现有MAP方法存在着模糊核估计精度有待提高的问题。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于针对上述现有技术的不足，提出了一种基于凹凸混合正则先验的图像盲去卷积方法，该方法利用倒基尼系数稀疏正则的图像非盲去卷积方法，提高了去模糊图像的清晰度。

本发明解决其技术问题所采取的技术方案是：首先，输入降质的模糊图像，求解图像的凹凸混合广义全变差最小化泛函，迭代输出中间清晰图像；其次，利用上述清晰图像的梯度信息，求解卷积模糊核的凹凸混合弹性网正则最小化泛函，迭代输出最终模糊核；最后，利用倒基尼系数稀疏正则的图像非盲去卷积方法，获得最终去卷积图像。

方法流程：

步骤1：输入模糊图像y，设待估计的最终清晰图像和模糊核分别为f和k，且模糊核的尺寸为Z×Z，设水平、垂直方向的一阶导数算子分别为

步骤2：计算对应模糊图像y的梯度域图像为其中代表线性卷积算子，设待估计最终清晰图像的梯度域图像为

步骤3：采用以下交替迭代方法估计模糊核k和中间清晰图像u，其中，交替迭代总次数设为I；

步骤3-1：初始迭代序号i设为1，模糊核的初始迭代值设为k⁽⁰⁾；

步骤3-2：根据以下最小化泛函求解待估计的中间清晰图像：

其中，u⁽ⁱ⁾表示第i次求解上述泛函所得的中间清晰图像，argmin_u表示目标泛函取最小值时u所取的值，k^(i-1)表示第i-1次迭代后模糊核的估计值，代表2-范数，c_u为小于1的正参数，为c_u的i次幂，η为大于0的平衡参数，且为凹凸混合广义全变差模型，定义如下：

其中，{z_d}为待估计辅助变量，α＝(α₀,α₁)为正则化参数常向量，∑_d表示水平、垂直方向上的求和，为中间清晰图像的梯度域图像， 分别代表1-范数和0-范数。

步骤3-3：根据步骤3-1估计的中间清晰图像，利用中间清晰图像的梯度域图像求解以下最小化泛函估计模糊核，即：

其中，k⁽ⁱ⁾表示待估计模糊核的第i次迭代结果，β＝(β₀,β₁)为正则化参数常向量，argmin_k表示目标泛函取最小值时k所取的值，c_k为小于1的正参数，为c_u的i次幂，为中间清晰图像u⁽ⁱ⁾的梯度域图像，k⁽ⁱ⁾≥0表示k⁽ⁱ⁾中的所有分量都不小于0，且为凹凸混合弹性网正则化模型，定义如下，即：

步骤3-4：令i＝i+1，重复步骤3-1至步骤3-2共I次，得到模糊核估计结果k^(I)和中间清晰图像估计结果u^(I)。

步骤4：为了考虑大尺度模糊核的估计，进一步采用多尺度估计策略：设尺度总数为S且各相邻尺度间模糊核的尺寸比例为对应最小尺度s＝1时的模糊核k₍₁₎的尺寸为3×3，且k₍₁₎＝[0,0,0；0,1,0；0,0,0]，利用MATLAB中的imresize函数输出模糊图像y及其梯度图像y_d在各尺度下的插值图像y^(s)和

步骤4-1：将模糊核k₍₁₎作为第1尺度时的初始模糊核将 带入上述步骤(3a)-(3d)，估计输出第1尺度下的模糊核与中间清晰图像

步骤4-2：利用MATLAB中的imresize函数，在水平、垂直方向上分别将放大倍，作为第2尺度下模糊核的初始值并将带入上述步骤3-1至步骤3-4，估计输出第2尺度下的模糊核与中间清晰图像

步骤4-3依次类推，直至最终估计输出第S尺度下的模糊核记为

步骤5：利用模糊图像y和上述估计出的基于以下倒基尼系数稀疏正则的图像非盲去卷积泛函，最终获得去模糊图像f：

其中，argmin_f表示目标泛函取最小值时f所取的值，λ为正则化参数，表示清晰图像的梯度域图像f_d的向量化表示，表示的基尼系数，定义如下：

其中，L为的维数，为对序列由小到大排序后的第l个取值。

有益效果：

1、本发明是以严格的最小化能量泛函为基础的。

2、本发明采用的凹凸混合广义全变差模型，能够同时实现图像显著性边缘的自动提取和平坦区域中虚假边缘的有效抑制，不仅为模糊核估计提供了物理上有意义的视觉线索，而且有效克服了虚假边缘对模糊核估计产生的负面效应。

3、本发明易于编程，实现简单，且每次交替迭代的计算复杂度仅为O(LlogL)，其中L为图像的像素个数；

4、本发明估计的模糊核准确度高，从而保证了图像清晰度的提高。

附图说明

图1为发明的方法流程图。

图2为用于仿真实验的运动模糊图像示意图。

图3(a)、图3(b)、图3(c)、图3(d)、图3(e)、图3(f)为本发明方法与现有方法对图2进行去模糊后的清晰图像示意图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的说明。

如图1所示，本发明的具体实施步骤包括如下：

步骤1：输入模糊图像y，设待估计的最终清晰图像和模糊核分别为f和k，且模糊核的尺寸为Z×Z，设水平、垂直方向的一阶导数算子分别为

步骤2：利用MATLAB中的conv2函数计算梯度域图像为：其中代表线性卷积算子，设待估计最终清晰图像的梯度域图像为

步骤3：采用以下交替迭代方法估计模糊核k和中间清晰图像u，其中，交替迭代总次数设为I；

步骤3-1：初始迭代序号i设为1，模糊核的初始迭代值设为k⁽⁰⁾；

步骤3-2：根据以下最小化泛函迭代估计中间清晰图像，即：

其中，u⁽ⁱ⁾表示第i次求解上述泛函所得的中间清晰图像，表示目标泛函取最小值时u,{z_d},{A_d},B_hh,B_hv,B_vv所取的值，k^(i-1)表示第i-1次迭代后模糊核的估计值，代表2-范数，c_u为小于1的正参数，为c_u的i次幂，η为大于0的平衡参数，{z_d}为待估计辅助变量，α＝(α₀,α₁)为正则化参数常向量，∑_d表示水平、垂直方向上的求和，为中间清晰图像的梯度域图像， 分别代表1-范数和0-范数，易见u⁽ⁱ⁾,{z_d},{A_d},B_hh,B_hv,B_vv的每次迭代估计具有解析表达，且拉格朗日乘子更新如下：μ_d←μ_d+(u_d-z_d)-A_d,υ_hh←υ_hh+(z_hh-B_hh),υ_hv←υ_hv+(z_hv-B_hv),υ_vv←υ_vv+(z_vv-B_vv)；

步骤3-3：根据步骤3-1估计的中间清晰图像，利用中间清晰图像的梯度域图像求解以下最小化泛函估计模糊核，即：

其中，k⁽ⁱ⁾表示待估计模糊核的第i次迭代结果，β₀,β₁为正则化参数常向量，argmin_k,h表示目标泛函取最小值时k,h所取的值，c_k为小于1的正参数，为c_u的i次幂，为中间清晰图像u⁽ⁱ⁾的梯度域图像，k⁽ⁱ⁾≥0表示k⁽ⁱ⁾中的所有分量都不小于0，易见对应k⁽ⁱ⁾,h每次迭代估计具有解析表达式(其中，约束条件的满足是通过投影运算实现)，且拉格朗日乘子更新如下：μ←μ+(k-h)。

步骤3-4：令i＝i+1，重复步骤3-1至步骤3-2共I次，得到模糊核估计结果k^(I)和中间清晰图像估计结果u^(I)。

步骤4：为了考虑大尺度模糊核的估计，进一步采用多尺度估计策略：设尺度总数为S且各相邻尺度间模糊核的尺寸比例为对应最小尺度s＝1时的模糊核k₍₁₎的尺寸为3×3，且k₍₁₎＝[0,0,0；0,1,0；0,0,0]，利用MATLAB中的imresize函数输出模糊图像y及其梯度图像y_d在各尺度下的插值图像y^(s)和

步骤4-1：将模糊核k₍₁₎作为第1尺度时的初始模糊核将 带入上述步骤步骤3-1至步骤3-4，估计输出第1尺度下的模糊核与中间清晰图像

步骤4-2：利用MATLAB中的imresize函数，在水平、垂直方向上分别将放大倍，作为第2尺度下模糊核的初始值并将带入上述步骤(3a)-(3d)，估计输出第2尺度下的模糊核与中间清晰图像

步骤4-3：依次类推，直至最终估计输出第S尺度下的模糊核记为

步骤5：利用模糊图像y和上述估计出的求解以下最小化泛函估计最终去模糊图像f，即：

其中，argmin_f,{gd}表示目标泛函取最小值时f,{g_d}所取的值，λ为正则化参数，表示清晰图像的梯度域图像f_d的向量化表示，其中，L为的维数，为对序列由小到大排序后的第l个取值，易见对应f,{g_d}每次迭代估计具有解析表达式，且拉格朗日乘子更新如下：θ_d←θ_d+(f_d-g_d)。

为了验证基于凹凸混合正则先验的最大后验模糊核估计方法的有效性，以下结合仿真实验对本发明的去模糊效果作进一步说明。

一.实验条件

本发明的实验运行系统为Intel Pentium(R)Core-Duo T4200CPU(2GHZ),2GBRAM，32位Microsoft Windows 7操作系统，软件MATLAB版本号为v7.0。实验所用的模糊图像来源于Levin等人发表文章“Understanding and evaluating blind deconvolutionalgorithms”(in:IEEE CVPR,2009,pp.1964-1971)中的标准测试集，如附图2所示。

二.实验内容

用本发明和现有的五种盲去模糊方法对附图2进行去模糊，结果如附图3所示，其中

图3(a)是用Kotera等人在文章“Blind deconvolution using alternatingmaximum a posteriori estimation with heavy-tailed priors”(in:R.Wilson et al.(Eds.):CAIP,2013,Part II,LNCS 8048,pp.59-66)中公开的去模糊方法对附图2的去模糊图像及估计模糊核；

图3(b)是用Babacan等人在文章“Bayesian blind deconvolution with generalsparse image priors”(in:A.Fitzgibbon et al.(Eds.):ECCV 2012,Part VI,LNCS7577,pp.341-355)中公开的去模糊方法对附图2的去模糊图像及估计模糊核；

图3(c)是用Fergus等人在文章“Removing camera shake from a singlephotograph”(in:ACM Trans.Graph.，2006，vol.25,no.3,pp.787–794)中公开的去模糊方法对附图2的去模糊图像及估计模糊核；

图3(d)是用Cho&Lee在文章“Fast motion deblurring”(in:ACM Trans.Graph.,vol.28,no.5,article no.145,Dec.2009)中公开的去模糊方法对附图2的去模糊图像及估计模糊核；

图3(e)是用Levin等人在文章“Efficient marginal likelihood optimizationin blind deconvolution”(in:IEEE CVPR,2011,pp.2657-2664)中公开的去模糊方法对图2的去模糊图像及估计模糊核；

图3(f)是用本发明方法对附图2的去模糊图像及估计模糊核；

三.仿真结果分析

为了公正地比较不同的模糊核估计方法，在做非盲去模糊时，各种盲去模糊方法均采用本发明的非盲去卷积方法，且采用峰值信噪比(简称PSNR)客观标准进行度量，具体定义如下，即：

PSNR的定义:f为真实图像，为去模糊图像，L为f的像素个数。

对应本发明方法和其余五种方法的去模糊图像的PSNR分别为：

图3(a)的PSNR值为：24.58dB；

图3(b)的PSNR值为：28.44dB；

图3(c)的PSNR值为：26.64dB；

图3(d)的PSNR值为：30.07dB；

图3(e)的PSNR值为：33.09dB；

图3(f)的PSNR值为：35.13dB；

从去模糊图像的PSNR结果可见，本发明方法的PSNR值高于其他五种方法，显示了本发明方法估计的模糊核更为精确，因而图像去模糊效果更好。

Claims (4)

1.一种基于凹凸混合正则先验的图像盲去卷积方法，包括如下步骤：

步骤1 输入模糊图像y，设待估计的最终清晰图像和模糊核分别为f和k，且模糊核的尺寸为Z×Z，设水平、垂直方向的一阶导数算子分别为

步骤2 计算对应模糊图像y的梯度域图像为d∈Λ,Λ＝{h,v}，其中代表线性卷积算子，设待估计最终清晰图像的梯度域图像为

步骤3 采用以下交替迭代方法估计模糊核k和中间清晰图像u，其中，交替迭代总次数设为I；

步骤3-1 初始迭代序号i设为1，模糊核的初始迭代值设为k⁽⁰⁾；

步骤3-2 根据以下最小化泛函求解待估计的中间清晰图像：

其中，u⁽ⁱ⁾表示第i次求解上述泛函所得的中间清晰图像，argmin_u表示目标泛函取最小值时u所取的值，k^(i-1)表示第i-1次迭代后模糊核的估计值，代表2-范数，c_u为小于1的正参数，为c_u的i次幂，η为大于0的平衡参数，且为凹凸混合广义全变差模型，定义如下：

其中，z_h,z_v,z_hh,z_hv,z_vv为待估计辅助变量，α＝(α₀,α₁)为正则化参数常向量，为中间清晰图像的梯度域图像， 分别代表1-范数和0-范数；

步骤3-3 根据步骤3-2估计的中间清晰图像，利用中间清晰图像的梯度域图像求解以下最小化泛函估计模糊核：

其中，k⁽ⁱ⁾表示待估计模糊核的第i次迭代结果，β＝(β₀,β₁)为正则化参数常向量，argmin_k表示目标泛函取最小值时k所取的值，c_k为小于1的正参数，为c_k的i次幂，为中间清晰图像u(i)的梯度域图像，k(ⁱ)≥0表示k(ⁱ)中的所有分量都不小于0，且为凹凸混合弹性网正则化模型，定义如下：

步骤3-4 令i＝i+1，重复步骤3-2、步骤3-3共I次，得到模糊核估计结果k^(I)和中间清晰图像估计结果u(^I)；

步骤4 为了考虑大尺度模糊核的估计，进一步采用多尺度估计策略：设尺度总数为S且各相邻尺度间模糊核的尺寸比例为对应最小尺度s＝1时的模糊核k₍₁₎的尺寸为3×3，且k₍₁₎＝[0,0,0；0,1,0；0,0,0]，利用MATLAB中的imresize函数输出模糊图像y及其梯度图像y_d在各尺度下的插值图像y^(s)和

步骤4-1 将模糊核k₍₁₎作为第1尺度时的初始模糊核将带入上述步骤3-1至步骤3-4，估计输出第1尺度下的模糊核与中间清晰图像

步骤4-2 利用MATLAB中的imresize函数，在水平、垂直方向上分别将放大倍，作为第2尺度下模糊核的初始值并将带入上述步骤3-1至步骤3-4，估计输出第2尺度下的模糊核与中间清晰图像

步骤4-3 依次类推，直至最终估计输出第S尺度下的模糊核记为

步骤5 利用模糊图像y和上述估计出的基于以下倒基尼系数稀疏正则的图像非盲去卷积泛函，最终获得去模糊图像f：

其中，argmin_f表示目标泛函取最小值时f所取的值，λ为正则化参数，表示清晰图像的梯度域图像f_d的向量化表示，表示的基尼系数，定义如下：

其中，L为的维数，为对序列由小到大排序后的第l个取值。

2.根据权利要求1所述的一种基于凹凸混合正则先验的图像盲去卷积方法，其特征在于，步骤3-2中的最小化泛函求解等价于以下优化问题：

引入以下辅助变量A_h＝u_h-z_h,A_v＝u_v-z_v,B_hh＝z_hh,B_hv＝z_hv+z_vh,B_vv＝z_vv,得如下的增广拉格朗日函数，即：

其中，A＝(A_h,A_v),B＝(B_hh,B_hv,B_vv)，由上式得到对应u⁽ⁱ⁾,{z_d},A,B各次估计的解析解，且拉格朗日乘子更新如下，即：μ_d←μ_d+(u_d-z_d)-A_d,υ_hh←υ_hh+(z_hh-B_hh),υ_hv←υ_hv+(z_hv-B_hv),υ_vv←υ_vv+(z_vv-B_vv)。

3.根据权利要求1所述的一种基于凹凸混合正则先验的图像盲去卷积方法，其特征在于，步骤3-3中的最小化泛函求解等价于以下优化问题：

引入辅助变量h＝k，可得如下的增广拉格朗日函数：

由上式易得对应k⁽ⁱ⁾,h各次估计的解析解，其中，约束条件的满足是通过投影运算实现，且拉格朗日乘子更新如下：μ←μ+(k-h)。

4.根据权利要求1所述的一种基于凹凸混合正则先验的图像盲去卷积方法，其特征在于，步骤(5)中的最小化泛函求解等价于以下优化问题：

其中，引入辅助变量f_d＝g_d，可得如下的增广拉格朗日函数：

由上式易得对应f,{g_d}_d∈Λ各次估计的近似解析解，且拉格朗日乘子更新如下：θ_d←θ_d+(f_d-g_d)。