CN107146202B - 基于l0正则化和模糊核后处理的图像盲去模糊的方法 - Google Patents

Abstract

本发明公开一种基于L0正则化和模糊核后处理的图像盲去模糊的方法，在图像复原的最优化模型中引入关于图像梯度、模糊核像素以及模糊核梯度稀疏性的先验信息，并以L0正则项的形式表现；其次，对最优化计算所得的模糊核根据其客观特性进行后处理，人为干预弥补最优化模型带来的不足，使复原所得的模糊核和中间图像更符合现实，最终复原图像质量进一步提高；最后，采用半二次分裂方法求解最优化模型，解法简洁，减少计算量，同时结合金字塔模型分层计算，所以本发明具有较高的鲁棒性，适用范围广。

Description

基于L0正则化和模糊核后处理的图像盲去模糊的方法

技术领域

本发明涉及图像复原技术领域，更具体地，涉及一种基于L0正则化和模糊核后处理的图像盲去模糊的方法。

背景技术

随着社会的发展，图像成为了一种重要的信息传播和获取途径。然而，由于成像系统的限制，成像过程中空气内的尘埃，光照，天气等因素都会对图像的质量造成负面影响，图像质量退化问题普遍存在。同时，图像质量退化会造成大量信息的丢失，质量退化的图片在实际使用中存在极大的不便，甚至不能直接使用。因此，从质量退化的图像中恢复出清晰的、高质量的图像具有重要的意义。

图像盲去运动模糊(图像盲反卷积)作为图像复原问题的重要分支之一，其目的是为了从模糊的运动图片中得到清晰的、内容可辨的复原图片。随着科技的不断发展和社会需求的不断变化，图像去模糊被应用于军事、城市管理、道路交通、刑事侦查、医疗卫生等各个领域，同时图像去模糊常被作为图像预处理步骤，深刻的影响着后续的图像检测、识别、分类等操作的结果。

图像盲去运动模糊主要存在着两个难点：第一个难点是如何准确的估计出模糊核，由于模糊核和清晰图片均未知，盲去模糊的过程具有较高的病态性，直接求解无法得到理想的结果，图像复原效果差；第二个难点如何保证盲去模糊方法的鲁棒性，使其适用于更广的范围。在图像盲去运动模糊领域，未解决以上的两个难题，最典型的作法是在盲复原的最优化模型中中引入不同形式的先验信息从而解决盲复原的病态问题，采用金字塔模型分层复原模糊核增加方法的鲁棒性，最后通过优化方法实现快速的盲复原。现有的技术方法中，通常在最优化模型中引入模糊核的L2正则项，这种方法可以快速求解，但是得出的模糊核较为稠密，不符合模糊核稀疏性的客观特性，最终复原的图像效果差。也有部分方法在最优化模型中加入模糊核的L1正则项，但这样会使模糊核包含较多噪声，图像复原效果也比较差。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一基于L0正则化和模糊核后处理的图像盲去模糊的方法，是一种复原效果好，鲁棒性高的图像盲去运动模糊的方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于L0正则化和模糊核后处理的图像盲去模糊的方法，包括以下步骤：

S1：判断输入的原始模糊图像是否为灰度图像，若不是，则变换为灰度图像；

S2：构造最优化模型求解模糊核，在模型中引入L0正则项，模型如公式(1) 所示：

其中β、μ及λ为权重参数，x是模糊图像，y是清晰图像，k是模糊核，*

是卷积运算符，

表示梯度运算；

S3：对步骤S2得到的模糊核进行骨架提取，并根据各非零点到骨架的距离进行加权，重新计算模糊核中各点大小；

S4：利用步骤S3得到的新的模糊核采用非盲去模糊方法，对原始模糊图像中每个通道进行复原，再将每个通道的复原结果进行合成求得最终复原图形。

在一种优选的方案中，步骤S2中根据该最优化模型结合金字塔算法，采用基于半二次分裂方法对公式(1)中模型进行求解得到模糊核。

在一种优选的方案中，在步骤S4中所述的非盲去模糊方法为基于全变差分的非盲去模糊方法。

在一种优选的方案中，步骤S2中处理过程如下：

S2.1：根据人工输入的模糊核大小k_size，下采样因子，及规定的最小核尺寸k_min_size计算金字塔模型的层级数目；

S2.2：将公式(1)拆解为两个子过程，如公式(2)(3)：

两公式交替迭代计算，可求解公式(1)；

S2.3：采用半二次分裂算法，公式(2)变形为如公式(4)所示：

其中，u为引入辅助变量，σ为引入辅助参数，当σ接近于无穷时，公式(2) 与公式(4)求解得到的一致，x、u相互独立，分别求解(初始化u＝0)；

S2.4：根据公式(4)求解u，如公式(5)所示：

由于公式(5)是像素层面的最小化问题，通过公式(6)直接求解：

S2.5：根据S2.4结果，公式(4)求解x过程变为解最小二乘 问题，如(7)所示：

该问题可直接在频域求解，求解过程如(8)：

其中F(·)和F^-1(·)分别代表傅里叶变换和反傅里叶变换，

是F(·)的复共轭形式，

和

分别代表水平差分[1,-1]以及垂直差分[1,-1]^T，

u_x、u_y分别为u经过水平、垂直差分；

S2.6：调整σ＝2σ，若未超过限定的最大值1e⁵，则根据S2.5求得的x作为输入，再次执行S2.4，否则，执行S2.7；

S2.7：采用半二次分裂算法，公式(3)变形为如公式(9)所示：

其中，a、b为引入辅助变量，α、γ为引入辅助参数，当α、γ接近于无穷时，公式(3)与公式(9)求解得到的一致，k、a、b相互独立，分别求解(初始化a＝0,b＝0)；

S2.8：根据公式(9)求解a、b，如公式(10)(11)所示：

由于公式(10)、(11)是像素层面的最小化问题，通过公式(12)(13)直接求解：

S2.9：根据S2.8结果，公式(9)求解k过程变为解最小二乘 问题，如(14)所示：

该问题可直接在频域求解，求解过程如(15)：

其中F(·)和F^-1(·)分别代表傅里叶变换和反傅里叶变换，

是F(·)的复共轭形式，

和

分别代表垂直差分[1,-1]^T以及水平差分[1,-1]，

b_x、b_y分别为b经过水平、垂直差分，对(15) 规定阈值k_threshold，,若k像素值小于k_threshold则该点取0，最后对k归一化；

S2.10：调整μ＝2μ、λ＝2λ，若未超过限定的最大值1e⁵，则根据S2.9求得的k作为输入，再次执行S2.8，否则，执行S2.11；

S2.11：若金字塔模型中所有层次求解完成，则保留k，执行S3，否则金字塔模型中未达到最大求解层次。金字塔模型当前层求解完成：将y上采样到金字塔模型中下一层级的对应尺寸作为输入，执行S2.2，否则更新参数σ＝max{σ /1.1，1e^-4}，μ＝max{μ/1.1，1e^-4}，λ＝max{λ/1.1，1e^-4}，执行S2.2；

在一种优选的方案中，步骤S3中处理过程如下：

S3.1：检测得到的k是否仅有一个连通域，若不是则连通各连通域；

S3.2：根据处理过的k，提取其骨架k_bone；

S3.3：计算内k各点到k_bone距离d，根据公式(16)进行加权重新计算k内各非零像素点值：

p＝max{wp,0} (16)

其中p为k内所有非零像素点，w为权值，与d有关。

S3.4：将重新计算得到的k保留，执行S4。

与现有技术相比，本发明技术方案的有益效果是：本发明提出一种基于L0 正则化和模糊核后处理的图像盲去模糊的方法，在图像复原的最优化模型中引入关于图像梯度、模糊核像素以及模糊核梯度稀疏性的先验信息，并以L0正则项的形式表现；其次，本发明对最优化计算所得的模糊核根据其客观特性进行后处理，人为干预弥补最优化模型带来的不足，使复原所得的模糊核和中间图像更符合现实，最终复原图像质量进一步提高；最后，本发明采用半二次分裂方法求解最优化模型，解法简洁，减少计算量，同时结合金字塔模型分层计算，所以本发明具有较高的鲁棒性，适用范围广。

附图说明

图1为本发明的步骤流程图。

图2为本发明实施例1使用的测试图像复原过程及中间结果图。

图3为本发明实施例1使用的测试用的模糊图像。

图4为本发明实施例1使用的测试用的复原后的图像。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于L0正则化和模糊核后处理的图像盲去模糊的方法，包括以下步骤：

S1：判断输入的原始模糊图像是否为灰度图像，若不是，则变换为灰度图像；

S2：构造最优化模型求解模糊核，在模型中引入L0正则项，模型如公式(1) 所示：

其中β、μ及λ为权重参数，x是模糊图像，y是清晰图像，k是模糊核，*

是卷积运算符，

表示梯度运算；

S3：对步骤S2得到的模糊核进行骨架提取，并根据各非零点到骨架的距离进行加权，重新计算模糊核中各点大小；

S4：利用步骤S3得到的新的模糊核采用非盲去模糊方法，对原始模糊图像中每个通道进行复原，再将每个通道的复原结果进行合成求得最终复原图形。

在具体实施过程中，步骤S2中根据该最优化模型结合金字塔算法，采用基于半二次分裂方法对公式(1)中模型进行求解得到模糊核。

在具体实施过程中，在步骤S4中所述的非盲去模糊方法为基于全变差分的非盲去模糊方法。

在具体实施过程中，步骤S2中处理过程如下：

S2.1：根据人工输入的模糊核大小k_size，下采样因子

及规定的最小核尺寸k_min_size确定金字塔模型的层级数目。本实施例中如图2所示，人工输入模糊核大小k_size＝99×99，规定的最小核尺寸k_min_size＝7×7，且模糊核尺寸为奇数×奇数形式，故核尺寸从小到大依次为：7×7，11×11，15×15，19× 19，27×27，37×37，51×51,71×71,99×99，对应的模糊图像尺寸从小到大依次为：23×33，33×47,47×67,67×96,96×136,136×193,193×273,273×387,388×550 故此金字塔模型中包含9个不同尺寸的层级，如图2所示为对应不同层级下复原的和估计出的模糊核变化过程；

S2.2：将公式(1)拆解为两个子过程，如公式(2)(3)：

两公式交替迭代计算，可求解公式(1)；

S2.3：采用半二次分裂算法，公式(2)变形为如公式(4)所示：

其中，u为引入辅助变量，σ为引入辅助参数，当σ接近于无穷时，公式(2) 与公式(4)求解得到的一致，x、u相互独立，分别求解(初始化u＝0)；本实例中β＝6e^-3，σ＝2β；

S2.4：根据公式(4)求解u，如公式(5)所示：

由于公式(5)是像素层面的最小化问题，通过公式(6)直接求解：

S2.5：根据S2.4结果，公式(4)求解x过程变为解最小二乘 问题，如(7)所示：

该问题可直接在频域求解，求解过程如(8)：

其中F(·)和F^-1(·)分别代表傅里叶变换和反傅里叶变换，

是F(·)的复共轭形式，

和

分别代表水平差分[1,-1]以及垂直差分[1,-1]^T，

u_x、u_y分别为u经过水平、垂直差分；

S2.6：调整σ＝2σ，若未超过限定的最大值1e⁵，则根据S2.5求得的x作为输入，再次执行S2.4，否则，执行S2.7；

S2.7：采用半二次分裂算法，公式(3)变形为如公式(9)所示：

其中，a、b为引入辅助变量，α、γ为引入辅助参数，当α、γ接近于无穷时，公式(3)与公式(9)求解得到的一致，k、a、b相互独立，分别求解(初始化a＝0,b＝0)；在本例中，μ＝10e^-5，λ＝500μ，α＝2μ，γ＝2λ；

S2.8：根据公式(9)求解a、b，如公式(10)(11)所示：

由于公式(10)、(11)是像素层面的最小化问题，通过公式(12)(13)直接求解：

S2.9：根据S2.8结果，公式(9)求解k过程变为解最小二乘 问题，如(14)所示：

该问题可直接在频域求解，求解过程如(15)：

其中F(·)和F^-1(·)分别代表傅里叶变换和反傅里叶变换，

是F(·)的复共轭形式，

和

分别代表垂直差分[1,-1]^T以及水平差分[1,-1]，

b_x、b_y分别为b经过水平、垂直差分，对(15) 规定阈值k_threshold，,若k像素值小于k_threshold则该点取0，最后对k归一化；

S2.10：调整μ＝2μ、λ＝2λ，若未超过限定的最大值1e⁵，则根据S2.9求得的k作为输入，再次执行S2.8，否则，执行S2.11；

S2.11：若金字塔模型中所有层次求解完成，则保留k，执行S3，否则金字塔模型中未达到最大求解层次。金字塔模型当前层求解完成：将y上采样到金字塔模型中下一层级的对应尺寸作为输入，执行S2.2，否则更新参数σ＝max{σ /1.1，1e^-4}，μ＝max{μ/1.1，1e^-4}，λ＝max{λ/1.1，1e^-4}，执行S2.2；

在具体实施过程中，步骤S3中处理过程如下：

S3.1：检测得到的k是否仅有一个连通域，若不是则连通各连通域；

S3.2：根据处理过的k，提取其骨架k_bone；

S3.3：计算内k各点到k_bone距离d，根据公式(16)进行加权重新计算k内各非零像素点值：

p＝max{wp,0} (16)

其中p为k内所有非零像素点，w为权值，与d有关。

S3.4：将重新计算得到的k保留，执行S4。

如图3所示，该基于L0正则化和模糊核后处理的自然图像盲去运动模糊方法的实验效果。图3为输入的模糊图像，图4经过本发明盲去运动模糊之后得到的结果，从图中可以看出复原效果明显。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于L0正则化和模糊核后处理的图像盲去模糊的方法，其特征在于，包括以下步骤：

S1：判断输入的原始模糊图像是否为灰度图像，若不是，则变换为灰度图像；

S2：构造最优化模型求解模糊核，在模型中引入L0正则项，模型如公式(1)所示：

其中β、μ及λ为权重参数，x是模糊图像，y是清晰图像，k是模糊核，*是卷积运算符，

表示梯度运算；

S3：对步骤S2得到的模糊核进行骨架提取，并根据各非零点到骨架的距离进行加权，重新计算模糊核中各点大小；

S4：利用步骤S3得到的新的模糊核采用非盲去模糊方法，对原始模糊图像中每个通道进行复原，再将每个通道的复原结果进行合成求得最终复原图形；

在步骤S2中根据该最优化模型结合金字塔算法，采用基于半二次分裂方法对公式(1)中模型进行求解得到模糊核；

在步骤S2中处理过程如下：

S2.1：根据人工输入的模糊核大小k_size，下采样因子，及规定的最小核尺寸k_min_size计算金字塔模型的层级数目；

S2.2：将公式(1)拆解为两个子过程，如公式(2)(3)：

两公式交替迭代计算，可求解公式(1)；

S2.3：采用半二次分裂算法，公式(2)变形为如公式(4)所示：

其中，u为引入辅助变量，σ为引入辅助参数，当σ接近于无穷时，公式(2) 与公式(4)求解得到的一致，x、u相互独立，分别求解，其中，初始化u＝0；

S2.4：根据公式(4)求解u，如公式(5)所示：

由于公式(5)是像素层面的最小化问题，通过公式(6)直接求解：

S2.5：根据S2.4结果，公式(4)求解x过程变为解最小二乘问题，如(7)所示：

该问题可直接在频域求解，求解过程如(8)：

其中F(·)和F^-1(·)分别代表傅里叶变换和反傅里叶变换，

是F(·)的复共轭形式，

和

分别代表水平差分[1,-1]以及垂直差分[1,-1]^T，

u_x、u_y分别为u的水平、垂直差分；

S2.6：调整σ＝2σ，若未超过限定的最大值1e⁵，则根据S2.5求得的x作为输入，再次执行S2.4，否则，执行S2.7；

S2.7：采用半二次分裂算法，公式(3)变形为如公式(9)所示：

其中，a、b为引入辅助变量，α、γ为引入辅助参数，当α、γ接近于无穷时，公式(3)与公式(9)求解得到的一致，k、a、b相互独立，分别求解，其中，初始化a＝0,b＝0；

S2.8：根据公式(9)求解a、b，如公式(10)(11)所示：

由于公式(10)、(11)是像素层面的最小化问题，通过公式(12)(13)直接求解：

S2.9：根据S2.8结果，公式(9)求解k过程变为解最小二乘 问题，如(14)所示：

该问题可直接在频域求解，求解过程如(15)：

其中F(·)和F^-1(·)分别代表傅里叶变换和反傅里叶变换，

是F(·)的复共轭形式，

和

分别代表垂直差分[1,-1]^T以及水平差分[1,-1]，

b_x、b_y分别为b的水平、垂直差分，对(15)规定阈值k_threshold，若k像素值小于k_threshold则k像素值取0，最后对k归一化；

S2.10：调整μ＝2μ、λ＝2λ，若未超过限定的最大值1e⁵，则根据S2.9求得的k作为输入，再次执行S2.8，否则，执行S2.11；

S2.11：若金字塔模型中所有层次求解完成，则保留k，执行S3，否则金字塔模型中未达到最大求解层次；金字塔模型当前层求解完成：将y上采样到金字塔模型中下一层级的对应尺寸作为输入，执行S2.2，否则更新参数σ＝max{σ/1.1，1e^-4}，μ＝max{μ/1.1，1e^-4}，λ＝max{λ/1.1，1e^-4}，执行S2.2。

2.根据权利要求1所述的基于L0正则化和模糊核后处理的图像盲去模糊的方法，其特征在于，在步骤S4中所述的非盲去模糊方法为基于全变差分的非盲去模糊方法。

3.根据权利要求1所述的基于L0正则化和模糊核后处理的图像盲去模糊的方法，其特征在于，在步骤S3中处理过程如下：

S3.1：检测得到的k是否仅有一个连通域，若不是则连通各连通域；

S3.2：根据处理过的k，提取其骨架k_bone；

S3.3：计算内k各点到k_bone距离d，根据公式(16)进行加权重新计算k内各非零像素点值：

p＝max{wp,0} (16)

其中p为k内所有非零像素点，w为权值，与d有关；

S3.4：将重新计算得到的k保留，执行S4。

Images