CN108629741A - 一种基于l0和l1正则项的模糊核估计方法 - Google Patents

Abstract

本发明提供了一种基于L0和L1正则项的模糊核估计方法，利用L0正则项作为中间清晰图像求解时的约束条件，有效抑制振铃效应；利用L1正则项作为估计模糊核求解时的正则化约束条件，使得估计模糊核足够稀疏，根据建立的模糊核估计模型，将基于L0和L1正则项的模糊核估计方法，应用于图像金字塔理论中，由粗到细地从图像金字塔的顶层至底层求解估计模糊核，将所求得的模糊核用于图像非盲复原算法，复原出最终清晰图像。本发明能够较为准确地估计出模糊图像的模糊核，从而用估计出的模糊图像的模糊核，将初始模糊图像复原出最终清晰图像。

Description

一种基于L0和L1正则项的模糊核估计方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于L0和L1正则项的模糊核估计方法。

背景技术

在理想情况下，摄像设备拍摄出来的照片是清晰的理想图像，但是图像在成像的过程中，往往会受到各种其他的因素的影响，如摄像设备抖动、摄像设备和拍摄目标之间的相对运动等等，从而导致拍摄到的图像产生质量下降，通常把这个过程称为图像的退化过程。图像的退化过程不仅会导致图像的视觉效果严重下降，而且会使得图像的实际应用价值大大降低。

图像复原就是沿着图像复原的逆过程，利用图像退化过程的先验知识，获得清晰的图像。尽管在不同场合造成图像退化的原因不同，各种摄像设备也是千差万别，但是经过研究表明，图像退化的系统模型可以理解为线性移不变卷积模糊加上噪声。线性移不变卷积模糊就是通常所说的点扩散函数，也就是所谓的模糊核。根据模糊核是否已知，通常将图像复原分为图像非盲复原和图像盲复原。

在早期的图像复原研究中，为了研究图像非盲复原算法，模糊核通常是通过其他的方法来预知的，如在摄像设备上添加传感器、人工合成等等，在这种情况下就是利用已知的模糊核和噪声的统计特性将图像复原简化为一个去卷积的问题。但是在实际情况下清晰图像的退化过程受到众多因素的影响，模糊核往往是无法预先得知的，传统的图像复原技术不能很好地解决问题，因此就必须在模糊核未知的情况下，只根据图像模糊的先验知识来进行图像复原，这就是图像盲复原。图像盲复原的第一步就是要估计模糊图像的模糊核。

模糊核的研究在各种图像复原和提高图像分辨率的应用中具有重要的意义。准确估计模糊核是图像盲复原的首要目标，也是图像盲复原重点和难点之一，精确的模糊核估计是成功复原图像的关键。而目前的图像复原技术中，存在对图像施加单一的一阶正则化约束，或并非根据图像的尺度来进行模糊核估计，从而导致不能准确估计模糊核的问题。

发明内容

为了解决目前对图像施加单一的一阶正则化约束，或并非根据图像的尺度来进行模糊核估计，从而导致不能准确估计模糊核的问题，本发明提供了一种基于L0和L1正则项的模糊核估计方法，包括：

S1、确立模糊核估计模型，输入初始模糊图像，对初始模糊图像进行下采样至图像金字塔的顶层，得到初始模糊核；S2、根据模糊核估计模型、初始模糊图像和初始模糊核，得到中间清晰图像；S3、根据模糊核估计模型、初始模糊图像和中间清晰图像，得到估计模糊核，再次得到估计模糊核；S4、根据估计模糊核，判断是否达到图像金字塔的底层；若是，则得到最终模糊核；若否，则重复步骤S2和S3，对中间清晰图像和估计模糊核进行上采样至所述图像金字塔的下一层，直至达到图像金字塔的底层并得到最终模糊核；S5、将最终模糊核用于图像非盲复原算法，复原出最终清晰图像；

其中，步骤S2中，选用L0正则项作为中间清晰图像的正则化约束条件；步骤S3中，选用L1正则项作为估计模糊核的正则化约束条件；步骤S4中，图像金字塔的底层的层数为指定迭代次数，指定迭代次数为步骤S1中输入初始模糊图像时设置的预设值。

优选地，步骤S1中，模糊核估计模型为：

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，p(x)为中间清晰图像的先验知识，p(k)为模糊核的先验知识，||k*x-y||为数据拟合项。

优选地，模糊核估计模型根据图像模糊模型和贝叶斯理论得到，图像模糊模型为y＝k*x+n，贝叶斯理论为p(x,k|y)∝p(y|x,k)p(x)p(k)；

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，p(x)为中间清晰图像的先验知识，p(k)为模糊核的先验知识。

优选地，步骤S5中，图像金字塔的底层值为：

N＝floor(2log(5/k_s)/log0.5)+1

其中，N为图像金字塔的底层值，k_s为模糊核尺寸。

优选地，中间清晰图像的求解方程为：

其中，λ为L₀正则化参数，||k*x-y||为数据拟合项。

优选地，中间清晰图像的方程基于二次分裂的方法求解，引入辅助变量g＝(g_h,g_v)^T，使得中间清晰图像的求解方程为：

当g初始化为0时，中间清晰图像的求解方程为：

其中，F^-1(·)、F(·)分别代表快速傅里叶反变换和快速傅里叶变换，为F(·)的复共轭算子， 分别为水平微分算子和垂直微分算子。

当x确定时，通过逼近估计得到的g的解为:

其中，λ为L₀正则化参数。

优选地，模糊核的求解方程为：

其中，β为L₁正则化参数，||k*x-y||为数据拟合项。

优选地，得到估计模糊核之后，对模糊核进行优化处理，优化处理包括：

对模糊核进行非负处理：将模糊核中负值元素设为0；对模糊核进行连续性处理：保留模糊核的主要结构，剔除分支，使得模糊核的非0区域为一个连通域；对模糊核进行归一化处理：对模糊核进行归一化处理，使得∑_ik_i＝1。

本发明提供了一种基于L0和L1正则项的模糊核估计方法，利用L0正则项作为中间清晰图像求解时的约束条件，有效抑制振铃效应；利用L1正则项作为估计模糊核求解时的正则化约束条件，使得估计模糊核足够稀疏，根据建立的模糊核估计模型，将基于L0和L1正则项的模糊核估计方法，应用于图像金字塔理论中，由粗到细地从图像金字塔的顶层至底层求解估计模糊核，将所求得的模糊核用于图像非盲复原算法，复原出最终清晰图像。本发明能够较为准确地估计出模糊图像的模糊核，从而用估计出的模糊图像的模糊核，将初始模糊图像复原出最终清晰图像。

附图说明

图1为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的流程图；

图2为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的框架示意图；

图3为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的模糊核估计结果；

图4(a)为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的初始模糊图像；

图4(b)为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的最终清晰图像；

图5(a)为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的初始模糊图像；

图5(b)为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的最终清晰图像。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为根据本发明一个优选实施例的基于L0、L1正则项的模糊核估计方法的流程图，如图1所示，本发明提供了一种基于L0和L1正则项的模糊核估计方法，包括：

S1、确立模糊核估计模型，输入初始模糊图像，对初始模糊图像进行下采样至图像金字塔的顶层，得到初始模糊核；S2、根据模糊核估计模型、初始模糊图像和初始模糊核，得到中间清晰图像；S3、根据模糊核估计模型、初始模糊图像和中间清晰图像，得到估计模糊核，再次得到估计模糊核；S4、根据估计模糊核，判断是否达到图像金字塔的底层；若是，则得到最终模糊核；若否，则重复步骤S2和S3，对中间清晰图像和估计模糊核进行上采样至所述图像金字塔的下一层，直至达到图像金字塔的底层并得到最终模糊核；S5、将最终模糊核用于图像非盲复原算法，复原出最终清晰图像；

其中，步骤S2中，选用L0正则项作为中间清晰图像的正则化约束条件；步骤S3中，选用L1正则项作为估计模糊核的正则化约束条件；步骤S4中，图像金字塔的底层的层数为指定迭代次数，指定迭代次数为步骤S1中，输入初始模糊图像时设置的预设值，一般根据初始模糊图像的图像效果设定为10～30次。

每层金字塔中求得中间清晰图像仅用于提高步骤中S3的估计模糊核的准确性，与最终步骤S4中复原出的最终清晰图像没有关联。

优选地，步骤S1中，模糊核估计模型为：

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，p(x)为中间清晰图像的先验知识，p(k)为模糊核的先验知识，||k*x-y||为数据拟合项。

在对模糊核进行估计时，因为式(3)中包含k和x两个未知量，因此采用交替迭代的方法来求解k和x，最终求解的x为中间中间清晰图像，仅用于提高模糊核k求解的准确度。交替迭代求解k和x的两个方程如下：

优选地，模糊核估计模型根据图像模糊模型和贝叶斯理论得到，图像模糊模型为y＝k*x+n，贝叶斯理论为p(x,k|y)∝p(y|x,k)p(x)p(k)；

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，p(x)为中间清晰图像的先验知识，p(k)为模糊核的先验知识，||k*x-y||为数据拟合项。

优选地，步骤S5中，图像金字塔的底层值为：

N＝floor(2log(5/k_s)/log0.5)+1 (4)

其中，N为图像金字塔的底层值，k_s为模糊核的尺寸。

优选地，因为利用梯度先验可以有效地抑制振铃效应，所以梯度先验被广泛用于图像复原；而且一般对于清晰图像而言，其梯度图像通常十分稀疏的；对于模糊图像而言，其梯度图像通常较清晰图像的梯度图像要稠密的多，因此选用L0梯度正则化先验，即

则由式(3)和式(5)可知，中间清晰图像x的求解方程为：

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，为L₀正则项，λ为L₀正则项参数，||k*x-y||为数据拟合项。

优选地，中间清晰图像的方程基于二次分裂的方法求解，引入辅助变量g＝(g_h,g_v)^T，使得中间清晰图像的求解方程为：

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，为x的L₀正则项，λ为x的L₀正则项参数，||k*x-y||为数据拟合项，g为辅助变量，g＝(g_h,g_v)^T。

当g初始化为0时，中间清晰图像的求解方程为：

其中，F^-1(·)、F(·)分别代表快速傅里叶反变换和快速傅里叶变换，为F(·)的复共轭算子， 分别为水平微分算子和垂直微分算子。

当x确定时，通过逼近估计得到的g的解为:

其中，λ为L₀正则化参数。

优选地，因为用L2正则项求得的模糊核通常较为稠密，而模糊核本身是稀疏的，因此选用L1正则项，即

p(k)＝β||k||₁ (10)

则由式(2)和式(10)可知，模糊核的求解方程为：

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，||k||₁为k的L₁正则项，β为k的L₁正则项参数，||k*x-y||为数据拟合项。

优选地，得到估计模糊核之后，对模糊核进行优化处理，优化处理包括：

对模糊核进行非负处理：将模糊核中负值元素设为0；

对模糊核进行连续性处理：保留模糊核的主要结构，剔除分支，使得模糊核的非0区域为一个连通域，非0区域为优化后模糊核的二值图像中的白色区域；

对模糊核进行归一化处理：对模糊核进行归一化处理，使得∑_ik_i＝1。

基于上述实施例，图2为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的框架示意图图；图3为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的模糊核估计结果，如图2和图3所示，下面给出一个基于L0、L1正则项的模糊核估计方法的详细实施例，具体步骤描述如下：

S1、确立模糊核估计模型，输入初始模糊图像，对初始模糊图像进行下采样至图像金字塔的顶层，得到尺寸为7*7的初始模糊核并进行优化处理；输入初始模糊图像时，设置指定迭代次数为6，即图像金字塔的底层的层数为6。

S2、根据模糊核估计模型、初始模糊图像和尺寸为7*7的初始模糊核，在图像金字塔的顶层得到分辨率为128*180的中间清晰图像。

S3、根据模糊核估计模型、初始模糊图像和中间清晰图像，对中间清晰图像进行下采样至图像金字塔的第2层，得到尺寸为9*9的估计模糊核并进行优化处理，继而得到分辨率为182*255的中间清晰图像；

S4、判断是否达到所述图像金字塔的第6层，若是，则得到最终模糊核；若否，则重复步骤S2和S3，分别在图像金字塔第3层得到尺寸为13*13的估计模糊核以及分辨率为257*361的中间清晰图像，在图像金字塔第4层得到尺寸为19*19的估计模糊核以及分辨率为364*510的中间清晰图像，在图像金字塔的第5层得到尺寸为25*25的估计模糊核以及分辨率为515*722的中间清晰图像，在图像金字塔的第6层得到尺寸为35*35的估计模糊核以及分辨率为731*1024的中间清晰图像。

S6、将尺寸为35*35的模糊核用于图像非盲复原算法，复原出最终清晰图像。

由上述实施例可知，本发明的方法能够较为准确地估计出模糊图像的模糊核，用本发明估计模糊核复原得到的清晰图像具有较好的视觉效果，能够较好地复原出初始模糊图像的细节。

基于上述实施例，平均梯度作为图像相对清晰度的客观评价指标，能够反映图像的模糊清晰度；图4(a)和图5(a)为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的初始模糊图像，图4(b)和图5(b)为根据本发明一个优选实施例的基于L0和L1正则项的模糊核估计方法的最终清晰图像，由图4(a)、图4(b)、图5(a)和图5(b)所示，本发明估计模糊核复原得到的清晰图像其平均梯度由图4(a)的5.0137提高到了图4(b)的10.9173，由图5(a)的3.0193提高到了图5(b)的5.6026，本实施例说明本发明估计模糊核能较好地将初始模糊图像复原为最终清晰图像。

本发明提供了一种基于L0和L1正则项的模糊核估计方法，利用L0正则项作为中间清晰图像求解时的约束条件，有效抑制振铃效应；利用L1正则项作为估计模糊核求解时的正则化约束条件，使得估计模糊核足够稀疏，根据建立的模糊核估计模型，将基于L0和L1正则项的模糊核估计方法，应用于图像金字塔理论中，由粗到细地从图像金字塔的顶层至底层求解估计模糊核，将所求得的模糊核用于图像非盲复原算法，复原出最终清晰图像。本发明能够较为准确地估计出模糊图像的模糊核，从而用估计出的模糊图像的模糊核，将初始模糊图像复原出最终清晰图像。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于L0和L1正则项的模糊核估计方法，其特征在于，包括：

S1、确立模糊核估计模型，输入初始模糊图像，对所述初始模糊图像进行下采样至图像金字塔的顶层，得到初始模糊核；

S2、根据所述模糊核估计模型、所述初始模糊图像和所述初始模糊核，得到中间清晰图像；

S3、根据所述模糊核估计模型、所述初始模糊图像和所述中间清晰图像，得到估计模糊核；

S4、判断是否达到所述图像金字塔的底层；若是，则得到最终模糊核；若否，则重复所述步骤S2和S3，对所述中间清晰图像和所述估计模糊核进行上采样至所述图像金字塔的下一层，直至达到所述图像金字塔的底层并得到所述最终模糊核；

S5、将所述最终模糊核用于图像非盲复原算法，复原出最终清晰图像；

其中，所述步骤S2中，选用L0正则项作为所述中间清晰图像的正则化约束条件；所述步骤S3中，选用L1正则项作为所述估计模糊核的正则化约束条件；所述步骤S4中，所述图像金字塔的底层的层数为指定迭代次数，所述指定迭代次数为所述步骤S1中输入所述初始模糊图像时设置的预设值。

2.根据权利要求1所述的一种基于L0和L1正则项的模糊核估计方法，其特征在于，所述步骤S1中，所述模糊核估计模型为：

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，p(x)为中间清晰图像的先验知识，p(k)为模糊核的先验知识，||k*x-y||为数据拟合项。

3.根据权利要求2所述的一种基于L0和L1正则项的模糊核估计方法，其特征在于，所述模糊核估计模型根据图像模糊模型和贝叶斯理论得到，所述图像模糊模型为y＝k*x+n，所述贝叶斯理论为p(x,k|y)∝p(y|x,k)p(x)p(k)；

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，p(x)为中间清晰图像的先验知识，p(k)为模糊核的先验知识。

4.根据权利要求1所述的一种基于L0和L1正则项的模糊核估计方法，其特征在于，所述步骤S5中，所述图像金字塔的底层值为：

N＝floor(2log(5/k_s)/log0.5)+1

其中，N为图像金字塔的底层值，k_s为模糊核的尺寸。

5.根据权利要求1所述的一种基于L0和L1正则项的模糊核估计方法，其特征在于，中间清晰图像的求解方程为：

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，为L₀正则项，λ为L₀正则项参数，||k*x-y||为数据拟合项。

6.根据权利要求5所述的一种基于L0和L1正则项的模糊核估计方法，其特征在于，中间清晰图像的方程基于二次分裂的方法求解，引入辅助变量g＝(gh,gv)^T，使得中间清晰图像的求解方程为：

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，为x的L₀正则项，λ为x的L₀正则项参数，||k*x-y||为数据拟合项，g为辅助变量，g＝(g_h,g_v)^T。

当g初始化为0时，中间清晰图像x的求解方程为：

其中，F^-1(·)、F(·)分别代表快速傅里叶反变换和快速傅里叶变换，为F(·)的复共轭算子， 分别为水平微分算子和垂直微分算子。

当x确定时，通过逼近估计得到的g的解为:

其中，λ为x的L₀正则化参数。

7.根据权利要求1所述的一种基于L0和L1正则项的模糊核估计方法，其特征在于，模糊核的求解方程为：

其中，y为初始模糊图像，k为模糊核，*为卷积算子，x为中间清晰图像，||k||₁为k的L₁正则项，β为k的L₁正则项参数，||k*x-y||为数据拟合项。

8.根据权利要求1所述的一种基于L0和L1正则项的模糊核估计方法，其特征在于，得到所述估计模糊核之后，对模糊核进行优化处理，所述优化处理包括：

对模糊核进行非负处理：将模糊核中负值元素设为0；

对模糊核进行连续性处理：保留模糊核的主要结构，剔除分支，使得模糊核的非0区域为一个连通域；

对模糊核进行归一化处理：对模糊核进行归一化处理，使得∑_ik_i＝1。