CN105809642A - 一种基于l0正则化的自然图像盲去运动模糊的方法 - Google Patents

Abstract

本发明提供一种基于L0正则化的自然图像盲去运动模糊的方法，利用自然图像的梯度信息以及运动模糊核的稀疏特性，在模糊核的求解模型中分别引入相应L0正则项。模型求解时，首先利用基于半二次分裂方法分别对中间复原图像以及模糊核进行求解，为增加鲁棒性，求解过程中采用金字塔模型逐层求解，并且模糊核的估计只用到图像的梯度信息，通过傅里叶变换，将求解过程转换到频率域上进行，避免了直接在空域上进行反卷积运算，从而达到快速求解目的。然后利用求得的模糊核，采用基于全变差分的非盲去卷积方法求得最终的复原图像。本发明提供的方法求解快速，鲁棒性高，且最终的复原图像具有很好的视觉效果。

Description

一种基于L0正则化的自然图像盲去运动模糊的方法

技术领域

本发明涉及图像复原技术领域，更具体地，涉及一种基于L0正则化的自然图像盲去运动模糊的方法。

背景技术

图像是人们在现代社会中获取信息的重要途径。然而在成像过程中，常常由于相机的抖动或者场景中物体的运动，导致获得的图像变得模糊，这极大的阻碍了图像的正常使用和后续处理。

图像盲去模糊，也可以叫作图像盲复原或者图像盲反卷积技术。其目的就是要从模糊的图像是复原出清晰的图像，而图像盲去运动模糊是图像复原问题中的重要课题之一，它被广泛应用于天文探测，军事侦察及预警，公共安全，医疗图像处理等，具有十分重要的现实意义。

图像盲去运动模糊主要存在着两个难点，第一个难点是如何准确的估计出运动模糊轨迹或者也称作模糊核，相比与非盲图像复原，盲图像复原具有更高的病态性，因为其缺少先验知识，且需要估计出模糊核和清晰图像两个未知量。第二个难点是如何保证图像盲去运动模糊具有较高鲁棒性以及实现快速收敛。在图像盲去运动模糊研究中，最典型的作法是在盲复原模型中引入不同形式的先验从而解决盲复原的病态问题，并采用金字塔模型来增强求解的鲁棒性，最后通过优化方法实现快速的盲复原。现有技术中，最简单的盲复原模型中引入的先验约束为基于L2或者L1范式，虽然L2范式的引入使得复原模型可以快速求解，但它会导致估计的模糊核较稠密，进而影响最终复原的图像质量，而基于L1范式的复原模型，会导致估计出不连续以及包含噪声的模糊核，从而影响最终复原的图像质量。

发明内容

为了克服上述技术问题，本发明提供一种基于L0正则化的自然图像盲去运动模糊的方法，是一种复原效果好，快速且鲁棒性高的盲去运动模糊的方法。

为了达到上述技术目的，本发明的技术方案如下：

一种基于L0正则化的自然图像盲去运动模糊的方法，包括以下步骤：

S1：对于输入的原始模糊图像转换成单通道的灰度图像；

S2：求解模糊核时，引入L0正则项，构造求解模型如公式(1)所示：

据此求解模型再结合金字塔模型，采用基于半二次分裂方法对公式(1)中模型进行求解得到模糊核k；

其中及γ为权重参数，y是模糊图像，x是清晰图像，k是模糊核，表示x的一阶偏导；

S3：根据步骤S2求解得到的模糊核k，对原始模糊图像中每个通道的图像均采用基于全变差分的非盲去卷积方法进行复原，再将每个通道复原后的图像合并即求得最终复原图像。

优选的，所述步骤S2的处理过程如下：

S201：根据人工输入的模糊核大小k_size，下采样因子及规定的最小核尺寸k_min_size确定金字塔模型的层级数目；

S202：根据公式(1)，采用基于半二次分裂方法求复原图像x，如公式(2)：

$\arg \underset{x}{\min }{||x*k-y||}_2^2+\mathrm{\γ}{||\▿x||}_0---\left(2\right)$

引入辅助变量β及u，其中β初始化为γ，u初始化为0，将公式(2)写成如下公式(3)：

$\arg \underset{x,u}{\min }{||x*k-y||}_2^2+\mathrm{\β}{||\▿x-u||}_2^2+\mathrm{\γ}{||u||}_0---\left(3\right)$

当β接近于无穷时，公式(2)与公式(3)求解得到的x一致，而公式(3)能够通过交替的计算x和u来求解；

S203：通过公式(4)求u：

$\arg \underset{u}{\min }\mathrm{\β}{||\▿x-u||}_2^2+\mathrm{\γ}{||u||}_0---\left(4\right)$

由于公式(4)是逐个像素的最小化问题，因此u能够通过公式(5)求解得：

$u=\{\begin{array}{cc}\▿x,& {\left|\▿x\right|}^2\≥\mathrm{\γ}/\mathrm{\β}\\ 0,& otherwise\end{array}---\left(5\right)$

S204：根据S203求出u后，x能够通过解最小二乘问题(6)来求得：

$\arg \underset{x}{\min }{||x*k-y||}_2^2+\mathrm{\β}{||\▿x-u||}_2^2---\left(6\right)$

因此有：

其中F(.)和F^-1(.)分别代表傅里叶变换和反傅里叶变换，是F(.)的复共轭形式， 和分别代表垂直以及水平差分，

S205：调整β＝2β，若β未超过限定的最大值，则根据S204求得的x作为输入，执行S203，否则，执行S206；

S206：根据公式(1)，采用基于半二次分裂方法求解k，在公式(8)：

引入辅助变量θ及g，θ初始为g初始化为0，将公式(8)写成如下公式(9)：

当θ接近于无穷时,公式(8)与公式(9)求解得到的k一致，而(9)式能够通过交替的计算k和g来求解；

S207：通过公式(10)求g：

由于公式(10)是逐个像素的最小化问题，因此g能够通过公式(11)求解得：

S208：根据S207求出g后，k能够通过解最小二乘问题(12)来求得：

$\left|\right|\▿x*k-\▿y\left|\right|_2^2{}_k{}^{\arg \min }+\mathrm{\θ}{\left|\right|k-g\left|\right|}_2^2---\left(12\right)$

因此有

$F^{-1}\left(\frac{\stackrel{\‾}{F(\▿x)}F(\▿y)+\mathrm{\θF}\left(g\right)}{\stackrel{\‾}{F(\▿x)}F(\▿x)+\mathrm{\θ}}\right):k=F^{-1}\left(\frac{\stackrel{\‾}{F(\▿x)}F(\▿y)+\mathrm{\θF}\left(g\right)}{\stackrel{\‾}{F(\▿x)}F(\▿x)+\mathrm{\θ}}\right)---\left(13\right)$

其中 对k中小于规定阈值k_threshold的值赋0，并对求得的k归一化；

S209：调整θ＝2θ，若θ未超过限定的最大值，则根据S208求得的k作为输入，执行S207，否则，执行S210；

S210：若金字塔模型中所有层次求解完成，则保留k，执行S3，否则，调整γ：γ＝max{γ/1.1，1e^-4}，若金字塔模型中当前层次求解尚未完成，则执行S202，否则将k，x上采样到金字塔模型中下一层级的对应尺寸，执行S202。

与现有技术相比，本发明技术方案的有益效果是：

本发明在复原模型中引入基于L0正则项的先验条件分别对图像的梯度信息以及模糊核进行约束，这样可以确保估计出来的模糊核具有很好的稀疏特性，其次本发明中采用基于半二次分裂的优化方法以及金字塔模型对图像盲复原问题进行求解，确保了中间复原图像以及模糊核求解时的快速收敛以及复原效果具有较高的鲁棒性。

附图说明

图1为本发明中本发明的步骤流程图；

图2为本发明中使用的测试图像复原过程及中间结果图；

图3为本发明中使用的测试用的模糊图像与复原后的图像对照图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于L0正则化的自然图像盲去运动模糊的方法，包括以下步骤：

S1：对于输入的原始模糊图像转换成单通道的灰度图像；

S2：求解模糊核时，引入L0正则项，构造求解模型如公式(1)所示：

据此求解模型再结合金字塔模型，采用基于半二次分裂方法对公式(1)中模型进行求解得到模糊核k，其中及γ为对应的权重参数，本实施例中γ＝1e^-4；

S3：根据S2求解得到的模糊核k，对原始模糊图像中每个通道的图像均采用经典的基于全变差分的非盲去卷积方法进行复原，再将每个通道复原后的图像合并即求得最终复原图像。

步骤S2的处理过程如下：

S4：根据人工输入的模糊核大小k_size，下采样因子及规定的最小核尺寸k_min_size确定金字塔模型的层级数目，本实施例中如图2所示，人工输入模糊核大小k_size＝37×37，规定的最小核尺寸k_min_size＝7×7，且核尺寸必须为奇数*奇数形式，因此核尺寸从小到大依次为：7×7，11×11，15×15，19×19，27×27，37×37，对应的模糊图像尺寸从小到大依次为：105×84，149×119，211×169，298×239，429×339，600×482，故此金字塔模型中包含6个不同尺寸的层级，如图2所示为对应不同层级下复原的x和估计出的模糊核k变化过程；

S5：根据公式(1)，采用基于半二次分裂方法求复原图像x，在公式(2)：

$\arg \underset{x}{\min }{||x*k-y||}_2^2+\mathrm{\γ}{||\▿x||}_0---\left(2\right)$

引入辅助变量β及u，其中β初始化为γ，u初始化为0，将公式(2)写成如下公式(3)：

$\arg \underset{x,u}{\min }{||x*k-y||}_2^2+\mathrm{\β}{||\▿x-u||}_2^2+\mathrm{\γ}{||u||}_0---\left(3\right)$

当β接近于无穷时，公式(2)与公式(3)求解得到的x一致，而公式(3)能够通过交替的计算x和u来求解；

S6：通过公式(4)求u：

$\arg \underset{u}{\min }\mathrm{\β}{||\▿x-u||}_2^2+\mathrm{\γ}{||u||}_0---\left(4\right)$

由于公式(4)是逐个像素的最小化问题，因此u能够通过公式(5)求解得：

$u=\{\begin{array}{cc}\▿x,& {\left|\▿x\right|}^2\≥\mathrm{\γ}/\mathrm{\β}\\ 0,& otherwise\end{array}---\left(5\right);$

S7：根据S6求出u后，x能够通过解最小二乘问题(6)来求得：

$\arg \underset{x}{\min }{||x*k-y||}_2^2+\mathrm{\β}{||\▿x-u||}_2^2---\left(6\right)$

因此有：

其中F(.)和F^-1(.)分别代表傅里叶变换和反傅里叶变换，是F(.)的复共轭形式， 和分别代表垂直以及水平差分，

S8：调整β＝2β，若β未超过限定的最大值，则根据S7求得的x作为输入，执行S6，否则，执行S9，本实施例中β限定的最大值为1e⁵；

S9：根据公式(1)，采用基于半二次分裂方法求解k，在公式(8)：

引入辅助变量θ及g，θ初始为g初始化为0，将公式(8)写成如下公式(9)：

当θ接近于无穷时,公式(8)与公式(9)求解得到的k一致，而(9)式能够通过交替的计算k和g来求解；

S10：通过公式(10)求g：

由于公式(10)是逐个像素的最小化问题，因此g可以通过公式(11)求解得：

S11：根据S10求出g后，k能够通过解最小二乘问题(12)来求得：

$\left|\right|\▿x*k-\▿y\left|\right|_2^2{}_k{}^{\arg \min }+\mathrm{\θ}{\left|\right|k-g\left|\right|}_2^2---\left(12\right)$

因此有

$F^{-1}\left(\frac{\stackrel{\‾}{F(\▿x)}F(\▿y)+\mathrm{\θ}F\left(g\right)}{\stackrel{\‾}{F(\▿x)}F(\▿x)+\mathrm{\θ}}\right):k=F^{-1}\left(\frac{\stackrel{\‾}{F(\▿x)}F(\▿y)+\mathrm{\θ}F\left(g\right)}{\stackrel{\‾}{F(\▿x)}F(\▿x)+\mathrm{\θ}}\right)---\left(13\right)$

其中：

对k中小于规定阈值k_threshold的值赋0，并对求得的k归一化；本实施例中k_threshold＝12；

S12：调整θ＝2θ，若θ未超过限定的最大值，则根据S11求得的k作为输入，执行S10，否则，执行S13，本实施例中θ限定的最大值为1e⁵；

S13：若金字塔模型中所有层次求解完成，则保留k，执行S3，否则，调整γ：γ＝max{γ/1.1，1e^-4}，若金字塔模型中当前层次求解尚未完成，则执行S5，否则将k，x上采样到金字塔模型中下一层级的对应尺寸，执行S5。

如图3所示，该基于L0正则化的自然图像盲去运动模糊方法的实验效果。图3(a)为待处理的模糊图像，图3(b)经过该盲去运动模糊处理后的结果，从图中可以明显地看出复原效果比较理想。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (2)

1.一种基于L0正则化的自然图像盲去运动模糊的方法，其特征在于，包括以下步骤：

S1：对于输入的原始模糊图像转换成单通道的灰度图像；

S2：求解模糊核时，引入L0正则项，构造求解模型如公式(1)所示：

据此求解模型再结合金字塔模型，采用基于半二次分裂方法对公式(1)中模型进行求解得到模糊核k；

其中及γ为权重参数，y是模糊图像，x是清晰图像，k是模糊核，表示x的一阶偏导；

S3：根据步骤S2求解得到的模糊核k，对原始模糊图像中每个通道的图像均采用基于全变差分的非盲去卷积方法进行复原，再将每个通道复原后的图像合并即求得最终复原图像。

2.根据权利要求1所述的基于L0正则化的自然图像盲去运动模糊的方法，其特征在于，所述步骤S2的处理过程如下：

S201：根据人工输入的模糊核大小k_size，下采样因子及规定的最小核尺寸k_min_size确定金字塔模型的层级数目；

S202：根据公式(1)，采用基于半二次分裂方法求复原图像x，如公式(2)：

引入辅助变量β及u，其中β初始化为γ，u初始化为0，将公式(2)写成如下公式(3)：

当β接近于无穷时，公式(2)与公式(3)求解得到的x一致，而公式(3)能够通过交替的计算x和u来求解；

S203：通过公式(4)求u：

由于公式(4)是逐个像素的最小化问题，因此u能够通过公式(5)求解得：

S204：根据S203求出u后，x能够通过解最小二乘问题(6)来求得：

因此有：

其中F(.)和F^-1(.)分别代表傅里叶变换和反傅里叶变换，是F(.)的复共轭形式， 和分别代表垂直以及水平差分，

S205：调整β＝2β，若β未超过限定的最大值，则根据S204求得的x作为输入，执行S203，否则，执行S206；

S206：根据公式(1)，采用基于半二次分裂方法求解k，在公式(8)：

引入辅助变量θ及g，θ初始为g初始化为0，将公式(8)写成如下公式(9)：

当θ接近于无穷时,公式(8)与公式(9)求解得到的k一致，而(9)式能够通过交替的计算k和g来求解；

S207：通过公式(10)求h：

由于公式(10)是逐个像素的最小化问题，因此g能够通过公式(11)求解得：

S208：根据S207求出g后，k能够通过解最小二乘问题(12)来求得：

因此有

其中 对k中小于规定阈值k_threshold的值赋0，并对求得的k归一化；

S209：调整θ＝2θ，若θ未超过限定的最大值，则根据S208求得的k作为输入，执行S207，否则，执行S210；

S210：若金字塔模型中所有层次求解完成，则保留k，执行S3，否则，调整γ：γ＝max{γ/1.1，1e^-4}，若金字塔模型中当前层次求解尚未完成，则执行S202，否则将k，x上采样到金字塔模型中下一层级的对应尺寸，执行S202。