CN106204472A - 基于稀疏特性的视频图像去模糊方法 - Google Patents

Abstract

本发明提供一种基于稀疏特性的视频图像去模糊方法，包括如下步骤：建模步骤，建立加权全变差正则化约束的去模糊模型，表示为其中，表示还原的清晰图像，B表示模糊核，y表示产生的模糊图像，μ是一个可以调节的参数，W是对角的权重矩阵，Vx包括横向、纵向还有斜向的一阶差分；求解步骤，通过交替迭代法求解得到更新像素权重，迭代多次，直到收敛。根据本发明，实现了模糊图像的去模糊过程，还原出清晰的图像。并且，通过权重分配的方法改进了非凸的约束模型，建立了凸的优化模型，并使图像的一阶差分的约束模型更加稀疏，同时实现了模型快速求解。

Description

基于稀疏特性的视频图像去模糊方法

技术领域

本发明属于视频图像处理技术领域，特别是涉及一种基于稀疏特性的视频图像去模糊方法。

背景技术

图像去模糊是指研究如何利用计算机把一幅模糊的数字图像还原回一幅清晰图像的方法。

视频去模糊是指将由于拍摄中造成的模糊的视频序列处理成一个清晰的序列的方法。

数字成像设备(数码相机、数码摄像机等)的普及使得数字图像得到越来越广泛的应用。而用于拍摄过程中的对焦不准确、空气中的大气模糊、拍摄时的抖动都会造成图像的不清晰。面对这种情况，我们需要采用一种图像处理的技术把这种不清晰的图像变为清晰的图像。而这种信号处理的技术就是去模糊算法。

去模糊算法在数学上被定义为一类不适定的反问题。已知原因求结果，是正问题；已知结果反推原因是反问题。不适定的反问题是指，反推过程非常不稳定，即受到轻微的噪声影响，对最终的推测会造成非常大的干扰，导致结果错误。为了解决这个问题，常采用一种称为正则化的方法去求解这个问题。也就是对于需要求解的目标进行一定的约束，通过这个约束以及相应的反过程去求解最终的目标，得到更加稳定和理想的结果。

在图像去模糊领域，由于直接约束图像的像素值比较困难，最常使用的约束是对图像的梯度或者是一阶差分进行约束。

有研究者于1977年提出了采用信号差分的二范数约束的正则化方法，使反问题的结果变得稳定。但是，在图像处理方面，差分的二范数约束并不是一个很好的约束方法，它会使图像的边缘变的过度平滑，让图像的结果显得不真实。而对于去模糊问题，差分的二范数约束会导致还原图像在边缘处有明显的纹影，并不能达到理想的去模糊效果。

有研究者在1992年提出了全变差(Total Variation，TV)正则化模型，该模型的改进点是采用了信号差分的一范数约束作为正则化约束方法。这个方法的优点是对于阶跃信号能够很好的保持，对于噪声影响造成的不稳定能够相应的抑制，在求解过程中，使最终还原信号的阶跃部分不至于被平滑掉。TV是一个非常有效的约束模型，但是在求解过程中，由于一范数在0点不可导，一直以来都采用比较慢的次梯度法去求解，使该模型的大量应用推迟了很久。近些年来，由于优化领域的发展，求解TV不再是缓慢的问题，通过交替方向乘子法，可以快速求解TV模型，最终的图像的结果也比较理想。但是，TV模型的一个问题是，对于最终求解出来的结果可能会过度平滑，即除了光滑区域和强边缘区域，细节和纹理会被平滑掉。

之前的约束模型都是凸的模型，而另有研究者于2007年采用了一种非凸的约束模型去求解图像的去模糊问题，取得了相当不错的效果。这种约束模型采用L_0.8范数，即0.8范数去约束图像的差分。这种方法取得良好结果的原因是自然图像一阶差分的概率统计结果的负对数函数近似于一种非凸的曲线，而L_0.8范数也是这种类型的曲线，所以用L_0.8范数进行约束能够得到不错的效果。但是，采用这个约束的最大问题是，这种约束是一个非凸的约束，也就是说，采用这类约束后，可能会产生多解和局部最优解的情况，且快速的求解工具在该问题上会失效。

发明内容

为了解决上述问题，本发明提供一种基于稀疏特性的视频图像去模糊方法，包括如下步骤：

建模步骤，建立加权全变差正则化约束的去模糊模型，表示为，

$\hat{x}=\underset{\hat{x}}{\mathrm{argmin}}\frac{1}{2}{||Bx-y||}_2^2+\mathrm{\μ}W{||Vx||}_1$

其中，表示还原的清晰图像，B表示模糊核，y表示产生的模糊图像，μ是一个可以调节的参数，W是对角的权重矩阵，Vx包括横向、纵向还有斜向的一阶差分；

求解步骤，通过交替迭代法求解得到更新像素权重，迭代多次，直到收敛。

优选地，所述建模步骤，具体包括如下步骤：

建立图像模糊降质模型，表示为：

$y=B\⊗x$

其中，x表示原始清晰图像，B表示模糊核，表示卷积过程，y表示产生的模糊图像；

建立去模糊模型，表示为：

$\hat{x}=B{\⊗}^{-1}y$

其中，表示还原的清晰图像，B表示模糊核，表示反卷积过程，y表示模糊图像；

建立加权全变差正则化约束的去模糊模型,采用加权的全变差正则化约束方式对所述去模糊模型的还原结果进行约束，使所述还原结果不被噪声干扰，且符合真实图像的结果。

优选地，所述加权全变差正则化约束步骤具体包括：

在观察到模糊图像y的情况下，求一个清晰的图像使其条件概率最大，表示为下式，

$\hat{x}=\underset{x}{\mathrm{argmax}}lnp\left(x\right|y);$

优选地，根据贝叶斯公式将所述改写为

$\hat{x}=\underset{x}{\mathrm{argmin}}-lnp\left(y\right|x)-lnp\left(x\right);$

引入真实图像的先验p(x)对最终的结果进行重建。

优选地，假设模糊图像存在的噪声为高斯噪声，后验概率部分表示为

$-lnp\left(y\right|x)=C{||Bx-y||}_2^2.$

其中C为一常系数。

采用加权的全变差正则化约束方式，逼近真实图像的一阶差分概率曲线，对较大的一阶差分项进行弱约束，对较小的一阶差分项进行强约束。

其中，所述较大的一阶差分项为强边缘，所述较小的一阶差分项为平滑区域。

优选地，所述加权的全变差正则化约束，约束权重表示为：

$w_{ij}^{k+1}=\frac{\mathrm{\α}}{\left|{\mathrm{Vx}}_{ij}^k\right|+\mathrm{\β}}$

其中，α和β为可以调节的参数，可以选择不同的参数，为上一次迭代求得的最优解x的一阶差分的绝对值，i和j表示像素的坐标。

优选地，所述求解步骤包括以下步骤：

将所述加权全变差正则化约束的去模糊模型改写为下式，并将W初始化为全1的对角矩阵，其中y为模糊的图像。

$\hat{x}=\underset{x,z}{\arg \min }\frac{1}{2}{||Bx-y||}_2^2+\mathrm{\μ}W{||z||}_1+\frac{\mathrm{\ρ}}{2}{||Vx-z-y||}_2^2$

当求解完毕，将代入公式

$w_{ij}^{k+1}=\frac{\mathrm{\α}}{\left|{\mathrm{Vx}}_{ij}^k\right|+\mathrm{\β}}$

更新每个像素的权重，然后把权重代入所述改写后的加权全变差正则化约束的去模糊模型，再次求解迭代多次，直到收敛。

根据本发明的加权全变差正则化先验模型，使该先验模型的曲线更加贴近自然图像真实的一阶差分统计结果，达到了非常好的去模糊效果。并且，该方法改进了原来的一些逼近先验导致优化方程非凸的现象，使方程的求解更加稳定快速。另外，还为模型设计了快速求解算法，相比于其他需要长时间迭代的算法，使模型更加实用。

附图说明

图1是基于稀疏特性的视频图像去模糊方法流程图。

图2是建模步骤的流程图。

图3是从数据库中统计的自然图像的一阶差分统计特性曲线。

图4是不同的正则项曲线对比。

图5是基于稀疏特性的视频图像去模糊方法去高斯模糊实例，(a)模糊图像，(b)还原的清晰图像，(c)模糊核。

图6是基于稀疏特性的视频图像去模糊方法去运动模糊实例，(a)模糊图像，(b)还原的清晰图像，(c)模糊核。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，基于稀疏特性的视频图像去模糊方法包括建模步骤S1，建立加权全变差正则化约束的去模糊模型；和求解步骤S2，通过交替迭代法求解。更具体地说，如图2所示，建模步骤S1包括以下步骤：

步骤S11，建立图像模糊降质模型。

首先建立图像模糊降质模型，描述已知清晰图像生成模糊图像的过程，一般的图像模糊降质过程用公式可以表示为：

$y=B\⊗x---\left(1\right)$

其中，x表示原始清晰图像，B表示模糊核，表示卷积过程，y表示生产的模糊图像。

步骤S12，建立去模糊模型。

图像去模糊模型是图像模糊降质模型的逆过程，用公式可以表示为：

$\hat{x}=B{\⊗}^{-1}y---\left(2\right)$

其中，表示还原的清晰图像，B表示模糊核，表示反卷积过程，y表示模糊图像。

步骤S13，建立加权TV正则化约束的去模糊模型。

去模糊模型是一种非常不稳定的模型，即稍微有噪声干扰的情况下，会对还原的结果造成非常大的影响，这种模型在数学上被称为不适定的模型。为了有效的解决这个现象，需要对去模糊模型的还原结果做一定的约束，使还原的结果不会被噪声干扰，且符合真实图像的结果。

可以从概率的角度去分析这个问题，则可目标描述为在观察到模糊图像y的情况下，求一个清晰的图像使其条件概率最大。

$\hat{x}=\underset{x}{\mathrm{argmax}}lnp\left(x\right|y)---\left(3\right)$

通过，贝叶斯公式，我们可以把上述模型改写为

$\hat{x}=\underset{x}{\mathrm{argmin}}-lnp\left(y\right|x)-lnp\left(x\right)---\left(4\right)$

假设模糊图像存在的噪声为高斯噪声，那么，后验概率部分可以写成

$-lnp\left(y\right|x)={||Bx-y||}_2^2---\left(5\right)$

如果需要得到符合真实图像的结果，减少噪声的干扰，我们需要引入真实图像的先验p(x)去帮助重建最终的结果。我们通过对建立的数据库中的测试图片的一阶差分进行统计，得到了统计的概率分布，对统计的曲线取对数，我们得到的-lnp(x)曲线如图3所示。

为了逼近该曲线，传统的方法中采用L_x(x＜1)的范数去约束一阶差分项。通常x取0.8，但是，由于L_x(x＜1)的范数是非凸的函数，这样对最终的求解造成了比较大的困难，对于模型的实际应用造成一定的难度。本发明提出一种加权的TV模型，TV是指对一阶差分进行L₁约束。TV是凸的函数，采用TV可以快速的求得唯一解。但是TV和一阶差分的自然统计结果并不相似，因此本发明对TV进行改进，对大的差分结果(强边缘)进行弱约束，对于小的差分结果(平滑区域)进行强约束，通过一种加权策略，使TV使最后的先验约束更加接近自然统计的结果。

所采用的加权约束方式中的权重计算方式为：

$w_{ij}^{k+1}=\frac{\mathrm{\α}}{\left|{\mathrm{Vx}}_{ij}^k\right|+\mathrm{\β}}---\left(6\right)$

其中，α和β为可以调节的参数，可以选择不同的参数，为上一次迭代求得的最优解x的一阶差分的绝对值。i和j表示像素的坐标。图4给出了一个特例，在例子中，将α设为2，将β设为1。可以发现，相比于TV和L_0.8，加权TV正则化约束的去模糊模型的曲线更加的向内部凹，代表着所对应的求解结果中，图像的一阶差分会更加的稀疏，也即是说最终的图像结果会更加的锐利。

最终加权TV正则化约束的去模糊模型可以写成(7)，

$\hat{x}=\underset{\hat{x}}{\arg \min }\frac{1}{2}{||Bx-y||}_2^2+\mathrm{\μ}W{||Vx||}_1---\left(7\right)$

其中，Vx包括横向、纵向还有斜向的一阶差分，μ是一个可以调节的参数，W是对角的权重矩阵。

接下来，在步骤S2中，进行加权TV正则化约束的去模糊模型的快速求解。

优化模型需要配合快速的求解算法才能在实际应用中发挥作用。由于(7)不能直接求解，为了快速求解加权TV正则化约束的去模糊率模型，首先将模型改写为(8)，并将W初始化为全1的对角矩阵。

$\hat{x}=\underset{x,z}{\arg \min }\frac{1}{2}{||Bx-y||}_2^2+\mathrm{\μ}W{||z||}_1+\frac{\mathrm{\ρ}}{2}{||Vx-z-y||}_2^2---\left(8\right)$

然后，通过交替方向乘子法迭代法求解得到

当求解完毕，将代入公式(6)更新每个像素的权重，然后将权重代入(8)再次求解迭代多次，直到收敛。

根据本发明，实现了模糊图像的去模糊过程，还原出清晰的图像。并且通过权重分配的方法改进了非凸的约束模型，建立了凸的优化模型，并使图像的一阶差分的约束模型更加稀疏，同时实现了模型快速求解。在图5中显示了基于稀疏特性的视频图像去模糊方法去高斯模糊实例，其中，(a)为模糊图像，(b)为还原的清晰图像，(c)为模糊核。在图6中显示了基于稀疏特性的视频图像去模糊方法去运动模糊实例，其中，(a)为模糊图像，(b)为还原的清晰图像，(c)为模糊核。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于稀疏特性的视频图像去模糊方法，其特征在于，

包括如下步骤：

建模步骤，建立加权全变差正则化约束的去模糊模型，表示为

$\hat{x}=\underset{\hat{x}}{\arg \min }\frac{1}{2}\left|\right|Bx-y|{|}_2^2+\mathrm{\μ}W|\left|Vx\right|{|}_1$

其中，表示还原的清晰图像，B表示模糊核，y表示产生的模糊图像，μ是一个可以调节的参数，W是对角的权重矩阵，Vx包括横向、纵向还有斜向的一阶差分；以及

求解步骤，通过交替迭代法求解得到更新像素权重，迭代多次，直到收敛。

2.据权利要求1所述的基于稀疏特性的视频图像去模糊方法，其特征在于，

所述建模步骤，具体包括如下步骤：

建立图像模糊降质模型，表示为

$y=B\⊗x$

其中，x表示原始清晰图像，B表示模糊核，表示卷积过程，y表示产生的模糊图像；

建立去模糊模型，表示为

$\hat{x}=B{\⊗}^{-1}y$

其中，表示还原的清晰图像，B表示模糊核，表示反卷积过程，y表示模糊图像；以及

建立加权全变差正则化约束的去模糊模型，采用加权的全变差正则化约束方式对所述去模糊模型的还原结果进行约束，使所述还原结果不被噪声干扰，且符合真实图像的结果。

3.据权利要求2所述的基于稀疏特性的视频图像去模糊方法，其特征在于，

所述加权全变差正则化约束步骤具体包括：

在观察到模糊图像y的情况下，求一个清晰的图像使其条件概率最大，表示为下式，

$\hat{x}=\underset{x}{\arg \max }\ln p\left(x\right|y);$

引入真实图像的先验对最终的结果进行重建；以及

采用加权的全变差正则化约束方式，对较大的一阶差分项进行弱约束，对较小的一阶差分项进行强约束。

4.根据权利要求3所述的基于稀疏特性的视频图像去模糊方法，其特征在于，

所述较大的一阶差分项为强边缘，所述较小的一阶差分项为平滑区域。

5.据权利要求3所述的基于稀疏特性的视频图像去模糊方法，其特征在于，

所述加权的全变差正则化约束，权重的计算方式为

$w_{ij}^{k+1}=\frac{\mathrm{\α}}{\left|{\mathrm{Vx}}_{ij}^k\right|+\mathrm{\β}}$

其中，α和β为可以调节的参数，可以选择不同的参数，为上一次迭代求得的最优解x的一阶差分的绝对值，i和j表示像素的坐标。

6.据权利要求3所述的基于稀疏特性的视频图像去模糊方法，其特征在于，

根据贝叶斯公式将所述改写为

$\hat{x}=\underset{x}{\arg \min }-\ln p\left(y\right|x)-\ln p\left(x\right).$

7.根据权利要求6所述的基于稀疏特性的视频图像去模糊方法，其特征在于，

假设模糊图像存在的噪声为高斯噪声，后验概率部分表示为

$-\ln p\left(y\right|x)=C\left|\right|Bx-y|{|}_2^2$

其中，C为一常系数。

8.据权利要求5所述的基于稀疏特性的视频图像去模糊方法，其特征在于，

所述求解步骤包括以下步骤：

将所述加权全变差正则化约束的去模糊模型改写为下式，并将W初始化为全1的对角矩阵，其中y为模糊的图像；

$\hat{x}=\underset{x,z}{\arg \min }\frac{1}{2}\left|\right|Bx-y|{|}_2^2+\mathrm{\μ}W|\left|z\right|{|}_1+\frac{\mathrm{\ρ}}{2}\left|\right|Vx-z-y|{|}_2^2$

当求解完毕，将代入公式

以及

更新每个像素的权重，然后把权重代入所述改写后的加权全变差正则化约束的去模糊模型，再次求解迭代多次，直到收敛。