CN104408692A - 一种基于深度学习的图像模糊模型参数分析方法 - Google Patents

Abstract

本发明设计一种基于深度学习的模糊模型参数分析方法，其特征在于包括：步骤1，以深度信念网络结构来提取模糊特征并对其分类，即首先使用半监督的深度信念网络来将输入图像块投射到差异特征空间，然后再对各特征进行分类；步骤2，对模糊核的参数进行识别，即由变换域的边缘提取帮助深度信念网络结构以较高的准确性来确认模糊参数。本发明能够确保深度信念网络结构以较高的准确性来确认模糊参数，经在如Berkeleysegmentation和PascalVOC2007等多个图像数据库中反复试用验证，取得了满意的优于目前最好的模糊估计方法的性能效果。

Description

一种基于深度学习的图像模糊模型参数分析方法

技术领域

本发明属于图像模糊分析技术领域，特别是涉及一种基于深度学习的图像模糊模型参数分析方法。

背景技术

模糊图像的修复是利用已有退化模型的不充分信息对原始高质量图像进行重建的过程。图像去模糊的方法主要可以分为盲去模糊和非盲去模糊。非盲去模糊方法需要模糊核与其参数的先验知识，而在盲去模糊方法中可假设模糊算子未知。在实际应用的各种情形当中点扩散函数(Point Spread Function(PSF))未知，所以非盲去模糊的应用范围比盲去模糊的范围狭窄很多。盲图像去模糊算法可以分为两类：多图像和单一图像的去模糊方法。在实际应用中，后者比较常见。如：“A.Likas and N.Galasanos.A variational approach for bayesianblind image deconvolution.IEEE Transactions on Signal Processing,52(8):2222–2233,2004”一文中提出了利用贝叶斯模型进行单一图像盲去卷积；“F.Rooms,W.Philips,and J.Portilla.Parametric psf estimation viasparseness maximization in the wavelet domain.In Proc.SPIE vol.5607,Wavelet Application in Industrial Processing II,pages 26–33,2004”一文中提出了用小波分解估计高斯模糊模型的方法；“Rekleitis.Optical flowrecognition from the power of spectrum of a single blurred image.In Proc.ICIP,pages 791–794,1996”一文中讨论了如何修复由运动模糊造成退化的图像；类似的，还有“T.Cho,S.Paris,B.Horn,and Freeman W.Blur kernelestimation using the radontransform.In Proc.CVPR,pages 241–248,2011”一文中提出了一个非常热门的方法，使用radon变换来对图像的边缘进行估计,从而计算模糊核。除此之外，还有其它许多方法也被用于运动模糊的估计,如倒频谱方法(cepstral method)和方向可调滤波器(steerable filters)等。

虽然很多已有的研究集中在图像去模糊这个问题上，但是图像模糊的分类问题尚未被很好的解决。图像模糊的分类有较高的应用价值，因为实际拍摄得到的图像中的模糊类型通常是未知的。针对这类问题已有一些模糊分类方法并不做图像去模糊，而是利用模糊的特征参数来进行分类；其中一个现有技术是利用模糊特征即局部自相关一致性和贝叶斯分类器进行分类的，参见R.Liu,Z.Li,andJ.Jia,Image partial blur detection and classification.In Proc.CVPR,pages 23–28,2008一文；另一个相似方法是由Su等人提出的基于阿尔法通道的特征分类方法，该特征对模糊的扩展有不同的圆度；尽管这两种方法都能够从实际的模糊图像中检测到局部模糊，它们都要很大程度依赖于手工提取的特征。

尽管先前的利用手工提取特征的模糊分类方法有较好的性能，它们的效果还是比较有局限性的，因为自然图像的变化很大。近年来，很多学者已经将目光从直觉先验转移到了深度学习来更好的提取用于分类的特征。深度神经网络大致模仿了哺乳动物的视觉视皮层，这已经被用于很多的计算机视觉应用，如物体识别，图像分类，甚至是图像分析。在Jain等人的去噪工作中[6],参见V.Jain and H.Seung.Natural image denoising with convolutional networks.In Proc.NIPS,pages 769–776,2008一文，他们展示了将卷积的神经网络用于进行图像去噪的潜力；在这样的结构中，深度卷积神经网络中的学习到的权值和bias的值是由训练足够大量的自然图像得到的；在测试阶段，神经网络中的的参数对于退化图像相当于贝叶斯模型的”先验”信息；该方法相比于顶级的局部去噪方法来讲效果更佳。另一个例子是利用基于神经网络的多特征分类器来构造模糊内容度量，经证实，联合的学习到的特征优于单独的基于手工的特征。

综上所述，现有图像模糊分析技术存在的主要不足可归纳为：一是对同一幅图中出现的不同模糊类型较难进行分别处理；二是现有的基于块的图像模糊分类方法利用的图像特征很难很好的同时描述各个不同模糊类型。

发明内容

本发明的目的在于克服现有技术所存在的不足而提供一种基于深度学习的图像模糊模型参数分析方法，本发明针对现有的同一副图像内出现不同模糊类型和模糊参数大小的问题，首先以两步骤的深度信念网络结构来首先对模糊类型进行分类，然后对模糊核的参数进行识别，确保深度信念网络结构以较高的准确性来确认模糊参数。

根据本发明提出的一种基于深度学习的模糊模型参数分析方法，其特征在于包括：

步骤1，以深度信念网络结构来提取模糊特征并对其分类，即首先使用半监督的深度信念网络来将输入图像块投射到差异特征空间，然后再对各特征进行分类；

步骤2，对模糊核的参数进行识别，即由变换域的边缘提取帮助深度信念网络结构以较高的准确性来确认模糊参数。

本发明提出的一种基于深度学习的模糊模型参数分析方法的进一步优选方案是：

本发明步骤1所述以深度信念网络结构来提取模糊特征并对其分类，具体包括：

步骤1.1，对输入深度信念网络的模糊特征进行分类确认其退化模型；

步骤1.2，在步骤1.1的基础上，对每类的模糊模型进行参数分类。

本发明步骤1.1所述对输入深度信念网络的模糊特征进行分类确认其退化模型，是指对输入图像进行第一步分块预处理，预处理得到特征后，送入深度信念网络做特征提取和分类。

本发明步骤1.2所述在步骤1.1的基础上，对每类的模糊模型进行参数分类，是指对已经得到的模型分类结果进行预处理，预处理得到新的特征后，再次送入深度信念网络做特征提取和分类。

本发明步骤1.1所述对输入图像块进行第一步分块预处理，是指使用一个基于傅里叶变换稀疏的边缘的差异特征，其公式如下：

$\log {\left(\right|G\left(u\right)\left|\right)}_{\mathrm{norm}}=\frac{\log \left(\right|G\left(u\right)\left|\right)-\log \left(\right|G_{\min }\left|\right)}{\log \left(\right|G_{\max }\left|\right)-\log \left(\right|G_{\min }\left|\right)},$

上式中：G(u)为观察图像经过傅里叶变换的值；G_max和G_min分别为G(u)的最大和最小值。

本发明步骤1所述以深度信念网络结构来提取模糊特征，是指首先使用经典的Canny算子进行初步的特征提取，然后运用一个启发式方法来细化边缘提取的结果；细化的具体步骤如下：

一是对于两种模糊类型，选择孤立的边缘；假设这个孤立区域的半径是d,那些在当前边缘半径为d的正交方向上的边缘会被滤掉；

二是对于运动模糊，放弃非常短和非常弯曲的边缘；考虑在区域半径为d内的，角度范围是θ＝[0,π]的边缘；

三是对于运动模糊，所有由前两步提取出的边缘应该有同样的方向角α，因此，在这一步可根据主方向角，再次去掉无用边缘。

本发明步骤2所述对模糊核的参数进行识别，是指对不同的模糊参数类型，不同的模糊参数被设定为：

一是高斯模糊有8种类型(标签)：σ＝{0.5,1,1.5,2,2.5,3,3.5,4}；

二是运动模糊有8种类型(标签)：M＝{3,9}ω＝{0,45,90,135}；

三是离焦模糊有8种类型(标签)：R＝{2,5,8,11,14,17,20,23}；

如图1所示，在步骤2所述参数分类的过程中，每个DBN的层的大小设置是相同的，但它们的输出层的标签均不相同，且每个DBN充当模糊参数模型的特征提取算子和分类器。

本发明的实现原理是：本发明巧妙地利用机器学习得到的特征描述符来设计一种新的基于块的模糊类型分类和模糊参数辨别方法，以便于更好的解决现有技术中的图像模糊分析问题。具体是，为利用深度信念网络(Deep Belief Network(DBN))来完成特征提取和分类，而提出一个两步的系统框架：首先对于被不同模糊核退化的输入图像块，深度信念网络被用来识别模糊类型；然后同种模糊类型里的不同训练样本会被送入DBN结构做进一步的参数估计；再用半监督的方法来训练DBN：在逐层的训练阶段，使用贪婪的无监督的训练；后边的细化调整需要用有监督的反向传播。无监督的过程对特征学习有很大的好处，反向传播有益于提取输入图像块中的差异信息。

本发明与现有技术相比其显著优点在于：

第一，现有的图像模糊估计方法大多需要在进行去模糊运算的过程中估计模糊参数，而本发明能够在放入DBN之前，首先使用一个基于傅立叶变换系数的边缘的差异特征来预处理模糊图像，使得预先将模糊参数估计的较为准确，以利于大大提高后边去模糊运算的精度，从而达到不需要进行去模糊运算的模糊估计方法的显著效果。

第二，在实际应用当中，待处理的模糊图像在不同像素点处通常是被不同参数不同模型的模糊核所退化，而传统的去模糊方法主要基于某个具体模糊类型，无法解决处理多参数多模型的问题。本发明所述的每块输入图像都是单独放入深度学习模块进行参数估计的，从而运用基于块的模糊参数估计方法来很好地解决了这一难题。

第三，现有的模糊核估计方法很多是使用基于启发式方法(heurisic)的模糊特征，在实际中，如果待估计图像中的模糊类型不定，那么启发式方法特征有时便会失效。本发明运用了深度学习模型来解决启发式方法特征对不同模糊类型不够普适的问题，同时，当输入模糊图像不是自然图像的时候，深度学习模型还可以较好的估计其参数。

本发明经在如Berkeley segmentation和Pascal VOC 2007等多个图像数据库中反复试用验证，取得了满意的优于目前最好的模糊估计方法的性能效果。

附图说明

图1是本发明提出的一种基于深度学习的图像模糊模型参数分析方法的系统方框图，其中：DBN₁是第一步的模糊类型分类，输出的是各个标签信息，B₁、B₂和B₃；DBN₂是对模糊的点扩展函数的参数进行辨别，输出的是对于各个模糊类型内部的标签信息，P₁、P₂和P₃。

图2是本发明与三种不同边缘提取方法的对比图；从左至右：图2a为输入图像在傅立叶变换域的特征块；图2b为Canny算子的提取结果；图2c为Canny算子的改进结果；图2d为本发明的方法的结果，即先利用Canny算子进行边缘提取，再用启发式方法细化边缘提取的结果。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式作进一步的详细说明。

根据上述本发明提出的一种基于深度学习的模糊模型参数分析方法以及优选方案，现具体说明本发明的应用实施例。

1.对本发明整体结构设计的要求：

两阶段的DBN的整体学习过程如下：

首先，在第一个DBN处，可使用输入模糊图像块的的频域值在辨别模糊类型；这一过程的输出是3个标签信息：即高斯模糊、运动模糊和离焦模糊；使用标签信息，第一步骤的分类结果用来作为第二步骤的输入；其次，在第二步这一步骤，主要用来识别模糊的参数；需要使用预处理过程来处理边缘提取的结果，但是高斯模糊的依然和第一步骤的输入相同。

2.对本发明具体实施过程的要求：

2.1对问题的定义：

图像模糊的过程通常可以被定义为如下的退化过程：

g(x)＝q(x)*f(x)+n(x)   (1)，

其中x表示一个图像像素点的坐标，g表示模糊图像，f表示原始高质量图像，q表示某种模糊类型的点扩散函数，*表示卷积操作，n表示加性噪声。

本发明实施中考虑了如下几个在实际中较为常见的模糊类型：

高斯模糊：这个类型用来描述大气湍流，点扩散函数如下：

$q(x,\mathrm{\σ})=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{x_1^2+x_2^2}{{2\mathrm{\σ}}^2}),x\∈R---\left(2\right),$

σ是待估计的模糊函数半径，R是支撑集的范围；

另外一种模糊是由相机的线性运动引起的：

$q\left(x\right)=\left\{\begin{array}{cc}\frac{1}{M},& \begin{array}{ccc}\mathrm{if}(x_1,x_2)\left(\begin{array}{c}\sin \left(\mathrm{\ω}\right)\\ \cos \left(\mathrm{\ω}\right)\end{array}\right)=0& \mathrm{and}& x_1^2+x_2^2\≤M^2/4\end{array}\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(3\right),$

M是描述运动的位移，w是运动的角度；这也是本发明系统中需要辨别的参数；

第三种模糊是离焦模糊，具体模型如下：

$q\left(x\right)=\left\{\begin{array}{cc}\frac{1}{\mathrm{\π}{R}^2},& \sqrt{x_1^2+x_2^2}\≤R\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(4\right),$

模糊的半径R和离焦的程度成反比。

2.2模糊特征的确定：

2.2.1运动模糊和离焦模糊特征：

对公式(1)的两边做傅立叶变换，可得到以下公式：

G(u)＝Q(u)F(u)+N(u)   (5)，

其中 $Q\left(u\right)=\frac{J_1\left(\mathrm{\πRr}\right)}{\mathrm{\πRr}},r=\sqrt{u_1^2+u_2^2}.$

对于运动模糊，点扩散函数的傅立叶变换结果是：

$Q\left(u\right)=\frac{\sin \left(\mathrm{\πM\ω}\right)}{\mathrm{\πM\ω}},\mathrm{\ω}=\±\frac{1}{M},\±\frac{2}{M},...---\left(6\right),$

为了估计Q(u)的点扩散函数，可通过使用图像G(u)来估计Q的参数；因此，G的正则化之后的值可用在本发明的实现中:

$\log {\left(\right|G\left(u\right)\left|\right)}_{\mathrm{norm}}=\frac{\log \left(\right|G\left(u\right)\left|\right)-\log \left(\right|G_{\min }\left|\right)}{\log \left(\right|G_{\max }\left|\right)-\log \left(\right|G_{\min }\left|\right)}---\left(7\right),$

在本发明的系统中，特征提取的部分过程如下：首先使用经典的Canny算子进行初步的特征提取，然后用一个启发式方法来细化边缘提取的结果；因为有用的边缘通常在零交叉附近孤立存在，所以应该细化前面的边缘提取结果；具体的细化过程如下：一是对于两种模糊类型，可选择孤立的边缘；假设这个孤立区域的半径是d,那些在当前边缘半径为d的正交方向上的边缘会被滤掉；二是对于运动模糊，可放弃非常短和非常弯曲的边缘，应考虑在区域半径为d内的，角度范围是θ＝[0,π]的边缘；三是对于运动模糊，所有由前两步提取出的边缘应该有同样的方向角α；因此，在该步骤中可根据主方向角α，再次去掉无用边缘。图2为本发明与三种不同边缘提取方法的对比图，从图2可看出，本发明的方法适用于输入图像块，以便更好地滤掉噪声。

2.2.2高斯模糊特征：

对于高斯模糊，它的点扩散函数的傅立叶变换依然是高斯函数；当高斯模糊的参数变化时，相应的频域形状变化不显著；从公式(2)可以看出，高斯核充当了一个低通滤波器；当这个滤波器的参数变大，会有更多的高频信息通过，然而，基于观察，当σ比2大，频域的高斯函数几乎不变；在大量实验中，证实了边缘提取对高斯模型是不合适的。

2.3深度信念网络的训练过程：

深度信念网络通常作为一个产生式模型被用于特征学习；在本发明中，首先用无监督的贪婪的基于层的训练过程来构造DBN，以利于在高一些的隐藏层中提取特征，然后再使用有监督的细化过程来训练包含差异特征的权值。

DBN的训练过程如以下所示：

一是训练限制的Boltzmann机器(Restricted Boltzmann Machine(RBM))来当作DBN的输入第一层；然后，后续的隐藏层可以用来提取输入的模糊的样本的特征；

二是在RBM的后续训练过程中，需要更新两个相邻层之间的权值；在本发明的学习过程中，使用对比发散来训练；

三是重复第一和第二步，直到所有的层都被训练好；

四是在有监督的学习部分，使用标签信息来训练DBN的有监督权值细化部分，然后优化过程是最小化预测值和标签之间差异，使用的方法是共轭梯度。

2.4第二步模糊参数大小分类分析

对不同的模糊参数类型，不同的模糊参数被设定为：

一是高斯模糊有8种类型(标签)：σ＝{0.5,1,1.5,2,2.5,3,3.5,4}；

二是运动模糊有8种类型(标签)：M＝{3,9}ω＝{0,45,90,135}；

三是离焦模糊有8种类型(标签)：R＝{2,5,8,11,14,17,20,23}；

如图1所示，在第二步参数分类的过程中，每个DBN的层的大小设置是相同的，但它们的输出层的标签均不相同，且每个DBN充当模糊参数模型的特征提取算子和分类器。

本发明经反复试验验证，取得了满意的应用效果。

Claims (7)

1.一种基于深度学习的模糊模型参数分析方法，其特征在于包括：

步骤1，以深度信念网络结构来提取模糊特征并对其分类，即首先使用半监督的深度信念网络来将输入图像块投射到差异特征空间，然后再对各特征进行分类；

步骤2，对模糊核的参数进行识别，即由变换域的边缘提取帮助深度信念网络结构以较高的准确性来确认模糊参数。

2.根据权利要求1所述的基于深度学习的模糊模型参数分析方法，其特征在于步骤1所述以深度信念网络结构来提取模糊特征并对其分类，具体包括：

步骤1.1，对输入深度信念网络的模糊特征进行分类确认其退化模型；

步骤1.2，在步骤1.1的基础上，对每类的模糊模型进行参数分类。

3.根据权利要求2所述的基于深度学习的模糊模型参数分析方法，其特征在于步骤1.1所述对输入深度信念网络的模糊特征进行分类确认其退化模型，是指对输入图像进行第一步分块预处理，预处理得到特征后，送入深度信念网络做特征提取和分类。

4.根据权利要求2所述的基于深度学习的模糊模型参数分析方法，其特征在于步骤1.2所述在步骤1.1的基础上，对每类的模糊模型进行参数分类，是指对已经得到的模型分类结果进行预处理，预处理得到新的特征后，再次送入深度信念网络做特征提取和分类。

5.根据权利要求3所述的基于深度学习的模糊模型参数分析方法，其特征在于步骤1.1所述对输入图像块进行第一步分块预处理，是指使用一个基于傅里叶变换稀疏的边缘的差异特征，其公式如下：

${\log \left(\right|G\left(u\right)\left|\right)}_{\mathrm{norm}}=\frac{\log \left(\right|G\left(u\right)\left|\right)-\log \left(\right|G_{\min }\left|\right)}{\log \left(\right|G_{\max }\left|\right)-\log \left(\right|G_{\min }\left|\right)}$

上式中：G(u)为观察图像经过傅里叶变换的值；G_max和G_min分别为G(u)的最大和最小值。

6.根据权利要求1所述的基于深度学习的模糊模型参数分析方法，其特征在于步骤1所述以深度信念网络结构来提取模糊特征，是指首先使用经典的Canny算子进行初步的特征提取，然后运用一个启发式方法来细化边缘提取的结果；细化的具体步骤如下：

一是对于两种模糊类型，选择孤立的边缘；假设这个孤立区域的半径是d,那些在当前边缘半径为d的正交方向上的边缘会被滤掉；

二是对于运动模糊，放弃非常短和非常弯曲的边缘；考虑在区域半径为d内的，角度范围是θ＝[0,π]的边缘；

三是对于运动模糊，所有由前两步提取出的边缘应该有同样的方向角α，因此，在这一步可根据主方向角，再次去掉无用边缘。

7.根据权利要求1所述的基于深度学习的模糊模型参数分析方法，其特征在于步骤2所述对模糊核的参数进行识别，是指对不同的模糊参数类型，不同的模糊参数被设定为：

一是高斯模糊有8种类型(标签)：σ＝{0.5,1,1.5,2,2.5,3,3.5,4}；

二是运动模糊有8种类型(标签)：M＝{3,9}ω＝{0,45,90,135}；

三是离焦模糊有8种类型(标签)：R＝{2,5,8,11,14,17,20,23}；

在步骤2所述参数分类的过程中，每个DBN的层的大小设置是相同的，但它们的输出层的标签均不相同，且每个DBN充当模糊参数模型的特征提取算子和分类器。