CN104680491A - 一种基于深度神经网络的图像非均匀运动模糊去除方法 - Google Patents

Abstract

一种基于深度神经网络的图像非均匀运动模糊去除方法，包括深度神经网络参数训练、深度网络应用于图像实现运动模糊估计和去除两大步骤。深度网络结构由卷积网络层和前向网络层构成，该网络模型训练过程为：用自然图像生成模糊图像块和模糊核对，用上述数据训练深度神经网络模型参数。给定一幅运动模糊图像，将图像分解为带重叠区域的图像块集，将每个图像块输入深度神经网络输出图像块对应的运动模糊核概率分布，进一步通过优化马尔可夫随机场模型获得图像逐点不同的运动模糊核。最后，基于上述估计的运动模糊核，通过解卷积算法获得去模糊图像。由于深度神经网络的强学习能力，本发明可以精确的估计图像非均匀运动模糊，进一步获得清晰图像。

Description

一种基于深度神经网络的图像非均匀运动模糊去除方法

技术领域：

本发明属于图像处理领域，具体涉及一种基于深度神经网络的图像非均匀运动模糊去除方法，用于自动估计和去除图像中的非均匀运动模糊现象。

背景技术：

图像去模糊是图像处理领域的一个重要问题。现有的方法多关注于去除全局一致的模糊。此外还有非均匀运动图像模糊，即运动模糊核是空间不一致的。该类模糊多发生于在图像拍摄图像过程中物体发生运动，或者在运动的汽车中拍摄外界场景。该问题具有很强的挑战性。下面介绍解决图像模糊和非均匀模糊估计和去除的现有方法。

1.图像均匀模糊估计和去除方法

当前的均匀模糊核估计算法通常采用优化能量函数方式实现。将图像模糊核和清晰图像作为优化变量，建立基于自然图像稀疏性约束的能量模型，并通过极小化该能量模型同时获得模糊核和清晰图像。其能量模型的形式一般为：

$E(I,k)=\frac{\mathrm{\γ}}{2}{\left|\right|k*I-O\left|\right|}^2+R_1\left(k\right)+R_2\left(I\right)$

其中I,k为待优化的清晰图像和模糊核。R₁(K),R₂(i)为对模糊核和图像的正则化约束，往往建模为在变换域内的稀疏性约束。

该类算法的典型文献为[1,2]。其中文献[1]提出一种两阶段模糊核估计算法，通过估计重要图像边缘结构更好地估计模糊核；文献[2]则采用L₀稀疏性正则化来约束图像，在算法迭代优化过程中，稀疏正则化约束可生成包含图像重要边缘结构的结构图像，进而更精确估计模糊核，该方法被证明可以需要更少的迭代步数即可获得模糊核和清晰图像。

上述图像均匀模糊去除算法均假设图像的模糊核是全局一致的，因此整幅图像只估计一个模糊核。但这实际中，图像的模糊可能是非均匀的，即图像不同空间位置具有不同的模糊核。下面将综述非均匀图像模糊去除的现有方法。

2.图像非均匀模糊估计和去除方法

图像非均匀模糊现象往往由以下原因产生：(1)在相机拍摄过程中，相机发生了旋转运动、或者场景中的物体发生运动；(2)相机架设在运动的汽车或火车进行拍摄。这类模糊图像的模糊核是逐点不同的，如何估计和去除非均匀模糊核具有强挑战性，目前的现有算法还远远没有解决这类问题。

一类方法关注相机旋转所引起的非均匀模糊去除问题。这类方法往往将非均匀模糊核估计问题转化为相机旋转运动参数空间中的模糊核估计问题，并全图估计运动参数空间中的一个模糊核。文献[4]研究相机的震动所引起的图像模糊问题，基于相机的成像模型，将这类模糊图像的模糊核建模为相机在运动参数空间中的运动路径，模糊图像则是相机运动路径上不同运动图像的求和。进一步通过统计方法估计运动模糊核，采用经典的去卷积算法获得清晰图像。

另一类方法研究物体运动产生的运动模糊去除，该类问题关注的模糊图像往往是由于相机拍摄过程中场景中的物体发生运动引起的。文献[3]研究非均匀运动模糊核的估计和去除。将图像的运动模糊核参数化描述为某个方向(例如水平)的运动强度。进一步研究图像在不同的运动强度下模糊图像的统计分布规律。给定一幅运动模糊图像，通过学习到的统计分布规律推理模糊图像的运动模糊核。由于模糊图像的统计分布是图像整体特征描述且描述不精细，因此其估计非均匀运动模糊核的能力不足。文献[5]则研究不同运动模糊图像的图像块的谱分布规律，建立判断图像块对应运动模糊核的统计推理模型，对图像中的图像块独立判断其模糊核。文献[6]也同样研究图像块对应的模糊核估计模型，采用Gabor滤波器组和字典学习得到的滤波器组对图像进行滤波响应，用得到的响应向量作为特征学习分类器以判断图像块对应的模糊核。

上述图像均匀/非均匀模糊估计和去除方法均具有局限性。均匀模糊去除方法假定图像的模糊是全局一致的，而在实际应用中，模糊核往往不是一致的；非均匀模糊方法中的相机旋转模糊去除算法假定模糊是由于相机旋转所引起的，但该假设在实际应用中也具有局限性，例如大量模糊图像是由于物体运动或者相机/物体运动的混合情况；物体运动模糊去除方法采用逐图像块的模糊核估计方法，但其估计精度不高，远远无法达到实用要求。

参考文献：

[1]L.Xu and J.Jia.Two-phase kernel estimation for robust motiondeblurring.In Proceeding ofEuropean Conference on Computer Vision,2010.

[2]L.Xu,S.Zheng,and J.Jia.Unnatural l0sparse representation fornatural image deblurring.In IEEE Conference on ComputerVision and Pattern Recognition,2013.

[3]A.Levin.Blind motion deblurring using image statistics.In NIPS,2007.

[4]O.Whyte,J.Sivic,A.Zisserman,and J.Ponce.Non-uniform deblurringfor shaken images.International Journal of Computer Vision,98(2):168–186,2012.

[5]A.Chakrabarti,T.Zickler,and W.Freeman.Analyzing spatiallyvarying blur.In Proceedingof IEEE Conference on Computer Vison and Pattern Recognition,2010.

[6]F.Couzini′e-Devy,J.Sun,K.Alahari,and J.Ponce.Learning toestimate and removenon-uniform image blur.In Proceeding of IEEE Conference on Computer Vison and PatternRecognition,2013.

发明内容：

本发明的目的在于针对上述现有技术的缺陷或不足，提出了一种基于深度神经网络的图像非均匀运动模糊去除方法。该方法主要关注于去除由于相机运动、物体运动等引起的图像非均匀模糊；同时作为一种通用方法，也可以解决均匀模糊图像的模糊去除问题。该方法假定图像的运动模糊是局部线性的，即模糊核可局部描述为线性运动核，采用深度网络学习，自动估计非均匀模糊图像的逐像素点的运动模糊核，并对模糊进行去除从而获得高清晰度的图像。

为达到上述目的，本发明采用如下的技术方案予以实现：

一种基于深度神经网络的图像非均匀运动模糊去除方法，包括如下步骤：

1)将相机相对于场景的运动向量空间量化为N个不同的运动向量，构成运动模糊核集G，每个运动向量对应于G中的一个运动模糊核；采集不少于100张图像，将N个不同运动向量对应的运动模糊核分别应用于各个图像，获得各自的模糊图像，在上述各个模糊图像中分别截取多个M×N大小的模糊图像块，并与对应的运动模糊核共同构成训练数据集，每个训练数据由一个图像块和与其对应的运动模糊核构成；

2)构造深度神经网络，用训练数据集学习深度神经网络的网络权重数据，学习到用于运动模糊核估计的深度神经网络；

3)在待处理运动模糊图像上每隔s×s个像素截取大小为M×M的图像块集合，将图像块集合中的每个图像块输入到深度神经网络中，输出每个图像块的对应于运动模糊核集G中不同运动模糊核的概率；

4)融合不同图像块的运动模糊核概率获得逐个像素点对于不同运动模糊核的置信度，进一步通过优化马尔可夫随机场模型求得每个像素点的最优运动模糊核；

5)基于获得的图像逐点运动模糊核，通过优化图像块先验约束的去卷积能量函数，获得待处理运动模糊图像对应的去模糊图像。

本发明进一步的改进在于：所述步骤2)中的深度神经网络由两层卷积网络层、一层全连接层和一层软极大网络层构成；其中，每层卷积网络层均由卷积滤波、非线性激活函数和极大池化构成，两层卷积网络层的滤波器大小分别为96个7×7滤波器、256个5×5滤波器；全连接层的神经元个数为1024。

本发明进一步的改进在于：所述步骤2)中的神经网络训练过程采用反向传播算法。

本发明进一步的改进在于：所述步骤3)中图像块输入深度神经网络后输出其属于运动模糊核集G中不同运动模糊核的概率P(m_k|A)计算公式为：

$P\left(m_k\right|A)=\frac{\exp \left(W_k^T\mathrm{\φ}\left(A\right)\right)}{{\mathrm{\Σ}}_n\exp \left(W_n^T\mathrm{\φ}\left(A\right)\right)}$

其中m_k为运动模糊核集G中第k个运动模糊核，A为图像块，φ(A)为该图像块通过深度网络全连通层后的特征输出；W_k为软极大网络层第k类神经元与上层输出的连接权重向量。

本发明进一步的改进在于：所述步骤4)中采用如下公式融合不同图像块的运动模糊核概率以获得逐个像素点对于运动模糊核集G中不同运动模糊核m_k的置信度C_i(m_k)：

$C_i\left(m_k\right)=\frac{1}{{\mathrm{\Σ}}_{A:i\∈A}{w}_{\mathrm{iA}}}\underset{A:i\∈A}{\mathrm{\Σ}}{w}_{\mathrm{iA}}P\left(m_k\right|A)$

其中i为像素点下标，m_k为运动模糊核集G中第k个运动模糊核，A为图像块，P(m_k|A)为图像块A对应于运动模糊核集G中运动模糊核m_k的概率，w_iA为像素点i相对于图像块A中心的影响权重，定义为：

w_iA＝exp||x_E-x_A||²/τ)

其中x_i，x_A分别为像素点i和图像块A中心点坐标，τ为无量纲，其取值为100。

本发明进一步的改进在于：所述步骤4)中的马尔可夫随机场能量模型E(M)如下：

$E\left(\right)=\underset{i}{\mathrm{\Σ}}[-C_i\left(m_i\right)+\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{\left|\right|m_i-m_j\left|\right|}^2]$

其中N(i)为像素点i的近邻点集合，M为所有像素的模糊核构成的参数集合，m_i为像素点i对应的运动模糊核，m_j为像素点j对应的运动模糊核，C_i(m_i)为像素点i对应模糊核m_i的置信度，通过极小化上述模型，获得逐像素点的运动模糊核。

本发明进一步的改进在于：所述步骤5)中的基于图像块先验约束的去卷积能量函数E(i)定义如下：

$E\left(I\right)=\frac{\mathrm{\γ}}{2}{\left|\right|k\left(M\right)*I-O\left|\right|}^2-{\mathrm{\Σ}}_i\log \left(Q\left(P_{i}I\right)\right)$

其中O为待处理的运动模糊图像，P_i为从图像中像素点i处抽取图像块的算子，Q(·)为图像块先验分布模型，k(M)为所估计的全局不一致运动模糊核，γ为无量纲，其取值为2×10⁵；

通过极小化上述模型获得待处理运动模糊图像对应的去模糊图像I。

与现有技术相比，本发明的有益效果是：

本发明一种基于深度神经网络的图像非均匀运动模糊去除方法，该方法通过大量训练数据训练深度神经网络，实现图像局部块的运动模糊核自动估计。为保证局部估计的模糊核具有光滑性，提出马尔可夫随机场模型获得光滑的最优运动模糊核估计，并通过图像块先验的能量模型极小化实现清晰图像估计。由于深度神经网络的强学习能力，所提出方法可以精确的估计图像非均匀运动模糊，进一步获得清晰图像。

本发明主要可以用于移动设备拍摄图像的非均匀运动模糊去除、运动物体(例如火车、汽车)上相机或者摄像头拍摄图像的非均匀运动模糊去除。在相机配套处理软件、高铁等运行环境监控软件、移动设备图像处理软件中具有重要应用价值。

附图说明：

图1是本发明的实施流程图。

图2是深度神经网络结构图。

图3是图像非均匀模糊估计实例图。

图4是图像非均匀模糊去除实例图。

具体实施方式：

为使本发明的目的、技术方案及优点更加清新，下结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅说明性的，而并非对本发明的限制。

如图1所示，本发明一种基于深度神经网络的图像非均匀运动模糊去除方法，包括如下步骤：

一.构造训练数据集

将运动模糊核描述为运动向量。将运动向量空间量化为N个不同的运动向量，每个运动向量决定一个运动模糊核，从而构成运动模糊核集G。采集大量图像，将不同运动向量对应的运动模糊核应用于图像获得模糊图像。在上述大量模糊图像中截取M×M大小的模糊图像块，并与对应的运动模糊核共同构成(模糊图像块，模糊核)训练数据集。

具体地，我们在运动向量空间中均匀采集了生成了73种不同的运动向量，构成运动模糊核集G。其运动向量的方向和长度分别属于集合{0°,30°,60°,…,150°}；{1,3,5,…,25}。我们采集了1000幅自然图像，将上述运动向量对应的模糊核应用于这些自然图像上，进而得到(模糊图像,运动模糊核)对。在上述模糊图像集合中共截取大约1400000个图像块，图像块的大小为30×30×3，从而构成模糊图像块和运动核数据对集合作为训练数据集合。

二.构造和训练深度神经网络

构造深度神经网络。如图2所示，深度神经网络由两层卷积网络层、一层全连接层和一层软极大(Softmax)网络层构成。其中，每层卷积网络层均由卷积滤波、极大池化(Max-pooling)和非线性变换ReLU构成，两层卷积网络层的滤波器大小分别为96个7×7滤波器、256个5×5滤波器；全连接层的神经元个数为1024。用训练数据集合学习深度神经网络的网络权重数据。训练过程采用反向传播算法。

三.估计图像块的运动模糊核概率

给定一幅运动模糊图像，在图像上每隔6×6个像素截取大小为30×30×3的彩色图像块集合。将这些图像块输入到训练好的深度神经网络中，输出每个图像块对应于G中不同模糊运动核的概率。图像块输入深度神经网络后输出其属于G中不用运动核的概率计算公式为：

$\left(m_k\right|A)=\frac{\exp \left(W_k^T\mathrm{\φ}\left(A\right)\right)}{{\mathrm{\Σ}}_n\exp \left(W_n^T\mathrm{\φ}\left(A\right)\right)}$

其中m_k为运动模糊核集G中第k个运动模糊核，A为图像块，φ(A)为该图像块通过深度网络全连通层后的特征输出；W_k为软极大(Softmax)网络层第k类神经元与上层输出的连接权重向量。

四.估计图像逐点运动模糊核

融合不同图像块的模糊核概率获得逐个像素点对于不同模糊运动核的置信度，进一步通过优化马尔可夫随机场模型求得每个像素点的最优运动模糊核。具体地，采用如下公式融合不同图像块的模糊核概率以获得逐个像素点对于G中不同模糊运动核的置信度：

$C_i\left(m_k\right)=\frac{1}{{\mathrm{\Σ}}_{A:i\∈A}{w}_{\mathrm{iA}}}\underset{A:i\∈A}{\mathrm{\Σ}}{w}_{\mathrm{iA}}P\left(m_k\right|A)$

其中i为像素点下标，P(m_k|A)为运动模糊核集G中不同运动模糊核的概率，m_k为运动模糊核集G中第k个运动模糊核，A为图像块，为像素下标，w_iA为像素点i相对于图像块A中心的影响权重，定义为：

w_iA＝exp||x_i-x_A||²/τ)

其中x_i,x_A分别为像素点i和图像块A中心点坐标。τ为无量纲，其取值为100。

进一步，通过优化如下的马尔可夫随机场模型获得逐点的运动模糊核：

$E\left(\right)=\underset{i}{\mathrm{\Σ}}[-C_i\left(m_i\right)+\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{\left|\right|m_i-m_j\left|\right|}^2]$

其中N(i)为像素点i的近邻点集合,M为所有像素的模糊核构成的参数集合，m_i为像素点i对应的运动模糊核，m_j为像素点j对应的运动模糊核，C_i(m_i)为像素点i对应模糊核m_i的置信度，通过极小化上述模型，获得逐像素点的运动模糊核。我们采用置信传播(Belief Propagation)算法优化上述模型，获得逐点最优的运动模糊核。

图3展示了一个具体的实施例子。图3(a)是输入的运动模糊图像，该图像模糊是由于相机在运动的汽车上拍摄所引起。图3(b)展示了用我们的算法所估计得到的逐点不同的运动模糊运动核，在图像中我们用运动向量表示。

五.估计去除运动模糊图像

步骤四获得了模糊图像中的逐点运动模糊核，这一步骤将去除运动模糊现象，获得高清晰度的图像。假定给定的运动模糊图像是O,模糊图像的生成模型是O＝k(M)*I，其中k(M)是由逐点运动向量场M所决定的逐点不同的运动模糊核集合。下面我们将通过优化如下的能量模型恢复清晰图像I:

$E\left(I\right)=\frac{\mathrm{\γ}}{2}{\left|\right|k\left(M\right)*I-O\left|\right|}^2-{\mathrm{\Σ}}_i\log \left(Q\left(P_{i}I\right)\right)$

其中O为待处理的运动模糊图像，P_i为从图像中像素点i处抽取图像块算子；Q(·)为图像块先验分布模型，是通过对自然图像块采用高斯混合模型进行统计学习得到的统计分布函数。5为无量纲，其取值为2×10⁵。为优化上述能量函数，我们采用经典的半二次分解(Half-Quadratic Splitting)算法进行优化，将优化问题分解为迭代优化两个子问题：

子问题1： $E\left(I\right)=\frac{\mathrm{\γ}}{2}{\left|\right|k\left(M\right)*I-O\left|\right|}^2+\mathrm{\μ}{\mathrm{\Σ}}_i\left|\right|z_i-P_{i}I{\left|\right|}^2$

子问题2：E({z_i})＝μ∑_i||z_i-P_iI||²-∑_ilog(Q(z_i))

其中z_i为引入的辅助变量。迭代优化上述两个子问题，在迭代中，随着迭代步数增加，μ一趋向于无穷。一般地，我们迭代7－10步即可以获得最后清晰图像。

图4展示了一个非均匀模糊估计和去除的例子。在图4中，(a)为输入的运动模糊图像，该图像模糊是由于相机的运动所造成；(b)展示了由我们方法所估计的逐点运动模糊核；(c)展示了通过上述优化模型所获得的清晰图像。

本发明可通过多种编程语言来实现，例如C++、Java、matlab等。本说明书中的描述仅仅是用于说明性的，而不应被认为是限制性的。本发明的范围仅受权利要求书的限制。

Claims (7)

1.一种基于深度神经网络的图像非均匀运动模糊去除方法，其特征在于，包括如下步骤：

1)将相机相对于场景的运动向量空间量化为N个不同的运动向量，构成运动模糊核集G，每个运动向量对应于G中的一个运动模糊核；采集不少于100张图像，将N个不同运动向量对应的运动模糊核分别应用于各个图像，获得各自的模糊图像，在上述各个模糊图像中分别截取多个M×M大小的模糊图像块，并与对应的运动模糊核共同构成训练数据集，每个训练数据由一个图像块和与其对应的运动模糊核构成；

2)构造深度神经网络，用训练数据集学习深度神经网络的网络权重数据，学习到用于运动模糊核估计的深度神经网络；

3)在待处理运动模糊图像上每隔s×s个像素截取大小为M×M的图像块集合，将图像块集合中的每个图像块输入到深度神经网络中，输出每个图像块的对应于运动模糊核集G中不同运动模糊核的概率；

4)融合不同图像块的运动模糊核概率获得逐个像素点对于不同运动模糊核的置信度，进一步通过优化马尔可夫随机场模型求得每个像素点的最优运动模糊核；

5)基于获得的图像逐点运动模糊核，通过优化图像块先验约束的去卷积能量函数，获得待处理运动模糊图像对应的去模糊图像。

2.根据权利要求1所述的基于深度神经网络的图像非均匀运动模糊去除方法，其特征在于：所述步骤2)中的深度神经网络由两层卷积网络层、一层全连接层和一层软极大网络层构成；其中，每层卷积网络层均由卷积滤波、非线性激活函数和极大池化构成，两层卷积网络层的滤波器大小分别为96个7×7滤波器、256个5×5滤波器；全连接层的神经元个数为1024。

3.根据权利要求1所述的基于深度神经网络的图像非均匀运动模糊去除方法，其特征在于：所述步骤2)中的神经网络训练过程采用反向传播算法。

4.根据权利要求1所述的基于深度神经网络的图像非均匀运动模糊去除方法，其特征在于：所述步骤3)中图像块输入深度神经网络后输出其属于运动模糊核集G中不同运动模糊核的概率P(m_k|A)计算公式为：

$P\left(m_k\right|A)=\frac{\exp \left(W_k^T\mathrm{\φ}\left(A\right)\right)}{{\mathrm{\Σ}}_n\exp \left(W_n^T\mathrm{\φ}\left(A\right)\right)}$

其中m_k为运动模糊核集G中第k个运动模糊核，A为图像块，φ(A)为该图像块通过深度网络全连通层后的特征输出；W_k为软极大网络层第k类神经元与上层输出的连接权重向量。

5.根据权利要求1所述的基于深度神经网络的图像非均匀运动模糊去除方法，其特征在于：所述步骤4)中采用如下公式融合不同图像块的运动模糊核概率以获得逐个像素点对于运动模糊核集G中不同运动模糊核m_k的置信度C_i(m_k)：

$C_i\left(m_k\right)=\frac{1}{{\mathrm{\Σ}}_{A:i\∈A}{w}_{\mathrm{iA}}}\underset{A:i\∈A}{\mathrm{\Σ}}{w}_{\mathrm{iA}}P\left(m_k\right|A)$

其中i为像素点下标，m_k为运动模糊核集G中第k个运动模糊核，A为图像块，P(m_k|A)为图像块A对应于运动模糊核集G中运动模糊核m_k的概率，w_iA为像素点i相对于图像块A中心的影响权重，定义为：

w_iA＝exp(||x_i-x_A||²/τ)

其中x_i,x_A分别为像素点i和图像块A中心点坐标，τ为无量纲，其取值为100。

6.根据权利要求1所述的基于深度神经网络的图像非均匀运动模糊去除方法，其特征在于：所述步骤4)中的马尔可夫随机场能量模型E(M)如下：

$E\left(\mathrm{}\right)=\underset{i}{\mathrm{\Σ}}[-C_i\left(m_i\right)+\underset{j\∈N\left(i\right)}{\mathrm{\Σ}}{\left|\right|m_i-m_j\left|\right|}^2]$

其中N(i)为像素点i的近邻点集合，M为所有像素的模糊核构成的参数集合，m_i为像素点i对应的运动模糊核，m_j为像素点j对应的运动模糊核，C_i(m_i)为像素点i对应模糊核m_i的置信度，通过极小化上述模型，获得逐像素点的运动模糊核。

7.根据权利要求1所述的基于深度神经网络的图像非均匀运动模糊去除方法，其特征在于：所述步骤5)中的基于图像块先验约束的去卷积能量函数E(I)定义如下：

$E\left(I\right)=\frac{\mathrm{\γ}}{2}{\left|\right|k\left(M\right)*I-O\left|\right|}^2-{\mathrm{\Σ}}_i\log \left(Q\left(P_{i}I\right)\right)$

其中O为待处理的运动模糊图像，P_i为从图像中像素点i处抽取图像块的算子，Q(·)为图像块先验分布模型，k(M)为所估计的全局不一致运动模糊核，γ为无量纲，其取值为2×10⁵；

通过极小化上述模型获得待处理运动模糊图像对应的去模糊图像I。