CN108537746B - 一种基于深度卷积网络的模糊可变图像盲复原方法 - Google Patents

一种基于深度卷积网络的模糊可变图像盲复原方法 Download PDF

Info

Publication number
CN108537746B
CN108537746B CN201810234360.6A CN201810234360A CN108537746B CN 108537746 B CN108537746 B CN 108537746B CN 201810234360 A CN201810234360 A CN 201810234360A CN 108537746 B CN108537746 B CN 108537746B
Authority
CN
China
Prior art keywords
blur
image
parameter
network
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810234360.6A
Other languages
English (en)
Other versions
CN108537746A (zh
Inventor
沃焱
伍楚丹
韩国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810234360.6A priority Critical patent/CN108537746B/zh
Publication of CN108537746A publication Critical patent/CN108537746A/zh
Application granted granted Critical
Publication of CN108537746B publication Critical patent/CN108537746B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积网络的模糊可变图像盲复原方法，包括以下步骤：S1、对模糊图像需要考虑的模糊类型进行建模，确定每种模糊类型的模糊参数范围；S2、根据步骤S1确定的每种模糊类型的模糊参数范围，合成具有可变模糊的训练数据集，其中每组训练数据包括清晰图像、模糊图像和模糊参数；S3、搭建并训练深度卷积网络：将训练数据集输入神经网络，优化神经网络权重，得到训练好的深度卷积网络；S4、将待复原的模糊图像输入训练好的深度卷积网络，输出即为复原的清晰图像。所述方法摆脱了传统去模糊算法的限制，采用全卷积网络来估计多种可变模糊，提高了算法的精度和速度。

Description

一种基于深度卷积网络的模糊可变图像盲复原方法
技术领域
本发明涉及数字图像处理及机器学习领域，具体涉及一种基于深度卷积网络的模糊可变图像盲复原方法。
背景技术
当使用相机或其他光学成像设备对物体进行拍摄成像时，受许多因素影响，图像很有可能会出现模糊。光照条件不充分以及曝光时间过长将导致相机与被摄物体之间的相对运动被记录在最终成像中，这就是我们常说的运动模糊。在遥感摄影这一领域中，大气湍流会影响最终成像效果，造成模糊。另外一种常见的模糊源自于不准确的拍摄焦距。在大多数情况下，我们不具备重新拍摄清晰图像的条件，因此，对模糊图像进行去模糊操作从而复原清晰图像成为了必要操作。
图像的模糊过程通常被建模为模糊核与清晰图像进行卷积的过程。在实际的生产与生活中，这个模糊核通常是可变的，或者说是不一致的。一个典型的案例就是多个被摄物体以不同的速度和方向进行运动时，成像中的运动模糊在空间上就是不一致的。另一个典型的例子是CCD(Charge Coupled Device，电荷耦合器件)传感器阵列不一致性导致的可变模糊。面对可变模糊，目前有两类解决方法：1)非盲复原，这类方法要求提供模糊图像的模糊核先验和模糊数。2)盲复原，这类方法假设模糊核是未知的。在多数情况下，模糊核的信息是不会被提供的，因此，盲复原的方法应用范围更广。
近年来，DNN(Deep Neural Network,深度神经网络)由于在图像领域优越的表现，而被广泛应用于从低语意级别的图像复原到高语义级别的图像识别等各种图像处理任务。现存一些较好的去模糊方法就利用了DNN相关技术。如Ruomei Yan等人的文章“BlindImage Blur Estimation via Deep Learning”(IEEE Transactions on ImageProcessing,2016,25(4):1910-1921.)中，作者训练DNN对图像的特征图进行分类，并根据分类结果，进一步采用对应GRNN(Generalized Regression Neural Network，广义回归神经网络)进行模糊核参数回归，后续的去模糊操作直接采用了现存的非盲复原方法。在SunJian等人的文章“Learning a convolutional neural network for non-uniform motionblur removal”(Computer Vision and Pattern Recognition.IEEE,2015:769-777.)中，作者训练分类CNN(Convolution Neural Network,深度卷积网络)来预测每个重叠局部块的模糊核在361个候选模糊核(12种长度，30种角度)中的似然度，然后采用加权平均的方式计算每个像素点的模糊核似然度，利用MRF(Markov Random Field，马尔科夫随机场)模型建模求解运动场，最后采用传统方法重建清晰图像，虽然候选分类可以扩充到包括高斯模糊核和失焦模糊核，但挑选怎样的模糊核加入候选又成了一个难题。上述方法虽然引入了DNN作为核参数估计的方法，很好的利用了DNN对大量数据的学习能力，但是仍然存在下列局限：1)没有脱离传统的清晰图像复原方法，运行速度慢；2)对于模糊核的预测，需要针对不同类型设计网络，不具备普适性；3)对于可变模糊核，需进行分块处理和加权融合，分块精度影响复原效果，且消耗额外的运行时间。
发明内容
本发明的目的是针对现有技术的不足，提供了一种基于深度卷积网络的模糊可变图像盲复原方法，能够在一次网络前馈传播中，同时预测多种模糊类别的模糊参数，并给出清晰图像复原结果。
本发明的目的可以通过如下技术方案实现：
一种基于深度卷积网络的模糊可变图像盲复原方法，所述方法包括以下步骤：
S1、对模糊图像需要考虑的模糊类型进行建模，确定每种模糊类型的模糊参数范围；
S2、根据步骤S1确定的每种模糊类型的模糊参数范围，合成具有可变模糊的训练数据集，其中每组训练数据包括清晰图像、模糊图像和模糊参数；
S3、搭建并训练深度卷积网络：将训练数据集输入神经网络，优化神经网络权重，得到训练好的深度卷积网络；
S4、将待复原的模糊图像输入训练好的深度卷积网络，输出即为复原的清晰图像。
进一步地，步骤S1中对模糊图像需要考虑的模糊类型进行建模得到的模糊模型按照下式定义：
Ib,ij＝[q(x|i,j)*Io+ε]<i,j>
其中Ib代表观测到的模糊图像，Io代表潜在的清晰图像，Ib,ij和Io,ij分别表示模糊图像和清晰图像在[i,j](i行j列)位置的取值，·<i,j>表示取[i,j]位置的操作，q(·|i,j)表示可变PSF(point spread function，点扩散函数)，ε是加性噪声，x＝(x1,x2)表示笛卡尔坐标；对于不同模糊类型的可变PSF，q(·|i,j)参数化表示如下：qg(x|σij)代表[i,j]位置的高斯模糊PSF，σij代表高斯模糊参数场σ在[i,j]的取值；qm(x|lij,θij)代表[i,j]位置的运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值；qd(x|rij)代表[i,j]位置的失焦模糊PSF，rij代表参数场r在[i,j]的取值；其中4个模糊参数场σ,l,θ,r简化了空间可变模糊的表述形式，每个参数场标记了模糊类型对应PSF参数在每个像素位置的取值。
进一步地，每种模糊类型的模糊参数范围如下：
Figure BDA0001603489520000031
Figure BDA0001603489520000032
Figure BDA0001603489520000033
Figure BDA0001603489520000034
其中，n代表训练数据集中正方形训练图像的边长。
进一步地，所述高斯模糊用于对大气湍流进行建模：
Figure BDA0001603489520000035
其中qg(·|σij)代表可变高斯模糊PSF，σij表示高斯模糊参数场σ在[i,j]的取值，R是PSF定义域，被设为区间[-3σij,3σij]，这样就包含99.7％的模糊能量，x＝(x1,x2)表示笛卡尔坐标，对于高斯模糊，需要估计的参数是高斯模糊参数场σ；
所述运动模糊用于对线性运动造成的运动模糊进行建模：
Figure BDA0001603489520000036
其中，qm(·|lij,θij)表述可变运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于运动模糊，需要估计的参数是运动强度参数场l和角度参数场θ；
所述失焦模糊用圆盘形均值滤波器来建模：
Figure BDA0001603489520000037
其中qd(·|rij)表示可变失焦模糊PSF，rij表示参数场r在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于失焦模糊，需要估计的参数是模糊半径参数场r。
进一步地，步骤S2中合成具有可变模糊的训练数据集的具体操作方法如下：
(1)、裁剪训练图片中心固定大小边长为n的正方形训练图像作为清晰图像Io；
(2)、为构造空间可变的模糊，对清晰图像Io进行随机尺度级别的平均分块，并对Io每个不同位置的小块应用S1中模糊类型之一的随机参数，构建参数场σ,l,θ,r；
(3)、根据参数场的参数值对划分好的Io每个不同位置的小块进行模糊，将模糊的小块按原位置拼接，得到模糊图像Ib，Ib对应的像素级别参数归一化后记为Pb；
(4)、对清晰图像Io、模糊图像Ib进行如下标准化处理：
Figure BDA0001603489520000041
Figure BDA0001603489520000042
最终得到包括清晰图像、模糊图像和模糊参数的训练数据集。
进一步地，步骤S3中的神经网络由两个子网络组成：用于估计模糊图像的像素级参数的编码子网络P-net(parametric-network)和用于将模糊图像复原为清晰图像的解码子网络G-net(generative-network)。
进一步地，所述编码子网络P-net由10个模块组成：第一个模块Conv1包含1层卷积核大小为7×7的卷积层(Convolution Layer)和1层leaky ReLU激活元；第2～9个模块(ResBlock1～ResBlock8)为8个残差模块(Residual Block)，每个残差模块包含两层3×3的卷积层，2层批归一化(Batch Normalization Layer)层和两层leaky ReLU激活元；最后一个模块Conv2为1层卷积核大小为3×3的卷积层和1层sigmoid激活函数；所述解码子网络G-net呈瓶颈结构，由12个模块组成：第1个模块Conv1包含1层卷积核大小为9×9的卷积层，1层单归一化层；第2个模块Down包括2层卷积核大小为3×3、步长stride＝2的卷积层，这一个模块将输入的长宽缩小至原先的1/4；第3～10个模块(ResBlock1～ResBlock8)为8个残差模块，每个残差模块包含2层3×3的卷积层，2层单归一化层和两层ReLU激活元；第11个模块Up包含2层卷积核大小为3×3、步长stride＝1/2的反卷积层(Transposed ConvolutionLayer)，这一个模块将第2个模块缩小的数据再放大回原先的长和宽；第12个模块Conv2为1层卷积核大小为3×3的卷积层；解码子网络G-net的第2个模块和第11个模块之前采用跳跃连接(Skip Connection)，整体采用全局跳跃连接。
进一步地，步骤S3中神经网络的损失函数如下：
Figure BDA0001603489520000051
Figure BDA0001603489520000052
Figure BDA0001603489520000053
其中
Figure BDA0001603489520000054
是总体损失函数值，
Figure BDA0001603489520000055
是G-net损失函数值，
Figure BDA0001603489520000056
是P-net损失函数值，β＝1是P-net损失函数的比例系数，Pb代表模糊图像的模糊参数，
Figure BDA0001603489520000057
是P-net输出的模糊核参数预测值，Io表示清晰图像，
Figure BDA0001603489520000058
是G-net输出的去模糊图片，也是整个神经网络的输出，下标ij代表图片或参数的[i,j]位置，n代表训练数据集中正方形训练图像的边长。
进一步地，步骤S3中的神经网络是采用小批量梯度下降(Mini-batch gradientdescent)的方式在GPU上训练的，通过迭代求解获得最优神经网络参数：
(1)首先对神经网络的所有参数采用Xavier算法初始化，并设定初始学习率、批量大小和迭代次数；
(2)在每一次迭代中，权重优化过程如下：计算两个子网络P-net和G-net的损失函数值，分别记为
Figure BDA0001603489520000059
和
Figure BDA00016034895200000510
(3)通过反向传播，求得P-net网络权重Wp,bp关于损失函数值
Figure BDA00016034895200000511
的导数
Figure BDA00016034895200000512
求得G-net网络权重Wg,bg关于损失函数值
Figure BDA00016034895200000513
的导数
Figure BDA00016034895200000514
(4)通过Adam梯度下降算法优化神经网络权重；
(5)重复步骤(2)-(4)直至神经网络收敛或迭代次数达到最大值。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明采用全卷积深度网络，根据预测的参数作为指导直接去模糊，免去了对传统去模糊方法的依赖，消除了算法断层造成的结果受限，并且极大地提升了运行速度。
2、本发明在参数估计部分将分类和回归的过程合并，直接训练神经网络以输出每种模糊的强度，这样只用一个神经网络就可以同时对多种类型的模糊参数进行预测，简化了神经网络的结构。
3、本发明对模糊更具适应性：对新增的模糊模型或更大的参数范围，制作数据集重新训练整个全卷积神经网络即可，不需要根据不同模糊类型设计候选分类的划分方法，更具备普适性。
4、本发明一方面能将块级别可变模糊参数估计升级为像素级别的参数估计，提升了估计精度，另一方面采用全卷积的形式省去另外设计加权融合/插值算法的必要，节省了计算开销；此外，将整张图像输入神经网络进行计算比分成一个个图像块分别输入神经网络进行计算效率要高，神经网络的前向传播和反向传播都更快，提升了计算的效率，能够满足实际应用需要。
附图说明
图1为本发明实施例所搭建的深度卷积网络框架图。
图2为本发明实施例所搭建的深度卷积网络子网络P-net的网络结构图。
图3为本发明实施例所搭建的深度卷积网络子网络G-net的网络结构图。
图4为本发明实施例一种基于深度卷积网络的模糊可变图像盲复原方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
本实施例提供了一种基于深度卷积网络的模糊可变图像盲复原方法，所述方法的流程图如图4所示，包括以下步骤：
S1、对模糊图像需要考虑的模糊类型进行建模，确定每种模糊类型的模糊参数范围；其中，对模糊图像需要考虑的模糊类型进行建模得到的模糊模型按照下式定义：
Ib,ij＝[q(x|i,j)*Io+ε]<i,j>
式中Ib代表观测到的模糊图像，Io代表潜在的清晰图像，Ib,ij和Io,ij分别表示模糊图像和清晰图像在[i,j](i行j列)位置的取值，·<i,j>表示取[i,j]位置的操作，q(·|i,j)表示可变PSF(point spread function，点扩散函数)，ε是加性噪声，x＝(x1,x2)表示笛卡尔坐标；对于不同模糊类型的可变PSF，q(·|i,j)参数化表示如下：qg(x|σij)代表[i,j]位置的高斯模糊PSF，σij代表高斯模糊参数场σ在[i,j]的取值；qm(x|lij,θij)代表[i,j]位置的运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值；qd(x|rij)代表[i,j]位置的失焦模糊PSF，rij代表参数场r在[i,j]的取值；其中4个模糊参数场σ,l,θ,r简化了空间可变模糊的表述形式，每个参数场标记了模糊类型对应PSF参数在每个像素位置的取值。
所述高斯模糊用于对大气湍流进行建模：
Figure BDA0001603489520000071
其中qg(·|σij)代表可变高斯模糊PSF，σij表示高斯模糊参数场σ在[i,j]的取值，R是PSF定义域，被设为区间[-3σij,3σij]，这样就包含99.7％的模糊能量，x＝(x1,x2)表示笛卡尔坐标，对于高斯模糊，需要估计的参数是高斯模糊参数场σ；
所述运动模糊用于对线性运动造成的运动模糊进行建模：
Figure BDA0001603489520000072
其中，qm(·|lij,θij)表述可变运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于运动模糊，需要估计的参数是运动强度参数场l和角度参数场θ；
所述失焦模糊用圆盘形均值滤波器来建模：
Figure BDA0001603489520000073
其中qd(·|rij)表示可变失焦模糊PSF，rij表示参数场r在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于失焦模糊，需要估计的参数是模糊半径参数场r。
确定了参数估计的任务是对上述3种模糊类型的4个像素级别参数或者说是4个参数场进行估计后，需要定义去模糊任务可以处理的最大模糊强度，也就是4个参数场中每个参数值的取值范围，其中每种模糊类型的模糊参数范围如下：
Figure BDA0001603489520000081
Figure BDA0001603489520000082
Figure BDA0001603489520000083
Figure BDA0001603489520000084
式中，σmax＝3,lmax＝10,θmax＝180,rmax＝5分别表示了4个参数场的元素最大取值，下标ij表示参数场[i,j]处参数值，n代表训练数据集中正方形训练图像的边长，本实施例中取n＝128，c为输入图像的通道数，对彩色rgb图像，c＝3；对灰度图像，c＝1；本实施例中，取c＝3。
S2、根据步骤S1确定的每种模糊类型的模糊参数范围，合成具有可变模糊的训练数据集，其中每组训练数据包括清晰图像、模糊图像和模糊参数；
本实施例采用MS-COCO数据集(2014版本)通过合成加工得到的数据集作为训练数据集，随机采样其中2000张图像用于合成验证集，其余图像用于合成训练集。为了构造三种类型下可变模糊图像对，按如下步骤对每张图片进行合成处理：
(1)、以图片中心为原点，裁剪训练图片中心固定大小边长为n＝128的正方形训练图像作为清晰图像Io；
(2)、为构造空间可变的模糊，对清晰图像Io进行随机尺度级别的平均分块，随机取分块尺度k∈{0,1,2}，平均分为22k块，每个块大小为(n/2^k)×(n/2^k)(在训练中，取n＝128，神经网络训练完后，神经网络输入可以为任意长宽的矩形图像)；对Io每个不同位置的小块应用S1中模糊类型之一的随机参数，构建参数场σ,l,θ,r，若图片中某点处不存在某种模糊，则该类型参数场在该点处取值为0；
(3)、根据参数场的参数值对划分好的Io每个不同位置的小块进行模糊，将模糊的小块按原位置拼接，得到合成的模糊图像Ib；
(4)、对步骤(2)得到的参数场σ,l,θ,r进行归一化后按照顺序在第三个维度拼接在一起成为一个3维矩阵Pb，称为一组训练数据中的模糊参数，即：
Figure BDA0001603489520000085
Figure BDA0001603489520000086
Figure BDA0001603489520000087
Figure BDA0001603489520000088
Figure BDA0001603489520000089
其中，Pb,ij是模糊参数在[i,j]位置的值，是一个由
Figure BDA00016034895200000810
拼接而成的4元向量。
Figure BDA0001603489520000091
分别是4个参数场在[i,j]位置归一化后的值，σmax,lmax,θmax,rmax是4个参数场σ,l,θ,r的参数最大取值。
(4)、对清晰图像Io、模糊图像Ib进行如下标准化处理：
Figure BDA0001603489520000092
Figure BDA0001603489520000093
最终得到包括清晰图像、模糊图像和模糊参数的训练数据集。
完成以上步骤，得到一组训练数据：模糊图像Ib，清晰图像Io，模糊参数Pb，其中，清晰图像和模糊参数在训练中将作为标签值。
S3、搭建并训练深度卷积网络：将训练数据集输入神经网络，优化神经网络权重，得到训练好的深度卷积网络；
本实施例的神经网络由两个子网络组成：用于估计模糊图像的像素级参数的编码子网络P-net(parametric-network)和用于将模糊图像复原为清晰图像的解码子网络G-net(generative-network)。为了详细阐述神经网络结构，定义以下符号：F(·|Wf,bf)表示整个神经网络，p(·|Wp,bp)表示P-net，g(·|Wg,bg)表示G-net；W和b分别代表神经网络对应的参数(weight)和偏置(bias)，Ib和Io分别表示模糊图像和清晰图像，Pb代表模糊图像Ib的像素级模糊参数；在训练中，Io和Pb作为标签值，是已知的；在实际应用中，Io与Pb是未知的，符合图像盲复原任务的定义，
Figure BDA0001603489520000094
是P-net输出的模糊核参数预测值，
Figure BDA0001603489520000095
是G-net输出的去模糊图片，也是整个网络的输出，下标ij代表图片或参数[i,j]位置。如图1所示，给定神经网络的输入数据Ib，先将输入数据输入至P-net，由P-net估计其像素级参数
Figure BDA0001603489520000096
像素级参数
Figure BDA0001603489520000097
与输入数据Ib拼接后一同输入G-net，输出即为复原的清晰图像
Figure BDA0001603489520000098
即：
Figure BDA0001603489520000099
从神经网络整体来看，是
Figure BDA00016034895200000910
神经网络训练的目的是使P-net输出
Figure BDA00016034895200000911
逼近Pb，使G-net输出
Figure BDA0001603489520000101
逼近Io，因此，神经网络的损失函数定义如下：
Figure BDA0001603489520000102
Figure BDA0001603489520000103
Figure BDA0001603489520000104
其中
Figure BDA0001603489520000105
是总体损失函数值，
Figure BDA0001603489520000106
是G-net损失函数值，
Figure BDA0001603489520000107
是P-net损失函数值，β＝1是P-net损失函数的比例系数，Pb代表模糊图像的模糊参数，
Figure BDA0001603489520000108
是P-net输出的模糊核参数预测值，Io表示清晰图像，
Figure BDA0001603489520000109
是G-net输出的去模糊图片，也是整个神经网络的输出，下标ij代表图片或参数的[i,j]位置，n代表训练数据集中正方形训练图像的边长。
所述编码子网络P-net的网络结构如图2所示，由10个模块组成：第一个模块Conv1包含1层卷积核大小为7×7的卷积层(Convolution Layer)和1层leaky ReLU激活元；第2～9个模块(ResBlock1～ResBlock8)为8个残差模块(Residual Block)，每个残差模块包含两层3×3的卷积层，2层批归一化(Batch Normalization Layer)层和两层leaky ReLU激活元；最后一个模块Conv2为1层卷积核大小为3×3的卷积层和1层sigmoid激活函数。为了扩大感受野，残差模块中每一层卷积层都采用空洞卷积(Dilated Convolution)的方式，取膨胀率dilation rate＝2，用空洞卷积而不是朴素的带步长的卷积(Stride Convolution)，是为了保证网络获得足够大的感受野的同时，不会在卷积过程中忽略特征层信息。
所述解码子网络G-net的网络结构如图3所示，呈瓶颈结构，由12个模块组成：第1个模块Conv1包含1层卷积核大小为9×9的卷积层，1层单归一化层；第2个模块Down包括2层卷积核大小为3×3、步长stride＝2的卷积层，这一个模块将输入的长宽缩小至原先的1/4；第3～10个模块(ResBlock1～ResBlock8)为8个残差模块，每个残差模块包含2层3×3的卷积层，2层单归一化层和两层ReLU激活元；第11个模块Up包含2层卷积核大小为3×3、步长stride＝1/2的反卷积层(Transposed Convolution Layer)，这一个模块将第2个模块缩小的数据再放大回原先的长和宽；第12个模块Conv2为1层卷积核大小为3×3的卷积层；解码子网络G-net的第2个模块和第11个模块之前采用跳跃连接(Skip Connection)，整体采用全局跳跃连接。瓶颈结构能加快网络速度，G-net采用global skip connection，即G-net网络学习的是Io-Ib，这一策略可以使训练更稳定，收敛的更快。
P-net和G-net的详细结构(包括每层网络具体参数)如表1所示：
Figure BDA0001603489520000111
表1
其中Conv()代表卷积层，6个参数分别是：输入通道数、输出通道数、卷积核大小、步长、膨胀率、边界填充长度。LeakyReLU()代表LeakyReLU激活元，参数为斜率。Sigmoid代表Sigmoid激活元。ReLU代表ReLU激活元。BatchNorm()代表批归一化层，参数为输入通道数。InstanceNorm()代表单归一化层，参数为输入通道数。TransposedConv()代表反卷积层，6个参数分别是：输入通道数、输出通道数、卷积核大小、步长、膨胀率、边界填充长度。
所述神经网络是采用小批量梯度下降(Mini-batch gradient descent)的方式在GPU上训练的，通过迭代求解获得最优神经网络参数：
(1)首先对神经网络的所有参数采用Xavier算法初始化，并设定初始学习率lr＝0.001、批量大小为8(即一次迭代输入8组训练数据)和迭代次数为15；
(2)在每一次迭代中，权重优化过程如下：计算两个子网络P-net和G-net的损失函数值，分别记为
Figure BDA0001603489520000121
和
Figure BDA0001603489520000122
(3)通过反向传播，求得P-net网络权重Wp,bp关于损失函数值
Figure BDA0001603489520000123
的导数
Figure BDA0001603489520000124
求得G-net网络权重Wg,bg关于损失函数值
Figure BDA0001603489520000125
的导数
Figure BDA0001603489520000126
(4)通过Adam梯度下降算法优化神经网络权重；
(5)重复步骤(2)-(4)直至神经网络收敛或迭代次数达到最大值。
神经网络训练完成后保存权重文件。
S4、将待复原的模糊图像输入训练好的深度卷积网络，输出即为复原的清晰图像。具体地，首先加载步骤S3保存的网络权重，然后对待测模糊图像进行标准化处理，输入深度卷积网络，得到输出
Figure BDA0001603489520000127
对输出
Figure BDA0001603489520000128
进行如下去标准化操作后即为去模糊结果：
Figure BDA0001603489520000129
其中
Figure BDA00016034895200001210
代表复原的清晰图像。
本发明首先产生大量空间不一致的模糊图像训练样本，然后采用深度学习框架pytorch进行网络搭建和训练，由于使用全卷积网络结构，网络可以处理任意大小的输入图像，网络中的编码子网络所预测的像素级模糊参数对解码子网络的去模糊任务起到了指导作用，利用训练好的神经网络模型即可快速、高效的完成3种类型可变模糊的盲复原任务。只要一幅输入模糊图像，即可获取较好的复原效果，可应用于遥感成像、普通相机成像等，以后处理的方式实现图像的去模糊清晰化。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (7)

1.一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，所述方法包括以下步骤：
S1、对模糊图像需要考虑的模糊类型进行建模，确定每种模糊类型的模糊参数范围；
步骤S1中对模糊图像需要考虑的模糊类型进行建模得到的模糊模型按照下式定义：
Ib,ij＝[q(x|i,j)*Io+ε]＜i,j＞
其中Ib代表观测到的模糊图像，Io代表潜在的清晰图像，Ib,ij和Io,ij分别表示模糊图像和清晰图像在[i,j]位置的取值，·＜i,j＞表示取[i,j]位置的操作，q(·|i,j)表示可变PSF，ε是加性噪声，x＝(x1,x2)表示笛卡尔坐标；对于不同模糊类型的可变PSF，q(·|i,j)参数化表示如下：qg(x|σij)代表[i,j]位置的高斯模糊PSF，σij代表高斯模糊参数场σ在[i,j]的取值；qm(x|lij,θij)代表[i,j]位置的运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值；qd(x|rij)代表[i,j]位置的失焦模糊PSF，rij代表参数场r在[i,j]的取值；其中4个模糊参数场σ,l,θ,r简化了空间可变模糊的表述形式，每个参数场标记了模糊类型对应PSF参数在每个像素位置的取值；
S2、根据步骤S1确定的每种模糊类型的模糊参数范围，合成具有可变模糊的训练数据集，其中每组训练数据包括清晰图像、模糊图像和模糊参数；
步骤S2中合成具有可变模糊的训练数据集的具体操作方法如下：
(1)、裁剪训练图片中心固定大小边长为n的正方形训练图像作为清晰图像Io；
(2)、为构造空间可变的模糊，对清晰图像Io进行随机尺度级别的平均分块，并对Io每个不同位置的小块应用S1中模糊类型之一的随机参数，构建参数场σ,l,θ,r；
(3)、根据参数场的参数值对划分好的Io每个不同位置的小块进行模糊，将模糊的小块按原位置拼接，得到模糊图像Ib，Ib对应的像素级别参数归一化后记为Pb；
(4)、对清晰图像Io、模糊图像Ib进行如下标准化处理：
Figure FDA0003126339310000021
Figure FDA0003126339310000022
最终得到包括清晰图像、模糊图像和模糊参数的训练数据集；
S3、搭建并训练深度卷积网络：将训练数据集输入神经网络，优化神经网络权重，得到训练好的深度卷积网络；
S4、将待复原的模糊图像输入训练好的深度卷积网络，输出即为复原的清晰图像。
2.根据权利要求1所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，每种模糊类型的模糊参数范围如下：
Figure FDA0003126339310000023
Figure FDA0003126339310000024
Figure FDA0003126339310000025
Figure FDA0003126339310000026
其中，n代表训练数据集中正方形训练图像的边长。
3.根据权利要求1所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，所述高斯模糊用于对大气湍流进行建模：
Figure FDA0003126339310000027
其中qg(·|σij)代表可变高斯模糊PSF，σij表示高斯模糊参数场σ在[i,j]的取值，R是PSF定义域，被设为区间[-3σij,3σij]，这样就包含99.7％的模糊能量，x＝(x1,x2)表示笛卡尔坐标，对于高斯模糊，需要估计的参数是高斯模糊参数场σ；
所述运动模糊用于对线性运动造成的运动模糊进行建模：
Figure FDA0003126339310000028
其中，qm(·|lij,θij)表述可变运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于运动模糊，需要估计的参数是运动强度参数场l和角度参数场θ；
所述失焦模糊用圆盘形均值滤波器来建模：
Figure FDA0003126339310000031
其中qd(·|rij)表示可变失焦模糊PSF，rij表示参数场r在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于失焦模糊，需要估计的参数是模糊半径参数场r。
4.根据权利要求1所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，步骤S3中的神经网络由两个子网络组成：用于估计模糊图像的像素级参数的编码子网络P-net和用于将模糊图像复原为清晰图像的解码子网络G-net。
5.根据权利要求4所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，所述编码子网络P-net由10个模块组成：第一个模块Conv1包含1层卷积核大小为7×7的卷积层和1层leaky ReLU激活元；第2～9个模块为8个残差模块，每个残差模块包含两层3×3的卷积层，2层批归一化层和两层leaky ReLU激活元；最后一个模块Conv2为1层卷积核大小为3×3的卷积层和1层sigmoid激活函数；所述解码子网络G-net呈瓶颈结构，由12个模块组成：第1个模块Conv1包含1层卷积核大小为9×9的卷积层，1层单归一化层；第2个模块Down包括2层卷积核大小为3×3、步长stride＝2的卷积层，这一个模块将输入的长宽缩小至原先的1/4；第3～10个模块为8个残差模块，每个残差模块包含2层3×3的卷积层，2层单归一化层和两层ReLU激活元；第11个模块Up包含2层卷积核大小为3×3、步长stride＝1/2的反卷积层，这一个模块将第2个模块缩小的数据再放大回原先的长和宽；第12个模块Conv2为1层卷积核大小为3×3的卷积层；解码子网络G-net的第2个模块和第11个模块之前采用跳跃连接，整体采用全局跳跃连接。
6.根据权利要求4所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，步骤S3中神经网络的损失函数如下：
Figure FDA0003126339310000032
Figure FDA0003126339310000033
Figure FDA0003126339310000034
其中
Figure FDA0003126339310000035
是总体损失函数值，
Figure FDA0003126339310000036
是G-net损失函数值，
Figure FDA0003126339310000037
是P-net损失函数值，β＝1是P-net损失函数的比例系数，Pb代表模糊图像的模糊参数，
Figure FDA0003126339310000041
是P-net输出的模糊核参数预测值，Io表示清晰图像，
Figure FDA0003126339310000042
是G-net输出的去模糊图片，也是整个神经网络的输出，下标ij代表图片或参数的[i,j]位置，n代表训练数据集中正方形训练图像的边长。
7.根据权利要求6所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，步骤S3中的神经网络是采用小批量梯度下降的方式在GPU上训练的，通过迭代求解获得最优神经网络参数：
(1)首先对神经网络的所有参数采用Xavier算法初始化，并设定初始学习率、批量大小和迭代次数；
(2)在每一次迭代中，权重优化过程如下：计算两个子网络P-net和G-net的损失函数值，分别记为
Figure FDA0003126339310000043
和
Figure FDA0003126339310000044
(3)通过反向传播，求得P-net网络权重Wp,bp关于损失函数值
Figure FDA0003126339310000045
的导数
Figure FDA0003126339310000046
求得G-net网络权重Wg,bg关于损失函数值
Figure FDA0003126339310000047
的导数
Figure FDA0003126339310000048
(4)通过Adam梯度下降算法优化神经网络权重；
(5)重复步骤(2)-(4)直至神经网络收敛或迭代次数达到最大值。
CN201810234360.6A 2018-03-21 2018-03-21 一种基于深度卷积网络的模糊可变图像盲复原方法 Expired - Fee Related CN108537746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810234360.6A CN108537746B (zh) 2018-03-21 2018-03-21 一种基于深度卷积网络的模糊可变图像盲复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810234360.6A CN108537746B (zh) 2018-03-21 2018-03-21 一种基于深度卷积网络的模糊可变图像盲复原方法

Publications (2)

Publication Number Publication Date
CN108537746A CN108537746A (zh) 2018-09-14
CN108537746B true CN108537746B (zh) 2021-09-21

Family

ID=63484995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810234360.6A Expired - Fee Related CN108537746B (zh) 2018-03-21 2018-03-21 一种基于深度卷积网络的模糊可变图像盲复原方法

Country Status (1)

Country Link
CN (1) CN108537746B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544492A (zh) * 2018-10-25 2019-03-29 东南大学 一种基于卷积神经网络的多聚焦图像融合数据集制作方法
CN109523482B (zh) * 2018-11-14 2021-04-30 太原理工大学 一种基于深度神经网络的对含纹理退化图像的复原方法
CN109509159A (zh) * 2018-11-20 2019-03-22 湖南湖工电气有限公司 一种基于深度学习的无人机模糊图像端到端复原方法
CN109583344B (zh) * 2018-11-21 2019-11-19 红相股份有限公司 一种基于深度学习的电力设备红外图像处理方法
CN109559290A (zh) * 2018-12-14 2019-04-02 中国石油大学(华东) 一种深度非对称跳跃连接的图像降噪方法
CN109785263B (zh) * 2019-01-14 2022-09-16 北京大学深圳研究生院 一种基于Retinex的逆色调映射图像转换方法
CN110047044B (zh) * 2019-03-21 2021-01-29 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN110147733B (zh) * 2019-04-16 2020-04-14 北京航空航天大学 一种跨域的大范围场景生成方法
CN110223242B (zh) * 2019-05-07 2021-08-10 北京航空航天大学 一种基于时空域残差生成对抗网络的视频湍流移除方法
CN110223259A (zh) * 2019-06-14 2019-09-10 华北电力大学（保定） 一种基于生成式对抗网络的道路交通模糊图像增强方法
CN110363716B (zh) * 2019-06-25 2021-11-19 北京工业大学 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN110378167B (zh) * 2019-07-09 2022-09-16 江苏安方电力科技有限公司 一种基于深度学习的条码图像补正方法
CN110533607B (zh) * 2019-07-30 2022-04-26 北京威睛光学技术有限公司 一种基于深度学习的图像处理方法、装置及电子设备
US11257191B2 (en) * 2019-08-16 2022-02-22 GE Precision Healthcare LLC Systems and methods for deblurring medical images using deep neural network
CN110599416B (zh) * 2019-09-02 2022-10-11 太原理工大学 一种基于空间目标图像数据库的非合作目标图像盲复原方法
CN110852963B (zh) * 2019-10-29 2021-06-29 天津大学 一种基于相关最大性的湍流退化图像复原方法
CN111091503B (zh) * 2019-11-09 2023-05-02 复旦大学 基于深度学习的图像去失焦模糊方法
CN110996082B (zh) * 2019-12-17 2021-11-09 成都极米科技股份有限公司 投影调节方法、装置、投影仪及可读存储介质
CN111369451B (zh) * 2020-02-24 2023-08-01 黑蜂智造(深圳)科技有限公司 一种基于复杂任务分解正则化的图像复原模型、方法及设备
CN111462019A (zh) * 2020-04-20 2020-07-28 武汉大学 基于深度神经网络参数估计的图像去模糊方法及系统
CN112085674B (zh) * 2020-08-27 2022-08-26 河海大学 基于神经网络的航拍图像去模糊算法
CN112330549B (zh) * 2020-10-16 2023-08-08 西安工业大学 一种基于盲解卷积网络的模糊图像盲复原方法及系统
CN112419201A (zh) * 2020-12-04 2021-02-26 珠海亿智电子科技有限公司 一种基于残差网络的图像去模糊方法
CN113284068A (zh) * 2021-06-04 2021-08-20 中国科学院光电技术研究所 一种基于通道共享时空网络的自适应光学图像盲复原方法
CN113353102B (zh) * 2021-07-08 2022-11-25 重庆大学 一种基于深度强化学习的无保护左转弯驾驶控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0466252A3 (en) * 1990-07-03 1995-12-27 Univ New York State Res Found A method and apparatus for restoring convolution degraded images and signals
CN101968881A (zh) * 2010-10-27 2011-02-09 东南大学 一种运动模糊和散焦复合模糊的图像复原方法
CN104331871A (zh) * 2014-12-02 2015-02-04 苏州大学 一种图像去模糊方法及装置
CN105139348A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种运动模糊图像的双迭代混合盲复原方法
CN106530251A (zh) * 2016-11-03 2017-03-22 北京航星机器制造有限公司 一种盲卷积运动模糊图像复原方法
CN107274378A (zh) * 2017-07-25 2017-10-20 江西理工大学 一种融合记忆cnn的图像模糊类型识别及参数整定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4942216B2 (ja) * 2008-09-30 2012-05-30 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0466252A3 (en) * 1990-07-03 1995-12-27 Univ New York State Res Found A method and apparatus for restoring convolution degraded images and signals
CN101968881A (zh) * 2010-10-27 2011-02-09 东南大学 一种运动模糊和散焦复合模糊的图像复原方法
CN104331871A (zh) * 2014-12-02 2015-02-04 苏州大学 一种图像去模糊方法及装置
CN105139348A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种运动模糊图像的双迭代混合盲复原方法
CN106530251A (zh) * 2016-11-03 2017-03-22 北京航星机器制造有限公司 一种盲卷积运动模糊图像复原方法
CN107274378A (zh) * 2017-07-25 2017-10-20 江西理工大学 一种融合记忆cnn的图像模糊类型识别及参数整定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的图像模糊去除;任静静;《中国优秀硕士学位论文全文数据库》;20170831;第I138-434页 *
基于稀疏正则优化的图像复原算法;肖宿等;《计算机应用》;20120101;第32卷(第1期);第261-263页 *

Also Published As

Publication number Publication date
CN108537746A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
Li et al. Efficient and interpretable deep blind image deblurring via algorithm unrolling
CN109360171B (zh) 一种基于神经网络的视频图像实时去模糊方法
Xu et al. Learning to restore low-light images via decomposition-and-enhancement
Riegler et al. A deep primal-dual network for guided depth super-resolution
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
Zuo et al. Convolutional neural networks for image denoising and restoration
CN111462019A (zh) 基于深度神经网络参数估计的图像去模糊方法及系统
WO2022100490A1 (en) Methods and systems for deblurring blurry images
CN114746895A (zh) 用于图像去噪的噪声重构
CN112837245A (zh) 一种基于多模态融合的动态场景去模糊方法
CN113570516A (zh) 基于CNN-Transformer混合自编码器的图像盲运动去模糊方法
Zhao et al. Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
Li et al. Cross-patch graph convolutional network for image denoising
CN113160179A (zh) 一种基于动态区域卷积的图像去模糊方法
Zhong et al. Real-world video deblurring: A benchmark dataset and an efficient recurrent neural network
Yu et al. Split-attention multiframe alignment network for image restoration
Prabhakar et al. Self-gated memory recurrent network for efficient scalable HDR deghosting
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
Sanghvi et al. Photon-limited blind deconvolution using unsupervised iterative kernel estimation
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN112767277A (zh) 一种基于参考图像的深度特征排序去模糊方法
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210921