CN111462019A - 基于深度神经网络参数估计的图像去模糊方法及系统 - Google Patents
基于深度神经网络参数估计的图像去模糊方法及系统 Download PDFInfo
- Publication number
- CN111462019A CN111462019A CN202010313174.9A CN202010313174A CN111462019A CN 111462019 A CN111462019 A CN 111462019A CN 202010313174 A CN202010313174 A CN 202010313174A CN 111462019 A CN111462019 A CN 111462019A
- Authority
- CN
- China
- Prior art keywords
- image
- deblurring
- neural network
- parameter estimation
- standard deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 238000000513 principal component analysis Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 21
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 108010063499 Sigma Factor Proteins 0.000 description 1
- ZVQOOHYFBIDMTQ-UHFFFAOYSA-N [methyl(oxido){1-[6-(trifluoromethyl)pyridin-3-yl]ethyl}-lambda(6)-sulfanylidene]cyanamide Chemical compound N#CN=S(C)(=O)C(C)C1=CC=C(C(F)(F)F)N=C1 ZVQOOHYFBIDMTQ-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度神经网络参数估计的图像去模糊方法及系统，包括获取训练集和测试集，进行预处理；网络参数设置；基于深度神经网络参数估计的图像去高斯模糊，所述深度神经网络包括两个子模块，分别为高斯标准差水平参数估计子模块和非盲去模糊子模块；所述高斯标准差水平参数估计子模块为沙漏型网络结构，解码块和编码块在对称层之间使用跳跃连接机制，对高斯模糊核经过PCA主成分分析，然后进行维度拉伸得到向量图，向量图与模糊图像作为非盲去模糊模块的输入；所述非盲去模糊子模块应用级联的卷积层来执行非线性映射过程；训练神经网络，测试神经网络，得到去模糊结果。本发明应用在图像去模糊中可以取得很好的效果。
Description
技术领域
本发明属于视频或者图像去模糊领域，尤其涉及一种基于深度神经网络参数估计的图像去模糊方法及系统。
背景技术
图像去模糊是图像处理的重要研究方向。随着近些年神经网络技术以及传统方法的发展，车牌识别，人脸识别，行人重识别等技术已经趋于成熟。然而，图像在获得，处理，保存，传输等过程中，总会因为拍摄装置或者天气等不可预知因素的影响，造成图像质量的减退。而模糊是图像质量减退的一个重要表现形式。图像去模糊是许多计算机视觉任务的重要预处理步骤，广泛应用于车牌识别，人脸识别等领域。
图像产生模糊具体表现主要有以下几种形式。由于大气湍流等运动形式的影响，使图像在获取时受到干扰退化而形成大气模糊，也就是通常所说的高斯模糊。相机抖动或者拍摄物体的快速移动等引起相机与物体的相对运动而形成运动模糊。由于光学系统误差、调焦失误等对焦不准而形成离焦模糊。退化图像由于缺少必要细节信息在较多领域不能使用。
基于传统方法的图像去模糊方法现在有很多。早期经典的图像非盲去模糊方法，如逆滤波[1]，维纳滤波[2]，RL(Richardson-Lucy)方法等。这些方法有一定的局限性，维纳滤波在噪声和原始图像功率谱已知的情况下，能够很好的恢复出图像，但实际求解过程中维纳滤波需要大量图像先验信息。逆滤波方法涉及到频域和空间域的变换，由于过程中所用的反卷积存在病态性，对噪声的干扰及其敏感，出现小的干扰便有可能导致复原过程当中方程解的不稳定，所以仅适用于大多数无噪声的图像去模糊。RL方法[3]假定受损图像服从泊松分布以最大似然估计方法迭代求解复原图像，其优点在于效率高，而且即便是缺少噪声的先验信息也能获得较好的恢复效果。
随着近年来深度学习的飞速发展，卷积神经网络(CNN)在图像视觉领域取得了巨大的成果，其中基于深度学习的图像去模糊方法也在不断取得突破。DeblurGAN[4]是首个将GAN应用于图像去模糊的网络，取得了不错的效果。基于模型的优化方法IRCNN[5]训练了一组高效、快速的CNN去噪器，并将它们集成到图像恢复问题中。NCSR[6]提出了一种新的用于图像恢复的非局部集中稀疏表示模型。
本发明利用图像处理中统一的图像评价标准方法对图像去模糊重建结果进行评价，并将其与现有的图像去模糊方法进行比较，一种基于深度神经网络参数估计的图像去模糊方法及系统，方法先估计模糊核参数，后结合非盲去模糊方法优势，联立两者组成一个端到端的盲去模糊网络，网络分为模糊核估计子网络和非盲去模糊子网络两个模块。
为证明本专利的独创性，对已有类似的图像去模糊工作展开调研，迄今为止发明名称内含有图像模糊的已有专利1647项，名称内含有图像去模糊的已有专利618项，其中与去高斯模糊相关的有专利9项，但没有与本项发明中的单独用一个卷积神经网络估计高斯模糊核标准差水平的相关专利，该9项专利如下表所示：
下面列出其中与本发明最为相关的4项公开专利的分析。
中国专利文献号CN109118438A，公开(公告)日2019.01.01，公开了一种基于生成对抗网络的高斯模糊图像复原方法，该发明基于生成对抗网络，通过大规模数据的训练深度神经网络模型，实现端到端高斯模糊图像的复原。深度学习方法需要用到训练集测试集，但是该方法并没有用公开训练集与相应优秀方法做比较，该方法的有效性并没有被证实。
中国专利文献号CN108109121A，公开(公告)日2018.06.01，公开了一种基于卷积神经网络的人脸模糊快速消除方法，该发明基于卷积神经网络，对图像的模糊及去模糊的过程进行数学形式建模，利用服从高斯过程的初始化方法生成核函数，根据核函数对输入图像进行训练，通过大规模数据的训练深度神经网络模型，实现端到端模糊图像的复原。但是该方法出现了在一些图像上还是会出现模糊没有被消除以及一些块效应，该方法仍然具有优化的空间。
中国专利文献号CN108537746A，公开(公告)日2018.09.14，公开了一种基于深度卷积网络的模糊可变图像盲复原方法，该发明基于卷积神经网络，对多种模糊类型的模糊进行数学建模，然后利用一个估计网络判断模糊种类及范围，针对这一范围构建训练集训练神经网络，实现端到端模糊图像的复原。但是该方法并没有准确估计模糊强度，增大了制作训练集巡礼的难度，进而增大了网络模型复杂度，该方法仍然具有优化的空间。
中国专利文献号CN109598695A，公开(公告)日2019.04.09，公开了一种基于深度学习网络的无参考图像模糊程度估计方法，该发明使用包含三层子网络的深度神经网络：双通道清晰/模糊感知网络、清晰模糊联合感知网络、非线性特征映射和回归网络。采用分层训练的学习策略，利用大量的训练数据，深度网络的内部参数可从前往后逐步获得，作为训练数据的先验信息，能大幅度加快网络参数收敛速度。但是该方法并不能有效处理模糊强度较大的情况，适用范围比较小。
本发明涉及的相关参考文献：
[1]Castle man K R.Digital image processing[M].London:PrenticeHall.1998,49-49.
[2]Vairy,M.,Venkatesh,Y.V.:Deblurring gaussian blur using a waveletarray trans form.Pattern Recognition 28(7),965–976(1995)
[3]Richardson W H.Bayesian-Based iterative method of imagerestoration[J].Journal of the Optical Society of America,1972,62(1):55-59.
[4]Orest Kupyn,Volodymyr Budzan,Mykola Mykhailych,.DeblurGAN:BlindMotion Deblurring Using Conditional Adversarial Networks[C]//2018 IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).IEEE,2018.
[5]Kai Zhang,Wangmeng Zuo,Shuhang Gu,and Lei Zhang,“Learning deep cnndenoiser prior for image restoration,”in Proceedings of the IEEE conferenceon computer vision and pattern recognition,2017,pp.3929–3938.
[6]Weisheng Dong,Lei Zhang,Guangming Shi,and Xin Li,“Nonlocallycentralized sparse representation for image restoration,”IEEE transactions onImage Processing,vol.22,no.4,pp.1620–1630,2012.
[7]Ziwei Liu,Ping Luo,Xiaogang Wang,and Xiaoou Tang,“Deep learningface attributes in the wild,”in Proceedings of the IEEE internationalconference on computer vision,2015,pp.3730–3738.
[8]Kaipeng Zhang,Zhanpeng Zhang,Zhifeng Li,and Yu Qiao,“Joint facedetection and alignment using multitask cascaded convolutional networks,”IEEESignal Processing Letters,vol.23,no.10,pp.1499–1503,2016.
[9]Noam Yair and Tomer Michaeli,“Multi-scale weighted nuclear normimage restoration,”in Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition,2018,pp.3165–3174.
[10]Daniel Zoran and Yair Weiss,“From learning models of naturalimage patches to whole image restoration,”in 2011 International Conference onComputer Vision.IEEE,2011,pp.479–486.[11]K Dabov,A Foi,V Katkovnik,and KEgiazarian,“Image denoising by sparse 3-d transform-domain collab orativefifiltering.image processing,ieee transactions on 16(8),pp.2080-2095,”2007.
[11]Kingma D,Ba J.Adam:A Method for Stochastic Optimization[J].Computer ence,2014.
发明内容
本发明的目的是为了克服现有技术中的不足，提出一种基于深度神经网络参数估计的图像去模糊方案。
为解决上述技术问题，本发明采用如下的技术方案一种基于深度神经网络参数估计的图像去模糊方法及系统，实现过程包括以下步骤：
步骤1，获取训练集和测试集，进行预处理；
步骤2，网络参数设置；
步骤3，基于深度神经网络参数估计的图像去高斯模糊，所述深度神经网络包括两个子模块，分别为高斯标准差水平参数估计子模块和非盲去模糊子模块；
所述高斯标准差水平参数估计子模块为沙漏型网络结构，解码块和编码块在对称层之间使用跳跃连接机制，网络由四个编码块和对应的四个解码块组成，将最后一个解码块的输出以及对称层的编码块的输出一起连接到1×1卷积层，生成高斯模糊标准差标签图，通过计算生成的标签图的均值来得到高斯模糊核标准差水平参数估计值；本子模块训练阶段与测试阶段使用的高斯模糊核不同，如果是训练阶段则使用制作训练集时使用的高斯模糊核，如果是测试阶段使用的是高斯模糊核标准差水平估计值生成的高斯模糊核；对高斯模糊核经过PCA主成分分析，然后进行维度拉伸得到向量图，向量图与模糊图像作为非盲去模糊子模块的输入；
所述非盲去模糊子模块应用16个级联的卷积层来执行非线性映射过程；
步骤4，训练神经网络，将训练集图像送入深度神经网络，训练模型；
步骤5，测试神经网络，将测试集中模糊图像送入训练好的模型，得到去模糊结果。
而且，在步骤1中，对于训练集，加载在计算机内存上的是高清图像，在训练时，对于一张图像，随机加载步长为0.1，范围为[0,2]的高斯模糊，模糊后的图像作为网络输入；对于测试集，加载在计算机内存上的是模糊图像，即是为高清图像随机加载步长为0.1，范围为[0,2]的高斯模糊，模糊后的图像制作成测试集。
而且，所述高斯标准差水平参数估计子模块中，每一个编码块包含一个最大池化层和六个残差块，每个残差块包括两层卷积，每层卷积由一个3×3卷积，一个BatchNormalization层和一个Relu函数组成，为保证输出特征图不变，填充设置为1，卷积核特征图数量为64；除第一个编码块的输入为模糊图像外，其余编码块的输入为上一层编码块的输出；每一个解码块中包含一个上采样层和六个残差块。解码块的残差块参数设置和编码块相同；解码块的输入是对应层的编码块输出和前一解码块输出。
而且，在步骤3中，本子模块训练阶段与测试阶段使用的高斯模糊核不同，如果是训练阶段则使用制作训练集时使用的高斯模糊核，如果是测试阶段用高斯模糊核标准差水平估计值生成的高斯模糊核。对高斯模糊核经过PCA主成分分析，到15维向量；然后进行维度拉伸，得到维度为128×128×15的向量图，与模糊图像一起组成128×128×18维向量，作为非盲去模糊模块的输入。
而且，在步骤3中，所述非盲去模糊子模块中，每个卷积层由一个3×3卷积，一个Batch Normalization层和一个Relu函数组成，padding设置为1，卷积核特征图数量为64；最后一层只执行一个卷积操作来生成大小为128×128×3的清晰图像。
而且，使用L2损失函数作为高斯模糊标准差估计子模块的损失函数，对于训练集(X,Y)：
其中E表示高斯模糊标准差水平参数估计子模块，X表示输入的模糊图像，M表示训练时根据清晰图像生成的高斯模糊标准差水平值，M的大小是NMξ表示要学习的参数；
使用L2损失函数作为非盲去模糊子模块的损失函数：
其中G表示非盲去模糊子模块，J表示模块的输入，Y表示去模糊后的图片，NY表示Y的大小值，
表示要学习的参数；
总的损失函数为：
Loss＝lossP+lossG+l2
其中，loss是总的损失，lossP是高斯模糊标准差水平估计子模块的损失，lossG是非盲去模糊子模块的损失，l2是网络的正则化损失。
本发明还提出一种基于深度神经网络参数估计的图像去模糊系统，用于执行如权利要求上所述的基于深度神经网络参数估计的图像去模糊方法及系统。
本发明的优势体现如下：
现有研究表明输入精确的图像模糊参数对于不同程度模糊图像的增强具有关键的指导作用，但是在实际应用中，模糊图像的模糊参数通常未知。针对这一问题，本发明研究基于深度神经网络参数估计的图像去模糊方法，通过模糊估计网络获得图像的模糊程度信息，进而指导后续图像去模糊网络的学习，提升图像去模糊模型对不同模糊程度的适应性。在实际应用中有非常大的应用价值，现实场景中大部分图像是无法知道模糊先验信息的，因此很多非盲去模糊网络需要二次开发才能投入使用，本发明的优势体现在可以快速的以批处理的方式恢复模糊图像，后续本发明还可以应用到视频处理等场景中。
附图说明
图1是本发明实施例的流程原理图。
图2是本发明实施例的高斯模糊标准差水平参数估计子模块示意图。
具体实施方式
下面结合附图和实施例对本发明技术方案进一步详细说明。
本发明提出基于深度神经网络的图像去模糊方法，设计了高斯模糊核水平参数估计模块估计图像的高斯模糊核标准差水平，以此作为非盲去模糊模块的先验信息去除模糊。在整体结构上，非盲去模糊模块基于SRMD网络结构，提出了一种基于深度神经网络参数估计的图像去模糊方法。
参见图1，本发明实施例提供的一种基于深度神经网络参数估计的图像去模糊方法及系统，具体流程包括步骤如下：
步骤1，获取训练集、测试集并预处理：
实施例中，训练集为深度学习方法中常用的CelebA[7]数据集。CelebA包含10177个不同个体，共计202599张人脸图像。在数据集中随机选取50000张图像，其中49000张图像用于训练，1000张图像进行测试；对图像进行预处理，通过MTCNN[8]检测到的边界框将所有人脸图像归一化为128×128像素。
训练集和测试集的处理方法在细节上有所区别。
对于训练集，加载在计算机内存上的是高清图像，在训练时，对于一张图像，随机加载步长为0.1，范围为[0,2]的高斯模糊，模糊后的图像作为网络输入，高斯模糊核标准差水平估计子模块估计高斯模糊核标准差水平值。对制作训练集时使用的高斯模糊核进行主成分分析处理，并进行维度拉伸得到维度为128×128×15向量图，得到的向量图作为非盲去模糊子模块的输入先验，训练时非盲去模糊模块所涉及的高斯模糊标准差水平值是模拟高斯模糊时人为设定的高斯模糊标准差水平值。
对于测试集，加载在计算机内存上的是模糊图像，对于一张图像，加载的同样是步长为0.1，范围为[0,2]内的高斯模糊，利用估计的高斯模糊核标准差水平值生成高斯模糊核，对高斯模糊核进行主成分分析处理，并进行维度拉伸得到维度为128×128×15向量图，得到的向量图作为非盲去模糊子模块的输入先验。
步骤2，网络参数设置：
迭代训练最大次数为epoch＝200，初始化学习率为lr＝0.0001，前100轮迭代的学习率为初始化学习率，后100轮迭代学习率为
网络训练时采用现有技术中的Adam[11]优化方法实现自动优化。网络训练的批尺寸为4。
步骤3，基于深度神经网络参数估计的图像去高斯模糊；所述深度神经网络包括两个子模块，分为高斯模糊核标准差水平参数估计子模块和非盲去模糊子模块：
如图2所示，本发明提出的高斯模糊核标准差水平参数估计子模块：
本发明设计了一种沙漏型网络结构来估计高斯模糊核标准差水平参数，网络由四个编码块和对应的四个解码块组成。
在数学形式上，高斯模糊表现为原始图像和高斯模糊核的卷积的形式。高斯模糊核的数学表达式如公式1，
在公式中，x、y为输入参数，k是归一化因子；σ是高斯模糊核的标准差，它的大小反映了模糊程度的大小，σ值越大，模糊程度就越强；r表示模糊核的大小。该子模块就是估计σ的值。为了跨尺度合并特征并在不同尺度上保留空间信息，解码块和编码块在对称层之间使用跳跃连接机制。每一个编码块包含一个最大池化层和六个残差块。每个残差块包括两层卷积，每层卷积(Conv)由一个3×3卷积，一个Batch Normalization层(即BN批标准化)和一个Relu函数(激活函数)组成，为保证输出特征图不变，填充设置为1，卷积核特征图数量为64。除第一个编码块的输入为模糊图像外，其余编码块的输入为上一层编码块的输出。
每一个解码块中包含一个上采样层和六个残差块。解码块的残差块参数设置和编码块相同。
此外，解码块的输入是对称层的编码块输出和前一解码块输出。将最后一个解码块的输出以及对称层的编码块的输出一起连接到1×1卷积层，生成高斯模糊核标准差水平标签图。本发明通过计算标签图的均值来得到高斯模糊核标准差水平参数估计值。
如图1所示，本发明提出了非盲去模糊子模块：
本子模块训练阶段与测试阶段使用的高斯模糊核不同，如果是训练阶段则使用制作训练集时使用的高斯模糊核，如果是测试阶段用高斯模糊核标准差水平估计值生成的高斯模糊核。对高斯模糊核经过PCA主成分分析，然后进行维度拉伸得到维度为128×128×15向量图，向量图与模糊图像一起作为非盲去模糊子模块的输入。非盲去模糊子模块应用16个级联的卷积层来执行非线性映射过程。每个卷积层由一个3×3卷积，一个BatchNormalization(BN批标准化)层和一个Relu函数(激活函数)组成，填充设置为1，卷积核特征图数量为64。最后一层只执行一个卷积操作来生成大小为128×128×3的清晰图像。
步骤4，训练神经网络，将训练集图像送入深度神经网络，训练模型：
训练神经网络，输入训练集中一张图像的相应模糊图片到训练好的深度神经网络模型中，得到去模糊后的清晰图片。其中细节实施方式如下，输入一张模糊图片到高斯模糊核标准差水平参数估计子模块，高斯模糊核标准差水平估计子模块估计出高斯模糊核标准差水平参数。利用PCA方法对生成模糊图片时使用的高斯模糊核进行主成分分析并且进行维度拉伸，得到的维度为128×128×15向量图与模糊图片一起组成128×128×18维向量作为非盲去模糊模块的输入，进而进行网络训练。本步骤网络训练根据步骤2设置的网络参数实现。
步骤5，测试神经网络，将测试集中模糊图像送入训练好的模型，得到去模糊结果：
测试神经网络，输入一张模糊图片到训练好的深度神经网络模型中，得到去模糊后的清晰图片，其中细节实施方式如下，输入一张模糊图片到高斯模糊核标准差水平参数估计子模块，高斯模糊核标准差水平参数估计子模块估计出高斯模糊核标准差水平参数值，根据估计出的高斯模糊核标准差水平参数值生成高斯模糊核，利用PCA方法对高斯模糊核进行主成分分析并且进行维度拉伸，得到维度为128×128×15向量图与模糊图片一起组成维度为128×128×18的向量图作为非盲去模糊子模块的输入，输出即为去模糊后的清晰图片。
进一步地，实施例在步骤4训练神经网络，优选采用以下损失函数：
使用L2损失函数作为高斯模糊标准差水平估计子模块的损失函数，对于训练集(X,Y)：
其中E表示高斯模糊标准差水平参数估计子模块，X表示输入的模糊图像，M表示训练时根据清晰图像生成的高斯模糊标准差水平值，M的大小是H×W，H是图像的长，W为图像的宽，NM表示M的大小值，即H×W的值，lossP是高斯模糊标准差估计子模块的损失。ξ表示要学习的参数。
使用L2损失函数作为非盲去模糊子模块的损失函数：
其中G表示非盲去模糊子模块，J表示该模块的输入，Y表示去模糊后的图片，NY表示Y的大小值，假如Y为灰度图，NY的值就是H×W，假如Y为彩色图，NY的值就是H×W×C，其中C为通道数，lossG是非盲去模糊子模块的损失。
表示要学习的参数。
总的损失函数为：
Loss＝lossP+lossG+l2
总的损失函数为两个子网络的损失相加再加上网络的正则化损失，loss是总的损失，lossP是高斯模糊标准差水平估计子模块的损失，lossG是非盲去模糊子模块的损失，l2是网络的正则化损失。
在实际测试本算法效果时，当估计的高斯模糊核标准差水平值与生成模糊图像时所使用的高斯模糊核标准差值偏差小于0.1时，模糊图像复原就能达到比较满意的效果。因此本发明认为只要高斯模糊核标准差水平估计值与生成模糊图像时所使用的高斯模糊核标准差值偏差小于0.1时，就算是估计准确了。表1给出了本方法以及单独使用漏斗模型或单独使用残差网络结构在添加了不同程度的模糊时在CelebA测试集上高斯模糊核标准差水平估计的准确率；准确率的定义是高斯模糊核标准差水平估计偏差小于0.1的图片数占所有测试图片数的百分比。
表1高斯模糊核标准差水平参数估计准确率
| 所用方法 | 准确率 |
| 48层残差网络 | 66.8％ |
| 漏斗型网络 | 88.9％ |
| 漏洞型网络+残差网络 | 99.8％ |
其中，本发明所用的残差网络总共用了48层残差网络，故对比的方法中也使用48层残差网络。从表中可以看出，本发明设计的高斯模糊核标准差水平估计子模块结合了漏斗型网络与残差网络的优势，能准确的估计出高斯模糊核标准差水平参数值。
下面将复原结果与近年先进的基于卷积神经网络的图像去模糊方法进行了比较。
对比方法包括：深度学习方法IRCNN[5]，MSWNNM[9]。以及传统方法NCSR[6]，EPLL[10]，IDDBM3D[11]。
表2给出了本方法及上述方法添加了不同程度的模糊时在CelebA测试集上复原结果的平均SSIM、PSNR以及FSIM。
由表可以看出本发明提出的基于深度神经网络参数估计的盲去模糊方法取得了较好的结果。
具体实施时，以上流程可采用计算机软件技术实现自动运行，运行方法的系统装置也应当在本发明的保护范围内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种基于深度神经网络参数估计的图像去模糊方法及系统，其特征在于：实现过程包括以下步骤：
步骤1，获取训练集和测试集，进行预处理；
步骤2，网络参数设置；
步骤3，基于深度神经网络参数估计的图像去高斯模糊，所述深度神经网络包括两个子模块，分别为高斯标准差水平参数估计子模块和非盲去模糊子模块；
所述高斯标准差水平参数估计子模块为沙漏型网络结构，解码块和编码块在对称层之间使用跳跃连接机制，网络由四个编码块和对应的四个解码块组成，将最后一个解码块的输出以及对称层的编码块的输出一起连接到1×1卷积层，生成高斯模糊标准差标签图，通过计算生成的标签图的均值来得到高斯模糊核标准差水平参数估计值；本子模块训练阶段与测试阶段使用的高斯模糊核不同，如果是训练阶段则使用制作训练集时使用的高斯模糊核，如果是测试阶段使用的是高斯模糊核标准差水平估计值生成的高斯模糊核；对高斯模糊核经过PCA主成分分析，然后进行维度拉伸得到向量图，向量图与模糊图像作为非盲去模糊子模块的输入；
所述非盲去模糊子模块应用16个级联的卷积层来执行非线性映射过程；
步骤4，训练神经网络，将训练集图像送入深度神经网络，训练模型；
步骤5，测试神经网络，将测试集中模糊图像送入训练好的模型，得到去模糊结果。
2.根据权利要求1所述的一种基于深度神经网络参数估计的图像去模糊方法及系统，其特征在于：在步骤1中，对于训练集，加载在计算机内存上的是高清图像，在训练时，对于一张图像，随机加载步长为0.1，范围为[0,2]的高斯模糊，模糊后的图像作为网络输入；对于测试集，加载在计算机内存上的是模糊图像，即是为高清图像随机加载步长为0.1，范围为[0,2]的高斯模糊，模糊后的图像制作成测试集。
3.根据权利要求3所述的一种基于深度神经网络参数估计的图像去模糊方法及系统，其特征在于：所述高斯标准差水平参数估计子模块中，每一个编码块包含一个最大池化层和六个残差块，每个残差块包括两层卷积，每层卷积由一个3×3卷积，一个BatchNormalization层和一个Relu函数组成，为保证输出特征图不变，填充设置为1，卷积核特征图数量为64；除第一个编码块的输入为模糊图像外，其余编码块的输入为上一层编码块的输出；每一个解码块中包含一个上采样层和六个残差块。解码块的残差块参数设置和编码块相同；解码块的输入是对应层的编码块输出和前一解码块输出。
4.根据权利要求3所叙述的一种基于深度神经网络参数估计的图像去模糊方法及系统，其特征在于：在步骤3中，本子模块训练阶段与测试阶段使用的高斯模糊核不同，如果是训练阶段则使用制作训练集时使用的高斯模糊核，如果是测试阶段用高斯模糊核标准差水平估计值生成的高斯模糊核。对高斯模糊核经过PCA主成分分析，到15维向量；然后进行维度拉伸，得到维度为128×128×15的向量图，与模糊图像一起组成128×128×18维向量，作为非盲去模糊模块的输入。
5.根据权利要求4所述的一种基于深度神经网络参数估计的图像去模糊方法及系统，其特征在于：
在步骤3中，所述非盲去模糊子模块中，每个卷积层由一个3×3卷积，一个BatchNormalization层和一个Relu函数组成，padding设置为1，卷积核特征图数量为64；最后一层只执行一个卷积操作来生成大小为128×128×3的清晰图像。
6.根据权利要求1或2或3或4或5所述的一种基于深度神经网络参数估计的图像去模糊方法及系统，其特征在于：使用L2损失函数作为高斯模糊标准差估计子模块的损失函数，对于训练集(X,Y)：
其中E表示高斯模糊标准差水平参数估计子模块，X表示输入的模糊图像，M表示训练时根据清晰图像生成的高斯模糊标准差水平值，M的大小是NMξ表示要学习的参数；
使用L2损失函数作为非盲去模糊子模块的损失函数：
其中G表示非盲去模糊子模块，J表示模块的输入，Y表示去模糊后的图片，NY表示Y的大小值，
表示要学习的参数；
总的损失函数为：
Loss＝lossP+lossG+l2
其中，loss是总的损失，lossP是高斯模糊标准差水平估计子模块的损失，lossG是非盲去模糊子模块的损失，l2是网络的正则化损失。
7.一种基于深度神经网络参数估计的图像去模糊方法及系统，其特征在于：用于执行如权利要求1至6所述的基于深度神经网络参数估计的图像去模糊方法及系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010313174.9A CN111462019A (zh) | 2020-04-20 | 2020-04-20 | 基于深度神经网络参数估计的图像去模糊方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010313174.9A CN111462019A (zh) | 2020-04-20 | 2020-04-20 | 基于深度神经网络参数估计的图像去模糊方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111462019A true CN111462019A (zh) | 2020-07-28 |
Family
ID=71685949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010313174.9A Pending CN111462019A (zh) | 2020-04-20 | 2020-04-20 | 基于深度神经网络参数估计的图像去模糊方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111462019A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614072A (zh) * | 2020-12-29 | 2021-04-06 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN112766190A (zh) * | 2021-01-25 | 2021-05-07 | 北京有竹居网络技术有限公司 | 对抗样本生成方法、装置、存储介质及电子设备 |
| CN112991194A (zh) * | 2021-01-29 | 2021-06-18 | 电子科技大学 | 一种基于深度残差网络的红外热波图像去模糊方法 |
| CN112991212A (zh) * | 2021-03-16 | 2021-06-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113034386A (zh) * | 2021-03-03 | 2021-06-25 | 西安工业大学 | 一种基于深度神经网络的图像处理方法、系统和介质 |
| CN113034407A (zh) * | 2021-04-27 | 2021-06-25 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113353102A (zh) * | 2021-07-08 | 2021-09-07 | 重庆大学 | 一种基于深度强化学习的无保护左转弯驾驶控制方法 |
| CN113379598A (zh) * | 2021-05-20 | 2021-09-10 | 山东省科学院自动化研究所 | 基于残差通道注意力网络的太赫兹图像重建方法及系统 |
| CN113869363A (zh) * | 2021-08-24 | 2021-12-31 | 中国科学院光电技术研究所 | 一种基于图像评价网络和图像评价函数的爬山调焦搜索方法 |
| CN118041992A (zh) * | 2024-04-12 | 2024-05-14 | 中交华南勘察测绘科技有限公司 | 大规模水下勘测作业测绘数据实时传输及处理方法 |
| CN118279841A (zh) * | 2024-06-04 | 2024-07-02 | 中冶（贵州）建设投资发展有限公司 | 基于数据融合的智能化高速公路稽查防逃监测系统 |
| CN118279841B (zh) * | 2024-06-04 | 2024-07-26 | 中冶（贵州）建设投资发展有限公司 | 基于数据融合的智能化高速公路稽查防逃监测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009012364A1 (en) * | 2007-07-19 | 2009-01-22 | Nikon Corporation | Device and method for estimating if an image is blurred |
| CN104794691A (zh) * | 2015-04-07 | 2015-07-22 | 浙江大学 | 利用广义高斯模型进行单张失焦图像清晰重建的方法 |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| CN110728626A (zh) * | 2018-07-16 | 2020-01-24 | 宁波舜宇光电信息有限公司 | 图像去模糊方法和装置及其训练 |
-
2020
- 2020-04-20 CN CN202010313174.9A patent/CN111462019A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009012364A1 (en) * | 2007-07-19 | 2009-01-22 | Nikon Corporation | Device and method for estimating if an image is blurred |
| CN104794691A (zh) * | 2015-04-07 | 2015-07-22 | 浙江大学 | 利用广义高斯模型进行单张失焦图像清晰重建的方法 |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| CN110728626A (zh) * | 2018-07-16 | 2020-01-24 | 宁波舜宇光电信息有限公司 | 图像去模糊方法和装置及其训练 |
Non-Patent Citations (3)
| Title |
|---|
| ZIYI SHEN等: "Human-Aware Motion Deblurring", 《 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
| 余孝源 等: "基于深度编码-解码器的图像模糊核估计", 《控制理论与应用》 * |
| 芦瀚楠: "基于卷积神经网络的图像盲超分辨研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614072A (zh) * | 2020-12-29 | 2021-04-06 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN112614072B (zh) * | 2020-12-29 | 2022-05-17 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN112766190A (zh) * | 2021-01-25 | 2021-05-07 | 北京有竹居网络技术有限公司 | 对抗样本生成方法、装置、存储介质及电子设备 |
| CN112991194A (zh) * | 2021-01-29 | 2021-06-18 | 电子科技大学 | 一种基于深度残差网络的红外热波图像去模糊方法 |
| CN112991194B (zh) * | 2021-01-29 | 2022-06-24 | 电子科技大学 | 一种基于深度残差网络的红外热波图像去模糊方法 |
| CN113034386B (zh) * | 2021-03-03 | 2024-01-23 | 西安工业大学 | 一种基于深度神经网络的图像处理方法、系统和介质 |
| CN113034386A (zh) * | 2021-03-03 | 2021-06-25 | 西安工业大学 | 一种基于深度神经网络的图像处理方法、系统和介质 |
| CN112991212A (zh) * | 2021-03-16 | 2021-06-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113034407A (zh) * | 2021-04-27 | 2021-06-25 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113379598A (zh) * | 2021-05-20 | 2021-09-10 | 山东省科学院自动化研究所 | 基于残差通道注意力网络的太赫兹图像重建方法及系统 |
| CN113379598B (zh) * | 2021-05-20 | 2023-07-14 | 山东省科学院自动化研究所 | 基于残差通道注意力网络的太赫兹图像重建方法及系统 |
| CN113353102A (zh) * | 2021-07-08 | 2021-09-07 | 重庆大学 | 一种基于深度强化学习的无保护左转弯驾驶控制方法 |
| CN113869363A (zh) * | 2021-08-24 | 2021-12-31 | 中国科学院光电技术研究所 | 一种基于图像评价网络和图像评价函数的爬山调焦搜索方法 |
| CN113869363B (zh) * | 2021-08-24 | 2023-09-22 | 中国科学院光电技术研究所 | 一种基于图像评价网络和图像评价函数的爬山调焦搜索方法 |
| CN118041992A (zh) * | 2024-04-12 | 2024-05-14 | 中交华南勘察测绘科技有限公司 | 大规模水下勘测作业测绘数据实时传输及处理方法 |
| CN118279841A (zh) * | 2024-06-04 | 2024-07-02 | 中冶（贵州）建设投资发展有限公司 | 基于数据融合的智能化高速公路稽查防逃监测系统 |
| CN118279841B (zh) * | 2024-06-04 | 2024-07-26 | 中冶（贵州）建设投资发展有限公司 | 基于数据融合的智能化高速公路稽查防逃监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462019A (zh) | 基于深度神经网络参数估计的图像去模糊方法及系统 | |
| WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| Luo et al. | Image restoration with mean-reverting stochastic differential equations | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| Tran et al. | GAN-based noise model for denoising real images | |
| CN111091503B (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN108510451B (zh) | 一种基于双层卷积神经网络的重建车牌的方法 | |
| US8908989B2 (en) | Recursive conditional means image denoising | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN112419191B (zh) | 基于卷积神经网络的图像运动模糊去除方法 | |
| Sahu et al. | Blind deblurring using deep learning: A survey | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| US20220156891A1 (en) | Methods and systems for deblurring blurry images | |
| Anantrasirichai | Atmospheric turbulence removal with complex-valued convolutional neural network | |
| Zhao et al. | A simple and robust deep convolutional approach to blind image denoising | |
| Chandak et al. | Semantic image completion and enhancement using deep learning | |
| CN112132757B (zh) | 一种基于神经网络的通用图像复原方法 | |
| Mukherjee et al. | Visual quality enhancement of images under adverse weather conditions | |
| Qiu et al. | A GAN-based motion blurred image restoration algorithm | |
| CN116523790A (zh) | 一种sar图像去噪优化方法、系统和存储介质 | |
| CN116596794A (zh) | 一种基于事件相机的联合去运动模糊和视频插帧方法 | |
| Xue et al. | Multi-scale features joint rain removal for single image | |
| Zeng et al. | Single image motion deblurring based on modified denseNet | |
| Kumar et al. | Orthogonal transform based generative adversarial network for image dehazing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200728 |