CN108520504B - 一种基于生成对抗网络端到端的模糊图像盲复原方法 - Google Patents

一种基于生成对抗网络端到端的模糊图像盲复原方法 Download PDF

Info

Publication number
CN108520504B
CN108520504B CN201810337089.9A CN201810337089A CN108520504B CN 108520504 B CN108520504 B CN 108520504B CN 201810337089 A CN201810337089 A CN 201810337089A CN 108520504 B CN108520504 B CN 108520504B
Authority
CN
China
Prior art keywords
image
original image
generator
sample data
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810337089.9A
Other languages
English (en)
Other versions
CN108520504A (zh
Inventor
欧阳建权
张云飞
唐欢容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN201810337089.9A priority Critical patent/CN108520504B/zh
Publication of CN108520504A publication Critical patent/CN108520504A/zh
Application granted granted Critical
Publication of CN108520504B publication Critical patent/CN108520504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

基于生成对抗网络端到端的模糊图像盲复原方法,该方法包括:1)建立样本数据集;2)建立端到端图像配对模型:对数据集中的原始图像进行模糊化处理,建立模糊图像到原始图像的图像配对模型;3)生成对抗网络的对抗训练:模糊图像作为生成器输入数据,生成器学习原始图像的样本分布,生成图像,判别器将生成图像与原始图像的差异反馈给生成器,提高生成图像的质量;生成器和判别器进行反复对抗训练,得到最优模糊图像复原的网络模型;4)图像复原。本发明采用生成对抗网络端对端的训练模型,将模糊图像和原始图像配对处理,通过训练模型进行训练,不需要模糊图像的任何先验知识,学习完成后,直接输入模糊图像,模型即生成清晰图像。

Description

一种基于生成对抗网络端到端的模糊图像盲复原方法
技术领域
本发明涉及模糊图像复原的方法,具体涉及一种基于生成对抗网络端到端的模糊图像盲复原的方法,属于计算机图形处理技术领域。
背景技术
随着计算机视觉技术和多媒体通信技术的快速发展,以及各种移动终端设备如手机、平板电脑和数码相机等的广泛普及,图像信息在人们的生活中越来越重要。然而图像在成像、存储和传输等过程中,由于拍摄设备老化、传输中介、环境噪声、光线衍射以及设备相对运动等因素,使图像在一定程度上会出现失真、模糊以及夹杂各种噪声,造成图像退化问题。因此,图像复原技术应运而生。
根据点扩散函数是否已知,图像复原技术分为两种:非盲图像复原和盲图像复原。图像复原方法有维纳滤波、最近邻域滤波法、最小二乘滤波、迭代盲反卷积、神经网络法等。目前经典的去模糊算法基本都是建立在模糊核已知的情况下实现图像复原,但是模糊核是很难知道或者说很难精确的获得,所以盲复原技术应用需求更广泛和迫切。
生成对抗网络是基于博弈论的二人零和博弈思想,其核心是一个生成器和一个判别器,通过对抗博弈学习的方式来训练。目的是通过真实数据样本的潜在分布并生成新的数据样本。在图像、语音、NLP、棋类比赛等领域有巨大的研究价值。
从以上现状出发,利用生成对抗网络的对抗强化过程,根据生成器能够生成与真实数据样本高度相似的生成样本数据,将生成对抗网络应用于模糊图像复原。
发明内容
针对现有技术的不足,本发明的目的在于提供一种以数据为驱动的基于生成对抗网络端到端的多种模糊图像盲复原的方法。该方法采用生成对抗网络端对端的训练模型,将模糊图像——原始图像配对处理,然后通过训练模型进行训练,不需要模糊图像的任何先验知识,学习完成后,直接输入模糊图像,模型即生成清晰图像。
根据本发明的实施方案,提供一种基于生成对抗网络端到端的模糊图像盲复原的方法:
一种基于生成对抗网络端到端的模糊图像盲复原方法,该方法包括以下步骤:
1)建立样本数据集:通过公开的数据集或网络爬虫技术获取样本数据集;
2)建立端到端图像配对模型:对步骤1)的样本数据集中的原始图像进行模糊化处理,将模糊化处理后的图像分别与原始图像进行配对,建立模糊图像的输入端到原始图像的目标端的图像配对模型;
3)生成对抗网络的对抗训练:步骤2)中的模糊图像作为生成器输入数据,生成器学习原始图像的样本分布,生成图像,判别器判断该图像是来自生成器还是来自原始图像数据,并将生成图像与原始图像之间的差异程度反馈给生成器,生成器提高生成图像的质量;生成器和判别器进行反复对抗训练,得到最优模糊图像复原的网络模型;
4)图像复原:利用训练完成的模型对模糊图像进行复原,输入待复原的模糊图像,模型输出该模糊图像复原后的图像。
上述方法的步骤3)中,经过步骤2)模糊化处理后的多种模糊图像作为生成器输入数据,生成器通过学习原始图像的样本分布,尽可能地生成清晰的图像,判别器通过生成图像数据和原始图像数据的概率分布,来判断该图像是来自生成器还是来自原始图像数据,判别器将生成图像与原始图像之间的差异程度反馈给生成器,生成器通过不断地减小误差,以生成更加真实的图像。
优选的是,在上述方法的步骤2)中,将模糊化处理后的样本数据集划分为训练数据集和测试数据集。其中训练数据集是模糊图像与真实图像的配对图像,测试数据集分为两种,一种是配对的测试图像,另一种是单张模糊测试图像,配对的测试图像用于模型优化过程中模型测试,单张模糊测试图像则用于最终训练出来的模型进行模糊图像复原。
在本发明中,步骤3)中所述生成图像与原始图像之间的差异程度的计算方法具体为:
①将生成图像和原始图像划分为多个图像对应块;
②基于测地距离计算生成图像和原始图像所有图像对应块的相似程度,得到生成图像与原始图像之间的差异程度。
优选的是,子步骤①具体为:
以生成图像A和原始图像B为目标,生成图像A和原始图像B的大小为m*m,设计一个大小为n*n的图像块S,分别对生成图像A和原始图像B采用逐像素的对应块方式进行扫描,SAi表示生成图像A中第i个像素位置的图像块,SBi表示原始图像B中第i个像素位置的图像块,SAi与SBi表示生成图像A和原始图像B第i个像素位置的对应块。
作为优选,n的取值为1-15,优选为2-10,n为整数。例如,n的取值为2,即图像块的大小为2*2。
优选的是,子步骤②具体为:
给定生成图像A和原始图像B的图像对应块PA、PB,大小为n*n,计算两图像块中第i个像素点权值WP和WG,WP表示像素值之间的差值,有:
Figure BDA0001629531230000031
式(1)中
Figure BDA0001629531230000032
分别表示图像对应块中第i个像素位置Ai、Bi两点c∈{r,g,b}的像素值;
WG表示图像梯度值的变化值,有:
Figure BDA0001629531230000033
式(2)中
Figure BDA0001629531230000034
Figure BDA0001629531230000035
分别表示图像对应块中第i个像素位置Ai、Bi两点c∈{r,g,b}的像素值,α和β分别表示Ai、Bi两点像素值变化最大的方向与最小方向的夹角;
计算位于不同图像块相同位置Ai、Bi两点间的测地距离d(PAi,PBi):
d(PAi,PBi)=WP+WG (3);
则图像块PA,PB之间的距离为:
Figure BDA0001629531230000036
由上述测地距离可得生成图像与原始图像的内容损失:
Figure BDA0001629531230000037
式(5)中M表示生成图像与原始图像划分图像对应块的个数,n*n表示一个图像对应块的大小,d(G(x)i,Z(y)i)表示图像中第i个像素点位置的生成图像G(x)到原始图像Z(y)的测地距离,
Figure BDA0001629531230000038
表示L1损失,x表示模糊图像,y表示原始图像;
判别器判断图像来自生成器的生成图像还是原始图像的损失为:
Figure BDA0001629531230000041
式(6)中y表示样本数据集中所有的样本数据,N表示生成器生成的图像个数;
由生成图像和原始图像的内容损失和判别器损失的联合优化,则生成对抗网络的联合优化损失函数为:
LG=Lgd+LD (7);
即得:生成图像与原始图像之间的差异程度为LG=Lgd+LD
优选的是,α的取值为0,π/4,π/2,3π/4或π。
优选的是,β的取值为0,π/4,π/2,3π/4或π。
在本发明中,步骤3)中判别器判断图像是来自生成器还是来自原始图像数据的概率为0.5时,模糊图像复原的网络模型的训练达到最优化。
在本发明中,步骤2)中所述模糊化处理包括高斯模糊、运动模糊、椒盐噪声和马赛克模糊。
优选的是,对于高斯模糊采取的模糊策略是模糊半径为2-5px。
优选的是,对于运动模糊采取的模糊策略是模糊距离为15-25px。
优选的是,对于椒盐噪声采取的模糊策略是添加15%-25%噪声,并以高斯分布。
优选的是,对于马赛克模糊采取的模糊策略是模糊半径为2-8px。
优选的是,步骤1)中还包括对样本数据集中的样本数据进行筛选,具体为:删除图像残缺、清晰度低于人眼正常识别范围、内容不合格的样本数据。
优选的是,步骤1)中还包括对样本数据集中的样本数据进行放缩归一化处理,具体为:通过放缩将全部样本数据统一大小。
在本发明中,所述生成器和判别器选取的网络架构模型为Unet或ResNet。
在本发明中,分别对生成图像和原始图像采用逐像素的对应块方式进行扫描,所述逐像素即为一个像素一个像素地去扫描去计算,且每个像素均对应一个图像块。
在本发明中,所述图像梯度值即为图像灰度值显著变化的地方。在计算图像梯度值的变化值时,α和β分别表示图像对应块中Ai、Bi两点像素值变化最大的方向与最小方向的夹角。且本发明给定图像块的大小为n*n,即图像块为正方形,由此,α和β的取值为0,π/4,π/2,3π/4或π。
在本发明中,所述测地距离除了表示像素差值即欧拉距离,还包括了图像梯度的变化。所述生成图像与原始图像之间的差异程度,本申请中利用测地距离来计算图像之间的差异,除了计算像素值误差,还计算了像素梯度之间的差异。
在本发明中,获取样本数据集后,往往需要对样本数据集中的样本数据进行筛选和放缩归一化处理。其中,筛选处理中的删除图像残缺,其标准为删除部分图像数据丢失造成的图像残缺;删除清晰度低的样本数据,其中清晰度低的标准为清晰度低于人眼正常识别范围;删除内容不合格的样本数据,例如删除内容不健康的样本数据。所述放缩归一化处理,本发明中根据图像的需求,一般将样本数据统一为256*256或512*512的大小,以保证样本数据的纯洁性和一致性。
本发明提出了关于生成图像和原始图像基于相似块的评价方法。在图像的结构信息中,相似块是由多个像素点构成的局部块信息,如果两个图像块间的颜色、结构、方向等特征具有较高的匹配度,则可以称彼此为相似块。由于局部块内所有像素点共同刻画邻域范围的颜色分布与结构变化,因此,局部块比单独的像素点更加适合描述图像的局部信息。利用图像的局部信息可以对图像进行有效的恢复重建,例如图像去噪、超分辨率重建、压缩感知重建等。
本发明将生成图像和原始图像划分为多个图像对应块,然后基于测地距离计算生成图像和原始图像所有图像对应块的相似程度,从而得出生成图像和原始图像之间的差异程度,判别器将差异反馈给生成器,调整权重参数更新,然后生成器生成更加清晰的图像。
在本发明中,当判别器判断图像是来自生成器还是来自原始图像的概率为0.5时,表示模糊图像复原的网络模型已经训练到了平衡点,生成器足以生成与原始图像高度匹配的图像,而判别器将难以判断该图像是来自生成器还是来自原始图像,即得到最优化的网络模型。
在本发明中,所述L1损失即为L1正则项。L1正则项为本领域常用术语,不再赘述。本申请中未进行解释说明的相关术语,均为本领域常见或常用的术语,不再赘述。
与现有技术相比,本发明具有以下有益效果:
1、本发明采用生成对抗网络端对端的训练模型,将模糊图像——原始图像配对处理,然后通过训练模型进行训练,不需要模糊图像的任何先验知识,学习完成后,直接输入模糊图像,模型即生成清晰图像;
2、本发明采用生成对抗网络端到端的模糊图像复原,避免了在模糊图像上进行去模糊的处理,而是通过生成器生成一个高度匹配原始图像的生成图像;本方法的生成图像就是模糊图像复原后的图像,与传统滤波方式的模糊图像复原有本质的区别;
3、本发明采用生成对抗网络端到端的模糊图像复原,可以同时处理多种模糊图像类型,诸如高斯模糊、运动模糊、椒盐噪声以及马赛克模糊等多种模糊类型;
4、本发明采用生成对抗网络端到端的模糊图像复原,复原图像的局部细节信息清晰,整体图像效果更加接近原始图像。
附图说明
图1为本发明的图像端到端的图像配对模型示意图;
图2为本发明的生成对抗网络示意图;
图3为本发明的图像对应块示意图;
图4为本发明实施例中基于生成对抗网络端到端的模糊图像盲复原方法的流程图。
具体实施方式
根据本发明的实施方案,提供一种基于生成对抗网络端到端的模糊图像盲复原的方法:
一种基于生成对抗网络端到端的模糊图像盲复原方法,该方法包括以下步骤:
1)建立样本数据集:通过公开的数据集或网络爬虫技术获取样本数据集;
2)建立端到端图像配对模型:对步骤1)的样本数据集中的原始图像进行模糊化处理,将模糊化处理后的图像分别与原始图像进行配对,建立模糊图像的输入端到原始图像的目标端的图像配对模型;
3)生成对抗网络的对抗训练:步骤2)中的模糊图像作为生成器输入数据,生成器学习原始图像的样本分布,生成图像,判别器判断该图像是来自生成器还是来自原始图像数据,并将生成图像与原始图像之间的差异程度反馈给生成器,生成器提高生成图像的质量;生成器和判别器进行反复对抗训练,得到最优模糊图像复原的网络模型;
4)图像复原:利用训练完成的模型对模糊图像进行复原,输入待复原的模糊图像,模型输出该模糊图像复原后的图像。
在本发明中,步骤3)中所述生成图像与原始图像之间的差异程度的计算方法具体为:
①将生成图像和原始图像划分为多个图像对应块;
②基于测地距离计算生成图像和原始图像所有图像对应块的相似程度,得到生成图像与原始图像之间的差异程度。
优选的是,子步骤①具体为:
以生成图像A和原始图像B为目标,生成图像A和原始图像B的大小为m*m,设计一个大小为n*n的图像块S,分别对生成图像A和原始图像B采用逐像素的对应块方式进行扫描,SAi表示生成图像A中第i个像素位置的图像块,SBi表示原始图像B中第i个像素位置的图像块,SAi与SBi表示生成图像A和原始图像B第i个像素位置的对应块。
作为优选,n的取值为1-15,优选为2-10,n为整数。
优选的是,子步骤②具体为:
给定生成图像A和原始图像B的图像对应块PA、PB,大小为n*n,计算两图像块中第i个像素点权值WP和WG,WP表示像素值之间的差值,有:
Figure BDA0001629531230000071
式(1)中
Figure BDA0001629531230000072
分别表示图像对应块中第i个像素位置Ai、Bi两点c∈{r,g,b}的像素值;
WG表示图像梯度值的变化值,有:
Figure BDA0001629531230000073
式(2)中
Figure BDA0001629531230000074
Figure BDA0001629531230000075
分别表示图像对应块中第i个像素位置Ai、Bi两点c∈{r,g,b}的像素值,α和β分别表示Ai、Bi两点像素值变化最大的方向与最小方向的夹角;
计算位于不同图像块相同位置Ai、Bi两点间的测地距离d(PAi,PBi):
d(PAi,PBi)=WP+WG (3);
则图像块PA,PB之间的距离为:
Figure BDA0001629531230000076
由上述测地距离可得生成图像与原始图像的内容损失:
Figure BDA0001629531230000077
式(5)中M表示生成图像与原始图像划分图像对应块的个数,n*n表示一个图像对应块的大小,d(G(x)i,Z(y)i)表示图像中第i个像素点位置的生成图像G(x)到原始图像Z(y)的测地距离,
Figure BDA0001629531230000081
表示L1损失,x表示模糊图像,y表示原始图像;
判别器判断图像来自生成器的生成图像还是原始图像的损失为:
Figure BDA0001629531230000082
式(6)中y表示样本数据集中所有的样本数据,N表示生成器生成的图像个数;
由生成图像和原始图像的内容损失和判别器损失的联合优化,则生成对抗网络的联合优化损失函数为:
LG=Lgd+LD (7);
即得:生成图像与原始图像之间的差异程度为LG=Lgd+LD
优选的是,α的取值为0,π/4,π/2,3π/4或π。
优选的是,β的取值为0,π/4,π/2,3π/4或π。
在本发明中,步骤3)中判别器判断图像是来自生成器还是来自原始图像数据的概率为0.5时,模糊图像复原的网络模型的训练达到最优化。
在本发明中,步骤2)中所述模糊化处理包括高斯模糊、运动模糊、椒盐噪声和马赛克模糊。
优选的是,对于高斯模糊采取的模糊策略是模糊半径为2-5px。
优选的是,对于运动模糊采取的模糊策略是模糊距离为15-25px。
优选的是,对于椒盐噪声采取的模糊策略是添加15%-25%噪声,并以高斯分布。
优选的是,对于马赛克模糊采取的模糊策略是模糊半径为2-8px。
优选的是,步骤1)中还包括对样本数据集中的样本数据进行筛选,具体为:删除图像残缺、清晰度低于人眼正常识别范围、内容不合格的样本数据。
优选的是,步骤1)中还包括对样本数据集中的样本数据进行放缩归一化处理,具体为:通过放缩将全部样本数据统一大小。
在本发明中,所述生成器和判别器选取的网络架构模型为Unet或ResNet。
实施例
以公开的数据集celebA明星头像为例说明基于生成对抗网络端对端的模糊图像盲复原方法以及多种模糊图像复原的工作流程。
本实施例的实施环境分为硬件和软件,硬件配置是Tesla K10.G1.8GB GPU服务器,主频是2.20GHz四核CPU以及16GB内存,硬盘大小5.4T。软件配置操作系统为64位Ubuntu-Server Linux14.04,网络带宽为100Mbits/s,脚本语言Python版本为3.5.2,深度学习框架TensorFlow-GPU版本为1.4.0以及PyTorch版本为0.2.0。
图4为本实施例的整体工作流程图,基于生成对抗网络端对端的模糊图像盲复原的方法包括以下步骤:
1)对公开数据集celebA提取符合要求的图像作为样本数据集,对样本数据集中的原始图像数据进行筛选和归一化处理,将原始图像转化成256*256大小的图像,并统一规范命名操作。
2)对步骤1)的样本数据集中的原始图像进行模糊预处理,分别对原始图像进行高斯模糊、运动模糊、椒盐噪声和马赛克模糊,其中对于高斯模糊采取的模糊策略是模糊半径为3px,对于运动模糊采取的模糊策略是模糊距离为20px,对于椒盐噪声采取的模糊策略是添加20%噪声,并以高斯分布,对于马赛克模糊采取的模糊策略是模糊半径为5px;然后将模糊处理后的图像与原始图像进行配对处理;将预处理后的数据集划分为训练数据集和测试数据集,其中训练数据集是模糊图像与真实图像的配对图像,测试数据集分为两种,一种是配对的测试图像,另一种是单张模糊测试图像,配对的测试图像用于模型优化过程中模型测试,单张模糊测试图像则用于最终训练出来的模型进行模糊图像复原。
3)定义生成对抗网络GAN的网络结构,生成器和判别器选择Unet网络结构。将步骤2)中的训练数据集投入网络模型中进行训练,生成器生成去模糊后的图像,用来训练判别器,判别器通过生成图像和原始图像的分布概率以及内容差别,进而计算生成图像和原始图像的差异程度即联合优化损失函数,然后将联合优化损失函数反馈给生成器,提高生成器生成图像的质量,通过这样不断的对抗学习以及参数调整对网络模型进行反馈优化训练,得到最优的模糊图像复原的网络模型。
其中,生成图像和原始图像的联合优化损失函数的计算过程具体为:
①将生成图像和原始图像划分为多个图像对应块:
以生成图像A和原始图像B为目标,生成图像A和原始图像B的大小为m*m,设计一个大小为3*3的图像块S,分别对生成图像A和原始图像B采用逐像素的对应块方式进行扫描,SAi表示生成图像A中第i个像素位置的图像块,SBi表示原始图像B中第i个像素位置的图像块,SAi与SBi表示生成图像A和原始图像B第i个像素位置的对应块。
②基于测地距离计算生成图像和原始图像所有图像对应块的相似程度,得到生成图像与原始图像之间的差异程度:
给定生成图像A和原始图像B的图像对应块PA、PB,大小为n*n,计算两图像块中第i个像素点权值WP和WG,WP表示像素值之间的差值,有:
Figure BDA0001629531230000101
式(1)中
Figure BDA0001629531230000102
分别表示图像对应块中第i个像素位置Ai、Bi两点c∈{r,g,b}的像素值;
WG表示图像梯度值的变化值,有:
Figure BDA0001629531230000103
式(2)中
Figure BDA0001629531230000104
Figure BDA0001629531230000105
分别表示图像对应块中第i个像素位置Ai、Bi两点c∈{r,g,b}的像素值,α和β分别表示Ai、Bi两点像素值变化最大的方向与最小方向的夹角,且α和β的取值为0,π/4,π/2,3π/4或π;
计算位于不同图像块相同位置Ai、Bi两点间的测地距离d(PAi,PBi):
d(PAi,PBi)=WP+WG (3);
则图像块PA,PB之间的距离为:
Figure BDA0001629531230000106
由上述测地距离可得生成图像与原始图像的内容损失:
Figure BDA0001629531230000107
式(5)中M表示生成图像与原始图像划分图像对应块的个数,n*n表示一个图像对应块的大小,d(G(x)i,Z(y)i)表示图像中第i个像素点位置的生成图像G(x)到原始图像Z(y)的测地距离,
Figure BDA0001629531230000111
表示L1损失,x表示模糊图像,y表示原始图像;
判别器判断图像来自生成器的生成图像还是原始图像的损失为:
Figure BDA0001629531230000112
式(6)中y表示训练数据集中所有的训练数据,N表示生成器生成的图像个数;
由生成图像和原始图像的内容损失和判别器损失的联合优化,则生成对抗网络的联合优化损失函数为:
LG=Lgd+LD (7)。
4)图像复原:根据步骤2)中的测试数据集,利用训练完成的模型对模糊图像进行复原,直接输入单张模糊图像测试数据,模型的输出图像即为模糊图像复原后的清晰图像。
在本实施例中,通过对celebA数据集进行模糊图像建模,然后设计了一种基于生成对抗网络端对端的模糊图像盲复原的方法,实现了对多重模糊图像复原的功能。
本实施例是本发明的一个简单实现,该过程可以推广到其他智能监控设备、手持移动终端等基于多媒体设备中,从而解决图像模糊带来的视觉感受差的问题。

Claims (15)

1.一种基于生成对抗网络端到端的模糊图像盲复原方法,该方法包括以下步骤:
1)建立样本数据集:通过公开的数据集或网络爬虫技术获取样本数据集;
2)建立端到端图像配对模型:对步骤1)的样本数据集中的原始图像进行模糊化处理,将模糊化处理后的图像分别与原始图像进行配对,建立模糊图像的输入端到原始图像的目标端的图像配对模型;
3)生成对抗网络的对抗训练:步骤2)中的模糊图像作为生成器输入数据,生成器学习原始图像的样本分布,生成图像,判别器判断该图像是来自生成器还是来自原始图像数据,并将生成图像与原始图像之间的差异程度反馈给生成器,生成器提高生成图像的质量;生成器和判别器进行反复对抗训练,得到最优模糊图像复原的网络模型;
其中:所述生成图像与原始图像之间的差异程度的计算方法具体为:
①将生成图像和原始图像划分为多个图像对应块;
②基于测地距离计算生成图像和原始图像所有图像对应块的相似程度,得到生成图像与原始图像之间的差异程度;
子步骤②具体为:
给定生成图像A和原始图像B的图像对应块PA、PB,大小为n*n,计算两图像块中第i个像素点权值WP和WG,WP表示像素值之间的差值,有:
Figure FDA0002354601930000011
式(1)中
Figure FDA0002354601930000012
分别表示图像对应块中第i个像素位置Ai、Bi两点c∈{r,g,b}的像素值;
WG表示图像梯度值的变化值,有:
Figure FDA0002354601930000013
式(2)中
Figure FDA0002354601930000014
Figure FDA0002354601930000015
分别表示图像对应块中第i个像素位置Ai、Bi两点c∈{r,g,b}的像素值,α和β分别表示Ai、Bi两点像素值变化最大的方向与最小方向的夹角;
计算位于不同图像块相同位置Ai、Bi两点间的测地距离d(PAi,PBi):
d(PAi,PBi)=WP+WG (3);
则图像块PA,PB之间的距离为:
Figure FDA0002354601930000021
由上述测地距离可得生成图像与原始图像的内容损失:
Figure FDA0002354601930000022
式(5)中M表示生成图像与原始图像划分图像对应块的个数,n*n表示一个图像对应块的大小,d(G(x)i,Z(y)i)表示图像中第i个像素点位置的生成图像G(x)到原始图像Z(y)的测地距离,
Figure FDA0002354601930000023
表示L1损失,x表示模糊图像,y表示原始图像;
判别器判断图像来自生成器的生成图像还是原始图像的损失为:
Figure FDA0002354601930000024
式(6)中y表示样本数据集中所有的样本数据,N表示生成器生成的图像个数;D(yi)为输入yi为原始图像的概率;
由生成图像和原始图像的内容损失和判别器损失的联合优化,则生成对抗网络的联合优化损失函数为:
LG=Lgd+LD (7);
即得:生成图像与原始图像之间的差异程度为LG=Lgd+LD
4)图像复原:利用训练完成的模型对模糊图像进行复原,输入待复原的模糊图像,模型输出该模糊图像复原后的图像。
2.根据权利要求1所述的方法,其特征在于:子步骤①具体为:
以生成图像A和原始图像B为目标,生成图像A和原始图像B的大小为m*m,设计一个大小为n*n的图像块S,分别对生成图像A和原始图像B采用逐像素的对应块方式进行扫描,SAi表示生成图像A中第i个像素位置的图像块,SBi表示原始图像B中第i个像素位置的图像块,SAi与SBi表示生成图像A和原始图像B第i个像素位置的对应块。
3.根据权利要求2所述的方法,其特征在于:n的取值为1-15,n为整数。
4.根据权利要求3所述的方法,其特征在于:n的取值为2-10。
5.根据权利要求1-4中任一项所述的方法,其特征在于:α的取值为0,π/4,π/2,3π/4或π;和/或
β的取值为0,π/4,π/2,3π/4或π。
6.根据权利要求1-4中任一项所述的方法,其特征在于:步骤3)中判别器判断图像是来自生成器还是来自原始图像数据的概率为0.5时,模糊图像复原的网络模型的训练达到最优化。
7.根据权利要求5所述的方法,其特征在于:步骤3)中判别器判断图像是来自生成器还是来自原始图像数据的概率为0.5时,模糊图像复原的网络模型的训练达到最优化。
8.根据权利要求1-4、7中任一项所述的方法,其特征在于:步骤2)中所述模糊化处理包括高斯模糊、运动模糊、椒盐噪声和马赛克模糊。
9.根据权利要求5所述的方法,其特征在于:步骤2)中所述模糊化处理包括高斯模糊、运动模糊、椒盐噪声和马赛克模糊。
10.根据权利要求8所述的方法,其特征在于:对于高斯模糊采取的模糊策略是模糊半径为2-5px;和/或
对于运动模糊采取的模糊策略是模糊距离为15-25px;和/或
对于椒盐噪声采取的模糊策略是添加15%-25%噪声,并以高斯分布;和/或
对于马赛克模糊采取的模糊策略是模糊半径为2-8px。
11.根据权利要求9所述的方法,其特征在于:对于高斯模糊采取的模糊策略是模糊半径为2-5px;和/或
对于运动模糊采取的模糊策略是模糊距离为15-25px;和/或
对于椒盐噪声采取的模糊策略是添加15%-25%噪声,并以高斯分布;和/或
对于马赛克模糊采取的模糊策略是模糊半径为2-8px。
12.根据权利要求1-4、7、9-11中任一项所述的方法,其特征在于:步骤1)中还包括对样本数据集中的样本数据进行筛选,具体为:删除图像残缺、清晰度低于人眼正常识别范围、内容不合格的样本数据;和/或
步骤1)中还包括对样本数据集中的样本数据进行放缩归一化处理,具体为:通过放缩将全部样本数据统一大小。
13.根据权利要求5所述的方法,其特征在于:步骤1)中还包括对样本数据集中的样本数据进行筛选,具体为:删除图像残缺、清晰度低于人眼正常识别范围、内容不合格的样本数据;和/或
步骤1)中还包括对样本数据集中的样本数据进行放缩归一化处理,具体为:通过放缩将全部样本数据统一大小。
14.根据权利要求1-4、7、9-11、13中任一项所述的方法,其特征在于:所述生成器和判别器选取的网络架构模型为Unet或ResNet。
15.根据权利要求5所述的方法,其特征在于:所述生成器和判别器选取的网络架构模型为Unet或ResNet。
CN201810337089.9A 2018-04-16 2018-04-16 一种基于生成对抗网络端到端的模糊图像盲复原方法 Active CN108520504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810337089.9A CN108520504B (zh) 2018-04-16 2018-04-16 一种基于生成对抗网络端到端的模糊图像盲复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810337089.9A CN108520504B (zh) 2018-04-16 2018-04-16 一种基于生成对抗网络端到端的模糊图像盲复原方法

Publications (2)

Publication Number Publication Date
CN108520504A CN108520504A (zh) 2018-09-11
CN108520504B true CN108520504B (zh) 2020-05-19

Family

ID=63429329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810337089.9A Active CN108520504B (zh) 2018-04-16 2018-04-16 一种基于生成对抗网络端到端的模糊图像盲复原方法

Country Status (1)

Country Link
CN (1) CN108520504B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242115B (zh) * 2018-09-17 2021-11-09 东北大学 一种基于gan的风机轮毂测风缺失数据的插补方法
CN111105349B (zh) * 2018-10-26 2022-02-11 珠海格力电器股份有限公司 一种图像处理方法
CN109410935A (zh) * 2018-11-01 2019-03-01 平安科技(深圳)有限公司 一种基于语音识别的目的地搜索方法及装置
CN109409508B (zh) * 2018-11-06 2022-03-15 成都信息工程大学 一种基于生成对抗网络使用感知损失解决模型崩塌的方法
CN109712092B (zh) * 2018-12-18 2021-01-05 上海信联信息发展股份有限公司 档案扫描图像修复方法、装置及电子设备
CN109584196A (zh) * 2018-12-20 2019-04-05 北京达佳互联信息技术有限公司 数据集生成方法、装置、电子设备及存储介质
CN109740677A (zh) * 2019-01-07 2019-05-10 湖北工业大学 一种基于主成分分析改进生成对抗网络的半监督分类方法
CN111724310B (zh) * 2019-03-21 2023-08-15 马上消费金融股份有限公司 图像修复模型的训练方法、图像修复方法及装置
CN109981991A (zh) * 2019-04-17 2019-07-05 北京旷视科技有限公司 模型训练方法、图像处理方法、装置、介质和电子设备
CN110417755A (zh) * 2019-07-11 2019-11-05 华东师范大学 基于生成对抗网络的工控协议漏洞挖掘方法
CN111047546A (zh) * 2019-11-28 2020-04-21 中国船舶重工集团公司第七一七研究所 一种红外图像超分辨率重构方法、系统及电子设备
CN111191654B (zh) * 2019-12-30 2023-03-24 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111310508B (zh) * 2020-02-14 2021-08-10 北京化工大学 一种二维码识别方法
CN111402156B (zh) * 2020-03-11 2021-08-03 腾讯科技(深圳)有限公司 一种涂抹图像的复原方法、装置及存储介质和终端设备
CN111582384B (zh) * 2020-05-11 2023-09-22 西安邮电大学 一种图像对抗样本生成方法
CN111738953A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于边界感知对抗学习的大气湍流退化图像复原方法
CN111968040A (zh) * 2020-07-02 2020-11-20 北京大学深圳研究生院 图像的复原方法、系统及计算机可读存储介质
CN111968047A (zh) * 2020-07-22 2020-11-20 中国西安卫星测控中心 一种基于生成式对抗网络的自适应光学图像盲复原方法
CN112131945A (zh) * 2020-08-21 2020-12-25 南京大学 一种基于深度学习的无透镜显微成像系统及方法
CN112766189B (zh) * 2021-01-25 2023-08-08 北京有竹居网络技术有限公司 深度伪造检测方法、装置、存储介质及电子设备
CN112837240B (zh) * 2021-02-02 2023-08-04 北京百度网讯科技有限公司 模型训练方法、分数提升方法、装置、设备、介质和产品
CN113689348B (zh) * 2021-08-18 2023-12-26 中国科学院自动化研究所 多任务图像复原方法、系统、电子设备及存储介质
CN114612362B (zh) * 2022-03-18 2023-05-23 四川大学 基于多点扩散函数生成对抗网络的大景深成像方法及系统
CN114418130B (zh) * 2022-03-30 2022-07-15 中国科学技术大学 一种模型训练方法、数据处理方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957025A (zh) * 2016-04-21 2016-09-21 天津大学 基于稀疏表示的非一致图像盲复原方法
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957025A (zh) * 2016-04-21 2016-09-21 天津大学 基于稀疏表示的非一致图像盲复原方法
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于相似块先验学习的MRC图像去噪研究;陈纯玉;《中国优秀硕士学位论文全文数据库信息科技辑》;20170315;第3.2.1-3.2.2节 *

Also Published As

Publication number Publication date
CN108520504A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN108520504B (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
Ciancio et al. No-reference blur assessment of digital pictures based on multifeature classifiers
CN104008538B (zh) 基于单张图像超分辨率方法
Liu et al. Perceptual reduced-reference visual quality assessment for contrast alteration
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN110675328A (zh) 基于条件生成对抗网络的低照度图像增强方法及装置
Lin et al. Msaff-net: Multiscale attention feature fusion networks for single image dehazing and beyond
Shi et al. Low-light image enhancement algorithm based on retinex and generative adversarial network
Ou et al. A novel rank learning based no-reference image quality assessment method
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
Liu et al. Learning hadamard-product-propagation for image dehazing and beyond
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
Delbracio et al. Projected distribution loss for image enhancement
Yuan et al. Single image dehazing via NIN-DehazeNet
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
CN106709890A (zh) 用于低照度视频图像处理的方法及装置
Zhang et al. Multi-branch and progressive network for low-light image enhancement
Hu et al. Hierarchical discrepancy learning for image restoration quality assessment
An et al. HFM: A hybrid fusion method for underwater image enhancement
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
Wang et al. LLDiffusion: Learning degradation representations in diffusion models for low-light image enhancement
Parekh et al. A survey of image enhancement and object detection methods
Hua et al. Low-light image enhancement based on joint generative adversarial network and image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant