CN110363716B - 一种基于条件生成对抗网络复合降质图像高质量重建方法 - Google Patents
一种基于条件生成对抗网络复合降质图像高质量重建方法 Download PDFInfo
- Publication number
- CN110363716B CN110363716B CN201910552748.5A CN201910552748A CN110363716B CN 110363716 B CN110363716 B CN 110363716B CN 201910552748 A CN201910552748 A CN 201910552748A CN 110363716 B CN110363716 B CN 110363716B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- parameter
- prediction
- composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000007906 compression Methods 0.000 claims abstract description 85
- 230000006835 compression Effects 0.000 claims abstract description 84
- 230000004438 eyesight Effects 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000000149 argon plasma sintering Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 46
- 238000006731 degradation reaction Methods 0.000 claims description 37
- 230000015556 catabolic process Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000002834 transmittance Methods 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 4
- 150000001875 compounds Chemical class 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于条件生成对抗网络复合降质图像高质量重建方法,该方法基于条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统中复合降质图像进行高质量重建,包括整体流程、复合降质图像样本库的建立、网络模型搭建与训练、复合降质图像高质量重建部分。通过条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统得到的复合降质图像进行统一高质量重建。本发明提出了建立对应清晰‑复合降质图像样本库的方案;采用条件生成对抗网络,建立一种复合降质图像高质量重建方法,可完成存在雾霾、模糊、压缩效应等复合降质图像的统一重建;采用轻型的网络,不仅提高了图像重建速度,也更利于此方法在实践中的应用。
Description
技术领域
本发明属于数字图像处理领域,特别涉及一种基于条件生成对抗网络(cGAN,Conditional Generative Adversarial Nets)的户外视觉系统复合降质图像的高质量重建方法。
背景技术
无人机航拍、视频监控、智能交通等户外视觉系统采集到的图像通常受到雾霾天气、模糊、压缩效应等多种降质因素的影响。这些因素以复杂的方式随机组合,导致图像质量的严重退化,不仅影响人眼的主观视觉效果,而且给户外视觉系统效用的充分发挥带来很大阻碍。
雾霾图像形成的经典大气光散射模型如公式所示,其中I(x)为有雾图像,J(x)为清晰图像,t(x)为透射图t(x)=e-ρd(x)(ρ为散射系数d(x)为场景深度),A为全局大气光。
I(x)=J(x)t(x)+A(1-t(x))
对于图像大气光散射参数的估计,如果分别估计透射图t(x)和大气光A,重建得到的图像通常包含颜色失真或伪影如附图1所示,因此可将透射图t(x)和大气光A的估计根据公式转化为大气光散射参数K的估计。
图像模糊的通用模型如公式所示,其中g(x)表示模糊图像,f(x)表示清晰图像,q(x)代表模糊核,*表示卷积算子,n(x)代表加性噪声。常见的模糊类型主要有三种,分别为运动模糊、散焦模糊、大气湍流模糊等。
g(x)=q(x)*f(x)+n(x)
在无人机航拍、视频监控、智能交通等户外视觉系统中,往往需要对所获取的影像进行压缩存储,目前常用的压缩方法可以分为两类:无损压缩和有损压缩。虽然无损压缩方法为用户提供了最佳的视觉体验,但有损压缩方法可以实现更高的压缩比。因此在实际应用中常用有损压缩,而有损压缩图像中常存在伪像、图像块效应等降质现象。
目前,学者们分别针对图像雾霾、模糊、压缩效应等降质因素开展了研究工作,但是这些算法往往只关注于某种特定的单一降质因素,很难对存在多种降质因素的图像进行统一的高质量重建。如附图2所示的是一幅雾霾与压缩两种降质因素共存的低质图像,若对该图像仅进行去雾处理,不仅去雾效果较差,由压缩造成的块效应也会显得异常突出,这使得重建图像的人眼主观视觉感受很差。有学者提出将复合降质图像依次通过针对某种单一降质因素重建系统的处理方法,该方法在理论上可以对复合降质图像进行重建,但是由于多次处理的叠加误差以及未考虑各种降质因素组合的随机性及其相互作用等,重建结果往往并不理想。因此,如何利用统一的框架进行复合降质图像的高质量重建,是无人机航拍等户外视觉采集系统亟待解决的问题。
与传统方法相比,深度神经网络(Deep Neural Network)在图像重建方面取得了较好的效果。尤其是Goodfellow等人在2014年提出的生成对抗网络(GAN,GenerativeAdversarial Networks),该网络结构如附图3所示,目标函数如公式所示。
其基本原理是由判别器D辅助生成器G产生出与真实数据分布一致的伪数据。模型的输入为随机噪声信号z。该噪声信号经由生成器G映射到某个新的数据空间,得到生成的数据G(z)。接下来,由判别器D根据真实数据x与生成数据G(z)的输入来分别输出一个概率值,表示D对于输入是真实数据还是生成数据的置信度,以此判断生成器G的性能好坏;当最终D无法区分真实数据x和生成数据G(z)时,就认为生成器G达到了最优。生成器G要能使产生的数据在D上的表现D(G(z))与真实数据D(x)尽可能一致,使得D无法区分生成数据与真实数据。生成对抗网络的设计建立了生成器和判别器的非合作博弈关系,通过迭代交替跟新达到纳什均衡,从而训练出最优的网络模型,为解决图像高质量重建问题提供了新的思路和手段。
但是原始GAN网络在无条件的生成模型中不需要预先建模,这会造成生成器不可控,对于高分辨率图片,基于经典GAN的方式无法控制正在生成数据的模式,对网络的训练造成很大阻碍。条件生成对抗网络(cGAN)主要思想是通过附加信息y作为监督,指导数据的生成过程,其中附加信息y可以是任何类型的辅助信息,例如类别标签或来自其他模态的数据。经典cGAN网络的示例图如附图4所示,目标函数如公式所示。
生成模型的输入为随机噪声信号z和条件y,该噪声信号z和条件y经由生成器G映射到某个新的数据空间,得到生成的数据G(z|y)。接下来,由判别器D根据真实数据x、条件y与生成数据G(z|y)来分别输出一个概率值,表示D对于输入是真实数据的置信度,以此判断G的生成数据性能好坏。当最终D无法区分真实数据x和生成数据G(z|y)时,就认为生成器G达到了最优。近期学者们将条件生成对抗网络应用于图像的超分辨率重建、图像修复、风格迁移等方面,均取得了较好的结果。
发明内容
本发明的目的在于利用条件生成对抗网络(cGAN)对无人机航拍、视频监控、智能交通等户外视觉系统中存在雾霾、模糊、压缩效应的复合降质图像在一个框架下进行统一的高质量重建。
本发明采用以下技术方案进行实现:基于条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统中复合降质图像进行高质量重建,主要包括整体流程、复合降质图像样本库的建立、网络模型搭建与训练、复合降质图像高质量重建部分。
首先复合降质图像重建的处理流程,包括复合降质图像样本库的建立;图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络以及条件生成对抗网络的生成网络G和判别网络D搭建,并利用合成的清晰-复合降质图像样本对上述网络进行训练,大气光散射参数K、图像模糊参数Bn和图像压缩参数CQ作为条件指导生成对抗网络训练;对真实复合降质图像L进行重建时,将真实复合降质图像L分别送入三个参数预测网络得到对应的大气光散射参数K、图像模糊参数Bn以及图像压缩参数CQ,之后将K、Bn、CQ作为条件与复合降质图像一同送入生成网络得到高质量重建图像。
复合降质图像样本库建立:包括高质量图像的获取、降质因素的添加、清晰-复合降质图像样本库生成三个步骤。
网络模型搭建与训练:包括网络的框架搭建、网络训练及模型获取两个步骤。网络的框架搭建包括图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络、条件生成对抗网络的生成网络G和对抗网络D的架构搭建;网络训练及模型获取阶段包括损失函数以及训练策略的使用等。
复合降质图像高质量重建:包括复合降质图像大气光散射参数K预测、模糊类别参数Bn预测和压缩参数CQ预测,将复合降质图像及其预测参数送入生成器进行图像重建两个步骤。
所述的整体流程,具体步骤如下:
本发明的整体流程如附图5所示
S1首先获取高质量图像并对其进行复合降质处理,得到清晰-复合降质图像数据集;
S2搭建图像大气光散射参数预测网络、图像模糊参数预测网络、图像压缩参数预测网络、条件生成对抗网络的生成网络G和判别网络D,并利用S2中得到的数据集对上述五个网络进行训练,其中三个预测网络得到的大气光散射参数K、图像模糊类别参数Bn、图像压缩参数CQ作为条件指导生成对抗网络训练,直至条件生成对抗网络(cGAN)达到纳什均衡或者达到最大迭代次数,停止训练;
S3在进行图像高质量重建时,利用S2训练好的网络,先将需要进行重建的真实复合降质图像分别送入三个参数预测网络得到对应的参数K、Bn和CQ,之后将图像与得到的参数一同送入生成网络G中,得到重建图像。
所述的复合降质图像样本库建立,具体步骤如下:
复合降质图像样本库的建立包含高质量图像的选取、降质参数的选择以及清晰-复合降质图像对样本库生成等。
S1.1分别选取已有的室内、室外数据集中的高质量图像;
S1.2对于S1.1中的高质量图像J(x),通过随机给定透射率t(x)和大气光A得到雾霾降质图像;
S1.3向S1.2得到的图像中随机加入一种模糊降质得到模糊降质图像,其中模糊降质包括运动模糊、散焦模糊、大气湍流等;
S1.4使用JPEG压缩方法对S1.3得到的图像进行不同压缩质量参数(CQ)的压缩处理,得到不同程度压缩失真的复合降质图像I(x)。
S1.5将S1.1中得到的高质量图像J(x)与S1.4得到的对应复合降质图像I(x)组成清晰-复合降质图像对及对应的降质参数K、Bn、CQ组成样本库。
所述的网络模型搭建与训练,具体步骤如下:
S2图像大气光散射参数预测网络搭建
使用卷积网络对图像大气光散射参数K进行预测,将预测结果K作为条件,用于指导条件生成对抗网络的学习。
附图6大气光散射参数预测网络所示为图像大气光散射参数预测网络的基本网络结构,包含5个卷积层和3个特征融合层,其参数如表1所示。将复合降质图像送入网络,提取conv1和conv2得到的特征图进行特征融合,其结果作为conv3的输入;提取conv1、conv2和conv3的特征图进行特征融合,其结果作为conv4的输入;提取conv1、conv2、conv3和conv4的特征图进行特征融合,得到的结果作为conv5的输入。经过第五层卷积后,最终输出大气光散射参数预测结果K。该网络结构可以最大限度的保留图像各个层次特征,得到更好的预测结果。
S2.1图像模糊参数预测网络搭建
图像模糊主要有运动模糊、散焦模糊、大气湍流模糊。利用卷积网络对图像模糊类别进行预测,将预测结果Bn作为条件,指导条件生成对抗网络的学习。
采用经典图像分类网络AlexNet的网络结构,其参数如表2所示。附图7所示为图像模糊类别预测网络的结构图,主要包括3个卷积层、3个全连接层。在所有的卷积层和全连接层之后,都应用了ReLU非线性激活函数。为了加速计算、防止过拟合,在卷积函数及激活函数之后,利用最大池化层来对图像的宽度和高度进行采样。在前两个池化层后加入了局部响应归一化(Local Response Normalization,LRN)操作提高网络的准确率。最终网络的输出结果为一个3×1的向量,其数值分别代表图像中存在运动模糊、散焦模糊、大气湍流模糊三种类型的模糊参数。
S2.2图像压缩参数预测网络搭建
压缩方法分为两类:无损和有损。虽然无损方法为用户提供了最佳的视觉体验,但有损方法可以实现更高的压缩比,因此户外视觉系统常用JPEG有损压缩方式。本发明利用卷积网络对图像压缩参数进行预测,将预测结果CQ作为条件,指导条件生成对抗网络的学习。附图8所示为图像压缩参数预测网络的基本结构,主要包含3个卷积层和2个全连接层和1个归一化指数函数(softmax)层,其参数如表3所示。在所有的卷积层和全连接层之后,都应用了ReLU非线性激活函数。为了降低特征维数、加速计算,在卷积函数及激活函数之后,利用最大池化层进行特征选择。最终网络的输出结果为一个5×1的向量,其数值分别代表图像中存在压缩参数等于0、10、20、30、40的概率,图像的最终压缩参数预测结果CQ等于5个压缩参数与对应预测概率的加权和。
S2.3条件生成对抗网络
生成网络结构搭建:生成器G要能使产生的数据在判别器D上与真实数据的表现尽可能一致。使用的生成网络结构如附图9所示,其参数如表4所示。包含对称的编码和解码结构,编码过程主要基于下采样操作,并向解码过程的对应层提供特征映射。解码过程主要使用上采样操作和非线性空间转移。编码对应于8个卷积层进行不同层次的特征提取,解码部分对应6个反卷积层、1个卷积层和1个Tanh函数激活层进行图像的重建。同时,为了更好的利用各个阶段的特征,突破解码过程中的信息瓶颈,在网络中加入跳步连接。
判别网络结构搭建:判别器D要能准确区分图像是来自真实的还是生成器G的输出。以此来指导生成器的学习,使其最终的输出图像更趋近于真实图像。本发明使用的判别网络结构如附图10判别网络模型所示,其参数如表5所示。包含5个卷积层,均采用3×3的卷积核,最后通过sigmoid函数,得到图像评分。
S2.4网络训练
在网络训练阶段,首先利用建立的复合降质图像样本库分别训练图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络、条件生成对抗网络。之后利用训练好的参数预测网络得到复合降质图像Ii的大气光散射参数Ki、图像模糊参数Bni和图像压缩参数CQi,作为条件生成对抗网络的条件。将Ii、Ki、Bni和CQi送入生成网络G,得到对应重建图像Zi。使用Ii对应的高质量图像Ji、重建图像Zi、参数Ki、Bni、CQi训练对抗网络D。交替训练生成网络G和对抗网络D,直至条件生成对抗网络达到纳什均衡或最大迭代次数。训练好的两个参数预测网络及生成网络G即为最终的复合降质图像重建网络。其中图像大气光散射参数预测网络、模糊参数预测网络、压缩参数预测网络均采用均方误差(MSE)损失函数,生成网络的损失函数包括对抗损失、感知损失和像素级损失,判别网络使用判别损失函数。训练以上网络均采用Adam梯度下降法,动量均设置为0.9。学习率为0.0002,每训练100次学习率变为原来的0.9倍,经过反复迭代,当损失函数降到最小或达到预设的最大迭代次数时停止训练,得到最终的图像重建模型。
所述的复合降质图像高质量重建,具体步骤如下:
S3.1参数预测
首先,将尺寸为M×N像素的待重建的真实复合降质图像L,送入图像大气光散射参数预测网络,得到对应的大气光散射参数K。将真实复合降质图像L尺寸缩放到256×256像素,分别送入图像模糊参数预测网络和图像压缩参数预测网络中,得到对应的模糊参数Bn和压缩参数CQ,并以此作为生成器的条件。
S3.2生成网络重建
将待重建的真实复合降质图像L以及S3.1得到的大气光散射参数K和图像模糊类别参数Bn一同送入生成网络中,其输出结果即为高质量重建图像Z。
与现有技术相比,本发明旨在通过条件生成对抗网络对无人机航拍、视频监控、智能交通等户外视觉系统得到的复合降质图像进行统一高质量重建。首先,针对本发明的任务,提出了建立对应清晰-复合降质图像样本库的方案;其次,本发明采用条件生成对抗网络(cGAN),建立了一种复合降质图像高质量重建方法,可完成存在雾霾、模糊、压缩效应等复合降质图像的统一重建;再者,本发明采用轻型的网络,不仅提高了图像重建速度,也更利于此方法在实践中的应用。
附图说明
图1分别预测透射图和全局大气光去雾效果。
图2复合降质图像去雾效果。
图3经典生成对抗网络结构图。
图4条件生成对抗网络示例图。
图5整体流程图。
图6大气光散射参数预测网络。
图7图像模糊参数预测网络。
图8图像压缩参数预测网络。
图9生成网络模型。
图10判别网络模型。
表1大气光散射参数预测网络结构及参数
表2图像模糊类别预测网络结构及参数
表3图像压缩参数预测网络结构及参数
表4生成网络结构及参数
表5判别网络结构及参数
具体实施方式
以下结合说明书附图,对本发明的实施实例加以详细说明:
一种基于条件生成对抗网络(cGAN)的户外视觉系统复合降质图像的高质量重建方法,整体流程如附图5所示,主要包括复合降质图像样本库的建立、网络模型搭建与训练、高质量图像重建部分。大气光散射参数K预测网络如附图6所示,图像模糊参数Bn预测网络如附图7所示,图像压缩参数CQ预测网络如附图8所示,条件对抗网络的生成网络模型如附图9生成网络模型所示、判别网络如附图10所示。对于一幅高质量图像,随机添加雾霾、模糊、压缩等降质因素得到清晰-复合降质图像样本库。利用生成的样本库,对参数预测网络及条件生成对抗网络进行训练。对于真实复合降质图像L,由三个参数预测网络分别得到图像的大气光散射参数K、模糊类别参数Bn以及压缩参数CQ,并将三个预测参数与对应复合降质图像一同送入生成网络,得到最终的高质量重建图像Z。
所述的复合降质图像样本库建立部分分为3个步骤,具体步骤如下:
(1)现有的NYU Depth Dataset V2数据集包含1449张室内图像,Make3D dataset数据集包含1000张室外图像。上述两个数据集均包含的图像深度信息更有利于图像的高质量重建。随机从上述两个数据集中选取2400幅高质量图像J。
(2)模拟真实图像获取时降质因素的叠加过程,向步骤(1)中得到的高质量图像J随机加入以下三种降质因素,得到对应的复合降质图像I。
雾霾降质:根据公式向图像中加入雾霾降质因素,使用随机给定的透射图ti(x)和全局大气光Ai生成降质图像Ihi,其中t(x)∈(0,1),Ai=[n1,n2,n3],n∈[0.8,1.0]。标签Ki由公式根据给定的透射图ti(x)和大气光参数Ai得到。
模糊降质:根据公式向雾霾降质图像Ihi中随机加入一种类别的模糊降质因素,得到模糊图像Ihbi,其中各模糊核参数选择范围如下:运动模糊主要是由相机的线性运动引起的,如公式所示,随机给定M∈[0,20],ω∈[0,180];散焦模糊,如公式所示,其模糊半径r与散焦程度成比例,随机给定r∈[0,25];大气湍流的点扩散函数可用高斯模糊模拟,如公式所示,其中σ为模糊半径,R∈[-3σ,3σ],随机给定σ∈[0,5]。标签Bni由运动模糊角度ω、散焦模糊半径r、大气湍流模糊半径σ组成。
压缩效应:对于加入雾霾和模糊降质的图像Ihbi运用JPEG压缩方法,随机进行不同压缩参数(CQ)值的压缩处理得到复合降质图像Ii,CQ设定为(0,10,20,30,40)。标签CQi为图像使用的对应压缩参数值。
(3)将步骤(1)获得的高质量图像Ji与步骤(2)得到的对应复合降质图像Ii,组成清晰-复合降质图像对{Ji,Ii},并且保存对应的大气光散射参数Ki、模糊类别Bni、压缩质量参数CQi,形成清晰-复合降质图像样本库。
所述的网络模型搭建与训练部分分为2个步骤,具体步骤如下:
(1)网络预训练:首先利用建立的清晰-复合降质图像样本库分别对搭建好的图像大气光散射参数预测网络、图像模糊参数预测网络、图像压缩参数预测网络、条件生成对抗网络的生成网络G和对抗网络D进行预训练。
图像压缩参数预测网络结构如附图8所示,输入清晰-复合降质图像对{Ji,Ii},输出为图像压缩参数预测结果CQ’。使用公式所示的图像压缩参数预测损失lCQ,提高网络对压缩参数CQ的预测准确性
生成网络结构图如附图9示,其生成函数如公式所示,G表示生成网络,Li为输入的真实复合降质图像,Ki为图像大气光散射参数,Bni为图像模糊参数,CQi为图像压缩参数,Zi为输出的重建图像。将生成网络输出图像与对应高质量图像组成图像对{Zi,Ji}供后续判别网络使用。
Zi=G(Li|(Ki,Bni,CQi))
在生成网络中,生成网络的损失函数主要包括四个部分,分别为对抗损失函数、感知损失函数、像素级损失函数及梯度损失函数。
对抗损失函数lGen是在较高的层面上,使图像看起来接近实际高质量图像,更加真实和自然。其表达形式如公式所示,其中D表示判别网络。
感知损失函数lfea,j的加入能更好的重建图像中的细节特征,其表达形式如公式所示。公式中W、H分别代表对应特征图的宽度和高度,Фj表示已在ImageNet上预先训练好的VGG网络第j层输出的特征图。
为了使重建图像与原图在像素级上保持一致,加入像素级损失函数lMSE,通常采用均方差MSE,其表达形式如公式所示。
生成网络总的损失函数lG如公式所示,生成网络通过最小化lG进行训练。其中a、b、c,d均为正权重,训练过程中将权重依据经验分别设置为a=1,b=100,c=100,d=0.5。
lG=alGen+blfea,j+clMSE+dltv
在判别网络中,将生成网络重建结果Zi与高质量图像Ji以及对应的Ki、Bi和CQi送入判别网络,得到重建图像和真实图像的判别结果,通过公式更新判别器。
(2)网络联合训练
使用预训练得到的三个参数网络对复合降质图像Ii进行参数预测,得到对应的大气光散射参数Ki、图像模糊参数Bni、图像压缩参数CQi作为条件指导生成对抗网络训练。经过交替迭代,当条件生成对抗网络达到纳什均衡或达到预设的最大迭代次数(10万次)时停止训练,至此获得图像重建所需的参数预测网络与生成网络。
所述的高质量重建部分分为2个步骤,具体步骤如下:
(1)参数预测:对于待重建的复合降质图像L,分别通过图像大气光散射参数预测网络、图像模糊参数预测网络、图像压缩参数预测网络得到对应的参数K、Bn、CQ,作为图像重建的条件。
将待重建图像N输入到如附图6所示的图像大气光散射参数预测网络中,得到预测参数K。图中concat操作如公式所示表示矩阵合并,将图像经过第一层和第二层卷积后得到的尺寸均为M×N×3的特征图进行的矩阵合并concat1操作后,得到大小为M×N×6的融合特征图k2作为第三个卷积层的输入;将图像经过第一层、第二层和第三层卷积后得到的尺寸均为M×N×3的特征图进行concat2操作后,得到大小为M×N×9的融合特征图k3作为第四个卷积层的输入;将图像经过第一层、第二层、第三层和第四层卷积后得到的尺寸均为M×N×3的特征图进行concat3操作后,得到大小为M×N×12的融合特征图k4作为第五个卷积层的输入,最终经过第五层卷积得到图像大气光散射预测参数K。
kn=concat(k1,...,kn)
将待重建图像I尺度缩放到256×256像素,输入到附图7所示的图像模糊类别预测网络中,通过卷积层、池化层、全连接层,输出图像中模糊参数Bn。
将待重建图像I尺度缩放到256×256像素,输入到附图8所示的图像压缩参数预测网络中,通过卷积层、池化层、全连接层、softmax层,输出图像压缩参数CQ。
(2)生成网络重建
将待重建的复合降质图像L以及步骤(1)中得到的预测参数K、模糊参数Bn和压缩参数CQ一同送入生成网络中,其输出结果即为重建图像Z。
生成网络采用编码-解码的对称结构,编码部分对应图像特征提取过程。由8个卷积层组成,对复合降质图像L,经过第n(n<9)个卷积层和激活函数得到对应的特征图En,其中激活函数选择LeakyRelu,其表达式如公式所示(ai=10),该函数形式简单,且解决了Relu函数进入负区间后神经元不学习的问题。
解码部分对应图像重建过程,包含6个反卷积层1个卷积层和一个Tanh激活层,经过第m(m<8)个反卷积或卷积层的输出为Dm。并加入了跳步连接,将编码部分conv7输出的特征图E7与解码部分uconv1输出的特征图D1通过element-sum操作得到的特征图作为uconv2的输入;将编码部分conv6输出的特征图E6与解码部分uconv2输出的特征图D2通过element-sum操作得到的特征图作为uconv3的输入;将编码部分conv5输出的特征图E5与解码部分uconv3输出的特征图D3通过element-sum操作得到的特征图作为uconv4的输入;将编码部分conv4输出的特征图E4与解码部分uconv4输出的特征图D4通过element-sum操作得到的特征图作为uconv5的输入;将编码部分conv3输出的特征图E3与解码部分uconv5输出的特征图D5通过element-sum操作得到的特征图作为uconv6的输入,element-sum代表对应位置元素求和的特征融合操作。
Claims (2)
1.一种基于条件生成对抗网络复合降质图像高质量重建方法,其特征在于:
该方法包括整体流程、复合降质图像样本库的建立、网络模型搭建与训练、复合降质图像高质量重建部分;
首先复合降质图像重建的处理流程,包括复合降质图像样本库的建立;图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络以及条件生成对抗网络的生成网络G和判别网络D搭建,并利用合成的清晰-复合降质图像样本对上述网络进行训练,大气光散射参数K、图像模糊参数Bn和图像压缩参数CQ作为条件指导生成对抗网络训练;对真实复合降质图像L进行重建时,将真实复合降质图像L分别送入三个参数预测网络得到对应的大气光散射参数K、图像模糊参数Bn以及图像压缩参数CQ,之后将K、Bn、CQ作为条件与复合降质图像一同送入生成网络得到高质量重建图像;
复合降质图像样本库建立:包括高质量图像的获取、降质因素的添加、清晰-复合降质图像样本库生成三个步骤;
网络模型搭建与训练:包括网络的框架搭建、网络训练及模型获取两个步骤;网络的框架搭建包括图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络、条件生成对抗网络的生成网络G和对抗网络D的架构搭建;网络训练及模型获取阶段包括损失函数以及训练策略的使用;
复合降质图像高质量重建:包括复合降质图像大气光散射参数K预测、模糊类别参数Bn预测和压缩参数CQ预测,将复合降质图像及其预测参数送入生成器进行图像重建两个步骤;
所述的整体流程,具体步骤如下:
S1首先获取高质量图像并对其进行复合降质处理,得到清晰-复合降质图像数据集;
S2搭建图像大气光散射参数预测网络、图像模糊参数预测网络、图像压缩参数预测网络、条件生成对抗网络的生成网络G和判别网络D,并利用S1中得到的数据集对上述五个网络进行训练,其中三个预测网络得到的大气光散射参数K、图像模糊类别参数Bn、图像压缩参数CQ作为条件指导生成对抗网络训练,直至条件生成对抗网络cGAN达到纳什均衡或者达到最大迭代次数,停止训练;
S3在进行图像高质量重建时,利用S2训练好的网络,先将需要进行重建的真实复合降质图像分别送入三个参数预测网络得到对应的参数K、Bn和CQ,之后将图像与得到的参数一同送入生成网络G中,得到重建图像;
所述的复合降质图像样本库建立,具体步骤如下:
复合降质图像样本库的建立包含高质量图像的选取、降质参数的选择以及清晰-复合降质图像对样本库生成;
S1.1分别选取已有的室内、室外数据集中的高质量图像;
S1.2对于S1.1中的高质量图像J(x),通过随机给定透射率t(x)和大气光A得到雾霾降质图像;
S1.3向S1.2得到的图像中随机加入一种模糊降质得到模糊降质图像,其中模糊降质包括运动模糊、散焦模糊、大气湍流;
S1.4使用JPEG压缩方法对S1.3得到的图像进行不同压缩质量参数CQ的压缩处理,得到不同程度压缩失真的复合降质图像I(x);
S1.5将S1.1中得到的高质量图像J(x)与S1.4得到的对应复合降质图像I(x)组成清晰-复合降质图像对及对应的降质参数K、Bn、CQ组成样本库;
所述的网络模型搭建与训练,具体步骤如下:
S2.1图像大气光散射参数预测网络搭建
使用卷积网络对图像大气光散射参数K进行预测,将预测结果K作为条件,用于指导条件生成对抗网络的学习;
图像大气光散射参数预测网络的基本网络结构,包含5个卷积层和3个特征融合层,将复合降质图像送入网络,提取conv1和conv2得到的特征图进行特征融合,其结果作为conv3的输入;提取conv1、conv2和conv3的特征图进行特征融合,其结果作为conv4的输入;提取conv1、conv2、conv3和conv4的特征图进行特征融合,得到的结果作为conv5的输入;经过第五层卷积后,最终输出大气光散射参数预测结果K;该网络结构可以最大限度的保留图像各个层次特征,得到更好的预测结果;
S2.2图像模糊参数预测网络搭建
图像模糊包括运动模糊、散焦模糊、大气湍流模糊;利用卷积网络对图像模糊类别进行预测,将预测结果Bn作为条件,指导条件生成对抗网络的学习;
采用经典图像分类网络AlexNet的网络结构,图像模糊类别预测网络的结构图,包括3个卷积层、3个全连接层;在所有的卷积层和全连接层之后,都应用了ReLU非线性激活函数;为了加速计算、防止过拟合,在卷积函数及激活函数之后,利用最大池化层来对图像的宽度和高度进行采样;在前两个池化层后加入了局部响应归一化LRN操作提高网络的准确率;最终网络的输出结果为一个31的向量,向量数值分别代表图像中存在运动模糊、散焦模糊、大气湍流模糊三种类型的模糊参数;
S2.3图像压缩参数预测网络搭建
压缩方法分为两类:无损和有损;虽然无损方法为用户提供了最佳的视觉体验,但有损方法可以实现更高的压缩比,因此户外视觉系统常用JPEG有损压缩方式;本发明利用卷积网络对图像压缩参数进行预测,将预测结果CQ作为条件,指导条件生成对抗网络的学习;图像压缩参数预测网络的基本结构,包含3个卷积层和2个全连接层和1个归一化指数函数softmax层;在所有的卷积层和全连接层之后,都应用了ReLU非线性激活函数;为降低特征维数、加速计算,在卷积函数及激活函数之后,利用最大池化层进行特征选择;最终网络的输出结果为一个51的向量,数值分别代表图像中存在压缩参数等于0、10、20、30、40的概率,图像的最终压缩参数预测结果CQ等于5个压缩参数与对应预测概率的加权和;
S2.4条件生成对抗网络
生成网络结构搭建:生成器G要能使产生的数据在判别器D上与真实数据的表现尽可能一致;使用的生成网络结构包含对称的编码和解码结构,编码过程基于下采样操作,并向解码过程的对应层提供特征映射;解码过程使用上采样操作和非线性空间转移;编码对应于8个卷积层进行不同层次的特征提取,解码部分对应6个反卷积层、1个卷积层和1个Tanh函数激活层进行图像的重建;同时,为了更好的利用各个阶段的特征,突破解码过程中的信息瓶颈,在网络中加入跳步连接;
判别网络结构搭建:判别器D要能准确区分图像是来自真实的还是生成器G的输出;以此来指导生成器的学习,使其最终的输出图像更趋近于真实图像;使用的判别网络结构包含5个卷积层,均采用33的卷积核,最后通过sigmoid函数,得到图像评分;
S2.5网络训练
在网络训练阶段,首先利用建立的复合降质图像样本库分别训练图像大气光散射参数K预测网络、图像模糊参数Bn预测网络、图像压缩参数CQ预测网络、条件生成对抗网络;之后利用训练好的参数预测网络得到复合降质图像I(x)的大气光散射参数Ki、图像模糊参数Bni和图像压缩参数CQi,作为条件生成对抗网络的条件;将I(x)、Ki、Bni和CQi送入生成网络G,得到对应重建图像Zi;使用I(x)对应的高质量图像Ji、重建图像Zi、参数Ki、Bni、CQi训练对抗网络D;交替训练生成网络G和对抗网络D,直至条件生成对抗网络达到纳什均衡或最大迭代次数;训练好的两个参数预测网络及生成网络G即为最终的复合降质图像重建网络;图像大气光散射参数预测网络、模糊参数预测网络、压缩参数预测网络均采用均方误差MSE损失函数,生成网络的损失函数包括对抗损失、感知损失和像素级损失,判别网络使用判别损失函数;训练以上网络均采用Adam梯度下降法,动量均设置为0.9;学习率为0.0002,每训练100次学习率变为原来的0.9倍,经过反复迭代,当损失函数降到最小或达到预设的最大迭代次数时停止训练,得到最终的图像重建模型。
2.根据权利要求1所述的一种基于条件生成对抗网络复合降质图像高质量重建方法,其特征在于:
所述的复合降质图像高质量重建,具体步骤如下:
S3.1参数预测
首先,将尺寸为M×N像素的待重建的真实复合降质图像L,送入图像大气光散射参数预测网络,得到对应的大气光散射参数K;将真实复合降质图像L尺寸缩放到256×256像素,分别送入图像模糊参数预测网络和图像压缩参数预测网络中,得到对应的模糊参数Bn和压缩参数CQ,并以此作为生成器的条件;
S3.2生成网络重建
将待重建的真实复合降质图像L以及S3.1得到的大气光散射参数K和图像模糊类别参数Bn一同送入生成网络中,其输出结果即为高质量重建图像Z。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910552748.5A CN110363716B (zh) | 2019-06-25 | 2019-06-25 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910552748.5A CN110363716B (zh) | 2019-06-25 | 2019-06-25 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110363716A CN110363716A (zh) | 2019-10-22 |
CN110363716B true CN110363716B (zh) | 2021-11-19 |
Family
ID=68216980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910552748.5A Active CN110363716B (zh) | 2019-06-25 | 2019-06-25 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110363716B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11010871B1 (en) * | 2019-11-05 | 2021-05-18 | Moxa Inc. | Device and method of handling image super-resolution |
CN111047088A (zh) * | 2019-12-09 | 2020-04-21 | 上海眼控科技股份有限公司 | 预测图像获取方法、装置、计算机设备和存储介质 |
CN111028174B (zh) * | 2019-12-10 | 2023-08-04 | 深圳先进技术研究院 | 一种基于残差连接的多维图像复原方法和设备 |
CN111080527B (zh) * | 2019-12-20 | 2023-12-05 | 北京金山云网络技术有限公司 | 一种图像超分辨率的方法、装置、电子设备及存储介质 |
CN111080528B (zh) * | 2019-12-20 | 2023-11-07 | 北京金山云网络技术有限公司 | 图像超分辨率和模型训练方法、装置、电子设备及介质 |
CN111080729B (zh) * | 2019-12-24 | 2023-06-13 | 山东浪潮科学研究院有限公司 | 基于Attention机制的训练图片压缩网络的构建方法及系统 |
CN111369451B (zh) * | 2020-02-24 | 2023-08-01 | 黑蜂智造(深圳)科技有限公司 | 一种基于复杂任务分解正则化的图像复原模型、方法及设备 |
CN111369548B (zh) * | 2020-03-10 | 2023-06-06 | 江南大学 | 一种基于生成对抗网络的无参考视频质量评价方法及装置 |
CN111311520B (zh) * | 2020-03-12 | 2023-07-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
CN111489301B (zh) * | 2020-03-19 | 2022-05-31 | 山西大学 | 一种基于迁移学习用图像深度信息引导的图像去雾方法 |
CN111652813B (zh) * | 2020-05-22 | 2023-03-28 | 中国科学技术大学 | 一种横向束流截面处理方法及装置 |
CN112257800B (zh) * | 2020-10-30 | 2024-05-31 | 南京大学 | 一种基于深度卷积神经网络模型-重生网络的视觉识别方法 |
CN112669240B (zh) * | 2021-01-22 | 2024-05-10 | 深圳市格灵人工智能与机器人研究院有限公司 | 高清图像修复方法、装置、电子设备和存储介质 |
CN113487476A (zh) * | 2021-05-21 | 2021-10-08 | 中国科学院自动化研究所 | 在线更新的图像盲超分辨率重建方法和装置 |
CN113781343A (zh) * | 2021-09-13 | 2021-12-10 | 叠境数字科技(上海)有限公司 | 一种超分辨率图像质量提升方法 |
CN114092520B (zh) * | 2021-11-19 | 2023-12-26 | 电子科技大学长三角研究院(湖州) | 基于生成对抗网络的地面运动目标重聚焦方法及系统 |
CN114612362B (zh) * | 2022-03-18 | 2023-05-23 | 四川大学 | 基于多点扩散函数生成对抗网络的大景深成像方法及系统 |
CN114782291B (zh) * | 2022-06-23 | 2022-09-06 | 中国科学院自动化研究所 | 图像生成器的训练方法、装置、电子设备和可读存储介质 |
CN117340280B (zh) * | 2023-12-05 | 2024-02-13 | 成都斐正能达科技有限责任公司 | 一种lpbf增材制造过程监测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108230325A (zh) * | 2018-02-06 | 2018-06-29 | 浙江师范大学 | 基于卡通纹理分解的复合降质图像质量评价方法及系统 |
CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
CN109584188A (zh) * | 2019-01-15 | 2019-04-05 | 东北大学 | 一种基于卷积神经网络的图像去雾方法 |
CN109658348A (zh) * | 2018-11-16 | 2019-04-19 | 天津大学 | 基于深度学习的联合噪声估计和图像去噪方法 |
CN109685072A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
CN109831664A (zh) * | 2019-01-15 | 2019-05-31 | 天津大学 | 基于深度学习的快速压缩立体视频质量评价方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109272455B (zh) * | 2018-05-17 | 2021-05-04 | 西安电子科技大学 | 基于弱监督生成对抗网络的图像去雾方法 |
-
2019
- 2019-06-25 CN CN201910552748.5A patent/CN110363716B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108230325A (zh) * | 2018-02-06 | 2018-06-29 | 浙江师范大学 | 基于卡通纹理分解的复合降质图像质量评价方法及系统 |
CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
CN109658348A (zh) * | 2018-11-16 | 2019-04-19 | 天津大学 | 基于深度学习的联合噪声估计和图像去噪方法 |
CN109685072A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
CN109584188A (zh) * | 2019-01-15 | 2019-04-05 | 东北大学 | 一种基于卷积神经网络的图像去雾方法 |
CN109831664A (zh) * | 2019-01-15 | 2019-05-31 | 天津大学 | 基于深度学习的快速压缩立体视频质量评价方法 |
Non-Patent Citations (1)
Title |
---|
DAGAN: Deep De-Aliasing Generative;Guang Yang et al;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20180630;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110363716A (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
CN109685072B (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
CN113688723A (zh) | 一种基于改进YOLOv5的红外图像行人目标检测方法 | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
CN110852964A (zh) | 一种基于深度学习的图像比特增强方法 | |
CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
CN115393410A (zh) | 一种基于神经辐射场和语义分割的单目视图深度估计方法 | |
CN116205962B (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
CN113077505A (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
CN114004766A (zh) | 一种水下图像增强方法、系统和设备 | |
CN115330620A (zh) | 一种基于循环生成对抗网络的图像去雾方法 | |
CN116485867A (zh) | 一种面向自动驾驶的结构化场景深度估计方法 | |
Li et al. | Image super-resolution reconstruction based on multi-scale dual-attention | |
CN107729821B (zh) | 一种基于一维序列学习的视频概括方法 | |
CN102222321A (zh) | 一种视频序列盲重建方法 | |
CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
Fu et al. | Low-light image enhancement base on brightness attention mechanism generative adversarial networks | |
CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
CN113393435A (zh) | 一种基于动态上下文感知滤波网络的视频显著性检测方法 | |
CN116912727A (zh) | 一种基于时空特征增强网络的视频人体行为识别方法 | |
CN116452472A (zh) | 基于语义知识引导的低照度图像增强方法 | |
KR102057395B1 (ko) | 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |