CN113706395A - 一种基于对抗神经网络的图像去雾方法 - Google Patents

一种基于对抗神经网络的图像去雾方法 Download PDF

Info

Publication number
CN113706395A
CN113706395A CN202010433635.6A CN202010433635A CN113706395A CN 113706395 A CN113706395 A CN 113706395A CN 202010433635 A CN202010433635 A CN 202010433635A CN 113706395 A CN113706395 A CN 113706395A
Authority
CN
China
Prior art keywords
network
model
image
defogging
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010433635.6A
Other languages
English (en)
Inventor
陈德海
危建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Cansonic Medical Science & Technology Co ltd
Original Assignee
Wuxi Cansonic Medical Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Cansonic Medical Science & Technology Co ltd filed Critical Wuxi Cansonic Medical Science & Technology Co ltd
Priority to CN202010433635.6A priority Critical patent/CN113706395A/zh
Publication of CN113706395A publication Critical patent/CN113706395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于对抗神经网络的图像去雾系统，包括包括以下步骤：步骤S1：选取RGBD的图像数据集，采用大气散射模型制作去雾数据集；步骤S2：将数据集中图片大小规范化到a*a；步骤S3：搭建对抗神经网络去雾模型，该模型分为两个部分：生成网络和判别网络；步骤S4：使用数据集训练该对抗神经网络模型；步骤S5：保存训练好的模型，输入一幅有雾图像，得出清晰图像。本发明不需要手工提取特征，有效避免中间变量预测误差，实现端到端去雾，且方法简单且适用性广。

Description

一种基于对抗神经网络的图像去雾方法
技术领域
本发明主要涉及图像处理领域，尤其涉及一种基于对抗神经网络的图像去雾系统。
背景技术
雾霾天气下，空气中存在大量诸如水蒸气、粉尘等悬浮颗粒。它们吸收并散射光线，致使设备采集的图片出现严重颜色衰减，清晰度、对比度下降，视觉效果差，这对后续计算机视觉任务造成严重影响。因此，对雾霾图像有效去雾是很有必要的。
近年来，图像去雾算法研究取得了重大进展。现阶段，图像去雾研究主要分成两种，基于特征和先验的方法以及基于学习的方法。基于特征和先验的去雾算法侧重对透射图的估计，其难点在于特征和先验的选择。基于学习的去雾算法可以分为两种，分步学习算法和端到端的学习算法。分步学习算法与传统方法类似，侧重对中间变量的预测。而端到端的学习方法端到端图像去雾算法避开传统大气散射理论，通过搭建全卷积神经网络模型，实现图像去雾。
事实上，上述方法均存在缺陷，基于特征和先验的方法和分步学习的算法预测中间变量时会存在误差，在根据大气散射模型进行公式计算时，误差依旧存在。而端到端的去雾方法，可以避免这些缺陷，但存在模型无法解释和网络训练困难的问题。因此，如何提高中间变量预测的准确率，降低相应的公式计算误差，无疑成为去雾问题的关键。
发明内容
针对现有技术的上述缺陷，本发明提供一种基于对抗神经网络的图像去雾系统，包括如下步骤：
步骤S1：选取RGBD(带景深)的图像数据集，根据大气散射模型制作数据集；在实验中，选取NYU Depth Dataset V2带场景深度的图像数据集，并且利用大气散射模型合成雾天图像数据集。
步骤S2：将数据集中图片大小规范化到256*256；
步骤S3：搭建对抗神经网络去雾模型，该模型分为两个部分：生成网络和判别网络；这里生成网络为专门设计的去雾网络；
生成网络模型包括多尺度特征提取模块、中间变量大气光值预测模块、中间变量透射图预测模块以及公式计算模块4个部分构成。
多尺度特征提取模块：采用InceptionV1模型，本发明中采用1*1,3*3，5*5 和7*7大小的卷积核进行多尺度特征提取；
中间变量大气光值预测模块：本发明中采用的使用Sequeeze-and-Excitation(SE)Block网络结构来估计全局大气光值，其主要操作包括：全局平均池化 (GlobalAverage pooling,GAP)，全连接操作(FC)，ReLu激活函数，如公式(1)，全连接操作，Sigmoid激活函数如公式(2)，resize操作。
Figure RE-GDA0002657271480000021
Figure RE-GDA0002657271480000022
式中，x代表任意位置的特征值。
中间变量透射图预测模块：该模块为全卷积神经网络模块，具体结构可以根据实际任务的复杂程度而定。本次发明采用的是多尺度的全卷积DenseNet (FC-DenseNet)，其主要包括编码(encoder)和解码(decoder)两个部分。编码部分由4个Denselayer组成。其中，每个Denselayer包含Dense Block(DB) 及相应池化模块的Transition Down(TD)；解码部分同样由4个Denselayer组成，这里Denselayer包含Dense Block(DB)及相应池化模块的Transition Up(TU)。在该模块的最后使用通道数为1，激活函数为双曲正切(hyperbolictangent，tanh) 函数公式(3)的卷积层作为输出层。
一个DB包含4层layer层，每个layer层包含批标准化(BN)层，修正线性单元(Relu)层，卷积(Conv)层，通道数为16；TD包含了BN层、Relu层、通道数为64的Conv层以及最大池化层；TU为上采样层操作。
Figure RE-GDA0002657271480000031
式中，x代表任意位置的特征值。
公式计算模块：本发明利用大气散射模型计算出无雾图像作为整个生成网络的输出。大气散射模型的公式如下式(4)：
I(x)＝J(x)t(x)+A(x)(1-t(x)) (4) 式中,I(x)为有雾图像,J(x)为无雾图像，A(x)是大气光值，t(x)为透射图，表示光线通过大气媒介传播到达成像设备过程中没有被散射的部分，x代表像素位置。当大气同质，即A(x)均匀时，透射图表示为t(x)＝e-βd(x)，其中，β表示大气的衰减系数，d(x)是指场景深度。
损失函数：本发明模型是在WGAN的基础上搭建出来的。原始WGAN的损失函数如下式(5)
Figure RE-GDA0002657271480000032
这里，D是满足Lipschitz连续的非线性函数集，Pg为生成数据分布，Pr为真实数据分布，在使用Wasserstein距离优化方式训练WGAN时，判别网络D需要满足 Lipschitz连续性，即判别值近似于K·W(Pr，Pg)，其中K作为Lipschitz常数，代表判别网络梯度值的上界，而W(Pr，Pg)为Wasserstein距离，在网络训练时，通过将判别网络权值限制为[-c，c]的方式，确保权值参数的有界性，进而间接限制其梯度信息。
这里重新定义了损失函数，如下式(6)：
l＝lGAN+λ·lcontent (6)
其中，λ置为100。lcontent为生成网络模型的损失函数，lGAN为对抗损失。lcontent具体公式如下式(7)：
Figure RE-GDA0002657271480000041
这里，
Figure RE-GDA0002657271480000042
是生成网络预测的去雾结果，
Figure RE-GDA0002657271480000043
为有雾图像对应的标签。lg表示生成图像的内容损失，其中包含均方误差损失和感知损失两个部分。通道数N为3，F 为感知损失中特征提取网络，这里使用的是VGG特征提取网络，C为提取特征的通道数，W×H为图像或特征的维度大小。而lGAN为对抗损失，其计算公式如下式(8)：
Figure RE-GDA0002657271480000044
其中，Pg为生成清晰图像的数据分布，D(x)为判别器的输出。
表1网络结构详细参数
Figure RE-GDA0002657271480000045
Figure RE-GDA0002657271480000051
步骤S4：将制作好的数据集输入到对抗神经网络模型进行训练。模型参数初始化设置如下：在网络训练阶段，每层卷积核初始化为高斯分布，偏置初始化为0，学习率初始化为0.0001，模型训练采用小批量训练的方式，batch-size为2。本发明使用Keras深度学习架构，采用RMSprop算法优化模型参数，训练次数为 100。实验机器为带有Nvidia GTX1080GPU的计算机。
步骤S5：保存训练好的模型，输入一幅有雾图像，得出清晰图像。
本发明的优点是：本发明不需要手工提取特征，有效避免中间变量预测的误差，可以实现端到端去雾，且方法简单且适用性广。
附图说明
图1是本实用新型的结构框图；
图2是本实用新型的流程图；
图3是本实用新型的网络结构图；
图4是本实施例中对合成数据集的去雾效果对比图；
图5是本实施例中对真实场景图的去雾效果对比图。
具体实施方式
下面结合附图和实施例进一步对本发明加以说明。
如图1-2所示：一种基于对抗神经网络的图像去雾方法，其关键在于按如下步骤进行：
步骤S1：选取RGBD(带景深)的图像数据集，根据大气散射模型制作数据集；在实验中，选取NYU Depth Dataset V2带场景深度的图像数据集，并且利用大气散射模型合成雾天图像数据集。
步骤S2：将数据集中图片大小规范化到256*256；
步骤S3：搭建对抗神经网络去雾模型，该模型分为两个部分：生成网络和判别网络；这里生成网络为专门设计的去雾网络，网络结构如图2所示；
生成网络模型包括多尺度特征提取模块、中间变量大气光值预测模块、中间变量透射图预测模块以及公式计算模块4个部分构成。
多尺度特征提取模块：采用InceptionV1模型，本发明中采用1*1,3*3，5*5 和7*7大小的卷积核进行多尺度特征提取；
中间变量大气光值预测模块：本发明中采用的使用Sequeeze-and-Excitation(SE)Block网络结构来估计全局大气光值，其主要操作包括：全局平均池化 (GlobalAverage pooling,GAP)，全连接操作(FC)，ReLu激活函数，如公式(1)，全连接操作，Sigmoid激活函数如公式(2)，resize操作。
Figure RE-GDA0002657271480000061
Figure RE-GDA0002657271480000062
式中，x代表任意位置的特征值。
中间变量透射图预测模块：该模块为全卷积神经网络模块，具体结构可以根据实际任务的复杂程度而定。本次发明采用的是多尺度的全卷积DenseNet (FC-DenseNet)，其主要包括编码(encoder)和解码(decoder)两个部分。编码部分由4个Denselayer组成。其中，每个Denselayer包含Dense Block(DB) 及相应池化模块的Transition Down(TD)；解码部分同样由4个Denselayer组成，这里Denselayer包含Dense Block(DB)及相应池化模块的Transition Up(TU)。在该模块的最后使用通道数为1，激活函数为双曲正切(hyperbolictangent，tanh) 函数公式(3)的卷积层作为输出层。
一个DB包含4层layer层，每个layer层包含批标准化(BN)层，修正线性单元(Relu)层，卷积(Conv)层，通道数为16；TD包含了BN层、Relu层、通道数为64的Conv层以及最大池化层；TU为上采样层操作。
Figure RE-GDA0002657271480000071
式中，x代表任意位置的特征值。
公式计算模块：本发明利用大气散射模型计算出无雾图像作为整个生成网络的输出。大气散射模型的公式如下式(4)：
I(x)＝J(x)t(x)+A(x)(1-t(x)) (4)
式中,I(x)为有雾图像,J(x)为无雾图像，A(x)是大气光值，t(x)为透射图，表示光线通过大气媒介传播到达成像设备过程中没有被散射的部分，x代表像素位置。当大气同质，即A(x)均匀时，透射图表示为t(x)＝e-βd(x)，其中，β表示大气的衰减系数，d(x)是指场景深度。
损失函数：本发明模型是在WGAN的基础上搭建出来的。原始WGAN的损失函数如下式(5)
Figure RE-GDA0002657271480000072
这里，D是满足Lipschitz连续的非线性函数集，Pg为生成数据分布，Pr为真实数据分布，在使用Wasserstein距离优化方式训练WGAN时，判别网络D需要满足 Lipschitz连续性，即判别值近似于K·W(Pr，Pg)，其中K作为Lipschitz常数，代表判别网络梯度值的上界，而W(Pr，Pg)为Wasserstein距离，在网络训练时，通过将判别网络权值限制为[-c，c]的方式，确保权值参数的有界性，进而间接限制其梯度信息。
这里重新定义了损失函数，如下式(6)：
l＝lGAN+λ·lcontent (6) 其中，λ置为100。lcontent为生成网络模型的损失函数，lGAN为对抗损失。lcontent具体公式如下式(7)：
Figure RE-GDA0002657271480000081
这里，
Figure RE-GDA0002657271480000082
是生成网络预测的去雾结果，
Figure RE-GDA0002657271480000083
为有雾图像对应的标签。lg表示生成图像的内容损失，其中包含均方误差损失和感知损失两个部分。通道数N为3，F 为感知损失中特征提取网络，这里使用的是VGG特征提取网络，C为提取特征的通道数，W×H为图像或特征的维度大小。而lGAN为对抗损失，其计算公式如下式(8)：
Figure RE-GDA0002657271480000084
其中，Pg为生成清晰图像的数据分布，D(x)为判别器的输出。
表1网络结构详细参数
Figure RE-GDA0002657271480000085
Figure RE-GDA0002657271480000091
步骤S4：将制作好的数据集输入到对抗神经网络模型进行训练。模型参数初始化设置如下：在网络训练阶段，每层卷积核初始化为高斯分布，偏置初始化为0，学习率初始化为0.0001，模型训练采用小批量训练的方式，batch-size为2。本发明使用Keras深度学习架构，采用RMSprop算法优化模型参数，训练次数为 100。实验机器为带有Nvidia GTX1080GPU的计算机。
步骤S5：保存训练好的模型，输入一幅有雾图像，得出清晰图像。
本发明采用NYU Depth Dataset V2作为基础数据集，该数据集包含1449张 640*480的室内彩色图像及其场景深度图。本文选取其中1200张图片作为基础训练数据集，选取其余200张图片作为基础测试数据集。针对每一张图片，随机生成4组大气光值α和大气衰减系数β，其中，α∈[0.7,1]，β∈[0.6,1.6]，然后根据大气散射模型公式计算出4组透射图和合成有雾图像。本文共生成4800张有雾图像及其透射图作为训练集，生成800张有雾图像作为合成图像测试集。为验证本文模型的泛化能力，本发明收集了100张真实场景图片作为真实场景测试集。其数据表现形式如下表所示。具体的去雾效果图见实施例1和2。
表2合成图像测试集上该模型的表现
Figure RE-GDA0002657271480000092

Claims (5)

1.一种基于对抗神经网络的图像去雾系统，其特征在于，包括以下步骤：
步骤S1：选取RGBD的图像数据集，采用大气散射模型制作去雾数据集；
步骤S2：将数据集中图片大小规范化到a*a；
步骤S3：搭建对抗神经网络去雾模型，该模型分为两个部分：生成网络和判别网络；
步骤S4：使用数据集训练该对抗神经网络模型；
步骤S5：保存训练好的模型，输入一幅有雾图像，得出清晰图像。
2.根据权利要求1所述的基于对抗神经网络的图像去雾系统，其特征在于：所述步骤S2中图像大小a为256*256。
3.根据权利要求2所述的基于对抗神经网络的图像去雾系统，其特征在于：所述步骤S3中生成网络包括以下工序：
S3.1：对图像进行多尺度特征提取；
S3.2：使用全卷积神经网络预测中间变量，获取透射图；
S3.3：使用Sequeeze-and-Excitation Block网络结构来预测中间变量，获取大气光值；
S3.4：利用大气散射模型的公式计算得到相应的无雾图像。
4.根据权利要求3所述的基于对抗神经网络的图像去雾系统，其特征在于：所述步骤S3中判别网络采用二分类卷积神经网络，使用Wasserstein Generative AdversarialNetworks框架判别网络最后一层并没有使用Sigmoid激活函数，同时判别网络的参数限制在[-0.01,0.01]范围内。
5.根据权利要求1所述的基于对抗神经网络的图像去雾系统，其特征在于：所述步骤S4中，对抗神经网络模型参数初始化设置如下：在网络训练阶段，每层卷积核初始化为高斯分布，偏置初始化为0，学习率初始化为0.0001，模型训练采用小批量训练的方式。
CN202010433635.6A 2020-05-21 2020-05-21 一种基于对抗神经网络的图像去雾方法 Pending CN113706395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010433635.6A CN113706395A (zh) 2020-05-21 2020-05-21 一种基于对抗神经网络的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010433635.6A CN113706395A (zh) 2020-05-21 2020-05-21 一种基于对抗神经网络的图像去雾方法

Publications (1)

Publication Number Publication Date
CN113706395A true CN113706395A (zh) 2021-11-26

Family

ID=78645769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010433635.6A Pending CN113706395A (zh) 2020-05-21 2020-05-21 一种基于对抗神经网络的图像去雾方法

Country Status (1)

Country Link
CN (1) CN113706395A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711138A (zh) * 2018-06-06 2018-10-26 北京印刷学院 一种基于生成对抗网络的灰度图片彩色化方法
CN108805839A (zh) * 2018-06-08 2018-11-13 西安电子科技大学 基于卷积神经网络的联合估计图像去雾方法
CN109509156A (zh) * 2018-10-31 2019-03-22 聚时科技(上海)有限公司 一种基于生成对抗模型的图像去雾处理方法
CN109712083A (zh) * 2018-12-06 2019-05-03 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法
CN110322419A (zh) * 2019-07-11 2019-10-11 广东工业大学 一种遥感图像去雾方法及系统
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711138A (zh) * 2018-06-06 2018-10-26 北京印刷学院 一种基于生成对抗网络的灰度图片彩色化方法
CN108805839A (zh) * 2018-06-08 2018-11-13 西安电子科技大学 基于卷积神经网络的联合估计图像去雾方法
CN109509156A (zh) * 2018-10-31 2019-03-22 聚时科技(上海)有限公司 一种基于生成对抗模型的图像去雾处理方法
CN109712083A (zh) * 2018-12-06 2019-05-03 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法
CN110322419A (zh) * 2019-07-11 2019-10-11 广东工业大学 一种遥感图像去雾方法及系统
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法

Similar Documents

Publication Publication Date Title
CN110163246B (zh) 基于卷积神经网络的单目光场图像无监督深度估计方法
CN106910175B (zh) 一种基于深度学习的单幅图像去雾算法
CN110570371A (zh) 一种基于多尺度残差学习的图像去雾方法
CN110443883B (zh) 一种基于dropblock的单张彩色图片平面三维重建方法
CN110349093B (zh) 基于多级沙漏结构的单幅图像去雾模型构建及去雾方法
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN111597920B (zh) 一种自然场景下的全卷积单阶段的人体实例分割方法
CN110517270B (zh) 一种基于超像素深度网络的室内场景语义分割方法
CN110910437A (zh) 一种复杂室内场景的深度预测方法
CN110766640B (zh) 一种基于深度语义分割的图像去雾方法
CN114897781A (zh) 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN113744146A (zh) 一种基于对比学习和知识蒸馏的图像去雾方法
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
CN114359269A (zh) 基于神经网络的虚拟食品盒缺陷生成方法及系统
CN112907461B (zh) 一种红外雾天降质图像去雾增强方法
CN116452450A (zh) 一种基于3d卷积的偏振图像去雾方法
Trongtirakul et al. Transmission map optimization for single image dehazing
CN113706395A (zh) 一种基于对抗神经网络的图像去雾方法
Hartanto et al. Single image dehazing using deep learning
CN113870145A (zh) 基于贝叶斯框架下深度卷积神经网络的图像去雾方法
US20230206538A1 (en) Differentiable inverse rendering based on radiative backpropagation
Vidhya et al. Kriging interpolation technique with triangulated irregular network for image compression using image inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211126

RJ01 Rejection of invention patent application after publication