CN108876728B - 基于残差学习的单幅图像去雾方法 - Google Patents
基于残差学习的单幅图像去雾方法 Download PDFInfo
- Publication number
- CN108876728B CN108876728B CN201810361570.1A CN201810361570A CN108876728B CN 108876728 B CN108876728 B CN 108876728B CN 201810361570 A CN201810361570 A CN 201810361570A CN 108876728 B CN108876728 B CN 108876728B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- fog
- cgan
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 23
- 239000000284 extract Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于残差学习的单幅图像去雾方法，包括以下步骤：步骤1，制作包括有雾图像和无雾图像的训练样本；步骤2，将训练样本输入待训练的CGAN网络进行训练生成最终的训练网络；步骤3，输入有雾图像至最终的生成模型中得到清晰的无雾图像。
Description
技术领域
本发明涉及一种图像去雾技术，特别是一种基于残差学习的单幅图像去雾方法。
背景技术
众所周知，雾霾天气已经成为了日常的天气现象。雾霾的形成是因为空气中漂浮的小水滴或小颗粒在大气光的照射下发生散射。这种散射不仅降低了图像的对比度、饱和度，偏移了图像的色调，还遮盖了图像的细节信息，给计算机视觉研究的发展带来了不可估量的损失。因此，为计算机视觉研究的重要发展，进行去雾算法的研究是非常必要的。
目前，传统的去雾算法可以从原理上分为两类，一类是图像增强方法，另一类是图像复原方法。图像增强方法不依赖物理模型，仅从增强图像的颜色信息或者其他信息来凸显图像的细节信息。这类方法并不遵从物理科学，所以恢复出来的图像仍然会失去大量的重要细节。图像复原类方法大多根据大气物理散射模型来恢复最终的无雾图像。这种方法有严谨的理论做支撑，能达到较为满意的去雾效果。然而，大多数方法仍然通过恢复大区传输率再逆推大气物理散射模型来达到最终的去雾目的。本发明提出了一种端到端的直接输出无雾图像的去雾网络，无需逆推大气物理散射模型。
发明内容
本发明的目的在于提供一种基于残差学习的单幅图像去雾方法，包括以下步骤：
步骤1，制作包括有雾图像和无雾图像的训练样本；
步骤2，将训练样本输入待训练的CGAN网络进行训练生成最终的训练网络；
步骤3，输入有雾图像至最终的生成模型中得到清晰的无雾图像。
本发明不需要先训练大气传输率活其他中间信息在用大气物理散射模型逆推得出结果，而是一个真正的输入有雾图像，输出无雾图像的端到端去雾算法。
下面结合说明书附图对本发明作进一步描述。
附图说明
图1是本发明的整体流程图。
图2是本发明使用的CGAN网络的生成器结构示意图。
图3是本发明使用的CGAN网络的判别器结构示意图。
图4是本发明的去雾效果对比图；其中左侧为有雾图像，右侧为无雾图像。
具体实施方式
一种基于残差学习生成无雾图像的去雾算法，包括训练样本制作、优化判别器、优化生成器、生成清晰无雾图像四个步骤。
训练样本制作包括以下步骤：
步骤1，下载Make3D的户外清晰无雾图像作为训练集和测试集中的无雾图像。
步骤2，在步骤1中得到的无雾图像的基础上，根据大气物理散射模型对其进行加雾，大气物理散射模型公式为：I(x)＝J(x)t(x)+A(1-t(x))，将大气光值A设置为常数1。
步骤3，计算大气传输率t(x)，计算公式为：t(x)＝e-βd(x)，其中β为散射系数并将其设置为常数0.02，d(x)是像素x的深度信息。对图像集提供的原始深度信息图使用双线性插值法，将深度信息图放大为和图像一样的大小，再使用高斯滤波法对深度信息图进行滤波，使得到的深度信息图尽可能的贴近自然。
步骤4，根据步骤2、3中得出的A和t(x)，代入大气物理散射模型中求出有雾图像I(x)。
优化判别器包括以下步骤：
步骤5，首先固定CGAN网络的生成器，即固定生成器的参数不动，先以此生成器生成一幅伪无雾图像。CGAN的生成器采用对称的网络结构，网络的前半部分提取残差图片的高维特征，后半部分将提取的高维特征用反卷积恢复为一张残差图像；其中残差图片为有雾图像与其对应无雾图像之间的差；将残差图像与输入的有雾图片相加输出一张清晰的伪无雾图像。
步骤6，将步骤5中生成的伪无雾图像粘合输入的有雾图像放入CGAN的判别器中，生成一幅A×B×1的判别结果图pre2。
步骤7，将真无雾图像粘合有雾图像输入判别器中，同样生成一幅判别结果图为pre1。
步骤8，将步骤6、步骤7中生成的结果图按判断误差公式
计算，更新CGAN网络的判别器，即CGAN网络的判别器的原参数加上loss。
优化生成器包括以下步骤：
步骤9，固定CGAN网络的判别器，即固定判别器的参数不动，以此参数来判别输入的图像。
步骤10，将有雾图像输入生成器中，生成器先生成一幅伪无雾图像。CGAN的生成器采用对称的网络结构，网络的前半部分提取残差图片的高维特征，后半部分将提取的高维特征用反卷积恢复为一张残差图像；其中残差图片为有雾图像与其对应无雾图像之间的差；将残差图像与输入的有雾图片相加输出一张清晰的伪无雾图像。
步骤11，将步骤10生成的伪无雾图像与真无雾图像作差，保存两者之间的差的平均数。
步骤12，将生成的伪无雾图像以及真无雾图像按照步骤6、7、8的方法输入判别器，得到优化判别器的误差。
步骤13，将步骤11、12中得到的误差相加后优化CGAN的生成器。
生成清晰无雾图像的步骤包括：
步骤14，在网络训练好之后，输入一幅有雾图像到CGAN的生成器中并保存这幅图像。
步骤15，CGAN的生成器采用对称的网络结构，用来学习有雾图像的残差，网络的前半部分采用3x3x(64*n)的卷积核对其进行特征提取(n的值根据网络深度决定)，padding＝0，并采用步长为2的方式代替池化层，每一次卷积结束都要对其进行归一化和非线性映射(除最后一层为tanh外其余都采用lrelu)；网络的后半部分将提取出来的高维特征恢复成图像原来的大小，此时恢复的结果就是网络学习的残差图像。
步骤16，将步骤14中保存的有雾图像与步骤15中计算的残差图像相加，即可得到最终的清晰无雾图像。
Claims (6)
1.一种基于残差学习的单幅图像去雾方法，其特征在于，包括以下步骤：
步骤1，制作包括有雾图像和无雾图像的训练样本；
步骤2，将训练样本输入待训练的CGAN网络进行训练生成最终的训练网络；
步骤 3，输入有雾图像至最终的生成模型中得到清晰的无雾图像；
步骤2的具体过程在于：
步骤201，设定网络的最大迭代数、学习率位；
步骤202，固定CGAN网络的生成器，优化CGAN网络判别器：
步骤2021，将训练样本的有雾图像输入至生成器中生成伪无雾图像，
步骤2022，将训练样本的无雾图像和生成器生成的伪无雾图像分别粘合有雾图像后输入判别器中，
步骤2023，判别器分别提取两组输入的特征，并给出两张判别结果图pre1与pre2，
步骤2024，将两张结果图代入判断误差公式，更新CGAN网络的判别器，即CGAN网络的判别器的原参数加上loss，其中误差公式为
其中，A和B分别为判别结果图的像素大小；
步骤203，固定CGAN网络的判别器，优化CGAN网络的生成器：
步骤2031，将有雾图像输入生成器中生成伪无雾图像，
步骤2032，将生成的伪无雾图像与训练样本的无雾图像做差，保存两者之间的差的平均数；
步骤2034，将训练样本的无雾图像和生成器生成的伪无雾图像分别粘合有雾图像后输入判别器中，
步骤2035，判别器分别提取两组输入的特征，并给出两张判别结果图pre1与pre2，
步骤2036，将两张结果图代入判断误差公式，更新CGAN网络的判别器，即CGAN网络的判别器的原参数加上loss，其中误差公式为
步骤2037，用步骤2032获得的差的平均数与步骤2036获得的loss值的和对CGAN的生成器的参数进行更新；
步骤205，按如上步骤进行训练直至最大迭代数，生成最终的训练网络。
2.根据权利要求1所述的方法，其特征在于，步骤1的具体过程为：
步骤101，下载清晰户外图像作为训练样本的无雾图像J(x)；
步骤102，提取无雾图像中自带的深度信息；
步骤103，使用双线性插值法将深度信息图放大为和图像一样的大小；
步骤104，使用高斯滤波法对深度信息图进行滤波；
步骤105，对滤波后的深度信息图d(x)，利用传输率公式t(x)=e -βd(x)求出传输率t(x)，其中β为散射系数；
步骤106，利用大气物理散射模型合成出有雾图像I(x)，大气物理散射公式为I(x)=J(x)t(x)+A(1-t(x))，A为大气光值；
步骤105，将合成的有雾图像的图像亮度降低。
3.根据权利要求1所述的方法，其特征在于，步骤2021和步骤2031中有雾图像输入生成器中生成伪无雾图像的具体过程在于：
CGAN的生成器采用对称的网络结构，网络的前半部分提取残差图片的高维特征，后半部分将提取的高维特征用反卷积恢复为一张残差图像；其中残差图片为有雾图像与其对应无雾图像之间的差；
将残差图像与输入的有雾图片相加输出一张清晰的伪无雾图像。
4.根据权利要求1所述的方法，其特征在于，步骤2037中的更新采用Adam算法。
5.根据权利要求1所述的方法，其特征在于，步骤3包括以下过程：
步骤301，输入一幅有雾图像到训练后的CGAN的生成器中并保存这幅图像；
步骤302，CGAN的生成器采用对称的网络结构，网络的前半部分提取残差图片的高维特征，后半部分将提取的高维特征用反卷积恢复为一张残差图像；其中残差图片为有雾图像与其对应无雾图像之间的差；
步骤303，将残差图像与输入的有雾图片相加输出一张清晰的无雾图像。
6.根据权利要求5所述的方法，其特征在于，步骤302中，网络的前半部分采用3x3x(64*n)的卷积核对有雾图像进行特征提取，其中n为网络的层数，padding=0，并采用步长为2的方式代替池化层，每一次卷积结束都要对其进行归一化和非线性映射；网络的后半部分将提取出来的高维特征恢复成图像原来的大小，此时恢复的结果就是网络学习的残差图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810361570.1A CN108876728B (zh) | 2018-04-20 | 2018-04-20 | 基于残差学习的单幅图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810361570.1A CN108876728B (zh) | 2018-04-20 | 2018-04-20 | 基于残差学习的单幅图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108876728A CN108876728A (zh) | 2018-11-23 |
| CN108876728B true CN108876728B (zh) | 2021-12-10 |
Family
ID=64326469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810361570.1A Active CN108876728B (zh) | 2018-04-20 | 2018-04-20 | 基于残差学习的单幅图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108876728B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801232A (zh) * | 2018-12-27 | 2019-05-24 | 北京交通大学 | 一种基于深度学习的单幅图像去雾方法 |
| CN110378849B (zh) * | 2019-07-09 | 2021-06-01 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
| CN112927236B (zh) * | 2021-03-01 | 2021-10-15 | 南京理工大学 | 一种基于通道注意力和自监督约束的服装解析方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
| CN108681996A (zh) * | 2018-05-30 | 2018-10-19 | 上海沃韦信息科技有限公司 | 一种图像处理方法 |
-
2018
- 2018-04-20 CN CN201810361570.1A patent/CN108876728B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
| CN108681996A (zh) * | 2018-05-30 | 2018-10-19 | 上海沃韦信息科技有限公司 | 一种图像处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| Rain Removal via Residual Generation Cascading;Qiaobo Chen等;《2017 IEEE Visual Communications and Image Processing (VCIP)》;20171213;第1-4页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108876728A (zh) | 2018-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
| CN109377448B (zh) | 一种基于生成对抗网络的人脸图像修复方法 | |
| CN106910175B (zh) | 一种基于深度学习的单幅图像去雾算法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| Yang et al. | Low complexity underwater image enhancement based on dark channel prior | |
| CN108876728B (zh) | 基于残差学习的单幅图像去雾方法 | |
| CN111539887B (zh) | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN112508083B (zh) | 基于无监督注意力机制的图像去雨雾方法 | |
| CN110517203B (zh) | 一种基于参考图像重建的去雾方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN109584188B (zh) | 一种基于卷积神经网络的图像去雾方法 | |
| CN108564549A (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
| CN111626951B (zh) | 一种基于内容感知信息的图像阴影消除方法 | |
| CN113887349A (zh) | 一种基于图像和点云融合网络的道路区域图像识别方法 | |
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN111861906A (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN112070688A (zh) | 一种基于上下文引导生成对抗网络的单幅图像去雾方法 | |
| CN112241939A (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN114998160B (zh) | 一种并行多尺度特征融合的卷积神经网络去噪方法 | |
| CN111553856A (zh) | 基于深度估计辅助的图像去雾方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN111861935B (zh) | 一种基于图像修复技术的去雨方法 | |
| CN113962878A (zh) | 一种低能见度图像去雾模型方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |