CN107451967B - 一种基于深度学习的单幅图像去雾方法 - Google Patents
一种基于深度学习的单幅图像去雾方法 Download PDFInfo
- Publication number
- CN107451967B CN107451967B CN201710613638.6A CN201710613638A CN107451967B CN 107451967 B CN107451967 B CN 107451967B CN 201710613638 A CN201710613638 A CN 201710613638A CN 107451967 B CN107451967 B CN 107451967B
- Authority
- CN
- China
- Prior art keywords
- value
- image
- convolution
- processing
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title abstract description 4
- 230000000694 effects Effects 0.000 claims abstract description 5
- 210000002569 neuron Anatomy 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000001795 light effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011859 microparticle Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公布了一种基于深度学习的单幅图像去雾方法，属于图像处理领域。本发明根据成雾模型的公式I(x,y)＝T(x,y)J(x,y)+(1‑T(x,y))A，可以变换推导出公式
利用深度卷积神经网络技术求得无雾高清图像J(x,y)。采用本发明图像去雾效果好；且采用矩阵加法操作，处理速度快。
Description
技术领域
本发明提供了一种单幅图像去雾的方法，具体涉及一种基于深度学习的单幅图像去雾的方法。
背景技术
雾霾天气对无人机航拍作业的影响不容小觑。雾霾天气航拍形成的图像模糊不清，丧失了人们需要捕捉的信息。随着空气状况的恶化，人们对无人机航拍图像的去雾需求越来越高。
图像去雾问题是属于图像恢复问题，不是简单的图像增强技术能解决得了的。根据McCartney的成雾模型(E.J.McCartney,"Optics of the atmosphere:scattering bymolecules and particles,"New York,John Wiley and Sons,Inc.,1976.421p.,1976.)，原场景中的景物是经过空气中的水珠子或微颗粒折射或散射后被捕捉进入镜头的，空气中的大气光也会因为折射或散射而进入镜头，因此可用以下公式描述这个雾化原理：I(x,y)＝T(x,y)J(x,y)+(1-T(x,y))A。其中T(x,y)是表征透射和散射的一个因子，称之为透射率，A代表空气中的大气光，(1-T(x,y))A就是大气光被折射散射后进入镜头的干扰光，I(x,y)便是被镜头捕捉到的图像，J(x,y)代表原场景中的景色的图像，也是需要恢复的高清图像。雾霾的存在在该模型中可以看成T(x,y)被改变了，从而影响了镜头成像的清晰性。
发明内容
本发明的目的是提供一种新的图像去雾方法，用以解决将雾霾天气航拍视频图像恢复成高清无雾图像的问题。
本发明一种单幅图像去雾的方法，其步骤包括：A.散射效果消除，获得
实现方法为：
A1.将待处理的图像数据作为输入数据，将该输入数据用I表示，进行卷积Conv1操作，其中Conv1(I)＝W1I+B1；W1是该卷积层神经元的参数，B1是偏置量；
A2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；得到图像数据
B.大气光影响计算，获得
实现方法为：
B1.将步骤A处理后获得的的图像数据作为输入数据，该输入数据用I′表示，对其进行卷积Conv2操作，其中Conv2操作是Conv2(I)＝W2I′+B2；W2是该卷积层神经元的参数，B2是偏置量；
B2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变，将处理后的图像数据表示为I″；
B3.进行Conv3操作，其中Conv3操作是Conv3(I″)＝W3I″+B3；W3是该卷积层神经元的参数，B3是偏置量；
B4.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变，处理完图像数据便得到
C.融合操作，实现方法为：
C1.将A步骤获得的结果
与B步骤获得的结果
相加，即获得
根据公式
得到无雾高清图像J(x,y)。
本发明可以进行微调操作，在最终输出图像前做一个微调，将某些过度调整的或调整不足的像素点进行调整。
D1.将步骤C处理后获得的图像数据作为输入数据，该输入数据用I″′表示，对其进行卷积Conv4操作，其中为Conv4(I″′)＝W4I″′+B4，W4是该卷积层神经元的参数，B4是偏置量。
D2.将卷积操作的结果的每个像素点的值进行Sigmoid操作处理，其中Sigmoid操作为：
经过步骤D，会获得最终输出的高清无雾图像J(x,y)。
有益效果：本发明根据成雾模型的公式I(x,y)＝T(x,y)J(x,y)+(1-T(x,y))A，可以变换推导出公式
求得无雾高清图像J(x,y)。本发明处理后的无雾图像从主观视觉上看更清晰，同时峰值信噪比也进一步提高了。故本发明图像去雾效果好，且由于采用矩阵加法操作，处理速度快。
附图说明
图1为本发明基于深度卷积神经网络的单幅图像去雾方法的流程示意图；
图2为本发明基于深度卷积神经网络的单幅图像去雾方法的神经网络框架；
图3为本发明具体实施例结果图，其中(a)为有雾的航拍图像；(b)采用本发明处理后的结果图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明以无人机在雾霾天气航拍所获得的视频为例。首先将视频中的每一帧的图像取出，将分辨率为3840×2160的RGB图像作为本发明方法的输入，本方法会自动提取出R、G、B中的R通道形成一个二维灰度图像。具体处理如下(如图1)：
A.散射效果消除，获得
实现方法为：
A1.将该步骤的输入数据用I表示，进行卷积Conv1操作，其中Conv1(I)＝W1I+B1；W1是该卷积层神经元的参数，B1是偏置量。
A2.将卷积操作的结果的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；
经过这A步骤，可以由输入图像得到
B.大气光影响计算，获得
实现方法为：
B1.将该步骤的输入数据用I′表示，对其进行卷积Conv2操作，其中Conv2操作是Conv2(I)＝W2I′+B2；W2是该卷积层神经元的参数，B2是偏置量。
B2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变，将处理后的图像数据表示为I″。
B3.进行Conv3操作，其中Conv3操作是Conv3(I″)＝W3I″+B3；W3是该卷积层神经元的参数，B3是偏置量。
B4.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变。
整个步骤B称之为AEstimate,则整个过程可以概括为AEstimate(I′)＝ReLU(W3ReLU(W2I′+B2)+B3)。经过B步骤，会得到
C.融合操作，实现方法为：
C1.将A步骤获得的结果
与B步骤获得的结果
相加，即获得
根据原理公式，这便等于要求的J(x,y)。
D.微调操作，在最终输出图像前做一个微调，将某些过度调整的或调整不足的像素点进行调整。
D1.将该步骤的输入数据用I″′表示，对其进行卷积Conv4操作，其中为Conv4(I″′)＝W4I″′+B4，W4是该卷积层神经元的参数，B4是偏置量。
D2.进行ReLU操作处理，其中ReLU(x)＝max(x,0)。
经过步骤D，会获得最终输出的高清无雾图像J(x,y)。
其中，上述步骤中的所有参数W1、B1、W2、B2、W3、B3、W4、B4均使用机器学习方法训练迭代后获得。具体实现方法为在Linux服务器上基于Caffe开源框架，采用SGD优化策略对本发明的神经网络框架(如图2所示)进行训练迭代50000次，每迭代100次参数，就基于MSE方法计算一次损失函数值loss，最后将loss值最低时的参数值作为最终使用的参数W1、B1、W2、B2、W3、B3、W4、B4的值。
G通道和B通道同此。R、G、B三个通道分别处理完毕后，再合成最终的RGB图像，而后直接输出分辨率为3840×2160的高清无雾的RGB图像，如图3所示。本发明处理后的无雾图像从主观视觉上看更清晰。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (4)
1.一种单幅图像去雾的方法，其步骤包括：
A.散射效果消除，获得
实现方法为：
A1.将待处理的图像数据作为输入数据，该输入数据用I表示，进行卷积Conv1操作，其中Conv1(I)＝W1I+B1；W1是该卷积层神经元的参数，B1是偏置量；
A2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；得到图像数据
B.大气光影响计算，获得
实现方法为：
B1.将步骤A处理后获得的的图像数据作为输入数据，该输入数据用I′表示，对其进行卷积Conv2操作，其中Conv2操作是Conv2(I)＝W2I′+B2；W2是该卷积层神经元的参数，B2是偏置量；
B2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；将处理后的图像数据表示为I″；
B3.进行Conv3操作，其中Conv3操作是Conv3(I″)＝W3I″+B3；W3是该卷积层神经元的参数，B3是偏置量；
B4.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；得到图像数据
C.融合操作，实现方法为：
C1.将A步骤获得的结果
与B步骤获得的结果
相加，即获得
根据公式
得到无雾高清图像J(x,y)。
2.如权利要求1所述的单幅图像去雾的方法，其特征在于，在最终输出图像前做一个微调，具体步骤如下：
D1.将步骤C处理后获得的图像数据作为输入数据，该输入数据用I″′表示，对其进行卷积Conv4操作，其中为Conv4(I″′)＝W4I″′+B4，W4是该卷积层神经元的参数，B4是偏置量；
D2.将卷积操作的结果的每个像素点的值进行Sigmoid操作处理，其中Sigmoid操作为：
3.如权利要求1或2所述的单幅图像去雾的方法，其特征在于，所述步骤中的参数W1、B1、W2、B2、W3、B3、W4、B4均使用机器学习方法训练迭代后获得。
4.如权利要求3所述的单幅图像去雾的方法，其特征在于，所述机器学习方法训练迭代的具体实现方法为：在Linux服务器上基于Caffe开源框架，采用SGD优化策略进行训练迭代若干个10000次，每迭代若干个100次参数，就基于MSE方法计算一次损失函数值loss，最后将loss值最低时的参数值作为参数W1、B1、W2、B2、W3、B3、W4、B4的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710613638.6A CN107451967B (zh) | 2017-07-25 | 2017-07-25 | 一种基于深度学习的单幅图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710613638.6A CN107451967B (zh) | 2017-07-25 | 2017-07-25 | 一种基于深度学习的单幅图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107451967A CN107451967A (zh) | 2017-12-08 |
| CN107451967B true CN107451967B (zh) | 2020-06-26 |
Family
ID=60488195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710613638.6A Active CN107451967B (zh) | 2017-07-25 | 2017-07-25 | 一种基于深度学习的单幅图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107451967B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114078075A (zh) * | 2020-08-11 | 2022-02-22 | 北京芯海视界三维科技有限公司 | 一种图像处理装置及终端 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106448684A (zh) * | 2016-11-16 | 2017-02-22 | 北京大学深圳研究生院 | 基于深度置信网络特征矢量的信道鲁棒声纹识别系统 |
| CN106600560A (zh) * | 2016-12-22 | 2017-04-26 | 福州大学 | 一种适用于行车记录仪的图像去雾方法 |
| CN106780356A (zh) * | 2016-11-15 | 2017-05-31 | 天津大学 | 基于卷积神经网络和先验信息的图像去雾方法 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9508126B2 (en) * | 2015-02-17 | 2016-11-29 | Adobe Systems Incorporated | Image haze removal using fast constrained transmission estimation |
-
2017
- 2017-07-25 CN CN201710613638.6A patent/CN107451967B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106780356A (zh) * | 2016-11-15 | 2017-05-31 | 天津大学 | 基于卷积神经网络和先验信息的图像去雾方法 |
| CN106448684A (zh) * | 2016-11-16 | 2017-02-22 | 北京大学深圳研究生院 | 基于深度置信网络特征矢量的信道鲁棒声纹识别系统 |
| CN106600560A (zh) * | 2016-12-22 | 2017-04-26 | 福州大学 | 一种适用于行车记录仪的图像去雾方法 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
Non-Patent Citations (6)
| Title |
|---|
| DehazeNet: An End-to-End System for Single Image Haze Removal;Bolun Cai 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20161130;第25卷(第11期);5187-5198 * |
| Estimation of ambient light and transmission map with common convolutional architecture;Young-Sik Shin 等;《OCEANS 2016 MTS/IEEE Monterey》;20160928;1-7 * |
| Fully Convolutional Networks for Semantic Segmentation;Jonathan Long 等;《arXiv》;20150308;1-10 * |
| LEARNING DEEP TRANSMISSION NETWORK FOR SINGLE IMAGE DEHAZING;Zhigang Ling 等;《2016 IEEE International Conference on Image Processing》;20160928;2296-2300 * |
| 基于散射模型的雾天图像快速复原算法;唐鉴波 等;《重庆邮电大学学报(自然科学版)》;20141031;第26卷(第5期);712-719 * |
| 基于暗通道先验和 Retinex 理论的快速单幅图像去雾方法;刘海波 等;《自动化学报》;20150731;第41卷(第7期);1264-1273 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107451967A (zh) | 2017-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106780356B (zh) | 基于卷积神经网络和先验信息的图像去雾方法 | |
| CN106910175B (zh) | 一种基于深度学习的单幅图像去雾算法 | |
| US8774555B2 (en) | Image defogging method and system | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
| WO2021177324A1 (ja) | 画像生成装置、画像生成方法、記録媒体生成方法、学習モデル生成装置、学習モデル生成方法、学習モデル、データ処理装置、データ処理方法、推論方法、電子機器、生成方法、プログラム及び非一時的コンピュータ可読媒体 | |
| CN104867121A (zh) | 基于暗原色先验和Retinex理论的图像快速去雾法 | |
| CN109523474A (zh) | 一种基于雾天退化模型的低照度图像增强方法 | |
| CN109272014B (zh) | 一种基于畸变适应卷积神经网络的图像分类方法 | |
| CN102646267B (zh) | 退化图像复原方法及系统 | |
| CN117011194B (zh) | 一种基于多尺度双通道注意力网络的低光图像增强方法 | |
| WO2020118902A1 (zh) | 图像处理方法及图像处理系统 | |
| Cheng et al. | Visibility enhancement of single hazy images using hybrid dark channel prior | |
| CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
| Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
| CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| Xu et al. | Gan based multi-exposure inverse tone mapping | |
| CN116363011A (zh) | 一种基于频域分频的多分支低照度图像增强方法 | |
| Singh et al. | Low-light image enhancement for UAVs with multi-feature fusion deep neural networks | |
| CN107451967B (zh) | 一种基于深度学习的单幅图像去雾方法 | |
| CN112508814B (zh) | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 | |
| Lee et al. | Image dehazing with contextualized attentive U-NET | |
| CN106709876A (zh) | 一种基于暗像元原理的光学遥感图像去雾方法 | |
| CN109191405B (zh) | 一种基于透射率全局估计的航空影像去雾算法 | |
| CN116703752A (zh) | 融合近红外的Transformer结构的图像去雾方法及装置 | |
| CN107203979B (zh) | 一种低照度图像增强的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |