CN107451967A - 一种基于深度学习的单幅图像去雾方法 - Google Patents
一种基于深度学习的单幅图像去雾方法 Download PDFInfo
- Publication number
- CN107451967A CN107451967A CN201710613638.6A CN201710613638A CN107451967A CN 107451967 A CN107451967 A CN 107451967A CN 201710613638 A CN201710613638 A CN 201710613638A CN 107451967 A CN107451967 A CN 107451967A
- Authority
- CN
- China
- Prior art keywords
- value
- image
- result
- operations
- relu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title abstract description 4
- 230000000694 effects Effects 0.000 claims abstract description 5
- 210000002569 neuron Anatomy 0.000 claims description 12
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 239000003595 mist Substances 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 235000013399 edible fruits Nutrition 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011859 microparticle Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公布了一种基于深度学习的单幅图像去雾方法，属于图像处理领域。本发明根据成雾模型的公式I(x,y)＝T(x,y)J(x,y)+(1‑T(x,y))A，可以变换推导出公式 利用深度卷积神经网络技术求得无雾高清图像J(x,y)。采用本发明图像去雾效果好；且采用矩阵加法操作，处理速度快。
Description
技术领域
本发明提供了一种单幅图像去雾的方法，具体涉及一种基于深度学习的单幅图像去雾的方法。
背景技术
雾霾天气对无人机航拍作业的影响不容小觑。雾霾天气航拍形成的图像模糊不清，丧失了人们需要捕捉的信息。随着空气状况的恶化，人们对无人机航拍图像的去雾需求越来越高。
图像去雾问题是属于图像恢复问题，不是简单的图像增强技术能解决得了的。根据McCartney的成雾模型(E.J.McCartney,"Optics of the atmosphere:scattering bymolecules and particles,"New York,John Wiley and Sons,Inc.,1976.421p.,1976.)，原场景中的景物是经过空气中的水珠子或微颗粒折射或散射后被捕捉进入镜头的，空气中的大气光也会因为折射或散射而进入镜头，因此可用以下公式描述这个雾化原理：I(x,y)＝T(x,y)J(x,y)+(1-T(x,y))A。其中T(x,y)是表征透射和散射的一个因子，称之为透射率，A代表空气中的大气光，(1-T(x,y))A就是大气光被折射散射后进入镜头的干扰光，I(x,y)便是被镜头捕捉到的图像，J(x,y)代表原场景中的景色的图像，也是需要恢复的高清图像。雾霾的存在在该模型中可以看成T(x,y)被改变了，从而影响了镜头成像的清晰性。
发明内容
本发明的目的是提供一种新的图像去雾方法，用以解决将雾霾天气航拍视频图像恢复成高清无雾图像的问题。
本发明一种单幅图像去雾的方法，其步骤包括：
A.散射效果消除，获得实现方法为：
A1.将该步骤的输入数据I进行卷积Conv1操作，其中Conv1(I)＝W1I+B1；W1是该卷积层神经元的参数，B1是偏置量；
A2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；得到图像数据
B.大气光影响计算，获得实现方法为：
B1.将该步骤的输入数据用I′表示，对其进行卷积Conv2操作，其中Conv2操作是Conv2(I)＝W2I′+B2；W2是该卷积层神经元的参数，B2是偏置量；
B2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变，将处理后的图像数据表示为I″；
B3.进行Conv3操作，其中Conv3操作是Conv3(I″)＝W3I″+B3；W3是该卷积层神经元的参数，B3是偏置量；
B4.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变，处理完图像数据便得到
C.融合操作，实现方法为：
C1.将A步骤获得的结果与B步骤获得的结果相加，即获得根据公式得到无雾高清图像J(x,y)。
本发明可以进行微调操作，在最终输出图像前做一个微调，将某些过度调整的或调整不足的像素点进行调整。
D1.将该步骤的输入数据用I″′表示，对其进行卷积Conv4操作，其中为Conv4(I″′)＝W4I″′+B4，W4是该卷积层神经元的参数，B4是偏置量。
D2.将卷积操作的结果的每个像素点的值进行Sigmoid操作处理，其中Sigmoid操作为：
经过步骤D，会获得最终输出的高清无雾图像J(x,y)。
有益效果：本发明根据成雾模型的公式I(x,y)＝T(x,y)J(x,y)+(1-T(x,y))A，可以变换推导出公式求得无雾高清图像J(x,y)。本发明处理后的无雾图像从主观视觉上看更清晰，同时峰值信噪比也进一步提高了。故本发明图像去雾效果好，且由于采用矩阵加法操作，处理速度快。
附图说明
图1为本发明基于深度卷积神经网络的单幅图像去雾方法的流程示意图；
图2为本发明基于深度卷积神经网络的单幅图像去雾方法的神经网络框架；
图3为本发明具体实施例结果图，其中(a)为有雾的航拍图像；(b)采用本发明处理后的结果图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明以无人机在雾霾天气航拍所获得的视频为例。首先将视频中的每一帧的图像取出，将分辨率为3840×2160的RGB图像作为本发明方法的输入，本方法会自动提取出R、G、B中的R通道形成一个二维灰度图像。具体处理如下(如图1)：
A.散射效果消除，获得实现方法为：
A1.将该步骤的输入数据I进行卷积Conv1操作，其中Conv1(I)＝W1I+B1；W1是该卷积层神经元的参数，B1是偏置量。
A2.将卷积操作的结果的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；
经过这A步骤，可以由输入图像得到
B.大气光影响计算，获得实现方法为：
B1.将该步骤的输入数据用I′表示，对其进行卷积Conv2操作，其中Conv2操作是Conv2(I)＝W2I′+B2；W2是该卷积层神经元的参数，B2是偏置量。
B2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变，将处理后的图像数据表示为I″。
B3.进行Conv3操作，其中Conv3操作是Conv3(I″)＝W3I″+B3；W3是该卷积层神经元的参数，B3是偏置量。
B4.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变。
整个步骤B称之为AEstimate,则整个过程可以概括为AEstimate(I′)＝ReLU(W3ReLU(W2I′+B2)+B3)。经过B步骤，会得到
C.融合操作，实现方法为：
C1.将A步骤获得的结果与B步骤获得的结果相加，即获得根据原理公式，这便等于要求的J(x,y)。
D.微调操作，在最终输出图像前做一个微调，将某些过度调整的或调整不足的像素点进行调整。
D1.将该步骤的输入数据用I″′表示，对其进行卷积Conv4操作，其中为Conv4(I″′)＝W4I″′+B4，W4是该卷积层神经元的参数，B4是偏置量。
D2.进行ReLU操作处理，其中ReLU(x)＝max(x,0)。
经过步骤D，会获得最终输出的高清无雾图像J(x,y)。
其中，上述步骤中的所有参数W1、B1、W2、B2、W3、B3、W4、B4均使用机器学习方法训练迭代后获得。具体实现方法为在Linux服务器上基于Caffe开源框架，采用SGD优化策略对本发明的神经网络框架(如图2所示)进行训练迭代50000次，每迭代100次参数，就基于MSE方法计算一次损失函数值loss，最后将loss值最低时的参数值作为最终使用的参数W1、B1、W2、B2、W3、B3、W4、B4的值。
G通道和B通道同此。R、G、B三个通道分别处理完毕后，再合成最终的RGB图像，而后直接输出分辨率为3840×2160的高清无雾的RGB图像，如图3所示。本发明处理后的无雾图像从主观视觉上看更清晰。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (4)
1.一种单幅图像去雾的方法，其步骤包括：
A.散射效果消除，获得实现方法为：
A1.将该步骤的输入数据I进行卷积Conv1操作，其中Conv1(I)＝W1I+B1；W1是该卷积层神经元的参数，B1是偏置量；
A2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；得到图像数据
B.大气光影响计算，获得实现方法为：
B1.将该步骤的输入数据用I′表示，对其进行卷积Conv2操作，其中Conv2操作是Conv2(I)＝W2I′+B2；W2是该卷积层神经元的参数，B2是偏置量；
B2.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；将处理后的图像数据表示为I″；
B3.进行Conv3操作，其中Conv3操作是Conv3(I″)＝W3I″+B3；W3是该卷积层神经元的参数，B3是偏置量；
B4.将卷积操作后的图像的每个像素点的值进行ReLU操作处理，之后输出，其中ReLU(x)＝max(x,0)，即当该值小于或等于0时，处理结果为0，当该值取值大于0时，处理结果为原数值不变；得到图像数据
C.融合操作，实现方法为：
C1.将A步骤获得的结果与B步骤获得的结果相加，即获得根据公式得到无雾高清图像J(x,y)。
2.如权利要求1所述的单幅图像去雾的方法，其特征在于，在最终输出图像前做一个微调，具体步骤如下：
D1.将该步骤的输入数据用I″′表示，对其进行卷积Conv4操作，其中为Conv4(I″′)＝W4I″′+B4，W4是该卷积层神经元的参数，B4是偏置量；
D2.将卷积操作的结果的每个像素点的值进行Sigmoid操作处理，其中Sigmoid操作为：
3.如权利要求1或2所述的单幅图像去雾的方法，其特征在于，所述步骤中的参数W1、B1、W2、B2、W3、B3、W4、B4均使用机器学习方法训练迭代后获得。
4.如权利要求3所述的单幅图像去雾的方法，其特征在于，所述机器学习方法训练迭代的具体实现方法为：在Linux服务器上基于Caffe开源框架，采用SGD优化策略进行训练迭代若干个10000次，每迭代若干个100次参数，就基于MSE方法计算一次损失函数值loss，最后将loss值最低时的参数值作为参数W1、B1、W2、B2、W3、B3、W4、B4的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710613638.6A CN107451967B (zh) | 2017-07-25 | 2017-07-25 | 一种基于深度学习的单幅图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710613638.6A CN107451967B (zh) | 2017-07-25 | 2017-07-25 | 一种基于深度学习的单幅图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107451967A true CN107451967A (zh) | 2017-12-08 |
| CN107451967B CN107451967B (zh) | 2020-06-26 |
Family
ID=60488195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710613638.6A Active CN107451967B (zh) | 2017-07-25 | 2017-07-25 | 一种基于深度学习的单幅图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107451967B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022033313A1 (zh) * | 2020-08-11 | 2022-02-17 | 北京芯海视界三维科技有限公司 | 图像处理装置及终端 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160239945A1 (en) * | 2015-02-17 | 2016-08-18 | Adobe Systems Incorporated | Image haze removal using fast constrained transmission estimation |
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106448684A (zh) * | 2016-11-16 | 2017-02-22 | 北京大学深圳研究生院 | 基于深度置信网络特征矢量的信道鲁棒声纹识别系统 |
| CN106600560A (zh) * | 2016-12-22 | 2017-04-26 | 福州大学 | 一种适用于行车记录仪的图像去雾方法 |
| CN106780356A (zh) * | 2016-11-15 | 2017-05-31 | 天津大学 | 基于卷积神经网络和先验信息的图像去雾方法 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
-
2017
- 2017-07-25 CN CN201710613638.6A patent/CN107451967B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160239945A1 (en) * | 2015-02-17 | 2016-08-18 | Adobe Systems Incorporated | Image haze removal using fast constrained transmission estimation |
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106780356A (zh) * | 2016-11-15 | 2017-05-31 | 天津大学 | 基于卷积神经网络和先验信息的图像去雾方法 |
| CN106448684A (zh) * | 2016-11-16 | 2017-02-22 | 北京大学深圳研究生院 | 基于深度置信网络特征矢量的信道鲁棒声纹识别系统 |
| CN106600560A (zh) * | 2016-12-22 | 2017-04-26 | 福州大学 | 一种适用于行车记录仪的图像去雾方法 |
| CN106910175A (zh) * | 2017-02-28 | 2017-06-30 | 武汉大学 | 一种基于深度学习的单幅图像去雾算法 |
Non-Patent Citations (6)
| Title |
|---|
| BOLUN CAI 等: "DehazeNet: An End-to-End System for Single Image Haze Removal", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| JONATHAN LONG 等: "Fully Convolutional Networks for Semantic Segmentation", 《ARXIV》 * |
| YOUNG-SIK SHIN 等: "Estimation of ambient light and transmission map with common convolutional architecture", 《OCEANS 2016 MTS/IEEE MONTEREY》 * |
| ZHIGANG LING 等: "LEARNING DEEP TRANSMISSION NETWORK FOR SINGLE IMAGE DEHAZING", 《2016 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| 刘海波 等: "基于暗通道先验和 Retinex 理论的快速单幅图像去雾方法", 《自动化学报》 * |
| 唐鉴波 等: "基于散射模型的雾天图像快速复原算法", 《重庆邮电大学学报(自然科学版)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022033313A1 (zh) * | 2020-08-11 | 2022-02-17 | 北京芯海视界三维科技有限公司 | 图像处理装置及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107451967B (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021135391A1 (zh) | 一种图像质量评估方法及装置 | |
| CN101901475B (zh) | 基于视网膜自适应模型的高动态范围图像色调映射方法 | |
| CN101281642B (zh) | 基于自适应聚类颜色传递的雾天图像清晰化方法 | |
| CN103731583B (zh) | 用于拍照智能化合成、打印处理方法 | |
| CN109493300B (zh) | 基于fpga卷积神经网络的航拍图像实时去雾方法及无人机 | |
| CN106780375A (zh) | 一种低照度环境下的图像增强方法 | |
| CN105809643B (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
| CN104504658A (zh) | 基于bp神经网络的单一图像去雾方法及装置 | |
| CN103093444A (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
| CN108268871A (zh) | 一种基于卷积神经网络的端到端的车牌识别方法和系统 | |
| CN108416745A (zh) | 一种具有色彩恒常性的图像自适应去雾增强方法 | |
| CN110211052A (zh) | 一种基于特征学习的单幅图像去雾方法 | |
| CN110288550A (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN106296618A (zh) | 一种基于高斯函数加权直方图规定化的彩色图像去雾方法 | |
| CN112508814B (zh) | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 | |
| Ueda et al. | Underwater image synthesis from RGB-D images and its application to deep underwater image restoration | |
| Cheng et al. | Enhancement of weakly illuminated images by deep fusion networks | |
| CN112601063A (zh) | 一种混合色温白平衡方法 | |
| Singh et al. | Low-light image enhancement for UAVs with multi-feature fusion deep neural networks | |
| CN107451967A (zh) | 一种基于深度学习的单幅图像去雾方法 | |
| CN109509159A (zh) | 一种基于深度学习的无人机模糊图像端到端复原方法 | |
| CN104050636B (zh) | 一种粒度可控的低照度图像的增强方法 | |
| CN104835121B (zh) | 基于无穷范数约束与最大熵原则的色调映射方法 | |
| CN108898566B (zh) | 一种利用时空照度图的低照度彩色视频增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |