CN107301625B - 基于亮度融合网络的图像去雾方法 - Google Patents
基于亮度融合网络的图像去雾方法 Download PDFInfo
- Publication number
- CN107301625B CN107301625B CN201710417754.0A CN201710417754A CN107301625B CN 107301625 B CN107301625 B CN 107301625B CN 201710417754 A CN201710417754 A CN 201710417754A CN 107301625 B CN107301625 B CN 107301625B
- Authority
- CN
- China
- Prior art keywords
- image
- color space
- image block
- luminance
- fog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000004927 fusion Effects 0.000 title claims description 19
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
技术领域
本发明涉及计算机视觉、图像处理领域的恢复图像清晰度的方法,特别是涉及采用融合的方法进行图像去雾的算法
背景技术
图像去雾算法是一种重要的恢复图像清晰度的方法,其主要目的是去除图像中存在的雾,从而恢复出原始的没有雾气影响下的真实图像,可广泛应用于交通运输、视频监控、卫星遥感等对清晰图像要求较高的领域。
在众多的去雾方法中,基于图像融合的方法是一类较为典型的方法。该类方法主要是从原始的有雾图像中提取不同的层,每一层都代表原始图像的不同信息;或者是在原始有雾图像的基础上,输入反映原始图像信息的其它层。之后,赋予每一层的每一个点不同意义的权重,最终采用一定的融合算法将加权后的每一层进行融合,最终得到去雾以后的图像。当前该类方法的研究主要集中在三个方面:首先,如何从原始图像中提取更能够表征雾的大小程度的信息;其次,如何设计权重使得每一层中有用的信息在最终结果中得到更好的体现;最后,如何设计更好的融合方法使得最终结果更加的清晰、自然,不会出现人工融合的痕迹。2006年,Zhang[1]在原始图像的基础上,输入了原始图像的红外图像。利用红外光与蓝光亮度差值能够反映雾的集中程度这一现象,并与暗通道先验知识相结合,提出了一种雾的分布模型。利用该分布模型,根据有雾图像及红外图像在雾的大小不同的区域所反映出来的信息的差异性,提出了有雾图像及红外图像的融合权重,并利用这一权重将有雾及红外图像进行线性融合。该方法虽然能够使得有雾区域的物体得到一定程度的恢复,但由于红外图像并不能提供关于原始图像更为丰富的信息,且其线性融合的方式远远不能反映实际有雾图像的复杂成因,因而效果并不理想。2013年,Ancuti和Ancuti[2]通过白平衡的方法得到去除颜色偏移的图像,同时通过减去亮度均值的方法得到细节增强的图像,并将这两幅图像作为输入图像。分别从这两幅输入图像中提取颜色、亮度及显著性三幅权重图来从不同的角度反映雾的大小程度,并将这三幅权重图相结合得到最终的权重图。为了防止最终加权融合的结果存在人工痕迹,分别将输入图像和权重图分解为拉普拉斯金字塔及高斯金字塔,最终通过逐层融合得到最终的图像。2014年,Fu[3]使用Gamma矫正算法将原始图像变为两幅输入图像。针对输入图像存在的模糊及低可视度的问题,分别从输入图像中提取锐度权重、颜色权重及显著性权重。为了使得融合后的结果具有一致性,对求得的三幅权重图相加并归一化,得到每幅输入图像的权重。最终,对两幅输入图像进行加权求和得到最终结果。该方法虽然能够较为明显地去除沙尘对图像质量的影响,但加权求和的融合方法导致结果存在融合不完全的痕迹。2015年,Jisha[4]在[2]原有的三幅权重图的基础上,又增加了曝光度权重图及雾浓度权重图。然而,由于从每幅输入图像中提取的权重图并不能很好地反映不同区域雾的大小,因此导致融合后的图像存在细节不清楚的问题。类似地,Ali[5]将[2]的方法应用于有雾视频的处理,同样存在着方法[2]、[4]中存在的问题。2016年,Ma[6]发现白平衡方法提取的图像信息清晰度较低。为保证最终的融合效果,改用线性变换的方法得到输入图像。此外,为了使得输入图像具有较好的清晰度及细节特性,采用了改进的高频提升滤波方法得到第二幅输入图像。最后,为了使得最终结果对比度得到增强的同时不含有噪声,采用一个常数作为权重将两副输入图像进行融合。但是,由于权重为常数,无法自适应地根据每个像素点的情况进行融合,因而最终的结果并不理想。综上,现有方法能在一定程度上能够去除图像中的雾。然而,现实环境中雾的形成原因较为复杂,现有方法所设计的权重及融合方法并不能有效地模拟雾的形成过程,因而并不能够清晰地回复无雾图像,且并不能自适应地根据不同区域中雾的大小来调整去雾的程度。
参考文献
[1]J.Zhang,Y.Ding,Y.Yang,J.Sun,"Real-time defog model based onvisible model and near-infrared information,"in Proc.IEEE Int.Conf.MultimediaExpo,2006.
[2]C.O.Ancuti,C.Ancuti,"Single image dehazing by multi-scale fusion,"in IEEE Trans.Image Process.,vol.22,no.8,pp.3271-3282,2013.
[3]X.Fu,Y.Huang,D.Deng,X.P.Zhang,X.Ding,"A fusion-based enhancingapproach for single sandstorm image,"in Proc.IEEE Int.Workshop.MultimediaSignal Process.,2014.
[4]M.Jisha,K.Manju,"Fusion strategy for single image dehazing,"inProc.IEEE Global Conf.Commun.Technol.,2015.
[5]A.Ali,"A novel method for video dehazing by multi-scale fusion,"Int.J.Sci.Eng.Technol.Res.,vol.3,no.24,pp.4808-4813,2014.
[6]Z.Ma,J.Wen,C.Zhang,Q.Liu,D.Yan,"An effective fusion defoggingapproach for single sea fog image,"Neurocomputing,vol.173,pp.1257-1267,2016.
发明内容
本发明的目的是提供一种可以更好地模拟现实环境中输入图像与无雾图像之间的关系的图像去雾算法。技术方案如下:
一种基于亮度融合的图像去雾算法,该算法首先训练卷积神经网络W,W采用NIN网络结构,步骤如下:
算法包括下列步骤:
步骤1:将有雾图像Ih划分成N个大小为n×n的不重叠的图像块P1,P2,......,PN,设Ih去雾后的结果为Jf;
步骤2:对于每个图像块Pi,将其从RGB颜色空间转到HLS颜色空间,并从中提取出色度Hi、饱和度Si、亮度Li;
步骤5:用Loi与Li计算增强系数矩阵αi;
步骤6:用αi对Pi的色度Hi、Si进行增强,结果为Hoi、Soi;
步骤7:将Hoi、Loi、Soi转换回RGB颜色空间,得到Pi对应的无雾图像块Ji;
本发明采用了一种基于亮度融合网络的图像去雾算法,通过卷积神经网络来对提取的信息进行融合,同时通过对卷积神经网络的训练最优化融合的权重。和以往的基于融合的图像去雾算法相比,本方法能够更好地模拟现实环境中各种复杂因素对图像成像的影响,克服了传统方法中存在的细节回复不清晰、在权重变化大的区域存在人工痕迹的问题,能够取得比以往方法更好地视觉效果。
附图说明
图1本方法的流程框图
具体实施方式
本专利的主要思想是通过训练一个卷积神经网络,使得从有雾图像中提取的众多信息能够以最优的方式进行融合,从而保证去雾后的结果能够最接近于原始无雾图像。具体地,通过训练,使得得到的卷积神经网络能够模拟从有雾图像提取的信息与其原始无雾图像之间的映射关系。测试过程中,将从有雾图像中通过映射函数提取的信息作为输入,通过输出图像的亮度与输入的有雾图像的亮度计算增强系数。利用得到的增强系数,对原始有雾图像的色度和饱和度进行增强,并与卷积神经网络输出的亮度进行结合,得到最终结果。具体步骤如下:
该算法首先训练卷积神经网络W,W采用NIN网络结构,步骤如下:
算法的步骤如下:
步骤1:将有雾图像Ih划分成N个大小为n×n的不重叠的图像块P1,P2,......,PN,设Ih去雾后的结果为Jf;
步骤2:初始化i=1;
步骤3:将Pi从RGB颜色空间转到HLS颜色空间,并从中提取出色度Hi、饱和度Si、亮度Li;
步骤4:利用K个不同的映射函数对Li进行映射,映射函数的形式如下:
步骤6:用Loi与Li计算增强系数矩阵αi,公式如下:
步骤7:用αi对Pi的色度Hi、Si进行增强,公式如下:
Hoi(y)=Hi(y)×αi(y)
Soi(y)=Si(y)×αi(y)
步骤8:将Hoi、Loi、Soi转换回RGB颜色空间,得到Pi对应的无雾图像块Ji;
步骤10:判断i的值是否小于N,如果小于N,执行步骤11;否则,结束循环;
步骤11:将i加1,返回步骤3。
Claims (1)
1.一种基于亮度融合的图像去雾方法,首先训练卷积神经网络W,W采用NIN网络结构,步骤如下:
包括下列步骤:
步骤1:将有雾图像Ih划分成N个大小为n×n的不重叠的图像块P1,P2,......,PN,设Ih去雾后的结果为Jf;
步骤2:对于每个图像块Pi,将其从RGB颜色空间转到HLS颜色空间,并从中提取出色度Hi、饱和度Si、亮度Li;
步骤5:用Loi与Li计算增强系数矩阵αi;
步骤6:用αi对Pi的色度Hi、Si进行增强,结果为Hoi、Soi;
步骤7:将Hoi、Loi、Soi转换回RGB颜色空间,得到Pi对应的无雾图像块Ji;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710417754.0A CN107301625B (zh) | 2017-06-05 | 2017-06-05 | 基于亮度融合网络的图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710417754.0A CN107301625B (zh) | 2017-06-05 | 2017-06-05 | 基于亮度融合网络的图像去雾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107301625A CN107301625A (zh) | 2017-10-27 |
CN107301625B true CN107301625B (zh) | 2021-06-01 |
Family
ID=60134779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710417754.0A Active CN107301625B (zh) | 2017-06-05 | 2017-06-05 | 基于亮度融合网络的图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107301625B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109118451A (zh) * | 2018-08-21 | 2019-01-01 | 李青山 | 一种基于卷积回归的航空正射影像去雾算法 |
CN112330574B (zh) * | 2020-11-30 | 2022-07-12 | 深圳市慧鲤科技有限公司 | 人像修复方法、装置、电子设备及计算机存储介质 |
CN112907582B (zh) * | 2021-03-24 | 2023-09-29 | 中国矿业大学 | 面向矿井的图像显著性提取去雾方法、装置及人脸检测 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102611828A (zh) * | 2012-01-11 | 2012-07-25 | 四川大学 | 一种雾天连续视频图像实时性增强处理系统 |
CN104504658A (zh) * | 2014-12-15 | 2015-04-08 | 中国科学院深圳先进技术研究院 | 基于bp神经网络的单一图像去雾方法及装置 |
CN105574827A (zh) * | 2015-12-17 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种图像去雾的方法、装置 |
CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
CN106779054A (zh) * | 2016-12-31 | 2017-05-31 | 中国科学技术大学 | 一种基于雾天图像的pm2.5估计方法 |
CN106780356A (zh) * | 2016-11-15 | 2017-05-31 | 天津大学 | 基于卷积神经网络和先验信息的图像去雾方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013018101A1 (en) * | 2011-08-03 | 2013-02-07 | Indian Institute Of Technology, Kharagpur | Method and system for removal of fog, mist or haze from images and videos |
-
2017
- 2017-06-05 CN CN201710417754.0A patent/CN107301625B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102611828A (zh) * | 2012-01-11 | 2012-07-25 | 四川大学 | 一种雾天连续视频图像实时性增强处理系统 |
CN104504658A (zh) * | 2014-12-15 | 2015-04-08 | 中国科学院深圳先进技术研究院 | 基于bp神经网络的单一图像去雾方法及装置 |
CN105574827A (zh) * | 2015-12-17 | 2016-05-11 | 中国科学院深圳先进技术研究院 | 一种图像去雾的方法、装置 |
CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
CN106780356A (zh) * | 2016-11-15 | 2017-05-31 | 天津大学 | 基于卷积神经网络和先验信息的图像去雾方法 |
CN106779054A (zh) * | 2016-12-31 | 2017-05-31 | 中国科学技术大学 | 一种基于雾天图像的pm2.5估计方法 |
Non-Patent Citations (3)
Title |
---|
Adaptive sky detection and preservation in dehazing algorithm;Sheng-kui Dai 等;《2015 International Symposium on Intelligent Signal Processing and Communication Systems》;20151112;第634-639页 * |
基于YUV颜色空间的图像去雾算法;王昕 等;《吉林大学学报(信息科学版)》;20151130;第33卷(第6期);第658-661页 * |
多重虚拟曝光夜视图像对比度增强算法研究;陈萌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215;第2016年卷(第02期);第I138-1855页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107301625A (zh) | 2017-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | End-to-end single image fog removal using enhanced cycle consistent adversarial networks | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
CN111968054B (zh) | 基于潜在低秩表示和图像融合的水下图像颜色增强方法 | |
Kuanar et al. | Night time haze and glow removal using deep dilated convolutional network | |
CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
CN110544213A (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
Bi et al. | Haze removal for a single remote sensing image using low-rank and sparse prior | |
Wang et al. | Weakly supervised single image dehazing | |
CN108694708A (zh) | 基于图像边缘提取的小波变换图像融合方法 | |
Bansal et al. | A review of image restoration based image defogging algorithms | |
CN114565539B (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
Wang et al. | Multiscale supervision-guided context aggregation network for single image dehazing | |
Qian et al. | CIASM-Net: a novel convolutional neural network for dehazing image | |
CN114004766A (zh) | 一种水下图像增强方法、系统和设备 | |
CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
Liang et al. | Learning to remove sandstorm for image enhancement | |
Ali et al. | Boundary-constrained robust regularization for single image dehazing | |
Du et al. | Perceptually optimized generative adversarial network for single image dehazing | |
Goncalves et al. | Guidednet: Single image dehazing using an end-to-end convolutional neural network | |
CN108447034B (zh) | 一种基于光照分解的海上雾天图像去雾方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |