CN107292837B - 基于误差补偿的图像去雾方法 - Google Patents
基于误差补偿的图像去雾方法 Download PDFInfo
- Publication number
- CN107292837B CN107292837B CN201710414383.0A CN201710414383A CN107292837B CN 107292837 B CN107292837 B CN 107292837B CN 201710414383 A CN201710414383 A CN 201710414383A CN 107292837 B CN107292837 B CN 107292837B
- Authority
- CN
- China
- Prior art keywords
- transmittance
- image
- error
- fog
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000002834 transmittance Methods 0.000 claims abstract description 45
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 19
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
技术领域
本发明涉及计算机视觉、图像处理领域中恢复图像清晰度的算法,特别涉及去雾方法。
背景技术
图像去雾算法是一种重要的恢复图像清晰度的算法,其主要目的去除图像中存在的雾气,从而恢复原始的无雾图像,可广泛应用于交通运输、视频监控、卫星遥感等对清晰图像有较高需求的行业。
在众多的图像去雾算法中,基于卷积神经网络的去雾算法是一种较为重要的方法。该类方法主要思想是:首先,提取与雾的大小程度相关的特征;之后,通过学习的方法学习到特征与透射率或透射率相关量之间的映射关系;最终,利用学习到的映射关系估计输入图像的透射率或透射率相关量,恢复出原始无雾图像。2014年,Tang[1]提出用暗通道特征、最大对比度、色调差异、最大饱和度这几种特征来反映雾的大小程度。用这几种特征来训练随机森林,并用训练好的随机森林来估计有雾图像块的透射率,从而恢复出原始无雾图像。然而,由于有的特征并不能完全反映,且浓雾区域的特征非常的不明显且局部区域之间的特征非常相似,因而导致随机森林对透射率的估计存在一定程度的偏差。2015年,Zhu[2]发现亮度与饱和度的差值能够反映雾的大小程度。基于这一先验知识,假设图像距相机的距离与亮度及饱和度存在线性关系,并通过训练得到该模型的具体表达形式。通过这一表达式,预测有雾图片图像块的深度,进而估计出该图像块对应的透射率,从而恢复出原始无雾图像。但是,由于该方法同样存在着一定的估计误差,主要有两方面原因造成:首先,在某些区域,雾的大小程度与亮度及饱和度并不存在线性关系;其次,浓雾区域,各个局部区域的亮度及饱和度过于相近,使得该线性模型对于深度预测的准确性有所降低。2016年,Ren[3]采用两个基于不同尺度的卷积神经网络相结合的方法来预测透射率。该方法将原始有雾图像作为两个网络共同的输入,其中一个卷积网络用于估计粗尺度的透射率,另一个用于估计细尺度的透射率,将两个网络相结合来实现对透射率的估计。然而,由于输入图像在浓雾区域的像素值变化十分平缓,使得网络估计的投射率图在浓雾区域趋于一致,无法反映浓雾区域透射率的变化。2016年,Cai[4]利用有雾图像块的R、G、B三个通道的特征对卷积神经网络进行训练,利用训练好的网络来估计输入图像块的透射率。与上述几种方法一样,此方法对透射率的估计同样存在着偏差。该误差主要是由于输入的特征无法充分反映雾的大小程度造成的。同样地,2016年,Ling[5]也利用有雾图像的R、G、B三个通道的特征来训练卷积神经网络。类似地,该方法也存在这对透射率估计得偏差。
综上,当前基于卷积神经网络的去雾算法都存在着对透射率估计不准确的问题,而这种问题会最终导致最终恢复出的结果存在着颜色失真及细节不清晰的问题。而针对这种透射率估计不准确的问题,目前未见有针对性地采取方法来尽可能缩小这种误差的文献报道。
参考文献
[1]K.Tang,J.Yang,J.Wang,"Investigating haze-relevant features in alearning framework for image dehazing,"in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,2014.
[2]Q.Zhu,J.Mai,L.Shao,"A fast single image haze removal algorithmusing color attenuation prior,"IEEE Trans.Image Process.,vol.24,no.11,pp.3522–3533,2015.
[3]W.Ren,S.Liu,H.Zhang,J.Pan,X.Cao,M.Yang,"Single image dehazing viamulti-scale convolutional neural networks,"in Proc.Eur.Conf.Comput.Vis.,2016.
[4]B.Cai,X.Xu,K.Jia,C.Qing,D.Tao,"DehazeNet:An end-to-end system forsingle image haze removal,"IEEE Trans.Image Process.,vol.25,no.11,pp.5187–5198,2016.
[5]Z.Ling,G.Fan,Y.Wang,X.Lu,"Learning deep transmission network forsingle image dehazing,"in Proc.IEEE Int.Conf.Image Process.,2016.
发明内容
本发明针对现有方法中存在的对透射率的估计误差没有采取针对性的措施进行减小的问题,提出一种基于误差补偿的图像去雾算法。技术方案如下:
一种基于误差补偿的图像去雾算法,该算法首先训练透射率估计网络Wt和透射率误差估计网络We:
①透射率估计网络Wt采用NIN卷积神经网络结构,训练步骤如下:
其中,At=(255,255,255)T;
②透射率误差估计网络We,采用NIN卷积神经网络结构,训练步骤如下:
其中,Ae=(255,255,255)T;
算法包括下列步骤:
步骤1:将有雾图像Ih划分成N个大小为n×n的不重叠的图像块P1,P2,......,PN。同时,设Ih去雾后的结果为Jf;
步骤2:初始化i=1;
步骤3:取图像块Pi,将图像块Pi从RGB颜色空间转换到HSV颜色空间,提取色度特征图Hi及饱和度特征图Si,计算Pi的梯度特征图Gi;
步骤7:利用透射率ti,计算Pi对应的无雾图像块Ji,公式如下:
步骤9:判断i的值是否小于N,如果小于N,执行步骤10;否则,结束循环;
步骤10:将i加1,返回步骤3;
本方法采用了一种基于误差补偿的图像去雾算法。该方法通过学习的方法得到输入特征与透射率估计误差之间的关系,并利用这种关系来估计对透射率的估计可能存在的误差,从而减小透射率的估计误差。与以往的基于卷积神经网络的去雾算法相比,本发明针对性设计了透射率误差估计网络估计误差,大大减小了透射率估计得误差,进而保证了恢复出的无雾图像无颜色失真,提高了图像的质量。
附图说明
图1本算法流程图。
具体实施方式
本发明提出一种基于误差补偿的图像去雾算法。首先,提取输入图像块的色度、饱和度及梯度特征。之后,将提取的特征输入到透射率估计网络中,估计出一个大致的透射率值;此外,将该特征输入到另一个透射率估计误差网络中,估计前一个网络对透射率值的估计误差。将两个网络的估计结果相结合,得到最终的透射率值,并根据雾天图像的成像模型恢复出原始无雾图像。具体步骤如下:
①透射率估计网络Wt采用NIN卷积神经网络结构,训练步骤如下:
②透射率误差估计网络We,采用NIN卷积神经网络结构,训练步骤如下:
算法包括下列步骤:
步骤1:将有雾图像Ih划分成N个大小为n×n的不重叠的图像块P1,P2,......,PN,设Ih去雾后的结果为Jf;
步骤2:初始化i=1;
步骤3:提取图像块Pi,将其转换至HSV颜色空间,提取其色度特征图Hi、饱和度特征图Si;计算梯度特征图Gi,大小为n×n;
步骤7:利用透射率ti,计算Pi对应的无雾图像块Ji,公式如下:
其中,y表示Ji中任意像素点;
步骤9:判断i的值是否小于N,如果小于N,执行步骤10;否则,结束循环;
步骤10:将i加1,返回步骤3。
Claims (1)
1.一种基于误差补偿的图像去雾方法,包括下列步骤:
(1):训练透射率估计网络Wt和透射率误差估计网络We:
①透射率估计网络Wt采用NIN卷积神经网络结构,训练步骤如下:
其中,At=(255,255,255)T;
②透射率误差估计网络We,采用NIN卷积神经网络结构,训练步骤如下:
其中,Ae=(255,255,255)T;
(2)将有雾图像Ih划分成N个大小为n×n的不重叠的图像块P1,P2,......,PN,同时,设Ih去雾后的结果为Jf;
(3)初始化i=1
(4)取图像块Pi,将图像块Pi从RGB颜色空间转换到HSV颜色空间,提取色度特征图Hi及饱和度特征图Si,计算Pi的梯度特征图Gi;
(8)利用透射率ti,计算Pi对应的无雾图像块Ji,公式如下:
(10)判断i的值是否小于N,如果小于N,执行步骤(11);否则,结束循环;
(11)将i加1,返回步骤(4)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710414383.0A CN107292837B (zh) | 2017-06-05 | 2017-06-05 | 基于误差补偿的图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710414383.0A CN107292837B (zh) | 2017-06-05 | 2017-06-05 | 基于误差补偿的图像去雾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107292837A CN107292837A (zh) | 2017-10-24 |
CN107292837B true CN107292837B (zh) | 2020-03-17 |
Family
ID=60094183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710414383.0A Active CN107292837B (zh) | 2017-06-05 | 2017-06-05 | 基于误差补偿的图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107292837B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921805B (zh) * | 2018-07-06 | 2020-11-03 | 厦门理工学院 | 一种图像及视频去雾霾方法、计算机装置及存储介质 |
CN109118451A (zh) * | 2018-08-21 | 2019-01-01 | 李青山 | 一种基于卷积回归的航空正射影像去雾算法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101394361B1 (ko) * | 2012-11-21 | 2014-05-14 | 중앙대학교 산학협력단 | 알파매트 추정과 영상 합성을 이용한 단일 영상의 안개 제거 장치 및 방법 |
CN104933680B (zh) * | 2015-03-13 | 2017-10-31 | 哈尔滨工程大学 | 一种智能的无人艇视觉系统视频快速海雾去除方法 |
CN105719247B (zh) * | 2016-01-13 | 2019-05-17 | 华南农业大学 | 基于特征学习的单幅图像去雾方法 |
CN106780356B (zh) * | 2016-11-15 | 2020-04-28 | 天津大学 | 基于卷积神经网络和先验信息的图像去雾方法 |
-
2017
- 2017-06-05 CN CN201710414383.0A patent/CN107292837B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107292837A (zh) | 2017-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107301624B (zh) | 基于区域划分及浓雾预处理的卷积神经网络去雾方法 | |
CN107767354B (zh) | 一种基于暗原色先验的图像去雾算法 | |
CN106920220B (zh) | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 | |
Pinto et al. | Video stabilization using speeded up robust features | |
KR20080046269A (ko) | 적응적 움직임 검색 범위 | |
CN106210448B (zh) | 一种视频图像抖动消除处理方法 | |
JP2011060282A (ja) | 動き領域の非線形スムージングを用いた動き検出方法およびシステム | |
JP2015060593A (ja) | 画像をフィルタリングするための方法および装置 | |
CN106023108A (zh) | 基于边界约束和上下文正则化的图像去雾算法 | |
CN107292837B (zh) | 基于误差补偿的图像去雾方法 | |
CN111598886B (zh) | 一种基于单幅图像的像素级透过率估计方法 | |
CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
CN105023246B (zh) | 一种基于对比度和结构相似度的图像增强方法 | |
Zuo et al. | Video Denoising Based on a Spatiotemporal Kalman‐Bilateral Mixture Model | |
CN110335210B (zh) | 一种水下图像复原方法 | |
Chen et al. | Improve transmission by designing filters for image dehazing | |
Zhang et al. | MetaUE: Model-based meta-learning for underwater image enhancement | |
CN112215766B (zh) | 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络 | |
CN110366029B (zh) | 一种视频间插入图像帧的方法、系统及电子设备 | |
JP7263149B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN109410142B (zh) | 一种基于图像质量评价最优的去雾方法 | |
CN112567722B (zh) | 用于处理含有噪声的视频序列中的数据的方法和装置 | |
Shivakumar et al. | Remote sensing and natural image dehazing using DCP based IDERS framework | |
Romanenko et al. | Image matching in Bayer raw domain to de-noise low-light still images, optimized for real-time implementation | |
Parihar et al. | Prior based single image dehazing using decision image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |