CN112712482B - 一种基于线性学习模型的图像去雾方法 - Google Patents
一种基于线性学习模型的图像去雾方法 Download PDFInfo
- Publication number
- CN112712482B CN112712482B CN202110042952.XA CN202110042952A CN112712482B CN 112712482 B CN112712482 B CN 112712482B CN 202110042952 A CN202110042952 A CN 202110042952A CN 112712482 B CN112712482 B CN 112712482B
- Authority
- CN
- China
- Prior art keywords
- image
- equation
- haze
- linear
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000006870 function Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000005286 illumination Methods 0.000 claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 15
- 238000001914 filtration Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000027697 autoimmune lymphoproliferative syndrome due to CTLA4 haploinsuffiency Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G06T5/73—
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于线性学习模型的图像去雾方法，通过雾霾彩色图像的三个分量的协方差计算传输函数值中的参数；其次，提出了一种基于三变量(亮度、饱和度和色调)的线性模型来估计深度场景；为了得到线性模型的系数值，引入迭代算法，并利用雾霾图像对模型进行训练；然后利用一种基于多项式核引导滤波的线性模型预测环境光照值；最后，本发明所提算法通过物理模型得到去雾后的图像。
Description
技术领域
本发明涉及图像去雾领域，特别涉及一种基于线性学习模型的图像去雾方法。
背景技术
室外或者室内场景通常在受到雾霾或其他在空气中浮动的微小颗粒物的影响时产生退化现象，这是一种物理现象。然而，现实中使用的图像采集设备，由于技术等原因的限制，无法处理因雾霾或颗粒物引起的低分辨率的图像。因此，设备拍摄到的图像细节较为模糊，即颜色衰减和对比度降低。因此，研究改善雾霾图像质量提升方法和技术在诸多领域具有重要意义，例如：航空图像、图像分类、图像恢复和图像识别等。
根据参考文献：Zhu,Y.；Min,W.；Jiang,S.Attribute-Guided Feature Learningfor Few-Shot Image Recognition.IEEE Transactions on Multimedia.2020(EarlyAccess)，图像去雾的主要方法是对雾霾图像中雾霾成分进行有效地处理，其中，大气散射模型被广泛应用于雾霾图像的去雾，去雾后图像质量由传输函数和深度场景确定，因此在获得去雾图像的算法过程中，合理的估计传输函数和深度场景的值是一个关键问题，近年来，学者们提出了诸多雾霾图像的去雾方法，这些方法可分为两类：图像复原方法和图像增强方法。
图像复原法很容易通过大气散射模型得到暗通道优先算法(DCP)，但是DCP方法对雾霾图像的处理效果较差，处理后的图像看起来较为暗淡，为克服DCP算法不足，学者们提出诸多改进算法其中，Zhu等人提出了一种基于物理散射模型的线性去雾算法：Zhu,Q.；Mai,J.；Shao,L.A fast single image haze removal algorithm using colorattenuation prior.IEEE transactions on image processing.2015,24(11),3522-3533，深度场景由基于场景亮度和图像饱和度的线性模型估计得到。另一方面，为了恢复图像，基于贝叶斯的去雾方法在过去的十几年得到了深入地研究，Nishino等人提出了第一种贝叶斯去雾方法：Nishino,K.；Kratz,L.；Lombardi,S.Bayesiandefogging.International journal of computer vision.2012,98(3),263-278。基于机器学习图像去雾方法，主要利用端到端模型对雾霾图像进行处理。Cai等人提出一种可训练的端到端模型：Cai,B.；Xu,X.；Jia,K.；Qing,C.；Tao,D.Dehazenet:An end-to-end systemfor single image haze removal.IEEE Transactions on Image Processing.2016,25,11,5187-5198，称为DehazeNet，用于计算传输函数，该模型采用卷积神经网络。此外，Swami和Das提出了基于条件对抗网络的雾霾图像去雾(CANDY)模型：Swami,K.；Das,S.K.Candy:Conditional adversarial networks based end-to-end system for single imagehaze removal.In 2018 24th International Conference on PatternRecognition.2018,3061-3067，这是一个完全端到端的系统，该模型可直接获得去雾后的图像。
图像增强方法的相关研究主要可以分为两个子类：特征提取方法和融合方法。
在特征提取方法中，Rong和Jun提出了一种基于Retinex的改进型小波变换：Rong,Z.；Jun,W.L.Improved wavelet transform algorithm for single imagedehazing.Optik.2014,125,13,3064-3066，用于改善单幅雾霾图像的颜色。Tan在Tan,R.T.Visibility in bad weather from a single image.In IEEE Conference onComputer Vision and Pattern Recognition.2008,1-8中假设去雾图像的对比度高于雾霾图像，为了达到去除雾霾的目的，引入马尔可夫随机区域。然而，此方法会在去雾图像中产生过饱和现象。
在融合方法中，首先对雾霾图像引入白平衡和增强对比度算法。其次，从亮度、色度和显著性中得到三个权值函数，然后分别对两幅分解后的图像和三个权值函数使用拉普拉斯金字塔和高斯金字塔。最后，采用多尺度融合映射对两幅图像进行融合，得到去雾后图像：Ancuti,C.O.；Ancuti,C.Single image dehazing by multi-scale fusion.IEEETransactions on Image Processing.2013,22,8,3271-3282。在此基础上，在文献：Ren,W.；Liu,S.；Zhang,H.；Pan,J.；Cao,X.；Yang,M.H.Single image dehazing via multi-scale convolutional neural networks.In Proceedings of the IEEE Conference oncomputer vision.2016,154-169、Li,Y.；Miao,Q.；Liu,R.；Song,J.；Quan,Y.；Huang,Y.Amulti-scale fusion scheme based on haze-relevant features for single imagedehazing.Neurocomputing.2018,283,73-86、Zhang,H.；Sindagi,V.；Patel,V.M.Multi-scale single image dehazing using perceptual pyramid deep network.InProceedings of the IEEE conference on computer vision and pattern recognitionworkshops.2018,902-911、Zhao,D.；Xu,L.；Yan,Y.；Chen,J.；Duan,L.Y.Multi-scaleOptimal Fusion model for single image dehazing.Signal Processing:ImageCommunication.2019,74,253-265、Li,Y.；Sun,Y.；Zheng,M.；Huang,X.；Qi,G.；Hu,H.；Zhu,Z.Anovel multi-exposure image fusion method based on adaptive patchstructure.Entropy.2018,20,12,935、Zhu,Z.；Chai,Y.；Yin,H.；Li,Y.；Liu,Z.A noveldictionary learning approach for multi-modality medical imagefusion.Neurocomputing.2016,214,471-482和Galdran,A.Image dehazing byartificial multiple-exposure image fusion.Signal Processing.2018,149,135-147中提出了更多的相关工作。
此外，特征融合注意网络(FFA-Net)是一种新的雾霾图像去雾方法。该方法提出了一种新的特征注意(FA)模块，将信道注意与像素注意机制相结合。FA针对性地处理不同的特征和像素，这为处理不同类型的信息提供了额外的灵活性，扩展了CNNs的表示能力。同时，在网络中采用多级特征融合方法自适应地计算不同层次特征的权重。其他相关研究见文献：Wu,S.；Zhou,J.MSFA-Net:a Network for Single Image Deraining.Journal ofPhysics.2020,1584,1,012047、Yang,D.；Sun,J.Proximal dehaze-net:A priorlearning-based deep network for single image dehazing.In Proceedings of theEuropean Conference on Computer Vision.2018,702-717、Salazar-Colores,S.；Cruz-Aceves,I.；Ramos-Arreguin,J.M.Single image dehazing using a multilayerperceptron.Journal of Electronic Imaging.2018,27,4,043022、Tian,Y.；Wang,Y.；Yang,L.；Qi,Z.CANet:Concatenated Attention Neural Network for ImageRestoration.IEEE Signal Processing Letters.2020,27,1615-1619、Tang,K.；Yang,J.；Wang,J.Investigating haze-relevant features in alearning framework for imagedehazing.In Proceedings of the IEEE conference on computer vision and patternrecognition.2014,1615-1619、Yu,T.；Song,K.；Miao,P.；Yang,G.；Yang,H.；Chen,C.Nighttime Single Image Dehazing via Pixel-Wise Alpha Blending.IEEEAccess.2019,7,114619-114630、Sun,Z.；Han,B.；Li,J.；Zhang,J.；Gao,X.Weightedguided image filtering with steering kernel.IEEE Transactions on ImageProcessing.2019,29,500-508、He,K.；Sun,J.；Tang,X.Guided image filtering.IEEEtransactions on pattern analysis and machine intelligence.2012,35,6,1397-1409和Li,Z.；Zheng,J.；Zhu,Z.；Yao,W.；and Wu,S.Weighted guided image filtering.IEEETransactions on Image processing.2014,24,1,120-129。
综上所述，图像去雾的算法的过程中，合理地估计环境光照和传输函数值是一个关键问题。因此，本发明利用线性模型估计环境光照和传输函数值。为了得到更合适的环境光照、大气参数和深度场景值，本发明将雾霾图像分为不同的子块，然后利用高斯滤波对相邻子块的边缘进行处理。
发明内容
发明目的：本发明的目的是提供一种基于线性学习模型的图像去雾方法，能够有效得到去雾后的图像。
技术方案：本发明所述的一种基于线性学习模型的图像去雾方法，包括以下步骤：
S1：运用大气散射模型对雾霾图像去雾，即：
I(x)＝t(x)J(x)+(1-t(x))A (1)
其中I(x)为有雾图像，J(x)为去雾图像，A代表环境中光照分量，t(x)，0＜t(x)＜1是像素x的深度权重因子，传输函数t(x)可以表示为：
t(x)＝e-ad(x) (2)
其中d(x)代表深度场景，a代表大气参数，为常数；
S2：利用彩色雾霾图像各分量(R，G，B)的通道差分CD图，将雾霾图像划分为不同的子块：
其中d1和d2是x∈ωd的像素索引，ωd是像素d处的窗口，用N来表示窗口ωd中的像素数；
S3：根据S1中方程(2)计算大气参数a；
S4：在图像HSV颜色空间中建立三变量线性模型估计深度场景d(x)；
S5：训练三变量线性模型；
S6：训练三变量线性模型中线性模型系数；
S7：对利用基于多项式核的引导滤波器来对环境光照进行估计；
S8：对去雾图像J(x)进行计算。
作为优选，所述S3中计算大气参数a时，根据不同雾霾图像的特点，大气参数a的取值不同，同时雾霾图像有三个分量(H，V，S)，与所有子块都具有相关性，大气参数a可用如下式计算：
其中correction表示对三个分量的修正。
作为优选，所述S4中线性模型相较于传统的基于雾霾图像的亮度分量和饱和度分量构建的线性模型，是基于色调、亮度和饱和度的改进型线性模型：
dk(x)＝β0+β1bk(x)+β2sk(x)+β3hk(x)+εk(x),x∈ωk,x∈ωd (5)
其中β0是一个未知常数，β1、β2和β3是线性模型的未知系数，bk、sk和hk分别是HSV颜色空间中雾霾图像的亮度分量、饱和度分量和色调分量，εk代表线性模型的随机误差变量，进一步的ε作为一个随机图像，假设ε为高斯分布函数，期望值为零，方差为σ2(即ε(x)～N(0,σ))，根据高斯分布特性，将公式(5)重新表示为：
作为优选，所述S5中训练线性模型包括以下步骤：
S5.1：收集雾霾图像，为每幅无雾图像生成一个大小相同的随机深度场景，合成的深度场景在(0，1)中服从标准均匀分布；
S5.2：在(0.85，1)中随机生成环境光照A(x)；
S5.3：根据S1中方程(1)和(2)得到雾霾图像。
作为优选，所述S6中训练三变量线性模型中线性模型系数包括以下步骤：
S6.1：根据方程(6)，联合条件表示为：
其中n是训练图像ωd区域内的总像素数，dk(xn)表示第n个场景像素的深度，Lk表示似然性，k是各子块的索引；
S6.2：为了求解方程(7)，假设训练图像ωd区域内每个场景像素的统计误差是独立的，方程(7)重新表示为：
S6.3：结合方程(6)和(8)，可以得到：
其中dgi表示第n个场景像素的实际深度值；
S6.4：使方程(9)最大化来获得β1、β2、β3和σ的最佳值，利用最大似然估计方法计算β1、β2、β3和σ的值，将本问题表述为如下优化模型：
S6.5：根据方程(10)，将ln(L)关于σ的偏导数设为零，可得：
S6.6：根据方程(11)可得：
同理，可得：
S6.7：利用迭代方程来更新线性模型的系数，如下所示：
作为优选，所述S7中对利用基于多项式核的引导滤波器来对环境光照进行估计包括以下步骤：
S7.1：根据方程(1)，两个分量的乘积可以用来表示一个清晰的图像J，使得Q为观测目标的反射分量，J(x)可以表示为：
J(x)＝A(x)Q(x) (15)
因此将方程(1)重写为：
I(x)＝A(x)(Q(x)t(x)+1-t(x)) (16)
其中A(x)视为有雾图像低频区域的空间平滑函数，Q(x)t(x)+1-t(x)视为有雾图像的高频区域；
S7.2：预测低频A(x)：
Ak(x)＝ηkIk(x)+γk,x∈ωd (17)
其中ηk和γk是系数；
S7.3：求解在损失函数中引入平滑项获得ηk和γk的值，表示如下：
S7.4：利用最小二乘法求解方程(18)，可得：
其中是以Ik为中心的区域ωd内所有像素的平均值，μk和δk分别表示以Ik为中心的区域ωd内所有像素的平均值和方差；
S7.5：将方程(17)重写为：
引入一种平均值策略，可以表示为：
其中和/>分别是ηk和γk的平均值
S7.6：多项式核用方程(22)来表示：
ρki＝ρ(xk,xi)＝(xk.xi+1)p,x∈ωd (22)
因此将方程(21)重新表示为：
其中和/>表示ηi和γi在区域ωd内的多项式核均值。
作为优选，所述S8中对去雾图像J(x)的计算包括以下步骤：
S8.1：结合S1至S7，可得：
S8.2：将传输函数值t(x)取值区间设为[mk,Mk]来避免引入噪声信息，可以将方程(24)改写为：
其中：
有益效果：本发明相较于现有的去雾方法，能够有效提高输出的图片质量。
附图说明
图1是本发明系统框图；
图2是利用无雾图像钩尖训练样本集示意图；
图3是有雾图像示例；
图4是室外有雾图像去雾对比实验结果；
图5是室内有雾图像去雾对比实验结果。
具体实施方式
下面结合具体实施例对本发明做进一步的阐述。
如图1所示为本发明的系统框图，本发明提供的一种基于线性学习模型的图像去雾方法，包括以下步骤：
S1：运用大气散射模型对雾霾图像去雾，即：
I(x)＝t(x)J(x)+(1-t(x))A (1)
其中I(x)为有雾图像，J(x)为去雾图像，A代表环境中光照分量，t(x)，0＜t(x)＜1是像素x的深度权重因子，传输函数t(x)可以表示为：
t(x)＝e-ad(x) (2)
其中d(x)代表深度场景，a代表大气参数，为常数；
S2：利用彩色雾霾图像各分量(R，G，B)的通道差分CD图，将雾霾图像划分为不同的子块：
其中d1和d2是x∈ωd的像素索引，ωd是像素d处的窗口，用N来表示窗口ωd中的像素数；
S3：根据S1中方程(2)计算大气参数a，在计算大气参数a时，根据不同雾霾图像的特点，大气参数a的取值不同，同时雾霾图像有三个分量(H，V，S)，与所有子块都具有相关性，大气参数a可用如下式计算：
其中correction表示对三个分量的修正；
S4：在图像HSV颜色空间中建立三变量线性模型估计深度场景d(x)，相较于传统的基于雾霾图像的亮度分量和饱和度分量构建的线性模型，本发明中的线性模型是基于色调、亮度和饱和度的改进型线性模型：
dk(x)＝β0+β1bk(x)+β2sk(x)+β3hk(x)+εk(x),x∈ωk,x∈ωd (5)
其中β0是一个未知常数，β1、β2和β3是线性模型的未知系数，bk、sk和hk分别是HSV颜色空间中雾霾图像的亮度分量、饱和度分量和色调分量，εk代表线性模型的随机误差变量，进一步的ε作为一个随机图像，假设ε为高斯分布函数，期望值为零，方差为σ2(即ε(x)～N(0,σ))，根据高斯分布特性，将公式(5)重新表示为：
S5：训练三变量线性模型，如图2所示，具体包括以下步骤：
S5.1：从百度和谷歌收集雾霾图像，为每幅无雾图像生成一个大小相同的随机深度场景，合成的深度场景在(0，1)中服从标准均匀分布；
S5.2：在(0.85，1)中随机生成环境光照A(x)；
S5.3：根据S1中方程(1)和(2)得到雾霾图像，在本发明中，为了获得方程(5)的系数，利用500张无雾图像产生训练数据集。
S6：训练三变量线性模型中线性模型系数，具体包括以下步骤：
S6.1：根据方程(6)，联合条件表示为：
其中n是训练图像ωd区域内的总像素数，dk(xn)表示第n个场景像素的深度，Lk表示似然性，k是各子块的索引；
S6.2：为了求解方程(7)，假设训练图像ωd区域内每个场景像素的统计误差是独立的，方程(7)重新表示为：
S6.3：结合方程(6)和(8)，可以得到：
其中dgi表示第n个场景像素的实际深度值；
S6.4：使方程(9)最大化来获得β1、β2、β3和σ的最佳值，利用最大似然估计方法计算β1、β2、β3和σ的值，将本问题表述为如下优化模型：
S6.5：根据方程(10)，将ln(L)关于σ的偏导数设为零，可得：
S6.6：根据方程(11)可得：
同理，可得：
S6.7：利用迭代方程来更新线性模型的系数，如下所示：
在本发明中采用百度和Google的无雾图像生成的500幅雾霾图像训练基于三变量的线性模型，其迭代次数的最大值为623。经过训练后，可得线性模型系数β1、β2、β3和σ的值分别为-0.034758，0.98446，-0.99768，0.97693和0.0207。
S7：对利用基于多项式核的引导滤波器来对环境光照进行估计，具体包括以下步骤：
S7.1：根据方程(1)，两个分量的乘积可以用来表示一个清晰的图像J，使得Q为观测目标的反射分量，J(x)可以表示为：
J(x)＝A(x)Q(x) (15)
因此将方程(1)重写为：
I(x)＝A(x)(Q(x)t(x)+1-t(x)) (16)
其中A(x)视为有雾图像低频区域的空间平滑函数，Q(x)t(x)+1-t(x)视为有雾图像的高频区域；
S7.2：预测低频A(x)：
Ak(x)＝ηkIk(x)+γk,x∈ωd (17)
其中ηk和γk是系数；
S7.3：求解在损失函数中引入平滑项获得ηk和γk的值，表示如下：
S7.4：利用最小二乘法求解方程(18)，可得：
其中是以Ik为中心的区域ωd内所有像素的平均值，μk和δk分别表示以Ik为中心的区域ωd内所有像素的平均值和方差；
S7.5：将方程(17)重写为：
引入一种平均值策略，可以表示为：
其中和/>分别是ηk和γk的平均值
S7.6：多项式核用方程(22)来表示：
ρki＝ρ(xk,xi)＝(xk.xi+1)p,x∈ωd (22)
因此将方程(21)重新表示为：
其中和/>表示ηi和γi在区域ωd内的多项式核均值。
S8：对去雾图像J(x)进行计算，具体包括以下步骤：
S8.1：结合S1至S7，可得：
S8.2：将传输函数值t(x)取值区间设为[mk,Mk]来避免引入噪声信息，可以将方程(24)改写为：
其中：
在本发明中，我们从主观和客观两个方面对所提出的方法进行评价。选取一定数量的模糊/雾霾图像进行实验，图像来自RTTS、HSTS和SOTS公共数据集，上述公共数据集的图片在光照条件较差或雾天的环境下采集得到。实验用图分为室外(image#1-#5)和室内(image#6-#10)有雾图像。图3显示了部分有雾图像示例。我们采用Windows 10操作系统，用MATLAB R2018a作为软件平台。计算机的主要配置为Intel(R)Core(TM)i7-4712MQ CPU@3.40GHz(with 12G memory)。
在公共数据集中，与其他六种目前性能比较好的图像去雾方法进行比较，分别是：DCP方法：He,K.；Sun,J.；Tang,X.Single image haze removal using dark channelprior.IEEE transactions on pattern analysis and machine intelligence.2010,33,12,2341-2353、Zhu et al.方法：Zhu,Q.；Mai,J.；Shao,L.A fast single image hazeremoval algorithm using color attenuation prior.IEEE transactions on imageprocessing.2015,24(11),3522-3533、AMEF方法：Galdran,A.Image dehazing byartificial multiple-exposure image fusion.Signal Processing.2018,149,135-147、Salazar et al.方法：Salazar-Colores,S.；Cruz-Aceves,I.；Ramos-Arreguin,J.M.Single image dehazing using a multilayer perceptron.Journal of ElectronicImaging.2018,27,4,043022、Ren et al.方法：Ren,W.；Liu,S.；Zhang,H.；Pan,J.；Cao,X.；Yang,M.H.Single image dehazing via multi-scale convolutional neuralnetworks.In Proceedings of the IEEE Conference on computer vision.2016,154-169和Yang et al.方法：Yang,D.；Sun,J.Proximal dehaze-net:A prior learning-baseddeep network for single image dehazing.In Proceedings of the EuropeanConference on Computer Vision.2018,702-717。室外(image#1-#5)和室内(image#6-#10)有雾图像去雾对比实验结果如图4和图5所示，其中(a)为原始图像，(b)为DCP方法，(c)为Zhu et al.方法，(d)为AMEF方法，(e)为Salazar et al.方法，(f)为Ren et al.方法，(g)为Yang et al.方法，(h)为本发明所提算法。
此外，为了客观地测试本发明提出的去雾方法的性能，通过四个客观评价指标来评估本发明所提算法和其他算法对图像增强的结果，包括：均方根对比度(RMS)，离散信息熵值(DE)，结构相似性平均值(MSSIM)和特征相似度(FSIM)。
表1.测试图像的RMS计算值对比
表2.测试图像的DE计算值对比
表3.测试图像的MSSIM计算值对比
表4.测试图像的FSIM计算值对比
/>
Claims (6)
1.一种基于线性学习模型的图像去雾方法，其特征在于：包括以下步骤：
S1：运用大气散射模型对雾霾图像去雾，即：
I(x)＝t(x)J(x)+(1-t(x))A (1)
其中I(x)为有雾图像，J(x)为去雾图像，A代表环境中光照分量，t(x)，0＜t(x)＜1是像素x的深度权重因子，传输函数t(x)表示为：
t(x)＝e-ad(x) (2)
其中d(x)代表深度场景，a代表大气参数，为常数；
S2：利用彩色雾霾图像各分量(R，G，B)的通道差分CD图，将雾霾图像划分为不同的子块：
其中d1和d2是x∈ωd的像素索引，ωd是像素d处的窗口，用N来表示窗口ωd中的像素数；
S3：根据S1中方程(2)计算大气参数a；
S4：在图像HSV颜色空间中建立三变量线性模型估计深度场景d(x)；
S5：训练三变量线性模型；
S6：训练三变量线性模型中线性模型系数；
S7：对利用基于多项式核的引导滤波器来对环境光照进行估计，具体包括以下步骤：
S7.1：根据方程(1)，两个分量的乘积用来表示一个清晰的图像J，使得Q为观测目标的反射分量，J(x)表示为：
J(x)＝A(x)Q(x) (15)
因此将方程(1)重写为：
I(x)＝A(x)(Q(x)t(x)+1-t(x)) (16)
其中A(x)视为有雾图像低频区域的空间平滑函数，Q(x)t(x)+1-t(x)视为有雾图像的高频区域；
S7.2：预测低频A(x)：
Ak(x)＝ηkIk(x)+γk,x∈ωd (17)
其中ηk和γk是系数；
S7.3：求解在损失函数中引入平滑项获得ηk和γk的值，表示如下：
S7.4：利用最小二乘法求解方程(18)，可得：
其中是以Ik为中心的区域ωd内所有像素的平均值，μk和δk分别表示以Ik为中心的区域ωd内所有像素的平均值和方差；
S7.5：将方程(17)重写为：
引入一种平均值策略，表示为：
其中和/>分别是ηk和γk的平均值
S7.6：多项式核用方程(22)来表示：
ρki＝ρ(xk，xi)＝(xk.xi+1)p,x∈ωd (22)
因此将方程(21)重新表示为：
其中和/>表示ηi和γi在区域ωd内的多项式核均值；
S8：对去雾图像J(x)进行计算。
2.根据权利要求1所述的一种基于线性学习模型的图像去雾方法，其特征在于：所述S3中计算大气参数a时，根据不同雾霾图像的特点，大气参数a的取值不同，同时雾霾图像有三个分量(H，V，S)，与所有子块都具有相关性，大气参数a可用如下式计算：
其中correction表示对三个分量的修正。
3.根据权利要求1所述的一种基于线性学习模型的图像去雾方法，其特征在于：所述S4中线性模型相较于传统的基于雾霾图像的亮度分量和饱和度分量构建的线性模型，是基于色调、亮度和饱和度的改进型线性模型：
dk(x)＝β0+β1bk(x)+β2sk(x)+β3hk(x)+εk(x),x∈ωk,x∈ωd (5)
其中β0是一个未知常数，β1、β2和β3是线性模型的未知系数，bk、sk和hk分别是HSV颜色空间中雾霾图像的亮度分量、饱和度分量和色调分量，εk代表线性模型的随机误差变量，进一步的ε作为一个随机图像，假设ε为高斯分布函数，期望值为零，方差为σ2(即ε(x)～N(0,σ))，根据高斯分布特性，将公式(5)重新表示为：
4.根据权利要求1所述的一种基于线性学习模型的图像去雾方法，其特征在于：所述S5中训练线性模型包括以下步骤：
S5.1：收集雾霾图像，为每幅无雾图像生成一个大小相同的随机深度场景，合成的深度场景在(0，1)中服从标准均匀分布；
S5.2：在(0.85，1)中随机生成环境光照A(x)；
S5.3：根据S1中方程(1)和(2)得到雾霾图像。
5.根据权利要求3所述的一种基于线性学习模型的图像去雾方法，其特征在于：所述S6中训练三变量线性模型中线性模型系数包括以下步骤：
S6.1：根据方程(6)，联合条件表示为：
其中n是训练图像ωd区域内的总像素数，dk(xn)表示第n个场景像素的深度，Lk表示似然性，k是各子块的索引；
S6.2：为了求解方程(7)，假设训练图像ωd区域内每个场景像素的统计误差是独立的，方程(7)重新表示为：
S6.3：结合方程(6)和(8)，得到：
其中dgi表示第n个场景像素的实际深度值；
S6.4：使方程(9)最大化来获得β1、β2、β3和σ的最佳值，利用最大似然估计方法计算β1、β2、β3和σ的值，将本问题表述为如下优化模型：
S6.5：根据方程(10)，将ln(L)关于σ的偏导数设为零，可得：
S6.6：根据方程(11)可得：
同理，可得：
S6.7：利用迭代方程来更新线性模型的系数，如下所示：
6.根据权利要求1所述的一种基于线性学习模型的图像去雾方法，其特征在于：所述S8中对去雾图像J(x)的计算包括以下步骤：
S8.1：结合S1至S7，可得：
S8.2：将传输函数值t(x)取值区间设为[mk,Mk]来避免引入噪声信息，将方程(24)改写为：
其中：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110042952.XA CN112712482B (zh) | 2021-01-13 | 2021-01-13 | 一种基于线性学习模型的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110042952.XA CN112712482B (zh) | 2021-01-13 | 2021-01-13 | 一种基于线性学习模型的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112712482A CN112712482A (zh) | 2021-04-27 |
| CN112712482B true CN112712482B (zh) | 2023-10-31 |
Family
ID=75548973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110042952.XA Active CN112712482B (zh) | 2021-01-13 | 2021-01-13 | 一种基于线性学习模型的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712482B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450284B (zh) * | 2021-07-15 | 2023-11-03 | 淮阴工学院 | 一种基于线性学习模型和平滑形态学重建的图像去雾方法 |
| CN113643323B (zh) * | 2021-08-20 | 2023-10-03 | 中国矿业大学 | 城市地下综合管廊尘雾环境下目标检测系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140140619A1 (en) * | 2011-08-03 | 2014-05-22 | Sudipta Mukhopadhyay | Method and System for Removal of Fog, Mist, or Haze from Images and Videos |
| CN105354801A (zh) * | 2015-10-13 | 2016-02-24 | 苏州汉基视测控设备有限公司 | 一种基于hsv色彩空间的图像增强方法 |
| CN110570365A (zh) * | 2019-08-06 | 2019-12-13 | 西安电子科技大学 | 基于先验信息的图像去雾方法 |
-
2021
- 2021-01-13 CN CN202110042952.XA patent/CN112712482B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140140619A1 (en) * | 2011-08-03 | 2014-05-22 | Sudipta Mukhopadhyay | Method and System for Removal of Fog, Mist, or Haze from Images and Videos |
| CN105354801A (zh) * | 2015-10-13 | 2016-02-24 | 苏州汉基视测控设备有限公司 | 一种基于hsv色彩空间的图像增强方法 |
| CN110570365A (zh) * | 2019-08-06 | 2019-12-13 | 西安电子科技大学 | 基于先验信息的图像去雾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112712482A (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN112712482B (zh) | 一种基于线性学习模型的图像去雾方法 | |
| CN107292830B (zh) | 低照度图像增强及评价方法 | |
| CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
| CN111598791B (zh) | 一种基于改进动态大气散射系数函数的图像去雾方法 | |
| CN110163807B (zh) | 一种基于期望亮通道的低照度图像增强方法 | |
| CN110097522B (zh) | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 | |
| CN111242868B (zh) | 暗视觉环境下基于卷积神经网络的图像增强方法 | |
| Feng et al. | Low-light image enhancement algorithm based on an atmospheric physical model | |
| Das et al. | A comparative study of single image fog removal methods | |
| Khan et al. | Recent advancement in haze removal approaches | |
| Zou et al. | Image haze removal algorithm using a logarithmic guide filtering and multi-channel prior | |
| CN110009575B (zh) | 基于稀疏表示的红外图像条带噪声抑制方法 | |
| Lv et al. | Low‐light image haze removal with light segmentation and nonlinear image depth estimation | |
| CN114549343A (zh) | 基于双支残差特征融合去雾方法 | |
| CN105005976B (zh) | 一种基于融合的红外图像增强方法 | |
| Li et al. | SE–RWNN: an synergistic evolution and randomly wired neural network‐based model for adaptive underwater image enhancement | |
| CN113313683A (zh) | 基于元迁移学习的无参考视频质量评价方法 | |
| Xie et al. | DHD-Net: A novel deep-learning-based dehazing network | |
| CN114066786A (zh) | 一种基于稀疏和滤波器的红外和可见光图像融合方法 | |
| Shi et al. | Deep quality assessment toward defogged aerial images | |
| Dutta et al. | Multi-Objective Adaptable Atmospheric Light and Depth Map Quantization Level Dehazing With CSA | |
| Ranjan et al. | Image Denoising using Convolutional Neural Network | |
| Ren et al. | An Image Defogging Method Based on Depth CNN Network | |
| Li et al. | An End-to-end Learning Based Covolutional Neural Network for Single Image Defogging Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231201 Address after: Room 810, Building B3, Wisdom Valley, No. 19 Meigao Road, Huai'an Economic and Technological Development Zone, Huai'an City, Jiangsu Province, 223005 Patentee after: Huai'an Jiapu Electronic Technology Co.,Ltd. Address before: 223003 No.1, Meicheng East Road, qingjiangpu District, Huai'an City, Jiangsu Province Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY |
|
| TR01 | Transfer of patent right |