CN116109513B - 一种基于局部环境光投影恒常先验的图像去雾方法 - Google Patents
一种基于局部环境光投影恒常先验的图像去雾方法 Download PDFInfo
- Publication number
- CN116109513B CN116109513B CN202310167460.2A CN202310167460A CN116109513B CN 116109513 B CN116109513 B CN 116109513B CN 202310167460 A CN202310167460 A CN 202310167460A CN 116109513 B CN116109513 B CN 116109513B
- Authority
- CN
- China
- Prior art keywords
- ambient light
- formula
- pixel
- local ambient
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 230000001976 improved effect Effects 0.000 claims abstract description 13
- 238000011084 recovery Methods 0.000 claims abstract description 7
- 238000002834 transmittance Methods 0.000 claims description 24
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 14
- 150000001875 compounds Chemical class 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 8
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012634 optical imaging Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 239000013256 coordination polymer Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 230000016776 visual perception Effects 0.000 abstract description 6
- 230000005355 Hall effect Effects 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 108091006146 Channels Proteins 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 239000003595 mist Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于局部环境光投影恒常先验的图像去雾方法，包括以下步骤：S1、基于预先构建的局部环境光投影恒常先验，获得雾天图像的全局环境光和局部环境光；S2、利用局部环境光投影恒常先验和全局环境光估计透射率，进一步优化透射率；S3、以局部环境光替代大气散射成像模型中的全局环境光，并基于Retinex理论，获得改进大气散射成像模型；S4、将局部环境光、优化后的透射率代入改进大气散射成像模型，输出雾天图像的去雾复原图像。相比与同类先验去雾算法，本发明提出的先验及去雾方法稳健高效，不但可避免引入人造干扰，如霍尔效应、异常颜色块，亦可保护去雾场景的亮度，去雾复原效果更加符合视觉感知。
Description
技术领域
本发明属于图像去雾技术领域，具体涉及一种基于局部环境光投影恒常先验的图像去雾方法。
背景技术
雾会影响大多室外成像设备获取信息的准确性。基于物理模型的复原策略根据大气散射模型，通过获取模型中透射率和环境光两大成像参数复原无雾场景，去雾能力提升明显，是目前研究和应用的主流去雾手段。
挖掘先验是获取成像参数实施去雾复原的有效方式，例如暗原色先验DCP、颜色衰减先验CAP、雾线先验HL、颜色通道差值有界先验BCP、伽马校验先验GCP等。以上述先验为基础，去雾方法主要包括像素级、图像块级以及先验结合学习策略三类。
像素级先验去雾通过挖掘单个像素颜色通道信息估计图像的透射率和环境光，这类方法的优点在于复杂度低运算速度快，其缺点在于先验中缺乏局部或全局特征信息，体现在常带来细节退化以及雾梯度变化较大像素处雾影残留。
图像块级先验策略以局部像素块为基础提取特征信息估计雾天图像的透射率，相比于像素级先验，像素块信息更加丰富，一般情况下，这类先验稳定性更好。但这类先验的缺点在于会引入人工干扰，如霍尔效应，人造颜色引入，且对于天空区域和连续的灰白区域先验失效，因而易导致复原结果亮度失真细节退化。
先验结合深度学习的去雾策略常以图像先验为引导建立学习系统实施图像去雾，如：以暗原色先验建立损失函数设计了一种非监督学习去雾系统(GOLTS A,FREEDMAN D,ELAD M,Unsupervised Single Image Dehazing Using Dark Channel Prior Loss[J],IEEE Transactions on Image Processing,2020,29:2692-2701.)，以暗原色去雾结果为基础，建立一种若监督去雾网络以优化复原结果的视觉感知信息(ZHAO S,ZHANG L,SHENY,et al,RefineDNet:A Weakly Supervised Refinement Framework for Sin gle ImageDehazing[J],IEEE Transactions on Image Processing,2021,30:3391-3404)。这类方法的优势在于可以通过学习的方式自适应地提取图像的特征，但训练过程中需要大量的样本数据。总体而言，这类方法处理低浓度雾天图像时效果令人满意，但处理高浓度雾天图像时性能下降明显。
此外，散射成像模型下的图像去雾普遍存在去雾结果变暗的现象。
发明内容
本发明在现有技术的基础上，提出了一种基于局部环境光投影恒常先验的图像去雾方法，设计一种局部环境光投影恒常先验结合大气散射成像模型。
本发明通过以下技术方案来实现上述目的：
一种基于局部环境光投影恒常先验的图像去雾方法，包括如下步骤：
S1、基于预先构建的局部环境光投影恒常先验，获得雾天图像的全局环境光和局部环境光；其中，所述局部环境光投影恒常先验以局部环境光和无雾像素的法向投影数值稳定为基础构建；
S2、利用所述局部环境光投影恒常先验和全局环境光估计透射率，进一步利用预先构建的自适应阈值引导的L1-TV滤波算法优化透射率，获得优化后的透射率；其中，所述自适应阈值引导的L1-TV滤波算法包括滤波函数模型和自适应阈值函数模型；
S3、以所述局部环境光替代大气散射成像模型中的全局环境光，并基于Retinex理论，获得改进大气散射成像模型；
S4、将所述局部环境光、所述优化后的透射率代入所述改进大气散射成像模型，输出所述雾天图像的去雾复原图像。
作为本发明的进一步优化方案，所述S1具体为：
步骤1.1、构建局部环境光投影恒常先验
基于光学成像理论，雾天图像可采用大气散射成像模型表达，方程如下：
xi＝yi·ti+A(1-ti) (1)
上式中，xi是雾天图像x在位置(i1,i2)处的像素值，yi是对应的无雾像素，ti是该像素的透射率，A是全局环境光；
在自然雾天图像中，透射率表达式满足：
其中，γ是环境光衰减因子，di是像素景深；
在无雾图像中，若移动很小的位置，可认为像素值的变化趋于零，此过程可描述为：
式(3)中，是像素值变化，θ是像素的梯度方向和其所在背景的法方向的夹角，是像素yi从其梯度方向背景的法线方向的投影；
式(4)中，是像素的梯度幅度，由于局部环境光一致，结合式(3)和式(1)，故有，
上式中，是雾天图像中像素xi的法向投影变化量，计算方式与/>相同，雾会使得像素的切线方向和其背景的法线方向夹角变小，故/>会变大；式(5)中，由于A是常数，其表示局部环境光稳定，即其在任何方向的投影不变，结合式(3)和(5)，可得，
式(6)中，等号右侧项(1-ti)A即为局部环境光，通过计算局部区域的中各颜色通道中最大的进一步得到，如下式：
式(7)中，参数Ωi是以像素xi为中心的窗口，利用式(7)，局部环境光投影恒常先验可表达为：
式(8)中，ACPi是像素xi的环境光；
步骤1.2、计算全局环境光和局部环境光
由式(1)(2)(7)可知透射率最小像素的环境光视为全局环境光，根据式(8)可计算出全局环境光，
式(9)中Ωx表示整个雾天图像空间；
根据ACP的物理意义，采取如下方式估计局部环境光，
式(10)中，是像素xi的局部环境光，f是关于ACPi的函数。
作为本发明的进一步优化方案，所述S2具体为：
步骤2.1、透射率估计
利用所述ACP先验根据像素的投影变换提取局部环境光，由式(7)、式(8)和式(10)可知，像素的透射率可表达为：
ti＝1-β·ACPi/A (11)
式(11)中，参数β∈[0,1]；
步骤2.2、优化透射率
通过构造引导函数并引入L1-TV模型，并以原始图像的区域平均梯度为阈值平衡透射率的平滑和保真，滤波函数模型如下：
其中，λ是平衡保真项和正则项的参数，∈是自适应阈值函数，模型如下：
式(13)中，sign是符号函数，||是取绝对值运算，参数α用于抑制梯度较小像素的细节，σ是像素所在区域的平均梯度，在窗口Ωi中计算得到，使用ADMM优化算法求解式(12)，获得优化后的透射率
作为本发明的进一步优化方案，所述S3具体为：
由于现实成像过程一定存在背光、面光和遮挡等现象，因而将式(1)中的全局环境光替换为局部环境光：
式(14)中，即为式(10)中表达的环境光，其函数关系如下：
此外，式(1)和式(14)中，yi的系数为1，根据Retinex理论，该系数是入射光强度，而事实上，每个像素的入射光应由局部的环境光决定，故式(14)可进一步修改为：
获得改进大气散射成像模型。
作为本发明的进一步优化方案，在S4中采用min运算用于防止复原过程中雾天图像中高亮度像素的复原结果过大，具体为：
式(17)中，min运算的目的是防止复原过程中雾天图像中高亮度像素的复原结果过大，表示无雾像素yi在颜色通道C上的像素值，/>表示雾天图像像素xi在颜色通道C上的像素值，这里C∈{R,G,B}，引入数据0.1以防止引入噪声干扰。
本发明的有益效果在于：
本发明依据图像局部环境光恒定和无雾像素于法向投影变化趋于零两大数据特征，提出一种局部环境光投影恒常先验，并结合大气散射成像模型设计一种图像去雾算法。该算法首先实施像素法向投影变换估计图像透射率和环境光；然后，采用自适应阈值引导的L1-TV滤波算法平衡透射率的连续性和细节变化性，从而进一步优化透射率数据；此外，为了克服传统散射模型带来的复原结果变暗问题，该算法将局部入射光和局部环境光两个参数引入模型对其改进。最后，将透射率和局部环境光带入改进的成像模型输出去雾复原结果。对比试验实验表明，相比与同类先验去雾算法，本发明提出的先验及去雾方法稳健高效，不但可避免引入人造干扰，如霍尔效应，异常颜色块，亦可保护去雾场景的亮度，去雾复原效果更加符合视觉感知。
附图说明
图1为本发明基于局部环境光投影恒常先验的图像去雾方法的流程图；
图2为各算法对“城郊”图像的透射率图；
图3为各算法处理“城郊”图像结果图；
图4为各算法处理“楼宇一角”图像结果图；
图5为各算法处理“东方明珠电视塔”图像结果图；
图6为各算法处理“森林”图像结果图。
注：图2-6中的算法包括DCP、CAP、GCP、HL、DNet、BCP、FDG、ACP。
具体实施方式
下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。
一、局部环境光投影恒常先验
基于光学成像理论，雾天图像可采用大气散射成像模型表达，方程如下：
xi＝yi·ti+A(1-ti) (1)
上式中，xi是雾天图像x在位置(i1,i2)处的像素值，yi是对应的无雾像素，ti是该像素的透射率，A是全局环境光。
在自然雾天图像中，透射率表达式满足，
其中，γ是环境光衰减因子，di是像素景深，由于自然场景中雾的连续性，因而景深越大环境光越强，而在图像的绝大部分局部区域可认为景深一致，因而环境光保持局部恒定。
图像中的局部区域，其像素值变化沿着梯度方向变化幅度最大，相对于局部背景而言，在无雾图像中，若移动很小的位置，可认为像素值的变化趋于零，此过程可描述为：
式(3)中，是像素值变化，θ是像素的梯度方向和其所在背景的法方向的夹角，是像素yi从其梯度方向背景的法线方向的投影。
式(4)中，是像素的梯度幅度，由于局部环境光一致，结合式(3)和式(1)，故有，
上式中，是雾天图像中像素xi的法向投影变化量，计算方式与/>相同。雾会使得像素的切线方向和其背景的法线方向夹角变小，故/>会变大。式(5)中，由于A是常数，其表示局部环境光稳定，即其在任何方向的投影不变，结合式(3)和(5)，可得，
式(6)中，等号右侧项(1-ti)A即为局部环境光，我们可以通过计算局部区域的中各颜色通道中最大的进一步得到，如下式：
式(7)中，参数Ωi是以像素xi为中心的窗口，本发明选取7×7的窗口。利用式(7)，局部环境光投影恒常先验(ACP：local atmospheric light projection constancyprior)可表达为：
式(8)中，ACPi是像素xi的环境光。
二、基于ACP的图像去雾算法
如图1所示，为本发明基于局部环境光投影恒常先验的图像去雾方法的流程图，包含四步：(1)基于局部环境光投影恒常先验估计环境光，包括局部环境光和全局环境光；(2)利用局部环境光投影恒常先验和全局环境光估计图像透射率；(3)利用自适应阈值引导的L1-TV滤波算法优化透射率，用于平衡透射率的平滑和雾梯度保真；(4)改进散射成像模型下的复原，提升去雾结果的视觉效果；细节如2.1-2.4所述。
2.1环境光估计
本发明提及的环境光，包括局部环境光和全局环境光两类，由式(1)(2)(7)可知透射率最小像素的环境光可视为全局环境光，根据式(8)可计算出全局环境光，
式(9)中Ωx表示整个雾天图像空间。
根据ACP的物理意义，其描述的是局部的环境光，我们采取如下方式估计局部环境光，
式(10)中，是像素xi的局部环境光，f是关于ACPi的函数，具体函数关系将在3.4部分给出。
2.2透射率估计
透射率是散射图像模型中的核心参数，其准确性对去雾效果有直接影响。ACP先验可根据像素的投影变换提取局部环境光，由式(7)、式(8)和式(10)可知，像素的透射率可表达为：
ti＝1-β·ACPi/A (11)
式(11)中，参数β∈[0,1]，其用于在远景处保留少量的雾，以符合自然图像远景处少量雾残留的情况。
2.3自适应阈值L1-TV滤波
滤波是实现透射率的平滑和连续的主要方式，其中常用的滤波器包括导向滤波16和高斯滤波17等。本发明为了突出像素本身的细节特征，设计了一种自适应阈值引导的L1-TV滤波算法，该算法通过构造引导函数并引入L1-TV模型，并以原始图像的区域平均梯度为阈值平衡透射率的平滑和保真，滤波函数模型如下：
其中，λ是平衡保真项和正则项的参数，本发明中，λ取[0.2,0.25]之间，∈是自适应阈值函数，模型如下：
其中，λ是平衡保真项和正则项的参数，∈是自适应阈值函数，模型如下：
式(13)中，sign是符号函数，||是取绝对值运算，参数α用于抑制梯度较小像素的细节，这里α>1，本发明建议取值为α＝2.3，σ是像素所在区域的平均梯度，在窗口Ωi中计算得到，使用已知的ADMM优化算法求解式(12)，获得优化后的透射率
2.4改进成像模型下的雾天图像复原
公式(1)中将成像过程所有像素的环境光采用统一的全局环境光A，然而环境光这种取值方式与现实成像存在不符。现实成像过程一定存在背光、面光和遮挡等现象，因而环境光在局部区域大多不一致，因而将式(1)中的全局环境光修改为局部环境光更加符合实际。
式(14)中，即为式(10)中表达的环境光，其函数关系如下：
利用式(15)表达环境光的原因是，ACP数据数值较小，根据式子(1)(5)(7)和透射率表达式(11)，归一化的ACP才能更准确地表达局部环境光；透射率的计算过程引入了参数β用于保留远景像素的少许雾残留，因而为了保护远景像素的亮度，我们保留了同样的参数。该参数的数值采用原始图像中ACP数据最大的前0.1％的平均灰度值得到。
此外，式(1)和式(14)中，yi的系数为1，依据Retinex理论，该系数是入射光强度，而事实上，每个像素的入射光应由局部的环境光决定，故式(14)可进一步修改为：
将xi和/>带入式(16)，输出最终的复原结果图像。
式(17)中，min运算的目的是防止复原过程中雾天图像中高亮度像素的复原结果过大，表示无雾像素yi在颜色通道C上的像素值，/>表示雾天图像像素xi在颜色通道C上的像素值，这里C∈{R,G,B}，数据0.1的引入是防止引入噪声干扰。
三、实验
通过实验比较本发明基于ACP的图像去雾算法与当前得到广泛应用和认可的先验去雾算法。
实验计算机参数为Intel(R)Core(TM)i5-1510U CPU@1.80GHz 4.00GB RAM。软件版本为Matlab R2018a。比较算法分别为：
DCP，来源于HE K,SUN J,TANG X,Single image haze removal using dark channel prior[J],IEEE Transactions on Pattern Analysis and Machine Intelligence[J],2011,33(12):2341–2353；
CAP，来源于ZHU Q,MAI J,SHAO L,A fast single image haze removal algorithm using color attenuation prior[J],IEEE Transactions on Image Processing,2015,24(11):3522–3533；
GCP，来源于JU M,DING C,GUO Y J,et al.,IDGCP:Image Dehazing Based onGamma Correction Prior[J],IEEE Transactions on Image Processing,2020,29:3104-3118.；
HL，来源于BERMAN D,TREIBITZ T,AVIDAN S,Single image dehazing usinghaze-lines,IEEE Transactions on Pattern Analysis and Machine Intelligence[J],2020,42(3):720–734.；
DNet，来源于GOLTS A,FREEDMAN D,ELAD M,Unsupervised Single ImageDehazing Using Dark Channel Prior Loss[J],IEEE Transactions on ImageProcessing,2020,29:2692-2701.；
BCP，来源于ZHAO X,Single Image Dehazing Using Bounded ChannelDifferenc e Prior[C],2021IEEE/CVF Conference on Computer Vision and PatternRecognition Workshops(CVPR),2021:727-735；
FDG，来源于SALAZAE S,CABAL E,RAMOS J,et al.,A Fast ImageDehazingAlgorithm Using Morphological Reconstruction[J],IEEE Transactions onImage Proces sing,2019,28(5),2357-2366。
3.1主观视觉效果评价
图2(a)是景深较大的雾天“城郊”图像，图2(b)-(h)是比较算法的透射率图，图2(i)是本发明算法(ACP)的透射率图。视觉上可以看出，DCP细节保护能力不够。FDG过于细化透射率细节，使得去雾能力不足。CAP和GCP对远景区域透射率估计偏低，导致这一区域去雾不完全。BCP对远景区域透射率估计偏大，会导致过去雾。相比之下，HL，DNet及本发明所提ACP的透射率图在局部连续性和区域的变化性上更合理，DNet的不足在于楼宇区域细节和平滑之间的平衡不够，HL远景区域透射率估计缺乏层次变化，雾残留梯度会明显增加，ACP可很好地平衡细节和平滑，亦可较好地实现景深层次，透射率估计更合理，复原效果会更符合视觉感知，如图3所示。
图3是图2(a)所示图像的复原结果。结合图3(b)-(i)和对图2所示透射率的分析，DCP复原结果出现细节模糊，且近处的树枝有明显的雾影；FDG去雾能力不够，整体上看去雾结果有较多的雾残留；如对透射率图的分析，CAP和GCP远景去雾不够，复原结果有较浓的雾残留，且GCP的远景区域出现了大面积的强曝光问题；BCP对远景区域有过去雾现象，且景深最大区域出现了强曝光；HL在景深较大的区域出现了较大梯度的雾残留；DNet可较好地去雾，但其细节和场景亮度的保护不够；本发明算法ACP不但做到了有效去雾，同时也实现了对亮度和细节的保护。
图4(a)和图5(a)分别是浓雾图像和低照度雾天图像。处理结果显示：DCP和BCP处理结果雾影明显，且天空区域出现霍尔效应和颜色块；FDG去雾能力不够，复原图像中雾残留明显；CAP复原结果出现了对比度不足问题，尤其是颜色对比度；DNet在雾梯度较大的细节区域也出现了雾残留和霍尔效应；HL有较好的去雾能力，但出现了颜色失真，尤其是天空区域；GCP可以较好的保真亮度，但复原结果中对比度不足；ACP算法可实现有效雾，增强图像的对比度，同时也做到了对亮度的保真，复原结果更符合视觉感知。
图6(a)是一幅细节丰富雾天图像，可以看出DCP和BCP在远景和近景交汇区域，如进出道路上方的树叶，出现了明显的雾残留或雾影；CAP出现了细节模糊；HL增强了远景处雾的亮度，FDG消减了远景处的亮度；GCP的远景区域去雾不足；DNet去雾效果良好，但对比度不足；本发明所提出的ACP可以兼具去雾和增强特征，同时有良好的亮度保真性能。
3.2客观数据结果评价
为从客观上评价上述算法的性能，采用去雾领域通用评价参数FADE、NIQE、(边缘增长率)和(边缘平均梯度比)对自然雾天图像做无参考评价，数据如表1-4所列；
表1“城郊”复原结果的无参考评价
表2“楼宇一角”复原结果的无参考评价
表3“东方明珠电视塔”复原结果的无参考评价
表4“森林”复原结果的无参考评价
在表1-4中，FADE值小表示去雾性能高，NIQE数据小表示图像的视觉质量好，和两个数据反应的是复原结果相对于的数据雾天图像新增的边缘比例以及梯度数据增强率，和越大，表示细节变化越明显，因而去雾效果也越好。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (4)
1.一种基于局部环境光投影恒常先验的图像去雾方法，其特征在于，包括如下步骤：
S1、基于预先构建的局部环境光投影恒常先验，获得雾天图像的全局环境光和局部环境光；其中，所述局部环境光投影恒常先验以局部环境光和无雾像素的法向投影数值稳定为基础构建；具体为：
步骤1.1、构建局部环境光投影恒常先验
基于光学成像理论，雾天图像可采用大气散射成像模型表达，方程如下：
xi＝yi·ti+A(1-ti) (1)
上式中，xi是雾天图像x在位置(i1,i2)处的像素值，yi是对应的无雾像素，ti是该像素的透射率，A是全局环境光；
在自然雾天图像中，透射率表达式满足：
其中，γ是环境光衰减因子，di是像素景深；
在无雾图像中，若移动很小的位置，可认为像素值的变化趋于零，此过程可描述为：
式(3)中，是像素值变化，θ是像素的梯度方向和其所在背景的法方向的夹角，/>是像素yi从其梯度方向背景的法线方向的投影；
式(4)中，是像素的梯度幅度，由于局部环境光一致，结合式(3)和式(1)，故有，
上式中，是雾天图像中像素xi的法向投影变化量，计算方式与/>相同，雾会使得像素的切线方向和其背景的法线方向夹角变小，故/>会变大；式(5)中，由于A是常数，其表示局部环境光稳定，即其在任何方向的投影不变，结合式(3)和(5)，可得，
式(6)中，等号右侧项(1-ti)A即为局部环境光，通过计算局部区域的中各颜色通道中最大的进一步得到，如下式：
式(7)中，参数Ωi是以像素xi为中心的窗口，利用式(7)，局部环境光投影恒常先验可表达为：
式(8)中，ACPi是像素xi的环境光；
步骤1.2、计算全局环境光和局部环境光
由式(1)(2)(7)可知透射率最小像素的环境光视为全局环境光，根据式(8)可计算出全局环境光，
式(9)中Ωx表示整个雾天图像空间；
根据ACP的物理意义，采取如下方式估计局部环境光，
式(10)中，是像素xi的局部环境光，f是关于ACPi的函数；
S2、利用所述局部环境光投影恒常先验和全局环境光估计透射率，进一步利用预先构建的自适应阈值引导的L1-TV滤波算法优化透射率，获得优化后的透射率；其中，所述自适应阈值引导的L1-TV滤波算法包括滤波函数模型和自适应阈值函数模型；
S3、以所述局部环境光替代大气散射成像模型中的全局环境光，并基于Retinex理论，获得改进大气散射成像模型；
S4、将所述局部环境光、所述优化后的透射率代入所述改进大气散射成像模型，输出所述雾天图像的去雾复原图像。
2.根据权利要求1所述的一种基于局部环境光投影恒常先验的图像去雾方法，其特征在于，所述S2具体为：
步骤2.1、透射率估计
利用所述局部环境光投影恒常先验根据像素的投影变换提取局部环境光，由式(7)、式(8)和式(10)可知，像素的透射率可表达为：
ti＝1-β·CPi/A(11)
式(11)中，参数β∈[0,1；
步骤2.2、优化透射率
通过构造引导函数并引入L1-TV模型，并以原始图像的区域平均梯度为阈值平衡透射率的平滑和保真，滤波函数模型如下：
其中，λ是平衡保真项和正则项的参数，∈是自适应阈值函数，模型如下：
式(13)中，sign是符号函数，||是取绝对值运算，参数α用于抑制梯度较小像素的细节，σ是像素所在区域的平均梯度，在窗口Ωi中计算得到，使用已知ADMM优化算法求解式(12)，获得优化后的透射率
3.根据权利要求2所述的一种基于局部环境光投影恒常先验的图像去雾方法，其特征在于，所述S3具体为：
由于现实成像过程一定存在背光、面光和遮挡现象，因而将式(1)中的全局环境光替换为局部环境光：
式(14)中，即为式(10)中表达的环境光，其函数关系如下：
此外，式(1)和式(14)中，yi的系数为1，根据Retinex理论，该系数是入射光强度，而事实上，每个像素的入射光应由局部的环境光决定，故式(14)可进一步修改为：
获得改进大气散射成像模型。
4.根据权利要求3所述的一种基于局部环境光投影恒常先验的图像去雾方法，其特征在于，在S4中采用min运算用于防止复原过程中雾天图像中高亮度像素的复原结果过大，具体为：
式(17)中，表示无雾像素yi在颜色通道C上的像素值，/>表示雾天图像像素xi在颜色通道C上的像素值，这里C∈{R,G,B}，min运算的目的是防止复原过程中雾天图像中高亮度像素的复原结果过大，引入数据0.1以防止引入噪声干扰。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310167460.2A CN116109513B (zh) | 2023-02-27 | 2023-02-27 | 一种基于局部环境光投影恒常先验的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310167460.2A CN116109513B (zh) | 2023-02-27 | 2023-02-27 | 一种基于局部环境光投影恒常先验的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116109513A CN116109513A (zh) | 2023-05-12 |
| CN116109513B true CN116109513B (zh) | 2023-08-04 |
Family
ID=86254260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310167460.2A Active CN116109513B (zh) | 2023-02-27 | 2023-02-27 | 一种基于局部环境光投影恒常先验的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109513B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663697A (zh) * | 2012-04-01 | 2012-09-12 | 大连海事大学 | 一种水下彩色视频图像的增强方法 |
| CN112862721A (zh) * | 2021-02-24 | 2021-05-28 | 中国矿业大学(北京) | 基于暗通道与Retinex的地下管道图像去雾方法 |
| CN115205151A (zh) * | 2022-07-25 | 2022-10-18 | 山东科技大学 | 基于大气散射模型的采煤工作面尘雾图像清晰化方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130215093A1 (en) * | 2012-02-17 | 2013-08-22 | Nokia Corporation | Power-Optimized Image Improvement In Transflective Displays |
| CN103942758B (zh) * | 2014-04-04 | 2017-02-15 | 中国人民解放军国防科学技术大学 | 基于多尺度融合的暗通道先验图像去雾方法 |
| CN108702496B (zh) * | 2015-09-02 | 2021-09-14 | 佛吉亚艾里斯泰克股份有限公司 | 用于实时色调映射的系统和方法 |
| CN114529460A (zh) * | 2021-12-22 | 2022-05-24 | 金陵科技学院 | 低照度场景智慧公路监测快速去雾方法、装置和电子设备 |
| CN115587946A (zh) * | 2022-10-12 | 2023-01-10 | 中电莱斯信息系统有限公司 | 一种基于多尺度网络的遥感影像去雾方法 |
| CN115375820B (zh) * | 2022-10-24 | 2023-03-24 | 腾讯科技（深圳）有限公司 | 顶点环境光遮蔽值的确定方法、应用方法、装置及设备 |
-
2023
- 2023-02-27 CN CN202310167460.2A patent/CN116109513B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663697A (zh) * | 2012-04-01 | 2012-09-12 | 大连海事大学 | 一种水下彩色视频图像的增强方法 |
| CN112862721A (zh) * | 2021-02-24 | 2021-05-28 | 中国矿业大学(北京) | 基于暗通道与Retinex的地下管道图像去雾方法 |
| CN115205151A (zh) * | 2022-07-25 | 2022-10-18 | 山东科技大学 | 基于大气散射模型的采煤工作面尘雾图像清晰化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116109513A (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106846263B (zh) | 基于融合通道且对天空免疫的图像去雾方法 | |
| CN108734670B (zh) | 单幅夜间弱照度雾霾图像的复原方法 | |
| Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
| CN102750674B (zh) | 基于自适应容差的视频图像去雾方法 | |
| KR102104403B1 (ko) | 단일영상 내의 안개 제거 방법 및 장치 | |
| CN105046653B (zh) | 一种视频雨滴去除方法及系统 | |
| CN111161167B (zh) | 基于中通道补偿和自适应大气光估计的单幅图像去雾方法 | |
| Pei et al. | Effective image haze removal using dark channel prior and post-processing | |
| CN108133462B (zh) | 一种基于梯度场区域分割的单幅图像的复原方法 | |
| Guo et al. | Image dehazing based on haziness analysis | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| Kumari et al. | Single image fog removal using gamma transformation and median filtering | |
| CN112053298B (zh) | 一种图像去雾方法 | |
| CN111462022B (zh) | 一种水下图像清晰化增强方法 | |
| CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
| CN111598800A (zh) | 基于空间域同态滤波和暗通道先验的单幅图像去雾方法 | |
| CN116109513B (zh) | 一种基于局部环境光投影恒常先验的图像去雾方法 | |
| Abbaspour et al. | A new fast method for foggy image enhancement | |
| Gujral et al. | A Novel Defogging Technique for Dehazing Images | |
| Negru et al. | Exponential image enhancement in daytime fog conditions | |
| Kansal et al. | Effect of non uniform illumination compensation on dehazing/de-fogging techniques | |
| Tang et al. | Sky-preserved image dehazing and enhancement for outdoor scenes | |
| CN108364261B (zh) | 一种梯度引导的TV-Retinex单帧图像去雾方法 | |
| Kumari et al. | Improved single image and video dehazing using morphological operation | |
| Shoaib et al. | Single image haze removal using variable fog-weight |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |