CN109961413A - 大气光方向优化估计的图象去雾迭代算法 - Google Patents
大气光方向优化估计的图象去雾迭代算法 Download PDFInfo
- Publication number
- CN109961413A CN109961413A CN201910215244.4A CN201910215244A CN109961413A CN 109961413 A CN109961413 A CN 109961413A CN 201910215244 A CN201910215244 A CN 201910215244A CN 109961413 A CN109961413 A CN 109961413A
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- atmospheric light
- algorithm
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 30
- 238000002834 transmittance Methods 0.000 claims description 29
- 238000011084 recovery Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000013178 mathematical model Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 24
- 230000009467 reduction Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012795 verification Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
提供一种大气光方向优化估计的图象去雾迭代算法,本发明提供一种全新稳健的有雾图像去雾算法,其特点是,第一,给出了单帧图像去雾的迭代模型,避免了现有去雾算法中采用除法计算带来的计算结果不稳定,以及分母中参数选择的不确定性引入的额外噪声;第二,给出了大气光估计的优化策略,使得大气光这一关键参数的估计更精确,优化大气光方向估计中块直线的筛选方法,并挑选前0.1%最亮像素点,通过计算像素点在RGB空间的亮度值与大气光方向的最短距离,选择具有最小距离的像素点的亮度值作为最终的大气光强度值。实验结果表明,与已有算法相比,本算法可以使去雾后图像的色调还原度、平均梯度、暗通道先验比例等三个指标分别提高5%、13%、16%。
Description
技术领域
本发明属于图像去雾技术领域,具体涉及一种大气光方向优化估计的图 象去雾迭代算法。
背景技术
近年来,雾霾天气的蔓延致使户外场景的可见度越来越低,弥漫在雾霾中 的烟、尘、水滴等物质由于受到大气的吸收与散射,使得户外图像中物体的 对比度、颜色、清晰度等特征被削弱,从而降低了图像的清晰度和真实度, 为基于场景图像或视频的环境监测、目标识别、交通管理、军事侦查、系统 监控等应用造成了极大的困难,因此户外图像的去雾处理逐渐成为了近几年 关注的焦点,在许多领域具有重要的应用意义。
目前对图像去雾的处理方法主要分为两类:雾化图像增强和雾化图像复 原。雾化图像增强方法主要通过对雾图中的灰度、对比度等图像参数的调节 实现图像去雾。第二类是基于物理成像模型的雾化图像复原方法,该类方法 的优势是,通过分析雾霾天气的特点,建立光线在散射介质中传输的数学模 型,将图像去雾过程看作是该模型的逆过程,通过施加其他约束条件,得到 无雾图像的最佳估计,实现雾霾的去除或抑制,该类方法能够更加可靠、有效 地实现去雾。
在基于物理成像模型的图像去雾方法中,雾图形成的数学模型如下式:
I(x)=J(x)t(x)+A[1-t(x)] (1)
其中:I(x)为观测到的有雾图像,J(x)是待复原的无雾图像,A是大气光 强度值,t(x)为透射率。需要根据已知条件I(x),求取目标值J(x)。根据基 本的代数知识可知该数学模型中有三个未知数,所以在求解J(x)时,只有得 到大气光强度A和透射率t(x)值,才能根据下式进行复原,即:
J(x)=(I(x)-At(x))/t(x)+A (2)
根据上式可以得知,当大气光强度A和透射率t(x)的值估计不准确或含有噪 声的时候,就会由于需要计算除法(由于t(x)出现在分母)导致求解出来的 J(x)的不稳定或噪声放大,从而影响复原图象的效果。因此,合理估算优化 大气光强度A和与透射率t(x)的值,并且避免恢复过程中的除法运算成为基于 物理成像模型去雾算法的研究重点。
2009年,何凯明等人提出了一种基于暗通道先验知识的去雾算法,首先通 过计算一定区域内每个像素RGB分量中的最小值得到暗通道图,并在暗通道图 中选取前0.1%最亮像素点的值,估算出大气光强度值;再次采用软抠图的方 法细化透射率,最终采用公式(2)的方法实现了去雾功能。
2013年,何凯明在先前计算透射率的基础上加入了引导滤波算法,进而细 化了透射率图的求解,较好地消除了边缘附近的光晕效应,提高了去雾图像 的质量。
2014年,Fattal等人提出了基于大气光自动恢复的去雾算法,通过利用图 像的明暗系数与透射率等级无关的条件,计算出大气光强度的方向和模值, 并根据图像中场景的辐照等级度,推导出透射率图,从而获得了良好的去雾 效果。
2017年,邱东芳等人提出了透射率和大气光估计的去雾算法,通过采用 像素等级差诱导核函数的自适应高斯滤波器消除光晕效应,修正天空区域的 透射率,并提出最大化大气光方向与前0.1%最亮像素点的相似度的大气光估 计方法,最终获得了精细的透射率图,有效消除了光晕效应。
2017年,程炜等人结合暗通道算法和大气光自动恢复算法的基本思想, 提出了图像中的大气光强度自适应恢复算法,该算法以最小化图像明暗系数 与透射率估计值的距离作为目标函数,优化大气光强度的模值计算,进而提 高了大气光强度值估计的精确度。
以上算法都在大气光强度值和透射率的优化上取得了一定的去雾成果,但 是仍然存在以下几个问题:
(1)采用除法形式的复原算法。在对大气光强度值和透射率图优化后,均 采用公式(2)的复原算法,由于透射率t(x)在公式中作为一个分母出现,当 实际计算出来的透射率t(x)值非常低或包含噪声时,就会导致最终计算出的 去雾图像J(x)的不稳定,此时图片中噪声也被相应放大,造成图像整体向白 场过度,从而影响图片的恢复质量。虽然现有部分文献在复原时通过设置一 个阈值函数t0来避免透射率t值过小的情况,但是上述噪声放大与计算不稳 定的弊端依然存在;
(2)大气光强度的值估算精度有待提高。在基于暗通道原理的去雾算法 中,大气光强度值A的估计大多数都采用手动的方式确定,或按照灰度世界假 定的基本过程计算,即或者用I(x)的平均值,或者用I(x)中最亮的像素值作 为大气光的估计,由于大气光强度的值在整个图片中也不相同,就会导致去 雾图像中存在颜色偏差;而在基于Fattal的自适应大气光恢复的算法中,只 对于薄雾图片能够得到较好的去雾效果,而对浓雾图片在求取大气光强度的 方向和模值时,由于找不到足够多的满足要求的图块与候选直线,导致估算出的大气光强度不够精准。
由上述可知:在基于成像物理模型的数字图像去雾算法中,无雾图像的 复原依赖于透射率和大气光强度这两个物理因子的计算,在现有图像去雾算 法中,均采用包含除法的计算公式,造成在透射率低的情况下去雾图像结果 不稳定,并且恢复图象中的噪声也会相应被放大,从而影响恢复图像的质量; 此外,现有算法在计算大气光强度的值时,多依赖于图像中最亮像素的取值, 造成图像中部分区域的色彩还原失真,同时大气光方向和模值估计的不精确 均会影响最终恢复图像的质量。因此有必要提出改进。
发明内容
本发明解决的技术问题:提供一种大气光方向优化估计的图象去雾迭代 算法,本发明提供了一种有雾图像迭代去雾恢复的算法和大气光优化估计策 略。其特点是,第一,设计了图像去雾的迭代计算模型,避免了现有去雾算 法中的除法计算,消除了优于除法递来的计算结果不稳定、分母中阈值估计 的不确定性以及由此引入的额外噪声。第二,给出了大气光估计的优化策略, 使得大气光这一关键参数的估计更精确,优化大气光方向估计中块直线的筛 选方法,并挑选前0.1%最亮像素点,通过计算像素点在RGB空间的亮度值与大气光方向的最短距离,选择具有最小距离的像素点的亮度值作为最终的大 气光强度值。实验结果表明,与已有算法相比,本算法可以使去雾后图像的 色调还原度、平均梯度、暗通道先验比例等三个指标分别提高5%、13%、16%。
本发明采用的技术方案:大气光方向优化估计的图象去雾迭代算法,包 括以下步骤:
1)将雾图输入到计算机仿真软件中;
2)针对输入雾图求每个像素点RGB分量的最小值,并使用最小值滤波得 到暗通道图;
3)对大气光的估计优化:在大气光强度自动恢复的基础上,利用图块中 块直线来计算大气光的方向,其优化方法如下:
3a、将雾图分为若干图块,计算图块的块直线;对比、筛选块直线,在 筛选块直线时,计算当前块直线与现有块直线的夹角,当夹角小于等于15度 时,计算出均值直线,并将其作为新的块直线,再通过连接原点与块直线的 交点确定多组大气光方向射线;计算两两块直线的交点,通过交点与原点的 射线方向,即为候选的大气光方向;
3b、计算每条候选大气光射线到所有块直线的欧氏距离之和,并通过结 果对比,选择结果最小的大气光射线作为最终的大气光方向;
3c、选取前0.1%最亮的像素点,并提取它们在RGB空间的亮度值,将图 像中前0.1%最亮像素点对应的RGB空间值和多组大气光方向射线进行距离计 算、对比,计算出每个RGB空间点到大气光方向的最短距离,并将具有最短 距离的像素点值作为最终的大气光强度值;
4)计算获得粗略的透射率图,并使用引导滤波进行细化;
5)采用变量替换对物理成像模型进行变形,推导出单帧图像去雾的迭代 模型,使用单帧图像去雾的迭代算法完成无雾图片的恢复。
其中,上述步骤5)中,所述单帧图像去雾的迭代算法为:
基于物理成像模型的图像去雾方法中的雾图形成的数学模型如下式:
I(x)=J(x)t(x)+A[1-t(x)] (1)
在公式(1)的基础上,假设透射率t(x)和大气光强度值A已经求解出来, 为了避免除法运算带来的图像复原失真问题,令L(x)=1-t(x),并且对公式(1) 进行替换变形后,可以得到以下形式:
I(x)=J(x)[1-L(x)]+AL(x) (3)
将公式展开、移位后,得到:
I(x)=J(x)-J(x)*L(x)+AL(x) (4)
J(x)=I(x)+L(x)*J(x)-A*L(x) (5)
利用数学中的迭代法原则,对公式(5)中等号左右和右的J(x)进行迭代, 可得到去雾复原迭代估计公式为:
J(n+1)(x)=L(x)*J(x)(n)+I(x)-A*L(x) (6)
其中,n是迭代次数,在执行算法时,当J(x)(n)和J(n+1)(x)之间的差小于 一定限值时,则停止迭代。
其中,上述步骤3)的3a中,对所述块直线筛选的算法如下:
在物理成像的去雾模型中,公式(1)中的I(x),J(x)都是RGB颜色空间 的图像,对于场景中的任意目标点,投射率t(x)在各个颜色通道中都相同; 同时,大气光强度向量A是RGB空间的向量,它描述了场景中的散射光线在 每个颜色通道中的强度,因此公式(1)可写为:
由公式(1)可以得知,为了对给定的观测图像I(x)去雾得到无雾场景图 象J(x),必须估计传输率函数t(x)和大气光向量A;此外,将直接场景传输 图象J(x)表示为下式:
J(x)=l′(x)·R(x) (10)
其中R是RGB空间的向量,R=(Rr,Rg,Rb)T,描述目标表面所反射出光 线的色度,因此可假定||R||=1;而l’则是标量,描述目标表面所反射光线 的强度,并且目标表面所反射光线在三个RGB通道具有相同的强度,因此公 式(10)写为:
综上所述,可假定下述简化的物理成像模型,即针对第i个图像块,去 雾模型可写为:
Ii(x)=ti(x)·l′(x)·Ri+(1-ti)·A (12)
其中,Ii(x)是第i块有雾观测图象Ωi中的像素灰度值,ti(x)是第i个图 象块Ωi中目标点x处的透射率,由于ti(x)和l’(x)均是标量,因此令 l(x)=ti(x)l’(x),公式(10)变形为:
对第i块里的任何像素点x,Ii(x)都是rbg空间的向量,即:
根据图像具有局部区域平滑特性,假定图像块Ωi内Ri和ti基本保持不变, 这样在图块Ωi内认为Ri是常数向量,ti是常数标量;由公式(13)得,对块 Ωi中的任何像素,向量Ii(x)都是由与位置x无关的常数向量Ri经过常数尺 度l(x)拉伸后,加上另一个固定常数向量(1-ti)A形成;所以在RGB颜色空间 中,像素值Ii(x)分布在同一条线上,这条直线的方向由Ri确定,起始点是 (1-ti)A。;每个块Ωi都对应一条RGB空间的直线,以下统称为块直线,但是 它们是异面直线未必相交,不过每个图块的块直线都与通过原点、与方向为A 的射线相交,交点就在l(x)=0与s=(1-ti)||A||处;
在RGB构成的三维空间中,通过提取两个图块的块直线,并将这两条块 直线与原点构成平面,两个平面的交线方向就是大气光强度A的方向;在实 际中为了得到大气光方向的稳健估计,需选择多个块直线与原点构成平面, 并计算两两平面的交线进而获得多个候选的大气光方向。
本发明与现有技术相比的优点:
1、本方案在雾化图像复原基础上,采用变量替换对物理成像模型进行变 形,推导出去雾算法的迭代模型,避免了传统去雾算法中“通过除法”去雾 而带来的噪声放大与计算不稳定弊端;
2、本方案在已有大气光强度自动恢复技术,提出一种大气光方向估计的 优化方法,利用图块中块直线来计算大气光的方向,在筛选块直线时,计算 当前块直线与现有块直线的夹角,当夹角小于等于15度时,计算出均值直线, 并将其作为新的块直线,再通过连接原点与块直线的交点确定多组大气光方 向射线,然后,挑选前0.1%最亮像素点,通过计算像素点在RGB空间的亮度值 与大气光方向的最短距离,选择具有最小距离的像素点的亮度值作为最终的 大气光强度值,使得大气光方向的估计更加精确,并结合图像中最亮像素点的 RGB空间亮度值,形成了更加真实的大气光值,提高了去雾图像的质量;
3、通过实验表明,本算法可以使去雾后图像的具有较高的色调还原度和 清晰度,结果整体视觉效果更佳,去雾后的图像与对比算法在色调还原度、 平均梯度、暗通道先验比例等三个指标分别平均提高了5%、13%、16%。
附图说明
图1a-图1b为本发明的执行流程图,其中,图1a为本发明整体流程图, 图1b为本发明中大气光优化的流程图;
图2为RGB空间中大气光强度方向的示意图;
图3a-图3c为本发明中街道雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图3a为街道雾图原图,图3b为街道雾图通过现有暗通道先验 知识的去雾算法的去雾图,图3c为为街道雾图通过本发明迭代算法的去雾图;
图4a-图4c为本发明中树林雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图4a为树林雾图原图,图4b为树林雾图通过现有暗通道先验 知识的去雾算法的去雾图,图4c为为树林雾图通过本发明迭代算法的去雾图;
图5a-图5c为本发明中城市雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图5a为城市雾图原图,图5b为城市雾图通过现有暗通道先验 知识的去雾算法的去雾图,图5c为为城市雾图通过本发明迭代算法的去雾图;
图6a-图6d为本发明中某建筑雾图迭代后图片恢复的效果与原始算法的 对比图,其中,图6a为某建筑雾图原图,图6b为某建筑雾图通过本发明迭 代算法的去雾图,图6c为某建筑雾图通过现有暗通道先验知识的去雾算法的 去雾图,图6d为某建筑雾图通过现有基于大气光自动恢复的去雾算法的去雾 图;
图7a-图7d为本发明中风景雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图7a为风景雾图原图,图7b为风景雾图通过本发明迭代算法 的去雾图,图7c为风景雾图通过现有暗通道先验知识的去雾算法的去雾图, 图7d为风景雾图通过现有基于大气光自动恢复的去雾算法的去雾图;
图8a-图8d为本发明中房子雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图8a为房子雾图原图,图7b为房子雾图通过本发明迭代算法 的去雾图,图7c为房子雾图通过现有暗通道先验知识的去雾算法的去雾图, 图7d为房子雾图通过现有基于大气光自动恢复的去雾算法的去雾图。
具体实施方式
以下为本发明的实施例:
大气光方向优化估计的图象去雾迭代算法,如图1a-图1b,包括以下步 骤:
1)将雾图输入到计算机仿真软件中;
2)针对输入雾图求每个像素点RGB分量的最小值,并使用最小值滤波得 到暗通道图;这里需要说明的是,RGB是工业界的一种颜色标准,是通过对红 (R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式 各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括 了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。
3)对大气光的估计优化:在大气光强度自动恢复的基础上,利用图块中 块直线来计算大气光的方向,其优化方法如下:
3a、将雾图分为若干图块,计算图块的块直线;对比、筛选块直线,在 筛选块直线时,计算当前块直线与现有块直线的夹角,当夹角小于等于15度 时,计算出均值直线,并将其作为新的块直线,再通过连接原点与块直线的 交点确定多组大气光方向射线;计算两两块直线的交点,通过交点与原点的 射线方向,即为候选的大气光方向;
3b、计算每条候选大气光射线到所有块直线的欧氏距离之和,并通过结 果对比,选择结果最小的大气光射线作为最终的大气光方向;
3c、选取前0.1%最亮的像素点,并提取它们在RGB空间的亮度值,将图 像中前0.1%最亮像素点对应的RGB空间值和多组大气光方向射线进行距离计 算、对比,计算出每个RGB空间点到大气光方向的最短距离,并将具有最短 距离的像素点值作为最终的大气光强度值;
4)计算获得粗略的透射率图,并使用引导滤波进行细化;
5)采用变量替换对物理成像模型进行变形,推导出单帧图像去雾的迭代 模型,使用单帧图像去雾的迭代算法完成无雾图片的恢复。
一、对迭代算法的理论分析和实验验证分析
1、所述单帧图像去雾的迭代算法为:
基于物理成像模型的图像去雾方法中的雾图形成的数学模型如下式:
I(x)=J(x)t(x)+A[1-t(x)] (1)
在公式(1)的基础上,假设透射率t(x)和大气光强度值A已经求解出来, 为了避免除法运算带来的图像复原失真问题,令L(x)=1-t(x),并且对公式(1) 进行替换变形后,可以得到以下形式:
I(x)=J(x)[1-L(x)]+AL(x) (3)
将公式展开、移位后,得到:
I(x)=J(x)-J(x)*L(x)+AL(x) (4)
J(x)=I(x)+L(x)*J(x)-A*L(x) (5)
利用数学中的迭代法原则,对公式(5)中等号左右和右的J(x)进行迭代, 可得到去雾复原迭代估计为:
J(n+1)(x)=L(x)*J(x)(n)+I(x)-A*L(x) (6)
其中,n是迭代次数;在执行算法时,当J(x)(n)和J(n+1)(x)之间的差小于 一定限值时时,则停止迭代。
本去雾迭代算法消除了现有去雾算法中采用除法计算带来的去雾图像的 不稳定与引入的额外噪声。目前已有的单帧图像去雾算法模型均采用除法公 式:
J(x)=(I(x)-At(x))/min(t(x),ε)+A (15)
而本发明提出的迭代去雾算法模型(6)有两点创新,其一,克服了已有方法 (15)中用min(t(x),ε)做分母从而带来的数值计算不稳定,引起去雾恢复 图像波动;其二,避免了在(15)中阈值参数ε选择的不确定性。
2、迭代复原法实验结果
本文采用MATLAB 12.0的仿真平台,首先在现有文献何凯明算法的暗通 道先验知识的去雾算法的理论基础上,利用引导滤波的方法对透射率进行细 化,同时根据图像中前0.1%最亮的像素值对大气光进行值估计。该算法在验 证时,为了保证图片质量,减少算法的运行时间,设置了复原图像J(x)(n)和 J(n+1)(x)差的精度比为1*e-8,并且记录每幅图的自动迭代次数n。迭代后图片 恢复的效果与原始暗通道先验知识的去雾算法的对比如图3a-图3c、图4a- 图4c、图5a-图5c所示:其中,
图3a-图3c为本发明中街道雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图3a为街道雾图原图,图3b为街道雾图通过现有暗通道先验 知识的去雾算法的去雾图,图3c为为街道雾图通过本发明迭代算法的去雾图;
图4a-图4c为本发明中树林雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图4a为树林雾图原图,图4b为树林雾图通过现有暗通道先验 知识的去雾算法的去雾图,图4c为为树林雾图通过本发明迭代算法的去雾图;
图5a-图5c为本发明中城市雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图5a为城市雾图原图,图5b为城市雾图通过现有暗通道先验 知识的去雾算法的去雾图,图5c为为城市雾图通过本发明迭代算法的去雾图。
从上面三个子图可以看出,经过使用迭代方法还原的图片效果与何凯明算 法的效果在视觉方面相比,迭代复原的去雾图像清晰,色彩明亮、柔和,图 片质量优于原始算法。为了能够更加客观地评价使用何凯明算法与迭代算法 后图片的效果,本文从去雾后图片的色调还原度、平均梯度进行客观定量评 价,实验结果如下表1所示:
表1何凯明算法与迭代算法结果对比
(1)色调还原度
本文采用现有文献“李大鹏,禹晶,肖创柏.图像去雾的无参考客观质 量评测方法[J].中国图象图形学报.2011,9(16):1753-1757.”中通过计 算直方图相似性来表示去雾后图片的色调还原度,其计算方法如下式所示:
其中,h和h’为去雾前后图片的灰度值,k表示图片中第k个灰度值, 和为h和h’的均值,dcorrect(h’,h)表示去雾前后两幅图片的相似度, dcorrect(h’,h)越大,表示相似度越高,也就代表图片的色调还原度越好。
(2)平均梯度
平均梯度又称为清晰度,它可以描述图片的清晰程度,反映图像细节反差 程度和纹理变化特征,本文采用现有文献“WANG J B,HE N,ZHANG L L,et. Single imagedehazing with a physical model and dark channel prior[J]. Neurocom-puting,2015,149(PB):718-728.”中的计算方法来表示平均梯度, 其计算方法如下式所示:
其中,m和n表示图片的尺寸,x和y表示图片的坐标,avegrad计算出 来值越大,就表示图片的清晰度越高。
二、大气光估计优化算法
上述迭代复原法的实现,需要建立在透射率和大气光强度值的计算基础 上,同时大气光强度值也影响透射率t(x)的计算。本算法在文献“Fattal R. Dehazing UsingColor-Lines[J].Acm transaction on Graphics,2014,34(1): 1-14.”中Fattal等人提出的基于大气光自动恢复的去雾算法的基础上对大 气光强度的方向进行改进,优化候选块直线向量的精度,对相似向量中夹角 小于15°的取平均后得到新的候选块直线向量,同时结合现有文献“HE K,SUN J,TANG X.Single imge haze removal using dark channelprior[J]. Proceeding of IEEE Conference on Computer Vision and PatternRecognition.2009:1956-1963.”中何凯明等人提出了一种基于暗通道先验 知识的去雾算法中大气光值估算的方法,提取前0.1%最亮像素的RGB空间值, 并计算这些像素点到优化后的大气光方向的欧氏距离,选择距离最短的像素 点值作为最终的大气光强度值。
其中在步骤3)的3a中,对所述块直线筛选的算法具体如下:
在物理成像的去雾模型中,公式(1)中的I(x),J(x)都是RGB颜色空间 的图像,目前大多数文献均假定透射率函数t(x)关于RGB的每个通道是相同 的,即对于场景中的任意目标点,投射率t(x)在各个颜色通道中都相同;同 时,大气光强度向量A是RGB空间的向量,它描述了场景中的散射光线在每 个颜色通道中的强度,因此公式(1)可写为:
由公式(1)可以得知,为了对给定的观测图像I(x)去雾得到无雾场景图 象J(x),必须估计传输率函数t(x)和大气光向量A。此外,根据现有文献 “SCHECHNER Y Y,NARASIMHAN S S,NAYAR S K.Instant Dehazing of Images Using Polarization[C].IEEE Computer Society Conference on Computer Vision&PatternRecognition.IEEE,2001:325.”和文献“SCHECHNER Y Y,NARASIMHAN S S,NAYAR SK.Polarization-based vision through haze[J]. Applied Optics,2003,42(3):511-525.”可以将直接场景传输图象J(x) 表示为下式:
J(x)=l′(x)·R(x) (10)
其中R是RGB空间的向量,R=(Rr,Rg,Rb)T,描述目标表面所反射出光 线的色度,因此可假定||R||=1;而l’则是标量,描述目标表面所反射光线 的强度,并且目标表面所反射光线在三个RGB通道具有相同的强度,因此公 式(10)写为:
综上所述,可假定下述简化的物理成像模型,即针对第i个图像块,去 雾模型可写为:
Ii(x)=ti(x)·l′(x)·Ri+(1-ti)·A (12)
其中,Ii(x)是第i块有雾观测图象Ωi中的像素灰度值,ti(x)是第i个图 象块Ωi中目标点x处的透射率,由于ti(x)和l’(x)均是标量,因此令l(x)=ti(x)l’(x),公式(10)变形为:
对第i块里的任何像素点x,Ii(x)都是rbg空间的向量,即:
根据图像具有局部区域平滑特性,假定图像块Ωi内Ri和ti基本保持不变, 这样在图块Ωi内认为Ri是常数向量,ti是常数标量。由公式(13)得,对块 Ωi中的任何像素,向量Ii(x)都是由与位置x无关的常数向量Ri经过常数尺 度l(x)拉伸后,加上另一个固定常数向量(1-ti)A形成。所以在RGB颜色空间 中,像素值Ii(x)分布在同一条线上,这条直线的方向由Ri确定,起始点是 (1-ti)A。每个块Ωi都对应一条RGB空间的直线(以下统称为块直线),但是 它们是异面直线未必相交,不过每个图块的块直线都与通过原点、与方向为A 的射线相交,交点就在l(x)=0与s=(1-ti)||A||处。
如图2所示,在RGB构成的三维空间中,通过提取两个图块的块直线(图 中由两条直线表示),并将这两条块直线与原点构成平面,两个平面的交线 方向就是大气光强度A的方向(图2中虚线箭头所指方向)。在实际中为了 得到大气光方向的稳健估计,一般需要选择多个块直线与原点构成平面,并 计算两两平面的交线进而获得多个候选的大气光方向。
在筛选块直线时,在Fattal等人提出的基于大气光自动恢复的去雾算法 的现有文献中直接将相近的块直线的进行删除,这样有可能会将实际能够获 得较佳测量结果的的块直线删除,导致最终计算出的大气光强度的方向不够 精准,从而影响图像的去雾效果。本算法在Fattal等人提出的基于大气光自 动恢复的去雾算法的基础上,对大强光方向进行优化与确定。首先在对原始 雾图进行图块筛选时,图块尺寸采用10*10的窗口,同时计算出每个图块中 像素的RGB线作为块直线;其次,将每个图块的块直线于现有块直线进行对 比、筛查,通过计算两两块直线的夹角,当小于等于15°时求出均值直线作 为新的块直线,同时删除现有的两条块直线;最后,当所有图块的块直线都 对比、筛查完毕后,确定最终大气光方向和强度值。
三、实验结果分析
本算法在计算机上使用Matlab仿真软件进行建模验证,实验配置环境 为:硬件环境为Intel Core i5-3570CPU@3.40GHZ,操作系统为Windows 7(64 位),仿真软件为Matlab12.0。在进行仿真验证的同时,选取了现有文献 何凯明等人提出了一种基于暗通道先验知识的去雾算法和现有文献Fattal 等人提出的基于大气光自动恢复的去雾算法的2个算法作为比较对象,以此 来对比观察去雾后的整体图像效果,如图6a-图6d、图7a-图7d、图8a-图 8d所示:其中
图6a-图6d为本发明中某建筑雾图迭代后图片恢复的效果与原始算法的 对比图,其中,图6a为某建筑雾图原图,图6b为某建筑雾图通过本发明迭 代算法的去雾图,图6c为某建筑雾图通过现有暗通道先验知识的去雾算法的 去雾图,图6d为某建筑雾图通过现有基于大气光自动恢复的去雾算法的去雾 图;
图7a-图7d为本发明中风景雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图7a为风景雾图原图,图7b为风景雾图通过本发明迭代算法 的去雾图,图7c为风景雾图通过现有暗通道先验知识的去雾算法的去雾图, 图7d为风景雾图通过现有基于大气光自动恢复的去雾算法的去雾图;
图8a-图8d为本发明中房子雾图迭代后图片恢复的效果与原始算法的对 比图,其中,图8a为房子雾图原图,图7b为房子雾图通过本发明迭代算法 的去雾图,图7c为房子雾图通过现有暗通道先验知识的去雾算法的去雾图, 图7d为房子雾图通过现有基于大气光自动恢复的去雾算法的去雾图。
同时,为了能更客观地评价整体算法的对比效果,本算法在上述色调还 原度、平均梯度两个测量指标的基础上,增加了暗通道先验比例这一指标, 统计结果如下表2所示:
表2本算法与对比算法整体结果对比
(1)暗通道先验比例
本算法采用现有文献“南栋,毕笃彦,马附平,等.基于分类学习的 去雾后图像质量评价算法[J].自动化学报,2016,42(2):270-278.”中 的暗通道先验比例来对去雾后的图片进行评价测量,暗通道先验比例T表示 在图片的暗通道图中低于一定值的像素点的个数所占比例,本文统计的是像 素值低于25的像素个数计算公式如下:
T=JD/M (14)
其中,JD表示去雾后图片中像素值低于25的个数,M表示图片中总的像素 个数。当计算出的T值越大时,表示图片的去雾效果越好。
从图6a-图6d、图7a-图7d、图8a-图8d和表格2中各项数据中可以得 到:本算法去雾后的图片清晰度较高,去雾后的图像与对比算法在色调还原 度、平均梯度、暗通道先验比例三个指标平均提高5%、13%、16%。
综上,本发明提出了一种图像去雾的迭代模型与大气光方向估计优化的 算法,首先,对经典去雾公式中的除法部分进行变形,通过迭代法求解;再 次,优化大气光强度方向中块直线的筛选方法,并计算前0.1%最亮像素点在 RGB空间的亮度值与大气光方向的最短距离,选择具有最小距离的像素点的亮 度值作为最终的大气光强度值,从而使用更加准确的大气光强度值实现暗通 道去雾。实验表明,使用本算法去雾后的整体图片质量较佳,具有较高的色 调还原度和图片清晰度,用本算法去雾图象的色调还原度、平均梯度、暗通道先验比例等指标方面,平均提高了5%、13%、16%,说明本文算法具有较好 的实际应用价值。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节, 而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实 现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且 是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨 在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (3)
1.大气光方向优化估计的图象去雾迭代算法,其特征在于:包括以下步骤:
1)将雾图输入到计算机仿真软件中;
2)针对输入雾图求每个像素点RGB分量的最小值,并使用最小值滤波得到暗通道图;
3)对大气光的估计优化:在大气光强度自动恢复的基础上,利用图块中块直线来计算大气光的方向,其优化方法如下:
3a、将雾图分为若干图块,计算图块的块直线;对比、筛选块直线,在筛选块直线时,计算当前块直线与现有块直线的夹角,当夹角小于等于15度时,计算出均值直线,并将其作为新的块直线,再通过连接原点与块直线的交点确定多组大气光方向射线;计算两两块直线的交点,通过交点与原点的射线方向,即为候选的大气光方向;
3b、计算每条候选大气光射线到所有块直线的欧式距离之和,并通过结果对比,选择结果最小的大气光射线作为最终的大气光方向;
3c、选取前0.1%最亮的像素点,并提取它们在RGB空间的亮度值,将图像中前0.1%最亮像素点对应的RGB空间值和多组大气光方向射线进行距离计算、对比,计算出每个RGB空间点到大气光方向的最短距离,并将具有最短距离的像素点值作为最终的大气光强度值;
4)计算获得粗略的透射率图,并使用引导滤波进行细化;
5)采用变量替换对物理成像模型进行变形,推导出单帧图像去雾的迭代模型,使用单帧图像去雾的迭代算法完成无雾图片的恢复。
2.根据权利要求1所述的大气光方向优化估计的图象去雾迭代算法,其特征在于:上述步骤5)中,所述单帧图像去雾的迭代算法为:
基于物理成像模型的图像去雾方法中的雾图形成的数学模型如下式:
I(x)=J(x)t(x)+A[1-t(x)] (1)
在公式(1)的基础上,假设透射率t(x)和大气光强度值A已经求解出来,为了避免除法运算带来的图像复原失真问题,令L(x)=1-t(x),并且对公式(1)进行替换变形后,可以得到以下形式:
I(x)=J(x)[1-L(x)]+AL(x) (3)
将公式展开、移位后,得到:
I(x)=J(x)-J(x)*L(x)+AL(x) (4)
J(x)=I(x)+L(x)*J(x)-A*L(x) (5)
利用数学中的迭代法原则,对公式(5)中等号左右和右的J(x)进行迭代,可得到去雾复原迭代估计公式为:
J(n+1)(x)=L(x)*J(x)(n)+I(x)-A*L(x) (6)
其中,n是迭代次数,在执行算法时,当J(x)(n)和J(n+1)(x)之间的差小于一定限值时,则停止迭代。
3.根据权利要求2所述的大气光方向优化估计的图象去雾迭代算法,其特征在于:上述步骤3)的3a中,对所述块直线筛选的算法如下:
在物理成像的去雾模型中,公式(1)中的I(x),J(x)都是RGB颜色空间的图像,对于场景中的任意目标点,投射率t(x)在各个颜色通道中都相同;同时,大气光强度向量A是RGB空间的向量,它描述了场景中的散射光线在每个颜色通道中的强度,因此公式(1)可写为:
由公式(1)可以得知,为了对给定的观测图像I(x)去雾得到无雾场景图象J(x),必须估计传输率函数t(x)和大气光向量A;此外,将直接场景传输图象J(x)表示为下式:
J(x)=l′(x)·R(x) (10)
其中R是RGB空间的向量,R=(Rr,Rg,Rb)T,描述目标表面所反射出光线的色度,因此可假定||R||=1;而l’则是标量,描述目标表面所反射光线的强度,并且目标表面所反射光线在三个RGB通道具有相同的强度,因此公式(10)写为:
综上所述,可假定下述简化的物理成像模型,即针对第i个图像块,去雾模型可写为:
Ii(x)=ti(x)·l′(x)·Ri+(1-ti)·A (12)
其中,Ii(x)是第i块有雾观测图象Ωi中的像素灰度值,ti(x)是第i个图象块Ωi中目标点x处的透射率,由于ti(x)和l’(x)均是标量,因此令l(x)=ti(x)l’(x),公式(10)变形为:
对第i块里的任何像素点x,Ii(x)都是rbg空间的向量,即:
根据图像具有局部区域平滑特性,假定图像块Ωi内Ri和ti基本保持不变,这样在图块Ωi内认为Ri是常数向量,ti是常数标量;由公式(13)得,对块Ωi中的任何像素,向量Ii(x)都是由与位置x无关的常数向量Ri经过常数尺度l(x)拉伸后,加上另一个固定常数向量(1-ti)A形成;所以在RGB颜色空间中,像素值Ii(x)分布在同一条线上,这条直线的方向由Ri确定,起始点是(1-ti)A。;每个块Ωi都对应一条RGB空间的直线,以下统称为块直线,但是它们是异面直线未必相交,不过每个图块的块直线都与通过原点、与方向为A的射线相交,交点就在l(x)=0与s=(1-ti)||A||处;
在RGB构成的三维空间中,通过提取两个图块的块直线,并将这两条块直线与原点构成平面,两个平面的交线方向就是大气光强度A的方向;在实际中为了得到大气光方向的稳健估计,需选择多个块直线与原点构成平面,并计算两两平面的交线进而获得多个候选的大气光方向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910215244.4A CN109961413B (zh) | 2019-03-21 | 2019-03-21 | 大气光方向优化估计的图像去雾迭代算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910215244.4A CN109961413B (zh) | 2019-03-21 | 2019-03-21 | 大气光方向优化估计的图像去雾迭代算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109961413A true CN109961413A (zh) | 2019-07-02 |
CN109961413B CN109961413B (zh) | 2023-05-12 |
Family
ID=67024652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910215244.4A Active CN109961413B (zh) | 2019-03-21 | 2019-03-21 | 大气光方向优化估计的图像去雾迭代算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109961413B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114549336A (zh) * | 2021-11-25 | 2022-05-27 | 湖南科技大学 | 一种无监督图像去雾方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140140619A1 (en) * | 2011-08-03 | 2014-05-22 | Sudipta Mukhopadhyay | Method and System for Removal of Fog, Mist, or Haze from Images and Videos |
CN105976337A (zh) * | 2016-05-10 | 2016-09-28 | 长安大学 | 一种基于中值引导滤波的图像去雾方法 |
CN106548461A (zh) * | 2016-10-25 | 2017-03-29 | 湘潭大学 | 图像去雾方法 |
US20180198998A1 (en) * | 2017-01-06 | 2018-07-12 | Nikon Corporation | Neighborhood haze density estimation for single-image dehaze |
CN108765309A (zh) * | 2018-04-26 | 2018-11-06 | 长安大学 | 基于暗通道的线状自适应改进全局大气光的图像去雾方法 |
CN108765310A (zh) * | 2018-04-26 | 2018-11-06 | 长安大学 | 基于多尺度窗口的自适应透射率修复图像去雾方法 |
-
2019
- 2019-03-21 CN CN201910215244.4A patent/CN109961413B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140140619A1 (en) * | 2011-08-03 | 2014-05-22 | Sudipta Mukhopadhyay | Method and System for Removal of Fog, Mist, or Haze from Images and Videos |
CN105976337A (zh) * | 2016-05-10 | 2016-09-28 | 长安大学 | 一种基于中值引导滤波的图像去雾方法 |
CN106548461A (zh) * | 2016-10-25 | 2017-03-29 | 湘潭大学 | 图像去雾方法 |
US20180198998A1 (en) * | 2017-01-06 | 2018-07-12 | Nikon Corporation | Neighborhood haze density estimation for single-image dehaze |
CN108765309A (zh) * | 2018-04-26 | 2018-11-06 | 长安大学 | 基于暗通道的线状自适应改进全局大气光的图像去雾方法 |
CN108765310A (zh) * | 2018-04-26 | 2018-11-06 | 长安大学 | 基于多尺度窗口的自适应透射率修复图像去雾方法 |
Non-Patent Citations (4)
Title |
---|
MATAN SULAMI: "Automatic Recovery of the Atmospheric Light in Hazy Images", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY.LOS ALAMITOS:IEEE COMPUTER SOCIETY PRESS》 * |
程炜等: "图像去雾中的大气光强度自适应恢复算法研究", 《计算技术与自动化》 * |
范郁锋等: "基于暗原色先验的无人机遥感图像去雾算法", 《现代计算机(专业版)》 * |
邱东芳: "透射率和大气光自适应估计的暗通道去雾", 《计算机应用》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114549336A (zh) * | 2021-11-25 | 2022-05-27 | 湖南科技大学 | 一种无监督图像去雾方法 |
CN114549336B (zh) * | 2021-11-25 | 2024-05-03 | 湖南科技大学 | 一种无监督图像去雾方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109961413B (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhou et al. | Underwater camera: Improving visual perception via adaptive dark pixel prior and color correction | |
CN107301623B (zh) | 一种基于暗通道和图像分割的交通图像去雾方法及系统 | |
Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
CN107103591B (zh) | 一种基于图像雾霾浓度估计的单幅图像去雾方法 | |
CN106548461B (zh) | 图像去雾方法 | |
CN107301624B (zh) | 基于区域划分及浓雾预处理的卷积神经网络去雾方法 | |
CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
CN104299192B (zh) | 一种基于大气光散射物理模型的单幅图像去雾方法 | |
CN108876743A (zh) | 一种图像快速去雾方法、系统、终端及存储介质 | |
Gao et al. | Detail preserved single image dehazing algorithm based on airlight refinement | |
CN110675340A (zh) | 一种基于改进的非局部先验的单幅图像去雾方法及介质 | |
Zhao | Single image dehazing using bounded channel difference prior | |
CN104331867B (zh) | 图像去雾的方法、装置及移动终端 | |
CN106023108A (zh) | 基于边界约束和上下文正则化的图像去雾算法 | |
Zhang et al. | Single image numerical iterative dehazing method based on local physical features | |
CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
Yuan et al. | A confidence prior for image dehazing | |
CN107085830B (zh) | 基于传播滤波的单幅图像去雾方法 | |
CN115937019A (zh) | 一种lsd二次分割和深度学习相结合的不均匀去雾方法 | |
Bartani et al. | An adaptive optic-physic based dust removal method using optimized air-light and transfer function | |
CN117495719A (zh) | 一种基于大气光幕与雾浓度分布估计的去雾方法 | |
CN117152016A (zh) | 基于改进暗通道先验的图像去雾方法及其系统 | |
CN109961413B (zh) | 大气光方向优化估计的图像去雾迭代算法 | |
CN114170445B (zh) | 一种适于消防灭火机器人的室内烟雾环境图像匹配方法 | |
Negru et al. | Exponential image enhancement in daytime fog conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |