CN115393216A - 基于偏振特性与大气传输模型的图像去雾方法和装置 - Google Patents
基于偏振特性与大气传输模型的图像去雾方法和装置 Download PDFInfo
- Publication number
- CN115393216A CN115393216A CN202211028143.4A CN202211028143A CN115393216A CN 115393216 A CN115393216 A CN 115393216A CN 202211028143 A CN202211028143 A CN 202211028143A CN 115393216 A CN115393216 A CN 115393216A
- Authority
- CN
- China
- Prior art keywords
- image
- polarization
- scene
- light intensity
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 337
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000005540 biological transmission Effects 0.000 title claims abstract description 22
- 238000002834 transmittance Methods 0.000 claims abstract description 142
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 54
- 238000001914 filtration Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 239000007863 gel particle Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种基于偏振特性与大气传输模型的图像去雾方法和装置。所述方法包括：根据初始偏振图像计算得到场景偏振度图像、场景偏振角图像和场景光强图像；根据场景偏振角图像和场景光强图像进行联合分割，求解得到大气偏振度和无穷远处大气光强；根据场景偏振度图像和场景光强图像计算得到偏振差分图像；利用高斯模糊算法推导得到目标偏振度图像；根据场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算得到初始透射率图像，通过天空区域和引导滤波算法对其进行优化得到最终透射率图像，从而重构无雾图像。采用本方法能够实现不同场景，不同雾天条件下图像的重构，并能够有效恢复图像细节，降低图像噪声。
Description
技术领域
本申请涉及光学和图像处理领域，特别是涉及一种基于偏振特性与大气传输模型的图像去雾方法和装置。
背景技术
雾天条件下，大气层中水汽充足稳定，悬浮着大量由微小水滴所形成的悬浮粒子。由于悬浮粒子本身具有强烈的散射特性，使得光线在传播过程中发生散射与衰弱致使能见度降低，导致在雾天条件下进行目标成像时，所成图像通常伴随能见度低，对比度低，细节信息模糊不清甚至色彩失真等特点，无法满足在目标检测与识别等领域对图像质量的需求。因此为了更好的提升目标检测与识别的准确率与可靠性，提高雾天图像细节质量，研究雾天条件下清晰成像的方法，具有十分迫切的现实需求。
目前常见的去雾算法主要分为两类：基于图像增强去雾与基于大气模型去雾。基于图像增强去雾的主要思想是从增强图像对比度角度出发改善目标的成像效果，目前常见的图像增强算法从处理范围可分为全局强化与局部强化两类。全局图像增强代表算法有Retinex算法等，Retinex算法是一种用来描述色彩恒常性的算法，其阐明了物体的颜色取决于其对各个波段光线的反射能力，而与反射强度的绝对值无关，为图像增强理论奠定了深厚基础。但传统的Retinex算法在处理过亮图像，或当图像局部区域出现光晕时，处理效果易受光强值影响。局部强化算法的代表有局部方差算法，其通过对图像局部区域方差进行计算判断图像的增强程度，对局部灰度进行拉伸从而达到图像增强的效果，但去雾效果鲁棒性不强。
基于大气传输模型图像去雾技术从雾天图像退化降质的物理机理入手，通过对雾天成像构建模型，利用物理模型反演出无雾状态下的成像结构，该去雾技术从图像退化的本质着手解决大雾天气下条件，由于大气中存在的悬浮颗粒对光线的散射及透射衰减造成的图像降质问题。具有代表性的算法为暗通道先验去雾算法，其通过对无雾天气下大量的实验数据进行分析，发现在非天空区域的像素点的三个通道中至少有一个通道的像素值极低，无限接近于零，根据该先验知识结合大气传输模型对透射率进行估算，最终反演出无雾图像。暗通道去雾算法具有稳定，原理简单易理解等特点，但暗通道去雾算法在处理强光图像时易发生失真问题，且对色彩分布不均的图像进行处理时，易发生色彩偏差以及块状效应。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现不同场景，不同雾天条件下无雾图像重构的一种基于偏振特性与大气传输模型的图像去雾方法和装置。
一种基于偏振特性与大气传输模型的图像去雾方法，所述方法包括：
根据四通道光学偏振探测器采集得到四个角度的初始偏振图像，根据初始偏振图像计算得到斯托克斯矢量，根据斯托克斯矢量计算得到场景偏振度图像、场景偏振角图像和场景光强图像；
根据场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，得到天空区域，根据天空区域的掩模、场景偏振度图像和场景光强图像进行计算，得到大气偏振度和无穷远处大气光强；根据场景偏振度图像和场景光强图像进行计算，得到偏振差分图像；
采用高斯模糊算法对初始偏振图像进行滤波处理，得到大气偏振图像，根据大气偏振图像计算得到目标偏振图像，根据目标偏振图像计算得到目标偏振度图像；
根据场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，通过天空区域的掩模确定初始透射率图像天空区域，根据初始透射率图像天空区域和引导滤波算法对初始透射率图像进行优化修正，得到最终透射率图像，根据最终透射率图像重构得到无雾图像。
在其中一个实施例中，根据初始偏振图像计算得到斯托克斯矢量，包括：
根据初始偏振图像计算得到斯托克斯矢量，表示为
S＝[S0,S1,S2,S3]T
其中，S0表示四通道光学偏振探测器接收的总光强，S1表示水平分量光强与垂直分量光强的强度差值，S2表示45°线性偏振与135°线性偏振的强度差值，S3表示右旋圆偏振与左旋圆偏振的强度差值，I(0)、I(45)、I(90)和I(135)表示四个角度的初始偏振图像。
在其中一个实施例中，根据场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，得到天空区域，包括：
提取场景偏振角图像和场景光强图像中待分割区域的梯度信息，设定第一阈值和第二阈值判断梯度信息的变化；
提取场景光强图像中待分割区域的光强信息，设定第三阈值判断光强信息的变化，
根据第一阈值、第二阈值和第三阈值对待分割区域进行联合分割，得到天空区域。
在其中一个实施例中，根据第一阈值、第二阈值和第三阈值对待分割区域进行联合分割，得到天空区域，包括：
当场景偏振角图像中待分割区域的梯度信息低于第一阈值，场景光强图像中待分割区域的梯度信息低于第二阈值时，并且场景光强图像中待分割区域的光强信息大于第三阈值时，判断待分割区域为天空区域；否则，判断待分割区域为目标区域；
根据二值化操作将天空区域中的像素点赋值为1，将目标区域中的像素点赋值为0，天空区域表示为
Sky(x,y)＝1((GAOP(x,y)＜th1)and(GI(x,y)＜th2)and(I(x,y)＞th3)
其中，GAOP(x,y)表示场景偏振角图像中待分割区域的梯度信息，GI(x,y)表示场景光强图像中待分割区域的梯度信息，I(x,y)表示场景光强图像中待分割区域的光强信息，th1，th2和th3分别表示第一阈值、第二阈值和第三阈值，AOP表示场景偏振角图像，I表示场景光强图像。
在其中一个实施例中，根据天空区域的掩模、场景偏振度图像和场景光强图像进行计算，得到大气偏振度和无穷远处大气光强，包括：
将天空区域的掩模与场景偏振度图像相乘，得到天空区域场景偏振度图像，通过对天空区域场景偏振度图像中所有像素点的偏振度进行统计，选择出现次数最多的偏振度作为大气偏振度；
将天空区域的掩模与场景光强图像相乘，得到天空区域场景光强图像，将天空区域场景光强图像中所有像素点的强度值按照从大到小的顺序进行排序，选择前一百个像素点的强度值的均值作为无穷远处大气光强。
在其中一个实施例中，采用高斯模糊算法对初始偏振图像进行滤波处理，得到大气偏振图像，包括：
采用高斯模糊算法对四个角度的初始偏振图像进行滤波处理，得到四个角度的大气偏振图像，滤波公式表示为
A＝max(min(aB,I′),0)
B＝Gauss(I′)-Gauss(|I′-Gauss(I′)|)
其中，I′表示待滤波图像，B表示初始滤波后的滤波中间值，A表示最终得到的大气光强，a表示调节参数。
在其中一个实施例中，根据场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，表示为：
其中，Pd表示目标偏振度图像，Id表示偏振差分图像，Pa表示大气偏振度，Ainf表示无穷远处大气光强。
在其中一个实施例中，通过天空区域的掩模确定初始透射率图像天空区域，根据初始透射率图像天空区域和引导滤波算法对初始透射率图像进行优化修正，得到最终透射率图像，包括：
通过天空区域的掩模确定初始透射率图像天空区域，当初始透射率图像天空区域的占比超过初始透射率图像的一半时，根据初始透射率图像天空区域对初始透射率图像进行优化，得到初步优化透射率图像，根据引导滤波算法对初步优化透射率图像进行修正，得到最终透射率图像；当所述初始透射率图像天空区域的占比不超过所述初始透射率图像的一半时，根据引导滤波算法对初始透射率图像进行优化，得到最终透射率图像。
在其中一个实施例中，当初始透射率图像天空区域的占比超过初始透射率图像的一半时，根据初始透射率图像天空区域对初始透射率图像进行优化，得到初步优化透射率图像，包括：
当初始透射率图像天空区域的占比超过初始透射率图像的一半时，对初始透射率图像天空区域进行随机赋值处理，得到透射率保持在0.05±0.01的范围内的初步优化透射率图像。
一种基于偏振特性与大气传输模型的图像去雾装置，装置包括：
初始偏振图像初步处理模块，用于根据四通道光学偏振探测器采集得到四个角度的初始偏振图像，根据初始偏振图像计算得到斯托克斯矢量，根据斯托克斯矢量计算得到场景偏振度图像、场景偏振角图像和场景光强图像；
天空区域联合分割模块，用于根据场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，得到天空区域，根据天空区域的掩模、场景偏振度图像和场景光强图像进行计算，得到大气偏振度和无穷远处大气光强；根据场景偏振度图像和场景光强图像进行计算，得到偏振差分图像；
目标偏振度图像获取模块，用于采用高斯模糊算法对初始偏振图像进行滤波处理，得到大气偏振图像，根据大气偏振图像计算得到目标偏振图像，根据目标偏振图像计算得到目标偏振度图像；
无雾图像重构模块，用于根据场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，通过天空区域的掩模确定初始透射率图像天空区域，根据初始透射率图像天空区域和引导滤波算法对初始透射率图像进行优化修正，得到最终透射率图像，根据最终透射率图像重构得到无雾图像。
上述基于偏振特性与大气传输模型的图像去雾方法和装置，首先根据四个角度的初始偏振图像对应的斯托克斯矢量计算得到场景偏振度图像、场景偏振角图像和场景光强图像；根据场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，并根据分割得到的天空区域求解得到大气偏振度和无穷远处大气光强；根据场景偏振度图像和场景光强图像进行计算，得到偏振差分图像；再利用高斯模糊算法计算各个角度的大气偏振图像，进而推导得到目标偏振度图像；然后根据得到的场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算得到初始透射率图像，通过天空区域的掩模确定初始透射率图像天空区域，再根据初始透射率图像天空区域和引导滤波算法对初始透射率图像进行优化修正，得到最终透射率图像，最后根据最终透射率图像重构得到无雾图像。采用本方法能够实现不同场景，不同雾天条件下图像的重构，并能够有效恢复图像细节，降低图像噪声，具有较好地算法普适性。
附图说明
图1为一个实施例中的基于偏振特性与大气传输模型的图像去雾方法的流程示意图；
图2为一个实施例中的四个角度的初始偏振图像：图2(a)为0°的初始偏振图像，图2(b)为45°的初始偏振图像，图2(c)为90°的初始偏振图像，图2(d)为135°的初始偏振图像；
图3为一个实施例中的场景偏振度图像和场景偏振角图像：图3(a)为场景偏振度图像，图3(b)为场景偏振角图像；
图4为一个实施例中的大气偏振度统计结果示意图；
图5为一个实施例中的四个角度的大气偏振图像：图5(a)为0°的大气偏振图像，图5(b)为45°的大气偏振图像，图5(c)为90°的大气偏振图像，图5(d)为135°的大气偏振图像；
图6为一个实施例中的四个角度的目标偏振图像：图6(a)为0°的目标偏振图像，图6(b)为45°的目标偏振图像，图6(c)为90°的目标偏振图像，图6(d)为135°的目标偏振图像；
图7为一个实施例中的目标偏振度图像；
图8为一个实施例中的初始透射率图像；
图9为一个实施例中的初步优化透射率图像；
图10为一个实施例中的最终透射率图像；
图11为一个实施例中的原始含雾场景图像与无雾图像的比较示意图：图11(a)为原始含雾场景图像、图11(b)为无雾图像。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先分析雾天环境下图像的退化根本原因，主要来自于两点：一是大气光在传输过程中由于散射现象而形成的杂散光造成的图像模糊；二是空气中悬浮的凝胶粒子对目标反射光的吸收与散射，造成的图像亮度与对比度下降。根据偏振成像机理可知，当光在传播过程中发生散射现象时，其偏振状态随之改变，大气光由非偏振光变为部分偏振光。而目标光的偏振状态不仅取决于其传播过程中与大气中悬浮颗粒的散射作用，还取决于目标本身的材质，表面粗糙度等信息。因此探测器接收的场景偏振信息中不仅包含大气光的偏振信息，同时也包含了目标的偏振信息。故目标的偏振信息在恢复无雾图像的过程中不能忽略不计。
在一个实施例中，如图1所示，提供了一种基于偏振特性与大气传输模型的图像去雾方法，包括以下步骤：
步骤S1，根据四通道光学偏振探测器采集得到四个角度的初始偏振图像，根据初始偏振图像计算得到斯托克斯矢量，根据斯托克斯矢量计算得到场景偏振度图像、场景偏振角图像和场景光强图像。
可以理解，斯托克斯(Stokes)矢量可以表示为1个4行一列的矩阵，其中的四个参量作为不同参数的强度值量纲，通过斯托克斯矢量可以直观地表示初始偏振图像的初始偏振特征，根据斯托克斯矢量形式的偏振特征可以计算得到场景偏振度图像、场景偏振角图像和场景光强图像。
步骤S2，根据场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，得到天空区域，根据天空区域的掩模、场景偏振度图像和场景光强图像进行计算，得到大气偏振度和无穷远处大气光强；根据场景偏振度图像和场景光强图像进行计算，得到偏振差分图像。
可以理解，由于区域梯度信息反映了该区域图像发生变化的程度，因此在目标与天空的交界处的灰度值会出现明显的变化，其梯度值也会随之改变，在天空区域以及目标区域，灰度值变化相对平滑，对应的梯度变化也较小，因此理论上可以根据梯度信息实现对天空区域的分割。在梯度信息的基础上联合光强信息进行分割，可以防止目标区域内高反射等噪声变化造成的干扰，进一步提高天空区域分割结果的准确性。
可以理解，由于场景偏振度图像与场景光强图像都可以利用双角度图像表示，通过斯托克斯矢量求解得到的场景偏振度图像和场景光强图像直接获取偏振差分图像，避免了计算双角度图像的繁琐过程，简化了算法复杂度，降低了算法的运行时间。
步骤S3，采用高斯模糊算法对初始偏振图像进行滤波处理，得到大气偏振图像，根据大气偏振图像计算得到目标偏振图像，根据目标偏振图像计算得到目标偏振度图像。
可以理解，高斯模糊算法是一种根据正态分布对权重进行分配的滤波方法，由于图像的像素点的连续性，使得距离越近的图像彼此之间的相关性也就越高，距离越远相关性越低。根据高斯模糊算法对初始偏振图像进行滤波处理，在保证在实现图像平滑滤波的同时保持了图像的边缘特征，从而提高了估计得到的大气偏振图像的准确率。
可以理解，根据目标偏振图像计算得到目标偏振度图像的具体方法与根据初始偏振图像计算得到场景偏振度图像的方法一致，都是根据四个角度的偏振图像计算得到斯托克斯矢量，再根据斯托克斯矢量计算得到对应的偏振度图像。
步骤S4，根据场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，通过天空区域的掩模确定初始透射率图像天空区域，根据初始透射率图像天空区域和引导滤波算法对初始透射率图像进行优化修正，得到最终透射率图像，根据最终透射率图像重构得到无雾图像。
可以理解，在初始透射率图像中天空区域还存在较多的噪点，需要对其进行进一步优化，通过天空区域的掩模确定初始透射率图像天空区域，结合初始透射率图像天空区域对初始透射率图像进行天空区域透射率优化，解决了场景光强过强导致恢复图像的光晕问题；利用引导滤波对透射率进行深度优化，对由于天空分割问题造成透射率图像画面割裂以及目标偏振度图像估计不够准确从而导致的噪点进行平滑降噪，避免了大气中的噪点以及目标区域的高反射部分的干扰，得到最终透射率图像，根据最终透射率图像重构得到无雾图像
在其中一个实施例中，根据初始偏振图像计算得到斯托克斯矢量，根据斯托克斯矢量计算得到场景偏振度图像、场景偏振角图像和场景光强图像，包括：
根据初始偏振图像计算得到斯托克斯矢量，表示为
S＝[S0,S1,S2,S3]T
其中，S0表示四通道光学偏振探测器接收的总光强，S1表示水平分量光强与垂直分量光强的强度差值，S2表示45°线性偏振与135°线性偏振的强度差值，S3表示右旋圆偏振与左旋圆偏振的强度差值，通常情况下圆偏振光在偏振探测成像系统中分量较小，S3常忽略不计，I(0)、I(45)、I(90)和I(135)表示四通道光学偏振探测器采集得到的0°、45°、90°和135°四个角度的初始偏振图像，其中，四个角度的初始偏振图像如图2所示，图2(a)为0°的初始偏振图像，图2(b)为45°的初始偏振图像，图2(c)为90°的初始偏振图像，图2(d)为135°的初始偏振图像；
根据斯托克斯矢量形式的偏振特征进一步计算得到场景偏振度图像P和场景偏振角图像AOP和场景光强图像I分别表示为
I＝S0
其中，场景偏振度(DOP)图像和场景偏振角(AOP)图像如图3(a)和图3(b)所示。
在其中一个实施例中，根据场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，得到天空区域，包括：
提取场景偏振角图像和场景光强图像中待分割区域的梯度信息，设定第一阈值和第二阈值判断梯度信息的变化；
提取场景光强图像中待分割区域的光强信息，设定第三阈值判断光强信息的变化，
根据第一阈值、第二阈值和第三阈值对待分割区域进行联合分割，得到天空区域。
具体地，通过索伯(Sobel)算子提取场景偏振角图像和场景光强图像中待分割区域的梯度值，Sobel算子利用两个3*3的矩阵分别作为水平与垂直方向上的检测模板，使用模板对图像进行卷积操作后可以得到水平方向梯度幅度与垂直方向梯度幅度，再根据水平方向梯度幅值与垂直方向梯度幅值的平方和的1/2次方得到待分割区域的梯度值，表示为
其中，Gx表示水平方向梯度幅值，Gy表示垂直方向梯度幅值，A0表示待分割的原始图像。
在其中一个实施例中，当场景偏振角图像中待分割区域的梯度信息低于第一阈值，场景光强图像中待分割区域的梯度信息低于第二阈值时，并且场景光强图像中待分割区域的光强信息大于第三阈值时，判断待分割区域为天空区域；否则，判断待分割区域为目标区域；
根据二值化操作将天空区域中的像素点赋值为1，将目标区域中的像素点赋值为0，天空区域表示为
Sky(x,y)＝1((GAOP(x,y)＜th1)and(GI(x,y)＜th2)and(I(x,y)＞th3)
其中，GAOP(x,y)表示场景偏振角图像中待分割区域的梯度信息，GI(x,y)表示场景光强图像中待分割区域的梯度信息，I(x,y)表示场景光强图像中待分割区域的光强信息，th1，th2和th3分别表示第一阈值、第二阈值和第三阈值，AOP表示场景偏振角图像，I表示场景光强图像。
可以理解，通过第一阈值、第二阈值和第三阈值对待分割区域进行联合分割可以得到天空区域，并且通过对三个阈值的调整可以消除分割过程中天空区域出现的噪点以及目标区域未被完全包括的情况。当第一阈值与第二阈值固定时，调整第三阈值可以实现对目标区域的大小进行扩增，但同时也会添加部分强度值接近目标的天空区域，但是由于分割得到的天空区域主要为计算大气偏振度，无穷远处大气光强以及后期透射率的优化，并且所添加的天空区域位于为目标附近而非无穷远区域，因此并不影响后续计算结果。
在其中一个实施例中，根据天空区域的掩模、场景偏振度图像和场景光强图像进行计算，得到大气偏振度和无穷远处大气光强；根据场景偏振度图像和场景光强图像进行计算，得到偏振差分图像，包括：
将天空区域的掩模与场景偏振度图像相乘，得到天空区域场景偏振度图像，通过对天空区域场景偏振度图像中所有像素点的偏振度进行统计，选择出现次数最多的偏振度作为大气偏振度Pa，大气偏振度的统计结果如图4所示；
将天空区域的掩模与场景光强图像相乘，得到天空区域场景光强图像，将天空区域场景光强图像中所有像素点的强度值按照从大到小的顺序进行排序，选择前一百个像素点的强度值的均值作为无穷远处大气光强Ainf；
根据场景偏振度图像和场景光强图像进行计算，得到偏振差分图像Id，表示为
Id＝P*I＝P*(I(0)+I(90))
其中，由于大气具有分布平滑的特征，表示大气光的特性的大气偏振度和无穷远处大气光强可认为是全局参量。
可以理解，在大气偏振度以及无穷远处大气光强的计算过程中，都采用了统计的方法，有效避免了天空区域由于干扰造成的大气偏振度与无穷远处大气光强的估计误差。
可以理解，通过斯托克斯矢量计算得到的场景偏振度和直接采集得到的初始偏振图像来计算偏振差分图像，避免了计算双角度图像的繁琐过程，简化了算法复杂度，降低了算法的运行时间。
在其中一个实施例中，采用高斯模糊算法对初始偏振图像进行滤波处理，得到大气偏振图像，根据大气偏振图像计算得到目标偏振图像，根据目标偏振图像计算得到目标偏振度图像包括：
采用高斯模糊算法对四个角度的初始偏振图像I(0)、I(45)、I(90)和I(135)进行滤波处理，得到四个角度的大气偏振图像A(0)、A(45)、A(90)和A(135)，滤波公式表示为
A＝max(min(aB,I′),0)
B＝Gauss(I′)-Gauss(|I′-Gauss(I′)|)
其中，I′表示待滤波图像，B表示初始滤波后的滤波中间值，A表示最终得到的大气光强，a表示调节参数，用来控制图像恢复强度，四个角度的大气偏振图像A(0)、A(45)、A(90)和A(135)分别如图5(a)、图5(b)、图5(c)和图5(d)所示；
根据四个角度的大气偏振图像A(0)、A(45)、A(90)和A(135)计算得到四个角度的目标偏振图像D(0)、D(45)、D(90)和D(135)，分别如图6(a)、图6(b)、图6(c)和图6(d)所示，其中，四个角度的目标偏振图像的目标光强表示为
D＝I-A；
根据四个角度的目标偏振图像的目标光强计算得到斯托克斯矢量表示目标偏振特征，根据斯托克斯矢量形式的目标偏振特征计算得到目标偏振度图像Pd，如图7所示。
在其中一个实施例中，根据场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，包括：
根据场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，表示为：
其中，Pd表示目标偏振度图像，Id表示偏振差分图像，Pa表示大气偏振度，Ainf表示无穷远处大气光强，初始透射率图像如8所示，由图8可知，初始透射率图像的天空区域内还存在较多的噪点，需要进一步进行优化。
在其中一个实施例中，通过天空区域的掩模确定初始透射率图像天空区域，根据初始透射率图像天空区域和引导滤波算法对初始透射率图像进行优化修正，得到最终透射率图像，根据最终透射率图像重构得到无雾图像，包括：
通过天空区域的掩模确定初始透射率图像天空区域，当初始透射率图像天空区域的占比超过初始透射率图像的一半时，根据初始透射率图像天空区域对初始透射率图像进行优化，得到如图9所示的初步优化透射率图像，根据引导滤波算法对初步优化透射率图像进行修正，得到如图10所示的最终透射率图像；当所述初始透射率图像天空区域的占比不超过所述初始透射率图像的一半时，根据引导滤波算法对初始透射率图像进行优化，得到最终透射率图像；
具体地，当初始透射率图像天空区域的占比超过初始透射率图像的一半时，对初始透射率图像天空区域进行随机赋值处理，得到透射率保持在0.05±0.01的范围内的初步优化透射率图像；
根据大气传输模型，结合最终透射率图像tfinal、无穷远处大气光强Ainf以及I场景光强图像进行计算，重构得到无雾图像，表示为
比较分析如图11(a)所示的原始含雾场景图像与如图11(b)所示的无雾图像，可以发现，根据本申请所提算法，能够有效地提升雾天场景下光学成像系统的成像质量，实现对雾天图像的复原。
可以理解，当初始透射率图像天空区域的占比超过初始透射率图像的一半时，说明图像中是有大面积天空区域的场景，为了避免块效应和光晕对复原图像质量的损害，受限根据初始透射率图像天空区域对初始透射率图像进行优化，得到初步优化透射率图像，但是由于通过对初始透射率图像天空区域的赋值处理使画面具有割裂感不够平滑，并且目标区域仍存在一定噪声，还需要根据引导滤波算法对初始透射率图像进行优化，得到最终透射率图像。引导滤波算法具有图像降噪，细节平滑等方面突出的优势，采用引导滤波对初始透射率图像进行优化，可以保证在去除透射率图像噪声的同时对图像边缘细节进行良好的保持。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种基于偏振特性与大气传输模型的图像去雾装置，包括：初始偏振图像初步处理模块、天空区域联合分割模块和目标偏振度图像获取模块，其中：
初始偏振图像初步处理模块，用于根据四通道光学偏振探测器采集得到四个角度的初始偏振图像，根据初始偏振图像计算得到斯托克斯矢量，根据斯托克斯矢量计算得到场景偏振度图像、场景偏振角图像和场景光强图像；
天空区域联合分割模块，用于根据场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，得到天空区域，根据天空区域的掩模、场景偏振度图像和场景光强图像进行计算，得到大气偏振度和无穷远处大气光强；根据场景偏振度图像和场景光强图像进行计算，得到偏振差分图像；
目标偏振度图像获取模块，用于采用高斯模糊算法对初始偏振图像进行滤波处理，得到大气偏振图像，根据大气偏振图像计算得到目标偏振图像，根据目标偏振图像计算得到目标偏振度图像；
无雾图像重构模块，用于根据场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，通过天空区域的掩模确定初始透射率图像天空区域，根据初始透射率图像天空区域和引导滤波算法对初始透射率图像进行优化修正，得到最终透射率图像，根据最终透射率图像重构得到无雾图像。
关于基于偏振特性与大气传输模型的图像去雾装置的具体限定可以参见上文中对于基于偏振特性与大气传输模型的图像去雾方法的限定，在此不再赘述。上述基于偏振特性与大气传输模型的图像去雾装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于偏振特性与大气传输模型的图像去雾方法，其特征在于，所述方法包括：
根据四通道光学偏振探测器采集得到四个角度的初始偏振图像，根据所述初始偏振图像计算得到斯托克斯矢量，根据所述斯托克斯矢量计算得到场景偏振度图像、场景偏振角图像和场景光强图像；
根据所述场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，得到天空区域，根据所述天空区域的掩模、场景偏振度图像和场景光强图像进行计算，得到大气偏振度和无穷远处大气光强；根据所述场景偏振度图像和场景光强图像进行计算，得到偏振差分图像；
采用高斯模糊算法对所述初始偏振图像进行滤波处理，得到大气偏振图像，根据所述大气偏振图像计算得到目标偏振图像，根据所述目标偏振图像计算得到目标偏振度图像；
根据所述场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，通过所述天空区域的掩模确定初始透射率图像天空区域，根据所述初始透射率图像天空区域和引导滤波算法对所述初始透射率图像进行优化修正，得到最终透射率图像，根据所述最终透射率图像重构得到无雾图像。
2.根据权利要求1所述的方法，其特征在于，根据所述初始偏振图像计算得到斯托克斯矢量，包括：
根据所述初始偏振图像计算得到斯托克斯矢量，表示为
S＝[S0,S1,S2,S3]T
其中，S0表示四通道光学偏振探测器接收的总光强，S1表示水平分量光强与垂直分量光强的强度差值，S2表示45°线性偏振与135°线性偏振的强度差值，S3表示右旋圆偏振与左旋圆偏振的强度差值，I(0)、I(45)、I(90)和I(135)表示四个角度的初始偏振图像。
3.根据权利要求1所述的方法，其特征在于，根据所述场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，得到天空区域，包括：
提取所述场景偏振角图像和场景光强图像中待分割区域的梯度信息，设定第一阈值和第二阈值判断梯度信息的变化；
提取所述场景光强图像中待分割区域的光强信息，设定第三阈值判断光强信息的变化，
根据所述第一阈值、第二阈值和所述第三阈值对待分割区域进行联合分割，得到天空区域。
4.根据权利要求3所述的方法，其特征在于，根据所述第一阈值、第二阈值和所述第三阈值对待分割区域进行联合分割，得到天空区域，包括：
当所述场景偏振角图像中待分割区域的梯度信息低于第一阈值，所述场景光强图像中待分割区域的梯度信息低于第二阈值时，并且所述场景光强图像中待分割区域的光强信息大于第三阈值时，判断待分割区域为天空区域；否则，判断待分割区域为目标区域；
根据二值化操作将天空区域中的像素点赋值为1，将目标区域中的像素点赋值为0，所述天空区域表示为
Sky(x,y)＝1((GAOP(x,y)＜th1)and(GI(x,y)＜th2)and(I(x,y)＞th3)
其中，GAOP(x,y)表示所述场景偏振角图像中待分割区域的梯度信息，GI(x,y)表示所述场景光强图像中待分割区域的梯度信息，I(x,y)表示所述场景光强图像中待分割区域的光强信息，th1，th2和th3分别表示所述第一阈值、第二阈值和第三阈值，AOP表示所述场景偏振角图像，I表示所述场景光强图像。
5.根据权利要求1至4任意一项所述的方法，其特征在于，根据所述天空区域的掩模、场景偏振度图像和场景光强图像进行计算，得到大气偏振度和无穷远处大气光强，包括：
将所述天空区域的掩模与场景偏振度图像相乘，得到天空区域场景偏振度图像，通过对天空区域场景偏振度图像中所有像素点的偏振度进行统计，选择出现次数最多的偏振度作为大气偏振度；
将所述天空区域的掩模与场景光强图像相乘，得到天空区域场景光强图像，将天空区域场景光强图像中所有像素点的强度值按照从大到小的顺序进行排序，选择前一百个像素点的强度值的均值作为无穷远处大气光强。
6.根据权利要求5所述的方法，其特征在于，采用高斯模糊算法对所述初始偏振图像进行滤波处理，得到大气偏振图像，包括：
采用高斯模糊算法对四个角度的所述初始偏振图像进行滤波处理，得到四个角度的大气偏振图像，滤波公式表示为
A＝max(min(aB,I′),0)
B＝Gauss(I′)-Gauss(|I′-Gauss(I′)|)
其中，I′表示待滤波图像，B表示初始滤波后的滤波中间值，A表示最终得到的大气光强，a表示调节参数。
7.根据权利要求6所述的方法，其特征在于，根据所述场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，表示为：
其中，Pd表示目标偏振度图像，Id表示偏振差分图像，Pa表示大气偏振度，Ainf表示无穷远处大气光强。
8.根据权利要求1所述的方法，其特征在于，通过所述天空区域的掩模确定初始透射率图像天空区域，根据所述初始透射率图像天空区域和引导滤波算法对所述初始透射率图像进行优化修正，得到最终透射率图像，包括：
通过所述天空区域的掩模确定初始透射率图像天空区域，当所述初始透射率图像天空区域的占比超过所述初始透射率图像的一半时，根据所述初始透射率图像天空区域对所述初始透射率图像进行优化，得到初步优化透射率图像，根据引导滤波算法对所述初步优化透射率图像进行修正，得到最终透射率图像；当所述初始透射率图像天空区域的占比不超过所述初始透射率图像的一半时，根据引导滤波算法对所述初始透射率图像进行优化，得到最终透射率图像。
9.根据权利要求8所述的方法，其特征在于，当所述初始透射率图像天空区域的占比超过所述初始透射率图像的一半时，根据所述初始透射率图像天空区域对所述初始透射率图像进行优化，得到初步优化透射率图像，包括：
当所述初始透射率图像天空区域的占比超过所述初始透射率图像的一半时，对所述初始透射率图像天空区域进行随机赋值处理，得到透射率保持在0.05±0.01的范围内的初步优化透射率图像。
10.一种基于偏振特性与大气传输模型的图像去雾装置，其特征在于，所述装置包括：
初始偏振图像初步处理模块，用于根据四通道光学偏振探测器采集得到四个角度的初始偏振图像，根据所述初始偏振图像计算得到斯托克斯矢量，根据所述斯托克斯矢量计算得到场景偏振度图像、场景偏振角图像和场景光强图像；
天空区域联合分割模块，用于根据所述场景偏振角图像和场景光强图像中的梯度信息和光强信息对待分割区域进行联合分割，得到天空区域，根据所述天空区域的掩模、场景偏振度图像和场景光强图像进行计算，得到大气偏振度和无穷远处大气光强；根据所述场景偏振度图像和场景光强图像进行计算，得到偏振差分图像；
目标偏振度图像获取模块，用于采用高斯模糊算法对所述初始偏振图像进行滤波处理，得到大气偏振图像，根据所述大气偏振图像计算得到目标偏振图像，根据所述目标偏振图像计算得到目标偏振度图像；
无雾图像重构模块，用于根据所述场景光强图像、大气偏振度、无穷远处大气光强、偏振差分图像和目标偏振度图像进行计算，得到初始透射率图像，通过所述天空区域的掩模确定初始透射率图像天空区域，根据所述初始透射率图像天空区域和引导滤波算法对所述初始透射率图像进行优化修正，得到最终透射率图像，根据所述最终透射率图像重构得到无雾图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211028143.4A CN115393216A (zh) | 2022-08-25 | 2022-08-25 | 基于偏振特性与大气传输模型的图像去雾方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211028143.4A CN115393216A (zh) | 2022-08-25 | 2022-08-25 | 基于偏振特性与大气传输模型的图像去雾方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393216A true CN115393216A (zh) | 2022-11-25 |
Family
ID=84122015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211028143.4A Pending CN115393216A (zh) | 2022-08-25 | 2022-08-25 | 基于偏振特性与大气传输模型的图像去雾方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393216A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116295446A (zh) * | 2023-05-22 | 2023-06-23 | 中国人民解放军国防科技大学 | 一种偏振多尺度分解的无人机视觉匹配导航方法和装置 |
| CN116596805A (zh) * | 2023-07-14 | 2023-08-15 | 山东大学 | 一种基于场景物体与大气光偏振态差异的偏振去雾方法 |
| CN117611489A (zh) * | 2023-11-29 | 2024-02-27 | 中国人民解放军陆军工程大学 | 一种基于偏振片消光比参数的偏振去雾系统和方法 |
-
2022
- 2022-08-25 CN CN202211028143.4A patent/CN115393216A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116295446A (zh) * | 2023-05-22 | 2023-06-23 | 中国人民解放军国防科技大学 | 一种偏振多尺度分解的无人机视觉匹配导航方法和装置 |
| CN116295446B (zh) * | 2023-05-22 | 2023-08-04 | 中国人民解放军国防科技大学 | 一种偏振多尺度分解的无人机视觉匹配导航方法和装置 |
| CN116596805A (zh) * | 2023-07-14 | 2023-08-15 | 山东大学 | 一种基于场景物体与大气光偏振态差异的偏振去雾方法 |
| CN116596805B (zh) * | 2023-07-14 | 2023-09-29 | 山东大学 | 一种基于场景物体与大气光偏振态差异的偏振去雾方法 |
| CN117611489A (zh) * | 2023-11-29 | 2024-02-27 | 中国人民解放军陆军工程大学 | 一种基于偏振片消光比参数的偏振去雾系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zheng et al. | Single-image vignetting correction | |
| Tripathi et al. | Single image fog removal using bilateral filter | |
| Gibson et al. | Fast single image fog removal using the adaptive Wiener filter | |
| Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
| Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
| US20140140619A1 (en) | Method and System for Removal of Fog, Mist, or Haze from Images and Videos | |
| CN115393216A (zh) | 基于偏振特性与大气传输模型的图像去雾方法和装置 | |
| EP2846306B1 (en) | Image processing apparatus for removing haze contained in still image and method thereof | |
| KR101582779B1 (ko) | 영상의 파장 적응적 안개 제거 장치 및 방법 | |
| CN110827221A (zh) | 一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法 | |
| Zhu et al. | Fast single image dehazing through edge-guided interpolated filter | |
| CN110335210B (zh) | 一种水下图像复原方法 | |
| Lee et al. | Stereo image defogging | |
| Raikwar et al. | Tight lower bound on transmission for single image dehazing | |
| CN110349113B (zh) | 一种基于暗原色先验改进的自适应图像去雾方法 | |
| Wu et al. | Image haze removal: Status, challenges and prospects | |
| Khan et al. | Recent advancement in haze removal approaches | |
| CN106709876B (zh) | 一种基于暗像元原理的光学遥感图像去雾方法 | |
| CN112825189B (zh) | 一种图像去雾方法及相关设备 | |
| Hong et al. | Single image dehazing based on pixel-wise transmission estimation with estimated radiance patches | |
| Xu et al. | Image dehazing by incorporating markov random field with dark channel prior | |
| CN117152016A (zh) | 基于改进暗通道先验的图像去雾方法及其系统 | |
| Liu et al. | Single image defogging method based on image patch decomposition and multi-exposure image fusion | |
| Wang et al. | Fast visibility restoration using a single degradation image in scattering media | |
| Kansal et al. | Effect of non uniform illumination compensation on dehazing/de-fogging techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |