CN115205151A - 基于大气散射模型的采煤工作面尘雾图像清晰化方法 - Google Patents
基于大气散射模型的采煤工作面尘雾图像清晰化方法 Download PDFInfo
- Publication number
- CN115205151A CN115205151A CN202210876526.0A CN202210876526A CN115205151A CN 115205151 A CN115205151 A CN 115205151A CN 202210876526 A CN202210876526 A CN 202210876526A CN 115205151 A CN115205151 A CN 115205151A
- Authority
- CN
- China
- Prior art keywords
- image
- fog
- dense fog
- value
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 239000000428 dust Substances 0.000 title claims abstract description 96
- 239000003245 coal Substances 0.000 title claims abstract description 57
- 238000003707 image sharpening Methods 0.000 title claims abstract description 20
- 238000005286 illumination Methods 0.000 claims abstract description 80
- 238000002834 transmittance Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 11
- 230000036961 partial effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002401 inhibitory effect Effects 0.000 claims description 5
- 239000002245 particle Substances 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 238000005315 distribution function Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 19
- 239000003595 mist Substances 0.000 description 9
- 238000005065 mining Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005352 clarification Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于大气散射模型的采煤工作面尘雾图像清晰化方法，其包括如下步骤：依据图像通道差异以及亮度信息，将采煤工作面尘雾图像中的尘雾区域分割为浓雾区域和非浓雾区域；采用Max‑RGB方法估计出采煤工作面尘雾图像的初始光照图，并对初始光照图进行精细化处理，得到全局光照图；在浓雾区域采用优化的颜色衰减模型估计出浓雾区域的透射率值；在非浓雾区域利用暗通道先验以及该区域环境光计算出非浓雾区域透射率值；利用全局光照图分别计算出浓雾区域和非浓雾区域的环境光值；对不同区域的环境光及透射率进行Alpha融合；将全局的环境光值和透射率值代入大气散射模型恢复低照度尘雾图像。本发明有效地解决了大气散射模型参数估计难的问题。
Description
技术领域
本发明属于煤矿井下图像清晰化技术领域，特别涉及一种基于大气散射模型的采煤工作面尘雾图像清晰化方法。
背景技术
目前针对单幅图像去雾、除尘方法的研究主要分为两个方向：一是基于图像增强技术的去雾方法；二是基于图像复原技术的去雾方法。基于增强技术的去雾方法发展最快，其去雾思路十分直观，即通过消除图像中干扰信息的影响，通过对图像对比度、亮度等信息进行恢复，进而提高图像整体的视觉效果。比较经典的方法有，依据图像直方图的分布特征进行去雾的直方图均衡化方法、利用色彩恒常性理论进行去雾的Retinex方法、结合图像灰度变化和频率信息进行去雾的同态滤波方法和根据图像空间分布特征和频域特征进行去雾的小波变换方法等。但该类方法没有建立真实场景下的成雾模型，忽视了尘雾条件下图像降质的机理，未能实现真正物理意义上的图像去雾；而基于尘雾条件下成像物理模型的图像复原方法，利用大气散射模型，分析图像降质产生的原因，从而实现真正意义上的图像去雾。
因此，基于图像复原技术的去雾方法具有清晰的数学模型，从尘雾图像的本质出发，使最终得到的去雾图像视觉效果更加自然，去雾效果也更加明显。由于大气散射模型完全是根据物理模型推导而来，相对于图像增强的方法，具有内在的优越性。目前，基于图像复原的去雾方法主要有：(1)基于求解偏微分方程的去雾方法，通过提取图像的特征信息和光照信息，对图像整体或局部特征建立对应的能量模型，从而得到反映图像内在特征的偏微分方程，通过求解此方程，得到图像场景深度或梯度等参数，从而完成图像去雾的任务；(2)基于深度估计的去雾方法，该方法通过图像景深估计方法获取图像的深度信息，从而估计出大气散射模型的相关参数，得到去雾后的图像；(3)基于先验信息的去雾方法，利用一些有雾图像的特征等先验知识，进一步估计出大气散射模型中的参数，并恢复出无雾图像。
由于井下环境亮度更低、雾气更浓、光照更不均匀，因此，去雾难度也大大提高。目前针对井下尘雾图像清晰化处理的方法主要有：(1)基于大气散射模型和主成分分析的清晰化方法，基于大气散射模型和暗通道先验，利用主成分分析法对图像信息进行加权处理，从而估计出大气光值，实现了矿井下图像的清晰化处理。(2)基于对比度增强的井下有雾图像清晰化方法，通过提高尘雾图像的对比度、亮度等特征，在一定程度上提高了复原图像的信息熵。(3)基于大气散射模型和全变差正则化的图像清晰化方法，利用全变差正则化对初始透射率矩阵进行平滑，并得到精细透射率，从而根据大气散射模型恢复出清晰图像。
由于采煤工作面的开采活动，监控视频图像会产生低照度、光照不均、高尘雾且分布不均等降质现象，不利于煤矿安全生产，难以实现设备操作人员远程操控、智能视频识别技术的运用等，采煤工作面图像清晰化工作尤为重要。然而采煤工作面具有环境复杂，作业区域光照不均匀，尘雾密集且介质分布不均匀，因此，目前的方法对采煤工作面尘雾图像进行清晰化处理时效果并不理想，大气散射模型中的环境光值和透射率参数估计成为难点问题。
发明内容
本发明的目的在于提出一种基于大气散射模型的采煤工作面尘雾图像清晰化方法，该方法依据井下尘雾图像亮度、通道差异等信息，将尘雾图像分割为浓雾和非浓雾区域，结合不同区域图像特征，分别求取各区域的大气散射模型参数，并进行融合得到全局模型参数，解决了复杂采煤环境下模型的参数估计不准的技术问题。
本发明为了实现上述目的，采用如下技术方案：
基于大气散射模型的采煤工作面尘雾图像清晰化方法，包括如下步骤：
步骤1.通过分析采煤工作面粉尘和水雾的分布特征，依据图像通道差异以及亮度信息，将采煤工作面尘雾图像中的尘雾区域分割为浓雾区域和非浓雾区域；
步骤2.采用Max-RGB方法估计出采煤工作面尘雾图像的初始光照图，并对初始光照图进行精细化处理，得到精细化光照图，即全局光照图；
步骤3.在浓雾区域，采用优化的颜色衰减模型估计出浓雾区域的透射率值；在非浓雾区域，利用暗通道先验以及该区域环境光，计算出非浓雾区域透射率值；
步骤4.在浓雾区域，利用全局光照图以及该浓雾区域的透射率计算浓雾区域的环境光值；在非浓雾区域，利用全局光照图得到非浓雾区域的环境光值；
步骤5.对不同区域的环境光及透射率进行Alpha融合，并利用引导滤波在保留图像边缘信息的同时对融合过程产生的噪声进行抑制，得到全局的环境光值和透射率值；
将全局的环境光值和透射率值代入大气散射模型恢复低照度尘雾图像。
本发明具有如下优点：
如上所述，本发明针对煤矿井下采煤工作面图像的去雾任务，提出了一种基于大气散射模型的采煤工作面尘雾图像清晰化方法。由于在作业过程中会产生大量粉尘、水雾，导致该区域尘雾颗粒分布密集，且尘雾厚度不均匀，为了更好地恢复浓雾区域的图像，本发明首先依据图像通道差异以及亮度信息将采煤工作面尘雾图像中的尘雾区域分割为浓雾区域和非浓雾区域；采用Max-RGB方法估计出采煤工作面尘雾图像的初始光照图，并对初始光照图进行精细化处理，得到全局光照图；在浓雾区域，采用优化的颜色衰减模型估计出浓雾区域的透射率值；在非浓雾区域，利用暗通道先验以及该区域环境光计算出非浓雾区域透射率值；利用全局光照图分别计算出浓雾区域和非浓雾区域的环境光值；对不同区域的环境光及透射率进行Alpha融合；将全局的环境光值和透射率值代入大气散射模型恢复低照度尘雾图像；最后，将本发明方法恢复后的图像与其他方法复原图像进行比较能够看出，本发明方法能有效抑制恢复图像尘雾浓度，对图像照度恢复能力以及浓雾区域图像细节信息恢复能力较强。
附图说明
图1为本发明实施例中基于大气散射模型的采煤工作面尘雾图像清晰化方法的流程图；
图2为本发明实施例中井下尘雾图像光照图估计流程图；
图3为本发明实例中部分实验数据集的示意图；
图4为本发明方法与其他两种现有方法的去雾效果对比图。
具体实施方式
名词解释：
采煤工作面的图像尘雾浓度分布明显不均，采煤作业区域附近会产生大量的尘雾且密度不均匀，定义为浓雾区域；远离该区域尘雾较为稀薄且分布比较均匀，定义为非浓雾区域。
本实施例述及了一种基于大气散射模型的采煤工作面尘雾图像清晰化方法，以解决复杂采煤环境下大气散射模型中的环境光值和透射率等参数估计不准的问题。
该方法大致包括如下三个部分：
第一是根据采煤图像尘雾浓度分割图像区域，第二是估计各区域的大气光值与透射率；第三是融合区域参数后，基于大气散射模型恢复清晰图像。
下面结合附图以及具体实施方式对本发明作进一步详细说明：
如图1所示，基于大气散射模型的采煤工作面尘雾图像清晰化方法，包括如下步骤：
步骤1.通过分析采煤工作面粉尘和水雾的分布特征，依据图像通道差异以及亮度信息，将采煤工作面尘雾图像中的尘雾区域分割为浓雾区域和非浓雾区域。
在尘雾图像中，利用通道差异表示图像各区域最大颜色通道值和最小颜色通道值的差值。浓雾区域相对于非浓雾区域，尘雾颗粒分布密集，散射光强度高，图像整体亮度值较大且通道差异值小，依据上述特点进行尘雾图像区域分割。图像通道差异定义为：
其中，Cd(x,y)为图像通道差异，C代表颜色通道，IC(x,y)表示输入图像各通道图，
为图像各区域最大颜色通道值，
为图像各区域最小颜色通道值。
浓雾区域的通道差异可近似为0。但部分非浓雾区域，例如煤壁背景区域通道差异也比较小，因此需要采用亮度特征进一步分割。
本发明利用伽马变换提高图像亮度差异，变换后图像亮度表示为：
其中，η(x,y)为Gamma变换后的亮度图，将η(x,y)进行归一化处理，如公式(3)所示：
其中，
为归一化后的亮度图，ηmin代表亮度图中的最小值，ηmax代表亮度图中的最大值，浓雾区域图像整体亮度较高，且通道差异Cd(x,y)→0。
基于上述先验，构建图像尘雾区域概率分布函数，如公式(4)所示：
为提高分割后图像各区域信噪比，利用最大熵阈值分割方法确定阈值，，对整幅尘雾图像的概率分布函数进行分割，得到浓雾区域和非浓雾区域。
同时，将α(x,y)作为下述对不同区域进行Alpha融合过程中的加权系数。
步骤2.采用Max-RGB方法估计出采煤工作面尘雾图像的初始光照图，为更好的保留尘雾图像结构信息和边缘信息，对初始光照图进行精细化处理，得到精细化光照图。
成像区域光照强弱由成像过程中的环境光决定。
可以通过估计全局光照图来反解出各位置的环境光值，井下尘雾图像存在低照度且光照不均的问题，而现有光照图估计方法针对井下图像处理效果不理想。
针对以上问题，本发明提出了一种井下尘雾图像光照图估计方法，方法流程如图2所示。
步骤2.1.设置初始光照图。
在图像复原领域，常采用Max-RGB方法估计图像的光照图，该方法取R、G、B三个颜色通道的最大值作为照度值，但这种方法估计的光照图只适用于照度较大的场景。
对于井下低照度图像光照图的求解，需要对该方法获得的光照图进行细化。
首先采用Max-RGB方法估计出采煤工作面尘雾图像的初始光照图。
设初始光照图P0(x,y)为：
步骤2.2.求解精细化光照图。初始化光照图未考虑图像结构信息，无法保留图像边缘。为了解决这一问题，本发明构造同时保留图像的整体结构和边缘信息的优化目标函数如下：
其中，
代表Frobenius范数，
表示图像结构保留项，Wd(x,y)表示权重矩阵，P(x,y)表示精细化光照图，||Wd(x,y)P(x,y)||1表示l1范数。
为了保留光照图的整体结构，将步骤2.1得到的初始光照图和待求的精细化光照图P(x,y)组合得到
同时，为了保留光照图中图像的边缘信息，构造权重矩阵Wd(x,y)，将该权重矩阵与精细化光照图P(x,y)进行组合得到||Wd(x,y)P(x,y)||1。
权重矩阵Wd(x,y)的设置对光照图的边缘梯度恢复至关重要，权重矩阵Wd(x,y)基于相对全变分模型，权重矩阵Wd(x,y)的表达式为：
其中,Ω(x,y)表示以(x,y)为中心的邻域，Gσ(x,y)为标准差为σ的高斯核函数，
为梯度符号，d代表梯度方向，P0(z)表示初始光照图，z为Ω(x,y)中的坐标。
Gσ(x,y)表示为：
||Wd(x,y)P(x,y)||1的近似值表示为：
其中，h、v分别代表水平和竖直方向，为了避免在计算时出现分母为零的情况，需要在分母加上一个接近于零的数∈，∈＞0；进而优化目标函数改写为：
λ为尺度系数，用来平衡前后两个惩罚因子。为了求解公式(10)，根据拉格朗日定理得到：
记
将公式(11)写为离散形式，对上述方程求近似解，计算公式为：
其中，D+代表前向有限偏微分，D-代表后向有限偏微分，Δt为迭代步长，Pn(x,y)、Pn+1(x,y)分别为第n次估计、第n+1次估计的精细化光照图；设在第N次迭代时，公式(6)取得最小值或达到最大迭代次数，Pn(x,y)即为待求的精细化光照图P(x,y)。
本发明通过步骤2提出的井下尘雾图像光照图估计方法，相较于传统光照图估计方法，保留了图像整体结构，有效提高了图像边缘区域的亮度。
步骤3.在浓雾区域，采用优化的颜色衰减模型估计出浓雾区域的透射率值；在非浓雾区域，利用暗通道先验以及该区域环境光矩阵，计算出非浓雾区域透射率值。
步骤3.1.浓雾区域透射率值的估计。
大气衰减模型中的透射率与场景深度、大气散射系数有关，表示为：
t(x,y)＝e-βd(x,y) (13)
其中，β为大气散射系数，d(x,y)为场景深度。采煤工作面浓雾区域图像的亮度、饱和度和梯度等特征近似符合颜色衰减模型，该区域场景深度由梯度、亮度和饱和度线性表示。
根据颜色衰减模型的线性图像深度模型，浓雾区域场景深度表示为：
d(x,y)＝ω1L(x,y)+ω2S(x,y)+ω3G(x,y)+ε，(x,y)∈DFR (14)
其中，ω1、ω2、ω3为线性系数，ε代表估计误差，DFR表示浓雾区域，d(x,y)、L(x,y)、S(x,y)、G(x,y)分别表示图像的深度、亮度、饱和度和梯度信息。
选取固定大小的窗口范围，估计尘雾平均深度
为：
其中，Φi(x,y)为以(x,y)为中心的窗口，N为窗口的个数，
表示窗口平均深度，
分别为窗口的平均亮度、平均饱和度以及平均梯度。
大气散射系数β的物理意义为单位体积中悬浮颗粒对周围光照的散射能力，传统颜色衰减模型认为，尘雾介质在成像区域内均匀分布，即β为恒定的值。
而井下浓雾区域尘雾密度不均匀，大气散射系数与尘雾浓度有关。浓雾区域尘雾的浓度越高，则尘雾图像亮度越大。因此，本实施例中大气散射系数β(x,y)表示为：
β(x,y)＝a·eb·L(x,y) (16)
其中，a、b为系数，L(x,y)表示亮度图像。
该公式假设大气散射系数与雾浓度呈正比，并且参考了场景深度与雾浓度的关系式，得到了此式，并结合其实验结果，证明了该公式的有效性。根据公式(14)和(16)分别求取场景深度以及大气散射系数后，代入公式(15)中得到浓雾区域的透射率t0(x,y)。
对透射率矩阵进行引导滤波处理，保留位置细节信息，结合邻近像素点的特征恢复亮度、梯度等信息。本发明对井下浓雾抑制效果较好，能有效恢复浓雾区域的梯度、饱和度等信息。
步骤3.2.浓雾区域透射率值的估计。
在非浓雾区域，图像的饱和度、亮度等特征不符合颜色衰减模型的适用条件，但满足暗通道先验条件。对于非浓雾区域，利用暗通道先验，得到非浓雾区域的透射率t1(x,y)为：
其中，Ω(x,y)表示以像素(x,y)为中心的一个窗口，
表示表示各通道环境光图。
步骤4.利在浓雾区域，利用全局光照图以及该浓雾区域的透射率计算浓雾区域的环境光值；在非浓雾区域，利用全局光照图得到非浓雾区域的环境光值。
该步骤4具体为：
步骤4.1.浓雾区域环境光估计。
在室外大气环境中环境光值常取为全局恒定值。但井下采煤工作面采用人工光源，存在光照不均问题，需将环境光值A扩展为环境光矩阵A(x,y)。
浓雾区域光照强度较高，尘雾颗粒分布密集，光照主要来自于随场景深度衰减的环境光。而大气散射模型中的透射率代表了环境光的衰减过程，浓雾区域的光照分布表示为：
P(x,y)＝A0(x,y)t0(x,y),(x,y)∈DFR (18)
其中，A0(x,y)表示浓雾区域环境光值，t0(x,y)表示浓雾区域透射率，DFR表示浓雾区域，在步骤2估计出全局光照图P(x,y)后，则浓雾区域环境光值A0(x,y)为：
A0(x,y)＝P(x,y)/t0(x,y) (19)
浓雾区域的透射率t0(x,y)由步骤3.1求解得到，进而得到该浓雾区域的环境光值，从而实现对单独对浓雾区域的清晰化处理。
步骤4.2.非浓雾区域环境光估计。
相对于浓雾区域，非浓雾区域的环境光强度较小，环境光主要取决于散射作用。非浓雾区域的环境光值A1(x,y)为：A1(x,y)＝P(x,y) (20)
步骤5.对不同区域的环境光矩阵及透射率矩阵进行Alpha融合，并利用引导滤波在保留图像边缘信息的同时对融合过程产生的噪声进行抑制，得到全局的环境光值和透射率值；
将全局的环境光值和透射率值代入大气散射模型恢复低照度尘雾图像。
该步骤5具体为：
在计算全局环境光及透射率矩阵时，为抑制边缘效应，利用浓雾区域概率函数α(x,y)分别将不同区域环境光值和透射率进行Alpha融合，得到全局环境光值A(x,y)和透射率t(x,y)，计算公式如公式(21)所示。
对全局透射率进行引导滤波，在保持边缘的同时，减小融合过程产生的噪声；利用大气散射模型恢复低照度尘雾图像，如公式(22)所示。
其中，J(x,y)表示恢复的清晰化图像；max(t(x,y),η)表示取t(x,y)和η的最大值。
η表示透射率修正参数，为了避免透射率值过小导致恢复后图像过曝，透射率修正参数η例如取值为0.1，以保证透射率的最小值应不低于0.1。
此外，为了验证本发明方法针对井下图像的尘雾去除效果，本发明选取了矿井下含尘雾的图像，实验数据集来源于XXX煤矿的井下作业视频。数据集包含60幅图像，按不同作业位置分为采煤机，溜头，甬道三类，部分数据集如表1所示。
实验所用计算机配置为CPU Intel(R)Core(TM)i5-8250U 1.80GHz,RAM 8GB。实验环境为Ubuntu16.04LTS，软件平台为JetBrains CLion 2020.3。
实验数据集来源于煤矿井下采煤工作面不同位置的尘雾图像。
数据集包括1000幅井下尘雾图像，主要分为四类：
第一类为照度不均的尘雾图像；第二类为高粉尘图像；第三类为降尘装置产生的水雾图像；第四类为不均匀尘雾图像，实验的部分数据集如图3所示。针对上述数据集，通过实验得出了井下尘雾图像的去雾结果，并与其他被广泛使用的去雾方法如基于传统颜色衰减先验的去雾方法(Zhu方法)，基于最大反射先验的夜间图像去雾方法(Jing方法)进行比较。
上述两种方法均为基于大气散射模型的图像去雾方法，其中，Zhu方法被验证在处理较浓尘雾区域时效果较好，而Jing方法针对夜间有雾图像去雾效果较好。
选取数据集中4幅处于不同位置的图像进行去雾方法的主观评价，实验结果如图4所示，其中包含放大的去雾后图像的局部效果。从图4中能够看出，针对煤矿井下这类特殊环境的去雾工作，传统的去雾方法，例如Zhu方法，虽然在某些区域可以达到去雾的效果，但图像整体亮度较低，去雾后图像信息恢复能力不足，浓雾区域去雾效果不明显，没有完成去雾要求。采用Jing方法进行处理后，图像整体亮度得到增强，但处理后图像存在色偏问题(例如第2类图像中的传送带区域、第3类图像中的篷布区域)，不同区域过渡不均匀，去雾后的图像色彩不自然，并且图像的纹理细节没有得到保留(例如第1类图像的煤块部分)，并且Jing方法对浓雾区域的处理效果也比较差(例如第4类图像的煤壁部分)，存在严重的尘雾残留现象。
经过实验验证，本发明方法对井下尘雾图像处理后的结果可以保留图像的整体结构信息和边缘信息，且不存在色偏问题，图像整体亮度适中，能很好的恢复浓雾区域的梯度信息，完成了煤矿井下去雾的要求。
为进一步证明本发明去雾方法的效果，采用三种无参考的客观评价指标对方法进行评价，如表1所示，分别是新增可见边数、雾密度估计(FADE)、平均饱和度。
新增可见边数描述了方法的边缘保持性能和细节恢复能力，其值越大表示该方法保留边缘信息的能力越强；雾密度估计通过计算输入图像的雾感知特征，并比较其与无雾图像中提取的雾感知特征的偏差，估计输入图像的雾密度，其值越小表示去雾效果越好；平均饱和度描述了去雾图像对色彩的恢复能力，其值越大，色彩越鲜艳。
表1图像去雾方法的客观评价
从三种客观评价指标可以看出，针对井下尘雾图像，三种方法都能有效降低尘雾浓度，Jing方法和Zhu方法处理后图像的平均饱和度略有提高，但无法保留图像的整体结构和边缘信息，对图像细节信息的恢复能力不强；Zhu方法去雾后图像整体亮度较低，导致去雾图像丢失大量信息。本发明方法相较于另外两种方法对图像尘雾浓度的抑制效果更佳，恢复后图像亮度相对较高，并且本发明方法对图像边缘恢复的能力更强，能有效提取出浓雾不均匀区域的图像梯度等信息。综上所述，本发明方法的性能更为优异，图像复原的效果更突出。
当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。
Claims (6)
1.基于大气散射模型的采煤工作面尘雾图像清晰化方法，其特征在于，
包括如下步骤：
步骤1.通过分析采煤工作面粉尘和水雾的分布特征，依据图像通道差异以及亮度信息，将采煤工作面尘雾图像中的尘雾区域分割为浓雾区域和非浓雾区域；
步骤2.采用Max-RGB方法估计出采煤工作面尘雾图像的初始光照图，并对初始光照图进行精细化处理，得到精细化光照图，即全局光照图；
步骤3.在浓雾区域，采用优化的颜色衰减模型估计出浓雾区域的透射率值；在非浓雾区域，利用暗通道先验以及该区域环境光，计算出非浓雾区域透射率值；
步骤4.在浓雾区域，利用全局光照图以及该浓雾区域的透射率计算浓雾区域的环境光值；在非浓雾区域，利用全局光照图得到非浓雾区域的环境光值；
步骤5.对不同区域的环境光及透射率进行Alpha融合，并利用引导滤波在保留图像边缘信息的同时对融合过程产生的噪声进行抑制，得到全局的环境光值和透射率值；
将全局的环境光值和透射率值代入大气散射模型恢复清晰化图像。
2.根据权利要求1所述的采煤工作面尘雾图像清晰化方法，其特征在于，
所述步骤1具体为：
在尘雾图像中，利用通道差异表示图像各区域最大颜色通道值和最小颜色通道值的差值；浓雾区域相对于非浓雾区域，尘雾颗粒分布密集，散射光强度高，图像整体亮度值较大且通道差异值小，依据上述特点进行尘雾图像区域分割；图像通道差异定义为：
其中，IC(x,y)表示输入图像各通道图，Cd(x,y)为图像通道差异，C代表颜色通道，
为图像各区域最大颜色通道值，
为图像各区域最小颜色通道值；
利用伽马变换提高图像亮度差异，变换后图像亮度表示为：
其中，η(x,y)为Gamma变换后的亮度图，将η(x,y)进行归一化处理，如公式(3)所示：
其中，
为归一化后的亮度图，ηmin代表亮度图中的最小值，ηmax代表亮度图中的最大值，浓雾区域图像整体亮度较高，且通道差异Cd(x,y)→0；
基于上述先验，构建图像尘雾区域概率分布函数，如公式(4)所示：
利用最大熵阈值分割方法确定阈值，利用该阈值对整幅采煤工作面尘雾图像的概率分布函数进行分割，进而得到浓雾区域和非浓雾区域。
3.根据权利要求2所述的采煤工作面尘雾图像清晰化方法，其特征在于，
所述步骤2具体为：
步骤2.1.设置初始光照图；
采用Max-RGB方法估计出采煤工作面尘雾图像的初始光照图，设初始光照图P0(x,y)为：
步骤2.2.求解精细化光照图；
构造同时保留图像的整体结构和边缘信息的优化目标函数如下：
其中，
代表Frobenius范数，
表示图像结构保留项，Wd(x,y)表示权重矩阵，P(x,y)表示精细化光照图；||Wd(x,y)P(x,y)||1表示l1范数；
为了保留光照图的整体结构，将步骤2.1得到的初始光照图P0(x,y)和待求的精细化光照图P(x,y)组合得到
同时，为了保留光照图中图像的边缘信息，构造权重矩阵Wd(x,y)，将该权重矩阵与精细化光照图P(x,y)进行组合得到||Wd(x,y)P(x,y)||1；
权重矩阵Wd(x,y)基于相对全变分模型，权重矩阵Wd(x,y)的表达式为：
其中,Ω(x,y)表示以(x,y)为中心的邻域，Gσ(x,y)为标准差为σ的高斯核函数，▽d为梯度符号，d代表梯度方向，P0(z)表示初始光照图，z为Ω(x,y)中的坐标；
Gσ(x,y)表示为：
||Wd(x,y)P(x,y)||1的近似值表示为：
其中，h、v分别代表水平和竖直方向，为了避免在计算时出现分母为零的情况，需要在分母加上一个接近于零的数∈，∈＞0；优化目标函数改写为：
λ为尺度系数，用来平衡前后两个惩罚因子；为了求解公式(10)，根据拉格朗日定理得到：
记
将公式(11)写为离散形式，对上述方程求近似解，计算公式为：
其中，D+代表前向有限偏微分，D-代表后向有限偏微分，Δt为迭代步长，Pn(x,y)、Pn+1(x,y)分别为第n次估计、第n+1次估计的精细化光照图；设在第N次迭代时，公式(6)取得最小值或达到最大迭代次数，Pn(x,y)即为待求的精细化光照图P(x,y)。
4.根据权利要求3所述的采煤工作面尘雾图像清晰化方法，其特征在于，
所述步骤3具体为：
步骤3.1.浓雾区域透射率值的估计；
大气衰减模型中的透射率t(x,y)与场景深度d(x,y)和大气散射系数β有关，表示为：
t(x,y)＝e-βd(x,y) (13)
其中，采煤工作面浓雾区域图像的亮度、饱和度和梯度等特征近似符合颜色衰减模型，该区域场景深度由梯度、亮度和饱和度线性表示；
根据颜色衰减模型的线性图像深度模型，浓雾区域场景深度表示为：
d(x,y)＝ω1L(x,y)+ω2S(x,y)+ω3G(x,y)+ε，(x,y)∈DFR (14)
其中，ω1、ω2、ω3为线性系数，ε代表估计误差，DFR表示浓雾区域，d(x,y)、L(x,y)、S(x,y)、G(x,y)分别表示图像的深度、亮度、饱和度和梯度信息；
选取固定大小的窗口范围，估计尘雾平均深度
为：
其中，Φi(x,y)为以(x,y)为中心的窗口，N为窗口个数，
表示窗口平均深度，
分别为窗口的平均亮度、平均饱和度以及平均梯度；
井下浓雾区域尘雾密度不均匀，大气散射系数与尘雾浓度有关，大气散射系数表示为：
β(x,y)＝a·eb·L(x,y) (16)
其中，a、b为系数，L(x,y)表示亮度图像；根据公式(14)和公式(16)分别求取场景深度以及大气散射系数后，代入公式(15)中得到浓雾区域的透射率t0(x,y)；
步骤3.2.浓雾区域透射率值的估计；
对于非浓雾区域，利用暗通道先验，得到非浓雾区域的透射率t1(x,y)为：
其中，Ω(x,y)表示以像素(x,y)为中心的一个窗口；
表示各通道环境光图。
5.根据权利要求4所述的采煤工作面尘雾图像清晰化方法，其特征在于，
所述步骤4具体为：
步骤4.1.浓雾区域环境光估计；
浓雾区域的光照分布表示为：
P(x,y)＝A0(x,y)t0(x,y),(x,y)∈DFR (18)
其中，P0(x,y)表示浓雾区域环境光值，t0(x,y)表示浓雾区域透射率；
在步骤2估计出全局光照图P(x,y)后，则浓雾区域环境光值A0(x,y)为：
A0(x,y)＝P(x,y)/t0(x,y) (19)
浓雾区域的透射率t0(x,y)由步骤3.1求解得到，进而得到该浓雾区域的环境光值；
步骤4.2.非浓雾区域环境光估计；
非浓雾区域的环境光值A1(x,y)为：A1(x,y)＝P(x,y) (20)。
6.根据权利要求5所述的采煤工作面尘雾图像清晰化方法，其特征在于，
所述步骤5具体为：
在计算全局环境光及透射率矩阵时，利用浓雾区域概率函数α(x,y)分别将不同区域环境光值和透射率进行Alpha融合，得到全局环境光值A(x,y)和透射率t(x,y)为：
对全局透射率t(x,y)进行引导滤波，在保持边缘的同时，减小融合过程产生的噪声；利用大气散射模型恢复低照度尘雾图像，如公式(22)所示；
其中，J(x,y)表示恢复的清晰化图像；
η表示透射率修正参数，max(t(x,y),η)表示取全局透射率t(x,y)和η中的最大值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210876526.0A CN115205151A (zh) | 2022-07-25 | 2022-07-25 | 基于大气散射模型的采煤工作面尘雾图像清晰化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210876526.0A CN115205151A (zh) | 2022-07-25 | 2022-07-25 | 基于大气散射模型的采煤工作面尘雾图像清晰化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115205151A true CN115205151A (zh) | 2022-10-18 |
Family
ID=83584289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210876526.0A Pending CN115205151A (zh) | 2022-07-25 | 2022-07-25 | 基于大气散射模型的采煤工作面尘雾图像清晰化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205151A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116109513A (zh) * | 2023-02-27 | 2023-05-12 | 南京林业大学 | 一种基于局部环境光投影恒常先验的图像去雾方法 |
| CN116433780A (zh) * | 2023-06-14 | 2023-07-14 | 深圳市恒鑫通智能精密科技有限公司 | 一种基于机器视觉的激光结构光自动标定方法 |
| CN116912149A (zh) * | 2023-09-13 | 2023-10-20 | 煤炭科学技术研究院有限公司 | 图像增强方法、装置及电子设备 |
-
2022
- 2022-07-25 CN CN202210876526.0A patent/CN115205151A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116109513A (zh) * | 2023-02-27 | 2023-05-12 | 南京林业大学 | 一种基于局部环境光投影恒常先验的图像去雾方法 |
| CN116109513B (zh) * | 2023-02-27 | 2023-08-04 | 南京林业大学 | 一种基于局部环境光投影恒常先验的图像去雾方法 |
| CN116433780A (zh) * | 2023-06-14 | 2023-07-14 | 深圳市恒鑫通智能精密科技有限公司 | 一种基于机器视觉的激光结构光自动标定方法 |
| CN116433780B (zh) * | 2023-06-14 | 2023-08-25 | 深圳市恒鑫通智能精密科技有限公司 | 一种基于机器视觉的激光结构光自动标定方法 |
| CN116912149A (zh) * | 2023-09-13 | 2023-10-20 | 煤炭科学技术研究院有限公司 | 图像增强方法、装置及电子设备 |
| CN116912149B (zh) * | 2023-09-13 | 2023-12-26 | 煤炭科学技术研究院有限公司 | 图像增强方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115205151A (zh) | 基于大气散射模型的采煤工作面尘雾图像清晰化方法 | |
| Li et al. | Single image rain streak decomposition using layer priors | |
| Ju et al. | Single image dehazing via an improved atmospheric scattering model | |
| Wang et al. | Dehazing for images with large sky region | |
| Raikwar et al. | Lower bound on transmission using non-linear bounding function in single image dehazing | |
| CN102326379B (zh) | 从图像中去除模糊的方法 | |
| Wu et al. | Accurate transmission estimation for removing haze and noise from a single image | |
| CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
| CN108564597B (zh) | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 | |
| Gao et al. | Detail preserved single image dehazing algorithm based on airlight refinement | |
| CN110211070B (zh) | 一种基于局部极值的低照度彩色图像增强方法 | |
| CN111161360A (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN103020914A (zh) | 基于空间连续性原理的快速图像去雾方法 | |
| Agrawal et al. | A comprehensive review on analysis and implementation of recent image dehazing methods | |
| CN107798670A (zh) | 一种利用图像引导滤波器的暗原色先验图像去雾方法 | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| Liu | Dehaze enhancement algorithm based on retinex theory for aerial images combined with dark channel | |
| CN112070688A (zh) | 一种基于上下文引导生成对抗网络的单幅图像去雾方法 | |
| Yuan et al. | Image dehazing based on a transmission fusion strategy by automatic image matting | |
| CN105023246B (zh) | 一种基于对比度和结构相似度的图像增强方法 | |
| CN114693548B (zh) | 一种基于亮区域检测的暗通道去雾方法 | |
| CN110349113B (zh) | 一种基于暗原色先验改进的自适应图像去雾方法 | |
| CN114677289A (zh) | 一种图像去雾方法、系统、计算机设备、存储介质及终端 | |
| CN113421210A (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
| CN109949239B (zh) | 一种适用于多浓度多场景雾霾图像的自适应清晰化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |