CN106530240B - 一种基于多尺度融合和全变分优化的图像去雾方法 - Google Patents
一种基于多尺度融合和全变分优化的图像去雾方法 Download PDFInfo
- Publication number
- CN106530240B CN106530240B CN201610867432.1A CN201610867432A CN106530240B CN 106530240 B CN106530240 B CN 106530240B CN 201610867432 A CN201610867432 A CN 201610867432A CN 106530240 B CN106530240 B CN 106530240B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- transmission plot
- pixel
- full variation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000011084 recovery Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 38
- 239000003595 mist Substances 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000007499 fusion processing Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000002156 mixing Methods 0.000 claims description 3
- 238000009738 saturating Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000009499 grossing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012804 iterative process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度融合和全变分优化的图像去雾方法，利用本发明算法进行去雾复原后的图像无论在清晰度、对比度和颜色的保真度方面都取得很好的视觉效果，不仅保留了重要的景深边缘结构，还原出清晰的近景纹理，还解决了因存在高亮度近景物体带来的先验失效问题；另外，该算法还在处理效率上具有明显的优势。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种基于多尺度融合和全变分优化的图像去雾方法。
背景技术
当今社会，随着人类活动的日益频繁，生态环境的日益恶化，雾霾已经成为了一种常见的自然现象。雾霾是由悬浮在大气中的大量微小水滴、气溶胶等颗粒对光线的散射和吸收作用产生。雾霾的存在对于图像技术来说是一个重大的考验，它会导致图像中目标的对比度降低、饱和度下降和色调偏移。随着计算机视觉系统的发展及其在军事、交通以及安全监控等领域的发展,图像去雾已成为计算机视觉的重要研究方向。
然而，由于雾图中对比度和清晰度与场景深度紧密相关，传统的图像增强技术大多难以取得满意的复原效果。为实现场景深度的估计，研究者相继提出利用同场景的多幅图像(不同极化方向或者不同天气情况下拍摄)来推导景深信息。大多数机器视觉应用难以实现多幅图像的采集，因此借助已知先验或假设的单幅图像去雾研究近年来成为研究的重点。其中，基于暗通道先验假设的单幅图像去雾尤为引起关注。在大气散射物理模型基础上引入暗通道先验规律对降质图像进行复原，其局限性主要体现在两个方面，其一，采用软抠像方法对透射图进行精细化处理，计算开销大，影响工程实时处理；其二，暗通道先验失效，或全局大气光估计偏差，会极大影响图像的复原效果。
为了克服原始算法的局限性，先后出现若干改进算法。例如，提出利用中值滤波器近似估计大气耗散函数；引入图像处理单元执行像素级的并行计算，加快算法执行效率；利用雾图来引导透射图的精细滤波等等。这些方法虽然提高了实时处理能力，但或多或少都以牺牲去雾效果为代价。
发明内容
本发明所要解决的技术问题是针对背景技术的不足提供了一种基于多尺度融合和全变分优化的图像去雾方法。
本发明为解决上述技术问题采用以下技术方案
一种基于多尺度融合和全变分优化的图像去雾方法，具体包含如下步骤：
步骤1，输入原雾图I；
步骤2，从步骤1输入的原雾图I中导出像素级暗原色图PDM和块级暗原色图BDM；
步骤3，依据大气散射模型和暗通道先验，推导出像素级暗原色图PDM和块级暗原色图BDM对应的透射图，具体如下：
其中，PTM为像素级透射图，BTM为块级透射图，A是全局大气光强度；
步骤4，将步骤3计算出的PTM和BTM分别进行拉普拉斯金字塔分解，形成多级不同尺度图像；
步骤5，将PTM和BTM对应的分解图分别执行融合过程，再重构成原始尺寸的融合投射图；
步骤6，对步骤5重构成原始尺寸的融合透射图执行全变分优化处理；进而依据大气散射模型完成图像的复原。
作为本发明一种基于多尺度融合和全变分优化的图像去雾方法的进一步优选方案，在步骤2中，具体根据以下公式从原雾图I中导出像素级暗原色图PDM和块级暗原色图BDM：
其中Ic(y)代表输入图像在颜色通道c上的分量，y是像素位置，其中，c∈{R,G,B}，这里R，G，B分别表示红、绿、蓝三个颜色通道。PDM(y)代表像素y在三个颜色通道上的最小值，BDM(x)是PDM图中以像素x为中心的邻域(Ω(x))内的最小值。
作为本发明一种基于多尺度融合和全变分优化的图像去雾方法的进一步优选方案，在步骤5中，在每个分解层上，按照以下独立执行线性融合过程，再重构成原始尺寸的融合透射图；
其中，Pi和Bi分别是PTM和BTM经过拉普拉斯分解后的第i层分解图像，Fi是第i层融合图，N是分解层数目。
作为本发明一种基于多尺度融合和全变分优化的图像去雾方法的进一步优选方案，在步骤6中，全变分模优化处理公式具体如下所示：
其中，λ是惩罚因子，W是权值矩阵，其中，尺寸与原雾图一致，代表融合图像的N个分解层Fi，(1≤i≤N)经过拉普拉斯重构后的透射图粗估计，t是优化目标。
作为本发明一种基于多尺度融合和全变分优化的图像去雾方法的进一步优选方案，在步骤6中，根据大气散射模型，复原后的图像表示为：
其中，x是像素位置，I和J分别是输入的雾图和去雾后的图像，A是全局大气光强度，t是全变分优化后的透射图，t0是透射率下限值。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1.本发明利用户外无雾图像存在的暗通道先验规律，从原雾图导出两幅透射粗估计图，在拉普拉斯金字塔分解框架下，对两幅透射图，在不同分解层上执行多尺度的加权融合处理，使得融合结果保留重要的场景深度边缘细节以及图像的低频平滑分量；
2.为了进一步消除融合形成的透射图中包含的高频纹理噪声分量，发明提出利用全变分模型进行透射图的局部平滑优化；
3.模型中引入梯度相关的权值矩阵，对景深一致与突变区域的像素执行不同程度的平滑处理，为加速求解优化模型的求解，本发明提出基于梯度近似的迭代过程；
4.本发明生成并优化透射图，使其同时具备局部平滑和边缘保持特性，加快透射图优化过程，使其满足实际工程应用的实时性需求；
5.利用本发明算法进行去雾复原后的图像无论在清晰度、对比度和颜色的保真度方面都取得很好的视觉效果，不仅保留了重要的景深边缘结构，还原出清晰的近景纹理，还解决了因存在高亮度近景物体带来的先验失效问题；另外，该算法还在处理效率上具有明显的优势。
附图说明
图1是本发明整个算法的流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
如图1所示，一种基于多尺度融合和全变分优化的图像去雾方法，具体包含如下步骤：
步骤1，输入原雾图I；
步骤2，从步骤1输入的原雾图I中导出像素级暗原色图PDM和块级暗原色图BDM；
步骤3，依据大气散射模型和暗通道先验，推导出像素级暗原色图PDM和块级暗原色图BDM对应的透射图，
其中，PTM为像素级透射图，BTM为块级透射图，
步骤4，将步骤3计算出的PTM和BTM分别进行拉普拉斯金字塔分解，形成多级不同尺度图像；
步骤5，在每个分解层上，将PTM和BTM对应的分解图分别执行融合过程，再重构成原始尺寸的融合投影图；
步骤6，对步骤5重构成原始尺寸的融合透射图执行全变分优化处理；进而依据大气散射模型完成图像的复原。
算法具体过程如下：
1.全局大气光估计
按照式(1)和(2)，从原雾图中导出两幅暗原色图，分别是像素级暗原色图PDM和块级暗原色图BDM。
选取BDM中前0.1％的最亮像素对应的位置集合S＝{x1,x2...}，不同颜色通道上的全局大气光强度A被估计为：Ic(x*)，其中，c∈{R,G,B}，
2.PTM和BTM的生成
依据大气散射模型和暗通道先验，推导出PDM和BDM对应的透射图估计：
3.执行拉普拉斯金字塔分解，将PTM和BTM分解成不同尺度的{Pi}1≤i≤N和{Bi}1≤i≤N，其中，N代表分解的层数。
4.在每个分解层上，按照式(5)独立执行线性融合过程，得到{Fi}1≤i≤N。
由拉普拉斯金字塔分解形成的多层图像中，所在层次越低，图像包含的高频分量越丰富，纹理和边缘细节越多。层次越高，分解图像中的平滑分量多，全局结构特征明显。PTM针对每个像素求取颜色通道的最小值，其包含了原雾图中几乎所有的纹理和边缘结构。BTM利用图像块的腐蚀过程实现的，具备局部平滑特性，但存在块效应现象，边缘模糊。因此，为了保留与原雾图一致的重要的景深边缘结构，以及满足景深局部平滑的特征，采用式(5)中权重的分配方案，即，层次越低，分配给PTM的权重越大；层次越高，分配给BTM的权值越大。当逐层执行融合操作后，将每层的融合结果进行重构，恢复成原始雾图的尺寸，获得透射图估计结果
透射图的全变分优化
融合后的透射图虽然保留重要的边缘结构，但仍然包含较多的纹理噪声，而深度与这些纹理是不相关的，有必要利用全变分模型执行进一步平滑处理。全变分模型如式(6)所示。
其中，λ是惩罚因子，W是权值矩阵(尺寸与原雾图一致)，定义为：
代表原雾图亮度梯度。像素的亮度梯度越大，对应的权值越小。
为了加快全变分模型的求解过程，采用基于梯度近似的迭代方法。主要思想是：将(6)中近似表示为：
其中，r表示邻域的宽度。为了简化求解，每次迭代过程中，利用上一次求解的t 在邻域内的一阶差分的均值来表示▽t。对于第j次迭代，将(8)带入(6)，并令其导数为0，得到：
求解(9)，得到：
最后一次迭代的结果对应变分优化处理后的透射图。
5.图像重构
根据大气散射模型，复原后的图像表示为：
其中，分母中t0的引入是为远景保留一定的雾气，不破坏去雾后自然视觉效果。
综上所述，本发明利用户外无雾图像存在的暗通道先验规律，从原雾图导出两幅透射粗估计图，在拉普拉斯金字塔分解框架下，对两幅透射图，在不同分解层上执行多尺度的加权融合处理，使得融合结果保留重要的场景深度边缘细节以及图像的低频平滑分量；为了进一步消除融合形成的透射图中包含的高频纹理噪声分量，发明提出利用全变分模型进行透射图的局部平滑优化；模型中引入梯度相关的权值矩阵，对景深一致与突变区域的像素执行不同程度的平滑处理，为加速求解优化模型的求解，本发明提出基于梯度近似的迭代过程；
本发明生成并优化透射图，使其同时具备局部平滑和边缘保持特性，加快透射图优化过程，使其满足实际工程应用的实时性需求；利用本发明算法进行去雾复原后的图像无论在清晰度、对比度和颜色的保真度方面都取得很好的视觉效果，不仅保留了重要的景深边缘结构，还原出清晰的近景纹理，还解决了因存在高亮度近景物体带来的先验失效问题；另外，该算法还在处理效率上具有明显的优势。
Claims (3)
1.一种基于多尺度融合和全变分优化的图像去雾方法，其特征在于：具体包含如下步骤：
步骤1，输入原雾图I；
步骤2，从步骤1输入的原雾图I中导出像素级暗原色图PDM和块级暗原色图BDM；
步骤3，依据大气散射模型和暗通道先验，推导出像素级暗原色图PDM和块级暗原色图BDM对应的透射图，具体如下：
其中，PTM为像素级透射图，BTM为块级透射图，A是全局大气光强度；
步骤4，将步骤3计算出的PTM和BTM分别进行拉普拉斯金字塔分解，形成多级不同尺度图像；
步骤5，将PTM和BTM对应的分解图执行融合过程，再重构成原始尺寸的融合透射图；
在每个分解层上，按照如下公式独立执行线性融合过程，再重构成原始尺寸的融合透射图；
其中，Pi和Bi分别是PTM和BTM经过拉普拉斯分解后的第i层分解图像，Fi是第i层融合图，N是分解层数目；
步骤6，对步骤5重构成原始尺寸的融合透射图执行全变分优化处理；进而依据大气散射模型完成图像的复原；
全变分优化处理公式具体如下所示：
其中，λ是惩罚因子，W是权值矩阵，其中，尺寸与上述原雾图一致，代表融合图像的N个分解层Fi拉普拉斯重构后的透射图粗估计，1≤i≤N，t是优化目标，E为融合透射图。
2.根据权利要求1所述的一种基于多尺度融合和全变分优化的图像去雾方法，其特征在于：在步骤2中，具体根据以下公式从原雾图I中导出像素级暗原色图PDM和块级暗原色图BDM：
其中Ic(y)代表输入图像在颜色通道c上的分量，y是像素位置，其中，c∈{R,G,B}，这里R，G，B分别表示红、绿、蓝三个颜色通道，PDM(y)代表像素y在三个颜色通道上的最小值，BDM(x)是PDM图中以像素x为中心的邻域Ω(x)内的最小值。
3.根据权利要求1所述的一种基于多尺度融合和全变分优化的图像去雾方法，其特征在于：在步骤6中，根据大气散射模型，复原后的图像表示为：
其中，x是像素位置，I和J分别是输入的雾图和去雾后的图像，A是全局大气光强度，t(x) 是全变分优化后的透射图，t0是透射率下限值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610867432.1A CN106530240B (zh) | 2016-09-29 | 2016-09-29 | 一种基于多尺度融合和全变分优化的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610867432.1A CN106530240B (zh) | 2016-09-29 | 2016-09-29 | 一种基于多尺度融合和全变分优化的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106530240A CN106530240A (zh) | 2017-03-22 |
| CN106530240B true CN106530240B (zh) | 2019-06-28 |
Family
ID=58344631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610867432.1A Active CN106530240B (zh) | 2016-09-29 | 2016-09-29 | 一种基于多尺度融合和全变分优化的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106530240B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106951574B (zh) * | 2017-05-03 | 2019-06-14 | 牡丹江医学院 | 一种基于计算机网络的信息处理系统和方法 |
| CN110060210B (zh) * | 2018-01-19 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 图像处理方法及相关装置 |
| CN108550130A (zh) * | 2018-04-23 | 2018-09-18 | 南京邮电大学 | 一种图像金字塔模型的多尺度透射图融合方法 |
| CN109903239B (zh) * | 2019-01-28 | 2023-02-14 | 华南理工大学 | 一种基于加权全变分的自适应图像去雾方法 |
| CN110211072B (zh) * | 2019-06-11 | 2023-05-02 | 青岛大学 | 一种图像去雾方法、系统及电子设备和存储介质 |
| CN110555814A (zh) * | 2019-08-30 | 2019-12-10 | 深圳市商汤科技有限公司 | 图像去雾处理方法及装置、存储介质 |
| CN117517215A (zh) * | 2023-11-09 | 2024-02-06 | 中国矿业大学 | 一记录生态资源变化状态的遥感检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942758A (zh) * | 2014-04-04 | 2014-07-23 | 中国人民解放军国防科学技术大学 | 基于多尺度融合的暗通道先验图像去雾方法 |
| CN104392417A (zh) * | 2014-11-28 | 2015-03-04 | 嘉应学院 | 基于像素暗通道和各向异性扩散滤波的图像去雾方法 |
-
2016
- 2016-09-29 CN CN201610867432.1A patent/CN106530240B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942758A (zh) * | 2014-04-04 | 2014-07-23 | 中国人民解放军国防科学技术大学 | 基于多尺度融合的暗通道先验图像去雾方法 |
| CN104392417A (zh) * | 2014-11-28 | 2015-03-04 | 嘉应学院 | 基于像素暗通道和各向异性扩散滤波的图像去雾方法 |
Non-Patent Citations (4)
| Title |
|---|
| 图像去雾与图像增强算法研究;王奕权;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160515;第21页第2段-第27页第3段，第32页第1段及图3.1 |
| 基于全变分Retinex 及梯度域的雾天图像增强算法;陈炳权 等;《通信学报》;20140630;第146页右栏第2段 |
| 基于暗原色先验的图像快速去雾;曾浩 等;《中国图象图形学报》;20150731;全文 |
| 基于暗通道先验和Retinex 理论的快速单幅图像去雾方法;刘海波 等;《自动化学报》;20150731;全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106530240A (zh) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106530240B (zh) | 一种基于多尺度融合和全变分优化的图像去雾方法 | |
| Garg et al. | Underwater image enhancement using blending of CLAHE and percentile methodologies | |
| Yang et al. | Low complexity underwater image enhancement based on dark channel prior | |
| CN106910175B (zh) | 一种基于深度学习的单幅图像去雾算法 | |
| Liu et al. | Multi-purpose oriented single nighttime image haze removal based on unified variational retinex model | |
| CN106157267B (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
| CN102231791B (zh) | 一种基于图像亮度分层的视频图像去雾方法 | |
| CN110378849B (zh) | 基于深度残差网络的图像去雾去雨方法 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| CN103500440A (zh) | 一种去除大气退化图像云雾的方法 | |
| CN105096272A (zh) | 一种基于双树复小波的除雾方法 | |
| CN105139344B (zh) | 基于频域及相位一致性的单幅图像去除雨滴影响的方法和系统 | |
| CN103578083A (zh) | 基于联合均值漂移的单幅图像去雾方法 | |
| CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
| Yu et al. | Image and video dehazing using view-based cluster segmentation | |
| CN110070506A (zh) | 一种基于多尺度混合指数模型的视频去雨方法 | |
| CN107481211B (zh) | 一种基于梯度域融合的夜间交通监控增强方法 | |
| Fu et al. | An anisotropic Gaussian filtering model for image de-hazing | |
| Zhang et al. | Underwater image enhancement by fusion | |
| Zhou et al. | Single image dehazing based on weighted variational regularized model | |
| CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
| Qing et al. | Underwater image enhancement with an adaptive dehazing framework | |
| Wang et al. | Semi-supervised learning: Structure, reflectance and lighting estimation from a night image pair | |
| Tang et al. | Structure–texture decomposition-based dehazing of a single image with large sky area | |
| He et al. | A fast algorithm for image defogging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: No. 66, New Model Road, Gulou District, Nanjing City, Jiangsu Province, 210000 Applicant after: Nanjing Post & Telecommunication Univ. Address before: 210033 No. 9-6 Guangyue Road, Qixia Street, Qixia District, Nanjing City, Jiangsu Province Applicant before: Nanjing Post & Telecommunication Univ. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |