CN108537756A - 基于图像融合的单幅图像去雾方法 - Google Patents

基于图像融合的单幅图像去雾方法 Download PDF

Info

Publication number
CN108537756A
CN108537756A CN201810337504.0A CN201810337504A CN108537756A CN 108537756 A CN108537756 A CN 108537756A CN 201810337504 A CN201810337504 A CN 201810337504A CN 108537756 A CN108537756 A CN 108537756A
Authority
CN
China
Prior art keywords
image
value
pixel
defogging
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810337504.0A
Other languages
English (en)
Other versions
CN108537756B (zh
Inventor
王洪玉
刘少丽
王兵
吴尚阳
赵雪松
韩科
尹维崴
李睿
谢蓓敏
郝应光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
State Grid Corp of China SGCC
State Grid Jilin Electric Power Corp
Original Assignee
Dalian University of Technology
State Grid Corp of China SGCC
State Grid Jilin Electric Power Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology, State Grid Corp of China SGCC, State Grid Jilin Electric Power Corp filed Critical Dalian University of Technology
Priority to CN201810337504.0A priority Critical patent/CN108537756B/zh
Publication of CN108537756A publication Critical patent/CN108537756A/zh
Application granted granted Critical
Publication of CN108537756B publication Critical patent/CN108537756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像融合的单幅图像去雾方法，能够对有雾图像进行去雾增强。本发明方法包括如下步骤：(1)求取待融合图像；(2)求取待融合图像的特征权重；(3)多尺度融合去雾。本发明还公开了一种基于图像融合的单幅图像去雾系统。本发明能够极大地提高有雾图像的对比度和清晰度，而且算法的复杂度低、运行速度快，因而能够应用于日常的监控系统当中。

Description

基于图像融合的单幅图像去雾方法
技术领域
本发明属于图像信息处理技术领域，特别是涉及基于图像融合的单幅图像去雾方法。
背景技术
目前，有雾图像的清晰化处理算法主要分为两大类：基于图像增强的方法以及基于物理模型的方法。
基于图像增强的方法通常是采用伽马校正，直方图均衡化等方法，通过提高图像的对比度达到去雾的目的。基于图像增强的方法计算简单，但容易造成图像信息的损失。
基于物理模型的方法从本质上分析了雾天图像降质的原因，能够较好地复原无雾图像。基于物理模型的方法通常是建立在大气散射模型的基础上，根据雾化图像的成因进行反向推导，获得无雾图像。根据算法的输入，此类算法可以进一步划分为以下四类：(1)基于多幅图像的去雾算法；(2)基于偏振滤波器的去雾算法；(3)基于场景深度的去雾算法；(4)基于单幅图像的去雾算法。
上述的四类方法中，基于单幅图像的去雾方法是目前的研究热点，此类算法主要基于各种先验假设。何凯明等人在文献《Single image haze removal using darkchannel prior》当中提出了一种基于暗通道先验的去雾方法，暗通道先验假设在无雾图像的非天空区域，某些像素点的RGB三通道中至少有一个颜色通道具有极低的值。基于暗通道先验可以对图像的透射率进行初始估计，但是当有雾图像当中存在大面积的天空区域时，会导致透射率估计不准确，去雾效果不理想。Tarel等人在文献《Fast visibilityrestoration from a single color or gray level image》当中提出了一种单幅图像去雾算法，算法假设大气耗散函数局部变化平缓并利用中值滤波的变形形式估计大气耗散函数。但是，算法不能很好地保持图像当中物体的边缘信息，同时算法参数多，调整困难。上述的先验大都假设图像局部块当中的透射率是一致的，极易导致去雾后图像的块效应，对此Berman等人在文献《Non-Local Image Dehazing》当中提出一种基于非局部先验的去雾方法，该方法首先利用非局部先验估计图像的透射率，然后采用正则化的方法对透射率进行优化。由于该算法是基于图像像素点的，因而不会产生块效应，而且算法的运行速度快，能够满足实时性的要求。但是基于非局部先验的算法存在去雾不完全、天空区域失真等问题。
近年来基于图像融合的单幅图像去雾算法取得了快速发展。基于融合的去雾算法通过选用合适的融合策略，将有雾图像经过不同处理后得到的多幅图像进行融合，以实现去雾的目的。Ancuti等人在文献《Enhancing underwater images and videos by fusion》当中提出了一种基于图像融合的水下图像视频增强方法，该方法将有雾图像经过白平衡处理得到的图像作为第一幅待融合图像，将有雾图像经过去噪、颜色校正、直方图均衡化处理得到的图像作为第二幅待融合图像，然后根据图像的全局对比度、局部对比度、显著性和曝光度四个特征计算融合权重图像。算法增强效果好，但是应用场景受限。郭璠等人在文献《基于融合策略的单幅图像去雾算法》当中提出了一种基于图像融合的去雾方法，该方法仅依靠单幅有雾图像即可估算出相关的输入图与权重图，算法操作简单，并且去雾后图像清晰度和色彩自然度较好，但是算法假设图像当中存在天空区域而采用白平衡处理，当假设不成立时，去雾后的图像颜色会过饱和。
发明内容
基于以上所述现有技术的缺点，本文提出了一种基于图像融合的单幅图像去雾方法及系统。
一种基于图像融合的单幅图像去雾方法，步骤如下：
(1)采用改进的非局部先验算法求取第一幅融合图像
1)求取有雾图像的暗通道图像
对于任意的输入图像I，其暗通道图像可以采用下面的表达式求解：
其中，I表示有雾图像；Ic表示I的某一个颜色通道；Ω(x)是以像素点x为中心的一个滤波窗口；Idark即为I的暗通道图像。
2)根据暗通道图像计算图像的大气光值
计算根据表达式(1-1)得到的暗通道图像当中像素值前0.1％的像素点的位置，然后求取有雾图像中对应位置的像素值的平均值作为图像的大气光值。
3)采用非局部先验估计图像的透射率
一幅彩色图像的RGB颜色值可以用几百个RGB值来替代表示，替代的过程相当于对图像的颜色进行了量化。一幅无雾的彩色图像的像素值在RGB颜色空间坐标系中呈团状分布，在有雾的情况下则呈线状分布，称之为雾线，位于同一条雾线上的像素点的分布是非局部的，也就是这些像素点在有雾图像当中分布在图像的不同位置，场景深度各不相同。采用KD-tree的方法对有雾图像当中的像素点进行聚类，聚类后会得到多条雾线。假设图像整体的大气光值是一致的，依据非局部先验，位于同一条雾线上的像素点对应的无雾时的像素值是相同的，然后假设雾线上半径最大的像素点对应的是无雾的像素点，即其透射率是1，然后根据这条雾线上其他像素点的半径与最大半径之间的关系即可求得其他像素点的透射率。
4)非局部先验去雾算法是基于大气散射模型的去雾算法，大气散射模型的表达式为：
I(x)＝J(x)t(x)+A(1-t(x)) (1-2)
其中：I(x)是有雾图像；J(x)是无雾图像；t(x)是透射率，描述物体反射光线能够经过衰减到达观测点的比例；A是大气光(包括直射的阳光、天空漫射的光线和地面反射的光线等)。
求得大气光值和透射率后利用大气散射模型复原无雾图像，表达式如下：
采用非局部先验算法可以取得较好的去雾效果，但是当有雾图像当中含有大面积天空、白色物体等明亮区域时，去雾后的图像会产生明显的失真这是由于明亮区域的透射率的值比较小，采用表达式(1-3)进行去雾时，由于明亮区域的像素值I(x)与大气光值A接近，与较小的t(x)相除后会将差值扩大，这与明亮区域平坦光滑的特点是不相符的，因而会导致去雾后图像的明亮区域产生噪声放大与颜色失真现象，所以我们在实际应用当中需要对明亮区域的透射率进行纠正。第一步需要做的是要确定这些明亮区域，本发明当中根据明亮区域的像素点的最小颜色通道的像素值较大且饱和度低的特点进行检测，分别设置最小颜色通道阈值v与饱和度阈值η，然后比较图像当中的像素点的上述特征与阈值的关系，对于满足式(1-4)条件的区域确定为明亮区域：
明亮区域透射率的改进：根据明亮区域的亮度与大气光值A接近的特点，引进弱化因子R对明亮区域的透射率进行调整：
其中，
ω是去雾的控制参数，取值范围为[0,1]，ω的值越大，去雾效果越明显，α和R0是可调系数，根据图像合理选择可以保证透射率取得合理值。
5)采用表达式(1-7)复原无雾图像：
设置t0可以防止透射率过小造成图像失真；
(2)采用自适应自动色阶算法求取第二幅融合图像
自动色阶算法首先将图像的RGB三通道一定比例的较低像素和较高像素分别映射为0和255，然后将其余的像素值线性映射或者伽马校正至[0，255]区间。自动色阶算法当中的比例值是人为设置的，无法根据输入图像进行自适应调节。本文对原始的自动色阶算法进行改进得到自适应自动色阶算法，能够根据输入图像自适应设置剪切比例。改进后的计算过程如下：
1)分别计算图像RGB颜色通道的平均值：
其中，M×N代表图像的长度乘上宽度。
2)计算三个颜色通道的平均值的最大值：
3)分别计算最大值与三个颜色通道的平均值的比值并除上1000作为每个通道的剪切比例：
4)与自动色阶算法的步骤一致：根据每个通道的剪切比例，分别计算各通道的上下限值。例如：对于红色通道，我们从色阶0开始向上累加统计直方图，当累加值大于KR×M×N时，以此时的色阶值为minR。然后从色阶255开始向下累计直方图，当累加值大于KR×M×N时，以此时的色阶值为maxR。
5)根据步骤4)计算得到的minR和maxR构建一个伽马变换映射表，映射表的规则是，对于小于minR的值，则映射为minR，对于大于maxR的值，则映射为maxR，对于介于minR和maxR之间的值，进行伽马变换映射。
(3)计算两幅待融合图像的结构权重图，显著性权重图和饱和度权重图来衡量和提取待融合图像更多的细节信息。
1)计算图像的结构权重图
图像的结构特征与图像的局部梯度协方差矩阵相关性较大，假设输入图像的灰度图像为Igray(x,y)，灰度图像在局部窗口Wi当中的梯度协方差矩阵的表达式为
其中Ix(X)和Iy(X)分别表示了图像在X轴方向和Y轴方向的梯度，为了得到图像局部结构的表示，将上述的协方差矩阵C进行特征值分解，分解后的表达式为
其中，和是矩阵C的两个特征值，因而有以下关系成立
由上式可知图像的局部特征值的和等于梯度幅值平方和，因此图像的局部结构与矩阵的特征值相关，如果s1和s2的值都较小，则表明图像的局部区域结构没有明显的变化，即图像的局部区域是平坦的，反之则表明图像的局部区域当中包含了结构变化。例如：当s1和s2某一个值较大而另一个值较小，表明仅仅在较大的特征值的方向上有明显的结构变换，这种单方向的结构极有可能是图像的边缘。如果s1和s2的值均较大表明图像的局部区域当中存在类似拐角的多方向的结构。定义图像的结构显著性的计算表达式为：
参数α控制了单方向结构(例如：图像的边缘)与多方向结构(例如：拐角)的比重大小。当α<1时多方向结构的比重大，当α>1时单方向结构的比重大，为了提高多方向结构的比重，我们选择α＝0.5。采用上述的方法能够检测出图像当中所有的结构信息，对于结构信息丰富的区域给予较高的权重，使得最终复原的图像包含更丰富的结构信息，而且该方法对于模糊和噪声具有鲁棒性。
2)计算图像的显著性权重图
显著性加权可以突显在雾天场景中失去原本显著性的可识别对象，是图像的重要特征。显著性的计算表达式为：
其中k表示的是待融合的图像，是Ik的高斯平滑后的图像，是Ik在Lab颜色空间的平均值。符号|| ||表示L2范数。
3)计算图像的饱和度权重图
雾的存在会降低图像的饱和度，因此饱和度高的像素点，雾的浓度通常较低，应该赋予较高的权重，图像的饱和度加权图的计算表达式为：
具体的，首先将图像进行色彩空间转换，转化到HSV色彩空间，然后计算每个像素点的饱和度分量与最大饱和度之间的差异，Smax设置为1，σ的值设置为0.3。
算法当中根据权重图像的最大最小值对权重图像进行了归一化。说明书附图的图2当中展示了图像及其对应的权重图像。图2当中，待融合图像1是采用改进的非局部先验去雾算法得到的，待融合图像2是采用自适应自动色阶算法得到的。对比图2当中两幅待融合图像及其对应的权重图可以看出，待融合图像1近景处去雾彻底，在景深较远的位置例如：火车后面的车厢位置，存在残留的雾，因此结构权重图的值在近景位置值较大，远景位置值较小。同理，在待融合图像2的结构权重图当中，清晰的位置值较大不清晰的位置值较小，说明我们选取的度量标准准确；同理，显著性权重图与饱和度权重图都能够客观准确的反映图像的相关信息。
4)计算融合权重图
Wk＝Wstr×Wsal×Wsat (1-17)
(4)多尺度融合去雾
本发明采用多尺度融合的方法复原无雾图像以避免光晕等人工效应。具体的对输入图像进行拉普拉斯金字塔处理，对标准化后的权重图像进行高斯金字塔处理，分层进行融合。由于拉普拉斯金字塔与高斯金字塔具有相同的层数，对于输入图像与相应权值的融合也在每一层中分别进行。表达式如下
表达式当中l表示的是金字塔的分解层数；Gl{}和Ll{}分别表示权重图像在金字塔的第l层的高斯分解和待融合图像的拉普拉斯分解的结果。最后通过重构上述的金字塔即可得到去雾后的图像。
一种基于图像融合的单幅图像去雾系统，步骤如下：
(1)融合图像的求取单元，用于求取两幅待融合图像
(1.1)采用改进的非局部先验算法求取第一幅融合图像
1.1.1)求取有雾图像的暗通道图像
对于任意的输入图像I，其暗通道图像采用下面的表达式求解：
其中，I表示有雾图像；Ic表示I的某一个颜色通道；Ω(x)是以像素点x为中心的一个滤波窗口；Idark即为图像I的暗通道图像；
1.1.2)根据暗通道图像计算图像的大气光值
计算根据式(2-1)得到的暗通道图像当中像素值前0.1％的像素点的位置，然后求取有雾图像中对应位置的像素值的平均值作为图像的大气光值；
1.1.3)采用非局部先验估计图像的透射率
一幅彩色图像的RGB颜色值可以用几百个RGB值来替代表示，替代的过程相当于对图像的颜色进行了量化。一幅无雾的彩色图像的像素点在RGB颜色空间坐标系呈团状分布，在有雾的情况下则呈线状分布，称之为雾线，位于同一条雾线上的像素点的分布是非局部的，也就是这些像素点在原图当中分布在图像的不同位置，场景深度各不相同。采用KD-tree的方法对有雾图像当中的像素点进行聚类，聚类后会得到多条雾线。假设图像整体的大气光值是一致的，依据非局部先验，位于同一条雾线上的像素点对应的无雾时的像素值是相同的，然后假设雾线上半径最大的像素点对应的是无雾的像素点，即其透射率是1，然后根据这条雾线上其他像素点的半径与最大半径之间的关系即可求得其他像素点的透射率。
1.1.4)非局部先验去雾算法是基于大气散射模型的去雾算法，大气散射模型的表达式为：
I(x)＝J(x)t(x)+A(1-t(x)) (2-2)
其中：I(x)是有雾图像；J(x)是无雾图像；t(x)是透射率，描述物体反射光线能够经过衰减到达观测点的比例；A是大气光(包括直射的阳光、天空漫射的光线和地面反射的光线等)。
求得大气光值和透射率后利用大气散射模型复原无雾图像，表达式如下：
采用非局部先验算法可以取得较好的去雾效果，但是当有雾图像当中含有大面积天空、白色物体等明亮区域时，去雾后的图像会产生明显的失真这是由于明亮区域的透射率的值比较小，采用表达式(2-3)进行去雾时，由于明亮区域的像素值I(x)与大气光值A接近，与较小的t(x)相除后会将差值扩大，这与明亮区域平坦光滑的特点是不相符的，因而会导致去雾后图像的明亮区域产生噪声放大与颜色失真现象，所以我们在实际应用当中需要对明亮区域的透射率进行纠正。第一步需要做的是要确定这些明亮区域，本发明当中根据明亮区域的像素点的最小颜色通道的像素值较大且饱和度低的特点进行检测，分别设置最小颜色通道阈值v与饱和度阈值η，然后比较图像当中的像素点的上述特征与阈值的关系，对于满足式(2-4)条件的区域确定为明亮区域：
明亮区域透射率的改进：根据明亮区域的亮度与大气光值A接近的特点，引进弱化因子R对明亮区域的透射率进行调整：
其中，
ω是去雾的控制参数，取值范围为[0,1]，ω的值越大，去雾效果越明显，α和R0是可调系数，根据图像合理选择可以保证透射率取得合理值。
1.1.5)采用表达式(2-7)复原无雾图像：
设置t0可以防止透射率过小造成图像失真；
(1.2)采用自适应自动色阶算法求取第二幅融合图像
自动色阶算法首先将图像的RGB三通道一定比例的较低像素和较高像素分别映射为0和255，然后将其余的像素值线性映射或者伽马校正至[0，255]区间。自动色阶算法当中的比例值是人为设置的，无法根据输入图像进行自适应调节。本文对原始的自动色阶算法进行改进得到自适应自动色阶算法，能够根据输入图像自适应设置剪切比例。改进后的计算过程如下：
1.2.1)分别计算图像RGB颜色通道的平均值：
其中，M×N代表图像的长度乘上宽度。
1.2.2)计算三个颜色通道的平均值的最大值：
1.2.3)分别计算最大值与三个颜色通道的平均值的比值并除上1000作为每个通道的剪切比例：
1.2.4)与自动色阶算法的步骤一致：根据每个通道的剪切比例，分别计算各通道的上下限值。例如：对于红色通道，我们从色阶0开始向上累加统计直方图，当累加值大于KR×M×N时，以此时的色阶值为minR。然后从色阶255开始向下累计直方图，当累加值大于KR×M×N时，以此时的色阶值为maxR。
1.2.5)根据步骤4)计算得到的minR和maxR构建一个伽马变换映射表，映射表的规则是，对于小于minR的值，则映射为minR，对于大于maxR的值，则映射为maxR，对于介于minR和maxR之间的值，进行伽马变换映射。
(2)融合图像的特征提取单元，用于提取待两幅融合图像的特征，进而求得融合权重；
2.1)计算图像的结构权重图
图像的结构特征与图像的局部梯度协方差矩阵相关性较大，假设输入图像的灰度图像为Igray(x,y)，灰度图像在局部窗口Wi当中的梯度协方差矩阵的表达式为
其中Ix(X)和Iy(X)分别表示了图像在X轴方向和y轴方向的梯度，为了得到图像局部结构的表示，将上述的协方差矩阵C进行特征值分解，分解后的表达式为
其中，和是矩阵C的两个特征值，因而有以下关系成立
由上式可知图像的局部特征值的和等于梯度幅值平方和，因此图像的局部结构与矩阵的特征值相关，如果s1和s2的值都较小，则表明图像的局部区域结构没有明显的变化，即图像的局部区域是平坦的，反之则表明图像的局部区域当中包含了结构变化。例如：当s1和s2某一个值较大而另一个值较小，表明仅仅在较大的特征值的方向上有明显的结构变换，这种单方向的结构极有可能是图像的边缘。如果s1和s2的值均较大表明图像的局部区域当中存在类似拐角的多方向的结构。定义图像的结构显著性的计算表达式为
参数α控制了单方向结构(例如：图像的边缘)与多方向结构(例如：拐角)的比重大小。当α<1时多方向结构的比重大，当α>1时单方向结构的比重大，为了提高多方向结构的比重，我们选择α＝0.5。采用上述的方法能够检测出图像当中所有的结构信息，对于结构信息丰富的区域给予较高的权重，使得最终复原的图像包含更丰富的结构信息，同时该方法对于模糊和噪声具有鲁棒性。
2.2)计算图像的显著性权重图
显著性加权可以突显在雾天场景中失去原本显著性的可识别对象，是图像的重要特征。显著性的计算表达式为:
其中k表示的是待融合的图像，是Ik的高斯平滑后的图像，是Ik在Lab颜色空间的平均值。符号|| ||表示L2范数。
2.3)计算图像的饱和度权重图
雾的存在会降低图像的饱和度，因此饱和度高的像素点，雾的浓度通常较低，应该赋予较高的权重，图像的饱和度加权图的计算表达式为：
具体的，首先将图像进行色彩空间转换，转化到HSV色彩空间，然后计算每个像素点的饱和度分量与最大饱和度之间的差异，具体的Smax设置为1，σ的值设置为0.3。
算法当中根据权重图像的最大最小值对权重图像进行了归一化。说明书附图的图2当中展示了图像及其对应的权重图像。图2当中，待融合图像1是采用改进的非局部先验去雾算法得到的，待融合图像2是采用自适应自动色阶算法得到的。对比图2当中两幅待融合图像及其对应的权重图可以看出，待融合图像1近景处去雾彻底，在景深较远的位置例如：火车后面的车厢位置，存在残留的雾，因此结构权重图的值在近景位置值较大，远景位置值较小。同理，在待融合图像2的结构权重图当中，清晰的位置值较大不清晰的位置值较小，说明我们选取的度量标准准确；同理，显著性权重图与饱和度权重图都能够客观准确的反映图像的相关信息。
2.4)计算得到融合权重图
Wk＝Wstr×Wsal×Wsat (2-17)
(3)多尺度融合去雾单元，用于根据融合图像以及对应的权重图像复原无雾图像；
所述多尺度融合去雾单元，具体用于：
采用多尺度融合的方法复原无雾图像以避免光晕等人工效应。具体的本发明对输入图像进行拉普拉斯金字塔处理，对标准化后的权重图像进行高斯金字塔处理，分层进行融合。由于拉普拉斯金字塔与高斯金字塔具有相同的层数，对于输入图像与相应权值的融合也在每一层中分别进行。表达式如下：
表达式当中l表示的是金字塔的分解层数；Gl{}和Ll{}分别表示权重图像在金字塔的第l层的高斯分解和待融合图像的拉普拉斯分解的结果。最后通过重构上述的金字塔即可得到去雾后的图像。
本发明的有益效果：
(1)本发明的去雾算法是基于像素点的方式，目前大部分的算法是基于图像块先验的方法，基于块先验的方法假设图像块内的透射率一致，当假设不满足时，需要进行额外的后处理。而基于像素点的算法则不存在这一问题。
(2)本算法复杂度低、处理速度较快，可以很好地复原有雾图像。
附图说明
图1为基于图像融合的单幅图像去雾方法的流程示意图。
图2为待融合图像及其特征权重图。
其中，(a)为待融合图像1；(b)为(a)的结构权重图；(c)为(a)的显著性权重图；(d)为(a)的饱和度权重图；(e)为待融合图像2；(f)为(e)的结构权重图；(g)为(e)的显著性权重图；(h)为(e)的饱和度权重图。
图3为有雾图像及不同加权方法去雾后的效果图。
其中，(a)为有雾图像；(b)为采用直接加权的方法去雾后的结果图像；(c)为本发明去雾效果。
图4为本发明基于图像融合的单幅图像去雾系统的组成示意图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
图1为本发明去雾方法的流程示意图，包括：
(1)求解输入图像(见附图3(a))的两幅待融合图像(见附图2(a)和2(e))。
(2)求取两幅待融合图像的特征权重图，包括结构权重图(见附图2(b)和2(f))，显著性权重图(见附图2(c)和2(g))，饱和度权重图(见附图2(d)和2(h))。
(3)进行多尺度融合去雾，去雾结果见附图3(c)，附图3(b)为采用直接加权的方法去雾的结果，可以看出采用直接加权的方法去雾后的图像存在光晕等人工效应。本发明采用多尺度融合的方法可以避免光晕等人工效应，得到的结果如图3(c)所示，可以看出采用多尺度融合的方法复原的图像清晰自然，不存在光晕等人工效应。
图4为本发明去雾系统的组成示意图，包括：
(1)融合图像的求取单元，用于根据输入图像(见附图3(a))求取两幅待融合图像(见附图2(a)和2(e))。
(2)融合图像的特征提取单元，用于求取两幅待融合图像的特征权重图，包括结构权重图(见附图2(b)和2(f))，显著性权重图(见附图2(c)和2(g))，饱和度权重图(见附图2(d)和2(h))。
(3)多尺度融合去雾单元，用于根据得到的待融合图像及其特征权重图进行多尺度融合去雾，去雾结果见附图3(c)，附图3(b)为采用直接加权的方法去雾的结果，可以看出采用直接加权的方法去雾后的图像存在光晕等人工效应。本发明所采用的多尺度融合的方法可以避免光晕等人工效应，得到的结果如图3(c)所示，可以看出采用多尺度融合的方法复原的图像清晰自然，不存在光晕等人工效应。
总的来说，本发明设计了一种基于图像融合的单幅图像去雾方法及系统，对比图3(a)和图3(c)可以看出，本发明能够有效提高有雾图像的能见度和对比度，因此，本发明可以应用于日常的监控系统当中。

Claims (1)

1.一种基于图像融合的单幅图像去雾方法，其特征在于，步骤如下：
(1)融合图像的求取单元，用于求取两幅待融合图像
(1.1)采用改进的非局部先验算法求取第一幅融合图像
1.1.1)求取有雾图像的暗通道图像
对于任意的输入图像I，其暗通道图像采用下面的表达式求解：
其中，I表示有雾图像；Ic表示I的某一个颜色通道；Ω(x)是以像素点x为中心的一个滤波窗口；Idark即为图像I的暗通道图像；
1.1.2)根据暗通道图像计算图像的大气光值
计算根据式(2-1)得到的暗通道图像当中像素值前0.1％的像素点的位置，然后求取有雾图像中对应位置的像素值的平均值作为图像的大气光值；
1.1.3)采用非局部先验估计图像的透射率
采用KD-tree的方法对有雾图像当中的像素点进行聚类，聚类后得到多条雾线；假设图像整体的大气光值是一致的，依据非局部先验，位于同一条雾线上的像素点对应的无雾时的像素值是相同的，然后假设雾线上半径最大的像素点对应的是无雾的像素点，即其透射率是1，然后根据这条雾线上其他像素点的半径与最大半径之间的关系即求得其他像素点的透射率；
1.1.4)非局部先验去雾算法是基于大气散射模型的去雾算法，大气散射模型的表达式为：
I(x)＝J(x)t(x)+A(1-t(x)) (1-2)
其中：I(x)是有雾图像；J(x)是无雾图像；t(x)是透射率，描述物体反射光线经过衰减到达观测点的比例；A是大气光；
求得大气光值和透射率后利用大气散射模型复原无雾图像，表达式如下：
确定图像中的明亮区域，根据明亮区域的像素点的最小颜色通道的像素值较大且饱和度低的特点进行检测，分别设置最小颜色通道阈值v与饱和度阈值η，然后比较图像当中的像素点的上述特征与阈值的关系，对于满足式(2-4)条件的区域确定为明亮区域：
明亮区域透射率的改进：根据明亮区域的亮度与大气光值A接近的特点，引进弱化因子R对明亮区域的透射率进行调整：
其中，
ω是去雾的控制参数，取值范围为[0,1]，ω的值越大，去雾效果越明显；α和R0是可调系数，根据图像合理选择保证透射率取得合理值；
1.1.5)采用表达式(2-7)复原无雾图像：
设置t0防止透射率过小造成图像失真；
(1.2)采用自适应自动色阶算法求取第二幅融合图像
首先根据增强需求设定剪切比例p，然后将图像的RGB三通道比例p的较低像素和较高像素分别映射为0和255，最后将其余的像素值线性映射或伽马校正至[0，255]区间；自动色阶算法当中的比例值p是人为设置的，无法根据输入图像进行自适应调节；对原始的自动色阶算法进行改进得到自适应自动色阶算法，根据输入图像自适应设置剪切比例，改进后的计算过程如下：
1.2.1)分别计算图像RGB颜色通道的平均值：
其中，M×N代表图像的长度乘上宽度；
1.2.2)计算三个颜色通道的平均值的最大值：
1.2.3)分别计算最大值与三个颜色通道的平均值的比值并除上1000作为每个通道的剪切比例：
1.2.4)与自动色阶算法的步骤一致：根据每个通道的剪切比例，分别计算各通道的上下限值minR和maxR；
1.2.5)根据步骤1.2.4)计算得到的minR和maxR构建一个伽马变换映射表，映射表的规则是：对于小于minR的值，则映射为minR，对于大于maxR的值，则映射为maxR，对于介于minR和maxR之间的值，进行伽马变换映射；
(2)融合图像的特征提取单元，用于提取待两幅融合图像的特征，进而求得融合权重
2.1)计算图像的结构权重图
图像的结构特征与图像的局部梯度协方差矩阵相关性较大，假设输入图像的灰度图像为Igray(x,y)，灰度图像在局部窗口Wi当中的梯度协方差矩阵的表达式为
其中Ix(X)和Iy(X)分别表示图像I在X轴方向和y轴方向的梯度，为了得到图像局部结构的表示，将上述的协方差矩阵C进行特征值分解，分解后的表达式为
其中，和是矩阵C的两个特征值，因而有以下关系成立
定义图像的结构显著性的计算表达式为
参数α控制了单方向结构与多方向结构的比重大小；当α<1时，多方向结构的比重大，当α>1时单方向结构的比重大，为了提高多方向结构的比重，选择α＝0.5；
2.2)计算图像的显著性权重图
显著性的计算表达式为:
其中k表示的是待融合的图像，是Ik的高斯平滑后的图像，是Ik在Lab颜色空间的平均值，符号||||表示L2范数；
2.3)计算图像的饱和度权重图
图像的饱和度加权图的计算表达式为：
首先将图像进行色彩空间转换，转化到HSV色彩空间，然后计算每个像素点的饱和度分量与最大饱和度之间的差异，具体的Smax设置为1，σ的值设置为0.3；
2.4)计算得到融合权重图
Wk＝Wstr×Wsal×Wsat (1-17)
(3)多尺度融合去雾单元，用于根据融合图像以及对应的权重图像复原无雾图像
对输入图像进行拉普拉斯金字塔处理，对标准化后的权重图像进行高斯金字塔处理，分层进行融合；由于拉普拉斯金字塔与高斯金字塔具有相同的层数，对于输入图像与相应权值的融合也在每一层中分别进行，表达式如下：
表达式中l表示的是金字塔的分解层数；Gl{}和Ll{}分别表示权重图像在金字塔的第l层的高斯分解和待融合图像的拉普拉斯分解的结果；
最后通过重构上述的金字塔即得到去雾后的图像。
CN201810337504.0A 2018-04-12 2018-04-12 基于图像融合的单幅图像去雾方法 Active CN108537756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810337504.0A CN108537756B (zh) 2018-04-12 2018-04-12 基于图像融合的单幅图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810337504.0A CN108537756B (zh) 2018-04-12 2018-04-12 基于图像融合的单幅图像去雾方法

Publications (2)

Publication Number Publication Date
CN108537756A true CN108537756A (zh) 2018-09-14
CN108537756B CN108537756B (zh) 2020-08-25

Family

ID=63481228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810337504.0A Active CN108537756B (zh) 2018-04-12 2018-04-12 基于图像融合的单幅图像去雾方法

Country Status (1)

Country Link
CN (1) CN108537756B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447930A (zh) * 2018-10-26 2019-03-08 太原科技大学 小波域光场全聚焦图像生成算法
CN109712094A (zh) * 2018-12-26 2019-05-03 新疆大学 图像处理方法及装置
CN110675340A (zh) * 2019-09-16 2020-01-10 重庆邮电大学 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN110796629A (zh) * 2019-10-28 2020-02-14 杭州涂鸦信息技术有限公司 一种图像融合方法及系统
CN111179200A (zh) * 2019-12-31 2020-05-19 昆明理工大学 一种宽动态范围图像的增强算法
CN111539936A (zh) * 2020-04-24 2020-08-14 河北工业大学 一种锂电池图像的混合权重多光谱融合方法
CN111932469A (zh) * 2020-07-21 2020-11-13 泉州职业技术大学 显著性权重的快速曝光图像融合方法、装置、设备和介质
CN112052822A (zh) * 2020-09-16 2020-12-08 西安交通大学 基于图像多特征融合的公路能见度检测方法、系统及装置
CN112634187A (zh) * 2021-01-05 2021-04-09 安徽大学 基于多重权重映射的宽动态融合算法
CN112907474A (zh) * 2021-02-22 2021-06-04 大连海事大学 一种基于背景光优化与伽马变换的水下图像增强方法
CN115775381A (zh) * 2022-12-15 2023-03-10 华洋通信科技股份有限公司 一种光照不均匀下的矿井电机车路况识别方法
CN111932469B (zh) * 2020-07-21 2024-05-17 泉州职业技术大学 显著性权重的快速曝光图像融合方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078605A1 (en) * 2014-09-16 2016-03-17 National Taipei University Of Technology Image restoration method and image processing apparatus using the same
CN106530246A (zh) * 2016-10-28 2017-03-22 大连理工大学 基于暗通道与非局部先验的图像去雾方法及系统
CN106548463A (zh) * 2016-10-28 2017-03-29 大连理工大学 基于暗通道与Retinex的海雾图像自动去雾方法及系统
CN106846263A (zh) * 2016-12-28 2017-06-13 中国科学院长春光学精密机械与物理研究所 基于融合通道且对天空免疫的图像去雾方法
CN107424132A (zh) * 2017-07-25 2017-12-01 西安电子科技大学 一种图像快速去雾的优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078605A1 (en) * 2014-09-16 2016-03-17 National Taipei University Of Technology Image restoration method and image processing apparatus using the same
CN106530246A (zh) * 2016-10-28 2017-03-22 大连理工大学 基于暗通道与非局部先验的图像去雾方法及系统
CN106548463A (zh) * 2016-10-28 2017-03-29 大连理工大学 基于暗通道与Retinex的海雾图像自动去雾方法及系统
CN106846263A (zh) * 2016-12-28 2017-06-13 中国科学院长春光学精密机械与物理研究所 基于融合通道且对天空免疫的图像去雾方法
CN107424132A (zh) * 2017-07-25 2017-12-01 西安电子科技大学 一种图像快速去雾的优化方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KAIMING HE 等: "Single Image Haze Removal Using Dark Channel Prior", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
NEHA 等: "Study of single image fog removal techniques in low visibility foggy images", 《ICCCA2017》 *
SHAOLI LIU 等: "Sea Foggy Image Haze Removal Algorithm Based on Image Fusion", 《IDW2017》 *
姜子伦: "基于多深度图层融合的图像去雾研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黄宇晴 等: "基于图像增强的无人机侦察图像去雾方法", 《北京航空航天大学学报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447930B (zh) * 2018-10-26 2021-08-20 太原科技大学 小波域光场全聚焦图像生成算法
CN109447930A (zh) * 2018-10-26 2019-03-08 太原科技大学 小波域光场全聚焦图像生成算法
CN109712094A (zh) * 2018-12-26 2019-05-03 新疆大学 图像处理方法及装置
CN109712094B (zh) * 2018-12-26 2022-07-08 新疆大学 图像处理方法及装置
CN110675340A (zh) * 2019-09-16 2020-01-10 重庆邮电大学 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN110796629A (zh) * 2019-10-28 2020-02-14 杭州涂鸦信息技术有限公司 一种图像融合方法及系统
CN110796629B (zh) * 2019-10-28 2022-05-17 杭州涂鸦信息技术有限公司 一种图像融合方法及系统
CN111179200A (zh) * 2019-12-31 2020-05-19 昆明理工大学 一种宽动态范围图像的增强算法
CN111539936A (zh) * 2020-04-24 2020-08-14 河北工业大学 一种锂电池图像的混合权重多光谱融合方法
CN111932469A (zh) * 2020-07-21 2020-11-13 泉州职业技术大学 显著性权重的快速曝光图像融合方法、装置、设备和介质
CN111932469B (zh) * 2020-07-21 2024-05-17 泉州职业技术大学 显著性权重的快速曝光图像融合方法、装置、设备和介质
CN112052822A (zh) * 2020-09-16 2020-12-08 西安交通大学 基于图像多特征融合的公路能见度检测方法、系统及装置
CN112634187A (zh) * 2021-01-05 2021-04-09 安徽大学 基于多重权重映射的宽动态融合算法
CN112634187B (zh) * 2021-01-05 2022-11-18 安徽大学 基于多重权重映射的宽动态融合算法
CN112907474A (zh) * 2021-02-22 2021-06-04 大连海事大学 一种基于背景光优化与伽马变换的水下图像增强方法
CN112907474B (zh) * 2021-02-22 2023-08-25 大连海事大学 一种基于背景光优化与伽马变换的水下图像增强方法
CN115775381A (zh) * 2022-12-15 2023-03-10 华洋通信科技股份有限公司 一种光照不均匀下的矿井电机车路况识别方法
CN115775381B (zh) * 2022-12-15 2023-10-20 华洋通信科技股份有限公司 一种光照不均匀下的矿井电机车路况识别方法

Also Published As

Publication number Publication date
CN108537756B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN108537756A (zh) 基于图像融合的单幅图像去雾方法
CN107527332B (zh) 基于改进Retinex的低照度图像色彩保持增强方法
CN106530246B (zh) 基于暗通道与非局部先验的图像去雾方法及系统
CN106548463B (zh) 基于暗通道与Retinex的海雾图像自动去雾方法及系统
CN103218778B (zh) 一种图像和视频的处理方法及装置
CN104794688B (zh) 基于深度信息分离天空区域的单幅图像去雾方法及装置
Fang et al. Improved single image dehazing using segmentation
CN108765336A (zh) 基于暗亮原色先验与自适应参数优化的图像去雾方法
CN106296612A (zh) 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法
CN113222877B (zh) 红外和可见光图像融合方法及其在机载光电视频中的应用
CN102789635A (zh) 一种图像增强方法和装置
CN104253930A (zh) 一种实时视频去雾方法
CN110400274B (zh) 一种车载红外行人检测用红外图像增强方法
CN110378849A (zh) 基于深度残差网络的图像去雾去雨方法
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
CN107578386A (zh) 一种无人机拍摄图像的优化去雾处理方法
CN112200746B (zh) 一种雾天交通场景图像的去雾方法和设备
CN110634147A (zh) 基于双边引导上采样的图像抠图方法
CN110288539A (zh) 一种结合颜色空间移动与暗通道先验的水下图像清晰方法
CN106204504B (zh) 基于暗通道先验和色调映射的低照度图像增强方法
CN109685735B (zh) 基于雾层平滑先验的单张图片去雾方法
CN104318528A (zh) 基于多尺度wls滤波的雾天图像恢复方法
CN109345479B (zh) 一种视频监控数据的实时预处理方法及存储介质
CN109767407B (zh) 一种去雾过程中大气透射率图像的二次估计方法
CN110111280A (zh) 一种多尺度梯度域引导滤波的低照度图像增强算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant