CN109754372B

CN109754372B - 一种图像去雾处理方法及装置

Info

Publication number: CN109754372B
Application number: CN201811464345.7A
Authority: CN
Inventors: 林骏
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2018-12-03
Filing date: 2018-12-03
Publication date: 2020-12-08
Anticipated expiration: 2038-12-03
Also published as: CN109754372A

Abstract

本发明公开了一种图像去雾处理方法及装置，包括：对待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像；根据背景层图像和大气光估计算法，确定大气光图像；将背景层图像和大气光图像输入暗通道理论模型，确定透射率；将透射率、大气光图像和背景层图像输入大气散射模型，确定去雾处理后的背景层图像；将纹理层图像和所述去雾处理后的背景层图像进行融合处理，确定目标图像。由于在本发明实施例中，首先将待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像，最终将纹理层图像和去雾处理后的背景层图像进行融合处理，确定目标图像。这样目标图像中保存了待去雾处理的图像中的纹理，因此目标图像质量好。

Description

一种图像去雾处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像去雾处理方法及装置。

背景技术

夜间雾霾图像去雾对于夜晚场景中的目标识别、视频监控、遥感监测、智能交通等领域有重要影响。

现有技术对图像进行漆雾处理的方法一般包括以下两种：一种是，将夜间有雾图像反转，利用暗通道先验算法对反转进行去雾，然后再反转得到亮度增强图像，结合导向滤波后的亮度增强图像得到弱光晕图像；利用弱光晕图像的均值和方差得到颜色校正图像；再利用导向滤波后的亮度增强图像对颜色校正图像进行去光晕得到图像I1；最后融合颜色校正图像和图像I1得到无光晕、无色片图像，在利用暗通道理论进行去雾。另一种是，输入夜间卡口图像，将夜间图像暗通道进行反转，得到反转的夜间卡口图像；利用反转卡口图像，获得暗通道图像；计算大气散射模型中的全球大气光；根据全球大气光，得到透射率图像；用导向滤波精细透射率图像；对全球大气光和精细后的透射率图像，基于大气散射模型，得到增强后的夜间卡口图像的反转图像；将反转图像再次反转，得到最终增强的夜间卡口图像。

现有技术存在的问题是，只是实现了夜间有雾图像的对比度拉伸和暗通道去雾，并没有从图像成分的角度对图像的纹理细节进行保留。因此，现有技术中的去雾处理方法得到的图像质量仍然较差。

发明内容

本发明实施例提供了一种图像去雾处理方法及装置，用以解决现有技术中去雾处理后的图像质量较差的问题。

本发明实施例提供了一种图像去雾处理方法，所述方法包括：对待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像；

根据所述背景层图像和大气光估计算法，确定大气光图像；

将所述背景层图像和大气光图像输入暗通道理论模型，确定所述背景层图像的透射率；

将所述透射率、大气光图像和背景层图像输入大气散射模型，确定去雾处理后的背景层图像；

将所述纹理层图像和所述去雾处理后的背景层图像进行融合处理，确定目标图像。

进一步地，所述对待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像包括：

对待去雾处理的图像进行分层处理，确定纹理层图像和结构层图像；

去除所述结构层图像中的闪耀层图像，得到背景层图像。

进一步地，确定背景层图像之后，根据所述背景层图像和大气光估计算法，确定大气光图像之前，所述方法还包括：

对所述背景层图像进行图像增强处理，确定优化后的背景层图像；

采用优化后的背景层图像对所述背景层图像进行更新。

进一步地，所述根据所述背景层图像和大气光估计算法，确定大气光图像包括：

对所述背景层图像依次进行白平衡处理、均值采样处理和插值处理，确定大气光图像。

进一步地，对所述背景层图像进行白平衡处理包括：

采用白平衡算法公式

确定初始白平衡图像，其中，C为图像的通道，包括红R、绿G、蓝B通道；x为像素点；

为背景层图像；W为初始白平衡图像；

确定所述初始白平衡图像中每个像素点的平均像素值，将所述初始白平衡图像中小于所述平均像素值的像素值更新为0，得到白平衡图像。

进一步地，所述暗通道理论模型包括：

其中，

为背景层图像，A(x)为大气光图像，Ω为窗口尺寸；x为像素点，t(x)为透射率；C为图像的通道，包括红R、绿G、蓝B通道。

进一步地，所述大气散射模型包括：

其中，

为背景层图像，A(x)为大气光图像，x为像素点，t(x)为透射率，

为去雾处理后的背景层图像；C为图像的通道，包括红R、绿G、蓝B通道。

进一步地，所述确定大气光图像之后，将所述纹理层图像和所述去雾处理后的背景层图像进行融合处理之前，所述方法还包括：

根据所述大气光图像，采用公式

对所述纹理层图像进行均衡处理，确定优化后的纹理层图像；

其中，A(x)为大气光图像，x为像素点，T(x)为纹理层图像，

为优化后的纹理层图像；

采用优化后的纹理层图像对所述纹理层图像进行更新。

另一方面，本发明实施例提供了一种图像去雾处理装置，所述装置包括：

第一确定模块，用于对待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像；

第二确定模块，用于根据所述背景层图像和大气光估计算法，确定大气光图像；

第三确定模块，用于将所述背景层图像和大气光图像输入暗通道理论模型，确定所述背景层图像的透射率；

第四确定模块，用于将所述透射率、大气光图像和背景层图像输入大气散射模型，确定去雾处理后的背景层图像；

第五确定模块，用于将所述纹理层图像和所述去雾处理后的背景层图像进行融合处理，确定目标图像。

进一步地，所述第一确定模块，具体用于对待去雾处理的图像进行分层处理，确定纹理层图像和结构层图像；去除所述结构层图像中的闪耀层图像，得到背景层图像。

进一步地，所述装置还包括：

第一更新模块，用于对所述背景层图像进行图像增强处理，确定优化后的背景层图像；采用优化后的背景层图像对所述背景层图像进行更新。

进一步地，所述第二确定模块，具体用于对所述背景层图像依次进行白平衡处理、均值采样处理和插值处理，确定大气光图像。

进一步地，所述第二确定模块，具体用于采用白平衡算法公式

为背景层图像；W为初始白平衡图像；确定所述初始白平衡图像中每个像素点的平均像素值，将所述初始白平衡图像中小于所述平均像素值的像素值更新为0，得到白平衡图像。

进一步地，所述暗通道理论模型包括：

其中，

进一步地，所述大气散射模型包括：

其中，

进一步地，所述装置还包括：

第二更新模块，用于根据所述大气光图像，采用公式

对所述纹理层图像进行均衡处理，确定优化后的纹理层图像；其中，A(x)为大气光图像，x为像素点，T(x)为纹理层图像，

为优化后的纹理层图像；采用优化后的纹理层图像对所述纹理层图像进行更新。

本发明实施例提供了一种图像去雾处理方法及装置，所述方法包括：对待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像；根据所述背景层图像和大气光估计算法，确定大气光图像；将所述背景层图像和大气光图像输入暗通道理论模型，确定所述背景层图像的透射率；将所述透射率、大气光图像和背景层图像输入大气散射模型，确定去雾处理后的背景层图像；将所述纹理层图像和所述去雾处理后的背景层图像进行融合处理，确定目标图像。

由于在本发明实施例中，首先将待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像，然后针对背景层图像进行去雾处理，得到去雾处理后的背景层图像，最终将纹理层图像和去雾处理后的背景层图像进行融合处理，确定目标图像。这样确定的目标图像中即完成了去雾处理，也保存了待去雾处理的图像中的纹理，因此，本发明实施例确定出的目标图像质量好。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的图像去雾处理过程示意图；

图2为本发明实施例2提供的待去雾处理的图像、纹理层图像和结构层图像的示意图；

图3为本发明实施例2提供的结构层图像和背景层图像的示意图；

图4为本发明实施例6提供的纹理层图像和优化后的纹理层图像示意图；

图5为本发明实施例6提供的待去雾处理的图像和去雾处理后的图像示意图；

图6为本发明实施例6提供的图像去雾处理流程示意图；

图7为本发明实施例提供的图像去雾处理装置结构示意图。

具体实施方式

下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的图像去雾处理过程示意图，该过程包括以下步骤：

S101：对待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像。

本发明实施例提供的图像去雾处理方法应用于电子设备，该电子设备可以是PC、平板电脑等设备，也可以是具备图像处理能力的图像采集设备。

如果电子设备为图像采集设备，则图像采集设备采集到待去雾处理的图像后，可以直接对待去雾处理的图像进行分层处理，得到确定纹理层图像和背景层图像。如果电子设备为PC、平板电脑等设备，则图像采集设备采集到待去雾处理的图像后，先将待去雾处理的图像发送至电子设备，再由电子设备对待去雾处理的图像进行分层处理，得到确定纹理层图像和背景层图像。

S102：根据所述背景层图像和大气光估计算法，确定大气光图像。

电子设备在确定出背景层图像后，采用大气光估计算法对背景层图像进行处理，可以确定出大气光图像。其中，可以采用现有的普通大气光估计算法确定出大气光图像，也可以采用现有的改进大气光估计算法，例如基于高斯分布的大气光估计算法确定出大气光图像。

S103：将所述背景层图像和大气光图像输入暗通道理论模型，确定所述背景层图像的透射率。

电子设备中预先保存有暗通道理论模型，在确定出背景层图像和大气光图像后，将背景层图像和大气光图像输入至暗通道理论模型，暗通道理论模型对背景层图像和大气光图像进行计算，可以确定背景层图像的透射率。

S104：将所述透射率、大气光图像和背景层图像输入大气散射模型，确定去雾处理后的背景层图像。

电子设备中预先保存有大气散射模型，在确定出透射率、大气光图像和背景层图像后，将透射率、大气光图像和背景层图像输入大气散射模型，大气散射模型对透射率、大气光图像和背景层图像进行计算，可以确定去雾处理后的背景层图像。

S105：将所述纹理层图像和所述去雾处理后的背景层图像进行融合处理，确定目标图像。

电子设备确定出的去雾处理后的背景层图像，以及纹理层图像的分辨率都与待去雾处理的图像的分辨率相同，因此，在确定出的去雾处理后的背景层图像和纹理层图像后，可以实现对纹理层图像和去雾处理后的背景层图像进行融合处理。本发明实施例中的融合处理可以是将纹理层图像和去雾处理后的背景层图像中坐标相对应的像素点的像素值相加，最终得到目标图像。

实施例2：

由于待去雾处理的图像中有可能存在夜间多光源，而夜间多光源会对图像去雾处理产生不良影响，为了进一步使去雾处理后的图像质量好，在上述实施例的基础上，在本发明实施例中，所述对待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像包括：

去除所述结构层图像中的闪耀层图像，得到背景层图像。

在本发明实施例中，首先对待去雾处理的图像进行分层处理，确定纹理层图像和结构层图像，之后，将闪耀成分从结构层图像中剥离，得到去除夜间多光源后的背景层图像。

具体的，在本发明实施例中，可以通过引用图像总变差模型将待去雾处理的图像分解成纹理层图像和结构层图像。具体过程中应用到了梯度最小化算法，其中，梯度最小化算法如下所示：

ω_i＝max(||S(x)-1/β||，0)·sgn(S(x))；

其中，D⁽¹⁾和D⁽²⁾分别是S(x)的水平和垂直差分图像，K是模糊算子，ω为加性噪声，w_i＝((w₁)_i；((w₂)_i)为引入的辅助变量，表示对D⁽¹⁾和D⁽²⁾的估计，F为傅里叶变换。在本发明实施例中，可以设置λ＝0.015，β₀＝2λ，β_t＝0.02，I(x)为待去雾处理图像，S(x)为结构层图像，T(x)为纹理层图像，I(x)＝S(x)+T(x)。

根据上述公式，可以实现将对待去雾处理的图像进行分层处理，得到纹理层图像和结构层图像。图2为待去雾处理的图像、纹理层图像和结构层图像的示意图。

然后可以采用下式实现将闪耀成分从结构层图像中剥离。

∑_xS_r(x)＝∑_xS_g(x)＝∑_xS_b(x)

其中，Lap为二阶拉普拉斯滤波器，F_d为一阶差分滤波器，

为闪耀成分，也就是闪耀层图像，α为平滑因子，可以控制闪耀成分的平滑程度，

是背景层图像，r、g、b分别为图像的红绿蓝通道。

为了确保

每个通道的像素值落在一个合适的范围内，不会出现太大的颜色偏差，加入了

和∑_xS_r(x)＝∑_xS_g(x)＝∑_xS_b(x)两个限制条件。图3为结构层图像和背景层图像的示意图。

由于在本发明实施例中，首先对待去雾处理的图像进行分层处理，确定纹理层图像和结构层图像；然后去除结构层图像中的闪耀层图像，得到背景层图像，闪耀层图像即为夜间多光源成分，去除夜间多光源成分后得到背景层图像，进而再对背景层图像进行去雾处理，可以避免夜间多光源对图像去雾处理产生不良影响，因此进一步使去雾处理后的图像质量好。

实施例3：

由于在对待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像的过程中，有可能会降低背景层图像的视觉效果，为了提高背景层图像的视觉效果，进而提高去雾处理后的图像质量，在上述各实施例的基础上，在本发明实施例中，确定背景层图像之后，根据所述背景层图像和大气光估计算法，确定大气光图像之前，所述方法还包括：

采用优化后的背景层图像对所述背景层图像进行更新。

电子设备确定出背景层图像之后，可以采用图像增强算法对背景层图像进行图像增强处理，例如，可以采用直方图均衡化算法来实现图像增强，较佳的，可以采用Retinex图像增强算法来实现图像增强，从而得到优化后的背景层图像，然后采用优化后的背景层图像对所述背景层图像进行更新，也就是对优化后的背景层图像进行后续的去雾处理。

其中，采用图像增强算法对背景层图像进行图像增强处理的过程属于现有技术，在此不再对该过程进行赘述。

由于在本发明实施例中，电子设备确定出背景层图像之后，采用图像增强算法对背景层图像进行图像增强处理，再进行后续的去雾处理，而增强处理后的背景层图像视觉效果好，因此最终得到的去雾处理后的图像质量好。

实施例4：

为了使确定的大气光图像更准确，在上述各实施例的基础上，在本发明实施例中，所述根据所述背景层图像和大气光估计算法，确定大气光图像包括：

电子设备在确定出背景层图像后，首先对背景层图像进行白平衡处理，然后再进行均值采样处理和插值处理，进而得到大气光图像。在本发明实施例中，大气光估计算法包括均值采样处理算法和插值处理算法。

对所述背景层图像进行白平衡处理包括：

采用白平衡算法公式

为背景层图像；W为初始白平衡图像；

在确定白平衡图像时，针对背景层图像中的每个像素点，识别该像素点的R、G、B三个通道的像素值，然后将三个通道中最大的像素值

和最小的像素值

代入上述白平衡公式，得到该像素点在初始白平衡图像中的像素值。

为了减少初始白平衡图像中干扰像素点对确定大气光图像的影响，在本发明实施例中，在确定出初始白平衡图像后，确定初始白平衡图像中每个像素点的平均像素值，然后识别初始白平衡图像中像素值小于平均像素值的干扰像素点，然后将干扰像素点的像素值更新为0，得到最终的白平衡图像，该白平衡图像不会对大气光图像产生不良影响。

在确定白平衡图像后，对白平衡图像进行均值采样处理和插值处理，均值采样处理需要设置窗口尺寸，针对白平衡图像中的每个像素点，以该像素点为中心，确定窗口中所有像素点的平均像素值，该平均像素值即为均值采样处理后该像素点的像素值。之后再对均值采样处理后的图像进行插值处理，其中，可以采用双线性插值算法进行插值处理，较佳的，可以采用双三次插值算法进行插值处理，最终得到大气光图像。

具体的，均值采样处理和插值处理过程如下，需要说明的是，下表中的具体数值仅为举例说明。

其中，W(x)为白平衡图像，meanpooling为均值采样处理，bicubicinterpolation为双三次插值处理，A(x)为大气光图像。

由于在本发明实施例中，在确定大气光图像时，先对背景层图像进行白平衡处理，得到白平衡图像，再对白平衡图像进行均值采样处理和插值处理，确定大气光图像。这样得到的大气光图像更准确。

实施例5：

在上述各实施例的基础上，在本发明实施例中，所述暗通道理论模型包括：

其中，

由于背景层图像和大气光图像的分辨率相同，因此，针对背景层图像中的每个像素点，可以确定大气光图像中与该像素点坐标对应的像素点。在基于暗通道理论模型，确定所述背景层图像的透射率时，针对背景层图像中的每个像素点，识别该像素点在R、G、B三个通道中的最小像素值，然后计算该最小像素值与大气光图像中与该像素点坐标对应的像素点的像素值的比值，得到该像素点的候选像素值。在确定每个像素点的候选像素值后，针对背景层图像中的每个像素点，以该像素点为中心，确定窗口尺寸中所有像素点的最小候选像素值，将1与该最小候选像素值的差值作为该像素点的透射率。

实施例6：

在上述各实施例的基础上，在本发明实施例中，所述大气散射模型包括：

其中，

电子设备在确定出背景层图像、大气光图像和背景层图像中每个像素点的透射率后，针对每个像素点，将该像素点在背景层图像中的像素点、该像素点在大气光图像中的像素点和该像素点的透射率代入上述公式，即可得到该像素点在去雾处理后的背景层图像中的像素值。

实施例7：

由于对待去雾处理的图像进行分层处理确定的纹理层图像中可能存在噪声，为了进一步使确定的去雾处理后的图像质量好，需要对纹理层图像进行去躁优化，因此在上述各实施例的基础上，在本发明实施例中，所述确定大气光图像之后，将所述纹理层图像和所述去雾处理后的背景层图像进行融合处理之前，所述方法还包括：

根据所述大气光图像，采用公式

其中，A(x)为大气光图像，x为像素点，T(x)为纹理层图像，

为优化后的纹理层图像；

采用优化后的纹理层图像对所述纹理层图像进行更新。

由于纹理层图像和大气光图像的分辨率相同，因此，针对纹理层图像中的每个像素点，可以确定大气光图像中与该像素点坐标对应的像素点。在对纹理层图像进行优化时，针对纹理层图像中的每个像素点，将该像素点的像素值、大气光图像中与该像素点坐标对应的像素点的像素值代入上述公式中，得到该像素点优化后的像素值。确定出的每个优化后的像素点的像素值构成优化后的纹理层图像。之后采用优化后的纹理层图像对纹理层图像进行更新，也就是将优化后的纹理层图像和去雾处理后的背景层图像进行融合处理，确定目标图像。

图4为纹理层图像和优化后的纹理层图像示意图，由图4可见，确定大气光图像之后，根据大气光图像对纹理层图像进行均衡处理，确定优化后的纹理层图像，可以去除纹理层图像中存在的噪声，优化后的纹理层图像质量好，因此最终确定的去雾处理后的图像质量好。

图5为待去雾处理的图像和去雾处理后的图像示意图，可见，采用本发明实施例提供的技术方案得到的去雾处理后的图像质量好。

图6为本发明实施例提供的图像去雾处理流程示意图，如图6所示，输入待去雾处理的图像后，首先分层处理得到结构层图像和纹理层图像，然后确定结构层图像中的背景层图像和闪耀层图像，从结构层图像中剥离闪耀层图像，得到背景层图像，基于背景层图像确定大气光图像，基于背景层图像和大气光图像，确定背景层图像的透射率，将透射率、大气光图像和背景层图像输入大气散射模型，得到去雾处理后的背景层图像。并且，根据大气光图像对纹理层图像进行均衡处理，确定优化后的纹理层图像，再将去雾处理后的背景层图像和优化后的纹理层图像进行融合，输出目标图像。

图7为本发明实施例提供的图像去雾处理装置结构示意图，该装置包括：

第一确定模块71，用于对待去雾处理的图像进行分层处理，确定纹理层图像和背景层图像；

第二确定模块72，用于根据所述背景层图像和大气光估计算法，确定大气光图像；

第三确定模块73，用于将所述背景层图像和大气光图像输入暗通道理论模型，确定所述背景层图像的透射率；

第四确定模块74，用于将所述透射率、大气光图像和背景层图像输入大气散射模型，确定去雾处理后的背景层图像；

第五确定模块75，用于将所述纹理层图像和所述去雾处理后的背景层图像进行融合处理，确定目标图像。

所述第一确定模块71，具体用于对待去雾处理的图像进行分层处理，确定纹理层图像和结构层图像；去除所述结构层图像中的闪耀层图像，得到背景层图像。

所述装置还包括：

第一更新模块76，用于对所述背景层图像进行图像增强处理，确定优化后的背景层图像；采用优化后的背景层图像对所述背景层图像进行更新。

所述第二确定模块72，具体用于对所述背景层图像依次进行白平衡处理、均值采样处理和插值处理，确定大气光图像。

所述第二确定模块72，具体用于采用白平衡算法公式

所述暗通道理论模型包括：

其中，

所述大气散射模型包括：

其中，

所述装置还包括：

第二更新模块77，用于根据所述大气光图像，采用公式

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。