CN112598777B - 一种基于暗通道先验的雾霾融合方法 - Google Patents

Abstract

本发明公开了一种基于暗通道先验的雾霾融合方法，包括如下步骤：建立浓雾图像数据库、薄雾图像数据库、无雾图像数据库；从浓雾图像数据库中提取图像进行暗通道算法处理得到第一透射图，再引入修正消光系数alpha得到第二透射图；从浓雾图像数据库中提取图像，将图像转化为HSV色系，得到对应的一维亮度矩阵；将第二透射图和一维亮度矩阵分别输入改进的大气物理模型，再将无雾图像数据库中的图像输入改进的大气物理模型，得到融合雾霾图像。本发明创造性地使用浓雾HSV色系亮度矩阵代替传统大气物理模型基于待加雾图像进行大气光照亮度估计弥补了传统算法将其视为一个单值常数造成的伪影、色差等不足，使得融合后的雾更加自然。

Description

一种基于暗通道先验的雾霾融合方法

技术领域

本发明涉及图像算法领域，特别是涉及一种基于暗通道先验的雾霾融合方法。

背景技术

雾是指在接近地球表面、大气中悬浮的水滴或者冰晶组成的水汽凝结物，霾则是大量烟尘等微粒悬浮而成的浑浊现象，又称为气溶胶颗粒。这些颗粒会散射可见光，造成能见度的降低。如今人工智能在交通方面大量应用，如行人违纪识别、车牌识别、自动驾驶等方面，这些图像处理算法需要输入图像的清晰，检测目标和背景的对比度要大，而近些年雾霾天气时常发生，对于智能监控系统(如行人违纪识别、车牌识别)、自动驾驶系统、摄像成像系统等等造成不利影响。所以在设计这些系统时应充分考虑算法的鲁棒性，所以在智能产品实际落地场景中，应在算法训练数据中加入雾霾场景下的数据来确保其能在雾霾天气下正常工作。因此为了确保智能监控产品在雾霾场景下工作的鲁棒性，需要对该场景下成像进行仿真，常用的方法是在图像上添加雾霾的效果以逼近真实场景。雾中场景成像奇数成为图像处理和计算机视觉领域的热门研究领域之一。

目前有关雾霾场景下的图像处理和计算机视觉研究主要集中在如何从雾霾图像中去除雾霾以提高成像质量，雾霾场景成像仿真研究相对较少，主要分为两种方法。一种是基于大气散射物理模型进行建模。另一种方法是使用蒙特卡洛方法求解辐射传递方程，但是计算复杂且时间开销大。Mohamed Benjamaa在2008年中使用了蒙特卡洛方法融合了雾天驾驶道路的场景图像，成功降低了计算复杂度，建立了天空亮度和表面反射的模型。然而他的方法基于对雾霾组成分布均匀的假设，显然不够准确，因为雾霾的分布不均匀、且随时间变换、不可预测。Dengxin Dai等人于2017年提出了一个基于白天雾(Koschmieder)模型的自动加雾方法，然而该方法核心在于深度信息的提取，作者用了双目深度估计的方法，该方法由于涉及现实坐标系与像素坐标的转换，需要用到相机参数，普适性不强。

基于大气物理模型建模的方法的关键在于图像场景深度的获取，深度图是计算大气透射图必不可少的要素。当前，场景深度图可以通过主动测距传感(雷达、激光)和被动测距传感(双目立体视觉)方法获取，前者设备昂贵，且易受噪声干扰，后者在现实深度转像素深度的计算繁琐。

发明内容

有鉴于此，本发明的目的在于提供一种基于暗通道先验的雾霾融合方法，该方法可以充分利用浓雾图像融合不同能见度程度的雾霾图像。本发明解决了现有技术中场景深度图获取成本高以及计算繁琐的问题，本发明基于改进的大气物理模型，再结合使用浓雾HSV色系亮度矩阵等技术手段解决了现有技术中存在的伪影、色差等问题。

综上，为了达到上述目的，本发明提供一种基于暗通道先验的雾霾融合方法，包括如下步骤：

步骤S1、建立浓雾图像数据库、薄雾图像数据库、无雾图像数据库；

步骤S2、从浓雾图像数据库中提取图像进行暗通道算法处理得到第一透射图，再引入修正消光系数alpha得到第二透射图；

步骤S3、从浓雾图像数据库中提取图像，将图像转化为HSV色系，得到对应的一维亮度矩阵；

步骤S4、将第二透射图和一维亮度矩阵分别输入改进的大气物理模型，再将无雾图像数据库中的图像输入改进的大气物理模型，得到融合雾霾图像。

进一步的，在所述步骤S3和所述步骤S4之间还具有滤波操作，所述滤波操作具体为：

将步骤S2中得到的第二透射图以及步骤S3中得到的一维亮度矩阵分别输入导向滤波器进行滤波处理。

进一步的，所述步骤S1具体包括：

步骤S101、采集高速公路在不同场景下的视频资料，所述高速公路处于雾霾天气环境中；

步骤S102、将采集到的视频资料划分成浓雾片段、薄雾片段和无雾片段，从这三个片段中各自提取图像分别形成：浓雾图像数据库、薄雾图像数据库、无雾图像数据库。

进一步的，所述步骤S2具体包括：

步骤S201、从浓雾图像数据库中选取图像，统计RGB三个通道最小值组成的灰度图；

步骤S202、基于暗通道先验假设估计三通道传输图：

公式(1)中，C表示三通道，

表示为输入的图像，Ω(x)表示为以x为中心的窗口，y表示以x为中心的窗口中的各个像素点；

将公式(1)代入大气物理模型得到第一透射图的表达式：

公式(2)中，C表示三通道，I^C(y)表示像素y处RGB三通道亮度值A^C表示大气光照强度三通道亮度值，Ω(x)表示为以x为中心的窗口，y表示以x为中心的窗口中的各个像素点；

步骤S203、预设消光系数beta，得到：

公式(3)中，t^C(Y)表示浓雾图像的RGB三通道传输图估计，beta表示为预设的消光系数，d^C表示浓雾图像的像素场景深度图；

步骤S204、引入修正消光系数alpha形成第二透射图：

公式(4)中，alpha为修正消光系数，为控制雾霾程度的人工设定变量参数，P^C(Y)表示为第二透射图。

进一步的，所述步骤S5中，改进的大气物理模型的表达式为：

I^C(X,Y)＝J^C(X)·P^C(Y)+B¹(Y)·(1-P^C(Y)) (5)

公式(5)中，I^C(X,Y)表示为融合雾霾图像，J^C(X)表示为无雾图像数据库中的清晰图像，P^C(Y)表示为第二透射图，B¹(Y)表示由HSV色系提取的浓雾图像对应的一维亮度矩阵，X表示为待加雾图像，Y为浓雾图像。

进一步的，在所述步骤S4之后，还包括评估融合雾霾图像效果的操作，具体为：

步骤S501、建立融合雾霾图像数据库；

步骤S502、从所述融合雾霾图像数据库和所述薄雾图像数据库中提取近似图像形成图片对；

步骤S503、将步骤S502得到的图片对输入结构相似度评价模型，所述结构相似度评价模型的表达式为：

公式(6)，u为图像像素的均值，σ² _X为X的方差，σ² _Y为Y的方差，σ² _XY为X与Y的协方差，C1、C2为常数，X,Y表示为图片对，SSIM表示为两张图像的结构相似度。

本发明的有益效果是：

1、不同于传统的基于大气物理模型建模的雾霾融合方法，本发明基于浓雾提出了改进的雾霾融合公式，创造性地使用浓雾HSV色系亮度矩阵代替传统大气物理模型基于待加雾图像进行大气光照亮度估计弥补了传统算法将其视为一个单值常数造成的伪影、色差等不足，使得融合后的雾更加自然。

2、相较于传统算法需要估计深度可能带来的误差风险，本发明提出了用浓雾深度分布来代替待加雾场景深度，只需纯粹的浓雾和清晰图像数据，便可控制融合单场景下多种形态、浓度的雾霾图像，方法简单，无需昂贵的深度相机的硬件支持避免了复杂的深度信息处理过程带来的误差，便于大规模融合。

附图说明

图1为本发明实施例1中融合雾霾图像生成阶段的流程示意图。

图2为本发明实施例1中融合雾霾图像评估阶段的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在具体说明实施例之前，先介绍与本发明实施例有关的暗通道先验理论，在计算机视觉和计算图形学中，对有雾图像经常用下述模型进行表示：

I(X)＝J(X)·t(X)+A(Y)·(1-t(X)) (1)

公式(1)中，I(X)是成雾后的图像，J(X)是无雾图像，A(Y)是大气光照强度，t(X)是透射率，该模型既表示为成雾模型，也表示为大气物理模型。

暗通道先验理论是建立在对户外无雾图像大量观察的基础上的，暗通道先验假设认为绝大多数的非天空局部区域中，某些像素至少会有一个颜色通道具有很低的值，在有雾的情况下暗通道趋于0，因此可以将公式(1)变形为：

公式(2)中，C表示三通道的意思，t(X)是透射率，J^C(X)表示清晰图像、A^C表示大气光照强度三通道亮度值；

然后对公式(2)取两次最小值运算，得到：

公式(3)中，

为每个窗口内透射率，J^C(x)为无雾图像，所以其暗通道应该是符合先验的，即：

则有：

将公式(5)代入公式(3)，变形可得：

通过暗通道算法，设置窗口迭代遍历整图，可得浓雾图像对应的透射图矩阵。

实施例1

参见图1和图2，本实施例提供一种基于暗通道先验的雾霾融合方法，该方法包括：融合雾霾图像生成阶段和融合雾霾图像评估阶段；

(1)融合雾霾图像生成阶段，包括如下步骤：

步骤S1、建立浓雾图像数据库、薄雾图像数据库、无雾图像数据库；

具体的说，步骤S1包括：

步骤S101、采集江苏高速公路在不同场景下的视频资料，高速公路处于雾霾天气环境中；

步骤S102、将采集到的视频资料划分成浓雾片段、薄雾片段和无雾片段，浓雾片段中的浓雾指的是当高速公路处于雾霾天气时，能见度低于50m的情况；

薄雾片段中的薄雾指的是当高速公路处于雾霾天气时，能见度高于500m的情况；

无雾片段中的无雾指的就是没有雾霾的天气情况。

从这三个片段中各自提取图像，具体的说，即是每隔5秒提取一张图像，一分钟提取12帧图像，然后分别形成：浓雾图像数据库、薄雾图像数据库、无雾图像数据库。

步骤S2、从浓雾图像数据库中提取图像进行暗通道算法处理得到第一透射图，再引入修正消光系数alpha得到第二透射图；

具体的说，步骤S2具体包括：

步骤S201、从浓雾图像数据库中选取图像，统计RGB三个通道最小值组成的灰度图；

步骤S202、基于暗通道先验假设估计三通道传输图：

公式(7)中，C表示三通道，

表示为输入的图像，Ω(x)表示为以x为中心的窗口，y表示以x为中心的窗口中的各个像素点；

将公式(1)代入大气物理模型得到第一透射图的表达式：

公式(8)中，C表示三通道，I^C(y)表示像素y处RGB三通道亮度值，A^C表示大气光照强度三通道亮度值，Ω(x)表示为以x为中心的窗口，y表示以x为中心的窗口中的各个像素点；

步骤S203、预设消光系数beta，暂时假设消光系数beta＝0.2，由第一透射图反推得出深度信息，此时得到的深度信息与真实深度成正比；得到：

公式(9)中，t^C(Y)表示浓雾图像的RGB三通道传输图估计，beta表示为预设的消光系数，d^C表示浓雾图像的像素场景深度；

步骤S204、再引入修正消光系数alpha形成第二透射图：

公式(10)中，alpha为修正消光系数，为控制雾霾程度的人工设定变量参数，alpha取值为(0,1]，当alpha取1时，融合的雾霾图像即为原始的浓雾图像，P^C(Y)表示为第二透射图。

第二透射图与暗通道估计得来的透射图为线性关系,即：

公式(11)中，alpha为修正消光系数，为控制雾霾程度的人工设定变量参数，P^C(Y)表示为第二透射图，beta表示为预设的消光系数，t^C(Y)表示浓雾图像的RGB三通道传输图估计。

步骤S3、从浓雾图像数据库中提取图像，将图像转化为HSV色系，得到对应的一维亮度矩阵，即以真实全景雾霾的亮度代替待加雾图像的场景大气亮度；不同于传统的将大气光照亮度估计为一个单值常数，为了提高雾的逼真度，本实施例用浓雾的亮度矩阵来替代待加雾图像的亮度矩阵，使得大气光照更加符合雾霾天的真实状态，同时也修正了暗通道算法对天空部分传输图估计的不足，使得加雾效果更加逼真。

步骤S4、将步骤S2中得到的第二透射图以及步骤S3中得到的一维亮度矩阵分别输入导向滤波器进行滤波处理；经过导向滤波使得融合后边缘更加自然。

步骤S5、将经过导向滤波处理后的第二透射图和一维亮度矩阵分别输入改进的大气物理模型，再将无雾图像数据库中的图像输入改进的大气物理模型，得到融合雾霾图像。

具体的说，步骤S5中，改进的大气物理模型的表达式为：

I^C(X,Y)＝J^C(X)·P^C(Y)+B¹(Y)·(1-P^C(Y)) (12)

公式(12)中，I^C(X,Y)表示为融合雾霾图像，J^C(X)表示为无雾图像数据库中的清晰图像，P^C(Y)表示为第二透射图，B¹(Y)表示由HSV色系提取的一维浓雾亮度矩阵，X表示为待加雾图像，Y为浓雾图像。

本实施例中提出的改进的大气物理模型公式可以适应融合更为逼真的雾霾图像的要求；与传统加雾模型不同的是，此模型实际上是通过修正消光系数将浓雾打薄，再将清晰图像与打薄后的雾霾图像融合，这样做既保持了雾的真实性，又使得即使在晴天白日、能见度条件良好的情况下进行加雾也不显得那么突兀。

特别是，在条件允许的情况即相对固定场景深度，如固定摄像头监控等情况下，有雾模版深度估计与待加雾场景深度可认为近似相等，此时达到最佳效果。

(2)融合雾霾图像评估阶段，具体包括如下步骤：

步骤S601、建立融合雾霾图像数据库；

步骤S602、从融合雾霾图像数据库和薄雾图像数据库中提取近似图像形成图片对；

步骤S603、将步骤S503得到的图片对输入结构相似度评价模型，结构相似度评价模型的表达式为：

公式(13)中，u为图像像素的均值，σ² _X为X的方差，σ² _Y为Y的方差，σ² _XY为X与Y的协方差，C1、C2为常数，X,Y表示为图片对，SSIM表示为两张图像的结构相似度，范围为(0，1]，其值越逼近于1则表示两幅图像相似度高，则代表融合雾的效果与真实雾霾图像愈发相似，加雾效果越好。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种基于暗通道先验的雾霾融合方法，其特征在于，包括如下步骤：

步骤S1、建立浓雾图像数据库、薄雾图像数据库、无雾图像数据库；

步骤S2、从浓雾图像数据库中提取图像进行暗通道算法处理得到第一透射图，再引入修正消光系数alpha得到第二透射图；

步骤S3、从浓雾图像数据库中提取图像，将图像转化为HSV色系，得到对应的一维亮度矩阵；

步骤S4、将第二透射图和一维亮度矩阵分别输入改进的大气物理模型，再将无雾图像数据库中的图像输入改进的大气物理模型，得到融合雾霾图像；

所述步骤S2具体包括：

步骤S201、从浓雾图像数据库中选取图像，统计RGB三个通道最小值组成的灰度图；

步骤S202、基于暗通道先验假设估计三通道传输图：

公式(1)中，C表示三通道，

表示为输入的图像，Ω(x)表示为以x为中心的窗口，y表示以x为中心的窗口中的各个像素点；

将公式(1)代入大气物理模型得到第一透射图的表达式：

公式(2)中，C表示三通道，I^C(y)表示像素y处RGB三通道亮度值，A^C表示大气光照强度三通道亮度值，Ω(x)表示为以x为中心的窗口，y表示以x为中心的窗口中的各个像素点；

步骤S203、预设消光系数beta，得到：

公式(3)中，t^C(Y)表示浓雾图像的RGB三通道传输图估计，beta表示为预设的消光系数，d^C表示浓雾图像的像素场景深度图；

步骤S204、引入修正消光系数alpha形成第二透射图：

公式(4)中，alpha为修正消光系数，为控制雾霾程度的人工设定变量参数，P^C(Y)表示为第二透射图；

所述步骤S4中，改进的大气物理模型的表达式为：

I^C(X,Y)＝J^C(X)·P^C(Y)+B¹(Y)·(1-P^C(Y)) (5)

公式(5)中，I^C(X,Y)表示为融合雾霾图像，J^C(X)表示为无雾图像数据库中的清晰图像，P^C(Y)表示为第二透射图，B¹(Y)表示由HSV色系提取的浓雾图像对应的一维亮度矩阵，X表示为待加雾图像，Y为浓雾图像。

2.根据权利要求1所述的一种基于暗通道先验的雾霾融合方法，其特征在于，在所述步骤S3和所述步骤S4之间还具有滤波操作，所述滤波操作具体为：

将步骤S2中得到的第二透射图以及步骤S3中得到的一维亮度矩阵分别输入导向滤波器进行滤波处理。

3.根据权利要求2所述的一种基于暗通道先验的雾霾融合方法，其特征在于，所述步骤S1具体包括：

步骤S101、采集高速公路在不同场景下的视频资料，所述高速公路处于雾霾天气环境中；

步骤S102、将采集到的视频资料划分成浓雾片段、薄雾片段和无雾片段，从这三个片段中各自提取图像分别形成：浓雾图像数据库、薄雾图像数据库、无雾图像数据库。

4.根据权利要求3所述的一种基于暗通道先验的雾霾融合方法，其特征在于，在所述步骤S4之后，还包括评估融合雾霾图像效果的操作，具体为：

步骤S501、建立融合雾霾图像数据库；

步骤S502、从所述融合雾霾图像数据库和所述薄雾图像数据库中提取近似图像形成图片对；

步骤S503、将步骤S502得到的图片对输入结构相似度评价模型，所述结构相似度评价模型的表达式为：

公式(6)，u_X和u_Y为图像像素的均值，σ² _X为X的方差，σ² _Y为Y的方差，σ_XY为X与Y的协方差，C1、C2为常数，X,Y表示为图片对，SSIM表示为两张图像的结构相似度。

Images