CN110349093B - 基于多级沙漏结构的单幅图像去雾模型构建及去雾方法 - Google Patents

Abstract

本发明公开了一种基于多级沙漏结构的单幅图像去雾模型构建及去雾方法，通过设计了去雾模型中的传输图估计网络，利用多个级联的传输图估计模块，将传输图信息分解为全局信息和局部信息，通过多级级联的方式，使得后面的沙漏单元可以更好地融合区域中的细节与整体降质情况之间的关系，对上一级沙漏结构输出的结果进行优化，以准确估计远景的相对距离已经各个景物在原图像中的准确位置，逐步消除因不同尺度特征融合而造成的特征图重影，不连续的现象，自适应地处理不同程度雾霾图像，提高了传输图估计的准确度，从而提高了图像去雾的准确率。

Description

基于多级沙漏结构的单幅图像去雾模型构建及去雾方法

技术领域

本发明涉及图像去雾方法，具体涉及一种基于多级沙漏结构的单幅图像去雾模型构建及去雾方法。

背景技术

在有雾天气下，空气中悬浮的微粒会使得计算机视觉系统中成像设备获取的图像发生颜色偏移，细节信息丢失等退化现象。然而一些室外计算机视觉系统如遥感卫星成像、视频监控检测等对天气较为敏感，降质图像严重影响了这些系统的正常工作。

目前，大多数图像去雾方法均以大气散射模型为基础，主要分为传统方法和基于学习的方法两种。基于先验或者假设的传统方法，虽然在不同有雾环境下处理效果较为稳定，但是容易出现过处理、色彩过渡不自然和轮晕现象，恢复的图像视觉效果较差。基于学习的方法，虽然能良好的解决轻度有雾环境图像恢复问题，但是由于存在缺少对大气散射系数的良好估计和网络感受域过小的问题，对于距离较远的景物或者图像受雾影响降质较大时图像恢复效果较差。

现有技术1提出了基于暗通道的单幅图像去雾霾方法。该方法的创新点在于提出了暗通道先验，即对于大多数无雾霾室外图像，在非天空区域中，一些像素中至少有一个通道亮度值很低。基于该先验，可以将雾霾图像的场景深度的求取简化为图像亮度的求取。然而该方法对于大气光的求取颇具主观性，并未严格遵循大气散射模型的物理意义。

现有技术2提出了一种基于深度学习的图像去雾方法。该方法虽然能够在一定程度上恢复正常的图像颜色信息，但是由于网络深度不足，全局感受野过小，因此对于重度有雾图像处理能力不足，造成图像欠处理的现象。

综上所述，单幅雾霾图像基于物理模型的复原方法在雾霾图像复原方面虽然获得了较好的效果，但是现有单幅图像去雾霾方法中不能自适应处理不同程度雾霾图像，导致去雾准确率较低。

发明内容

本发明的目的在于提供一种基于多级沙漏结构的单幅图像去雾模型构建及去雾方法，用以解决现有技术中的现有单幅图像去雾霾方法中不能自适应处理不同程度雾霾图像，导致去雾准确率较低的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于多级沙漏结构的单幅图像去雾模型构建方法，按照以下步骤执行：

步骤1、采集多幅原始图像，获得原始图像集；

步骤2、利用散射系数以及大气光参数对所述的原始图像集中的每幅原始图像进行加雾，获得每幅待去雾图像，获得待去雾图像集；

获得每幅待去雾图像的参数标签，所述的参数标签包括散射系数以及大气光参数，获得参数标签集；

步骤3、将所述的待去雾图像集作为输入，将所述的参数标签集以及原始图像集作为输出，训练网络模型，其中所述的网络模型包括依次串联的估计网络以及融合网络；

所述的估计网络包括并联的传输图估计网络以及大气光估计网络；所述的融合网络包括大气光散射模型；

所述的传输图估计网络包括多个串联的传输图估计模块，每个所述的传输图估计模块包括沙漏子模块；所述的沙漏子模块包括多个沙漏结构，所述的沙漏结构包括依次设置的一个下采样单元、两个卷积单元以及一个上采样单元，在所述下采样单元与所述上采样单元之间还连接有残差单元；

获得去雾模型。

进一步地，所述的步骤3中传输图估计模块还包括先验子模块，所述的先验子模块包括并联的暗通道先验层以及卷积层，所述暗通道先验层以及卷积层的输入均为待去雾图像。

进一步地，所述的步骤3中下采样单元包括两个卷积单元和一个最大池化层，所述的上采样单元包括一个卷积单元和一个双线性差值反卷积层，所述的残差单元包括一个1×1卷积核，所述的卷积单元包括依次串联的卷积层、批量归一化层以及ReLu激活函数层。

进一步地，所述的步骤3中大气光估计网络包括ResNet-18网络。

进一步地，所述的ResNet-18网络的损失函数L_A采用式I：

其中y表示大气光参数真实值，

表示大气光参数估计值，σ表示概率分布，σ>0。

进一步地，σ＝0.02。

进一步地，利用散射系数以及大气光参数对所述的原始图像集中的每幅原始图像进行加雾时，所述的散射系数的取值范围为[0.782,3.912]，所述的大气光参数的取值范围为[0.7,1]。

一种基于多级沙漏结构的单幅图像去雾方法，将待去雾的图像输入至基于多级沙漏结构的单幅图像去雾模型构建方法构建出的去雾模型中，获得去雾图像。

本发明与现有技术相比具有以下技术特点:

1、本发明提供的基于多级沙漏结构的单幅图像去雾模型构建及去雾方法通过设计了去雾模型中的传输图估计网络，利用多个级联的传输图估计模块，将传输图信息分解为全局信息和局部信息，通过多级级联的方式，使得后面的沙漏单元可以更好地融合区域中的细节与整体降质情况之间的关系，对上一级沙漏结构输出的结果进行优化，以准确估计远景的相对距离以及各个景物在原图像中的准确位置，逐步消除因不同尺度特征融合而造成的特征图重影，不连续的现象，自适应地处理不同程度雾霾图像，提高了传输图估计的准确度，从而提高了图像去雾的准确率；

2、本发明提供的基于多级沙漏结构的单幅图像去雾模型构建及去雾方法通过在传输图估计模块设计了暗通道先验层对网络进行引导，提高网络的泛化性能，增强网络在真实图像下的特征提取能力，提高算法对真实有雾图像的恢复效果，从而提高了图像去雾的准确率；

3、本发明提供的基于多级沙漏结构的单幅图像去雾模型构建及去雾方法利用ResNet-18网络作为大气光估计网络，初步提高了大气光估计值的准确率，另外设计了Bell-Loss的损失函数，该损失函数能够在预测误差较大时促进网络参数更新，在误差较小时损失值大小能够良好的反应误差大小，帮助网络更好地收敛，更加提高了大气光估计值的准确率，从而提高了图像去雾的准确率；

4、本发明提供的基于多级沙漏结构的单幅图像去雾模型构建及去雾方法通过分析真实场景下人眼对比度与散射系数的关系，结合人眼目视距离范围，得出可靠的散射系数取值范围，提高了对原始图像进行加雾的准确性，提高了输入数据集的准确性，从而提高了图像去雾的准确率。

附图说明

图1为本发明的一个实施例中提供的去雾网络整体结构示意图；

图2为本发明的提供的沙漏结构示意图；

图3为本发明的一个实施例中提供的沙漏子模块内部结构示意图；

图4为本发明的一个实施例中提供的传输图估计网络训练结果图；

图5为本发明的一个实施例中提供的大气光估计效果对比图；

图6为本发明的一个实施例中提供的待去雾图像；

图7为本发明的一个实施例中提供的去雾图像。

具体实施方式

散射系数：大气散射模型中的一个参数，用来描述当前环境下光线透过雾到达光学传感器的能力。

大气光参数：大气散射模型中的一个参数，在全局上是一个常量。

大气散射模型：光在大气中传播时会接触到空气中悬浮的颗粒物而发生散射，因此接收到光学成像设备的光就会有所变化而失去原有的颜色，可以利用大气光参数以及散射系数对有雾的图像进行还原，具体为

J为去雾图像，A为大气光参数，I为待去雾图像，t为散射系数。

ResNet-18网络：一种轻量级的残差网络，是一种更容易优化，并且能够通过增加相当的深度来提高准确率的深度神经网络。

传输图：用来描述当前环境下光线透过雾到达光学传感器的能力，传输图中包括散射系数。

暗通道先验：认为在无雾图像中除了天空的绝大多数区域里面，在RGB三通道中，每个像素存在至少一个通道具有较低的亮度，采用暗通道先验对待去雾图像进行处理，用来缓解待去雾图像的不正确对训练模型带来的影响，提高网络的泛化能力。

实施例一

在本实施例中公开了一种基于多级沙漏结构的单幅图像去雾模型构建方法，按照以下步骤执行：

步骤1、采集多幅原始图像，获得原始图像集；

步骤2、利用散射系数以及大气光参数对所述的原始图像集中的每幅原始图像进行加雾，获得每幅待去雾图像，获得待去雾图像集；

获得每幅待去雾图像的参数标签，所述的参数标签包括散射系数以及大气光参数，获得参数标签集；

在本发明中采用监督学习的方法对整个网络模型进行训练，监督学习对于数据的基本假设是训练数据与测试数据都是独立同分布的，这样才能保证训练出来的模型在真实条件下有较好的表现。由于目前现有技术在利用大气散射模型合成训练数据时，没有分析大气散射系数的取值范围，而是普遍采用β＝[1,1.6]的方式合成有雾程度较轻的降质图像，导致模型在部分真实有雾场景下，特别是浓雾场景下去雾效果不理想。

散射系数β是大气散射模型中一个重要的物理参数，它决定了该地区受大雾影响的程度。由于基于学习的单幅图像去雾算法训练集都是基于t(x)＝e^-βd(x)进行合成，如果β的取值范围设置不准，可能导致训练出的模型不能良好解决真实场景下各种有雾环境的图像去雾问题。

因此，作为一种优选的实施方式，步骤2中对原始图像集中的每幅原始图像利用散射系数以及大气光参数对每幅原始图像进行加雾时，散射系数的取值范围为[0.782,3.912]，大气光参数的取值范围为[0.7,1]。

在本发明中通过分析散射系数β的物理意义和气象学解释，得出其适当的取值范围，为模型提供合适的训练数据，用于提高模型的准确性。

由于散射系数与气溶胶粒子的大小、成分、波长的因素相关，难以从物理意义上分析β的取值范围，但通过分析人眼视觉对比度与大气散射系数的关系，可以更加容易的进行估计。根据韦伯对比公式，人眼在距离为x的视觉对比度定义为背景光照与x处黑色物体的相对差，其公式如下所示：

其中F_B(x)表示距离为x处的背景光照，F(x)表示距离为x处的物体光照，C_v表示人眼视觉对比度，代表人眼能够分辨物体与背景光强差别的值，其主要与背景光强和物体光强与背景光强的差有关，当C_v接近于0时，人眼无法分别物体与背景的区别。由于光照强度的变化dF是由散射系数β和距离dx的变化引起的，因此光照F的衰减可以表示为：

dF＝-βFdx

因此，在距离为x的地方，光照强度的变化可以表示为背景散射引起的光照增加和F(x)随着距离的变化而减小，其公式如下所示：

dF(x)＝(β_cF_B(x)-βF(x))dx

其中β_c是一个常数。由于背景光强与距离无关，因此可以推出：

dF_B(x)＝(β_cF_B(x)-βF_B(x))dx＝0

因此，结合人眼视觉对比度的定义，可以推出：

C_v(x)＝e^-βx

其中人眼视觉对比度C_v取最小值时，x的取值表示我们能够从背景中分辨黑色物体的最长距离。x表示人眼可视范围。通常C_v＝0.02，因此我们可以得到视觉范围x_v和大气散射系数β之间的关系式如下：

从上式可以看出，人眼视觉范围x_v和大气散射系数β呈负相关。

从上述方程中可以发现，视觉对比度C_v(x)和传输图t(x)在描述一个黑色物体可见性距离x上具有相同的意义。这意味着多大强度的光束从物体经过衰减进入观察者眼中和人眼多大程度上可以区分背景和黑色物体的距离x具有关联。因此，可以使用可视距离x_v近似的定义散射系数β的值域。根据雾的定义，雾的视觉范围可以从1公里到5公里，因此对应散射系数β的取值范围如下：

β＝[0.782,3.912]

可靠的散射系数β的范围，有利于更加准确的合成训练数据集，特别是之前忽视的雾程度较大时的合成有雾图片数据集。

在本实施例中，使用NYU Depth Dataset-V2来合成有雾图像，分别选择散射系数β＝0.8,β＝1.6,β＝2.5,β＝3.6四个值生成不同程度有雾条件下的图像。大气散射模型的另一个参数大气光A从[0.7,1]中均匀随机选取。在本实施例中从NYU数据集中随机选取1200张图片作为训练数据，通过采用不同散射系数β和大气光A，以及剪裁等方式将训练数据进行扩充，最终得到166872张图片作为待去雾图像集。同时为了提高本发明提供的模型在户外条件下的泛化能力，利用户外场景下包含RGB图像和深度图像的3D Studio Max模型，生成了68张图像作为户外数据，并通过采用不同散射系数β和大气光A，以及剪裁的方式对数据进行扩充，作为待去雾图像集。

其中对于一幅待去雾图像的参数标签可以是[β,A]＝[0.8,0.9]，也可以是[β,A]＝[3.6,0.7]等。

步骤3、将待去雾图像集作为输入，将参数标签集以及原始图像集作为输出，训练网络模型，获得去雾模型；

其中网络模型包括依次串联的估计网络以及融合网络；

估计网络包括并联的传输图估计网络以及大气光估计网络；融合网络包括大气光散射模型；

传输图估计网络包括多个串联的传输图估计模块，每个传输图估计模块包括沙漏子模块；沙漏子模块包括多个沙漏结构，沙漏结构包括依次设置的一个下采样单元、两个卷积单元以及一个上采样单元，在所述下采样单元与所述上采样单元之间还连接有残差单元。

本发明提供的网络模型如图1所示，在本发明中，将待去雾图像集输入至传输图估计网络，获得散射系数估计值；将待去雾图像集输入至大气光估计网络，获得大气光参数估计值；

将散射系数估计值以及大气光参数估计值输入至大气光散射模型后，输出去雾图像。

本发明提出一种基于多级Hourglass的传输图估计模型，用于估计不同程度雾天下图像的传输图，该模型通过对降质图像进行卷积和反卷积，将相同大小卷积层链接的方法有效的结合局部信息与全局信息，有效区分图像的远景和近景；同时该模型通过多级Hourglass结构级联的方式提升图像对局部细节传输图的准确估计，提高传输图估计的准确度。

如图1所示，传输图估计网络包括多个串联的传输图估计模块，利用多个级联的传输图估计模块，将传输图信息分解为全局信息和局部信息。通过多级级联的方式，使得后面的沙漏单元可以更好地融合区域中的细节与整体降质情况之间的关系，对上一级沙漏结构输出的结果进行优化，以准确估计远景的相对距离已经各个景物在原图像中的准确位置。使得整个优化过程类似于擦玻璃一样，逐步消除因不同尺度特征融合而造成的特征图重影，不连续的现象，最终获得更为准确的传输图。每个传输图估计模块包括沙漏子模块；沙漏子模块包括多个沙漏结构，沙漏结构包括依次设置的一个下采样单元、两个卷积单元以及一个上采样单元，在所述下采样单元与所述上采样单元之间还连接有残差单元；

在本实施例中，每个沙漏子模块中包括的多个沙漏结构，其中一个单独的沙漏结构如图2所示，沙漏子模块中包括2个沙漏结构如图3所示，不是并联也不是串联，例如沙漏子模块中包括的两个沙漏结构，那么整体沙漏子模块包括依次设置的两个下采样单元、四个卷积单元以及两个个上采样单元，在一对下采样单元与上采样单元之间还连接有残差单元，共两个残差单元，也就是说多个沙漏结构中同类的单元叠加，形成沙漏子模块。

可选地，下采样单元包括两个卷积单元和一个最大池化层，所述的上采样单元包括一个卷积单元和一个双线性差值反卷积层，所述的残差单元包括一个1×1卷积核，所述的卷积单元包括依次串联的卷积层、批量归一化层以及ReLu激活函数层。

网络输入为一张三通道有雾图像，输出为一张单通道的传输图(包括散射系数)，每个下采样单元包含两个卷积单元和一个窗口为2x2的最大池化层，每个上采样单元包含一个卷积单元和一个双线性差值反卷积层，残差单元由一个1x1的卷积核组成用于扩充特征维度，每层进行下采样之后都将特征图数量变为原来的两倍，每层进行上采样时候特征图数量缩小为原来的二分之一，各个模块卷积核数量分别为32,64,128,128,128,64,32,8和1，残差支路的卷积核数量分别为64和32，每个卷积单元均有卷积层、BN层和ReLu层串联组成。

为了缓解训练数据不正确带来的对网络准确性的影响，可选地，步骤3中传输图估计模块还包括先验子模块，所述的先验子模块包括并联的暗通道先验层以及卷积层，所述暗通道先验层以及卷积层的输入均为待去雾图像。

在本实施例中通过对现实中5000多张户外无雾图片进行统计，认为在无雾图像中除了天空的绝大多少区域里面，在RGB三通道中，每个像素存在至少一个通道具有较低的亮度。因此，对于一幅图像，其暗原色图像定义为：

其中J^c代表真实图像的某个颜色通道的图像，Ω(x)表示以坐标点x为中心的一个滑动窗口。当x为非天空位置时，J^dark的值总是趋近与0，并将户外无雾图像得到的J^dark称为J的暗原色，并将该先验称为暗原色先验。

同时根据大气散射模型，在一个滑动窗口内的透射率t(x)为常数，定义为

在大气光A的值已知的情况下，可以推出

表示为：

由于现实生活中，空气中除了造成雾的颗粒外还存在着其他造成图像降质颗粒，因此远景的物体看起来还是会能受到类似雾的影响，同时，远景中雾的存在可以帮助人们更好地感受到景深的存在，因此有必要保留一定程度的雾。因此获得：

其中，ω＝0.95。

在本步骤中，根据上式计算出有雾图像的暗通道图像，并作为各级沙漏子模块的一个输入，对网络进行引导，提高网络的泛化性能，增强网络在真实图像下的特征提取能力，提高算法对真实有雾图像的恢复效果。

在本实施例中，传输图估计网络在原有三级沙漏子模块的基础上，增加了先验子模块以提高网络对自然有雾图像的特征提取能力。

可选地，所述的步骤3中大气光估计网络包括ResNet-18网络。

现有技术多采用传统方法对大气光的值进行估计，如手动从暗通道获取图像的前0.1％像素处获取。但是这种方法依赖各种先验假设，不能在各种条件下对单幅有雾图像大气光进行准确估计，同时难以嵌入深度学习网络当中。因此在本实施例中使用ResNet-18作为学习大气光的基础网络。

现有技术中ResNet-18网络的损失函数当预测分类与真实分类不符时，无论预测为哪一类损失是一样的，这与大气光的物理意义不符，而大气光在值比较接近时是比较难以区分的，造成网络难以训练。但是如果将分类间隔减小，则预测精度不能达到对大气光准确估计的要求，因此现有的损失函数无法满足对大气光准确估计的要求，优选地，在本实施例中ResNet-18网络中损失函数L_A采用式I：

其中y表示大气光参数真实值，

表示大气光参数估计值，σ表示概率分布，σ>0。

在本实施例中，ResNet-18网络的损失函数在偏差较大时应该稳定在较高的损失，以维持较好的梯度，在预测值与真实值基本相等时，应该有较小的损失，而在偏差从大到小逐渐变小的过程中，应该有平滑的过渡。整体损失函数形状类似于倒着的钟型曲线。

作为一种优选的实施方式，σ＝0.02。

在本实施例中，对整个网络模型进行训练时，首先单独训练传输图估计网络以及大气光估计网络，此时将待去雾图像集作为输入，将参数标签集作为输出，分别对两个网络进行训练，得到训练后的传输图估计网络以及大气光估计网络，之后再将待去雾图像集作为输入，将原始图像集作为输出，训练整个网络，获得去雾模型。

在本实施例中，对传输图估计网络进行训练时，初始学习率为0.01，每次迭代5000次后学习率降为原来的1/10。权重衰减和动量分别设置为0.005和0.9，使用mim-batch的方式对网络进行更新，Batchsize为48。最终迭代20000次，并使用Batch Normalization对所有卷积层结果进行归一化处理，以提高网络的训练速度。最终训练30小时，迭代2000次后得到模型，并将模型在NYU合成数据集上进行测试，选取折射率β＝2.0的一张有雾图像进行分析，图像恢复效果图如图4所示。从左至右分别为：合成有雾图像、网络模型估计的传输图、通过大气散射模型合成的恢复图像(大气光值直接给出)和真实无雾图像。通过观察可以发现，本发明提供的传输图估计网络在图像受雾影响较深的情况下，可以较为准确的区分远景与近景的区别和景物与观察者之间的相对距离，在大气光已知的条件下能够较好的恢复图像因为雾造成的色彩偏差，在远处凳子、挂画等景物的传输图估计中，没有了之前重影的现象，对其相对位置也估计更为准确，较好的保持了图像的细节信息，因此最终恢复的图像在对远景恢复和细节恢复方面都相对于单级Hourglass网络有所改善

在本实施例中，对大气光估计网络进行训练时，替换了ResNet-18网络的损失函数，并在原有模型的基础上进行Fine-tuning。在NVIDIA Titan X GPU使用相同的参数训练网络，在训练14小时，迭代2000次后得到最终模型。其结果如图5所示，在使用本发明提出的Bell Loss函数对网络进行训练后，解决了现有技术中的Euclidean Loss造成的预测居中的问题，同时在各种大气光值的预测中都有较好的准确率，整体准确率提升了3％。

实施例二

一种基于多级沙漏结构的单幅图像去雾方法，将待去雾的图像输入至实施例一中的基于多级沙漏结构的单幅图像去雾模型构建方法构建出的去雾模型中，获得去雾图像。

在本实施例中，将如图6所示的待去雾图像输入至由实施例一建立出来的去雾模型后，其中β＝3.9，获得了如图7所示的去雾图像。

实施例三

在本实施例中，为了验证本发明提供的于多级沙漏结构的单幅图像去雾模型构建及去雾方法得有效性，将网络最终的恢复结果与现有的几种先进方法进行了比较，这些方法包括：He等人提出并获得2009年CPRV最佳论文的DCP算法，Zhu等人发表在IEEE TIP-2015的颜色衰减优先算法，Berman等人发表在CVPR-2016的去雾算法，Ren等人发表在ECCV-2016的基于多尺度卷积神经网络的去雾算法，Cai等人发表在IEEE TIP-2016的端到端的DehazeNet和Li等人发表在ICVV-2017的AOD-Net。

在纽约大学创建NYU测试集和3D户外数据集上评估本发明所提出的去雾方法和上文提到的6种目前较为先进的去雾方法的图像恢复效果。基于人眼视觉距离计算出的折射率取值范围，本实施例中分别取折射率β＝1，β＝2，β＝3，β＝3.9，以对比不同有雾条件下对各种去雾算法的影响。选择峰值信噪比(PSNR)和结构相似度(SSIM)两种方法作为不同算法图像恢复性能的评价指标进行客观评价，其结果如表1所示：

表1合成数据集各算法图像恢复定量评价

如表1所示，本发明提供的方法在所有条件下均取得了最优的效果。通过定量比较，可以发现，随着折射率β的增大，图像受雾影响增大，图像降质增加的条件下，本发明提供的方法在客观指标上具有更加显著的优越性。其中在结构相似度(SSIM)这种更加接近人类感知的评价模式下，在NYU测试集上本发明提供的方法相比于第二名算法随着折射率的增加分别提高了3.0％，5.8％，10.0％和12.3％。

同时在本实施例中还对自然场景下人工合成的RESIDE Dataset和O-HAZEDataset两个数据集上对不同单幅图像去雾算法的表现进行比较，由于这两个数据集分别通过估计场景深度合成和通过机器生成有雾环境，其groundtruth与真实无雾图像存在轻微色差，因此本发明提供的方法只采用结构相似度(SSIM)作为各算法的图像恢复性能的评价指标进行客观评价，其结果如表2所示：

表2户外真实场景合成数据集各算法图像恢复定量评价

由表2可以发现，在雾程度较轻的RESIDE数据集中，基于学习方法，如Cai等人和Li等人的方法优于传统基于先验或假设提取特征的方法，这证明了深度模型对于有雾环境下图像特征提取的能力，在这些方法中，本发明提供的方法在结构相似度(SSIM)指标上取得了最好的结果。而在图像受雾影响更大，雾的程度更深的O-HAZE数据集中，Cai等人和Li等人的去雾算法性能明显下降，从另一个侧面证明本发明提供的方法工作的意义，多级Hourglass网络结构可以更好解决不同有雾条件下的单幅图像去雾问题。

Claims (8)

1.一种基于多级沙漏结构的单幅图像去雾模型构建方法，其特征在于，按照以下步骤执行：

步骤1、采集多幅原始图像，获得原始图像集；

步骤2、利用散射系数以及大气光参数对所述的原始图像集中的每幅原始图像进行加雾，获得每幅待去雾图像，获得待去雾图像集；

获得每幅待去雾图像的参数标签，所述的参数标签包括散射系数以及大气光参数，获得参数标签集；

步骤3、将所述的待去雾图像集作为输入，将所述的参数标签集以及原始图像集作为输出，训练网络模型，其中所述的网络模型包括依次串联的估计网络以及融合网络；

所述的估计网络包括并联的传输图估计网络以及大气光估计网络；所述的融合网络包括大气光散射模型；

所述的传输图估计网络包括多个串联的传输图估计模块，每个所述的传输图估计模块包括沙漏子模块；所述的沙漏子模块包括多个沙漏结构，所述的沙漏结构包括依次设置的一个下采样单元、两个卷积单元以及一个上采样单元，在所述下采样单元与所述上采样单元之间还连接有残差单元；

获得去雾模型。

2.如权利要求1所述的基于多级沙漏结构的单幅图像去雾模型构建方法，其特征在于，所述的步骤3中传输图估计模块还包括先验子模块，所述的先验子模块包括并联的暗通道先验层以及卷积层，所述暗通道先验层以及卷积层的输入均为待去雾图像。

3.如权利要求1所述的基于多级沙漏结构的单幅图像去雾模型构建方法，其特征在于，所述的步骤3中下采样单元包括两个卷积单元和一个最大池化层，所述的上采样单元包括一个卷积单元和一个双线性差值反卷积层，所述的残差单元包括一个1×1卷积核，所述的卷积单元包括依次串联的卷积层、批量归一化层以及ReLu激活函数层。

4.如权利要求1所述的基于多级沙漏结构的单幅图像去雾模型构建方法，其特征在于，所述的步骤3中大气光估计网络包括ResNet-18网络。

5.如权利要求4所述的基于多级沙漏结构的单幅图像去雾模型构建方法，其特征在于，所述的ResNet-18网络的损失函数L_A采用式I：

其中y表示大气光参数真实值，

表示大气光参数估计值，σ表示概率分布，σ>0。

6.如权利要求5所述的基于多级沙漏结构的单幅图像去雾模型构建方法，其特征在于，σ＝0.02。

7.如权利要求1所述的基于多级沙漏结构的单幅图像去雾模型构建方法，其特征在于，利用散射系数以及大气光参数对所述的原始图像集中的每幅原始图像进行加雾时，所述的散射系数的取值范围为[0.782,3.912]，所述的大气光参数的取值范围为[0.7,1]。

8.一种基于多级沙漏结构的单幅图像去雾方法，其特征在于，将待去雾的图像输入至权利要求1-7任一项权利要求所述的基于多级沙漏结构的单幅图像去雾模型构建方法构建出的去雾模型中，获得去雾图像。

Images