CN110766640A - 一种基于深度语义分割的图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于深度语义分割的图像去雾方法。本发明收集清晰无雾图和相应深度图的数据集，采用PSPNet网络模型构建语义分割模块，采用自动编码器构建去雾模块，并嵌入语义分割模块作为图像去雾模型；制定去雾模型训练策略进行模型训练；取有雾图及对应清晰图片所组成的测试集，对完整的去雾模型进行测试，将有雾图输入到语义分割模块中获得该有雾图的语义分割特征图，再将有雾图和对应语义分割特征图输入到去雾模块中，最后输出清晰无雾图。本发明方法能在较快时间内完成精度高的图像去雾任务，同时基于语义分割信息，能有效避免产生色差和光晕伪影现象，且在PSNR和SSIM指标上能比大部分现有图像去雾方法更好。

Description

一种基于深度语义分割的图像去雾方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于深度语义分割的图像去雾方法。

背景技术

在自然界中，空气中存在较多的颗粒物或水蒸气会影响大气光的吸收和散射，从而降低光照强度，所以在这类天气下拍摄的户外照片由于雾的遮挡会变得模糊，对比度较低。雾气等遮挡物严重影响了如室外监控、自动驾驶、航拍等工作。因此去除图像中的雾气并恢复图像的原始信息显得尤为重要。

目前的图像主要分为两大类：传统的图像去雾方法和基于深度学习的去雾方法。传统的去雾方法大致分为基于图像增强的去雾方法和基于先验信息的去雾方法两类。基于图像增强的去雾方法指的是根据图像的总体信息，对图像的全部或部分灰度值进行调整，增强图像对比度，从而达到去雾的效果。这类方法比较典型的代表有直方图均衡化算法，如Stark等人提出的方法。该方法主要是采取特定的灰度变换函数(线性变换和非线性变换)处理图像使得有雾图的直方图分布变得均匀，从而达到增强图像对比度的效果。直方图均衡化算法实现简单，但某些图像经过直方图均衡化后反而灰度级减少、对比度下降，同时有一些图片由于对比度过分增强会有“过亮现象”。基于先验信息的去雾方法利用图像的一些先验信息建立模型进行去雾。这类方法典型的代表是He等人提出的暗通道先验理论，该理论表明，把清晰的无雾图分为多个图像块后，在每个图像块上只至少存在一个像素点在RGB的某个颜色通道上亮度值很小，趋近于零。对于大气光值的计算，He等人将原有雾图的各像素点的亮度值进行排列，并选中前0.1％的像素点所在的区域，选取该区域中最大的亮度值作为大气光值。尽管该方法取得了显著的效果，但在天空区域比较大或图像中的白色区域比较多时会失效。专利的图像去雾方法则融合了变差函数和颜色衰减先验。这些方法强烈依赖于先验信息，在某些自然图像下不适用。

现有的一个方法是Li等人提出了一种端对端去雾的AOD-Net方法，通过对大气光散射模型的公式进行改写，将透射率图和大气光值整合到一个变量中，使得计算变得简单，然后用一个轻量级的神经网络结构预测变量。该方法采用大气光散射模型根据无雾图生成有雾图数据集，将有雾图输入到提出的网络模型中进行训练，得到变量后根据改写的大气光散射模型公式求得清晰无雾图。

这种方法的缺点在于：

由于AOD-Net的网络结构简单、深度较浅，网络参数不够多，且没有额外获取有雾图的先验信息，在一些有雾图的处理上还是有较大的缺陷，不能很好地预测变量，会出现雾气残留的现象。

发明内容

本发明的目的是克服现有方法的不足，提出了一种基于深度语义分割的图像去雾方法。本发明解决的问题是针对现有方法网络结构简单，网络参数不够多，缺少额外获取有雾图的先验信息，导致在一些有雾图的处理上出现雾气残留现象的缺陷，本发明利用清晰无雾图和相应的深度图的数据集，采用ADE20K数据集下训练的PSPNet网络模型，并对该模型进行微调来构建语义分割模块，将有雾图输入到语义分割模块中获得该有雾图的语义分割特征图，本发明采用了语义分割特征图作为有雾图的先验信息，不需要分别预测大气光值和投射率图，降低了计算量，该语义分割结果图给出了物体的轮廓和位置信息，对于图像去雾来说是一种先验信息。

为了解决上述问题，本发明提出了一种基于深度语义分割的图像去雾方法，所述方法包括：

收集清晰无雾图和相应的深度图的数据集，室内图采用NYU-Depth v2数据集，室外图则采用RESIDE数据集；

采用在ADE20K数据集下训练的PSPNet网络模型，并对该模型进行微调来构建语义分割模块；

采用自动编码器来构建去雾模块，并嵌入语义分割模块作为完整的单张图像去雾模型；

制定去雾模型训练策略，并进行模型训练，进一步修正网络参数得到最好的模型结果；

取有雾图及对应的清晰图片所组成的测试集，对完整的去雾模型进行测试，该最终模型接收一张输入的有雾图，经过语义分割模块后得到相应的语义分割标签图，将有雾图和得到的标签图连接起来并输入到去雾模块中得到对应的清晰结果图。

优选地，所述制定去雾模型训练策略步骤，即先设计损失函数，计算损失函数得到当前误差，通过反向传播修改网络参数，进而减小误差。具体包括：

对于损失函数采用均方误差损失函数、感知损失函数和图像梯度损失函数；

构造均方误差损失函数，采用输入的有雾图像减去数据集中相应的清晰图片得到所有像素值，并对其进行乘方操作，得到像素值的平方，并取所有像素值平方的均值作为最终的结果；

构造感知损失函数，采用VGG19预训练模型的第1-5隐藏层来作为提取特征模型，将输入的有雾图输入到提取特征模型中得到相应的有雾图特征，同时将数据集中对应的相应的清晰图输入到提取特征模型中得到相应的清晰图特征，将有雾图特征减去清晰图特征得到感知特征，并对其进行乘方操作，得到感知特征的平方，并取感知特征平方的均值作为最终的结果；

构造图像梯度损失函数，进一步修正去雾的结果图片的边缘信息，使得最终得到的结果更加准确。采用偏微分方程来计算输入有雾图像在高度和宽度方向上的两个梯度，并采用相似的方法计算数据集中相应的清晰图片的两个梯度值，将有雾图的梯度值减去清晰图相应方向上的梯度值得到梯度值之差，并取该差的绝对值，最后取该绝对值的平均值得到最终的结果；

最后将均方误差损失函数、感知损失函数和图像梯度损失函数相加得到最终的损失函数。

本发明提出的一种基于深度语义分割的图像去雾方法，包含语义分割模块和去雾模块。本方法对比大部分依赖于大气光散射模型的图像去雾方法，能在较快的时间内完成精度比较高的图像去雾任务；本方法是基于语义分割信息，能有效地避免产生色差和光晕伪影现象，并且在PSNR和SSIM指标上能比大部分现有图像去雾方法更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的一种基于深度语义分割的图像去雾方法总体流程图；

图2是本发明实施例构建语义分割模块示意图；

图3是本发明实施例构建去雾模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的图像去雾方法总体流程图，如图1所示，该方法包括：

S1，收集清晰无雾图和相应的深度图的数据集，室内图采用NYU-Depthv2数据集，室外图则采用RESIDE数据集；

S2：采用在ADE20K数据集下训练的PSPNet网络模型，并对该模型进行微调来构建语义分割模块；

S3：采用自动编码器来构建去雾模块，并嵌入语义分割模块作为完整的单张图像去雾模型；

S4：制定去雾模型训练策略，并进行模型训练，进一步修正网络参数得到最好的模型结果，先设计损失函数，计算损失函数得到当前误差，通过反向传播修改网络参数，进而减小误差；

S5：取有雾图及对应的清晰图片所组成的测试集，对完整的去雾模型进行测试，该最终模型接收一张输入的有雾图，经过语义分割模块后得到相应的语义分割标签图，将有雾图和得到的标签图连接起来并输入到去雾模块中得到对应的清晰结果图。

步骤S1，具体如下：

S1-1：生成有雾图的详细步骤具体如下：

随机给定散射系数β结合深度图d(x)根据公式t(x)＝e^-βd(x)合成透射率图t(x)，其中x为图片中不同的像素点。随机生成大气光值A结合透射率图t(x)和无雾图J根据大气光散射模型公式I＝Jt(x)+A(1-t(x))生成有雾图I。

S1-2：从两个数据集中获得清晰无雾图和对应的深度图，每张清晰的无雾图根据此原理生成10张有雾图。其中NYU-Depth v2数据集共包含795张清晰图片，按照上述S1-1方法总共生成7950张不同程度的有雾图。在RESIDE数据集中选取500张室外有雾图及其对应的清晰图片。因此总共包含8450张有雾图及他们对应的清晰图片。

S1-3：将有雾图及他们对应的清晰图片所有图像对打乱顺序，并从中随机选择图像对作为训练集和测试集，其中训练集共包含8000张有雾图及其对应的清晰图片，测试集包含450张有雾图及其对应的清晰图片。

S1-4：对于预训练语义分割模块的数据集，采用NYU-Depth v2数据集生成的7950有雾图作为语义分割训练的训练数据集，采用NYU-Depth v2数据集中的标签图作为微调语义分割模块中的标签图，并按照ADE20K数据集标签图可视化的方法对NYU-Depth v2数据集中的标签图进行可视化，即为最终的标签图。最后将不同的有雾图和相应的标签图进行配对。

步骤S2，具体如下：

S2-1：在ADE20K数据集下训练PSPNet网络模型，得到已经训练好的PSPNet预训练模型，经过后续步骤的训练成为语义分割模块。

S2-2：新的语义分割模块示意图如图2所示，具体如下：

语义分割模块进行微调，将NYU-Depth v2数据集生成的有雾图和对应的标签图作为该步骤的数据集。将在ADE20K数据集下训练的PSPNet网络模型的所有隐藏层保留，替换最外层的卷积层，使得模型获得的最终输出结果为一通道的标记图像，标记不同像素属于图像中不同的物体，该标记图像的长度和宽度与原输入图像保持一致。

S2-3：因为语义分割的数据集为生成的有雾图和原清晰无雾图对应的标签图，因此将有雾图输入到新的语义分割模型中进行训练，输出为有雾图对应的相应标签图。将得到的标签图和原清晰无雾图对应的标签图进行损失函数的计算，反向传播更新卷积层的参数。进行10000次以上的重复训练，全部训练完后得到完整的语义分割模型。

步骤S3，采用自动编码器来构建去雾模块，并嵌入语义分割模块作为完整的单张图像去雾模型。具体如下：

S3-1：去雾模块的深度网络模型采用自动编码器，由编码器和解码器组成。

S3-2：构建去雾模块示意图如图3所示，具体如下：

在编码器中采用6个卷积层，之后采用4个空洞卷积扩大网络感受野，再采用2个卷积，以此逐步进行下采样。在解码器中采用6个解卷积层进行逐步上采样。该模型采用了3个跳跃连接，分别在第4个卷积层和第4个解卷积层、第2个空洞卷积层和第3个解卷积层、第7个卷积层和第1个解卷积层。对于所有卷积层，过滤器均采用3×3的大小。

S3-3：对于用户输入的有雾图，先采用语义分割模块对其进行语义分割，得到语义分割结果图的标签。接着将输入的有雾图与得到的语义分割标签进行连接操作，得到四通道的图像特征，并将该特征输入到去雾模块中进一步进行去雾操作，最终输出为清晰无雾图。

步骤S4，制定去雾模型训练策略，并进行模型训练，进一步修正网络参数得到最好的模型结果。即先设计损失函数，计算损失函数得到当前误差，通过反向传播修改网络参数，进而减小误差。具体如下：

S4-1：对于损失函数采用均方误差损失函数、感知损失函数和图像梯度损失函数。

S4-2：构造均方误差损失函数，采用输入的有雾图像减去数据集中相应的清晰图片得到所有像素值，并对其进行乘方操作，得到像素值的平方，并取所有像素值平方的均值作为最终的结果。具体公式如下所示，其中

为输入的有雾图，

为数据集中对应的清晰无雾图，H,W,C分别代表输入图像的高度、宽度以及通道数，x,y,z分别为图像中任一像素点所对应的高度、宽度以及通道，λ₁为该均方误差损失函数L_MSE在总的损失函数中所占的比例：

S4-3：构造感知损失函数，该感知损失函数采用VGG19预训练模型的第1-5隐藏层来作为提取特征模型，将输入的有雾图输入到上述模型中得到相应的有雾图特征，同时将数据集中对应的相应的清晰图输入到上述模型中得到相应的清晰图特征，将上述的有雾图特征减去清晰图特征得到感知特征，并对其进行乘方操作，得到感知特征的平方，并取感知特征平方的均值作为最终的结果。具体公式如下，其中为输入的有雾图，

为数据集中对应的清晰无雾图，H,W,C分别代表输入图像的高度、宽度以及通道数，x,y,z分别为图像中任一像素点所对应的高度、宽度以及通道，φ(I)为计算特征的VGG19模型，λ₂为该感知损失函数L_feat在总的损失函数中所占的比例：

S4-4：构造梯度损失函数，能进一步修正去雾的结果图片的边缘信息，使得最终得到的结果更加准确。首先采用偏微分方程即下述第一个公式来计算输入有雾图像在高度和宽度方向上的两个梯度，并采用相似的方法计算数据集中相应的清晰图片的两个梯度值，将有雾图的梯度值减去清晰图相应方向上的梯度值得到梯度值之差，并取该差的绝对值，最后取该绝对值的平均值得到最终的结果。具体公式如下其中

为输入的有雾图，

为数据集中对应的清晰无雾图，H,W,C分别代表输入图像的高度、宽度以及通道数，a,b,c分别为图像中任一像素点所对应的高度、宽度以及通道，▽f(I)为计算图像梯度的偏微分方程，

为在x轴方向上的图像梯度，

为在y轴方向上的图像梯度，λ₃为该梯度损失函数L_grad在总的损失函数中所占的比例：

S4-5：对于均方误差损失函数中的λ₁值，取值为1。对于感知损失函数中的λ₂值，取值为0.01。对于梯度损失函数中的λ₃值，取值为1。最后将上述三个损失函数相加得到最终的损失函数，具体公式如下：

L＝L_MSE+L_feat+L_grad

S4-6：对于网络优化器，采用AdaBound算法，并将其中的动力值设置为0.9。将学习速率设置为0.001，当程序训练迭代到200,000步时将学习速率除以10，得到0.0001，并将其设置为新的学习速率。当程序迭代到300,000步时停止训练，得到最终的完整的去雾模型。在一张NVIDIA GeForce GTX 1080显卡上进行上述实验。

步骤S5，取有雾图及对应的清晰图片所组成的测试集，对完整的去雾模型进行测试，具体如下：

S5-1：该最终模型接收一张输入的有雾图，经过语义分割模块后得到相应的语义分割标签图，将有雾图和得到的标签图连接起来并输入到去雾模块中得到对应的清晰结果图。

S5-2：将得到的清晰结果图与数据集中相应的原清晰无雾图进行比较，并计算对应的峰值信噪比PSNR和结构相似性SSIM值。对于所有的PSNR值，取平均值得到该模型的PSNR评估值。相似地，对于所有的SSIM值，取平均值得到该模型的SSIM评估值。最后与当前的现有图像去雾技术的PSNR和SSIM评估值进行比较，我们的模型能达到较好的效果。

本发明实施例提出的一种基于深度语义分割的图像去雾方法，包括语义分割模块和去雾模块。本方法对比大部分依赖于大气光散射模型的图像去雾方法，能在较快的时间内完成精度比较高的图像去雾任务；本方法是基于语义分割信息，能有效地避免产生色差和光晕伪影现象，并且在PSNR和SSIM指标上能比大部分现有图像去雾方法更好。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种基于深度语义分割的图像去雾方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种基于深度语义分割的图像去雾方法，其特征在于，所述方法包括：

收集清晰无雾图和相应的深度图的数据集，室内图采用NYU-Depth v2数据集，室外图则采用RESIDE数据集；

采用在ADE20K数据集下训练的PSPNet网络模型，并对该模型进行微调来构建语义分割模块；

采用自动编码器来构建去雾模块，并嵌入语义分割模块作为完整的单张图像去雾模型；

制定去雾模型训练策略，并进行模型训练，进一步修正网络参数得到最好的模型结果，即先设计损失函数，计算损失函数得到当前误差，通过反向传播修改网络参数；

取有雾图及对应的清晰图片所组成的测试集，对完整的去雾模型进行测试，该最终模型接收一张输入的有雾图，经过语义分割模块后得到相应的语义分割标签图，将有雾图和得到的标签图连接起来并输入到去雾模块中得到对应的清晰结果图。

2.如权利要求1所述的一种基于深度语义分割的图像去雾方法，其特征在于，所述制定去雾模型训练策略步骤，具体包括：

对于损失函数采用均方误差损失函数、感知损失函数和图像梯度损失函数；

构造均方误差损失函数，采用输入的有雾图像减去数据集中相应的清晰图片得到所有像素值，并对其进行乘方操作，得到像素值的平方，并取所有像素值平方的均值作为最终的结果；

构造感知损失函数，采用VGG19预训练模型的第1-5隐藏层来作为提取特征模型，将输入的有雾图输入到提取特征模型中得到相应的有雾图特征，同时将数据集中对应的相应的清晰图输入到提取特征模型中得到相应的清晰图特征，将有雾图特征减去清晰图特征得到感知特征，并对其进行乘方操作，得到感知特征的平方，并取感知特征平方的均值作为最终的结果；

构造图像梯度损失函数，进一步修正去雾的结果图片的边缘信息。采用偏微分方程来计算输入有雾图像在高度和宽度方向上的两个梯度，并采用相似的方法计算数据集中相应的清晰图片的两个梯度值，将有雾图的梯度值减去清晰图相应方向上的梯度值得到梯度值之差，并取该差的绝对值，最后取该绝对值的平均值得到最终的结果；

最后将均方误差损失函数、感知损失函数和图像梯度损失函数相加得到最终的损失函数。

Images