CN113034445A - 一种基于UNet3+的多尺度连接图像去雾算法 - Google Patents

Abstract

本发明公开了一种基于UNet3+的多尺度连接图像去雾算法，将雾霾图像数据集输入去雾网络中，在每一级编码器中运用残差网络和非局部块操作提取当前尺度的特征信息，接着进行下采样操作降低雾霾图像尺度，使得后一级编码器提取到不同尺度的特征信息，依次经过三级编码器，分别提取到雾霾图像不同尺度的特征信息，将来自不同层级中编码所得不同尺度的特征信息以及前一层解码器输出的特征信息进行聚合，再依次经过通道调整、残差网络、非局部块等操作完成当前级解码部分，经过四级解码器阶段之后，将所得到的特征图与原始输入雾图进行逐像素相加，得到去除雾霾之后的图像，保证了去雾之后的图像更接近于原始无雾场景下的信息。

Description

一种基于UNet3+的多尺度连接图像去雾算法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于UNet3+的多尺度连接图像去雾算法。

背景技术

随着我国经济不断的发展，人民物质生活日益提高，智慧城市、智能家居等大规模提高民生福祉的项目运筹帷幄。其中，智慧城市利用了“万物皆可连”这一思想，结合信息处理技术了解城市系统运行的关键信息，对人们的各种生活所需做出智能响应。然而，当前我国正处于几十年前欧美等发达国家发展的必经之路，举国上下重工业迅速发展，汽车尾气排放居高不下，从而导致一些城市的雾霾情况频繁显现，在雾、霆等恶劣天气情况下，空气中悬浮微粒将会影响光学成像设备在户外的拍摄情况，混浊的媒介对反射光吸收、散射以及折射，致使高清摄像头获取景物图像的入射光线发生衰减，导致城市中高清监控摄像头获取到的实时信息浑浊不清。

基于传统图像增强技术去雾的算法，直接通过传统的图像增强技术改变图像中对比度、饱和度、灰度级来凸显图片中的重要信息，在一定程度上改善图像的视觉效果，但此类型的方法没有考虑图像雾化的物理模型，没有达到真正意义上的去雾。何凯明等人通过对大量户外清晰图像进行统计观察后，提出了一种使用先验暗通道估计出图像透射率进而去雾的算法，但是此算法对背景中有大片天空颜色的雾霾图像去雾时会出现严重的色彩失真现象。Tan等人，通过马尔可夫随机场对图像透射率进行建模，通过最大化图像对比度提升图像视觉效果。这些方法对于多变化的真实图像去雾效果较差。

发明内容

本发明的目的在于提供一种基于UNet3+的多尺度连接图像去雾算法，旨在解决现有技术中的去雾算法对于多变化的真实图像去雾效果较差的技术问题。

为实现上述目的，本发明采用的一种基于UNet3+的多尺度连接图像去雾算法，包括如下步骤：

将雾霾图像的数据集输入去雾网络中；

编码部分对雾霾图像数据集提取特征信息；

解码部分将特征信息进行聚合得到特征图；

将特征图与雾霾图像进行逐像素相加，得到去除雾霾的图像。

其中，将雾霾图像的数据集输入去雾网络中的步骤中：

所述编码部分包括第一级编码器、第二级编码器和第三级编码器，所述解码部分包括第一级解码器、第二级编码器、第三级编码器和第四级编码器。

其中，编码部分雾霾图像不同尺度数据集提取特征信息的步骤中：

所述第一级编码器、所述第二编码器和所述第三编码器分别对不同尺度的雾霾图像数据集进行第一数据处理、第二数据处理和第三数据处理。

其中，所述第一数据处理、所述第二数据处理和所述第三数据处理均为：

运用残差网络和非局部块操作提取雾霾图像数据集的特征信息，并将雾霾图像数据集进行下采样操作，降低雾霾图像数据集的尺度，并输入到下一级编码器。其中，

其中，解码部分将特征信息进行聚合得到特征图的步骤中：

所述第一级解码器进行第四数据处理，第所述二级解码器进行第五数据处理，所述第三解码器进行第六数据处理，所述第四解码器对数据进行第七数据处理。

其中，第所述四数据处理、所述第五数据处理、所述第六数据处理和所述第七数据处理均为：

将各个编码器提取雾霾图像数据集的特征信息以及前一级解码器输出的特征信息进行聚合，再依次经过通道调整、残差网络和非局部块操作得到当前级特征图，并输入到下一级解码器。

其中，将特征图与雾霾图像数据集进行逐像素相加，得到雾霾图像的步骤中：

将第四级解码器得到的第四级特征图与雾霾图像逐像素相加，得到去除雾霾的图像。

本发明的有益效果为：在每个解码阶段聚合了来自不同编码层之间的所有特征，使得多尺度特征在去雾过程中最大程度的保留了原始图像中的细节信息，保证了恢复出来的图像更接近于原始场景无雾的图像；在每一层之间运用了一个残差网络替换了之前简单的卷积操作对图像进行训练，解决了随着网络深度增加时，出现误差信号多层反向传播引发“梯度爆炸”和误差率上升的问题；在每一层的残差网络后衔接一个非局部块，该块将之前的特征图按网格划分，使得各个网格区域内的雾浓度分布均匀，在恢复无雾图像时能够提供丰富的远程细节信息，使得去雾后的图像具有更详细的背景信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的基于UNet3+的多尺度连接图像去雾算法的步骤流程图。

图2是本发明的多尺度连接去雾网络原理图

图3是本发明的残差网络模型图。

图4是本发明的非局部输入特征块示例图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1，本发明提供了一种基于UNet3+的多尺度连接图像去雾算法，包括如下步骤：

S1：将雾霾图像的数据集输入去雾网络中；

S2：编码部分对雾霾图像数据集提取特征信息；

S3：解码部分将特征信息进行聚合得到特征图；

S4：将特征图与雾霾图像进行逐像素相加，得到去除雾霾的图像。

具体的，编码部分包括第一级编码器、第二级编码器和第三级编码器，所述解码部分包括第一级解码器、第二级编码器、第三级编码器和第四级编码器。

具体的，所述第一级编码器、所述第二编码器和所述第三编码器分别对不同尺度的雾霾图像数据集进行第一数据处理、第二数据处理和第三数据处理。

具体的，所述第一数据处理、所述第二数据处理和所述第三数据处理均为：

运用残差网络和非局部块操作提取雾霾图像数据集的特征信息，并将雾霾图像数据集进行下采样操作，降低雾霾图像数据集的尺度，并输入到下一级编码器。

具体的，解码部分将特征信息进行聚合得到特征图的步骤中：

所述第一级解码器进行第四数据处理，所述第二级解码器进行第五数据处理，所述第三解码器进行第六数据处理，所述第四解码器对数据进行第七数据处理。

具体的，所述第四数据处理、所述第五数据处理、所述第六数据处理和所述第七数据处理均为：

将各个编码器提取雾霾图像数据集的特征信息以及前一级解码器输出的特征信息进行聚合，再依次经过通道调整、残差网络和非局部块操作得到当前级特征图，并输入到下一级解码器。

具体的，将特征图与雾霾图像数据集进行逐像素相加，得到雾霾图像的步骤中：

将第四级解码器得到的第四级特征图与雾霾图像逐像素相加，得到去除雾霾的图像。

请参阅图2，本发明使用了多尺度连接，即在每个解码阶段聚合了来自不同编码层之间的所有特征，使得多尺度特征在去雾过程中最大程度的保留了原始图像中的细节信息，保证了恢复出来的图像更接近于原始场景无雾的图像。

具体的，通常在U-Net网络中，特征之间的连接只会在同一层的编码器和解码器之间进行，当解码器对低级特征恢复时，使用通常的U-Net网络不能将各层的特征信息充分利用，这将导致不同层之间的部分特征信息丢失。然而，图像去雾是计算机视觉中一项低级的视觉任务，除雾过程中需要使用丰富的特征信息来恢复出清晰的图像。

因为不同层之间的特征图具有不同尺度，所以在本发明中运用一个1*1的卷积操作，自适应的调整通道之间的特征尺度，将不同层之间的特征信息进行聚合之后继续进行后面的相关操作。

通常使用

表示编码器部分第i层的输出特征(i＝1,2,3)，使用

表示解码部分第

层输入特征(l＝1,2,3,4)，具体公式可以表示为：

上式中

表示级联操作，H_up(·)表示上采样操作，

表示解码器在第l层的输出特征，W_1×1表示大小为1×1的卷积层，对级联后的特征图通道大小进行调整，

表示在第i层到第l层之间进行采样操作，换句话说，当l＞i时表示进行l-i次的下采样操作，当l＜i时表示进行i-l次上采样操作。

如果没有使用多路连接，则处理高层特征时不能使用来自低层的特征反之亦然，这种思想有利于网络在恢复大规模特征时能利用来自不同层之间的特征信息。

请参阅图3，本发明在每一层之间运用了一个残差网络替换了之前简单的卷积操作对图像进行训练，解决了随着网络深度增加时，出现误差信号多层反向传播引发“梯度爆炸”和误差率上升的问题。

具体的，神经网络的每一层将分别提取到来自高、中、低层的不同特征信息，随着网络层数的加深，所提取到不同层之间的特征信息和不同层之间的层次信息组合也会越来越多。从理论上分析，当然是网络深度越深所提取到的细节特征信息越多，实验结果的准确度也会相对提高。但是，在以往的大量研究中发现，在深度学习中随着网络深度的加深面临的主要问题有“梯度弥散”或者“梯度爆炸”。传统解决方式采取对数据进行初始化和正则化，这样虽然解决了梯度的问题，但是却带来了另外的问题，网络性能将会退化，准确度会降低。本发明所采用的残差网络用来解决网络性能退化问题的同时和网络深度加深带来的梯度问题。

本发明中的残差网络由三个相同大小的3*3卷积块加上紧随其后的PReLU整流函数进行层之间的跳跃连接组成。此残差网络设计的思想很简单，就是在标准前馈卷积网络上加入一些跳跃连接，将当前层卷积之后的特征叠加到下一层的输入中，在解决之前随着网络深度出现问题的同时，使得网络之间的数据流通更加顺畅，提取到的特征信息更加丰富。

请参阅图4，本发明在每一层的残差网络后衔接一个非局部块，该块将之前的特征图按网格划分，使得各个网格区域内的雾浓度分布均匀，在恢复无雾图像时能够提供丰富的远程细节信息，使得去雾后的图像具有更详细的背景信息。

具体的，将非局部块的输入特征表示为

将输入特征X划分到一个{X^k}块的l×d网格中，(k＝1,...,K＝ld)其中K是块的数量，用X^k生成输出Z^k的线性嵌入公式如下所示：

和

分别表示在i和j位置处的特征X^k，W_θ、W_ψ和

分别表示维度为C×L、C×L和C×C的可学习权重矩阵(并且L＝C/2)，区域非局部操作可以表示为：

此处

表示

与S_i中每个

之间的相关性，

表示在i处的输出特征Z^k，而S_i表示一些块的位置。l＞d时的块比l＝d时的块更宽，因此分别在l＞d、l＝d和l＜d的情况下将其命名为宽矩形块、方块和高矩形块。在RNL块中，将1、2、3、4层中l×d的网格块尺寸分别设置为16×4、8×2、4×1和4×1。

基于非区域块中的其他像素信息去恢复具体细节，则每个块中必须具备充足的背景信息，如果每个块之间的雾浓度是分布均匀的，则非局部块将充分的利用背景信息。利用高等数学中“微元”的思想将待去雾的图像均匀的划分成多个块，这样在每个小块中雾浓度的分布相对均匀。

本发明首先将合成雾霾图像数据集或真实雾霾图像数据集输入去雾网络中，在每一级编码器中运用残差网络和非局部块操作提取当前尺度的特征信息，接着进行下采样作降低雾霾图像尺度，使得后一级编码器提取到不同尺度的特征信息，依次经过三级编码器，分别提取到雾霾图像不同尺度的特征信息，以便于解码时利用丰富的特征信息恢复去雾后的图像细节。紧接着进入解码部分，首先来到第一级解码器，在进入每一级解码器之前，先将来自不同层级中编码所得不同尺度的特征信息以及前一层解码器输出的特征信息进行聚合。由于来自各层之间的尺度特征大小不到下一级解码器中。例如二级解码器中，首先将各级编码器中输出的特征信息进行下采样操作调整特征尺度大小，使得在二级解码操作之前进行特征聚合时，保证来自编码器中的特征信息与前一级解码器经过上采样之后输出的特征信息尺度相同，再依次经过通道调整、残差网络、非局部块操作完成当前级解码部分。在经过四级解码器阶段之后，将所得到的特征图与原始输入雾图进行逐像素相加，恢复去除雾霾之后的清晰图像。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种基于UNet3+的多尺度连接图像去雾算法，其特征在于，包括如下步骤：

将雾霾图像的数据集输入去雾网络中；

编码部分对雾霾图像数据集提取特征信息；

解码部分将特征信息进行聚合得到特征图；

将特征图与雾霾图像进行逐像素相加，得到去除雾霾的图像。

2.如权利要求1所述的基于UNet3+的多尺度连接图像去雾算法，其特征在于，将雾霾图像的数据集输入去雾网络中的步骤中：

所述编码部分包括第一级编码器、第二级编码器和第三级编码器，所述解码部分包括第一级解码器、第二级编码器、第三级编码器和第四级编码器。

3.如权利要求2所述的，其特征在于基于UNet3+的多尺度连接图像去雾算法，编码部分对雾霾图像不同尺度数据集提取特征信息的步骤中：

所述第一级编码器、所述第二编码器和所述第三编码器分别对不同尺度的雾霾图像数据集进行第一数据处理、第二数据处理和第三数据处理。

4.如权利要求3所述的基于UNet3+的多尺度连接图像去雾算法，其特征在于，所述第一数据处理、所述第二数据处理和所述第三数据处理均为：

运用残差网络和非局部块操作提取雾霾图像数据集的特征信息，并将雾霾图像数据集进行下采样操作，降低雾霾图像数据集的尺度，并输入到下一级编码器。

5.如权利要求4所述的基于UNet3+的多尺度连接图像去雾算法，其特征在于，解码部分将特征信息进行聚合得到特征图的步骤中：

所述第一级解码器进行第四数据处理，所述第二级解码器进行第五数据处理，所述第三解码器进行第六数据处理，所述第四解码器对数据进行第七数据处理。

6.如权利要求5所述的基于UNet3+的多尺度连接图像去雾算法，其特征在于，所述第四数据处理、所述第五数据处理、所述第六数据处理和所述第七数据处理均为：

将各个编码器提取雾霾图像数据集的特征信息以及前一级解码器输出的特征信息进行聚合，再依次经过通道调整、残差网络和非局部块操作得到当前级特征图，并输入到下一级解码器。

7.如权利要求6所述的，其特征在于，所述的基于UNet3+的多尺度连接图像去雾算法，将特征图与雾霾图像数据集进行逐像素相加，得到雾霾图像的步骤中：

将第四级解码器得到的第四级特征图与雾霾图像逐像素相加，得到去除雾霾的图像。

Images