CN112381723A - 一种轻量高效的单幅图像去烟雾方法 - Google Patents

Abstract

本发明公开了一种单幅图像去烟雾的方法，该方法基于烟雾形成的物理模型，利用轻量高效的神经网络设计了基本的编码器(Encoder)网络，再将编码网络输出的隐空间特征应用解码器(Decoder)网络解码，得到物理模型中传输介质参数，同时还将隐空间特征输入到了估计大气光照的回归器中，得到大气光照参数。将上一步得到的传输介质参数再输入到设计的金字塔网络中，进而估计出更加准确的传输介质参数。最后将所估计出的传输介质参数和大气光照参数代入到烟雾退化的物理公式中，得到去烟/雾的图像。

Description

一种轻量高效的单幅图像去烟雾方法

技术领域

本发明涉及一种基于轻量化高效率深度卷积神经网络的单幅图像去烟雾方法，属于计算 机视觉领域。

背景技术

烟雾的产生，会极大地吸收光线，从而降低成像系统的成像质量，影响后续计算机视觉 任务的性能，如语义分割、目标追踪、目标检测等等。图像去烟/雾技术被广泛地认为是一种 病态图像恢复和图像增强的问题，有诸多挑战需要克服，其应用领域也非常广泛。现有许多 的应用场景，不仅要求去烟/雾算法模型有良好的去烟/雾效果，更要求其轻量化，高效率，如 视频监控、自动驾驶、外科手术等等。轻量化去烟/雾模型，提高模型的运行效率，扩宽了模 型的应用场合，降低了模型对终端设备的要求。设计轻量化去烟/雾模型的难点在于，在不损 失或者轻微损失模型性能的情况下，通过有限的模型复杂度和计算量，达到良好的去烟/雾效 果，从而为后续的计算机视觉任务提供高质量的数据，节省宝贵的计算资源。

现有的去烟雾模型主要分为两类：1)基于先验知识的方法；2)基于学习的方法。基于 先验知识的方法主要利用统计学工具，观察统计出烟雾图像或清晰图像的某些规律，从而估 计恢复出原始的清晰图像，如颜色线法(参见Fattal R.Dehazing using color-lines[J].ACM transactions on graphics(TOG)，2014，34(1)：1-14)、暗通道法(参见HeK，Sun J，Tang X.Single image haze removal using dark channel prior[J].IEEEtransactions on pattern analysis and machine intelligence，2010，33(12)：2341-2353)、块对比度(参见Tang K，Yang J，Wang J.Investigating haze-relevant featuresin a learning framework for image dehazing[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2014：2995-3000)最大等等。暗通道是简 单，效果较好的经典去雾方法，它观察统计发现，清晰RGB图像三个通道最小的像素值接近 0，利用此规律，估计出大气模型中的传输介质(Transmission)参数，最后恢复出清晰的图 像。深度卷积神经网络(CNN)在诸多计算机视频任务中表现出了优越的性能，同样，CNN 逐渐成为图像去烟/雾领域的主要研究算法。有一部分模型基于大气物理模型，估计其传输介 质参数(参见Cai B，Xu X，Jia K，et al.Dehazenet：An end-to-endsystem for single image haze removal[J].IEEE Transactions on ImageProcessing，2016，25(11)：5187-5198)或者同时估计传输 介质参数和大气光照参数(参见Zhang H，Patel V M.Densely connected pyramid dehazing network[C]//Proceedingsof the IEEE conference on computer vision and pattern recognition.2018： 3194-3203)，再利用大气模型公式恢复出原始的清晰图像数据。有的模型将这两个参数合并 为一个参数，然后设计一个端到端的轻量化CNN(AODNet，参见Li B，Peng X，Wang Z，et al.Aod-net：All-in-one dehazing network[C]//Proceedings of the IEEE internationalconference on computer vision.2017：4770-4778)估计这个参数。另外还有一些模型完全基于数据驱动的方 法，直接从烟雾图像中估计清晰图像(参见Qu Y，Chen Y，Huang J，etal.Enhanced pix2pix dehazing network[C]//Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition.2019：8160-8168、Shao Y，Li L，Ren W，et al.Domain Adaptation for Image Dehazing[C]//Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2020：2808-2817)。

上述基于学习方法的去烟雾模型在某些数据集上都取得了不错的去雾效果，但是它们却 需要进行大量计算，无法满足实时去烟/雾的需求。虽然AODNet是一个轻量化网络，但是它 在高清图像上的仍然难以实时运行，此外，它性能的还有待提高。设计轻量化高效率的神经 网络目前有2类主流的方法：1)压缩模型，其中模型量化技术(Jacob B，KligysS，Chen B，et al.Quantization and training of neural networks for efficientinteger-arithmetic-only inference[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition. 2018：2704-2713.)最为常见；2)设计更加高效的卷积神经网络结构，如SqueezeNet(参见Forrest N I，Song H，Matthew V M，etal.SqueezeNet：AlexNet-level accuracy with 50x fewer parameters and＜0.5 MBmodel size[C]//ICLR′17 conference proceedings.2017：207-212)、 MobileNet(参见Howard A，Sandler M，Chu G，et al.Searching for mobilenetv3[C]//Proceedings ofthe IEEE International Conference on Computer Vision.2019：1314-1324)等。现有的去烟/雾模 型，鲜有利用这2类技术来提高模型的效率和性能，在高清图像数据上，无法同时达到实时 运行和良好的去烟雾效果。本发明基于大气物理模型和，利用设计高效的卷积神经网络结构 的技术，设计了一种轻量高效的去烟雾卷积神经网络模型，它的参数量小，运算量低，泛化 性能好，去烟/去雾效果良好。本发明模型可以方便地嵌入到其它计算机视觉任务中，仅占用 极少的计算资源，却可以为后续任务提供高质量的数据。

发明目的

本发明的目的是实现一种高效的去烟雾算法模型，该方法可以在高清图像上实时去烟/雾， 并且达到较为先进的去烟雾的效果。

发明内容

本发明提供了一种单幅图像去烟雾的方法，包括以下步骤：

步骤S1：构建烟雾形成的大气物理模型，推导出烟雾退化公式；

步骤S2：基于神经网络设计编码器网络，再将编码网络输出的隐空间特征应用解码器网 络解码，得到物理模型中传输介质参数，同时还将隐空间特征输入到了估计大气光照的回归 器中，得到大气光照参数，具体为选取包含传输介质参数、大气光照参数、有烟雾-清晰图像 对的数据集，将烟雾图像输入出编码器，得到隐空间特征，再分别输入解码器和回归器，分 别得到传输介质参数和大气光照参数；

步骤S3：将步骤S2中得到的传输介质参数再输入到金字塔网络，估计出更加准确的传 输介质参数，再将该传输介质参数和步骤S2中所得到的大气光照参数代入步骤S1中所述的 烟雾退化的物理公式，得到清晰的图像；

步骤S4：将步骤S2、S3中所得到的2个传输介质参数、大气光照参数和清晰图像分别 与步骤S2中所述的数据集中的真实值计算合适的损失函数，训练神经网络，直到在验证集中 效果可以接受；

步骤S5：将实际的烟雾数据输入到步骤S4中已训练好的网络中，并利用烟雾退化的物 理公式，得到去烟/雾图像。

进一步地，所述烟雾形成的大气物理模型的数学公式如式(1)所示：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中，I(x)表示有烟雾的图像，其中J(x)表清晰的无烟雾图像，t(x)表示传输介质参数，A 表示全局大气光照；所述烟雾退化公式如式(2)所示：

附图说明

图1是实现本发明的方法流程图。

图2是初步估计的传输介质参数和大气光照参数网络结构示意图。

图3是利用金字塔结构进一步估计传输介质参数网络结构示意图。

图4是合成数据集中的自然图像上的有雾图像和去雾图像的对比图：(1)有雾图像；(2)去 雾图像；(3)真实图像；(4)网络估计的传输介质参数(RGB的图像分别用RGB三个通道显示)。

图5是实际的外科手术内窥镜图像去烟对比图：(1)有雾图像；(2)去雾图像；(3)真实图像； (4)网络估计的传输介质参数。(RGB的图像分别用RGB三个通道显示)

图6是SOTS数据集实际数据去雾前后对比图：其中(1)实际有雾图像；(2)去雾图像。(RGB 的图像分别用RGB三个通道显示)

图7外科手术内窥镜视频数据去烟对比图。(RGB的图像分别用RGB三个通道显示)

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。

本发明所述去除烟雾的方法的整体流程如图1所示，由3部分组成：传输介质参数初步 估计网络(Coarse Block)、传输介质参数进一步估计网络(Fine Block)和大气光照参数回归 网络(Regressor)。

烟雾形成的大气物理模型数学公式如式(1)所示：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

I(x)表示有烟雾的图像，其中J(x)表清晰的无烟雾图像，t(x)表示传输介质参数，A表示全 局大气光照。利用式(1)推导出烟雾退化公式如式(2)所示：

去除烟雾的过程主要包括以下步骤：

步骤一、构建初步的卷积神经网络(Coarse Block)，估计式(2)中的t(x)和A。

具体如图2所示。为了减少网络的计算，采用编码器-解码器(Encoder-Decoder)卷积 神经网络结构，在编码器部分，采用步长大于1的空洞卷积运算实现特征图的下采样。由于 此网络结构中步长设置较大，为保证下采样的特征图的信息量损失最小，同时不增加网络模 型的参数，采用空洞卷积(Dilated Convolution)作为解码器的卷积模块。记卷积运算为

其中x_i表示第i层的特征图，c表示卷积输出通道数，e表示输入通道数，k表 示卷积核的大小为k²，s为卷积运算的步长，p为像素填充，d为空洞卷积的膨胀系数。编码 器的每一层都采用ReLU激活函数，解码器的中间层也采用ReLU激活函数，最后一层使用Tanh激活函数，估计A的回归网络也解码器的激活函数配置相同，ReLU和Tanh数学公式如式(3)、式(4)所示：

ReLU(x)＝max(0，x) (3)

输入编码器网络的RGB烟雾图像记为x₀，编码器网络的运算过程如下式(5)所示：

编码器输出的特征图x₃即为隐空间特征z，再输入解码器网络估计

其运算过 程如式(6)所示：

上式中H_i(x)表示对特征图x最近邻上采样i倍，[x_i；x_j]表示特征图x_i和x_j在通道维度上拼 接。

将式(5)得到的隐空间特征z输入到估计A的回归网络中，其运算过程如式(7)所示：

上式中

表示回归网络的第i个特征图；Pool_i(x)表示步长为i，核大小为i的平均池化运算；

表示将特征图平均池化到i×i的大小。

步骤二、构建精炼传输介质参数

的金字塔网络(Fine Block)，估计出更为准确的 传输介质参数

如图3所示，在基于物理模型的去雾网络模型中，t(x)对图像去烟/雾的质量有着决定性 的作用，估计出准确的t(x)，可以更加准确地还原清晰图像。步骤一中获得的

还包 含了许多原始图像的信息，因此可以设计一个金字塔的网络结构，在不同尺度 (1/2，1/4，1/8)上提取

的信息，过滤掉原始图像的干扰信息，从而估计出更为准确的

其运算过程如式(8)所示：

式中H_-i(x)表示对特征图x平均池化i倍，P_i表示1/i尺度下的特征图，当i＝0时，表示原尺 度。由式(8)得到不同尺度的特征图像后，以通道顺序进行拼接，然后分成3组，进行分组卷 积运算，最后再通过普通的卷积，得到最终的

其计算过程如式(9)所示：

上式C[P_i；P_j]表示将P_i，P_j按通道顺序拼接，记

那么

表示分组卷积，其中x_i表示第i层的 特征图，c表示卷积输出通道数，e表示输入通道数，k表示卷积核的大小为k²，s为卷积运 算的步长，p为像素填充，g为分组卷积的分组数，其中e和c都必须为g的整数倍。

最后将

和步骤一中所得到的估计A，即

代入到式(2)，计算出清晰的图像

如式(10)所示：

步骤三、以均方根误差损失(MSE Loss)作为训练网络的目标函数，采用反向传播算法 更新网络参数，其优化目标如式(11)所示：

式中θ_c，θ_r，θ_f分别为Coarse Block，Regressor、Fine Block的网络权重。λ_i为手动设定的系数， λ₁＝0.3，λ₂＝0.3，λ₃＝0.3，λ₄＝0.1。训练过程中，在验证集上加以验证，直到在验证 集中效果可以接受。

步骤四、神经网络训练完成后，将烟雾图像数据输入到神经网络中，在网络的输出端得 到

和

再将这两个参数代入式(10)，得到最终的去烟/雾图像

实施例1

为了验证本发明的去烟雾的高效性与先进性，将本发明所提出的网络模型在自然图像的 室内数据集上训练，然后分别应用于自然图像的室内数据、室外数据以及外科手术内窥镜高 清视频数据，以展示本发明中轻量化高效率深度卷积神经网络模型高效实时去烟/雾的效果。

本实施例以Python语言实现(版本号：3.7.6)，其中的深度卷积神经网络利用Pytorch(版 本号：1.5.1)框架搭建。训练和测试所使用的操作系统为Linux系统(Ubuntu18.04 LTS，内 核版本号：4.15.0)。机器配置为：CPU型号：Intel(R)Core(TM)i9-10920XCPU@3.50GHz； 内存大小：96G；GPU型号：GeForce GTX 2080Ti。

首先，采用RESIDE数据集(参见Li B，Ren W，Fu D，et al.Benchmarking single-image dehazing and beyond[J].IEEE Transactions on Image Processing，2018，28(1)：492-505)的室内数 据ITS_v2子集作为本发明网络的训练集和验证集，网络模型在训练集完成后，如图4、5所 示，在SOTS子集(合成数据集，包含了室内数据集和室外数据集)上进行测试，并计算了 常见的图像质量评价指标PSNR和SSIM(参见 https：//scikit- image.org/docs/stable/api/skimage.metrics.html#skimage.metrics.structural_ similarity )。此外，如图5所示，在HSTS的实际数据集进行了测试。从表1和表2可以看出，本发明 方法在ITS_v2数据集上，取得了先进的去雾效果，并且运算量(GFLOPs，以图像大小为 1920x1080x3作为输入计算)，仅有当前先进的轻量化网络的1/6，验证了本发明先进高效的 去雾性能。

表1SOTS数据集室内(Indoor)和室外(Outdoor)的PSNR/SSIM评价指标对比

表2 SOTS数据集综合PSNR/SSIM/Params/GFLOPs评价指标对比

表3内窥镜视频FPS和盲图像质量评价指标对比

为了验证本发明良好的泛化性能，以及高清图像上达到了实时去雾的效果，在外科手 术内窥镜视频数据上测试本发明网络，该视频数据帧为RGB图像，分辨率为1920x1080， 去烟对比结果如图7所示。由于内窥镜视频数据没有标签，不能用PSNR/SSIM来评价去雾 结果，而是使用2种常见的盲图像质量评价指标，NIQE(参见Mittal A，Soundararajan R， Bovik A C.Making a“completely blind”image quality analyzer[J].IEEE Signal processing letters，2012，20(3)：209-212)是自然图像上一个评价指标，它指示图像是否自然，其值越低， 图像质量越高；FADE(参见Choi L K，You J，Bovik AC.Referenceless prediction of perceptual fog density and perceptual imagedefogging[J].IEEE Transactions on Image Processing，2015， 24(11)：3888-3901)是评价图像是否存在烟雾，它指示图像的烟雾程度，其值越低，图像的 烟雾越少。如表3所示，本发明网络在这两个指标上都取得了不错的结果，其中去烟雾效 果比其它两种方法更好，但是在图像的自然程度上略逊于DCPDN。此外，还对比了每秒处 理的帧数(FPS)指标，表3中的FPS¹计算过程包括数据从CPU到GPU去雾，再传输到 CPU，比较符合实际应用情况，FPS²计算过程仅包括数据在GPU上去雾，再传输到CPU， 它更能比较出各个模型的际运算速度。

本发明的优点是，网络的参数量极少，泛化性能好，计算效率高，对运行设备要求低。 在高清图像上也可以实时运行，并且能够达到先进的去烟/雾效果。同时本发明也可以方便地 嵌入到其它计算机视觉任务中，为这些任务提供高质量的数据，同时仅占用极少的计算资源。

Claims (7)

1.一种单幅图像去烟雾的方法，其特征在于，包括以下步骤：

步骤S1：构建烟雾形成的大气物理模型，推导出烟雾退化公式；

步骤S2：基于神经网络设计编码器网络，再将编码网络输出的隐空间特征应用解码器网络解码，得到物理模型中传输介质参数，同时还将隐空间特征输入到了估计大气光照的回归器中，得到大气光照参数，具体为选取包含传输介质参数、大气光照参数、有烟雾-清晰图像对的数据集，将烟雾图像输入出编码器，得到隐空间特征，再分别输入解码器和回归器，分别得到传输介质参数和大气光照参数；

步骤S3：将步骤S2中得到的传输介质参数再输入到金字塔网络，估计出更加准确的传输介质参数，再将该传输介质参数和步骤S2中所得到的大气光照参数代入步骤S1中所述的烟雾退化的物理公式，得到清晰的图像；

步骤S4：将步骤S2、S3中所得到的2个传输介质参数、大气光照参数和清晰图像分别与步骤S2中所述的数据集中的真实值计算合适的损失函数，训练神经网络，直到在验证集中效果可以接受；

步骤S5：将实际的烟雾数据输入到步骤S4中已训练好的网络中，并利用烟雾退化的物理公式，得到去烟/雾图像。

2.根据权利要求1所述单幅图像去烟雾的方法，其特征在于，所述烟雾形成的大气物理模型的数学公式如式(1)所示：

I(x)＝J(x)t(x)+A(-t(x)) (1)

其中，I(x)表示有烟雾的图像，其中J(x)表清晰的无烟雾图像，t(x)表示传输介质参数，A表示全局大气光照；所述烟雾退化公式如式(2)所示：

3.根据权利要求2所述单幅图像去烟雾的方法，其特征在于，所述步骤S2进一步包括构建初步的卷积神经网络，估计式中的t(x)和A，所述卷积神经网络为编码器一解码器卷积神经网络结构，在编码器部分，采用步长大于1的空洞卷积运算实现特征图的下采样。

4.根据权利要求3所述单幅图像去烟雾的方法，其特征在于，记所述空洞卷积运算为

其中x_i表示第i层的特征图，c表示卷积输出通道数，e表示输入通道数，k表示卷积核的大小为k²，s为卷积运算的步长，p为像素填充，d为空洞卷积的膨胀系数；所述编码器的每一层都采用ReLU激活函数，所述解码器的中间层也采用ReLU激活函数，最后一层使用Tanh激活函数，估计A的回归网络与解码器的激活函数配置相同，ReLU和Tanh数学公式如式(3)、式(4)所示：

ReLU(x)＝max(0，x) (1)，

将输入编码器网络的RGB烟雾图像记为x₀，则编码器网络的运算过程如下式(5)所示：

编码器输出的特征图x₃即为隐空间特征z，再输入解码器网络估计

其运算过程如式(6)所示：

其中，H_i(x)表示对特征图x最近邻上采样i倍，[x_i；x_j]表示特征图x_i和x_j在通道维度上拼接；

将式(3)得到的隐空间特征z输入到估计A的回归网络中，其运算过程如式(7)所示：

其中

表示回归网络的第i个特征图，Pool_i(x)表示步长为i、核大小为i的平均池化运算，

表示将特征图平均池化到i×i的大小，所得到的估计A记作

5.根据权利要求4所述单幅图像去烟雾的方法，其特征在于，所述步骤S3进一步包括：

构建传输介质参数

的金字塔网络，估计出更准确的传输介质参数

具体运算过程如式(8)所示：

式中H_-i(x)表示对特征图x平均池化i倍，P_i表示1/i尺度下的特征图，当i＝0 时，表示原尺度；

由式(6)得到不同尺度的特征图像后，以通道顺序进行拼接，然后分成3组，进行分组卷积运算，再通过普通的卷积，得到最终的

其计算过程如式(9)所示：

式中，C[P_i；P_j]表示将P_i，P_j按通道顺序拼接，记

则

表示分组卷积，其中x_i表示第i层的特征图，c表示卷积输出通道数，e表示输入通道数，k表示卷积核的大小为k²，s为卷积运算的步长，p为像素填充，g为分组卷积的分组数，其中e和c都必须为g的整数倍；

将

和第(1)步得到的

代入到式，计算出清晰的图像

如式(10)所示：

6.根据权利要求5所述单幅图像去烟雾的方法，其特征在于，所述步骤S4进一步包括：以均方根误差损失作为训练网络的目标函数，采用反向传播算法更新网络参数，其优化目标如式(11)所示：

式中θ_c，θ_r，θ_f分别为传输介质参数初步估计网络、大气光照参数回归网络和传输介质参数进一步估计网络和的网络权重；λ_i为手动设定的系数，λ₁＝0.3，λ₂＝0.3，λ₃＝0.3，λ₄＝0.1；训练过程中，在验证集上加以验证，直到在验证集中效果可以接受。

7.根据权利要求6所述单幅图像去烟雾的方法，其特征在于，所述步骤S5进一步包括：

神经网络训练完成后，将烟雾图像数据输入到神经网络中，在神经网络的输出端得到

和

再将这两个参数代入式(8)，得到最终的去烟雾图像

Images