CN109829868B

CN109829868B - 一种轻量级深度学习模型图像去雾方法、电子设备及介质

Info

Publication number: CN109829868B
Application number: CN201910152588.5A
Authority: CN
Inventors: 蒋宏建; 徐向民; 邢晓芬
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2023-04-21
Anticipated expiration: 2039-02-28
Also published as: CN109829868A

Abstract

本发明公开了一种轻量级深度学习模型图像去雾方法、电子设备及介质，所述方法包括步骤：输入带雾图像；对输入的带雾的原始图片进行最大池化操作得到特征；通过分组卷积提取混通道的多尺度特征；对带雾图像进行通道混洗操作，通过分组卷积提取单通道的多尺度特征；对混通道、单通道的所有特征图进行卷积提取带雾特征；最终通过大气物理散射模型计算得到去雾后的图像。本发明的轻量级深度学习模型去雾方法，在大大减少模型参数的同时，可以达到一个很好的图像去雾效果，该轻量级深度学习模型去雾方法移植在嵌入式终端可以达到实时的处理效果。

Description

一种轻量级深度学习模型图像去雾方法、电子设备及介质

技术领域

本发明涉及图像处理领域，尤其是一种轻量级深度学习模型图像去雾方法、电子设备及介质。

背景技术

图像去雾一直是机器视觉领域的一个热门的技术问题。早期图像去雾技术主要利用图像增强的相关技术来实现，如有基于图像统计直方图的、基于图像饱和度、对比度统计的，也有基于图像深度信息3D模型的，但这类方法的鲁棒性不强，面对不同场景时去雾效果大相径庭；之后又出现基于图像局部对比度差异的马尔可夫随机场算法的、基于独立成分算法从原图逐步去雾的、基于带雾图像素在多通道中分布特点的暗通道方法的，然而此类算法计算消耗很大且对于特定场景如附带天空中云彩图片的处理效果不理想；最近基于神经网络的去雾方法研究也有出现，它们通过多尺度卷积进行提取特征得到暗通道特征图，进而得到去雾图像的。它能够很好的处理云彩的问题，但是该方法的局限在于整个模型参数量较大，且对于单帧图像的处理耗时较长。

发明内容

为了克服现有技术中针对不同场景算法鲁棒性不强，以及处理单帧图像计算量大、耗时长的问题，本发明提供一种轻量级深度学习模型图像去雾方法、电子设备及介质，通过相对较少的计算量来快速得到效果很好的去雾图像。

本发明的目的通过如下技术方案实现：

一种轻量级深度学习模型去雾方法，包括步骤:

S1：读取带雾的原始图片I(x)；

S2：对输入的带雾的原始图片的RGB三通道数据通过卷积神经网络模型进行3x3的最大池化操作得到特征；

S3：对带雾的原始图片RGB三通道数据分别进行1x3和3x1、1x5和5x1、1x7和7x1的通道卷积，经过ReLU激活，得到各自的特征图，再将所得特征图进行组合操作，得到新的特征；

S4：对步骤S3中所述新的特征分别进行1x3和3x1、1x5和5x1、1x7和7x1的分组卷积，经过ReLU激活得到各自的特征；

S5：对步骤S3中所述新的特征进行通道混洗操作，再分别进行1x3和3x1、1x5和5x1、1x7和7x1的分组卷积，经过ReLU激活得到各自的特征；

S6：对步骤S2、S4、S5所得的所有特征组合后进行3x3的普通卷积后得到特征K(x)；

S7：通过大气散射模型计算J(x) = K(x)*I(x)-K(x)+1，经过ReLU激活，得到去雾后的图像。

进一步地，所述的步骤S1具体包括：

读入带雾的原始图片RGB三通道数据，得到原始图片F0，层数为3。

进一步地，所述的步骤S2具体包括：

将带雾的原始图片RGB三通道数据进行3x3的最大池化操作，经过ReLU激活，得到特征图F1，层数为3。

进一步地，所述的步骤S3具体包括：

S31：将带雾的原始图片RGB三通道数据进行1x3的通道卷积操作，经过ReLU激活，得到特征图F2，层数为3；

S32：将特征图F2进行3x1的通道卷积操作，经过ReLU激活，得到特征图F3，层数为3；

S33：将带雾的原始图片RGB三通道数据进行1x5的通道卷积操作，经过ReLU激活，得到特征图F4，层数为3；

S34：将特征图F4进行5x1的通道卷积操作，经过ReLU激活，得到特征图F5，层数为3；

S35：将带雾的原始图片RGB三通道数据进行1x7的通道卷积操作，经过ReLU激活，得到特征图F6，层数为3；

S36：将特征图F6进行7x1的通道卷积操作，经过ReLU激活，得到特征图F7，层数为3；

S37：将特征图F3、F5、F7的特征图进行组合操作，得到特征图F8，层数是9。

进一步地，所述的步骤S4具体包括：

S41：对所述特征图F8进行1x3的分组卷积操作，其中分组数为9，经过ReLU激活，得到特征图F10，层数为9；

S42：对所述特征图F10进行3x1的分组卷积操作，其中分组数为3，经过ReLU激活，得到特征图F11层数为9；

S43：对所述特征图F8进行1x5的分组卷积操作，其中分组数为9，经过ReLU激活，得到特征图F12，层数为9；

S44：对所述特征图F12进行5x1的分组卷积操作,其中分组数为3，经过ReLU激活，得到特征图F13，层数为9；

S45：对所述特征图F8进行1x7的分组卷积操作,其中分组数为9，经过ReLU激活，得到特征图F14，层数为9；

S46：对所述特征图F14进行7x1的分组卷积操作,其中分组数为3，经过ReLU激活，得到特征图F15层数为9。

进一步地，所述的步骤S5具体包括：

S51：对所述特征图F8进行通道混洗操作得到特征图F9，层数是9；

S52：对所述特征图F9进行1x3的分组卷积操作,其中分组数为9，经过ReLU激活，得到特征图F16，层数为9；

S53：对所述特征图F16进行3x1的分组卷积操作,其中分组数为3，经过ReLU激活，得到特征图F17，层数为9；

S54：对所述特征图F9进行1x5的分组卷积操作,其中分组数为9，经过ReLU激活，得到特征图F18，层数为9；

S55：对所述特征图F18进行5x1的分组卷积操作,其中分组数为3，经过ReLU激活，得到特征图F19，层数为9；

S56：对所述特征图F9进行1x7的分组卷积操作,其中分组数为9，经过ReLU激活，得到特征图F20，层数为9；

S57：对所述特征图F20进行7x1的分组卷积操作,其中分组数为3，经过ReLU激活，得到特征图F21，层数为9。

进一步地，所述的步骤S6具体包括：

S61：对所述特征图F1、F8、F11、F13、F15、F17、F19、F21进行组合操作，得到特征图F22，层数是30；

S62：对所述特征图F22进行3x3的卷积操作，经过ReLU激活，得到特征图F23，层数为3。

进一步地，所述的步骤S1在读取带雾的原始图片I(x)之前还包括步骤：

拍摄户外或室内的清晰无雾图像作为训练集和测试集中的无雾图像；

根据大气物理散射模型对其进行图片的加雾处理获得加雾-无雾的图像数据对的训练集，其中加雾模型为I(x)=J(x)t(x)+A(1-t(x))，其中t(x)是大气传输率，取值[0.1,0.2,…,1]，将训练数据扩充到10倍，J(x)是去雾后的图像， A为大气光照强度；

将整理好的所述加雾-无雾的图像数据对的训练集输入卷积神经网络模型进行多次迭代训练，直到模型收敛到一个预设的损失或者迭代到预设的轮次后停止迭代，获得训练好的卷积神经网络模型。

一种电子设备，包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现如所述的轻量级深度学习模型去雾方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的轻量级深度学习模型去雾方法。

相比现有技术，本发明的的主要特点和优势在于：

1、通过3x3、5x5、7x7的多尺度卷积核来提取更为丰富的图像特征。

2、通过通道混洗的操作，可以使模型既可以提取到原图单通道的图像特征，也可以提取到混通道的图像特征，此外，此操作可以减少计算，且操作是可导。

3、通过将N*N的卷积拆分成1*N和N*1两部操作，可以有效的减少计算量和模型参数。

4、大量采用通道卷积和分组卷积，大大减少了计算参数。

总的来说，该网络结合了丰富模型特征和减少算法模型参数的两大特点，在增强去雾模型的泛化能力的同时，大大减少模型计算参数，极大的减少了去雾耗时。

附图说明

图1本发明实施例的轻量级深度学习模型去雾方法流程示意图。

图2为本发明的具体卷积神经网络模型的网络示意图。

图3为本发明的卷积神经网络模型训练方法和去雾方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

如图1所示，一种轻量级深度学习模型去雾方法，包括步骤:

S1：读取带雾的原始图片I(x)；

具体而言，如图2所示，所述的步骤S1具体包括：

具体而言，如图2所示，所述的步骤S2具体包括：

具体而言，如图2所示，所述的步骤S3具体包括：

具体而言，如图2所示，所述的步骤S4具体包括：

具体而言，如图2所示，所述的步骤S5具体包括：

具体而言，如图2所示，所述的步骤S6具体包括：

所述步骤S7具体包括：通过大气散射模型对所述特征图F23进行计算：J(x) =F23*F0-F23+1，经过ReLU激活，得到恢复出来的去雾图。

另外，如图3所示，所述的步骤S1在读取带雾的原始图片I(x)之前还包括步骤：

拍摄户外或室内的清晰无雾图像作为训练集和测试集中的不带雾图片T2；

根据大气物理散射模型对其进行图片的加雾处理获得包含有带雾图片T1和不带雾图片T2的加雾-无雾的图像数据对的训练集，其中加雾模型为I(x)=J(x)t(x)+A(1-t(x))，其中t(x)是大气传输率，取值[0.1,0.2,…,1]，将训练数据扩充到10倍，J(x)是去雾后的图像， A为大气光照强度；

在训练好的卷积神经网络模型后，即可将带有雾的图像输入训练好的模型中,模型输出得到的结果再通过大气散射模型的计算，最终输出对应的去雾图像。

可以理解的是，上述实施例中使用最大池化操作提取了原图的最大像素特征，其次将N*N的普通卷积操作，转化成了1*N和N*1的卷积操作，减少了计算量和参数储存量的同时，基本不影响卷积神经网络模型的性能，另外，本实施例通过通道混洗、分组卷积操作可以同时获得单通道和混通道的1x3和3x1、1x5和5x1、1x7和7x1的多尺度特征，在不增加参数的情况下，极大的丰富了特征。

为了实现上述实施例，本发明实施例还提供了一种电子设备，包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现如权利要求1至8中任一项所述的轻量级深度学习模型去雾方法。

为了实现上述实施例，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的轻量级深度学习模型去雾方法。

需要说明的是，虽然已经参照实例对本发明实施进行了详细的阐述，但本领域的技术人员容易理解，在不偏离所附权利要求中所阐述的本发明的精神和原则之内所作的任何修改、替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种轻量级深度学习模型去雾方法，其特征在于，包括步骤:

S1：读取带雾的原始图片I(x)；

2.根据权利要求1所述的轻量级深度学习模型去雾方法，其特征在于，所述的步骤S1具体包括：

3.根据权利要求2所述的轻量级深度学习模型去雾方法，其特征在于，所述的步骤S2具体包括：

4.根据权利要求3所述的轻量级深度学习模型去雾方法，其特征在于，所述的步骤S3具体包括：

5.根据权利要求4所述的轻量级深度学习模型去雾方法，其特征在于，所述的步骤S4具体包括：

6.根据权利要求5所述的轻量级深度学习模型去雾方法，其特征在于，所述的步骤S5具体包括：

7.根据权利要求6所述的轻量级深度学习模型去雾方法，其特征在于，所述的步骤S6具体包括：

8.根据权利要求1所述的轻量级深度学习模型去雾方法，其特征在于，

所述的步骤S1在读取带雾的原始图片I(x)之前还包括步骤：

根据大气物理散射模型对其进行图片的加雾处理获得加雾-无雾的图像数据对的训练集，其中加雾模型为I(x)=J(x)t(x)+A(1-t(x))，其中t(x)是大气传输率，取值[0.1,0.2,…,1]，将训练数据扩充到10倍，J(x)是去雾后的图像，A为大气光照强度；

9.一种电子设备，其特征在于：包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现如权利要求1至8中任一项所述的轻量级深度学习模型去雾方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的轻量级深度学习模型去雾方法。