CN112734675B - 一种基于金字塔模型和非局部增强密集块的图像去雨方法 - Google Patents

Abstract

本发明公开了一种基于金字塔模型和非局部增强密集块的图像去雨方法，步骤为：构建雨图像数据集，将数据集划分为训练集、测试集和验证集；将训练集中的每一幅雨图像进行下采样处理得到被分解的图像；将获得的分解图像输入到拉普拉斯金字塔中，拉普拉斯金字塔中每一层用于处理雨图像中单一的高频分量；将获得的下采样图像输入到卷积层中，进行浅层特征提取；将得到的特征图输入到非局部增强块，对特征图进行非局部增强操作，然后输入到密集块中，得到丰富的特征图；将得到的特征图输入到两个残差块中，得到去雨图像，接着输入到高斯金字塔中，逐步的恢复去雨图像，最后恢复的图像在高斯金字塔的底层。

Description

一种基于金字塔模型和非局部增强密集块的图像去雨方法

技术领域

本发明属于数字图像处理方法技术领域，涉及一种基于金字塔模型和非局部增强密集块的图像去雨方法。

背景技术

从室外视觉系统捕捉到的图像经常受到雨水的影响。具体来说，降雨会导致不同类型的能见度下降。通常，附近的雨点/条纹会阻碍或扭曲背景场景的内容，而远处的雨点则会产生雾或雾等大气遮蔽效果，使图像内容变得模糊。因此，去雨成为后续任务如目标跟踪、场景分析、人员重新识别、事件检测等必要的预处理步骤。

图像去雨可以看作是一种图像分解问题，即一个雨图像y应该被分解成雨纹层r和一个干净的背景层x。现有技术存在关注局部信息而忽略全局信息，导致易出现图像过于平滑或出现黑色伪影。

发明内容

本发明的目的是提供一种基于金字塔模型和非局部增强密集块的图像去雨方法，解决了现有技术中存在的关注局部信息而忽略全局信息，解决了去雨图像过于平滑或者出现黑色伪影的问题。

本发明所采用的技术方案是，一种基于金字塔模型和非局部增强密集块的图像去雨方法，具体按照以下步骤实施：

步骤1、构建雨图像数据集，将数据集划分为训练集、测试集和验证集；

步骤2、将步骤1训练集中的每一幅雨图像进行下采样处理得到被分解的图像；将获得的分解图像输入到拉普拉斯金字塔中，拉普拉斯金字塔中每一层用于处理雨图像中单一的高频分量；

步骤3、将步骤2中获得的下采样图像输入到卷积层中，进行浅层特征提取；

步骤4、将步骤3中的得到的特征图输入到非局部增强块，对特征图进行非局部增强操作，然后输入到密集块中，得到丰富的特征图；将得到的特征图输入到两个残差块中，得到去雨图像，接着输入到高斯金字塔中，逐步的恢复去雨图像，最后恢复的图像在高斯金字塔的底层。

步骤1具体按照以下步骤实施：

训练集中成对图像的数量为整个图像数据集的70％，测试集中成对图像的数量为整个图像数据集的20％，验证集中成对图像的数量为整个图像数据集的10％；划分数据集之后，将图像大小统一调整为256×256。

步骤2中，利用固定平滑核对输入的RGB图像先进行下采样操作，然后将这些下采样过的图片输入到拉普拉斯金字塔中，拉普拉斯金字塔公式为：

式中，r为输入雨图像，n为金字塔层数；L_i(r)为第i层拉普拉斯金字塔，G_i(r)表示第i层的图像；upsample(.)操作指上采样操作，指使用滤波核对下采样后的图像进行上采样，其中滤波核使用固定平滑核。

步骤3具体按照以下步骤实施：

步骤3.1、在金字塔顶层，首先使用两个卷积层提取输入的雨图像的浅层特征；从金字塔高层到底层，滤波核k分别采用1×1，2×2，4×4，8×8，16×16；

步骤3.2、首先利用一层卷积层进行特征提取，提取之后利用绕过中间层的跳跃连接，将输入图像和浅层特征与靠近出口的层连接起来，然后将浅层特征送入第二个卷积层，得到用于后续非局部增强块的输入的浅层特征。

步骤3.2中，第一层特征提取的公式为：

F₀＝H₀(I₀) (2)

式中I₀和H₀分别表示输入的多雨图像和用于浅层特征提取的卷积层，然后将浅层特征F₀送入第二卷积层H₁，得到浅层特征F₁，

F₁＝H₁(F₀) (3)

F₁用作后续非局部增强块的输入。

步骤4具体按照以下步骤实施：

步骤4.1、将步骤3提取出的特征图表示为P_k，其空间维数为H_k*W_k*C_k；利用成对函数f计算i与所有j之间的关系，计算特征图的关系之后，将信息输入到非局部增强块中，进行非局部增强操作；

步骤4.2，将步骤4.1中非局部增强后的特征图输入到5个连续的密集块中；

步骤4.3，两个残差块中每个卷积层中使用3×3的滤波器，批处理大小为64，残差单元为28个，残差网络的深度设置为16、残差网络利用动量为0.8，小批量随机梯度下降为32，设置学习速率是0.001；

步骤4.4，给定一个训练集定义损失函数/>不断迭代步骤4.1-4.3，得到使损失函数/>最小的一组权值参数作为训练好的模型参数，从而得到训练完成的去雨模型；

步骤4.5，将步骤1测试集数据输入到步骤4.4的模型中，经过非局部增强密集块和残差块的不断迭代，逐步恢复去雨图像。

步骤4.1中成对关系的成对函数f公式为：

f(P_k，i，P_k，j)＝θ(P_k，i)^Tφ(P_k，j) (4)

式中P_k，i，P_k，j分别表示P_k在位置i,j的特征图；θ(·)和φ(·)是两个特征输入操作，包含两个不同的参数W_θ和W_φ，负责将特征图的信息输入到非局部增强块中。

步骤4.1中计算非局部增强公式为：

式中P_k，i，P_k，j分别表示位置i,j的feature mapP_k；标量函数f计算i与所有j之间的标量；一元函数g表示j位置的输入特性；c(P)是归一化系数。

步骤4.2中，密集网络采用了从每一层到所有后续层的直接连接，公式为：

D_k＝H_k[D₀，...，D_k-1] (6)

其中[D₀，...，D_k-1]代表密集块输出的特征图，H_k是两个连续运算的综合函数：RELU和一个3×3的卷积层。

步骤4.4中，损失函数公式为：

式中金字塔层次L＝(0,1,2,3,4),N是训练数据的数量，R和分别表示去雨结果和相应的干净的图像；对于{3,4}层使用损失函数l₁+SSIM，对于{0,1,2}层使用损失函数l₁。

本发明的有益效果是：

(1)在拉普拉斯金字塔进入密集块之前的卷积层中添加非局部增强块，从而使网络捕获出特征图的长距离依赖关系。避免了图像中出现黑色伪影和边缘过于平滑的问题。

(2)使用密集块进行雨纹建模，这种密集块使网络充分利用卷积层的层次性特征，使网络能够在保持边缘的同时很好地去除雨纹。

附图说明

图1是本发明基于金字塔模型和非局部增强密集块的图像去雨方法的整体结构示意图；

图2是本发明基于金字塔模型和非局部增强密集块的图像去雨方法中非局部增强块结构的示意图；

图3是本发明基于金字塔模型和非局部增强密集块的图像去雨方法中密集块结构示意图；

图4是本发明基于金字塔模型和非局部增强密集块的图像去雨方法的具体处理实例。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

如图1所示，一种基于金字塔模型和非局部增强密集块的图像去雨方法，其特征在于，具体按照以下步骤实施：

步骤1、构建雨图像数据集，数据集为Rain12，Rain100H,Rain100L；将数据集划分为训练集、测试集和验证集；

步骤2、将步骤1训练集中的每一幅雨图像进行下采样处理得到五幅被分解的图像；将获得的分解图像输入到拉普拉斯金字塔中，拉普拉斯金字塔中每一层用于处理雨图像中单一的高频分量；

步骤3、金字塔每层连接一个非局部增强密集块，将步骤2中获得的下采样图像输入到卷积层中，进行浅层特征提取；

步骤4、将步骤3中的得到的特征图输入到非局部增强块，对特征图进行非局部增强操作，然后输入到密集块中，得到丰富的特征图；将得到的特征图输入到两个残差块中，得到去雨图像，接着输入到高斯金字塔中，逐步的恢复去雨图像，最后恢复的图像在高斯金字塔的底层。

步骤1具体按照以下步骤实施：

训练集中成对图像的数量为整个图像数据集的70％，测试集中成对图像的数量为整个图像数据集的20％，验证集中成对图像的数量为整个图像数据集的10％，用于验证训练是否过拟合；划分数据集之后，将图像大小统一调整为256×256，保证输入大小的一致性。

步骤2中，利用固定平滑核[0.0625,0.25,0.375,0.25,0.0625]对输入的RGB图像进行下采样操作，然后将这些下采样过的图片输入到拉普拉斯金字塔中，滤波核也用于重构高斯金字塔；拉普拉斯金字塔公式为：

式中，r为输入雨图像，n为金字塔层数；L_i(r)为第i层拉普拉斯金字塔，G_i(r)表示第i层的图像；upsample(.)操作指上采样操作，指使用滤波核对下采样后的图像进行上采样，其中滤波核使用固定平滑核。

步骤3具体按照以下步骤实施：

步骤3.1、在金字塔顶层，首先使用两个卷积层提取输入的雨图像的浅层特征；从金字塔高层到底层，滤波核k分别采用1×1，2×2，4×4，8×8，16×16；

步骤3.2、首先利用一层卷积层进行特征提取，提取之后利用绕过中间层的跳跃连接，将输入图像和浅层特征与靠近出口的层连接起来，然后将浅层特征送入第二个卷积层，得到用于后续非局部增强块的输入的浅层特征。

步骤3.2中，第一层特征提取的公式为：

F₀＝H₀(I₀) (2)

式中I₀和H₀分别表示输入的多雨图像和用于浅层特征提取的卷积层，我们利用绕过中间层的跳跃连接，将输入图像I₀和浅层特征F₀与靠近整个网络出口的层连接起来。这种跳跃连接提供了长期的信息补偿，这样原始像素值和低水平的特征激活在整个架构的最后仍然可用。然后将浅层特征F₀送入第二卷积层H₁，得到浅层特征F₁，

F₁＝H₁(F₀) (3)

F₁用作后续非局部增强块的输入。

如图2所示，步骤4具体按照以下步骤实施：

步骤4.1、将步骤3提取出的特征图表示为P_k，其空间维数为H_k*W_k*C_k；利用成对函数f计算i与所有j之间的关系，计算特征图的关系之后，将信息输入到非局部增强块中，进行非局部增强操作；

如图3所示，步骤4.2，将步骤4.1中非局部增强后的特征图输入到5个连续的密集块中；密集网络采用了从每一层到所有后续层的直接连接，它主要在训练过程中减轻了梯度消失的问题，并且仅使用少量滤波核可以生成大量特征，增强了特征图的远程依赖。

步骤4.3，两个残差块中每个卷积层中使用3×3的滤波器，批处理大小为64，残差单元为28个，残差网络的深度设置为16、残差网络利用动量为0.8，小批量随机梯度下降为32，设置学习速率是0.001；

步骤4.4，给定一个训练集定义损失函数/>不断迭代步骤4.1-4.3，得到使损失函数/>最小的一组权值参数作为训练好的模型参数，从而得到训练完成的去雨模型；

步骤4.5，将步骤1测试集数据输入到步骤4.4的模型中，经过非局部增强密集块和残差块的不断迭代，逐步恢复去雨图像，如图4所示。

步骤4.1中成对关系的成对函数f公式为：

f(P_k，i，P_k，j)＝θ(P_k，i)^Tφ(P_k，j) (4)

式中P_k，i，P_k，j分别表示P_k在位置i,j的特征图；θ(·)和φ(·)是两个特征输入操作，包含两个不同的参数W_θ和W_φ，负责将特征图的信息输入到非局部增强块中。

步骤4.1中计算非局部增强公式为：

式中P_k，i，P_k，j分别表示位置i,j的feature map P_k；标量函数f计算i与所有j之间的标量；一元函数g表示j位置的输入特性；c(P)是归一化系数。

步骤4.2中，密集网络采用了从每一层到所有后续层的直接连接，公式为：

D_k＝H_k[D₀，...，D_k-1] (6)

其中[D₀，...，D_k-1]代表密集块输出的特征图，H_k是两个连续运算的综合函数：RELU和一个3×3的卷积层。

步骤4.4中，损失函数公式为：

式中金字塔层次L＝(0,1,2,3,4),N是训练数据的数量，R和分别表示去雨结果和相应的干净的图像；对于{3,4}层使用损失函数l₁+SSIM，对于{0,1,2}层使用损失函数l₁。

本发明的优点在于：

(1)在拉普拉斯金字塔进入密集块之前的卷积层中添加非局部增强块，从而使网络捕获出特征图的长距离依赖关系。避免了图像中出现黑色伪影和边缘过于平滑的问题。

(2)使用密集块进行雨纹建模，这种密集块使网络充分利用卷积层的层次性特征，使网络能够在保持边缘的同时很好地去除雨纹。

Claims (5)

1.一种基于金字塔模型和非局部增强密集块的图像去雨方法，其特征在于，具体按照以下步骤实施：

步骤1、构建雨图像数据集，将数据集划分为训练集、测试集和验证集；

步骤2、将步骤1训练集中的每一幅雨图像进行下采样处理得到被分解的图像；将获得的分解图像输入到拉普拉斯金字塔中，拉普拉斯金字塔中每一层用于处理雨图像中单一的高频分量；

步骤3、将步骤2中获得的下采样图像输入到卷积层中，进行浅层特征提取；

步骤4、将步骤3中的得到的特征图输入到非局部增强块，对特征图进行非局部增强操作，然后输入到密集块中，得到丰富的特征图；将得到的特征图输入到两个残差块中，得到去雨图像，接着输入到高斯金字塔中，逐步的恢复去雨图像，最后恢复的图像在高斯金字塔的底层；

所述步骤4具体按照以下步骤实施：

步骤4.1、将步骤3提取出的特征图表示为P_k，其空间维数为H_k*W_k*C_k；利用成对函数f计算i与所有j之间的关系，计算特征图的关系之后，将信息输入到非局部增强块中，进行非局部增强操作；

所述步骤4.1中成对关系的成对函数f公式为：

f(P_k，i，P_k，j)＝θ(P_k，i)^Tφ(P_k，j) (4)

式中P_k，i，P_k，j分别表示P_k在位置i，j的特征图；θ(·)和φ(·)是两个特征输入操作，包含两个不同的参数W_θ和W_φ，负责将特征图的信息输入到非局部增强块中；

所述步骤4.1中计算非局部增强公式为：

式中P_k，i，P_k，j分别表示位置i，j的feature map P_k；标量函数f计算i与所有j之间的标量；一元函数g表示j位置的输入特性；c(P)是归一化系数；

步骤4.2，将步骤4.1中非局部增强后的特征图输入到5个连续的密集块中；

所述步骤4.2中，密集网络采用了从每一层到所有后续层的直接连接，公式为：

D_k＝H_k[D₀，...，D_k-1] (6)

其中[D₀，...，D_k-1]代表密集块输出的特征图，H_k是两个连续运算的综合函数：RELU和一个3×3的卷积层；

步骤4.3，两个残差块中每个卷积层中使用3×3的滤波器，批处理大小为64，残差单元为28个，残差网络的深度设置为16、残差网络利用动量为0.8，小批量随机梯度下降为32，设置学习速率是0.001；

步骤4.4，给定一个训练集定义损失函数/>不断迭代步骤4.1-4.3，得到使损失函数/>最小的一组权值参数作为训练好的模型参数，从而得到训练完成的去雨模型；

所述步骤4.4中，损失函数公式为：

式中金字塔层次L＝(0，1，2，3，4)，N是训练数据的数量，R和分别表示去雨结果和相应的干净的图像；对于{3，4}层使用损失函数l₁+SSIM，对于{0，1，2}层使用损失函数l₁；

步骤4.5，将步骤1测试集数据输入到步骤4.4的模型中，经过非局部增强密集块和残差块的不断迭代，逐步恢复去雨图像。

2.根据权利要求1所述的一种基于金字塔模型和非局部增强密集块的图像去雨方法，其特征在于，所述步骤1具体按照以下步骤实施：

训练集中成对图像的数量为整个图像数据集的70％，测试集中成对图像的数量为整个图像数据集的20％，验证集中成对图像的数量为整个图像数据集的10％；划分数据集之后，将图像大小统一调整为256×256。

3.根据权利要求1所述的一种基于金字塔模型和非局部增强密集块的图像去雨方法，其特征在于，所述步骤2中，利用固定平滑核对输入的RGB图像进行下采样操作，然后将这些下采样过的图片输入到拉普拉斯金字塔中，拉普拉斯金字塔公式为：

式中，r为输入雨图像，n为金字塔层数；L_i(r)为第i层拉普拉斯金字塔，G_i(r)表示第i层的图像；upsample(.)操作指上采样操作，指使用滤波核对下采样后的图像进行上采样，其中滤波核使用固定平滑核。

4.根据权利要求1所述的一种基于金字塔模型和非局部增强密集块的图像去雨方法，其特征在于，所述步骤3具体按照以下步骤实施：

步骤3.1、在金字塔顶层，首先使用两个卷积层提取输入的雨图像的浅层特征；从金字塔高层到底层，滤波核k分别采用1×1，2×2，4×4，8×8，16×16；

步骤3.2、首先利用一层卷积层进行特征提取，提取之后利用绕过中间层的跳跃连接，将输入图像和浅层特征与靠近出口的层连接起来，然后将浅层特征送入第二个卷积层，得到用于后续非局部增强块的输入的浅层特征。

5.根据权利要求4所述的一种基于金字塔模型和非局部增强密集块的图像去雨方法，其特征在于，所述步骤3.2中，第一层特征提取的公式为：

F₀＝H₀(I₀) (2)

式中I₀和H₀分别表示输入的多雨图像和用于浅层特征提取的卷积层，然后将浅层特征F₀送入第二卷积层H₁，得到浅层特征F₁，

F₁＝H₁(F₀) (3)

F₁用作后续非局部增强块的输入。