CN112734676A - 一种空间尺度泛化的去雨方法 - Google Patents

Abstract

本发明公开了一种空间尺度泛化的去雨方法，其步骤包括：1)获取或构建合成训练数据集；2)每一样本分别进行放大和缩小，得到不同大小的图像并输入到残差网络中，提取相应图像的深度网络特征；3)计算相同内容、不同大小的雨天图像经过残差网络后输出的特征统一大小后按位相减得到特征差异，构建空间尺度泛化约束；4)将特征映射为去雨图像，构建图像级别的重构约束；5)将无雨图像及其缩放后的图像特征映射为输出图像并计算其与对应输入图像的差异，构建细节补偿约束；6)基于空间尺度泛化约束、重构约束和细节补偿约束，训练残差网络；7)将待处理的雨天图像输入到残差网络，提取特征并将其映射为输出图像。

Description

一种空间尺度泛化的去雨方法

技术领域

本发明属于图像处理、增强领域，涉及一种空间尺度泛化的去雨方法，使用该方法处理雨天图像，其增强输出可以高效支撑一系列后续的图像视频分析理解任务。

背景技术

深度学习去雨时代始于2017年。Yang等人构建一个联合雨痕检测和去除的网络，可以处理大雨、重叠的雨痕和雨雾。该网络可以通过预测二元掩模来检测雨水的位置，并采用递归框架来去除雨痕，逐步清除雨雾。该方法在下大雨的情况下取得了良好的效果。但是，方法可能会错误地去除垂直纹理并造成曝光不足。

同年，Fu等人尝试通过构建深层细节网络去除雨痕。该网络仅将高频细节作为输入，并预测雨痕和干净的无雨图像。该工作表明，移除网络输入中的背景信息有利于网络训练。

继Yang和Fu等人的工作，在后续工作中，许多基于卷积神经网络的方法被提出。这些方法采用了更高级的网络结构，并嵌入了与雨相关的新先验，在定量和定性分析中都取得了更好的结果。但是，由于这些方法受全监督学习范式的局限(即使用合成雨图)，在处理训练过程中从未见过的真实降雨场景时，可能会失效。

发明内容

针对上述问题和相关方法缺陷，本发明提出了一种全新的空间尺度自适应泛化的去雨方法。本发明将不同大小的雨天图像输入到残差网络中，网络输出大致受到三方面约束，使用图像级别的重构约束保证在训练尺度上去雨结果的准确性，使用空间尺度泛化约束提升在不同尺度上网络响应的一致性，使用细节补偿约束提升网络的细节保持能力，弥补尺度缩放操作导致的细节丢失。如图1所示，其中使用图像级别的重构约束L_Rect、特征级别的尺度泛化约束损失L_Feat和细节增强约束L_Detail对模型进行训练；L_Rect保证了在训练尺度上去雨结果的准确性，以及较大或较小规模的粗粒度信号保真度；L_Feat可在不同尺度上提升网络响应的一致性；L_Detail专注于补偿由L_Rect和L_Feat中使用的尺度缩放操作导致的细节丢失。

本发明采用的技术方案包括以下步骤：

(1)构建合成训练数据集，根据无雨图像，基于一定物理规则生成的雨痕，叠加变量，生成雨天图像。

(2)将不同大小的雨天图像和缩放后的无雨图像输入到如图1所示的残差网络中，提取相应的深度网络特征。

(3)计算相同内容、不同大小的雨天图像经过残差网络后输出的深度网络特征，缩放为统一大小的特征(放大的雨天图像深度特征\雨天图像深度特征\缩小的雨天图像深度特征)后进行按位相减后得到的特征差异，并以所述特征差异为基础，构建空间尺度泛化约束

相关操作被包含在

的计算中。

(4)将步骤(2)提取的深度网络特征映射为去雨图像，计算图像级别的重构约束。

(5)将缩放后的无雨图像输入到残差网络，生成放大后的无雨图像深度网络特征，并经过细节增强约束模块中的后续卷积操作和残差加合操作，产生增强的无雨图像。对于增强的无雨图像图像，计算与真实结果的差异，即细节补偿约束。

(6)对于网络训练，根据(3)-(5)计算损失函数，并使用自适应矩估计算法进行训练。

(7)对于实际应用，直接将雨天图像输出到训练后的残差网络，并使用最后一个卷积层将其映射为输出图像即可。

与现有技术相比，本发明的积极效果为：

本发明能对带有不同大小雨痕的雨天图像和不同分辨率的雨天图像，特别是训练集中不包含的分辨率尺寸图像，进行更有效地自适应处理，取得更好的主客观质量。

附图说明

图1为空间尺度泛化约束框架下的去雨模型。

具体实施方式

为了对本发明的技术方法进一步阐述，下面结合说明书附图和具体实例，对本发明进行进一步的详细说明。

步骤1：构建成对有雨/无雨训练数据集，一共1800张有雨/无雨图像对。根据无雨图像x、基于雨痕外观模型(随机采样生成光照方向参数、视角参数和雨滴震动参数)[Gargand Nayar,2016]产生对应的雨痕s，叠加变量，生成雨天图像y:

y＝x+s.

步骤2：将不同大小的雨天图像输入到残差网络中，提取相应的特征。对于输入图像I₁(下标表示该图像相对原始图像的相对大小)。定义F_RESNET()、F_up()、F_down()分别表示残差网络(如图1中图所示)、上采样、下采样操作对应的特征变换过程。之后，将y随机缩放(使用缩放因子z＝2,3,4)为一个放大的图像y_z或缩小的图像y_1/z:

y_z＝F_up(y,z),

y_1/z＝F_down(y,z).

之后，这些图像y,y_z和y_1/z输入到残差网络F_RESNET()中得到相应的原尺寸特征P₁，放大分辨率后的特征P_z和缩小分辨率后的特征P_1/z：

P₁＝F_RESNET(y),

P_1/z＝F_RESNET(y_1/z),

P_z＝F_RESNET(y_z).

步骤3：计算相同内容、不同大小的雨天图像经过残差网络后输出的特征，缩放为一致尺寸的逐像素相减差异P₁-F_down(P_z,z)或F_down(P₁,z)-P_1/z，并以此为基础，计算对应的L1范数‖*‖，构建空间尺度泛化约束：

L_Feat(P₁,P_z)＝||P₁-F_down(P_z,z)||，

或者

L_Feat(P₁,P_1/z)＝||F_down(P₁,z)-P_1/z||，

值得一提的是，为了避免在重新缩放过程中降低分辨率，在一致性测量中，始终将特征图下采样为较小的特征图。

步骤4：将步骤2提取的深度网络特征P₁映射为去雨图像F_Rect(P₁)+y，使用L1范数‖*‖计算图像级别的重构约束：

L_Rect＝||F_Rect(P₁)+y-x||,

其中，F_Rect()对应于最后一个卷积层，将特征映射为负雨痕图或细节增强层。

步骤5：将无雨图像及其缩放后的图像输入到残差网络，对于输出图像，计算与输出图像对应的输入图像的差异F_Rect(F_RESNET(S_1/z,z))+S_1/z,z，构建细节补偿约束

由于用于构造重构约束和空间尺度泛化约束的缩放操作容易导致细节丢失和模糊，使用这些约束得到的模型在处理带有大雨痕图像时可能会出现细节丢失。因此，添加了细节增强约束以增强网络的细节保持能力。对于无雨的输入S₁，首先，将其以z缩放因子下采样S_1/z，然后将其上采样为原始比例S_1/z,z以生成模糊图像。然后，使用本专利前面描述的步骤(步骤2中的残差网络F_RESNET()、步骤4中的映射F_Rect()和对应的残差加合操作)将S_1/z,z作为其输入，并生成输出

约束使其接近S₁：

其中，F_Rect()表示生成负雨痕或细节增强层的过程。

步骤6：网络训练。假设有一个图像集合{yⁱ,xⁱ}_i＝1,...,N，其中N是全部的训练样本数。之后，根据随机缩放因子z＝{2,3,4}对图像进行放大，使用双线性插值得到{y_z ⁱ,x_z ⁱ}_i＝1,...,N和{y_1/z ⁱ,x_1/z ⁱ}_i＝1,...,N。使用

表示F_RESNET()中的参数、输出和抽取的特征，xⁱ放大后的图像为x_z ⁱ}。使用F_Streak()从输入图像中抽取负雨痕的过程，即F_RESNET(F_Streak())。使用如下的损失函数训练F_RESNET()和F_Rect()：

其中，i标定当前使用的训练样本，z代表计算损失函数时图像的相对尺度。λ_z,ω₁,ω₂和ω₃是考虑了图像和特征的相对面积和各项重要性后的权重参数。当z<1时，即对图像进行缩小，得到训练集

为雨天图像yⁱ缩小后的图像，使用下述损失函数来训练网络：

在这种情况下，不涉及上采样操作。因此，无须引入细节增强约束。训练图像被裁剪为大小为64′64像素的图像块。自适应矩估计用于训练模型。批大小和权重衰减系数分别设置为16和0.0001。在整个训练过程中，将学习率设置为0.0001。训练最多只允许200个单元。

步骤7：实际应用。在实际应用时，只需输入雨图像y，网络推理得到：F_Streak(y；Θ)+y，即为预测的无雨图像。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种空间尺度泛化的去雨方法，其步骤包括：

1)获取或构建合成训练数据集；其中该训练数据集中包括多个样本，每一样本包括一对图像(x，y)，其中y为无雨图像x对应的雨天图像；

2)将每一样本分别进行放大和缩小，得到不同大小的图像；然后将雨天图像及其缩放后的图像输入到残差网络中，提取相应图像的深度网络特征；

3)计算相同内容、不同大小的雨天图像经过残差网络后输出的深度网络特征缩放为统一大小的特征，然后进行按位相减后得到特征差异，然后基于所述特征差异构建空间尺度泛化约束；

4)将步骤2)提取的所述深度网络特征映射为去雨图像，然后基于所述去雨图像构建图像级别的重构约束；

5)将无雨图像及其缩放后的图像输入到残差网络，将提取的深度网络特征映射为输出图像并计算其与对应输入图像的差异，然后基于所述差异构建细节补偿约束；

6)基于所述空间尺度泛化约束、重构约束和细节补偿约束，训练所述残差网络；

7)对于一待处理的雨天图像，将其输入到训练后的残差网络，提取深度网络特征并将其映射为输出图像，得到该待处理的雨天图像的去雨图像。

2.如权利要求1所述的方法，其特征在于，所述空间尺度泛化约束为L_Feat(P₁,P_z)＝||P₁-F_down(P_z,z)||或L_Feat(P₁,P_1/z)＝||F_down(P₁,z)-P_1/z||，；P₁为未缩放雨天图像的深度网络特征，P_z为放大z倍后的雨天图像的深度网络特征，P_1/z为缩小1/z后的雨天图像的深度网络特征，F_up()为上采样特征变换、F_down()下采样特征变换。

3.如权利要求2所述的方法，其特征在于，所述重构约束为L_Rect＝||F_Rect(P₁)+y-x||；其中F_Rect()为将深度网络特征映射为负雨痕图或细节增强的卷积层。

4.如权利要求1所述的方法，其特征在于，所述细节补偿约束为

其中将无雨图像以缩放因子1/z下采样得到S_1/z，再对S_1/z以缩放因子z上采样为原始比例以生成模糊图像S_1/z,z，然后将S_1/z,z作为去雨网络的输入得到输出

5.如权利要求1所述的方法，其特征在于，利用图像集合{yⁱ,xⁱ}_i＝1,...,N训练所述残差网络，其中N是训练样本总数，无雨图像xⁱ及其对应的雨天图像yⁱ构成第i个样本；a)首先选取一大于1的缩放因子z，根据随机缩放因子z对各样本图像进行缩放得到{y_z ⁱ,x_z ⁱ}_i＝1,...,N和{y_1/z ⁱ,x_1/z ⁱ}_i＝1,...,N，

为雨天图像yⁱ放大后的图像，

为无雨图像xⁱ放大后的图像，

为雨天图像yⁱ缩小后的图像，

为无雨图像xⁱ缩小后的图像；然后利用{yⁱ,xⁱ}_i＝1,...,N、{y_z ⁱ,x_z ⁱ}_i＝1,...,N和{y_1/z ⁱ,x_1/z ⁱ}_i＝1,...,N训练所述残差网络；其中损失函数

F_up()为上采样特征变换、F_down()下采样特征变换，λ_z,ω₁,ω₂和ω₃是权重参数，Θ为残差网络中的参数，F_Streak()为残差网络F_RESNET()中用于输入图像中抽取负雨痕的函数；F_RESNET(F_Streak())表示从输入图像中抽取负雨痕的过程；b)选取小于1的缩放因子z对图像yⁱ进行缩小，得到

然后利用

训练所述残差网络，其中损失函数为：

为雨天图像yⁱ缩小后的图像。

6.如权利要求1或5所述的方法，其特征在于，使用自适应矩估计算法训练所述残差网络。

7.如权利要求1所述的方法，其特征在于，基于设定物理规则生成雨痕s并叠加到无雨图像x上得到雨天图像y。

8.如权利要求7所述的方法，其特征在于，基于雨痕外观模型产生对应的雨痕s。

9.如权利要求1所述的方法，其特征在于，对于输入的雨天图像y，所述残差网络预测输出的无雨图像为F_Streak(y；Θ)+y；其中，Θ为残差网络中的参数，F_Streak()为残差网络F_RESNET()中用于输入图像中抽取负雨痕的函数。

Images