CN117152000A - 雨天图像-清晰背景成对数据集制作方法、装置及其应用 - Google Patents

Abstract

本发明公开了一种雨天图像‑清晰背景成对数据集制作方法、装置其应用，属于数字图像处理技术领域。背景复原方法包括：步骤S1、获取雨天拍摄的同一静态背景下的多帧图像，构建雨天图像序列；步骤S2、构造背景复原模型，背景复原模型的优化函数包括图像保真项、背景低秩先验项和雨层稀疏先验项的加权叠加，优化目标为使优化函数最小；步骤S3、求解背景复原模型，输出各背景完全相同的背景序列，得到雨天图像序列的背景。本发明可广泛用于构建真实环境下的成对雨天图像‑清晰背景数据集，视场较大，包含实测雨天多种退化类型，能够显著提升现有方法在真实雨天图像上的去雨能力和泛化性，促进雨天条件自动驾驶等应用场景下的感知任务。

Description

雨天图像-清晰背景成对数据集制作方法、装置及其应用

技术领域

本发明属于数字图像处理技术领域，更具体地，涉及一种雨天图像-清晰背景成对数据集制作方法、装置其应用。

背景技术

单帧图像去雨技术通过将雨层与图像背景分离来提高成像质量。近年来，各种复杂的CNN架构和强大的transformer模型在基于深度学习的单帧图像去雨方面取得了重大进展。对于模型的有监督训练，需要用到大量的雨图-背景数据对。目前，获取训练数据集的方法有两种，一种是在确定的背景上仿真合成雨，另一种是拍摄真实的背景和对应的雨天图像。

第一种方案能快速获取大量的数据集，但是，合成的仿真雨天不能很好地适应真实雨天的分布。真实的雨条纹通常不是一个完全规则的线型条纹，具有不规则、不均匀的强度和宽度。除了雨条纹外，现有的合成雨仿真无法呈现复杂的地面飞溅雨，这种雨类型表现为密集的点状纹理、水滴或水波纹，破坏了地面车道线等交通标志的能见度，也对高级计算机视觉系统造成了巨大的负面影响。由于合成雨与复杂的真实雨之间存在域偏差，最终训练所得的模型在广泛的真实雨天图像上表现较差。

第二种方案能够采集真实的雨天图像，但是需要在雨天和晴天分别收集同一场景的图像，以获得背景严格对齐的雨天-清晰图像。然而，在晴天拍摄背景图像后，在雨天拍摄时，背景很有可能已经发生变化，采集的雨天图像-清晰背景数据对难以达到背景的完全对齐。为拍摄到背景对其的晴天图片和雨天图片，必须选择长时间能够保持静止的场景进行拍摄，拍摄的场景单一、视场小、数量少，雨天退化类型少，对单帧去雨方法在真实雨天图像上的泛化性造成负面影响。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种雨天图像-清晰背景成对数据集制作方法、装置其应用，其目的在于解决在真实场景下获取的成对雨天-背景数据的对齐性差、数据量少、雨天退化类型少、拍摄场景少的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种雨天图像-清晰背景成对数据集制作方法，包括下列步骤：

步骤S1、获取雨天拍摄的同一静态背景下的多帧图像，构建雨天图像序列O；

步骤S2、构造背景复原模型，所述背景复原模型的优化函数包括图像保真项P_O(O)、背景低秩先验项P_b(B)和雨层稀疏先验项P_r(R)的加权叠加，优化目标为使所述优化函数最小；所述图像保真项P_O(O)为处理序列Oοτ与叠加序列B+R之间的偏差，处理序列Oοτ为对雨天图像序列O进行仿射变换后的结果，τ为仿射变换因子，叠加序列为背景序列B与雨层序列R的叠加，所述背景低秩先验项P_b(B)表达背景序列B的非局部相似性及低秩性约束，所述雨层稀疏先验项P_r(R)表达雨层序列R的稀疏性约束，背景序列B、雨层序列R、仿射变换因子τ为优化变量；

步骤S3、求解所述背景复原模型，输出各背景完全相同的背景序列B，得到雨天图像序列O的背景。

在其中一个实施例中，步骤S1包括：

步骤S11、利用固定于同一位置的图像采集装置拍摄雨天图像；

步骤S12、对所拍摄的雨天图像进行处理，剔除雨层不明显的图像帧，裁剪背景中存在移动目标的区域，保证各雨天图像的背景是静止的。

在其中一个实施例中，图像采集装置拍摄的雨天图像的分辨率达到1920*1080及以上，拍摄雨天图像时的降雨量≥10mm/24小时，拍摄场景包含静止的背景图像内容。

在其中一个实施例中，在步骤S2中，所述图像保真项P_O(O)的表达式为：

式中，表示F范数。

在其中一个实施例中，在步骤S2中，所述背景低秩先验项P_b(B)的表达式为：

式中，S_iB是对雨天图像序列进行非局部相似块重组后的第i个三维张量，i为三维张量的索引，Q_i是针对第i个三维张量的一个正交子空间投影矩阵，×₃表示沿时间维度执行张量积操作，ξ_i表示低秩近似变量，||·||_tnn表示张量核范数，表示差分算子，λ_i和γ为设定的正则化参数。

在其中一个实施例中，在步骤S2中，所述雨层稀疏先验项P_r(R)的表达式为：

P_r(R)＝||R||₁

式中，||·||₁表示L1范数。

在其中一个实施例中，在步骤S3中，采用ADMM交替方向乘子法求解所述背景复原模型。

在其中一个实施例中，优化目标为：

式中，ω、μ为设定的加权参数，表示F范数，S_iB是对雨天图像序列进行非局部相似块重组后的第i个三维张量，i为三维张量的索引，Q_i是针对第i个三维张量的一个正交子空间投影矩阵，×₃表示沿时间维度执行张量积操作，ξ_i表示低秩近似变量，||·||_tnn表示张量核范数，/>表示差分算子，λ_i和γ为设定的正则化参数，||·||₁表示L1范数；

采用ADMM交替方向乘子法求解所述背景复原模型，包括将优化问题分为以下子问题：

针对仿射变换τ的子问题为：

针对雨层R的子问题为：

针对子空间投影Q_i的子问题为：

针对低秩近似ξ_i的子问题为：

针对背景B的子问题为：

按照本发明的另一方面，提供了一种雨天图像-清晰背景成对数据集制作装置，包括：

建模单元，用于基于输入的雨天图像序列O构造背景复原模型，所述雨天图像序列O为雨天拍摄的同一静态背景下的多帧图像，所述背景复原模型的优化函数包括图像保真项P_O(O)、背景低秩先验项P_b(B)和雨层稀疏先验项P_r(R)的加权叠加，优化目标为使所述优化函数最小；所述图像保真项P_O(O)为处理序列Oοτ与叠加序列B+R之间的偏差，处理序列Oοτ为对雨天图像序列O进行仿射变换后的结果，τ为仿射变换因子，叠加序列为背景序列B与雨层序列R的叠加，所述背景低秩先验项P_b(B)表达背景序列B的非局部相似性及低秩性约束，所述雨层稀疏先验项P_r(R)表达雨层序列R的稀疏性约束，背景序列B、雨层序列R、仿射变换因子τ为优化变量；

求解单元，用于求解所述背景复原模型，输出各背景完全相同的背景序列B，得到雨天图像序列O的背景。

按照本发明的另一方面，提供了一种雨图去雨模型构建方法，包括

利用上述的雨天图像-清晰背景成对数据集制作方法得到雨天图像序列O的背景，雨天图像序列O中的各雨天图像与所得背景形成雨天图像-清晰背景数据对；

利用所述雨天图像-清晰背景数据对训练神经网络，以使所述神经网络在输入单帧雨天图像后能够输出对应的背景，得到去雨模型。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明提出一种雨天图像-清晰背景成对数据集制作方法，建立背景复原模型，该背景复原模型的优化目标为使图像保真项、背景低秩先验项和雨层稀疏先验项的加权叠加最小化，从而求解出背景。其中，优化目标考虑图像保真项，能够降低背景复原的噪声。在此基础上，考虑了各雨图的背景之间具有非局部相似性及低秩性约束，加入背景低秩先验项。同时，考虑了各雨图的稀疏性，因此加入雨层稀疏先验项。在该背景复原模型的优化框架下，通过数值优化求解构建的背景复原模型，得到清晰的背景序列，从而与输入的雨天图像序列构成真实场景下成对的雨天图像-清晰背景数据集。

(2)本发明采集真实雨天的形态，与合成雨相比，真实的数据所训练得到的模型适应性更强。而且，本发明只需要采集雨天图像，基于雨天图像直接恢复出其中的背景，因此，对于拍摄场景的要求有所降低，只需要在拍摄雨天图像的较短期间内保证背景静止，不需要从晴天到雨天的较长时间跨度内保持背景静止。所以本发明可以在更多的场景下拍摄多种类型的雨天图像，并通过背景恢复获取大量背景对齐的雨图-背景数据集，在保证数据真实性的前提下提高了雨图去雨模型训练的泛化性。

进一步地，在拍摄雨天图像时，固定图像采集装置，避免采集装置晃动，保证多帧图像之间的背景严格对齐；在拍摄到雨天图像后，通过初步的筛选和裁剪操作，可以提出到不符合要求的图像，有利于后续进行背景复原。

进一步地，将图像保真项P_O(O)构造为F范数的形式，通过构造为F范数的形式，在使目标函数最小化的优化过程中，能够尽可能降低数据处理引入的噪声，从而提高图像的保真度。

进一步地，设计背景低秩先验项的具体表达式，在使目标函数最小化的优化过程中，上述背景低秩先验项能够较好地对背景层的属性进行约束，从而使分离的背景符合其本身属性，分离结果更加精确。

进一步地，将雨层稀疏先验项P_r(R)表示为L1范数的形式，L1范数能够较好地表达出稀疏性能，在使目标函数最小化的优化过程中，上述雨层稀疏先验项能够较好地对雨层的属性进行约束，从而使分离出的雨层符合其本身属性，分离结果更加精确。

附图说明

图1是本发明实施例提供的雨天图像-清晰背景成对数据集制作方法的步骤流程图；

图2是本发明实施例提供的数据采集示例图；

图3是本发明实施例提供的雨天图像-清晰背景成对数据集制作方法的在真实雨天数据上处理的中间结果；其中，图中的(a)-(d)分别表示：原始雨天图像序列、筛选后的雨天图像序列、裁剪后的雨天图像序列、复原后得到的背景序列；

图4是本发明实施例提供的雨图去雨模型构建方法与现有技术中的方法的泛化性对比结果图，其中，图中的(a)-(e)分别表示真实雨天图像、SPA-data训练模型结果、GT-Rain训练模型结果、RealRain-1K训练模型结果、本发明训练模型结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

如图1所示，雨天图像-清晰背景成对数据集制作方法包括如下步骤：

步骤S1、获取雨天拍摄的同一静态背景下的多帧图像，构建雨天图像序列O。

具体的，该步骤可以包括以下两步：

步骤S11、利用固定于同一位置的图像采集装置拍摄雨天图像。

用图像采集装置，在雨天拍摄同一场景的多帧图像序列。在采集过程中，应避免镜头飘移产生的移动干扰。将图像采集设备固定在云台的顶端，锁定图像采集装置以使其在采集过程中保持稳定，调整云台的高度以获得合适的拍摄高度，锁死脚管以保持固定高度和角度，确保图像采集设备的静止性。如图2所示，为了保证所拍摄的雨天图像序列的背景满足静止性，避免室外降雨天气下因风力因素引起的镜头抖动，采用三脚架将相机固定在原地，拍摄同一场景下包含动态雨天退化的图像序列。

具体地，步骤S1中，相机拍摄的图像序列分辨率达到1920*1080及以上，拍摄雨天图像时的雨量应满足小雨及以上(降雨量≥10mm/24小时)，拍摄场景应保证视野开阔、光线充足且包含丰富的图像内容，如建筑物、植被、静止的交通工具等。

具体地，步骤S1中，可以采集多种典型的雨天退化类型，例如条状雨、纱帐效应、雨雾共存、地面飞溅和高亮遮挡等形态，对于任一种类型，均可以形成雨天图像序列并恢复出其中的背景。不同的雨天形态，需要调整相机曝光时间进行采集。

步骤S12、对所拍摄的雨天图像进行处理，剔除雨层不明显的图像帧，裁剪背景中存在移动目标的区域，保证各雨天图像的背景是静止的。

对采集到的多帧图像序列进行筛选和裁剪，剔除掉不满足背景静止性、雨天退化不明显的一部分图像帧，裁剪删除具有移动目标(例如行人、行驶的车辆以及摆动幅度较大的植被)的区域，保留满足严格背景静止的雨天动态退化区域，作为雨天图像序列O，最终得到雨天图像序列O满足背景严格静止，仅保留清晰可见的动态雨天退化。

具体地，雨天图像序列O可以表示为：

{O₁，O₂，...，O_M}

其中，M为总采集总帧数。

步骤S2、构造背景复原模型，背景复原模型的优化函数包括图像保真项P_O(O)、背景低秩先验项P_b(B)和雨层稀疏先验项P_r(R)的加权叠加，优化目标为使优化函数最小，背景序列B、雨层序列R、仿射变换因子τ为优化变量。

首先，可以将雨天图像退化模型表示为如下形式：

其中，O为雨天图像序列，B为背景，R为雨层，τ为仿射变换因子，表示对雨天图像序列O进行仿射变换，N为噪声。在图像拍摄时，虽尽量避免了相机的抖动，但是这种抖动难以完全避免，采集到的雨天图像序列O可能存在一定程度的抖动，因此，通过进行仿射变换，可以对雨天图像序列进行还原，使其尽可能接近真实的雨天图像。在理想状态下，该真实的雨天图像为静态背景和雨层的叠加，但是现实情况下，数据处理过程可能会存在一定误差，因此，叠加一个噪声N。

基于上述雨天图像退化模型，构建背景复原模型。

该背景复原模型的优化函数可以表示为：

Y＝P_O(O)+ωP_b(B)+μP_r(R)

ω、μ为加权权重，可以根据实际情况调节，一般均设置为1。

该背景复原模型的目标为使优化函数最小化，可以表示为：

argmin P_O(O)+ωP_b(B)+μP_r(R)

其中，P_O(O)为图像保真项，P_b(B)为背景低秩先验项，P_r(R)为雨层稀疏先验项。

图像保真项P_O(O)为处理序列与叠加序列B+R之间的偏差，在最小化优化问题中考虑图像保真项，可以使雨层、背景分离的误差最小化，从而提高背景复原精度。

在一实施例中，根据贝叶斯最大后验概率模型，将图像保真项P_O(O)的表达式设为：

式中，表示F范数。

在本实施例中，将图像保真项P_O(O)构造为F范数的形式，通过构造为F范数的形式，在使目标函数最小化的优化过程中，能够尽可能降低数据处理引入的噪声，从而提高图像的保真度。在其他实施例中，也可以构造其他形式，例如直接求差或者设为L1范数的形式。

背景低秩先验项P_b(B)表达背景序列B的非局部相似性及低秩性约束。可以理解的，雨天图像序列O是在同一静态背景下拍摄的，所有雨天图像序列的背景具有非局部相似性以及时域低秩属性，因此，在在优化问题中加入背景层的属性约束，有利于基于该背景层的属性分离出雨天图像的背景。

在一实施例中，由于多帧图像之间的背景严格对齐，沿着时间维具有很强的低秩性，而对于空间维，通过非局部相似块的寻找重组，重组张量的非局部维同样具有很强的低秩特性，因此，将背景低秩先验项P_b(B)的表达式设为：

其中，S_iB是对雨天图像序列进行非局部相似块重组后的第i个三维张量，i为三维张量的索引，Q_i是针对第i个三维张量的一个正交子空间投影矩阵，用于捕获时域低秩属性，×₃是沿时间维度的张量积操作，ξ_i表示低秩近似变量，||·||_tnn表示简单的张量核范数，是差分算子，γ和λ_i是正则化参数，i表示帧索引。

在本实施例中，将背景低秩先验项P_b(B)表示为以上形式，在使目标函数最小化的优化过程中，上述背景低秩先验项能够较好地对背景层的属性进行约束，从而分离出的背景符合其本身属性，分离结果更加精确。在其他实施例中，也可以表示为其他形式，只要表示出背景具有非局部相似性以及时域低秩属性即可。例如其中j∈{2，3}，分别表示非局部维和光谱维，然而该形式没有利用子空间表示进行加速，算法复杂度比较高。

雨层稀疏先验项P_r(R)表达雨层序列R的稀疏性约束。大多数情况下，雨条在图像中往往是不均匀分布的，密度较低，因此，雨层具备稀疏属性。

在一实施例中，根据雨层的稀疏性先验，构造如下雨层稀疏先验项：

P_r(R)＝||R||₁

在本实施例中，将雨层稀疏先验项P_r(R)表示为以上L1范数的形式，L1范数能够较好地表达出稀疏性能，在使目标函数最小化的优化过程中，上述雨层稀疏先验项能够较好地对雨层的属性进行约束，从而使分离出的雨层符合其本身属性，分离结果更加精确。在其他实施例中，也可以表示为其他形式，只要表示出雨层具有稀疏属性即可。

在一实施例中，将上述各表达式代入优化目标，背景复原模型优化问题的完整表达式为：

该优化问题以雨天图像序列的背景低秩先验项和雨层稀疏先验项为约束，构造基于低秩张量的背景复原模型，该模型包括以下需要优化的变量：仿射变换τ、雨层序列R、子空间投影Q_i、低秩近似ξ_i、背景序列B。其中，背景序列B为最为关心的优化变量。

步骤S3：求解背景复原模型，输出各背景完全相同的背景序列B，得到雨天图像序列O的背景。

由于雨天图像序列O是在同一静态背景下拍摄的，所有雨天图像序列的背景实际上是相同的，因此，上述对上述背景复原模型求解，最终得到的背景序列B中的每个背景是完全相同的。

在一实施例中，可以采用ADMM交替方向乘子法求解背景复原模型，得到相应的背景序列B，从而与雨天图像序列O组成相应的成对雨天-背景数据。在其他实施例中，也可以采用其他的求解方式，例如，交替最小化法，对于具体的求解方式不做限定。

实施例2

ADMM(Alternating Direction Method of Multipliers，交替方向乘子法)是一种优化算法，主要用于解决分布式、大规模和非光滑的凸优化问题。ADMM通过将原始问题分解为多个易于处理的子问题来实现优化。本实施例以ADMM交替方向乘子法为例，介绍具体的求解过程。

优化目标为：

可以应用ADMM将上述等式分为下列子问题：

(1)仿射变换τ：通过忽略独立于τ的变量，可以得到以下子问题：

由于是一个非线性几何变换，因此很难直接优化τ。一种常见的技术是围绕当前估计进行线性化。在线性化/>后，可转换为以下公式：

Δτ表示τ的微小变化量，表示该优化子问题中Δτ的最优解，/>表示O的梯度。

因此，上式可以用封闭形式的解来求解：

其中，代表/>的Moore-Penrose伪逆，由此可得：

(2)雨层R：将其他变量固定，可以得到以下子问题：

表示该优化子问题中雨层R的最优解。

该式可以通过引入软阈值算子来求解：

然后，可以很容易地得到它的闭型解：

(3)子空间投影Q_i：对进行正交约束，并存在以下子问题：

表示该优化子问题中子空间投影Q_i的最优解。

在S_iB上执行一个model-3展开和奇异值分解，即(S_iB)⁽³⁾＝USV^T。然后让其中(U(：，1：d))表示选择与d个最大奇异值对应的d个左奇异向量，其中d是时间维度的内在子空间的度量，可以根据经验设置，一般，d≤3。

(4)低秩近似ξ_i：对进行正交约束，并存在以下子问题：

其中，λ_i ²是噪声变量，||ξ_i||_tnn＝∑_p|σ_p(ξ_i ⁽²⁾)|₁是张量核范数，ξ_i ⁽²⁾表示ξ_i的model-2展开矩阵，σ_p(ξ_i ⁽²⁾)表示ξ_i ⁽²⁾的第p个奇异值。这种最小化问题通常由奇异值阈值算法来解决，采用加权核范数最小化来提高性能。因此，可以得到以下公式：

ξ_i＝UΨ_W(∑)V^T

其中，U∑V^T是S_iB×₃ Q_i的model-2展开矩阵的奇异值分解，Ψ_W(∑)_pp＝max(∑_pp-W_pp)是广义软阈值运算符，∑_pp表示奇异值矩阵，W_pp表示权重矩阵。获得J_i后，进行张量折叠将其转换为三维张量ξ_i。

(5)背景B：固定其他变量，并通过以下子问题优化背景B：

其中，第一项是数据保真项，第二项是低秩约束，第三项表示局部平滑约束。上式很难直接解决，为了解决这个问题，引入了辅助变量和C＝B来分割这三项，上式可以转化为以下增广拉格朗日函数：

其中，Γ1和Γ2是拉格朗日乘子，β是一个正标量。等式可分为以下几个子问题：

m表示当前迭代次数。

采用快速的三维傅里叶变换来快速计算背景B，下式为其封闭形式的解：

其中，F()为快速三维傅里叶变换操作，F^-1()为它的逆变换操作，F^*()为它的共轭变换操作。对于辅助变量Z，使用软阈值算子得到它的封闭解：

对于辅助变量C，有以下公式：

其中，为覆盖像素位置的所有重叠重建立方体的和，(S_i)^TS_i对应重叠立方体的个数。因此可以很容易地通过像素到像素的点除操作来求解。对于拉格朗日乘子，用以下公式来更新它们：

得到各个问题的最优解迭代公式后，再基于ADMM交替方向乘子法多次迭代得到最终的最优解，从而输出背景B。

实施例3

本发明还涉及一种雨天图像-清晰背景成对数据集制作装置，包括建模单元和求解单元，其中：

建模单元用于基于输入的雨天图像序列O构造背景复原模型，雨天图像序列O为雨天拍摄的同一静态背景下的多帧图像，背景复原模型的优化函数包括图像保真项P_O(O)、背景低秩先验项P_b(B)和雨层稀疏先验项P_r(R)的加权叠加，优化目标为使优化函数最小；图像保真项P_O(O)为处理序列 与叠加序列B+R之间的偏差，处理序列/>为对雨天图像序列O进行仿射变换后的结果，τ为仿射变换因子，叠加序列为背景序列B与雨层序列R的叠加，背景低秩先验项P_b(B)表达背景序列B的各背景之间的非局部相似性及低秩性约束，雨层稀疏先验项P_r(R)表达雨层序列R中各雨层具有稀疏性约束，背景序列B、雨层序列R、仿射变换因子τ为优化变量；

求解单元，用于求解背景复原模型，输出各背景完全相同的背景序列B，得到雨天图像序列O的背景。

在一实施例中，该雨天图像-清晰背景成对数据集制作装置还包括图像采集装置，用于获取雨天拍摄的同一静态背景下的多帧图像，构建雨天图像序列O。

可以理解的，该雨天图像-清晰背景成对数据集制作装置可以执行上文所介绍的雨天图像-清晰背景成对数据集制作方法，具体细节参见上文，在此不再赘述。

实施例4

本发明还涉及一种雨图去雨模型构建方法，包括；

利用上文介绍的雨天图像-清晰背景成对数据集制作方法得到雨天图像序列O的背景，雨天图像序列O中的各雨天图像与所得背景形成雨天图像-清晰背景数据对；

在获取大量雨天图像-清晰背景数据对后，利用雨天图像-清晰背景数据对训练神经网络，以使神经网络在输入单帧雨天图像后能够输出对应的背景，得到雨图去雨模型。

具体地，训练神经网络所用的数据需包含多种典型的雨天退化类型，例如条状雨、纱帐效应、雨雾共存、地面飞溅和高亮遮挡等形态。本方法构建的雨图去雨模型可用于典型自动驾驶和视频监控场景，促进雨天条件自动驾驶等应用场景下的感知任务，例如车道线检测等。

实施例5

本实施例中通过以下具体实验对本发明的效果进行验证：

(1)成对雨天图像-清晰背景数据集构造过程

成对雨天图像-清晰背景数据集由三个步骤生成：第一步，用三脚架固定相机，在雨天拍摄同一场景的多帧图像序列；第二步，对采集到的多帧图像序列进行筛选，裁剪删除具有移动目标的区域，保留满足严格背景静止的雨天动态退化区域；第三步，将雨天图像序列O输入上述背景复原模型，求解背景复原模型，得到相应的背景序列B，从而与雨天图像序列O组成相应的成对雨天图像-清晰背景数据。

(2)数据集

为了评价本发明方法的效果，本发明实施例采集了3000段静态雨天图像序列，每段序列具有若干图像帧，通过上述方案构建成对雨天图像-清晰背景数据集，共生成雨天-清晰图像对100万余对。其中，划分2100段静态雨天图像序列作为训练集，600段序列作为验证集，剩余300段序列作为测试集。为了验证本发明方法在真实场景雨天图像上的泛化性，在模型训练完成后，本发明实施例选取了50张不同真实场景下的雨天图像，对基于不同方法所得数据集训练而成的模型的去雨结果进行比较，其中，图片大小为1920*1080*3。

(3)依据上述步骤建模、并求解模型。

(4)算法实现细节

在复原效果和算法速度上折衷处理，迭代次数设为10，修复迭代次数设为100，噪声等级范围设为1-10。

(5)选择目前已有的三个成对雨天数据集作为对比例进行对比实验，对比数据集包括：SPA-data数据集、GT-Rain数据集、RealRain-1K数据集。

(6)性能评价指标

使用无参考图像质量评价指标NIQE对生成数据集的图像质量进行评估。

其中，I是待评估的图像(即去雨模型输出的结果)，N是统计特征的数量，w_i是权重系数，μ_i和σ_i分别是第i个特征的均值和标准差，α是一个调整参数，μ^* _i是一个预先计算好的固定值。NIQE的计算需要通过对自然图像的统计分析来确定权重系数和μ^* _i的值。NIQE指标越低，代表图像越接近清晰的自然图像，去雨效果越好。

(7)对比其他成对数据集构建方法和本发明的生成结果：

图3中的(a)-(d)分别是对雨天场景进行静态图像序列采集、筛选以及背景序列生成的结果，用于展示本发明的方法可以用于多种不同真实雨天条件和场景的成对数据集构建。从图中可以看出本发明算法对于不同种类的雨天退化，都能获得清晰的复原结果。

图4是使用同一去雨网络Uformer方法在不同的成对雨天图像-清晰背景数据集上训练模型，在真实雨天图像上验证其泛化性。图中的(a)-(e)分别表示真实雨天图像(背景和雨天均为拍摄所得，数据量少)、SPA-data训练模型结果、GT-Rain训练模型结果、RealRain-1K训练模型结果、本发明训练模型结果。从图中可以看出，在多种形态的雨天退化图像上，使用本发明的方法所生成的数据集训得的去雨模型，在真是雨天图像上的泛化性最好。表1是几种方法得到的成对数据集中清晰图像的NIQE值。从表中可以看出本发明的方法，生成的背景图像分布最接近清晰的自然图像分布，图像质量最高，去雨效果最好。

表1

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种雨天图像-清晰背景成对数据集制作方法，其特征在于，包括下列步骤：

步骤S1、获取雨天拍摄的同一静态背景下的多帧图像，构建雨天图像序列O；

步骤S2、构造背景复原模型，所述背景复原模型的优化函数包括图像保真项P_o(O)、背景低秩先验项P_b(B)和雨层稀疏先验项P_r(R)的加权叠加，优化目标为使所述优化函数最小；所述图像保真项P_o(O)为处理序列与叠加序列B+R之间的偏差，处理序列/>为对雨天图像序列O进行仿射变换后的结果，τ为仿射变换因子，叠加序列为背景序列B与雨层序列R的叠加，所述背景低秩先验项P_b(B)表达背景序列B的非局部相似性及低秩性约束，所述雨层稀疏先验项P_r(R)表达雨层序列R的稀疏性约束，背景序列B、雨层序列R、仿射变换因子τ为优化变量；

步骤S3、求解所述背景复原模型，输出各背景完全相同的背景序列B，得到雨天图像序列O的背景。

2.如权利要求1所述的雨天图像-清晰背景成对数据集制作方法，其特征在于，步骤S1包括：

步骤S11、利用固定于同一位置的图像采集装置拍摄雨天图像；

步骤S12、对所拍摄的雨天图像进行处理，剔除雨层不明显的图像帧，裁剪背景中存在移动目标的区域，保证各雨天图像的背景是静止的。

3.如权利要求2所述的雨天图像-清晰背景成对数据集制作方法，其特征在于，图像采集装置拍摄的雨天图像的分辨率达到1920*1080及以上，拍摄雨天图像时的降雨量≥10mm/24小时，拍摄场景包含静止的背景图像内容。

4.如权利要求1所述的雨天图像-清晰背景成对数据集制作方法，其特征在于，在步骤S2中，所述图像保真项P_o(O)的表达式为：

式中，表示F范数。

5.如权利要求1所述的雨天图像-清晰背景成对数据集制作方法，其特征在于，在步骤S2中，所述背景低秩先验项P_b(B)的表达式为：

式中，S_iB是对雨天图像序列进行非局部相似块重组后的第i个三维张量，i为三维张量的索引，Q_i是针对第i个三维张量的一个正交子空间投影矩阵，×₃表示沿时间维度执行张量积操作，ξ_i表示低秩近似变量，||·||_mn表示张量核范数，表示差分算子，λ_i和γ为设定的正则化参数。

6.如权利要求1所述的雨天图像-清晰背景成对数据集制作方法，其特征在于，在步骤S2中，所述雨层稀疏先验项P_r(R)的表达式为：

P_r(R)＝||R||₁

式中，||·||₁表示L1范数。

7.如权利要求1所述的雨天图像-清晰背景成对数据集制作方法，其特征在于，在步骤S3中，采用ADMM交替方向乘子法求解所述背景复原模型。

8.如权利要求1所述的雨天图像-清晰背景成对数据集制作方法，其特征在于，优化目标为：

式中，ω、μ为设定的加权参数，表示F范数，S_iB是对雨天图像序列进行非局部相似块重组后的第i个三维张量，i为三维张量的索引，Q_i是针对第i个三维张量的一个正交子空间投影矩阵，×₃表示沿时间维度执行张量积操作，ξ_i表示低秩近似变量，||·||_tnn表示张量核范数，/>表示差分算子，λ_i和γ为设定的正则化参数，||·||₁表示L1范数；

采用ADMM交替方向乘子法求解所述背景复原模型，包括将优化问题分为以下子问题：

针对仿射变换τ的子问题为：

针对雨层R的子问题为：

针对子空间投影Q_i的子问题为：

针对低秩近似ξ_i的子问题为：

针对背景B的子问题为：

9.一种雨天图像-清晰背景成对数据集制作装置，其特征在于，包括：

建模单元，用于基于输入的雨天图像序列O构造背景复原模型，所述雨天图像序列O为雨天拍摄的同一静态背景下的多帧图像，所述背景复原模型的优化函数包括图像保真项P_o(O)、背景低秩先验项P_b(B)和雨层稀疏先验项P_r(R)的加权叠加，优化目标为使所述优化函数最小；所述图像保真项P_o(O)为处理序列与叠加序列B+R之间的偏差，处理序列/>为对雨天图像序列O进行仿射变换后的结果，τ为仿射变换因子，叠加序列为背景序列B与雨层序列R的叠加，所述背景低秩先验项P_b(B)表达背景序列B的非局部相似性及低秩性约束，所述雨层稀疏先验项P_r(R)表达雨层序列R的稀疏性约束，背景序列B、雨层序列R、仿射变换因子τ为优化变量；

求解单元，用于求解所述背景复原模型，输出各背景完全相同的背景序列B，得到雨天图像序列O的背景。

10.一种雨图去雨模型构建方法，其特征在于，包括

利用权利要求1至8任一项所述的雨天图像-清晰背景成对数据集制作方法得到雨天图像序列O的背景，雨天图像序列O中的各雨天图像与所得背景形成雨天图像-清晰背景数据对；

利用所述雨天图像-清晰背景数据对训练神经网络，以使所述神经网络在输入单帧雨天图像后能够输出对应的背景，得到去雨模型。