CN110264434B - 一种基于低秩矩阵补全的单幅图像去雨方法 - Google Patents

Abstract

本发明提供一种基于低秩矩阵补全的单幅图像去雨方法，包括以下步骤：S1)、利用雨线的两个物理特征，建立准确的检测雨模型，通过检测雨模型对图像进行雨标记，得到雨候选标记矩阵B₁(i,j)，并利用方向算子

对雨候选标记矩阵B₁(i,j)中的错误检测进行纠正，得到雨候标记矩阵B₂，最终得到的雨标记矩阵B(i,j)，即B(i,j)＝B₁(i,j)*B₂(i,j)；S2)、利用低秩矩阵恢复算法，对被雨像素破坏的区域进行高质量恢复，本发明相对于现有技术的去雨方法，具有去雨效果好、计算量小的优点，同时，本发明能够在保持图像细节，尤其是背景图像的轮廓边缘的同时，可以有效去除单幅图像中的雨线，能够最大限度的保证图像的细节。本发明利用稀疏和低秩矩阵的属性降低了计算量，同时提高了图像的处理效果。

Description

一种基于低秩矩阵补全的单幅图像去雨方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于低秩矩阵补全的单幅图像去雨方法。

背景技术

近年来，随着计算机技术低快速发展，室外视觉系统被广泛应用于各个技术领域，但是，室外镜头拍摄的图像很容易受到恶劣天气影响而变得模糊、图像细节丢失或难以辨认，严重影响了需要精确视觉感知的户外视觉智能系统的判断。在有雨的情况下，雨线会在光的影响下发生反射效应，拍摄到的图片和视频的质量会发生很严重的退化，主要表现为图像特征受到不同程度的覆盖和模糊，图像中的细节信息无法识别。因此，对雨天中拍摄对图像进行去雨等清晰化处理具有重要等现实意义和广泛等应用价值。

去雨方法大致可以分为两类：基于视频等去雨方法与基于单幅图像等去雨方法。其中，基于视频的去雨技术主要是利用雨线在时间，频率和颜色上的变化特征。Starik和Werman认为雨滴更为明亮，在时域上变化比较快。因此建议对时域中的每个像素进行中值滤波以消除雨滴的影响。Garg和Nayar分析了雨的视觉效果，建立了捕获雨丝的视觉效果模型，并开发了基于物理特征的运动模糊模型来表示雨的亮度。Zhang等人运用了雨线的时间特性(每一个像素点都存在连续几帧不被雨水遮挡的情况)。同时为了区分背景中的移动物体，引入了颜色特性(即亮度值改变增量ΔR，ΔG，ΔB几乎相同)。基于该方法的检测，检测到的雨像素的修补亮度值用当前像素的背景像素亮度值替换。Santhaseelan等人使用相位一致性特征来检测去雨，视频帧之间的这种特征的变化可用于确定候选雨区域。为了进一步减少误检测区域，采用相位校正方法进行校正，根据雨滴所在区域的灰度值和相邻像素的灰度值对检测到的雨区域进行修补。Minghan Li等人提出了雨线的两个内在特征，创建了用于视频雨线去除任务的多尺度卷积稀疏编码(MS-CSC)模型。这种新的编码方法使得所提出的方法能够从视频中适当地提取雨条纹，从而获得较好的去雨效果。

基于视频等去雨技术已取得了良好的效果，但无论是检测雨模型还是恢复修补模型，它都依赖相邻帧之间的冗余信息，因此这些方法难以应用于单幅图像去雨。但通常单幅图像去雨算法却适用于视频去雨，所以具有更好的实用性。

现有的基于单幅图像去雨方法主要分为三类：基于检测加修补的两步去雨方法、图像分解的方法和基于深度学习的方法。Kim等人提出了两步策略：检测和修补。第一步的检测使用核回归方法和雨的先验知识，第二部分的恢复算法基于非局部均值滤波。Kang等人利用双边滤波获得低频层和高频层，通过字典学习和高频层的稀疏编码提取图像的结构信息，最后填充低频图像得到干净的形象。该方法也称为ID-MCA(通过形态成分分析进行图像分解)。2015年，Luo等人提出了一个屏幕混合模型(SBM)，结合稀疏表示和贪婪跟踪来达到单个图像去除的目的。Li等人提出了一种基于图像块的先验的混合高斯模型，以将雨层与背景层分开，但该模型适用于平滑的背景图像，客观的说，此类方法因为雨层和图像层的模糊定界，经常会出现过检测或检测不足的问题。Fu等人扩展Res-Net到一个深度细节网络，使学习过程更容易，他们在训练过程中使用图像的高频部分而不是图像本身，以此来创建DerainNet模型以去除雨线。Deng等人通过考虑雨线的内在方向和结构知识以及非雨图像背景信息的特性，开发了一个涉及三个稀疏项的全局稀疏模型，以达到图像去雨的目的。基于深度学习的方法总是能取得良好的效果，但明显的缺陷在于大量的训练过程是十分耗时的，而且总是会涉及到大量参数的调整。

发明内容

针对现有技术的不足，本发明提供一种基于低秩矩阵补全的单幅图像去雨方法，该方法能够在保持图像细节，尤其是背景图像的轮廓边缘的同时，完美去除单幅图像中的雨线的目的，解决现有技术在雨天所拍摄的单张图像的复原问题。

本发明的技术方案为：一种基于低秩矩阵补全的单幅图像去雨方法，包括以下步骤：

S1)、利用雨线的两个物理特征，建立准确的检测雨模型，通过检测雨模型对图像进行雨标记，具体为：

S101)、假定雨像素的亮度强度大于相邻非雨像素的强度，因此，若像素p的强度大于包括p在内的窗口的平均强度，则像素p为潜在的雨像素，即

式中，B₁(i,j)为雨候选标记矩阵，I(i,j)代表像素p(i,j)的强度值，

为以p(i,j)为中心的10×10窗口，若像素p(i,j)的三个颜色通道均满足上述假定，则p(i,j)为雨像素候选者，其对应的B₁(i,j)的值设为1，否则，置为0；

S102)、由于上述步骤会将一些非雨但较亮的背景区域也会被标记，因此需要进一步筛选误检测的区域，在筛选错误检测区域时，由于雨线局域较强的方向一致性，因此，通过估算雨线的主要方向D_θ，并根据雨水方向的平滑性特征，沿着雨线方向计算梯度，先构建与雨水方向相关的方向算子

即：

式中，θ为估算的雨线主要方向。

上述方向算子

满足：当沿着雨线方向D_θ，对其以及其邻域像素进行卷积运算时，计算结果为零或接近零，即：

式中，g_θ(i,j)为，*代表卷积计算；

定义雨候选标记矩阵B₂：

式中，β为给定的阈值；

若计算后的值仍大于给定的阈值β的像素标记为误检测像素，并将其值置为0，得到最终的雨标记矩阵B(i,j)，即B(i,j)＝B₁(i,j)*B₂(i,j)；

S2)、利用低秩矩阵恢复算法，对被雨像素破坏的区域进行高质量恢复，具体包括如下步骤：

S201)、将步骤S1)处理后的雨图像进行预处理，然后将预处理后的图像分割成多个大小为n×n的具有重叠区域的图像块，并将图像块用列向量的形式表示；

S202)、对每个图像块p_i，利用图像块的自相似性在其邻居区域搜索具有相似子结构的图像块q_i，若基于距离的图像块匹配算法

的距离d越小，则认为图像块p_i与q_i越相似；

假设

是与图像块p_i匹配的最佳相似图像块集合，通过将每个图像块的所有列连接成一列并将所有列组合在一起，可以获得如下的相似块组成的矩阵P_i：

P_i＝[p_i,1,p_i,2,....p_i,m]；

S203)、将每个图像块与其相似的图像块组成相似矩阵，利用稀疏和低秩矩阵的属性，将去雨问题转化为低秩矩阵补全的最优化问题，即基于下列公式的最小化优化求解：

式中，Q_i为相似块矩阵P_i去雨后的矩阵，其内的向量拥有相似的子结构，||·||_*为核范数，Ω代表非雨像素的索引集，Q_i|_Ω指只存在Ω中的部分元素，Ω代表Ω的大小，

是误差调控参数，

为保证Q_i和P_i逼近相似的约束条件；

目标函数中的核范数保证数据Q_i是低秩的，通过引入因数μ求解上式，即：

式中，

ρ表示非雨像素的占比，即：

n为分割的图像块的大小，m为待处理图像块匹配到的相似块数量；

S204)、从已去雨的图像块中合成去雨的干净图像，并使用重叠区域的亮度平均值作为像素最终的亮度值。

上述方法中，步骤S1)中，两个物理特征为：1)、由于雨对光线的反射较高，雨像素将显示出比其相邻的非雨像素更大的亮度；2)、雨线具有一定的方向，且沿雨线方向的雨像素是平滑的。

进一步的，步骤S201)中，对雨图像进行预处理，具体为：对于输入的雨图像L，设定g为高斯滤波器，得到预处理后的图像L′，即

L′_i,j＝L_i,j*g；

本发明的有益效果为：本发明相对于现有技术的去雨方法，具有去雨效果好、计算量小的优点，同时，本发明能够在保持图像细节，尤其是背景图像的轮廓边缘的同时，可以有效去除单幅图像中的雨线，能够最大限度的保证图像的细节。本发明利用稀疏和低秩矩阵的属性降低了计算量，同时提高了图像的处理效果。

附图说明

图1为本发明的流程示意图；

图2为本发明的去雨方法与现有的去雨方法对合成雨图处理的对比图，图中，(a)为无雨图像，(b)为合成雨图像，(c)为采用Fu等提出的深层网络架构方法处理的去雨图像；(d)为Li等提出的基于高斯混合模型(GMM)的层先验方法处理的去雨图像；(e)为Luo等提出的判别稀疏编码(DSC)方法处理的去雨图像，(f)为采用本发明方法处理的区域图像；

图3为本发明的去雨方法与现有的去雨方法对真实雨图处理的对比图，图中，(a)真实雨图像，(b)为用Fu等提出的深层网络架构方法处理的去雨图像；(c)Li等提出的基于高斯混合模型(GMM)的层先验方法处理的去雨图像；(d)为Luo等提出的判别稀疏编码(DSC)方法处理的去雨图像；(e)为采用本发明方法处理的区域图像。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1所示，一种基于低秩矩阵补全的单幅图像去雨方法，包括以下步骤：

S1)、利用雨线的两个物理特征，建立准确的检测雨模型，通过检测雨模型对图像进行雨标记，由于雨对光线的反射较高，故雨像素显示出比其相邻的非雨像素更大的光强；其次，雨线总有一个明显的方向，通常在30°和120°之间，并且这些雨像素沿雨水方向是平滑的；具体包括以下步骤：

S101)、假定雨像素的亮度强度大于相邻非雨像素的强度，因此，若像素p的强度大于包括p在内的窗口的平均强度，则像素p为潜在的雨像素，则雨候选标记矩阵B₁(i,j)为：

式中，B₁(i,j)为雨候选标记矩阵，I(i,j)代表像素p(i,j)的强度值，

为以p(i,j)为中心的10×10窗口，若像素p(i,j)的三个颜色通道均满足上述假定，则p(i,j)为雨像素候选像素，将其对应的B₁(i,j)的值设为1，否则，置为0；

S102)、由于步骤S101)中会将一些非雨像素但较亮的背景区域标记，因此需要进一步筛选误检测的区域，在筛选错误检测区域时，由于雨线局域较强的方向一致性，因此，通过估算雨线的主要方向D_θ，并根据雨水方向的平滑性特征，沿着雨线方向计算梯度，先构建与雨水方向相关的方向算子

即：

式中，θ为估算的雨线主要方向

上述方向算子

满足：当沿着雨线方向D_θ，对其以及其邻域像素进行卷积运算时，计算结果为零或接近零，即：

式中，g_θ(i,j)为与方向算子

卷积计算后的结果，*代表卷积计算；

定义雨候选标记矩阵B₂为：

式中，β为给定的阈值；

若计算后像素(i,j)的值仍大于给定的阈值β，则将其标记为误检测像素，并将B₂(i,j)的值置为0，从而得到最终的雨标记矩阵B(i,j)，即B(i,j)＝B₁(i,j)*B₂(i,j)；

S2)、利用低秩矩阵恢复算法，对被雨像素破坏的区域进行高质量恢复，具体包括如下步骤：

S201)、将步骤S1)处理后的雨图像进行预处理，通过采用高斯滤波处理替换步骤S1)中检测得到的雨像素，同时保证非雨像素值不变，具体的，所述的预处理为：

对于输入的雨图像L，设定g为高斯滤波器，得到预处理后的图像L′，即

L′_i,j＝L_i,j*g；

然后将预处理后的图像L′_i,j分割成多个大小为n×n的具有重叠区域的图像块p_i，并将图像块用列向量的形式表示；

S202)、对每个图像块p_i，利用图像块的自相似性在其邻居区域搜索具有相似子结构的图像块q_i，若基于距离的图像块匹配算法

的距离d越小，则认为图像块p_i与q_i越相似；

假设

是与图像块p_i匹配的最佳相似图像块集合，通过将每个图像块的所有列连接成一列并将所有列组合在一起，可以获得如下的相似块组成的矩阵P_i：

P_i＝[p_i,1,p_i,2,....p_i,m]；

S203)、将每个图像块与其相似的图像块组成相似矩阵，利用稀疏和低秩矩阵的属性，将去雨问题转化为低秩矩阵补全的最优化问题，即基于下列公式的最小化优化求解：

式中，Q_i是相似块矩阵P_i去雨后的矩阵，其内的向量拥有相似的子结构，||·||_*为核范数，Ω代表非雨像素的索引集，Q_i|_Ω指只存在Ω中的部分元素，Ω代表Ω的大小，

是误差调控参数，

为保证Q_i和P_i逼近相似的约束条件；

目标函数中的核范数保证数据Q_i是低秩的，通过引入因数μ求解上式，即：

式中，

ρ表示非雨像素的占比，即：

n为分割图像块的大小，m为待处理图像块匹配到的相似块数量；

S204)、从已去雨的图像块中合成去雨的干净图像，并使用重叠区域的亮度平均值作为像素最终的亮度值。

将同样的雨图像采用本发明提供的方法和Luo等提出的判别稀疏编码(DSC)方法，Li等提出的基于高斯混合模型(GMM)的层先验方法，以及Fu等提出的深层网络架构方法进行处理，并分析判断其有效性，如图2和3所示，图中，图2(a)为无雨图像，图2(b)为合成雨图像，图2(c)为采用Fu等提出的深层网络架构方法处理的去雨图像；图2(d)为Li等提出的基于高斯混合模型(GMM)的层先验方法处理的去雨图像；图2(e)为Luo等提出的判别稀疏编码(DSC)方法处理的去雨图像，图2(f)为采用本发明方法处理的区域图像；从图中可以看出，Li等人的方法和Fu等人的方法，虽然具有较高的PSRN值，但视觉上的结果显示，明显存在许多未消除的雨线，此外，Luo等人的方法会产生不自然的伪影，整体画面看起来变暗。请注意，虽然本发明的去雨方法在PSNR方面的表现并不是最好的，但其去雨能力与其他三种方法相比具有竞争力。

表1为给出Fu等、Luo等、Li等以及本发明算法的性能指标对比结果；

从表中可以看出，因为我们采用的合成雨图像数据集来自于Li等提出的方法中，因此Li等方法总是显示出最高的PSRN值，并且其他两种方法和本发明的方法的PSNR值彼此接近。

为了了更好地验证本发明算法的普适性以及有效性，本实施例采用真实雨图对本发明算法的去雨性能进行测试，并与另外三种方法进行对比，如图3所示，其中，图3(a)真实雨图像，图3(b)为用Fu等提出的深层网络架构方法处理的去雨图像；图3(c)Li等提出的基于高斯混合模型(GMM)的层先验方法处理的去雨图像；图3(d)为Luo等提出的判别稀疏编码(DSC)方法处理的去雨图像；图3(e)为采用本发明方法处理的区域图像；从图3中可以看出，本发明得方法在去除雨痕的有效性和恢复图像的视觉质量方面都优于其他三种方法。例如，对于第一张屋檐图像中的雨条纹(例如，图中左上角框标记的屋檐下的雨条纹)，Luo等人的方法和本发明方法的结果看起来比Fu等人的方法和Li等人的方法更为干净，此外，Luo等人的方法可以消除非常明亮的雨线，但一旦雨条纹变得相对较暗，其去雨能力就会下降，(如图3中右下角框标的地方)。对于大多数图像，显然Luo等的方法由于过度去雨而导致的最终结果中的人工伪痕比较明显，Fu等的方法和Li等人的结果中可以很容易地找到未去除的雨水条纹。相反，本发明提出的方法几乎去除所有明显的雨痕并极大程度保持了图像细节。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (3)

1.一种基于低秩矩阵补全的单幅图像去雨方法，其特征在于，包括以下步骤：

S1)、利用雨线的两个物理特征，建立准确的检测雨模型，通过检测雨模型对图像进行雨标记，得到雨候选标记矩阵B₁(i,j)，并利用方向算子

对雨候选标记矩阵B₁(i,j)中的错误检测进行纠正，得到雨候选标记矩阵B₂(i,j)，最终得到的雨标记矩阵B(i,j)，即：

B(i,j)＝B₁(i,j)*B₂(i,j)；

其中，雨线的两个物理特征分别为：

1)、由于雨对光线的反射较高，雨像素将显示出比其相邻的非雨像素更大的亮度；

2)、雨线具有一定的方向，且沿雨线方向的雨像素是平滑的；

得到雨候选标记矩阵B₁(i,j)具体为：假定雨像素的亮度强度大于相邻非雨像素的强度，因此，若像素p的强度大于包括p在内的窗口的平均强度，则像素p为潜在的雨像素，即：

式中，B₁(i,j)为雨候选标记矩阵，I(i,j)代表像素p(i,j)的强度值，

为以p(i,j)为中心的10×10窗口，若像素p(i,j)的三个颜色通道均满足上述假定，则p(i,j)为雨像素候选者，其对应的B₁(i,j)的值设为1，否则，置为0；

利用方向算子

对雨候选标记矩阵B₁(i,j)中的错误检测进行纠正，具体为：

由于上述步骤会将一些非雨但较亮的背景区域也会被标记，因此需要进一步筛选误检测的区域，在筛选错误检测区域时，由于雨线局域较强的方向一致性，因此，通过估算雨线的主要方向D_θ，并根据雨水方向的平滑性特征，沿着雨线方向计算梯度，先构建与雨水方向相关的方向算子

即：

式中，θ为估算的雨线主要方向；

上述方向算子

满足：当沿着雨线方向D_θ，对其以及其邻域像素进行卷积运算时，计算结果为零或接近零，即：

式中，g_θ(i,j)为与方向算子

卷积计算后的结果，*代表卷积计算；

定义雨候选标记矩阵B₂(i,j)：

式中，β为给定的阈值；

若计算后像素(i,j)的值仍大于给定的阈值β，则将其标记为误检测像素，并将B₂(i,j)的值置为0，得到最终的雨标记矩阵B(i,j)，即B(i,j)＝B₁(i,j)*B₂(i,j)；

S2)、利用低秩矩阵恢复算法，对被雨像素破坏的区域进行高质量恢复，具体为：

S201)、将步骤S1)处理后的雨图像进行预处理，然后将预处理后的图像分割成多个具有重叠区域的图像块p_i，并将图像块用列向量的形式表示；

S202)、对每个图像块p_i，利用图像块的自相似性在其邻居区域搜索具有相似子结构的图像块q_i；

假设

是与图像块p_i匹配的最佳相似图像块集合，通过将每个图像块的所有列连接成一列并将所有列组合在一起，可以获得如下的相似块组成的矩阵P_i：

P_i＝[p_i,1,p_i,2,....p_i,m]；

S203)、将每个图像块与其相似的图像块组成相似矩阵，利用稀疏和低秩矩阵的属性，将去雨问题转化为低秩矩阵补全的最优化问题，即基于下列公式的最小化优化求解：

式中，Q_i为相似块矩阵P_i去雨后的矩阵，其内的向量拥有相似的子结构，||·||_*为核范数，Ω代表非雨像素的索引集，Q_i|_Ω指只存在Ω中的部分元素，#(Ω)代表Ω的大小，

是误差调控参数，

为保证Q_i和P_i逼近相似的约束条件；

目标函数中的核范数保证数据Q_i是低秩的，通过引入因数μ求解上式，即：

式中，

ρ表示非雨像素的占比，即：

n为分割的图像块的大小，m为待处理图像块匹配到的相似块数量；

S204)、从已去雨的图像块中合成去雨的干净图像，并使用重叠区域的亮度平均值作为像素最终的亮度值。

2.根据权利要求1所述的基于低秩矩阵补全的单幅图像去雨方法，其特征在于，步骤S201)中，对雨图像进行预处理，具体为：对于输入的雨图像L，设定g为高斯滤波器，得到预处理后的图像L′，即

L′_i,j＝L_i,j*g；

3.根据权利要求1所述的基于低秩矩阵补全的单幅图像去雨方法，其特征在于，步骤S202)中，若基于距离的图像块匹配算法

的距离d越小，则认为图像块p_i与q_i越相似。

Images