CN106709926B - 基于动态先验知识估计的快算去雨方法 - Google Patents

Abstract

本发明是基于动态先验知识估计的快速去雨方法，在图像中雨滴的外形呈现高亮条纹状，这符合Gabor滤波器提取纹理的特性，即具有方向和频域选择性。基于此，提出一个两层的去雨框架。第一层用Gabor滤波器提取一组含有雨滴信息少而背景纹理多的图像，并用基于独立成分分析的图像融合方法将滤波图像与原图融合得到背景的梯度先验知识，其中滤波参数根据事先估计的雨滴方向和频域选取。第二层用背景的梯度先验知识和雨滴的低秩性构造了一个新的图像分解模型，可用SplitBregman策略交替迭代求解。与以前方法相比，新方法可以保留更多的图像细节信息，且速度提高了10倍，可达到实时应用的要求。

Description

基于动态先验知识估计的快算去雨方法

技术领域

数字图像处理与计算机视觉。本发明是基于动态先验知识估计的快速去雨方法，旨在提高方法速度的同时，恢复完整的背景图像信息。基于单张图像去雨方法的难点是信息不足，无法检测出雨滴，并恢复被覆盖像素。

背景技术

在雨天拍摄的图像能见度低，且很多重要纹理信息被遮挡，导致基于图像特征提取的视觉方法失效，如车牌识别，行人检测等。现有的研究工作主要基于图像序列，其利用前后帧信息的冗余和互补性检测和恢复被遮挡像素。基于单张图像的去雨方法较少，主流方法建立在下面几个理论体系上：稀疏表达与字典学习，自适应滤波及低秩优化。这些方法都把去雨看成图像分解问题，基于学习的方法预先训练得到两类字典，分别用来表示雨滴模型和背景图像，其缺点是耗时较久且背景会被模糊化；基于滤波的方法需根据形状先检测出雨滴，再用周围像素表示被覆盖像素，缺点是漏检率很高；基于低秩的方法假设性太强，导致图像中重复的纹理信息被误当作雨滴去除。

发明内容

在图像中雨滴的外形呈现高亮条纹状，其方向β可提前粗略估计。此事实启发我们用Gabor滤波器提取背景图像纹理信息，因为Gabor滤波器同时具有频率域和方向选择性，根据需求可提取特定频率域和方向内的纹理信息。基于此，本发明提出了一种新的图像去雨方法，包含两个模块：先验知识估计模块旨在利用Gabor滤波器生成的图像栈对背景纹理信息做初步的推断；基于先验知识的去雨模块提出了一种新的图像分解方法，将先验知识嵌入其中，同时假设雨滴在一副图像中具有低秩性。新方法同时用低秩约束和梯度先验知识求解问题，使背景中类似于雨的纹理可以保留下来。

为了提取有用的滤波图像，即包含较多的背景信息及较少的雨滴，Gabor函数波长λ及滤波方向θ扮有重要角色。考虑到计算成本，本发明固定波长，选择3个不同方向。滤波方向决定提取出纹理的方向，因此与雨滴垂直的方向可以最大限度地避免滤波图像中保留雨滴信息。对于其他两张滤波图像，需尽可能避开雨滴，并提供互补的背景信息，其值为{β-60，β+60}。通过大量实验发现，波长用以下方法计算在去雨问题中表现出较优的性能：

其中N表示图像的宽度。

本发明预先用独立成分分析法从大量自然图像中训练得到一个图像分量字典D，并将原图和参考图像分块，用列向量表示块，得到新的图像数据矩阵M₀和参考图像数据M_i,i＝1,2,3，用字典D表示为

M_i＝DA_i,i＝0,1...，3 (2)

主要根据字典中分量对雨滴和背景图像的贡献度来去除雨滴。假定不含雨的背景图像M^*可以表示为：

M^*＝DA^*，A^*＝f(A₀，A₁，A₂，A₃)； (3)

图像块

只与其他图像中的对应块有关系，其相邻或周围的块不参与计算，因此可以得到

其中

系数向量作为一个整体来考量，用于强调图像块的纹理信息和其内部结构，而非对每个像素点单独判断，采用线性函数:

其中

是贡献系数，表示整个图像块的贡献度。Gabor滤波器得到的参考图像，包含雨滴信息少，原图中雨滴比重较高。因此为了得到可靠的先验知识，系数

应降低，其他系数应增大，具体计算方法见下式：

其中γ在(0,1)之间，侧面反应了原图中雨滴的比重，其值越大，表示雨的信息越少。γ的计算方法是

其中d(,)采用Canberra距离。但是由于Gabor滤波器的选取及融合方法均是基于经验的，得到的图像M^*不是最优解，下面讲述如何基于先验知识M^*，用严格的数学推论求取更好的结果。

类似于以前的方法将输入图像用双边滤波器分解成低频部分I_LF和高频部分I_HF，使所有雨滴都包含在高频中，低频部分的雨滴可以忽略不计。此时，单张图像去雨问题可以描述为：

其中

是雨滴，

是背景图像的高频部分，求取的先验知识M^*也是针对图像高频部分，其是分块形式，将数据元素重新排列成

令其梯度为V。基于此梯度先验知识构造新的图像分解框架：

上式旨在求解出分别满足梯度及低秩约束的

和

两种先验知识同时使用可增加方法鲁棒性。由于矩阵的秩很难近似表达，上式是一个NP问题，为了便于处理，用流行的Schatten范数取代上式中的低秩约束，可得：

其中参数p在(0，1)之间。求解该最小化问题的经典方式是固定一个变量，更新另一个变量，在交替迭代中直至方法收敛。求解

时，忽略所有与其无关的项，所得式是典型的矩阵低秩近似问题，存在最优解。同样求解

时，忽略与其无关的项。并令

则子优化问题为：

为了求解该式，本文使用基于SplitBregman方法的迭代策略，可以得到

的最优解，用快速傅里叶变换FFT表示为：

其中

是梯度算子

的共轭算子。

最终，不含雨的图像I^non-rain可表示为：

本发明提出一种新的单张图像去雨方法，认为雨天图像是雨滴和背景的线性相加。为了较好的剖析这个病态的数学问题，给背景图像提供先验约束条件，用Gabor滤波器生成的参考图像构建。此方法能够保留更多的纹理细节，如与雨滴相似的纹理，同时速度提高了10倍，可以应用到更多的实时场景中。

Claims (1)

1.一种基于动态先验知识估计的图像去雨方法，其特征在于，所述方法包括：

将输入图像用双边滤波器分解成低频部分I_LF和高频部分I_HF，使所有雨滴都包含在高频中，低频部分的雨滴可以忽略不计；

用Gabor滤波器生成一个图像栈，其中Gabor滤波器的波长固定，值为

其中N表示图像的宽度，Gabor滤波器的方向根据雨滴的方向β选取3个，即垂直于β的方向，β-60和β+60；

基于独立成分分析法从大量自然图像中训练得到一个图像字典，根据字典中分量对雨滴和背景图像的贡献度，用Gabor滤波器生成的参考图像与原图计算得到背景图像的高频部分

的梯度先验知识V，其计算过程为：

将原图和参考图像分块，用列向量表示块，得到新的图像数据矩阵M₀和参考图像数据M_i,i＝1,2,3，用字典D表示为M_i＝DA_i,i＝0,1...,3；假定不含雨的背景图像M^*可以表示为：M^*＝DA^*,A^*＝f(A₀,A₁,A₂,A₃)；假定图像块

只与其他图像中的对应块有关系，其相邻或周围的块不参与计算，可得

其中

采用线性函数

计算，其中

是贡献系数，由于求取的先验知识M^*是分块形式，需将数据元素重新排列到图像空间，形成

令其梯度为V；

用梯度先验知识V约束背景图像，并用低秩性约束雨滴，构建得的图像分解问题：

其中

是梯度算子，用Split Bregman策略交替迭代求解，得到背景图像的高频部分

根据公式

确定去雨结果。