CN109886900A - 一种基于字典训练和稀疏表示的合成雨图除雨方法 - Google Patents

Abstract

本发明公布了一种基于字典训练和稀疏表示的合成雨图除雨方法，通过改进应用于图像超分辨率重建的方法，使其应用于合成雨图的除雨恢复。在训练阶段运用一幅纯雨模板对一组无雨图像加雨，构造“有雨‑无雨”训练集并通过训练得到有雨字典和无雨字典；在测试阶段运用另一幅纯雨模板对测试无雨图像进行加雨得到测试合成雨图，基于有雨字典对其进行稀疏表示得到其稀疏表示系数。同样基于有雨字典得到第三幅不同的纯雨模板的稀疏表示系数，再将两个稀疏表示系数相减进一步去除表示系数中的涉雨成分。最后，将相减后的稀疏表示系数与训练出的无雨字典结合，得到测试合成雨图的最终除雨结果。本发明在对图像除雨的同时能够较好地保护图像中的细节信息。

Description

一种基于字典训练和稀疏表示的合成雨图除雨方法

技术领域

本发明属于数字图像处理领域，具体的涉及一种针对合成雨图的基于字典训练和稀疏表示的除雨方法。

背景技术

在当今信息化时代，户外视觉采集系统在交通安全、安防监控、遥感观测等领域应用广泛。所采集的高分辨率图像不仅给人们带来更好的视觉感受，也可以记录更多的场景信息。高分辨率图像的采集不仅会受到成像设备硬件的限制，还会受到外部采集环境的较大影响。当出现雨水等恶劣天气时，会使观测能见度显著降低，造成相机或传感器采集的图像质量退化，对图像信息的完整性及后续基于图像的活动带来不利影响，限制了户外计算机视觉系统工作的时间和空间范围。因而对所采集的有雨图像进行清晰化恢复具有重要的实践意义。

关于图像除雨的研究可大致分为两类：基于视频的图像除雨研究和基于单幅图像的除雨研究。近年来基于视频的图像除雨得到了广泛研究，因为其可利用时间序列图像提供的较充足信息，对雨滴的检测以及去除的难度相对较易。相较于视频图像除雨，单幅图像除雨在理论上属于病态问题而具有更大的挑战性，这方面较为成熟的技术方法比较鲜见。

发明内容

本发明主要基于Jianchao Yang等人在论文《Image Super-Resolut ion viaSparse Representation》和《Image Super-Resolution as Spars e Representation ofRaw Image Patches》中提出的基于稀疏表示的图像超分辨率重建方法。该方法通过建立“高分辨率-低分辨率”图像训练集，经过联合学习得到高分辨率字典和低分辨率字典，并假定同一模式下的高分辨率和低分辨率图像块的稀疏表示系数是相同的。当输入一幅低分辨率图像时，先对其进行特征提取和图像分块预处理，再基于低分辨率字典计算得出每个低分辨率图像块的稀疏表示系数，根据上述假定可运用该稀疏表示系数与高分辨率字典联合生成对应的高分辨率图像块。

为了忽略次要因素而抓住问题的根本，本发明针对单幅合成雨图提出了一种基于字典训练和稀疏表示的除雨方法。针对雨天成像时雨滴所造成的图像质量退化，本发明参考上述基于稀疏表示的图像超分辨率重建方法，但对其进行了针对性的改进，使其可以有效地应用于解决合成雨图的除雨问题。所做的改进包括：利用滤波加雨的方法，建立的训练集合是有雨图像集和对应的无雨图像集，而非超分辨率重建方法中由高分辨率图像集自动生成低分辨率图像集的方式；本发明创新地引入了纯雨模板并对其进行稀疏表示，进一步去除测试合成雨图的稀疏表示系数中可能存在的涉雨成分。从而提供了一种面向合成雨图的基于字典训练和稀疏表示的除雨方法。

本发明是这样实现的，在训练阶段，对一组清晰无雨图像用一幅纯雨模板进行加雨处理，得到一组合成有雨图像，从而建立“有雨-无雨”图像训练集合。通过训练充分学习两者之间的映射关系，得到关键的有雨字典和无雨字典。在测试阶段，对一幅测试无雨图像用另一幅纯雨模板进行加雨，得到测试合成雨图，再基于训练得到的有雨字典得到其稀疏表示系数。同时，基于该有雨字典对第三幅不同的纯雨模板进行稀疏表示以得到其稀疏表示系数，将两个稀疏表示系数相减，进一步去除测试合成雨图的稀疏表示系数中的涉雨成分，再结合训练得到的无雨字典进行基于稀疏表示的图像除雨恢复，得到测试合成雨图除雨后的最终图像。

由于实际雨图中的雨滴形式及雨滴分布千差万别，很难用一种有效的方法对各种类型的实际雨图进行除雨处理，所以本发明以加雨方式构造出的合成雨图作为研究对象。此外，上述三种纯雨模板虽然各不相同，但其在雨滴形式上需相差不大，而雨滴分布可以各不相同。

进一步，所述的一种基于字典训练和稀疏表示的合成雨图除雨方法包括以下步骤：

步骤一，训练及测试图像的加雨处理：运用一幅纯雨模板I对一组清晰无雨图像进行加雨处理，以此来构造“有雨-无雨”图像训练集；同理，运用另一幅纯雨模板U对一幅清晰无雨测试图像进行加雨处理，得到待除雨的测试合成雨图；

步骤二，通过联合训练得到关键的学习字典：对上述构造的“有雨-无雨”图像集进行联合训练，充分学习它们之间的映射关系，从而得到关键的有雨字典D_l和无雨字典D_h；

步骤三，测试合成雨图和纯雨模板的稀疏表示：基于上述联合训练得到的有雨字典D_l，对测试合成雨图进行稀疏表示得到其稀疏表示系数α；取另一幅不同于训练和测试时所用的纯雨模板V，基于相同的有雨字典D_l对其进行稀疏表示，得到纯雨模板V的稀疏表示系数β；

步骤四，测试合成雨图的稀疏表示系数中涉雨成分的进一步去除：用测试合成雨图的稀疏表示系数α，减去与之前加雨不同的纯雨模板V的稀疏表示系数β，得到测试合成雨图进一步去除涉雨成分后的稀疏表示系数γ；

步骤五，基于无雨字典的测试合成雨图除雨恢复：测试合成雨图的稀疏表示系数进一步去除涉雨成分后，结合训练后的无雨字典D_h进行基于稀疏表示的图像除雨恢复，得到测试合成雨图的除雨后的最终结果图像。

上述步骤在实际执行过程中均参考Jianchao Yang等人提出的基于稀疏表示的图像超分辨率重建方法；步骤二中对训练集合中合成的雨图先进行特性提取得到其特征图像，再将其特征图像进行分块后参与训练；而对训练集合中的清晰无雨图像，对其图像直接进行分块，再将图像块减去其各自均值参与训练；步骤三、步骤四中先对测试合成雨图进行特征提取得到其特征图像，再对其特征图像进行分块后参与除雨运算，步骤五将得到的各个除雨处理后的图像块进行融合，获得最终的图像除雨结果。

所述步骤一中训练及测试图像的加雨的具体方法为：先用滤波方法将纯雨模板I中的雨滴最大限度地滤出以得到雨滴图像，再用该雨滴图像与无雨图像采用逐像素点相加的方式进行加雨，从而实现对无雨图像的加雨处理。为了保证公平性和对不同合成雨图的适用性，在训练阶段选取同一幅纯雨模板为一组清晰无雨图像进行加雨，从而得到相对应的“有雨-无雨”图像集；在测试阶段选取与训练阶段不同的另一幅纯雨模板用以生成测试合成雨图，此外，选取与前面两种纯雨模板不同的第三幅纯雨模板参与去除测试合成雨图的稀疏表示系数中涉雨成分。本发明创新地引入三幅不同的纯雨模板参与有雨图像的清晰化恢复，虽然对它们的雨滴形式提出了需相差不大的要求，但对其在雨图中的分布形式没有较强的要求，因而具有一定的应用价值。

进一步的，所述步骤三和步骤四中基于稀疏表示的运算方法为：参考JianchaoYang等人提出的基于稀疏表示的图像超分辨率重建方法，对测试合成雨图进行特征提取和分块，结合训练得到的有雨字典D_l，对测试合成雨图的各个特征块进行稀疏表示，得到相应的稀疏表示系数α；同理，对另一幅纯雨模板V，基于同样的有雨字典D_l得到其每个特征块的稀疏表示系数β；具体如公式(1)和(2)所示：

x＝D_l×α (1)

y＝D_l×β (2)

式中x为测试合成雨图的任一特征块，y为第三幅纯雨模板的任一特征块，由于有雨字典D_l是过完备的，所以上述对α和β的解是不唯一的，需通过相关的优化求解方法保证α和β的解是最优解；

再用测试合成雨图的稀疏表示系数α减去纯雨模板V的稀疏表示系数β，即可进一步去除测试合成雨图的稀疏表示系数中的涉雨成分，从而得到更优的用于除雨的稀疏表示系数γ，如公式(3)所示：

γ＝α-β (3)

进一步的，所述步骤五中基于无雨字典D_h的测试合成雨图除雨的具体方法为：参考Jianchao Yang等人提出的基于稀疏表示的图像超分辨率重建方法，通过公式(4)可以得到测试合成雨图的图像块的除雨后结果(去均值后)：

z＝D_h×γ (4)

在具体执行过程中仍是基于图像块的操作，即利用公式(4)得到的除雨后各个图像块z，加上对应测试合成雨图图像块的均值后，应具有一定的重叠像素，通过重叠像素平均值融合的方式就可以得到最终的除雨结果图像。

与现有技术相比，本发明所具有的有益效果为：一方面，引入了纯雨模板，建立“有雨-无雨”图像训练集，训练出有雨字典和无雨字典；另一方面，通过引入纯雨模板，进一步去除合成测试雨图稀疏表示系数中的涉雨成分。本发明是一种从字典训练和稀疏表示两方面进行除雨的方法，对测试合成雨图有一定的除雨效果，并且在除雨的同时能够较好地保护图像的细节信息。

附图说明

图1是本发明实施例提供的一种基于字典训练和稀疏表示的合成雨图除雨方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供的一种基于字典训练和稀疏表示的合成雨图除雨方法包括如下步骤：

步骤一，训练及测试图像的加雨处理：运用一幅纯雨模板I对一组清晰无雨图像进行加雨处理，以此来构造“有雨-无雨”图像训练集；同理，运用另一幅纯雨模板U对一幅清晰无雨测试图像进行加雨处理，得到待除雨的测试合成雨图；

步骤二，通过联合训练得到关键的学习字典：对上述构造的“有雨-无雨”图像集进行联合训练，充分学习它们之间的映射关系，从而得到关键的有雨字典D_l和无雨字典D_h；

步骤三，测试合成雨图和纯雨模板的稀疏表示：基于上述联合训练得到的有雨字典D_l，对测试合成雨图进行稀疏表示得到其稀疏表示系数α；取另一幅不同于训练和测试时所用的纯雨模板V，基于相同的有雨字典D_l对其进行稀疏表示，得到纯雨模板V的稀疏表示系数β；

步骤四，测试合成雨图的稀疏表示系数中涉雨成分的进一步去除：用测试合成雨图的稀疏表示系数α，减去与之前加雨不同的纯雨模板V的稀疏表示系数β，得到测试合成雨图进一步去除涉雨成分后的稀疏表示系数γ；

步骤五，基于无雨字典的测试合成雨图除雨恢复：测试合成雨图的稀疏表示系数进一步去除涉雨成分后，结合训练后的无雨字典D_h进行基于稀疏表示的图像除雨恢复，得到测试合成雨图的除雨后的最终结果图像。

上述步骤在实际执行过程中均参考Jianchao Yang等人提出的基于稀疏表示的图像超分辨率重建方法，其具体出自以下两篇论文：作者：Jianchao Yang，John Wright，Thomas S.Huang，Yi Ma，论文名：Image Super-Resolution Via Sparse Representation，期刊名：IEEE Transactions on Image Processing，19卷，11期，页码范围：2861-2873,发表年份2010；作者：Jianchao Yang，John Wright，Thomas S Huang，Yi Ma，论文名：ImageSuper-Resolution as Sparse Representation of Raw Image Patches，会议名：IEEEComputer Vision and Pattern Recognition，页码范围：1-8，发表年份2008。

步骤二中对训练集合中合成的雨图先进行特性提取得到其特征图像，再将其特征图像进行分块后参与训练；而对训练集合中的清晰无雨图像，对其图像直接进行分块，再将图像块减去其各自均值参与训练；步骤三、步骤四中先对测试合成雨图进行特征提取得到其特征图像，再对其特征图像进行分块后参与除雨运算，步骤五将得到的各个除雨处理后的图像块进行融合，获得最终的图像除雨结果。

所述步骤一中训练及测试图像的加雨的具体方法为：先用滤波方法将纯雨模板I中的雨滴最大限度地滤出以得到雨滴图像，再用该雨滴图像与无雨图像采用逐像素点相加的方式进行加雨，从而实现对无雨图像的加雨处理。为了保证公平性和对不同合成雨图的适用性，在训练阶段选取同一幅纯雨模板为一组清晰无雨图像进行加雨，从而得到相对应的“有雨-无雨”图像集；在测试阶段选取与训练阶段不同的另一幅纯雨模板用以生成测试合成雨图，此外，选取与前面两种纯雨模板不同的第三幅纯雨模板参与去除测试合成雨图的稀疏表示系数中涉雨成分。本发明创新地引入三幅不同的纯雨模板参与有雨图像的清晰化恢复，虽然对它们的雨滴形式提出了需相差不大的要求，但对其在雨图中的分布形式没有较强的要求，因而具有一定的应用价值。

所述步骤三和步骤四中基于稀疏表示的运算方法为：参考Jianchao Yang等人提出的基于稀疏表示的图像超分辨率重建方法，对测试合成雨图进行特征提取和分块，结合训练得到的有雨字典D_l，对测试合成雨图的各个特征块进行稀疏表示，得到相应的稀疏表示系数α；同理，对另一幅纯雨模板V，基于同样的有雨字典D_l得到其每个特征块的稀疏表示系数β；具体如公式(1)和(2)所示：

x＝D_l×α (1)

y＝D_l×β (2)

式中x为测试合成雨图的任一特征块，y为第三幅纯雨模板的任一特征块，由于有雨字典D_l是过完备的，所以上述对α和β的解是不唯一的，需通过相关的优化求解方法保证α和β的解是最优解；

所述步骤五中基于无雨字典D_h的测试合成雨图除雨的具体方法为：参考JianchaoYang等人提出的基于稀疏表示的图像超分辨率重建方法，通过公式(4)可以得到测试合成雨图的图像块的除雨后结果(去均值后)：

z＝D_h×γ (4)

在具体执行过程中仍是基于图像块的操作，即利用公式(4)得到的除雨后各个图像块z，加上对应测试合成雨图图像块的均值后，应具有一定的重叠像素，通过重叠像素平均值融合的方式就可以得到最终的除雨结果图像。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于字典训练和稀疏表示的合成雨图除雨方法，其特征在于：在训练阶段，运用纯雨模板I对一组清晰无雨图像进行加雨，用以构造“有雨-无雨”图像训练集，通过联合学习的方式训练出关键的无雨字典D_h和对应的有雨字典D_l；在测试阶段，当输入一幅运用另一幅纯雨模板U加雨得到的测试合成雨图时，基于有雨字典D_l就可以得到其相应的稀疏表示系数α，基于同样的有雨字典D_l得到第三幅纯雨模板V的稀疏表示系数β，再通过α减β的方式进一步去除表示系数α中的涉雨成分，以得到关键的稀疏表示系数γ，再结合上述无雨字典D_h，可反向估算出测试合成雨图除雨后的最终结果图像。

上述三种纯雨模板虽然各不相同，但其在雨滴形式上需相差不大，而雨滴分布可以各不相同。

2.如权利要求1所述的一种基于字典训练和稀疏表示的合成雨图除雨方法，其特征在于，所述方法包括以下步骤：

步骤一，训练及测试图像的加雨处理：运用一幅纯雨模板I对一组清晰无雨图像进行加雨处理，以此来构造“有雨-无雨”图像训练集；同理，运用另一幅纯雨模板U对一幅清晰无雨测试图像进行加雨处理，得到待除雨的测试合成雨图；

步骤二，通过联合训练得到关键的学习字典：对上述构造的“有雨-无雨”图像集进行联合训练，充分学习它们之间的映射关系，从而得到关键的有雨字典D_l和无雨字典D_h；

步骤三，测试合成雨图和纯雨模板的稀疏表示：基于上述联合训练得到的有雨字典D_l，对测试合成雨图进行稀疏表示得到其稀疏表示系数α；取另一幅不同于训练和测试时所用的纯雨模板V，基于相同的有雨字典D_l对其进行稀疏表示，得到纯雨模板V的稀疏表示系数β；

步骤四，测试合成雨图的稀疏表示系数中涉雨成分的进一步去除：用测试合成雨图的稀疏表示系数α，减去与之前加雨不同的纯雨模板V的稀疏表示系数β，得到测试合成雨图进一步去除涉雨成分后的稀疏表示系数γ；

步骤五，基于无雨字典的测试合成雨图除雨恢复：测试合成雨图的稀疏表示系数进一步去除涉雨成分后，结合训练后的无雨字典D_h进行基于稀疏表示的图像除雨恢复，得到测试合成雨图的除雨后的最终结果图像。

3.如权利要求2所述的一种基于字典训练和稀疏表示的合成雨图除雨方法，其特征在于：

上述步骤在实际执行过程中均参考Jianchao Yang等人提出的基于稀疏表示的图像超分辨率重建方法；步骤二中对训练集合中合成的雨图先进行特性提取得到其特征图像，再将其特征图像进行分块后参与训练；而对训练集合中的清晰无雨图像，对其图像直接进行分块，再将图像块减去其各自均值参与训练；步骤三、步骤四中先对测试合成雨图进行特征提取得到其特征图像，再对其特征图像进行分块后参与除雨运算，步骤五将得到的各个除雨处理后的图像块进行融合，获得最终的图像除雨结果。

4.如权利要求2所述的一种基于字典训练和稀疏表示的合成雨图除雨方法，其特征在于：

所述步骤一中训练及测试图像的加雨的具体方法为：先用滤波方法将纯雨模板I中的雨滴最大限度地滤出以得到雨滴图像，再用该雨滴图像与无雨图像采用逐像素点相加的方式进行加雨，从而实现对无雨图像的加雨处理。

5.如权利要求2所述的一种基于字典训练和稀疏表示的合成雨图除雨方法，其特征在于：

在训练阶段选取同一幅纯雨模板为一组清晰无雨图像进行加雨，从而得到相对应的“有雨-无雨”图像集；在测试阶段选取与训练阶段不同的另一幅纯雨模板用以生成测试合成雨图，此外，选取与前面两种纯雨模板不同的第三幅纯雨模板参与去除测试合成雨图的稀疏表示系数中涉雨成分。

6.如权利要求2所述的一种基于字典训练和稀疏表示的合成雨图除雨方法，其特征在于：

所述步骤三和步骤四中基于稀疏表示的运算方法为：参考Jianchao Yang等人提出的基于稀疏表示的图像超分辨率重建方法，对测试合成雨图进行特征提取和分块，结合训练得到的有雨字典D_l，对测试合成雨图的各个特征块进行稀疏表示，得到相应的稀疏表示系数α；同理，对另一幅纯雨模板V，基于同样的有雨字典D_l得到其每个特征块的稀疏表示系数β；具体如公式(1)和(2)所示：

x＝D_l×α (1)

y＝D_l×β (2)

式中x为测试合成雨图的任一特征块，y为第三幅纯雨模板的任一特征块，由于有雨字典D_l是过完备的，所以上述对α和β的解是不唯一的，需通过相关的优化求解方法保证α和β的解是最优解；

再用测试合成雨图的稀疏表示系数α减去纯雨模板V的稀疏表示系数β，即可进一步去除测试合成雨图的稀疏表示系数中的涉雨成分，从而得到更优的用于除雨的稀疏表示系数γ，如公式(3)所示：

γ＝α-β (3)

7.如权利要求2所述的一种基于字典训练和稀疏表示的合成雨图除雨方法，其特征在于：

所述步骤五中基于无雨字典D_h的测试合成雨图除雨的具体方法为：参考Jianchao Yang等人提出的基于稀疏表示的图像超分辨率重建方法，通过公式(4)可以得到测试合成雨图的图像块的除雨后结果(去均值后)：

z＝D_h×γ (4)

在具体执行过程中仍是基于图像块的操作，即利用公式(4)得到的除雨后各个图像块z，加上对应测试合成雨图图像块的均值后，应具有一定的重叠像素，通过重叠像素平均值融合的方式就可以得到最终的除雨结果图像。