CN113240612A - 一种图像像素级膨胀滤波视觉去雨方法 - Google Patents
一种图像像素级膨胀滤波视觉去雨方法 Download PDFInfo
- Publication number
- CN113240612A CN113240612A CN202110623249.8A CN202110623249A CN113240612A CN 113240612 A CN113240612 A CN 113240612A CN 202110623249 A CN202110623249 A CN 202110623249A CN 113240612 A CN113240612 A CN 113240612A
- Authority
- CN
- China
- Prior art keywords
- rain
- image
- rainbed
- pixel
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000001914 filtration Methods 0.000 title claims abstract description 21
- 230000000007 visual effect Effects 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000010586 diagram Methods 0.000 claims description 28
- 238000004088 simulation Methods 0.000 claims description 28
- 101100091494 Mus musculus Rorc gene Proteins 0.000 claims description 21
- 230000010339 dilation Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000003416 augmentation Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像像素级膨胀滤波视觉去雨方法。本发明提出了一种有效的数据增强方法,帮助训练网络处理真实的雨图像,消除合成数据和真实数据之间的差距;将单幅图像去雨提出的方法能够高效处理雨图像,利用核预测网络估计出的像素级核模型实现雨图像的有效过滤,有效地预测出适合每个像素的多尺度核。本发明是无模型图像去雨方法,不仅可以显著提高性能,而且运行效率超过目前方法80倍。
Description
技术领域
本发明涉及了一种图像视觉去雨处理方法,尤其是涉及了一种图像像素级膨胀滤波视觉去雨方法。
背景技术
雨水去除的方法试图从由雨水条纹和雨水累积(或雨水幕效应)退化的图像中恢复干净的背景场景。对被雨破坏的图像/视频数据进行处理并去除雨痕,目的是为后续视觉任务实现良好的图像质量。但是在实际应用中雨模型多种多样,可能在传输中产生,也可能在量化等处理中产生。由户外视觉系统捕捉的雨的模式或条纹(例如,静止图像或动态视频序列)在不同的任务中导致图像或视频的剧烈强度波动,导致视觉感知系统的性能下降。在许多效率敏感和关键的实时应用中(例如,基于视觉的自动驾驶或导航),能够高效地自动化实现图像去雨是非常重要的。一种既高效又高性能的图像去雨算法,在保持低开销的同时,对实际应用具有重要意义。
现有方法主要侧重于研究雨条的物理模型和背景层,去除雨水条纹通过求解一个优化问题,采用深度学习和一些先知先觉的能力,现有的方法往往严重依赖于雨模型产生假设和背景模型,其目标是恢复干扰过程中的加噪步骤,包括大量的迭代优化和后续的细化步骤。许多算法采用的模型假设可能是有限的,不能很好地代表和反映真实世界的干扰模式。基于这些模式假设的模型在真实世界的情况下可能没有那么强的效果;许多现有的方法在计算上是昂贵的,要么需要复杂的迭代优化来找到最优的解决方案,或在多个阶段中构建去噪框架,涉及反复或渐进的细化步骤。
另外,如何缩小人工合成雨图像与真实数据之间的差距仍是一个有待解决的问题。目前通过考虑不同的照明和观看条件构建了一个真实雨纹的数据集,但由于雨受到风、光的反射、折射等各种自然因素的影响,所以收集的真实雨的情况也很难说是详尽的,不能涵盖现实世界中所有可能的情况。
由于雨图像存在雨模型复杂,单图像去噪是相当具有挑战性的。现有的方法往往对噪声模型进行特定的假设,而这种假设很难覆盖现实世界中许多不同的情况,需要进行复杂的优化或逐步细化。然而,这显著地影响了这些方法的效率和许多效率关键应用程序的有效性。同时真实雨条数据集不能满足深度学习训练要求,人工合成雨图像与真实数据之间仍然存在差距。
发明内容
为了解决背景技术中存在的问题,本发明所提供一种图像像素级膨胀滤波视觉去雨方法。
针对以上现有技术的不足,本发明提出了一种有效的数据增强方法,帮助训练网络处理真实的雨图像,消除合成数据和真实数据之间的差距;将单幅图像去雨提出的方法能够高效处理雨图像,利用核预测网络估计出的像素级核模型实现雨图像的有效过滤,可以有效地预测出适合每个像素的多尺度核。
本发明采用的技术方案是:
1)雨层图数据集增广处理,获得增强雨层图数据集;
通常的网络模型只能获取丰富的训练数据才能训练得到更加可靠的神经网络,但由于雨受到风、光的反射、折射等各种自然因素的影响,所以收集的真实雨的情况也很难说是详尽的,并不能涵盖现实世界中所有可能的情况。
而本发明通过雨层图数据集增广处理RainMix产生更多形式的雨痕,生成不同的雨层图,并添加到干净或无雨的图像中,获得新的有雨图像,和干净或无雨的图像共同作为深度卷积神经网络的训练数据,用于训练核预测网络和融合卷积层,使得网络学习能力更强。
2)进行可学习的像素级自适应膨胀滤波去雨处理。
所述步骤1),具体过程如下:
1.1)对真实雨层图数据集进行随机采样,选取随机采样的各个雨层图像作为初始的雨层图Rorg;
1.2)初始化一个空的转换图矩阵Rmix;
1.3)设置四个权值w1、w2、w3和w4,根据狄利克雷分布对第一权值w1、第二权值w2、第三权值w3、第四权值w4进行权值初始化;
1.4)利用图像增强手段,构建数据增强基本操作集(o1,o2,o3),o1,o2,o3表示三种不同的图像增强手段;对数据增强基本操作集(o1,o2,o3)进行叠加联合得到数据增强联合操作集(o1,o2,o3,o12,o13,o23,o123),其中o12=o2o1,o13=o3o1,o23=o3o2,o123=o3o2o1,o12表示第一种图像增强手段和第二种图像增强手段进行叠加联合后的结果,o13表示第一种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o23表示第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o123表示第一种图像增强手段、第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果;
1.5)对数据增强联合操作集(o1,o12,o123)进行随机采样四种操作,得到随机操作集(q1,q2,q3,q4),q1,q2,q3,q4表示四种不同的图像增强手段;
1.6)将步骤1.5)得到的随机操作集(q1,q2,q3,q4)对雨层图Rorg进行加权转换,并赋值到转换图矩阵Rmix,表示为:
Rmix=(w1×q1+w2×q2+w3×q3+w4×q4)×Rorg;
1.7)根据贝塔分布随机采样获取权重z,利用权重z对雨层图Rorg和转换图矩阵Rmix进行叠加,得到雨层模拟图R:
R=zRorg+(1-z)Rmix
然后将雨层模拟图R加入到雨层模拟数据集中;
1.8)不断重复上述步骤1.2)~1.7)对步骤1.1)获得的各个雨层图Rorg均进行处理,直到将每个雨层图Rorg对应获得的雨层模拟图R均加入到雨层模拟数据集;
1.9)不断重复迭代上述步骤1.1)~1.8)若干次,产生不同的雨层图Rorg再对应产生雨层模拟图R加入到雨层模拟数据集中,最终获得的雨层模拟数据集和真实雨层图数据集合并作为增强雨层数据集。
所述步骤2)具体为:
2.1)基于逐像素卷积核的预测网络构建去雨膨胀滤波器,将增强训练集通过离线训练得到去雨膨胀滤波器的预测核,如以下公式所示:
K=KPN(Ir) (1)
其中,K是去雨膨胀滤波器的预测核,Ir表示增强训练集中输入的雨图像对的图像,大小为H×W;K实际上是输入的雨图像对的图像中所有像素点位置的核的集合,若每个像素点位置的核取k×k,K大小为H×W×k2,在本方法中取k为3;KPN(·)表示U-Net全卷积网络结构;
训练时,建立以下损失函数实现去雨膨胀滤波器训练,如以下公式所示:
2.2)在获得去雨膨胀滤波器的预测核后,加入膨胀因子l形成不同尺度的去雨膨胀滤波器;
针对待处理的带有雨的图像输入到不同尺度的去雨膨胀滤波器中实现去雨,每个去雨膨胀滤波器处理如以下公式所示:
每个去雨膨胀滤波器输出的去雨图像在第p个像素点处理如下公式:
其中,t表示Kp中元素的坐标,t的范围是到l表示膨胀因子,lt表示第p个像素点和第q个像素点之间的间距,p和q均表示像素点的序号,Kp表示为去雨膨胀滤波器的预测核K在第p个像素点位置的核,Kp是大小为k×k的矩阵,Kp(t)表示Kp在t位置处的值,Ir(q)表示增强训练集的有雨图像中第q个像素点的像素值,表示在膨胀因子l条件下去雨图像在第p个像素点的值,q=p+lt表示第p个像素点和第q个像素点的关系,即第p个像素点和第q个像素点之间的距离为lt。
所述2.2)在实际应用中,采用4个不同的膨胀因子l,经过去雨膨胀滤波器的卷积神经网络输出四张去雨图像,并将四张去雨图像融合得到最终去雨结果图像。
将四张去雨图像融合得到最终去雨结果图像具体是将4张去雨图像经过一个核大小为3*3的卷积层进行融合,得到最终的去雨结果。
本发明方法,其关键技术点包括:
1、提出了雨图像数据增广方法以实现训练数据集构建。
2、提出了一种像素膨胀滤波方法,构建了像素级自适应卷积深度学习网络;
3、实现了多尺度卷积核融合加权,完成高效的图像去雨。
本发明的有益效果是:
本发明首次将图像去雨问题通过膨胀滤波的方式去解决,相较于传统去雨方法,适用于更多形式的雨图像,不需要对雨模型进行假设且能够覆盖现实世界里更多的雨模式,可以推广至各种图像去噪工作,方法具有很强的通用性。
本发明是无模型图像去雨方法,不仅可以显著提高性能,而且运行效率超过目前方法80倍。
附图说明
图1是本发明雨图像数据增广处理的示意图;
图2是本发明像素级自适应膨胀滤波处理实现去雨的处理示意图;
图2的(a)表示有雨图像经过网络得到滤波核的过程
图2的(b)表示有雨图像经过四个膨胀后的滤波核处理,并通过一个卷积层融合得到去雨图像的过程。
图2的(c)表示有雨图像中6个不同区域(第一行)经过网络预测的核(第二行)处理,输出了去雨后的区域(第三行)。
图3是Rain100H(Case1and Case2)and Rain1400(Case3)数据集去雨效果对比图,efDeRain为本方法;
图4是real-world SPA数据集去雨效果对比图efDeRain为本方法图;
表1是Raindrop数据集结果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
如图1和图2所示,本发明的实施例及其实施情况如下:
1)如图1所示雨层图数据集增广处理RainMix,获得增强雨层图数据集;
步骤1),首先建立空的雨层模拟数据集,具体过程如下:
1.1)对真实雨层图数据集进行随机采样,选取随机采样的各个雨层图像作为初始的雨层图Rorg;
1.2)初始化一个空的转换图矩阵Rmix,转换图矩阵Rmix的大小和雨层图大小一致;
1.3)设置四个权值w1、w2、w3和w4,根据狄利克雷分布对第一权值w1、第二权值w2、第三权值w3、第四权值w4进行权值初始化;
1.4)利用图像增强手段,例如缩放、剪切、平移和旋转等,构建数据增强基本操作集(o1,o2,o3),o1,o2,o3表示三种不同的图像增强手段;对数据增强基本操作集(o1,o2,o3)进行叠加联合得到数据增强联合操作集(o1,o2,o3,o12,o13,o23,o123),其中o12=o2o1,o13=o3o1,o23=o3o2,o123=o3o2o1,o12表示第一种图像增强手段和第二种图像增强手段进行叠加联合后的结果,o13表示第一种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o23表示第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o123表示第一种图像增强手段、第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果;
1.5)对数据增强联合操作集(o1,o12,o123)进行随机采样四种操作,得到随机操作集(q1,q2,q3,q4),q1,q2,q3,q4表示四种不同的图像增强手段;
1.6)将步骤1.5)得到的随机操作集(q1,q2,q3,q4)通过加权方式对雨层图Rorg进行加权转换,并赋值到转换图矩阵Rmix,表示为:
Rmix=(w1×q1+w2×q2+w3×q3+w4×q4)×Rorg;
1.7)根据贝塔分布随机采样获取权重z,利用权重z对初始的雨层图Rorg和转换图矩阵Rmix进行叠加,得到雨层模拟图R:
R=zRorg+(1-z)Rmix
然后将雨层模拟图R加入到雨层模拟数据集中;
1.8)不断重复上述步骤1.2)~1.7)对步骤1.1)获得的各个雨层图Rorg均进行处理,直到将每个雨层图Rorg对应获得的雨层模拟图R均加入到雨层模拟数据集;
1.9)不断重复迭代上述步骤1.1)~1.8)若干次,产生不同的雨层图Rorg再对应产生雨层模拟图R加入到雨层模拟数据集中,最终获得的雨层模拟数据集和真实雨层图数据集合并作为增强雨层数据集。
每次不同迭代过程中会产生不同的四个权值w1、w2、w3和w4以及随机操作集(q1,q2,q3,q4)。
图1表达了通过雨层图数据集增广处理RainMix获取雨层图,并添加到干净或无雨的图像中,获得新的有雨图像的过程。通过对数据增强联合操作集(o1,o12,o123)进行随机采样得到随机操作集:zoomyzoomx,zoomy zoomy,transxtransy,rotate sheary对原始雨层图进行相应的增强变化,得到四幅新的雨层图,然后通过加权方式进行叠加得到最终的雨层图,最后和干净图像叠加,得到有雨图像。
由此,本发明通过随机采样和组合操作对雨层图执行四次转换,四张转换后的雨层图是通过狄利克雷分布的权值聚合,再通过贝塔分布的权值进一步与原始采样的雨层图混合,多个随机过程更真实地模拟了现实世界中不同的雨的出现模式。
2)进行可学习的像素级自适应膨胀滤波去雨处理。
参阅图2,本发明构建了像素级自适应卷积深度学习网络,通过数据集增广方法构建与图像训练集对网络进行训练和优化,并加入多尺度卷积核融合加权,得到洁净的不带有雨的图像,实现雨图像的有效去雨。
步骤2)具体为:
2.1)在获取丰富的训练数据之后,基于逐像素卷积核的预测网络构建去雨膨胀滤波器,去雨膨胀滤波器采用U-Net全卷积网络结构,将增强训练集通过离线训练得到去雨膨胀滤波器的预测核,如以下公式所示:
K=KPN(Ir) (1)
其中,K是去雨膨胀滤波器的预测核,其本身是逐像素的卷积核,Ir表示增强训练集中输入的雨图像对的图像,大小为H×W;K实际上是输入的雨图像对的图像中所有像素点位置的核的集合,若每个像素点位置的核取k×k,K大小为H×W×k2,在本方法中取k为3;KPN(·)表示U-Net全卷积网络结构,具体如图2所示;
训练时,建立以下损失函数实现去雨膨胀滤波器训练,如以下公式所示:
2.2)在获得去雨膨胀滤波器的预测核后,即得到核预测网络估计的像素级核模型,加入膨胀因子l形成不同尺度的去雨膨胀滤波器,加入多尺度信息;
针对待处理的带有雨的图像输入到不同尺度的去雨膨胀滤波器中实现去雨,每个去雨膨胀滤波器处理如以下公式所示:
每个去雨膨胀滤波器输出的去雨图像在第p个像素点处理如下公式:
现有处理中雨图像通常会是原始图像存在雨条纹遮挡,雾化,模糊等,不同的形式会有不同的表现,而且极有可能在语义信息发生混淆。卷积核必须适应雨图像中,噪声在场景信息,空间和尺度的变化。但是人工构建的卷积并不能满足这样的需求。
针对多尺度雨条信息的存在,本发明将膨胀滤波去雨方法中加入多尺度融合,形成多扩展核预测网络,以适应不同厚度和强度雨条纹预测,解决了存在去雨不同形式、不同表现导致的语义信息混淆问题。
图2(b)中可见,经过四次不同膨胀因子条件下的膨胀滤波器实现去雨,即l=1,2,3,4得到四种尺度的去雨图像,对四幅图像进行加权融合,得到最终的去雨结果。
2.2)在实际应用中,采用4个不同的膨胀因子l,经过去雨膨胀滤波器的卷积神经网络输出四张去雨图像,并将四张去雨图像融合得到最终去雨结果图像。
将四张去雨图像融合得到最终去雨结果图像具体是将4张去雨图像经过一个核大小为3*3的卷积层进行融合,得到最终的去雨结果,适应不同厚度和强度雨条图像的去雨处理。
本发明对输入雨图像能够在保持目标边界的同时,有效地去除干扰,预测核能够适应不同强度的降雨。如图2的(c)所示,从R2到R5,降雨强度逐渐减弱,本方法可以有效地去除所有的痕迹。
此外,根据预测核的可视化,构建的预测网络感知雨斑的位置。
因此,预测核对非下雨像素的权重更高,对下雨像素的权重更低,以此验证方法的有效性。R6上的结果表明,本方法没有破坏原有的边界,而使其更加清晰。
本发明具体实施在当前流行的和有挑战性的合成数据集进行了对比分析实验,包括Rain100H(Yang et al.2017,2019),Rain1400(Fu et al.2017)synthetic数据集、最近提出的SPA真实雨数据集(Wang et al.2019)和真实雨滴数据集(Qian et al.2018)进行了大规模的评估,如图3、图4和表1所示,都证明了本发明的有效性。
表1 Raindrop数据集结果
GMM | JORDER | DDN | CGAN | DID-MDN | DeRaindrop | EfDeRain | |
PSNR | 24.58 | 27.52 | 25.23 | 21.35 | 24.76 | 31.57 | 28.48 |
SSIM | 0.7808 | 0.8239 | 0.8366 | 0.7306 | 0.7930 | 0.9023 | 0.8971 |
上表表示了在真实雨数据集Raindrop dataset上包括本发明方法(EfDeRaiin)在内共7中方法的实验结果,其中DeRaindrop方法是专门为这个问题设计的,在该方法实现过程中,设计了专门的关注-循环网络来感知有雨的区域。本专利方法不改变任何架构或超参数,实现了第二最好的结果,并优于所有其他去除方法,证明了本方法的有效性和通用性。
图3表示了EfDeRain(本发明方法)、RCDNet和PReNet对Rain100H(Case1和Case2)和Rain1400(Case3)的三个可视化结果。将主要的差异区域进行放大,可以突出看到本专利方法有更加明显的去雨效果。
图4表示了EfDeRain(本发明方法)、RCDNet和SPANet对真实SPA数据集的三个可视化结果。红色箭头显示了EfDeRain和其他两种方法的主要区别。
Claims (5)
1.一种图像像素级膨胀滤波视觉去雨方法,其特征在于:
1)雨层图数据集增广处理,获得增强雨层图数据集;
2)进行可学习的像素级自适应膨胀滤波去雨处理。
2.根据权利要求1所述的一种图像像素级膨胀滤波视觉去雨方法,其特征在于:所述步骤1),具体过程如下:
1.1)对真实雨层图数据集进行随机采样,选取随机采样的各个雨层图像作为初始的雨层图Rorg;
1.2)初始化一个空的转换图矩阵Rmix;
1.3)设置四个权值w1、w2、w3和w4,根据狄利克雷分布对第一权值w1、第二权值w2、第三权值w3、第四权值w4进行权值初始化;
1.4)利用图像增强手段,构建数据增强基本操作集(o1,o2,o3),o1,o2,o3表示三种不同的图像增强手段;对数据增强基本操作集(o1,o2,o3)进行叠加联合得到数据增强联合操作集(o1,o2,o3,o12,o13,o23,o123),其中o12=o2o1,o13=o3o1,o23=o3o2,o123=o3o2o1,o12表示第一种图像增强手段和第二种图像增强手段进行叠加联合后的结果,o13表示第一种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o23表示第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o123表示第一种图像增强手段、第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果;
1.5)对数据增强联合操作集(o1,o12,o123)进行随机采样四种操作,得到随机操作集(q1,q2,q3,q4),q1,q2,q3,q4表示四种不同的图像增强手段;
1.6)将步骤1.5)得到的随机操作集(q1,q2,q3,q4)对雨层图Rorg进行加权转换,并赋值到转换图矩阵Rmix,表示为:
Rmix=(w1×q1+w2×q2+w3×q3+w4×q4)×Rorg;
1.7)根据贝塔分布随机采样获取权重z,利用权重z对雨层图Rorg和转换图矩阵Rmix进行叠加,得到雨层模拟图R:
R=zRorg+(1-z)Rmix
然后将雨层模拟图R加入到雨层模拟数据集中;
1.8)不断重复上述步骤1.2)~1.7)对步骤1.1)获得的各个雨层图Rorg均进行处理,直到将每个雨层图Rorg对应获得的雨层模拟图R均加入到雨层模拟数据集;
1.9)不断重复迭代上述步骤1.1)~1.8)若干次,产生不同的雨层图Rorg再对应产生雨层模拟图R加入到雨层模拟数据集中,最终获得的雨层模拟数据集和真实雨层图数据集合并作为增强雨层数据集。
3.根据权利要求1所述的一种图像像素级膨胀滤波视觉去雨方法,其特征在于:所述步骤2)具体为:
2.1)基于逐像素卷积核的预测网络构建去雨膨胀滤波器,将增强训练集通过离线训练得到去雨膨胀滤波器的预测核,如以下公式所示:
K=KPN(Ir) (1)
其中,K是去雨膨胀滤波器的预测核,Ir表示增强训练集中输入的雨图像对的图像,大小为H×W;KPN(·)表示U-Net全卷积网络结构;
训练时,建立以下损失函数实现去雨膨胀滤波器训练,如以下公式所示:
2.2)在获得去雨膨胀滤波器的预测核后,加入膨胀因子l形成不同尺度的去雨膨胀滤波器;
针对待处理的带有雨的图像输入到不同尺度的去雨膨胀滤波器中实现去雨,每个去雨膨胀滤波器处理如以下公式所示:
每个去雨膨胀滤波器输出的去雨图像在第p个像素点处理如下公式:
4.根据权利要求3所述的一种图像像素级膨胀滤波视觉去雨方法,其特征在于:所述2.2)中,采用4个不同的膨胀因子l,经过去雨膨胀滤波器的卷积神经网络输出四张去雨图像,并将四张去雨图像融合得到最终去雨结果图像。
5.根据权利要求4所述的一种图像像素级膨胀滤波视觉去雨方法,其特征在于:将四张去雨图像融合得到最终去雨结果图像具体是将4张去雨图像经过一个核大小为3*3的卷积层进行融合,得到最终的去雨结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110623249.8A CN113240612A (zh) | 2021-06-04 | 2021-06-04 | 一种图像像素级膨胀滤波视觉去雨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110623249.8A CN113240612A (zh) | 2021-06-04 | 2021-06-04 | 一种图像像素级膨胀滤波视觉去雨方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113240612A true CN113240612A (zh) | 2021-08-10 |
Family
ID=77136764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110623249.8A Pending CN113240612A (zh) | 2021-06-04 | 2021-06-04 | 一种图像像素级膨胀滤波视觉去雨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113240612A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035157A (zh) * | 2018-06-25 | 2018-12-18 | 华南师范大学 | 一种基于静态雨纹的图像去雨方法及系统 |
CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
CN111462013A (zh) * | 2020-04-03 | 2020-07-28 | 西安交通大学 | 一种基于结构化残差学习的单图去雨方法 |
-
2021
- 2021-06-04 CN CN202110623249.8A patent/CN113240612A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035157A (zh) * | 2018-06-25 | 2018-12-18 | 华南师范大学 | 一种基于静态雨纹的图像去雨方法及系统 |
CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
CN111462013A (zh) * | 2020-04-03 | 2020-07-28 | 西安交通大学 | 一种基于结构化残差学习的单图去雨方法 |
Non-Patent Citations (1)
Title |
---|
QING GUO等: "EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining", 《ARXIV:2009.09238V1 [CS.CV]》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | Scale-free single image deraining via visibility-enhanced recurrent wavelet learning | |
CN112907479B (zh) | 基于注意力机制的残差单幅图像去雨方法 | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
CN109035189B (zh) | 基于柯西模糊函数的红外与弱可见光图像融合方法 | |
CN108564597B (zh) | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 | |
CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
CN101540039B (zh) | 单帧图象超分辨方法 | |
CN113962905B (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
Zhu et al. | Super-resolving commercial satellite imagery using realistic training data | |
CN111626943B (zh) | 基于一阶前向后向算法的全变分图像去噪方法 | |
Goto et al. | Learning-based super-resolution image reconstruction on multi-core processor | |
CN113421210A (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
CN113962878A (zh) | 一种低能见度图像去雾模型方法 | |
CN113538245A (zh) | 基于退化模型的超分辨率图像重建方法及系统 | |
CN109614976B (zh) | 一种基于Gabor特征的异源图像融合方法 | |
CN110111268B (zh) | 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置 | |
Wang et al. | Uneven image dehazing by heterogeneous twin network | |
CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 | |
CN112132761A (zh) | 一种基于循环上下文聚合网络的单图像去雾方法 | |
CN113240612A (zh) | 一种图像像素级膨胀滤波视觉去雨方法 | |
CN115953311A (zh) | 基于Transformer的多尺度特征表示的图像去雾方法 | |
CN110675320A (zh) | 一种空间参数变化及复杂场景下目标图像清晰化方法 | |
CN111028184B (zh) | 一种图像增强方法及系统 | |
CN107886480A (zh) | 基于v系统的图像去雾方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210810 |