CN113240612A - 一种图像像素级膨胀滤波视觉去雨方法 - Google Patents

一种图像像素级膨胀滤波视觉去雨方法 Download PDF

Info

Publication number
CN113240612A
CN113240612A CN202110623249.8A CN202110623249A CN113240612A CN 113240612 A CN113240612 A CN 113240612A CN 202110623249 A CN202110623249 A CN 202110623249A CN 113240612 A CN113240612 A CN 113240612A
Authority
CN
China
Prior art keywords
rain
image
rainbed
pixel
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110623249.8A
Other languages
English (en)
Inventor
郭青
任旭红
马雷
刘杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xinzhou Network Technology Co ltd
Original Assignee
Hangzhou Xinzhou Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xinzhou Network Technology Co ltd filed Critical Hangzhou Xinzhou Network Technology Co ltd
Priority to CN202110623249.8A priority Critical patent/CN113240612A/zh
Publication of CN113240612A publication Critical patent/CN113240612A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像像素级膨胀滤波视觉去雨方法。本发明提出了一种有效的数据增强方法,帮助训练网络处理真实的雨图像,消除合成数据和真实数据之间的差距;将单幅图像去雨提出的方法能够高效处理雨图像,利用核预测网络估计出的像素级核模型实现雨图像的有效过滤,有效地预测出适合每个像素的多尺度核。本发明是无模型图像去雨方法,不仅可以显著提高性能,而且运行效率超过目前方法80倍。

Description

一种图像像素级膨胀滤波视觉去雨方法
技术领域
本发明涉及了一种图像视觉去雨处理方法,尤其是涉及了一种图像像素级膨胀滤波视觉去雨方法。
背景技术
雨水去除的方法试图从由雨水条纹和雨水累积(或雨水幕效应)退化的图像中恢复干净的背景场景。对被雨破坏的图像/视频数据进行处理并去除雨痕,目的是为后续视觉任务实现良好的图像质量。但是在实际应用中雨模型多种多样,可能在传输中产生,也可能在量化等处理中产生。由户外视觉系统捕捉的雨的模式或条纹(例如,静止图像或动态视频序列)在不同的任务中导致图像或视频的剧烈强度波动,导致视觉感知系统的性能下降。在许多效率敏感和关键的实时应用中(例如,基于视觉的自动驾驶或导航),能够高效地自动化实现图像去雨是非常重要的。一种既高效又高性能的图像去雨算法,在保持低开销的同时,对实际应用具有重要意义。
现有方法主要侧重于研究雨条的物理模型和背景层,去除雨水条纹通过求解一个优化问题,采用深度学习和一些先知先觉的能力,现有的方法往往严重依赖于雨模型产生假设和背景模型,其目标是恢复干扰过程中的加噪步骤,包括大量的迭代优化和后续的细化步骤。许多算法采用的模型假设可能是有限的,不能很好地代表和反映真实世界的干扰模式。基于这些模式假设的模型在真实世界的情况下可能没有那么强的效果;许多现有的方法在计算上是昂贵的,要么需要复杂的迭代优化来找到最优的解决方案,或在多个阶段中构建去噪框架,涉及反复或渐进的细化步骤。
另外,如何缩小人工合成雨图像与真实数据之间的差距仍是一个有待解决的问题。目前通过考虑不同的照明和观看条件构建了一个真实雨纹的数据集,但由于雨受到风、光的反射、折射等各种自然因素的影响,所以收集的真实雨的情况也很难说是详尽的,不能涵盖现实世界中所有可能的情况。
由于雨图像存在雨模型复杂,单图像去噪是相当具有挑战性的。现有的方法往往对噪声模型进行特定的假设,而这种假设很难覆盖现实世界中许多不同的情况,需要进行复杂的优化或逐步细化。然而,这显著地影响了这些方法的效率和许多效率关键应用程序的有效性。同时真实雨条数据集不能满足深度学习训练要求,人工合成雨图像与真实数据之间仍然存在差距。
发明内容
为了解决背景技术中存在的问题,本发明所提供一种图像像素级膨胀滤波视觉去雨方法。
针对以上现有技术的不足,本发明提出了一种有效的数据增强方法,帮助训练网络处理真实的雨图像,消除合成数据和真实数据之间的差距;将单幅图像去雨提出的方法能够高效处理雨图像,利用核预测网络估计出的像素级核模型实现雨图像的有效过滤,可以有效地预测出适合每个像素的多尺度核。
本发明采用的技术方案是:
1)雨层图数据集增广处理,获得增强雨层图数据集;
通常的网络模型只能获取丰富的训练数据才能训练得到更加可靠的神经网络,但由于雨受到风、光的反射、折射等各种自然因素的影响,所以收集的真实雨的情况也很难说是详尽的,并不能涵盖现实世界中所有可能的情况。
而本发明通过雨层图数据集增广处理RainMix产生更多形式的雨痕,生成不同的雨层图,并添加到干净或无雨的图像中,获得新的有雨图像,和干净或无雨的图像共同作为深度卷积神经网络的训练数据,用于训练核预测网络和融合卷积层,使得网络学习能力更强。
2)进行可学习的像素级自适应膨胀滤波去雨处理。
所述步骤1),具体过程如下:
1.1)对真实雨层图数据集进行随机采样,选取随机采样的各个雨层图像作为初始的雨层图Rorg;
1.2)初始化一个空的转换图矩阵Rmix;
1.3)设置四个权值w1、w2、w3和w4,根据狄利克雷分布对第一权值w1、第二权值w2、第三权值w3、第四权值w4进行权值初始化;
1.4)利用图像增强手段,构建数据增强基本操作集(o1,o2,o3),o1,o2,o3表示三种不同的图像增强手段;对数据增强基本操作集(o1,o2,o3)进行叠加联合得到数据增强联合操作集(o1,o2,o3,o12,o13,o23,o123),其中o12=o2o1,o13=o3o1,o23=o3o2,o123=o3o2o1,o12表示第一种图像增强手段和第二种图像增强手段进行叠加联合后的结果,o13表示第一种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o23表示第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o123表示第一种图像增强手段、第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果;
1.5)对数据增强联合操作集(o1,o12,o123)进行随机采样四种操作,得到随机操作集(q1,q2,q3,q4),q1,q2,q3,q4表示四种不同的图像增强手段;
1.6)将步骤1.5)得到的随机操作集(q1,q2,q3,q4)对雨层图Rorg进行加权转换,并赋值到转换图矩阵Rmix,表示为:
Rmix=(w1×q1+w2×q2+w3×q3+w4×q4)×Rorg;
1.7)根据贝塔分布随机采样获取权重z,利用权重z对雨层图Rorg和转换图矩阵Rmix进行叠加,得到雨层模拟图R:
R=zRorg+(1-z)Rmix
然后将雨层模拟图R加入到雨层模拟数据集中;
1.8)不断重复上述步骤1.2)~1.7)对步骤1.1)获得的各个雨层图Rorg均进行处理,直到将每个雨层图Rorg对应获得的雨层模拟图R均加入到雨层模拟数据集;
1.9)不断重复迭代上述步骤1.1)~1.8)若干次,产生不同的雨层图Rorg再对应产生雨层模拟图R加入到雨层模拟数据集中,最终获得的雨层模拟数据集和真实雨层图数据集合并作为增强雨层数据集。
所述步骤2)具体为:
2.1)基于逐像素卷积核的预测网络构建去雨膨胀滤波器,将增强训练集通过离线训练得到去雨膨胀滤波器的预测核,如以下公式所示:
K=KPN(Ir) (1)
其中,K是去雨膨胀滤波器的预测核,Ir表示增强训练集中输入的雨图像对的图像,大小为H×W;K实际上是输入的雨图像对的图像中所有像素点位置的核的集合,若每个像素点位置的核取k×k,K大小为H×W×k2,在本方法中取k为3;KPN(·)表示U-Net全卷积网络结构;
训练时,建立以下损失函数实现去雨膨胀滤波器训练,如以下公式所示:
Figure BDA0003100923030000031
其中,
Figure BDA0003100923030000032
表示去雨膨胀滤波器预测输出的图像,I表示增强训练集的雨图像对中的不带有雨的图像,
Figure BDA0003100923030000033
表示L1损失函数,表示对图像逐像素求差异,
Figure BDA0003100923030000034
表示SSIM损失函数,λ表示损失函数权重;
2.2)在获得去雨膨胀滤波器的预测核后,加入膨胀因子l形成不同尺度的去雨膨胀滤波器;
针对待处理的带有雨的图像输入到不同尺度的去雨膨胀滤波器中实现去雨,每个去雨膨胀滤波器处理如以下公式所示:
Figure BDA0003100923030000041
其中,
Figure BDA0003100923030000042
表示去雨膨胀滤波器预测输出的去雨图像,大小为H×W,
Figure BDA0003100923030000043
表示通过去雨膨胀滤波器实现滤波过程;
每个去雨膨胀滤波器输出的去雨图像在第p个像素点处理如下公式:
Figure BDA0003100923030000044
其中,t表示Kp中元素的坐标,t的范围是
Figure BDA0003100923030000045
Figure BDA0003100923030000046
l表示膨胀因子,lt表示第p个像素点和第q个像素点之间的间距,p和q均表示像素点的序号,Kp表示为去雨膨胀滤波器的预测核K在第p个像素点位置的核,Kp是大小为k×k的矩阵,Kp(t)表示Kp在t位置处的值,Ir(q)表示增强训练集的有雨图像中第q个像素点的像素值,
Figure BDA0003100923030000047
表示在膨胀因子l条件下去雨图像在第p个像素点的值,q=p+lt表示第p个像素点和第q个像素点的关系,即第p个像素点和第q个像素点之间的距离为lt。
所述2.2)在实际应用中,采用4个不同的膨胀因子l,经过去雨膨胀滤波器的卷积神经网络输出四张去雨图像,并将四张去雨图像融合得到最终去雨结果图像。
将四张去雨图像融合得到最终去雨结果图像具体是将4张去雨图像经过一个核大小为3*3的卷积层进行融合,得到最终的去雨结果。
本发明方法,其关键技术点包括:
1、提出了雨图像数据增广方法以实现训练数据集构建。
2、提出了一种像素膨胀滤波方法,构建了像素级自适应卷积深度学习网络;
3、实现了多尺度卷积核融合加权,完成高效的图像去雨。
本发明的有益效果是:
本发明首次将图像去雨问题通过膨胀滤波的方式去解决,相较于传统去雨方法,适用于更多形式的雨图像,不需要对雨模型进行假设且能够覆盖现实世界里更多的雨模式,可以推广至各种图像去噪工作,方法具有很强的通用性。
本发明是无模型图像去雨方法,不仅可以显著提高性能,而且运行效率超过目前方法80倍。
附图说明
图1是本发明雨图像数据增广处理的示意图;
图2是本发明像素级自适应膨胀滤波处理实现去雨的处理示意图;
图2的(a)表示有雨图像经过网络得到滤波核的过程
图2的(b)表示有雨图像经过四个膨胀后的滤波核处理,并通过一个卷积层融合得到去雨图像的过程。
图2的(c)表示有雨图像中6个不同区域(第一行)经过网络预测的核(第二行)处理,输出了去雨后的区域(第三行)。
图3是Rain100H(Case1and Case2)and Rain1400(Case3)数据集去雨效果对比图,efDeRain为本方法;
图4是real-world SPA数据集去雨效果对比图efDeRain为本方法图;
表1是Raindrop数据集结果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
如图1和图2所示,本发明的实施例及其实施情况如下:
1)如图1所示雨层图数据集增广处理RainMix,获得增强雨层图数据集;
步骤1),首先建立空的雨层模拟数据集,具体过程如下:
1.1)对真实雨层图数据集进行随机采样,选取随机采样的各个雨层图像作为初始的雨层图Rorg;
1.2)初始化一个空的转换图矩阵Rmix,转换图矩阵Rmix的大小和雨层图大小一致;
1.3)设置四个权值w1、w2、w3和w4,根据狄利克雷分布对第一权值w1、第二权值w2、第三权值w3、第四权值w4进行权值初始化;
1.4)利用图像增强手段,例如缩放、剪切、平移和旋转等,构建数据增强基本操作集(o1,o2,o3),o1,o2,o3表示三种不同的图像增强手段;对数据增强基本操作集(o1,o2,o3)进行叠加联合得到数据增强联合操作集(o1,o2,o3,o12,o13,o23,o123),其中o12=o2o1,o13=o3o1,o23=o3o2,o123=o3o2o1,o12表示第一种图像增强手段和第二种图像增强手段进行叠加联合后的结果,o13表示第一种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o23表示第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o123表示第一种图像增强手段、第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果;
1.5)对数据增强联合操作集(o1,o12,o123)进行随机采样四种操作,得到随机操作集(q1,q2,q3,q4),q1,q2,q3,q4表示四种不同的图像增强手段;
1.6)将步骤1.5)得到的随机操作集(q1,q2,q3,q4)通过加权方式对雨层图Rorg进行加权转换,并赋值到转换图矩阵Rmix,表示为:
Rmix=(w1×q1+w2×q2+w3×q3+w4×q4)×Rorg;
1.7)根据贝塔分布随机采样获取权重z,利用权重z对初始的雨层图Rorg和转换图矩阵Rmix进行叠加,得到雨层模拟图R:
R=zRorg+(1-z)Rmix
然后将雨层模拟图R加入到雨层模拟数据集中;
1.8)不断重复上述步骤1.2)~1.7)对步骤1.1)获得的各个雨层图Rorg均进行处理,直到将每个雨层图Rorg对应获得的雨层模拟图R均加入到雨层模拟数据集;
1.9)不断重复迭代上述步骤1.1)~1.8)若干次,产生不同的雨层图Rorg再对应产生雨层模拟图R加入到雨层模拟数据集中,最终获得的雨层模拟数据集和真实雨层图数据集合并作为增强雨层数据集。
每次不同迭代过程中会产生不同的四个权值w1、w2、w3和w4以及随机操作集(q1,q2,q3,q4)。
图1表达了通过雨层图数据集增广处理RainMix获取雨层图,并添加到干净或无雨的图像中,获得新的有雨图像的过程。通过对数据增强联合操作集(o1,o12,o123)进行随机采样得到随机操作集:zoomyzoomx,zoomy zoomy,transxtransy,rotate sheary对原始雨层图进行相应的增强变化,得到四幅新的雨层图,然后通过加权方式进行叠加得到最终的雨层图,最后和干净图像叠加,得到有雨图像。
由此,本发明通过随机采样和组合操作对雨层图执行四次转换,四张转换后的雨层图是通过狄利克雷分布的权值聚合,再通过贝塔分布的权值进一步与原始采样的雨层图混合,多个随机过程更真实地模拟了现实世界中不同的雨的出现模式。
2)进行可学习的像素级自适应膨胀滤波去雨处理。
参阅图2,本发明构建了像素级自适应卷积深度学习网络,通过数据集增广方法构建与图像训练集对网络进行训练和优化,并加入多尺度卷积核融合加权,得到洁净的不带有雨的图像,实现雨图像的有效去雨。
步骤2)具体为:
2.1)在获取丰富的训练数据之后,基于逐像素卷积核的预测网络构建去雨膨胀滤波器,去雨膨胀滤波器采用U-Net全卷积网络结构,将增强训练集通过离线训练得到去雨膨胀滤波器的预测核,如以下公式所示:
K=KPN(Ir) (1)
其中,K是去雨膨胀滤波器的预测核,其本身是逐像素的卷积核,Ir表示增强训练集中输入的雨图像对的图像,大小为H×W;K实际上是输入的雨图像对的图像中所有像素点位置的核的集合,若每个像素点位置的核取k×k,K大小为H×W×k2,在本方法中取k为3;KPN(·)表示U-Net全卷积网络结构,具体如图2所示;
训练时,建立以下损失函数实现去雨膨胀滤波器训练,如以下公式所示:
Figure BDA0003100923030000071
其中,
Figure BDA0003100923030000072
表示去雨膨胀滤波器预测输出的图像,I表示增强训练集的雨图像对中的不带有雨的图像,
Figure BDA0003100923030000073
表示L1损失函数,表示对图像逐像素求差异,
Figure BDA0003100923030000074
表示SSIM损失函数,λ表示损失函数权重,在本方法中取0.2;
2.2)在获得去雨膨胀滤波器的预测核后,即得到核预测网络估计的像素级核模型,加入膨胀因子l形成不同尺度的去雨膨胀滤波器,加入多尺度信息;
针对待处理的带有雨的图像输入到不同尺度的去雨膨胀滤波器中实现去雨,每个去雨膨胀滤波器处理如以下公式所示:
Figure BDA0003100923030000075
其中,
Figure BDA0003100923030000076
表示去雨膨胀滤波器预测输出的去雨图像,为不带有雨的图像,大小为H×W,
Figure BDA0003100923030000077
表示通过去雨膨胀滤波器实现滤波过程,是逐像素与对应的核之间进行卷积操作;
每个去雨膨胀滤波器输出的去雨图像在第p个像素点处理如下公式:
Figure BDA0003100923030000078
现有处理中雨图像通常会是原始图像存在雨条纹遮挡,雾化,模糊等,不同的形式会有不同的表现,而且极有可能在语义信息发生混淆。卷积核必须适应雨图像中,噪声在场景信息,空间和尺度的变化。但是人工构建的卷积并不能满足这样的需求。
针对多尺度雨条信息的存在,本发明将膨胀滤波去雨方法中加入多尺度融合,形成多扩展核预测网络,以适应不同厚度和强度雨条纹预测,解决了存在去雨不同形式、不同表现导致的语义信息混淆问题。
图2(b)中可见,经过四次不同膨胀因子条件下的膨胀滤波器实现去雨,即l=1,2,3,4得到四种尺度的去雨图像,对四幅图像进行加权融合,得到最终的去雨结果。
2.2)在实际应用中,采用4个不同的膨胀因子l,经过去雨膨胀滤波器的卷积神经网络输出四张去雨图像,并将四张去雨图像融合得到最终去雨结果图像。
将四张去雨图像融合得到最终去雨结果图像具体是将4张去雨图像经过一个核大小为3*3的卷积层进行融合,得到最终的去雨结果,适应不同厚度和强度雨条图像的去雨处理。
本发明对输入雨图像能够在保持目标边界的同时,有效地去除干扰,预测核能够适应不同强度的降雨。如图2的(c)所示,从R2到R5,降雨强度逐渐减弱,本方法可以有效地去除所有的痕迹。
此外,根据预测核的可视化,构建的预测网络感知雨斑的位置。
因此,预测核对非下雨像素的权重更高,对下雨像素的权重更低,以此验证方法的有效性。R6上的结果表明,本方法没有破坏原有的边界,而使其更加清晰。
本发明具体实施在当前流行的和有挑战性的合成数据集进行了对比分析实验,包括Rain100H(Yang et al.2017,2019),Rain1400(Fu et al.2017)synthetic数据集、最近提出的SPA真实雨数据集(Wang et al.2019)和真实雨滴数据集(Qian et al.2018)进行了大规模的评估,如图3、图4和表1所示,都证明了本发明的有效性。
表1 Raindrop数据集结果
GMM JORDER DDN CGAN DID-MDN DeRaindrop EfDeRain
PSNR 24.58 27.52 25.23 21.35 24.76 31.57 28.48
SSIM 0.7808 0.8239 0.8366 0.7306 0.7930 0.9023 0.8971
上表表示了在真实雨数据集Raindrop dataset上包括本发明方法(EfDeRaiin)在内共7中方法的实验结果,其中DeRaindrop方法是专门为这个问题设计的,在该方法实现过程中,设计了专门的关注-循环网络来感知有雨的区域。本专利方法不改变任何架构或超参数,实现了第二最好的结果,并优于所有其他去除方法,证明了本方法的有效性和通用性。
图3表示了EfDeRain(本发明方法)、RCDNet和PReNet对Rain100H(Case1和Case2)和Rain1400(Case3)的三个可视化结果。将主要的差异区域进行放大,可以突出看到本专利方法有更加明显的去雨效果。
图4表示了EfDeRain(本发明方法)、RCDNet和SPANet对真实SPA数据集的三个可视化结果。红色箭头显示了EfDeRain和其他两种方法的主要区别。

Claims (5)

1.一种图像像素级膨胀滤波视觉去雨方法,其特征在于:
1)雨层图数据集增广处理,获得增强雨层图数据集;
2)进行可学习的像素级自适应膨胀滤波去雨处理。
2.根据权利要求1所述的一种图像像素级膨胀滤波视觉去雨方法,其特征在于:所述步骤1),具体过程如下:
1.1)对真实雨层图数据集进行随机采样,选取随机采样的各个雨层图像作为初始的雨层图Rorg;
1.2)初始化一个空的转换图矩阵Rmix;
1.3)设置四个权值w1、w2、w3和w4,根据狄利克雷分布对第一权值w1、第二权值w2、第三权值w3、第四权值w4进行权值初始化;
1.4)利用图像增强手段,构建数据增强基本操作集(o1,o2,o3),o1,o2,o3表示三种不同的图像增强手段;对数据增强基本操作集(o1,o2,o3)进行叠加联合得到数据增强联合操作集(o1,o2,o3,o12,o13,o23,o123),其中o12=o2o1,o13=o3o1,o23=o3o2,o123=o3o2o1,o12表示第一种图像增强手段和第二种图像增强手段进行叠加联合后的结果,o13表示第一种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o23表示第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果,o123表示第一种图像增强手段、第二种图像增强手段和第三种图像增强手段进行叠加联合后的结果;
1.5)对数据增强联合操作集(o1,o12,o123)进行随机采样四种操作,得到随机操作集(q1,q2,q3,q4),q1,q2,q3,q4表示四种不同的图像增强手段;
1.6)将步骤1.5)得到的随机操作集(q1,q2,q3,q4)对雨层图Rorg进行加权转换,并赋值到转换图矩阵Rmix,表示为:
Rmix=(w1×q1+w2×q2+w3×q3+w4×q4)×Rorg;
1.7)根据贝塔分布随机采样获取权重z,利用权重z对雨层图Rorg和转换图矩阵Rmix进行叠加,得到雨层模拟图R:
R=zRorg+(1-z)Rmix
然后将雨层模拟图R加入到雨层模拟数据集中;
1.8)不断重复上述步骤1.2)~1.7)对步骤1.1)获得的各个雨层图Rorg均进行处理,直到将每个雨层图Rorg对应获得的雨层模拟图R均加入到雨层模拟数据集;
1.9)不断重复迭代上述步骤1.1)~1.8)若干次,产生不同的雨层图Rorg再对应产生雨层模拟图R加入到雨层模拟数据集中,最终获得的雨层模拟数据集和真实雨层图数据集合并作为增强雨层数据集。
3.根据权利要求1所述的一种图像像素级膨胀滤波视觉去雨方法,其特征在于:所述步骤2)具体为:
2.1)基于逐像素卷积核的预测网络构建去雨膨胀滤波器,将增强训练集通过离线训练得到去雨膨胀滤波器的预测核,如以下公式所示:
K=KPN(Ir) (1)
其中,K是去雨膨胀滤波器的预测核,Ir表示增强训练集中输入的雨图像对的图像,大小为H×W;KPN(·)表示U-Net全卷积网络结构;
训练时,建立以下损失函数实现去雨膨胀滤波器训练,如以下公式所示:
Figure FDA0003100923020000021
其中,
Figure FDA0003100923020000022
表示去雨膨胀滤波器预测输出的图像,I表示增强训练集的雨图像对中的不带有雨的图像,
Figure FDA0003100923020000023
表示L1损失函数,表示对图像逐像素求差异,
Figure FDA0003100923020000024
表示SSIM损失函数,λ表示损失函数权重;
2.2)在获得去雨膨胀滤波器的预测核后,加入膨胀因子l形成不同尺度的去雨膨胀滤波器;
针对待处理的带有雨的图像输入到不同尺度的去雨膨胀滤波器中实现去雨,每个去雨膨胀滤波器处理如以下公式所示:
Figure FDA0003100923020000025
其中,
Figure FDA0003100923020000026
表示去雨膨胀滤波器预测输出的去雨图像,大小为H×W,
Figure FDA0003100923020000027
表示通过去雨膨胀滤波器实现滤波过程;
每个去雨膨胀滤波器输出的去雨图像在第p个像素点处理如下公式:
Figure FDA0003100923020000028
其中,t表示Kp中元素的坐标,t的范围是
Figure FDA0003100923020000029
Figure FDA00031009230200000210
l表示膨胀因子,lt表示第p个像素点和第q个像素点之间的间距,p和q均表示像素点的序号,Kp表示为去雨膨胀滤波器的预测核K在第p个像素点位置的核,Kp是大小为k×k的矩阵,Kp(t)表示Kp在t位置处的值,Ir(g)表示增强训练集的有雨图像中第q个像素点的像素值,
Figure FDA00031009230200000211
表示在膨胀因子1条件下去雨图像在第p个像素点的值,q=p+lt表示第p个像素点和第q个像素点的关系,即第p个像素点和第q个像素点之间的距离为lt。
4.根据权利要求3所述的一种图像像素级膨胀滤波视觉去雨方法,其特征在于:所述2.2)中,采用4个不同的膨胀因子l,经过去雨膨胀滤波器的卷积神经网络输出四张去雨图像,并将四张去雨图像融合得到最终去雨结果图像。
5.根据权利要求4所述的一种图像像素级膨胀滤波视觉去雨方法,其特征在于:将四张去雨图像融合得到最终去雨结果图像具体是将4张去雨图像经过一个核大小为3*3的卷积层进行融合,得到最终的去雨结果。
CN202110623249.8A 2021-06-04 2021-06-04 一种图像像素级膨胀滤波视觉去雨方法 Pending CN113240612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110623249.8A CN113240612A (zh) 2021-06-04 2021-06-04 一种图像像素级膨胀滤波视觉去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110623249.8A CN113240612A (zh) 2021-06-04 2021-06-04 一种图像像素级膨胀滤波视觉去雨方法

Publications (1)

Publication Number Publication Date
CN113240612A true CN113240612A (zh) 2021-08-10

Family

ID=77136764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110623249.8A Pending CN113240612A (zh) 2021-06-04 2021-06-04 一种图像像素级膨胀滤波视觉去雨方法

Country Status (1)

Country Link
CN (1) CN113240612A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035157A (zh) * 2018-06-25 2018-12-18 华南师范大学 一种基于静态雨纹的图像去雨方法及系统
CN110443761A (zh) * 2019-07-16 2019-11-12 大连理工大学 一种基于多尺度聚合特征的单幅图像去雨方法
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035157A (zh) * 2018-06-25 2018-12-18 华南师范大学 一种基于静态雨纹的图像去雨方法及系统
CN110443761A (zh) * 2019-07-16 2019-11-12 大连理工大学 一种基于多尺度聚合特征的单幅图像去雨方法
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QING GUO等: "EfficientDeRain: Learning Pixel-wise Dilation Filtering for High-Efficiency Single-Image Deraining", 《ARXIV:2009.09238V1 [CS.CV]》 *

Similar Documents

Publication Publication Date Title
Yang et al. Scale-free single image deraining via visibility-enhanced recurrent wavelet learning
CN112907479B (zh) 基于注意力机制的残差单幅图像去雨方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN109035189B (zh) 基于柯西模糊函数的红外与弱可见光图像融合方法
CN108564597B (zh) 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法
CN111696033B (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN101540039B (zh) 单帧图象超分辨方法
CN113962905B (zh) 基于多阶段特征互补网络的单幅图像去雨方法
Zhu et al. Super-resolving commercial satellite imagery using realistic training data
CN111626943B (zh) 基于一阶前向后向算法的全变分图像去噪方法
Goto et al. Learning-based super-resolution image reconstruction on multi-core processor
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
CN113947538A (zh) 一种多尺度高效卷积自注意力单幅图像除雨方法
CN113962878A (zh) 一种低能见度图像去雾模型方法
CN113538245A (zh) 基于退化模型的超分辨率图像重建方法及系统
CN109614976B (zh) 一种基于Gabor特征的异源图像融合方法
CN110111268B (zh) 基于暗通道和模糊宽度学习的单幅图像去雨方法及装置
Wang et al. Uneven image dehazing by heterogeneous twin network
CN117078553A (zh) 一种基于多尺度深度学习的图像去雾方法
CN112132761A (zh) 一种基于循环上下文聚合网络的单图像去雾方法
CN113240612A (zh) 一种图像像素级膨胀滤波视觉去雨方法
CN115953311A (zh) 基于Transformer的多尺度特征表示的图像去雾方法
CN110675320A (zh) 一种空间参数变化及复杂场景下目标图像清晰化方法
CN111028184B (zh) 一种图像增强方法及系统
CN107886480A (zh) 基于v系统的图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210810