CN110866879B - 一种基于多密度雨纹感知的图像去雨方法 - Google Patents
一种基于多密度雨纹感知的图像去雨方法 Download PDFInfo
- Publication number
- CN110866879B CN110866879B CN201911109299.3A CN201911109299A CN110866879B CN 110866879 B CN110866879 B CN 110866879B CN 201911109299 A CN201911109299 A CN 201911109299A CN 110866879 B CN110866879 B CN 110866879B
- Authority
- CN
- China
- Prior art keywords
- rain
- image
- frequency
- network
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000008447 perception Effects 0.000 title claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 11
- 238000002156 mixing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000011176 pooling Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 12
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多密度雨纹感知的图像去雨方法，所述方法包括：获取原始带雨图像O和低频辅助图像IRG，构建低频无雨图像提取网络，得到目标无雨图像的低频部分Bl；构建高频多尺度雨密度感知网络，得到所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)；融合所述原始带雨图像O、带雨图像O的低频部分Bl以及所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)，构建去雨子网络，得到目标无雨图像。本发明可以有效地处理现实生活中多种雨类型场景，能够在不同雨密度情况下生成高质量无雨清晰图像，具有较强的环境适应性。
Description
技术领域
本发明属于计算机视觉技术领域，尤其是一种基于多密度雨纹感知的图像去雨方法。
背景技术
随着计算机视觉和图像处理技术的发展，各类成像系统被广泛用于视频监控、自动驾驶、遥感观测乃至军事领域。然而，成像系统在户外易受到不良天气的影响，例如雨雪天气，导致所获取的图像对比度降低、模糊不清、细节信息丢失，大大降低了后续高层视觉任务分析和处理的准确性和可靠性。因此，消除雨雪天气对图像场景的影响，对雨天降质图像进行清晰化处理，具有重要的现实意义和广泛的应用价值。
图像去雨一直是图像恢复和计算机视觉领域的重要研究内容。当前效果比较理想的雨水去除方法，主要有四类：(1)基于纯粹物理模型和数学推导的去雨模型，但由于现实雨雾形成机制比较复杂，简化的物理模型很难做到较好的适应性。(2)基于图像处理知识的去雨方法，其代表性的工作比如类似图像去雾的原理，利用暗通道先验的方法进行图像去雨，此类方法的缺点是模型比较简单，透射率估计过于粗糙，容易丢失细节信息。(3)基于稀疏编码字典学习和分类器的去雨方法，此类方法假设雨水和背景的特征是可分的，通过对字典和编码的优化，将带雨图片分成同一字典的两种编码之和，这两种编码分别代表雨水的编码和背景的编码，其缺点是当雨水条纹与背景具有非常相似的形状时，此类方法容易失效。(4)基于深度卷积神经网络的深度去雨方法，鉴于深度卷积神经网络(CNN)在计算机视觉领域的迅猛发展及其良好的学习性能，越来越多的研究者将CNN应用到图像恢复领域，并且取得了非常不错的效果。本发明方法也属于此类方法。
在现实场景中，图像去雨的方法主要有两个观测假设：(1)雨痕带具有不同的形状和不同的方向，且雨痕之间会相互重叠；(2)在暴雨情况下，雨水积聚产生的雾气效果会导致远处场景的能见度降低。基于这个假设，目前比较广泛使用的雨水模型如公式(1)所示。
该模型包含多个雨痕层(每个雨痕层中的雨痕方向是一致的)，也包含了全局大气光的作用效果。其中，Si代表第i层雨痕层，n代表雨痕层的层数，B代表背景层，即待恢复的目标图像，O代表有雨痕的输入图像，即观测所得的降质图像，A代表全局大气光，α∈[0,1]代表光散射过程中的透射图系数。
该模型被广泛应用在各类图像去雨方法中，然而这种简单直观的建模认为雨痕条纹在原图片中是可以直接分离的，观测信息是由雨痕信息与背景信息进行简单的加法形成的。但事实却并非如此简单，在带雨观测图像的形成过程中，雨痕条纹、雨雾往往与图像的背景非线性耦合在一起。因此，通过简单的建模方式无法达到高质量的图像修复效果，这也是现在多数方法利用上述模型进行图像去雨后，得到的结果图像内容比较平滑、细节信息不能被很好地保留的原因。
图像的清晰与否，与图像的高频细节信息恢复是否理想有着较大的关联。在2019年国际计算机视觉与模式识别会议(CVPR)上，Li等人曾提出借助残差(Residue)信息Ires利用导向滤波器将观测带雨图像分为高频、低频两部分，其中残差信息Ires的计算过程如公式(2)所示。
其中，Ires代表图像残差信号，Ic代表图像对应第c∈{r,g,b}通道的图像信号，Id代表第d∈{r,g,b}通道的图像信号，{r,g,b}分别代表图像的红(red)、绿(green)、蓝(blue)三个通道。
该方法将带雨图像划分成高、低频后，根据前述物理模型(如公式(1)所示)进行各项参数估计，实现图像去雨。Li等人的工作虽然考虑了图像高、低频部分信息对去雨结果的影响。但是他们提出的雨图像高低频区分方式依然基于上述物理模型，且对高、低频部分物理模型参数做了较强的假设限制，不能够充分表示带雨图像中背景信息和雨纹之间的复杂耦合关系。此外，现有的去雨方法大多都局限于某种特定的雨模型，无法适应雨类型多样的应用场景。
发明内容
为了解决上述存在的问题，本发明提出了一种基于多密度雨纹感知的图像去雨方法，并提出了一种分类代价敏感的类标签编码方式，以实现雨纹密度的有效分类，从而明确区分图像的雨类型；更为有效地结合带雨图像的高、低频部分信息，通过识别雨类型信息，辅助动态学习雨纹和图像背景的复杂非线性耦合逆过程，实现对比度强、细节清晰的图像去雨结果。
所述基于多密度雨纹感知的图像去雨方法包括以下步骤：
步骤S1，获取原始带雨图像O和低频辅助图像IRG，构建低频无雨图像提取网络，并利用所述低频无雨图像提取网络对于所述带雨图像O和低频辅助图像IRG进行处理，得到目标无雨图像的低频部分Bl；
步骤S2，构建高频多尺度雨密度感知网络，并利用所述高频多尺度雨密度感知网络对于所述原始带雨图像O进行处理，采用多尺度方式并行地提取所述原始带雨图像中不同密度类型的雨条纹Si和与之耦合的背景信息高频部分Bh，得到所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)，其中，i表示不同雨条纹密度类型；
步骤S3，融合所述原始带雨图像O、带雨图像O的低频部分Bl以及所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)，构建去雨子网络，并利用所述去雨子网络对于得到的融合信息进行处理，得到目标无雨图像。
在一些实施例中，所述低频辅助图像IRG可表示为：
IRG＝λ·Ires+(1-λ)·Ogray；
其中，λ∈[0,1]为图像混合比例系数，Ires为残差信息，Ogray为所述原始带雨图像O的灰度图像。
在一些实施例中，所述低频无雨图像提取网络包括多个网络部分，每个网络部分包含6个卷积块，每个卷积块的内部结构相同，均由两组卷积过程构成，每一组卷积过程包括：卷积层、批正则化层和非线性激活函数层。
在一些实施例中，所述高频多尺度雨密度感知网络包括不同大小的多个卷积网络分支。
在一些实施例中，所述卷积网络分支包括6个卷积块和相应的下采样、上采样层。
在一些实施例中，所述步骤S2中的利用所述高频多尺度雨密度感知网络对于所述原始带雨图像O进行处理，包括以下步骤：
步骤S21，利用所述高频多尺度雨密度感知网络中不同大小的多个卷积网络分支并行提取所述原始带雨图像中的雨条纹信息和与之耦合的背景信息高频部分，得到与所述卷积网络分支对应的特征图；
步骤S22，将所述多个卷积网络分支提取得到的特征图在通道方向上进行串联，得到所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)。
在一些实施例中，所述步骤S3中融合所述原始带雨图像O、带雨图像O的低频部分Bl以及所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)，可实施为：将所述原始带雨图像O、带雨图像O的低频部分Bl以及所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)在通道方向上串联。
在一些实施例中，所述去雨子网络包含三个卷积层。
在一些实施例中，还包括：
步骤S4，构建雨密度类型分类网络，并采用多任务训练机制利用所述雨密度类型分类网络作为辅助学习网络，提高前述高频多尺度雨密度感知网络的准确性。
在一些实施例中，所述雨密度类型分类网络包括7个卷积块、7个下采样层和3个连续全联接层，所述卷积块包括卷积层、批量正则化层和非线性激活函数层。
本发明对于雨纹和背景信息的非线性耦合逆过程进行了建模，从而可以有效地处理现实生活中多种雨类型场景，能够在不同雨密度情况下生成高质量无雨清晰图像，具有较强的环境适应性。
附图说明
图1是根据本发明一实施例的一种基于多密度雨纹感知的图像去雨方法的框架示意图。
图2是根据本发明一实施例的低频无雨图像提取网络的结构示意图。
图3是根据本发明一实施例共同采用的卷积块的内部结构示意图。
图4是根据本发明一实施例的多尺度雨密度感知网络的结构示意图。
图5是根据本发明一实施例的去雨子网络的结构示意图。
图6是根据本发明一实施例的雨密度类型分类器网络的结构示意图。
图7是根据本发明一实施例的分类损失距离比较示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明认为带雨图像可以由下式表示：
其中，O表示带雨图像，Si表示第i种密度的雨条纹图像，Bh代表无雨图像的高频背景信息，Bl代表无雨图像的低频背景信息，Ψi表示第i种密度的雨条纹图像与高频背景信息混合的非线性耦合关系，Φ代表低频背景信息与混合信息的非线性耦合关系。
基于上述图像高低频各类信号的耦合关系，本发明构建一网络模型，以实现图像去雨的非物理处理。图1是根据本发明一实施例提出的一种基于多密度雨纹感知的图像去雨方法的框架示意图，如图1所示，所述方法包括以下步骤：
步骤S1，获取原始带雨图像O和低频辅助图像IRG，构建低频无雨图像提取网络，并利用所述低频无雨图像提取网络对于所述带雨图像O和低频辅助图像IRG进行处理，得到目标无雨图像的低频部分Bl。
上文公式(2)中所计算得到的残差信息Ires虽然可以去除大部分的雨条纹，且保留了图片大体的低频结构信息，是作为低频辅助图像的一个不错的选择，但是该残差信息图像整体偏暗，且保留的低频有效信息不够充分。在本发明一实施例中，将其与所述带雨图像的灰度图像Ogray进行按权重混合，来得到结构信息更为丰富的所述低频辅助图像IRG，混合方式如公式(4)所示：
IRG＝λ·Ires+(1-λ)·Ogray (4)
其中，λ∈[0,1]为图像混合比例系数，在本发明实例中设置为0.8。
经过上述混合后，所述低频辅助图像在视觉上整体亮度提升，在保证低频无雨内容占主要部分的同时，还保留了更多的图片整体结构信息。
图2是根据本发明一实例提出的低频无雨图像提取网络的结构示意图，因其网络结构形似字母“W”，可将其命名为“W-Net”。在本发明一实施例中，W-Net分为四个阶段“编码-解码-编码-解码”阶段，也可称为四个网络部分，每个阶段均包含了6个卷积块。在编码阶段，相邻卷积块之间插入下采样操作；在解码阶段，相邻卷积块之间插入上采样操作。原始带雨图像O和低频辅助图像IRG作为网络的共同输入Iinput，在本实例中，将二者在通道方向进行串接，即Iinput＝concat(O,IRG)。所有图像统一归一化到512×512大小，O为RGB彩色通道，IRG为灰度单通道，因此，网络输入特征大小为512×512×4。在本实例中，网络的输出Bl大小也设置为512×512×4。
具体参数如下表1所示。
表1.低频无雨图像提取网络(W-Net)参数示例
表1中，卷积块II-1～II-6、卷积块IV-1～IV-6分别表示解码阶段所使用的6个卷积块，卷积块I-1～I-6、卷积块III-1～III-6分别表示编码阶段所使用的6个卷积块。
卷积块的参数表示为(w×h×in×out)，其中，w、h分别表示卷积块内部卷积核的宽和高，以表征卷积核的空间大小，in表示卷积块的输入通道数，out表示卷积块的输出通道数。每个卷积块的内部结构均相同，分别由两组卷积过程构成，每一组卷积过程包括：卷积层、批正则化层和非线性激活函数(ReLU)层，如图3所示。通过填补策略和步长设置，卷积块的卷积过程可以不改变特征映射的空间大小。
下采样过程采用2×2的平均池化(average pooling)操作。池化过程中没有需要学习的参数，只有超参数过滤器大小s＝2和步幅t＝2。假设池化层的输入特征图为
输出特征图为
代表像素点(x,y)处的特征向量，则具体的池化过程可以表示成公式(5)所示。因此，在本实例中，池化层输出特征图的长和宽各为输入特征图的1/2。
上采样过程采用2×2的双线性插值。上采样过程同样没有需要学习的参数。具体地，假设输入特征图为
输出特征图为
代表像素点(x,y)处的特征向量。采用双线性插值计算该位置的特征时，通过寻找输入特征图中距离对应坐标
最近的四个像素点，分别记为(x1,y1)(x2,y1)(x1,y2)(x2,y2)，这里
计算过程如公式(6)所示。
因此，在本实例中，上采样层输出特征图的长和宽各位输入特征图的2倍大小。
为了避免因网络结构加深而出现过拟合的现象，在本发明一实施例中，采用了U-Net结构中的跳跃连接(skip connection)残差设计。跳跃连接主要通过特征复用增加信息的冗余性，在实践中已被广泛验证能够降低模型训练的学习难度，促进模型收敛的速度。在本实例中，在W-Net的相邻编码-解码两阶段的每个卷积块，采用跳跃连接。具体地，编码阶段第i层的卷积块输出
(即对应下采样平均池化层的输入
与解码阶段对应层的上采样输出
进行相连，作为解码阶段第i层卷积块的输入。在本实例中，跳跃连接可用公式(7)表示，其中
表示特征向量的元素加(element-wise addition)。
步骤S2，构建高频多尺度雨密度感知网络，并利用所述高频多尺度雨密度感知网络对于所述原始带雨图像O进行处理，采用多尺度的方式并行地提取所述原始带雨图像中不同密度类型的雨条纹Si和与之耦合的背景信息高频部分Bh，其中，i表示不同雨条纹密度类型，得到所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)。
图4是根据本发明一实施例提出的高频多尺度雨密度感知网络(Multi-scaleRaindrop Density Perceptron,MRDP)的结构示意图。考虑到带雨图像中存在不同粗细的雨条纹，采用单一大小的卷积核往往不能有效提取不同密度的雨条纹信息，因此，在本发明的一实施例中，所述高频多尺度雨密度感知网络采用不同大小的卷积核进行带雨图像高频信息的处理。具体地，可设置不同尺度大小的多个卷积网络分支来并行提取所述原始带雨图像的雨条纹信息比如图4所示的高频多尺度雨密度感知网络包括3个卷积网络分支，其大小分别为3×3，5×5和7×7。最后，将各路卷积网络分支提取出的特征图在通道方向上进行串联，得到多尺度的高频特征映射图。考虑到雨条纹和背景高频内容的耦合情况比较复杂，难以简单地分离出来，因此使用所述高频多尺度雨密度感知网络实际抽取的信息，准确地说应该是上述公式(3)中由非线性耦合关系Ψi表示的中间高频混合信息，即所述原始带雨图像O的高频混合部分Ψi(Bh,Si)。也就是说，经过上述MRDP网络，提取的高频混合信息Ψi(Bh,Si)主要包含：(1)多个尺度的雨条纹信息；(2)与雨条纹交织耦合的、难分离的少量图像背景高频信息。MRDP网络输入是原始带雨图像O，其大小为512×512×3，输出的特征由三路分支特征图的通道方向的串联得到，其中，每路分支的特征图的大小为512×512×3，因此，网络的总输出特征映射大小为512×512×9。
即所述步骤S2中的利用所述高频多尺度雨密度感知网络对于所述原始带雨图像O进行处理的步骤，包括以下步骤：
步骤S21，利用所述高频多尺度雨密度感知网络中不同大小的多个卷积网络分支并行提取所述原始带雨图像中的雨条纹信息和与之耦合的背景信息高频部分，得到与所述卷积网络分支对应的特征图；
步骤S22，将所述多个卷积网络分支提取得到的特征图在通道方向上进行串联，得到所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)。
在本发明一实施例中，所述MRDP网络的每一路卷积网络分支均由6个卷积块和相应的下采样、上采样层构成，所述卷积块的内部结构与图3所示卷积块的内部结构相同。所述卷积块的卷积过程不改变特征图的空间大小，只调整通道数。以大小为5×5的卷积网络分支为例，具体参数如表2所示。
表2.多尺度雨密度感知网络一卷积网络分支参数示例
步骤S3，融合所述原始带雨图像O、带雨图像O的低频部分Bl以及所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)，构建去雨子网络，并利用所述去雨子网络对于得到的融合信息进行处理，去除所述原始带雨图像中的雨纹信息并保留其中丰富的背景细节信息，得到目标无雨图像；
图5是根据本发明一实施例提出的去雨子网络的结构示意图。所述去雨子网络的输入融合了所述低频无雨图像提取网络和高频多尺度雨密度感知网络的输出信息，具体的融合方式可采用通道方向串联。为尽量减少可能存在的信息丢失，在网络构建过程中，还进行了信息复用，即所述去雨子网络的输入信息还融合了所述原始带雨图像O的原始细节信息。因此，在本发明一实施例中，所述去雨子网络的输入特征映射最终大小为512×512×16。
我们认为，预处理特征抽取得越好，后续任务的处理方法将会更简单。因此，在本发明一实施例中，所述去雨子网络仅包含三个卷积层，所有的卷积核大小均为3×3。卷积过程中图像填补大小为1(padding＝1)，步长为1(stride＝1)。所述卷积过程不改变图像的空间大小。所述去雨子网络的输出为最终的去雨结果图，即所述目标无雨图像，其大小为512×512×3。所述去雨子网络的具体卷积参数如表3所示。
表3.去雨子网络参数示例
在本发明一实施例中，所述方法还包括对于所述源带雨图像O进行雨密度类别分类的步骤，即步骤S4，构建雨密度类型分类网络，并采用多任务训练机制(multi-tasktraining)，利用所述雨密度类型分类网络作为辅助学习网络，提高所述高频多尺度雨密度感知网络的准确性，即提高所述高频多尺度雨密度感知网络所抽取的高频雨痕条纹信息的类别鉴别力，在实现所述带雨图像O所属雨密度类型的准确检测的同时，提高模型训练的有效性和不同雨密度类型的适应性。
在本发明一实施例中，雨密度类型可分为大雨、中雨和小雨。图6是根据本发明一实施例的雨密度类型分类网络的结构示意图。如图6所示，所述雨密度类型分类网络的输入为所述高频多尺度雨密度感知网络输出的所述带雨图像的高频混合信息Ψi(Bh,Si)(以雨条纹信息为主)，大小为512×512×9，输出为表征雨密度类型的编码向量。所述雨密度类型分类网络包括7个卷积块、7个下采样层和3个连续全联接层，其中，所述卷积层不改变图像大小，只改变特征的通道数。所述卷积核的空间大小均为3×3，且所述卷积块内部包括卷积层、批量正则化层和非线性激活函数层。下采样层采用最大池化操作(max pooling)。最大池化过程与平均池化过程类似，区别在于最大池化操作是取过滤器范围内的最大元素，而平均池化则取平均。
在本发明一实施例中，所述雨密度类型分类网络的具体参数如表4所示。输入特征向量空间大小为512×512，通道数为9。卷积块不改变特征的空间大小。下采样层的输出特征长和宽均为输入的1/2。因此，经过7次下采样后，卷积块VII的输出特征图大小为
我们将此特征图进行特征拉伸，展开成16384维的一维向量，作为后续全连接层的输入特征。
表4.雨密度类型分类网络参数示例
在多分类任务中，现有技术通常会选择交叉熵作为网络训练的损失函数。根据交叉熵损失函数的定义，网络输出是分类类别的概率向量。真实类别标签则相应地表示成one-hot向量形式，例如，大雨[1,0,0]、中雨[0,1,0]、小雨[0,0,1]。
所述的One-hot向量[a1,...,aj,...,aK]，K为类别总数。当类别为c时，
交叉熵损失函数，存在一定的局限性，如图7左图所示，交叉熵损失函数定义分类错误具备同样的代价，如将实际标签为小雨类别的图像分成大雨类别或中雨类别的损失是一样，显然这是不合理的，对于去雨方法的学习能力和类型适应能力也没有帮助。为此，在本发明一实施例中，提出一种雨密度类型累积编码策略，如大雨类别标记为[1,1,1]、中雨标记为[0,1,1]、小雨标记为[0,0,1]，如图7右图所示。
所述的类别标签累积编码策略，首先将类别按照某种有序的方式进行排列，例如本发明实例中，雨密度按照小雨、中雨、大雨的顺序进行排列，然后可以表示成向量[a1,...,aj,...,aK]，K为类别总数。当类别为c时，
基于该累积编码策略，简单地计算最小平方误差距离(MSE)，例如某两类的编码分别为
则该两类之间的距离等于|t-k|。距离和类别序号之间的距离有关系，因此，在学习过程中便可根据不同的错分情况给予相应的惩罚，使得学习正确且高效。
基于上述，所述低频无雨图像提取网络、高频多尺度雨密度感知网络、高低频信息融合去雨子网络和雨密度类型分类网络组成一个基于多密度雨纹感知的端到端图像去雨网络。在本发明一实施例中，所述基于多密度雨纹感知的端到端图像去雨网络训练的最终损失函数可由两部分组成：(1)图像去雨结果的视觉恢复质量，(2)雨密度类型分类损失，以共同辅助学习模型优化参数。如下式所示：
Loss＝αv·MSELoss(B,B*)+αc·MSELoss(z,z*) (10)
其中，B,z分别代表预测的去雨结果图和雨密度分类结果编码向量；B*,z*分别代表真实的无雨图和真实的雨类型，αv，αc分别代表视觉损失和分类损失的比重系数，在本发明一实施例中，分别设置为1，1。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多密度雨纹感知的图像去雨方法，其特征在于，所述方法包括以下步骤：
步骤S1，获取原始带雨图像O和低频辅助图像IRG，构建低频无雨图像提取网络，并利用所述低频无雨图像提取网络对于所述带雨图像O和低频辅助图像IRG进行处理，得到目标无雨图像的低频部分Bl；
步骤S2，构建高频多尺度雨密度感知网络，并利用所述高频多尺度雨密度感知网络对于所述原始带雨图像O进行处理，采用多尺度方式并行地提取所述原始带雨图像中不同密度类型的雨条纹Si和与之耦合的背景信息高频部分Bh，得到所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)，其中，i表示不同雨条纹密度类型；
步骤S3，融合所述原始带雨图像O、目标无雨图像的低频部分Bl以及所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)，构建去雨子网络，并利用所述去雨子网络对于得到的融合信息进行处理，得到目标无雨图像。
2.根据权利要求1所述的方法，其特征在于，所述低频辅助图像IRG可表示为：
IRG＝λ·Ires+(1-λ)·Ogray；
其中，λ∈[0,1]为图像混合比例系数，Ires为残差信息，Ogray为所述原始带雨图像O的灰度图像。
3.根据权利要求1所述的方法，其特征在于，所述低频无雨图像提取网络包括多个网络部分，每个网络部分包含6个卷积块，每个卷积块的内部结构相同，均由两组卷积过程构成，每一组卷积过程包括：卷积层、批正则化层和非线性激活函数层。
4.根据权利要求1所述的方法，其特征在于，所述高频多尺度雨密度感知网络包括不同大小的多个卷积网络分支。
5.根据权利要求4所述的方法，其特征在于，所述卷积网络分支包括6个卷积块和相应的下采样、上采样层。
6.根据权利要求1所述的方法，其特征在于，所述步骤S2中的利用所述高频多尺度雨密度感知网络对于所述原始带雨图像O进行处理，包括以下步骤：
步骤S21，利用所述高频多尺度雨密度感知网络中不同大小的多个卷积网络分支并行提取所述原始带雨图像中的雨条纹信息和与之耦合的背景信息高频部分，得到与所述卷积网络分支对应的特征图；
步骤S22，将所述多个卷积网络分支提取得到的特征图在通道方向上进行串联，得到所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)。
7.根据权利要求1所述的方法，其特征在于，所述步骤S3中融合所述原始带雨图像O、目标无雨图像的低频部分Bl以及所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)，可实施为：将所述原始带雨图像O、目标无雨图像的低频部分Bl以及所述原始带雨图像O的高频部分混合信息Ψi(Bh,Si)在通道方向上串联。
8.根据权利要求1所述的方法，其特征在于，所述去雨子网络包含三个卷积层。
9.根据权利要求1所述的方法，其特征在于，还包括：
步骤S4，构建雨密度类型分类网络，并采用多任务训练机制利用所述雨密度类型分类网络作为辅助学习网络，提高前述高频多尺度雨密度感知网络的准确性。
10.根据权利要求9所述的方法，其特征在于，所述雨密度类型分类网络包括7个卷积块、7个下采样层和3个连续全联接层，所述卷积块包括卷积层、批量正则化层和非线性激活函数层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911109299.3A CN110866879B (zh) | 2019-11-13 | 2019-11-13 | 一种基于多密度雨纹感知的图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911109299.3A CN110866879B (zh) | 2019-11-13 | 2019-11-13 | 一种基于多密度雨纹感知的图像去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110866879A CN110866879A (zh) | 2020-03-06 |
| CN110866879B true CN110866879B (zh) | 2022-08-05 |
Family
ID=69654163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911109299.3A Active CN110866879B (zh) | 2019-11-13 | 2019-11-13 | 一种基于多密度雨纹感知的图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110866879B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815526B (zh) * | 2020-06-16 | 2022-05-10 | 中国地质大学（武汉） | 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统 |
| CN112288738B (zh) * | 2020-11-18 | 2022-07-29 | 新疆大学 | 基于深度学习的单幅图像去雪花方法、装置及存储介质 |
| CN112541880A (zh) * | 2020-12-07 | 2021-03-23 | 南昌航空大学 | 基于深度学习分支图像去雨系统及控制方法 |
| DE112020007845T5 (de) * | 2020-12-15 | 2023-10-05 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Einrichtung zur Bildverarbeitung |
| CN113240589A (zh) * | 2021-04-01 | 2021-08-10 | 重庆兆光科技股份有限公司 | 一种多尺度特征融合的图像去雾方法及系统 |
| CN113191339B (zh) * | 2021-06-30 | 2021-10-12 | 南京派光智慧感知信息技术有限公司 | 一种基于视频分析的轨道异物侵限监测方法及系统 |
| CN114627005B (zh) * | 2022-02-16 | 2024-04-12 | 武汉大学 | 一种雨密度分类引导的双阶段单幅图像去雨方法 |
| CN115034999B (zh) * | 2022-07-06 | 2024-03-19 | 四川大学 | 一种基于雨雾分离处理和多尺度网络的图像去雨方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732489A (zh) * | 2013-12-19 | 2015-06-24 | 现代自动车株式会社 | 从图像数据中去除雨纹的图像处理装置和图像处理方法 |
| CN107240084A (zh) * | 2017-06-14 | 2017-10-10 | 湘潭大学 | 一种单幅图像去雨方法及装置 |
| CN108520501A (zh) * | 2018-03-30 | 2018-09-11 | 西安交通大学 | 一种基于多尺度卷积稀疏编码的视频去雨雪方法 |
| CN108648159A (zh) * | 2018-05-09 | 2018-10-12 | 华南师范大学 | 一种图像去雨方法及系统 |
| CN108765344A (zh) * | 2018-05-30 | 2018-11-06 | 南京信息工程大学 | 一种基于深度卷积神经网络的单幅图像雨线去除的方法 |
| CN109035157A (zh) * | 2018-06-25 | 2018-12-18 | 华南师范大学 | 一种基于静态雨纹的图像去雨方法及系统 |
| CN109064419A (zh) * | 2018-07-12 | 2018-12-21 | 四川大学 | 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法 |
| CN109360156A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于生成对抗网络的图像分块的单张图像去雨方法 |
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
| CN110070506A (zh) * | 2019-04-15 | 2019-07-30 | 武汉大学 | 一种基于多尺度混合指数模型的视频去雨方法 |
| CN110288535A (zh) * | 2019-05-14 | 2019-09-27 | 北京邮电大学 | 一种图像去雨方法和装置 |
| CN110310238A (zh) * | 2019-06-18 | 2019-10-08 | 华南农业大学 | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 |
| CN110378849A (zh) * | 2019-07-09 | 2019-10-25 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
| CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282827B2 (en) * | 2017-08-10 | 2019-05-07 | Wipro Limited | Method and system for removal of rain streak distortion from a video |
-
2019
- 2019-11-13 CN CN201911109299.3A patent/CN110866879B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732489A (zh) * | 2013-12-19 | 2015-06-24 | 现代自动车株式会社 | 从图像数据中去除雨纹的图像处理装置和图像处理方法 |
| CN107240084A (zh) * | 2017-06-14 | 2017-10-10 | 湘潭大学 | 一种单幅图像去雨方法及装置 |
| CN108520501A (zh) * | 2018-03-30 | 2018-09-11 | 西安交通大学 | 一种基于多尺度卷积稀疏编码的视频去雨雪方法 |
| CN108648159A (zh) * | 2018-05-09 | 2018-10-12 | 华南师范大学 | 一种图像去雨方法及系统 |
| CN108765344A (zh) * | 2018-05-30 | 2018-11-06 | 南京信息工程大学 | 一种基于深度卷积神经网络的单幅图像雨线去除的方法 |
| CN109035157A (zh) * | 2018-06-25 | 2018-12-18 | 华南师范大学 | 一种基于静态雨纹的图像去雨方法及系统 |
| CN109064419A (zh) * | 2018-07-12 | 2018-12-21 | 四川大学 | 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法 |
| CN109360156A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于生成对抗网络的图像分块的单张图像去雨方法 |
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
| CN110070506A (zh) * | 2019-04-15 | 2019-07-30 | 武汉大学 | 一种基于多尺度混合指数模型的视频去雨方法 |
| CN110288535A (zh) * | 2019-05-14 | 2019-09-27 | 北京邮电大学 | 一种图像去雨方法和装置 |
| CN110310238A (zh) * | 2019-06-18 | 2019-10-08 | 华南农业大学 | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 |
| CN110378849A (zh) * | 2019-07-09 | 2019-10-25 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
| CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
Non-Patent Citations (2)
| Title |
|---|
| CONTEXT-AWARE SINGLE IMAGE RAIN REMOVAL;DE AN HUANG ET AL.;《2012 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》;20120913;全文 * |
| 多尺度卷积神经网络的单幅图像去雨方法;郭继昌 等;《哈尔滨工业大学学报》;20180702;第50卷(第3期);第185-191页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110866879A (zh) | 2020-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866879B (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| Mehra et al. | ReViewNet: A fast and resource optimized network for enabling safe autonomous driving in hazy weather conditions | |
| WO2019169816A1 (zh) | 一种用于精细化识别车辆属性的深度神经网络及训练方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN109558806B (zh) | 高分遥感图像变化的检测方法 | |
| CN110310241B (zh) | 一种融合深度区域分割的多大气光值交通图像去雾方法 | |
| CN110555465B (zh) | 一种基于cnn与多特征融合的天气图像识别方法 | |
| CN111428556B (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN110503613B (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
| CN109215053B (zh) | 一种无人机航拍视频中含暂停状态的运动车辆检测方法 | |
| CN111815528A (zh) | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 | |
| CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN110717921B (zh) | 改进型编码解码结构的全卷积神经网络语义分割方法 | |
| CN115359370B (zh) | 一种遥感图像云检测方法、装置、计算机装置及存储介质 | |
| CN110728640A (zh) | 一种双通道单幅图像精细去雨方法 | |
| CN113409355A (zh) | 一种基于fpga的运动目标识别系统及方法 | |
| CN114092774B (zh) | 基于信息流融合的rgb-t图像显著性检测系统及检测方法 | |
| Liang et al. | Learning to remove sandstorm for image enhancement | |
| CN115019340A (zh) | 一种基于深度学习的夜间行人检测算法 | |
| Chen et al. | Colorization of infrared images based on feature fusion and contrastive learning | |
| CN107301625B (zh) | 基于亮度融合网络的图像去雾方法 | |
| Kumar et al. | Enhanced machine perception by a scalable fusion of RGB–NIR image pairs in diverse exposure environments | |
| CN111815529B (zh) | 一种基于模型融合和数据增强的低质图像分类增强方法 | |
| CN114565764A (zh) | 基于舰船实例分割的港口全景感知系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230414 Address after: No. 99 Ziyang Avenue, Nanchang High tech Industrial Development Zone, Nanchang City, Jiangxi Province 330224 Music Art Square, Yaohu Campus, Jiangxi Normal University, National University Science Park, Maker Space S15 Patentee after: NANCHANG MONI SOFTWARE Co.,Ltd. Address before: 99 No. 330022 Jiangxi city of Nanchang Province Ziyang Avenue Patentee before: Jiangxi Normal University |
|
| TR01 | Transfer of patent right |