CN110009580B - 基于图片块雨滴密集度的单张图片双向去雨方法 - Google Patents

基于图片块雨滴密集度的单张图片双向去雨方法 Download PDF

Info

Publication number
CN110009580B
CN110009580B CN201910201413.9A CN201910201413A CN110009580B CN 110009580 B CN110009580 B CN 110009580B CN 201910201413 A CN201910201413 A CN 201910201413A CN 110009580 B CN110009580 B CN 110009580B
Authority
CN
China
Prior art keywords
picture
rain
raindrop
bidirectional
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910201413.9A
Other languages
English (en)
Other versions
CN110009580A (zh
Inventor
邱崧
翟高杰
孙力
徐伟
周梅
刘洪英
金豫
李庆利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201910201413.9A priority Critical patent/CN110009580B/zh
Publication of CN110009580A publication Critical patent/CN110009580A/zh
Application granted granted Critical
Publication of CN110009580B publication Critical patent/CN110009580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了一种基于图片块雨滴密集度的单张图片双向去雨方法，可对雨滴分布不均匀的图片去雨；根据分类器预测的单张图片不同区域的雨滴密集程度对图片块进行不同程度的去雨，防止过度去雨以及未能完全去雨。训练多个图片块双向去雨模块对不同尺寸的图片块去雨，通过生成的隐层编码加强编码器和生成器之间的关系，确保生成器能够根据雨滴密集程度进行去雨。修复模块针对拼接成的去雨后的图片不平滑和失真的现象进行修复。考虑到雨天图片中，密集的雨滴会产生雾化现象，在去雨网络中加入去雾模块。本发明针对分布不均匀的雨天图片进行去雨，并且采用循环结构针对重雨图片进行有效去雨，同时去除雨天产生的雾化现象。

Description

基于图片块雨滴密集度的单张图片双向去雨方法
技术领域
本发明涉及计算机视觉技术，尤其涉及深度学习及神经网络去雨技术，具体地说是一种基于图片块雨滴密集度的单张图片双向去雨方法。
背景技术
在下雨天，由于下落的雨滴比较密集，并且下落的雨滴受到光的反射，降低了背景的可见度，并且严重影响了图片的质量。可以观察到，在雨天拍摄的图像中，雨滴的密集程度，覆盖程度，以及雨滴的方向和形状都是不同的，使得雨天拍摄的图片模糊和变形。密集的雨滴也会产生雾气，造成雨天模糊。在不同的视觉应用中，下落的雨滴会影响到监控或者识别的效果。
雨滴去除算法可以分为，视频雨滴去除算法和单张静态图片雨滴去除算法，但是视频雨滴去除算法需要利用连续拍摄的几帧图片之间的关系，视频雨滴去除算法认为视频序列图片中，雨滴的形状，大小和方向是一致的。明显在只提供单张雨滴图片的情况下，视频去雨的方法是不适合的。
在单张静态雨滴图片去雨算法中，仅仅依据当前静态雨滴图片信息进行去雨，难度比视频去雨难度大。传统算法进行单帧静态去雨，利用稀疏矩阵或者字典学习等方法。例如，Jinet等人检测到了雨滴信息，并且用非局部中值滤波器只对雨滴像素点进行滤波。
但是现有的单张图片去雨算法，并没有有效的考虑雨滴的形状，方向以及密集程度的不同，会导致对图像的过度去雨或者未能完全去雨。相较于之前的去雨算法，He Zhang等人对输入图像估测雨滴密集程度，并且将预测到的雨滴密集程度信息融合到网络中。Xueyang Fu等人合成了足够大的数据集包含了雨滴图像的各种条件包含形状，大小，方向等，并且针对这个数据集训练了用于去雨的端到端的网络结构。上述两个去雨方法分别通过更改去雨模块以及扩大训练数据集对不同情况的雨天图片进行去雨。
但是在现实生活中，由于一些实物的遮挡，对于一整张雨滴图片，雨滴的密集程度也是变化的，对一张雨滴密集程度有变化的图片去雨，会产生图片去雨过度或者密集雨滴区域未能完全去除的情况。
邓君坪等人将图片分割成64*64图片块进行去雨，利用深度去噪编码器对分割出的图片块分布别进行去雨，未能考虑不同雨天图片块雨滴密集程度以及去雨后图片块拼接后不光滑和失真的情况，同时未能考虑雨滴产生的雾化现象。
发明内容
本发明的目的在于提供一种基于图片块雨滴密集度的单张图片双向去雨方法，该方法将图片分割成不同尺度的图片块，对一张图片各个图片块的密集程度进行估计，将相邻的预测为相同雨滴程度的图片块拼接成较大尺寸的图片块，并将一张雨滴图片的不同位置的密集程度融合到图片块双向去雨模块的生成器中。为了减少拼接去雨后图片块产生的不平滑现象，训练针对不同尺寸的图片块进行去雨的图片块双向去雨模块。同时，采用导向滤波器提取雨天图片的高频信息，并且利用残差结构提取的雨滴信息引导图片块双向去雨模块中生成器针对雨滴存在部分进行双向去雨，同时采用了循环单元进行重复多次去雨。现实生活中，密集的雨滴造成雾蒙蒙的天气，用训练好的去雾模块进行去除雾化现象操作。
实现本发明目的的具体技术方案是：
一种基于图片块雨滴密集度的单张图片双向去雨方法，该方法包括以下具体步骤，如图1所示：
步骤1：搭建分类器，分类器结构为三层卷积层连接两层全连接层，分类器输出对图片块预测出的雨滴密集程度；其中，所述雨滴密集程度为轻、中和重；
步骤2：训练分类器，训练集为有雨滴密集程度标签的图片块；其中，所述雨滴密集程度为轻、中和重，所述图片块尺寸为64*64；
步骤3：将整幅雨天图片512*512分割成64个图片块64*64，用训练好的分类器预测出这64个图片块的雨滴密集程度；
步骤4：在整幅雨天图片中，将被分类器预测为相同雨滴密集程度的临近的小尺寸的图片块合为大尺寸的图片块；其中，所述小尺寸的图片块为64*64；大尺寸的图片块为128*128、256*256或512*512；
步骤5：搭建针对不同尺寸的图片块双向去雨模块，图片块双向去雨模块采用双向去雨的结构，前向传播结构，将雨天图片块输入到生成器，生成器产生去雨后的图片块和雨滴层，编码器对生成器生成的雨滴层编码产生隐层编码，隐层编码表示雨滴层密集程度；反向传播结构，图片块的雨滴层输入到编码器，编码器生成隐层编码，通过生成的隐层编码控制生成器对图片块进行去雨的程度；利用图片块双向去雨模块中的双向连接，通过生成的隐层编码加强编码器和生成器之间的关系，确保图片块双向去雨模块的生成器根据雨滴密集程度控制去雨的程度；
步骤6：训练针对不同尺寸的图片块双向去雨模块，循环次数设为2到8之间，训练集为64*64、128*128、256*256和512*512的雨天图片块，并且不同图片块标有雨滴密集程度标签；将图片块雨滴密集程度标签融入图片块双向去雨模块中，用雨滴密集程度标签控制图片块双向去雨模块去雨的程度；
步骤7：将由步骤4合并后的图片块，根据图片块的不同的尺寸输入到针对不同尺寸图片块去雨的图片块双向去雨模块中，利用雨滴密集程度标签控制图片块双向去雨模块的去雨程度，防止过度去雨和未能彻底去雨；
步骤8：由步骤7得到不同尺寸的去雨后的图片块，将去雨后的图片块拼接成完整的图片；
步骤9：搭建修复模块，修复模块为卷积层间有连接的神经网络，用于修复拼接去雨后图片块不平滑和失真现象；
步骤10：训练修复模块，训练集为拼接后的不平滑图片以及背景图片；
步骤11：用训练好的修复模块修复由步骤8得到的去雨后的图片，修复拼接去雨后图片块造成的拼接处不平滑以及图片失真情况；
步骤12：搭建去雾模块，去雾模块为四支路卷积神经网络，每支路采用棋盘格卷积，四支路采用不同的棋盘格卷积构成循环单元，四支路融合不同的特征信息；
步骤13：训练去雾模块，训练集为轻度雾天图片和背景图片；
步骤14：利用训练好的去雾模块对由步骤11得到的图片进行去除雾化操作；
步骤15：最后输出去雨后的图片。
步骤5中，所述将雨天图片块输入到生成器，其生成器结构为：四支路卷积神经网络，每支路采用棋盘格卷积组合循环单元，四支路融合不同的特征信息；加入注意力机制，用导向滤波器提取雨天图片高频信息，经过深度残差结构提取雨滴信息，将提取到的雨滴位置信息作为先验信息控制图片块双向去雨模块针对有雨区域进行去雨。
步骤5中，所述编码器对生成器生成的雨滴层编码产生隐层编码，其编码器结构为：四层卷积层连接三层全连接层；采用交叉熵损失函数训练编码器，雨滴层输入到编码器后，前向传播中，确保编码器生成表示雨滴密集程度标签的隐层编码，反向传播中，利用编码器生成的隐层编码控制生成器去雨的程度。
步骤6中，所述循环次数设为2到8之间，将用于不同尺寸图片块进行去雨的图片块双向去雨模块遍历所有的循环次数，根据训练好的图片块双向去雨模块在测试集测出的结构相似度(SSIM)指标，将图片块双向去雨模块在测试集测得最高结构相似度指标所用的循环次数设为最终图片块双向去雨模块所用的循环次数。
本发明涉及到一种基于图片块雨滴密集度的单张图片双向去雨方法，能够实现单幅图像去雨操作。由于本发明涉及到的去雨方法考虑到雨滴密集程度分布不均匀的情况，整个去雨算法能够感知雨天图片不同区域的雨滴密集程度，不同尺寸的雨天图片块分别采用针对不同尺寸雨天图片块的双向去雨方法，减少拼接去雨后图片块造成的不平滑现象。本发明涉及到的一种基于图片块雨滴密集度的单张图片双向去雨方法较好的利用雨滴密集程度处理雨天图片中雨滴分布不均匀的情况。修复模块针对拼接成的去雨后的图片不平滑和失真的现象进行修复，并且能够处理雨天图片中雾化现象，整个去雨过程实现了自动化处理，无需人工干涉。
附图说明
图1为本发明流程图；
图2为图片块双向去雨模块中前向传播结构；
图3为图片块双向去雨模块中反向传播结构；
图4为图片块双向去雨模块中生成器结构；
图5为棋盘格卷积核结构；
图6为修复模块结构；
图7为去雾模块结构；
图8为本发明各模块效果。
具体实施方式
下面结合附图和具体实施例对本发明做进一步解释。
本发明包括以下具体步骤：
步骤1：训练分类器，训练集为有雨滴密集程度(轻、中、重)标签的图片块(尺寸64*64)，分类器结构为卷积层和全连接层，分类器输出对图片块预测出的雨滴密集程度；
步骤2：将单张雨天图片的不同图片块(尺寸64*64)输入到训练好的分类器，得到单张图片不同位置的雨滴密集程度，使得整幅雨天图片不同位置标有雨滴轻、中、重密集程度的标签；
步骤3：在整幅雨天图片中，将被分类器预测为相同雨滴密集程度的临近的小尺寸(64*64)的图片块合为大尺寸(128*128、256*256或512*512)的图片块；
步骤4：训练针对不同尺寸的图片块双向去雨模块，训练集为尺寸为64*64、128*128、256*256和512*512的雨天图片块，并且不同图片块标有雨滴密集程度标签。将图片块雨滴密集程度标签融入图片块双向去雨模块中，用雨滴密集程度标签控制图片块双向去雨模块去雨的程度。此步骤用于训练出四个针对不同尺寸的图片块双向去雨模块，分别为用于对尺寸为64*64、128*128、256*256和512*512的雨天图片块进行去雨的图片块双向去雨模块；
步骤5：将由步骤3合并后的图片块，根据图片块的不同的尺寸输入到针对不同尺寸图片块去雨的图片块双向去雨模块中，如将合并后为128*128的雨天图片块输入到针对128*128图片块进行去雨的图片块双向去雨模块中，将合并后尺寸为128*128图片块的雨滴密集程度标签融合到图片块双向去雨模块中，利用雨滴密集程度标签控制图片块双向去雨模块的去雨程度，防止过度去雨和未能彻底去雨；
步骤6：将由步骤5得到的去雨后不同尺寸的图片块拼接成的完整的图片；
步骤7：训练修复模块，训练集为拼接后的不平滑图片以及背景图片；
步骤8：用训练好的修复模块修复由步骤6得到的去雨后的图片，修复由拼接去雨后图片块造成的拼接处不平滑以及图片失真情况；
步骤9：训练去雾模块，训练集为仿真轻度雾天图片和背景图片；
步骤10：用由步骤9训练好的去雾模块去除雨天存在的雾化现象。
本发明较佳实施方式中，步骤1中，训练的分类器为三分类分类器。训练数据集为具有大、中、小雨滴密集程度标签的雨天图片块，使用交叉熵损失函数更新分类器参数，设计更新分类器采用的损失函数为：
V指分类器，ci指雨天图片块对应的雨滴密集程度，oi指输入的雨天图片块。利用交叉熵损失函数更新训练器的参数，n指用于训练的图片块个数，分类器用于判别图片块雨滴密集程度，并且控制图片块双向去雨模块中的生成器去雨的程度。通过神经网络中的优化器利用梯度下降方式让损失值逐渐降低。
本发明较佳实施方式中，其中，步骤4中，图片块双向去雨模块采用双向去雨的结构，图2为图片块双向去雨模块中的前向传播结构，前向传播结构包括生成器，编码器和判别器，其中，生成器根据输入的雨滴密集程度标签控制去雨的程度，生成器输出去雨后的图片块和雨滴层，用编码器对生成的雨滴层进行编码，利用编码器对生成的雨滴层编码生成隐层编码，隐层编码表示图片块雨滴密集程度。判别器用于在生成器去雨后的图片和背景图片之间判别，使得生成器生成的图片更加真实和背景图片更接近。图3为图片块双向去雨模块中的反向传播结构，反向传播结构包括编码器和生成器，其中编码器首先对真实雨天图片的雨滴层进行编码，编码器产生表示雨滴密集程度的隐层编码，生成器融入编码器生成的隐层编码，控制生成器去雨的程度。图片块双向去雨模块通过生成的隐层编码加强编码器和生成器之间的关系，确保生成器能够根据雨滴密集程度控制生成器去雨的程度，通过编码器和生成器构成连续的损失函数，进而可以互相训练、互相提高。编码器(E)能够确保图片块双向去雨模块根据雨滴密集程度对雨天图片块去雨的程度，判别器(D)使得去雨后图片更加真实。采用交叉熵损失函数Lc,s(E)更新编码器，s为雨滴层图片。采用生成对抗损失函数更新判别器和生成器，使得生成器去雨后图片更加真实。更新图片块双向去雨模块参数损失函数如下：
前向传播损失函数如下：
o＝o1
反向传播损失函数如下：
s＝o-b
Lc,s(E)＝∑-c log P(E(s))
Lbackward＝Lc,s+LG_backward
图片块双向去雨模块损失函数：
Lstage-I＝Lforward+Lbackward
R指一共循环次数，k指第k次循环。o指输入雨天图片块，ok指第k次循环后图片块双向去雨模块生成器去雨后图片。每次循环将上次去雨后的图片块作为图片块双向去雨模块的输入。FDCNN指图片块双向去雨模块的生成器，c指训练数据集中图片块标有的雨滴密集程度标签，b指对应的背景图片块。通过神经网络中的优化器利用梯度下降方式让损失值逐渐降低。
本发明较佳实施方式中，步骤4中，将训练图片分成不同尺寸的图片块，对于64*64、128*128、256*256和512*512尺寸的图片块，分别训练四个图片块双向去雨模块进行去雨，每个图片块双向去雨模块的生成器采用相同的结构，如图4所示，生成器采用四支路卷积神经网络融合不同的特征信息，四个支路组合不同的循环单元，每个循环支路不同在于棋盘格卷积的结构和循环单元的组合顺序，利用隐层单元记住每次循环去雨过程中的去雨信息。每个循环支路由3个循环单元组成。每个循环单元包括不同结构的棋盘格卷积。循环单元可以帮助图片块双向去雨模块的生成器循环过程中循序渐进的去雨，每次循环可以有记忆地进行本次循环需要去雨的程度。图5为棋盘格卷积结构，棋盘格卷积将卷积核中不同位置的值设为0，图中黑色方格为卷积核中值设为0的区域，增加卷积的感受野，让每个卷积输出包含较大范围的信息。不同的棋盘格卷积结构可以帮助模块提取图片不同的特征。设计更新图片块双向去雨模块生成器采用的损失函数：
o＝o1
ok+1＝FDCNN(ok,c) 1≤k≤S
R指一共循环次数，k指第k次循环。o指输入雨天图片块，ok指第k次循环后图片块双向去雨模块生成器去雨后图片。每次循环将上次去雨后的图片块作为图片块双向去雨模块的输入。FDCNN指图片块双向去雨模块的生成器，c指训练数据集中图片块标有的雨滴密集程度标签，b指对应的背景图片块。通过神经网络中的优化器利用梯度下降方式让损失值逐渐降低。
本发明较佳实施方式中，其中，步骤7中，采用卷积层间互相连接的卷积神经网络修复由去雨后图片块拼接成的去雨图片，修复模块结构如图6所示，采用空洞卷积层连接卷积层，空洞卷积层提取出代表图片背景信息的特征，不丢失图片基本信息。
设计修复模块更新损失函数：
B'＝FRESTORE(O)
Lstage-II＝||B-B'||1
O是用图片块双向去雨模块去雨后的图片块拼接成的整幅去雨后的图片，FRESTORE指修复模块，B'指经由模块修复后的图片，B是背景干净无雨图片，利用损失函数针对拼接成的去雨图片和干净的背景图片之间的差异训练修复模块，修复模块可以针对拼接成的图片存在的不平滑和失真现象进行修复。通过神经网络中的优化器利用梯度下降方式让损失值逐渐降低。
本发明较佳实施方式中，其中，步骤10中，训练去雾模块用于去除雾化现象操作，去雾模块采用如图7所示的结构实现去除雾化操作，去雾模块结构为四支路卷积神经网络，每支路采用棋盘格卷积，四支路采用不同的棋盘格卷积构成循环单元，每支路融合不同的特征信息。训练去雾模块时，数据集采用512*512轻度雾天的数据集。
实施例
参阅图1至图8，本实施例包括如下步骤：
步骤1：训练用于判别单张雨天图片的不同位置雨滴密集程度的分类器，用训练好的分类器预测整幅雨天图片不同位置的雨滴密集程度。
具体地，分类器采用不同结构的滤波器组合不同卷积层，组合图片块的不同特征，最后连接全连接层。分类器训练集采用从均匀分布雨天图片中分割图片块(尺寸64*64)，并且标有雨滴密集程度标签。将雨天图片块(尺寸64*64))输入分类器预测出雨滴密集程度，希望预测出的雨滴密集程度和对应标记的雨滴密集程度一致，用交叉熵损失函数更新分类器参数。
步骤2：在整幅雨天图片中，将邻近的有相同雨滴密集程度标签的小尺寸的图片块合为大尺寸的图片块。
具体地，分类器输入图片尺寸为64*64，分类器预测出雨天图片不同图片块的雨滴密集程度。将邻近的预测为相同雨滴密集程度的雨天图片块拼接为较大尺寸的雨天图片块。较大尺寸的图片块有128*128，256*256还有512*512。将邻近的有相同雨滴密集程度的图片块拼接后尺寸在64*64和128*128之间，则选择拼接为64*64；在128*128和256*256之间，则选择拼接为128*128，在256*256和512*512之间，则选择拼接为256*256；若大于512*512，则全部拼接为512*512。由图2所示，去雨网络整体结构为图片块双向去雨模块和修复模块以及去雾模块相结合，图片块双向去雨模块对尺寸为64*64，128*128，256*256和512*512的图片块进行去雨操作，由于去雨后图片块拼接后有不平滑现象，采用修复模块对拼接后去雨图片不平滑现象进行修复。
步骤3：将有雨滴密集程度标签的图片块，根据其不同大小的尺寸输入到不同的去雨网络中，将雨滴密集程度标签融合到图片块双向去雨模块控制生成器去雨程度。
本实施例中，训练不同尺寸的图片块双向去雨模块，图片块尺寸分别为64*64、128*128、256*256还有512*512。将雨天图片中不同尺寸的雨天图片块用不同的图片块双向去雨模块进行去雨。从而减轻将去雨后图片块拼接后产生的不平滑和失真现象。
训练不同尺寸的图片块双向去雨模块时，将循环次数设为2到8之间，用不同循环次数训练针对不同尺寸图片块去雨的图片块双向去雨模块，根据训练好的图片块双向去雨模块在测试集的结构相似度(SSIM)指标，将在双向去雨模块中结构相似度指标最高所用的循环次数作为图片块双向去雨模块最终使用的循环次数。
图片块双向去雨模块的生成器采用注意力机制，利用导向滤波器提取高频特征，引导图片块双向去雨模块生成器针对雨滴存在位置进行去雨。四个循环支路采用卷积神经网络，每支路卷积核采用棋盘格卷积核，融合四支路不同的特征信息，每个循环支路组合不同的循环单元，使得图片块双向去雨模块利用隐层记住每次循环去雨过程中的去雨信息。循环单元可以帮助图片块双向去雨模块的生成器在循环过程中循序渐进的去雨。
图片块双向去雨模块采用双向去雨的结构，其中前向传播结构如图2所示，利用编码器对生成的雨滴层编码生成隐层编码，隐层编码代表图片块密集程度。反向传播结构如图3所示，利用编码器对图片块的雨滴层进行编码，利用生成的隐层编码控制生成器对图片块进行去雨的程度。图片块双向去雨模块通过生成的隐层编码加强编码器和生成器之间的关系，确保生成器能够根据雨滴密集程度控制生成器去雨的程度，并且通过编码器和生成器产生连续的损失函数，使生成器和编码器之间互相训练、互相提高。
步骤4：将去雨后的图片块拼接成完整的图片。
具体地，图片块尺寸为64*64、128*128、256*256还有512*512，将去雨后的图片块拼接为512*512大小的整张图片。对图8(a)所示的雨天图片进行去雨，图8(a)所示的雨天图片雨滴密集并且存在雾化现象，图片块双向去雨模块去雨效果图如图8(b)所示，去雨后图片块拼接成的一整张图片，由于相邻图片块拼接处不平滑，造成拼接后的整张图片并不平滑。
步骤5：用网络层之间有连接的修复模块修复由第四步得到的去雨后的图片，修复由拼接去雨后图片块造成的拼接处不平滑以及图片失真情况。
本实施例中，利用损失函数针对拼接成的去雨图片和干净的背景图片之间的差异训练修复模块，修复模块可以针对拼接后的图片不平滑和失真现象进行修复。修复模块修复后的效果图如图8(c)所示，从图中可以看出修复模块去除了拼接图片块造成的不平滑和块状现象。
步骤6：利用去雾模块进行去除雾化现象操作。
本实施例中，由于去雨后图片雾化现象只是由于密集雨滴产生的雾气，雾化现象不严重，可以训练去除雾化模块，用去雾模块针对雾化现象进行处理。去雾模块去除雾化现象后的效果图如图8(d)所示，从图中可以看出，去雾模块减轻了密集的雨滴造成的雾蒙蒙的现象。
相较于现有技术，本发明涉及到一种基于图片块雨滴密集度的单张图片去雨方法，能够实现单幅图像去雨操作。由于本发明涉及到的去雨方法考虑到单张图片中雨滴密集程度分布不均匀的情况，本发明去雨方法能够感知雨天图片中不同区域的雨滴密集程度，针对不同尺寸的雨天图片块分别采用不同的雨天图片块双向去雨模块，减少去雨后图片块造成的不平滑现象。修复模块能够针对拼接成的去雨后的图片不平滑和失真的现象进行修复。本发明涉及到的去雨算法能够较好的处理雨天图片中雨滴分布不均匀的情况，并且能够处理雨天图片中雾化现象，整个去雨过程实现了自动化处理，无需人工干涉。
上述实施方式为本发明的优选案例，并不用来限制本发明的实施范围。

Claims (4)

1.一种基于图片块雨滴密集度的单张图片双向去雨方法，其特征在于，该方法包括以下具体步骤：
步骤1：搭建分类器，分类器结构为三层卷积层连接两层全连接层，分类器输出对图片块预测出的雨滴密集程度；其中，所述雨滴密集程度为轻、中和重；
步骤2：训练分类器，训练集为有雨滴密集程度标签的图片块；其中，所述雨滴密集程度为轻、中和重，所述图片块尺寸为64*64；
步骤3：将整幅雨天图片512*512分割成64个图片块，用训练好的分类器预测出这64个图片块的雨滴密集程度；
步骤4：在整幅雨天图片中，将被分类器预测为相同雨滴密集程度的临近的小尺寸的图片块合为大尺寸的图片块；其中，所述小尺寸的图片块为64*64；大尺寸的图片块为128*128、256*256或512*512；
步骤5：搭建针对不同尺寸图片块去雨的图片块双向去雨模块，图片块双向去雨模块采用双向去雨的结构，前向传播结构，将雨天图片块输入到生成器，生成器产生去雨后的图片块和雨滴层，编码器对生成器生成的雨滴层编码生成隐层编码，隐层编码表示雨滴层密集程度；反向传播结构，图片块的雨滴层输入到编码器，编码器生成隐层编码，通过生成的隐层编码控制生成器对图片块进行去雨的程度；利用图片块双向去雨模块中的双向连接，通过生成的隐层编码加强编码器和生成器之间的关系，确保图片块双向去雨模块的生成器根据雨滴密集程度控制去雨的程度；
步骤6：训练针对不同尺寸图片块去雨的图片块双向去雨模块，循环次数设为2到8之间，训练集为64*64、128*128、256*256和512*512的雨天图片块，并且不同图片块标有雨滴密集程度标签；将图片块雨滴密集程度标签融入图片块双向去雨模块中，用雨滴密集程度标签控制图片块双向去雨模块去雨的程度；
步骤7：将由步骤4合并后的图片块，根据图片块的不同尺寸输入到针对不同尺寸图片块的图片块双向去雨模块中，利用雨滴密集程度标签控制图片块双向去雨模块的去雨程度，防止过度去雨和未能彻底去雨；
步骤8：由步骤7得到不同尺寸的去雨后的图片块，将去雨后的图片块拼接成完整的图片；
步骤9：搭建修复模块，修复模块为卷积层间有连接的神经网络，用于修复拼接去雨后图片块不平滑和失真现象；
步骤10：训练修复模块，训练集为拼接后的不平滑图片以及背景图片；
步骤11：用训练好的修复模块修复由步骤8得到的去雨后的图片，修复拼接去雨后图片块造成的拼接处不平滑以及图片失真情况；
步骤12：搭建去雾模块，去雾模块为四支路卷积神经网络，每支路采用棋盘格卷积，四支路采用不同的棋盘格卷积构成循环单元，每支路融合不同的特征信息；
步骤13：训练去雾模块，训练集为轻度雾天图片和背景图片；
步骤14：利用训练好的去雾模块对由步骤11得到的图片进行去除雾化操作；
步骤15：最后输出去雨后的图片。
2.根据权利要求1所述的单张图片双向去雨方法，其特征在于，步骤5中，所述将雨天图片块输入到生成器，其生成器结构为：四支路卷积神经网络，每支路采用棋盘格卷积组合循环单元，四支路融合不同的特征信息；加入注意力机制，用导向滤波器提取雨天图片高频信息，经过深度残差结构提取雨滴信息，将提取到的雨滴位置信息作为先验信息控制图片块双向去雨模块针对有雨区域进行去雨。
3.根据权利要求1所述的单张图片双向去雨方法，其特征在于，步骤5中，所述编码器对生成器生成的雨滴层编码产生隐层编码，其编码器结构为：四层卷积层连接三层全连接层；采用交叉熵损失函数训练编码器，雨滴层输入到编码器后，前向传播中，确保编码器生成表示雨滴密集程度标签的隐层编码，反向传播中，利用编码器生成的隐层编码控制生成器去雨的程度。
4.根据权利要求1所述的单张图片双向去雨方法，其特征在于，步骤6中，所述循环次数设为2到8之间，将用于不同尺寸图片块进行去雨的图片块双向去雨模块遍历所有的循环次数，根据训练好的双向去雨模块在测试集测出的结构相似度指标，将图片块双向去雨模块在测试集测得最高结构相似度指标所用的循环次数设为最终图片块双向去雨模块所用的循环次数。
CN201910201413.9A 2019-03-18 2019-03-18 基于图片块雨滴密集度的单张图片双向去雨方法 Active CN110009580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910201413.9A CN110009580B (zh) 2019-03-18 2019-03-18 基于图片块雨滴密集度的单张图片双向去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910201413.9A CN110009580B (zh) 2019-03-18 2019-03-18 基于图片块雨滴密集度的单张图片双向去雨方法

Publications (2)

Publication Number Publication Date
CN110009580A CN110009580A (zh) 2019-07-12
CN110009580B true CN110009580B (zh) 2023-05-12

Family

ID=67167162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910201413.9A Active CN110009580B (zh) 2019-03-18 2019-03-18 基于图片块雨滴密集度的单张图片双向去雨方法

Country Status (1)

Country Link
CN (1) CN110009580B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633626A (zh) * 2019-07-31 2019-12-31 浙江大学 一种针对雨天图片的卷积神经网络降雨强度在线量化方法
CN110610190A (zh) * 2019-07-31 2019-12-24 浙江大学 一种针对雨天图片的卷积神经网络降雨强度分类方法
CN110675330A (zh) * 2019-08-12 2020-01-10 广东石油化工学院 基于通道级注意力机制的编码-解码网络的图像去雨方法
CN110544217B (zh) * 2019-08-30 2021-07-20 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN110544221B (zh) * 2019-09-05 2022-03-29 迪爱斯信息技术股份有限公司 训练方法及装置、去雨方法、终端设备、存储介质
CN110570376B (zh) * 2019-09-10 2022-05-20 广州工程技术职业学院 一种图像去雨方法、装置、设备和计算机可读存储介质
CN110796623A (zh) * 2019-10-31 2020-02-14 上海融军科技有限公司 一种基于渐进式残差网络的红外图像去雨方法及装置
CN110838095B (zh) * 2019-11-06 2022-06-07 广西师范大学 一种基于循环密集神经网络的单幅图像去雨方法和系统
CN111340738B (zh) * 2020-03-24 2022-03-04 武汉大学 一种基于多尺度渐进融合的图像去雨方法
CN112686815A (zh) * 2020-12-24 2021-04-20 湖南大学 一种基于卷积神经网络的无人机单幅图像去雨方法
CN112862715B (zh) * 2021-02-08 2023-06-30 天津大学 一种实时且可控的尺度空间滤波方法
CN113538297B (zh) * 2021-08-27 2023-08-01 四川大学 基于梯度先验知识和n-s方程的图像去雨方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269241A (zh) * 2018-01-17 2018-07-10 武汉理工大学 结合雾天道路图像场景深度和道路图像特点的去雾算法
CN108615226A (zh) * 2018-04-18 2018-10-02 南京信息工程大学 一种基于生成式对抗网络的图像去雾方法
CN109360156A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于生成对抗网络的图像分块的单张图像去雨方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101582479B1 (ko) * 2012-05-15 2016-01-19 에스케이 텔레콤주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269241A (zh) * 2018-01-17 2018-07-10 武汉理工大学 结合雾天道路图像场景深度和道路图像特点的去雾算法
CN108615226A (zh) * 2018-04-18 2018-10-02 南京信息工程大学 一种基于生成式对抗网络的图像去雾方法
CN109360156A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于生成对抗网络的图像分块的单张图像去雨方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Density-Aware Single Image De-raining Using a Multi-stream Dense Network;He Zhang et al.;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181216;全文 *
Toward Multimodal Image-to-image Translation;Junyan Zhu et al.;《arXiv: 1711.11586v4 [cs.CV]》;20181024;全文 *
单幅图像去雨算法的研究;朱玲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215;全文 *

Also Published As

Publication number Publication date
CN110009580A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110009580B (zh) 基于图片块雨滴密集度的单张图片双向去雨方法
CN110189278B (zh) 一种基于生成对抗网络的双目场景图像修复方法
CN112907479B (zh) 基于注意力机制的残差单幅图像去雨方法
CN111951207B (zh) 基于深度增强学习和语义损失的图像质量增强方法
CN104217404A (zh) 雾霾天视频图像清晰化处理方法及其装置
CN109584188B (zh) 一种基于卷积神经网络的图像去雾方法
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
CN110738622A (zh) 基于多尺度卷积的轻量级神经网络单图像去雾方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN111539888B (zh) 一种基于金字塔通道特征注意力的神经网络图像去雾方法
CN109410144A (zh) 一种基于深度学习的端到端图像去雾处理方法
CN110766640B (zh) 一种基于深度语义分割的图像去雾方法
CN113284070A (zh) 基于传递注意力机制的非均匀雾图去雾算法
CN112785517B (zh) 一种基于高分辨率表征的图像去雾方法和装置
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
CN113450261A (zh) 一种基于条件生成对抗网络的单幅图像去雾方法
CN113450267B (zh) 可快速获取多种自然退化图像复原模型的迁移学习方法
CN115689918A (zh) 一种基于残差先验注意力机制的并行单幅图像去雨方法
CN115393822A (zh) 一种雾天行车障碍物检测方法及设备
CN113191971A (zh) 一种基于yuv颜色空间的无人机图像去雾方法
CN114972076B (zh) 一种基于分层多块卷积神经网络的图像去雾方法
CN110738623A (zh) 一种基于透射谱指导的多级对比度拉伸去雾方法
Yan et al. Image Defogging Method for Transmission Channel Inspection by UAV Based on Deep Multi-patch Layered Network
CN112767258B (zh) 一种端到端的图像去沙尘暴方法
Huang et al. An End-to-End Network for Single Image Dedusting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant