CN110796623A - 一种基于渐进式残差网络的红外图像去雨方法及装置 - Google Patents
一种基于渐进式残差网络的红外图像去雨方法及装置 Download PDFInfo
- Publication number
- CN110796623A CN110796623A CN201911050736.9A CN201911050736A CN110796623A CN 110796623 A CN110796623 A CN 110796623A CN 201911050736 A CN201911050736 A CN 201911050736A CN 110796623 A CN110796623 A CN 110796623A
- Authority
- CN
- China
- Prior art keywords
- progressive
- network
- residual error
- infrared image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000750 progressive effect Effects 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000010276 construction Methods 0.000 claims abstract description 16
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 31
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 230000004913 activation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于渐进式残差网络的红外图像去雨方法及装置，该方法包括：构建渐进式残差网络；在渐进式残差网络中引入了递归层，产生渐进式循环网络；获取用于训练的带雨滴的红外图像，对渐进式循环网络进行训练，得到训练好的渐进式循环网络；将待去雨的带雨滴的红外图像输入至训练好的渐进式循环网络，输出去雨图像。该装置包括：依次连接的渐进式残差网络构建模块、渐进式循环网络构建模块、渐进式循环网络训练模块以及红外图像去雨模块。本发明的基于渐进式残差网络的红外图像去雨方法及系统，方法简单，去雨效果良好，更好地保存了图像的亮度信息。
Description
技术领域
本发明涉及红外图像处理技术领域，特别涉及一种基于渐进式残差网络的红外图像去雨方法及装置。
背景技术
由于科技的迅速发展以及民用红外成像设备的普及，红外图像开始越来越多的出现在人们日常生活当中。在科研以及社会生产中，红外成像具有了不可代替的地位，例如气象分析、汽车辅助驾驶、医学影像等。而在现实世界的场景中，尤其是对于户外场景，雨总是令人讨厌和不可避免的麻烦，雨滴在图像中以雨痕形式出现，这将显著改变或降低图像的质量，会使得特征细节丢失，将显著改变或降低图像的质量。
由于单幅图像不像视频图像一样具有时域信息，所以去雨工作有很大的挑战。目前国内外解决该问题的方法主要分为两大类，一类是基于滤波的去雨，但去雨结果仍然存在容易出现模糊、由于强调边缘导致去雨不彻底或由于雨痕方向密度以及尺度不确定，所以雨痕检测准确性低，去雨的效果不是很理想等缺点。另一种方法是基于深度学习的去雨，其共同思想仅限于将去除视为回归问题，并以完全监督的方式使用CNN结构学习合成多雨输入与地面实况之间的映射，这限制了它们在实际中的一般性，可扩展性和实用性在真实的世界多雨的场景。
目前，单幅图像去雨研究虽然取得了一定的成果，但依旧存在如下问题：当单幅雨天图像中雨滴形成雨线时，现有算法去雨不佳；去雨后图像过于模糊或者易残留雨痕，从而视觉效果不佳；由于单幅图像能够利用的信息很有限，为了取得比较好的去雨的效果，大多数方法都比较复杂，没有办法兼顾去雨的效果与实时性；并且目前还没有一套完整的去雨评价指标对去雨算法进行定量的评估。
发明内容
本发明针对上述现有技术中存在的问题，提出一种基于渐进式残差网络的红外图像去雨方法及装置，基于渐进式残差网络，并引入了递归层，方法简单，并且能达到良好的去雨效果，还更好地保存了图像的亮度信息。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种基于渐进式残差网络的红外图像去雨方法，其包括以下步骤：
S11：构建渐进式残差网络；
S12：在所述S11构建的渐进式残差网络中引入了递归层，产生渐进式循环网络；
S13：获取用于训练的带雨滴的红外图像，利用用于训练的带雨滴的红外图像对所述S12产生的渐进式循环网络进行训练，得到训练好的渐进式循环网络；
S14：将待去雨的带雨滴的红外图像输入至训练好的渐进式循环网络，输出去雨图像。
较佳地，所述S13还包括：获取用于测试的带雨滴的红外图像，利用所述用于测试的带雨滴的红外图像对训练好的渐进式循环网络进行测试，以防止神经网络出现过拟合，若测试不通过则重新划分训练集和测试集。
较佳地，所述S11中的渐进式残差网络包括：多个残差模块，所述多个残差模块之间为渐进式，其不断将之前层的输出的阶段性结果和原始红外雨像作为输入进行训练，因此，训练的输出可以不断和前面的输入进行对比，以此得到最好的结果。
所述残差模块的公式为：
y＝F(X,{Wi})+WsX；
其中，X代表参考层的输入向量，Wi代表代表第i个残差模块相关的一组权值，Ws代表线性投影方阵，y代表带雨滴的红外图像。
较佳地，所述S11中的渐进式残差网络包括：依次连接的输入卷积层、残差模块以及输出卷积层；
所述输入卷积层用于接收网络输入；
所述残差模块用于在输入特征基础上提取深度特征表示；
所述输出卷积层用于输出去雨结果。
较佳地，所述S11中，在阶段t的渐进式残差网络的推断表示为：
xt-0.5＝fin(xt-1,y)，
xt＝fout(fres(xt-0.5))；
其中，fin，fres以及fout分别代表卷积层接收网络输入、残差模块提取深度表示以及卷积层输出去雨结果，且都是阶段不变的，xt-0.5代表阶段t-0.5的输入，xt代表阶段t的输入，y代表带雨滴的红外图像。
较佳地，所述S12中渐进式循环网络的表达式为：
xt-0.5＝fin(xt-1,y)，
st＝frecurrent(st-1,xt-0.5)，
xt＝fout(fres(st))；
其中，frecurrent代表递归层，在阶段采用和循环状态st-1作为输入，使用长短期记忆网络(LSTM)实现。st代表代表阶段t的周期性状态，st-1代表阶段t-1的周期性状态。
本发明还提供一种基于渐进式残差网络的红外图像去雨装置，其包括：依次连接的渐进式残差网络构建模块、渐进式循环网络构建模块、渐进式循环网络训练模块以及红外图像去雨模块；其中，
所述渐进式残差网络构建模块用于构建渐进式残差网络；
所述渐进式循环网络构建模块用于在所述渐进式残差网络构建模块构建的渐进式残差网络中引入了递归层，产生渐进式循环网络；
所述渐进式循环网络训练模块用于获取用于训练的带雨滴的红外图像，利用用于训练的带雨滴的红外图像对所述渐进式循环网络构建模块产生的渐进式循环网络进行训练，得到训练好的渐进式循环网络；
所述红外图像去雨模块用于将待去雨的带雨滴的红外图像输入至所述渐进式循环网络训练模块训练好的渐进式循环网络，输出去雨图像。
较佳地，基于渐进式残差网络的红外图像去雨装置还包括：渐进式循环网络测试模块，其设置于所述渐进式循环网络训练模块以及红外图像去雨模块之间；
所述渐进式循环网络测试模块用于获取用于测试的带雨滴的红外图像，利用用于测试的带雨滴的红外图像对训练好的渐进式循环网络进行测试。
较佳地，所述渐进式残差网络构建模块中的渐进式残差网络包括：多个残差模块，所述多个残差模块之间为渐进式，其不断将之前层的输出的阶段性结果和原始雨像作为输入进行训练，因此，训练的输出可以不断和前面的输入进行对比，以此得到最好的结果。
相较于现有技术，本发明具有以下优点：
(1)本发明提供的基于渐进式残差网络的红外图像去雨方法及装置，基于渐进式残差网络，通过渐进地将残差网络展开成多个阶段以及不增加模型参数形成渐进式残差网络(PRN)，同时，引入了一个递归层，利用递归阶段的深层特性的依赖性，形成渐进式循环网络(PReNet)，从而达到良好的去雨效果；
(2)本发明提供的基于渐进式残差网络的红外图像去雨方法及装置，可将图像视频信息通过神经网络中的滤波器分为细节信息和亮度信息，对细节信息进行去雨处理，保留亮度信息，所以不论是背景亮度较高或较低，雨纹较密集或稀疏，本发明都能够将雨纹去除的较为彻底，且更好地保留了原图像的亮度信息；
(3)本发明提供的基于渐进式残差网络的红外图像去雨方法及装置，通过对训练好的渐进式循环网络进行测试，能够得到更好的渐进式循环网络，去雨效果更好。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明的一实施例的基于渐进式残差网络的红外图像去雨方法的流程图；
图2为本发明的一实施例的残差模块的结构图；
图3为本发明的一实施例的渐进式残差网络的结构图；
图4为本发明的一实施例的渐进式循环网络的结构图；
图5a1为本发明的一实施例的无雨红外图像；
图5a2为本发明的一实施例的与图5a1对应的有雨红外图像；
图5a3为本发明的一实施例的渐进式残差网络对图5a2的去雨结果；
图5a4为本发明的一实施例的渐进式循环网络对图5a2的去雨结果；
图5b1为本发明的一实施例的无雨红外图像；
图5b2为本发明的一实施例的与图5b1对应的有雨红外图像；
图5b3为本发明的一实施例的渐进式残差网络对图5b2的去雨结果；
图5b4为本发明的一实施例的渐进式循环网络对图5b2的去雨结果；
图5c1为本发明的一实施例的无雨红外图像；
图5c2为本发明的一实施例的与图5c1对应的有雨红外图像；
图5c3为本发明的一实施例的渐进式残差网络对图5c2的去雨结果；
图5c4为本发明的一实施例的渐进式循环网络对图5c2的去雨结果；
图6a为采用本发明的基于渐进式残差网络的红外图像去雨方法得到的去雨结果；
图6b为采用现有的高斯混合模型(GMM)优化方法得到的去雨结果；
图6c为采用现有的基于深度卷积神经网络(CNN)的联合雨水探测和清除(JORDER)模型得到的去雨结果。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示为本发明的一实施例的基于渐进式残差网络的红外图像去雨方法的流程图。
请参考图1，本实施例的基于渐进式残差网络的红外图像去雨方法包括以下步骤：
S11：构建渐进式残差网络；具体地，残差网络的思想是假设设计一个网络层，存在最优化的网络层次，那么往往设计的深层次网络是有很多网络层为冗余层的。那么希望这些冗余层能够完成恒等映射，保证经过该恒等层的输入和输出完全相同；
S12：在S11构建的渐进式残差网络中引入了递归层，产生渐进式循环网络；
S13：获取用于训练的带雨滴的红外图像，利用用于训练的带雨滴的红外图像对S12产生的渐进式循环网络进行训练，得到训练好的渐进式循环网络；
S14：将待去雨的带雨滴的红外图像输入至训练好的渐进式循环网络，输出去雨图像。
残差网络中最重要的残差模块，一实施例中，残差模块的结构图如图2所示，包括任意堆叠的两层网络，X是这一层残差模块的输入，F(x)是经过第一层线性变化并激活后的输出，该图表示在残差网络中，第二层进行线性变化之后激活之前，F(x)加入了这一层输入值X，然后再进行激活后输出。在第二层输出值激活前加入X。对于一个堆积层结构，当输入为x时其学习到的特征记为H(x)，现在希望可以学习到残差F(x)＝H(x)-x，这样其实原来的学习特征时F(x)+x。当残差为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降。实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而有更好的性能。残差单元的公式为：
y＝F(X,{Wi})+WsX (1)
其中，上式中X代表参考层的输入向量，Wi代表代表第i个残差模块相关的一组权值，Ws代表线性投影方阵，y代表带雨滴的红外图像。
较佳实施例中，S11中渐进式残差网络包括：依次连接的输入卷积层、残差模块以及输出卷积层。其中，输入卷积层用于接收网络输入；残差模块用于在输入特征基础上提取深度特征表示；输出卷积层用于输出去雨结果。
S11中，在阶段t的渐进式残差网络的推断表示为：
xt-0.5＝fin(xt-1,y) (2)
xt＝fout(fres(xt-0.5)) (3)
其中，fin，fres以及fout分别代表卷积层接收网络输入、残差模块提取深度表示以及卷积层输出去雨结果，且都是阶段不变的，xt-0.5代表阶段t-0.5的输入，xt代表阶段t的输入，y代表带雨滴的红外图像。
fin将当前估计xt-1和雨天图像y的串联作为输入。与仅输入xt-1相比，y的包含可以进一步提升去雨效果。网络输出可以是雨层或干净背景图像的预测。
较佳实施例，渐进式循环网络的结构示意图如图4所示。通过该层可以传播跨阶段的特征依赖性以便于去除雨条，从而产生渐进式循环网络(PReNet)。PReNet的架构如图4所示。通过用T递推阶段展开PReNet，便于雨条纹去除的深度表示由递归状态传播。PReNet和PRN之间的唯一区别是包含了复发状态st，其具体表达式为：
xt-0.5＝fin(xt-1,y) (4)
st＝frecurrent(st-1,xt-0.5) (5)
xt＝fout(fres(st)) (6)
其中，递归层在阶段t-1采用xt-0.5和循环状态st-1作为输入，使用长短期记忆网络(LSTM)实现。st代表代表阶段t的周期性状态，st-1代表阶段t-1的周期性状态。
具体地，一实施例中，渐进式残差网络(PRN)和递进递归网络(PReNet)的所有滤波器的尺寸均为3×3，步长为1×1。通常，fout是具有ReLU激活函数的非线性的1层卷积，fout是一个1层卷积，由于1通道y和1通道xt-1的级联，fin的卷积分别有6个通道和32个通道用于输入和输出。在第一次循环中，LSTM的所有卷积都有32个输入通道和32个输出通道。残差部分是去除雨水的关键模块。对于残差的实现，本实施例中以5个渐进式的残差模块作为常规形式的，每个ResBlock包含2个卷积层，然后是激活函数ReLU。所有卷积层接收32通道特性，没有下采样或升采样操作。
较佳实施例中，S13还包括：获取用于测试的带雨滴的红外图像，利用用于测试的带雨滴的红外图像对训练好的渐进式循环网络进行测试。
具体地，一实施例中，S13中用于训练和用于测试的带雨滴的红外图像包括：Rain12600和RainTrainH，Rain12600数据集包括1,000个干净的长波红外图像。每个干净的图像用于生成14个具有不同条纹方向和幅度的雨季图像。Rain12600有900个干净的图像用于训练，Rain1400有100个干净的图像用于测试。
上述实施例采用的渐进式残差网络无论对于长波红外合成曝光时间长的雨痕较连续的图像，还是曝光时间短的雨痕不连续的雨天图片，去雨效果都非常理想。图像测试结果如图5a1-5a4、5b1-5b4、5c1-5c4所示，可以得到不论是背景亮度较高，还是较低，雨纹较密集，还是稀疏，该网络都能够将雨纹去除的较为彻底，但是亮度较低的时候还是会模糊背景，提高背景亮度。但PreNet较PRN更好保留了原图像的亮度信息。
如图6a-6c所示，将PReNet与一种传统的优化方法(GMM)和的基于深度CNN的模型JORDER进行了对比。不难发现，GMM虽然能够将大部分的雨纹信息去除，但是图像顶部雨纹比较密集的地方还是残留了一些，而且该方法会使得图片一些类似雨纹亮度的信息丢失，使得图像的会变得比原先更模糊，亮度较低。JORDER会将雨滴的主体部分去除，但是会残留雨的边缘信息，该方法不会模糊掉背景。本发明的PReNet，不仅去雨效果良好，而且更好地保留了原图像的高度信息。
进一步地，采用用于训练的12,600个雨季图像和用于测试的1,400个雨季图像(Rain1400)对这三种方法进行了评估。从表1可以看出，渐进式循环网络在PSNR和SSIM方面都优于其他两种方法。
表1不同去雨方法的PNSR和SSIM均值
本发明还提供一种一种基于渐进式残差网络的红外图像去雨系统，一实施例中，其包括：依次连接的渐进式残差网络构建模块、渐进式循环网络构建模块、渐进式循环网络训练模块以及红外图像去雨模块。其中，渐进式残差网络构建模块用于构建渐进式残差网络；渐进式循环网络构建模块用于在渐进式残差网络构建模块构建的渐进式残差网络中引入了递归层，产生渐进式循环网络；渐进式循环网络训练模块用于获取用于训练的带雨滴的红外图像，利用用于训练的带雨滴的红外图像对渐进式循环网络构建模块产生的渐进式循环网络进行训练，得到训练好的渐进式循环网络；红外图像去雨模块用于将待去雨的带雨滴的红外图像输入至渐进式循环网络训练模块训练好的渐进式循环网络，输出去雨图像。
较佳实施例中，基于渐进式残差网络的红外图像去雨系统还包括：渐进式循环网络测试模块，其设置于渐进式循环网络训练模块以及红外图像去雨模块之间；用于获取用于测试的带雨滴的红外图像，利用用于测试的带雨滴的红外图像对训练好的渐进式循环网络进行测试。
较佳实施例中，渐进式残差网络构建模块中的渐进式残差网络包括：多个残差模块，多个残差模块之间为渐进式，其不断将之前层的输出的阶段性结果和原始雨像作为输入进行训练，因此，训练的输出可以不断和前面的输入进行对比，以此得到最好的结果。。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。
Claims (10)
1.一种基于渐进式残差网络的红外图像去雨方法，其特征在于，包括：
S11：构建渐进式残差网络；
S12：在所述S11构建的渐进式残差网络中引入了递归层，产生渐进式循环网络；
S13：获取用于训练的带雨滴的红外图像，利用用于训练的带雨滴的红外图像对所述S12产生的渐进式循环网络进行训练，得到训练好的渐进式循环网络；
S14：将待去雨的带雨滴的红外图像输入至训练好的渐进式循环网络，输出去雨图像。
2.根据权利要求1所述的基于渐进式残差网络的红外图像去雨方法，其特征在于，所述S13还包括：获取用于测试的带雨滴的红外图像，利用所述用于测试的带雨滴的红外图像对训练好的渐进式循环网络进行测试，以防止神经网络出现过拟合，若测试不通过则重新划分训练集和测试集。
3.根据权利要求1所述的基于渐进式残差网络的红外图像去雨方法，其特征在于，所述S11中的渐进式残差网络包括：多个残差模块，所述多个残差模块之间为渐进式，其不断将之前层的输出的阶段性结果和原始图像作为输入进行训练。
4.根据权利要求3所述的基于渐进式残差网络的红外图像去雨方法，其特征在于，所述残差模块的公式为：
y＝F(X,{Wi})+WsX；
其中，X代表参考层的输入向量，Wi代表第i个残差模块相关的一组权值，Ws代表线性投影方阵，y代表带雨滴的红外图像。
5.根据权利要求1所述的基于渐进式残差网络的红外图像去雨方法，其特征在于，所述S11中的渐进式残差网络包括：依次连接的输入卷积层、残差模块以及输出卷积层；
所述输入卷积层用于接收网络输入；
所述残差模块用于在输入特征基础上提取深度特征表示；
所述输出卷积层用于输出去雨结果。
6.根据权利要求5所述的基于渐进式残差网络的红外图像去雨方法，其特征在于，所述S11中，在阶段t的渐进式残差网络的推断表示为：
xt-0.5＝fin(xt-1,y)，
xt＝fout(fres(xt-0.5))；
其中，fin，fres以及fout分别代表卷积层接收网络输入、残差模块提取深度表示以及卷积层输出去雨结果，且都是阶段不变的，xt-0.5代表阶段t-0.5的输入，xt代表阶段t的输入，y代表带雨滴的红外图像。
7.根据权利要求6所述的基于渐进式残差网络的红外图像去雨方法，其特征在于，所述S12中渐进式循环网络的表达式为：
xt-0.5＝fin(xt-1,y)，
st＝frecurrent(st-1,xt-0.5)，
xt＝fout(fres(st))；
其中，frecurrent代表递归层，在阶段t-1采用xt-0.5和循环状态st-1作为输入，st代表代表阶段t的周期性状态，st-1代表阶段t-1的周期性状态。
8.一种基于渐进式残差网络的红外图像去雨装置，其特征在于，包括：依次连接的渐进式残差网络构建模块、渐进式循环网络构建模块、渐进式循环网络训练模块以及红外图像去雨模块；其中，
所述渐进式残差网络构建模块用于构建渐进式残差网络；
所述渐进式循环网络构建模块用于在所述渐进式残差网络构建模块构建的渐进式残差网络中引入了递归层，产生渐进式循环网络；
所述渐进式循环网络训练模块用于获取用于训练的带雨滴的红外图像，利用用于训练的带雨滴的红外图像对所述渐进式循环网络构建模块产生的渐进式循环网络进行训练，得到训练好的渐进式循环网络；
所述红外图像去雨模块用于将待去雨的带雨滴的红外图像输入至所述渐进式循环网络训练模块训练好的渐进式循环网络，输出去雨图像。
9.根据权利要求8所述的基于渐进式残差网络的红外图像去雨装置，其特征在于，还包括：渐进式循环网络测试模块，其设置于所述渐进式循环网络训练模块以及红外图像去雨模块之间；
所述渐进式循环网络测试模块用于获取用于测试的带雨滴的红外图像，利用用于测试的带雨滴的红外图像对训练好的渐进式循环网络进行测试。
10.根据权利要求8所述的基于渐进式残差网络的红外图像去雨装置，其特征在于，所述渐进式残差网络构建模块中的渐进式残差网络包括：多个残差模块，所述多个残差模块之间为渐进式，其不断将之前层的输出的阶段性结果和原始雨像作为输入进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911050736.9A CN110796623A (zh) | 2019-10-31 | 2019-10-31 | 一种基于渐进式残差网络的红外图像去雨方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911050736.9A CN110796623A (zh) | 2019-10-31 | 2019-10-31 | 一种基于渐进式残差网络的红外图像去雨方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110796623A true CN110796623A (zh) | 2020-02-14 |
Family
ID=69442333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911050736.9A Pending CN110796623A (zh) | 2019-10-31 | 2019-10-31 | 一种基于渐进式残差网络的红外图像去雨方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110796623A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112651898A (zh) * | 2021-01-12 | 2021-04-13 | 北京大学 | 一种基于记忆增强的视频去雨方法与装置 |
| CN113469913A (zh) * | 2021-07-06 | 2021-10-01 | 中南大学 | 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法 |
| CN114240761A (zh) * | 2020-09-09 | 2022-03-25 | 成都鼎桥通信技术有限公司 | 图像去雨模型训练方法、图像去雨方法及设备 |
| CN116091350A (zh) * | 2023-02-03 | 2023-05-09 | 泉州装备制造研究所 | 一种基于多级联递进卷积结构的图像去雨方法及系统 |
| CN116524199A (zh) * | 2023-04-23 | 2023-08-01 | 江苏大学 | 一种基于PReNet渐进式网络的图像去雨方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921789A (zh) * | 2018-06-20 | 2018-11-30 | 华北电力大学 | 基于递归残差网络的超分辨率图像重建方法 |
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
-
2019
- 2019-10-31 CN CN201911050736.9A patent/CN110796623A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921789A (zh) * | 2018-06-20 | 2018-11-30 | 华北电力大学 | 基于递归残差网络的超分辨率图像重建方法 |
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
Non-Patent Citations (1)
| Title |
|---|
| DONGWEI REN 等: "Progressive Image Deraining Networks: A Better and Simpler Baseline", 《ARXIV:1901.09221V3》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240761A (zh) * | 2020-09-09 | 2022-03-25 | 成都鼎桥通信技术有限公司 | 图像去雨模型训练方法、图像去雨方法及设备 |
| CN114240761B (zh) * | 2020-09-09 | 2023-09-22 | 成都鼎桥通信技术有限公司 | 图像去雨模型训练方法、图像去雨方法及设备 |
| CN112651898A (zh) * | 2021-01-12 | 2021-04-13 | 北京大学 | 一种基于记忆增强的视频去雨方法与装置 |
| CN112651898B (zh) * | 2021-01-12 | 2023-04-07 | 北京大学 | 一种基于记忆增强的视频去雨方法与装置 |
| CN113469913A (zh) * | 2021-07-06 | 2021-10-01 | 中南大学 | 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法 |
| CN113469913B (zh) * | 2021-07-06 | 2022-06-03 | 中南大学 | 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法 |
| CN116091350A (zh) * | 2023-02-03 | 2023-05-09 | 泉州装备制造研究所 | 一种基于多级联递进卷积结构的图像去雨方法及系统 |
| CN116524199A (zh) * | 2023-04-23 | 2023-08-01 | 江苏大学 | 一种基于PReNet渐进式网络的图像去雨方法及装置 |
| CN116524199B (zh) * | 2023-04-23 | 2024-03-08 | 江苏大学 | 一种基于PReNet渐进式网络的图像去雨方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110796623A (zh) | 一种基于渐进式残差网络的红外图像去雨方法及装置 | |
| CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| CN111861925B (zh) | 一种基于注意力机制与门控循环单元的图像去雨方法 | |
| CN111325165B (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
| CN112884073B (zh) | 图像去雨方法、系统、终端及存储介质 | |
| CN110580704A (zh) | 基于卷积神经网络的et细胞图像自动分割方法及系统 | |
| CN110288535B (zh) | 一种图像去雨方法和装置 | |
| CN113378775B (zh) | 一种基于深度学习的视频阴影检测与消除方法 | |
| CN111127354A (zh) | 一种基于多尺度字典学习的单图像去雨方法 | |
| CN111275638A (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN112241939A (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN113962905B (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| TWI780884B (zh) | 單圖像除雨方法及其系統 | |
| CN111027542A (zh) | 一种基于Faster RCNN算法改进的目标检测方法 | |
| CN114187581A (zh) | 一种基于无监督学习的驾驶员分心细粒度检测方法 | |
| CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN111160282B (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| CN115661535B (zh) | 一种目标去除背景恢复方法、装置和电子设备 | |
| CN115345801B (zh) | 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统 | |
| CN112804533B (zh) | 基于分块信息掩膜的hevc视频隐写分析网络方法及系统 | |
| Hu et al. | Enhancing Rainy Weather Driving: Deep Unfolding Network with PGD Algorithm for Single Image Deraining | |
| CN112634289A (zh) | 一种基于非对称空洞卷积的快速可行域分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200214 |
|
| RJ01 | Rejection of invention patent application after publication |