CN110807749B - 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 - Google Patents

基于密集多尺度生成对抗网络的单幅图像去雨滴方法 Download PDF

Info

Publication number
CN110807749B
CN110807749B CN201911077785.1A CN201911077785A CN110807749B CN 110807749 B CN110807749 B CN 110807749B CN 201911077785 A CN201911077785 A CN 201911077785A CN 110807749 B CN110807749 B CN 110807749B
Authority
CN
China
Prior art keywords
network model
scale
image
model
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911077785.1A
Other languages
English (en)
Other versions
CN110807749A (zh
Inventor
夏海英
蓝洋
黎海生
宋树祥
吴玲玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianyou Zhilian Technology Co ltd
Nanning Zhuanju Intellectual Property Service Co ltd
Shenzhen Lan You Technology Co Ltd
Original Assignee
Lianyou Zhilian Technology Co ltd
Shenzhen Lan You Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianyou Zhilian Technology Co ltd, Shenzhen Lan You Technology Co Ltd filed Critical Lianyou Zhilian Technology Co ltd
Priority to CN201911077785.1A priority Critical patent/CN110807749B/zh
Publication of CN110807749A publication Critical patent/CN110807749A/zh
Application granted granted Critical
Publication of CN110807749B publication Critical patent/CN110807749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，将用特征重用的密集网络构建多尺度图像修复模型，并结合利用所述多尺度图像修复模型构建带注意力机制的判别网络模型，组成多尺度生成对抗网络模型，获取原始有雨图像、原始无雨图像和残差雨滴层，将所述原始无雨图像和所述残差雨滴层输入所述判别网络模型，利用所述判别网络模型与所述生成网络模型的误差，反向传播交替训练所述多尺度生成对抗网络模型，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后停止训练，利用训练好的所述生成网络模型生成去雨滴模型，去除单幅图像中相对较大和较密集的雨滴。

Description

基于密集多尺度生成对抗网络的单幅图像去雨滴方法
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法。
背景技术
在基于无人机的视频监控和自动驾驶汽车等许多应用中，附着在玻璃窗、挡风玻璃或镜头上的雨滴会妨碍背景场景的可见性，降低图像质量。主要是因为雨滴区域包含的图像与没有雨滴区域的图像不同，而且，在大多数情况下，照相机的焦点位于背景场景下，使雨滴的外观模糊不清，目前已经提出了一些方法来解决雨滴检测和去除问题，致力于探测雨滴，但不去除掉它们，其他方法被引入使用立体声、视频或专门设计的光学快门来检测和去除雨滴，但是不适用于普通相机拍摄的单个输入图像。在深度学习的方法中，有用一张图像去除雨滴或灰尘的方法，但是只能处理小雨滴，产生的效果并不好，不能处理相对较大和较密集的雨滴。
发明内容
本发明的目的在于提供一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，去除单幅图像中相对较大和较密集的雨滴。
为实现上述目的，本发明提供了一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，包括：
通过密集网络构建多尺度图像修复模型；
利用所述多尺度图像修复模型构建判别网络模型；
结合所述判别网络模型和生成网络模型组成多尺度生成对抗网络模型；
利用误差反向交替训练所述多尺度生成对抗网络模型；
利用训练好的所述生成网络模型生成去雨滴模型，去除雨滴。
其中，所述通过密集网络构建多尺度图像修复模型，包括：
利用特征重用的密集网络构建多个端到端的单尺度图像修复模型，将多个所述单尺度修复模型组合，形成多尺度图像修复模型。
其中，所述得到多个单尺度图像修复模型之后，所述方法还包括：
获取原始有雨图像和原始无雨图像，利用所述多尺度图像修复模型分别对原始有雨图像和原始无雨图像进行下采样和上采样处理，直至最后一个所述单尺度图像修复模型。
其中，利用所述多尺度图像修复模型构建判别网络模型，包括：
利用所述多尺度图像修复模型修复残差雨滴层时，残差雨滴层通过卷积操作形成带注意力机制的判别网络模型对修复的图像进行判别。
其中，结合所述判别网络模型和生成网络模型组成多尺度生成对抗网络模型，包括：
将多个所述多尺度图像修复模型进行串联，得到生成网络模型，利用所述生成网络模型输出的残差雨滴层加入所述判别网络模型组成多尺度生成对抗网络模型。
其中，所述形成多尺度生成对抗网络模型之后，所述方法还包括：
获取原始有雨图像、原始无雨图像和残差雨滴层，向所述多尺度生成对抗网络模型输入原始有雨图像得到去雨滴图片和去雨滴残差雨滴图片，将原始无雨图像和残差雨滴层作为第一组图片，将去雨滴图片和去雨滴残差雨滴图片作为第二组图片，将第一组图片和第二组图片分别输入判别网络模型，并输出对应的理想判别值，所述生成网络模型和所述判别网络模型相互对抗，直到去雨滴图片无限接近原始无雨图像。
其中，所述利用误差反向交替训练所述多尺度生成对抗网络模型，包括：
将所述原始有雨图像输入所述生成网络模型得到去雨滴图片和去雨滴残差雨滴图片，并将所述原始无雨图像和所述残差雨滴层输入所述判别网络模型进行判别，并计算所述判别网络模型与所述生成网络模型的误差。
其中，所述利用误差反向交替训练所述多尺度生成对抗网络模型，还包括：
根据计算得到的所述误差，反向传播交替训练所述判别网络模型和所述生成网络模型，并不断更新所述判别网络模型和所述生成网络模型的参数，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围，完成训练。
本发明还提供一种基于密集多尺度生成对抗网络的单幅图像去雨滴系统，所述基于密集多尺度生成对抗网络的单幅图像去雨滴系统包括多尺度图像修复模块、判别网络模块、生成网络模块和去雨滴模块，所述多尺度图像修复模块、所述判别网络模块、所述生成网络模块和所述去雨滴模块依次电性连接，
所述多尺度图像修复模块，用于将原始有雨图像和原始无雨图像利用多尺度图像修复模型进行多次上采样和下采样处理；
所述判别网络模块，用于对利用判别网络模型所述多尺度图像修复模块修复的图像进行判别；
所述生成网络模块，用于利用生成网络模型与判别网络模型之间的误差，生成对抗网络模型，进行反向交替训练；
所述去雨滴模块，用于根据训练完成的所述生成网络模型，去除单幅图像的雨滴。
本发明的一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，将用特征重用的密集网络构建多个端到端的单尺度图像修复模型进行组合，形成多尺度图像修复模型，利用所述多尺度图像修复模型构建带注意力机制的判别网络模型，结合所述判别网络模型和所述多尺度修复模型组成多尺度生成对抗网络模型，获取原始有雨图像、原始无雨图像和残差雨滴层，将所述原始有雨图像输入所述多尺度生成对抗网络模型得到去雨滴图片和去雨滴残差雨滴图片，并将所述原始无雨图像和所述残差雨滴层输入所述判别网络模型进行判别，利用所述判别网络模型与所述生成网络模型的误差，反向传播交替训练所述判别网络模型和所述生成网络模型，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后停止训练，利用训练好的所述生成网络模型生成去雨滴模型，去除单幅图像中相对较大和较密集的雨滴。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于密集多尺度生成对抗网络的单幅图像去雨滴方法的步骤示意图。
图2是本发明提供的多尺度图像修复模型的结构示意图。
图3是本发明提供的判别网络模型的结构示意图。
图4是是本发明提供的多尺度生成对抗网络模型的结构示意图。
图5是本发明提供的基于密集多尺度生成对抗网络的单幅图像去雨滴系统的结构示意图。
1-尺度图像修复模块、2-判别网络模块、3-生成网络模块、4-去雨滴模块。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1至图4，本发明提供一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，包括：
S101、通过密集网络构建多尺度图像修复模型。
具体的，参见图2，构建一个利用特征重用的密集网络作为第一个端到端单尺度图像修复网络模型我们称之为D1(x)，再构建一个利用特征重用的密集网络作为第二个端到端单尺度图像修复网络模型我们称之为D2(x)，同理可构建根据需要构建多个端到端单尺度图像修复网络模型，将多个所述单尺度修复模型组合，形成多尺度图像修复模型，一般将三个所述所述单尺度修复模型D1(x)、D2(x)、D3(x)组合，形成多尺度图像修复模型，获取原始有雨图像和原始无雨图像，利用所述多尺度图像修复模型分别对原始有雨图像和原始无雨图像进行下采样和上采样处理，直至最后一个所述单尺度图像修复模型，得到多尺度网络模型。
举例来说，设原始有雨图像为R，原始无雨图像为B，生成去雨滴图片为
Figure BDA0002263022410000041
R的像素为(row,col),令R1＝R，令R经过一次下采样(下采样通过一个卷积操作其步长为2)得的输出为R2，令R1经过一次下采样(下采样通过一个卷积操作其步长为2)得的输出为R3，那么D1(x)模型输入为R1,D2(x)模型输入为R2，D3(x)模型输入为R3。
假设D1(x)模型输出为B1,D2(x)模型输出为B2，D3(x)模型输出为B3，那么B3通过上采样(上采样通过一个反卷积操作其步长为2)之后与B2作通道连接在一起，再同通过一次卷积作通道融合得到新的B2，B2通过上采样(上采样通过一个反卷积操作其步长为2)之后与B1作通道连接在一起，再同通过一次卷积作通道融合得到新的B1，这就是多尺度网络模型。
S102、利用所述多尺度图像修复模型构建判别网络模型。
具体的，参见图3，利用所述多尺度图像修复模型去修复带雨滴图像的同时也修复残差雨滴层(需要两个多尺度图像修复模型)，残差雨滴层通过一次卷积操作形成一组雨滴注意力机制去引导判别网络对修复的图像进行精确判别。
S103、结合所述判别网络模型和所述多尺度修复模型组成多尺度生成对抗网络模型。
具体的，参见图4，将两个所述多尺度图像修复模型进行串联，得到生成网络，利用所述生成网络输出的残差雨滴层加入所述判别网络模型组成多尺度生成对抗网络模型，获取原始有雨图像R、原始无雨图像B和残差雨滴层M，其中，残差雨滴层M＝R-B，向生成网络输入R得到生成去雨滴图片
Figure BDA0002263022410000051
和
Figure BDA0002263022410000052
用所述B和M作为第一组图片，用所述
Figure BDA0002263022410000053
和
Figure BDA0002263022410000054
作为第二组图片，将所述第一组图片输入到所述判别网络模型，所述判别网络模型输出的理想判别值为True，表示所述基于注意力机制条件判别网络去判决B是真清晰图，将所述第二组图片输入到所述判别网络，所述判别网络输出的理想判别值为False，表示所述基于注意力机制条件判别网络去判决
Figure BDA0002263022410000055
是生成逼近B的网络预测图，生成网络与判别网络相互对抗，直到
Figure BDA0002263022410000056
无限逼近B，所述判别网络模型无法判别真假。
S104、利用误差反向交替训练所述多尺度生成对抗网络模型。
将所述原始有雨图像R输入所述多尺度生成对抗网络模型得到去雨滴图片
Figure BDA0002263022410000057
和去雨滴残差雨滴图片
Figure BDA0002263022410000058
并将所述原始无雨图像R和所述残差雨滴层输入所述判别网络模型进行判别，并计算所述判别网络模型与所述生成网络模型的误差，根据计算得到的所述误差，反向传播交替训练所述判别网络模型和所述生成网络模型，并不断更新所述判别网络模型和所述生成网络模型的参数，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后，完成训练。
其中，计算所述判别网络模型与所述生成网络模型的误差的方法为：设定所述生成网络模型为G(x)，所述判别网络模型D(x)，所述生成网络模型函数为：
Figure BDA0002263022410000059
其中，
Figure BDA00022630224100000510
和
Figure BDA00022630224100000511
分别是G(x)预测的生成去雨滴图片和生成残差雨滴层。
所述基于密集多尺度生成网络模型的目标函数为：
Figure BDA00022630224100000512
其中，
Figure BDA0002263022410000061
其中VGG是一个预先训练好的CNN网络，并从给定的输入图像生成特征，Lp也叫感知特征误差，这里
Figure BDA0002263022410000062
判别网络的误差，这里Lm是多尺度误差计算公式：
Figure BDA0002263022410000063
Figure BDA0002263022410000064
所述基于注意力机制判别网络的目标函数为:
Figure BDA0002263022410000065
其中，mse是L2范数距离公式，由式(2)和(5)可计算出所述判别网络模型与所述多尺度生成对抗网络模型的误差。
S105、利用训练好的所述生成网络模型生成去雨滴模型，去除雨滴。
具体的，利用训练好的所述生成网络模型生成最终的去雨滴模型，去除单幅图像中相对较大和较密集的雨滴。
参见图5，本发明还提供一种基于密集多尺度生成对抗网络的单幅图像去雨滴系统，所述基于密集多尺度生成对抗网络的单幅图像去雨滴系统包括多尺度图像修复模块1、判别网络模块2、生成网络模块3和去雨滴模块4，所述多尺度图像修复模块1、所述判别网络模块2、所述生成网络模块3和所述去雨滴模块4依次电性连接，
所述多尺度图像修复模块1，用于将原始有雨图像和原始无雨图像利用多尺度图像修复模型进行多次上采样和下采样处理；
所述判别网络模块2，用于对利用判别网络模型所述多尺度图像修复模块1修复的图像进行判别；
所述生成网络模块3，用于利用生成网络模型与判别网络模型之间的误差，生成对抗网络模型，进行反向交替训练；
所述去雨滴模块4，用于根据训练完成的所述生成网络模型，去除单幅图像的雨滴。
在本实施方式中，所述基于密集多尺度生成对抗网络的单幅图像去雨滴系统包括多尺度图像修复模块1、判别网络模块2、生成网络模块3和去雨滴模块4，所述多尺度图像修复模块1、所述判别网络模块2、所述生成网络模块3和所述去雨滴模块4依次电性连接，利用所述多尺度图像修复模块1，将原始有雨图像和原始无雨图像利用多尺度图像修复模型进行多次上采样和下采样处理，通过所述判别网络模块2对利用判别网络模型所述多尺度图像修复模块1修复的图像进行判别，在所述生成网络模块3中，利用生成网络模型与判别网络模型之间的误差，生成对抗网络模型，进行反向交替训练，不断更新所述判别网络模型和所述生成网络模型的参数，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后，完成训练，所述去雨滴模块4根据训练完成的所述生成网络模型，生成去雨模型，来去除单幅图像上的较大和较密集的雨滴。
举例来说，使用Attentive Generative Adversarial Network for RaindropRemoval from A Single Image文献提供的数据集；实验设备是cpu i38100,16GB RAM和NVIDIA Geforce GTX 2070；对于去雨滴图像的质量评估采用广泛的指标：峰值信噪比(PSNR)和图像相似度(SSIM)。
所述基于密集网络的多尺度生成网络的单幅图像去雨滴方法与当前先进的方法进行比较，这些方法包括Restoring an image taken through a window covered withdirt or rain(Eigen13)，Image to image translation with conditional adversarialnetworks(Pix2Pix)和Attentive Generative Adversarial Network for RaindropRemoval from A Single Image(AGDNet),实验结果如表一所示。所述基于密集网络的多尺度生成网络的单幅图像去雨滴方法表现的去雨滴性能超过现有的方法。
表1实验评估结果
Figure BDA0002263022410000071
综上所述，本发明提出的基于密集多尺度生成对抗网络的单幅图像去雨滴方法，通过构建多尺度修复模块和带注意力机制的生成模块，使特征提取更丰富，去雨滴性能优于传统方法，解决了可见度下降较大和较密集的雨滴的问题。
本发明的一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，将用特征重用的密集网络构建多个端到端的单尺度图像修复模型进行组合，形成多尺度图像修复模型，利用所述多尺度图像修复模型构建带注意力机制的判别网络模型，结合所述判别网络模型和所述多尺度修复模型组成多尺度生成对抗网络模型，获取原始有雨图像、原始无雨图像和残差雨滴层，将所述原始有雨图像输入所述多尺度生成对抗网络模型得到去雨滴图片和去雨滴残差雨滴图片，并将所述原始无雨图像和所述残差雨滴层输入所述判别网络模型进行判别，利用所述判别网络模型与所述生成网络模型的误差，反向传播交替训练所述判别网络模型和所述生成网络模型，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后停止训练，利用训练好的所述生成网络模型生成去雨滴模型，去除单幅图像中相对较大和较密集的雨滴。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (2)

1.一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，其特征在于，包括：
通过密集网络构建多尺度图像修复模型；
利用所述多尺度图像修复模型构建判别网络模型；
结合所述判别网络模型和生成网络模型组成多尺度生成对抗网络模型；
利用误差反向交替训练所述多尺度生成对抗网络模型；
利用训练好的所述生成网络模型生成去雨滴模型，去除雨滴；
所述通过密集网络构建多尺度图像修复模型，包括：
利用特征重用的密集网络构建多个端到端的单尺度图像修复模型，将多个所述单尺度修复模型组合，形成多尺度图像修复模型；
得到多个单尺度图像修复模型之后，所述方法还包括：
获取原始有雨图像和原始无雨图像，利用所述多尺度图像修复模型分别对原始有雨图像和原始无雨图像进行下采样和上采样处理，直至最后一个所述单尺度图像修复模型；
结合所述判别网络模型和所述多尺度修复模型组成多尺度生成对抗网络模型，包括：
将多个所述多尺度图像修复模型进行串联，得到生成网络，利用所述生成网络输出的残差雨滴层加入所述判别网络模型组成多尺度生成对抗网络模型，获取原始有雨图像R、原始无雨图像B和残差雨滴层M，其中，残差雨滴层M＝R-B，向生成网络输入R得到生成去雨滴图片
Figure FDA0003524165410000011
和
Figure FDA0003524165410000012
用所述B和M作为第一组图片，用所述
Figure FDA0003524165410000013
和
Figure FDA0003524165410000014
作为第二组图片，将所述第一组图片输入到所述判别网络模型，所述判别网络模型输出的理想判别值为True，表示所述基于注意力机制条件判别网络去判决B是真清晰图，将所述第二组图片输入到所述判别网络，所述判别网络输出的理想判别值为False，表示所述基于注意力机制条件判别网络去判决
Figure FDA0003524165410000015
是生成逼近B的网络预测图，生成网络与判别网络相互对抗，直到
Figure FDA0003524165410000016
无限逼近B，所述判别网络模型无法判别真假；
利用误差反向交替训练所述多尺度生成对抗网络模型，包括：
将所述原始有雨图像R输入所述多尺度生成对抗网络模型得到去雨滴图片
Figure FDA0003524165410000017
和去雨滴残差雨滴图片
Figure FDA0003524165410000018
并将所述原始无雨图像R和所述残差雨滴层输入所述判别网络模型进行判别，并计算所述判别网络模型与所述生成网络模型的误差，根据计算得到的所述误差，反向传播交替训练所述判别网络模型和所述生成网络模型，并不断更新所述判别网络模型和所述生成网络模型的参数，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后，完成训练；
其中，计算所述判别网络模型与所述生成网络模型的误差的方法为：设定所述生成网络模型为G(x)，所述判别网络模型D(x)，所述生成网络模型函数为：
Figure FDA0003524165410000021
其中，
Figure FDA0003524165410000022
和
Figure FDA0003524165410000023
分别是G(x)预测的生成去雨滴图片和生成残差雨滴层；
所述基于密集多尺度生成网络模型的目标函数为：
Figure FDA0003524165410000024
其中，
Figure FDA0003524165410000025
其中VGG是一个预先训练好的CNN网络，并从给定的输入图像生成特征，Lp叫感知特征误差，
Figure FDA0003524165410000026
判别网络的误差，Lm是多尺度误差计算公式：
Figure FDA0003524165410000027
Figure FDA0003524165410000028
所述基于注意力机制判别网络的目标函数为:
Figure FDA0003524165410000029
其中，mse是L2范数距离公式，由式(2)和(5)计算出所述判别网络模型与所述多尺度生成对抗网络模型的误差。
2.如权利要求1所述的一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，其特征在于，利用所述多尺度图像修复模型构建判别网络模型，包括：
利用所述多尺度图像修复模型修复残差雨滴层时，残差雨滴层通过卷积操作形成带注意力机制的判别网络模型对修复的图像进行判别。
CN201911077785.1A 2019-11-06 2019-11-06 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 Active CN110807749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911077785.1A CN110807749B (zh) 2019-11-06 2019-11-06 基于密集多尺度生成对抗网络的单幅图像去雨滴方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911077785.1A CN110807749B (zh) 2019-11-06 2019-11-06 基于密集多尺度生成对抗网络的单幅图像去雨滴方法

Publications (2)

Publication Number Publication Date
CN110807749A CN110807749A (zh) 2020-02-18
CN110807749B true CN110807749B (zh) 2022-11-25

Family

ID=69501788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911077785.1A Active CN110807749B (zh) 2019-11-06 2019-11-06 基于密集多尺度生成对抗网络的单幅图像去雨滴方法

Country Status (1)

Country Link
CN (1) CN110807749B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429436B (zh) * 2020-03-29 2022-03-15 西北工业大学 一种基于多尺度注意力和标签损失的本质图像分析方法
CN111598778B (zh) * 2020-05-13 2023-11-21 云南电网有限责任公司电力科学研究院 一种绝缘子图像超分辨率重建方法
CN111626961B (zh) * 2020-05-29 2022-10-28 中国人民解放军海军航空大学 一种基于生成对抗网络的雷达图像杂波抑制方法及系统
CN112102176A (zh) * 2020-07-27 2020-12-18 中山大学 基于多尺度密集混合注意力神经网络的图像去雨方法
CN112085678B (zh) * 2020-09-04 2024-05-14 国网福建省电力有限公司检修分公司 一种适用于电力设备机巡图像去雨滴的方法及系统
CN112258402A (zh) * 2020-09-30 2021-01-22 北京理工大学 一种快速去雨的密集残差生成对抗网络
CN112507817A (zh) * 2020-11-24 2021-03-16 南昌航空大学 一种基于特征监督生成对抗网络的去雨方法
CN112651912A (zh) * 2020-12-07 2021-04-13 南昌航空大学 基于双通道多尺度判别模型去雨系统及控制方法
CN113592011A (zh) * 2021-08-06 2021-11-02 太原科技大学 一种端到端雨滴和雾联合去除方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469372A (zh) * 2015-12-30 2016-04-06 广西师范大学 一种基于均值滤波的雾天图像清晰化处理方法
CN108230264A (zh) * 2017-12-11 2018-06-29 华南农业大学 一种基于ResNet神经网络的单幅图像去雾方法
CN108520501A (zh) * 2018-03-30 2018-09-11 西安交通大学 一种基于多尺度卷积稀疏编码的视频去雨雪方法
CN109360156A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于生成对抗网络的图像分块的单张图像去雨方法
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN110163813A (zh) * 2019-04-16 2019-08-23 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110223242A (zh) * 2019-05-07 2019-09-10 北京航空航天大学 一种基于时空域残差生成对抗网络的视频湍流移除方法
CN110288550A (zh) * 2019-06-28 2019-09-27 中国人民解放军火箭军工程大学 基于先验知识引导条件生成对抗网络的单张图像去雾方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781801B2 (en) * 2007-10-29 2014-07-15 Japan Agency For Marine-Earth Science And Technology Meteorological phenomena simulation device and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469372A (zh) * 2015-12-30 2016-04-06 广西师范大学 一种基于均值滤波的雾天图像清晰化处理方法
CN108230264A (zh) * 2017-12-11 2018-06-29 华南农业大学 一种基于ResNet神经网络的单幅图像去雾方法
CN108520501A (zh) * 2018-03-30 2018-09-11 西安交通大学 一种基于多尺度卷积稀疏编码的视频去雨雪方法
CN109360156A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于生成对抗网络的图像分块的单张图像去雨方法
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN110163813A (zh) * 2019-04-16 2019-08-23 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110223242A (zh) * 2019-05-07 2019-09-10 北京航空航天大学 一种基于时空域残差生成对抗网络的视频湍流移除方法
CN110288550A (zh) * 2019-06-28 2019-09-27 中国人民解放军火箭军工程大学 基于先验知识引导条件生成对抗网络的单张图像去雾方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Fast Single Image De-raining via a Weighted Residual Network;Ruibin Zhuge等;《International Conference on Neural Information Processing》;20181118;第257-268页 *
Single Image Rain Removal via a Simplified Residual Dense Network;HaiYing Xia等;《IEEE Access》;20181231;第66522-66535页 *
Uncertainty Guided Multi-Scale Residual Learning-Using a Cycle Spinning CNN for Single Image De-Raining;Rajeev Yasarla等;《arxiv》;20190615;第1-10页 *
单幅雨天图像去雨方法研究;李耀维;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20181215;第I138-1589页 *
基于生成对抗网络的图像去雨方法研究和系统实现;李雅楠;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190815;第I138-864页 *

Also Published As

Publication number Publication date
CN110807749A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110807749B (zh) 基于密集多尺度生成对抗网络的单幅图像去雨滴方法
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
CN111915531B (zh) 一种多层次特征融合和注意力引导的神经网络图像去雾方法
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN109564687B (zh) 学习方法和记录介质
CN110503619B (zh) 图像处理方法、装置及可读存储介质
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN112150400B (zh) 图像增强方法、装置和电子设备
WO2023082453A1 (zh) 一种图像处理方法及装置
CN111179189A (zh) 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN114842430B (zh) 一种用于道路监测的车辆信息识别方法及系统
CN110503609B (zh) 一种基于混合感知模型的图像去雨方法
CN115546046A (zh) 一种融合频率和内容特征的单幅图像去雾方法
CN111861935B (zh) 一种基于图像修复技术的去雨方法
CN114841897A (zh) 基于自适应模糊核估计的深度去模糊方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN112132757B (zh) 一种基于神经网络的通用图像复原方法
CN113034398A (zh) 基于人工智能的城市测绘果冻效应消除方法与系统
CN117036190A (zh) 图像去噪方法、装置及电子设备
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN116523790A (zh) 一种sar图像去噪优化方法、系统和存储介质
CN107798676B (zh) 基于多尺度自然场景统计建立的无参考图像质量感知方法
CN115689918A (zh) 一种基于残差先验注意力机制的并行单幅图像去雨方法
CN115965531A (zh) 模型训练方法及图像生成方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221101

Address after: No. 1107, Unit X, Building 7, Zhongxu Tianyue, No. 3, Xining Road, Xixiangtang District, Nanning City, Guangxi Zhuang Autonomous Region, 530000

Applicant after: Nanning Zhuanju Intellectual Property Service Co.,Ltd.

Address before: 541004 No. 15 Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region

Applicant before: Guangxi Normal University

Effective date of registration: 20221101

Address after: Room 117, 1st Floor, Building 1, No. 15, Fengshen Avenue, Huadu District, Guangzhou, Guangdong 510815

Applicant after: Lianyou Zhilian Technology Co.,Ltd.

Applicant after: SHENZHEN LAN-YOU TECHNOLOGY Co.,Ltd.

Address before: No. 1107, Unit X, Building 7, Zhongxu Tianyue, No. 3, Xining Road, Xixiangtang District, Nanning City, Guangxi Zhuang Autonomous Region, 530000

Applicant before: Nanning Zhuanju Intellectual Property Service Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant