CN109447918A - 基于注意力机制的单幅图像去雨方法 - Google Patents
基于注意力机制的单幅图像去雨方法 Download PDFInfo
- Publication number
- CN109447918A CN109447918A CN201811302943.4A CN201811302943A CN109447918A CN 109447918 A CN109447918 A CN 109447918A CN 201811302943 A CN201811302943 A CN 201811302943A CN 109447918 A CN109447918 A CN 109447918A
- Authority
- CN
- China
- Prior art keywords
- network
- coding
- rain
- picture
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000002708 enhancing effect Effects 0.000 claims abstract description 17
- 239000000203 mixture Substances 0.000 claims abstract description 5
- 230000004069 differentiation Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 abstract description 6
- 230000013016 learning Effects 0.000 abstract description 6
- 239000000284 extract Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003014 reinforcing effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于注意力机制的单幅图像去雨方法。该方法包括：构建基于注意力机制的特征增强模块，利用特征增强模块构建基于注意力机制的自编码模型；将基于注意力机制的自编码模型作为自编码生成网络，利用自编码生成网络和判别网络组成自编码生成对抗网络，利用判别网络和自编码生成网络的误差反向传播训练自编码生成对抗网络，利用训练后的自编码生成网络构建基于注意力机制的自编码生成网络去雨模型；利用单幅图像去雨模型对待去雨的图像进行去雨处理。本发明利用注意力模块加强自编码器提取图像背景信息获取能力，从一个新的角度解决自编码器特征提取不明显问题，提高去雨网络训练学习速度，简单高效地提升了单幅图像去雨效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于注意力机制的单幅图像去雨方法。
背景技术
户外视觉系统广泛地用于军事、交通和安全监控、相机图像处理等军事和民用领域，下雨作为最频繁的恶劣天气之一，会损害视频图像的质量，影响目标检测、识别、追踪、分割等计算机视觉算法性能。因此检测和去除图像中的雨滴和雨线对户外视觉系统十分重要，具有广泛应用价值。
根据去雨对象的不同，去雨场景分为视频去雨和单幅图像去雨两种，由于缺乏时域信息，单幅图像去雨比视频去雨更具挑战性。一个典型的图像去雨系统主要包括两部分，求取雨水层和获取干净背景层。在进行单幅图像去雨时，首先，利用导向滤波器或双边滤波器等做图像分解，将图像分解为含有背景轮廓和雨线的高频部分和含模糊背景的低频部分；然后，基于之前高频部分的结果，利用深度学习、字典学习或稀疏编码的方式检测并除去高频部分中的雨线，只留下去雨之后的背景轮廓；进而，将含模糊背景的低频部分做对比度提高或者去雾处理，得到优化的模糊低频背景；最后，根据得到的优化低频结果和去雨后的高频部分结果进行结合，得到最终去雨的单幅图像。
去除雨层是图像去雨的核心，直接关系到图像去雨的效果。目前，现有技术中的一种检测并去除雨层的方法为：深度学习方法。该方法基于深度学习方法的模型训练卷积神经网络来识别雨线和求取雨层，将图像去雨建模为一个直接求取雨层映射的问题。
上述深度学习方法的缺点为：由于大多数深度学习都致力于求取雨层，然后用带雨的图片减去雨层得到处理后的干净图片，但是在实际情况中，一副图像中的雨水的形态、大小和方向都不同，用一个统一的映射关系表示雨层显得十分困难，它们就会出现去雨不充分，去掉非雨线部分的背景等问题。
发明内容
本发明的实施例提供了一种基于注意力机制的单幅图像去雨方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种基于注意力机制的单幅图像去雨方法，包括：
构建基于注意力机制的特征增强模块，利用所述特征增强模块构建基于注意力机制的自编码模型；
将所述基于注意力机制的自编码模型作为自编码生成网络，利用自编码生成网络和判别网络组成自编码生成对抗网络，利用判别网络和自编码生成网络的误差反向传播训练所述自编码生成对抗网络，利用训练后的自编码生成网络构建基于注意力机制的自编码生成网络去雨模型；
利用所述基于注意力机制的自编码生成网络去雨模型对待去雨的图像进行去雨处理。
进一步地，所述的构建基于注意力机制的特征增强模块，利用所述特征增强模块构建基于注意力机制的自编码模型，包括：
利用注意力机制在神经网络中添加权重掩码学习分支，将注意力模块作为加强特征的过程之一，训练分支学习主干特征权重，将主干和分支输出结合，得到带权重的带有注意力特性的特征；
所述带有注意力特性的特征为H(x)，H(x)的表示见式(1)
H(x)＝(1+M(x))×T(x) (1)
其中，H(x)为带注意力的特征值，M(x)为分支学习到的注意力图像，T(x)为常规主干卷积提取的特征。
进一步地，所述的利用所述特征增强模块构建基于注意力机制的自编码模型，包括：
在去噪自编码模型基础上，将所述基于注意力机制的特征增强模块加入去噪自编码模型的编码部分，构建基于注意力机制的自编码模型。
进一步地，所述的将所述基于注意力机制的自编码模型作为自编码生成网络，利用自编码生成网络和判别网络组成自编码生成对抗网络，包括：
将所述基于注意力机制的自编码模型作为自编码生成网络，获取原始有雨图片和原始无雨图片，向自编码生成网络输入原始有雨图片得到生成去雨图片，用所述原始有雨图片和原始无雨图片做差得到差值图片，将所述生成去雨图片和所述差值图片构成第一组图片，将所述原始无雨图片和所述差值图片构成第二组图片，将所述第一组图片输入到判别网络，所述判别网络输出的理想判别值为False，表示所述生成去雨图片和所述差值图片不是原始的一对，将所述第二组图片输入到所述判别网络，所述判别网络输出的理想判别值为True，表示所述原始无雨图片和所述差值图片是原始的一对；
将所述判别网络和所述自编码生成网络组成自编码生成对抗网络。
进一步地，所述的利用判别网络和自编码生成网络的误差反向传播训练所述自编码生成对抗网络，利用训练后的自编码生成网络构建基于注意力机制的自编码生成网络去雨模型，包括：
设原始有雨图像为rain，原始无雨图像为norain，生成去雨图片为norainge，所述自编码生成对抗网络的目标函数为式(2)；
L＝Le+Lp+La (2)
其中，Le为norainge与norain的MSE最小平方误差，Le计算见式(3)；Lp为norainge与norain之间的视觉特征误差，Lp计算见式(4)；La为自编码生成对抗网络的对抗误差，La计算见式(5)；
式(3)中C,W,H分别为图像通道数、图宽和图高，为自编码模型生成对抗网络的映射函数，式(4)中VG为完成预训练的VGG16网络输入层到第16层的函数映射，式(5)中N为一批由自编码生成对抗网络得到的生成去雨图片的总数；
将所述第一组图片、所述第二组图片分别输入到判别网络，所述判别网络分别输出所述第一组图片、所述第二组图片的判别结果，按所述式(2)、(3)、(4)、(5)和(6)计算判别网络、自编码生成网络的误差，交替训练网络判别网络、自编码生成网络，不断更新判别网络、自编码生成网络的参数，直到判别网络和自编码生成网络的误差收敛到指定数值范围内，再利用训练好的自编码生成网络和所述基于注意力机制的自编码模型构建最终的基于注意力机制的自编码生成网络去雨模型。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例的基于注意力机制的单幅图像去雨方法不同于传统去雨模型，该方法模拟人脑运用想象力提取并想象背景信息，而非更注重去除雨线的角度，利用注意力模块加强自编码器提取图像背景信息获取能力，从一个新的角度解决自编码器特征提取不明显问题，提高去雨网络训练学习速度，简单高效地提升了单幅图像去雨效果。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于注意力机制的单幅图像去雨方法的处理流程图；
图2为本发明实施例提供的一种Attention机制的特征加强模块构建过程示意图；
图3为本发明实施例提供的一种带注意力机制的自编码模型示意图；
图4为本发明实施例提供的一种判别网络的判别过程示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明将彩色三通道带雨图片作为输入，通过自编码模型实现背景特征的提取并进行编码，编码过程中利用注意力模块进行特征加强，最终将图片背景特征信息编码到一个保存向量feature map中，该feature map注意了背景中更重要的信息。然后再通过解码部分对该feature map进行解码图像还原，网络采取残差网络的学习方式，学习无雨与有雨图片的残差，减少参数学习，再与原图片相加得到最终的去雨图片。
本发明实施例提出了一种基于注意力机制的单幅图像去雨方法，实际应用时只要将带雨的图片输入自编码模型生成网络，输出就是去雨图片。该方法的具体处理流程如图1所示，包括以下处理步骤：
步骤S110、构建基于注意力机制的特征增强模块。
图2为本发明实施例提供的一种Attention(注意力)机制的特征加强模块构建过程示意图。传统神经网络只利用主干卷积层进行特征提取，本发明利用Attention机制，通过添加权重掩码学习分支，训练分支学习主干特征权重，将主干和分支输出结合，得到带权重的特征，该特征带有注意力特性，表示加强背景信息，将注意力模块作为加强特征的过程之一，添加特征权重学习分支构建基于注意力机制的特征增强模块。
上述带有注意力特性的特征为H(x),H(x)的表示见式(1)
H(x)＝(1+M(x))×T(x) (1)
其中，H(x)为带注意力的特征值，M(x)为分支学习到的Attention图像，T(x)为常规主干卷积提取的特征。
步骤S120、利用基于注意力机制的特征增强模块构建基于注意力机制的自编码模型。
本发明在去噪自编码模型基础上，将上述基于注意力机制的特征增强模块加入去噪自编码模型的编码部分，构建基于注意力机制的自编码模型。假设有雨图像为rain，无雨图像为norain，生成去雨图片为norainge，图3为本发明实施例提供的一种基于注意力机制的自编码模型示意图。
步骤S130、将上述基于注意力机制的自编码模型作为自编码生成网络，利用自编码生成网络和判别网络组成自编码生成对抗网络。
将上述基于注意力机制的自编码模型作为自编码生成网络，获取原始有雨图片和原始无雨图片，向自编码生成网络输入原始有雨图片得到生成去雨图片，用所述原始有雨图片和原始无雨图片做差得到差值图片，将所述生成去雨图片和所述差值图片构成第一组图片，将所述原始无雨图片和所述差值图片构成第二组图片，将所述第一组图片、所述第二组图片分别输入到判别网络，分别输出所述第一组图片、所述第二组图片的判别结果：所述判别网络输入第一组图片，理想判别值为False,表示判别器可以判别出生成去雨图片和差值图片不是原始的一对，表明自编码网络性能有限；所述判别网络输入第二组图片，理想判别值为True，表示判别器可以判别出原始无雨图片和所述差值图片是原始的一对。差值图片的作用是表明关注雨水区域，判别器是否能正确区分原始无雨图片和生成去雨图片。
上述判别网络是额外引入的一个网络，用于对自编码生成网络生成的图片进行判别。判别网络和自编码生成网络组成一个整体，这个整体叫做自编码生成对抗网络。
步骤S140、利用判别网络和自编码生成网络的误差反向传播分别训练判别网络和自编码生成网络，利用训练后的自编码生成网络构建基于注意力机制的自编码生成网络去雨模型。
上述自编码生成对抗网络的目标函数可以表示为式(2)。
L＝Le+Lp+La (2)
其中，Le为norainge与norain的MSE(mean-square error,均方误差)最小平方误差，Le计算见式(3)；Lp为norainge与norain之间的视觉特征误差，即经过预训练VGG16层提取特征的MSE最小平方误差，计算见式(4)；La为自编码生成对抗网络的对抗误差，计算见式(5)。
式(3)中C,W,H分别为图像通道数、图宽和图高，为自编码模型生成对抗网络的映射函数，式(4)中VG为完成预训练的VGG16网络输入层到第16层的函数映射，式(5)中N为一批由自编码模型生成对抗网络得到的生成去雨图片的总数，可设为批训练数。
本发明通过深度神经网络前向计算和反向传播对基于注意力机制的自编码模型生成对抗网络进行优化求解，通过求误差并进行网络的误差反向传播，可以实现对自编码生成对抗网络的参数的训练与更新，从而构建单幅图像去雨模型。
判别网络用于判断一张无雨图片是自编码生成网络生成的图片还是真实的图片，当无法判断无雨图片是否是真实时(此时判别正确率为0.5)，则说明自编码模型已达到较好效果。判别网络的判别过程示意图如图4所示。本发明的判别网络采用条件概率的形式，记有雨图片rain和真实无雨图片的差值图片为subtract，将norainge和subtract作为组合1输入判别网络，norain和subtract作为组合2输入判别网络，根据判别网络输出的判断结果的误差更新判别网络的参数，并引导自编码生成网络的参数更新，达到下次生成更好样本的目的，判别网络的损失函数见式(6)。
采用高斯分布中的随机初始化参数方法初始化上述基于注意力机制的自编码模型、判别网络和自编码生成网络的参数。设置网络批训练数量大小，学习迭代次数，将待雨图片输入生成网络，得到去雨图片，将去雨图片、真实无雨图片、有雨和真实无雨差值图片按上一节(4)的方式输入判别网络，计算误差。固定自编码生成网络，用判别网络的误差反向传播更新判别网络的参数。固定判别网络，用自编码模型生成网络的误差反向传播更新自编码模型生成网络的参数。
按公式(2)、(3)、(4)、(5)和(6)计算判别网络、自编码生成网络的误差，交替训练网络判别网络、自编码生成网络，不断更新判别网络、自编码生成网络的参数，不断降低误差，直到判别网络和自编码生成网络收敛到一定程度。然后，利用训练好的自编码生成网络和上述基于注意力机制的自编码模型构建最终的基于注意力机制的自编码生成网络去雨模型。
然后，将待去雨的图像输入到上述基于注意力机制的自编码生成网络去雨模型，该单幅图像去雨模型输出上述待去雨的图像对应的完成去雨的图像。
综上所述，本发明实施例的基于注意力机制的单幅图像去雨方法不同于传统去雨模型，该方法模拟人脑运用想象力提取并想象背景信息，而非更注重去除雨线的角度，利用注意力模块加强自编码器提取图像背景信息获取能力，从一个新的角度解决自编码器特征提取不明显问题，提高去雨网络训练学习速度，简单高效地提升了单幅图像去雨效果。
本发明实施例的方法实现简单，可以减少网络训练次数，只需要原来去雨网络不到1/3的学习次数，就能达到更好的去雨效果。此外，加入注意力机制的自编码器可以加强提取到的背景特征，针对除去雨之外的含其他噪声的图像增强算法，例如去雪，原理具相通性。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (5)
1.一种基于注意力机制的单幅图像去雨方法，其特征在于，包括：
构建基于注意力机制的特征增强模块，利用所述特征增强模块构建基于注意力机制的自编码模型；
将所述基于注意力机制的自编码模型作为自编码生成网络，利用自编码生成网络和判别网络组成自编码生成对抗网络，利用判别网络和自编码生成网络的误差反向传播训练所述自编码生成对抗网络，利用训练后的自编码生成网络构建基于注意力机制的自编码生成网络去雨模型；
利用所述基于注意力机制的自编码生成网络去雨模型对待去雨的图像进行去雨处理。
2.根据权利要求1所述的方法，其特征在于，所述的构建基于注意力机制的特征增强模块，利用所述特征增强模块构建基于注意力机制的自编码模型，包括：
利用注意力机制在神经网络中添加权重掩码学习分支，将注意力模块作为加强特征的过程之一，训练分支学习主干特征权重，将主干和分支输出结合，得到带权重的带有注意力特性的特征；
所述带有注意力特性的特征为H(x)，H(x)的表示见式(1)
H(x)＝(1+M(x))×T(x) (1)
其中，H(x)为带注意力的特征值，M(x)为分支学习到的注意力图像，T(x)为常规主干卷积提取的特征。
3.根据权利要求2所述的方法，其特征在于，所述的利用所述特征增强模块构建基于注意力机制的自编码模型，包括：
在去噪自编码模型基础上，将所述基于注意力机制的特征增强模块加入去噪自编码模型的编码部分，构建基于注意力机制的自编码模型。
4.根据权利要求3所述的方法，其特征在于，所述的将所述基于注意力机制的自编码模型作为自编码生成网络，利用自编码生成网络和判别网络组成自编码生成对抗网络，包括：
将所述基于注意力机制的自编码模型作为自编码生成网络，获取原始有雨图片和原始无雨图片，向自编码生成网络输入原始有雨图片得到生成去雨图片，用所述原始有雨图片和原始无雨图片做差得到差值图片，将所述生成去雨图片和所述差值图片构成第一组图片，将所述原始无雨图片和所述差值图片构成第二组图片，将所述第一组图片输入到判别网络，所述判别网络输出的理想判别值为False，表示所述生成去雨图片和所述差值图片不是原始的一对，将所述第二组图片输入到所述判别网络，所述判别网络输出的理想判别值为True，表示所述原始无雨图片和所述差值图片是原始的一对；
将所述判别网络和所述自编码生成网络组成自编码生成对抗网络。
5.根据权利要求4所述的方法，其特征在于，所述的利用判别网络和自编码生成网络的误差反向传播训练所述自编码生成对抗网络，利用训练后的自编码生成网络构建基于注意力机制的自编码生成网络去雨模型，包括：
设原始有雨图像为rain，原始无雨图像为norain，生成去雨图片为norainge，所述自编码生成对抗网络的目标函数为式(2)；
L＝Le+Lp+La (2)
其中，Le为norainge与norain的MSE最小平方误差，Le计算见式(3)；Lp为norainge与norain之间的视觉特征误差，Lp计算见式(4)；La为自编码生成对抗网络的对抗误差，La计算见式(5)；
式(3)中C,W,H分别为图像通道数、图宽和图高，为自编码模型生成对抗网络的映射函数，式(4)中VG为完成预训练的VGG16网络输入层到第16层的函数映射，式(5)中N为一批由自编码生成对抗网络得到的生成去雨图片的总数；
将所述第一组图片、所述第二组图片分别输入到判别网络，所述判别网络分别输出所述第一组图片、所述第二组图片的判别结果，按所述式(2)、(3)、(4)、(5)和(6)计算判别网络、自编码生成网络的误差，交替训练网络判别网络、自编码生成网络，不断更新判别网络、自编码生成网络的参数，直到判别网络和自编码生成网络的误差收敛到指定数值范围内，再利用训练好的自编码生成网络和所述基于注意力机制的自编码模型构建最终的基于注意力机制的自编码生成网络去雨模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811302943.4A CN109447918A (zh) | 2018-11-02 | 2018-11-02 | 基于注意力机制的单幅图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811302943.4A CN109447918A (zh) | 2018-11-02 | 2018-11-02 | 基于注意力机制的单幅图像去雨方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109447918A true CN109447918A (zh) | 2019-03-08 |
Family
ID=65550736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811302943.4A Pending CN109447918A (zh) | 2018-11-02 | 2018-11-02 | 基于注意力机制的单幅图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109447918A (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059656A (zh) * | 2019-04-25 | 2019-07-26 | 山东师范大学 | 基于卷积对抗生成神经网络的白细胞分类方法及系统 |
| CN110136075A (zh) * | 2019-04-18 | 2019-08-16 | 中国地质大学（武汉） | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
| CN110163813A (zh) * | 2019-04-16 | 2019-08-23 | 中国科学院深圳先进技术研究院 | 一种图像去雨方法、装置、可读存储介质及终端设备 |
| CN110276715A (zh) * | 2019-05-14 | 2019-09-24 | 北京邮电大学 | 一种图像去夜方法和装置 |
| CN110288535A (zh) * | 2019-05-14 | 2019-09-27 | 北京邮电大学 | 一种图像去雨方法和装置 |
| CN110443758A (zh) * | 2019-07-05 | 2019-11-12 | 广东省人民医院(广东省医学科学院) | 一种医疗影像去噪方法及装置 |
| CN110517199A (zh) * | 2019-08-26 | 2019-11-29 | 电子科技大学 | 一种便于智能车辆驾驶的图像去雨方法 |
| CN110544221A (zh) * | 2019-09-05 | 2019-12-06 | 迪爱斯信息技术股份有限公司 | 训练方法及装置、去雨方法、终端设备、存储介质 |
| CN110675330A (zh) * | 2019-08-12 | 2020-01-10 | 广东石油化工学院 | 基于通道级注意力机制的编码-解码网络的图像去雨方法 |
| CN110717863A (zh) * | 2019-08-16 | 2020-01-21 | 天津大学 | 一种基于生成对抗网络的单图像去雪方法 |
| CN110807749A (zh) * | 2019-11-06 | 2020-02-18 | 广西师范大学 | 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 |
| CN110827207A (zh) * | 2019-09-17 | 2020-02-21 | 北京大学 | 一种基于协同分合学习机制的反射消除方法 |
| CN110969585A (zh) * | 2019-10-22 | 2020-04-07 | 广东石油化工学院 | 一种基于条件变分自编码网络的除雨方法 |
| CN111127336A (zh) * | 2019-11-18 | 2020-05-08 | 复旦大学 | 一种基于自适应选择模块的图像信号处理方法 |
| CN111223057A (zh) * | 2019-12-16 | 2020-06-02 | 杭州电子科技大学 | 基于生成对抗网络的增量式聚焦的图像到图像转换方法 |
| CN111275638A (zh) * | 2020-01-16 | 2020-06-12 | 湖南大学 | 基于多通道注意力选择生成对抗网络的人脸修复方法 |
| CN111507210A (zh) * | 2020-03-31 | 2020-08-07 | 华为技术有限公司 | 交通信号灯的识别方法、系统、计算设备和智能车 |
| CN111625652A (zh) * | 2019-07-12 | 2020-09-04 | 杭州电子科技大学 | 基于多路动态掩码的注意力神经网络的方法 |
| CN111815526A (zh) * | 2020-06-16 | 2020-10-23 | 中国地质大学（武汉） | 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统 |
| CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
| CN112085678A (zh) * | 2020-09-04 | 2020-12-15 | 国网福建省电力有限公司检修分公司 | 一种适用于电力设备机巡图像去雨滴的方法及系统 |
| CN112288738A (zh) * | 2020-11-18 | 2021-01-29 | 新疆大学 | 基于深度学习的单幅图像去雪花方法、装置及存储介质 |
| CN112668655A (zh) * | 2020-12-30 | 2021-04-16 | 中山大学 | 基于生成对抗网络不确定性注意力增强分布外图像检测法 |
| CN112907479A (zh) * | 2021-03-05 | 2021-06-04 | 西安电子科技大学 | 基于注意力机制的残差单幅图像去雨方法 |
| CN113256541A (zh) * | 2021-07-16 | 2021-08-13 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN113591593A (zh) * | 2021-07-06 | 2021-11-02 | 厦门路桥信息股份有限公司 | 基于因果干预的异常天气下目标检测方法、设备及介质 |
| CN115034999A (zh) * | 2022-07-06 | 2022-09-09 | 四川大学 | 一种基于雨雾分离处理和多尺度网络的图像去雨方法 |
| CN117196985A (zh) * | 2023-09-12 | 2023-12-08 | 军事科学院军事医学研究院军事兽医研究所 | 一种基于深度强化学习的视觉去雨雾方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107464210A (zh) * | 2017-07-06 | 2017-12-12 | 浙江工业大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
| CN108230278A (zh) * | 2018-02-24 | 2018-06-29 | 中山大学 | 一种基于生成对抗网络的图像去雨滴方法 |
| CN108376387A (zh) * | 2018-01-04 | 2018-08-07 | 复旦大学 | 基于聚合膨胀卷积网络的图像去模糊方法 |
| CN108520501A (zh) * | 2018-03-30 | 2018-09-11 | 西安交通大学 | 一种基于多尺度卷积稀疏编码的视频去雨雪方法 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
-
2018
- 2018-11-02 CN CN201811302943.4A patent/CN109447918A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107464210A (zh) * | 2017-07-06 | 2017-12-12 | 浙江工业大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
| CN108376387A (zh) * | 2018-01-04 | 2018-08-07 | 复旦大学 | 基于聚合膨胀卷积网络的图像去模糊方法 |
| CN108230278A (zh) * | 2018-02-24 | 2018-06-29 | 中山大学 | 一种基于生成对抗网络的图像去雨滴方法 |
| CN108520501A (zh) * | 2018-03-30 | 2018-09-11 | 西安交通大学 | 一种基于多尺度卷积稀疏编码的视频去雨雪方法 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
Non-Patent Citations (2)
| Title |
|---|
| RUI QIAN等: "Attentive Generative Adversarial Network for Raindrop Removal from A Single Image", 《ARXIV:1711.10098V4》 * |
| 郭继昌等: "多尺度卷积神经网络的单幅图像去雨方法", 《哈尔滨工业大学学报》 * |
Cited By (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163813A (zh) * | 2019-04-16 | 2019-08-23 | 中国科学院深圳先进技术研究院 | 一种图像去雨方法、装置、可读存储介质及终端设备 |
| CN110163813B (zh) * | 2019-04-16 | 2022-02-01 | 中国科学院深圳先进技术研究院 | 一种图像去雨方法、装置、可读存储介质及终端设备 |
| CN110136075A (zh) * | 2019-04-18 | 2019-08-16 | 中国地质大学（武汉） | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
| CN110136075B (zh) * | 2019-04-18 | 2021-01-05 | 中国地质大学（武汉） | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
| CN110059656A (zh) * | 2019-04-25 | 2019-07-26 | 山东师范大学 | 基于卷积对抗生成神经网络的白细胞分类方法及系统 |
| CN110276715B (zh) * | 2019-05-14 | 2020-07-17 | 北京邮电大学 | 一种图像去夜方法和装置 |
| CN110276715A (zh) * | 2019-05-14 | 2019-09-24 | 北京邮电大学 | 一种图像去夜方法和装置 |
| CN110288535A (zh) * | 2019-05-14 | 2019-09-27 | 北京邮电大学 | 一种图像去雨方法和装置 |
| CN110443758A (zh) * | 2019-07-05 | 2019-11-12 | 广东省人民医院(广东省医学科学院) | 一种医疗影像去噪方法及装置 |
| CN111625652A (zh) * | 2019-07-12 | 2020-09-04 | 杭州电子科技大学 | 基于多路动态掩码的注意力神经网络的方法 |
| CN110675330A (zh) * | 2019-08-12 | 2020-01-10 | 广东石油化工学院 | 基于通道级注意力机制的编码-解码网络的图像去雨方法 |
| CN110717863A (zh) * | 2019-08-16 | 2020-01-21 | 天津大学 | 一种基于生成对抗网络的单图像去雪方法 |
| CN110717863B (zh) * | 2019-08-16 | 2023-07-04 | 天津大学 | 一种基于生成对抗网络的单图像去雪方法 |
| CN110517199A (zh) * | 2019-08-26 | 2019-11-29 | 电子科技大学 | 一种便于智能车辆驾驶的图像去雨方法 |
| CN110517199B (zh) * | 2019-08-26 | 2022-03-08 | 电子科技大学 | 一种便于智能车辆驾驶的图像去雨方法 |
| CN110544221B (zh) * | 2019-09-05 | 2022-03-29 | 迪爱斯信息技术股份有限公司 | 训练方法及装置、去雨方法、终端设备、存储介质 |
| CN110544221A (zh) * | 2019-09-05 | 2019-12-06 | 迪爱斯信息技术股份有限公司 | 训练方法及装置、去雨方法、终端设备、存储介质 |
| CN110827207B (zh) * | 2019-09-17 | 2022-12-02 | 北京大学 | 一种基于协同分合学习机制的反射消除方法 |
| CN110827207A (zh) * | 2019-09-17 | 2020-02-21 | 北京大学 | 一种基于协同分合学习机制的反射消除方法 |
| CN110969585A (zh) * | 2019-10-22 | 2020-04-07 | 广东石油化工学院 | 一种基于条件变分自编码网络的除雨方法 |
| CN110969585B (zh) * | 2019-10-22 | 2024-04-12 | 广东石油化工学院 | 一种基于条件变分自编码网络的除雨方法 |
| CN110807749A (zh) * | 2019-11-06 | 2020-02-18 | 广西师范大学 | 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 |
| CN110807749B (zh) * | 2019-11-06 | 2022-11-25 | 联友智连科技有限公司 | 基于密集多尺度生成对抗网络的单幅图像去雨滴方法 |
| CN111127336B (zh) * | 2019-11-18 | 2023-05-02 | 复旦大学 | 一种基于自适应选择模块的图像信号处理方法 |
| CN111127336A (zh) * | 2019-11-18 | 2020-05-08 | 复旦大学 | 一种基于自适应选择模块的图像信号处理方法 |
| CN111223057B (zh) * | 2019-12-16 | 2023-09-22 | 杭州电子科技大学 | 基于生成对抗网络的增量式聚焦的图像到图像转换方法 |
| CN111223057A (zh) * | 2019-12-16 | 2020-06-02 | 杭州电子科技大学 | 基于生成对抗网络的增量式聚焦的图像到图像转换方法 |
| CN111275638B (zh) * | 2020-01-16 | 2022-10-28 | 湖南大学 | 基于多通道注意力选择生成对抗网络的人脸修复方法 |
| CN111275638A (zh) * | 2020-01-16 | 2020-06-12 | 湖南大学 | 基于多通道注意力选择生成对抗网络的人脸修复方法 |
| CN111507210B (zh) * | 2020-03-31 | 2023-11-21 | 华为技术有限公司 | 交通信号灯的识别方法、系统、计算设备和智能车 |
| CN111507210A (zh) * | 2020-03-31 | 2020-08-07 | 华为技术有限公司 | 交通信号灯的识别方法、系统、计算设备和智能车 |
| CN111815526B (zh) * | 2020-06-16 | 2022-05-10 | 中国地质大学（武汉） | 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统 |
| CN111815526A (zh) * | 2020-06-16 | 2020-10-23 | 中国地质大学（武汉） | 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统 |
| CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
| CN112070690B (zh) * | 2020-08-25 | 2023-04-25 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
| CN112085678B (zh) * | 2020-09-04 | 2024-05-14 | 国网福建省电力有限公司检修分公司 | 一种适用于电力设备机巡图像去雨滴的方法及系统 |
| CN112085678A (zh) * | 2020-09-04 | 2020-12-15 | 国网福建省电力有限公司检修分公司 | 一种适用于电力设备机巡图像去雨滴的方法及系统 |
| CN112288738A (zh) * | 2020-11-18 | 2021-01-29 | 新疆大学 | 基于深度学习的单幅图像去雪花方法、装置及存储介质 |
| CN112668655A (zh) * | 2020-12-30 | 2021-04-16 | 中山大学 | 基于生成对抗网络不确定性注意力增强分布外图像检测法 |
| CN112668655B (zh) * | 2020-12-30 | 2023-08-29 | 中山大学 | 基于生成对抗网络不确定性注意力增强分布外图像检测法 |
| CN112907479B (zh) * | 2021-03-05 | 2023-04-18 | 西安电子科技大学 | 基于注意力机制的残差单幅图像去雨方法 |
| CN112907479A (zh) * | 2021-03-05 | 2021-06-04 | 西安电子科技大学 | 基于注意力机制的残差单幅图像去雨方法 |
| CN113591593B (zh) * | 2021-07-06 | 2023-08-15 | 厦门路桥信息股份有限公司 | 基于因果干预的异常天气下目标检测方法、设备及介质 |
| CN113591593A (zh) * | 2021-07-06 | 2021-11-02 | 厦门路桥信息股份有限公司 | 基于因果干预的异常天气下目标检测方法、设备及介质 |
| CN113256541A (zh) * | 2021-07-16 | 2021-08-13 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN115034999A (zh) * | 2022-07-06 | 2022-09-09 | 四川大学 | 一种基于雨雾分离处理和多尺度网络的图像去雨方法 |
| CN115034999B (zh) * | 2022-07-06 | 2024-03-19 | 四川大学 | 一种基于雨雾分离处理和多尺度网络的图像去雨方法 |
| CN117196985A (zh) * | 2023-09-12 | 2023-12-08 | 军事科学院军事医学研究院军事兽医研究所 | 一种基于深度强化学习的视觉去雨雾方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109447918A (zh) | 基于注意力机制的单幅图像去雨方法 | |
| Lin et al. | FPGAN: Face de-identification method with generative adversarial networks for social robots | |
| CN109615582B (zh) | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 | |
| CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
| CN105095862B (zh) | 一种基于深度卷积条件随机场的人体动作识别方法 | |
| CN110084151B (zh) | 基于非局部网络深度学习的视频异常行为判别方法 | |
| CN109559287A (zh) | 一种基于DenseNet生成对抗网络的语义图像修复方法 | |
| CN106600560B (zh) | 一种适用于行车记录仪的图像去雾方法 | |
| CN109918510A (zh) | 跨领域关键词提取方法 | |
| CN102844766A (zh) | 基于人眼图像的多特征融合身份识别方法 | |
| CN206224639U (zh) | 一种具有遮挡检测功能的人脸识别门禁系统 | |
| CN110309732A (zh) | 基于骨架视频的行为识别方法 | |
| CN106339998A (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
| CN109800710A (zh) | 行人重识别系统及方法 | |
| CN111967592B (zh) | 基于分离正负扰动生成对抗图像机器识别的方法 | |
| CN108090472A (zh) | 基于多通道一致性特征的行人重识别方法及其系统 | |
| CN110503613A (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN105913408A (zh) | 一种基于双边滤波器的多聚焦图像融合方法 | |
| CN115294655A (zh) | 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备 | |
| CN105631405B (zh) | 基于多级分块的交通视频智能识别背景建模方法 | |
| CN116311254B (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
| CN114693577B (zh) | 一种基于Transformer的红外偏振图像融合方法 | |
| CN111696136A (zh) | 一种基于编解码结构的目标跟踪方法 | |
| CN112560624A (zh) | 基于模型深度集成的高分遥感影像语义分割方法 | |
| CN115331079A (zh) | 一种面向多模态遥感图像分类网络的对抗攻击方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |
|
| RJ01 | Rejection of invention patent application after publication |