CN114092827A - 一种图像数据集生成方法 - Google Patents

一种图像数据集生成方法 Download PDF

Info

Publication number
CN114092827A
CN114092827A CN202111340657.9A CN202111340657A CN114092827A CN 114092827 A CN114092827 A CN 114092827A CN 202111340657 A CN202111340657 A CN 202111340657A CN 114092827 A CN114092827 A CN 114092827A
Authority
CN
China
Prior art keywords
image
texture
remote sensing
haze
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111340657.9A
Other languages
English (en)
Inventor
张宪红
穆卓嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Institute of Technology
Original Assignee
Heilongjiang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Institute of Technology filed Critical Heilongjiang Institute of Technology
Priority to CN202111340657.9A priority Critical patent/CN114092827A/zh
Publication of CN114092827A publication Critical patent/CN114092827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种简单有效的基于生成对抗网络(Generated Antagonism Network，GAN)的含雾霾图像和去掉雾霾图像的对照数据集生成方法，具体可以用于解决当前训练深度学习网络去雾霾处理缺乏图像对照数据集问题的瓶颈与难点，主要特征在于：(1)提出基于纹理关注的生成对抗网络，解决无法实现自动化生成数据集的问题；(2)针对生成对抗网络训练效率低和生成图像易失真问题，在生成器设计上，提出基于迁移学习的特征强化生成模型，解决生成效率低问题；(3)在网络判别器设计上，提出具有全局判别器和局部判别器的双判别器判别模型，解决生成图像纹理细节失真问题。

Description

一种图像数据集生成方法
技术领域
本发明属于图像处理技术领域，特别是涉及一种基于生成对抗网络的对照图像数据集生成方法。
背景技术
高分遥感图像在农业、城市、资源、森林、矿山调查和监测等领域得到广泛应用，但高分遥感图像的广泛使用基于高质量的图像。随着全球雾霾情况的加重，雾霾使大气能见度下降，掩盖很多地物信息，导致图像有用信息严重丢失，这对基于图像进行地物提取、分类及后续的分析和理解等应用带来极大影响。高分辨率遥感影像数据集目前整体上是缺乏的，主流的有UC-Merced dataset，WHU-RS dataset，RSSCN7 dataset以及2017年由武汉大学制作的目前最大包括10000张30类的高分影像的AID数据集。由于缺乏相应有效的高分遥感图像数据集，因此需要创建供研究用数据集。因此，迫切需要一种高效、高质量、完全自动化生成高分遥感图像数据集生成方法突破高分遥感图像去雾霾问题的瓶颈。
发明内容
本发明为了解决高效、高质量、完全自动化生成高分遥感图像数据集生成问题，提出一种基于生成对抗网络的高分遥感图像数据集生成方法。
本发明的目的通过以下技术方案实现一种彩色图像边缘检测方法，包括以下步骤：
包括以下步骤：
步骤1、建立基于纹理关注的生成对抗网络模型(Texture Attention-GAN)，强化图像纹理特征并实现高分遥感图像的完全自动化处理；
步骤2、在生成对抗网络生成器设计上，提出基于迁移学习的特征强化生成模型，解决生成效率低问题；
步骤3、在网络的判别器设计上，提出具有全局判别器和局部判别器的双判别器判别模型，解决生成图像纹理细节失真问题。
步骤4、利用生成对抗网络构建雾霾与清晰对照的高分遥感图像数据集。
具体内容为：针对目前常用的遥感图像去雾霾方法中存在的过度依赖先验信息、无法实现遥感图像完全自动化去雾霾处理的问题，利用可以实现无监督学习方式的生成对抗网络模型进行高分遥感图像的去雾霾自动化处理。针对雾霾所引起的噪声会突出图像的低频信息，造成目标纹理等有用信息缺失的问题，提出引入生成纹理关注图模块至生成对抗网络中，建立基于纹理关注的生成对抗网络模型(Texture Attention-GAN)，保证本研究中的高分遥感图像去雾霾方法既实现自动化处理，又能很好地保持地物细节信息。
网络可分为三个部分：纹理关注图生成模块部分、生成器部分和判别器部分。本设计框架在生成器前生成纹理关注图。纹理关注图是所设计网络中至关重要的部分，因为通常一幅图像中纹理等有用信息均为高频部分，能够使生成器聚焦在图像目标区域的纹理区域。在训练过程中，纹理关注图更加注重相关结构的纹理细节问题，从而提高生成器的生成效率并提高生成图像细节部分的质量。纹理关注图采用改进后的细胞神经网络(CNN)提取原雾霾高分遥感图像对应的清晰图像的高频部分，生成一幅二值图像，如果该像素位置有高频部分，那么二值图中的值为1，否则为0。这里，对于纹理提取阈值的设定采用特征值统计设定。生成的纹理关注图和带雾霾的输入图像进行拼接作为生成器的输入。
Texture Attention-GAN的目标函数为：
Figure RE-GDA0003429958770000021
其中，G代表生成式网络，并对判别器进行重新预测；；Ix是从带雾霾的高分遥感图像数据集中提取的样本；Iclear是一个对应无雾霾数据集中的样本。
在训练过程中，参数的取值直接决定网络运行的质量，这里尝试使用初始学习率设置为0.0002及批量大小为1。在每次迭代中，首先利用清晰图像和上一次迭代生成的去雾霾图像训练判别器，已达到最小化判别器的损失函数，然后再利用有雾霾图像训练生成器，以达到最小化生成器损失函数。
首先，本生成器的输入为纹理关注图和带雾霾图像的拼接，加入纹理关注图起到特征强化的作用。针对生成对抗网络生成效率低的问题，这里采用迁移学习理论，利用已经训练成熟的VGG-16模型参数。在基于纹理关注的生成对抗网络中引入VGG-16模型的主要关键问题是选择恰当的迁移策略和参数移植问题。这里我们采用模型拼接的迁移策略，主要将VGG-16模型当做特征提取装置来使用。具体的做法是，将输出层去掉，然后将剩下的整个网络当做一个固定的特征提取机，组合到生成器的其他结构中，从而应用到新的数据集中。这样利用VGG-16已经训练好的参数可以减少对于底层特征提取的工作，从而提高生成效率。
本生成器模型除VGG-16结构外的其他部分采用步长为2的下卷积层2个，连接5 个ResNet块和2个上卷积层。通过观察输入图像对应纹理关注图的细节结构来激励添加跳跃连接。跳跃连接(skip connection)是在ResNet中引入了一种残差网络(residualnetwork)结构，其和普通的卷积网络的区别在于从输入源直接向输出源多连接了一条传递线，这是一种用来进行残差计算的恒等映射，其效果是为了防止出现网络层数增加而导致的梯度弥散与退化问题，造成模糊的输出。
Texture Attention-GAN的自动编码器采用多尺度损失函数[58]。多尺度损耗从不同的解码器层中提取特征，以形成不同尺寸的输出。通过采用这种方法，可以从不同的尺度获取更多的信息。
这里定义编码器的损失函数为：
Figure RE-GDA0003429958770000031
其中，Si表示从解码层中提取的第i个输出，Ti表示与Si相同比例的真实值标注，
Figure RE-GDA0003429958770000032
是不同尺度的权重。我们把更多的权重放在更大的尺度上。
总地来说，生成器的损失函数可以表示为：
Figure RE-GDA0003429958770000033
其中，
Figure RE-GDA0003429958770000034
整个判别模型由两个判别器构成，两个判别器分别是全局判别器D1和局部判别器D2。全局判别器D1查看整个图像，以检查是否存在不一致性，而局部判别器D2则查看特定的纹理区域，这里利用清晰高分遥感图像的纹理关注图mapx和生成器生成去雾霾后的高分遥感图像纹理关注图mapG(x)进行判别，以核对局部纹理是否有失真问题。两个判别器均采用5层的卷积神经网络(CNN)，包含4个3x3的卷积层和1个全连接层，采用sigmoid激活函数。具体来说，全局判别器D1将从生成器中生成的遥感图像与清晰的遥感图像进行判别比较。局部判别器D2将从生成器中生成的遥感图像进行纹理提取处理，然后与之前生成的纹理关注图进行判别比较。
为了更好地达到收敛，判别器D1采用的损失函数为：
Figure RE-GDA0003429958770000035
其中，Iclear是一个无雾霾数据集中的样本，IDehaze为对应去雾霾后的图像样本，
Figure RE-GDA0003429958770000036
是判别器D2中生成图像纹理关注图和清晰图像纹理关注图之间的差异。
Figure RE-GDA0003429958770000037
其中，Dmap表示CNN生成纹理关注图的过程。
在整个数据集的构建上，由于本方法需要相对大量的成对雾霾与清晰对照的高分遥感图像数据进行训练，因此，首先利用常规生成对抗网络模型，以高分二号全色0.8m的高分遥感图像为训练数据集，生成3200对雾霾与清晰对照的高分遥感图像作为基于纹理关注的生成对抗网络的训练数据集。图像规格统一为896×896。常规生成对抗网络GAN 有两个网络，G(Generator)和D(Discriminator)，G是一个生成图片的生成器，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。D是一个判别器，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。利用这个原理可以生成更多的高分遥感图像数据。考虑到模型的泛化能力，依据类间差距要小、类内差距要大的原则选取相应真实的场景影像。
然后，利用训练完成的去雾霾生成对抗网络模型，对含有雾霾的真实遥感图像进行处理，继续完善构建高分遥感图像数据集，使得遥感数据集最终能具有8000对以上雾霾与清晰对照的高分遥感图像。数据集中真实图像数据与有效的模拟图像数据的比例至少达到 6:4。
附图说明
图1是一种数据集生成方法流程图(以高分遥感图像为例)；
图2是生成的清晰与雾霾对照数据集部分图像。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1-图2，本发明提出一种彩色图像边缘检测方法，包括以下步骤：
本发明的目的通过以下技术方案实现一种彩色图像边缘检测方法，包括以下步骤：
包括以下步骤：
步骤1、建立基于纹理关注的生成对抗网络模型(Texture Attention-GAN)，强化图像纹理特征并实现高分遥感图像去雾霾不依赖先验知识的完全自动化处理；
步骤2、在生成对抗网络生成器设计上，提出基于迁移学习的特征强化生成模型，解决生成效率低问题；
步骤3、在网络的判别器设计上，提出具有全局判别器和局部判别器的双判别器判别模型，解决生成图像纹理细节失真问题。
步骤4、利用生成对抗网络构建雾霾与清晰对照的高分遥感图像数据集。
具体内容为：针对目前常用的遥感图像去雾霾方法中存在的过度依赖先验信息、无法实现遥感图像完全自动化去雾霾处理的问题，利用可以实现无监督学习方式的生成对抗网络模型进行高分遥感图像的去雾霾自动化处理。针对雾霾所引起的噪声会突出图像的低频信息，造成目标纹理等有用信息缺失的问题，提出引入生成纹理关注图模块至生成对抗网络中，建立基于纹理关注的生成对抗网络模型(Texture Attention-GAN)，保证本研究中的高分遥感图像去雾霾方法既实现自动化处理，又能很好地保持地物细节信息。
网络可分为三个部分：纹理关注图生成模块部分、生成器部分和判别器部分。本设计框架在生成器前生成纹理关注图。纹理关注图是所设计网络中至关重要的部分，因为通常一幅图像中纹理等有用信息均为高频部分，能够使生成器聚焦在图像目标区域的纹理区域。在训练过程中，纹理关注图更加注重相关结构的纹理细节问题，从而提高生成器的生成效率并提高生成图像细节部分的质量。纹理关注图采用改进后的细胞神经网络 (CNN)提取原雾霾高分遥感图像对应的清晰图像的高频部分，生成一幅二值图像，如果该像素位置有高频部分，那么二值图中的值为1，否则为0。这里，对于纹理提取阈值的设定采用特征值统计设定。生成的纹理关注图和带雾霾的输入图像进行拼接作为生成器的输入。
Texture Attention-GAN的目标函数为：
Figure RE-GDA0003429958770000051
其中，G代表生成式网络，并对判别器进行重新预测；；Ix是从带雾霾的高分遥感图像数据集中提取的样本；Iclear是一个对应无雾霾数据集中的样本。
在训练过程中，参数的取值直接决定网络运行的质量，这里尝试使用初始学习率设置为0.0002及批量大小为1。在每次迭代中，首先利用清晰图像和上一次迭代生成的去雾霾图像训练判别器，已达到最小化判别器的损失函数，然后再利用有雾霾图像训练生成器，以达到最小化生成器损失函数。
首先，本生成器的输入为纹理关注图和带雾霾图像的拼接，加入纹理关注图起到特征强化的作用。针对生成对抗网络生成效率低的问题，这里采用迁移学习理论，利用已经训练成熟的VGG-16模型参数。在基于纹理关注的生成对抗网络中引入VGG-16模型的主要关键问题是选择恰当的迁移策略和参数移植问题。这里我们采用模型拼接的迁移策略，主要将VGG-16模型当做特征提取装置来使用。具体的做法是，将输出层去掉，然后将剩下的整个网络当做一个固定的特征提取机，组合到生成器的其他结构中，从而应用到新的数据集中。这样利用VGG-16已经训练好的参数可以减少对于底层特征提取的工作，从而提高生成效率。
本生成器模型除VGG-16结构外的其他部分采用步长为2的下卷积层2个，连接5 个ResNet块和2个上卷积层。通过观察输入图像对应纹理关注图的细节结构来激励添加跳跃连接。跳跃连接(skip connection)是在ResNet中引入了一种残差网络(residualnetwork)结构，其和普通的卷积网络的区别在于从输入源直接向输出源多连接了一条传递线，这是一种用来进行残差计算的恒等映射，其效果是为了防止出现网络层数增加而导致的梯度弥散与退化问题，造成模糊的输出。
Texture Attention-GAN的自动编码器采用多尺度损失函数[58]。多尺度损耗从不同的解码器层中提取特征，以形成不同尺寸的输出。通过采用这种方法，可以从不同的尺度获取更多的信息。
这里定义编码器的损失函数为：
Figure RE-GDA0003429958770000061
其中，Si表示从解码层中提取的第i个输出，Ti表示与Si相同比例的真实值标注，
Figure RE-GDA0003429958770000062
是不同尺度的权重。我们把更多的权重放在更大的尺度上。
总地来说，生成器的损失函数可以表示为：
Figure RE-GDA0003429958770000063
其中，
Figure RE-GDA0003429958770000064
整个判别模型由两个判别器构成，两个判别器分别是全局判别器D1和局部判别器D2。全局判别器D1查看整个图像，以检查是否存在不一致性，而局部判别器D2则查看特定的纹理区域，这里利用清晰高分遥感图像的纹理关注图mapx和生成器生成去雾霾后的高分遥感图像纹理关注图mapG(x)进行判别，以核对局部纹理是否有失真问题。两个判别器均采用5层的卷积神经网络(CNN)，包含4个3x3的卷积层和1个全连接层，采用sigmoid激活函数。具体来说，全局判别器D1将从生成器中生成的遥感图像与清晰的遥感图像进行判别比较。局部判别器D2将从生成器中生成的遥感图像进行纹理提取处理，然后与之前生成的纹理关注图进行判别比较。
为了更好地达到收敛，判别器D1采用的损失函数为：
Figure RE-GDA0003429958770000065
其中，Iclear是一个无雾霾数据集中的样本，IDehaze为对应去雾霾后的图像样本，
Figure RE-GDA0003429958770000066
是判别器D2中生成图像纹理关注图和清晰图像纹理关注图之间的差异。
Figure RE-GDA0003429958770000067
其中，Dmap表示CNN生成纹理关注图的过程。
在整个数据集的构建上，由于本方法需要相对大量的成对雾霾与清晰对照的高分遥感图像数据进行训练，因此，首先利用常规生成对抗网络模型，以高分二号全色0.8m的高分遥感图像为训练数据集，生成3200对雾霾与清晰对照的高分遥感图像作为基于纹理关注的生成对抗网络的训练数据集。图像规格统一为896×896。常规生成对抗网络GAN 有两个网络，G(Generator)和D(Discriminator)，G是一个生成图片的生成器，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。D是一个判别器，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。利用这个原理可以生成更多的高分遥感图像数据。考虑到模型的泛化能力，依据类间差距要小、类内差距要大的原则选取相应真实的场景影像。
然后，利用训练完成的去雾霾生成对抗网络模型，对含有雾霾的真实遥感图像进行处理，继续完善构建高分遥感图像数据集，使得遥感数据集最终能具有8000对以上雾霾与清晰对照的高分遥感图像。数据集中真实图像数据与有效的模拟图像数据的比例至少达到 6:4。
以上对本发明所提供的一种彩色图像边缘检测方法，进行了详细介绍，本方法中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种图像数据集生成方法，其特征在于，包括以下步骤：
步骤1、建立基于纹理关注的生成对抗网络模型(Texture Attention-GAN)，强化图像纹理特征并实现生成图像的完全自动化处理；
步骤2、在生成对抗网络生成器设计上，提出基于迁移学习的特征强化生成模型，解决生成效率低问题；
步骤3、在网络的判别器设计上，提出具有全局判别器和局部判别器的双判别器判别模型，解决生成图像纹理细节失真问题。
步骤4、利用生成对抗网络构建雾霾与清晰对照的高分遥感图像数据集。
2.根据权利要求1所述，其特征在于，以目前缺乏的高分遥感图像为例，针对目前图像生成方法中存在无法实现图像完全自动化处理的问题，利用可以实现无监督学习方式的生成对抗网络模型进行高分遥感图像的生成自动化处理。针对雾霾所引起的噪声会突出图像的低频信息，造成目标纹理等有用信息缺失的问题，提出引入生成纹理关注图模块至生成对抗网络中，建立基于纹理关注的生成对抗网络模型(Texture Attention-GAN)，保证本研究中的高分遥感图像生成实现自动化处理，又能很好地保持地物细节信息。
网络可分为三个部分：纹理关注图生成模块部分、生成器部分和判别器部分。本设计框架在生成器前生成纹理关注图。纹理关注图是所设计网络中至关重要的部分，因为通常一幅图像中纹理等有用信息均为高频部分，能够使生成器聚焦在图像目标区域的纹理区域。在训练过程中，纹理关注图更加注重相关结构的纹理细节问题，从而提高生成器的生成效率并提高生成图像细节部分的质量。纹理关注图采用改进后的细胞神经网络(CNN)提取原雾霾高分遥感图像对应的清晰图像的高频部分，生成一幅二值图像，如果该像素位置有高频部分，那么二值图中的值为1，否则为0。这里，对于纹理提取阈值的设定采用特征值统计设定。生成的纹理关注图和带雾霾的输入图像进行拼接作为生成器的输入。
Texture Attention-GAN的目标函数为：
Figure FDA0003351863920000011
其中，G代表生成式网络，并对判别器进行重新预测；；Ix是从带雾霾的高分遥感图像数据集中提取的样本；Iclear是一个对应无雾霾数据集中的样本。
在训练过程中，参数的取值直接决定网络运行的质量，这里尝试使用初始学习率设置为0.0002及批量大小为1。在每次迭代中，首先利用清晰图像和上一次迭代生成的去雾霾图像训练判别器，已达到最小化判别器的损失函数，然后再利用有雾霾图像训练生成器，以达到最小化生成器损失函数。
3.根据权利要求2所述，其特征在于，首先，本生成器的输入为纹理关注图和带雾霾图像的拼接，加入纹理关注图起到特征强化的作用。针对生成对抗网络生成效率低的问题，这里采用迁移学习理论，利用已经训练成熟的VGG-16模型参数。在基于纹理关注的生成对抗网络中引入VGG-16模型的主要关键问题是选择恰当的迁移策略和参数移植问题。这里我们采用模型拼接的迁移策略，主要将VGG-16模型当做特征提取装置来使用。具体的做法是，将输出层去掉，然后将剩下的整个网络当做一个固定的特征提取机，组合到生成器的其他结构中，从而应用到新的数据集中。这样利用VGG-16已经训练好的参数可以减少对于底层特征提取的工作，从而提高生成效率。
本生成器模型除VGG-16结构外的其他部分采用步长为2的下卷积层2个，连接5个ResNet块和2个上卷积层。通过观察输入图像对应纹理关注图的细节结构来激励添加跳跃连接。跳跃连接(skip connection)是在ResNet中引入了一种残差网络(residualnetwork)结构，其和普通的卷积网络的区别在于从输入源直接向输出源多连接了一条传递线，这是一种用来进行残差计算的恒等映射，其效果是为了防止出现网络层数增加而导致的梯度弥散与退化问题，造成模糊的输出。
Texture Attention-GAN的自动编码器采用多尺度损失函数[58]。多尺度损耗从不同的解码器层中提取特征，以形成不同尺寸的输出。通过采用这种方法，可以从不同的尺度获取更多的信息。
这里定义编码器的损失函数为：
Figure FDA0003351863920000021
其中，Si表示从解码层中提取的第i个输出，Ti表示与Si相同比例的真实值标注，
Figure FDA0003351863920000022
是不同尺度的权重。我们把更多的权重放在更大的尺度上。
总地来说，生成器的损失函数可以表示为：
Figure FDA0003351863920000023
其中，
Figure FDA0003351863920000024
4.根据权利要求3所述，其特征在于，整个判别模型由两个判别器构成，两个判别器分别是全局判别器D1和局部判别器D2。全局判别器D1查看整个图像，以检查是否存在不一致性，而局部判别器D2则查看特定的纹理区域，这里利用清晰高分遥感图像的纹理关注图mapx和生成器生成去雾霾后的高分遥感图像纹理关注图mapG(x)进行判别，以核对局部纹理是否有失真问题。两个判别器均采用5层的卷积神经网络(CNN)，包含4个3x3的卷积层和1个全连接层，采用sigmoid激活函数。具体来说，全局判别器D1将从生成器中生成的遥感图像与清晰的遥感图像进行判别比较。局部判别器D2将从生成器中生成的遥感图像进行纹理提取处理，然后与之前生成的纹理关注图进行判别比较。
为了更好地达到收敛，判别器D1采用的损失函数为：
Figure FDA0003351863920000031
其中，Iclear是一个无雾霾数据集中的样本，IDehaze为对应去雾霾后的图像样本，
Figure FDA0003351863920000032
是判别器D2中生成图像纹理关注图和清晰图像纹理关注图之间的差异。
Figure FDA0003351863920000033
其中，Dmap表示CNN生成纹理关注图的过程。
5.根据权利要求4所述，其特征在于，在整个数据集的构建上，由于本方法需要相对大量的成对雾霾与清晰对照的高分遥感图像数据进行训练，因此，首先利用常规生成对抗网络模型，以高分二号全色0.8m的高分遥感图像为训练数据集，生成3200对雾霾与清晰对照的高分遥感图像作为基于纹理关注的生成对抗网络的训练数据集。图像规格统一为896×896。常规生成对抗网络GAN有两个网络，G(Generator)和D(Discriminator)，如图3-1所示。G是一个生成图片的生成器，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。D是一个判别器，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。利用这个原理可以生成更多的高分遥感图像数据。考虑到模型的泛化能力，依据类间差距要小、类内差距要大的原则选取相应真实的场景影像。
然后，利用训练完成的去雾霾生成对抗网络模型，对含有雾霾的真实遥感图像进行处理，继续完善构建高分遥感图像数据集，使得遥感数据集最终能具有8000对以上雾霾与清晰对照的高分遥感图像。数据集中真实图像数据与有效的模拟图像数据的比例至少达到6:4。
CN202111340657.9A 2021-11-12 2021-11-12 一种图像数据集生成方法 Pending CN114092827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111340657.9A CN114092827A (zh) 2021-11-12 2021-11-12 一种图像数据集生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111340657.9A CN114092827A (zh) 2021-11-12 2021-11-12 一种图像数据集生成方法

Publications (1)

Publication Number Publication Date
CN114092827A true CN114092827A (zh) 2022-02-25

Family

ID=80300317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111340657.9A Pending CN114092827A (zh) 2021-11-12 2021-11-12 一种图像数据集生成方法

Country Status (1)

Country Link
CN (1) CN114092827A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737793A (zh) * 2023-05-29 2023-09-12 南方电网能源发展研究院有限责任公司 碳排放流生成方法、模型训练方法、装置和计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737793A (zh) * 2023-05-29 2023-09-12 南方电网能源发展研究院有限责任公司 碳排放流生成方法、模型训练方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN108549794B (zh) 一种蛋白质二级结构预测方法
CN108596240B (zh) 一种基于判别特征网络的图像语义分割方法
CN110706239A (zh) 融合全卷积神经网络与改进aspp模块的场景分割方法
CN109740553B (zh) 一种基于识别的图像语义分割数据筛选方法及系统
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
CN111222534A (zh) 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法
CN114092827A (zh) 一种图像数据集生成方法
CN113139431B (zh) 基于深监督学习的图像显著性目标检测方法
CN114492581A (zh) 基于迁移学习和注意力机制元学习应用在小样本图片分类的方法
CN117197451A (zh) 基于域自适应的遥感图像语义分割方法及装置
CN116452472A (zh) 基于语义知识引导的低照度图像增强方法
CN110781936A (zh) 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN115965968A (zh) 基于知识引导的小样本目标检测识别方法
CN111754459B (zh) 基于统计深度特征的染色伪造图像检测方法及电子装置
CN114332491A (zh) 一种基于特征重构的显著性目标检测算法
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN109815911B (zh) 基于深度融合网络的视频运动物体检测系统、方法及终端
CN111914852B (zh) 一种基于编解码结构的多模态显著性对象检测方法
CN111046869B (zh) 一种基于深度学习的显著区域提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination