CN114758123A - 一种遥感影像目标样本增强方法 - Google Patents

一种遥感影像目标样本增强方法 Download PDF

Info

Publication number
CN114758123A
CN114758123A CN202210288788.5A CN202210288788A CN114758123A CN 114758123 A CN114758123 A CN 114758123A CN 202210288788 A CN202210288788 A CN 202210288788A CN 114758123 A CN114758123 A CN 114758123A
Authority
CN
China
Prior art keywords
image
remote sensing
target
sensing image
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210288788.5A
Other languages
English (en)
Inventor
许雄
赵贝贝
谢欢
童小华
冯永玖
王超
金雁敏
柳思聪
叶真
刘世杰
陈鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210288788.5A priority Critical patent/CN114758123A/zh
Publication of CN114758123A publication Critical patent/CN114758123A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种遥感影像目标样本增强方法，包括：步骤S1、获取遥感影像，并对遥感影像中的目标进行多边形标注和矩形框标注，并将数据集划分为训练集和测试集；步骤S2、将多边形标注后的分割图像和原始影像输入至基于生成对抗网络的pix2pix模型中进行循环训练，生成含有目标的第一遥感影像以及该影像为真实影像的概率；步骤S3、将多边形标注后的分割图像和原始影像输入至基于局部‑全局判别器的pix2pix模型中进行训练，生成第二遥感影像；步骤S4、在第二遥感影像数据集和原始数据集中随机各选择一张影像进行变换处理，采用复制‑粘贴策略进行影像混合，得到最终的目标增强影像。与现有技术相比，本发明能够生成高分辨率的且细节信息丰富影像，提高了样本的丰富性和多样性。

Description

一种遥感影像目标样本增强方法
技术领域
本发明涉及图像处理领域，尤其是涉及一种遥感影像目标样本增强方法。
背景技术
近年来，随着深度学习的发展，卷积神经网络在目标检测任务上取得了革命性的突破，基于卷积神经网络的检测算法需要在有充足标签样本为训练数据的前提下，才能达到较高的准确度。但是在一些场景下，尤其是遥感影像目标检测上，有标签的数据难以收集或获取这些数据成本较高。
为了获取高质量的标签，现阶段常用的方法是请专业的标注人员对每张影像进行标注，而繁琐的标注过程不仅会耗费大量的人力，还需要长时间的、大量的标注才能满足所需数量的数据集。因此，通常采用数据增强的方式来对其进行扩充，以满足训练的要求。
常见的传统数据增强方法扩充数量有限，不足以满足训练的要求。而现有的pix2pix模型生成的影像存在分辨率较低且模糊的缺陷。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种遥感影像目标样本增强方法，解决了原始pix2pix模型生成影像分辨率较低且模糊的问题，生成的影像提高了数据集的数量和质量，使得细节信息更加丰富。
本发明的目的可以通过以下技术方案来实现：
本发明提供了一种遥感影像目标样本增强方法，该方法包括以下步骤：
步骤S1、获取遥感影像，并对遥感影像中的目标进行多边形标注和矩形框标注，并将数据集划分为训练集和测试集；
步骤S2、将多边形标注后的分割图像和原始影像输入至基于生成对抗网络的pix2pix模型中进行循环训练，生成含有目标的第一遥感影像以及该影像为真实影像的概率；
步骤S3、将多边形标注后的分割图像和原始影像输入至基于局部-全局判别器的pix2pix模型中训练，生成第二遥感影像；
步骤S4、在第二遥感影像数据集和原始数据集中随机各选择一张影像进行变换处理，采用基于IOU粘贴位置确定算法的复制-粘贴策略将其中一张影像的目标粘贴到另一张影像上，进行影像混合，得到最终的目标增强影像。
优选地，所述步骤S1中对遥感影像中的目标进行多边形标注和矩形框标注，具体为：
对遥感影像中的目标进行多边形标注，获取目标和背景的分割图像；
对遥感影像进行矩形框标注，获取包围目标的矩形框。
优选地，所述步骤S2中的基于生成对抗网络的改进pix2pix模型包括用于进行图像转换的生成器和用于判断输入影像是真实影像还是生成器生成影像的判别器；所述判别器为马尔可夫判别器PatchGAN。
优选地，所述生成器包括跳跃连接的8个卷积层和7个反卷积层。
优选地，所述基于生成对抗网络的pix2pix模型的损失函数表达式为：
Figure BDA0003559326890000021
式中，LcGAN(G，D)为对抗网络损失函数，L1(G)为图像差异损失函数，λ为设定的系数。
优选地，所述步骤S3包括以下子步骤：
步骤S31、将生成的第一遥感影像和真实影像分别进行k1倍下采样和k2倍下采样；
步骤S32、分别构建第一遥感影像和真实影像的原尺度、k1倍下采样和k2倍下采样影像金字塔；
步骤S33、将影像金字塔的每一层输入到一个判别器中；其中，每层对应的判别器结构相同；
步骤S33、粗略尺度的判别器引导生成器生成具有全局一致性的影像，精细尺度的判别器监督生成器在影像局部范围内生成细节信息，最终得到包含细节信息和全局一致性信息的第二遥感影像。
更加优选地，所述k1、k2分别为2和4。
优选地，所述基于局部-全局判别器的pix2pix模型的损失函数表达式为：
Figure BDA0003559326890000031
式中，LcGAN(G，Di)为对抗网络损失函数；LL1(G)为图像差异损失函数；
Figure BDA0003559326890000033
、λ分别为对应的权重系数。
优选地，所述步骤S4中采用基于IOU粘贴位置确定算法的复制-粘贴策略将其中一张影像的目标粘贴到另一张影像上，进行影像混合，得到最终的目标增强影像，具体为：
1)在一个图像中随机选择任意数量的对象子集，粘贴到另一个图像随机的位置上；
2)调整图像的真实框，计算粘贴目标与影像上目标的交集与影像上目标的比值threshold，表达式为：
Figure BDA0003559326890000032
式中，bbox1为粘贴目标，bbox2为影像上目标，intersection为面积交集函数；
3)当比值threshold大于设定阈值时，移除遮挡的对象并更新部分遮挡对象的边界框，得到最终的目标增强影像。
更加优选地，所述步骤S41中对每张图片进行变换处理包括随机翻转、随机旋转以及尺度缩放。
与现有技术相比，本发明具有以下优点：
1)本发明使用基于生成式对抗网络的pix2pix模型生成影像，并构建影像金字塔，利用局部-全局判别器监督生成器生成高分辨率且富有细节信息的影像，解决了原始pix2pix模型生成影像分辨率较低且模糊的问题，生成的影像提高了数据集的数量和质量，使得细节信息更加丰富；
2)利用复制-粘贴策略对数据集的任一张影像进行随机旋转、随机水平翻转和任意尺度缩放，将目标粘贴在数据集中另一张影像上的任意位置上；通过随机的方式组合数据集中的影像，提高了数据集的复杂性，同时使各类目标的数量达到平衡，提高了目标检测模型识别的准确性和稳定性，减少过拟合；
3)本发明的方法避免了大量的样本标注工作，降低了人力和时间成本。
附图说明
图1为本发明方法流程图；
图2为基于生成对抗网络的pix2pix模型训练过程；
图3为局部-全局判别器结构；
图4为基于复制-粘贴策略图像生成过程；
图5为原始pix2pix和基于局部-全局判别器的pix2pix生成的影像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
本发明的工作原理和工作流程：
对遥感影像的目标进行多边形标注和矩形框标注，并将数据集划分为训练集和测试集。
使用基于生成对抗网络的pix2pix模型来生成含有目标的遥感影像，以实现数据增强效果。针对原始pix2pix模型生成影像分辨率较低且缺少局部细节信息，构建局部-全局判别器来引导生成器生成质量更高的遥感影像。
使用复制-粘贴策略将影像上不同规模的不同对象粘贴到新的遥感影像上，输出一张新的丰富且新颖的影像。
实施例
如图1所示，本实施例以固废垃圾遥感检测为例，给出了一种结合改进pix2pix模型与复制-粘贴策略的遥感影像目标样本增强方法，包括数据集制作、基于生成对抗网络的pix2pix模型的数据增强、基于局部-全局判别器的pix2pix模型的数据增强和复制-粘贴数据增强四个主要过程。
1、固废数据集的制作
对固废遥感影像进行多边形标注，获取固废目标和背景的分割图像，分割图像和原始影像作为影响对输入到pix2pix模型进行训练；在训练完成后，加载训练模型，并输入一张分割图像，即可生成含有该固废目标的遥感影像。对影像进行矩形框标注，获取包围目标的矩形框，保存为xml文件，xml文件和影像作为复制-粘贴策略的输入，以实现两张影像的组合，获取一张新的固废影像。
2、基于生成对抗网络的pix2pix模型的固废影像生成
pix2pix模型由生成器和判别器两部分组成，生成器对输入的分割图像进行转换，生成相应的固废影像。判别器采用PatchGAN，用来判断输入的影像是真实存在的影像还是生成器生成的影像。生成器和判别器循环训练后，生成一张固废影像以及该影像为真实影像的概率。图2为生成对抗网络的pix2pix模型训练过程。
所述生成器本质是一个U型网络，类似于解码-编码器，其编码器包含8层卷积层，解码器为7层反卷积，总共15个卷积层组成，并在此基础上引入了跳跃连接，使得每一个反卷积层的输入都是前一层卷积层的输出，从而使特征不断向下传递，保留较多的图像特征信息；
所述判别器采用马尔可夫判别器PatchGAN，用来判别是否是生成的图像。即将一张图像切割成不同的N×N大小的patch，判别器对每一个patch做真假判别，将一张图像所有patch的结果取平均作为最终的判别器输出。
Pix2pix网络中的条件生成对抗损失函数的输入是x，输出是y，随机噪声z为网络中的dropout层，则基于生成对抗网络的pix2pix模型的损失函数表达式为：
Figure BDA0003559326890000051
式中，LCGAN(G,D)为对抗网络损失函数，L1(G)为图像差异损失函数，λ为设定的系数。
3、基于局部-全局判别器的pix2pix模型的固废影像生成
针对原始pix2pix模型生成影像分辨率较低且缺少局部细节信息，本发明采用改进pix2pix模型，通过局部-全局判别器以监督生成器生成高质量影像，具体为：
首先将生成影像和真实影像分别下采样2倍和4倍；然后将原尺度、2倍下采样、4倍下采样的生成影像和真实影像分别构建影像金字塔；最后将金字塔的每一层输入到一个判别器中，且这三个尺度的判别器结构是相同的。粗略尺度的判别器引导生成器生成具有全局一致性的影像，精细尺度的判别器监督生成器在影像局部范围内的细节信息的生成。最终生成一张细节信息丰富且全局一致性强的影像。如图3所示。
4、基于复制-粘贴策略的固废影像生成
如图4所示，在固废数据集中基于局部-全局判别器的pix2pix模型生成的固废影像数据集中随机选择两张影像，首先对两张影像进行以下变换：在尺度为0.5～2.0之间随机选择一个尺度进行缩放；随机选择水平翻转、垂直翻转、对角翻转的翻转方式，并以0.5的概率进行翻转；在-25°～25°之间随机选择一个角度，进行旋转；然后从一个图像中随机选择任意数量的目标子集粘贴到另一个图像随机的位置上，计算粘贴目标与影像上目标的交集与影像上目标的比值，当比值大于阈值时，再选择任意位置进行粘贴，循环20次，若最后一次的位置调整仍大于阈值，移除遮挡的对象并更新部分遮挡对象的边界框。
其中，粘贴目标与影像上目标的交集与影像上目标的比值表达式为：
Figure BDA0003559326890000061
式中，bbox1为粘贴目标，bbox2为影像上目标，intersection为面积交集函数，面积函数。
图5为原始pix2pix和基于局部-全局判别器的pix2pix生成的影像，从结果可知，本发明遥感影像数据增强方法，通过结合基于局部-全局判别器的pix2pix模型与复制-粘贴策略，能够生成具有高分辨率的、细节信息丰富、纹理信息充足的影像，极大提高了样本的丰富性和多样性，避免了大量的样本标注工作，同时数据集的多样性避免了模型训练的过拟合，提高了基于深度学习的目标检测性能。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种遥感影像目标样本增强方法，其特征在于，该方法包括以下步骤：
步骤S1、获取遥感影像，并对遥感影像中的目标进行多边形标注和矩形框标注，并将数据集划分为训练集和测试集；
步骤S2、将多边形标注后的分割图像和原始影像输入至基于生成对抗网络的pix2pix模型中进行循环训练，生成含有目标的第一遥感影像以及该影像为真实影像的概率；
步骤S3、将多边形标注后的分割图像和原始影像输入至基于局部-全局判别器的pix2pix模型中训练，生成第二遥感影像；
步骤S4、在第二遥感影像数据集和原始数据集中随机各选择一张影像进行变换处理，采用基于IOU粘贴位置确定算法的复制-粘贴策略将其中一张影像的目标粘贴到另一张影像上，进行影像混合，得到最终的目标增强影像。
2.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述步骤S1中对遥感影像中的目标进行多边形标注和矩形框标注，具体为：
对遥感影像中的目标进行多边形标注，获取目标和背景的分割图像；
对遥感影像进行矩形框标注，获取包围目标的矩形框。
3.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述步骤S2中的基于生成对抗网络的改进pix2pix模型包括用于进行图像转换的生成器和用于判断输入影像是真实影像还是生成器生成影像的判别器；所述判别器为马尔可夫判别器PatchGAN。
4.根据权利要求3所述的一种遥感影像目标样本增强方法，其特征在于，所述生成器包括跳跃连接的8个卷积层和7个反卷积层。
5.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述基于生成对抗网络的pix2pix模型的损失函数表达式为：
Figure FDA0003559326880000011
式中，LcGAN(G,D)为对抗网络损失函数，L1(G)为图像差异损失函数，λ为设定的系数。
6.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述步骤S3包括以下子步骤：
步骤S31、将生成的第一遥感影像和真实影像分别进行k1倍下采样和k2倍下采样；
步骤S32、分别构建第一遥感影像和真实影像的原尺度、k1倍下采样和k2倍下采样影像金字塔；
步骤S33、将影像金字塔的每一层输入到一个判别器中；其中，每层对应的判别器结构相同；
步骤S33、粗略尺度的判别器引导生成器生成具有全局一致性的影像，精细尺度的判别器监督生成器在影像局部范围内生成细节信息，最终得到包含细节信息和全局一致性信息的第二遥感影像。
7.根据权利要求6所述的一种遥感影像目标样本增强方法，其特征在于，所述k1、k2分别为2和4。
8.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述基于局部-全局判别器的pix2pix模型的损失函数表达式为：
Figure FDA0003559326880000021
式中，LcGAN(G,Di)为对抗网络损失函数；LL1(G)为图像差异损失函数；
Figure FDA0003559326880000023
λ分别为对应的权重系数。
9.根据权利要求1所述的一种遥感影像目标样本增强方法，其特征在于，所述步骤S4中采用基于IOU粘贴位置确定算法的复制-粘贴策略将其中一张影像的目标粘贴到另一张影像上，进行影像混合，得到最终的目标增强影像，具体为：
1)在一个图像中随机选择任意数量的对象子集，粘贴到另一个图像随机的位置上；
2)调整图像的真实框，计算粘贴目标与影像上目标的交集与影像上目标的比值threshold，表达式为：
Figure FDA0003559326880000022
式中，bbox1为粘贴目标，bbox2为影像上目标，intersection为面积交集函数；
3)当比值threshold大于设定阈值时，移除遮挡的对象并更新部分遮挡对象的边界框，得到最终的目标增强影像。
10.根据权利要求9所述的一种遥感影像目标样本增强方法，其特征在于，所述步骤S41中对每张图片进行变换处理包括随机翻转、随机旋转以及尺度缩放。
CN202210288788.5A 2022-03-22 2022-03-22 一种遥感影像目标样本增强方法 Pending CN114758123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210288788.5A CN114758123A (zh) 2022-03-22 2022-03-22 一种遥感影像目标样本增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210288788.5A CN114758123A (zh) 2022-03-22 2022-03-22 一种遥感影像目标样本增强方法

Publications (1)

Publication Number Publication Date
CN114758123A true CN114758123A (zh) 2022-07-15

Family

ID=82328204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210288788.5A Pending CN114758123A (zh) 2022-03-22 2022-03-22 一种遥感影像目标样本增强方法

Country Status (1)

Country Link
CN (1) CN114758123A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346109A (zh) * 2022-08-02 2022-11-15 北京新岳纵横科技有限公司 一种基于iou策略的增强样本生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115346109A (zh) * 2022-08-02 2022-11-15 北京新岳纵横科技有限公司 一种基于iou策略的增强样本生成方法

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
US10515460B2 (en) Neural network-based camera calibration
CN113160234B (zh) 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN111191566A (zh) 基于像素分类的光学遥感图像多目标检测方法
CN111667030B (zh) 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质
CN112017192B (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN113935992A (zh) 基于图像处理的抗油污干扰的齿轮裂纹检测方法与系统
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和系统
CN114612732A (zh) 样本数据增强方法及系统及装置及介质及目标分类方法
CN110222217B (zh) 一种基于分段加权的鞋印图像检索方法
CN115620141A (zh) 一种基于加权可变形卷积目标检测方法和装置
CN115019181A (zh) 遥感图像旋转目标检测方法、电子设备及存储介质
CN114926826A (zh) 场景文本检测系统
CN114758123A (zh) 一种遥感影像目标样本增强方法
CN113628180B (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
CN113095316A (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
CN113920421B (zh) 一种快速分类的全卷积神经网络模型
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN113012158B (zh) 基于深度稠密网络与边缘距离图加权的图像协同分割方法
CN113435389B (zh) 基于图像特征深度学习的小球藻和金藻分类识别方法
CN114782983A (zh) 基于改进特征金字塔和边界损失的道路场景行人检测方法
CN115082778A (zh) 一种基于多分支学习的宅基地识别方法及系统
CN113205019A (zh) 一种缺陷绝缘子的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination