CN111582175A - 一种共享多尺度对抗特征的高分遥感影像语义分割方法 - Google Patents

一种共享多尺度对抗特征的高分遥感影像语义分割方法 Download PDF

Info

Publication number
CN111582175A
CN111582175A CN202010386191.5A CN202010386191A CN111582175A CN 111582175 A CN111582175 A CN 111582175A CN 202010386191 A CN202010386191 A CN 202010386191A CN 111582175 A CN111582175 A CN 111582175A
Authority
CN
China
Prior art keywords
semantic
feature
remote sensing
fusion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010386191.5A
Other languages
English (en)
Other versions
CN111582175B (zh
Inventor
陈杰
朱晶茹
万里
周兴
何玢
邓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202010386191.5A priority Critical patent/CN111582175B/zh
Publication of CN111582175A publication Critical patent/CN111582175A/zh
Application granted granted Critical
Publication of CN111582175B publication Critical patent/CN111582175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种共享多尺度对抗特征的高分遥感影像语义分割方法，引入了多尺度对抗网络模型，利用对抗特征的多尺度结构学习，较好地刻画出遥感影像的多尺度细节信息；同时通过改进对抗网络模型的判别器，将其作为关系增强模块，进一步描述目标地物的相关性和边界信息，一方面，可以表达同一地物内的像素之间的相关性，另一方面，将每个图像的边缘像素与其周围的其他两个或多个地物类别的像素相关联，从而获得目标地物更好的空间连续性和边界准确性，提高遥感影像预测结果的边界和语义准确性；另外，本申请的对抗特征能够灵活的嵌入到不同的语义分割基准模型中，具有较好的迁移应用能力，且能够相应地提高其性能。

Description

一种共享多尺度对抗特征的高分遥感影像语义分割方法
技术领域
本发明涉及遥感影像领域，更具体地，涉及一种共享多尺度对抗特征的高分遥感影像语义分割方法。
背景技术
随着对地观测技术的发展，高分辨率遥感图像(HRSIs)在遥感研究和应用中引起了广泛的关注。HRSI的语义分割旨在为地物的每个像素指定一个地理对象类别，并在地理对象之间有一个精确的边界。它是遥感图像分析和理解的首要任务，在城市规划、灾害监测、精准农业等广泛应用中发挥着重要作用。深卷积神经网络(DCNNs)以其强大的特征表示能力在计算机视觉领域取得了成功，并被广泛应用于图像语义分割任务中。然而，DCNNs中用于特征提取的卷积运算不可避免地会降低图像的分辨率，导致特征图很难显示地理对象的真实像素位置。为了解决这个问题，Long等人将DCNNs(例如AlexNet、VGG[8]或ResNet)转换为全卷积网络(FCN)以进行像素级分类。之后，为提高FCN对地理对象细节的敏感度，一些研究利用许多策略来捕获不同的上下文信息或扩展接受域。
由于DCNN在计算机视觉中的成功应用，许多基于DCNN的语义分割方法逐渐应用到HRSI中。Saito等人使用DCNN学习地理对象及其标签之间的映射，以便从高分辨率航空影像中提取建筑物和道路。Zhang等人结合残差学习和U-Net的优点，提出了一种用于道路提取的语义分割模型。DeepUNe被提出用于海陆分割。随后，许多研究集中关注地理对象的多尺度特征，以减少地理对象丰富的细节和不同尺度对HRSIs语义分割中的影响。虽然这些方法考虑了HRSIs多尺度特征表示的重要性，并能获得较高的预测分数，但由于其在预测像素时是独立的，因而忽略了像素之间的相关性，导致分割结果不连续。
GAN由两部分组成：生成器G用于生成尽可能接近真实的假样本，判别器D试图区分假样本和真实样本。由于对抗模型可以测量标签变量的联合分布，因此可以将其作为一种可学习的高阶损失，以提示生成器顾及像素之前的关系，从而增强预测标签的空间连续性。随后，朱等人引入对抗学习进行语义分割，以减少小规模样本上的过拟合，提高模型的鲁棒性。Phillip等人首次使用条件生成对抗网络学习从输入原始图像到输出标签映射的映射，对抗特征可以提高半监督语义分割的准确度，虽然基于GANs中的生成器的方法在语义分割上取得了一些成功，对抗性损失有利于增强生成器生成具有连续值变化的图像，但是，在生成具有离散值的标签时，可能导致语义混乱；上述方法均难以表达地理对象的内部语义连续性和外部边界准确性。因此，业内急需一种共享多尺度对抗特征的高分遥感影像语义分割方法。
发明内容
本发明目的在于提供一种共享多尺度对抗特征的高分遥感影像语义分割方法，以解决背景技术中存在的遥感影像中同类地物识别的空间不连续，不同地物类别间的边界像素缺乏相关性以及边界语义识别不准确的问题。
为实现上述目的，本发明提供了一种共享多尺度对抗特征的高分遥感影像语义分割方法，括以下步骤：
S1、获取遥感影像及其语义标签训练集，通过网上下载获取遥感影像及对应的语义标签图，并将获取的遥感影像和对应的语义标签图以相同的步长裁剪成相同大小的图像块对，构成遥感影像及其语义标签训练集；
S2、利用训练集训练生成对抗网络，包括以下步骤：
S2.1、将训练集中的语义标签图输入生成器，得到假遥感影像；
S2.2、将假遥感影像与训练集中的真实遥感影像输入到判别器，得到的概率值，该概率值表示输入图像来自真实图片的概率；
S2.3、对抗网络模型更新，通过损失函数计算误差，并将误差反向传播，更新生成器和判别器的参数至网络模型收敛，并保存网络模型；损失函数为
Figure BDA0002483916600000021
Figure BDA0002483916600000022
其中，Pdata(x)指真实数据分布，Pz(z)指先验噪声分布，G(z)指生成器的输出，D(x指判别器的输出；
S3、构建语义分割模型，语义分割模型包括编码部分和解码部分；
编码部分包括语义特征提取、语义特征关系增强和语义特征融合；
语义特征提取，将遥感影像的RGB三通道图像输入语义特征提取模块，得到五个具有不同尺寸大小以及识别能力的特征图像；
语义特征关系增强，将遥感影像的RGB三通道图像分别进行2倍和4倍下采样，得到原图、1/2倍和1/4倍三个尺度的图像金字塔，原图、1/2倍和1/4倍三个尺度的图像输入到关系增强模块，得到五个分别具有三个尺度的关系增强特征图像；
语义特征融合，将语义特征模块提取的特征图像与关系增强模块提取的关系增强特征图像使用融合特征模块进行融合，得到五个融合特征图像；
解码部分，将编码部分的五个融合特征进行上采样和拼接，最终得到与影像尺寸相同的语义标签预测图；
S4、语义分割网络参数更新，将解码部分得到的语义标签预测图与训练集中的真实语义标签图利用交叉熵损失函数计算误差，并将得到的误差反向传播，更新语义分割网络参数；所述交叉熵损失函数：
Figure BDA0002483916600000031
其中，N代表样本数，y代表真实标签值，y代表预测标签值；
S5、语义分割网络模型更新，重复步骤S3、S4过程，直至网络收敛，保存训练好的语义分割网络模型；
S6、遥感影像预测，将待分割的遥感影像输入到步骤S5中训练好的语义分割模型中进行预测，得到该影像的语义分割图。
进一步地，所述步骤S3中关系增强模块由对抗网络模型的判别器改进制成，通过去掉判别器中原有的sigmoid函数，作为关系增强模块。
进一步地，步骤S3中，语义特征融合过程：
a)、将关系增强模块中卷积块1得到的三个特征图上采样到同一尺寸，然后将对应位置的特征值进行逐像素相加，得到一个特征图；
b)、将a)中得到的特征图与语义特征提取模块中卷积块1得到的特征图通过融合特征模块进行融合，得到融合特征图像；
c)、依次对关系增强模块和语义特征提取模块中另外4个卷积块进行上述步骤a)和步骤b)处理，最终得到五个融合特征图像。
进一步地，解码部分的解码过程为：将第五个融合特征进行上采样至与第四融合特征尺寸相同，并与第四融合特征进行拼接；拼接后的融合特征再径向上采样至与第三融合特征尺寸相同，并与第三融合特征进行拼接；与第三融合特征拼接后的融合特征再上采样至与第二融合特征尺寸相同，并与第二融合特征进行拼接；与第二融合特征拼接后的融合特征再上采样至与第一融合特征尺寸相同，并与第一融合特征进行拼接，再上采样得到与影像尺寸相同的语义标签预测图。
本发明具有以下有益效果：
本发明提供了一种共享多尺度对抗特征的高分遥感影像语义分割方法，引入了多尺度对抗网络模型，利用对抗特征的多尺度结构学习，较好地刻画出遥感影像的多尺度细节信息；同时通过改进对抗网络模型的判别器，将其作为关系增强模块，进一步描述目标地物的相关性和边界信息，一方面，可以表达同一地物内的像素之间的相关性，另一方面，将每个图像的边缘像素与其周围的其他两个或多个地物类别的像素相关联，从而获得目标地物更好的空间连续性和边界准确性，提高遥感影像预测结果的边界和语义准确性；另外，本申请的对抗特征能够灵活的嵌入到不同的语义分割基准模型中，具有较好的迁移应用能力，且能够相应地提高其性能。
本发明的解码部分通过将融合特征图一层一层的上采样拼接融合，很好的包含了融合特征图中的局部语义与边界增强信息，使得在预测过程中兼顾遥感影像的局部信息和全局信息，得到更为精准的语义标签预测图。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明一种遥感影像多任务语义理解基准库的构建流程图；
图2是图1中语义特征提取模块进行特征提取流程图；
图3是图1中关系增强模块进行特征提取流程图；
图4是图1中语义特征融合图；
图5是图1中解码部分过程图；
图6是本发明与传统模型的遥感影像语义分割对比图；
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。
参见图1至图6，本实施例中提供了一种共享多尺度对抗特征的高分遥感影像语义分割方法，包括以下步骤：
S1、获取遥感影像及其语义标签训练集，通过网上下载获取遥感影像及对应的语义标签图，并将获取的遥感影像和对应的语义标签图以相同的步长裁剪成256*256大小的图像块对，构成遥感影像及其语义标签训练集；
S2、利用训练集训练生成对抗网络，包括以下步骤：
S2.1、将训练集中的语义标签图输入生成器，得到假遥感影像；
S2.2、将假遥感影像与训练集中的真实遥感影像输入到判别器，得到的概率值，该概率值表示输入图像来自真实图片的概率；
S2.3、对抗网络模型更新，通过损失函数计算误差，并将误差反向传播，更新生成器和判别器的参数至网络模型收敛，并保存新网络模型；损失函数为：
Figure BDA0002483916600000051
Figure BDA0002483916600000052
(其中，Pdata(x)指真实数据分布，Pz(z)指先验噪声分布，G(z)指生成器的输出，D(x)指判别器的输出)。
S3、构建语义分割模型，取名为SMAF-Net；语义分割模型包括编码部分和解码部分；编码部分包括语义特征提取、语义特征关系增强和语义特征融合。
语义特征提取，语义特征提取模块采用ResNet，优选ResNet101，将遥感影像的RGB三通道图像输入语义特征提取模块，得到五个具有不同尺寸大小以及识别能力的特征图像；越靠近前端的特征图像(经过卷积块1得到的特征图)尺寸越大，可以捕捉越多的图像局部，细节信息；越靠后端特征尺寸越小，可以捕捉信息更全局也更复杂更抽象；因此，提取出五个不同识别能力的特征图像。
语义特征关系增强，将遥感影像的RGB三通道图像分别进行2倍和4倍下采样，得到原图、1/2倍和1/4倍三个尺度的图像金字塔，原图、1/2倍和1/4倍三个尺度的图像输入到关系增强模块，得到五个分别具有三个尺度的关系增强特征图像。关系增强模块基于更新的对抗网络模型的判别器改进制成，通过去掉判别器中原有的sigmoid函数，作为关系增强模块；基于对抗网络模型的对抗学习，对抗网络的数据样本包含标签、生成器生成的图像以及真实影像，关系增强模块(判别器)中包含了生成器生成图像、真实图像以及标签的数据联合分布。关系增强模块可以表达图像像素之间的相关性，一方面可以捕捉同一地物内的像素之间的相关性，另一方面，将每个图像的边缘像素与其周围的其他两个或多个语义类别的像素相关联，起到增强像素间关系的作用，有利于保证地物内部空间的连续，且便于边界的分类。
语义特征融合，将语义特征模块提取的特征图像与关系增强模块提取的关系增强特征图像使用融合特征模块进行融合，得到五个融合特征图像；语义特征融合过程：
a)、将关系增强模块中卷积块1得到的三个特征图上采样到同一尺寸，然后将对应位置的特征值进行逐像素相加，得到一个特征图；
b)、将a)中得到的特征图与语义特征提取模块中卷积块1得到的特征图通过融合特征模块进行融合，得到融合特征图像；
c)、依次对关系增强模块和语义特征提取模块中另外4个卷积块进行上述步骤a)和步骤b)处理，最终得到五个融合特征图像。
解码部分，将编码部分的五个融合特征进行上采样和拼接，最终得到与影像尺寸相同的语义标签预测图；将第五个融合特征进行上采样至与第四融合特征尺寸相同，并与第四融合特征进行拼接；拼接后的融合特征再径向上采样至与第三融合特征尺寸相同，并与第三融合特征进行拼接；与第三融合特征拼接后的融合特征再上采样至与第二融合特征尺寸相同，并与第二融合特征进行拼接；与第二融合特征拼接后的融合特征再上采样至与第一融合特征尺寸相同，并与第一融合特征进行拼接，再上采样得到与影像尺寸相同的语义标签预测图。解码部分通过将融合特征图一层一层的上采样拼接融合，很好的包含了融合特征图中的局部语义与边界增强信息，使得在预测过程中很好的兼顾了遥感影像的局部信息和全局信息；得到更为精准的语义标签预测图。
S4、语义分割网络参数更新，将解码部分得到的语义标签预测图与训练集中的真实语义标签图利用交叉熵损失函数计算误差，并将得到的误差反向传播，更新语义分割网络参数；
Figure BDA0002483916600000061
(其中，N代表样本数，y代表真实标签值，y代表预测标签值)。
S5、语义分割网络模型更新，重复步骤S3、S4过程，直至网络收敛，保存训练好的语义分割网络模型。
S6、遥感影像预测，将待分割的遥感影像输入到步骤S5中训练好的语义分割模型中进行预测，得到该影像的语义分割图。
针对现有的遥感影像分割方法与本申请共享多尺度对抗特征遥感语义分割，本申请技术方案作了三个方面的实验论证：
表1基于Potsdam数据集的定量分析表
Figure BDA0002483916600000071
从表1的定量分析表中可以看出，本发明提出的方法SMAF-Net的Avg.F1、OA以及mIoU得分都优于其他模型方法，其中，与GANs-based的方法相比，本发明的性能在mIoU上优于其他方法约6％-20％；与传统的基准模型相比，本发明的方法在mIoU上的性能也优于其他模型约0.89％-15％；并且从图6的对比图中，本发明的技术方案具有更好的空间连续性和边界准确性，能够获得了更好的语义和边界精度。
表2.基于Potsdam数据集的迁移性分析表
Figure BDA0002483916600000072
注：SMAF_SegNet:以SegNet作为基准模型；SMAF_ResNet：以ResNet作为基准模型
从表2的迁移性分析表可以看出，通过将本申请技术方案的多尺度对抗特征与现有的两种基准模型SegNet和ResNet相结合；基于现有的SegNet，在Avg.F1(定义为精确率和召回率的调和平均数)、OA和mIoU上的分别提高了3.63％、3.26％和5.99％；基于现有的ResNet，在Avg.F1、OA和mIoU上的分别提高了为4.16％、3.43％和6.40％；表明本申请技术方案的共享多尺度对抗特征可以方便灵活地移植到具有跳跃连接的其他语义分割模型中，并取得较大提升。
表3.基于Potsdam数据集的消融实验分析表
Figure BDA0002483916600000073
注：ResNet:移除对抗特征；single-scale:仅使用判别器中的单尺度对抗特征；
multi-scale:使用判别器中的多尺度对抗特征
从表3的消融实验分析表可以看出，与基准模型ResNet相比，加入单尺度对抗特征(只在原图基础上训练得到的对抗特征)的mIoU提升了5.92％，加入多尺度的对抗特征(在原图、2倍采样、4倍采样等多尺度图像上得到的对抗特征)的mIoU提高了6.40％；本申请的多尺度对抗特征有利于遥感影像的语义分割，且突出了多尺度分析在遥感影像识别中的重要性。
本发明提供了一种共享多尺度对抗特征的高分遥感影像语义分割方法，引入了多尺度对抗网络模型，利用对抗特征的多尺度结构学习，较好地刻画出遥感影像的多尺度细节信息；同时通过改进对抗网络模型的判别器，将其作为关系增强模块，进一步描述目标地物的相关性和边界信息，一方面，可以表达同一地物内的像素之间的相关性，另一方面，将每个图像的边缘像素与其周围的其他两个或多个语义类别的像素相关联，从而获得目标地物更好的空间连续性和边界准确性，提高遥感影像预测结果的边界和语义准确性；另外，本申请的对抗特征能够灵活的嵌入到不同的语义分割基准模型中，具有较好的迁移应用能力，且能够相应地提高其性能。
需要说明的是，本发明中的对抗网络模型以及语义分割模型均基于现有的计算机平台操作。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种共享多尺度对抗特征的高分遥感影像语义分割方法，其特征在于，包括以下步骤：
S1、获取遥感影像及其语义标签训练集，通过网上下载获取遥感影像及对应的语义标签图，并将获取的遥感影像和对应的语义标签图以相同的步长裁剪成相同大小的图像块对，构成遥感影像及其语义标签训练集；
S2、利用训练集训练生成对抗网络，包括以下步骤：
S2.1、将训练集中的语义标签图输入生成器，得到假遥感影像；
S2.2、将假遥感影像与训练集中的真实遥感影像输入到判别器，得到的概率值，该概率值表示输入图像来自真实图片的概率；
S2.3、对抗网络模型更新，通过损失函数计算误差，并将误差反向传播，更新生成器和判别器的参数至网络模型收敛，并保存网络模型；
S3、构建语义分割模型，语义分割模型包括编码部分和解码部分；
编码部分包括语义特征提取、语义特征关系增强和语义特征融合；
语义特征提取，将遥感影像的RGB三通道图像输入语义特征提取模块，得到五个具有不同尺寸大小以及识别能力的特征图像；
语义特征关系增强，将遥感影像的RGB三通道图像分别进行2倍和4倍下采样，得到原图、1/2倍和1/4倍三个尺度的图像金字塔，原图、1/2倍和1/4倍三个尺度的图像输入到关系增强模块，得到五个分别具有三个尺度的关系增强特征图像；
语义特征融合，将语义特征模块提取的特征图像与关系增强模块提取的关系增强特征图像使用融合特征模块进行融合，得到五个融合特征图像；
解码部分，将编码部分的五个融合特征进行上采样和拼接，最终得到与影像尺寸相同的语义标签预测图；
S4、语义分割网络参数更新，将解码部分得到的语义标签预测图与训练集中的真实语义标签图利用交叉熵损失函数计算误差，并将得到的误差反向传播，更新语义分割网络参数；
S5、语义分割网络模型更新，重复步骤S3、S4过程，直至网络收敛，保存训练好的语义分割网络模型；
S6、遥感影像预测，将待分割的遥感影像输入到步骤S5中训练好的语义分割模型中进行预测，得到该影像的语义分割图。
2.根据权利要求1所述的一种共享多尺度对抗特征的高分遥感影像语义分割方法，其特征在于，所述步骤S3中关系增强模块由对抗网络模型的判别器改进制成，通过去掉判别器中原有的sigmoid函数，作为关系增强模块。
3.根据权利要求1所述的一种共享多尺度对抗特征的高分遥感影像语义分割方法，其特征在于，步骤S3中，语义特征融合过程：
a)、将关系增强模块中卷积块1得到的三个特征图上采样到同一尺寸，然后将对应位置的特征值进行逐像素相加，得到一个特征图；
b)、将a)中得到的特征图与语义特征提取模块中卷积块1得到的特征图通过融合特征模块进行融合，得到融合特征图像；
c)、依次对关系增强模块和语义特征提取模块中另外4个卷积块进行上述步骤a)和步骤b)处理，最终得到五个融合特征图像。
4.根据权利要求1所述的一种共享多尺度对抗特征的高分遥感影像语义分割方法，其特征在于，解码部分的解码过程为：将第五个融合特征进行上采样至与第四融合特征尺寸相同，并与第四融合特征进行拼接；拼接后的融合特征再径向上采样至与第三融合特征尺寸相同，并与第三融合特征进行拼接；与第三融合特征拼接后的融合特征再上采样至与第二融合特征尺寸相同，并与第二融合特征进行拼接；与第二融合特征拼接后的融合特征再上采样至与第一融合特征尺寸相同，并与第一融合特征进行拼接，再上采样得到与影像尺寸相同的语义标签预测图。
5.根据权利要求1所述的一种共享多尺度对抗特征的高分遥感影像语义分割方法，其特征在于，步骤S2.3中，损失函数为
Figure FDA0002483916590000021
Figure FDA0002483916590000022
其中，Pdata(x)指真实数据分布，Pz(z)指先验噪声分布，G(z)指生成器的输出，D(x)指判别器的输出。
6.根据权利要求1所述的一种共享多尺度对抗特征的高分遥感影像语义分割方法，其特征在于，步骤S4中，交叉熵损失函数：
Figure FDA0002483916590000023
其中，N代表样本数，y代表真实标签值，y代表预测标签值。
CN202010386191.5A 2020-05-09 2020-05-09 一种共享多尺度对抗特征的高分遥感影像语义分割方法 Active CN111582175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010386191.5A CN111582175B (zh) 2020-05-09 2020-05-09 一种共享多尺度对抗特征的高分遥感影像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010386191.5A CN111582175B (zh) 2020-05-09 2020-05-09 一种共享多尺度对抗特征的高分遥感影像语义分割方法

Publications (2)

Publication Number Publication Date
CN111582175A true CN111582175A (zh) 2020-08-25
CN111582175B CN111582175B (zh) 2023-07-21

Family

ID=72112113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010386191.5A Active CN111582175B (zh) 2020-05-09 2020-05-09 一种共享多尺度对抗特征的高分遥感影像语义分割方法

Country Status (1)

Country Link
CN (1) CN111582175B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052783A (zh) * 2020-09-02 2020-12-08 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN112132197A (zh) * 2020-09-15 2020-12-25 腾讯科技（深圳）有限公司 模型训练、图像处理方法、装置、计算机设备和存储介质
CN112270651A (zh) * 2020-10-15 2021-01-26 西安工程大学 一种基于多尺度判别生成对抗网络的图像修复方法
CN112489060A (zh) * 2020-12-07 2021-03-12 北京医准智能科技有限公司 一种用于肺炎病灶分割的系统及方法
CN112989919A (zh) * 2020-12-25 2021-06-18 首都师范大学 一种从影像中提取目标对象的方法及系统
CN113792742A (zh) * 2021-09-17 2021-12-14 北京百度网讯科技有限公司 遥感图像的语义分割方法和语义分割模型的训练方法
CN113807354A (zh) * 2020-12-29 2021-12-17 京东科技控股股份有限公司 图像语义分割方法、装置、设备和存储介质
CN114022496A (zh) * 2021-09-26 2022-02-08 天翼爱音乐文化科技有限公司 图像处理方法、系统、装置及存储介质
WO2022127333A1 (zh) * 2020-12-16 2022-06-23 腾讯科技（深圳）有限公司 图像分割模型的训练方法、图像分割方法、装置、设备
CN114904270A (zh) * 2022-05-11 2022-08-16 平安科技（深圳）有限公司 虚拟内容的生成方法及装置、电子设备、存储介质
CN115205692A (zh) * 2022-09-16 2022-10-18 成都戎星科技有限公司 基于生成对抗网络的典型地物要素智能识别与提取方法
CN115408498A (zh) * 2022-11-02 2022-11-29 中孚安全技术有限公司 一种基于自然语言的数据动态识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
US20190005330A1 (en) * 2016-02-09 2019-01-03 Hrl Laboratories, Llc System and method for the fusion of bottom-up whole-image features and top-down enttiy classification for accurate image/video scene classification
US20190164290A1 (en) * 2016-08-25 2019-05-30 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备
CN111080645A (zh) * 2019-11-12 2020-04-28 中国矿业大学 基于生成式对抗网络的遥感图像半监督语义分割方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005330A1 (en) * 2016-02-09 2019-01-03 Hrl Laboratories, Llc System and method for the fusion of bottom-up whole-image features and top-down enttiy classification for accurate image/video scene classification
US20190164290A1 (en) * 2016-08-25 2019-05-30 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备
CN111080645A (zh) * 2019-11-12 2020-04-28 中国矿业大学 基于生成式对抗网络的遥感图像半监督语义分割方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHANGQIAN YU ET AL.: "BiSeNet: Bilateral Segmentation Network for Real-Time Semantic Segmentation", 《SPRINGER，COMPUTER VISION-ECCV2018》, 6 October 2018 (2018-10-06), pages 1 - 8 *
QQ_35270954: "对抗神经网络（一）", 《CSDN》, 6 April 2019 (2019-04-06), pages 8 - 11 *
TING-CHUN WANG ET AL.: "High-resolution image synthesis and semantic manipulation with conditional GANs", 《 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 17 December 2018 (2018-12-17), pages 1 - 8 *
VIJAY BADRINARAYANAN ET AL.: "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, 2 January 2017 (2017-01-02), pages 1 - 11 *
WEI CUI ET AL.: "Multi-Scale Semantic Segmentation and Spatial Relationship Recognition of Remote Sensing Images Based on an Attention Model", 《REMOTE SENSING》, pages 1 - 22 *
姚建华;吴加敏;杨勇;施祖贤;: "全卷积神经网络下的多光谱遥感影像分割", 中国图象图形学报, no. 01, pages 184 - 196 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052783A (zh) * 2020-09-02 2020-12-08 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN112052783B (zh) * 2020-09-02 2024-04-09 中南大学 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN112132197A (zh) * 2020-09-15 2020-12-25 腾讯科技（深圳）有限公司 模型训练、图像处理方法、装置、计算机设备和存储介质
CN112270651A (zh) * 2020-10-15 2021-01-26 西安工程大学 一种基于多尺度判别生成对抗网络的图像修复方法
CN112270651B (zh) * 2020-10-15 2023-12-15 西安工程大学 一种基于多尺度判别生成对抗网络的图像修复方法
CN112489060A (zh) * 2020-12-07 2021-03-12 北京医准智能科技有限公司 一种用于肺炎病灶分割的系统及方法
WO2022127333A1 (zh) * 2020-12-16 2022-06-23 腾讯科技（深圳）有限公司 图像分割模型的训练方法、图像分割方法、装置、设备
CN112989919A (zh) * 2020-12-25 2021-06-18 首都师范大学 一种从影像中提取目标对象的方法及系统
CN112989919B (zh) * 2020-12-25 2024-04-19 首都师范大学 一种从影像中提取目标对象的方法及系统
CN113807354B (zh) * 2020-12-29 2023-11-03 京东科技控股股份有限公司 图像语义分割方法、装置、设备和存储介质
CN113807354A (zh) * 2020-12-29 2021-12-17 京东科技控股股份有限公司 图像语义分割方法、装置、设备和存储介质
CN113792742A (zh) * 2021-09-17 2021-12-14 北京百度网讯科技有限公司 遥感图像的语义分割方法和语义分割模型的训练方法
CN114022496A (zh) * 2021-09-26 2022-02-08 天翼爱音乐文化科技有限公司 图像处理方法、系统、装置及存储介质
CN114904270A (zh) * 2022-05-11 2022-08-16 平安科技（深圳）有限公司 虚拟内容的生成方法及装置、电子设备、存储介质
CN114904270B (zh) * 2022-05-11 2024-06-07 平安科技（深圳）有限公司 虚拟内容的生成方法及装置、电子设备、存储介质
CN115205692A (zh) * 2022-09-16 2022-10-18 成都戎星科技有限公司 基于生成对抗网络的典型地物要素智能识别与提取方法
CN115205692B (zh) * 2022-09-16 2022-11-29 成都戎星科技有限公司 基于生成对抗网络的典型地物要素智能识别与提取方法
CN115408498A (zh) * 2022-11-02 2022-11-29 中孚安全技术有限公司 一种基于自然语言的数据动态识别方法

Also Published As

Publication number Publication date
CN111582175B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111582175B (zh) 一种共享多尺度对抗特征的高分遥感影像语义分割方法
Song et al. Automated pavement crack damage detection using deep multiscale convolutional features
Guo et al. CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence
CN112465828B (zh) 一种图像语义分割方法、装置、电子设备及存储介质
Fan et al. Multi-level contextual rnns with attention model for scene labeling
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
Raghavan et al. Optimized building extraction from high-resolution satellite imagery using deep learning
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
JP2024513596A (ja) 画像処理方法および装置、ならびにコンピュータ可読ストレージ媒体
CN113963251A (zh) 一种海洋生物检测方法、系统和设备
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN116740422A (zh) 基于多模态注意力融合技术的遥感图像分类方法及装置
CN117036843A (zh) 目标检测模型训练方法、目标检测方法和装置
Saifi et al. Deep learning based framework for semantic segmentation of satellite images
CN115577768A (zh) 半监督模型训练方法和装置
CN112287144A (zh) 图片检索方法、设备及存储介质
CN115205855A (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
CN111832358A (zh) 一种点云语义解析方法和装置
George et al. Efficient Road Segmentation Techniques with Attention-Enhanced Conditional GANs
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN114863450B (zh) 图像处理方法、装置、电子设备及存储介质
Wu et al. Research on asphalt pavement disease detection based on improved YOLOv5s

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant