CN113936217A - 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法 - Google Patents

先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法 Download PDF

Info

Publication number
CN113936217A
CN113936217A CN202111241179.6A CN202111241179A CN113936217A CN 113936217 A CN113936217 A CN 113936217A CN 202111241179 A CN202111241179 A CN 202111241179A CN 113936217 A CN113936217 A CN 113936217A
Authority
CN
China
Prior art keywords
network
building
image
change detection
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111241179.6A
Other languages
English (en)
Other versions
CN113936217B (zh
Inventor
庞世燕
王涛
左志奇
郝京京
李鑫宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202111241179.6A priority Critical patent/CN113936217B/zh
Publication of CN113936217A publication Critical patent/CN113936217A/zh
Application granted granted Critical
Publication of CN113936217B publication Critical patent/CN113936217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，利用高分辨率遥感影像进行建筑物自动变化检测，首先采用融合域自适应和弱监督策略的建筑物提取算法生成先验语义知识，通过充分利用域自适应和弱监督两种策略最大程度提升先验知识的跨域扩展能力，减少样本数据集制作的数量及难度。然后设计先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测网络，将建筑物提取网络各个阶段的中间结果都作为先验知识，最大程度减少网络对于变化检测样本数据的依赖，提升建筑物变化检测的效果。

Description

先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检 测方法
技术领域
本发明属于建筑物变化检测领域，尤其涉及融合域自适应和弱监督策略的建筑物提取网络和先验语义知识引导的建筑物变化检测网络。
背景技术
遥感影像变化检测是地理国情监测的重要内容之一，对城市动态监测、地理信息更新、自然灾害监测、违章建筑物查处、军事目标打击效果分析以及国土资源调查等具有重要意义。得益于近年来快速发展的深度学习技术和对地观测技术，高分辨率遥感影像变化检测从数据积累到算法模型都得到了飞速发展，但距离商业化应用仍有一定差距。当前，高分辨率遥感影像变化检测的难点主要集中在：①样本数据集匮乏，而变化检测样本数据通常需要人工对比分析寻找变化区域并进行像素级标注，由于工作量大，目前可供深度学习研究使用的变化检测样本数据集较少；②模型泛化能力不强，由于变化检测通常涉及两期以上数据，而这些数据通常具有不同的天气、季节以及拍摄角度等条件差异，使得变化检测问题更加严峻，以致在某个特定数据集训练得到的变化检测模型很难推广泛化到其他数据集。
近年来，随着深度学习技术的不断成熟，高分辨率遥感影像变化检测技术得到了迅速发展，精度和可靠性远超传统算法。根据算法对样本数据的依赖程度，变化检测技术可以划分为监督变化检测、半监督变化检测、弱监督变化检测和无监督变化检测。监督变化检测方面，根据深度神经网络结构差异主要划分为:1)基于受限玻尔兹曼机(RBM)的方法，Gong et al.[1]设计了一个深度神经网络来实现合成孔径雷达图像变化和不变区域的检测。2)基于递归神经网络(RNN)的方法，Lyu et al.[2]使用了一种基于长短时记忆(LSTM)的端到端循环神经网络来学习土地覆盖中的可转移变化规律，以用于变化检测。此后，Mouet al.[3]提出了一种基于孪生结构的递归卷积神经网络来学习联合光谱-空间-时相特征表示以实现多光谱图像的变化检测，该方法将卷积神经网络和递归神经网络整合成了一个端到端网络。3)基于生成对抗网络(GAN)的方法，Lebedev et al.[4]提出了一种基于pix2pix的GAN网络来实现不同季节遥感影像的自动变化检测,该方法还考虑了位置偏移的影响。Fang et al.[5]提出了一种基于对偶学习的孪生网络(DLSF)来实现两期高分辨率影像间的变化检测。该网络包括基于对偶学习的域变换和孪生变化决策网络两个子网络。4)基于卷积神经网络(CNN)的方法，最早的是Zagoruyko and Komodakis[6]提出的三种不同卷积神经网络(CNN)结构来计算图像块的相似性。随后，文献[7,8]分别设计了深度孪生卷积网络(DSCN)和深度孪生语义网络框架进行特征提取，并通过特征距离计算和阈值分割获得了最终的变化图。Salman et al.[9]分析了遥感卫星图像数据，并采用深度神经网络自动学习区域表示检测了29年(1987-2015年)内的森林覆盖率变化。Zhang and Lu[10]提出了一种端到端的光谱空间联合学习网络(SSJLN)，用于多光谱图像的变化检测。另一方面，为了克服现有算法的局限性，在编码器和解码器层之间增加了跳转连接取代简单的上采样操作，形成了目前最流行的端到端全卷积神经网络，典型的有多种不同结构的Unet及其变种[11-14],UNet++[15]等。值得一提的是Daudt et al.[11]还提出了一个可用于深度学习方法的大比例尺高分辨率语义变化检测(HRSCD)数据集，并设计了一种全卷积神经网络架构同时进行变化检测和土地覆盖映射，该架构使用了预测的土地覆盖信息来帮助预测变化。得益于大量的标注样本数据集，这类监督学习的变化检测效果在局部范围内通常较好，但样本标注工作量大，成本较高，难以大范围推广应用。
为了有效减少标注样本量，近年来发展了一些半监督、弱监督和无监督的变化检测方法。半监督变化检测方面，Wang et al.[16]提出了一种用于高光谱影像变化检测的通用端到端的二维卷积神经网络(CNN)框架GETNET。Peng et al.[17]提出了一种基于生成对抗网络(GAN)的半监督卷积网络(SemiCDNet)变化检测方法。弱监督变化检测方面，Sakurada[18]将语义变化检测划分为变化检测和语义提取两部分，在该方法中，作者将变化检测网络得到的变化概率图斑作为第七通道输入到语义提取网络中，由此实现弱监督的语义变化检测，并以地面图像作为数据源进行了实验验证。另外，无监督变化检测方面，主要有以下几类方法：1)文献[19-22]采用预训练好的卷积神经网络(CNN)分别对不同期影像提取特征，并采用CVA[20]、超像素分割[21,22]或者低阶分解[19]获得变化信息。2)文献[23-25]分别采用无监督的深度置信网络(DBN)[23]，基于堆叠DAEs的对称卷积耦合网络(SCCN)[24]以及迭代特征映射网络[25]等深度学习框架来提取同源[23]以及不同源[24,25]变化图像对之间的差异表示，并采用变化分析[23,24]以及聚类分析的层次树[25]等传统方法获得了变化检测结果。此外，Niu et al.[26]还提出了一种无监督的基于条件生成对抗网络(cGAN)的变化检测方法将两期不同源影像转换到一致的特征空间以进行直接比较来实现合成孔径雷达(SAR)和光学图像的变化检测。3)文献[27-33]以传统方法的结果作为预分类用来训练深度神经网络，采用的网络有包含标签层的高斯伯努利深度限制玻尔兹曼机模型[29]，深度神经网络模型[32]，卷积神经网络(CNN)模型[30]，生成判别分类网络(GDCN)[27]，基于噪声建模的无监督全卷积网络(FCN)框架[28]，生成对抗网络[33]以及深度胶囊网络[31]等，使得整个变化检测过程完全无需人工干预获得变化检测结果。总之，弱监督或无监督变化检测方法可以显著降低人工标注样本集的使用量，成本较低，但这类方法由于缺乏严格的监督，效果难以保证。鉴于此，本发明拟依托大规模的语义分割数据集，生成充分训练的语义模型作为先验知识，并设计充分考虑先验知识的变化检测网络来进一步提升变化检测模型的泛化能力。
相关参考文献如下：
1.Gong,M.；Zhao,J.；Liu,J.；Miao,Q.；Jiao,L.Change Detection in SyntheticAperture Radar Images Based on Deep Neural Networks.IEEE Transactions onNeural Networks and Learning Systems 2016,27,125-138,doi:10.1109/TNNLS.2015.2435783.
2.Lyu,H.；Lu,H.；Mou,L.Learning a Transferable Change Rule from aRecurrent Neural Network for Land Cover Change Detection.Remote Sensing 2016,8,506,doi:10.3390/rs8060506.
3.Mou,L.；Bruzzone,L.；Zhu,X.X.Learning Spectral-Spatial-TemporalFeatures via a Recurrent Convolutional Neural Network for Change Detection inMultispectral Imagery.IEEE Transactions on Geoscience and Remote Sensing2019,57,924-935,doi:10.1109/TGRS.2018.2863224.
4.Lebedev,M.；Vizilter,Y.；Vygolov,O.；Knyaz,V.；Rubis,A.CHANGE DETECTIONIN REMOTE SENSING IMAGES USING CONDITIONAL ADVERSARIAL NETWORKS.ISPRS-International Archives of the Photogrammetry,Remote Sensing and SpatialInformation Sciences 2018,XLII-2,565-571,doi:10.5194/isprs-archives-XLII-2-565-2018.
5.Fang,B.；Pan,L.；Kou,R.Dual Learning-Based Siamese Framework forChange Detection Using Bi-Temporal VHR Optical Remote Sensing Images.RemoteSensing 2019,11,1292,doi:10.3390/rs11111292.
6.Zagoruyko,S.；Komodakis,N.Learning to Compare Image Patches viaConvolutional Neural Networks.2015.
7.Zhan,Y.；Fu,K.；Yan,M.；Sun,X.；Wang,H.；Qiu,X.Change Detection Based onDeep Siamese Convolutional Network for Optical Aerial Images.IEEE Geoscienceand Remote Sensing Letters 2017,14,1845-1849,doi:10.1109/LGRS.2017.2738149.
8.Zhang,M.；Xu,G.；Chen,K.；Yan,M.；Sun,X.Triplet-Based Semantic RelationLearning for Aerial Remote Sensing Image Change Detection.IEEE geoscience andremote sensing letters 2018.
9.Salman；H.；Khan；Xuming；He；Fatih；Porikli；Mohammed；Bennamoun.ForestChange Detection in Incomplete Satellite Images With Deep NeuralNetworks.IEEE Transactions on Geoscience&Remote Sensing 2017.
10.Zhang,W.；Lu,X.The Spectral-Spatial Joint Learning for ChangeDetection in Multispectral Imagery.Remote Sensing 2019,11.
11.Daudt,R.；Saux,B.；Boulch,A.；Gousseau,Y.High Resolution SemanticChange Detection；2018.
12.Jun；Hee；Kim；Haeyun；Lee；Seonghwan；J.；Hong；Sewoong；Kim.ObjectsSegmentation From High-Resolution Aerial Images Using U-Net With PyramidPooling Layers.IEEE Geoscience&Remote Sensing Letters 2018.
13.Jiang,H.；Hu,X.；Li,K.；Zhang,J.；Gong,J.；Mi,Z.PGA-SiamNet:PyramidFeature-Based Attention-Guided Siamese Network for Remote SensingOrthoimagery Building Change Detection.2020.
14.季顺平；田思琦；张驰.利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测.武汉大学学报(信息科学版)2020.
15.Peng,D.；Zhang,M.；Wanbing,G.End-to-End Change Detection for HighResolution Satellite Images Using Improved UNet++.Remote Sensing 2019,11,1382,doi:10.3390/rs11111382.
16.Wang,Q.；Yuan,Z.；Du,Q.；Li,X.GETNET:AGeneral End-to-End 2-D CNNFramework for Hyperspectral Image Change Detection.IEEE Transactions onGeoscience and Remote Sensing 2019,57,3-13,doi:10.1109/TGRS.2018.2849692.
17.Peng,D.；Bruzzone,L.；Zhang,Y.；Guan,H.；Huang,X.SemiCDNet:ASemisupervised Convolutional Neural Network for Change Detection in HighResolution Remote-Sensing Images.IEEE Transactions on Geoence and RemoteSensing 2020,PP,1-16.
18.Sakurada,K.Weakly Supervised Silhouette-based Semantic ChangeDetection；2018.
19.Hou,B.；Wang,Y.；Liu,Q.Change Detection Based on Deep Features andLow Rank.IEEE Geoscience and Remote Sensing Letters 2017,14,2418-2422,doi:10.1109/LGRS.2017.2766840.
20.Saha,S.；Bovolo,F.；Bruzzone,L.Unsupervised Deep Change VectorAnalysis for Multiple-Change Detection in VHR Images.IEEE Transactions onGeoscience and Remote Sensing 2019,57,3677-3693,doi:10.1109/TGRS.2018.2886643.
21.Sakurada,K.；Okatani,T.Change Detection from a Street Image Pairusing CNN Features and Superpixel Segmentation.Proceedings of the BritishMachine Vision Conference(BMVC)2015,10.5244/C.29.61,61.61-61.12,doi:10.5244/C.29.61.
22.Amin,A.M.E.；Liu,Q.；Wang,Y.Zoom out CNNs features for opticalremote sensing change detection.In Proceedings of 2017 2nd InternationalConference on Image,Vision and Computing(ICIVC).
23.Zhang,H.；Gong,M.；Zhang,P.；Su,L.；Shi,J.Feature-Level ChangeDetection Using Deep Representation and Feature Change Analysis forMultispectral Imagery.IEEE Geoscience and Remote Sensing Letters 2016,13,1666-1670,doi:10.1109/LGRS.2016.2601930.
24.Liu,J.；Gong,M.；Qin,K.；Zhang,P.ADeep Convolutional Coupling Networkfor Change Detection Based on Heterogeneous Optical and Radar Images.IEEETransactions on Neural Networks and Learning Systems 2018,29,545-559,doi:10.1109/TNNLS.2016.2636227.
25.Zhan,T.；Gong,M.；Liu,J.；Zhang,P.Iterative feature mapping networkfor detecting multiple changes in multi-source remote sensing images.ISPRSJournal of Photogrammetry and Remote Sensing 2018,146,38-51.
26.Niu,X.；Gong,M.；Zhan,T.；Yang,Y.AConditional Adversarial Network forChange Detection in Heterogeneous Images.IEEE Geoscience and Remote SensingLetters 2019,16,45-49,doi:10.1109/LGRS.2018.2868704.
27.Gong,M.；Yang,Y.；Zhan,T.；Niu,X.；Li,S.AGenerative DiscriminatoryClassified Network for Change Detection in Multispectral Imagery.IEEE Journalof Selected Topics in Applied Earth Observations and Remote Sensing 2019,12,321-333,doi:10.1109/JSTARS.2018.2887108.
28.Li,X.；Yuan,Z.；Wang,Q.Unsupervised Deep Noise Modeling forHyperspectral Image Change Detection.Remote Sensing 2019,11.
29.张鑫龙；陈秀万；李飞；杨婷.高分辨率遥感影像的深度学习变化检测方法.测绘学报2017,046,999-1008.
30.Arabi,M.E.A.；Karoui,M.S.；Djerriri,K.Optical Remote Sensing ChangeDetection Through Deep Siamese Network.In Proceedings of IEEE InternationalGeoscience and Remote Sensing Symposium(IGARSS)2018.
31.Ma,W.；Xiong,Y.；Wu,Y.；Yang,H.；Zhang,X.；Jiao,L.Change Detection inRemote Sensing Images Based on Image Mapping and a Deep CapsuleNetwork.Remote Sensing 2019,11.
32.Gong,M.；Zhan,T.；Zhang,P.；Miao,Q.Superpixel-Based DifferenceRepresentation Learning for Change Detection in Multispectral Remote SensingImages.IEEE Transactions on Geoscience and Remote Sensing2017,55,2658-2673,doi:10.1109/TGRS.2017.2650198.
33.Gong,M.；Niu,X.；Zhang,P.；Li,Z.Generative Adversarial Networks forChange Detection in Multispectral Imagery.IEEE Geoscience and Remote SensingLetters 2017,14,2310-2314,doi:10.1109/LGRS.2017.2762694.
发明内容
针对现阶段建筑物变化检测样本数据集制作困难、模型跨域泛化能力不足等问题，本发明的目的是提供一种能充分利用先验语义知识的建筑物变化检测方法。该方法首先设计融合域自适应和弱监督策略的建筑物提取网络，通过充分利用域自适应和弱监督两种策略最大程度提升先验知识的跨域扩展能力，减少样本数据集制作的数量及难度。然后设计先验语义知识引导的高分辨率遥感影像弱监督变化检测网络，该网络不同于以往直接利用建筑物提取结果作为先验知识的做法，而是将建筑物提取网络各个阶段的中间结果都作为先验知识，最大程度减少网络对于变化检测样本数据的依赖，提升变化检测的效果。
为了达到上述目的，本发明提供的技术方案为先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，主要包含两个网络，即融合域自适应和弱监督策略的建筑物提取网络和先验语义知识引导的建筑物变化检测网络，具体包括如下步骤：
步骤1，构建融合域自适应和弱监督策略的建筑物提取网络；包括以下子步骤：
步骤11，数据集加载与扩展，加载原始影像及对应的真值标签，真值标签包括图像级标签和像素级标签两种，然后对加载的原始影像进行预处理；
步骤12，构建建筑物提取网络模型，包括生成器、鉴别器和建筑物检测器三部分；
步骤13，建筑物提取网络模型训练，训练数据包含源域样本集和目标域样本集两类；
步骤14，模型训练完成后，加载训练后的生成器，利用生成器对输入的影像数据进行预测，生成像素级的建筑物提取分类结果；
步骤2，构建先验语义知识引导的建筑物变化检测网络；包括以下子步骤：
步骤21，数据集加载与扩展，加载不同期待变化检测影像及对应的二值真值标签，包括变化与未变化两类，然后对加载的两期待变化检测影像预处理；
步骤22，构建建筑物变化检测网络，包括依次连接的编码器，即为建筑物提取网络中的生成器，特征变化分析网络和解码器三部分；
所述特征变化分析网络包括多层卷积网络，每层卷积网络分别有一个卷积层、一个归一化层和一个激活层ReLU组成，其中第一层卷积网络卷积层尺寸为1*1，实现特征降维，第二、三层卷积网络卷积层尺寸为3*3，实现相关性特征计算，得到多尺度变化特征；
步骤23，建筑物变化检测网络模型训练，直接采用步骤1中最终得到的建筑物提取网络，调整变化分析网络和解码器部分，从而使得整个网络的待解算参数大幅减少，减轻了模型训练的难度，减少了对样本数据集的依赖程度，最后采用验证集选取精度最高的模型作为最优模型并保存到指定位置；
步骤24，加载选取的最优模型，对输入的两期待变化检测影像数据进行预测，生成像素级的建筑物变化检测结果。
进一步的，步骤11和步骤21中，所述预处理包括对原始影像进行随机旋转、缩放、随机颜色变化处理，其中缩放处理是根据不同窗口大小对训练数据集进行裁切，然后再缩放至目标尺寸，从而实现数据集的多尺度支持；原始影像的随机旋转、随机颜色变化在每次训练加载影像时进行，随机旋转时同时对原始影像和真值标签采用同一种旋转方式，包括8种旋转方式，即水平翻转，垂直翻转，逆时针旋转0度，逆时针旋转90度，逆时针旋转180度，逆时针旋转270度，逆时针旋转90度后水平翻转，逆时针旋转90度后垂直翻转；随机颜色变换是通过生成的随机数对图像的亮度、色度、对比度和锐度进行随机变换。
进一步的，步骤12中，所述生成器包括主干网络和像素关联模块PCM两部分，所述主干网络包括编码器、中间件、解码器三个子网络；
其中，编码器子网络用于将输入的RGB三通道影像进行卷积升维，获得使浅层信息映射到高维潜在空间的特征图；
中间件子网络由采用SE注意力模型，对高维特征进一步处理，包括Squeeze和Excitation两个过程，Squeeze将特征图进行全局均值池化，得到特征图的全局压缩特征量；Excitation通过两层全连接的瓶颈结构得到特征图中每个通道的权值，并将加权后的特征图作为下一层网络的输入；
解码器子网络由卷积层、上采样以及激活函数ReLU和BatchNorm组成，同时用编码器子网络所产生的特征图与解码器所还原的特征图进行跳层连接，最后还原特征图为原图尺寸，记录每一个像素点所属类别的概率；
像素关联模块PCM基于自注意力机制思想进行设计，用于建筑物边缘轮廓校正，其输入包含两部分，一是原始影像和主干网络最后第二、三层高阶卷积特征经下采样后拼接得到的新卷积特征，二是最后一层高阶卷积特征下采样后得到的新卷积特征，二者一起传入PCM模块，PCM网络输出的卷积特征经上采样操作得到和原始影像尺寸一致的特征图，PCM输出的特征图经上采样后和主干网络的特征图进行拼接、卷积等操作后得到最终的建筑区域预测值。
进一步的，步骤22中的编码器具体为建筑物提取网络生成器中的主干网络部分，利用主干网络提取两期影像数据的多尺度卷积特征作为后续变化分析网络的输入，然后通过变化分析网络得到两期数据的多尺度变化特征，作为后续解码器的输入。
进一步的，所述生成器的损失函数定义为预测图像和真实标签间的交叉熵值，即像素级标签损失，其计算公式如下：
Figure BDA0003319601960000071
其中Ys为源域影像的真实标签，G(Is)∈RH×W×1为生成器的特征图输出结果，H、W分别为影像的高度和宽度，i、j分别为像素点的纵坐标和横坐标，Is为影像像素值。
进一步的，鉴别器包括5个卷积层，深度分别是256、256、128、64、1，每层的卷积核尺寸为3x3，步长为1，并对特征图进行的填充单位为1，在前四层的卷积层后都会有一个LeakyRelu激活函数，负斜率的角度为0.02，最后一层卷积后为了维持与输入原图像的尺寸相匹配添加了上采样层。
进一步的，鉴别器损失的计算如下；
Figure BDA0003319601960000072
其中G(IL)为生成器生成的潜在空间高维特征，IL是原始影像经生成器得到的潜在空间特征图，Z为与潜在空间高维特征的同尺寸矩阵，当输入生成器的图像为源域时，则Z为全1填充矩阵张量；当输入变量为目标域影像时，则Z为全0填充矩阵张量。
进一步的，基于卷积加全连接输出层的建筑物检测器，将最高阶的潜在空间特征与解码后的浅层特征作为输入，最后输出图像中含有建筑物的一个概率值，图像级标签损失的计算如下：
Figure BDA0003319601960000073
其中B(G(It))为图像是否含有建筑物的预测概率，G(It)为目标域图像在生成器中生成的潜在空间高维特征，It指目标域影像，bt则为图像是否含有分割建筑物的弱标签，当bt为0，则当前图像无建筑物，否则该图像有分割建筑物。
进一步的，建筑物变化检测网络模型训练时，损失函数采用像素级标签损失，其损失函数定义为预测变化图和真实标签间的交叉熵值，具体公式如下：
Loss＝-[yn·log(xn)+(1-yn)·log(1-xn)]
考虑到建筑物变化检测是二值分类，上述公式可以描述如下：
Figure BDA0003319601960000074
其中yn代表标签真值，xn代表预测结果。
进一步的，步骤13中进行建筑物提取网络模型训练，对于源域样本集，同时具有图像级和像素级标签，训练时的损失函数包括像素级标签损失、鉴别器损失和图像级标签损失三类，对于目标域样本集，训练时的损失函数包括图像级标签损失和鉴别器损失两类；如果需要同时兼顾源域和目标域两种场景，可以采用源域和目标域样本数据交替训练的方式进行，如果重点应用于目标域场景，可以采用先训练源域样本数据，再训练目标域样本数据。
进一步的，还包括步骤15，计算IOU、Accuracy、Precision、Recall和F1五类精度指标，然后选取精度最高的建筑物提取网络用于步骤2中，精度的计算方法如下：
通过比对预测值与真实值共产生四种情况：True negative(TN)，称为真阴率，表明实际是负样本预测成负样本的样本数；False positive(FP)，称为假阳率，表明实际是负样本预测成正样本的样本数；False negative(FN)，称为假阴率，表明实际是正样本预测成负样本的样本数；True positive(TP)，称为真阳率，表明实际是正样本预测成正样本的样本数，根据四种情况的统计结果计算IOU、Accuracy、Precision、Recall和F1五类精度指标，具体如下：
①IOU(Intersection of Union)，该指标用以衡量针对某一列别的预测结果和真实结果的交集对并集的占比；
Figure BDA0003319601960000081
②Accuracy，用以衡量预测正确的像素值与所有情况的比例；
Figure BDA0003319601960000082
③Precision，计算真正的正样本结果与所有被预测为正样本的数据的比值；
Figure BDA0003319601960000083
④Recall，衡量预测正确的结果占真实的所有正确样本的比例；
Figure BDA0003319601960000084
⑤F1-Score，用以衡量模型的有效性；
Figure BDA0003319601960000085
步骤24中，精度计算同样采用以上方法。
本发明主要利用遥感影像进行建筑物自动变化检测。与现有的方法相比，本发明方法在先验语义信息的生成和使用方面进行了优化和改进，减少了建筑物变化检测模型对样本数据的依赖程度，提升了检测的精度和可靠性，具有如下特点：
1、先验知识生成方面。建筑物提取模型除了传统的编码器-解码器结构外，增加了注意力模型、像素关联模块PCM提升模型的生成能力。模型训练上融合了全监督、弱监督和无监督三种策略，对训练过程进行更加严格、合理的管控，最大程度上提升了建筑物提取模型的泛化能力，保证了先验知识生成的质量。其中弱监督采用了制作成本低廉的图像级标签，无监督采用了基于GAN的域自适应算法，
2、先验知识使用方面。不同于以往直接使用建筑物提取预测值的先验知识使用方法，本发明综合利用了建筑物提取模型在各个阶段的中间特征，采用了具有对称结构的10个特征，对先验知识进行最大程度的挖掘利用。
3、变化检测模型设计与训练方面。变化检测模型根据建筑物提取模型网络结构进行设计，引入两期数据的10个中间特征，经拼接、卷积、池化、降维等操作后输入解码网络，得到最终的变化图。由于充分利用了稳定可靠的先验知识，模型训练时可以单独训练解码器网络，大幅减少模型训练的参数量，从而减少模型对数据集的依赖。
附图说明
图1是本发明的总体流程图；
图2是本发明的融合域自适应和弱监督策略的建筑物提取网络。
图3是建筑物提取网络与变化检测网络中的多尺度卷积特征的关系图。
图4是特征变化分析网络。
图5是语义知识引导的高分辨率影像弱监督变化检测结果。
具体实施方式
本发明利用遥感影像进行建筑物自动变化检测，首先采用融合域自适应和弱监督策略的建筑物提取算法，通过充分利用域自适应和弱监督两种策略最大程度提升先验知识的跨域扩展能力，减少样本数据集制作的数量及难度。然后设计先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测网络，将建筑物提取网络各个阶段的中间结果都作为先验知识，最大程度减少网络对于变化检测样本数据的依赖，提升建筑物变化检测的效果。
为了更好地理解本发明的技术方案，下面结合附图对本发明做进一步的详细说明，图1是本发明的总体流程图。本发明的建筑物提取网络和建筑物变化检测网络具体步骤如下：
1.融合域自适应和弱监督策略的建筑物提取网络，具体如下：
步骤1，数据集加载与扩展。网络训练时的数据输入为原始影像及对应的真值标签，真值标签包括图像级标签和像素级标签两种，为了提升网络训练的效能，需要对加载的原始影像进行随机旋转、缩放、随机颜色变化等处理。
其中缩放扩展具体步骤如下：根据不同窗口大小(2048*2048，1024*1024，512*512)对训练数据集进行裁切，然后再缩放至目标尺寸(512*512)，从而实现数据集的多尺度支持。原始影像的随机旋转、随机颜色变化在每次训练加载影像时进行。随机旋转时同时对原始影像和真值标签采用同一种旋转方式，本发明包括8种旋转方式(水平翻转，垂直翻转，逆时针旋转0度，逆时针旋转90度，逆时针旋转180度，逆时针旋转270度，逆时针旋转90度后水平翻转，逆时针旋转90度后垂直翻转)，随机颜色变换主要针对的是图像，通过生成的随机数对图像的亮度、色度、对比度和锐度进行随机变换，具体实施时本发明采用了Python的PIL影像处理库，随机颜色变化主要提升模型对于辐射变化的适应能力。
步骤2，网络模型和损失函数设计。网络结构如图2所示，包括生成器、鉴别器和建筑物检测器三部分。
(1)生成器：包含主干网络和像素关联模块(PCM)两部分。主干网络以基于编码器-解码器结构的UNet神经网络为基础，添加注意力模型作为中间件，形成基准分割模型，包含编码器、中间件、解码器三个子网络。编码器子网络将输入的RGB三通道影像进行卷积升维，使得浅层信息映射到高维潜在空间。中间件子网络采用了SE注意力模型，对高维特征进一步处理，包括Squeeze和Excitation两个过程，Squeeze将特征图进行全局均值池化，得到特征图的全局压缩特征量；Excitation通过两层全连接的瓶颈结构得到特征图中每个通道的权值，并将加权后的特征图作为下一层网络的输入。解码器子网络由卷积层、上采样以及激活函数ReLU和BatchNorm组成，同时用编码器所产生的特征图与解码器所还原的特征图进行跳层连接，最后还原特征图为原图尺寸，记录每一个像素点所属类别的概率。像素关联模块PCM(Pixel Correlation Module)[34]基于自注意力机制思想进行设计，主要用于建筑物边缘轮廓校正。其输入包含两部分，一是原始影像和主干网络最后第二、三层高阶卷积特征经下采样后拼接得到的新卷积特征，二是最后一层高阶卷积特征下采样后得到的新卷积特征，二者一起传入PCM模块，PCM网络输出的卷积特征经上采样操作得到和原始影像尺寸一致的特征图。PCM输出的特征图经上采样后和主干网络的特征图进行拼接、卷积等操作后得到最终的建筑区域预测值。PCM与经典的自注意力模型相比，一是去除了残差连接以保持相同的激活强度，二是采用ReLU激活函数来抑制非负值，从而使它更有助于捕捉上下文信息从而增强关联像素的亲和力，使得最后输出的特征图更加精细化。整个生成器的损失函数定义为预测图像和真实标签间的交叉熵值，(像素级标签)损失计算公式如下：
Figure BDA0003319601960000111
其中Ys为源域影像的真实标签，G(Is)∈RH×W×1为生成器的特征图输出结果，H、W分别为影像的高度和宽度，i、j分别为像素点的纵坐标和横坐标，Is为影像像素值。
[34]Wang Y,Zhang J,Kan M,et al.Self-supervised Equivariant AttentionMechanism for Weakly Supervised Semantic Segmentation[J].2020IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR),2020.
(2)鉴别器：在本发明中的鉴别器模块为基于马尔可夫判别器结构的二值分类器，用于区分源域与目标域数据。本发明中的鉴别器网络包括5个卷积层，深度分别是256、256、128、64、1，每层的卷积核尺寸为3x3，步长为1，并对特征图进行的填充单位为1，在前四层的卷积层后都会有一个LeakyRelu激活函数，负斜率的角度为0.02，最后一层卷积后为了维持与输入原图像的尺寸相匹配添加了上采样层。本发明将主干网络的第五层卷积特征作为鉴别器的输入，使用二值交叉熵损失公式对鉴别器进行惩罚，提升鉴别器的分类性能，(鉴别器)损失计算如下：
Figure BDA0003319601960000112
其中G(IL)为生成器生成的潜在空间高维特征，IL是原始影像经生成器得到的潜在空间特征图，Z为与潜在空间高维特征的同尺寸矩阵，当输入生成器的图像为源域时，则Z为全1填充矩阵张量；当输入变量为目标域影像时，则Z为全0填充矩阵张量。
(3)建筑物检测器：基于卷积加全连接输出层的建筑物检测器，输入为两层高阶潜在空间特征，对应主干网络的第七层卷积特征和倒数第二层卷积特征，最后输出图像中含有建筑物的一个概率值。本发明中，对两个输入变量经尺度缩放后进行拼接处理，然后进行卷积和全连接操作得到预测概率值。最后，利用目标域的弱标签与输出结果进行计算二值交叉熵损失来提升建筑物检测器的分类性能，即(图像级标签)损失计算如下：
Figure BDA0003319601960000113
其中B(G(It))为图像是否含有建筑物的预测概率，G(It)为目标域图像在生成器中生成的潜在空间高维特征，It指目标域影像，bt则为图像是否含有分割建筑物的弱标签，当bt为0，则当前图像无建筑物，否则该图像有分割建筑物。
步骤3，模型训练。训练数据包含源域样本集和目标域样本集两类，对于源域样本集，同时具有图像级和像素级标签，训练时的损失函数包括像素级标签损失、鉴别器损失和图像级标签损失三类，对于目标域样本集，训练时的损失函数包括图像级标签损失和鉴别器损失两类。如果模型需要同时兼顾源域和目标域两种场景，可以采用源域和目标域样本数据交替训练的方式进行，如果模型重点应用于目标域场景，可以采用先训练源域样本数据，再训练目标域样本数据。
步骤4，模型预测。模型训练完成后，承担后续模型预测功能的是生成器。加载训练后的生成器，对输入的原始影像数据进行预测，生成像素级的建筑物提取分类结果。
步骤5，精度评价。在本实验中的指标计算前提下必须将每张实验输出结果的像素值与真实标签进行校对，其中判断为正负样本的阈值为0.5。通过比对预测值与真实值共产生四种情况：True negative(TN)，称为真阴率，表明实际是负样本预测成负样本的样本数；False positive(FP)，称为假阳率，表明实际是负样本预测成正样本的样本数；Falsenegative(FN)，称为假阴率，表明实际是正样本预测成负样本的样本数；True positive(TP)，称为真阳率，表明实际是正样本预测成正样本的样本数。根据四种情况的统计结果计算IOU、Accuracy、Precision、Recall和F1五类精度指标，具体如下：
①IOU(Intersection of Union)，该指标用以衡量针对某一列别的预测结果和真实结果的交集对并集的占比。
Figure BDA0003319601960000121
②Accuracy，用以衡量预测正确的像素值与所有情况的比例，
Figure BDA0003319601960000122
③Precision，计算真正的正样本结果与所有被预测为正样本的数据的比值，
Figure BDA0003319601960000123
④Recall，衡量预测正确的结果占真实的所有正确样本的比例，
Figure BDA0003319601960000124
⑤F1-Score，用以衡量本模型的有效性，
Figure BDA0003319601960000125
2.先验语义知识引导的建筑物变化检测网络，具体如下：
步骤1，数据集加载与扩展。网络训练时的数据输入为不同期待变化检测影像及对应的二值真值标签(变化与未变化两类)，为了提升网络训练的性能，需要对加载的两期待变化检测影像进行随机旋转、缩放、随机颜色变换等处理。
其中缩放扩展，随机旋转，随机颜色变换处理与先验知识构建网络类似，区别在于先验语义知识网络处理的是一张原始影像与对应真值标签，而在变化检测网络中缩放，随机旋转，随机颜色变化处理的是两期影像数据与对应真值标签。在缩放、随机旋转处理中，对两期影像数据、真值采用的是相同的缩放、同一旋转扩展处理。在颜色随机变换处理中，对不同期影像进行了不同的颜色变换，而真值不进行颜色变换。
步骤2，网络模型设计。网络模型结构如图1中的变化检测网络所示，主要包括编码器(即建筑物提取网络)、特征变化分析网络和解码器三部分。
①编码器
编码器为建筑物提取网络生成器中的主干网络部分，为尽可能充分利用生成的先验知识，需要输出各阶段的多尺度卷积特征，其中该主干网络与多尺度卷积特征之间的关系如图3所示，利用建筑物提取网络的编码器子网络和解码器子网络提取两期影像数据的多尺度卷积特征[f11-f15,p11-p15]和[f21-f25,p21-p25]，共10组中间特征都作为后续变化分析网络的输入。
②特征变化分析网络
主要对同一尺度的两期卷积特征进行相关性计算，得到两期数据的多尺度变化特征，作为后续解码器网络的输入。同时，考虑到两期数据的多尺度卷积特征维度较大，直接拼接计算消耗内存过大，本发明在输入解码器前通常需要进行降维、卷积运算等处理，具体网络结构如图4所示，首先对两期特征拼合处理，然后采用三层卷积网络计算相关性特征，每层卷积网络分别有一个卷积层、一个归一化层和一个激活层(ReLU)组成，其中第一层卷积网络卷积层尺寸为1*1，主要功能实现特征降维，第二、三层卷积网络卷积层尺寸为3*3，实现相关性特征计算，得到多尺度变化特征[F1-F5,P1-P5]。
③解码器
解码器网络和经典UNet的解码器结构类似，对输入的变化分析特征从最高阶特征开始，依次进行卷积、上采样、拼接等处理，获得原始尺寸的最终的二值变化图。
步骤3，损失函数设计。根据网络模型结构，损失函数采用像素级标签损失，其损失函数定义为预测变化图和真实标签间的交叉熵值。具体公式如下：
Loss＝-[yn·log(xn)+(1-yn)·log(1-xn)]
考虑到建筑物变化检测是二值分类，上述公式可以描述如下：
Figure BDA0003319601960000141
其中，yn代表标签真值，xn代表预测结果。
步骤4，模型训练。在训练过程中，对于变化检测网络的编码器部分，本发明直接采用建筑物提取模型(包括建筑物提取网络的编码和解码器)，整个训练过程只调整变化分析网络和解码器部分，从而使得整个网络的待解算参数大幅减少，减轻了模型训练的难度，减少了对样本数据集的依赖程度。最后，采用验证集选取精度最高的模型作为最优模型并保存到指定位置。
步骤5，模型预测。加载选取的最优化模型，对输入的两期待变化检测影像数据进行预测，生成像素级的建筑物变化检测结果。
步骤6，精度评价。和融合域自适应和弱监督策略的建筑物提取网络精度评价方式类似。
本发明的先验语义知识引导的建筑物变化检测网络在WHU开源建筑物语义变化检测数据集上进行了实验，视觉评价结果如图5所示，共4列，第一列和第二列为两期原始影像数据，第三列为本发明变化检测结果，第四列为变化检测真值标签。弱监督量化结果见表1，对5％、10％、20％、40％、60％、80％和100％七种不同训练样本量的变化检测结果进行了统计，结果显示了本发明的变化检测网络对样本数据集的依赖程度大大减小。
表1是不同训练样本量的弱监督变化检测结果
Train/result 5％ 10％ 20％ 40％ 60％ 80％ 100％
IOU 76.952 78.801 79.136 80.468 80.712 81.53 82.453
Accuracy 99.101 99.184 99.205 99.257 99.257 99.299 99.325
Precision 92.17 93.707 94.813 95.049 93.837 95.394 94.123
Recall 82.334 83.204 82.717 83.988 85.23 84.871 86.928
F1 86.975 88.144 88.353 89.177 89.327 89.825 90.382
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于，包括如下步骤：
步骤1，构建融合域自适应和弱监督策略的建筑物提取网络；包括以下子步骤：
步骤11，数据集加载与扩展，加载原始影像及对应的真值标签，真值标签包括图像级标签和像素级标签两种，然后对加载的原始影像进行预处理；
步骤12，构建建筑物提取网络模型，包括生成器、鉴别器和建筑物检测器三部分；
步骤13，建筑物提取网络模型训练，训练数据包含源域样本集和目标域样本集两类；
步骤14，模型训练完成后，加载训练后的生成器，利用生成器对输入的影像数据进行预测，生成像素级的建筑物提取分类结果；
步骤2，构建先验语义知识引导的建筑物变化检测网络；包括以下子步骤：
步骤21，数据集加载与扩展，加载不同期待变化检测影像及对应的二值真值标签，包括变化与未变化两类，然后对加载的两期待变化检测影像预处理；
步骤22，构建建筑物变化检测网络，包括依次连接的编码器，即为建筑物提取网络中的生成器，特征变化分析网络和解码器三部分；
所述特征变化分析网络包括多层卷积网络，每层卷积网络分别有一个卷积层、一个归一化层和一个激活层ReLU组成，其中第一层卷积网络卷积层尺寸为1*1，实现特征降维，第二、三层卷积网络卷积层尺寸为3*3，实现相关性特征计算，得到多尺度变化特征；
步骤23，建筑物变化检测网络模型训练，直接采用步骤1中最终得到的建筑物提取网络，调整变化分析网络和解码器部分，从而使得整个网络的待解算参数大幅减少，减轻了模型训练的难度，减少了对样本数据集的依赖程度，最后采用验证集选取精度最高的模型作为最优模型并保存到指定位置；
步骤24，加载选取的最优模型，对输入的两期待变化检测影像数据进行预测，生成像素级的建筑物变化检测结果。
2.如权利要求1所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：
步骤11和步骤21中，所述预处理包括对原始影像进行随机旋转、缩放、随机颜色变化处理，其中缩放处理是根据不同窗口大小对训练数据集进行裁切，然后再缩放至目标尺寸，从而实现数据集的多尺度支持；原始影像的随机旋转、随机颜色变化在每次训练加载影像时进行，随机旋转时同时对原始影像和真值标签采用同一种旋转方式，包括8种旋转方式，即水平翻转，垂直翻转，逆时针旋转0度，逆时针旋转90度，逆时针旋转180度，逆时针旋转270度，逆时针旋转90度后水平翻转，逆时针旋转90度后垂直翻转；随机颜色变换是通过生成的随机数对图像的亮度、色度、对比度和锐度进行随机变换。
3.如权利要求1所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：步骤12中，所述生成器包括主干网络和像素关联模块PCM两部分，所述主干网络包括编码器、中间件、解码器三个子网络；
其中，编码器子网络用于将输入的RGB三通道影像进行卷积升维，获得使浅层信息映射到高维潜在空间的特征图；
中间件子网络由采用SE注意力模型，对高维特征进一步处理，包括Squeeze和Excitation两个过程，Squeeze将特征图进行全局均值池化，得到特征图的全局压缩特征量；Excitation通过两层全连接的瓶颈结构得到特征图中每个通道的权值，并将加权后的特征图作为下一层网络的输入；
解码器子网络由卷积层、上采样以及激活函数ReLU和BatchNorm组成，同时用编码器子网络所产生的特征图与解码器所还原的特征图进行跳层连接，最后还原特征图为原图尺寸，记录每一个像素点所属类别的概率；
像素关联模块PCM基于自注意力机制思想进行设计，用于建筑物边缘轮廓校正，其输入包含两部分，一是原始影像和主干网络最后第二、三层高阶卷积特征经下采样后拼接得到的新卷积特征，二是最后一层高阶卷积特征下采样后得到的新卷积特征，二者一起传入PCM模块，PCM网络输出的卷积特征经上采样操作得到和原始影像尺寸一致的特征图，PCM输出的特征图经上采样后和主干网络的特征图进行拼接、卷积等操作后得到最终的建筑区域预测值。
4.如权利要求3所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：步骤22中的编码器具体为建筑物提取网络生成器中的主干网络部分，利用主干网络提取两期影像数据的多尺度卷积特征作为后续变化分析网络的输入，然后通过变化分析网络得到两期数据的多尺度变化特征，作为后续解码器的输入。
5.如权利要求1所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：所述生成器的损失函数定义为预测图像和真实标签间的交叉熵值，即像素级标签损失，其计算公式如下：
Figure FDA0003319601950000021
其中Ys为源域影像的真实标签，G(Is)∈RH×W×1为生成器的特征图输出结果，H、W分别为影像的高度和宽度，i、j分别为像素点的纵坐标和横坐标，Is为影像像素值。
6.如权利要求5所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：所述鉴别器包括5个卷积层，深度分别是256、256、128、64、1，每层的卷积核尺寸为3x3，步长为1，并对特征图进行的填充单位为1，在前四层的卷积层后都会有一个LeakyRelu激活函数，负斜率的角度为0.02，最后一层卷积后为了维持与输入原图像的尺寸相匹配添加了上采样层；
所述鉴别器的损失函数的计算公式如下；
Figure FDA0003319601950000031
其中G(IL)为生成器生成的潜在空间高维特征，IL是原始影像经生成器得到的潜在空间特征图，Z为与潜在空间高维特征的同尺寸矩阵，当输入生成器的图像为源域时，则Z为全1填充矩阵张量；当输入变量为目标域影像时，则Z为全0填充矩阵张量。
7.如权利要求6所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：所述建筑物检测器是基于卷积加全连接输出层，将两层高阶的潜在空间特征作为输入，最后输出图像中含有建筑物的一个概率值；建筑物检测器利用目标域的弱标签与输出结果进行计算二值交叉熵损失来提升建筑物检测器的分类性能，即图像级标签损失的计算如下：
Figure FDA0003319601950000032
其中B(G(It))为图像是否含有建筑物的预测概率，G(It)为目标域图像在生成器中生成的潜在空间高维特征，It指目标域影像，bt则为图像是否含有分割建筑物的弱标签，当bt为0，则当前图像无建筑物，否则该图像有分割建筑物。
8.如权利要求1所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：建筑物变化检测网络模型训练时，损失函数采用像素级标签损失，其损失函数定义为预测变化图和真实标签间的交叉熵值，具体公式如下：
Loss＝-[yn·log(xn)+(1-yn)·log(1-xn)]
考虑到建筑物变化检测是二值分类，上述公式可以描述如下：
Figure FDA0003319601950000041
其中yn代表标签真值，xn代表预测结果。
9.如权利要求7所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：步骤13中进行建筑物提取网络模型训练，对于源域样本集，同时具有图像级和像素级标签，训练时的损失函数包括像素级标签损失、鉴别器损失和图像级标签损失三类，对于目标域样本集，训练时的损失函数包括图像级标签损失和鉴别器损失两类；如果需要同时兼顾源域和目标域两种场景，可以采用源域和目标域样本数据交替训练的方式进行，如果重点应用于目标域场景，可以采用先训练源域样本数据，再训练目标域样本数据。
10.如权利要求1所述的先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法，其特征在于：还包括步骤15，计算IOU、Accuracy、Precision、Recall和F1五类精度指标，然后选取精度最高的建筑物提取网络用于步骤2中，精度的计算方法如下：
通过比对预测值与真实值共产生四种情况：True negative(TN)，称为真阴率，表明实际是负样本预测成负样本的样本数；False positive(FP)，称为假阳率，表明实际是负样本预测成正样本的样本数；False negative(FN)，称为假阴率，表明实际是正样本预测成负样本的样本数；True positive(TP)，称为真阳率，表明实际是正样本预测成正样本的样本数，根据四种情况的统计结果计算IOU、Accuracy、Precision、Recall和F1五类精度指标，具体如下：
①IOU(Intersection of Union)，该指标用以衡量针对某一列别的预测结果和真实结果的交集对并集的占比；
Figure FDA0003319601950000042
②Accuracy，用以衡量预测正确的像素值与所有情况的比例；
Figure FDA0003319601950000043
③Precision，计算真正的正样本结果与所有被预测为正样本的数据的比值；
Figure FDA0003319601950000044
④Recall，衡量预测正确的结果占真实的所有正确样本的比例；
Figure FDA0003319601950000045
⑤F1-Score，用以衡量模型的有效性；
Figure FDA0003319601950000051
步骤24中，精度计算同样采用以上方法。
CN202111241179.6A 2021-10-25 2021-10-25 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法 Active CN113936217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111241179.6A CN113936217B (zh) 2021-10-25 2021-10-25 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111241179.6A CN113936217B (zh) 2021-10-25 2021-10-25 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法

Publications (2)

Publication Number Publication Date
CN113936217A true CN113936217A (zh) 2022-01-14
CN113936217B CN113936217B (zh) 2024-04-30

Family

ID=79284038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111241179.6A Active CN113936217B (zh) 2021-10-25 2021-10-25 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法

Country Status (1)

Country Link
CN (1) CN113936217B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677346A (zh) * 2022-03-21 2022-06-28 西安电子科技大学广州研究院 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
CN114821350A (zh) * 2022-03-17 2022-07-29 西北工业大学 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法
CN114863223A (zh) * 2022-06-30 2022-08-05 中国自然资源航空物探遥感中心 结合去噪自编码器与场景增强的高光谱弱监督分类方法
CN114882306A (zh) * 2022-04-06 2022-08-09 国家基础地理信息中心 地形图比例尺鉴别方法、装置、存储介质及电子设备
CN115272848A (zh) * 2022-07-18 2022-11-01 西南交通大学 多云多雾耕地保护区内建筑物智能变化检测方法
CN115409842A (zh) * 2022-11-02 2022-11-29 山东锋士信息技术有限公司 一种基于卷积自编解码器的遥感图像无监督变化检测方法
CN115408498A (zh) * 2022-11-02 2022-11-29 中孚安全技术有限公司 一种基于自然语言的数据动态识别方法
CN115456957A (zh) * 2022-08-19 2022-12-09 广州大学 一种全尺度特征聚合的遥感影像变化检测的方法
CN115482463A (zh) * 2022-09-01 2022-12-16 北京低碳清洁能源研究院 一种生成对抗网络矿区土地覆盖识别方法及系统
CN115619192A (zh) * 2022-11-10 2023-01-17 国网江苏省电力有限公司物资分公司 一种面向需求计划规则的混合式关系提取算法
CN116310350A (zh) * 2023-05-25 2023-06-23 厦门大学 基于图卷积和半监督学习网络的城市场景语义分割方法
CN116385330A (zh) * 2023-06-06 2023-07-04 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置
CN117351294A (zh) * 2023-12-06 2024-01-05 武汉大学 一种基于双功能鉴别器的图像检测方法及装置
CN117612020A (zh) * 2024-01-24 2024-02-27 西安宇速防务集团有限公司 基于sgan对抗神经网络遥感影像要素变化的检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680542A (zh) * 2015-03-15 2015-06-03 西安电子科技大学 基于在线学习的遥感影像变化检测方法
CN111325165A (zh) * 2020-02-26 2020-06-23 中南大学 考虑空间关系信息的城市遥感影像场景分类方法
CN111898543A (zh) * 2020-07-31 2020-11-06 武汉大学 一种融合几何感知与图像理解的建筑物自动提取方法
US20210027532A1 (en) * 2019-07-25 2021-01-28 General Electric Company Primitive-based 3d building modeling, sensor simulation, and estimation
CN112949549A (zh) * 2021-03-19 2021-06-11 中山大学 一种基于超分辨率的多分辨率遥感影像的变化检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680542A (zh) * 2015-03-15 2015-06-03 西安电子科技大学 基于在线学习的遥感影像变化检测方法
US20210027532A1 (en) * 2019-07-25 2021-01-28 General Electric Company Primitive-based 3d building modeling, sensor simulation, and estimation
CN111325165A (zh) * 2020-02-26 2020-06-23 中南大学 考虑空间关系信息的城市遥感影像场景分类方法
CN111898543A (zh) * 2020-07-31 2020-11-06 武汉大学 一种融合几何感知与图像理解的建筑物自动提取方法
CN112949549A (zh) * 2021-03-19 2021-06-11 中山大学 一种基于超分辨率的多分辨率遥感影像的变化检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘亦凡;张秋昭;王光辉;李益斌;: "利用深度残差网络的遥感影像建筑物提取", 遥感信息, no. 02, 20 April 2020 (2020-04-20) *
白雪飞;李文静;王文剑: "基于显著性背景引导的弱监督语义分割网络", 《模式识别与人工智能》, 30 September 2021 (2021-09-30), pages 824 - 835 *
顾嘉伟: "基于不完全监督学习的旋转机械智能诊断研究", 《中国优秀硕士学位全文数据库工程科技Ⅱ辑》, 30 April 2021 (2021-04-30), pages 029 - 146 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821350A (zh) * 2022-03-17 2022-07-29 西北工业大学 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法
CN114821350B (zh) * 2022-03-17 2024-02-27 西北工业大学 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法
CN114677346B (zh) * 2022-03-21 2024-04-05 西安电子科技大学广州研究院 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
CN114677346A (zh) * 2022-03-21 2022-06-28 西安电子科技大学广州研究院 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
CN114882306A (zh) * 2022-04-06 2022-08-09 国家基础地理信息中心 地形图比例尺鉴别方法、装置、存储介质及电子设备
CN114882306B (zh) * 2022-04-06 2023-08-18 国家基础地理信息中心 地形图比例尺鉴别方法、装置、存储介质及电子设备
CN114863223A (zh) * 2022-06-30 2022-08-05 中国自然资源航空物探遥感中心 结合去噪自编码器与场景增强的高光谱弱监督分类方法
CN115272848B (zh) * 2022-07-18 2023-04-18 西南交通大学 多云多雾耕地保护区内建筑物智能变化检测方法
CN115272848A (zh) * 2022-07-18 2022-11-01 西南交通大学 多云多雾耕地保护区内建筑物智能变化检测方法
CN115456957A (zh) * 2022-08-19 2022-12-09 广州大学 一种全尺度特征聚合的遥感影像变化检测的方法
CN115456957B (zh) * 2022-08-19 2023-09-01 广州大学 一种全尺度特征聚合的遥感影像变化检测的方法
CN115482463A (zh) * 2022-09-01 2022-12-16 北京低碳清洁能源研究院 一种生成对抗网络矿区土地覆盖识别方法及系统
CN115408498A (zh) * 2022-11-02 2022-11-29 中孚安全技术有限公司 一种基于自然语言的数据动态识别方法
CN115408498B (zh) * 2022-11-02 2023-03-24 中孚安全技术有限公司 一种基于自然语言的数据动态识别方法
CN115409842B (zh) * 2022-11-02 2023-02-24 山东锋士信息技术有限公司 一种基于卷积自编解码器的遥感图像无监督变化检测方法
CN115409842A (zh) * 2022-11-02 2022-11-29 山东锋士信息技术有限公司 一种基于卷积自编解码器的遥感图像无监督变化检测方法
CN115619192B (zh) * 2022-11-10 2023-10-03 国网江苏省电力有限公司物资分公司 一种面向需求计划规则的混合式关系提取方法
CN115619192A (zh) * 2022-11-10 2023-01-17 国网江苏省电力有限公司物资分公司 一种面向需求计划规则的混合式关系提取算法
CN116310350A (zh) * 2023-05-25 2023-06-23 厦门大学 基于图卷积和半监督学习网络的城市场景语义分割方法
CN116310350B (zh) * 2023-05-25 2023-08-18 厦门大学 基于图卷积和半监督学习网络的城市场景语义分割方法
CN116385330A (zh) * 2023-06-06 2023-07-04 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置
CN116385330B (zh) * 2023-06-06 2023-09-15 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置
CN117351294A (zh) * 2023-12-06 2024-01-05 武汉大学 一种基于双功能鉴别器的图像检测方法及装置
CN117351294B (zh) * 2023-12-06 2024-02-20 武汉大学 一种基于双功能鉴别器的图像检测方法及装置
CN117612020A (zh) * 2024-01-24 2024-02-27 西安宇速防务集团有限公司 基于sgan对抗神经网络遥感影像要素变化的检测方法

Also Published As

Publication number Publication date
CN113936217B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN113936217B (zh) 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法
Wu et al. ORSIm detector: A novel object detection framework in optical remote sensing imagery using spatial-frequency channel features
CN111860612B (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
Song et al. A survey of remote sensing image classification based on CNNs
Byeon et al. Scene labeling with lstm recurrent neural networks
Zheng et al. Unsupervised change detection by cross-resolution difference learning
CN111797712B (zh) 基于多尺度特征融合网络的遥感影像云与云阴影检测方法
CN111783523B (zh) 一种遥感影像旋转目标检测方法
Tung et al. Collageparsing: Nonparametric scene parsing by adaptive overlapping windows
CN110414616B (zh) 一种利用空间关系的遥感图像字典学习分类方法
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
Cao et al. A full-level fused cross-task transfer learning method for building change detection using noise-robust pretrained networks on crowdsourced labels
Meng et al. Multilayer feature fusion network with spatial attention and gated mechanism for remote sensing scene classification
Yuan et al. Efficient cloud detection in remote sensing images using edge-aware segmentation network and easy-to-hard training strategy
CN110717531A (zh) 一种基于不确定性分析和贝叶斯融合的分类后变化类型检测方法
Yang et al. Coarse-to-fine contrastive self-supervised feature learning for land-cover classification in SAR images with limited labeled data
Liu et al. Building footprint extraction from unmanned aerial vehicle images via PRU-Net: Application to change detection
Hua et al. Aerial scene understanding in the wild: Multi-scene recognition via prototype-based memory networks
Liu et al. Density saliency for clustered building detection and population capacity estimation
Jia et al. Bipartite graph attention autoencoders for unsupervised change detection using vhr remote sensing images
Fang et al. Scene change detection by differential aggregation network and class probability-based fusion strategy
CN116310870A (zh) 基于高光谱图像的目标检测分类方法、系统及存储介质
CN116630610A (zh) 基于语义分割模型和条件随机场的roi区域提取方法
Huang et al. Deep Learning-based Semantic Segmentation of Remote Sensing Images: A Survey
Jing et al. Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant