CN116310811A - 一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法 - Google Patents

一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法 Download PDF

Info

Publication number
CN116310811A
CN116310811A CN202310203630.8A CN202310203630A CN116310811A CN 116310811 A CN116310811 A CN 116310811A CN 202310203630 A CN202310203630 A CN 202310203630A CN 116310811 A CN116310811 A CN 116310811A
Authority
CN
China
Prior art keywords
resolution
semantic
convolution
change detection
context information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310203630.8A
Other languages
English (en)
Inventor
张秀伟
张艳宁
田牧
陈亮
于雷
邢颖慧
杨一哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202310203630.8A priority Critical patent/CN116310811A/zh
Publication of CN116310811A publication Critical patent/CN116310811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种高分辨卷积网络及上下文信息编码的语义变化检测方法，采用高精度的语义变化检测网络模型，该模型包含孪生高分辨率特征提取模块和上下文信息编码模块，孪生高分辨率特征提取模块用来提取原图像对的特征信息；上下文信息编码模块用来进行变化检测与语义分割：1)原图像对的特征信息之间的差异信息进行上下文信息编码，得到与输入图像尺寸相同的变化二值图；2)原图像对各自的特征信息上进行上下文信息编码，得到与输入图像尺寸相同的两张语义分割图。最后将变化二值图和两张语义分割图结合后得到语义变化检测结果图。本发明提出的方法得到的语义变化区域的细节更加准确，精度得到有效提升。

Description

一种基于高分辨卷积网络及上下文信息编码的语义变化检测 方法
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法。
背景技术
语义变化检测是一种信息量更大的像素级变化检测，它不仅提供二分类变化结果图，还提供指示变化方向的“从到”变化结果图，“从到”指的是双时相遥感图像之间的土地覆盖种类变化，例如“从土地到建筑物”、“从森林到农田”等，其目标是检测出一对遥感图像中发生变化的区域以及发生变化区域中每个像素属于的语义种类。与二分类变化的区域以及发生变化区域中每个像素属于的语义种类。与二分类变化相比，语义变化检测是一项更复杂的变化检测任务，可以获得全面的变化信息。该技术在环境监测、城市覆盖、资源管理等领域发挥着重要作用。
近年来，得益于高空间分辨率和多时间遥感地球观测的快速发展，可以获得大量的双时相和高空间分辨率遥感图像，这为语义变化检测提供了可靠的数据源。语义变化检测可以同时确定发生变化的区域和发生变化的类型。其结果由两个单独的分类图组成，不同的颜色表示每个图像周期的不变和变化的类别，一般来说语义变化检测结果图中白色代表没有发生变化的区域，其他的颜色代表土地覆盖的变化类型。深度学习通过端到端的检测方式简化了传统检测非端到端的方法，有效提高了检测效率以及检测的精度。因此，基于深度学习的语义变化检测方法获得了快速的发展。例如，Mou等人在文献“LearningSpectral-Spatial-Temporal Features via a Recurrent Convolutional NeuralNetwork for Change Detection in Multispectral Imagery[J].IEEE Transactions onGeoscience and Remote Sensing,2019.”中提出了一种新的递归卷积神经网络架构，将卷积神经网络和递归神经网络合并为一个端到端网络。前者能够生成丰富的光谱空间特征表示，而后者有效地分析了双时间图像中的时间相关性。例如，Yang等人在文献“.Asymmetricsiamese networks for semantic change detection in aerial images[J].IEEETransactions on Geoscience and Remote Sensing,2021,60:1-18.”提出了一种用于语义变化检测的不对称孪生网络ASN(Asymmetric Siamese Network)，通过从具有广泛不同结构的模块中获得的特征对来定位和识别语义变化，这些特征对涉及不同的空间范围和参数数量，以考虑不同土地覆被分布的差异。并进一步提出并评估了一个名为SECOND(SEmantic Change detectiON Dataset)的语义变化检测数据集。
目前对于变化检测的研究较多，但对于语义变化检测的探索研究较少，且语义变化检测的结果整体精度都不高，细节较差。除此之外还存在一些非实质性变化检测的问题，如光照变化、季节性植被变化、建筑物阴影覆盖等，这些都属于两个时相图像之间视觉外观的显著差异，即非实质性变化，不是想要的实质性变化，这些干扰因素都会影响检测结果的精确度。因此，设计一个高精度的语义变化检测网络是非常有必要的。
发明内容
要解决的技术问题
针对现有与语义变化检测方法的结果精度较低的问题，本发明提供一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法。
技术方案
一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于步骤如下：
S1，将不同时相的遥感图像T1和T2分别通过卷积模块C0和C1改变通道数后输入孪生高分辨率特征提取模块，通过特征提取模块内多个小卷积模块进行特征提取与不同尺度特征信息的交换，得到不同尺度的特征图F1 j’和F2 j’；将特征提取模块提取到的特征F1 j’和F2 j’分别通过卷积与上采样操作统一分辨率和通道数，得到新的特征信息F1 j和F2 j；
S2，将特征对F1 j和F2 j进行差异性特征提取，得到两幅图之间的差异信息特征dj，将dj通道堆叠后进行上下文信息编码，经过后处理得到与输入图像尺寸相同的变化二值图O；
S3，将特征对F1 j和F2 j分别进行通道堆叠，后各自进行上下文信息编码，得到与输入图像尺寸相同的两张语义分割图S1和S2，分别对应原图像T1和T2；
S4，将语义分割图S1和S2与变化检测图O结合后得到最终的语义变化检测结果图O1和O2。
本发明进一步的技术方案：步骤S1中孪生高分辨率特征提取模块包括了两个特征提取分支，且两分支之间共享权重。
本发明进一步的技术方案：所述高分辨率网络模型包括了多个小卷积模块，对于上下两个高分辨率网络模型分支中的所有卷积模块分别命名为卷积模块C1 i,j和卷积模块C2 i,j，i≥1,j≥0，特征图通过卷积模块C1 i,j和卷积模块C2 i,j后得到新的特征图I1 i,j和I2 i,j，特征图I1 i,j和I2 i,j的分辨率记为H1 i,j×W1 i,j和H2 i,j×W2 i,j，通道数记为C1 i,j和C2 i,j，其中H1 i,j＝H2 i,j＝Hinput/2j，W1 i,j＝W2 i,j＝Winput/2j，C1 i,j＝C2 i,j＝32×2j，其中Hinput与Winput为输入图像对T的分辨率大小。
本发明进一步的技术方案：步骤S1中卷积模块C1 i,j和C1 i,j的输入来自卷积模块C1 i-1,y和C2 i-1,y的输出，其中i≥2,y∈[0,i-2]，这里C1 i-1,y的输出记为I1 i-1,y，C2 i-1,y的输出记为I2 i-1,y；单独的，卷积模块C1 1,0和C2 1,0的输入来自T1和T2通过卷积模块C0和卷积模块C1得到的特征图。
本发明进一步的技术方案：步骤S1中卷积模块C1 i,j和C2 i,j存在多个输入，其分辨率与通道数不同，需要统一分辨率与通道数以便相加融合；分辨率及通道数的改变规则如下：对于输入Ii-1,y(i≥2,y∈[0,i-2])，当y<j时，对特征图Ii-1,y进行j-y次步长为2的跨步卷积，每次跨步卷积通过3×3卷积使得特征图的通道数翻倍，分辨率减半；当y＝j时，对特征图Ii-1,y进行3×3卷积进行特征的提取且通道数与分辨率不变；当y>j时，对特征图Ii-1,y进行3×3卷积，并将通道数变为32×2j，且使用双线性插值上采样操作使得分辨率变为Hinput/2j×Winput/2j。将卷积模块C1 i,j和C2 i,j的多个特征图输入统一分辨率及通道数后，采用加法对特征图进行融合。
本发明进一步的技术方案：步骤S2中将特征对F1 j和F2 j进行差异性特征提取是指将对应的特征对F1 j和F2 j的绝对差作为异性特征di。
本发明进一步的技术方案：步骤S2中后处理是指采用阈值分割进行二值化处理得到最终的检测结果图O。
本发明进一步的技术方案：步骤S4中将语义分割图S1和S2与变化检测图O结合是指只保留语义分割图S1和S2中与变化检测图O中变化区域相同区域的语义分割结果，忽略O中没有发生变化区域的语义分割结果。
本发明进一步的技术方案：步骤S4之后还包括使用深度监督方式引导预测网络的步骤，使用深度监督方式训练网络时，将变化二值图O与真实的变化标签得到二元交叉熵损失Lbce，将语义变化检测结果图O1和O2与真实的语义变化标签分别得到交叉熵损失L1ce和L2ce；将L1ce、L2ce和Lbce加权相加后得到总的损失L，将L进行反向传播，重复迭代直至迭代次数达到设置初始值时判定完成训练。
本发明进一步的技术方案：所有的卷积模块都由3×3卷积层、批归一化层与修正线性单元组成。
有益效果
本发明提供的一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法，得到的语义变化区域的细节更加准确，精度得到有效提升；可以排除由于光照、阴影、季节变化等干扰因素造成的非实质性变化的影响。精度方面，本发明的OCHRSCD在SECOND数据集上达到39.31％的综合指标Score，检测到的语义变化区域细节更加准确。
1、采用高分辨卷积网络提取特征，高分辨率网络能够提取多层次和多尺度的特征信息并同时保留高分辨率精细特征；
2、采用上下文信息编码，下文信息编码模块可以增强像素与目标区域的关联性，并且增强了同类像素的区域性联系；
3、通过高分辨卷积网络及上下文信息编码结合得到的语义变化区域的细节更加准确，精度得到有效提升。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1是本发明实施例方法的网络结构图。
图2是本发明实施例网络模型中上下文信息编码模块结构图。
图3是本发明实施例方法和其他现有方法的测试结果对比表。
图4是本发明实施例方法和的语义变化检测结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明设计了一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法。通过构建了新的基于高分辨率网络和上下文信息编码的遥感图像语义变化检测模型，用于高分辨率遥感图像的语义变化检测。如图1所示，该检测模型包含孪生高分辨率特征提取模块和上下文信息编码模块两部分，孪生高分辨率特征提取模块用来提取原图像对的特征信息；上下文信息编码模块用来进行变化检测与语义分割：1)原图像对的特征信息之间的差异信息进行上下文信息编码，得到与输入图像尺寸相同的变化二值图；2)原图像对各自的特征信息上进行上下文信息编码，得到与输入图像尺寸相同的两张语义分割图。最后将变化二值图和两张语义分割图结合后得到语义变化检测结果图。其中上下文信息编码模块如图2所示。
具体的方法包括以下步骤：
S1，将不同时相的遥感图像T1和T2分别通过卷积模块C0和C1改变通道数后输入孪生高分辨率特征提取模块，通过特征提取模块内多个小卷积模块进行特征提取与不同尺度特征信息的交换，得到不同尺度的特征图F1 j’和F2 j’；将特征提取模块提取到的特征F1 j’和F2 j’分别通过卷积与上采样操作统一分辨率和通道数，得到新的特征信息F1 j和F2 j；
S2，将特征对F1 j和F2 j进行差异性特征提取，得到两幅图之间的差异信息特征dj，将dj通道堆叠后进行上下文信息编码，经过后处理得到与输入图像尺寸相同的变化二值图O；
S3，将特征对F1 j和F2 j分别进行通道堆叠，后各自进行上下文信息编码，得到与输入图像尺寸相同的两张语义分割图S1和S2，分别对应原图像T1和T2；
S4，将语义分割图S1和S2与变化检测图O结合后得到最终的语义变化检测结果图O1和O2。
本实施例中，步骤S1-步骤S4的执行网络简称为OCHRSCD。下文将结合OCHRSCD的结构，对步骤S1-步骤S4的执行过程进行进一步的详细说明。
本实施例中，步骤S1中孪生高分辨率特征提取模块包括了两个特征提取分支，且两分支之间共享权重。
本实施例中，所述特征提取分支使用的高分辨率网络模型，保持了高分辨率分支使得网络能够对输入图的细节信息进行有效地保留。
本实施例中，参见图1。所述高分辨率网络模型包括了多个小卷积模块，对于上下两个高分辨率网络模型分支中的所有卷积模块分别命名为卷积模块C1 i,j和卷积模块C2 i,j(i≥1,j≥0)，特征图通过卷积模块C1 i,j和卷积模块C2 i,j后得到新的特征图I1 i,j和I2 i,j，特征图I1 i,j和I2 i,j的分辨率记为H1 i,j×W1 i,j和H2 i,j×W2 i,j，通道数记为C1 i,j和C2 i,j，其中H1 i,j＝H2 i,j＝Hinput/2j，W1 i,j＝W2 i,j＝Winput/2j，C1 i,j＝C2 i,j＝32×2j，其中Hinput与Winput为输入图像对T的分辨率大小。
本实施例中，可选地，步骤S1中卷积模块C1 i,j和C1 i,j的输入来自卷积模块C1 i-1,y和C2 i-1,y的输出(其中i≥2,y∈[0,i-2])，这里C1 i-1,y的输出记为I1 i-1,y，C2 i-1,y的输出记为I2 i-1,y；单独的，卷积模块C1 1,0和C2 1,0的输入来自T1和T2通过卷积模块C0和卷积模块C1得到的特征图：T1和T2大小分别为Hinput×Winput×3，通过卷积模块C0和卷积模块C1改变通道数分别得到Hinput×Winput×32特征图，即为卷积模块C1 1,0和C2 1,0的输入。
本实施例中，步骤S1中卷积模块C1 i,j和C2 i,j存在多个输入，其分辨率与通道数不同，需要统一分辨率与通道数以便相加融合。分辨率及通道数的改变规则如下：图1中孪生高分辨率特征提取模块包含了三种箭头，水平箭头表示普通卷积，斜向上箭头代表卷积与上采样操作，斜向下箭头代表跨步卷积。对于输入Ii-1,y(i≥2,y∈[0,i-2])，当y<j时，对特征图Ii-1,y进行j-y次步长为2的跨步卷积，每次跨步卷积通过3×3卷积使得特征图的通道数翻倍，分辨率减半，在图1的特征提取模块中用斜向下箭头表示；当y＝j时，对特征图Ii-1,y进行3×3卷积进行特征的提取且通道数与分辨率不变，在图1的特征提取模块中用水平箭头表示；当y>j时，对特征图Ii-1,y进行3×3卷积，并将通道数变为32×2j，且使用双线性插值上采样操作使得分辨率变为Hinput/2j×Winput/2j，在图1的特征提取模块中用斜向上箭头表示。将卷积模块C1 i,j和C2 i,j的多个特征图输入统一分辨率及通道数后，采用加法对特征图进行融合，得到I1 i,j和I2 i,j。
本实施例中，所述跨步卷积是指步长为2的卷积操作，代替了卷积操作与池化操作，特征图每次通过跨步卷积后通道数翻倍，分辨率减半。
本实施例中，步骤S1中通过特征提取模块中所有的卷积模块后，得到的四个不同尺度的特征图F1 j’和F2 j’，j∈{0,1,2,3}，F1 j’和F2 j’的分辨率与通道数分别为Hinput/2j×Winput/2j和32×2j，而后将F1 1’，F1 2’，F1 3’通过3×3卷积与二倍、四倍与八倍双线性差值上采样操作统一分辨率与通道数为Hinput×Winput×32，分别得到相同分辨率与相同通道数的四个特征图，命为F1 j，j∈{0,1,2,3}；将F2 1’，F2 2’，F2 3’通过3×3卷积与二倍、四倍与八倍双线性差值上采样操作统一分辨率与通道数为Hinput×Winput×32，得到相同分辨率与相同通道数的4个特征图，命为F2 j，j∈{0,1,2,3}。
本实施例中，步骤S2中将特征对F1 j和F2 j进行差异性特征提取是指将对应的特征对F1 j和F2 j的绝对差作为异性特征di，i∈{0,1,2,3}，差异性信息特征图di分辨率和通道数都为Hinput×Winput×32。
本实施例中，步骤S2中将dj通道堆叠后得到Hinput×Winput×128的特征图P，将特征图P进行上下文信息编码，从而进行两幅图像之间的变化检测任务。如图2所示，将特征图P先通过简单1×1卷积操作改变其通道数，得到大小为1×H×W的粗略变化检测图；将P与对应的粗略变化检测图矩阵相乘得到1个长度为128的向量，即物体区域表示；计算P与其对应的1×128的物体区域特征表示两者之间的关系矩阵R，大小为1×Hinput×Winput，关系矩阵指的是像素与区域的相似度；然后根据关系矩阵中R的数值把物体区域特征加权求和，得到上下文信息编码表示Q，大小为Hinput×Winput×128；将原特征图P与上下文信息编码表示Q通道堆叠信息增强后接卷积层改变特征图的通道数，经过后处理得到最终的变化检测结果图O，大小为Hinput×Winput×1。
本实施例中，上述后处理是指采用阈值分割进行二值化处理得到最终的检测结果图O。
本实施例中，步骤S2包含的所有卷积模块都由3x3卷积层、批处理正则化层与修正线性单元组成。
本实施例中，步骤S3中将特征对F1 j和F2 j分别进行通道堆叠后得到大小为Hinput×Winput×128的特征图P1和P2，将特征图P进行上下文信息编码从而进行原图像的语义分割任务，整体流程与上一步相似。如图2所示，将特征图P1和P2各自先通过简单1×1卷积操作改变其通道数，分别得到大小为1×H×W的粗略语义分割图；将P1和P2与对应的粗略语义分割图矩阵相乘分别得到1个长度为128的向量，即物体区域表示；计算P1和P2与其对应的1×128的物体区域特征表示两者之间的关系矩阵R1和R2，大小为1×Hinput×Winput；然后根据关系矩阵中R1和R2的数值把物体区域特征加权求和，分别得到P1和P2各自的上下文信息编码表示Q1和Q2，大小为Hinput×Winput×128；将原特征图P1和P2与各自对应的上下文信息编码表示Q1和Q2通道堆叠信息增强后接卷积层改变特征图的通道数分别得到原图像对的语义分割图S1和S2，大小为Hinput×Winput×1。
本实施例中，步骤S4中将语义分割图S1和S2与变化检测图O结合是指只保留语义分割图S1和S2中与变化检测图O中变化区域相同区域的语义分割结果，忽略O中没有发生变化区域的语义分割结果，得到最终的语义变化检测结果图O1和O2。
本实施例中，步骤S4之后还包括使用深度监督方式引导预测网络的步骤，使用深度监督方式训练网络时，将变化二值图O与真实的变化标签得到二元交叉熵损失Lbce，将语义变化检测结果图O1和O2与真实的语义变化标签分别得到交叉熵损失
Figure BDA0004109934380000101
和/>
Figure BDA0004109934380000102
后将
Figure BDA0004109934380000103
和Lbce加权相加后得到总的损失L，将L进行反向传播，重复迭代直至迭代次数达到设置初始值时判定完成训练。
Lbce如下所示:
Figure BDA0004109934380000104
其中n代表图像中的像素数，yi表示建筑物真实变化图，yi∈{0,1}表示y中位置i的值，1表示此像素发生了变化，而0表示此像素未发生变化。xi表示网络模型输出的预测变化图，xi∈[0,1]表示x中位置i的值，代表了预测改像素点发生变化的概率。
Figure BDA0004109934380000105
和/>
Figure BDA0004109934380000106
表示对语义变化检测结果图O1和O2分别与其对应的语义变化检测标签做交叉熵损失Lce。Lce如下所示：
Figure BDA0004109934380000107
其中Class代表语义分割的种类数，pi表示位置i的真实的标签，qi表示位置i的预测值。
本实施例中，
Figure BDA0004109934380000108
和Lbce加权相加后得到总的损失L中/>
Figure BDA0004109934380000109
和/>
Figure BDA00041099343800001010
的权重为1，Lbce的权重为2。L如下所示：
Figure BDA00041099343800001011
为了验证OCHRSCD的有效性，本实施例使用公开数据集SECOND进行了网络框架的训练和测试，并且与其他方法进行了对比。SECOND数据集包含2968组训练数据和647组测试数据，每一组数据包含两张不同时相的图像，每张图像大小为512×512像素。
本实施例提出的算法与五种最新的语义变化检测方法：DSCD(DirectSegmentation Change Detection)、SCDS(Separate Change Detection andSegmentation)、ICDS(Intergrated Change Detection and Segmentation)、HBSCD(HRNetbased semantic change detection)和SCDNet(Segmentation Change DetectionNetwork)，具体结果如图3所示。评价指标共有3种，分别为平均交合(mIoU，meanIntersection over Union)，分离Kappa(SeK，Separate Kappa)，综合评分Score。结合图3可以看出，本实施例方法OCHRSCD的3个评价指标，均是最优结果并达到最高的Score(39.31％)，与第二好的(SCDNet)相比，OCHRSCD将Score的准确率提高了0.83％，mIoU提高了0.15％，SeK提高了1.12％。图4为本实施例方法在三对数据上进行语义变化检测结果示意图，第二行表示的是T1图像和T2图像对应的标签图，第三行表示的OCHRSCD得到的结果。图中显示与标签图相比，变化区域的检测效果较好，检测结果中的变化区域轮廓清晰，变化密集分布的区域的检测结果也没有粘连情况。并且对于变化区域的语义分割的精度也较好。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于步骤如下：
S1，将不同时相的遥感图像T1和T2分别通过卷积模块C0和C1改变通道数后输入孪生高分辨率特征提取模块，通过特征提取模块内多个小卷积模块进行特征提取与不同尺度特征信息的交换，得到不同尺度的特征图F1 j’和F2 j’；将特征提取模块提取到的特征F1 j’和F2 j’分别通过卷积与上采样操作统一分辨率和通道数，得到新的特征信息F1 j和F2 j；
S2，将特征对F1 j和F2 j进行差异性特征提取，得到两幅图之间的差异信息特征dj，将dj通道堆叠后进行上下文信息编码，经过后处理得到与输入图像尺寸相同的变化二值图O；
S3，将特征对F1 j和F2 j分别进行通道堆叠，后各自进行上下文信息编码，得到与输入图像尺寸相同的两张语义分割图S1和S2，分别对应原图像T1和T2；
S4，将语义分割图S1和S2与变化检测图O结合后得到最终的语义变化检测结果图O1和O2。
2.根据权利要求1所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：步骤S1中孪生高分辨率特征提取模块包括了两个特征提取分支，且两分支之间共享权重。
3.根据权利要求2所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：所述高分辨率网络模型包括了多个小卷积模块，对于上下两个高分辨率网络模型分支中的所有卷积模块分别命名为卷积模块C1 i,j和卷积模块C2 i,j，i≥1,j≥0，特征图通过卷积模块C1 i,j和卷积模块C2 i,j后得到新的特征图I1 i,j和I2 i,j，特征图I1 i,j和I2 i,j的分辨率记为H1 i,j×W1 i,j和H2 i,j×W2 i,j，通道数记为C1 i,j和C2 i,j，其中H1 i,j＝H2 i,j＝Hinput/2j，W1 i,j＝W2 i,j＝Winput/2j，C1 i,j＝C2 i,j＝32×2j，其中Hinput与Winput为输入图像对T的分辨率大小。
4.根据权利要求3所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：步骤S1中卷积模块C1 i,j和C1 i,j的输入来自卷积模块C1 i-1,y和C2 i-1,y的输出，其中i≥2,y∈[0,i-2]，这里C1 i-1,y的输出记为I1 i-1,y，C2 i-1,y的输出记为I2 i-1,y；单独的，卷积模块C1 1,0和C2 1,0的输入来自T1和T2通过卷积模块C0和卷积模块C1得到的特征图。
5.根据权利要求1所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：步骤S1中卷积模块C1 i,j和C2 i,j存在多个输入，其分辨率与通道数不同，需要统一分辨率与通道数以便相加融合；分辨率及通道数的改变规则如下：对于输入Ii-1,y(i≥2,y∈[0,i-2])，当y<j时，对特征图Ii-1,y进行j-y次步长为2的跨步卷积，每次跨步卷积通过3×3卷积使得特征图的通道数翻倍，分辨率减半；
当y＝j时，对特征图Ii-1,y进行3×3卷积进行特征的提取且通道数与分辨率不变；当y>j时，对特征图Ii-1,y进行3×3卷积，并将通道数变为32×2j，且使用双线性插值上采样操作使得分辨率变为Hinput/2j×Winput/2j。将卷积模块C1 i,j和C2 i,j的多个特征图输入统一分辨率及通道数后，采用加法对特征图进行融合。
6.根据权利要求1所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：步骤S2中将特征对F1 j和F2 j进行差异性特征提取是指将对应的特征对F1 j和F2 j的绝对差作为异性特征di。
7.根据权利要求1所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：步骤S2中后处理是指采用阈值分割进行二值化处理得到最终的检测结果图O。
8.根据权利要求1所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：步骤S4中将语义分割图S1和S2与变化检测图O结合是指只保留语义分割图S1和S2中与变化检测图O中变化区域相同区域的语义分割结果，忽略O中没有发生变化区域的语义分割结果。
9.根据权利要求1所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：步骤S4之后还包括使用深度监督方式引导预测网络的步骤，使用深度监督方式训练网络时，将变化二值图O与真实的变化标签得到二元交叉熵损失Lbce，将语义变化检测结果图O1和O2与真实的语义变化标签分别得到交叉熵损失L1ce和L2ce；将L1ce、L2ce和Lbce加权相加后得到总的损失L，将L进行反向传播，重复迭代直至迭代次数达到设置初始值时判定完成训练。
10.根据权利要求1所述基于高分辨卷积网络及上下文信息编码的语义变化检测方法，其特征在于：所有的卷积模块都由3×3卷积层、批归一化层与修正线性单元组成。
CN202310203630.8A 2023-03-06 2023-03-06 一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法 Pending CN116310811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310203630.8A CN116310811A (zh) 2023-03-06 2023-03-06 一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310203630.8A CN116310811A (zh) 2023-03-06 2023-03-06 一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法

Publications (1)

Publication Number Publication Date
CN116310811A true CN116310811A (zh) 2023-06-23

Family

ID=86837328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310203630.8A Pending CN116310811A (zh) 2023-03-06 2023-03-06 一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法

Country Status (1)

Country Link
CN (1) CN116310811A (zh)

Similar Documents

Publication Publication Date Title
Li et al. Multitask semantic boundary awareness network for remote sensing image segmentation
Xie et al. A locally-constrained YOLO framework for detecting small and densely-distributed building footprints
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
Li et al. Symmetrical feature propagation network for hyperspectral image super-resolution
CN114998703B (zh) 一种基于高分辨卷积神经网络的遥感图像变化检测方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
Xia et al. A deep Siamese postclassification fusion network for semantic change detection
CN111652240B (zh) 一种基于cnn的图像局部特征检测与描述方法
Delibasoglu et al. Improved U-Nets with inception blocks for building detection
Li et al. ConvTransNet: A CNN-transformer network for change detection with multi-scale global-local representations
Chen et al. Exchange means change: An unsupervised single-temporal change detection framework based on intra-and inter-image patch exchange
CN116363527A (zh) 一种基于交互特征感知的遥感图像变化检测方法
CN116030357A (zh) 一种高分辨率遥感图像变化检测深度网络及检测方法
Zhao et al. SiUNet3+-CD: A full-scale connected Siamese network for change detection of VHR images
Wan et al. A geometry-aware attention network for semantic segmentation of MLS point clouds
CN114119621A (zh) 基于深度编解码融合网络的sar遥感图像水域分割方法
Xu et al. Hybrid attention-aware transformer network collaborative multiscale feature alignment for building change detection
Wang et al. Position-aware graph-CNN fusion network: an integrated approach combining geospatial information and graph attention network for multi-class change detection
Das et al. Extracting building footprints from high-resolution aerial imagery using refined cross AttentionNet
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network
Zhang et al. Semisupervised Change Detection Based on Bihierarchical Feature Aggregation and Extraction Network
CN116310811A (zh) 一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法
CN112989919B (zh) 一种从影像中提取目标对象的方法及系统
Du et al. ESDSCNet: an enhanced shallow feature difference and semantic context network for remote sensing change detection: with building change detection as a case
Lian et al. End-to-end building change detection model in aerial imagery and digital surface model based on neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination