CN113487546A - 一种特征-输出空间双对齐的变化检测方法 - Google Patents

一种特征-输出空间双对齐的变化检测方法 Download PDF

Info

Publication number
CN113487546A
CN113487546A CN202110707356.9A CN202110707356A CN113487546A CN 113487546 A CN113487546 A CN 113487546A CN 202110707356 A CN202110707356 A CN 202110707356A CN 113487546 A CN113487546 A CN 113487546A
Authority
CN
China
Prior art keywords
feature
loss
change
output
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110707356.9A
Other languages
English (en)
Other versions
CN113487546B (zh
Inventor
张轶
陈杰
朱轶群
何玢
朱晶茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WENZHOU EXPLORATION & SURVEY INSTITUTE
Central South University
Original Assignee
WENZHOU EXPLORATION & SURVEY INSTITUTE
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WENZHOU EXPLORATION & SURVEY INSTITUTE, Central South University filed Critical WENZHOU EXPLORATION & SURVEY INSTITUTE
Priority to CN202110707356.9A priority Critical patent/CN113487546B/zh
Publication of CN113487546A publication Critical patent/CN113487546A/zh
Application granted granted Critical
Publication of CN113487546B publication Critical patent/CN113487546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种特征‑输出空间双对齐的变化检测方法，通过设计特征空间对齐，对前后时相的高层特征的相关性进行建模，拉近未变化区域像素在特征空间上的差异，使网络提取到未变化区域的高层特征趋于一致，以减弱伪变化问题对变化检测精度的影响；通过设计输出空间对齐，添加判别器，让变化检测结果和Ground truth进行对抗性学习，编码包括外观、形状和上下文在内的多种视觉线索，使预测的变化检测结果分布接近Ground truth的分布，提升变化预测图的质量。

Description

一种特征-输出空间双对齐的变化检测方法
技术领域
本发明涉及高分辨率遥感影像处理领域，具体地涉及一种特征-输出空间双对齐的变化检测方法。
背景技术
建筑物作为基础地理数据库中的一种重要人工目标类型，其变化最为频繁，对土地覆被的影响最为剧烈，也最需要及时更新。显然，建筑物提取在很多应用领域具有广阔应用前景，但是采用人工调查进行基础 GIS 数据库的建筑物自动更新却费时费力，且人工提取建筑物的数据有限且采集质量参差不齐，难以满足实用化需求。
传统的变化检测方法可以将其分为两类，基于像元的方法和面向对象的方法。基于像元的方法是通过像元之间的代数运算实现的，如影像差值法和影像比值法等；面向对象的变化检测，它利用对象作为处理单元来提高最终结果的完整性和准确性。近年来，深度学习技术发展迅速，在语言识别、图像分类和语义分割等领域中取得了显著效果，一些学者开始对深度学习在遥感图像变化检测中的应用进行研究。这些方法虽然在遥感图像变化检测中的应用取得了初步成效，但对变化检测中的伪变化问题缺乏深入研究。
在建筑物变化检测中，伪变化是一个值得关注的问题。在两幅不同时相的影像中，未变化区域的特征理应差异较小。由于建筑物特征多样，遥感图像背景复杂，不同时相的影像成像条件存在较大的差异，导致了未变化区域的特征差异过大，因此网络将这些区域错误的识别成了变化区域，造成了伪变化问题。然而已有的方法，大都是通过增强网络对变化区域特征的提取能力来提升变化检测效果，如在网络中添加注意机制等参数结构等。这些方法不仅没有针对伪变化问题进行深入探索，而且添加的参数结构也使网络的训练变得更为复杂。
发明内容
本发明的目的在于为解决现有技术中存在的由于建筑物特征多样，遥感图像背景复杂，不同时相的影像成像条件存在较大的差异，导致了未变化区域的特征差异过大，因此网络将这些区域错误的识别成了变化区域，造成了伪变化问题；且已有的方法大都通过增强网络对变化区域特征的提取能力来提升变化检测效果，不仅没有针对伪变化问题进行深入探索，而且添加的参数结构也使网络的训练变得更为复杂等缺点，而提供一种特征-输出空间双对齐的变化检测方法。
为达到上述目的，本发明采用以下技术方案予以实现：
一种特征-输出空间双对齐的变化检测方法，包括特征空间对齐、初始变化预测图 P生成、输出空间对齐及整体损失函数
Figure 883907DEST_PATH_IMAGE001
计算，所述的变化检测方法的步骤为：
1）特征空间对齐，包括训练数据获取、特征提取器构建、双时相影像特征提取、真实标签下采样、变化区域擦除及特征空间对齐损失计算；
A、训练数据获取，包括获取同一区域不同时相的两幅遥感影像
Figure 332206DEST_PATH_IMAGE002
、
Figure 659414DEST_PATH_IMAGE003
及与
Figure 585781DEST_PATH_IMAGE002
、
Figure 196891DEST_PATH_IMAGE003
对 应的变化区域真实标签图Ground truth，
Figure 65359DEST_PATH_IMAGE002
、
Figure 863551DEST_PATH_IMAGE003
及真实标签Ground truth三个影像尺寸相 同；
B、特征提取器
Figure 859189DEST_PATH_IMAGE004
构建，特征提取器
Figure 809958DEST_PATH_IMAGE004
是孪生网络结构，由两个并行的卷积模块构 成，两个卷积模块权重参数共享，卷积模块由5个下采样模块组成，单个下采样模块包括两 个卷积层和一个最大池化层，最后一个卷积模块中没有最大池化层；卷积核大小均为3×3， 步长为1，池化尺寸为2×2；5个下采样层中的卷积层的通道数分别为16、32、64、128、128；
C、双时相影像特征提取，给定一对双时相影像
Figure 600060DEST_PATH_IMAGE002
及
Figure 885547DEST_PATH_IMAGE003
，将其输入至特征提取器
Figure 668565DEST_PATH_IMAGE004
中，特征提取器E输出两张特征图
Figure 723108DEST_PATH_IMAGE005
及
Figure 949690DEST_PATH_IMAGE006
；
D、真实标签下采样，将真实标签Ground truth缩放至与特征图
Figure 738786DEST_PATH_IMAGE005
及
Figure 545068DEST_PATH_IMAGE006
相同的尺 寸；
E、变化区域擦除，将步骤1）C中得到的下采样后的真实标签中的变化区域值设置 为0，未变化区域值设置为1，分别与
Figure 985276DEST_PATH_IMAGE005
及
Figure 100869DEST_PATH_IMAGE006
做点乘，使得变化区域像素的loss值为0，只对 未变化区域计算损失；
F、特征空间对齐损失
Figure 626528DEST_PATH_IMAGE007
计算，当
Figure 236501DEST_PATH_IMAGE005
及
Figure 281949DEST_PATH_IMAGE006
中未变化区域像素的距离越来越小，即趋 近于0时，
Figure 584754DEST_PATH_IMAGE007
的值趋近于0；
Figure 332130DEST_PATH_IMAGE008
（1）
其中，
Figure 260641DEST_PATH_IMAGE005
代表前一时相的高层特征，
Figure 144283DEST_PATH_IMAGE006
代表后一时相的高层特征，
Figure 883569DEST_PATH_IMAGE009
代表下采样 后的ground truth；
Figure 852662DEST_PATH_IMAGE010
表示
Figure 820749DEST_PATH_IMAGE005
与
Figure 824477DEST_PATH_IMAGE006
在（i, j）处特征向量之间的距离；
2）初始变化预测图P生成，包括双时相特征融合、解码器构建、特征解码及变化损 失
Figure 734664DEST_PATH_IMAGE011
计算；
A、双时相特征融合，根据步骤1）B中所得：
Figure 705900DEST_PATH_IMAGE012
，
Figure 461367DEST_PATH_IMAGE005
表示前一个时 相图像
Figure 319601DEST_PATH_IMAGE002
输出的特征图，
Figure 885843DEST_PATH_IMAGE006
表示后一个时相图像
Figure 95107DEST_PATH_IMAGE003
输出的特征图，将特征图
Figure 654265DEST_PATH_IMAGE005
与
Figure 881853DEST_PATH_IMAGE006
进行融 合，融合后的特征
Figure 602684DEST_PATH_IMAGE013
可用公式表达：
Figure 299244DEST_PATH_IMAGE014
（2）
B、解码器构建，解码器
Figure 412825DEST_PATH_IMAGE015
由两个上采样模块构成，单个上采样模块包含两个反卷 积层和一个上池化层，反卷积层通道数分别为64和1，上池化层尺寸为4×4；
C、特征解码，将步骤2）A中所得的融合后特征
Figure 245652DEST_PATH_IMAGE013
输入至解码器
Figure 402964DEST_PATH_IMAGE015
中，解码器将
Figure 570509DEST_PATH_IMAGE013
恢 复至与输入图像
Figure 737048DEST_PATH_IMAGE002
及
Figure 158802DEST_PATH_IMAGE003
相同尺寸，得到初始变化预测图
Figure 503327DEST_PATH_IMAGE016
，
Figure 643321DEST_PATH_IMAGE017
；
D、变化损失
Figure 613551DEST_PATH_IMAGE011
计算，将预测的变化检测结果P与ground truth计算交叉熵损失， 变化损失
Figure 624232DEST_PATH_IMAGE011
可用公式表达：
Figure 638194DEST_PATH_IMAGE018
（3）
其中，
Figure 265484DEST_PATH_IMAGE019
表示真实标签，
Figure 773826DEST_PATH_IMAGE020
表示预测变化结果，
Figure 170172DEST_PATH_IMAGE021
Figure 856500DEST_PATH_IMAGE022
表示训练样本的个 数；
3）输出空间对齐，包括判别器构建及对抗损失计算，学习来自输出空间的形状、布局及场景上下文信息，在训练中剔除变化检测预测结果中与ground truth输出表达不一致的区域；
A、判别器构建，将变化检测结果
Figure 971086DEST_PATH_IMAGE016
与真实的变化检测结果Ground truth输入判别 器D中，判别器D由5个卷积层和一个上采样模块组成，卷积核大小均为4×4，步长为2；五个 卷积层的通道数分别为64、128、256、512、1；除最后一层外，每个卷积层后面都有一个参数 为0.2的Leaky ReLU层，上采样层在卷积层后，以将输出重新缩放为输入的大小；
B、对抗损失
Figure 17540DEST_PATH_IMAGE023
计算，判别器利用该损失更新孪生网络参数，直至判别器无法判别 输入图像的来源，此时认定真实的变化检测结果与预测的变化检测结果在分布上进行了对 齐，从而消除未变化区域像素间的差异，以此减少伪变化，对抗损失
Figure 48818DEST_PATH_IMAGE023
可用公式表达：
Figure 889735DEST_PATH_IMAGE024
（4）
当z=0时，说明样本为预测结果；当z=1时，说明样本为ground truth；
4）整体损失函数
Figure 757197DEST_PATH_IMAGE025
计算，包括特征空间对齐损失、输出空间对抗损失及变化损失， 整体损失函数
Figure 92495DEST_PATH_IMAGE025
可用公式表达：
Figure 729012DEST_PATH_IMAGE026
（5）
其中，
Figure 740831DEST_PATH_IMAGE011
是预测的变化检测结果与ground truth交叉熵损失，
Figure 79277DEST_PATH_IMAGE007
是在特征对齐 模块中所设计的损失，而
Figure 467533DEST_PATH_IMAGE023
是在输出空间对齐模块中所设计的的对抗性损失；
Figure 958557DEST_PATH_IMAGE027
和
Figure 157589DEST_PATH_IMAGE028
是用 来平衡两个损失的权重，取值范围为(0，1)；通过训练，最小化损失函数
Figure 734063DEST_PATH_IMAGE025
，不断优化变化预 测图P。
本发明产生的有益效果为：本发明通过设计特征空间对齐，对前后时相的高层特征的相关性进行建模，拉近未变化区域像素在特征空间上的差异，使网络提取到未变化区域的高层特征趋于一致，以减弱伪变化问题对变化检测精度的影响；通过设计输出空间对齐，添加判别器，让变化检测结果和Ground truth进行对抗性学习，编码包括外观、形状和上下文在内的多种视觉线索，使预测的变化检测结果分布接近Ground truth 的分布，提升变化预测图的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为步骤1）中特征空间对齐的处理过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述：
一种特征-输出空间双对齐的变化检测方法，包括特征空间对齐、初始变化预测图 P生成、输出空间对齐及整体损失函数
Figure 926010DEST_PATH_IMAGE001
计算，所述的变化检测方法的步骤为：
1）特征空间对齐，包括训练数据获取、特征提取器构建、双时相影像特征提取、真实标签下采样、变化区域擦除及特征空间对齐损失计算；
A、训练数据获取，包括获取同一区域不同时相的两幅遥感影像
Figure 255229DEST_PATH_IMAGE002
、
Figure 140009DEST_PATH_IMAGE003
及与
Figure 938201DEST_PATH_IMAGE002
、
Figure 684571DEST_PATH_IMAGE003
对 应的变化区域真实标签图Ground truth，
Figure 619029DEST_PATH_IMAGE002
、
Figure 674709DEST_PATH_IMAGE003
及真实标签Ground truth三个影像尺寸相 同；
B、特征提取器
Figure 475044DEST_PATH_IMAGE004
构建，特征提取器
Figure 743214DEST_PATH_IMAGE004
是孪生网络结构，由两个并行的卷积模块构 成，两个卷积模块权重参数共享，卷积模块由5个下采样模块组成，单个下采样模块包括两 个卷积层和一个最大池化层，最后一个卷积模块中没有最大池化层；卷积核大小均为3×3， 步长为1，池化尺寸为2×2；5个下采样层中的卷积层的通道数分别为16、32、64、128、128；
C、双时相影像特征提取，给定一对双时相影像
Figure 63337DEST_PATH_IMAGE002
及
Figure 24340DEST_PATH_IMAGE003
，将其输入至特征提取器
Figure 547856DEST_PATH_IMAGE004
中，特征提取器E输出两张特征图
Figure 619718DEST_PATH_IMAGE005
及
Figure 59926DEST_PATH_IMAGE006
；
D、真实标签下采样，将真实标签Ground truth缩放至与特征图
Figure 441098DEST_PATH_IMAGE005
及
Figure 701178DEST_PATH_IMAGE006
相同的尺 寸；
E、变化区域擦除，将步骤1）C中得到的下采样后的真实标签中的变化区域值设置 为0，未变化区域值设置为1，分别与
Figure 576730DEST_PATH_IMAGE005
及
Figure 356598DEST_PATH_IMAGE006
做点乘，使得变化区域像素的loss值为0，只对 未变化区域计算损失；
F、特征空间对齐损失
Figure 659404DEST_PATH_IMAGE007
计算，当
Figure 452785DEST_PATH_IMAGE005
及
Figure 866449DEST_PATH_IMAGE006
中未变化区域像素的距离越来越小，即趋 近于0时，
Figure 15670DEST_PATH_IMAGE007
的值趋近于0；
Figure 505689DEST_PATH_IMAGE008
（1）
其中，
Figure 474782DEST_PATH_IMAGE005
代表前一时相的高层特征，
Figure 692137DEST_PATH_IMAGE006
代表后一时相的高层特征，
Figure 968570DEST_PATH_IMAGE009
代表下采样 后的ground truth；
Figure 613178DEST_PATH_IMAGE010
表示
Figure 69567DEST_PATH_IMAGE005
与
Figure 841345DEST_PATH_IMAGE006
在（i, j）处特征向量之间的距离；
2）初始变化预测图P生成，包括双时相特征融合、解码器构建、特征解码及变化损 失
Figure 699579DEST_PATH_IMAGE011
计算；
A、双时相特征融合，根据步骤1）B中所得：
Figure 780668DEST_PATH_IMAGE012
，
Figure 239200DEST_PATH_IMAGE005
表示前一个时 相图像
Figure 532778DEST_PATH_IMAGE002
输出的特征图，
Figure 511098DEST_PATH_IMAGE006
表示后一个时相图像
Figure 497509DEST_PATH_IMAGE003
输出的特征图，将特征图
Figure 944802DEST_PATH_IMAGE005
与
Figure 42071DEST_PATH_IMAGE006
进行融 合，融合后的特征
Figure 920903DEST_PATH_IMAGE013
可用公式表达：
Figure 78215DEST_PATH_IMAGE014
（2）
B、解码器构建，解码器
Figure 262071DEST_PATH_IMAGE015
由两个上采样模块构成，单个上采样模块包含两个反卷 积层和一个上池化层，反卷积层通道数分别为64和1，上池化层尺寸为4×4；
C、特征解码，将步骤2）A中所得的融合后特征
Figure 648185DEST_PATH_IMAGE013
输入至解码器
Figure 601097DEST_PATH_IMAGE015
中，解码器将
Figure 929310DEST_PATH_IMAGE013
恢 复至与输入图像
Figure 584151DEST_PATH_IMAGE002
及
Figure 288802DEST_PATH_IMAGE003
相同尺寸，得到初始变化预测图
Figure 643691DEST_PATH_IMAGE016
，
Figure 611647DEST_PATH_IMAGE017
；
D、变化损失
Figure 35675DEST_PATH_IMAGE011
计算，将预测的变化检测结果P与ground truth计算交叉熵损失， 变化损失
Figure 481700DEST_PATH_IMAGE011
可用公式表达：
Figure 392893DEST_PATH_IMAGE018
（3）
其中，
Figure 859647DEST_PATH_IMAGE019
表示真实标签，
Figure 443075DEST_PATH_IMAGE020
表示预测变化结果，
Figure 771419DEST_PATH_IMAGE021
Figure 553430DEST_PATH_IMAGE022
表示训练样本的个 数；
3）输出空间对齐，包括判别器构建及对抗损失计算，学习来自输出空间的形状、布局及场景上下文信息，在训练中剔除变化检测预测结果中与ground truth输出表达不一致的区域；
A、判别器构建，将变化检测结果
Figure 394347DEST_PATH_IMAGE016
与真实的变化检测结果Ground truth输入判别 器D中，判别器D由5个卷积层和一个上采样模块组成，卷积核大小均为4×4，步长为2；五个 卷积层的通道数分别为64、128、256、512、1；除最后一层外，每个卷积层后面都有一个参数 为0.2的Leaky ReLU层，上采样层在卷积层后，以将输出重新缩放为输入的大小；
B、对抗损失
Figure 511077DEST_PATH_IMAGE023
计算，判别器利用该损失更新孪生网络参数，直至判别器无法判别 输入图像的来源，此时认定真实的变化检测结果与预测的变化检测结果在分布上进行了对 齐，从而消除未变化区域像素间的差异，以此减少伪变化，对抗损失
Figure 95642DEST_PATH_IMAGE023
可用公式表达：
Figure 732160DEST_PATH_IMAGE024
（4）
当z=0时，说明样本为预测结果；当z=1时，说明样本为ground truth；
4）整体损失函数
Figure 760290DEST_PATH_IMAGE025
计算，包括特征空间对齐损失、输出空间对抗损失及变化损失， 整体损失函数
Figure 583889DEST_PATH_IMAGE025
可用公式表达：
Figure 237724DEST_PATH_IMAGE026
（5）
其中，
Figure 712437DEST_PATH_IMAGE011
是预测的变化检测结果与ground truth交叉熵损失，
Figure 160736DEST_PATH_IMAGE007
是在特征对齐 模块中所设计的损失，而
Figure 737211DEST_PATH_IMAGE023
是在输出空间对齐模块中所设计的的对抗性损失；
Figure 679890DEST_PATH_IMAGE027
和
Figure 25421DEST_PATH_IMAGE028
是用 来平衡两个损失的权重，取值范围为(0，1)；通过训练，最小化损失函数
Figure 644621DEST_PATH_IMAGE025
，不断优化变化预 测图P。
不同时相的两幅遥感影像
Figure 957659DEST_PATH_IMAGE002
、
Figure 422139DEST_PATH_IMAGE003
及与
Figure 887755DEST_PATH_IMAGE002
、
Figure 428589DEST_PATH_IMAGE003
对应的变化区域真实标签图Ground truth通过互联网下载获取；卷积神经网络训练基于现有的计算机平台操作。
表1显示了特征空间对齐模块中α超参数选择的结果及输出空间对齐模块中β超参数选择的结果：
Figure 917339DEST_PATH_IMAGE029
α超参数选择了0.1，0.01和 0.001 三个数值调节
Figure 716668DEST_PATH_IMAGE007
的效果，可以看到，加入特征 空间对齐模块后，对比基线方法，选择不同的参数，结果有 3 个百分点左右的提升。当将α 固定为 0.001 时，模型取得最好结果，
Figure 771212DEST_PATH_IMAGE005
达到 88.18%，比baseline高3.74%。
同样，β超参数选择了0.1，0.01和0.001三个数值调节
Figure 981482DEST_PATH_IMAGE023
的效果，可以看到，加入 输出空间对齐模块后，对比基线方法，选择不同的参数，结果约提升1%-4%。当将β固定为0.1 时，模型取得最好结果，
Figure 19845DEST_PATH_IMAGE005
达到 88.08%，比 baseline高3.64%。
经过多次实验证明，当α固定为 0.1，β固定为 0.1时，模型取得最佳效果，
Figure 91706DEST_PATH_IMAGE005
达到 88.73%。对比基线方法，性能超出4.29%。这说明特征空间对齐模块和输出空间对齐模块对 变化检测效果提升的作用是十分显著的。结合二者进行变化检测，效果达到最佳。
表2显示了在 WHU 数据集上特征空间对齐模块中α超参数选择的结果及输出空间对齐模块中β超参数选择的结果：
Figure 17068DEST_PATH_IMAGE030
α超参数选择0.1，0.01和0.001三个数值调节
Figure 148972DEST_PATH_IMAGE007
的效果，相较 baseline，选择不同 的α值，模型效果都有不同程度的提升。当α设置为0.01时，模型取得最好效果，
Figure 409052DEST_PATH_IMAGE005
达到 78.1%，相较baseline，提升2.6%。
β超参数选择0.1，0.01 和0.001三个数值调节
Figure 284604DEST_PATH_IMAGE023
的效果，可以看到，当将β固定为 0.1 时，模型取得最好结果，
Figure 828587DEST_PATH_IMAGE005
达到 78.80%，比baseline高3.3%。当α固定为 0.001，β固定 为 0.001 时，模型取得最佳效果，
Figure 865813DEST_PATH_IMAGE005
达到 82.75%，对比基线方法，性能提升了 7.25%。
特征空间对齐和输出空间对齐机制对网络的精度均有提升。当将这两个对齐机制组合起来，使网络综合性能有了不错的提升。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (1)

1.一种特征-输出空间双对齐的变化检测方法，包括特征空间对齐、初始变化预测图P 生成、输出空间对齐及整体损失函数
Figure 452358DEST_PATH_IMAGE001
计算，其特征在于：
所述的变化检测方法的步骤为：
1）特征空间对齐，包括训练数据获取、特征提取器构建、双时相影像特征提取、真实标签下采样、变化区域擦除及特征空间对齐损失计算；
A、训练数据获取，包括获取同一区域不同时相的两幅遥感影像
Figure 838340DEST_PATH_IMAGE002
、
Figure 85256DEST_PATH_IMAGE003
及与
Figure 746044DEST_PATH_IMAGE002
、
Figure 29258DEST_PATH_IMAGE003
对应的 变化区域真实标签图Ground truth，
Figure 54983DEST_PATH_IMAGE002
、
Figure 587596DEST_PATH_IMAGE003
及真实标签Ground truth三个影像尺寸相同；
B、特征提取器
Figure 989758DEST_PATH_IMAGE004
构建，特征提取器
Figure 376746DEST_PATH_IMAGE004
是孪生网络结构，由两个并行的卷积模块构成，两 个卷积模块权重参数共享，卷积模块由5个下采样模块组成，单个下采样模块包括两个卷积 层和一个最大池化层，最后一个卷积模块中没有最大池化层；卷积核大小均为3×3，步长为 1，池化尺寸为2×2；5个下采样层中的卷积层的通道数分别为16、32、64、128、128；
C、双时相影像特征提取，给定一对双时相影像
Figure 635689DEST_PATH_IMAGE002
及
Figure 858860DEST_PATH_IMAGE003
，将其输入至特征提取器
Figure 64713DEST_PATH_IMAGE004
中，特 征提取器E输出两张特征图
Figure 791361DEST_PATH_IMAGE005
及
Figure 939314DEST_PATH_IMAGE006
；
D、真实标签下采样，将真实标签Ground truth缩放至与特征图
Figure 446519DEST_PATH_IMAGE005
及
Figure 190484DEST_PATH_IMAGE006
相同的尺寸；
E、变化区域擦除，将步骤1）C中得到的下采样后的真实标签中的变化区域值设置为0， 未变化区域值设置为1，分别与
Figure 37217DEST_PATH_IMAGE005
及
Figure 637963DEST_PATH_IMAGE006
做点乘，使得变化区域像素的loss值为0，只对未变 化区域计算损失；
F、特征空间对齐损失
Figure 835726DEST_PATH_IMAGE007
计算，当
Figure 367070DEST_PATH_IMAGE005
及
Figure 130627DEST_PATH_IMAGE006
中未变化区域像素的距离越来越小，即趋近于 0时，
Figure 105536DEST_PATH_IMAGE007
的值趋近于0；
Figure 321754DEST_PATH_IMAGE008
（1）
其中，
Figure 673101DEST_PATH_IMAGE005
代表前一时相的高层特征，
Figure 228847DEST_PATH_IMAGE006
代表后一时相的高层特征，
Figure 436975DEST_PATH_IMAGE009
代表下采样后的 ground truth；
Figure 595948DEST_PATH_IMAGE010
表示
Figure 219827DEST_PATH_IMAGE005
与
Figure 161239DEST_PATH_IMAGE006
在（i, j）处特征向量之间的距离；
2）初始变化预测图P生成，包括双时相特征融合、解码器构建、特征解码及变化损失
Figure 540267DEST_PATH_IMAGE011
计算；
A、双时相特征融合，根据步骤1）B中所得：
Figure 668760DEST_PATH_IMAGE012
，
Figure 158648DEST_PATH_IMAGE005
表示前一个时相图 像
Figure 938254DEST_PATH_IMAGE002
输出的特征图，
Figure 425867DEST_PATH_IMAGE006
表示后一个时相图像
Figure 103973DEST_PATH_IMAGE003
输出的特征图，将特征图
Figure 335234DEST_PATH_IMAGE005
与
Figure 985658DEST_PATH_IMAGE006
进行融合， 融合后的特征
Figure 440910DEST_PATH_IMAGE013
可用公式表达：
Figure 793263DEST_PATH_IMAGE014
（2）
B、解码器构建，解码器
Figure 624953DEST_PATH_IMAGE015
由两个上采样模块构成，单个上采样模块包含两个反卷积层和 一个上池化层，反卷积层通道数分别为64和1，上池化层尺寸为4×4；
C、特征解码，将步骤2）A中所得的融合后特征
Figure 395463DEST_PATH_IMAGE013
输入至解码器
Figure 959299DEST_PATH_IMAGE015
中，解码器将
Figure 815260DEST_PATH_IMAGE013
恢复至与 输入图像
Figure 450640DEST_PATH_IMAGE002
及
Figure 793766DEST_PATH_IMAGE003
相同尺寸，得到初始变化预测图
Figure 856400DEST_PATH_IMAGE016
，
Figure 668498DEST_PATH_IMAGE017
；
D、变化损失
Figure 310832DEST_PATH_IMAGE011
计算，将预测的变化检测结果P与ground truth计算交叉熵损失，变化 损失
Figure 587093DEST_PATH_IMAGE011
可用公式表达：
Figure 758311DEST_PATH_IMAGE018
（3）
其中，
Figure 120022DEST_PATH_IMAGE019
表示真实标签，
Figure 552665DEST_PATH_IMAGE020
表示预测变化结果，
Figure 621115DEST_PATH_IMAGE021
Figure 228814DEST_PATH_IMAGE022
表示训练样本的个数；
3）输出空间对齐，包括判别器构建及对抗损失计算，学习来自输出空间的形状、布局及场景上下文信息，在训练中剔除变化检测预测结果中与ground truth输出表达不一致的区域；
A、判别器构建，将变化检测结果
Figure 77821DEST_PATH_IMAGE016
与真实的变化检测结果Ground truth输入判别器D 中，判别器D由5个卷积层和一个上采样模块组成，卷积核大小均为4×4，步长为2；五个卷积 层的通道数分别为64、128、256、512、1；除最后一层外，每个卷积层后面都有一个参数为0.2 的Leaky ReLU层，上采样层在卷积层后，以将输出重新缩放为输入的大小；
B、对抗损失
Figure 530799DEST_PATH_IMAGE023
计算，判别器利用该损失更新孪生网络参数，直至判别器无法判别输入 图像的来源，此时认定真实的变化检测结果与预测的变化检测结果在分布上进行了对齐， 从而消除未变化区域像素间的差异，以此减少伪变化，对抗损失
Figure 234182DEST_PATH_IMAGE023
可用公式表达
Figure 809520DEST_PATH_IMAGE024
（4）
当z=0时，说明样本为预测结果；当z=1时，说明样本为ground truth；
4）整体损失函数
Figure 83506DEST_PATH_IMAGE025
计算，包括特征空间对齐损失、输出空间对抗损失及变化损失，整体 损失函数
Figure 605755DEST_PATH_IMAGE025
可用公式表达：
Figure 711114DEST_PATH_IMAGE026
（5）
其中，
Figure 395036DEST_PATH_IMAGE011
是预测的变化检测结果与ground truth交叉熵损失，
Figure 405586DEST_PATH_IMAGE007
是在特征对齐模块 中所设计的损失，而
Figure 528263DEST_PATH_IMAGE023
是在输出空间对齐模块中所设计的的对抗性损失；
Figure 425812DEST_PATH_IMAGE027
和
Figure 342952DEST_PATH_IMAGE028
是用来平 衡两个损失的权重，取值范围为(0，1)；通过训练，最小化损失函数
Figure 591531DEST_PATH_IMAGE025
，不断优化变化预测图 P。
CN202110707356.9A 2021-06-25 2021-06-25 一种特征-输出空间双对齐的变化检测方法 Active CN113487546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110707356.9A CN113487546B (zh) 2021-06-25 2021-06-25 一种特征-输出空间双对齐的变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110707356.9A CN113487546B (zh) 2021-06-25 2021-06-25 一种特征-输出空间双对齐的变化检测方法

Publications (2)

Publication Number Publication Date
CN113487546A true CN113487546A (zh) 2021-10-08
CN113487546B CN113487546B (zh) 2024-04-02

Family

ID=77936215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110707356.9A Active CN113487546B (zh) 2021-06-25 2021-06-25 一种特征-输出空间双对齐的变化检测方法

Country Status (1)

Country Link
CN (1) CN113487546B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419464A (zh) * 2022-03-29 2022-04-29 南湖实验室 一种基于深度学习的孪生网络变化检测模型

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154495A (zh) * 2017-11-17 2018-06-12 天津大学 基于dccae网络的多时相跨传感器遥感图像相对光谱对齐算法
CN108960261A (zh) * 2018-07-25 2018-12-07 扬州万方电子技术有限责任公司 一种基于注意力机制的显著物体检测方法
US20200026953A1 (en) * 2018-07-23 2020-01-23 Wuhan University Method and system of extraction of impervious surface of remote sensing image
CN111986099A (zh) * 2020-06-30 2020-11-24 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154495A (zh) * 2017-11-17 2018-06-12 天津大学 基于dccae网络的多时相跨传感器遥感图像相对光谱对齐算法
US20200026953A1 (en) * 2018-07-23 2020-01-23 Wuhan University Method and system of extraction of impervious surface of remote sensing image
CN108960261A (zh) * 2018-07-25 2018-12-07 扬州万方电子技术有限责任公司 一种基于注意力机制的显著物体检测方法
CN111986099A (zh) * 2020-06-30 2020-11-24 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈璐;管霜霜;: "基于深度学习的城市高分遥感图像变化检测方法的研究", 计算机应用研究, no. 1, 30 June 2020 (2020-06-30) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419464A (zh) * 2022-03-29 2022-04-29 南湖实验室 一种基于深度学习的孪生网络变化检测模型
CN114419464B (zh) * 2022-03-29 2022-07-26 南湖实验室 一种基于深度学习的孪生网络变化检测模型的构建方法

Also Published As

Publication number Publication date
CN113487546B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN111126202B (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN112001960B (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
CN111612008B (zh) 基于卷积网络的图像分割方法
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
Zhang et al. Deep hierarchical guidance and regularization learning for end-to-end depth estimation
Wang et al. Land cover change detection at subpixel resolution with a Hopfield neural network
CN110287960A (zh) 自然场景图像中曲线文字的检测识别方法
CN111738091A (zh) 一种基于多任务深度学习的姿态估计与人体解析系统
CN113298815A (zh) 一种半监督遥感图像语义分割方法、装置和计算机设备
Liu et al. Deep multi-level fusion network for multi-source image pixel-wise classification
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN109299303B (zh) 基于可变形卷积与深度网络的手绘草图检索方法
CN110263716B (zh) 一种基于街景图像的遥感影像超分辨率土地覆被制图方法
Li et al. MSAt-GAN: a generative adversarial network based on multi-scale and deep attention mechanism for infrared and visible light image fusion
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN115937697A (zh) 一种遥感影像变化检测方法
CN113505670A (zh) 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
Jiang et al. Arbitrary-shaped building boundary-aware detection with pixel aggregation network
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
Peng et al. Incorporating generic and specific prior knowledge in a multiscale phase field model for road extraction from VHR images
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
Hu et al. Supervised multi-scale attention-guided ship detection in optical remote sensing images
CN113487546A (zh) 一种特征-输出空间双对齐的变化检测方法
Jiang et al. Semantic segmentation network combined with edge detection for building extraction in remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant