CN112818818B - 一种基于affpn的新型超高清遥感图像变化检测方法 - Google Patents

一种基于affpn的新型超高清遥感图像变化检测方法 Download PDF

Info

Publication number
CN112818818B
CN112818818B CN202110116284.0A CN202110116284A CN112818818B CN 112818818 B CN112818818 B CN 112818818B CN 202110116284 A CN202110116284 A CN 202110116284A CN 112818818 B CN112818818 B CN 112818818B
Authority
CN
China
Prior art keywords
affpn
feature
network
channel
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110116284.0A
Other languages
English (en)
Other versions
CN112818818A (zh
Inventor
骆春波
徐加朗
罗杨
濮希同
杨洁
韦仕才
张赟疆
许燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110116284.0A priority Critical patent/CN112818818B/zh
Publication of CN112818818A publication Critical patent/CN112818818A/zh
Application granted granted Critical
Publication of CN112818818B publication Critical patent/CN112818818B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于AFFPN的新型超高清遥感图像变化检测方法。该方法包括构建自适应多尺度多层次特征融合的感知网络AFFPN；将旧时态图像T1和新时态图像T2输入AFFPN，分别进行并行的特征提取，得到多尺度多层次的特征
Figure DDA0002920546540000011
将两个同一层次的
Figure DDA0002920546540000012
沿着通道维度进行堆叠后进行特征融合，得到融合特征Ff；将融合特征Ff进行二倍上采样，得到差异图D；基于差异图D，联合使用像素损失函数和感知损失函数对AFFPN进行训练；对差异图D进行Argmax操作，获得每个像素点属于的类别，生成变化图M。本发明为了解决现有技术中只能捕获像素级局部信息、缺乏有效的特征融合策略、提取的特征信息不准确质量不高的问题，提出了AFFPN网络结构以高效的得到精细化、高质量的变化图。

Description

一种基于AFFPN的新型超高清遥感图像变化检测方法
技术领域
本发明涉及一种超高清遥感图像变化检测方法，尤其涉及一种基于AFFPN的新型超高清遥感图像变化检测方法。
背景技术
超高清遥感图像变化检测任务在监测和分析地球变化方面起着至关重要的作用。它的目的就是通过多张不同时间拍摄的同一地点的超高清遥感图像，检测出该地点发生了哪些重大的变化，由此得到一张变化图。作为遥感领域重要而关键的任务，它被广泛的应用于自然灾害评估、城乡规划、土地覆盖图绘制等方面。
目前传统的变化检测方法可以分为两类：基于代数的方法和基于变换的方法。基于代数的方法对图像的每个像素点进行算术运算，得到多时态遥感图像的差值图，然后通过设置一系列的阈值得到最终的变化图。常用的基于代数的方法有图像差分法、图像比值法、变化向量分析法等；基于变换的方法将多光谱遥感图像转换到某个特征空间上，以此来减少图像中不同频带之间的冗余信息，获得变化图。常用的基于变换的方法有主成分分析法、穗帽变换、卡方变换等。传统的变化检测方法虽然易于实现，但是它们在面对超高清遥感图像时效果不佳，产生的变化图缺乏完整的变化信息。
超高清遥感图像的出现，为监测更精细的地球变化情况提供了可能性。然而，超高清遥感图像中包含的精确细节和复杂的纹理特征为变化检测方法带来了新的挑战，这导致了基于深度学习的变化检测方法的崛起。
虽然最先进的(State-of-the-art，SOTA)基于深度学习的方法在超高清遥感图像的变化检测任务上取得了比传统方法更好的效果，但它们仍然具有以下三个局限性：
1、目前基于深度学习的变化检测方法在像素空间计算损失(例如交叉熵损失、DICE损失)，来衡量变化图和真实图像之间每个像素点的差异。理论上，经过这些像素损失优化的深度学习网络能产生达到像素级别精准程度的变化图。但是像素损失有着严苛的优化目标，并且只考虑像素级的局部信息，这使得其在面对超高清遥感图像变化检测任务时效果不佳。因为拍摄于不同时间的超高清遥感图像是光学卫星图像，它们不可避免的会受到光照变化、配准不齐、人工误差等因素的影响，使得两幅图像之间像素级别的映射并不准确，局部信息无法准确表示变化区域的特点。
2、缺乏有效融合旧时态图像特征FT1和新时态图像特征FT2的策略。现有技术中有人不分别提取FT1和FT2，而是直接把新、旧两个时态的遥感图像(即双时态遥感图像对)堆叠成一个，直接输入到深度学习网络中。还有人则是先通过图像差值法的方法得到双时态遥感图像对的差值图，然后把这一张差值图作为网络的输入。尽管这两种方法不需要进行FT1和FT2的融合，但是这也使得它们网络的前几层无法提供每个图像独立的特征来帮助图像的重建，导致产生的变化图有着粗糙的边界和不完整的变化区域。另外一些方法直接将FT1和FT2沿着通道维度进行堆叠，虽然这种融合策略易于实现，但是它不能有效地滤除不相关的特征，并且无法处理包含不同信息的异构特征的融合问题。最近，注意力机制已经被运用到变化检测任务中，帮助网络更好地融合不同的特征。有人通过一个时空注意力网络(Spatial–temporal Attention Neural Network，STANet)来引入自注意力机制，从而获取FT1和FT2之间的空间和时序依赖关系，但是该方法忽略了FT1和FT2在通道维度上的关系。在现有技术中，有人构建了一个深度监督的图像融合网络(Image Fusion Network,IFN)，该网络通过构建两个独立的注意力模块(即通道注意力模块和空间注意力模块)来解决异构特征融合问题，但是该方法的注意力模块包含了全连接层，导致无法任意地嵌入卷积网络中，独立的注意力模块也割裂了通道与空间之间的联系。
3、孱弱的特征提取能力：目前最先进的深度学习变化检测方法普遍采用预训练的卷积网络(比如VGG16或Resnet18)来提取各个时态遥感图像的特征。但是在现实的遥感任务中，遥感图像会受到不同的天气、气候、分辨率等因素的影响，从而包含了大量的噪声。这些方法采用的预训练卷积网络比较简单，可学习的参数较少，使得它们难以从这些含有大量噪声和变化差异的图像中提取变化检测任务所需要的高代表性高质量特征。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于AFFPN的新型超高清遥感图像变化检测方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于AFFPN的新型超高清遥感图像变化检测方法，包括以下步骤：
S1、构建自适应多尺度多层次特征融合的感知网络AFFPN；
S2、将旧时态图像T1和新时态图像T2输入AFFPN，分别进行并行的特征提取，得到多尺度多层次的特征Fb a；
S3、将步骤S2得到的两个同一层次的Fb a沿着通道维度进行堆叠后进行特征融合，得到融合特征Ff；
S4、将步骤S3得到的融合特征Ff进行二倍上采样，得到差异图D；
S5、基于步骤S4得到的差异图D，联合使用像素损失函数和感知损失函数对AFFPN进行训练；
S6、对步骤S4得到的差异图D进行Argmax操作，获得每个像素点属于的类别，生成变化图M。
本发明具有以下有益效果：本发明解决了现有技术中只能捕获像素级局部信息、缺乏有效的特征融合策略、提取的特征信息不准确质量不高的问题，在面对包含大量噪声的复杂超高清遥感图像变化检测任务时尤其有效，复杂变化检测任务意味着旧时态图像和新时态图像受到天气、季节、分辨率、光照、阴影、人工误操作等各种客观和主观因素的影响，这些因素会造成新、旧时态图像之间的噪声差异非常大，这很可能导致网络错误的把这些差异判别成变化区域，而本发明能很好地过滤这些噪声差异，找到正确的变化区域并提供精细化、高质量的变化图。
优选地，步骤S1中构建的自适应多尺度多层次特征融合的感知网络AFFPN具体包括两个特征提取模块FEM、特征融合模块FFM、两个3×3卷积、sub-pixel卷积层和损失函数模块LFM；
特征提取模块FEM包括主干网络Backbone和压缩组件SC；
特征融合模块FFM包括多个通道-空间注意力组件CSAC和多个卷积层；
损失函数模块LFM包括感知辅助组件PAC。
该优选方案具有以下有益效果：提出了一种能高效的完成超高清遥感图像变化检测任务的网络结构。
优选地，步骤S2具体包括：
将旧时态图像T1和新时态图像T2分别馈送到两个并行的特征提取模块FEM中的构成主干网络Backbone的SE-ResNet50中，得到SE-ResNet50第一个Maxpool层的输出、Conv2_3的输出，Conv3_4的输出，Conv4_6的输出和Conv5_3的输出，并传输到压缩组件SC中进行压缩，得到多尺度多层次的特征Fb a，其中a＝T1，T2；b＝1，2，3，4，5。
该优选方案具有以下有益效果：本发明设计的特征提取模块FEM通过迁移学习技术和压缩组件SC，在提取高质量特征的同时极大的减少冗余特征，使得AFFPN网络具有更强的特征提取能力的同时不增加太多的计算复杂度，可以获取具有高代表性的多尺度多层次特征。
优选地，S3包括以下分步骤：
S31、将步骤S2得到的两个同一层次的Fb a沿着通道维度进行堆叠，得到5对
Figure GDA0003022280530000052
S32、将5对
Figure GDA0003022280530000053
输入特征融合模块FFM中，分别通过通道-空间注意力组件CSAC和两层3×3卷积层后得到
Figure GDA00030222805300000516
S33、将
Figure GDA00030222805300000514
经过二倍双线性上采样后与
Figure GDA00030222805300000515
沿着通道维度进行堆叠，得到
Figure GDA0003022280530000057
将
Figure GDA0003022280530000058
通过通道-空间注意力组件CSAC、一层1×1卷积层、二层3×3卷积层后得到
Figure GDA0003022280530000059
S34、按步骤S33的方法依次向上融合5个层次的特征，得到融合特征Ff。
该优选方案具有以下有益效果：通过特征融合模块FFM和通道-空间注意力组件CSAC为AFFPN网络提供自适应的特征融合策略，强调了变化信息的重要特征和区域，获取重要的特征，忽略不相关的特征，并克服了异构特征融合不佳的问题，对其进行了有效融合，特征融合模块FFM是一个紧凑、通用的结构，由于其全卷积的特性，可以直接嵌入到输入大小任意的网络中。
优选地，通道-空间注意力组件CSAC处理流程包括以下分步骤：
S301、将输入特征对[F1，F2]进行堆叠得到输入特征F；
S302、沿着空间维度对F进行平均池化操作，得到空间上下文描述符Fc avg；
S303、将Fc avg通过两个1×1卷积层、ReLU激活函数和Sigmoid函数得到通道注意力图
Figure GDA00030222805300000512
计算过程表示为：
Figure GDA00030222805300000513
其中σ为Sigmoid函数，δ为ReLU激活函数，f1 1×1和
Figure GDA0003022280530000061
表示两个1×1卷积层；
S304、将输入特征F和通道注意力图
Figure GDA0003022280530000062
相乘得到通道精炼特征Fc；
S305、沿着通道维度对通道精炼特征Fc进行平均池化操作，得到通道上下文描述符Fs avg；
S306、将Fs avg通过一个7×7卷积层、ReLU激活函数和Sigmoid函数得到空间注意力图
Figure GDA0003022280530000065
计算过程表示为：
Figure GDA0003022280530000066
其中
Figure GDA0003022280530000067
表示7×7卷积层；
S307、将通道精炼特征Fc和空间注意力图
Figure GDA0003022280530000068
相乘得到输出通道-空间精炼特征Fcsac，计算公式为：
Figure GDA0003022280530000069
其中
Figure GDA00030222805300000610
表示按元素逐个相乘。
该优选方案具有以下有益效果：通过CSAC，FFM可以为来自双时态图像对的多尺度多层次特征Fb a自适应地提供通道和空间维度的全局细粒度关注，从而帮助网络合理地融合特征。
优选地，步骤S4具体包括将步骤S3得到的融合特征Ff通过两层3×3卷积层后输入到sub-pixel层中进行二倍上采样，得到差异图D。
该优选方案具有以下有益效果：两层3×3卷积层进一步对融合特征Ff进行精炼，采用sub-pixel层进行上采样有两个原因：一是因为sub-pixel层能够自我学习，有助于获得更好的从低分辨率到高分辨率的映射，也就是sub-pixel层能自我学习产生更恰当的上采样方式；二是因为它可以在压缩融合特征Ff通道数的同时增加融合特征Ff的长和宽，从而降低了对GPU内存的需求。
优选地，步骤S5包括以下分步骤：
S51、将差异图D输入损失函数模块LFM中，对步骤S4得到的差异图D上的每个像素进行SoftMax操作，计算SoftMax损失LSM，计算公式为：
Figure GDA0003022280530000071
其中，N为差异图D上所有像素点的总数，pi表示像素i经过SoftMax函数后输出的概率值，gi表示像素i对应的真实标签值；
S52、计算DICE损失LD，计算公式为：
Figure GDA0003022280530000072
S53、将差异图D输入到感知辅助组件PAC中，沿着通道维度进行逐元素的相减，相减的结果经过Sigmoid函数将其像素值归一化到[0,1]区间，得到差值图Dd；
S54、将差值图Dd和相应的真实标签变化图GT沿着通道维度复制三次得到扩充差值图D′d和扩充真实标签变化图GT′；
S55、将扩充差值图D′d输入到VGG-19网络中，获取VGG-19第四、第九、第十八、第二十七和第三十六网络层的输出特征
Figure GDA0003022280530000073
S56、将扩充真实标签变化图GT′输入到VGG-19网络中，获取VGG-19第四、第九、第十八、第二十七和第三十六网络层的输出特征
Figure GDA0003022280530000074
S57、计算感知损失，其值为五对输出特征的欧氏距离的平方和，计算公式为：
Figure GDA0003022280530000081
其中LP为感知损失，
Figure GDA0003022280530000082
C为特征的通道数，H为特征的高度，W为特征的宽度，||·||2为L2范数；
S58、计算总体损失L，计算公式为：
L＝λ(LSM+LD)+LP
其中λ为预设参数；
S59、通过总体损失L对AFFPN网络进行反向传播，更新除了VGG-19网络以外的所有参数，训练AFFPN网络，直到其收敛。
该优选方案具有以下有益效果：通过感知辅助组件引入了感知损失，通过损失函数模块将SoftMax损失、DICE损失和感知损失结合，使得AFFPN网络能够同时在像素空间和特征空间进行优化，使得AFFPN网络不仅注重局部像素之间的关系也能捕获全局的感知差异和空间信息，结合了像素损失和感知损失的优点，降低了AFFPN网络训练难度，进而提升了AFFPN网络最终的性能。
附图说明
图1是本发明一种基于AFFPN的新型超高清遥感图像变化检测方法的流程图；
图2是本发明实施例中AFFPN结构示意图；
图3是本发明实施例中特征提取模块FEM结构示意图；
图4是本发明实施例中通道-空间注意力组件CSAC结构示意图；
图5是本发明实施例中感知辅助模块PAC结构示意图；
图6是本发明实施例和F1次优网络STANet在Season-varying数据集上的变化检测结果示意图，其中图6(a)为旧时态图像T1示意图，图6(b)为新时态图像T2示意图，图6(c)为真实标签图像GT示意图，图6(d)为采用本发明实施例得到的变化图示意图，图6(e)为采用对比方法STANet得到的变化图示意图。
图7是本发明实施例和F1次优网络IFN在LEVIR-CD数据集上的变化检测结果示意图，其中图7(a)为旧时态图像T1示意图，图7(b)为新时态图像T2示意图，图7(c)为真实标签图像GT示意图，图7(d)为采用本发明实施例得到的变化图示意图，图7(e)为采用对比方法IFN得到的变化图示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参照图1，本发明提供了一种基于AFFPN的新型超高清遥感图像变化检测方法，包括以下步骤：
S1、构建自适应多尺度多层次特征融合的感知网络AFFPN；
请参照图2，本发明实施例中，步骤S1中构建的自适应多尺度多层次特征融合的感知网络AFFPN具体包括两个特征提取模块FEM、特征融合模块FFM、两个3×3卷积、sub-pixel卷积层和损失函数模块LFM。
特征提取模块FEM包括主干网络Backbone和压缩组件SC；
特征融合模块FFM包括多个通道-空间注意力组件CSAC和多个卷积层；
损失函数模块LFM包括感知辅助组件PAC。
S2、将旧时态图像T1和新时态图像T2输入AFFPN，分别进行并行的特征提取，得到多尺度多层次的特征Fb a；
请参照图3，本发明实施例中，步骤S2具体包括：
将旧时态图像T1和新时态图像T2分别馈送到两个并行的特征提取模块FEM中的构成主干网络Backbone的SE-ResNet50中，得到SE-ResNet50第一个Maxpool层的输出、Conv2_3的输出，Conv3_4的输出，Conv4_6的输出和Conv5_3的输出，并传输到压缩组件SC中进行压缩，得到多尺度多层次的特征Fb a，其中a＝T1，T2；b＝1，2，3，4，5。
特征提取模块FEM由主干网络Backbone和压缩组件SC组成。为了加快网络的训练速度和增强每个时态图像特征的代表性及质量，采用迁移学习技术，把预训练的网络作为FEM的主干网络进行模型迁移。采用的预训练网络是在ImageNet数据集上预训练的SE-ResNet50，具体而言，删除了SE-ResNet50中的GAP层(Global Average Pooling Layer，全局平均池化层)以及在GAP层之后的所有层，使其可以用于特征提取。本发明还对CP输出的特征(即第一个Maxpool层的输出)进行了2倍的双线性上采样，由此获得(Ho/2,Wo/2)尺度的第一层次特征F1 T1和F1 T2。为了在效率和精度之间取得一个较好的平衡，在SC中使用1×1卷积层来压缩特征的通道数，这虽然略微降低了AFFPN的性能，但极大地减少了冗余特征和计算复杂度。通过FEM，最终从原始的双时态图像中得到了具有不同尺度和层次信息的多尺度多层次特征Fb a(a＝T1，T2；b＝1，2，3，4，5)。
S3、将所述步骤S2得到的两个同一层次的Fb a沿着通道维度进行堆叠后进行特征融合，得到融合特征Ff；
本发明实施例中，步骤S3包括以下分步骤：
S3包括以下分步骤：
S31、将步骤S2得到的两个同一层次的Fb a沿着通道维度进行堆叠，得到5对
Figure GDA0003022280530000112
S32、将5对
Figure GDA0003022280530000113
输入特征融合模块FFM中，分别通过通道-空间注意力组件CSAC和两层3×3卷积层后得到
Figure GDA0003022280530000114
S33、将
Figure GDA0003022280530000115
经过二倍双线性上采样后与
Figure GDA0003022280530000116
沿着通道维度进行堆叠，得到
Figure GDA0003022280530000117
将
Figure GDA0003022280530000118
通过通道-空间注意力组件CSAC、一层1×1卷积层、二层3×3卷积层后得到
Figure GDA0003022280530000119
S34、按步骤S33的方法依次向上融合5个层次的特征，得到融合特征Ff。
特征融合模块FFM的结构参照图1所示，它由通道-空间注意力组块CSAC、卷积层和双线性上采样算法构成，负责对特征进行自适应地融合。本发明所提出的AFFPN总共有两个地方需要进行特征融合：
1、融合从T1和T2分别提取的同尺度同层次特征(比如F1 T1和F1 T2的融合)，以进行后续的比较。
2、将双时态图像对的高分支特征与低分支特征进行融合(比如
Figure GDA00030222805300001110
与F3 branch融合)。高分支特征通过的层较多，尺寸较小，往往包含更多的全局信息，但缺乏局部信息；低分支特征包含精细的局部细节，但缺乏全局信息。由于全局信息解析语义，局部信息解析位置，所以把经过2倍双线性上采样后的高分支特征与其上一分支的特征(低分支特征)进行融合，以期望恢复变化区域的细粒度细节，从而产生更好的变化图。
但是这两个地方的融合存在以下两个问题：一是遥感图像中存在的噪声使得并非所有特征都是有利于变化检测任务的，一些不相关的特征会增加网络的训练难度；二是不同分支的特征对全局信息和局部信息的偏重不同，正如前面分析的，高分支特征有更多的全局信息，低分支特征有更多的局部信息，这使得不同分支的特征之间具有一定的异构性。直接沿着通道维度进行堆叠的特征融合策略虽然简单，但难以解决这两个问题。因此，我们在FFM中嵌入了简单而有效的通道-空间注意力组件CSAC，用来突出有益特征并进行不同分支的异构特征融合。
请参照图4，本发明实施例中，通道-空间注意力组件CSAC处理流程包括以下分步骤：
S301、将输入特征对[F1，F2](
Figure GDA0003022280530000121
和
Figure GDA0003022280530000122
)进行堆叠得到输入特征
Figure GDA0003022280530000123
S302、沿着空间维度(高H和宽W)对F进行平均池化操作，将空间信息聚合起来，得到空间上下文描述符
Figure GDA0003022280530000124
S303、将Fc avg通过两个1×1卷积层、ReLU激活函数和Sigmoid函数得到通道注意力图
Figure GDA0003022280530000126
计算过程表示为：
Figure GDA0003022280530000127
其中σ为Sigmoid函数，δ为ReLU激活函数，f1 1×1和f0 1×1表示两个1×1卷积层；
Figure GDA0003022280530000129
的2C个值代表不同特征图(FeatureMap)对变化检测任务的有益程度，也就是说，对变化检测任务有帮助的特征图，
Figure GDA00030222805300001210
中对应的值就较高。
S304、将输入特征F和通道注意力图
Figure GDA00030222805300001211
相乘得到通道精炼特征
Figure GDA00030222805300001212
从而使网络关注2C个特征图中有意义的特征图，忽略不相关的特征图。
S305、沿着通道维度对通道精炼特征Fc进行平均池化操作，将通道信息聚合起来，得到通道上下文描述符
Figure GDA0003022280530000131
S306、将
Figure GDA0003022280530000132
通过一个7×7卷积层、ReLU激活函数和Sigmoid函数得到空间注意力图
Figure GDA0003022280530000133
计算过程表示为：
Figure GDA0003022280530000134
其中
Figure GDA0003022280530000135
表示7×7卷积层；对变化检测任务有帮助的空间区域，其在
Figure GDA0003022280530000136
中对应位置的值较高。
S307、将通道精炼特征Fc和空间注意力图
Figure GDA0003022280530000137
相乘得到输出通道-空间精炼特征Fcsac，使得网络更加关注有意义的区域，计算公式为：
Figure GDA0003022280530000138
其中
Figure GDA0003022280530000139
表示按元素逐个相乘。
通道注意力图
Figure GDA00030222805300001310
和空间注意力图
Figure GDA00030222805300001311
可以根据不同特征图对变换检测任务的贡献程度，通过反向传播自适应的进行更新。
通过CSAC，FFM可以为来自双时态图像对的多尺度多层次特征Fb a自适应地提供通道和空间维度的全局细粒度关注，从而帮助网络合理地融合特征。
S4、将所述步骤S3得到的融合特征Ff进行二倍上采样，得到与双时态图像相同宽高的差异图
Figure GDA00030222805300001313
本发明实施例中，步骤S4具体包括将步骤S3得到的融合特征Ff通过两层3×3卷积层后输入到sub-pixel层中进行二倍上采样，得到与双时态图像相同宽高的差异图
Figure GDA00030222805300001314
其中C为2，代表D有两个特征图。D中的两个特征图分别为已改变区域的特征图D1和未改变区域的特征图D2，D1最大化了已改变区域的像素值，D2则最大化了未改变区域的像素值。
S5、基于所述步骤S4得到的差异图D，联合使用像素损失函数和感知损失函数对AFFPN进行训练；
本发明实施例中，步骤S5包括以下分步骤：
S51、将差异图D输入损失函数模块LFM中，损失函数模块LFM的结构参照图1所示，通过LFM，本发明所提出的AFFPN联合使用两种不同类型的损失函数进行训练：一种是像素损失，包含了SoftMax损失LSM和DICE损失LD；另一种是通过感知辅助模块PAC引入的感知损失LP。像素损失由两个部分，即LSM和LD组成，对步骤S4得到的差异图D上的每个像素进行SoftMax操作，计算SoftMax损失LSM，计算公式为：
Figure GDA0003022280530000141
其中，N为差异图D上所有像素点的总数，pi表示像素i经过SoftMax函数后输出的概率值，gi表示像素i对应的真实标签值；
S52、计算DICE损失LD，计算公式为：
Figure GDA0003022280530000142
S53、请参照图5，将差异图D输入到感知辅助组件PAC中，差异图
Figure GDA0003022280530000143
的两个特征图D1和D2分别最大化了已改变区域的像素值和未改变区域的像素值。为了得到已改变区域和未改变区域之间的差值图
Figure GDA0003022280530000144
我们将D1按元素减去D2，即沿着通道维度进行逐元素的相减，相减的结果经过Sigmoid函数将其像素值归一化到[0,1]区间，得到差值图Dd，保证了Dd的像素值与GT的像素值处于同一可比区间(因为GT的像素值不是0就是1，0代表未改变区域，1代表已改变区域)；
只使用像素损失来训练变化检测网络是次优的。所以本发明提出了一个新颖的感知辅助组件PAC，通过该模块为变化检测任务引入一种基于高阶图像特征表示的感知损失。空间相似的样本总是在特征空间也保持它们之间的相似性，于是本发明所提出的PAC旨在通过感知损失建立差值图Dd与其GT(Ground Truth,真实标签图)的空间相似性约束，并更好地度量Dd与GT之间的全局感知差异和空间信息，拉大Dd中已改变区域与未改变区域的差异，进而获得更好的变化图。
S54、将差值图Dd和相应的真实标签变化图GT沿着通道维度复制三次得到扩充差值图
Figure GDA0003022280530000151
和扩充真实标签变化图
Figure GDA0003022280530000152
这么做的目的是为了符合损失网络VGG-19所要求的输入维度。用于图像分类任务的预训练卷积神经网络已经学会了如何对感知和语义信息进行编码，因此我们把经过ImageNet数据集(该数据集用于图像分类任务)预训练后的VGG-19作为固定的损失网络Loss Network，用来将D′d和GT′变换到特征空间并嵌入丰富的信息，得到一批具有高代表性高信息量的特征。值得注意的是，在PAC中，预训练的VGG-19损失网络仅用于提取特征，它的参数都是固定的，不参与反向传播。
S55、将扩充差值图D′d输入到VGG-19网络中，获取VGG-19第四、第九、第十八、第二十七和第三十六网络层的输出特征
Figure GDA0003022280530000153
S56、将扩充真实标签变化图GT′输入到VGG-19网络中，获取VGG-19第四、第九、第十八、第二十七和第三十六网络层的输出特征
Figure GDA0003022280530000154
S57、基于这批高代表性高信息量的特征建立感知损失，计算感知损失，其值为这五对输出特征的欧氏距离的平方和，计算公式为：
Figure GDA0003022280530000161
其中LP为感知损失，
Figure GDA0003022280530000162
C为特征的通道数，H为特征的高度，W为特征的宽度，||·||2为L2范数；优化LP可以使Dd在特征空间上与真实标签图像GT相似，却不强迫它们逐像素的精确匹配，继而在获取全局感知和空间信息的同时降低了训练难度，提高了网络性能。
S58、计算总体损失L，计算公式为：
L＝λ(LSM+LD)+LP
其中λ为预设参数，用于平衡感知损失与像素损失，一般设置为50；
S59、通过总体损失L对AFFPN网络进行反向传播，更新除了VGG-19网络以外的所有参数，训练AFFPN网络，直到其收敛。
S6、对所述步骤S4得到的差异图D进行Argmax操作，获得每个像素点最可能属于的类别，生成变化图M。
接下来对本发明和现有技术进行对比实验来测试本发明的性能，本次实验使用了两个公开的基准数据集：Season-varying数据集和LEVIR-CD数据集。
Season-varying数据集包含11对超高清遥感图像，其中7对具有4725像素×2200像素尺寸，4对具有1900像素×1000像素尺寸。这些图像的分辨率在3-100cm/px之间变化，并且旧时态图像和新时态图像之间的天气和季节差异非常大，这使得网络需要考虑不同大小的变化物的影响(如汽车的变化到大型建筑物的变化)和天气、季节等自然界变化带来的影响(如雨天和晴天的阴影和亮度不同、夏天和秋天的树林茂盛程度不同、春天和冬天道路的积雪情况不同，这些变化情况不是需要关注的，是需要忽略的噪声)。为了进行公平的对比，遵循该数据集原有的数据预处理方法：将超高清遥感图像对裁剪成256×256个不重叠的图像块，进而生成16000个子图像对，然后其中的10000对子图像用于网络模型的训练，3000对子图像对用于网络模型的验证，3000对子图像用于网络模型的测试。
LEVIR-CD数据集由637对1024像素×1024像素的超高清遥感图像组成。这些双时态图像对的时间跨度为5～14年，涵盖了别墅、高层公寓、小型车库、大型仓库等各种建筑的变化。同理，为了公平的对比，按照该数据集原论文中的处理方法，将每幅遥感图像裁剪成16个不重叠的256像素×256像素图像块，并将该数据集分为三个部分：7120对图像块用于训练，1024对图像块用于验证，2048对图像块用于测试。
本发明所提出的AFFPN是通过PyTorch实现的，所有的实验都在GeForce GTX1080Ti GPU上进行，并由NVIDIA CUDA进行加速。AFFPN在进行训练时，采用Adam优化器，初始学习率设置为0.0001。当训练损失在5个周期(epoch)内都没有下降时，将学习率下调10％。当验证数据集上的F1分数在30个周期内都没有上升时，训练过程将被停止。将从定量和定性的角度对本发明进行综合评价，并通过消融实验进一步分析本发明提出的各个关键组件的合理性。
对比实验过程具体如下：
首先在两个开源的基准数据集Season-varying和LEVIR-CD上将本发明所提出的AFFPN方法与其他六种SOTA深度学习变化检测方法进行了比较。以P(Precision，查准率)、R(Recall，查全率)、F1(F1-score，F1分数)和OA(Overall Accuracy，总体准确率)这四个指标作为定量比较的评价指标。它们的定义如下：
Figure GDA0003022280530000171
Figure GDA0003022280530000181
Figure GDA0003022280530000182
Figure GDA0003022280530000183
其中TP、FP、TN和FN分别代表真阳性、假阳性、真阴性和假阴性的数量。P越高表示网络的精确度越高，R越高表示网络的漏检越少。F1和OA用来衡量网络的整体性能，它们越高代表网络的整体性能越好。值得注意的是，由于P和R是一对互相矛盾的评价指标，即P的上升往往带来R的下降，所以当P和R这两个指标产生矛盾，难以衡量网络性能时，综合考虑P和R的F1就成为了最重要的评价指标。
表1
Figure GDA0003022280530000184
表1显示了本发明AFFPN和其他六种SOTA方法的定量比较结果。对于Season-varying数据集，本发明所提的AFFPN的性能最好，在P、R、F1和OA这4个评价指标上都取得了最高的分数，分别为97.57％、96.42％、96.99％、99.29％。与其他六种方法相比，本发明的查准率P提升了2.61％-13.16％，查全率R提高了2.86％-15.97％，F1分数提升了5.68％-14.55％，总体准确率OA提升了1.41％-3.57％。可见本发明对于包含大量噪声的复杂超高清遥感图像变化检测任务特别有效，能带来非常明显的性能提升。在LEVIR-CD数据集上，本发明依旧取得了最高的F1和OA。比其他方法相比，本发明的F1提升了0.9％-9.58％，OA提升了0.09％-0.77％。当然，虽然本发明有着很好的性能表现，但可以观察到它在LEVIR-CD数据集上的增益并不是很显著，这是因为LEVIR-CD数据集只标记了建筑物的变化情况，并且它所受到的噪声干扰很小(即新、旧时态图像对之间的噪声差异较小)，所以现有的SOTA方法已经可以很出色的在LEVIR-CD数据集上完成变化检测任务。
在Season-varying数据集和LEVIR-CD数据集上，F1分数第二高的网络分别是STANet和IFN，这意味着这两种方法的整体性能也很优秀。于是，再从定性的角度看看本发明的优势。请参照图6，展示了本发明所提出的AFFPN和F1次优网络STANet在Season-varying数据集上的变化检测结果,前两行图像包含纤细和微小的区域变化情况，后两行包含复杂和大面积的区域变化情况。对比图6(a)和图6(b)这两列，可以发现该数据集的双时态图像对受到了非常大的噪声干扰(比如旧时态图像没有积雪，新时态图像白雪皑皑；新、旧时态图像之间天气、光照角度、分辨率的不同等等)，但AFFPN成功地滤除了这些无关的因素，并准确识别出了已变化的区域。对于纤细和微小的变化区域(图6的第一行和第二行图像)，AFFPN能正确分辨出更多的细微变化，并且产生的变化图具有更好的连续性。对于变化区域复杂和变化区域大的情况(图6的第三行和第四行图像)，AFFPN的变化图包含了更精细的细节，并且其变化区域更加完整，边界更加准确和清晰。请参照图7，展示了AFFPN和F1次优网络IFN在LEVIR-CD数据集上的变化检测结果。第一行图像涉及小而零散的建筑物变化，第二行图像涉及密集的建筑物变化。图7的第一行图像显示了AFFPN能准确地学习到建筑物的特点，从而正确地找到出现建筑物变化的空间位置，而IFN错误地将汽车的变化判定为建筑物的变化。图7的第二行图像显示了密集别墅群的变化情况，AFFPN在这种情况下依旧能出色的完成变化检测任务，准确地找到每个产生变化的建筑物的位置，其变化图具有更符合建筑物几何结构特点的边界。通过对AFFPN的定性分析，可以看到本发明在重建精细的变化细节方面有着优异的性能，产生的变化图与真实的变化情况非常相似。
虽然本发明所提出的AFFPN是一个整体，但是在这个整体中依旧有几个关键的组件，这些组件对于网络性能的提升有着较大的帮助，于是我们希望通过消融实验来分析这些关键组件。具体来说，我们建立了三个消融网络，分别命名为AFFPN-A，AFFPN-B，AFFPN-C。AFFPN-A是将AFFPN的通道-空间注意力组件CSAC和感知辅助组件PAC都去掉后的网络，AFFPN-B去掉了AFFPN的感知辅助组件PAC，AFFPN-C则去掉了通道-空间注意力组件CSAC。本发明所提的AFFPN和这三个消融网络在Season-varying数据集上的实验结果如表2所示。
表2
Figure GDA0003022280530000201
从表2中可以看出，虽然去掉了所有的关键组件，但AFFPN-A的性能仍然比表1中的六种SOTA方法更好(在P、F1和OA上分别有1.79％、3.47％和0.9％的提升)，这表明了本发明所搭建的基础框架对变化检测任务的适应性和优越性。其次，AFFPN-B和AFFPN-C的性能都比AFFPN-A的性能高，这意味着本发明提出的CSAC和PAC这两个关键组件对于变化检测网络性能的提升是有帮助的。尤其是本发明提出的感知辅助组件PAC带来了最显著的性能提升，与AFFPN-A相比，加入了PAC的AFFPN-C的查准率P提升了0.13％、查全率R提升了2.86％、F1分数提升了1.53％、总体准确率OA提升了0.35％。PAC以一种新颖的方式在特征空间上为变化检测任务建立了感知损失，PAC所带来的明显的性能改善也在一定程度上表明：在变化检测任务中，使用像素损失的同时辅以感知损失是一个很有优势的方案。第三，融合了CSAC和PAC的AFFPN取得了最高的性能，这表明CSAC和PAC可以相辅相成，它们的结合促成了AFFPN的高性能表现。
综上，本发明提出了一种新颖的结合感知损失和自适应多尺度多层次特征融合策略的超高清遥感图像变化检测方法AFFPN，来破除现有技术中存在的局限性。AFFPN由FEM，FFM和LFM组成，所搭建的FEM展示了强大的特征提取能力，而FFM则学会了在通道和空间维度上强调重要特征以及抑制不相关特征并提供自适应的特征融合策略，因此通过这两个模块可以获得全面而高质量的特征表示。LFM通过PAC引入感知损失，弥补了像素损失的缺点，因此可以获得更好的变化图。进行的对比实验结果表明，本发明具有最先进的性能。此外，进行的消融研究展现了各个关键组件的合理性和感知损失在变化检测中的巨大潜力。
本领域的普通技术人员将会意识到，这里所描述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种基于AFFPN的新型超高清遥感图像变化检测方法，其特征在于，包括以下步骤：
S1、构建自适应多尺度多层次特征融合的感知网络AFFPN；
其中构建的自适应多尺度多层次特征融合的感知网络AFFPN具体包括：两个特征提取模块FEM、特征融合模块FFM、两个3×3卷积、sub-pixel卷积层和损失函数模块LFM；
S2、将旧时态图像T1和新时态图像T2输入步骤S1中感知网络AFFPN中两个所述特征提取模块FEM，分别进行并行的特征提取，得到多尺度多层次的特征
Figure FDA0003229070330000011
S3、将所述步骤S2得到的两个同一层次的
Figure FDA0003229070330000012
沿着通道维度进行堆叠后利用所述特征融合模块FFM进行特征融合，得到融合特征Ff；
S4、将所述步骤S3得到的融合特征Ff通过所述两个3×3卷积以及所述sub-pixel卷积层进行二倍上采样，得到差异图D；
S5、基于所述步骤S4得到的差异图D，联合使用包含像素损失函数和感知损失函数的所述损失函数模块LFM对AFFPN进行训练；
S6、对所述步骤S4得到的差异图D进行Argmax操作，获得每个像素点属于的类别，生成变化图M。
2.如权利要求1所述的一种基于AFFPN的新型超高清遥感图像变化检测方法，其特征在于：所述步骤S1中构建的自适应多尺度多层次特征融合的感知网络AFFPN具体包括两个特征提取模块FEM、特征融合模块FFM、两个3×3卷积、sub-pixel卷积层和损失函数模块LFM；
所述特征提取模块FEM包括主干网络Backbone和压缩组件SC；
所述特征融合模块FFM包括多个通道-空间注意力组件CSAC和多个卷积层；
所述损失函数模块LFM包括感知辅助组件PAC。
3.如权利要求2所述的一种基于AFFPN的新型超高清遥感图像变化检测方法，其特征在于，所述步骤S2具体包括：
将旧时态图像T1和新时态图像T2分别馈送到两个并行的特征提取模块FEM中的构成主干网络Backbone的SE-ResNet50中，得到SE-ResNet50第一个Maxpool层的输出、Conv2_3的输出，Conv3_4的输出，Conv4_6的输出和Conv5_3的输出，并传输到压缩组件SC中进行压缩，得到多尺度多层次的特征
Figure FDA0003229070330000021
其中a＝T1，T2；b＝1，2，3，4，5。
4.如权利要求3所述的一种基于AFFPN的新型超高清遥感图像变化检测方法，其特征在于，所述步骤S3包括以下分步骤：
S31、将所述步骤S2得到的两个同一层次的
Figure FDA0003229070330000022
沿着通道维度进行堆叠，得到5对
Figure FDA0003229070330000023
S32、将5对
Figure FDA0003229070330000024
输入特征融合模块FFM中，分别通过通道-空间注意力组件CSAC和两层3×3卷积层后得到
Figure FDA0003229070330000025
S33、将
Figure FDA00032290703300000210
经过二倍双线性上采样后与
Figure FDA0003229070330000026
沿着通道维度进行堆叠，得到
Figure FDA0003229070330000028
将
Figure FDA0003229070330000027
通过通道-空间注意力组件CSAC、一层1×1卷积层、二层3×3卷积层后得到
Figure FDA0003229070330000029
S34、按所述步骤S33的方法依次向上融合5个层次的特征，得到融合特征Ff。
5.如权利要求4所述的一种基于AFFPN的新型超高清遥感图像变化检测方法，其特征在于，所述通道-空间注意力组件CSAC处理流程包括以下分步骤：
S301、将输入特征对[F1，F2]进行堆叠得到输入特征F；
S302、沿着空间维度对输入特征F进行平均池化操作，得到空间上下文描述符
Figure FDA0003229070330000031
S303、将空间上下文描述符
Figure FDA0003229070330000032
通过两个1×1卷积层、ReLU激活函数和Sigmoid函数得到通道注意力图
Figure FDA0003229070330000033
计算过程表示为：
Figure FDA0003229070330000034
其中σ为Sigmoid函数，δ为ReLU激活函数，f1 1×1和f0 1×1表示两个1×1卷积层；
S304、将输入特征F和通道注意力图
Figure FDA0003229070330000035
相乘得到通道精炼特征Fc；
S305、沿着通道维度对通道精炼特征Fc进行平均池化操作，得到通道上下文描述符
Figure FDA0003229070330000036
S306、将
Figure FDA0003229070330000037
通过一个7×7卷积层、ReLU激活函数和Sigmoid函数得到空间注意力图
Figure FDA0003229070330000038
计算过程表示为：
Figure FDA0003229070330000039
其中
Figure FDA00032290703300000310
表示7×7卷积层；
S307、将通道精炼特征Fc和空间注意力图
Figure FDA00032290703300000311
相乘得到输出通道-空间精炼特征Fcsac，计算公式为：
Figure FDA0003229070330000041
其中
Figure FDA0003229070330000042
表示按元素逐个相乘。
6.如权利要求5所述的一种基于AFFPN的新型超高清遥感图像变化检测方法，其特征在于：所述步骤S4具体包括将所述步骤S3得到的融合特征Ff通过两层3×3卷积层后输入到sub-pixel层中进行二倍上采样，得到与双时态图像相同宽高的差异图D。
7.如权利要求6所述的一种基于AFFPN的新型超高清遥感图像变化检测方法，其特征在于，所述步骤S5包括以下分步骤：
S51、将差异图D输入损失函数模块LFM中，对所述步骤S4得到的差异图D上的每个像素进行SoftMax操作，计算SoftMax损失LSM，计算公式为：
Figure FDA0003229070330000043
其中，N为差异图D上所有像素点的总数，pi表示像素i经过SoftMax函数后输出的概率值，gi表示像素i对应的真实标签值；
S52、计算DICE损失LD，计算公式为：
Figure FDA0003229070330000044
S53、将差异图D输入到感知辅助组件PAC中，沿着通道维度进行逐元素的相减，相减的结果经过Sigmoid函数将其像素值归一化到[0,1]区间，得到差值图Dd；
S54、将差值图Dd和相应的真实标签变化图GT沿着通道维度复制三次得到扩充差值图Dd′和扩充真实标签变化图GT′；
S55、将扩充差值图Dd′输入到VGG-19网络中，获取VGG-19第四、第九、第十八、第二十七和第三十六网络层的输出特征
Figure FDA0003229070330000051
其中
Figure FDA0003229070330000052
表示输入图像x经过VGG-19网络第a组第b个ReLU层后的输出；
S56、将扩充真实标签变化图GT′输入到VGG-19网络中，获取VGG-19第四、第九、第十八、第二十七和第三十六网络层的输出特征
Figure FDA0003229070330000053
S57、计算感知损失，其值为五对输出特征的欧氏距离的平方和，计算公式为：
Figure FDA0003229070330000054
其中LP为感知损失，
Figure FDA0003229070330000055
C为特征的通道数，H为特征的高度，W为特征的宽度，||·||2为L2范数；
S58、计算总体损失L，计算公式为：
L＝λ(LSM+LD)+LP
其中λ为预设参数；
S59、通过总体损失L对AFFPN网络进行反向传播，更新除了VGG-19网络以外的所有参数，训练AFFPN网络，直到其收敛。
CN202110116284.0A 2021-01-28 2021-01-28 一种基于affpn的新型超高清遥感图像变化检测方法 Expired - Fee Related CN112818818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110116284.0A CN112818818B (zh) 2021-01-28 2021-01-28 一种基于affpn的新型超高清遥感图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110116284.0A CN112818818B (zh) 2021-01-28 2021-01-28 一种基于affpn的新型超高清遥感图像变化检测方法

Publications (2)

Publication Number Publication Date
CN112818818A CN112818818A (zh) 2021-05-18
CN112818818B true CN112818818B (zh) 2021-09-28

Family

ID=75859763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116284.0A Expired - Fee Related CN112818818B (zh) 2021-01-28 2021-01-28 一种基于affpn的新型超高清遥感图像变化检测方法

Country Status (1)

Country Link
CN (1) CN112818818B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731473B (zh) * 2022-10-28 2024-05-31 南开大学 面向农田植物非正常变化的遥感图像分析方法
CN115410059B (zh) * 2022-11-01 2023-03-24 山东锋士信息技术有限公司 基于对比损失的遥感图像部分监督变化检测方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263705B (zh) * 2019-06-19 2023-07-07 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测系统

Also Published As

Publication number Publication date
CN112818818A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN111047551A (zh) 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN110956094A (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN114419449B (zh) 一种自注意力多尺度特征融合的遥感图像语义分割方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN114821342B (zh) 一种遥感影像道路提取方法及系统
CN112818818B (zh) 一种基于affpn的新型超高清遥感图像变化检测方法
CN107273870A (zh) 一种监控场景下融合上下文信息的行人位置检测方法
CN114187520B (zh) 一种建筑物提取模型的构建及应用方法
CN112365451A (zh) 图像质量等级的确定方法、装置、设备及计算机可读介质
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN109657082A (zh) 基于全卷积神经网络的遥感图像多标签检索方法及系统
CN115830054A (zh) 基于多窗口高低频视觉变换器的裂缝图像分割方法
CN115565019A (zh) 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法
CN114926826A (zh) 场景文本检测系统
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN117992919A (zh) 基于机器学习和多气象模态融合的河流洪水预警方法
CN115641445B (zh) 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法
CN116935249A (zh) 一种无人机场景下三维特征增强的小目标检测方法
CN117173595A (zh) 基于改进YOLOv7的无人机航拍图像目标检测方法
CN116958027A (zh) 三维工业异常检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210928