CN116310851A - 遥感图像变化检测方法 - Google Patents

遥感图像变化检测方法 Download PDF

Info

Publication number
CN116310851A
CN116310851A CN202310601625.2A CN202310601625A CN116310851A CN 116310851 A CN116310851 A CN 116310851A CN 202310601625 A CN202310601625 A CN 202310601625A CN 116310851 A CN116310851 A CN 116310851A
Authority
CN
China
Prior art keywords
change detection
remote sensing
feature
sensing image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310601625.2A
Other languages
English (en)
Other versions
CN116310851B (zh
Inventor
黄智祺
王峰
尤红建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202310601625.2A priority Critical patent/CN116310851B/zh
Publication of CN116310851A publication Critical patent/CN116310851A/zh
Application granted granted Critical
Publication of CN116310851B publication Critical patent/CN116310851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种遥感图像变化检测方法，包括：获取待训练的多对双时相遥感图像，每对双时相遥感图像包括不同时相的两张遥感图像；对多对双时相遥感图像进行预处理，得到多对输入图像；将多对输入图像输入预先搭建的变化检测网络，使用基于像素的损失函数对变化检测网络中的参数进行优化，变化检测网络包括基于ConvNeXtV2的编码模块、基于M2SNet的特征融合模块和解码模块；使用基于搜索粒子的演化算法，对优化后的变化检测网络进行训练，得到训练好的变化检测网络；将待检测的双时相遥感图像输入训练好的变化检测网络，得到变化检测结果。本发明在变化检测网络的训练过程中避免陷入局部最优解，同时避免产生梯度消失和梯度爆炸现象，可以应用于物料分选作业。

Description

遥感图像变化检测方法
技术领域
本发明涉及遥感图像检测技术领域，尤其涉及一种遥感图像变化检测方法。
背景技术
随着遥感技术的不断发展和应用，遥感图像在自然资源调查、环境监测、城市规划等方面起到了重要作用。然而，由于自然环境和人类活动的影响，遥感图像随着时间的推移可能会发生变化，如土地利用、植被覆盖、建筑物等等。因此，准确地检测遥感图像中的变化，对于保护自然资源和管理城市规划具有重要的意义。
目前，遥感图像变化检测方法主要采用像元差异法和特征差异法，但这些方法受到许多因素的影响，如云雾、影子、光照变化等。
CN201910845085.6提出一种基于孪生网络的SAR图像变化检测方法，通过基于独立性分析的预分类策略，能够获得更可靠的训练数据集，同时使用深度学习框架构建基于特征融合和自适应池化的孪生网络模型，提高了SAR图像变化检测的对噪声的鲁棒性，并且该方法具有较强的任务适应性和泛化能力。
CN202211188122.9提出一种融合多种变化检测算法的红树林动态监测方法，该方法基于多元光谱指数和年际时间序列，无需训练样本，可绘制历年生长红树林的区域；通过评估多个光谱指数检测红树林扩张的适用性，筛选出最优指数，提高了变化检测算法监测红树林动态变化的能力；通过融合7种变化检测算法提出了检测红树林历史扩张、监测其近实时变化和预测其未来发展趋势的方法，并在像点尺度和区域尺度上综合分析红树林的变化，更清晰地揭示了红树林的时空变化规律。
CN202211027648.9提出一种基于轻量级网络的建筑物变化检测方法，使用轻量级网络提取建筑物特征，降低了网络的参数量和计算量，保证网络拥有更小的体积和更快的运行速度；同时在特征融合阶段利用反卷积动态学习权重参数，减少在尺寸恢复阶段有用信息的丢失，从而保证建筑物变化检测的精度。
然而，上述现有的遥感图像变化检测方法仍然存在一些问题难以解决，尤其是对遥感图像的特征提取不充分，导致特征提取效果差，进一步导致变化检测精度低。此外，现有方法多使用梯度下降和误差反向传播的方式进行网络参数的优化，容易陷入局部最优解，同时容易产生梯度消失和梯度爆炸现象。
发明内容
鉴于上述问题，本发明提供了一种遥感图像变化检测方法，提高遥感图像变化检测的准确性和可靠性。
本发明一方面提供了一种遥感图像变化检测方法，包括：步骤S1，获取待训练的多对双时相遥感图像，每对双时相遥感图像包括不同时相的两张遥感图像；步骤S2，对多对双时相遥感图像进行预处理，得到多对输入图像；步骤S3，将多对输入图像输入预先搭建的变化检测网络，使用基于像素的损失函数对变化检测网络中的参数进行优化，其中，变化检测网络依次包括基于ConvNeXtV2的编码模块、基于M2SNet的特征融合模块和解码模块；步骤S4，使用基于搜索粒子的演化算法，对优化后的变化检测网络进行训练，得到训练好的变化检测网络；步骤S5，将待检测的双时相遥感图像输入训练好的变化检测网络，得到变化检测结果。
根据本发明的实施例，步骤S1具体包括：从预设的多个变化检测数据集获取多对双时相遥感图像，其中，多个变化检测数据集包括LEVIR-CD数据集和CDD数据集。
根据本发明的实施例，在步骤S2，对多对双时相遥感图像进行预处理，包括针对多对双时相遥感图像中的每张遥感图像，执行以下操作中的至少之一：将该张遥感图像裁剪为预定尺寸；对该张遥感图像进行降噪；去除该张遥感图像中的冗余数据；对该张遥感图像中的各个像素进行非线性低通滤波。
根据本发明的实施例，在步骤S3，基于ConvNeXtV2的编码模块依次包括：输入层，用于将接收多对输入图像中的每个输入图像；2D卷积层，用于提取每个输入图像的卷积特征图；第一层归一化，用于对卷积特征图中的每个特征值进行归一化，得到第一归一化特征图；第一ConvNeXt单元，使用完全卷积的自编码器结构，通过学习重构损失来学习第一归一化特征图的特征表示，并结合GRN层来增强第一归一化特征图的不同通道间的特征竞争，形成第一重构特征图；一个或多个组合块，每个组合块包括依次连接的下采样层和第二ConvNeXt单元，其中，下采样层用于对第一重构特征图进行降采样，第二ConvNeXt单元用于将降采样后的第一重构特征图转换为第二重构特征图；全局平均池化，用于对第二重构特征图的所有空间位置的特征值进行全局平均池化，得到池化特征图；第二层归一化，用于对池化特征图中的每个特征值进行归一化，得到第二归一化特征图；线性变换层，用于对第二归一化特征图在高维特征空间中进行特征表示，得到中间特征图；输出层，用于输出中间特征图。
根据本发明的实施例，第一ConvNeXt单元和第二ConvNeXt单元均采用ConvNeXtV2模型，包括基于稀疏卷积的自编码器和轻量级的解码器；ConvNeXt V2模型按照以下公式来计算：
Figure SMS_1
；
式中，X是输入特征图，
Figure SMS_2
是重构特征图，f(·)是自编码器，g(·)是解码器。
根据本发明的实施例，在步骤S3，基于M2SNet的特征融合模块采用多尺度减法网络，用于针对每对输入图像对应的一对中间特征图：计算该对中间特征图在多个尺度下的差分特征，多个尺度包括顺序和感受野大小；对每个尺度下的差分特征进行汇聚，输出该对中间特征图对应的两个互补增强特征图。
根据本发明的实施例，在步骤S3，解码模块采用反卷积解码器，用于将两个互补增强特征图转换为与输入图像相同大小的输出图像。
根据本发明的实施例，在步骤S3，针对每对输入图像对应的输出图像，基于像素的损失函数L按照以下公式来表示：
Figure SMS_3
；
式中，yi,j和
Figure SMS_4
分别表示输入图像和输出图像中像素(i,j)的真实值和预测值，N和M分别表示输入图像的高和宽；wi,j是像素(i,j)的权重，wi,j按照以下公式来表示：
Figure SMS_5
；
式中，σi,j是像素(i,j)的标准差，表示该像素的置信度。
根据本发明的实施例，步骤S4具体包括：步骤S41，随机生成一组初始种群，初始种群包括多个搜索粒子个体，每个搜索粒子个体表征了优化后的变化检测网络的参数空间中的一个解，且是搜索粒子映射到参数空间的初始解；步骤S42，计算每个搜索粒子个体的适应度；步骤S43，根据适应度，采用轮盘赌的方式从初始种群中选择部分搜索粒子个体，采用选择和交叉的方式产生下一代种群；
步骤S44，针对下一代种群中的每个新粒子个体，采用搜索粒子变异的方式生成参数空间的新解；步骤S45，基于新解，计算每个新粒子个体的适应度；步骤S46，重复上述步骤S42~步骤S45，直到达到预设的迭代次数，得到参数空间的最优解，形成训练好的变化检测网络。
根据本发明的实施例，在步骤S42，适应度根据以下公式来计算：
Figure SMS_6
；
式中，Li表示在第i次迭代中，使用当前的搜索粒子个体作为所述优化后的变化检测网络中的参数，计算得到的损失函数值；fi表示在第i次迭代中，当前的搜索粒子个体的适应度。
与现有技术相比，本发明提供的遥感图像变化检测方法，提出一种性能较好的变化检测网络，并设计一种更适合于遥感图像变化检测的损失函数。此外，本发明所采用的基于搜索粒子的演化算法对网络进行训练，使得在训练过程中避免陷入局部最优解，同时避免产生梯度消失和梯度爆炸现象。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明实施例的遥感图像变化检测方法的流程图。
图2示意性示出了根据本发明实施例的基于ConvNeXtV2的编码模块的网络结构图。
图3示意性示出了根据本发明实施例的基于M2SNet的特征融合模块的网络结构图。
图4示意性示出了根据本发明实施例的解码模块的网络结构图。
图5示意性示出了根据本发明实施例的对变化检测网络进行训练的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
图1示意性示出了根据本发明实施例的遥感图像变化检测方法的流程图。
如图1所示，根据该实施例的遥感图像变化检测方法，可以包括步骤S1~步骤S5。
步骤S1，获取待训练的多对双时相遥感图像，每对双时相遥感图像包括不同时相的两张遥感图像。
本发明实施例中，从预设的多个变化检测数据集获取多对双时相遥感图像。多个变化检测数据集包括LEVIR-CD数据集和CDD数据集。
为了探索各种深度学习方法在遥感变化检测任务上的性能，研究学者们提出了大量的变化检测数据集，例如WHU-CD、LEVIR-CD、CDD、DSIFN-CD、SYSU。基于数据集的广泛使用程度，本发明实施例中，多个变化检测数据集包括LEVIR-CD数据集和CDD数据集。也即，选择在LEVIR-CD和CDD上对提出的网络模型进行实验验证。接下来分别对这两个变化检测数据集进行介绍。
（1）LEVIR-CD数据集
LEaring, Vision and Remote sensing(LEVIR)-CD是由北京航空航天大学提出的大规模变化检测数据集，共包含637对大小为1024*1024的图像。考虑到显存大小和样本量，本发明实施例中，把LEVIR-CD中的训练、验证和测试集无重叠裁剪为256*256的大小的图像。跟随数据集的默认划分，分别得到7120/1024/2048对双时相遥感图像，分别用于网络模型的训练、验证和测试。
（2）CDD数据集
CDD数据集是应用最为广泛的变化检测数据集之一，本发明实施例采用CDD数据集中的真实遥感影像。CDD遥感变化检测数据集中的图像空间分辨率范围为0.03-1m，所有图像的大小为256*256。CDD数据集共包含10000对用于模型训练的双时相图像，以及各3000对用于模型验证和测试的双时相图像。
步骤S2，对多对双时相遥感图像进行预处理，得到多对输入图像。
本发明实施例中，在步骤S2，对多对双时相遥感图像进行预处理，包括针对多对双时相遥感图像中的每张遥感图像，执行以下操作中的至少之一：将该张遥感图像裁剪为预定尺寸；对该张遥感图像进行降噪；去除该张遥感图像中的冗余数据；对该张遥感图像中的各个像素进行非线性低通滤波。
基于上述选取的两种变化检测数据集，该预定尺寸可以为256*256。
由于图像在其采集或传递过程中常会受到各种噪声的影响，导致其中包含的重要信息很难被读取和识别。因此，在对图像进行分析之前需要对图像进行增强，图像质量的改进是图像中有用信息提取的前提，图像质量的好坏在很大程度上影响最终图像信息提取的准确性，从而使其更适合进行下一步分析。例如，物料分选作业工况条件比较恶劣，采集的图像会受到灰尘、光线、设备振动等因素的影响。为了保证一定的图像清晰度，需要对原始图像（多对双时相遥感图像）进行处理。
具体而言，本发明实施例中，对该张遥感图像中的各个像素进行非线性低通滤波，是指采用非线性低通滤波器对物料图像进行滤波，在滤波时，均值滤波保持像素值不变，当任一像素P(i,j)与均值的差值落在一个标准差之外时，将像素的新值设置为均值，计算公式如下：
Figure SMS_7
；
Figure SMS_8
；
Figure SMS_9
；
式中，μ是像素周围的某一邻域内像素灰度的平均值，σ是该邻域内像素灰度的标准差。H×W为像素的大小，本发明实施例中采用3×3的尺寸对遥感图像进行非线性低通滤波。
步骤S3，将多对输入图像输入预先搭建的变化检测网络，使用基于像素的损失函数对变化检测网络中的参数进行优化，其中，变化检测网络依次包括基于ConvNeXtV2的编码模块、基于M2SNet的特征融合模块和解码模块。
本发明实施例预先搭建的变化检测网络包括3部分，即基于ConvNeXtV2的编码模块、基于M2SNet的特征融合模块和解码模块，接下来分别进行介绍。
（1）基于ConvNeXtV2的编码模块
图2示意性示出了根据本发明实施例的基于ConvNeXtV2的编码模块的网络结构图。
如图2所示，本发明实施例中，在步骤S3，基于ConvNeXtV2的编码模块依次包括：输入层、2D卷积层、第一层归一化、第一ConvNeXt单元、一个或多个组合块、全局平均池化、第二层归一化、线性变换层和输出层。其中，每个组合块包括依次连接的下采样层和第二ConvNeXt单元。接下来，分别对各层的输入输出进行介绍。
1）输入层，用于将接收上述步骤S2得到的多对输入图像中的每个输入图像。
2）2D卷积层，用于提取每个输入图像的卷积特征图。
2D卷积层是神经网络中常用的卷积层之一，用于从输入特征图中提取特征。假设输入特征图（也即每个输入图像）为
Figure SMS_10
，其中Cin为输入通道数，Hin和Win为输入特征图的高和宽。卷积层的参数包括卷积核/>
Figure SMS_11
，其中Cout为输出通道数，kh和kw为卷积核的高和宽，以及偏置/>
Figure SMS_12
。
那么，卷积层的输出可以表示为：
Figure SMS_13
；
其中，i和j表示输出特征图（也即卷积特征图）的空间位置，k表示输出通道。对于每个空间位置(i,j)，卷积操作对应地在输入特征图的相应位置(i+p-1,j+q-1)和对应通道上进行，将卷积核W的每个权重和输入特征图的像素值进行乘法，并对所有结果求和，再加上偏置bk得到输出yi,j,k。
卷积层的输出形状为
Figure SMS_14
，其中，Hout=Hin-kh+1，Wout=Win-kw+1。也就是说，输出特征图的高和宽与输入特征图相比减小了卷积核大小减1的大小，这是因为卷积操作会使得卷积核边缘的像素无法进行有效卷积。
3）第一层归一化，用于对卷积特征图中的每个特征值进行归一化，得到第一归一化特征图。
层归一化是一种常用的神经网络正则化方法，能够有效地缓解梯度消失问题和提高模型训练的稳定性。假设输入特征（也即卷积特征图）为x∈RN×C，其中N为样本数，C为特征维度。层归一化的目标是对输入x的每个特征维度进行标准化，即将每个特征值减去均值再除以方差。
层归一化的计算过程分为两步，首先计算均值和方差：
Figure SMS_15
；
Figure SMS_16
；
式中，μj表示第j个特征的均值，σj表示第j个特征的标准差。
接下来，对输入特征进行标准化：
Figure SMS_17
；
其中，
Figure SMS_18
为一个非常小的常数，防止分母为0。
最后，层归一化将标准化后的特征进行缩放和平移，得到最终的输出特征（也即第一归一化特征图）：
Figure SMS_19
；
其中，γj和βj是可学习的参数，用于对标准化后的特征进行缩放和平移。
4）第一ConvNeXt单元，使用完全卷积的自编码器结构，通过学习重构损失来学习第一归一化特征图的特征表示，并结合GRN层来增强第一归一化特征图的不同通道间的特征竞争，形成第一重构特征图。
ConvNeXt单元采用ConvNeXt V2模块作为其架构模型，其核心思想是使用完全卷积的自编码器结构，通过学习重构损失来学习特征表示，并结合全局响应归一化层（GRN）增强通道间的特征竞争。接下来进行详细介绍。
本发明实施例中，第一ConvNeXt单元和第二ConvNeXt单元均采用ConvNeXt V2模型，包括基于稀疏卷积的自编码器和轻量级的解码器；
ConvNeXt V2模型按照以下公式来计算：
Figure SMS_20
；
式中，X是输入特征图，
Figure SMS_21
是重构特征图，f(·)是自编码器，g(·)是解码器。
ConvNeXt V2使用重构损失来训练自编码器，该重构损失可以表示为：
Figure SMS_22
；
式中，N是样本数量，Xi是第i个样本的输入特征图，
Figure SMS_23
是第i个样本的重构特征图。
ConvNeXt V2引入了GRN层来增强通道间的特征竞争。GRN层可以表示为：
Figure SMS_24
；
式中，xi,j,k是输入特征图X中位置(i,j)的第k个通道的特征值，yi,j,k是GRN层输出的位置(i,j)的第k个通道的特征值，C是特征图X的通道数，
Figure SMS_25
是一个极小的正数。
综合上述介绍，ConvNeXt V2模块可以表示为：
Figure SMS_26
；
式中，H是GRN层，g是激活函数，W(m)是第m层的权重，xi,j,k (1)是输入特征图X中位置(i,j)的第k个通道的特征值，yi,j,: (m-1)是第m-1层输出的位置(i,j)的所有通道的特征值，M是ConvNeXt V2模块的层数。
5）一个或多个组合块，每个组合块包括依次连接的下采样层和第二ConvNeXt单元，其中，下采样层用于对第一重构特征图进行降采样，第二ConvNeXt单元用于将降采样后的第一重构特征图转换为第二重构特征图。
其中，第二ConvNeXt单元与前述第一ConvNeXt单元功能相同，术语“第一”、“第二”仅仅以示区分，在此不再赘述。以下重点对下采样层进行介绍。
下采样层是一种常用的卷积神经网络层，用于降低输入特征的空间分辨率。下采样层通常紧跟在卷积层之后，将卷积层的输出特征图分成若干个局部区域，对每个局部区域进行池化操作，得到一个池化后的输出特征值。
假设输入特征为x∈RH×W×C，其中H、W、C分别为特征图的高度、宽度和通道数。下采样层通常采用最大池化或平均池化的方式对输入特征进行降采样，其中最大池化的公式为：
Figure SMS_27
；
其中，Ri,j表示以(i,j)为中心的池化区域，k表示通道数。最大池化将池化区域内的所有特征值取最大值，得到一个池化后的输出特征值。平均池化的公式为：
Figure SMS_28
；
其中，|Ri,j|表示池化区域的大小，即区域内包含的特征值数量。平均池化将池化区域内的所有特征值取平均值，得到一个池化后的输出特征值。
下采样层通常还包括步长（Stride）和填充（Padding）两个超参数，其中步长表示池化区域每次滑动的距离，填充用于在特征图边界处填充一定数量的像素值，以保证池化操作的有效性。
下采样层的输出特征为y∈RH'×W'×C，其中H'、W'、C分别为池化后的特征图高度、宽度和通道数。
6）全局平均池化，用于对第二重构特征图的所有空间位置的特征值进行全局平均池化，得到池化特征图。
全局平均池化层是一种常用的池化层，它将输入特征的所有空间位置的特征值取平均，得到一个全局池化后的输出特征值。假设输入特征为x∈RH×W×C，其中H、W、C分别为特征图的高度、宽度和通道数。全局平均池化层的公式为：
Figure SMS_29
；
式中，k表示通道数。全局平均池化将输入特征的所有空间位置的特征值取平均，得到一个全局池化后的输出特征值。
7）第二层归一化，用于对池化特征图中的每个特征值进行归一化，得到第二归一化特征图。
第二层归一化与前述第一层归一化功能相同，术语“第一”、“第二”仅仅以示区分，在此不再赘述。
8）线性变换层，用于对第二归一化特征图在高维特征空间中进行特征表示，得到中间特征图。
线性变换是一种常用的数学操作，它可以将一个向量空间中的向量通过一个线性映射变换为另一个向量空间中的向量。在神经网络中，线性变换通常用于将输入特征转换为高维特征空间中的特征表示，以便于神经网络更好地学习输入特征之间的非线性关系。假设输入特征为x∈Rn，权重矩阵为W∈Rm×n，偏置向量为b∈Rm，其中n表示输入特征的维度，m表示输出特征的维度。线性变换的公式为：
Figure SMS_30
；
其中，y∈Rm表示线性变换的输出特征，Wx表示输入特征x在高维特征空间中的线性变换结果，b表示偏置向量，用于调整线性变换的偏移量。
9）输出层，用于输出中间特征图，作为本模块的输出特征。
（2）基于M2SNet的特征融合模块
图3示意性示出了根据本发明实施例的基于M2SNet的特征融合模块的网络结构图。
如图3所示，本发明实施例中，在步骤S3，基于M2SNet的特征融合模块采用多尺度减法网络，用于针对每对输入图像对应的一对中间特征图：计算该对中间特征图在多个尺度下的差分特征，多个尺度包括顺序和感受野大小；对每个尺度下的差分特征进行汇聚，输出该对中间特征图对应的两个互补增强特征图。
M2SNET的关键在于多尺度子网和多尺度差分模块，它们能够更好地捕捉初始特征图之间的差异信息，从而提高分割精度。
在多尺度差分模块中，本发明实施例采用了多尺度卷积滤波器，包括大小为1×1、3×3和5×5的固定全一权重滤波器。这些滤波器用于计算像素对和区域对的详细结构差异值，能够更好地捕捉图像数据的区域特征。与单一尺度的差分模块相比，多尺度差分模块能够提取更多的信息，从而提高模型的准确性。
（3）解码模块
图4示意性示出了根据本发明实施例的解码模块的网络结构图。
如图4所示，对于基于M2SNET的特征融合模块的输出，进一步输入到解码器中进行解码。
本发明实施例中，在步骤S3，解码模块采用反卷积解码器，用于将两个互补增强特征图转换为与输入图像相同大小的输出图像。
反卷积解码器通常由反卷积层、卷积层和激活函数层组成。设解码器的输入为z，反卷积层的输出为h，卷积核为W，激活函数为f，则反卷积解码器的计算过程为：
Figure SMS_31
；
其中，WT表示卷积核W的转置。反卷积层的作用是将输入的低维特征z转换为一个高维特征图，卷积层和激活函数层则分别用于特征提取和非线性激活。
接下来，使用基于像素的损失函数对所述变化检测网络中的参数进行优化。
在遥感图像变化检测中，通过比较两张图像来确定它们之间的差异。本发明实施例在原始的差异度量中引入了自适应的加权策略，这种策略可以使模型更好地处理不同像素之间的关系，提高检测精度。
本发明实施例定义了一个基于像素的损失函数（Change Map Loss）来度量两张图像之间的差异。在步骤S3，针对每对输入图像对应的输出图像，基于像素的损失函数L按照以下公式来表示：
Figure SMS_32
；
式中，yi,j和
Figure SMS_33
分别表示输入图像和输出图像中像素(i,j)的真实值和预测值，N和M分别表示输入图像的高和宽；wi,j是像素(i,j)的权重。
为了处理不同像素之间的关系，引入了自适应的加权策略。该策略可以根据像素之间的差异调整每个像素的权重。将每个像素的权重wi,j表示为：
Figure SMS_34
；
式中，σi,j是像素(i,j)的标准差，表示该像素的置信度。
步骤S4，使用基于搜索粒子的演化算法，对优化后的变化检测网络进行训练，得到训练好的变化检测网络。
利用训练样本对模型进行训练。本发明实施例提出一种基于搜索粒子的演化算法对模型进行训练。
图5示意性示出了根据本发明实施例的对变化检测网络进行训练的流程图。
如图5所示，本发明实施例中，步骤S4具体可以包括步骤S41~步骤S46。
步骤S41，随机生成一组初始种群，初始种群包括多个搜索粒子个体，每个搜索粒子个体表征了优化后的变化检测网络的参数空间中的一个解，且是搜索粒子映射到参数空间的初始解。
假设
Figure SMS_35
是神经网络参数空间中的一个解。为了将x映射到搜索粒子空间中，使用以下公式：
Figure SMS_36
；
其中，
Figure SMS_37
是映射到搜索粒子空间中的解，/>
Figure SMS_38
是一个符号为+1或-1的随机变量，表示搜索粒子向量的方向，/>
Figure SMS_39
是损失函数在x处的梯度。
步骤S42，计算每个搜索粒子个体的适应度。
适应度可以通过神经网络在训练集上的损失函数值来计算。搜索粒子的适应度是根据神经网络的表现来计算的，使用神经网络在训练数据集上的损失函数作为衡量表现的指标。
具体地，假设神经网络的损失函数为L(θ)，其中θ表示神经网络的参数，则一个搜索粒子个体在第i次迭代时的适应度可以根据以下公式来计算：
Figure SMS_40
；
式中，Li表示在第i次迭代中，使用当前的搜索粒子个体作为所述优化后的变化检测网络中的参数，计算得到的损失函数值；fi表示在第i次迭代中，当前的搜索粒子个体的适应度。适应度fi越大，表示当前搜索粒子个体的表现越好，对应的神经网络参数更有可能被选择和遗传到下一代。
步骤S43，根据适应度，采用轮盘赌的方式从初始种群中选择部分搜索粒子个体，采用选择和交叉的方式产生下一代种群。
采用选择和交叉的方式产生下一代种群。具体地，从当前种群中选择适应度高的个体，用交叉和变异的方式产生下一代种群。搜索粒子个体的选择和交叉是指根据搜索粒子长度和适应度值来进行的。
在选择操作中，搜索粒子的适应度值越大，被选择的概率越高。具体地，可以使用轮盘赌的方式来选择搜索粒子。设搜索粒子的适应度为，则其被选择的概率Pi为：
Figure SMS_41
；/>
其中，N为搜索粒子的数量。
在交叉操作中，首先需要随机选取两个搜索粒子进行交叉，然后根据交叉概率pc来决定是否进行交叉。如果进行交叉，则需要根据交叉点位置c来交叉两个搜索粒子的基因。假设交叉点位置为c，则交叉操作可以表示为以下伪代码：
if r＜pc
for i=1,2,…,c-1
swap xi (1), xi (2)
end
其中，r为一个随机数，用来决定是否进行交叉操作。xi (1)和xi (2)分别表示两个搜索粒子在第i个位置上的基因值。
步骤S44，针对下一代种群中的每个新粒子个体，采用搜索粒子变异的方式生成参数空间的新解。
对于每个新搜索粒子个体，采用搜索粒子变异的方式生成新解。具体地，对于每个神经网络参数，使用该参数的初始值加上一个随机的搜索粒子向量来生成新的解。这个搜索粒子向量可以用一些特定的搜索粒子生成算法来生成。
搜索粒子变异的公式如下：
Figure SMS_42
；
其中，yi,j表示第i个搜索粒子个体的第j维特征向量经过搜索粒子变异后的结果，xi是该个体原始的第j维特征向量，xa和xb分别是从种群中选择的两个不同的个体的第j维特征向量，ri,j是变异系数，用来控制变异程度，通常取值在[0,1]之间。
具体来说，搜索粒子变异首先从种群中随机选择两个不同的个体，然后将它们的第j维特征向量相减，得到一个向量xa-xb，并将其乘以变异系数ri,j。最后将结果加上个体i的第j维特征向量xi，得到变异后的特征向量yi,j。这样一来，种群中的每个个体的第j维特征向量都会被搜索粒子变异，从而使得种群的多样性得到增强。
步骤S45，基于新解，计算每个新粒子个体的适应度。
本步骤用于评估新种群。对于新种群中的每个个体，计算其适应度。
步骤S46，重复上述步骤S42~步骤S45，直到达到预设的迭代次数，得到参数空间的最优解，形成训练好的变化检测网络。
步骤S5，将待检测的双时相遥感图像输入训练好的变化检测网络，得到变化检测结果。
模型训练完成后，利用训练好的模型进行遥感图像变化检测。
通过上述实施例，本发明提出一种性能较好的变化检测网络，并设计一种更适合于遥感图像变化检测的损失函数。此外，本发明所采用的基于搜索粒子的演化算法对网络进行训练，使得在训练过程中避免陷入局部最优解，同时避免产生梯度消失和梯度爆炸现象。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。此外，位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遥感图像变化检测方法，其特征在于，包括：
步骤S1，获取待训练的多对双时相遥感图像，每对双时相遥感图像包括不同时相的两张遥感图像；
步骤S2，对所述多对双时相遥感图像进行预处理，得到多对输入图像；
步骤S3，将所述多对输入图像输入预先搭建的变化检测网络，使用基于像素的损失函数对所述变化检测网络中的参数进行优化，其中，所述变化检测网络依次包括基于ConvNeXtV2的编码模块、基于M2SNet的特征融合模块和解码模块；
步骤S4，使用基于搜索粒子的演化算法，对优化后的变化检测网络进行训练，得到训练好的变化检测网络；
步骤S5，将待检测的双时相遥感图像输入所述训练好的变化检测网络，得到变化检测结果。
2.根据权利要求1所述的遥感图像变化检测方法，其特征在于，所述步骤S1具体包括：
从预设的多个变化检测数据集获取所述多对双时相遥感图像，其中，所述多个变化检测数据集包括LEVIR-CD数据集和CDD数据集。
3.根据权利要求1所述的遥感图像变化检测方法，其特征在于，在步骤S2，对所述多对双时相遥感图像进行预处理，包括针对所述多对双时相遥感图像中的每张遥感图像，执行以下操作中的至少之一：
将该张遥感图像裁剪为预定尺寸；
对该张遥感图像进行降噪；
去除该张遥感图像中的冗余数据；
对该张遥感图像中的各个像素进行非线性低通滤波。
4.根据权利要求1所述的遥感图像变化检测方法，其特征在于，在步骤S3，所述基于ConvNeXtV2的编码模块依次包括：
输入层，用于将接收所述多对输入图像中的每个输入图像；
2D卷积层，用于提取所述每个输入图像的卷积特征图；
第一层归一化，用于对所述卷积特征图中的每个特征值进行归一化，得到第一归一化特征图；
第一ConvNeXt单元，使用完全卷积的自编码器结构，通过学习重构损失来学习所述第一归一化特征图的特征表示，并结合GRN层来增强所述第一归一化特征图的不同通道间的特征竞争，形成第一重构特征图；
一个或多个组合块，每个所述组合块包括依次连接的下采样层和第二ConvNeXt单元，其中，所述下采样层用于对所述第一重构特征图进行降采样，所述第二ConvNeXt单元用于将降采样后的第一重构特征图转换为第二重构特征图；
全局平均池化，用于对所述第二重构特征图的所有空间位置的特征值进行全局平均池化，得到池化特征图；
第二层归一化，用于对所述池化特征图中的每个特征值进行归一化，得到第二归一化特征图；
线性变换层，用于对所述第二归一化特征图在高维特征空间中进行特征表示，得到中间特征图；
输出层，用于输出所述中间特征图。
5.根据权利要求4所述的遥感图像变化检测方法，其特征在于，所述第一ConvNeXt单元和第二ConvNeXt单元均采用ConvNeXt V2模型，包括基于稀疏卷积的自编码器和轻量级的解码器；
所述ConvNeXt V2模型按照以下公式来计算：
Figure QLYQS_1
；
式中，X是输入特征图，
Figure QLYQS_2
是重构特征图，f(·)是自编码器，g(·)是解码器。
6.根据权利要求4所述的遥感图像变化检测方法，其特征在于，在步骤S3，所述基于M2SNet的特征融合模块采用多尺度减法网络，用于针对每对所述输入图像对应的一对所述中间特征图：
计算该对所述中间特征图在多个尺度下的差分特征，所述多个尺度包括顺序和感受野大小；
对每个尺度下的差分特征进行汇聚，输出该对所述中间特征图对应的两个互补增强特征图。
7.根据权利要求6所述的遥感图像变化检测方法，其特征在于，在步骤S3，所述解码模块采用反卷积解码器，用于将所述两个互补增强特征图转换为与所述输入图像相同大小的输出图像。
8.根据权利要求7所述的遥感图像变化检测方法，其特征在于，在步骤S3，针对每对所述输入图像对应的所述输出图像，所述基于像素的损失函数L按照以下公式来表示：
Figure QLYQS_3
；
式中，yi,j和
Figure QLYQS_4
分别表示输入图像和输出图像中像素(i,j)的真实值和预测值，N和M分别表示输入图像的高和宽；wi,j是像素(i,j)的权重，wi,j按照以下公式来表示：
Figure QLYQS_5
；
式中，σi,j是像素(i,j)的标准差，表示该像素的置信度。
9.根据权利要求1所述的遥感图像变化检测方法，其特征在于，所述步骤S4具体包括：
步骤S41，随机生成一组初始种群，所述初始种群包括多个搜索粒子个体，每个所述搜索粒子个体表征了所述优化后的变化检测网络的参数空间中的一个解，且是搜索粒子映射到所述参数空间的初始解；
步骤S42，计算每个所述搜索粒子个体的适应度；
步骤S43，根据所述适应度，采用轮盘赌的方式从所述初始种群中选择部分搜索粒子个体，采用选择和交叉的方式产生下一代种群；
步骤S44，针对所述下一代种群中的每个新粒子个体，采用搜索粒子变异的方式生成所述参数空间的新解；
步骤S45，基于所述新解，计算所述每个新粒子个体的适应度；
步骤S46，重复上述步骤S42~步骤S45，直到达到预设的迭代次数，得到所述参数空间的最优解，形成所述训练好的变化检测网络。
10.根据权利要求9所述的遥感图像变化检测方法，其特征在于，在步骤S42，每个所述搜索粒子个体的适应度根据以下公式来计算：
Figure QLYQS_6
；
式中，Li表示在第i次迭代中，使用当前的搜索粒子个体作为所述优化后的变化检测网络中的参数，计算得到的损失函数值；fi表示在第i次迭代中，当前的搜索粒子个体的适应度。
CN202310601625.2A 2023-05-26 2023-05-26 遥感图像变化检测方法 Active CN116310851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310601625.2A CN116310851B (zh) 2023-05-26 2023-05-26 遥感图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310601625.2A CN116310851B (zh) 2023-05-26 2023-05-26 遥感图像变化检测方法

Publications (2)

Publication Number Publication Date
CN116310851A true CN116310851A (zh) 2023-06-23
CN116310851B CN116310851B (zh) 2023-08-15

Family

ID=86787363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310601625.2A Active CN116310851B (zh) 2023-05-26 2023-05-26 遥感图像变化检测方法

Country Status (1)

Country Link
CN (1) CN116310851B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036962A (zh) * 2023-10-08 2023-11-10 中国科学院空天信息创新研究院 遥感图像变化检测方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3179439A1 (en) * 2015-12-09 2017-06-14 Goodrich Corporation Off-band resolution enhancement
CN109003237A (zh) * 2018-07-03 2018-12-14 深圳岚锋创视网络科技有限公司 全景图像的天空滤镜方法、装置及便携式终端
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
CN114187255A (zh) * 2021-12-08 2022-03-15 西北工业大学 一种差异指导的遥感影像变化检测方法
CN114187530A (zh) * 2021-12-13 2022-03-15 西安电子科技大学 基于神经网络结构搜索的遥感图像变化检测方法
CN114821350A (zh) * 2022-03-17 2022-07-29 西北工业大学 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法
CN114863539A (zh) * 2022-06-09 2022-08-05 福州大学 一种基于特征融合的人像关键点检测方法及系统
CN114937204A (zh) * 2022-04-29 2022-08-23 南京信息工程大学 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN115272437A (zh) * 2022-08-11 2022-11-01 南京信息工程大学 一种基于全局与局部特征的图像深度估计方法及装置
CN115424145A (zh) * 2022-09-19 2022-12-02 中国科学院国家空间科学中心 一种基于深度学习的行星遥感影像地表地形变化检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3179439A1 (en) * 2015-12-09 2017-06-14 Goodrich Corporation Off-band resolution enhancement
CN109003237A (zh) * 2018-07-03 2018-12-14 深圳岚锋创视网络科技有限公司 全景图像的天空滤镜方法、装置及便携式终端
US20210272245A1 (en) * 2018-07-03 2021-09-02 Arashi Vision Inc. Sky filter method for panoramic images and portable terminal
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
CN114187255A (zh) * 2021-12-08 2022-03-15 西北工业大学 一种差异指导的遥感影像变化检测方法
CN114187530A (zh) * 2021-12-13 2022-03-15 西安电子科技大学 基于神经网络结构搜索的遥感图像变化检测方法
CN114821350A (zh) * 2022-03-17 2022-07-29 西北工业大学 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法
CN114937204A (zh) * 2022-04-29 2022-08-23 南京信息工程大学 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN114863539A (zh) * 2022-06-09 2022-08-05 福州大学 一种基于特征融合的人像关键点检测方法及系统
CN115272437A (zh) * 2022-08-11 2022-11-01 南京信息工程大学 一种基于全局与局部特征的图像深度估计方法及装置
CN115424145A (zh) * 2022-09-19 2022-12-02 中国科学院国家空间科学中心 一种基于深度学习的行星遥感影像地表地形变化检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036962A (zh) * 2023-10-08 2023-11-10 中国科学院空天信息创新研究院 遥感图像变化检测方法、装置、设备及存储介质
CN117036962B (zh) * 2023-10-08 2024-02-06 中国科学院空天信息创新研究院 遥感图像变化检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116310851B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN110361778B (zh) 一种基于生成对抗网络的地震数据重建方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN113095409B (zh) 基于注意力机制和权值共享的高光谱图像分类方法
CN116310851B (zh) 遥感图像变化检测方法
CN116560895B (zh) 用于机械装备的故障诊断方法
CN113344045B (zh) 一种结合hog特征提高sar船只分类精度的方法
CN111275686A (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN114997501A (zh) 基于样本失衡的深度学习矿产资源分类预测方法及系统
CN113781311A (zh) 一种基于生成对抗网络的图像超分辨率重建方法
CN117036962B (zh) 遥感图像变化检测方法、装置、设备及存储介质
CN116879192B (zh) 基于卫星遥感数据的水华预测方法、装置、设备及介质
CN112990107A (zh) 高光谱遥感图像水下目标检测方法、装置及计算机设备
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN116009080A (zh) 一种地震波阻抗反演方法及系统、电子设备、存储介质
CN117911879B (zh) 一种融合sam的细粒度高分遥感影像变化检测方法
CN113435487B (zh) 一种面向深度学习的多尺度样本生成方法
CN117912116B (zh) 一种真实场景下野生动物姿态估计方法
CN117992757B (zh) 基于多维数据的国土生态环境遥感数据分析方法
CN116452820B (zh) 环境污染等级确定方法及装置
CN117095208B (zh) 一种面向光电吊舱侦察图像的轻量化场景分类方法
CN116958468A (zh) 基于SCycleGAN的高山积雪环境模拟方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant