CN117808807A - 光学卫星遥感图像实例级变化检测方法 - Google Patents
光学卫星遥感图像实例级变化检测方法 Download PDFInfo
- Publication number
- CN117808807A CN117808807A CN202410228524.XA CN202410228524A CN117808807A CN 117808807 A CN117808807 A CN 117808807A CN 202410228524 A CN202410228524 A CN 202410228524A CN 117808807 A CN117808807 A CN 117808807A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- satellite remote
- optical satellite
- sensing image
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 175
- 238000001514 detection method Methods 0.000 title claims abstract description 121
- 230000008859 change Effects 0.000 title claims abstract description 53
- 238000012360 testing method Methods 0.000 claims abstract description 67
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 23
- 238000013135 deep learning Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种光学卫星遥感图像实例级变化检测方法，包括：输入同一区域在不同时间的两幅光学卫星影像作为测试光学卫星遥感图像对；将所述测试光学卫星遥感图像对进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果；基于测试光学卫星遥感图像对中各幅图像的目标检测结果，利用最优传输理论建立两幅图像中目标检测结果的对应关系，并计算得到最终的变化结果，完成光学卫星遥感图像变化检测。本发明能够在粗对齐的光学卫星遥感图像对中实现实例级的变化检测。
Description
技术领域
本发明主要涉及到光学卫星遥感变化检测技术领域，尤其是一种光学卫星遥感图像实例级变化检测方法。
背景技术
近些年，随着空间卫星技术的高速发展，基于光学卫星遥感影像的变化检测技术在国防和军事领域有着广泛的应用。主要应用于战场态势感知，军事部署监测等。
但是现有的方法主要是对影像进行像素级的变化检测，计算量大，对计算设备要求高。而且现有方法须提前将影像对进行精细配准，再进行变化检测，这种方式过程繁琐。
发明内容
针对现有技术存在的技术问题，本发明提出一种光学卫星遥感图像实例级变化检测方法。
为实现上述目的，本发明采用的技术方案如下：
一方面，本发明提供一种光学卫星遥感图像实例级变化检测方法，包括以下步骤：
(S1)输入同一区域在不同时间的两幅光学卫星影像作为测试光学卫星遥感图像对；
(S2)将所述测试光学卫星遥感图像对进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果；
(S3)基于测试光学卫星遥感图像对中各幅图像的目标检测结果，利用最优传输理论建立两幅图像中目标检测结果的对应关系，并计算得到最终的变化结果，完成光学卫星遥感图像变化检测。
所述步骤(S3)，包括：
设测试光学卫星遥感图像对中两幅图像的目标检测结果分别为和/>，其中/>分别表示测试光学卫星遥感图像对中第一幅图像中第1个至第/>个目标的目标信息，/>分别表示测试光学卫星遥感图像对中第二幅图像中第1个至第/>个目标的目标信息，/>；
计算两幅图像的目标检测结果逐元素对的距离，得到初始距离矩阵；
使用给定的距离阈值补充初始距离矩阵/>，得到距离方阵/>，其中/>表示实数；
将距离方阵输入到最优传输问题求解算法中，得到成功匹配的元素对，记输出的匹配对为/>，其中匹配对的数量为方阵的尺寸/>，/>表示第一幅图像中的第/>个目标检测结果和第二幅图像中的第/>个目标检测结果成功匹配，成为第/>个匹配对；
对于成功匹配的第个匹配对/>，有三种情况：
若两个元素均为背景元素，即且/>，则不需要关注该匹配对；
若两个元素均不是背景元素，即且/>，那么认为构成该匹配对的目标检测结果在测试光学卫星遥感图像对的两幅图像中没有发生变化；
若两个元素其中一个是背景元素，即或/>，那么认为构成该匹配对的目标检测结果在测试光学卫星遥感图像对的两幅图像中存在变化，当/>时，测试光学卫星遥感图像对中第一幅图像中的第/>个目标检测结果在测试光学卫星遥感图像对中第二幅图像中没有对应，当/>时，测试光学卫星遥感图像对中第二幅图像中的第/>个目标检测结果在测试光学卫星遥感图像对中第一幅图像中没有对应。
进一步地，本发明所述(S2)中，将所述测试光学卫星遥感图像对输入到训练好的光学卫星遥感图像对目标检测模型中进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果。
进一步地，本发明所述(S2)中，光学卫星遥感图像对目标检测模型的训练方法，包括：
获取训练用光学卫星遥感图像对，光学卫星遥感图像对是光学卫星对同一地区不同时期的成像结果，对光学卫星遥感图像对中感兴趣目标进行标注，标注信息包括目标的位置和尺度信息；
搭建实例级变化检测的深度学习网络，所述深度学习网络包括特征提取模块、时空注意力模块和目标检测模块，特征提取模块用于从输入的光学卫星遥感图像对中提取每幅图像的深度特征地图，得到光学卫星遥感图像对的深度特征地图对；时空注意力模块用于建模所述深度特征地图对中逐像素在空间和时间上的相关性，输出光学卫星遥感图像对中每幅图像增强后的深度特征地图；所述目标检测模块用于在每幅图像增强后的深度特征地图中提取目标信息，所述目标信息包括目标的位置和尺度信息；
利用光学卫星遥感图像对作为训练数据训练所述深度学习网络，使得深度学习网络对训练数据达到好的拟合效果，得到训练好的光学卫星遥感图像对目标检测模型。
进一步地，本发明所述标注信息还包括目标在图像中的旋转信息，所述目标检测模块提取到的目标信息还包括目标在图像中的旋转信息。
进一步地，本发明基于随机梯度下降法利用光学卫星遥感图像对训练所述深度学习网络。
进一步地，本发明训练所述深度学习网络时，训练收敛的条件是：当训练次数达到指定次数时，结束训练；或者，当训练的损失函数降低到指定阈值并持续低于阈值时，结束训练。
进一步地，本发明所述特征提取模块包括两个共享权重的特征提取网络，输入的光学卫星遥感图像对中的两幅光学卫星遥感图像分别对应输入到一个特征提取网络中，提取得到各幅光学卫星遥感图像的深度特征地图。
进一步地，本发明所述目标检测模块包括两个共享权重的神经网络，光学卫星遥感图像对中两幅图像增强后的深度特征地图分别对应输入到一个神经网络中，提取得到各幅光学卫星遥感图像中的目标信息。
另一方面，本发明提供一种光学卫星遥感图像变化检测装置，包括：
第一模块，用于输入同一区域在不同时间的两幅光学卫星影像作为测试光学卫星遥感图像对；
第二模块，用于将所述测试光学卫星遥感图像对进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果；
第三模块，用于基于测试光学卫星遥感图像对中各幅图像的目标检测结果，利用最优传输理论建立两幅图像中目标检测结果的对应关系，并计算得到最终的变化结果，完成光学卫星遥感图像变化检测。
另一方面，本发明提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
输入同一区域在不同时间的两幅光学卫星影像作为测试光学卫星遥感图像对；
将所述测试光学卫星遥感图像对进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果；
基于测试光学卫星遥感图像对中各幅图像的目标检测结果，利用最优传输理论建立两幅图像中目标检测结果的对应关系，并计算得到最终的变化结果，完成光学卫星遥感图像变化检测。
另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
输入同一区域在不同时间的两幅光学卫星影像作为测试光学卫星遥感图像对；
将所述测试光学卫星遥感图像对进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果；
基于测试光学卫星遥感图像对中各幅图像的目标检测结果，利用最优传输理论建立两幅图像中目标检测结果的对应关系，并计算得到最终的变化结果，完成光学卫星遥感图像变化检测。
相比现有技术，本发明的技术效果：
本发明利用最优传输理论来建立两幅影像检测结果的对应关系，并计算最后的变化结果。本发明相比像素级变化检测，能减少大量计算，并且不需要提前对影像对进行精细配准。
进一步地，本发明提供了一种光学卫星遥感图像对目标检测模型及其训练方法，其利用深度神经网络提取时序影像对的多尺度特征，并使用时空注意力模块捕捉不同尺度特征的时空依赖性，使用目标检测模块检测影像中的感兴趣目标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是一实施例提供的一种光学卫星遥感图像实例级变化检测方法的流程图；
图2是一实施例中深度学习网络的结构示意图；
图3是一实施例中使用的时空注意力模块结构图；
图4是一实施例中补充阈值后的距离方阵示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，一实施例的流程图，提供一种光学卫星遥感图像实例级变化检测方法，包括以下步骤：
(S1)输入同一区域在不同时间的两幅光学卫星影像作为测试光学卫星遥感图像对；
(S2)将所述测试光学卫星遥感图像对进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果；
(S3)基于测试光学卫星遥感图像对中各幅图像的目标检测结果，利用最优传输理论建立两幅图像中目标检测结果的对应关系，并计算得到最终的变化结果，完成光学卫星遥感图像变化检测。
可以理解，现有技术中公开了很多目标检测方法能够实现步骤（S2)中的目标检测，本领域技术人员可以进行选择，本发明对目标检测方法不作具体限制。
在一实施例中提供一种目标检测方法，即将所述测试光学卫星遥感图像对输入到训练好的光学卫星遥感图像对目标检测模型中进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果。
在一实施例中，提供一种光学卫星遥感图像对目标检测模型的训练方法，包括：
获取训练用光学卫星遥感图像对，光学卫星遥感图像对是光学卫星对同一地区不同时期的成像结果，对光学卫星遥感图像对中感兴趣目标进行标注，标注信息包括目标的位置和尺度信息，作为训练样本；
搭建实例级变化检测的深度学习网络，所述深度学习网络包括特征提取模块、时空注意力模块和目标检测模块，特征提取模块用于从输入的光学卫星遥感图像对中提取每幅图像的深度特征地图，得到光学卫星遥感图像对的深度特征地图对；时空注意力模块用于建模所述深度特征地图对中逐像素在空间和时间上的相关性，输出光学卫星遥感图像对中每幅图像增强后的深度特征地图；所述目标检测模块用于在每幅图像增强后的深度特征地图中提取目标信息，所述目标信息包括目标的位置和尺度信息；
利用训练样本训练所述深度学习网络，使得深度学习网络对训练数据达到好的拟合效果，得到训练好的光学卫星遥感图像对目标检测模型。
上述光学卫星遥感图像对目标检测模型的训练方法中，光学卫星遥感图像对是光学卫星对同一地区不同时期的成像结果，基于相同的长、宽。对光学卫星遥感图像对中感兴趣目标进行标注，标注信息包括目标的位置和尺度信息，也可以包含目标在图像中的旋转信息。每个训练样本由光学卫星遥感图像对及其光学卫星遥感图像对中两幅图像中的标注信息构成。
一实施例中，参照图2为深度学习网络的结构示意图，搭建的深度学习网络包括特征提取模块、时空注意力模块和目标检测模块，特征提取模块用于从输入的光学卫星遥感图像对中提取每幅图像的深度特征地图，得到光学卫星遥感图像对的深度特征地图对；时空注意力模块用于建模所述深度特征地图对中逐像素在空间和时间上的相关性，输出光学卫星遥感图像对中每幅图像增强后的深度特征地图；所述目标检测模块用于在每幅图像增强后的深度特征地图中提取目标信息，所述目标信息包括目标的位置和尺度信息，也可以包含目标在图像中的旋转信息。
在本发明一实例中，基于所述训练样本采用随机梯度下降法训练所述深度神经网络。
所述特征提取模块，可以采用公开可用的神经网络结构，输出不同尺度、通道数相同的深度特征地图。在神经网络的训练和测试过程中，特征提取模块采用孪生神经网络结构，将训练样本中的光学卫星遥感图像对作为一个批次，输入到所述特征提取模块中，提取光学卫星遥感图像对中每幅图像的深度特征地图。
所述时空注意力模块用于建模所述光学卫星遥感图像对对应的深度特征地图对中逐像素在空间和时间上的相关性，输出增强后的深度特征地图对。
所述目标检测模块的输入是增强后的深度特征地图对，输出的光学卫星遥感图像对两幅图像中感兴趣目标的目标信息，所述目标信息包括目标的位置和尺度信息，也可以包含目标在图像中的旋转信息。所述目标检测模块采用公开可用的神经网络结构。在神经网络的训练和测试过程中，所述目标检测模块采用孪生神经网络结构，将一对增强后的深度特征地图作为一个批次，输入到所述目标检测模块中，提取每幅图像中感兴趣目标的目标信息。
参照图2，所述特征提取模块包括两个共享权重的特征提取网络，输入的光学卫星遥感图像对中的两幅光学卫星遥感图像分别对应输入到一个特征提取网络中，提取得到各幅光学卫星遥感图像的深度特征地图。由所述深度特征提取模块提取的图像对的特征地图分别记为和/>，其中/>、/>和/>是深度特征地图的通道数量、长度和宽度。
参照图3，一实施例中使用的时空注意力模块结构图，所述时空注意力模块的实现方法包括：
将光学卫星遥感图像对中的两幅光学卫星遥感图像的深度特征地图和/>叠加成一个堆叠特征地图张量/>；
将所述堆叠特征地图张量输入注意力子模块，在注意力子模块中将输入的所述堆叠特征地图张量转换为三个特征地图张量，将所述三个特征地图张量/>、和/>分别重构为一个查询矩阵/>、一个关键矩阵/>、和一个值矩阵/>。所述重构方法，将多维度的特征地图变换为一个二维的矩阵，其中特征的维度保持不变。在本实施例中，特征地图张量/>、/>和/>的维度是4，在重构时保持特征维度不变，将后三个维度压扁（具体可以参考PyTorch等深度学习框架 ），得到重构后的矩阵，形状为/>，其中，即特征地图中元素的数量。
将注意力映射图定义为相似度矩阵。相似度矩阵中的元素/>是第/>个键和第/>个查询之间的相似度。
基于所述关键矩阵和查询矩阵应用一个softmax函数生成注意力映射图，其中关键矩阵/>，查询矩阵/>，/>，其中/>表示实数，/>表示深度特征地图元素数量，/>是深度特征地图的通道数量；
通过值矩阵与注意力映射图/>的矩阵乘法计算重构矩阵/>；
将重构矩阵与堆叠特征地图张量/>相加，得到更新后的特征地图张量，/>、/>和/>是深度特征地图的通道数量、长度和宽度；
将所述更新后的特征地图张量分成两个特征映射/>和/>，/>和/>分别为光学卫星遥感图像对中两幅图像增强后的深度特征地图。
参照图2，实施例中所述目标检测模块包括两个共享权重的神经网络，光学卫星遥感图像对中两幅图像增强后的深度特征地图分别对应输入到一个神经网络中，提取得到各幅光学卫星遥感图像中的目标信息。
一实施例中，提供的一种光学卫星遥感图像实例级变化检测方法，所述步骤(S3)通过以下步骤实现：
（1）设测试光学卫星遥感图像对中两幅图像的目标检测结果分别为和/>，其中/>分别表示测试光学卫星遥感图像对中第一幅图像中第1个至第/>个目标的目标信息，/>分别表示测试光学卫星遥感图像对中第二幅图像中第1个至第/>个目标的目标信息，/>；
（2）计算两幅图像的目标检测结果逐元素对的距离，得到初始距离矩阵；
（3）使用给定的距离阈值补充初始距离矩阵/>，得到距离方阵/>；
（4）将距离方阵输入到最优传输问题求解算法中，得到成功匹配的元素对，记输出的匹配对为/>，其中匹配对的数量为方阵的尺寸/>，/>表示第一幅图像中的第/>个目标检测结果和第二幅图像中的第/>个目标检测结果成功匹配，成为第/>个匹配对/>；
（5）对于成功匹配的第个匹配对/>，有三种情况：
若两个元素均为背景元素，即且/>，则不需要关注该匹配对；
若两个元素均不是背景元素，即且/>，那么认为构成该匹配对的目标检测结果在测试光学卫星遥感图像对的两幅图像中没有发生变化；
若两个元素其中一个是背景元素，即或/>，那么认为构成该匹配对的目标检测结果在测试光学卫星遥感图像对的两幅图像中存在变化，当/>时，测试光学卫星遥感图像对中第一幅图像中的第/>个目标检测结果在测试光学卫星遥感图像对中第二幅图像中没有对应，当/>时，测试光学卫星遥感图像对中第二幅图像中的第/>个目标检测结果在测试光学卫星遥感图像对中第一幅图像中没有对应。
上述步骤（2）中，针对水平框（不包含旋转信息）可以使用IoU或者GIoU；针对旋转框（包含旋转信息）可以使用KFIoU或者SkewIoU等。这里以GIoU为例，记得到的初始距离矩阵为为：
；
上述步骤（3）中，使用距离阈值补充初始距离矩阵/>，得到距离方阵。如图4所示，一实施例中补充阈值后的距离方阵示意图，其中距离方阵/>的前行、前/>列为初始距离矩阵/>，其余元素的值为/>。
；
被补充的元素作为背景匹配对，即目标检测结果与背景的距离为。
上述步骤（4）中，将距离方阵输入到最优传输问题求解算法中，例如Skinhorn算法，得到成功匹配的元素对，记输出的匹配对为/>，其中匹配对的数量为方阵的尺寸/>。
本发明一实施例中，提供一种光学卫星遥感图像变化检测装置，包括：
第一模块，用于输入同一区域在不同时间的两幅光学卫星影像作为测试光学卫星遥感图像对；
第二模块，用于将所述测试光学卫星遥感图像对进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果；
第三模块，用于基于测试光学卫星遥感图像对中各幅图像的目标检测结果，利用最优传输理论建立两幅图像中目标检测结果的对应关系，并计算得到最终的变化结果，完成光学卫星遥感图像变化检测。
上述各模块的实现方法以及模型的构建均可采用前述任一实施例的中所描述的方法，在此不再赘述。
另一方面，本发明提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一实施例中所提供的光学卫星遥感图像实例级变化检测方法的步骤。该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。
另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中所提供的光学卫星遥感图像实例级变化检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本发明未尽事宜为公知技术。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种光学卫星遥感图像实例级变化检测方法，其特征在于，包括：
(S1)输入同一区域在不同时间的两幅光学卫星影像作为测试光学卫星遥感图像对；
(S2)将所述测试光学卫星遥感图像对进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果；
(S3)基于测试光学卫星遥感图像对中各幅图像的目标检测结果，利用最优传输理论建立两幅图像中目标检测结果的对应关系，并计算得到最终的变化结果，完成光学卫星遥感图像变化检测。
2.根据权利要求1所述的光学卫星遥感图像实例级变化检测方法，其特征在于，所述步骤(S3)，包括：
设测试光学卫星遥感图像对中两幅图像的目标检测结果分别为和，其中/>分别表示测试光学卫星遥感图像对中第一幅图像中第1个至第/>个目标的目标信息，/>分别表示测试光学卫星遥感图像对中第二幅图像中第1个至第/>个目标的目标信息，/>；
计算两幅图像的目标检测结果逐元素对的距离，得到初始距离矩阵；
使用给定的距离阈值补充初始距离矩阵/>，得到距离方阵/>，其中/>表示实数；
将距离方阵输入到最优传输问题求解算法中，得到成功匹配的元素对，记输出的匹配对为/> ，其中匹配对的数量为方阵的尺寸/>，/>表示第一幅图像中的第/>个目标检测结果和第二幅图像中的第/>个目标检测结果成功匹配，成为第/>个匹配对/>；
对于成功匹配的第个匹配对/>，有三种情况：
若两个元素均为背景元素，即且/>，则不需要关注该匹配对；
若两个元素均不是背景元素，即且/>，那么认为构成该匹配对的目标检测结果在测试光学卫星遥感图像对的两幅图像中没有发生变化；
若两个元素其中一个是背景元素，即或/>，那么认为构成该匹配对的目标检测结果在测试光学卫星遥感图像对的两幅图像中存在变化，当/>时，测试光学卫星遥感图像对中第一幅图像中的第/>个目标检测结果在测试光学卫星遥感图像对中第二幅图像中没有对应，当/>时，测试光学卫星遥感图像对中第二幅图像中的第/>个目标检测结果在测试光学卫星遥感图像对中第一幅图像中没有对应。
3.根据权利要求1所述的光学卫星遥感图像实例级变化检测方法，其特征在于，所述(S2)中，将所述测试光学卫星遥感图像对输入到训练好的光学卫星遥感图像对目标检测模型中进行目标检测，得到测试光学卫星遥感图像对中各幅图像的目标检测结果。
4.根据权利要求3所述的光学卫星遥感图像实例级变化检测方法，其特征在于，所述(S2)中，光学卫星遥感图像对目标检测模型的训练方法，包括：
获取训练用光学卫星遥感图像对，光学卫星遥感图像对是光学卫星对同一地区不同时期的成像结果，对光学卫星遥感图像对中感兴趣目标进行标注，标注信息包括目标的位置和尺度信息；
搭建实例级变化检测的深度学习网络，所述深度学习网络包括特征提取模块、时空注意力模块和目标检测模块，特征提取模块用于从输入的光学卫星遥感图像对中提取每幅图像的深度特征地图，得到光学卫星遥感图像对的深度特征地图对；时空注意力模块用于建模所述深度特征地图对中逐像素在空间和时间上的相关性，输出光学卫星遥感图像对中每幅图像增强后的深度特征地图；所述目标检测模块用于在每幅图像增强后的深度特征地图中提取目标信息，所述目标信息包括目标的位置和尺度信息；
利用光学卫星遥感图像对作为训练数据训练所述深度学习网络，使得深度学习网络对训练数据达到好的拟合效果，得到训练好的光学卫星遥感图像对目标检测模型。
5.根据权利要求4所述的光学卫星遥感图像实例级变化检测方法，其特征在于，所述标注信息还包括目标在图像中的旋转信息，所述目标检测模块提取到的目标信息还包括目标在图像中的旋转信息。
6.根据权利要求4所述的光学卫星遥感图像实例级变化检测方法，其特征在于，基于随机梯度下降法利用光学卫星遥感图像对训练所述深度学习网络。
7.根据权利要求4所述的光学卫星遥感图像实例级变化检测方法，其特征在于，训练所述深度学习网络时，训练收敛的条件是：当训练次数达到指定次数时，结束训练；或者，当训练的损失函数降低到指定阈值并持续低于阈值时，结束训练。
8.根据权利要求4或权利要求5或权利要求6或权利要求7所述的光学卫星遥感图像实例级变化检测方法，其特征在于，所述特征提取模块包括两个共享权重的特征提取网络，输入的光学卫星遥感图像对中的两幅光学卫星遥感图像分别对应输入到一个特征提取网络中，提取得到各幅光学卫星遥感图像的深度特征地图。
9.根据权利要求8所述的光学卫星遥感图像实例级变化检测方法，其特征在于，所述时空注意力模块的实现方法包括：
将光学卫星遥感图像对中的两幅光学卫星遥感图像的深度特征地图叠加成一个堆叠特征地图张量；
将所述堆叠特征地图张量输入注意力子模块，在注意力子模块中将输入的所述堆叠特征地图张量转换为三个特征地图张量，将所述三个特征地图张量分别重构为一个关键矩阵、一个查询矩阵和一个值矩阵；
基于所述关键矩阵和查询矩阵应用一个softmax函数生成注意力映射图，其中关键矩阵/>，查询矩阵/>，/>，其中/>表示实数，/>表示深度特征地图元素数量，/>是深度特征地图的通道数量；
通过值矩阵与注意力映射图/>的矩阵乘法计算重构矩阵/> ；
将重构矩阵与堆叠特征地图张量/>相加，得到更新后的特征地图张量/>，C、H和W是深度特征地图的通道数量、长度和宽度；
将所述更新后的特征地图张量分成两个特征映射/>和/>，/>和/>分别为光学卫星遥感图像对中两幅图像增强后的深度特征地图。
10.根据权利要求4或权利要求5或权利要求6或权利要求7或权利要求9所述的光学卫星遥感图像实例级变化检测方法，其特征在于，所述目标检测模块包括两个共享权重的神经网络，光学卫星遥感图像对中两幅图像增强后的深度特征地图分别对应输入到一个神经网络中，提取得到各幅光学卫星遥感图像中的目标信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410228524.XA CN117808807B (zh) | 2024-02-29 | 2024-02-29 | 光学卫星遥感图像实例级变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410228524.XA CN117808807B (zh) | 2024-02-29 | 2024-02-29 | 光学卫星遥感图像实例级变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117808807A true CN117808807A (zh) | 2024-04-02 |
| CN117808807B CN117808807B (zh) | 2024-05-14 |
Family
ID=90432040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410228524.XA Active CN117808807B (zh) | 2024-02-29 | 2024-02-29 | 光学卫星遥感图像实例级变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117808807B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489096A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图匹配模型的低配准精度下遥感图像变化检测方法 |
| CN112633114A (zh) * | 2020-12-17 | 2021-04-09 | 深圳中科保泰科技有限公司 | 面向建筑物变化事件的无人机巡查智能预警方法和装置 |
| CN114926511A (zh) * | 2022-05-11 | 2022-08-19 | 西安电子科技大学 | 一种基于自监督学习的高分辨率遥感影像变化检测方法 |
| CN114973028A (zh) * | 2022-05-17 | 2022-08-30 | 中国电子科技集团公司第十研究所 | 一种航拍视频图像实时变化检测方法及系统 |
| US20220358334A1 (en) * | 2021-05-10 | 2022-11-10 | Qingdao Technological University | Assembly body change detection method, device and medium based on attention mechanism |
| WO2023017663A1 (en) * | 2021-08-13 | 2023-02-16 | Mitsubishi Electric Corporation | Systems and methods for image processing based on optimal transport and epipolar geometry |
| CN115937546A (zh) * | 2022-11-30 | 2023-04-07 | 北京百度网讯科技有限公司 | 图像匹配、三维图像重建方法、装置、电子设备以及介质 |
| CN116403007A (zh) * | 2023-04-12 | 2023-07-07 | 北京卫星信息工程研究所 | 基于目标向量的遥感影像变化检测方法 |
| CN117093848A (zh) * | 2023-07-20 | 2023-11-21 | 北京航空航天大学 | 一种基于注意力机制的双层壁结构特征提取方法 |
-
2024
- 2024-02-29 CN CN202410228524.XA patent/CN117808807B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489096A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图匹配模型的低配准精度下遥感图像变化检测方法 |
| CN112633114A (zh) * | 2020-12-17 | 2021-04-09 | 深圳中科保泰科技有限公司 | 面向建筑物变化事件的无人机巡查智能预警方法和装置 |
| US20220358334A1 (en) * | 2021-05-10 | 2022-11-10 | Qingdao Technological University | Assembly body change detection method, device and medium based on attention mechanism |
| WO2023017663A1 (en) * | 2021-08-13 | 2023-02-16 | Mitsubishi Electric Corporation | Systems and methods for image processing based on optimal transport and epipolar geometry |
| CN114926511A (zh) * | 2022-05-11 | 2022-08-19 | 西安电子科技大学 | 一种基于自监督学习的高分辨率遥感影像变化检测方法 |
| CN114973028A (zh) * | 2022-05-17 | 2022-08-30 | 中国电子科技集团公司第十研究所 | 一种航拍视频图像实时变化检测方法及系统 |
| CN115937546A (zh) * | 2022-11-30 | 2023-04-07 | 北京百度网讯科技有限公司 | 图像匹配、三维图像重建方法、装置、电子设备以及介质 |
| CN116403007A (zh) * | 2023-04-12 | 2023-07-07 | 北京卫星信息工程研究所 | 基于目标向量的遥感影像变化检测方法 |
| CN117093848A (zh) * | 2023-07-20 | 2023-11-21 | 北京航空航天大学 | 一种基于注意力机制的双层壁结构特征提取方法 |
Non-Patent Citations (3)
| Title |
|---|
| MARCO FIORUCCI, PETER NAYLOR, MAKOTO YAMADA: "Optimal Transport for Change Detection on Lidar Point Clouds", IGARSS 2023 - 2023 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM, 20 October 2023 (2023-10-20), pages 982 - 985 * |
| NIKITA PRONKO: "Change Point Detection with Optimal Transport and Geometric Discrepancy", HTTPS://DOI.ORG/10.48550/ARXIV.1707.08658, 26 July 2017 (2017-07-26), pages 1 - 26 * |
| 刘占红;刘一超;薛峰;李慧;: "遥感图像变化检测综述", 微型机与应用, no. 15, 10 August 2013 (2013-08-10), pages 7 - 10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117808807B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110837846B (zh) | 一种图像识别模型的构建方法、图像识别方法及装置 | |
| CN110929622A (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| Chen et al. | Convolutional neural network based dem super resolution | |
| CN108154133B (zh) | 基于非对称联合学习的人脸画像-照片识别方法 | |
| WO2019136591A1 (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
| CN106156777A (zh) | 文本图片检测方法及装置 | |
| CN115019370A (zh) | 一种基于双细粒度伪影的深度伪造视频检测方法 | |
| CN103268484A (zh) | 用于高精度人脸识别的分类器设计方法 | |
| CN114419406A (zh) | 图像变化检测方法、训练方法、装置和计算机设备 | |
| CN111242840A (zh) | 手写体字符生成方法、装置、计算机设备和存储介质 | |
| CN112580480A (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
| CN113095158A (zh) | 一种基于对抗生成网络的笔迹生成方法及装置 | |
| Zhang et al. | Collaborative weighted multi-view feature extraction | |
| Li et al. | Enhanced bird detection from low-resolution aerial image using deep neural networks | |
| CN117671509B (zh) | 遥感目标检测方法、装置、电子设备及存储介质 | |
| CN111046755A (zh) | 字符识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN117808807B (zh) | 光学卫星遥感图像实例级变化检测方法 | |
| Xue et al. | A subspace learning-based method for JPEG mismatched steganalysis | |
| CN115861540A (zh) | 二维脸部的三维重建方法、装置、设备及存储介质 | |
| CN113343810B (zh) | 基于时序多样性与相关性的行人重识别模型训练和识别方法与装置 | |
| Liu et al. | Towards misregistration-tolerant change detection using deep learning techniques with object-based image analysis | |
| Li et al. | Refined division features based on Transformer for semantic image segmentation | |
| CN112307980A (zh) | 一种基于不完整多视聚类的图像识别方法 | |
| CN113657358B (zh) | 数据图像的非负特征表示和识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |