CN118212534B - 一种双时相遥感影像的变化检测方法及系统 - Google Patents

一种双时相遥感影像的变化检测方法及系统 Download PDF

Info

Publication number
CN118212534B
CN118212534B CN202410614290.2A CN202410614290A CN118212534B CN 118212534 B CN118212534 B CN 118212534B CN 202410614290 A CN202410614290 A CN 202410614290A CN 118212534 B CN118212534 B CN 118212534B
Authority
CN
China
Prior art keywords
remote sensing
image
correction
double
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410614290.2A
Other languages
English (en)
Other versions
CN118212534A (zh
Inventor
张志鑫
乔延军
甘勇
柳嘉
杨欢
皮新宇
肖涵
刘达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang Water Resources Commission Network And Information Center
Original Assignee
Changjiang Water Resources Commission Network And Information Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang Water Resources Commission Network And Information Center filed Critical Changjiang Water Resources Commission Network And Information Center
Priority to CN202410614290.2A priority Critical patent/CN118212534B/zh
Publication of CN118212534A publication Critical patent/CN118212534A/zh
Application granted granted Critical
Publication of CN118212534B publication Critical patent/CN118212534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种双时相遥感影像的变化检测方法及系统，属于图像处理技术领域，所述方法包括：获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像；对双时相遥感影像进行影像校正，生成双时相遥感校正影像；计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征；对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果。本发明提供了一种全流程的遥感影像变化检测技术方案，并且考虑了遥感影像的相似特征和深度特征丰富了差异特征信息，有助于提高变化检测的精度。

Description

一种双时相遥感影像的变化检测方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种双时相遥感影像的变化检测方法及系统。
背景技术
随着互联网、遥感数据处理和人工智能等技术的快速进步，智能遥感监测与监控领域正经历着前所未有的变革和提升。深度学习等先进的人工智能技术的融入，极大地推动了遥感学科的繁荣发展。得益于人工智能和计算机视觉的支持，众多遥感检测系统已成功实现了技术的更新换代和实际应用的落地。
然而，传统的基于遥感影像的变化检测方法受限于特征信息，难以实现变化结果的高精度检测。
发明内容
本发明提供一种双时相遥感影像的变化检测方法及系统，用以解决现有技术中难以进行变化结果的精确检测的缺陷。
第一方面，本发明提供一种双时相遥感影像的变化检测方法，包括：获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像；对双时相遥感影像进行影像校正，生成双时相遥感校正影像；其中，双时相遥感校正影像包括两幅不同时相的遥感校正影像；计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征；对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果。
根据本发明提供的双时相遥感影像的变化检测方法，获取待检测区域的任一时相的遥感影像的步骤包括：获取待检测区域任一时相的全色遥感影像和多光谱遥感影像；通过预先训练完成的深度学习模型识别出全色遥感影像和多光谱遥感影像的地面控制点，以对全色遥感影像和多光谱遥感影像进行正射校正；利用全色锐化算法对正射校正后的全色遥感影像和多光谱遥感影像进行图像融合生成所述任一时相的遥感影像。
根据本发明提供的双时相遥感影像的变化检测方法，对双时相遥感影像进行影像校正，生成双时相遥感校正影像，包括网格粗校正流程和多尺度精校正流程；其中，网格粗校正流程包括：对双时相遥感影像进行网格化处理；对网格化处理后每个网格的图像区域进行影像校正，以生成粗校正双时相遥感影像；其中，多尺度精校正流程包括：将进行尺度初始化后的粗校正双时相遥感影像，输入至预设校正模型中进行影像校正；对上一轮影像校正的结果进行尺度变换，使得影像尺度越来越大，并利用所述预设校正模型进行下一轮的影像校正，直到影像尺度恢复至原本的尺度，以完成最终的影像校正，输出双时相遥感校正影像。
根据本发明提供的双时相遥感影像的变化检测方法，计算两幅不同时相的遥感校正影像的相似特征，包括：对两幅不同时相的遥感校正影像进行特征匹配；对特征匹配后的匹配点进行相似度计算；提取相似度大于预设阈值的匹配点的特征，作为相似特征。
根据本发明提供的双时相遥感影像的变化检测方法，计算两幅不同时相的遥感校正影像的深度特征的差分特征，包括：利用Transformer网络分别提取两幅不同时相的遥感校正影像的语义特征作为深度特征；将两个深度特征的差值作为深度特征的差分特征。
根据本发明提供的双时相遥感影像的变化检测方法，所述深度学习模型具有双分支结构；一个分支由图像块嵌入化表达模块、归一化模块以及多头注意力机制和多层感知机串联组成，另一分支由卷积层、激活层、池化层以及全连接层串联组成；两个分支汇合后与线性层连接。
第二方面，本发明还提供一种双时相遥感影像的变化检测系统，包括：
获取模块，用于获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像；
影像校正模块，用于对双时相遥感影像进行影像校正，生成双时相遥感校正影像；其中，双时相遥感校正影像包括两幅不同时相的遥感校正影像；
特征融合模块，用于计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征；
变化检测模块，用于对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述双时相遥感影像的变化检测方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述双时相遥感影像的变化检测方法的步骤。
本发明提供了一种全流程的遥感影像变化检测技术方案，并且考虑了遥感影像的相似特征和深度特征丰富了差异特征信息，有助于提高变化检测的精度。
本发明针对传统的正射校正依赖专业知识和人工操作的缺陷，提出融合全局特征和局部特征的深度学习模型，自动提取影像中的地面控制点，提高了正射校正的自动化程度和效率。
本发明提出了网格粗校正-多尺度精校正的影像校正方法，解决了大尺度影像校正困难以及效率低的难题，降低了内存使用需求，提高了校正精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的双时相遥感影像的变化检测方法的流程示意图；
图2是本发明提供的变化检测结果的示意图；
图3是本发明提供的利用深度学习模型识别地面控制点的示意图；
图4是本发明提供的多尺度精校正方法的流程示意图；
图5是本发明提供的基于相似特征和深度特征的变化检测方法的流程示意图；
图6是本发明提供的双时相遥感影像的变化检测系统的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
下面结合图1-图7描述本发明实施例所提供的双时相遥感影像的变化检测方法和系统。
图1是本发明提供的双时相遥感影像的变化检测方法的流程示意图，如图1所示，包括但不限于以下步骤：
步骤101：获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像。
可选地，本发明收集并准备两幅在不同时间的遥感影像，遥感影像将用于分析待检测区域在两个时间点之间的变化。例如，本发明可以分析建筑物的变化情况。
步骤102：对双时相遥感影像进行影像校正，生成双时相遥感校正影像；其中，双时相遥感校正影像包括两幅不同时相的遥感校正影像。
本发明可以对双时相遥感影像进行影像校正，以确保它们在几何和辐射上是一致的。可选地，影像校正包括辐射校正、大气校正、几何校正等步骤，以消除不同传感器、时间和条件的影响。
步骤103：计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征。
可选地，相似特征计算：本发明可以使用图像匹配算法（如SIFT、ORB等）计算两幅校正影像之间的相似特征点，这些特征点在两幅影像中都存在，并具有相似的描述符；进一步地，通过确定相似特征点以进行相似特征的求取。
可选地，差分特征计算：计算两幅影像的深度特征（可能通过深度学习模型如CNN或Transformer网络提取），并找出它们之间的差异，即差分特征。
可选地，特征融合：将相似特征和差分特征进行拼接，形成融合特征。这一过程涉及到特征向量的合并或特征空间的转换。
步骤104：对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果。
图2是本发明提供的变化检测结果的示意图，如图2所示，展示了待检测区域的变化信息。
可选地，本发明对融合特征每一个点采用sigmoid函数进行二分类，输出0或1的变化检测结果，其中0代表不变化、1代表变化。
可选地，本发明还可以使用融合特征训练一个二分类器，如支持向量机（SVM）、随机森林，以区分变化和未变化的区域。
进一步地，本发明还可以通过变化检测结果，确定变化区域的位置和范围。通常，这会涉及到结果的可视化和进一步的后处理。
可选地，本发明针对变化检测结果进行进一步的提取、过滤和格式转换，降低误识别结果的影响，提高灵活使用程度，具体包括轮廓提取、图斑过滤、图斑简化和格式化输出。
其中，轮廓提取是指从二分类结果中提取出变化的目标轮廓（如建筑物轮廓），形成图斑对象。图斑过滤是指计算图斑对象的面积，并采用一定的阈值对图斑进行过滤，降低小图斑的扰动误差。图斑简化是对图斑形状进行压缩，用更少的数据来表示图斑轮廓，达到不影响图斑形状和大小的前提下压缩图斑的存储量。格式化输出是指针对系统内外部的使用需求，对结果的表达形式进行适配转换，可将结果格式化成文件（json、shp等格式），也可形成geojson数据服务供外部调用。
本发明可对变化检测结果的格式进行转换，支持文件（json、shp等格式）、geojson格式数据等形式的导出与对接，既可作为独立的系统，也可与其它系统进行数据交互，具有较高的使用灵活性。
本发明提供了一个综合了图像处理和机器学习技术的方法，考虑了遥感影像的相似特征和深度特征丰富了差异特征信息，旨在从遥感影像中更加准确地检测出变化信息。
基于上述实施例的内容，作为一种可选的实施例，本发明提供一种双时相遥感影像的变化检测方法，获取待检测区域的任一时相的遥感影像的步骤包括：获取待检测区域任一时相的全色遥感影像和多光谱遥感影像；通过预先训练完成的深度学习模型识别出全色遥感影像和多光谱遥感影像的地面控制点，以对全色遥感影像和多光谱遥感影像进行正射校正；利用全色锐化算法对正射校正后的全色遥感影像和多光谱遥感影像进行图像融合生成所述任一时相的遥感影像。
正射校正是将倾斜或不规则的影像转换为与地面坐标系统一致的过程，以消除地形引起的变形。
本发明中的全色遥感影像通常为具有较高空间分辨率的遥感影像，能够提供详细的地表信息。例如，全色遥感影像可以为通过高分二号采集的单波段全色图像。
本发明中多光谱遥感影像包含多个光谱波段的影像，能够提供关于地表的更多信息。
传统的方法往往依赖于数字高程模型，本发明创新性地采用深度学习模型，自动识别影像中的地面控制点，这种方法可以减少对专业知识的依赖和人工操作的需求。
图3是本发明提供的利用深度学习模型识别地面控制点的示意图，如图3所示，所述深度学习模型具有双分支结构；一个分支由图像块嵌入化表达模块、归一化模块以及多头注意力机制和多层感知机串联组成，另一分支由卷积层、激活层、池化层以及全连接层串联组成；两个分支汇合后与线性层连接。
本发明中的深度学习模型的输入为全色遥感影像或多光谱遥感影像。这种结构在处理复杂的图像任务时非常具有优势，因为它可以同时捕获图像的不同特征。以下是对该模型的进一步详细解释：
图像块嵌入化表达模块：这个模块可能用于将图像分割成块，并为每个块生成一个嵌入向量，这有助于模型学习图像的局部特征。
归一化模块：归一化（如Batch Normalization）有助于稳定训练过程，加快收敛速度，并有轻微的正则化效果。
多头注意力机制：多头注意力机制是本发明中深度学习模型的核心组成部分，它允许模型同时在不同的表示子空间中关注输入的不同部分，这有助于捕获图像的全局依赖关系。
多层感知机（MLP）：在这个上下文中，MLP可能用于在注意力机制之后进一步处理特征，增加模型的非线性表达能力。
卷积层：用于提取图像的局部特征，卷积层通过滤波器（或称为卷积核）扫描图像，生成特征图。
激活层：通常使用ReLU或其变种来引入非线性，使得模型能够学习更复杂的特征。
池化层：进行降采样，减少特征图的尺寸，同时增加感受野，有助于模型捕获更高层次的特征。
全连接层：将卷积层和池化层提取的高级特征映射到最终的输出空间，通常在CNN的最后几层使用。
两个分支汇合：在两个分支提取的特征之后，它们被合并或连接起来，以便于模型能够同时利用注意力机制捕获的全局特征和CNN捕获的局部特征。
从通道维度和点维度进行加权融合获取汇合后的特征，如式（1）所示：
（1）
其中，表示汇合后的特征，表示sigmoid函数，代表左侧分支的点特征，代表右侧分支的通道特征。
线性层：汇合后的特征通常通过一个或多个线性层进行处理，以生成最终的输出。在分类任务中，线性层的输出尺寸通常与类别数量相同。本发明中的输入为地面控制点的识别结果。
本发明中的深度学习模型通过双分支结构，模型能够同时学习图像的局部细节和全局上下文信息；不同的任务可能需要不同的特征表示，双分支结构提供了灵活性，可以根据任务需求调整每个分支的复杂度；整个模型可以端到端地进行训练，自动学习从输入遥感图像到最终输出的最佳路径。
在对全色遥感影像和多光谱遥感影像进行正射校正之后，本发明对全色遥感影像和多光谱遥感影像进行重采样，并利用全色锐化算法（Pan Sharpening，PS）对正射校正后的全色遥感影像和多光谱遥感影像进行图像融合生成所述任一时相的遥感影像。
其中，全色锐化算法是一种常用的图像处理技术，用于提高多光谱（MS）影像的空间分辨率。全色影像（PAN）通常具有比多光谱影像更高的空间分辨率，因此，全色锐化算法通过将PAN影像的高分辨率信息融合到MS影像中，从而生成具有高分辨率和丰富光谱信息的融合影像。
进一步地，本发明提供的全色锐化算法有效避免了主成分分析方法中信息过度集中在少数几个主成分上的问题，使得融合后的图像在不同波段间能更均衡地分布信息。此外，PS方法不受特定波段的限制，因此在保持图像空间纹理细节方面表现优越，尤其是在维持光谱特征的真实性方面有着出色的效果。
基于上述实施例的内容，作为一种可选的实施例，本发明提供的双时相遥感影像的变化检测方法，对双时相遥感影像进行影像校正，生成双时相遥感校正影像，包括网格粗校正流程和多尺度精校正流程。
网格粗校正流程包括：对双时相遥感影像进行网格化处理；对网格化处理后每个网格的图像区域进行影像校正，以生成粗校正双时相遥感影像；下面进一步的对网格粗校正流程进行进一步的说明：
（1）图像网格化：
将双时相遥感影像分割成若干个较小的网格或块，以便于并行处理或减少单次处理的数据量。
网格化可以显著提高处理速度，因为对每个小网格的处理比对整个大图像的处理要快得多。
（2）深度学习特征提取：
使用深度学习算法，如卷积神经网络（CNN），自动从双时相遥感影像中提取特征点。深度学习模型能够识别和提取图像中的复杂特征，这些特征对于后续的匹配过程至关重要。
（3）特征点匹配：
使用深度学习提取的特征点，通过特征匹配算法（例如暴力匹配、特征匹配网络等）在两幅不同时相的遥感影像之间找到对应的特征点对。
（4）RANSAC算法：
利用RANSAC算法从匹配的特征点对中估计单应性变换矩阵。RANSAC算法通过迭代的方式，选择一组内点（即正确匹配的特征点），计算单应性变换矩阵，然后根据这个矩阵对所有匹配点进行拟合度检验，剔除外点（即错误匹配的特征点），最终得到一个鲁棒的单应性变换矩阵。
（4）单应性变换：
使用RANSAC算法估计的单应性变换矩阵，对原始图像进行变换，以校正视角差异和畸变。单应性变换是一种考虑了透视投影的变换，适用于校正两幅图像之间的视角差异。
本发明中粗校正的目的是大致对齐图像，为后续的精细校正或其他图像处理任务（如立体匹配、图像融合等）提供基础。
图4是本发明提供的多尺度精校正方法的流程示意图，多尺度精校正流程包括：将进行尺度初始化后的粗校正双时相遥感影像，输入至预设校正模型中进行影像校正；对上一轮影像校正的结果进行尺度变换，使得影像尺度越来越大，并利用所述预设校正模型进行下一轮的影像校正，直到影像尺度恢复至原本的尺度，以完成最终的影像校正，输出双时相遥感校正影像。下面结合图4对经校正的流程进行进一步的说明：
（1）尺度初始化
本发明通常选择一个较小的尺度（不是原始图像的尺寸）开始校正过程。参照图4，本发明将初始化后的粗校正双时相遥感影像称之为粗校正影像1和粗校正影像2。
（2）输入预设校正模型：
将经过尺度初始化的粗校正影像输入到预设的影像校正模型中进行进一步校正。本发明中的预设校正模型可以为预先训练完成卷积神经网络。例如，通过卷积神经网络学习单应性变换矩阵，以实现影像校正。
（3）尺度变换：
对上一轮校正的结果进行尺度变换，通常通过上采样或插值方法，使得影像的尺度逐渐增大。
（4）连续校正：
利用预设校正模型对变换后的影像进行下一轮的校正，每一轮的校正都建立在前一轮校正的基础上，直到影像的尺度增加到接近或达到原始影像的尺度。
（5）最终校正：
当影像尺度恢复至原本的尺度时，完成最终的影像校正，输出双时相遥感校正影像。即为图4中的精校正影像1和精校正影像2。
具体地，本发明一共校正N轮，每一轮的变换尺度是上一轮尺度的2倍；尺度1与尺度N之间的关系如下：
(2)
其中，为原本的尺度，为初始化后的尺度。
本发明采用的多尺度精校正流程，通过从低分辨率到高分辨率的逐步校正，可以更精确地对齐影像，尤其是在地形复杂的区域；在较低分辨率下进行初步校正可以减少噪声的影响，提高校正的鲁棒性；在较低分辨率下进行初步校正可以减少计算量，提高处理效率。
本发明通过粗校正和精校正两个阶段的结合，实现了对高分辨率遥感影像的高效、高精度配准；不仅提高了影像配准的性能和效率，还为后续的变化检测提供了稳定、可靠的数据支持。
图5是本发明提供的基于相似特征和深度特征的变化检测方法的流程示意图，下面结合图5对本发明中的变化检测的过程进行进一步的说明。
作为一种可选的实施例，本发明提供的双时相遥感影像的变化检测方法，计算两幅不同时相的遥感校正影像的相似特征，包括：对两幅不同时相的遥感校正影像进行特征匹配；对特征匹配后的匹配点进行相似度计算；提取相似度大于预设阈值的匹配点的特征，作为相似特征。具体地，包括但不限于以下步骤：
（1）特征提取：
使用特征检测算法（如SIFT、SURF、ORB等）从两幅遥感校正影像中提取关键点和相应的特征描述符。
（2）特征匹配：
利用特征匹配算法（如暴力匹配、特征匹配网络等等）在两幅遥感校正影像的特征描述符之间找到匹配点对。这些算法会根据特征描述符的相似度来确定匹配点。
可选地，本发明还可以对匹配点对进行筛选，移除错误的匹配。这可以通过RANSAC算法等鲁棒性方法实现，该方法能够识别并排除异常值，提高匹配的准确性。
（3）相似度计算：
对筛选后的匹配点对计算相似度。相似度可以通过多种方式计算，如特征描述符向量之间的欧氏距离、余弦相似度等。
（4）阈值设定：
设定一个相似度阈值（即预设阈值），用于区分相似特征和不相似特征。阈值的设定通常基于经验或通过分析数据集特性来确定。
（5）相似特征提取
根据计算得到的相似度，提取相似度大于或等于预设阈值的匹配点的特征，这些特征被认定为相似特征。
作为一种可选的实施例，本发明提供的双时相遥感影像的变化检测方法，计算两幅不同时相的遥感校正影像的深度特征的差分特征，包括：利用Transformer网络分别提取两幅不同时相的遥感校正影像的语义特征作为深度特征；将两个深度特征的差值作为深度特征的差分特征。
具体地，在遥感图像分析中，深度学习技术尤其是Transformer网络被广泛应用于特征提取。Transformer网络最初是为自然语言处理设计的，但因其强大的性能和灵活性，也被用于图像处理任务。
选择或设计一个基于Transformer的模型，该模型能够处理图像数据并提取特征；使用Transformer网络对两幅影像分别进行前向传播，得到每幅影像的深度特征表示。这些特征通常位于模型的最后几层，能够捕捉到图像的高级语义信息。
将对两幅遥感校正影像提取到的深度特征进行差分，即计算它们之间的差值。这个差值可以是逐元素的差，也可以是某种形式的统计差异，如均值差异、标准差差异等。
由此可知，深度特征提取采用Transformer网络提取图斑的语义信息，并通过特征融合模块将两幅影像的深度特征的差分结果与相似性特征进行拼接，得到融合特征，如下式（3）至（4）所示。
(3)
(4)
其中，、、分别代表两幅遥感校正影像的深度特征；代表差分特征，、分别代表通道维度拼接操作和归一化操作，和分别代表相似特征和融合特征。
图6是本发明提供的双时相遥感影像的变化检测系统的结构示意图，如图6所示，所述系统包括：获取模块610、影像校正模块620、特征融合模块630以及变化检测模块640。
其中，获取模块610，用于获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像；
影像校正模块620，用于对双时相遥感影像进行影像校正，生成双时相遥感校正影像；其中，双时相遥感校正影像包括两幅不同时相的遥感校正影像；
特征融合模块630，用于计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征；
变化检测模块640，用于对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果。
需要说明的是，本发明实施例提供的双时相遥感影像的变化检测系统，在具体运行时，可以执行上述任一实施例所述的双时相遥感影像的变化检测方法，对此本实施例不作赘述。
图7是本发明提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器（processor）710、通信接口（communications interface）720、存储器（memory）730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行双时相遥感影像的变化检测方法，该方法包括：获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像；对双时相遥感影像进行影像校正，生成双时相遥感校正影像；其中，双时相遥感校正影像包括两幅不同时相的遥感校正影像；计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征；对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的双时相遥感影像的变化检测方法，该方法包括：获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像；对双时相遥感影像进行影像校正，生成双时相遥感校正影像；其中，双时相遥感校正影像包括两幅不同时相的遥感校正影像；计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征；对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的双时相遥感影像的变化检测方法，该方法包括：获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像；对双时相遥感影像进行影像校正，生成双时相遥感校正影像；其中，双时相遥感校正影像包括两幅不同时相的遥感校正影像；计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征；对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种双时相遥感影像的变化检测方法，其特征在于，包括：
获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像；
对双时相遥感影像进行影像校正，生成双时相遥感校正影像；其中，双时相遥感校正影像包括两幅不同时相的遥感校正影像；
计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征；
对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果；
对双时相遥感影像进行影像校正，生成双时相遥感校正影像，包括网格粗校正流程和多尺度精校正流程；
其中，网格粗校正流程包括：
对双时相遥感影像进行网格化处理；
对网格化处理后每个网格的图像区域进行影像校正，以生成粗校正双时相遥感影像；
其中，多尺度精校正流程包括：
将进行尺度初始化后的粗校正双时相遥感影像，输入至预设校正模型中进行影像校正；
对上一轮影像校正的结果进行尺度变换，使得影像尺度越来越大，并利用所述预设校正模型进行下一轮的影像校正，直到影像尺度恢复至原本的尺度，以完成最终的影像校正，输出双时相遥感校正影像；
计算两幅不同时相的遥感校正影像的相似特征，包括：
对两幅不同时相的遥感校正影像进行特征匹配；
对特征匹配后的匹配点进行相似度计算；
提取相似度大于预设阈值的匹配点的特征，作为相似特征；
计算两幅不同时相的遥感校正影像的深度特征的差分特征，包括：
利用Transformer网络分别提取两幅不同时相的遥感校正影像的语义特征作为深度特征；
将两个深度特征的差值作为深度特征的差分特征。
2.根据权利要求1所述的双时相遥感影像的变化检测方法，其特征在于，获取待检测区域的任一时相的遥感影像的步骤包括：
获取待检测区域任一时相的全色遥感影像和多光谱遥感影像；
通过预先训练完成的深度学习模型识别出全色遥感影像和多光谱遥感影像的地面控制点，以对全色遥感影像和多光谱遥感影像进行正射校正；
利用全色锐化算法对正射校正后的全色遥感影像和多光谱遥感影像进行图像融合生成所述任一时相的遥感影像。
3.根据权利要求2所述的双时相遥感影像的变化检测方法，其特征在于，所述深度学习模型具有双分支结构；
一个分支由图像块嵌入化表达模块、归一化模块以及多头注意力机制和多层感知机串联组成，另一分支由卷积层、激活层、池化层以及全连接层串联组成；
两个分支汇合后与线性层连接。
4.一种双时相遥感影像的变化检测系统，其特征在于，包括：
获取模块，用于获取待检测区域的双时相遥感影像；所述双时相遥感影像包括两幅不同时相的遥感影像；
影像校正模块，用于对双时相遥感影像进行影像校正，生成双时相遥感校正影像；其中，双时相遥感校正影像包括两幅不同时相的遥感校正影像；
对双时相遥感影像进行影像校正，生成双时相遥感校正影像，包括网格粗校正流程和多尺度精校正流程；
其中，网格粗校正流程包括：
对双时相遥感影像进行网格化处理；
对网格化处理后每个网格的图像区域进行影像校正，以生成粗校正双时相遥感影像；
其中，多尺度精校正流程包括：
将进行尺度初始化后的粗校正双时相遥感影像，输入至预设校正模型中进行影像校正；
对上一轮影像校正的结果进行尺度变换，使得影像尺度越来越大，并利用所述预设校正模型进行下一轮的影像校正，直到影像尺度恢复至原本的尺度，以完成最终的影像校正，输出双时相遥感校正影像；
特征融合模块，用于计算两幅不同时相的遥感校正影像的相似特征，以及两幅不同时相的遥感校正影像的深度特征的差分特征，并对相似特征和差分特征进行特征拼接形成融合特征；
计算两幅不同时相的遥感校正影像的相似特征，包括：
对两幅不同时相的遥感校正影像进行特征匹配；
对特征匹配后的匹配点进行相似度计算；
提取相似度大于预设阈值的匹配点的特征，作为相似特征；
计算两幅不同时相的遥感校正影像的深度特征的差分特征，包括：
利用Transformer网络分别提取两幅不同时相的遥感校正影像的语义特征作为深度特征；
将两个深度特征的差值作为深度特征的差分特征；
变化检测模块，用于对融合特征对应的每一个像素点进行二分类，获取待检测区域的变化检测结果。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述双时相遥感影像的变化检测方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述双时相遥感影像的变化检测方法的步骤。
7.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述双时相遥感影像的变化检测方法的步骤。
CN202410614290.2A 2024-05-17 2024-05-17 一种双时相遥感影像的变化检测方法及系统 Active CN118212534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410614290.2A CN118212534B (zh) 2024-05-17 2024-05-17 一种双时相遥感影像的变化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410614290.2A CN118212534B (zh) 2024-05-17 2024-05-17 一种双时相遥感影像的变化检测方法及系统

Publications (2)

Publication Number Publication Date
CN118212534A CN118212534A (zh) 2024-06-18
CN118212534B true CN118212534B (zh) 2024-07-26

Family

ID=91450564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410614290.2A Active CN118212534B (zh) 2024-05-17 2024-05-17 一种双时相遥感影像的变化检测方法及系统

Country Status (1)

Country Link
CN (1) CN118212534B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310828A (zh) * 2023-03-23 2023-06-23 重庆邮电大学 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置
CN117765404A (zh) * 2023-11-01 2024-03-26 重庆交通大学 一种基于特征相关性神经网络的复杂场景变化检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740608B2 (en) * 2012-06-13 2020-08-11 San Diego State University Research Foundation Wide area intermittent video using non-orthorectified feature matching in long period aerial image capture with pixel-based georeferencing
US9245201B1 (en) * 2013-03-15 2016-01-26 Excelis Inc. Method and system for automatic registration of images
CN105389817B (zh) * 2015-11-04 2017-11-14 河海大学 一种两时相遥感影像变化检测方法
US10817747B2 (en) * 2019-03-14 2020-10-27 Ubicquia Iq Llc Homography through satellite image matching
CN115331087B (zh) * 2022-10-11 2023-03-24 水利部交通运输部国家能源局南京水利科学研究院 融合区域语义与像素特征的遥感影像变化检测方法及系统
CN117788379A (zh) * 2023-11-27 2024-03-29 西北工业大学 一种基于域变换的端到端的异源遥感图像变化检测方法
CN117953369A (zh) * 2024-01-12 2024-04-30 辽宁工程技术大学 一种融合孪生编解码和注意力机制的遥感影像变化检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310828A (zh) * 2023-03-23 2023-06-23 重庆邮电大学 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置
CN117765404A (zh) * 2023-11-01 2024-03-26 重庆交通大学 一种基于特征相关性神经网络的复杂场景变化检测方法

Also Published As

Publication number Publication date
CN118212534A (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN103729643B (zh) 多模式场景中的三维对象的识别和姿势确定
EP2677464B1 (en) Feature detection in numeric data
CN108090919A (zh) 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN113128610B (zh) 一种工业零件位姿估计方法及系统
CN111797744B (zh) 一种基于共现滤波算法的多模态遥感图像匹配方法
CN103679636A (zh) 基于点、线双重特征的快速图像拼接方法
CN113570508A (zh) 图像修复方法及装置、存储介质、终端
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN108009472A (zh) 一种基于卷积神经网络和贝叶斯分类器的指背关节纹识别方法
CN112950685A (zh) 一种红外与可见光图像配准方法、系统及存储介质
CN109376641A (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
Almasri et al. Rgb guided thermal super-resolution enhancement
CN116128944A (zh) 一种基于特征交互和可靠对应关系估计的三维点云配准方法
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN113807237A (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN113034371A (zh) 一种基于特征嵌入的红外与可见光图像融合方法
CN118212534B (zh) 一种双时相遥感影像的变化检测方法及系统
CN117173437A (zh) 多维定向自相似特征的多模态遥感影像混合匹配方法和系统
CN108122233B (zh) 基于局部像素综合特征的彩色图像分割方法
CN112183650B (zh) 一种在相机失焦情况下的数字检测识别方法
CN114882585A (zh) 基于双流网络的人体姿态估计方法
CN115359507A (zh) 手部姿势识别方法、装置、电子设备、及计算机可读存储介质
CN114972451A (zh) 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant