CN116363526A - MROCNet模型构建与多源遥感影像变化检测方法及系统 - Google Patents
MROCNet模型构建与多源遥感影像变化检测方法及系统 Download PDFInfo
- Publication number
- CN116363526A CN116363526A CN202310366868.2A CN202310366868A CN116363526A CN 116363526 A CN116363526 A CN 116363526A CN 202310366868 A CN202310366868 A CN 202310366868A CN 116363526 A CN116363526 A CN 116363526A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- expansion
- sensing image
- expansion residual
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000013136 deep learning model Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 49
- 239000013598 vector Substances 0.000 claims description 29
- 230000011218 segmentation Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 239000013585 weight reducing agent Substances 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 230000036541 health Effects 0.000 abstract description 2
- 230000004044 response Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Abstract
本发明公开了一种多源遥感影像对象类型变化检测深度学习模型MROCNet构建方法及应用，首先通过所提的精确匹配算法，完成多源遥感影像的匹配和对象语义标注，构建双时相多源遥感影像对象类型变化检测数据集；并构建基于孪生网络架构的MROCNet模型，该模型的每个主干网由四个长短型分支构成，其中两个分支包括轻量化串并联扩张残差网络模块和多尺度通道信息增强模块，另外两个分支包括轻量化串并联扩张残差网络模块和多尺度空间信息增强模块；最后基于构建的数据集训练模型，通过语义计算对比实现地物类型变化检测。本发明能够有效解决遥感影像中的类内不一致和类间相似性问题，提升网络模型的判别能力，为河湖健康管理的及时响应提供智能化方法。
Description
技术领域
本发明涉及遥感影像的变化检测技术领域，具体涉及一种多源遥感影像对象类型变化检测深度学习模型MROCNet(Multi-source Remote Sensing Images Object TypeChange Detection Network，简称MROCNet)的构建及应用。
背景技术
遥感影像变化检测技术是一种涉及到遥感技术、图像处理、机器学习、深度学习等多知识领域交叉的技术。在科研领域，从同一地点、不同时间点拍摄的两幅或多幅遥感影像中提取出变化区域的过程称为遥感影像变化检测。遥感影像变化检测技术应用广泛，在土地覆盖、灾难评估、城市管理、生态保护等领域都有重要的应用。例如，利用变化检测技术能够及时监控建筑的建设与拆除情况，合理规划城镇发展，减少违法建筑的安全隐患及杜绝非法占用土地资源的情况；利用变化检测技术可以监测地表植被的变化情况，从而保护林业资源、打击乱采乱伐等行为。可以利用遥感影像变化检测技术对同一区域不同时相的影像数据进行对比和判读，及时发现河湖周边的违规建筑、垃圾堆积、滥采滥伐等违规行为。
传统的变化检测任务实际上是一个二分类任务，即对同一区域范围不同时相遥感影像上的每个像素进行识别，并根据识别结果进行二次判别后在后时相影像上分为两类：“发生变化”和“未发生变化”，不涉及不同时相影像的区域语义变化状态显示。但是，从管理者的角度而言，对于河湖健康问题的监管不仅需要知道发生变化的区域，还需要知道如何变化的，即要解决“什么对象变成了什么对象”的问题，我们称之为对象类型变化检测。随着深度学习的发展，卷积神经网络(CNN)在图像处理领域显示出优于传统方法的巨大优势。卷积神经网络具有强大的特征提取能力，可以从海量数据中学习特征向量，并且可以同时完成特征提取和特征分类功能，由于其强大的性能，卷积神经网络已经被引入图像处理的许多领域，如图像分类、语义分割、目标检测、目标跟踪、图像复原等。
对于遥感影像而言，语义分割旨在对图像中的每一像素点进行分类，以实现图像的区域划分。基于深度学习的变化检测方法通常使用语义分割的方式来实现，按照变化检测结果获取方式的不同，可以将基于语义分割的变化检测方法分为直接比较法和分类后比较法，直接比较法能够实现实时端到端检测，但是容易受配准精度、噪声等外在因素的影响，且只能检测出数据集中出现的变化。分类后比较法在训练时不需要变化检测的标签，且可以检测出数据集中从未出现的变化，但是步骤不够简洁，变化检测的精度依赖于语义分割的精度，然而在遥感影像中，同一类别因场景复杂、尺度变化大、颜色不同、形状不同等因素，类内差距较大，而不同的类别间因形状、颜色等外观相似，类间差距较小，这给遥感影像的语义分割带来很大的挑战。因此需要研究一种新型的、性能优良的遥感影像变化检测方法，实现从构建数据集到变化检测的完整流程。
发明内容
发明目的：为了克服现有技术在遥感影像变化检测方面的不足，本发明提供一种多源遥感影像对象类型变化检测深度学习模型MROCNet的构建以及基于该深度学习模型的遥感影像变化检测方法、系统，为智慧水利和河湖健康管理提供先进技术。
技术方案：为实现上述发明目的，本发明所采用的技术方案是：一种多源遥感影像对象类型变化检测深度学习模型构建方法，包括如下步骤：
(1)采用经纬度标签进行遥感影像的四边形裁切，实现遥感影像的大尺度匹配；利用SIFT尺度不变特征变换算法进行经纬度下的像素点匹配，对于匹配的像素点进行随机抽样并通过经纬度距离值消除错误匹配点；对匹配完成的多源遥感影像进行匹配标签和对象语义的标注，构建双时相多源遥感影像对象类型变化检测数据集；
(2)构建基于孪生网络架构的多源遥感影像对象类型变化检测深度学习模型MROCNet，该模型的每个主干网由四个长短型分支构成，其中两个分支包括轻量化串并联扩张残差网络模块和多尺度通道信息增强模块，另外两个分支包括轻量化串并联扩张残差网络模块和多尺度空间信息增强模块；所述轻量化串并联扩张残差网络模块，整合扩张残差网络串联和并联的优点，包括三个扩张残差网络分支，分支间设计参数共享模式，实现串并联结构的轻量化；所述多尺度空间信息增强模块，捕获局部特征与全局特征之间的依赖关系，求得多尺度空间注意力矩阵，并据此将轻量化串并联扩张残差网络模块提取的多尺度空间特征上采样到相同尺寸后加权融合并与原始特征进行相加，以增强判别特征之间的语义一致性；所述多尺度通道信息增强模块，利用注意力机制进行通道权重向量求解，根据通道权重向量，将不同尺度的相同通道特征进行加权融合，以增强不同对象间语义差异性；
(3)利用遥感影像对象类型变化检测数据集训练MROCNet模型。
进一步地，所述步骤(1)中数据集构建具体包括：
(11)记前时相遥感影像四个角点的经纬度坐标顺时针依次为am1k1,am2k2,am3k3,am4k4，后时相遥感影像四个角点的经纬度坐标顺时针依次为bp1q1,bp2q2,bp3q3,bp4q4,对由am1k1,am2k2,am3k3,am4k4围成的像素区域A与由bp1q1,bp2q2,bp3q3,bp4q4围成的像素区域B取交集，得到四个交点的经纬度坐标cm1k1,cm2k2,cm3k3,cm4k4，然后分别在两个不同时相的遥感影像上删除由cm1k1,cm2k2,cm3k3,cm4k4围成区域以外的像素点，并对剩余像素点排序成栅格图像格式，基于经纬度计算实现了像素级不同时相遥感影像的大尺度匹配；
(12)大尺度匹配后的两张遥感影像进行基于SIFT尺度不变特征变换算法的匹配，求得匹配特征点集合S，设置匹配点对之间的距离阈值T；
(13)基于样本之中任意三个不能共线的基本理论，在匹配特征点集合S中随机抽取至少四个样本数据，将这些被抽取的匹配点作为初始集合计算对应的匹配特征点之间的距离矩阵；
(14)将集合S中剩余的匹配点根据距离矩阵中距离的平均值计算得到新的位置坐标，计算该位置坐标与原位置坐标的距离d；
(15)若d≥T，则将匹配点定义为错误匹配点，若d＜T，则将匹配点定义为正确匹配点；
(16)重复步骤(13)至(15)直到达到预设的迭代次数，选择正确匹配点数量最多的一组点集合作为最终的正确匹配点集合；
(17)当匹配点对的均方根误差满足设定目标时，表示双时相遥感影像匹配成功，对匹配的双时相遥感影像赋予匹配标签和对象语义标签，构建双时相多源遥感影像对象类型变化检测数据集。
进一步地，所述步骤(2)中多源遥感影像对象类型变化检测深度学习模型MROCNet的主干网的第一个分支包括四个轻量化串并联扩张残差网络模块和一个多尺度通道信息增强模块，第二个分支包括三个轻量化串并联扩张残差网络模块和一个多尺度通道信息增强模块，第三个分支包括两个轻量化串并联扩张残差网络模块和一个多尺度空间信息增强模块，第四个分支包括一个轻量化串并联扩张残差网络模块和一个多尺度空间信息增强模块；各个分支中不同分辨率的特征图都会经过上采样或者下采样后输入到其他分支中。
所述步骤(2)中轻量化串并联扩张残差网络模块的三个并行的扩张残差网络分支分别由三个扩张残差模块串联、两个扩张残差模块串联、一个扩张残差模块构成，其中每个扩张残差模块都由两个卷积层和一个跳跃连接构成；三个扩张残差网络分支通过不同扩张率的扩张残差模块提取多尺度空间特征和通道特征，分支间设计参数共享模式，实现串并联结构的轻量化，将每个分支提取的多尺度空间特征和通道特征与原始特征融合，作为模块的最终输出。
第一个扩张残差网络分支由三个串联的扩张残差模块组成，三个扩张残差模块的扩张率依次为1、2、4，第一个分支的输出表示为：
Output1＝D4(D2(D1(X)))
其中Di表示扩张率设置为i的扩张残差模块的输出，X表示输入特征图；
第二个扩张残差网络分支由一个扩张率为1的扩张残差模块和一个扩张率为2的扩张残差模块串联而成，其输出表示为：
Output2＝D2(D1(X))
第三个扩张残差网络分支只有一个扩张率为1的扩张残差模块，其输出表示为D1(X)；
串并联扩张残差网络模块的最终输出是三个扩张残差网络分支输出的多尺度特征与原始特征的融合，表示为：
Output＝D4(D2(D1(X)))+D2(D1(X))+D1(X)+X
扩张残差网络分支间设计参数共享模式，其中第一个扩张残差网络分支与第二个扩张残差网络分支之间共享前两个扩张残差模块的参数，第二个扩张残差网络分支与第三个扩张残差网络分支之间共享第一个扩张残差模块的参数，通过这种参数共享的方式实现串并联结构的轻量化。
所述步骤(2)中多尺度空间信息增强模块分为两个部分，一部分是多尺度空间注意力矩阵求解，另一部分是根据多尺度空间注意力矩阵对多尺度空间特征进行加权融合；
所述多尺度空间注意力矩阵求解过程为：首先，将输入的多尺度空间特征图
(其中C、H、W分别代表特征图的通道数、高度和宽度)经过卷积层(C，1×1)后得到特征图/>
同样将X经过卷积层(C′，1×1)后得到两个特征图/>
C′是C的因数；其次，将三维矩阵x′转换为二维矩阵C×N，同样将三维矩阵U和V转换为二维矩阵C′×N，其中N＝H×W；然后，将二维矩阵U的转置与二维矩阵V相乘后，通过softmax函数计算出空间注意力矩阵/>
所述根据多尺度空间注意力矩阵对多尺度空间特征进行加权融合过程为：将二维矩阵X′与空间注意力矩阵A的转置作矩阵乘法操作，将得到的二维矩阵结果重塑为三维矩阵，并与输入特征图X进行逐元素相加得到最终增强后的特征图
所述步骤(2)中多尺度通道信息增强模块分为两个部分，一部分是对多尺度通道信息分别利用注意力机制进行通道权重向量求解，另一部分是根据通道权重向量将不同尺度的相同通道特征进行加权融合；
所述通道权重向量求解过程为：首先，对输入的特征图
其中C、H、W分别代表特征图的通道数、高度和宽度，使用全局平均池化，将其压缩成大小为1×1×C的全局空间特征；其次，将计算所得的全局空间特征经过两个全连接层和Sigmoid激活函数后得到1×1×C的通道权重向量，通道权重向量中的每一个元素分别对应一个特征通道的权值，权值介于0到1之间，在第一个全连接层中，将通道数减少为/>
r表示比例系数；
所述根据通道权重向量将不同尺度的相同通道特征进行加权融合，是将通道权重向量中的每个元素与原始特征图对应通道相乘。
进一步地，所述步骤(3)中训练MROCNet模型的损失函数表示为：
Loss＝Loss1+Loss2
Loss1和Loss2为多类别的交叉熵损失函数，分别评估两张影像预测得到的语义分割结果与真实标签之间的损失，表示为：
其中，P1和P2分别表示前、后时相遥感影像，m表示遥感影像的像素个数，n表示类别的个数；I(x)是一个示性函数，当x为真时，即像素j的预测类别yj与真实类别i相同时结果为1，否则结果为0；P(y(j)＝i|x(j))表示像素j属于类别i的概率。
基于MROCNet模型实现的一种多源遥感影像对象类型变化检测方法，包括如下步骤：基于MROCNet模型并行实现双时相遥感影像的语义分割；将得到的两个语义分割结果进行定位并逐像素进行语义计算对比，实现遥感影像地物类型变化检测，包括：逐像素对比前时相遥感影像的语义分割结果和后时相遥感影像的语义分割结果，对于其中匹配的每一对像素(xi,yi)，若xi与yi的类别一样，则语义标记不变，否则，xi的语义标记类别则被替换为xi→yi的语义变化标记类别；通过可视化结果的输出智能发现对象的具体变化。
一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现根据所述的一种多源遥感影像对象类型变化检测深度学习模型构建方法的步骤，或者实现根据所述的一种多源遥感影像对象类型变化检测方法的步骤。
有益效果：本发明构建的MROCNet模型可有效解决遥感影像中的类内不一致和类间相似性问题。类内不一致问题主要来源于上下文信息的缺失，本发明通过构建轻量化串并联扩张残差网络模块来增强网络模型对多尺度上下文信息的表示能力，从而有效缓解类内不一致问题；对于类间相似性问题，构建多尺度空间信息增强模块和多尺度通道信息增强模块，以增强不同对象间语义差异性，减少不同对象类之间的相似性对语义分割结果的干扰，提升网络模型的判别能力。
附图说明
图1是本发明实施例的多源遥感影像变化检测方法流程示意图。
图2是本发明实施例中多源遥感影像对象类型变化检测数据集示例图；(a)(b)分别是两个时相的语义分割结果，(c)(d)分别是两个时相的遥感影像。
图3是本发明实施例中构建的基于孪生网络架构的MROCNet模型的网络结构图。
图4是本发明实施例中构建的轻量化串并联扩张残差网络模块的网络结构图。
图5是本发明实施例中构建的多尺度空间信息增强模块的网络结构图。
图6是本发明实施例中构建的多尺度通道信息增强模块的网络结构图。
图7是本发明实施例用于洱海对象类型变化检测实验图；(a)是双时相遥感影像，(b)是语义分割结果，d是对象类型变化检测结果。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
结合图1描述本发明的技术细节，本发明实施例公开的一种多源遥感影像对象类型变化检测深度学习模型构建方法，主要包括如下步骤：
步骤一：提出SIFT(Scale Invariant Feature Transform)+多元化影像精确匹配算法，并构建面向孪生网络结构的双时相多源遥感影像对象类型变化检测数据集。
准备同一区域不同时相的遥感影像，对影像进行辐射定标、大气校正、正射校正和图像融合等预处理操作。提出SIFT+多元化影像精确匹配算法，并构建面向孪生网络结构的双时相多源遥感影像对象类型变化检测数据集。由于多源遥感影像尺度不同但都有经纬度标签，因此采用经纬度标签进行遥感影像四边形裁切，实现遥感影像的大尺度匹配；进一步利用SIFT尺度不变特征变换算法进行经纬度下的像素点匹配，对于匹配的像素点进行随机抽样并通过两者的经纬度距离值消除错误匹配点；通过提出的SIFT+多元影像精确匹配算法实现遥感影像的精确匹配，对匹配完成的多源遥感影像标注匹配标签和对象语义标注，构建4200张双时相多源遥感影像对象类型变化检测数据集，数据集示例见图2；
其中，SIFT+多元化影像精确匹配算法包括：由于多源遥感影像尺度不同但都有经纬度标签，如高分二号遥感影像平均尺寸为30000*30000，空间分辨率为4m，而Landsat遥感影像平均尺寸为7800*7800，空间分辨率为30m，但是两者都会给出经纬度标签信息，因此，采用经纬度标签进行遥感影像的四边形裁切，以实现遥感影像的大尺度匹配。记前时相遥感影像四个角点的经纬度坐标顺时针依次为am1k1,am2k2,am3k3,am4k4，后时相遥感影像四个角点的经纬度坐标顺时针依次为bp1q1,bp2q2,bp3q3,bp4q4,对由am1k1,am2k2,am3k3,am4k4围成的像素区域A与由bp1q1,bp2q2,bp3q3,bp4q4围成的像素区域B取交集，得到四个交点的经纬度坐标cm1k1,cm2k2,cm3k3,cm4k4，然后分别在两个不同时相的遥感影像上删除由cm1k1,cm2k2,cm3k3,cm4k4围成区域以外的像素点，并对剩余像素点排序成栅格图像格式，完成遥感影像的大尺度匹配；对大尺度匹配后的两张遥感影像进行基于SIFT尺度不变特征变换算法的匹配，求得匹配特征点集合为S，并构建经纬度距离公式和匹配点对之间的距离阈值T，本实施例设置T＝0.99；基于样本之中任意三个不能共线的基本理论，在匹配特征点集合S中随机抽取至少4个样本数据，将这些被抽取的匹配点作为初始集合计算对应的匹配特征点之间的距离矩阵；将集合S中剩余的匹配点根据初始距离矩阵中距离的平均值计算得到新的位置坐标，计算该位置坐标与原位置坐标的距离d；判断距离d与阈值T的关系，若d＞T，则将该点定义为错误匹配点，若d＜T，则将该点定义为正确匹配点；设置最大迭代次数为20，迭代执行上述三个步骤，选择正确匹配点数量最多的一组点集合作为最终的正确匹配点集合。其中阈值的设定过程为：由于阈值T介于0.1到1之间，本实施例对T∈[0.1，1.0)之间的值以0.01为步长反复进行匹配试验，分别计算每个阈值对应的正确匹配点的数量，最后得出当T＝0.99时正确匹配点数量最多，因此本实施例设置阈值T＝0.99。
其中，数据集构建包括：基于提出的SIFT+多元化遥感影像匹配方法完成同一区域多源遥感影像的高效精度配准(均方根误差达到预期，如小于等于0.6)，并对匹配的双时相遥感影像裁剪为多对大小为256*256的小尺寸影像，并赋予匹配标签(以便将前后时相对应起来)，然后使用Labelme工具对影像中的对象标注语义标签，并采用随机旋转、翻转、调整对比度等数据增强技术对数据进行扩充，避免过拟合现象，最终构建完成了4200张双时相多源遥感影像对象类型变化检测数据集。
步骤二：构建基于孪生网络架构的多源遥感影像对象类型变化检测深度学习模型MROCNet。
基于孪生网络架构的多源遥感影像对象类型变化检测深度学习模型MROCNet具体设计见图3，该模型的主干网由4个长短型分支构成，第一个分支包括四个轻量化串并联扩张残差网络模块和一个多尺度通道信息增强模块，第二个分支包括三个轻量化串并联扩张残差网络模块和一个多尺度通道信息增强模块，第三个分支包括两个轻量化串并联扩张残差网络模块和一个多尺度空间信息增强模块，第四个分支包括一个轻量化串并联扩张残差网络模块和一个多尺度空间信息增强模块，各个分支中不同分辨率的特征图都会经过上采样或者下采样后输入到其他分支中，以得到更加丰富的特征表示。
为了给空间信息增强模块和通道信息增强模块提取所需的多尺度上下文信息，整合扩张残差网络串联和并联的优点，设计了串并联扩张残差网络模块结构，该模块由3个扩张残差网络和1个跳跃连接构成，分支间设计参数共享模式，实现串并联结构的轻量化，可以在不丢失局部信息的情况下并行提取不同大小感受野的上下文信息，从而实现多尺度空间特征和通道特征的提取。为了捕获更多局部特征与全局特征之间的依赖关系，求得多尺度空间注意力矩阵，并据此将串并联扩张残差网络模块提取的多尺度空间特征上采样到相同尺寸后加权融合并与原始特征进行相加，以增强判别特征之间的语义一致性，提高了网络模型对易混淆类别的判别能力，减少不同对象类之间的相似性对语义分割结果的干扰。对多尺度通道信息分别利用注意力机制进行通道权重向量求解，根据通道权重向量，将不同尺度的相同通道特征进行加权融合，关注有用通道特征忽略无用通道特征，以增强不同对象间语义差异性，缓解不同对象类相似性带来的信息干扰。
其中，轻量化串并联扩张残差网络模块具体设计见图4，该模块由3个扩张残差网络分支和1个跳跃连接构成，3个并行的扩张残差网络分支分别由3个扩张残差模块串联、2个扩张残差模块串联、1个扩张残差模块构成，其中每个扩张残差模块都由两个3*3大小的卷积核和一个跳跃连接构成；3个扩张残差网络分支通过不同扩张率的扩张残差模块提取多尺度空间特征和通道特征，分支间设计参数共享模式，实现串并联结构的轻量化，将每个分支提取的多尺度空间特征和通道特征与原始特征融合，作为模块的最终输出。第一个扩张残差网络分支由3个串联的扩张残差模块组成，3个扩张残差模块的扩张率依次为1、2、4，不同扩张率的扩张残差模块串联可以在不丢失局部信息的情况下有效地增大感受野，第一个分支的输出可以表示为：
Output1＝D4(D2(D1(X)))
其中Di表示扩张率设置为i的扩张残差模块的输出，X表示输入特征图；第二个扩张残差网络分支由一个扩张率为1的扩张残差模块和一个扩张率为2的扩张残差模块串联而成，其输出可以表示为：
Output2＝D2(D1(X))
第三个扩张残差网络分支只有一个扩张率为1的扩张残差模块，其输出表示为D1(X)，跳跃连接是将原始特征输出表示为X；串并联扩张残差网络模块的最终输出是3个扩张残差网络分支输出的多尺度空间特征和通道特征与原始特征的融合，可以表示为：
Output＝D4(D2(D1(X)))+D2(D1(X))+D1(X)+X
扩张残差网络分支间设计参数共享模式，其中第一个扩张残差网络分支与第二个扩张残差网络分支之间共享前两个扩张残差模块的参数，第二个扩张残差网络分支与第三个扩张残差网络分支之间共享第一个扩张残差模块的参数，通过这种参数共享的方式实现串并联结构的轻量化。
其中，多尺度空间信息增强模块具体设计见图5，为了捕获更多局部特征与全局特征之间的依赖关系，设计了多尺度空间信息增强模块，该模块分为两个部分，一部分是多尺度空间注意力矩阵求解，另一部分是根据多尺度空间注意力矩阵对多尺度空间特征进行加权融合。多尺度空间信息增强模块可以增强判别特征之间的语义一致性，提高了网络模型对易混淆类别的判别能力，减少不同对象类之间的相似性对语义分割结果的干扰；多尺度注意力矩阵求解过程为：首先，将输入的多尺度空间特征图
(其中C、H、W分别代表特征图的通道数、高度和宽度)经过卷积层(C，1×1)后得到特征图/>
同样将X经过卷积层(C′，1×1)后得到两个特征图/>
C′是C的因数，本实施例取
以缩短训练时间和减少计算量；其次，将三维矩阵X′转换为二维矩阵C×N，同样将三维矩阵U和V转换为二维矩阵C′×N，其中N＝H×W；然后，将二维矩阵U的转置与二维矩阵V相乘后，通过softmax函数计算出空间注意力矩阵/>
其中N＝H×W。计算公式如下：
A＝softmax(UTV)
根据空间注意力矩阵将串并联扩张残差网络模块提取的多尺度空间特征上采样到相同尺寸后加权融合并与原始特征进行相加，具体而言，将二维矩阵X′与空间注意力矩阵A的转置作矩阵乘法操作，将得到的二维矩阵结果重塑为三维矩阵，并与输入特征图X进行逐元素相加得到最终增强后的特征图
计算公式如下：
其中r表示重塑操作，
表示逐元素相加操作。
其中，多尺度通道信息增强模块具体设计见图6，为了增强不同对象间语义差异性，缓解不同对象类相似性带来的信息干扰，设计了多尺度通道信息增强模块，该模块分为两个部分，一部分是对多尺度通道信息分别利用注意力机制进行通道权重向量求解，另一部分是根据通道权重向量将不同尺度的相同通道特征进行加权融合；通道权重向量求解过程为：首先，对输入的特征图
(其中C、H、W分别代表特征图的通道数、高度和宽度)使用全局平均池化(Global Pooling)将其压缩成大小为1×1×C的全局空间特征；其次，将计算所得的全局空间特征经过两个全连接层(FC)和Sigmoid激活函数后得到1×1×C的通道权重向量，通道权重向量中的每一个元素分别对应一个特征通道的权值，权值介于0到1之间，在第一个全连接层中，r表示比例系数，表示将通道数减少为/>
能够减少计算量和参数量，本实施例将r设置为8；根据通道权重向量将不同尺度的相同通道特征进行加权融合，具体而言，将通道权重向量中的每个元素与原始特征图对应通道相乘，关注有用通道特征忽略无用通道特征，以增强不同对象间语义差异性，缓解不同对象类相似性带来的信息干扰。加权融合计算公式如下：
Yc＝zcMc,c＝1,2,...,C
其中，Yc表示该模块输出的第c个通道的特征图，Mc表示输入到该模块的第c个通道的特征图，zc是通道权重向量中第c个通道特征图的权重。
步骤三：利用遥感影像对象类型变化检测数据集训练MROCNet模型。
首先，进行基于孪生架构的MROCNet模型的训练，经过几个不同学习率0.01、0.001、0.0001的对比，实验发现当学习率为0.0001时，网络模型收敛速度较快且收敛效果较好，因此利用构建的多源遥感影像对象类型变化检测数据集以0.0001为初始学习率并采用固定步长衰减学习率的方式进行MROCNet模型的迭代训练。训练MROCNet模型的损失函数表示为：
Loss＝Loss1+Loss2
Loss1和Loss2为多类别的交叉熵损失函数，分别评估两张影像预测得到的语义分割结果与真实标签之间的损失，表示为：
其中，P1和P2分别表示前、后时相遥感影像，m表示遥感影像的像素个数，n表示类别的个数。I(x)是一个示性函数，当x为真时，即像素j的预测类别yj与真实类别i相同时结果为1，否则结果为0。P(y(j)＝i|x(j))表示像素j属于类别i的概率，可以通过softmax分类器获取。
本发明实施例公开的多源遥感影像对象类型变化检测方法，基于上述训练好的MROCNet模型，用于洱海管理区域遥感影像地物类型变化检测，包括：
首先，基于MROCNet模型并行实现匹配的双时相遥感影像的语义分割，语义分割结果见图7的(b)。
然后，将得到的两个语义分割结果进行定位并逐像素进行语义计算对比，实现洱海管理区域遥感影像地物类型变化检测。具体而言，逐像素对比前时相遥感影像X的语义分割结果和后时相遥感影像Y的语义分割结果，对于其中匹配的每一对像素(xi,yi)，若xi与yi的类别一样，则语义标记不变，否则，xi的语义标记类别则被替换为xi→yi的语义标记类别,可通过最后可视化结果的输出智能发现该对象的具体变化，不再需要管理者进行对比确认其具体变化，多源遥感影像对象类型变化检测结果见图7的(c)。
基于相同的发明构思，本发明实施例公开的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现上述的多源遥感影像对象类型变化检测深度学习模型构建方法的步骤，或者上述的多源遥感影像对象类型变化检测方法的步骤。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种多源遥感影像对象类型变化检测深度学习模型构建方法，其特征在于，包括如下步骤：
(1)采用经纬度标签进行遥感影像四边形裁切，实现遥感影像的大尺度匹配；利用SIFT尺度不变特征变换算法进行经纬度下的像素点匹配，对于匹配的像素点进行随机抽样并通过经纬度距离值消除错误匹配点；对匹配完成的多源遥感影像进行匹配标签和对象语义的标注，构建双时相多源遥感影像对象类型变化检测数据集；
(2)构建基于孪生网络架构的多源遥感影像对象类型变化检测深度学习模型MROCNet，该模型的每个主干网由四个长短型分支构成，其中两个分支包括轻量化串并联扩张残差网络模块和多尺度通道信息增强模块，另外两个分支包括轻量化串并联扩张残差网络模块和多尺度空间信息增强模块；所述轻量化串并联扩张残差网络模块，整合扩张残差网络串联和并联的优点，包括三个扩张残差网络分支，分支间设计参数共享模式，实现串并联结构的轻量化；所述多尺度空间信息增强模块，捕获局部特征与全局特征之间的依赖关系，求得多尺度空间注意力矩阵，并据此将轻量化串并联扩张残差网络模块提取的多尺度空间特征上采样到相同尺寸后加权融合并与原始特征进行相加，以增强判别特征之间的语义一致性；所述多尺度通道信息增强模块，利用注意力机制进行通道权重向量求解，根据通道权重向量，将不同尺度的相同通道特征进行加权融合，以增强不同对象间语义差异性；
(3)利用遥感影像对象类型变化检测数据集训练MROCNet模型。
2.根据权利要求1所述的一种多源遥感影像对象类型变化检测深度学习模型构建方法，其特征在于，所述步骤(1)中数据集构建具体包括：
(11)记前时相遥感影像四个角点的经纬度坐标顺时针依次为am1k1,am2k2,am3k3,am4k4，后时相遥感影像四个角点的经纬度坐标顺时针依次为bp1q1,bp2q2,bp3q3,bp4q4,对由am1k1,am2k2,am3k3,am4k4围成的像素区域A与由bp1q1,bp2q2,bp3q3,bp4q4围成的像素区域B取交集，得到四个交点的经纬度坐标cm1k1,cm2k2,cm3k3,cm4k4，然后分别在两个不同时相的遥感影像上删除由cm1k1,cm2k2,cm3k3,cm4k4围成区域以外的像素点，并对剩余像素点排序成栅格图像格式，基于经纬度计算实现了像素级不同时相遥感影像的大尺度匹配；
(12)大尺度匹配后的两张遥感影像进行基于SIFT尺度不变特征变换算法的匹配，求得匹配特征点集合S，设置匹配点对之间的距离阈值T；
(13)基于样本之中任意三个不能共线的基本理论，在匹配特征点集合S中随机抽取至少四个样本数据，将这些被抽取的匹配点作为初始集合计算对应的匹配特征点之间的距离矩阵；
(14)将集合S中剩余的匹配点根据距离矩阵中距离的平均值计算得到新的位置坐标，计算该位置坐标与原位置坐标的距离d；
(15)若d≥T，则将匹配点定义为错误匹配点，若d＜T，则将匹配点定义为正确匹配点；
(16)重复步骤(13)至(15)直到达到预设的迭代次数，选择正确匹配点数量最多的一组点集合作为最终的正确匹配点集合；
(17)当匹配点对的均方根误差满足设定目标时，表示双时相遥感影像匹配成功，对匹配的双时相遥感影像赋予匹配标签和对象语义标签，构建双时相多源遥感影像对象类型变化检测数据集。
3.根据权利要求1所述的一种多源遥感影像对象类型变化检测深度学习模型构建方法，其特征在于，所述步骤(2)中多源遥感影像对象类型变化检测深度学习模型MROCNet的主干网的第一个分支包括四个轻量化串并联扩张残差网络模块和一个多尺度通道信息增强模块，第二个分支包括三个轻量化串并联扩张残差网络模块和一个多尺度通道信息增强模块，第三个分支包括两个轻量化串并联扩张残差网络模块和一个多尺度空间信息增强模块，第四个分支包括一个轻量化串并联扩张残差网络模块和一个多尺度空间信息增强模块；各个分支中不同分辨率的特征图都会经过上采样或者下采样后输入到其他分支中。
4.根据权利要求1所述的一种多源遥感影像对象类型变化检测深度学习模型构建方法，其特征在于，所述步骤(2)中轻量化串并联扩张残差网络模块的三个并行的扩张残差网络分支分别由三个扩张残差模块串联、两个扩张残差模块串联、一个扩张残差模块构成，其中每个扩张残差模块都由两个卷积层和一个跳跃连接构成；三个扩张残差网络分支通过不同扩张率的扩张残差模块提取多尺度空间特征和通道特征，分支间设计参数共享模式，实现串并联结构的轻量化，将每个分支提取的多尺度空间特征和通道特征与原始特征融合，作为模块的最终输出。
5.根据权利要求4所述的一种多源遥感影像对象类型变化检测深度学习模型构建方法，其特征在于，第一个扩张残差网络分支由三个串联的扩张残差模块组成，三个扩张残差模块的扩张率依次为1、2、4，第一个分支的输出表示为：
Output1＝D4(D2(D1(X)))
其中Di表示扩张率设置为i的扩张残差模块的输出，X表示输入特征图；
第二个扩张残差网络分支由一个扩张率为1的扩张残差模块和一个扩张率为2的扩张残差模块串联而成，其输出表示为：
Output2＝D3(D1(X))
第三个扩张残差网络分支只有一个扩张率为1的扩张残差模块，其输出表示为D1(X)；
串并联扩张残差网络模块的最终输出是三个扩张残差网络分支输出的多尺度特征与原始特征的融合，表示为：
Output＝D4(D3(D1(X)))+D3(D1(X))+D1(X)+X
扩张残差网络分支间设计参数共享模式，其中第一个扩张残差网络分支与第二个扩张残差网络分支之间共享前两个扩张残差模块的参数，第二个扩张残差网络分支与第三个扩张残差网络分支之间共享第一个扩张残差模块的参数，通过这种参数共享的方式实现串并联结构的轻量化。
6.根据权利要求1所述的一种多源遥感影像对象类型变化检测深度学习模型构建方法，其特征在于，所述步骤(2)中多尺度空间信息增强模块分为两个部分，一部分是多尺度空间注意力矩阵求解，另一部分是根据多尺度空间注意力矩阵对多尺度空间特征进行加权融合；
所述多尺度空间注意力矩阵求解过程为：首先，将输入的多尺度空间特征图
其中C、H、W分别代表特征图的通道数、高度和宽度，经过卷积层(C,1×1)后得到特征图/>
同样将X经过卷积层(C′,1×1)后得到两个特征图/>
C′是C的因数；其次，将三维矩阵X′转换为二维矩阵C×N，同样将三维矩阵U和V转换为二维矩阵C′×N，其中N＝H×W；然后，将二维矩阵U的转置与二维矩阵V相乘后，通过softmax函数计算出空间注意力矩阵/>
所述根据多尺度空间注意力矩阵对多尺度空间特征进行加权融合过程为：将二维矩阵X′与空间注意力矩阵A的转置作矩阵乘法操作，将得到的二维矩阵结果重塑为三维矩阵，并与输入特征图X进行逐元素相加得到最终增强后的特征图
7.根据权利要求1所述的一种多源遥感影像对象类型变化检测深度学习模型构建方法，其特征在于，所述步骤(2)中多尺度通道信息增强模块分为两个部分，一部分是对多尺度通道信息分别利用注意力机制进行通道权重向量求解，另一部分是根据通道权重向量将不同尺度的相同通道特征进行加权融合；
所述通道权重向量求解过程为：首先，对输入的特征图
其中C、H、W分别代表特征图的通道数、高度和宽度，使用全局平均池化，将其压缩成大小为1×1×C的全局空间特征；其次，将计算所得的全局空间特征经过两个全连接层和Sigmoid激活函数后得到1×1×C的通道权重向量，通道权重向量中的每一个元素分别对应一个特征通道的权值，权值介于0到1之间，在第一个全连接层中，将通道数减少为/>
r表示比例系数；
所述根据通道权重向量将不同尺度的相同通道特征进行加权融合，是将通道权重向量中的每个元素与原始特征图对应通道相乘。
8.根据权利要求1所述的一种多源遥感影像对象类型变化检测深度学习模型构建方法，其特征在于，所述步骤(3)中训练MROCNet模型的损失函数表示为：
Loss＝Loss1+Loss2
Loss1和Loss2为多类别的交叉熵损失函数，分别评估两张影像预测得到的语义分割结果与真实标签之间的损失，表示为：
其中，P1和P2分别表示前、后时相遥感影像，m表示遥感影像的像素个数，n表示类别的个数；I(x)是一个示性函数，当x为真时，即像素j的预测类别yj与真实类别i相同时结果为1，否则结果为0；P(y(j)＝i|x(j))表示像素j属于类别i的概率。
9.一种多源遥感影像对象类型变化检测方法，其特征在于，包括如下步骤：
基于根据权利要求1-8任一项所述的一种多源遥感影像对象类型变化检测深度学习模型构建得到的MROCNet模型并行实现双时相遥感影像的语义分割；
将得到的两个语义分割结果进行定位并逐像素进行语义计算对比，实现遥感影像地物类型变化检测，包括：逐像素对比前时相遥感影像的语义分割结果和后时相遥感影像的语义分割结果，对于其中匹配的每一对像素(xi,yi)，若xi与yi的类别一样，则语义标记不变，否则，xi的语义标记类别则被替换为xi→yi的语义标记类别；通过可视化结果的输出智能发现对象的具体变化。
10.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-8任一项所述的一种多源遥感影像对象类型变化检测深度学习模型构建方法的步骤，或者
实现根据权利要求9所述的一种多源遥感影像对象类型变化检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310366868.2A CN116363526B (zh) | 2023-04-07 | 2023-04-07 | MROCNet模型构建与多源遥感影像变化检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310366868.2A CN116363526B (zh) | 2023-04-07 | 2023-04-07 | MROCNet模型构建与多源遥感影像变化检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116363526A true CN116363526A (zh) | 2023-06-30 |
| CN116363526B CN116363526B (zh) | 2024-04-19 |
Family
ID=86932712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310366868.2A Active CN116363526B (zh) | 2023-04-07 | 2023-04-07 | MROCNet模型构建与多源遥感影像变化检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363526B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036962A (zh) * | 2023-10-08 | 2023-11-10 | 中国科学院空天信息创新研究院 | 遥感图像变化检测方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
| CN110147812A (zh) * | 2019-04-04 | 2019-08-20 | 中国人民解放军战略支援部队信息工程大学 | 基于扩张残差网络的雷达辐射源识别方法及装置 |
| CN112949549A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
| CN113469074A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
| CN113469072A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统 |
| KR20220012733A (ko) * | 2020-07-23 | 2022-02-04 | 중앙대학교 산학협력단 | 샴 네트워크 기반 동일 객체 재인식 방법 및 그 장치 |
| CN114022793A (zh) * | 2021-10-28 | 2022-02-08 | 天津大学 | 一种基于孪生网络的光学遥感图像变化检测方法 |
| US20220230282A1 (en) * | 2021-01-12 | 2022-07-21 | Samsung Electronics Co., Ltd. | Image processing method, image processing apparatus, electronic device and computer-readable storage medium |
| CN114926512A (zh) * | 2022-05-31 | 2022-08-19 | 武汉大学 | 基于拟合异或函数的孪生卷积网络遥感变化检测方法 |
| CN115797177A (zh) * | 2022-12-02 | 2023-03-14 | 西安电子科技大学 | 一种基于双重度量特征融合的视频超分辨率重建方法 |
-
2023
- 2023-04-07 CN CN202310366868.2A patent/CN116363526B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
| CN110147812A (zh) * | 2019-04-04 | 2019-08-20 | 中国人民解放军战略支援部队信息工程大学 | 基于扩张残差网络的雷达辐射源识别方法及装置 |
| KR20220012733A (ko) * | 2020-07-23 | 2022-02-04 | 중앙대학교 산학협력단 | 샴 네트워크 기반 동일 객체 재인식 방법 및 그 장치 |
| US20220230282A1 (en) * | 2021-01-12 | 2022-07-21 | Samsung Electronics Co., Ltd. | Image processing method, image processing apparatus, electronic device and computer-readable storage medium |
| CN112949549A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
| CN113469074A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
| CN113469072A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统 |
| CN114022793A (zh) * | 2021-10-28 | 2022-02-08 | 天津大学 | 一种基于孪生网络的光学遥感图像变化检测方法 |
| CN114926512A (zh) * | 2022-05-31 | 2022-08-19 | 武汉大学 | 基于拟合异或函数的孪生卷积网络遥感变化检测方法 |
| CN115797177A (zh) * | 2022-12-02 | 2023-03-14 | 西安电子科技大学 | 一种基于双重度量特征融合的视频超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| WEIMING LI, ET AL.: "MCTNet:A Multi-Scale CNN-Transformer Network for Change Detection in Optical Remote Sensing Imges", 《ARXIV》, 14 October 2022 (2022-10-14) * |
| 张丽丽等: "遥感大数据在水利中的应用及发展", 《水利信息化》, no. 3, 30 June 2019 (2019-06-30) * |
| 王志有;李欢;刘自增;吴加敏;施祖贤;: "基于深度学习算法的卫星影像变化监测", 《计算机系统应用》, no. 1, 15 January 2020 (2020-01-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036962A (zh) * | 2023-10-08 | 2023-11-10 | 中国科学院空天信息创新研究院 | 遥感图像变化检测方法、装置、设备及存储介质 |
| CN117036962B (zh) * | 2023-10-08 | 2024-02-06 | 中国科学院空天信息创新研究院 | 遥感图像变化检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116363526B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | TransUNetCD: A hybrid transformer network for change detection in optical remote-sensing images | |
| Li et al. | A deep translation (GAN) based change detection network for optical and SAR remote sensing images | |
| CN112949549B (zh) | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 | |
| Zhang et al. | Remote sensing image spatiotemporal fusion using a generative adversarial network | |
| CN105740894B (zh) | 一种高光谱遥感图像的语义标注方法 | |
| CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
| Kang et al. | A survey of deep learning-based object detection methods and datasets for overhead imagery | |
| CN111598174A (zh) | 图像地物要素分类模型的训练方法、图像分析方法及系统 | |
| Dai et al. | RADANet: Road augmented deformable attention network for road extraction from complex high-resolution remote-sensing images | |
| Chini et al. | Comparing statistical and neural network methods applied to very high resolution satellite images showing changes in man-made structures at rocky flats | |
| CN113239736B (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法 | |
| Liu et al. | Survey of road extraction methods in remote sensing images based on deep learning | |
| Jiang et al. | Intelligent image semantic segmentation: a review through deep learning techniques for remote sensing image analysis | |
| CN116363526B (zh) | MROCNet模型构建与多源遥感影像变化检测方法及系统 | |
| Pan et al. | DCFF-Net: A densely connected feature fusion network for change detection in high-resolution remote sensing images | |
| Akshay et al. | Satellite image classification for detecting unused landscape using CNN | |
| Huang et al. | Attention-guided label refinement network for semantic segmentation of very high resolution aerial orthoimages | |
| Deepthi et al. | Detection and classification of objects in satellite images using custom CNN | |
| CN115497002A (zh) | 一种多尺度特征融合的激光雷达遥感分类方法 | |
| Yadav et al. | Unsupervised flood detection on sar time series | |
| Patil et al. | Semantic Segmentation of Satellite Images using Modified U-Net | |
| CN116503602A (zh) | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 | |
| CN116310868A (zh) | 一种多层次注意力交互的云雪辩识方法、设备及存储介质 | |
| CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
| Lv et al. | Multi-scale attentive region adaptive aggregation learning for remote sensing scene classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |