CN112949549A - 一种基于超分辨率的多分辨率遥感影像的变化检测方法 - Google Patents
一种基于超分辨率的多分辨率遥感影像的变化检测方法 Download PDFInfo
- Publication number
- CN112949549A CN112949549A CN202110296465.6A CN202110296465A CN112949549A CN 112949549 A CN112949549 A CN 112949549A CN 202110296465 A CN202110296465 A CN 202110296465A CN 112949549 A CN112949549 A CN 112949549A
- Authority
- CN
- China
- Prior art keywords
- resolution
- remote sensing
- change detection
- image
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Abstract
本发明提出一种基于超分辨率的多分辨率遥感影像的变化检测方法,解决了如何更准确的对遥感影像进行变化检测的问题,构建基于高分辨率遥感影像的双时相变化检测数据集,进行多分辨率预处理,得到低分辨率影像,利用超分辨率模块学习恢复低分辨率影像中的语义信息特征,恢复得到更真实的具有语义信息的样本,可以减少不确定性映射带来的误差累积,有助于提高后续高分辨率变化检测的精度,设计基于多层次注意力机制模块的深度学习变化检测网络模型并训练,多层次注意力模块增强多层次特征的有效信息,获取更具有可区分性的特征对,帮助深度学习变化检测网络模型学习到更准确的变化检测图,实现对多分辨率遥感影像土地覆盖的变化检测。
Description
技术领域
本发明涉及遥感地理信息系统的技术领域,更具体地,涉及一种基于超分辨率的多分辨率遥感影像的变化检测方法。
背景技术
遥感影像变化检测的目的是识别同一区域内双时相图像之间的地表变化,为国土资源调查、生态监测与保护、城市规划等许多重要应用提供定量数据。遥感影像由于具有覆盖范围广、信息丰富、时效性高等特点,一直以来就是地物信息提取的主要数据来源。
传统的变化检测方法主要利用多光谱卫星图像中的光谱信息来检测变化,如变化向量分析(CVA)和主成分分析(PCA)方法。然而,由于图像的光谱分辨率和空间分辨率是相互制约的,因此,多光谱卫星图像通常空间分辨率较低,难以实现高精度的变化检测。近年来,随着遥感技术的快速发展,具有丰富空间信息的高分辨率图像(HRIs)已经成为变化检测的主要数据源,特别是城市等细粒度场景下。近年来,基于卷积神经网络(CNNs)的深度学习方法因其能更有效地从HRIs中分层提取空间和语义特征,已经成为高分辨率图像变化检测最主要的解决方案,这些变化检测方法都是对相同分辨率的双时相图像进行变化检测的。然而,由于HRIs观测范围小、时间分辨率低、易受云雾影响等原因,在实际应用中往往难以获得理想的同一分辨率的双时相图像用于高分辨率变化检测,特别是在大尺度范围上。例如,假设我们已经在某个区域的T1时刻获得了高分辨率(HR)的图像,而在时间T2只有低分辨率(LR)的图像可用,那么只能通过具有一定分辨率差异的HR影像和LR影像来检测T1和T2之间的变化,即受到数据的限制,在实际生产中往往需要使用不同分辨率的双时相图像进行变化分析。
目前,基于亚像素定位(SPM)的方法是多分辨率遥感变化检测最主要的解决方案。基于SPM的方法通过建立前一时相高分辨率土地覆盖图与后一幅粗分辨率图像之间的映射关系,得到高分辨率的变化图。这类方法在过去被广泛用于解决Landsat-MODIS图像变化检测的分辨率差异问题,并取得了有效的结果。然而,基于SPM的方法的变化结果图的精度在很大程度上受到原精细分辨率土地覆盖图精度的限制,存在一定的误差积累。由于HRIs本身的类内异质性和类间相似性,其在HRIs上会产生更严重的误差。因此,迫切需要建立面向高分辨率遥感影像的多分辨率变化检测方法。
此外,由于HRIs中类内异质性和类间相似性的影响,导致“变化”区域的特征容易与“不变”特征混淆,使得变化检测结果普遍存在严重的误报或漏报现象。为此,现有研究主要采用递归神经网络(RNN)和注意力机制来增强特征的鲁棒性。虽然RNN能够很好地捕捉多光谱图像的光谱关系,或者建立双时相影像之间的时间关联,但由于HRIs中的光谱信息不多,而且双时相图像中的时间序列信息较少,使得RNNs在这方面的效益受到限制。过去的方法探索了许多不同注意力机制对于特征增强的效果。如2020年1月17日,中国专利(公开号:CN110705457A)中公开了一种遥感影像建筑物变化检测方法,该方法通过应用注意力机制对特征进行筛选加权,突出显著特征,获得更好的检测性能,通过引入特征金字塔网络,将注意力机制用于各层级的多尺度特征融合过程中,逐层增强特征,然而,由于内存的限制,现有方法中的注意力机制通常只作用于高层语义特征,而忽略了对浅层特征的增强,导致浅层特征中的空间信息也被忽视。因此,需要探索更有效的整合注意力机制的方法来进行更准确的遥感影像变化检测。
发明内容
为解决如何更准确的对遥感影像进行变化检测的问题,本发明提出一种基于超分辨率的多分辨率遥感影像的变化检测方法,利用超分辨率对图像的恢复性能,结合深度学习的特征提取与模型泛化优势,实现对多分辨率遥感影像变化用地的自动化检测。
为了达到上述技术效果,本发明的技术方案如下:
一种基于超分辨率的多分辨率遥感影像的变化检测方法,用于土地覆盖变化的检测识别,至少包括:
S1.构建基于高分辨率遥感影像的双时相变化检测数据集;
S2.将单一分辨率的双时相变化检测数据集进行多分辨率预处理,得到低分辨率影像;
S3.利用超分辨率模块学习恢复低分辨率影像中的语义信息特征,将低分辨率影像的尺寸扩大,输出超分辨率影像,与原双时相变化检测数据集共同组成输入数据集;
S4.设计基于多层次注意力机制模块的深度学习变化检测网络模型;
S5.将输入数据集输入深度学习变化检测网络模型,对深度学习变化检测网络模型进行训练;
S6.将待检测变化区域的多分辨率的双时相遥感影像输入至训练好的深度学习变化检测网络模型,得到变化检测结果。
优选地,步骤S1所述构建基于高分辨率遥感影像的双时相变化检测数据集的过程为:
S11.采集相同区域、不同年份之间具有相同分辨率的双时相遥感影像;
S12.基于当前已有的数据资料和人工先验知识,通过目视解译,勾绘双时相遥感影像之间的变化区域,获得双时相遥感影像之间像素级的变化标记;
S13.基于双时相遥感影像和变化标记,将双时相遥感影像裁剪为若干个W尺寸大小的遥感影像对,形成基于高分辨率遥感影像的双时相变化检测数据集,W尺寸表示特定的某一尺寸。
优选地,步骤S11所述的双时相遥感影像还进行预处理和地理配准,预处理涉及层面包括:双时相遥感影像数据的DN值、投影坐标系、辐射定标、辐射校正、镶嵌、裁剪及直方图匹配。
在此,关于地理配准方面,首先利用地理配准工具对两幅高分辨率遥感影像进行配准,在遵循配准点均匀分布、特征明显不易变化的前提下考虑两种情况:若两幅影像像元之间偏差较为均匀可以采仿射变换对待配准影像进行校正;若某期影像可能是用多副影像拼接而来,会导致两期影像像元之间偏差无规则,即有的区域偏差大、有的区域偏差小,可采用样条函数对带配准影像进行校正。
优选地,步骤S2所述将单一分辨率的双时相变化检测数据集进行多分辨率预处理的过程为:设双时相遥感影像具有N倍分辨率差异,对相同分辨率下的双时相变化检测数据集的其中一个时相的遥感影像进行降采样,得到低分辨率影像。
优选地,步骤S3所述的超分辨率模块包括生成器和判别器,生成器采用9×9的第一卷积层对输入的低分辨率影像进行浅层特征提取,然后采用5个残差块进行高层次特征提取,每个残差块包括两个3×3第二卷积层和一个批归一化BN层,残差块提取的高层次特征与第一卷积层的浅层特征融合,得到低分辨率影像中的语义信息特征,利用M个亚像素Sub-pixel卷积层将低分辨率影像特征尺寸增加,最后生成器通过一个全卷积层输出超分辨率影像;所述判别器用于区分超分辨率影像与初始双时相变化检测数据集中的高分辨率影像,采用VGG-19的结构,包括八个卷积层,判别器最后利用两个全连接层和一个sigmoid函数输出超分辨率影像与初始双时相变化检测数据集中的高分辨率影像的分布,形成输入数据集。
在此,采用超分辨率模块生成低分辨率影像对应的超分辨率影像作为新的输入图像,不仅可以恢复得到更真实的更具有语义信息的样本,而且可以减少不确定性映射带来的误差累积,有助于提高后续高分辨率变化检测的精度。
优选地,步骤S4所述的深度学习变化检测网络模型包括特征提取器和变化决策模块;特征提取器采用权值共享的Siamese结构,以ResNet-18作为特征提取模块,包括五个阶段,第一个阶段是卷积核大小为7×7的卷积层,用于从输入数据集影像中提取低层次特征,剩余四个阶段均ResBlock,输入数据集通过特征提取模块得到双时相遥感影像的多层次特征对,所述变化决策模块基于深度度量学习,通过计算多层次特征对之间的欧式距离,得到一个与输入数据集影像对相同尺度大小的距离图,通过深度度量学习比较距离图和变化标记的真值图,拉近非变化特征之间的距离,推远变化特征之间的距离,实现变化区域的识别。
优选地,所述深度学习变化检测网络模型还包括一个包含五个CBAM注意力机制模块的多层次注意力机制模块,对特征进行增强;前四个CBAM模块分别作用于特征提取器中四个ResBlock对应不同尺度的特征,挖掘低层次特征中的空间信息和深层次特征的语义信息;不同尺度的特征重采样到一个尺度大小后级联起来,得到一个新的特征对,多层次注意力机制模块的第五个CBAM作用于级联后的特征对上,强调特征里的变化信息,并抑制非变化信息。
在此,多层次注意力机制模块的引入可以增强多层次特征的有效信息,获取更具有可区分性的特征对,帮助深度学习变化检测网络模型学习到更准确的变化检测图。
优选地,步骤S5所述对深度学习变化检测网络模型进行训练的过程包括:
S51.设置训练次数、初始学习率及训练批次大小,选定优化器及对比损失函数;
S52.通过计算对比损失函数误差,采用反向传播算法调整深度学习变化检测网络模型的权值和偏置值;
S53.判断对比损失函数误差是否满足误差阈值,若是,深度学习变化检测网络模型训练完成;否则,返回步骤S52。
优选地,步骤S6所述将待检测变化区域的多分辨率的双时相遥感影像输入至训练好的深度学习变化检测网络模型,得到变化检测结果之前还包括:
对检测变化区域的多分辨率的双时相遥感影像进行预处理,并裁剪至U尺寸大小,预处理操作包括空间滤波、直方图匹配及直方图归一化操作。
优选地,待检测变化区域的多分辨率的双时相遥感影像输入至训练好的深度学习变化检测网络模型后,得到双时相遥感影像变化图,将双时相遥感影像变化图进行合并,得到完整区域变化检测图。
与现有技术相比,本发明技术方案的有益效果是:
本发明提出一种基于超分辨率的多分辨率遥感影像的变化检测方法,用于土地覆盖变化的检测识别,构建基于高分辨率遥感影像的双时相变化检测数据集,然后将单一分辨率的双时相变化检测数据集进行多分辨率预处理,得到低分辨率影像,利用超分辨率模块学习恢复低分辨率影像中的语义信息特征,不仅可以恢复得到更真实的具有语义信息的样本,而且可以减少不确定性映射带来的误差累积,有助于提高后续高分辨率变化检测的精度,之后设计基于多层次注意力机制模块的深度学习变化检测网络模型并训练,引入多层次注意力模块来增强多层次特征的有效信息,获取更具有可区分性的特征对,帮助深度学习变化检测网络模型学习到更准确的变化检测图,实现对多分辨率遥感影像土地覆盖的变化检测。
附图说明
图1表示本发明实施例中提出的基于超分辨率的多分辨率遥感影像的变化检测方法的流程示意图;
图2表示本发明实施例中提出的在无分辨率差异下的BCDD数据集、CDD数据集及不同时刻的遥感影像上检测到的土地覆盖变化的示意图;
图3表示本发明实施例中提出的在四倍分辨率差的BCDD数据集、CDD数据集及不同时刻的遥感影像上检测到的土地覆盖变化的示意图;
图4表示本发明实施例中提出的在八倍分辨率差的BCDD数据集、CDD数据集及不同时刻的遥感影像上检测到的土地覆盖变化的示意图;
图5表示本发明实施例中提出的围绕超分辨率模块及基于多层次注意力机制模块的深度学习变化检测网络模型的技术路线结构图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好地说明本实施例,附图某些部位会有省略、放大或缩小,并不代表实际尺寸;
对于本领域技术人员来说,附图中某些公知内容说明可能省略是可以理解的。
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本发明提出一种基于超分辨率的多分辨率遥感影像的变化检测方法,用于土地覆盖变化的检测识别,参见图1,所述方法包括:
S1.构建基于高分辨率遥感影像的双时相变化检测数据集;
S2.将单一分辨率的双时相变化检测数据集进行多分辨率预处理,得到低分辨率影像;
S3.利用超分辨率模块学习恢复低分辨率影像中的语义信息特征,将低分辨率影像的尺寸扩大,输出超分辨率影像,与原双时相变化检测数据集共同组成输入数据集;
S4.设计基于多层次注意力机制模块的深度学习变化检测网络模型;
S5.将输入数据集输入深度学习变化检测网络模型,对深度学习变化检测网络模型进行训练;
S6.将待检测变化区域的多分辨率的双时相遥感影像输入至训练好的深度学习变化检测网络模型,得到变化检测结果。
在本实施例中,步骤S1所述构建基于高分辨率遥感影像的双时相变化检测数据集的过程为:
S11.采集相同区域、不同年份之间具有相同分辨率的双时相遥感影像;
S12.基于当前已有的数据资料和人工先验知识,通过目视解译,勾绘双时相遥感影像之间的变化区域,获得双时相遥感影像之间像素级的变化标记;
S13.基于双时相遥感影像和变化标记,将双时相遥感影像裁剪为若干个W尺寸大小的遥感影像对,形成基于高分辨率遥感影像的双时相变化检测数据集。
具体的,在COPERNICUS OPEN ACCESS HUB、USGS EARTH EXPLORER、USGS EARTHEXPLORER等开放网站上,考虑云量覆盖的前提下,选择并下载若干幅与待检测区域分布接近的两期高分辨率遥感影像数据;根据所下载的数据提供的数据描述文档,从数据的DN值、投影坐标系、辐射定标、辐射校正、镶嵌、裁剪、直方图匹配等方面,对双时相遥感影像进行预处理,用于双时相变化检测数据集的构建;对获取的双时相影像对进行严格的地理配准,首先利用地理配准工具对两幅高分辨率进行配准,在遵循配准点均匀分布、特征明显不易变化的前提下考虑两种情况:若两幅影像像元之间偏差较为均匀可以采仿射变换对待配准影像进行校正;若某期影像可能是用多副影像拼接而来,会导致两期影像像元之间偏差无规则,即有的区域偏差大、有的区域偏差小,可采用样条函数对带配准影像进行校正。根据当前数据资料和人工先验知识的基础上,对在两期影像上土地覆盖发生变化的区域进行标记。最终将标记完成后将标签矢量数据转换为栅格数据,并采用随机采样和随机数据增强的方式,从影像对和变化标记中采集一定数量的样本,构建数据集。可选择的数据增广方法有:旋转、镜像翻转、放大缩小、平移、高斯噪声、色彩抖动、对比度变换等。
选择两个已有的公开数据集作为训练数据。
1)BCDD建筑物变化检测数据集:BCDD数据集包含两张0.2米的大小为32507*15354的影像对,分别是在地震发生前后选取的,因此该区域包含了许多建筑变化,包括建筑重建和更新。为了方便模型的训练和测试,我们将按照无重叠的方式将上述图像裁剪成大小为256*256的图片,最终得到7434对训练样本,并按8:1:1的比例随机分为训练集、验证集和测试集。为了避免过拟合,我们还旋转训练集中的图像进行数据增强。
2)CDD变化检测数据集:CDD数据集包含16000个大小为256*256的图像对,包括10000个训练样本、3000个验证样本和3000个测试样本。CDD数据集具有非常高的3~100cm的空间分辨率,它不仅提供了建筑、道路、森林等常见对象的变化信息,还提供了许多细节对象的变化信息,如汽车、坦克等。
在本实施例中,步骤S2所述将单一分辨率的双时相变化检测数据集进行多分辨率预处理的过程为:设双时相遥感影像具有N倍分辨率差异,对相同分辨率下的双时相变化检测数据集的其中一个时相的遥感影像进行降采样,得到低分辨率影像,后一个时相的影像通过双三次下采样N倍以模拟低分辨率影像。具体的,如图2~图4所示,设计三组对比实验,分别为:
图2所示的无分辨率差异实验(X1):该实验用于测试该方法在相同分辨率图像上的性能。当两幅图像之间没有分辨率差异时,所提方法可以简单的去掉超分辨率模块,可以灵活地转换为一个常规的变化检测模型,图2中(1)~(3)行表示BCDD数据集,(4)~(6)行表示CDD数据集;
图3所示的4倍分辨率差实验(X4):本实验旨在模拟具有4倍分辨率差异的双时相图像。因此,对BCDD数据集和CDD数据集中的T2时相的图像进行四倍下采样,得到低分图像。然后将这些低分图像双三次插值到原始图像大小,作为比较方法的输入,图3中(1)~(4)列表示BCDD数据集;(5)~(8)列表示CDD数据集。
图4所示的8倍分辨率差实验(X8):本实验旨在模拟具有8倍分辨率差的双时相图像,测试所提方法在较大空间差异下的性能。BCDD数据集和CDD数据集的图像处理与实验X4相似,图4中(1)~(4)列表示BCDD数据集;(5)~(8)列表示CDD数据集。
如图5所示,步骤S3所述的超分辨率模块1包括生成器和判别器,超分辨率模块1借用SRGAN超分辨率网络的结构,其中生成器负责将低分辨率影像映射为超分辨率影像,而鉴别器需要将超分辨率影像与初始高分辨率影像区分开来,直到它们彼此不可区分为止,然后生成器能够输出足够真实的超分辨率影像,以便进行细粒度的变化检测。参见图5的结构路线,生成器采用9×9的第一卷积层对输入的低分辨率影像进行浅层特征提取,然后采用5个残差块ResBlock-1~ResBlock-5进行高层次特征提取,每个残差块包括两个3×3第二卷积层和一个批归一化BN层,残差块提取的高层次特征与第一卷积层的浅层特征融合,得到低分辨率影像中的语义信息特征,利用M个亚像素Sub-pixel卷积层将低分辨率影像的特征尺寸增加,最后生成器通过一个全卷积层输出超分辨率影像所述判别器用于区分超分辨率影像与初始双时相变化检测数据集中的高分辨率影像采用VGG-19的结构,包括八个卷积层,判别器最后利用两个全连接层和一个sigmoid函数输出超分辨率影像与初始双时相变化检测数据集中的高分辨率影像的分布形成输入数据集,采用超分辨率模块1生成低分辨率影像对应的超分辨率影像作为新的输入图像,不仅可以恢复得到更真实的更具有语义信息的样本,而且可以减少不确定性映射带来的误差累积,有助于提高后续高分辨率变化检测的精度。
参见图5,步骤S4所述的深度学习变化检测网络模型包括特征提取器和变化决策模块;特征提取器采用权值共享的Siamese结构,以ResNet-18作为特征提取模块,包括五个阶段,第一个阶段是卷积核大小为7×7的卷积层,用于从输入数据集影像中提取低层次特征,如图5所示,包括剩余四个阶段均ResBlock,输入数据集通过特征提取模块得到双时相遥感影像的多层次特征对,前两个基本块的stride为2,这意味着特征图经过后尺度将减少一半,而后两个基本块的stride为1,因此特征尺度输入前后不变。四个basicblock的维度依次为64、128、256和512,除了最后一层的特征之外,特征提取器的中间特征也都被输出以供后续处理。特征提取器在训练阶段加载预先训练好的ResNet-18的参数,帮助模型更快的收敛所述变化决策模块基于深度度量学习,通过计算多层次特征对之间的欧式距离,得到一个与输入数据集影像对相同尺度大小的距离图,通过深度度量学习比较距离图和变化标记的真值图,拉近非变化特征之间的距离,推远变化特征之间的距离,实现变化区域的识别。
参见图5,所述深度学习变化检测网络模型还包括一个包含五个CBAM注意力机制模块的多层次注意力机制模块2,对特征进行增强;前四个CBAM模块分别作用于特征提取器中四个ResBlock对应不同尺度的特征,挖掘低层次特征中的空间信息和深层次特征的语义信息;不同尺度的特征重采样到一个尺度大小后级联起来,得到一个新的特征对,多层次注意力机制模块2的第五个CBAM作用于级联后的特征对上,强调特征里的变化信息,并抑制非变化信息。多层次注意力机制模块2的引入可以增强多层次特征的有效信息,获取更具有可区分性的特征对,帮助深度学习变化检测网络模型学习到更准确的变化检测图。
在本实施例中,步骤S5所述对深度学习变化检测网络模型进行训练的过程包括:
S51.设置训练次数、初始学习率及训练批次大小,选定优化器及对比损失函数;
S52.通过计算对比损失函数误差,采用反向传播算法调整深度学习变化检测网络模型的权值和偏置值;
S53.判断对比损失函数误差是否满足误差阈值,若是,深度学习变化检测网络模型训练完成;否则,返回步骤S52。
具体实施时,从深度学习变化检测网络模型的参数复杂度、损失函数、评估函数、预训练权重、后端特征提取网络等方面考虑,选择合适的参数对深度模型进行训练。在实验中,设置的训练次数为100,优化器为Adam,初始学习率为0.0001,训练批次大小为8。对于无分辨率差异的变化检测,那么超分辨率模块1会被去除,仅使用对比损失函数来训练。对于多分辨率影像的变化检测,除了变化检测结果计算得到对比损失函数,超分模块中还有生成器和判别器需要训练和优化。其中判别器的结果和变化检测的结果都会被输入到生成器中,共同引导生成器学习到更真实有效的样本。
在本实施例中,步骤S6所述将待检测变化区域的多分辨率的双时相遥感影像输入至训练好的深度学习变化检测网络模型,得到变化检测结果之前还包括:对检测变化区域的多分辨率的双时相遥感影像进行预处理,并裁剪至U尺寸大小,预处理操作包括空间滤波、直方图匹配及直方图归一化操作,待检测变化区域的多分辨率的双时相遥感影像输入至训练好的深度学习变化检测网络模型后,得到双时相遥感影像变化图,将双时相遥感影像变化图进行合并,得到完整区域变化检测图,图2~图4分别表示不同分辨率差异下的数据集遥感影像及检测过程、结果的示意图,图2中,(a)列表示T1是时刻遥感影像,(b)列表示T2时刻遥感影像,(c)列表示变化标记的真值图,(d)表示变化检测结果;图3中,(a)行表示T1时刻影像;(b)行表示T2时刻的低分辨率影像;(c)T2时刻超分辨率影像;(d)行表示变化标记的真值图;(e)行表示变化检测结果;图4中,(a)行表示T1时刻影像;(b)行表示T2时刻的低分辨率影像;(c)T2时刻超分辨率影像;(d)行表示变化标记的真值图;通过图2~图4可以看出,利用本发明所提出的方法,利用超分辨率对图像的恢复性能,结合深度学习的特征提取与模型泛化优势,可以实现对多分辨率遥感影像变化用地的检测。
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于超分辨率的多分辨率遥感影像的变化检测方法,用于土地覆盖变化的检测识别,其特征在于,至少包括:
S1.构建基于高分辨率遥感影像的双时相变化检测数据集;
S2.将单一分辨率的双时相变化检测数据集进行多分辨率预处理,得到低分辨率影像;
S3.利用超分辨率模块学习恢复低分辨率影像中的语义信息特征,将低分辨率影像的尺寸扩大,输出超分辨率影像,与原双时相变化检测数据集共同组成输入数据集;
S4.设计基于多层次注意力机制模块的深度学习变化检测网络模型;
S5.将输入数据集输入深度学习变化检测网络模型,对深度学习变化检测网络模型进行训练;
S6.将待检测变化区域的多分辨率的双时相遥感影像输入至训练好的深度学习变化检测网络模型,得到变化检测结果。
2.根据权利要求1所述的基于超分辨率的多分辨率遥感影像的变化检测方法,其特征在于,步骤S1所述构建基于高分辨率遥感影像的双时相变化检测数据集的过程为:
S11.采集相同区域、不同年份之间具有相同分辨率的双时相遥感影像;
S12.基于当前已有的数据资料和人工先验知识,通过目视解译,勾绘双时相遥感影像之间的变化区域,获得双时相遥感影像之间像素级的变化标记;
S13.基于双时相遥感影像和变化标记,将双时相遥感影像裁剪为若干个W尺寸大小的遥感影像对,形成基于高分辨率遥感影像的双时相变化检测数据集。
3.根据权利要求2所述的基于超分辨率的多分辨率遥感影像的变化检测方法,其特征在于,步骤S11所述的双时相遥感影像还进行预处理和地理配准,预处理涉及层面包括:双时相遥感影像数据的DN值、投影坐标系、辐射定标、辐射校正、镶嵌、裁剪及直方图匹配。
4.根据权利要求3所述的基于超分辨率的多分辨率遥感影像的变化检测方法,其特征在于,步骤S2所述将单一分辨率的双时相变化检测数据集进行多分辨率预处理的过程为:设双时相遥感影像具有N倍分辨率差异,对相同分辨率下的双时相变化检测数据集的其中一个时相的遥感影像进行降采样,得到低分辨率影像。
5.根据权利要求4所述的基于超分辨率的多分辨率遥感影像的变化检测方法,其特征在于,步骤S3所述的超分辨率模块包括生成器和判别器,生成器采用9×9的第一卷积层对输入的低分辨率影像进行浅层特征提取,然后采用5个残差块进行高层次特征提取,每个残差块包括两个3×3第二卷积层和一个批归一化BN层,残差块提取的高层次特征与第一卷积层的浅层特征融合,得到低分辨率影像中的语义信息特征,利用M个亚像素Sub-pixel卷积层将低分辨率影像特征尺寸增加,最后生成器通过一个全卷积层输出超分辨率影像;所述判别器用于区分超分辨率影像与初始双时相变化检测数据集中的高分辨率影像,采用VGG-19的结构,包括八个卷积层,判别器最后利用两个全连接层和一个sigmoid函数输出超分辨率影像与初始双时相变化检测数据集中的高分辨率影像的分布,形成输入数据集。
6.根据权利要求5所述的基于超分辨率的多分辨率遥感影像的变化检测方法,其特征在于,步骤S4所述的深度学习变化检测网络模型包括特征提取器和变化决策模块;特征提取器采用权值共享的Siamese结构,以ResNet-18作为特征提取模块,包括五个阶段,第一个阶段是卷积核大小为7×7的卷积层,用于从输入数据集影像中提取低层次特征,剩余四个阶段均ResBlock,输入数据集通过特征提取模块得到双时相遥感影像的多层次特征对,所述变化决策模块基于深度度量学习,通过计算多层次特征对之间的欧式距离,得到一个与输入数据集影像对相同尺度大小的距离图,通过深度度量学习比较距离图和变化标记的真值图,拉近非变化特征之间的距离,推远变化特征之间的距离,实现变化区域的识别。
7.根据权利要求6所述的基于超分辨率的多分辨率遥感影像的变化检测方法,其特征在于,所述深度学习变化检测网络模型还包括一个包含五个CBAM注意力机制模块的多层次注意力机制模块,对特征进行增强;前四个CBAM模块分别作用于特征提取器中四个ResBlock对应不同尺度的特征,挖掘低层次特征中的空间信息和深层次特征的语义信息;不同尺度的特征重采样到一个尺度大小后级联起来,得到一个新的特征对,多层次注意力机制模块的第五个CBAM作用于级联后的特征对上,强调特征里的变化信息,并抑制非变化信息。
8.根据权利要求7所述的基于超分辨率的多分辨率遥感影像的变化检测方法,其特征在于,步骤S5所述对深度学习变化检测网络模型进行训练的过程包括:
S51.设置训练次数、初始学习率及训练批次大小,选定优化器及对比损失函数;
S52.通过计算对比损失函数误差,采用反向传播算法调整深度学习变化检测网络模型的权值和偏置值;
S53.判断对比损失函数误差是否满足误差阈值,若是,深度学习变化检测网络模型训练完成;否则,返回步骤S52。
9.根据权利要求8所述的基于超分辨率的多分辨率遥感影像的变化检测方法,其特征在于,步骤S6所述将待检测变化区域的多分辨率的双时相遥感影像输入至训练好的深度学习变化检测网络模型,得到变化检测结果之前还包括:
对检测变化区域的多分辨率的双时相遥感影像进行预处理,并裁剪至U尺寸大小,预处理操作包括空间滤波、直方图匹配及直方图归一化操作。
10.根据权利要求9所述的基于超分辨率的多分辨率遥感影像的变化检测方法,其特征在于,待检测变化区域的多分辨率的双时相遥感影像输入至训练好的深度学习变化检测网络模型后,得到双时相遥感影像变化图,将双时相遥感影像变化图进行合并,得到完整区域变化检测图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110296465.6A CN112949549B (zh) | 2021-03-19 | 2021-03-19 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110296465.6A CN112949549B (zh) | 2021-03-19 | 2021-03-19 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112949549A true CN112949549A (zh) | 2021-06-11 |
CN112949549B CN112949549B (zh) | 2023-04-18 |
Family
ID=76226931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110296465.6A Active CN112949549B (zh) | 2021-03-19 | 2021-03-19 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112949549B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113435487A (zh) * | 2021-06-16 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种面向深度学习的多尺度样本生成方法 |
CN113436071A (zh) * | 2021-06-21 | 2021-09-24 | 武汉光谷信息技术股份有限公司 | 一种多源卫星遥感影像镶嵌方法、系统及存储介质 |
CN113469074A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
CN113569810A (zh) * | 2021-08-30 | 2021-10-29 | 黄河水利委员会黄河水利科学研究院 | 一种基于深度学习的遥感影像建筑物变化检测系统及方法 |
CN113609896A (zh) * | 2021-06-22 | 2021-11-05 | 武汉大学 | 基于对偶相关注意力的对象级遥感变化检测方法及系统 |
CN113657351A (zh) * | 2021-09-28 | 2021-11-16 | 黄河水利委员会黄河水利科学研究院 | 基于深度学习的高分遥感影像林草变化检测装置及方法 |
CN113658138A (zh) * | 2021-08-17 | 2021-11-16 | 天津大学 | 一种应用于变化检测任务的网络结构及方法 |
CN113705538A (zh) * | 2021-09-28 | 2021-11-26 | 黄河水利委员会黄河水利科学研究院 | 基于深度学习的高分遥感影像道路变化检测装置及方法 |
CN113743373A (zh) * | 2021-09-28 | 2021-12-03 | 黄河水利委员会黄河水利科学研究院 | 基于深度学习的高分遥感影像耕地变化检测装置及方法 |
CN113936217A (zh) * | 2021-10-25 | 2022-01-14 | 华中师范大学 | 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法 |
CN114155365A (zh) * | 2022-02-07 | 2022-03-08 | 北京航空航天大学杭州创新研究院 | 模型训练方法、图像处理方法及相关装置 |
CN115147760A (zh) * | 2022-06-27 | 2022-10-04 | 武汉大学 | 基于视频理解和时空解耦的高分辨率遥感影像变化检测方法 |
CN115331087A (zh) * | 2022-10-11 | 2022-11-11 | 水利部交通运输部国家能源局南京水利科学研究院 | 融合区域语义与像素特征的遥感影像变化检测方法及系统 |
CN115456957A (zh) * | 2022-08-19 | 2022-12-09 | 广州大学 | 一种全尺度特征聚合的遥感影像变化检测的方法 |
US20220405883A1 (en) * | 2021-06-21 | 2022-12-22 | Ping An Technology (Shenzhen) Co., Ltd. | System and method for super-resolution image processing in remote sensing |
CN116363526A (zh) * | 2023-04-07 | 2023-06-30 | 河海大学 | MROCNet模型构建与多源遥感影像变化检测方法及系统 |
CN116363521A (zh) * | 2023-06-02 | 2023-06-30 | 山东科技大学 | 一种遥感影像语义预测方法 |
CN117253155A (zh) * | 2023-11-17 | 2023-12-19 | 山东大学 | 一种基于深度学习的人类活动检测方法及系统 |
CN117612017A (zh) * | 2024-01-23 | 2024-02-27 | 江西啄木蜂科技有限公司 | 一种环境自适应的遥感影像变化检测方法 |
CN117911879A (zh) * | 2024-03-20 | 2024-04-19 | 湘潭大学 | 一种融合sam的细粒度高分遥感影像变化检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008026518A1 (fr) * | 2006-08-31 | 2008-03-06 | Panasonic Corporation | Dispositif, procédé et programme de traitement d'image |
CN104252703A (zh) * | 2014-09-04 | 2014-12-31 | 吉林大学 | 基于小波预处理和稀疏表示的卫星遥感图像超分辨率重构方法 |
CN108090869A (zh) * | 2017-11-27 | 2018-05-29 | 中国空间技术研究院 | 一种基于面阵cmos光学相机的星上超分辨率重建方法 |
CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
CN110532853A (zh) * | 2019-07-09 | 2019-12-03 | 中国空间技术研究院 | 遥感超时相数据的分类方法及装置 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
-
2021
- 2021-03-19 CN CN202110296465.6A patent/CN112949549B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008026518A1 (fr) * | 2006-08-31 | 2008-03-06 | Panasonic Corporation | Dispositif, procédé et programme de traitement d'image |
CN104252703A (zh) * | 2014-09-04 | 2014-12-31 | 吉林大学 | 基于小波预处理和稀疏表示的卫星遥感图像超分辨率重构方法 |
CN108090869A (zh) * | 2017-11-27 | 2018-05-29 | 中国空间技术研究院 | 一种基于面阵cmos光学相机的星上超分辨率重建方法 |
CN109360148A (zh) * | 2018-09-05 | 2019-02-19 | 北京悦图遥感科技发展有限公司 | 基于混合随机降采样的遥感影像超分辨率重构方法和装置 |
CN110532853A (zh) * | 2019-07-09 | 2019-12-03 | 中国空间技术研究院 | 遥感超时相数据的分类方法及装置 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
Non-Patent Citations (1)
Title |
---|
石茜 等: ""一种基于局部判别正切空间排列的高光谱遥感影像降维方法"", 《测绘学报》 * |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113435487A (zh) * | 2021-06-16 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种面向深度学习的多尺度样本生成方法 |
CN113436071B (zh) * | 2021-06-21 | 2022-04-29 | 武汉光谷信息技术股份有限公司 | 一种多源卫星遥感影像镶嵌方法、系统及存储介质 |
CN113436071A (zh) * | 2021-06-21 | 2021-09-24 | 武汉光谷信息技术股份有限公司 | 一种多源卫星遥感影像镶嵌方法、系统及存储介质 |
WO2022267693A1 (en) * | 2021-06-21 | 2022-12-29 | Ping An Technology (Shenzhen) Co., Ltd. | System and method for super-resolution image processing in remote sensing |
US20220405883A1 (en) * | 2021-06-21 | 2022-12-22 | Ping An Technology (Shenzhen) Co., Ltd. | System and method for super-resolution image processing in remote sensing |
US11830167B2 (en) * | 2021-06-21 | 2023-11-28 | Ping An Technology (Shenzhen) Co., Ltd. | System and method for super-resolution image processing in remote sensing |
CN113609896A (zh) * | 2021-06-22 | 2021-11-05 | 武汉大学 | 基于对偶相关注意力的对象级遥感变化检测方法及系统 |
CN113609896B (zh) * | 2021-06-22 | 2023-09-01 | 武汉大学 | 基于对偶相关注意力的对象级遥感变化检测方法及系统 |
CN113469074A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
CN113469074B (zh) * | 2021-07-06 | 2023-12-19 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
CN113658138A (zh) * | 2021-08-17 | 2021-11-16 | 天津大学 | 一种应用于变化检测任务的网络结构及方法 |
CN113658138B (zh) * | 2021-08-17 | 2023-06-16 | 天津大学 | 一种应用于变化检测任务的网络结构及方法 |
CN113569810A (zh) * | 2021-08-30 | 2021-10-29 | 黄河水利委员会黄河水利科学研究院 | 一种基于深度学习的遥感影像建筑物变化检测系统及方法 |
CN113743373A (zh) * | 2021-09-28 | 2021-12-03 | 黄河水利委员会黄河水利科学研究院 | 基于深度学习的高分遥感影像耕地变化检测装置及方法 |
CN113657351A (zh) * | 2021-09-28 | 2021-11-16 | 黄河水利委员会黄河水利科学研究院 | 基于深度学习的高分遥感影像林草变化检测装置及方法 |
CN113705538A (zh) * | 2021-09-28 | 2021-11-26 | 黄河水利委员会黄河水利科学研究院 | 基于深度学习的高分遥感影像道路变化检测装置及方法 |
CN113936217B (zh) * | 2021-10-25 | 2024-04-30 | 华中师范大学 | 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法 |
CN113936217A (zh) * | 2021-10-25 | 2022-01-14 | 华中师范大学 | 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法 |
CN114155365A (zh) * | 2022-02-07 | 2022-03-08 | 北京航空航天大学杭州创新研究院 | 模型训练方法、图像处理方法及相关装置 |
CN115147760A (zh) * | 2022-06-27 | 2022-10-04 | 武汉大学 | 基于视频理解和时空解耦的高分辨率遥感影像变化检测方法 |
CN115147760B (zh) * | 2022-06-27 | 2024-04-19 | 武汉大学 | 基于视频理解和时空解耦的高分辨率遥感影像变化检测方法 |
CN115456957A (zh) * | 2022-08-19 | 2022-12-09 | 广州大学 | 一种全尺度特征聚合的遥感影像变化检测的方法 |
CN115456957B (zh) * | 2022-08-19 | 2023-09-01 | 广州大学 | 一种全尺度特征聚合的遥感影像变化检测的方法 |
CN115331087A (zh) * | 2022-10-11 | 2022-11-11 | 水利部交通运输部国家能源局南京水利科学研究院 | 融合区域语义与像素特征的遥感影像变化检测方法及系统 |
CN116363526A (zh) * | 2023-04-07 | 2023-06-30 | 河海大学 | MROCNet模型构建与多源遥感影像变化检测方法及系统 |
CN116363526B (zh) * | 2023-04-07 | 2024-04-19 | 河海大学 | MROCNet模型构建与多源遥感影像变化检测方法及系统 |
CN116363521B (zh) * | 2023-06-02 | 2023-08-18 | 山东科技大学 | 一种遥感影像语义预测方法 |
CN116363521A (zh) * | 2023-06-02 | 2023-06-30 | 山东科技大学 | 一种遥感影像语义预测方法 |
CN117253155A (zh) * | 2023-11-17 | 2023-12-19 | 山东大学 | 一种基于深度学习的人类活动检测方法及系统 |
CN117253155B (zh) * | 2023-11-17 | 2024-03-15 | 山东大学 | 一种基于深度学习的人类活动检测方法及系统 |
CN117612017A (zh) * | 2024-01-23 | 2024-02-27 | 江西啄木蜂科技有限公司 | 一种环境自适应的遥感影像变化检测方法 |
CN117911879A (zh) * | 2024-03-20 | 2024-04-19 | 湘潭大学 | 一种融合sam的细粒度高分遥感影像变化检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112949549B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112949549B (zh) | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 | |
CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
CN110705457B (zh) | 一种遥感影像建筑物变化检测方法 | |
Zhang et al. | Remote sensing image spatiotemporal fusion using a generative adversarial network | |
Zheng et al. | Unsupervised change detection by cross-resolution difference learning | |
CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
Chini et al. | Comparing statistical and neural network methods applied to very high resolution satellite images showing changes in man-made structures at rocky flats | |
CN115236655B (zh) | 基于全极化sar的滑坡识别方法、系统、设备及介质 | |
CN112906638A (zh) | 一种基于多层次监督和深度度量学习的遥感变化检测方法 | |
CN115471467A (zh) | 一种高分辨率光学遥感影像建筑物变化检测方法 | |
Toriya et al. | SAR2OPT: Image alignment between multi-modal images using generative adversarial networks | |
Herrault et al. | A comparative study of geometric transformation models for the historical" Map of France" registration | |
CN114067205A (zh) | 一种轻量型的任意尺度双时相影像变化检测方法 | |
Thati et al. | A systematic extraction of glacial lakes for satellite imagery using deep learning based technique | |
Yuan et al. | Multi-objects change detection based on Res-Unet | |
CN116363526B (zh) | MROCNet模型构建与多源遥感影像变化检测方法及系统 | |
CN113378642A (zh) | 一种对农村违法占地建筑物进行检测的方法 | |
CN112529837A (zh) | 基于耦合判别特征自学习网络的遥感图像变化检测算法 | |
CN105631849A (zh) | 多边形目标的变化检测方法及装置 | |
Ma et al. | STNet: Spatial and Temporal feature fusion network for change detection in remote sensing images | |
CN116823896A (zh) | 一种高植被覆盖下靶矿区范围预测方法、装置及电子设备 | |
Luo et al. | An Evolutionary Shadow Correction Network and A Benchmark UAV Dataset for Remote Sensing Images | |
Zhao et al. | SqUNet: An High-performance Network for Crater Detection with DEM data | |
Deshmukh et al. | An Aligned Multi-Temporal Multi-Resolution Satellite Image Dataset for Change Detection Research | |
Yuan et al. | Buildings change detection using high-resolution remote sensing images with self-attention knowledge distillation and multiscale change-aware module |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |