CN113569760A - 基于多模态深度学习的三维变化检测方法 - Google Patents
基于多模态深度学习的三维变化检测方法 Download PDFInfo
- Publication number
- CN113569760A CN113569760A CN202110867230.8A CN202110867230A CN113569760A CN 113569760 A CN113569760 A CN 113569760A CN 202110867230 A CN202110867230 A CN 202110867230A CN 113569760 A CN113569760 A CN 113569760A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- data
- change detection
- sensing image
- dsm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 108
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000012795 verification Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000004088 simulation Methods 0.000 claims abstract description 8
- 238000013075 data extraction Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多模态深度学习的三维变化检测方法，包括：采集遥感影像数据源；对遥感影像数据源进行预处理以及数据提取，得到高分遥感影像数据与DSM数据；将高分遥感影像数据与DSM数据作为后时相遥感数据，基于后时相遥感数据进行数据模拟得到前时相遥感数据；确定深度学习的标签图，对双时相遥感数据图像以及标签图进行裁剪得到图像集合；将图像集合划分为训练集、验证集以及测试集；构建变化检测网络模型；将训练集以及验证集输入到变化检测网络模型进行迭代训练得到训练后的变化检测网络模型；将测试集输入到训练后的变化检测网络模型，输出变化检测结果。本发明能够充分挖掘遥感数据垂直向特征，模型泛化能力强，检测精度高。
Description
技术领域
本发明涉及遥感变化检测领域，具体涉及一种基于多模态深度学习的三维变化检测方法。
背景技术
随着城市规模的迅速扩张与城市化进程的不断加快，城市建筑物的新建、拆除、改建、违建、扩张等现象变化频繁迅速。其中，城市新增建筑物变化检测常常采用遥感变化检测，遥感变化检测是遥感应用的重要方式之一，它是利用多时相遥感技术获取由人工或者自然现象所造成的地表覆盖变化数据。由于遥感对地观测过程中观测对象的多样性与不确定性、太阳高度角的变化、环境与传感器噪声、不同传感器之间的成像兼容性及物候条件等因素的影响，使得多时相遥感变化检测十分复杂与困难。
近年来，随着人工智能浪潮的来临，基于数据驱动的深度学习技术在遥感变化检测领域受到广泛的关注与应用。然而，当前遥感变化检测研究通常仅应用单模态遥感数据作为变化检测数据源(如高空间分辨率光学遥感影像)，虽然二维高空间分辨率光学遥感图像可以清晰的表征地物的空间细节信息和几何特征，但受限于遥感场景中地物的多尺度性、空间异质性和复杂的成像环境，通常会使得在相同场景下的不同地物出现类间可分性降低，类内差异性较大等问题，这将极大地影响图像分割精度。
同时，真实的遥感场景变化不仅出现在水平向，同时在垂直向也发生着明显的变化差异，针对于城市建筑物等对高度特征十分敏感的规则几何地物，三维几何特征可以更加真实地反应其物理几何特性，从而克服基于传统二维变化检测的缺陷。当前遥感变化检测研究中的垂直向特征还没有被充分挖掘，故存在特征表达不全面、模型泛化能力弱、检测精度不理想等现象。
发明内容
有鉴于此，本发明的目的是克服现有技术中的缺陷，提供基于多模态深度学习的三维变化检测方法，能够充分挖掘遥感数据垂直向特征，模型泛化能力强，检测精度高。
本发明的基于多模态深度学习的三维变化检测方法，包括如下步骤：
S1.采集目标区域建筑物的遥感影像数据源；
S2.对遥感影像数据源进行预处理，得到高分遥感影像数据；
S3.对遥感影像数据源进行数据提取，得到DSM数据；
S4.将高分遥感影像数据与DSM数据作为后时相遥感数据，并基于后时相遥感数据进行数据模拟，得到前时相遥感数据；
S5.确定深度学习的标签图，并对双时相遥感数据对应的图像以及标签图进行裁剪，得到目标尺寸图像的集合；
S6.按照设定的划分比例，将目标尺寸图像的集合划分为训练集、验证集以及测试集；
S7.构建变化检测网络模型；
S8.将训练集以及验证集输入到变化检测网络模型进行迭代训练，得到训练后的变化检测网络模型；
S9.将测试集输入到训练后的变化检测网络模型，并输出变化检测结果。
进一步，所述步骤S2，具体包括：
对遥感影像数据源进行正射纠正，得到纠正后的遥感影像；
对纠正后的遥感影像中的全色影像与多光谱影像进行图像融合处理，得到融合后的遥感影像；
对融合后的遥感影像进行图像裁剪处理，得到高分遥感影像数据。
进一步，所述步骤S3，具体包括：
从遥感影像数据源中获取目标重叠度的前视与后视遥感影像；
对前视与后视遥感影像进行立体像对的匹配，得到DSM数据。
进一步，基于后时相遥感数据进行数据模拟，得到前时相遥感数据，具体包括：
对高分遥感影像数据进行随机删减，得到删减后的高分遥感影像数据；
对删减后的高分遥感影像数据进行随机填充，得到填充后的高分遥感影像数据；
对DSM数据进行随机删减，得到删减后的DSM数据；
对删减后的DSM数据进行随机填充，得到填充后的DSM数据；
将填充后的高分遥感影像数据以及填充后的DSM数据作为前时相遥感数据。
进一步，步骤S4中，还包括：
对前时相遥感数据进行地理配准处理，得到配准后的前时相遥感数据；
以提高DSM数据的空间分辨率为目标，对配准后的前时相遥感数据中的DSM数据进行重采样，得到重采样后的前时相遥感数据；
将重采样后的前时相遥感数据中的DSM数据进行归一化处理，得到归一化后的前时相遥感数据。
进一步，根据如下方法确定深度学习的标签图：
对目标区域内真实变化区域的建筑物影像进行矢量化处理，得到矢量变化图；
对矢量变化图进行转化，得到二值变化图，并将二值变化图作为深度学习的标签图。
进一步，所述步骤S7，具体包括：
S71.构建遥感影像特征提取网络；所述遥感影像特征提取网络以残差网络为基础特征提取框架；
S72.构建DSM特征提取网络；所述DSM特征提取网络以全卷积神经网络作为辅助特征提取框架；
S73.构建特征共享空间；所述特征共享空间用于对遥感影像特征提取网络提取的图像端特征图与DSM特征提取网络提取的DSM端特征图进行多模态特征融合；
S74.构建特征还原网络；所述特征还原网络用于还原多模态特征融合后图像的空间尺度特征；
S75.设计输出层；所述输出层用于输出变化检测结果。
进一步，将训练集以及验证集输入到变化检测网络模型进行迭代训练，具体包括：
确定深度学习的目标框架以及目标优化器；
基于目标框架设定初始学习率、矩阵指数衰减率、损失函数以及训练迭代次数；
输入训练集以及验证集并使用目标优化器进行迭代训练；其中，使用训练集对变化检测网络模型进行训练得到训练结果；使用验证集对每次训练后的训练结果进行验证得到验证结果，并根据验证结果对变化检测网络模型中的参数进行调整。
进一步，还包括：S10.对输出的变化检测结果进行评估：
确定变化检测结果的准确率Precision：
确定变化检测结果的总体精度OA：
确定变化检测结果的召回率Recall：
确定变化检测结果的F1值F1：
其中，TP表示实际变化像元被预测为变化的像元个数；FP表示实际未变化像元被预测为变化的像元个数；FN表示实际变化像元被预测为未变化的像元个数；TN表示实际未变化像元被预测为未变化的像元个数。
本发明的有益效果是：本发明公开的一种基于多模态深度学习的三维变化检测方法，通过对采集到的目标区域建筑物的遥感影像进行提取分析，得到双时相的遥感影像数据与DSM数据；构建并训练变化检测网络模型，并使用训练好的变化检测网络模型对双时相的遥感影像数据与DSM数据进行变化检测，进而得到变化检测结果，本发明能够充分挖掘遥感数据垂直向特征，模型泛化能力强，检测精度高。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1为本发明的方法原理示意图。
具体实施方式
以下结合说明书附图对本发明做出进一步的说明，如图1所示：
本发明的基于多模态深度学习的三维变化检测方法，包括如下步骤：
S1.采集目标区域建筑物的遥感影像数据源；
S2.对遥感影像数据源进行预处理，得到高分遥感影像数据；
S3.对遥感影像数据源进行数据提取，得到DSM数据；
S4.将高分遥感影像数据与DSM数据作为后时相遥感数据，并基于后时相遥感数据进行数据模拟，得到前时相遥感数据；
S5.确定深度学习的标签图，并对双时相遥感数据对应的图像以及标签图进行裁剪，得到目标尺寸图像的集合；
S6.按照设定的划分比例，将目标尺寸图像的集合划分为训练集、验证集以及测试集；
S7.构建变化检测网络模型；
S8.将训练集以及验证集输入到变化检测网络模型进行迭代训练，得到训练后的变化检测网络模型；
S9.将测试集输入到训练后的变化检测网络模型，并输出变化检测结果。
本实施例中，以中国第一颗亚米级立体测绘卫星高分7号作为采集设备，以某市的某个区域作为目标区域进行变化检测分析。
本实施例中，所述步骤S2，具体包括：
基于遥感图像处理软件对遥感影像数据源进行正射纠正，得到纠正后的遥感影像；
利用Gram-Schmidt图像融合算法对纠正后的遥感影像中的高分七号0.65米空间分辨率全色影像与2.6米多光谱影像进行图像融合处理，得到0.65米4波段的遥感影像；
从目标区域中选定研究区域，对融合后的遥感影像进行图像裁剪处理，得到高分遥感影像数据。
本实施例中，所述步骤S3，具体包括：
从遥感影像数据源中获取目标重叠度的前视与后视GF-7多视角立体遥感影像；所述目标重叠度可根据实际工况进行设定；
利用遥感图像处理软件输入前视与后视GF-7多视角立体遥感影像，并利用DSM提取工具对输入的前视与后视遥感影像进行立体像对的匹配，从而实现高精度的DSM数据提取。其中，参数设置包含设定区域网平差，数据地形类型为山地型，影像重叠度选为55％，匹配阈值(Matching Threshold)设置为5，边界阈值(Edge Threshold)设置为默认值5，质量阈值(Quality Threshold)设置为60，最后保存输出的DSM数据及DSM数据对应的ALS点云数据。
本实施例中，由于仅获得到单景GF-7遥感影像，而遥感变化检测的研究对象为多时相遥感数据，因此基于后时相遥感数据进行数据模拟，得到前时相遥感数据，具体包括：
对高分遥感影像数据进行随机删减，得到删减后的高分遥感影像数据；
对删减后的高分遥感影像数据进行随机填充，得到填充后的高分遥感影像数据；也即是，通过随机删减并以其附近地物、裸地、林地、草地与农业用地等地物进行随机填充。
对DSM数据进行随机删减，得到删减后的DSM数据；
对删减后的DSM数据进行随机填充，得到填充后的DSM数据；
将填充后的高分遥感影像数据以及填充后的DSM数据作为前时相遥感数据。
通过上述操作，尽可能真实地模拟高分遥感影像与DSM数据中建筑物的变化情况。
本实施例中，由于数据模拟过程中会丢失数据的空间信息，则步骤S4中，还包括：
对前时相遥感数据进行地理配准处理，得到配准后的前时相遥感数据；
以提高DSM数据的空间分辨率为目标，对配准后的前时相遥感数据中的DSM数据进行重采样，得到重采样后的前时相遥感数据；其中，可将DSM数据的空间分辨率由1米重采样到与高分遥感相同的0.65米；
将重采样后的前时相遥感数据中的DSM数据进行归一化处理，得到归一化后的前时相遥感数据。其中，可将DSM数据归一化到0-255之间，降低了高度值与灰度值之间的差距，从而更有利于数据分析以及变化检测模型的训练与拟合。
本实施例中，根据如下方法确定深度学习的标签图：
对目标区域内真实变化区域的建筑物影像进行矢量化处理，得到矢量变化图；
利用矢量栅格工具对矢量变化图进行转化，得到二值变化图，并将二值变化图作为深度学习的标签图。
本实施例中，步骤S5中，由于受限于计算机GPU显存的限制，需要将研究区域裁剪为小图像，可将研究区域以128个像元的步长裁剪为256×256的小图像，裁剪后共获得6032组小图像。
本实施例中，步骤S6中，根据实际工况来设定划分比例，可以从6032组小图像中抽出5040组作为训练集，从6032组小图像中抽出992组作为验证集，同时从研究区域中选取3块不重复的区域作为测试集进行测试。
本实施例中，所述步骤S7，具体包括：
S71.构建遥感影像特征提取网络；所述遥感影像特征提取网络以残差网络为基础特征提取框架；其中，将双时相高分遥感影像进行通道合并而形成6通道数据，将所述6通道数据作为遥感影像特征提取网络的输入数据；由于遥感影像包含了更加丰富的光谱、几何、纹理与复杂的上下文信息，因此通过构建遥感影像特征提取网络，以缓解训练过程中梯度消失与模型退化等问题；
S72.构建DSM特征提取网络；所述DSM特征提取网络以全卷积神经网络作为辅助特征提取框架；其中，将双时相DSM数据通道合并为2通道数据，并将所述2通道数据作为DSM特征提取网络的输入数据；由于DSM数据特征分布形式主要为高度与空间几何特征，特征相对单一，因此以辅助数据的形式构建DSM特征提取网络；
S73.构建特征共享空间；所述特征共享空间用于对遥感影像特征提取网络提取的图像端特征图与DSM特征提取网络提取的DSM端特征图进行多模态特征融合；其中，将每一层下采样所获取的遥感图像特征图与对应的DSM特征图间进行多模态特征融合，通过多路径引导特征图进行特征空间连接，实现多尺度、多模态特征的融合工作；
S74.构建特征还原网络；所述特征还原网络用于还原多模态特征融合后图像的空间尺度特征；其中，由于特征下采样过程中图像的空间细节信息会逐渐损失，因此需要通过空间上采样逐渐恢复图像的空间细节特征，同时通过跳跃连接结构将下采样过程中的多模态融合特征图与对应尺度的上采样特征图进行多尺度特征融合，实现深层特征与浅层特征的多尺度特征融合，从而更好地还原图像的空间分辨率与布局细节特征。
S75.设计输出层；所述输出层用于输出变化检测结果。其中，可通过Softmax函数做为输出层来输出二值变化检测结果。
本实施例中，在将图像数据输入到变化检测网络模型前，通过将所述图像数据统一归一化到0-1之间，以缩小数据的分布形式，从而可以降低变化检测网络模型的拟合难度。
本实施例中，将训练集以及验证集输入到变化检测网络模型进行迭代训练，具体包括：
确定深度学习的目标框架以及目标优化器；其中，采用Tensorflow1.14.0作为深度学习框架，并使用Adam作为优化器进行迭代训练；
基于目标框架设定初始学习率、矩阵指数衰减率、损失函数以及训练迭代次数；其中，初始学习率(learning rate)为0.0001，一阶矩阵指数衰减率(beta1)为0.9，二阶矩阵指数衰减率(beta2)为0.999，损失函数为交叉熵损失函数
将val_loss作为模型训练监测指标，用于保存最优模型权重；一个批次(epoch)输入的图像数为4张，训练迭代次数设置为50个批次。
输入训练集以及验证集并使用目标优化器进行迭代训练；其中，使用训练集对变化检测网络模型进行训练得到训练结果；使用验证集对每次训练后的训练结果进行验证得到验证结果，并根据验证结果对变化检测网络模型中的参数进行调整。所述训练集用于变化检测网络模型的训练以及所述验证集用于变化检测网络模型的验证均采用现有技术，在此不再赘述。
本实施例中，还包括：S10.对输出的变化检测结果进行评估：
确定变化检测结果的准确率Precision：
确定变化检测结果的总体精度OA：
确定变化检测结果的召回率Recall：
确定变化检测结果的F1值F1：
其中，TP表示实际变化像元被预测为变化的像元个数；FP表示实际未变化像元被预测为变化的像元个数；FN表示实际变化像元被预测为未变化的像元个数；TN表示实际未变化像元被预测为未变化的像元个数。
以准确率(Precision)、总体精度(OA)、召回率(Recall)以及F1值(F1-Score)作为图像分割评价指标，对现有的不同算法以及本发明的变化检测效果进行分析，得到表1所示的结果。
表1
从表1可以看出，本发明的三维变化检测方法得到的变化检测结果，其准确率(Precision)、总体精度(OA)、召回率(Recall)以及F1值(F1-Score)均比现有的多个算法要高。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于多模态深度学习的三维变化检测方法，其特征在于：包括如下步骤：
S1.采集目标区域建筑物的遥感影像数据源；
S2.对遥感影像数据源进行预处理，得到高分遥感影像数据；
S3.对遥感影像数据源进行数据提取，得到DSM数据；
S4.将高分遥感影像数据与DSM数据作为后时相遥感数据，并基于后时相遥感数据进行数据模拟，得到前时相遥感数据；
S5.确定深度学习的标签图，并对双时相遥感数据对应的图像以及标签图进行裁剪，得到目标尺寸图像的集合；
S6.按照设定的划分比例，将目标尺寸图像的集合划分为训练集、验证集以及测试集；
S7.构建变化检测网络模型；
S8.将训练集以及验证集输入到变化检测网络模型进行迭代训练，得到训练后的变化检测网络模型；
S9.将测试集输入到训练后的变化检测网络模型，并输出变化检测结果。
2.根据权利要求1所述的基于多模态深度学习的三维变化检测方法，其特征在于：所述步骤S2，具体包括：
对遥感影像数据源进行正射纠正，得到纠正后的遥感影像；
对纠正后的遥感影像中的全色影像与多光谱影像进行图像融合处理，得到融合后的遥感影像；
对融合后的遥感影像进行图像裁剪处理，得到高分遥感影像数据。
3.根据权利要求1所述的基于多模态深度学习的三维变化检测方法，其特征在于：所述步骤S3，具体包括：
从遥感影像数据源中获取目标重叠度的前视与后视遥感影像；
对前视与后视遥感影像进行立体像对的匹配，得到DSM数据。
4.根据权利要求1所述的基于多模态深度学习的三维变化检测方法，其特征在于：基于后时相遥感数据进行数据模拟，得到前时相遥感数据，具体包括：
对高分遥感影像数据进行随机删减，得到删减后的高分遥感影像数据；
对删减后的高分遥感影像数据进行随机填充，得到填充后的高分遥感影像数据；
对DSM数据进行随机删减，得到删减后的DSM数据；
对删减后的DSM数据进行随机填充，得到填充后的DSM数据；
将填充后的高分遥感影像数据以及填充后的DSM数据作为前时相遥感数据。
5.根据权利要求1所述的基于多模态深度学习的三维变化检测方法，其特征在于：步骤S4中，还包括：
对前时相遥感数据进行地理配准处理，得到配准后的前时相遥感数据；
以提高DSM数据的空间分辨率为目标，对配准后的前时相遥感数据中的DSM数据进行重采样，得到重采样后的前时相遥感数据；
将重采样后的前时相遥感数据中的DSM数据进行归一化处理，得到归一化后的前时相遥感数据。
6.根据权利要求1所述的基于多模态深度学习的三维变化检测方法，其特征在于：根据如下方法确定深度学习的标签图：
对目标区域内真实变化区域的建筑物影像进行矢量化处理，得到矢量变化图；
对矢量变化图进行转化，得到二值变化图，并将二值变化图作为深度学习的标签图。
7.根据权利要求1所述的基于多模态深度学习的三维变化检测方法，其特征在于：所述步骤S7，具体包括：
S71.构建遥感影像特征提取网络；所述遥感影像特征提取网络以残差网络为基础特征提取框架；
S72.构建DSM特征提取网络；所述DSM特征提取网络以全卷积神经网络作为辅助特征提取框架；
S73.构建特征共享空间；所述特征共享空间用于对遥感影像特征提取网络提取的图像端特征图与DSM特征提取网络提取的DSM端特征图进行多模态特征融合；
S74.构建特征还原网络；所述特征还原网络用于还原多模态特征融合后图像的空间尺度特征；
S75.设计输出层；所述输出层用于输出变化检测结果。
8.根据权利要求1所述的基于多模态深度学习的三维变化检测方法，其特征在于：将训练集以及验证集输入到变化检测网络模型进行迭代训练，具体包括：
确定深度学习的目标框架以及目标优化器；
基于目标框架设定初始学习率、矩阵指数衰减率、损失函数以及训练迭代次数；
输入训练集以及验证集并使用目标优化器进行迭代训练；其中，使用训练集对变化检测网络模型进行训练得到训练结果；使用验证集对每次训练后的训练结果进行验证得到验证结果，并根据验证结果对变化检测网络模型中的参数进行调整。
9.根据权利要求1所述的基于多模态深度学习的三维变化检测方法，其特征在于：还包括：S10.对输出的变化检测结果进行评估：
确定变化检测结果的准确率Precision：
确定变化检测结果的总体精度OA：
确定变化检测结果的召回率Recall：
确定变化检测结果的F1值F1：
其中，TP表示实际变化像元被预测为变化的像元个数；FP表示实际未变化像元被预测为变化的像元个数；FN表示实际变化像元被预测为未变化的像元个数；TN表示实际未变化像元被预测为未变化的像元个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110867230.8A CN113569760B (zh) | 2021-07-29 | 2021-07-29 | 基于多模态深度学习的三维变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110867230.8A CN113569760B (zh) | 2021-07-29 | 2021-07-29 | 基于多模态深度学习的三维变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113569760A true CN113569760A (zh) | 2021-10-29 |
| CN113569760B CN113569760B (zh) | 2024-08-06 |
Family
ID=78169290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110867230.8A Active CN113569760B (zh) | 2021-07-29 | 2021-07-29 | 基于多模态深度学习的三维变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569760B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972991A (zh) * | 2022-05-27 | 2022-08-30 | 长江水利委员会长江科学院 | 一种崩岗的自动识别方法及系统 |
| CN115082780A (zh) * | 2022-05-25 | 2022-09-20 | 西北工业大学 | 基于增量式差异学习网络的多源异质影像变化检测方法 |
| CN115797788A (zh) * | 2023-02-17 | 2023-03-14 | 武汉大学 | 基于深度学习的多模态铁路设计要素遥感特征提取方法 |
| CN115965622A (zh) * | 2023-02-15 | 2023-04-14 | 航天宏图信息技术股份有限公司 | 一种遥感瓦片数据的变化检测方法和装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014171988A2 (en) * | 2013-01-29 | 2014-10-23 | Andrew Robert Korb | Methods for analyzing and compressing multiple images |
| CN106846332A (zh) * | 2016-12-30 | 2017-06-13 | 中国人民解放军61540部队 | 一种基于dsm的遥感影像变化检测方法及装置 |
| WO2018223950A1 (zh) * | 2017-06-05 | 2018-12-13 | 中国测绘科学研究院 | 卫星激光测高数据辅助提取高程控制点方法 |
| CN109543630A (zh) * | 2018-11-28 | 2019-03-29 | 苏州中科天启遥感科技有限公司 | 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备 |
| US10325370B1 (en) * | 2016-05-31 | 2019-06-18 | University Of New Brunswick | Method and system of coregistration of remote sensing images |
| CN109961105A (zh) * | 2019-04-08 | 2019-07-02 | 上海市测绘院 | 一种基于多任务深度学习的高分辨率遥感影像分类方法 |
| CN111241994A (zh) * | 2020-01-09 | 2020-06-05 | 中国交通通信信息中心 | 一种深度学习的遥感影像农村公路砂化路段的提取方法 |
| CN112819753A (zh) * | 2021-01-12 | 2021-05-18 | 香港理工大学深圳研究院 | 一种建筑物变化检测方法、装置、智能终端及存储介质 |
| CN113033714A (zh) * | 2021-05-24 | 2021-06-25 | 华中师范大学 | 多模态多粒度遥感影像面向对象自动机器学习方法及系统 |
| US20230073366A1 (en) * | 2021-09-07 | 2023-03-09 | Intermap Technologies, Inc. | Methods and apparatuses for calculating building heights from mono imagery |
-
2021
- 2021-07-29 CN CN202110867230.8A patent/CN113569760B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014171988A2 (en) * | 2013-01-29 | 2014-10-23 | Andrew Robert Korb | Methods for analyzing and compressing multiple images |
| US10325370B1 (en) * | 2016-05-31 | 2019-06-18 | University Of New Brunswick | Method and system of coregistration of remote sensing images |
| CN106846332A (zh) * | 2016-12-30 | 2017-06-13 | 中国人民解放军61540部队 | 一种基于dsm的遥感影像变化检测方法及装置 |
| WO2018223950A1 (zh) * | 2017-06-05 | 2018-12-13 | 中国测绘科学研究院 | 卫星激光测高数据辅助提取高程控制点方法 |
| CN109543630A (zh) * | 2018-11-28 | 2019-03-29 | 苏州中科天启遥感科技有限公司 | 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备 |
| CN109961105A (zh) * | 2019-04-08 | 2019-07-02 | 上海市测绘院 | 一种基于多任务深度学习的高分辨率遥感影像分类方法 |
| CN111241994A (zh) * | 2020-01-09 | 2020-06-05 | 中国交通通信信息中心 | 一种深度学习的遥感影像农村公路砂化路段的提取方法 |
| CN112819753A (zh) * | 2021-01-12 | 2021-05-18 | 香港理工大学深圳研究院 | 一种建筑物变化检测方法、装置、智能终端及存储介质 |
| CN113033714A (zh) * | 2021-05-24 | 2021-06-25 | 华中师范大学 | 多模态多粒度遥感影像面向对象自动机器学习方法及系统 |
| US20230073366A1 (en) * | 2021-09-07 | 2023-03-09 | Intermap Technologies, Inc. | Methods and apparatuses for calculating building heights from mono imagery |
Non-Patent Citations (11)
| Title |
|---|
| AFAQ, YASIR等: "Analysis on change detection techniques for remote sensing applications: A review", ECOLOGICAL INFORMATICS, 3 May 2021 (2021-05-03) * |
| JIANPING PAN等: "A Self-Attentive Hybrid Coding Network for 3D Change Detection in High-Resolution Optical Stereo Images", REMOTE SENSING FOR ENGINEERING AND SUSTAINABLE DEVELOPMENT GOALS, 25 April 2022 (2022-04-25) * |
| 佟国峰;李勇;丁伟利;岳晓阳;: "遥感影像变化检测算法综述", 中国图象图形学报, no. 12, 16 December 2015 (2015-12-16) * |
| 夏兰芳: "基于遥感信息和DSM的城市土地利用变化监测研究", 测绘与空间地理信息, 31 December 2012 (2012-12-31) * |
| 夏兰芳;: "基于遥感信息和DSM的城市土地利用变化监测研究", 测绘与空间地理信息, no. 08, 25 August 2012 (2012-08-25) * |
| 曹海翊等: "高分辨率立体测绘卫星技术研究", 遥感学报, 25 July 2021 (2021-07-25) * |
| 李爱嘉: "基于高分遥感影像的草原生态状况智能监测系统研究", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), 15 February 2021 (2021-02-15) * |
| 李鑫: "基于多模态深度学习的建筑物三维变化检测研究", 中国优秀硕士学位论文全文数据库 (基础科学辑), 15 March 2023 (2023-03-15) * |
| 李鑫等: "融合高分遥感影像与DSM的建筑物三维变化检测", 测绘科学, 31 December 2022 (2022-12-31) * |
| 王立民等: "基于D-S证据理论的遥感图像融合变化检测方法", 计算机工程与科学, 31 December 2011 (2011-12-31) * |
| 王雅慧;陈尔学;郭颖;李增元;金玉栋;赵俊鹏;周瑶;: "高分辨率多光谱遥感影像森林类型分类深度U-net优化方法", 林业科学研究, no. 01 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082780A (zh) * | 2022-05-25 | 2022-09-20 | 西北工业大学 | 基于增量式差异学习网络的多源异质影像变化检测方法 |
| CN115082780B (zh) * | 2022-05-25 | 2024-03-19 | 西北工业大学 | 基于增量式差异学习网络的多源异质影像变化检测方法 |
| CN114972991A (zh) * | 2022-05-27 | 2022-08-30 | 长江水利委员会长江科学院 | 一种崩岗的自动识别方法及系统 |
| CN115965622A (zh) * | 2023-02-15 | 2023-04-14 | 航天宏图信息技术股份有限公司 | 一种遥感瓦片数据的变化检测方法和装置 |
| CN115797788A (zh) * | 2023-02-17 | 2023-03-14 | 武汉大学 | 基于深度学习的多模态铁路设计要素遥感特征提取方法 |
| CN115797788B (zh) * | 2023-02-17 | 2023-04-14 | 武汉大学 | 基于深度学习的多模态铁路设计要素遥感特征提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113569760B (zh) | 2024-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113569760B (zh) | 基于多模态深度学习的三维变化检测方法 | |
| CN112288875B (zh) | 一种面向无人机矿山巡检场景的快速三维重建方法 | |
| CN112288647B (zh) | 一种基于门控卷积的遥感影像云和阴影修复的方法 | |
| CN111640159B (zh) | 一种基于孪生卷积神经网络的遥感影像变化检测方法 | |
| CN111738165B (zh) | 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法 | |
| CN104931022B (zh) | 基于星载激光测高数据的卫星影像立体区域网平差方法 | |
| Ma | DEM generation and building detection from lidar data | |
| Hervás et al. | Monitoring landslides from optical remotely sensed imagery: the case history of Tessina landslide, Italy | |
| Lin et al. | Estimating aboveground biomass of urban forest trees with dual-source UAV acquired point clouds | |
| CN105989322A (zh) | 一种基于高分辨率遥感影像的多指标融合滑坡检测方法 | |
| Wang et al. | Construction and optimization method of the open-pit mine DEM based on the oblique photogrammetry generated DSM | |
| CN110991430B (zh) | 基于遥感图像的地物识别及覆盖率计算方法及系统 | |
| Li et al. | Automatic recognition of erosion area on the slope of tailings dam using region growing segmentation algorithm | |
| CN113240735B (zh) | 一种边坡位移活动性监测方法 | |
| CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
| CN117172134B (zh) | 基于融合地形特征的月表多尺度dem建模方法 | |
| CN115980745A (zh) | 地下开采沉陷区智能识别方法、装置、电子设备及存储介质 | |
| CN116910876A (zh) | 一种基于无人机遥感辅助滑坡应急治理工程勘查设计方法 | |
| Chen et al. | A mathematical morphology-based multi-level filter of LiDAR data for generating DTMs | |
| CN110827406A (zh) | 一种实现大水网隧洞快速三维重构方法 | |
| Li et al. | New methodologies for precise building boundary extraction from LiDAR data and high resolution image | |
| Xia et al. | A Deep Learning Application for Building Damage Assessment Using Ultra-High-Resolution Remote Sensing Imagery in Turkey Earthquake | |
| Liu et al. | The geomorphometry of rainfall-induced landslides in taiwan obtained by airborne lidar and digital photography | |
| Pagán et al. | 3D modelling of dune ecosystems using photogrammetry from remotely piloted air systems surveys | |
| Yang et al. | Susceptibility analysis of glacier debris flow by investigating glacier changes based on remote sensing imagery and deep learning: A case study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |