CN113505636A - 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法 - Google Patents
一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法 Download PDFInfo
- Publication number
- CN113505636A CN113505636A CN202110570589.9A CN202110570589A CN113505636A CN 113505636 A CN113505636 A CN 113505636A CN 202110570589 A CN202110570589 A CN 202110570589A CN 113505636 A CN113505636 A CN 113505636A
- Authority
- CN
- China
- Prior art keywords
- model
- change detection
- remote sensing
- training
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000005065 mining Methods 0.000 title claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 title claims description 3
- 230000007246 mechanism Effects 0.000 title claims description 3
- 238000012549 training Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 2
- 239000000284 extract Substances 0.000 abstract description 2
- 230000001932 seasonal effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 5
- 229910052500 inorganic mineral Inorganic materials 0.000 description 4
- 239000011707 mineral Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种基于中高分辨率遥感影像的矿区变化检测方法，该方法使用全卷积孪生网络架构与门控注意力模块进行特征自动提取，并能更好地区分真正的矿区变化与植被农田的时令变化，该发明对于矿区的大范围地物变化快速检测具有重要的现实意义。
Description
技术领域
本发明涉及属于遥感数据智能处理技术领域，具体涉及基于遥感影像的矿区土地类型快速变化检测。
背景技术
矿产资源是我国非常重要的战略发展资源，由于各类矿产资源开采和相关工程建设的推进，矿区土地覆盖处于快速变化之中，成为区域生态环境变化、地质灾害等最直接的承载体和表现方式。随着卫星对地观测技术的发展和深度学习技术的成熟，基于深度学习方法的高空间分辨率遥感影像变化检测算法层出不穷，允许对大范围的地物变化进行快速监测。
但大多数变化检测的深度学习模型均为城市建筑物所设计，相较于城市等地区的变化检测，矿产开发区的自然地物与人工地物混杂，尤其是自然地物(如植被、农田等)的时令变化会对检测造成一定干扰。
发明内容
本发明旨在解决上面描述的问题。具体地，本发明提供一种基于中高分辨率遥感影像的矿区变化检测方法、装置、介质及设备。
本发明通过对两景不同时相获取的中高分辨率影像使用全卷积孪生网络架构与门控注意力模块进行特征自动提取并生成最终的矿区变化检测二分类结果，并使用遥感影像样本、二分类图像样本对矿区变化检测模型进行训练。全卷积孪生网络使用两个相同的编码器分别对前后两时相遥感影像进行特征提取并在训练时共享权重，并最终回到同一个解码器中，这种结构能够在不增加参数量的条件下提升模型的特征提取能力。而门控注意力模块通过将更深层的特征图结合进浅层特征中，使得模型在保留较大感受野的前提下获取更多较难挖掘的特征从而能更好区分真正的矿区变化与植被农田的时令变化。
参照附图来阅读对于示例性实施例的以下描述，本发明的其他特性特征和优点将变得清晰。
附图说明
图1是根据一示例性实施例示出的基于高分遥感影像的矿区变化检测的流程图。
图2为根据一示例性实施例示出的矿区变化检测模型示意图。
图3为根据一示例性实施例示出的矿区变化检测模型门控注意力模块示意图。
具体实施方式
图1是根据一示例性实施例示出的基于遥感影像的矿区变化检测的流程图。参考图1，基于遥感影像的矿区变化检测方法，包括：
(1)对目标区域两景不同时相的遥感影像进行数据预处理，包括辐射定标、大气校正、影像裁剪等，最终获得两景不同时相的矿区的反射率影像。
(2)制作二分类变化样本。根据两时相影像制作成变化区域的二分类图像样本。两个时相的遥感影像样本中的变化需与二分类图像样本中的变化一一对应。
(3)模型训练。使用对应的两景不同时相的遥感影像样本、二分类图像样本训练矿区变化检测模型。
(4)变化检测。使用训练后的矿区变化检测模型与目标区域的两景不同时相的遥感影像对目标区域的矿区进行变化检测。
在步骤(1)中，不同卫星传感器的遥感影像可自行按照各自的预处理方法进行处理。以Sentinel-2卫星的多光谱影像(红绿蓝与近红外波段为10m分辨率)为例，在获取原始影像后，使用官方提供的 Sen2cor工具对其进行辐射定标与大气校正，获得大气底层反射率数据，之后使用SNAP软件对影像进行裁剪与波段选取，获得目标矿区两个不同时相的多波段影像对。
在步骤(2)制作样本的过程中，根据使用者的制作习惯，可以选择直接绘制样本，或选择先分割再标记的方法。在此以一种先分割再标记的方法为例进行介绍，先使用eCognition软件将两景不同时相的影像堆叠后进行多尺度分割，获得分割结果后人工标记变化的图块，最后对分类图进行输出，得到二分类的图像，其中变化的像素值为2，未变化像素值为1。在选取变化样本的时仅将人工地物与自然地物间的变化视作变化区域，云噪声、类内变化均需归为未变化区域。
在步骤(3)中，将步骤(1)至步骤(2)中制作好的遥感影像、二分类变化图像作为训练样本对矿区变化检测模型进行训练，为使模型适用性更强，需要制作若干对选自不同矿区遥感影像对与对应的二分类变化样本。
图2为根据一示例性实施例示出的矿区变化检测模型示意图，其中圆框“A”表示门控注意力模块，模块结构如图3所示。
下面结合图2、图3，对矿区变化检测模型进行说明。
在本实施例中，两时相的影像分别输入至两个编码器中，训练时共享权重。其中编码器采用的是两个相同的VGG16的编码器，每一次卷积后均使用了ReLU激活函数，并在每一次卷积后加入Batch Normalization与Drop Out层。对两个编码器的第2、3、4层卷积层的特征图进行作差计算并取其绝对值，在通过门控注意力模块后与解码器中相对应的特征图进行串接操作。而门控注意力模块的模型如图3所示，其中
(W、H、F分别代表特征图的宽度、高度、特征维度)是门控信号，即深层特征图，
是原本输入，即浅层的两个编码器特征图作差的绝对值。g和xl先通过一个 1×1的卷积操作使二者特征维数相同，串接后得到
经过ReLU函数激活，再通过一个1×1的卷积核拉伸成维度为HgWg的实数序列σ2，并通过Sigmoid函数归一化，重采样成原本的Wx×Hx大小后，再与原始输入xl相乘获得输出特征图
模型最终输出的是特征层数为2的特征图，再将该特征图使用 softmax方法进行归一化后，再将其与二分类图像进行损失函数计算并训练模型。在此我们使用的损失函数是Dice Loss，其公式为：
其中|A∩B|代表集合A和B之间的公共元素，|A|代表集合A中的元素数量(集合B同理)，在此次模型的训练中，A代表模型输出的特征图，B代表事先人工标记的二分类遥感图像。具体实现时，可在分子与分母上同加一个极小值(如10-7)，以防止分母为0的情况下影响模型训练。
在步骤(4)中，模型最后输出的是两种类别的特征图经过softmax 归一化后的结果，需要再逐像素比较两类别的特征图的像素值，并取其中较大者的类别作为最后预测的类别。
Claims (1)
1.一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法，其步骤为：
第一步、对目标区域两景不同时相的遥感影像进行数据预处理，包括辐射定标、大气校正、影像裁剪等，最终获得两景不同时相的矿区地表反射率影像；
第二步、制作二分类变化样本，根据两时相影像制作成变化区域的二分类图像样本，两个时相的遥感影像样本中的变化需与二分类图像样本中的变化一一对应；
第三步、模型训练，使用对应的两景不同时相的遥感影像样本、二分类图像样本训练矿区变化检测模型；
第四步、变化检测，使用训练后的矿区变化检测模型与目标区域的两景不同时相的遥感影像对目标区域矿区进行变化检测；
模型采用两个相同的VGG16的编码器，每一次卷积后均使用了ReLU激活函数，并加入了Batch Normalization与Drop Out层；对两个编码器的第2、3、4层卷积层的特征图进行作差计算并取其绝对值，在通过门控注意力模块后与解码器中相对应的特征图进行串接操作；其中门控注意力模块有两个输入深层特征图
(W、H、F分别代表特征图的宽度、高度、特征维度)，浅层的两个编码器特征图作差的绝对值
g和xl先通过一个1×1的卷积操作使二者特征维数相同，串接后得到
经过ReLU函数激活，再通过一个1×1的卷积核拉伸成维度为HgWg的实数序列σ2，并通过Sigmoid函数归一化，重采样成原本的Wx×Hx大小后，再与xl相乘获得输出特征图
模型最终输出的是特征层数为2的特征图，再将该特征图使用softmax方法进行归一化后，再将其与二分类图像进行损失函数计算并训练模型。在此我们使用的损失函数是Dice Loss，其公式为：
其中|A∩B|代表集合A和B之间的公共元素，|A|代表集合A中的元素数量(集合B同理)，在此次模型的训练中，A代表模型输出的特征图，B代表事先人工标记的二分类遥感图像。具体实现时，可在分子与分母上同加一个极小值(如10-7)，以防止分母为0的情况下影响模型训练，模型最后输出的是两种类别的特征图经过softmax归一化后的结果，需要再逐像素比较两类别的特征图的像素值，并取其中较大者的类别作为最后预测的类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110570589.9A CN113505636B (zh) | 2021-05-25 | 2021-05-25 | 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110570589.9A CN113505636B (zh) | 2021-05-25 | 2021-05-25 | 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113505636A true CN113505636A (zh) | 2021-10-15 |
| CN113505636B CN113505636B (zh) | 2023-11-17 |
Family
ID=78009230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110570589.9A Active CN113505636B (zh) | 2021-05-25 | 2021-05-25 | 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113505636B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419464A (zh) * | 2022-03-29 | 2022-04-29 | 南湖实验室 | 一种基于深度学习的孪生网络变化检测模型 |
| CN114575925A (zh) * | 2022-03-14 | 2022-06-03 | 中科海慧（北京）科技有限公司 | 一种基于时空大数据的矿井安全监测和预警的方法 |
| CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161218A (zh) * | 2019-12-10 | 2020-05-15 | 核工业北京地质研究院 | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 |
| CN111291622A (zh) * | 2020-01-16 | 2020-06-16 | 武汉汉达瑞科技有限公司 | 一种遥感影像中建筑物变化检测的方法及装置 |
| CN111539316A (zh) * | 2020-04-22 | 2020-08-14 | 中南大学 | 基于双注意力孪生网络的高分遥感影像变化检测方法 |
| CN111860204A (zh) * | 2020-06-29 | 2020-10-30 | 成都数之联科技有限公司 | 基于语义分割技术的多时相遥感影像变化检测方法和介质 |
-
2021
- 2021-05-25 CN CN202110570589.9A patent/CN113505636B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161218A (zh) * | 2019-12-10 | 2020-05-15 | 核工业北京地质研究院 | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 |
| CN111291622A (zh) * | 2020-01-16 | 2020-06-16 | 武汉汉达瑞科技有限公司 | 一种遥感影像中建筑物变化检测的方法及装置 |
| CN111539316A (zh) * | 2020-04-22 | 2020-08-14 | 中南大学 | 基于双注意力孪生网络的高分遥感影像变化检测方法 |
| CN111860204A (zh) * | 2020-06-29 | 2020-10-30 | 成都数之联科技有限公司 | 基于语义分割技术的多时相遥感影像变化检测方法和介质 |
Non-Patent Citations (1)
| Title |
|---|
| 向阳;赵银娣;董霁红;: "基于改进UNet孪生网络的遥感影像矿区变化检测", 煤炭学报, no. 12 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114575925A (zh) * | 2022-03-14 | 2022-06-03 | 中科海慧（北京）科技有限公司 | 一种基于时空大数据的矿井安全监测和预警的方法 |
| CN114575925B (zh) * | 2022-03-14 | 2022-11-18 | 中科海慧（北京）科技有限公司 | 一种基于时空大数据的矿井安全监测和预警的方法 |
| CN114419464A (zh) * | 2022-03-29 | 2022-04-29 | 南湖实验室 | 一种基于深度学习的孪生网络变化检测模型 |
| CN114419464B (zh) * | 2022-03-29 | 2022-07-26 | 南湖实验室 | 一种基于深度学习的孪生网络变化检测模型的构建方法 |
| CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113505636B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| Adriano et al. | Learning from multimodal and multitemporal earth observation data for building damage mapping | |
| CN113505636A (zh) | 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法 | |
| Mitri et al. | A semi-automated object-oriented model for burned area mapping in the Mediterranean region using Landsat-TM imagery | |
| CN113887515A (zh) | 一种基于卷积神经网络的遥感滑坡识别方法及系统 | |
| Im et al. | An automated binary change detection model using a calibration approach | |
| CN111178304B (zh) | 基于全卷积神经网络的高分辨率遥感影像像素级解译方法 | |
| CN111339827A (zh) | 基于多区域卷积神经网络的sar图像变化检测方法 | |
| CN112232328A (zh) | 基于卷积神经网络的遥感影像建筑区提取方法、装置 | |
| CN102542293A (zh) | 一种针对高分辨率sar图像场景解译的一类提取分类方法 | |
| CN111951285A (zh) | 基于级联深度卷积神经网络的光学遥感影像林地分类方法 | |
| Aziz et al. | An accuracy analysis comparison of supervised classification methods for mapping land cover using sentinel 2 images in the Al‑Hawizeh marsh area, southern Iraq | |
| CN114898212B (zh) | 一种高分辨率遥感图像多地物变化信息提取方法 | |
| Lê et al. | Multiscale framework for rapid change analysis from SAR image time series: Case study of flood monitoring in the central coast regions of Vietnam | |
| Elhag et al. | Mediterranean land use and land cover classification assessment using high spatial resolution data | |
| CN109598202A (zh) | 一种基于对象的卫星图像多指标建成区自动提取方法 | |
| Singh et al. | Detection of 2011 Sikkim earthquake-induced landslides using neuro-fuzzy classifier and digital elevation model | |
| Macfarlane et al. | A standardised Landsat time series (1973–2016) of forest leaf area index using pseudoinvariant features and spectral vegetation index isolines and a catchment hydrology application | |
| CN113158770A (zh) | 一种改进的全卷积孪生神经网络的矿区变化检测方法 | |
| Jawak et al. | Iterative spectral index ratio exploration for object-based image analysis of Antarctic coastal oasis using high resolution satellite remote sensing data | |
| Dibs et al. | Detection wetland dehydration extent with multi-temporal remotely sensed data using remote sensing analysis and GIS techniques | |
| CN117671437B (zh) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 | |
| CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
| Magee | Segmentation, object-oriented applications for remote sensing land cover and land use classification | |
| Heidary et al. | Urban change detection by fully convolutional siamese concatenate network with attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |