CN115861731A - 基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法 - Google Patents
基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法 Download PDFInfo
- Publication number
- CN115861731A CN115861731A CN202211473750.1A CN202211473750A CN115861731A CN 115861731 A CN115861731 A CN 115861731A CN 202211473750 A CN202211473750 A CN 202211473750A CN 115861731 A CN115861731 A CN 115861731A
- Authority
- CN
- China
- Prior art keywords
- semantic
- change
- remote sensing
- srnet
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法，包括：获取遥感图像数据；进行数据预处理与数据增强；构建残差坐标注意力模块，构建双时间语义推理模块，构建CAB‑SRNet网络模型；基于联合损失函数，采用训练集对CAB‑SRNet网络模型进行训练，训练完成后用测试集评估CAB‑SRNet网络模型的识别精度和提取效果；进行语义变化识别：将待提取的自然保护地遥感图像进行数据预处理后，输入训练完成的CAB‑SRNet网络模型，CAB‑SRNet网络模型输出预测图像，得到自然保护地土地利用语义变化识别结果。本发明能有效识别变化区域的位置信息和边界信息，提高变化识别精度；能够在关键区域更好地区分土地利用类型，获取好的语义变化识别效果。
Description
技术领域
本发明涉及图像变化识别技术领域，尤其是一种基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法。
背景技术
自然保护地是生态建设的核心载体，在维护国家生态安全中居于首要地位。随着工业化和城镇化的快速发展，保护与开发的矛盾日益突出，人类活动造成的环境斑块破碎化给生物多样性带来了较大威胁，自然保护地数量多、面积大、分布广、地理环境复杂、建设项目繁杂、监管人手少，依赖传统的地面调查手段难以及时发现和监督保护地内各项违法违规活动，而卫星遥感具有宏观性、及时性、客观性等特点，是开展自然保护地人类活动监管的最佳手段。
随着高分辨率遥感影像的日益普及，已经扩大了在高分辨率双时态图像中进行变化检测的潜在应用范围。基于高分辨率遥感影像的变化检测在以下两个方面仍然是一个具有挑战性的任务：场景中物体的复杂性和不同的成像条件，两者都导致了具有相同语义概念的物体在不同的时间和不同的空间位置(时空)表现出不同的光谱特征。为此，急需研发一个更好的变化检测模型，它可以在复杂场景中识别这些相关的变化，同时避免由季节变化、建筑阴影、大气变化和光照条件的变化引起的复杂的不相关的变化。
发明内容
本发明的目的在于提供一种实现遥感图像自动化语义变化检测，同时表示出图像丰富的变化信息，提高了自然保护地监督效率和准确率，大大缓解了人力资源的紧张的基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法。
为实现上述目的，本发明采用了以下技术方案：一种基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法，该方法包括下列顺序的步骤：
(1)获取遥感图像数据：下载两期自然保护地区域的北京二号和高景一号高分辨率遥感图像数据；
(2)进行数据预处理与数据增强：根据自然保护地矢量数据对获取的遥感图像进行筛选、拼接及裁剪；对两期遥感图像发生变化的变化区域进行语义标注，得到标签图像L1和L2，其中，L1为变化前的语义变化图，L2为变化后的语义变化图；对遥感图像和标签图像进行裁剪和数据增强，得到自然保护地语义变化检测数据集；按照7：2：1的比例将自然保护地语义变化检测数据集划分为训练集、测试集和验证集；
(3)构建CAB-SRNet网络模型：在残差块中添加坐标注意力机制构建残差坐标注意力模块，构建双时间语义推理模块，在BI-SRNet网络上添加残差坐标注意力模块和双时间语义推理模块，构建CAB-SRNet网络模型；
(4)进行模型训练与评估：基于语义类损失Lsem、二进制变化损失Lchange，和语义变化损失Lsc相结合的联合损失函数，采用训练集对CAB-SRNet网络模型进行训练，训练完成后用测试集评估CAB-SRNet网络模型的识别精度和提取效果；
(5)进行语义变化识别：将待提取的自然保护地遥感图像进行数据预处理后，输入训练完成的CAB-SRNet网络模型，CAB-SRNet网络模型输出预测图像，得到自然保护地土地利用语义变化识别结果。
所述步骤(2)具体包括下列步骤：
(2a)通过Arcgis10.5软件，对自然保护地遥感图像进行筛选、拼接及裁剪；对两期自然保护地遥感图像发生变化的变化区域进行语义标注，得到标签图像L1和L2，L1为变化前的语义变化图，L2为变化后的语义变化图，标签图像中无变化为白色，水为蓝色，裸地为棕色，植被为绿色，建筑物为红色，道路为灰色，大棚为黑色；通过滑动窗口的方式，对遥感图像和标签图像进行裁剪，裁剪成256×256大小的图像；
(2b)对裁剪后的遥感图像和标签图像进行数据增强，扩大数据量，得到自然保护地语义变化检测数据集，所述数据增强包括：
水平翻转：使用图像处理库OpenCV分别对遥感图像和标签图像进行水平翻转；
垂直翻转：使用图像处理库OpenCV分别对遥感图像和标签图像进行垂直翻转；
水平垂直翻转：使用图像处理库OpenCV分别对遥感图像和标签图像先水平翻转再垂直翻转；
移位、缩放、随机裁剪和添加噪声：分别对遥感图像和标签图像进行移位、缩放、随机裁剪、添加噪声；
(2c)将自然保护地语义变化检测数据集分别按照7:2:1的比例划分为训练集、测试集和验证集；所述训练集用于直接参与CAB-SRNet网络模型的训练，进行特征提取；所述验证集用于每个训练阶段之后进行验证；所述测试集用于在训练完成后测试CAB-SRNet网络模型的识别精度和提取效果。
所述步骤(3)具体包括以下步骤：
(3a)首先对自然保护地遥感图像进行特征提取，利用全卷积网络对两期遥感图像I1、I2进行语义特征提取，得到语义特征X1,X2；
(3b)构建残差坐标注意力模块：将坐标注意力CA模块嵌入ResNet网络的残差块中，得到残差坐标注意力模块；
利用残差坐标注意力模块合并双时间特征用于二值变化检测，采用ResNet网络结合坐标注意力机制通过未对齐的语义特征X1和X2改变信息，然后再映射到二值变化图C中，所有映射均通过1×1个权重不共享的卷积层进行；
(3c)构建双时间语义推理模块：对语义特征X1,X2之间的时间相关性和一致性进行建模，从输入特征Xi∈Rc×h×w产生查询向量qi∈RH×c′、键向量ki∈Rc′×H、值向量vi∈Rc×H，其中，i＝1,2，为通道的数量，h和为空间大小，H＝h，c′＝c/r，r为通道减少系数，qi、ki、vi由Xi馈入不同的卷积层得到，注意矩阵A1、A2、A11、A22∈RH×H的计算公式为：
其中，
是一个沿行维的softmax归一化函数，A1、A2、A11、A22用于记录每对空间位置之间的相关性，获得一个增强特征P1,P2：
P1＝X1+v1×A1+v1×A11
P2＝X2+v2×A2+v2×A22
通过1×1个权重不共享的卷积层映射得到语义图Q1,Q2；
(3d)语义变化图S1,S2由二值变化图C掩膜语义图Q1,Q2得到：
S1,S2＝C·(P1,P2)；
(3e)在BI-SRNet网络上添加残差坐标注意力模块和双时间语义推理模块，构建CAB-SRNet网络模型。
所述步骤(4)具体包括以下步骤：
(4a)由语义类损失Lsem，二值变化损失Lchange和语义变化损失Lsc相结合构成联合损失函数Lscd；
语义类损失Lsem是指语义图Q1,Q2和标签图像L1和L2之间的多类交叉熵损失，每个像素上的语义类损失Lsem的计算公式为：
其中，N为语义类数，N根据数据集中类的数量来设置；yi表示真值标签的预测概率，pi表示第i个类的预测概率；
二值变化损失Lchange是预测的二值变化图C和参考变化图Lc之间的二值交叉熵损失，参考变化图Lc用L1或L2生成，每个像素的二值变化损失Lchange计算公式为：
Lchange＝-yclog(pc)-(1-yc)log(1-pc)
其中，yc表示真值标签的变化概率，pc表示预测的变化概率；
使用余弦损失函数计算预测的语义图Q1,Q2与参考变化图Lc之间的语义变化损失Lsc，计算公式如下：
其中，x1和x2分别为Q1和Q2上的一个像素的特征向量；
双时间语义推理模块中两个特征嵌入分支的训练由L1和L2直接监督，并由Lc辅助进行，而残差坐标注意力模块的训练由Lc直接监督，公式如下：
其中，
和/>
是每个时间分支的语义损失；
(4b)对CAB-SRNet网络模型进行训练：训练时使用ResNet34网络的预训练权重，将动量设为0.99，权重衰减设为0.0005；学习速率最初被设置为0.01，然后线性衰减为0，直到训练好的200个epochs；在每个训练阶段之后进行验证；
(4c)模型精度评估：采用评价指标总体精度OA、交并比IoU来评价精度，评价指标计算公式如式所示：
式中，TP表示真阳性的数量，FP表示假阳性的数量，FN表示假阴性的数量，TN表示真阴性的数量。
所述步骤(5)具体包括以下步骤：
(5a)将待语义变化识别的自然保护地遥感图像进行数据预处理后，大小调整为256×256大小；
(5b)将调整好的图像输进训练完成的CAB-SRNet网络模型，通过CAB-SRNet网络模型后输出预测图像,拼接得到自然保护地语义变化识别结果，预测图像中无变化为白色，水为蓝色，裸地为棕色，植被为绿色，建筑物为红色，道路为灰色，大棚为黑色。
由上述技术方案可知，本发明的有益效果为：第一，本发明设计网络在ResNet网络的残差块中加入坐标注意力机制，有效合并语义特征用于二值变化检测，能有效识别变化区域的位置信息和边界信息，提高变化识别精度；第二，本发明构建的双时间语义推理模块，有效建模双时间自然保护地遥感影像时间和空间相关性，提高了时间一致性，能够在关键区域更好地区分土地利用类型；第三，针对自然保护地数据集中变化区域分散、变化类型样本不均衡等问题，采用本发明进行自然保护地土地利用语义变化检测是可行的，这种方法有效地发挥高分辨率数据丰富空间信息的优势，同时建模双时间图像变化土地利用类型的时间相关性，来获取好的语义变化识别效果。
附图说明
图1为本发明的方法流程图；
图2为CAB-SRNet网络模型的框图；
图3为残差坐标注意力模块的框图；
图4为双时间语义推理模块的框图；
图5为双时间语义推理模块的多尺度特征处理过程示意图。
具体实施方式
如图1所示，一种基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法，该方法包括下列顺序的步骤：
(1)获取遥感图像数据：下载两期自然保护地区域的北京二号和高景一号高分辨率遥感图像数据；
(2)进行数据预处理与数据增强：根据自然保护地矢量数据对获取的遥感图像进行筛选、拼接及裁剪；对两期遥感图像发生变化的变化区域进行语义标注，得到标签图像L1和L2，其中，L1为变化前的语义变化图，L2为变化后的语义变化图；对遥感图像和标签图像进行裁剪和数据增强，得到自然保护地语义变化检测数据集；按照7：2：1的比例将自然保护地语义变化检测数据集划分为训练集、测试集和验证集；
(3)构建CAB-SRNet网络模型：在残差块中添加坐标注意力机制构建残差坐标注意力模块，构建双时间语义推理模块，在BI-SRNet网络上添加残差坐标注意力模块和双时间语义推理模块，构建CAB-SRNet网络模型；
(4)进行模型训练与评估：基于语义类损失Lsem、二进制变化损失Lchange，和语义变化损失Lsc相结合的联合损失函数，采用训练集对CAB-SRNet网络模型进行训练，训练完成后用测试集评估CAB-SRNet网络模型的识别精度和提取效果；
(5)进行语义变化识别：将待提取的自然保护地遥感图像进行数据预处理后，输入训练完成的CAB-SRNet网络模型，CAB-SRNet网络模型输出预测图像，得到自然保护地土地利用语义变化识别结果。
所述步骤(2)具体包括下列步骤：
(2a)通过Arcgis10.5软件，对自然保护地遥感图像进行筛选、拼接及裁剪；对两期自然保护地遥感图像发生变化的变化区域进行语义标注，得到标签图像L1和L2，L1为变化前的语义变化图，L2为变化后的语义变化图，标签图像中无变化为白色，水为蓝色，裸地为棕色，植被为绿色，建筑物为红色，道路为灰色，大棚为黑色；通过滑动窗口的方式，对遥感图像和标签图像进行裁剪，裁剪成256×256大小的图像；
(2b)对裁剪后的遥感图像和标签图像进行数据增强，扩大数据量，得到自然保护地语义变化检测数据集，所述数据增强包括：
水平翻转：使用图像处理库OpenCV分别对遥感图像和标签图像进行水平翻转；
垂直翻转：使用图像处理库OpenCV分别对遥感图像和标签图像进行垂直翻转；
水平垂直翻转：使用图像处理库OpenCV分别对遥感图像和标签图像先水平翻转再垂直翻转；
移位、缩放、随机裁剪和添加噪声：分别对遥感图像和标签图像进行移位、缩放、随机裁剪、添加噪声；
(2c)将自然保护地语义变化检测数据集分别按照7:2:1的比例划分为训练集、测试集和验证集；所述训练集用于直接参与CAB-SRNet网络模型的训练，进行特征提取；所述验证集用于每个训练阶段之后进行验证；所述测试集用于在训练完成后测试CAB-SRNet网络模型的识别精度和提取效果。
所述步骤(3)具体包括以下步骤：
(3a)首先对自然保护地遥感图像进行特征提取，利用全卷积网络对两期遥感图像I1、I2进行语义特征提取，得到语义特征X1,X2；
(3b)构建残差坐标注意力模块：将坐标注意力CA模块嵌入ResNet网络的残差块中，得到残差坐标注意力模块；
利用残差坐标注意力模块合并双时间特征用于二值变化检测，采用ResNet网络结合坐标注意力机制通过未对齐的语义特征X1和X2改变信息，然后再映射到二值变化图C中，所有映射均通过1×1个权重不共享的卷积层进行；
(3c)构建双时间语义推理模块：对语义特征X1,X2之间的时间相关性和一致性进行建模，从输入特征Xi∈Rc×h×w产生查询向量qi∈RH×c′、键向量ki∈Rc′×H、值向量vi∈Rc×H，其中，i＝1,2，为通道的数量，h和为空间大小，H＝h，c′＝c/r，r为通道减少系数，qi、ki、vi由Xi馈入不同的卷积层得到，注意矩阵A1、A2、A11、A22∈RH×H的计算公式为：
其中，
是一个沿行维的softmax归一化函数，A1、A2、A11、A22用于记录每对空间位置之间的相关性，获得一个增强特征P1,P2：
P1＝X1+v1×A1+v1×A11
P2＝X2+v2×A2+v2×A22
通过1×1个权重不共享的卷积层映射得到语义图Q1,Q2；
(3d)语义变化图S1,S2由二值变化图C掩膜语义图Q1,Q2得到：
S1,S2＝C·(P1,P2)；
(3e)在BI-SRNet网络上添加残差坐标注意力模块和双时间语义推理模块，构建CAB-SRNet网络模型。
所述步骤(4)具体包括以下步骤：
(4a)由语义类损失Lsem，二值变化损失Lchange和语义变化损失Lsc相结合构成联合损失函数Lscd；
语义类损失Lsem是指语义图Q1,Q2和标签图像L1和L2之间的多类交叉熵损失，每个像素上的语义类损失Lsem的计算公式为：
其中，N为语义类数，N根据数据集中类的数量来设置；yi表示真值标签的预测概率，pi表示第i个类的预测概率；
二值变化损失Lchange是预测的二值变化图C和参考变化图Lc之间的二值交叉熵损失，参考变化图Lc用L1或L2生成，每个像素的二值变化损失Lchange计算公式为：
Lchange＝-yclog(pc)-(1-yc)log(1-pc)
其中，yc表示真值标签的变化概率，pc表示预测的变化概率；
使用余弦损失函数计算预测的语义图Q1,Q2与参考变化图Lc之间的语义变化损失Lsc，计算公式如下：
其中，x1和x2分别为Q1和Q2上的一个像素的特征向量；
双时间语义推理模块中两个特征嵌入分支的训练由L1和L2直接监督，并由Lc辅助进行，而残差坐标注意力模块的训练由Lc直接监督，公式如下：
其中，
和/>
是每个时间分支的语义损失；
(4b)对CAB-SRNet网络模型进行训练：训练时使用ResNet34网络的预训练权重，将动量设为0.99，权重衰减设为0.0005；学习速率最初被设置为0.01，然后线性衰减为0，直到训练好的200个epochs；在每个训练阶段之后进行验证；
(4c)模型精度评估：采用评价指标总体精度OA、交并比IoU来评价精度，评价指标计算公式如式所示：
式中，TP表示真阳性的数量，FP表示假阳性的数量，FN表示假阴性的数量，TN表示真阴性的数量。
所述步骤(5)具体包括以下步骤：
(5a)将待语义变化识别的自然保护地遥感图像进行数据预处理后，大小调整为256×256大小；
(5b)将调整好的图像输进训练完成的CAB-SRNet网络模型，通过CAB-SRNet网络模型后输出预测图像,拼接得到自然保护地语义变化识别结果，预测图像中无变化为白色，水为蓝色，裸地为棕色，植被为绿色，建筑物为红色，道路为灰色，大棚为黑色。
实施例一
为了验证本发明的有效性，选取BI-SRNet作为比较例，针对自然保护地语义变化检测数据集来比较结果，比较算法的总体精度和交并比，如下表表1所示：
表1
| 方法 | OA | IOU |
| BI-SRNet | 94.9 | 78.94 |
| CAB-SRNet | 96.47 | 83.12 |
如图2、3、4所示，本发明中CAB-SRNet网络模型采取暹罗网络，用于双时间遥感图像I1、I2的语义特征提取；Resca_CD模块即残差坐标注意力模块合并双时间特征用于二值变化检测；同时，TS_SR模块即双时间语义推理模块对语义特征X1,X2之间的时间相关性和一致性进行建模；最后，语义变化图S1,S2由二值变化图C掩膜语义图Q1,Q2得到。
如图3所示，在ResNet网络中的残差块中添加坐标注意力机制CA模块，构建残差坐标注意力模块，应用于变化检测。
双时间语义推理模块对多尺度特征提取分支之间的时间相关性和一致性进行建模的具体过程如图5所示。
综上所述，本发明设计网络在ResNet网络的残差块中加入坐标注意力机制，有效合并语义特征用于二值变化检测，能有效识别变化区域的位置信息和边界信息，提高变化识别精度；本发明构建的双时间语义推理模块，有效建模双时间自然保护地遥感影像时间和空间相关性，提高了时间一致性，能够在关键区域更好地区分土地利用类型；针对自然保护地数据集中变化区域分散、变化类型样本不均衡等问题，采用本发明进行自然保护地土地利用语义变化检测是可行的，这种方法有效地发挥高分辨率数据丰富空间信息的优势，同时建模双时间图像变化土地利用类型的时间相关性，来获取好的语义变化识别效果。
Claims (5)
1.一种基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法，其特征在于：该方法包括下列顺序的步骤：
(1)获取遥感图像数据：下载两期自然保护地区域的北京二号和高景一号高分辨率遥感图像数据；
(2)进行数据预处理与数据增强：根据自然保护地矢量数据对获取的遥感图像进行筛选、拼接及裁剪；对两期遥感图像发生变化的变化区域进行语义标注，得到标签图像L1和L2，其中，L1为变化前的语义变化图，L2为变化后的语义变化图；对遥感图像和标签图像进行裁剪和数据增强，得到自然保护地语义变化检测数据集；按照7：2：1的比例将自然保护地语义变化检测数据集划分为训练集、测试集和验证集；
(3)构建CAB-SRNet网络模型：在残差块中添加坐标注意力机制构建残差坐标注意力模块，构建双时间语义推理模块，在BI-SRNet网络上添加残差坐标注意力模块和双时间语义推理模块，构建CAB-SRNet网络模型；
(4)进行模型训练与评估：基于语义类损失Lsem、二进制变化损失Lchange，和语义变化损失Lsc相结合的联合损失函数，采用训练集对CAB-SRNet网络模型进行训练，训练完成后用测试集评估CAB-SRNet网络模型的识别精度和提取效果；
(5)进行语义变化识别：将待提取的自然保护地遥感图像进行数据预处理后，输入训练完成的CAB-SRNet网络模型，CAB-SRNet网络模型输出预测图像，得到自然保护地土地利用语义变化识别结果。
2.根据权利要求1所述的基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法，其特征在于：所述步骤(2)具体包括下列步骤：
(2a)通过Arcgis10.5软件，对自然保护地遥感图像进行筛选、拼接及裁剪；对两期自然保护地遥感图像发生变化的变化区域进行语义标注，得到标签图像L1和L2，L1为变化前的语义变化图，L2为变化后的语义变化图，标签图像中无变化为白色，水为蓝色，裸地为棕色，植被为绿色，建筑物为红色，道路为灰色，大棚为黑色；通过滑动窗口的方式，对遥感图像和标签图像进行裁剪，裁剪成256×256大小的图像；
(2b)对裁剪后的遥感图像和标签图像进行数据增强，扩大数据量，得到自然保护地语义变化检测数据集，所述数据增强包括：
水平翻转：使用图像处理库OpenCV分别对遥感图像和标签图像进行水平翻转；
垂直翻转：使用图像处理库OpenCV分别对遥感图像和标签图像进行垂直翻转；
水平垂直翻转：使用图像处理库OpenCV分别对遥感图像和标签图像先水平翻转再垂直翻转；
移位、缩放、随机裁剪和添加噪声：分别对遥感图像和标签图像进行移位、缩放、随机裁剪、添加噪声；
(2c)将自然保护地语义变化检测数据集分别按照7∶2∶1的比例划分为训练集、测试集和验证集；所述训练集用于直接参与CAB-SRNet网络模型的训练，进行特征提取；所述验证集用于每个训练阶段之后进行验证；所述测试集用于在训练完成后测试CAB-SRNet网络模型的识别精度和提取效果。
3.根据权利要求1所述的基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法，其特征在于：所述步骤(3)具体包括以下步骤：
(3a)首先对自然保护地遥感图像进行特征提取，利用全卷积网络对两期遥感图像I1、I2进行语义特征提取，得到语义特征X1，X2；
(3b)构建残差坐标注意力模块：将坐标注意力CA模块嵌入ResNet网络的残差块中，得到残差坐标注意力模块；
利用残差坐标注意力模块合并双时间特征用于二值变化检测，采用ResNet网络结合坐标注意力机制通过未对齐的语义特征X1和X2改变信息，然后再映射到二值变化图C中，所有映射均通过1×1个权重不共享的卷积层进行；
(3c)构建双时间语义推理模块：对语义特征X1，X2之间的时间相关性和一致性进行建模，从输入特征Xi∈Rc×h×w产生查询向量qi∈RH×c′、键向量ki∈Rc′×H、值向量vi∈Rc×H，其中，i＝1，2，为通道的数量，h和为空间大小，H＝h，c′＝c/r，r为通道减少系数，qi、ki、vi由Xi馈入不同的卷积层得到，注意矩阵A1、A2、A11、A22∈RH×H的计算公式为：
其中，
是一个沿行维的softmax归一化函数，A1、A2、A11、A22用于记录每对空间位置之间的相关性，获得一个增强特征P1，P2：
P1＝X1+v1×A1+v1×A11
P2＝X2+v2×A2+v2×A22
通过1×1个权重不共享的卷积层映射得到语义图Q1，Q2；
(3d)语义变化图S1，S2由二值变化图C掩膜语义图Q1，Q2得到：
S1，S2＝C·(P1，P2)；
(3e)在BI-SRNet网络上添加残差坐标注意力模块和双时间语义推理模块，构建CAB-SRNet网络模型。
4.根据权利要求1所述的基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法，其特征在于：所述步骤(4)具体包括以下步骤：
(4a)由语义类损失Lsem，二值变化损失Lchange和语义变化损失Lsc相结合构成联合损失函数Lscd；
语义类损失Lsem是指语义图Q1，Q2和标签图像L1和L2之间的多类交叉熵损失，每个像素上的语义类损失Lsem的计算公式为：
其中，N为语义类数，N根据数据集中类的数量来设置；yi表示真值标签的预测概率，pi表示第i个类的预测概率；
二值变化损失Lchange是预测的二值变化图C和参考变化图Lc之间的二值交叉熵损失，参考变化图Lc用L1或L2生成，每个像素的二值变化损失Lchange计算公式为：
Lchange＝-yclog(pc)-(1-yc)log(1-pc)
其中，yc表示真值标签的变化概率，pc表示预测的变化概率；
使用余弦损失函数计算预测的语义图Q1，Q2与参考变化图Lc之间的语义变化损失Lsc，计算公式如下：
其中，x1和x2分别为Q1和Q2上的一个像素的特征向量；
双时间语义推理模块中两个特征嵌入分支的训练由L1和L2直接监督，并由Lc辅助进行，而残差坐标注意力模块的训练由Lc直接监督，公式如下：
其中，
和/>
是每个时间分支的语义损失；
(4b)对CAB-SRNet网络模型进行训练：训练时使用ResNet34网络的预训练权重，将动量设为0.99，权重衰减设为0.0005；学习速率最初被设置为0.01，然后线性衰减为0，直到训练好的200个epochs；在每个训练阶段之后进行验证；
(4c)模型精度评估：采用评价指标总体精度OA、交并比IoU来评价精度，评价指标计算公式如式所示：
式中，TP表示真阳性的数量，FP表示假阳性的数量，FN表示假阴性的数量，TN表示真阴性的数量。
5.根据权利要求1所述的基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法，其特征在于：所述步骤(5)具体包括以下步骤：
(5a)将待语义变化识别的自然保护地遥感图像进行数据预处理后，大小调整为256×256大小；
(5b)将调整好的图像输进训练完成的CAB-SRNet网络模型，通过CAB-SRNet网络模型后输出预测图像，拼接得到自然保护地语义变化识别结果，预测图像中无变化为白色，水为蓝色，裸地为棕色，植被为绿色，建筑物为红色，道路为灰色，大棚为黑色。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211473750.1A CN115861731A (zh) | 2022-11-22 | 2022-11-22 | 基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211473750.1A CN115861731A (zh) | 2022-11-22 | 2022-11-22 | 基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861731A true CN115861731A (zh) | 2023-03-28 |
Family
ID=85665304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211473750.1A Pending CN115861731A (zh) | 2022-11-22 | 2022-11-22 | 基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861731A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246175A (zh) * | 2023-05-05 | 2023-06-09 | 西昌学院 | 土地利用信息生成方法、电子设备和计算机可读介质 |
| CN116363521A (zh) * | 2023-06-02 | 2023-06-30 | 山东科技大学 | 一种遥感影像语义预测方法 |
-
2022
- 2022-11-22 CN CN202211473750.1A patent/CN115861731A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116246175A (zh) * | 2023-05-05 | 2023-06-09 | 西昌学院 | 土地利用信息生成方法、电子设备和计算机可读介质 |
| CN116363521A (zh) * | 2023-06-02 | 2023-06-30 | 山东科技大学 | 一种遥感影像语义预测方法 |
| CN116363521B (zh) * | 2023-06-02 | 2023-08-18 | 山东科技大学 | 一种遥感影像语义预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113298818B (zh) | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 | |
| CN111598174B (zh) | 基于半监督对抗学习的模型训练方法及图像变化分析方法 | |
| CN115861731A (zh) | 基于坐标注意力和双时间语义推理的自然保护地遥感图像语义变化检测方法 | |
| Ma et al. | Remote sensing monitoring and driving force analysis of urban expansion in Guangzhou City, China | |
| Dai et al. | RADANet: Road augmented deformable attention network for road extraction from complex high-resolution remote-sensing images | |
| CN110458201B (zh) | 一种遥感影像面向对象分类方法及分类装置 | |
| Meng et al. | Automatic classification of rural building characteristics using deep learning methods on oblique photography | |
| Yang et al. | Fruit Target Detection Based on BCo‐YOLOv5 Model | |
| Jiang et al. | Improved YOLO v5 with balanced feature pyramid and attention module for traffic sign detection | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| Liu et al. | CT-UNet: Context-transfer-UNet for building segmentation in remote sensing images | |
| Li et al. | ConvTransNet: A CNN-transformer network for change detection with multi-scale global-local representations | |
| CN115937697A (zh) | 一种遥感影像变化检测方法 | |
| CN114943902A (zh) | 基于多尺度特征感知网络的城市植被无人机遥感分类方法 | |
| Cheng et al. | Multi-scale Feature Fusion and Transformer Network for urban green space segmentation from high-resolution remote sensing images | |
| CN112579816B (zh) | 遥感图像的检索方法、装置、电子设备及存储介质 | |
| Zhou et al. | Exploration of the hidden influential factors on crime activities: A big data approach | |
| Wang et al. | Enhanced open biomass burning detection: The BranTNet approach using UAV aerial imagery and deep learning for environmental protection and health preservation | |
| CN113158770A (zh) | 一种改进的全卷积孪生神经网络的矿区变化检测方法 | |
| Hamdy | Using Remote Sensing Techniques to Assess the Changes in the Rate of Urban Green Spaces in Egypt: A Case Study of Greater Cairo | |
| Armstrong et al. | The application of data mining techniques to characterize agricultural soil profiles | |
| CN116665040A (zh) | 基于注意力机制的多尺度输入输出的建筑物变化检测方法 | |
| CN115984603A (zh) | 基于gf-2与开放地图数据的城市绿地精细化分类方法与系统 | |
| Shakerir et al. | Assessment and prediction of land use changes in the Anzali wetland Basin, Based on Land Change Modeler (LCM) | |
| CN113963271A (zh) | 用于从遥感图像中识别不透水面的模型及训练模型的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |