CN115909045B - 一种基于对比学习的two-stage滑坡图谱特征智能识别方法 - Google Patents

一种基于对比学习的two-stage滑坡图谱特征智能识别方法 Download PDF

Info

Publication number
CN115909045B
CN115909045B CN202211164994.1A CN202211164994A CN115909045B CN 115909045 B CN115909045 B CN 115909045B CN 202211164994 A CN202211164994 A CN 202211164994A CN 115909045 B CN115909045 B CN 115909045B
Authority
CN
China
Prior art keywords
data
remote sensing
convolution
dcb
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211164994.1A
Other languages
English (en)
Other versions
CN115909045A (zh
Inventor
于峻川
陈扬洋
马燕妮
吴琼
葛大庆
郭兆成
王珊珊
杨昭颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aero Geophysical Survey and Remote Sensing Center for Natural Resources
Original Assignee
China Aero Geophysical Survey and Remote Sensing Center for Natural Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aero Geophysical Survey and Remote Sensing Center for Natural Resources filed Critical China Aero Geophysical Survey and Remote Sensing Center for Natural Resources
Priority to CN202211164994.1A priority Critical patent/CN115909045B/zh
Publication of CN115909045A publication Critical patent/CN115909045A/zh
Application granted granted Critical
Publication of CN115909045B publication Critical patent/CN115909045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对比学习的two‑stage滑坡图谱特征智能识别方法,涉及图像识别技术领域,该方法包括:获取多个针对于滑坡体的原始数据;根据多个原始数据,确定第一样本训练集和第二样本训练集,第一样本训练集中包含多个第一样本训练数据,每个第一样本训练数据包含滑坡体,第二样本训练集中包含多个第二样本训练数据,每个第二样本训练数据包含与滑坡体形态相似,但不属于滑坡体的数据;将第一样本训练集输入二阶滑坡智能识别模型的对比学习模型中,通过训练对比学习模型,得到目标编码器参数;将第二样本训练集输入二阶滑坡智能识别模型的语义分割模型中,根据目标编码器参数和第二样本训练集训练语义分割模型,得到目标滑坡智能识别模型。

Description

一种基于对比学习的two-stage滑坡图谱特征智能识别方法
技术领域
本发明涉及图像识别技术领域,具体涉及一种基于对比学习的two-stage滑坡图谱特征智能识别方法。
背景技术
目前通过人工排查的方式,已发现地质灾害隐患点近33万处,经调查发现,这些地质灾害隐患点中,80%以上属于灾难性的地质灾害隐患点都不在已发现的地质灾害隐患点库中,超过80%的地质灾害隐患点发生在偏远山区,且约70%的重大地质灾害隐患点是因为滑坡导致。针对于传统的灾害防治手段的局限性,遥感技术为重大的滑坡体隐患识别提供了新的解决途径。
随着遥感技术的快速发展,以人工解译为主的滑坡图谱识别方法已经难以满足大范围快速响应的应用需求。近年来,人工智能技术在遥感领域的应用取得了令人瞩目的成果,利用深度学习技术结合多源遥感数据开展影像智能解译成为了主流趋势。然而,在滑坡图谱特征识别方面,依然存在诸多有待克服的难题,包括:一、滑坡体在自然界中并不常见,样本的标记需专业人士通过人工解译获得,因而缺乏大量的训练样本是首要问题;二、经典深度学习模型通常为解决计算机视觉问题发展而来,由于遥感影像与自然图像存在诸多差异,这类方法直接应用于滑坡体识别往往难以取得好的效果;三、当前已有滑坡智能识别的研究大多以新生滑坡为识别目标,这类滑坡在影像特征上往往与背景差异大,容易识别,而古/老滑坡识别难度较大,相关研究工作较为匮乏;四、在识别方法上主要以语义分割为主,更容易产生错识别、漏识别现象。
发明内容
本发明所要解决的技术问题为:现有的滑坡图谱特征识别方法识别古/老滑坡的识别精度低,且识别方法单一。为解决该技术问题,本发明提供了一种基于对比学习的two-stage滑坡图谱特征智能识别方法。
本发明解决上述技术问题的技术方案如下:
一种基于对比学习的two-stage滑坡图谱特征智能识别方法,包括:
步骤S1,获取多个针对于滑坡体的原始数据;
步骤S2,根据多个所述原始数据,确定第一样本训练集和第二样本训练集,所述第一样本训练集中包含多个第一样本训练数据,每个所述第一样本训练数据包含滑坡体,所述第二样本训练集中包含多个第二样本训练数据,每个所述第二样本训练数据包含与滑坡体形态相似,但不属于滑坡体的数据;
步骤S3,将所述第一样本训练集输入预先构建好的二阶滑坡智能识别模型的对比学习模型中,通过所述第一样本训练集对所述对比学习模型进行训练,得到目标编码器参数;所述二阶滑坡智能识别模型包括对比学习模型和语义分割模型;
步骤S4,将所述第二样本训练集输入所述语义分割模型中,根据所述目标编码器参数和所述第二样本训练集对所述语义分割模型进行训练,得到目标滑坡智能识别模型。
本发明的有益效果是:通过第一样本训练集对对比学习模型进行训练,对比学习模型在训练过程中,学习用于刻画滑坡图谱特征的深层语义信息,训练完成后的对比学习模型具有滑坡图谱特征智能识别的能力;通过利用迁移学习方法,将对比学习模型训练完成后得到的目标编码器参数对语义分割模型中的编码器的参数进行赋值,赋值后的语义分割模型具有分析目标结构特点的能力,从而进一步缩短语义分割模型的学习过程,并提升识别精度;通过设计包含对比学习和语义分割的two-stage滑坡图谱特征识别模型(即二阶滑坡智能识别模型),为提高对古/老滑坡的识别精度提供了解决方案,解决了现有的滑坡图谱特征识别方法识别古/老滑坡的识别精度低,且识别方法单一的问题。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,所述对比学习模型包括两组并行且结构相同的支路,所述支路分别为第一支路和第二支路,所述第一支路包括顺次连接的第一编码器和第一投影器,所述第二支路包括顺次连接的第二编码器和第二投影器;
所述第一编码器包括多个自上而下依次连接的第一DCB卷积模块,每个所述第一DCB卷积模块包括1个卷积核大小为3×3的深度卷积层、2个卷积核大小为1×1的普通卷积层和1个激活层;多个所述第一DCB卷积模块中,位置在前的3个所述第一DCB卷积模块用于对输入的数据进行下采样处理;相邻的两个所述第一DCB卷积模块中,位置在前的所述第一DCB卷积模块的输出作为位置在后的所述第一DCB卷积模块的输入;
所述第一投影器包括两层结构的第一多层感知机;
所述步骤S3中,通过所述第一样本训练集对所述对比学习模型进行训练,得到目标编码器参数,包括:
初始化所述第一编码器的参数和所述第二编码器的参数;
将所述第一样本训练集中的每个所述第一样本训练数据依次输入所述对比学习模型中,通过所述第一样本训练数据对所述对比学习模型进行训练,调整所述对比学习模型中的所述第二编码器的参数,得到目标编码器参数;所述目标编码器参数表征所述对比学习模型训练结束后,所述对比学习模型中所述第二编码器的参数;
对于所述第一样本训练集中的每个所述第一样本训练数据,通过所述第一样本训练数据对所述对比学习模型进行训练,调整所述对比学习模型中的所述第二编码器的参数,包括:
将所述第一样本训练数据输入所述第一支路中,得到所述第一样本训练数据对应的第一目标数据;
对所述第一样本训练数据进行随机变换,得到变换数据,将所述变换数据输入所述第二支路中,得到所述第一样本训练数据对应的第二目标数据;
计算所述第一样本训练数据对应的所述第一目标数据和所述第二目标数据之间的对称夹角余弦损失值,所述对称夹角余弦损失值表征了所述第一样本训练数据和对应的所述变换数据之间的相似度;
根据所述对称夹角余弦损失值,通过反向传播算法,调整所述第二编码器的参数。
采用上述进一步方案的有益效果是:第一编码器中,只有位置在前的3个第一DCB卷积模块可对输入的数据进行下采样处理,未采用更多下采样层的目的是尽可能保留数据中浅层的空间信息,以提高识别结果的边界精度;传统轻量化模型中,DCB卷积模块呈现出“两头细,中间粗”的反瓶颈结构,第一DCB卷积模块不同于传统轻量化模型中的瓶颈结构设计,能够在不降低模型整体性能的前提下减少模型参数;第一支路和第二支路组成孪生网络结构,对比学习过程中,输入的数据(即第一样本训练数据)被增强变化处理成新的数据(即变换数据),对比学习模型利用孪生网络结构基于输入的数据实现对新的数据的准确预测,从而学习到数据本身用于刻画滑坡图谱特征的深层语义信息,训练完成的对比学习模型具有滑坡图谱特征智能识别的能力,为后续的语义分割模型提供更有效的初始化参数信息。
进一步,所述语义分割模型包括依次连接的第三编码器、解码器和多尺度融合模块;
所述第三编码器包括多个自上而下依次连接的第三DCB卷积模块,每个所述第三DCB卷积模块包括1个卷积核大小为3×3的深度卷积层、2个卷积核大小为1×1的普通卷积层和1个激活层;多个所述第三DCB卷积模块中,位置在前的3个所述第三DCB卷积模块用于对输入的数据进行下采样处理;相邻的两个所述第三DCB卷积模块中,位置在前的所述第三DCB卷积模块的输出作为位置在后的所述第三DCB卷积模块的输入;
所述解码器包括多个自下而上依次连接的第四DCB卷积模块,所述解码器包含的所述第四DCB卷积模块的数量与所述第三编码器包含的所述第三DCB卷积模块的数量相等,所述第四DCB卷积模块的结构与所述第三DCB卷积模块的结构相同;所述第三编码器中自上而下依次连接的所述第三DCB卷积模块与所述解码器中自下而上依次连接的所述第四DCB卷积模块跳层连接;所述解码器包含的多个所述第四DCB卷积模块中,位置在前的3个所述第四DCB卷积模块用于对输入的数据进行上采样处理;相邻的两个所述第四DCB卷积模块中,位置在前的所述第四DCB卷积模块的输出和与位置在后的所述第四DCB卷积模块跳层连接的所述第三DCB卷积模块的输出作为位置在后的所述第四DCB卷积模块的输入;
所述多尺度融合模块包括多个第一CBR模块、一个CATT模块和一个第二CBR模块,每个所述第一CBR模块连接所述CATT模块后连接所述第二CBR模块;每个所述第四DCB卷积模块对应连接一个所述第一CBR模块,每个所述第一CBR模块、所述第二CBR模块包括1个卷积核大小为3×3的卷积层、归一化层和激活层,所述卷积层、所述归一化层和所述激活层依次连接;所述CATT模块包括依次连接的全局池化层、第二多层感知机和激活层,所述第二多层感知机包括依次连接的第一普通卷积层、非线性激活层和第二普通卷积层,所述第一普通卷积层和所述第二普通卷积层用于对输入的数据进行映射处理,所述非线性激活层用于增加映射处理过程中的非线性映射。
采用上述进一步方案的有益效果是:第三编码器中,只有位置在前的3个第三DCB卷积模块可对输入的数据进行下采样处理,未采用更多下采样层的目的是尽可能保留数据中浅层的空间信息,以提高识别结果的边界精度;传统轻量化模型中,DCB卷积模块呈现出“两头细,中间粗”的反瓶颈结构,第三DCB卷积模块、第四DCB卷积模块不同于传统轻量化模型中的瓶颈结构设计,能够在不降低模型整体性能的前提下减少模型参数;解码器的设计,充分考虑了目标的多尺度特性,通过对多尺度特征融合及注意力机制的运用,进一步提高了语义分割结果的边缘精度。
进一步,所述步骤S4中,根据所述目标编码器参数和所述第二样本训练集对所述语义分割模型进行训练,得到目标滑坡智能识别模型,包括:
将所述第三编码器的参数设定为所述目标编码器参数,得到中间语义分割模型;
确定所述中间语义分割模型的损失函数;
利用所述第二样本训练集对所述中间语义分割模型进行迭代训练,直至所述中间语义分割模型收敛,得到所述目标滑坡智能识别模型;
所述利用所述第二样本训练集对所述中间语义分割模型进行迭代训练,直至所述中间语义分割模型收敛,得到所述目标滑坡智能识别模型,包括:
对于所述第二样本数据集中的每个所述第二样本训练数据,将所述第二样本训练数据输入所述中间语义分割模型中的第三编码器中;
对于所述第三编码器中的每个所述第三DCB卷积模块,通过所述第三DCB卷积模块对输入所述第三DCB卷积模块的数据进行卷积处理,得到所述第三DCB卷积模块对应的编码特征图,输入所述第三编码器中的第一个第三DCB卷积模块的数据为所述第二样本训练数据,输入所述第三编码器中除所述第一个第三DCB卷积模块之外的每个所述第三DCB卷积模块的数据为编码特征图;
对于所述解码器中的每个所述第四DCB卷积模块,通过所述第四DCB卷积模块对输入所述第四DCB卷积模块的数据进行叠加处理,得到所述第四DCB卷积模块对应的解码特征图,输入所述解码器中的第一个第四DCB卷积模块的数据为所述编码特征图,输入所述解码器中除所述第一个第四DCB卷积模块之外的每个所述第四DCB卷积模块的数据为所述解码特征图和所述编码特征图,输入所述第四DCB卷积模块的所述编码特征图表征与所述第四DCB卷积模块连接的所述第三DCB卷积模块输出的编码特征图;
对于所述多尺度融合模块中的每个所述第一CBR模块,通过所述第一CBR模块对与所述第一CBR模块连接的所述第四DCB卷积模块输出的所述解码特征图进行卷积处理,得到卷积特征图,并对所述卷积特征图进行上采样处理,得到一级特征图;所述多尺度融合模块中最后一个所述第一CBR模块输出的所述一级特征图的大小与输入所述中间语义分割模型的所述第二样本训练数据的大小相同;
将各个所述第一CBR模块输出的所述一级特征图进行叠加,得到第二特征图;
通过所述CATT模块对所述第二特征图中的特征进行加权处理,得到第三特征图;
通过所述第二CBR模块对所述第三特征图进行卷积处理,得到所述第二样本训练数据对应的输出数据;
根据所述第二样本训练数据和所述第二样本训练数据对应的输出数据,确定所述损失函数的值是否收敛,若是,将所述对比学习模型和所述中间语义分割模型组成的网络作为所述目标滑坡智能识别模型;若否,则重复步骤S2至S4,直至所述损失函数的值收敛。
采用上述进一步方案的有益效果是:通过第一CBR模块、第二CBR模块对输入的数据进行卷积操作,既能增强模型的学习能力,又能对输入的数据进行维度压缩,训练得到的目标滑坡智能识别模型具备滑坡图谱特征智能识别的能力。
进一步,所述通过所述CATT模块对所述第二特征图中的特征进行加权处理,得到第三特征图,包括:
通过所述全局池化层对所述第二特征图的通道维度进行压缩,得到初始向量;
通过所述第二多层感知机对所述初始向量进行非线性变换,得到中间向量;
通过所述激活层将所述中间向量映射到0-1范围内,得到权重向量;
将所述权重向量与所述第二特征图相乘,得到权重特征图;
将所述权重特征图与所述第二特征图相加,得到第三特征图。
采用上述进一步方案的有益效果是:通过CATT模块对第二特征图进行加权处理,并输出为与输入的第二特征图相同尺寸的第三特征图,便于模型根据输出的特征图进行识别,从而提高识别精度。
为进一步解决现有的可用于滑坡图谱特征识别的样本数据少的问题,所述步骤S2包括:
步骤S2.1,对每个所述原始数据进行预处理,得到多个目标数据,每个所述原始数据包括高分辨率光学遥感数据和DEM数据,每个所述目标数据包括所述第四遥感图像和所述第三DEM数据;
步骤S2.2,根据多个所述目标数据,确定真值标签数据和困难样本标签数据;所述真值标签数据表征将所述第四遥感图像中的滑坡体作为基准所形成的栅格数据;所述困难样本标签数据表征将所述第四遥感图像中与滑坡体形态相似,但不属于滑坡体的数据作为基准所形成的栅格数据;
根据所述真值标签数据,得到多源遥感数据集,所述多源遥感数据集包括多个多源遥感数据;根据所述困难样本标签数据,得到困难样本数据集,所述困难样本数据集包括多个困难样本数据;
步骤S2.3,根据所述多源遥感数据集和所述困难样本数据集,得到第一样本训练集和第二样本训练集。
采用上述进一步方案的有益效果是:基于光学遥感数据和DEM数据,确定用于训练二阶滑坡智能识别模型的训练样本,为实现对滑坡图谱特征的智能识别,且识别精度高奠定了基础。
进一步,所述步骤S2.2中,根据多个所述目标数据,确定真值标签数据和困难样本标签数据,包括:
对于每个所述目标数据中的所述第四遥感图像,获取所述第四遥感图像中的滑坡图谱特征信息,通过遥感解译所述滑坡图谱特征信息,得到所述第四遥感图像对应的滑坡体区域和困难样本区域,所述滑坡体区域表征所述第四遥感图像中滑坡体所在的图像区域,所述困难样本区域表征所述第四遥感图像中与滑坡体形态相似,但不属于滑坡体的数据所在的图像区域;
对于每个所述目标数据中的所述第四遥感图像,将所述第四遥感图像转化为栅格数据,得到第一栅格数据,所述第四遥感图像中各个像素点与所述第一栅格数据中的一个网格对应,所述第一栅格数据中每个网格的栅格值为0或1;将所述第四遥感图像中滑坡体区域对应的网格的属性值设置为1,将所述第四遥感图像中不属于滑坡体区域对应的网格的属性值设置为0,得到所述第四遥感图像对应的真值标签数据;
对于每个所述目标数据中的所述第四遥感图像,将所述第四遥感图像转化为栅格数据,得到第二栅格数据,所述第四遥感图像中各个像素点与所述第二栅格数据中的一个网格对应,所述第二栅格数据中每个网格的栅格值为0或1;将所述第四遥感图像中困难样本区域对应的网格的属性值设置为1,将所述第四遥感图像中不属于困难样本区域对应的网格的属性值设置为0,得到所述第四遥感图像对应的困难样本标签数据;
所述步骤S2.2中,根据所述真值标签数据,得到多源遥感数据集,包括:
对于每个所述目标数据,将所述目标数据包含的所述第四遥感图像、所述第三DEM数据和所述第四遥感图像对应的真值标签数据进行叠合,得到多源遥感数据,多个所述多源遥感数据组成所述多源遥感数据集;
所述步骤S2.2中,根据所述困难样本标签数据,得到困难样本数据集,包括:
对于每个所述目标数据,将所述目标数据包含的所述第四遥感图像、所述第三DEM数据和所述第四遥感图像对应的困难样本标签数据进行叠合,得到困难样本数据,多个所述困难样本数据组成所述困难样本数据集。
采用上述进一步方案的有益效果是:通过根据第四遥感图像中包含的信息,划分出真值标签数据和困难样本标签数据,再根据真值标签数据,得到多源遥感数据集,以及根据困难样本标签数据,得到困难样本数据集,为后续确定第一样本训练集和第二样本训练集,提高模型的识别精度奠定了基础。
进一步,所述步骤S2.3包括:
利用中心采样法对所述多源遥感数据集中的每个所述多源遥感数据进行切片处理,得到第一切片数据集,所述第一切片数据集包含M个分辨率为R×R的第一切片数据;
利用中心采样法对所述困难样本数据集中的每个所述困难样本数据进行切片处理,得到第二切片数据集,所述第二切片数据集包含N个分辨率为R×R的第二切片数据;
根据多个所述第四遥感图像,确定背景区域,利用随机采样法所述背景区域进行切片处理,得到第三切片数据集,所述第三切片数据集包含N个分辨率为R×R的第三切片数据;
利用所述第三切片数据集对所述第一切片数据集中包含的每个所述第一切片数据进行场景迁移处理,将所述第一切片数据集包含的数据的数量扩充为原来的T倍,得到第一样本训练集,所述第一样本训练集包括T×M个第四切片数据;
对所述第二切片数据集中包含的每个所述第二切片数据进行数据增广处理,得到第四切片数据集,将所述第四切片数据集包含的数据的数量扩充为原来的T倍,得到第五切片数据集,将所述第五切片数据集、所述第三切片数据集进行合并处理,得到第二样本训练集。
采用上述进一步方案的有益效果是:通过根据多源遥感数据集和困难样本数据集中包含的数据进行扩充,从而提高了样本数量;利用不同的采样方法结合场景迁移处理实现对样本数据的增广,有效改善了样本数据少的问题;通过引入困难样本标签数据,基于困难样本标签数据生成用于训练模型的样本数据,为降低模型的误识别率奠定了基础。
进一步,所述利用中心采样法对所述多源遥感数据集中的每个所述多源遥感数据进行切片处理,得到第一切片数据集,包括:
对于所述多源遥感数据集中的每个所述多源遥感数据,根据所述多源遥感数据中的真值标签数据,得到多个矢量图形;
对于每个所述矢量图形,将所述矢量图形的中心点作为中心,构成大小为R×R的裁剪框,利用所述裁剪框对5个波段的所述多源遥感数据进行切片处理,得到多个大小为R×R×5的第一切片数据;
根据各个所述多源遥感数据对应的多个所述第一切片数据,得到第一切片数据集;
所述根据所述多源遥感数据中的真值标签数据,得到多个矢量图形,包括:
将所述真值标签数据进行栅格数据矢量化,得到多个矢量图形;
所述根据多个所述第四遥感图像,确定背景区域,利用随机采样法所述背景区域进行切片处理,得到第三切片数据集,包括:
对于每个所述目标数据中的所述第四遥感图像,将所述第四遥感图像转化为栅格数据,得到第三栅格数据,所述第四遥感图像中各个像素点与所述第三栅格数据中的一个网格对应,所述第三栅格数据中每个网格的栅格值为0或1;将所述第四遥感图像中不属于滑坡体区域,同时不属于困难样本区域的区域对应的网格的属性值设置为1,将所述第四遥感图像中属于滑坡体区域或属于困难样本区域对应的网格的属性值设置为0,得到所述第四遥感图像对应的背景标签数据;
对于每个所述目标数据,将所述目标数据包含的所述第四遥感图像、所述第三DEM数据和所述第四遥感图像对应的背景标签数据进行叠合,得到背景数据,根据多个所述背景数据,得到背景数据集;其中,所述第四遥感图像为3个波段的图像数据,所述第三DEM数据为1个波段的图像数据,所述背景标签数据为1个波段的图像数据,叠合后得到的所述背景数据为5个波段的图像数据;所述背景数据中,所述第四遥感图像位于上层,所述第三DEM数据位于中层,所述背景标签数据位于底层;
对于所述背景数据集中的每个所述背景数据,根据所述背景数据中的背景标签数据,将所述背景数据中不属于滑坡体区域,且不属于困难样本区域的区域作为背景区域,在所述背景区域中随机生成多个坐标点,以每个所述坐标点为中心,构成大小为R×R的裁剪框,利用所述裁剪框对所述背景数据进行切片处理,得到所述背景数据对应的多个大小为R×R×5的第三切片数据;
对于每个所述第三切片数据,计算每个所述第三切片数据中最后一个波段的均值;
将多个所述第三切片数据中最后一个波段的均值大于0的所述第三切片数据删除,得到由多个所述第三切片数据组成的第三切片数据集。
采用上述进一步方案的有益效果是:利用中心采样法对数据进行处理,可以尽可能地将目标放置在样本的中间位置,避免有效目标在切片过程中表达不充分;通过获取背景数据,再根据背景数据得到第三切片数据,为场景迁移处理、数据增广处理提供了更多的背景数据,提升了模型在不同场景下的识别的稳定性。
进一步,所述利用所述第三切片数据集对所述第一切片数据集中包含的每个所述第一切片数据进行场景迁移处理,将所述第一切片数据集包含的数据的数量扩充为原来的T倍,得到第一样本训练集,所述第一样本训练集包括T×M个第四切片数据,包括:
步骤A1,对于所述第一切片数据集的每个所述第一切片数据,通过中心采样法对所述第一切片数据进行切片处理,得到多个第一待处理数据;
步骤A2,对于每个所述第一待处理数据,对所述第一待处理数据进行随机旋转处理,得到第二待处理数据;
步骤A3,对于每个所述第二待处理数据,选择所述第三切片数据集中任一所述第三切片数据作为目标背景数据,将所述第二待处理数据设置在所述目标背景数据上的任意位置,将所述第二待处理数据与所述目标背景数据叠合,得到第四切片数据;
步骤A4,重复T-2次所述步骤A1至A4,得到多个第四切片数据;将多个所述第四切片数据确定为所述第一切片数据集,所述第一样本训练集包括T×M个第四切片数据。
采用上述进一步方案的有益效果是:通过对第一切片数据集中包含的第一切片数据进行场景迁移处理,实现了对样本数据的增广,有效改善了样本数据少的问题。
附图说明
图1为本发明中基于对比学习的two-stage滑坡图谱特征智能识别方法的流程示意图;
图2为本发明中二阶滑坡智能识别模型的结构示意图;
图3为本发明中对比学习模型的结构示意图;
图4为本发明中语义分割模型的结构示意图;
图5为本发明中场景迁移处理的示意图。
具体实施方式
以下对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
实施例一
为解决现有技术中存在的技术问题,本实施例提供了一种基于对比学习的two-stage滑坡图谱特征智能识别方法,如图1所示,包括:
步骤S1,获取多个针对于滑坡体的原始数据;
步骤S2,根据多个所述原始数据,确定第一样本训练集和第二样本训练集,所述第一样本训练集中包含多个第一样本训练数据,每个所述第一样本训练数据包含滑坡体,所述第二样本训练集中包含多个第二样本训练数据,每个所述第二样本训练数据包含与滑坡体形态相似,但不属于滑坡体的数据;
步骤S3,将所述第一样本训练集输入预先构建好的二阶滑坡智能识别模型的对比学习模型中,通过所述第一样本训练集对所述对比学习模型进行训练,得到目标编码器参数;所述二阶滑坡智能识别模型包括对比学习模型和语义分割模型;
步骤S4,将所述第二样本训练集输入所述语义分割模型中,根据所述目标编码器参数和所述第二样本训练集对所述语义分割模型进行训练,得到目标滑坡智能识别模型。
所述二阶滑坡智能识别模型如图2所示,图2中,对比学习投影器表示所述对比学习模型包含的第一投影器和第二投影器,语义分割解码器表示所述语义分割模型包含的解码器。
如图3所示,所述对比学习模型包括两组并行且结构相同的支路,所述支路分别为第一支路和第二支路,所述第一支路包括顺次连接的第一编码器和第一投影器,所述第二支路包括顺次连接的第二编码器和第二投影器;
所述第一编码器包括多个自上而下依次连接的第一DCB卷积模块,每个所述第一DCB卷积模块包括1个卷积核大小为3×3的深度卷积层、2个卷积核大小为1×1的普通卷积层和1个激活层;多个所述第一DCB卷积模块中,位置在前的3个所述第一DCB卷积模块用于对输入的数据进行下采样处理;相邻的两个所述第一DCB卷积模块中,位置在前的所述第一DCB卷积模块的输出作为位置在后的所述第一DCB卷积模块的输入;
所述第一投影器包括两层结构的第一多层感知机;本发明中,每层所述第一多层感知机均由多个全连接层依次连接组成。
所述第二编码器的结构与所述第一编码器的结构相同,所述第二投影器与所述第一投影器的结构相同,相同之处不再赘述。
如图4所示,所述语义分割模型包括依次连接的第三编码器、解码器和多尺度融合模块;
所述第三编码器包括多个自上而下依次连接的第三DCB卷积模块,每个所述第三DCB卷积模块包括1个卷积核大小为3×3的深度卷积层、2个卷积核大小为1×1的普通卷积层和1个激活层;多个所述第三DCB卷积模块中,位置在前的3个所述第三DCB卷积模块用于对输入的数据进行下采样处理;相邻的两个所述第三DCB卷积模块中,位置在前的所述第三DCB卷积模块的输出作为位置在后的所述第三DCB卷积模块的输入;
所述解码器包括多个自下而上依次连接的第四DCB卷积模块,所述解码器包含的 所述第四DCB卷积模块的数量与所述第三编码器包含的所述第三DCB卷积模块的数量相等, 所述第四DCB卷积模块的结构与所述第三DCB卷积模块的结构相同;所述第三编码器中自上 而下依次连接的所述第三DCB卷积模块与所述解码器中自下而上依次连接的所述第四DCB 卷积模块跳层连接;具体地,若所述第三编码器中包含的所述第三DCB卷积模块的数量为 ,所述第三编码器中位置顺序为的所述第三DCB卷积模块与所述解码器中位置 顺序为的所述第四DCB卷积模块连接;所述解码器包含的多个所述第四DCB卷积 模块中,位置在前的3个所述第四DCB卷积模块用于对输入的数据进行上采样处理;相邻的 两个所述第四DCB卷积模块中,位置在前的所述第四DCB卷积模块的输出和与位置在后的所 述第四DCB卷积模块跳层连接的所述第三DCB卷积模块的输出作为位置在后的所述第四DCB 卷积模块的输入;
所述多尺度融合模块包括多个第一CBR模块、一个CATT模块和一个第二CBR模块,每个所述第一CBR模块连接所述CATT模块后连接所述第二CBR模块;每个所述第四DCB卷积模块对应连接一个所述第一CBR模块,每个所述第一CBR模块、所述第二CBR模块包括1个卷积核大小为3×3的卷积层、归一化层和激活层,所述卷积层、所述归一化层和所述激活层依次连接;所述CATT模块包括依次连接的全局池化层、第二多层感知机和Sigmoid激活层,所述第二多层感知机包括依次连接的第一普通卷积层、ReLU层和第二普通卷积层,所述第一普通卷积层和所述第二普通卷积层用于对输入的数据进行映射处理,所述ReLU层用于增加映射处理过程中的非线性映射。
其中,所述步骤S3中,通过所述第一样本训练集对所述对比学习模型进行训练,得到目标编码器参数,包括:
初始化所述第一编码器的参数和所述第二编码器的参数;
将所述第一样本训练集中的每个所述第一样本训练数据依次输入所述对比学习模型中,通过所述第一样本训练数据对所述对比学习模型进行训练,调整所述对比学习模型中的所述第二编码器的参数,得到目标编码器参数;所述目标编码器参数表征所述对比学习模型训练结束后,所述对比学习模型中所述第二编码器的参数;
对于所述第一样本训练集中的每个所述第一样本训练数据,通过所述第一样本训练数据对所述对比学习模型进行训练,调整所述对比学习模型中的所述第二编码器的参数,包括:
将所述第一样本训练数据(如图3中的X)输入所述第一支路中,得到所述第一样本训练数据对应的第一目标数据(如图3中的G);
对所述第一样本训练数据进行随机变换,得到变换数据(如图3中的X’),将所述变换数据输入所述第二支路中,得到所述第一样本训练数据对应的第二目标数据(如图3中的G’);
计算所述第一样本训练数据对应的所述第一目标数据和所述第二目标数据之间的对称夹角余弦损失值,所述对称夹角余弦损失值表征了所述第一样本训练数据和对应的所述变换数据之间的相似度;
根据所述对称夹角余弦损失值,通过反向传播算法,调整所述第二编码器的参数。
其中,对所述第一样本训练数据进行随机变换包括对所述第一样本训练数据进行几何变换或/和色彩变换,所述几何变换包括翻转、旋转、缩放,所述色彩变换包括亮度、对比度、色相。
其中,通过第一公式计算所述第一样本训练数据和对应的所述变换数据之间的对称夹角余弦损失值,所述第一公式为:
其中:
表示所述对称夹角余弦损失值,函数表示计算向量的夹角余弦,表示对 取L2范数。
本发明中,所述对比学习模型的损失函数采用对称夹角余弦损失。所述对比学习模型在训练过程中,所述第一编码器的参数仍为初始化的值,仅调整所述第二编码器的参数,所述对比学习模型中用于预测的第二支路不进行梯度回传;通过调整所述第二编码器的参数,以约束用于训练所述对比学习模型的所述第一样本训练数据和对应的所述变换数据之间的对称夹角余弦损失值,使所述第一样本训练数据和对应的所述变换数据之间的对称夹角余弦损失值逐渐变小,从而学习到所述第一样本训练数据到对应的所述变换数据的特征映射,进而学习到数据本身不受变换处理影响的语义特征,达到可根据输入所述第一支路的原始数据预测出该原始数据经随机变换处理后得到的数据的效果。
其中,所述步骤S4中,根据所述目标编码器参数和所述第二样本训练集对所述语义分割模型进行训练,得到目标滑坡智能识别模型,包括:
将所述第三编码器的参数设定为所述目标编码器参数,以获取更有价值的特征信息,得到中间语义分割模型;
确定所述中间语义分割模型的损失函数;
利用所述第二样本训练集对所述中间语义分割模型进行迭代训练,直至所述中间语义分割模型收敛,得到所述目标滑坡智能识别模型;
所述利用所述第二样本训练集对所述中间语义分割模型进行迭代训练,直至所述中间语义分割模型收敛,得到所述目标滑坡智能识别模型,包括:
对于所述第二样本数据集中的每个所述第二样本训练数据,将所述第二样本训练数据输入所述中间语义分割模型中的第三编码器中;
对于所述第三编码器中的每个所述第三DCB卷积模块,通过所述第三DCB卷积模块对输入所述第三DCB卷积模块的数据进行卷积处理,得到所述第三DCB卷积模块对应的编码特征图,输入所述第三编码器中的第一个第三DCB卷积模块的数据为所述第二样本训练数据,输入所述第三编码器中除所述第一个第三DCB卷积模块之外的每个所述第三DCB卷积模块的数据为编码特征图;
对于所述解码器中的每个所述第四DCB卷积模块,通过所述第四DCB卷积模块对输入所述第四DCB卷积模块的数据进行叠加处理,得到所述第四DCB卷积模块对应的解码特征图,输入所述解码器中的第一个第四DCB卷积模块的数据为所述编码特征图,输入所述解码器中除所述第一个第四DCB卷积模块之外的每个所述第四DCB卷积模块的数据为所述解码特征图和所述编码特征图,输入所述第四DCB卷积模块的所述编码特征图表征与所述第四DCB卷积模块连接的所述第三DCB卷积模块输出的编码特征图;
对于所述多尺度融合模块中的每个所述第一CBR模块,通过所述第一CBR模块对与所述第一CBR模块连接的所述第四DCB卷积模块输出的所述解码特征图进行卷积处理,得到卷积特征图,并对所述卷积特征图进行上采样处理,得到一级特征图;所述多尺度融合模块中最后一个所述第一CBR模块输出的所述一级特征图的大小与输入所述中间语义分割模型的所述第二样本训练数据的大小相同;
将各个所述第一CBR模块输出的所述一级特征图进行叠加,得到第二特征图;
通过所述CATT模块对所述第二特征图中的特征进行加权处理,得到第三特征图;
通过所述第二CBR模块对所述第三特征图进行卷积处理,得到所述第二样本训练数据对应的输出数据;
根据所述第二样本训练数据和所述第二样本训练数据对应的输出数据,确定所述损失函数的值是否收敛,若是,将所述对比学习模型和所述中间语义分割模型组成的网络作为所述目标滑坡智能识别模型;若否,则重复步骤S2至S4,直至所述损失函数的值收敛。
其中,所述通过所述CATT模块对所述第二特征图中的特征进行加权处理,得到第三特征图,包括:
通过所述全局池化层(即图4中的GAP)对所述第二特征图的通道维度进行压缩,得到初始向量;
通过所述第二多层感知机(即图4中的)对所述初始向量进行非线性变换,得到中间向量;
通过所述Sigmoid激活层将所述中间向量映射到0-1范围内,得到权重向量;其中,所述中间向量经过Sigmoid激活层处理后,其组成变为范围为0-1的数值,数值越大,表示权重越大;
将所述权重向量与所述第二特征图相乘,得到权重特征图;
将所述权重特征图与所述第二特征图相加,得到第三特征图。
本发明中,所述第一编码器、所述第二编码器和所述第三编码器的作用均为对输入的高维数据进行压缩处理,得到低维数据,具体为:将输入的高维数据编码成低维数据,从而强迫模型学习数据中最有信息量的特征;所述第一编码器、所述第二编码器和所述第三编码器中,深度卷积层仅沿一个空间维度(即通道)应用卷积运算,普通卷积层是在所有空间维度/通道上应用卷积运算;所述解码器的作用为对输入的低维数据进行解压缩处理,还原为初始维度,得到高维数据。本实施例中,所述语义分割模型训练过程中,损失函数采用交叉熵损失函数,初始学习率为0.0005,并逐步递减,以避免模型优化过程中步调过大导致训练不稳定,影响精度。
实施例二
在上述实施例一的基础上,为进一步解决现有的可用于滑坡图谱特征识别的样本数据少的问题,所述步骤S2包括:
步骤S2.1,对每个所述原始数据进行预处理,得到多个目标数据,每个所述原始数据包括高分辨率光学遥感数据和DEM数据,每个所述目标数据包括所述第四遥感图像和所述第三DEM数据;
步骤S2.2,根据多个所述目标数据,确定真值标签数据和困难样本标签数据;所述真值标签数据表征将所述第四遥感图像中的滑坡体作为基准所形成的栅格数据;所述困难样本标签数据表征将所述第四遥感图像中与滑坡体形态相似,但不属于滑坡体的数据作为基准所形成的栅格数据;
根据所述真值标签数据,得到多源遥感数据集,所述多源遥感数据集包括多个多源遥感数据;根据所述困难样本标签数据,得到困难样本数据集,所述困难样本数据集包括多个困难样本数据;
步骤S2.3,根据所述多源遥感数据集和所述困难样本数据集,得到第一样本训练集和第二样本训练集。
其中,所述步骤S2.1包括:
对于每个所述原始数据中包含的所述高分辨率光学遥感数据,对所述高分辨率光学遥感数据进行几何校正,得到第一遥感图像;
对所述第一遥感图像进行正射校正,得到第二遥感图像;
对所述第二遥感图像进行匀色镶嵌,得到第三遥感图像;
对所述第三遥感图像进行归一化处理,将所述第三遥感图像中各像素点对应的像素值归一化至0-1范围内,得到第四遥感图像;
对于每个所述原始数据中包含的所述DEM数据,将所述DEM数据重采样至与所述高分辨率光学遥感数据相同空间分辨率,得到第一DEM数据;
根据所述高分辨率光学遥感数据地理空间范围,对所述第一DEM数据进行裁剪,得到第二DEM数据;
将所述第二DEM数据进行归一化处理,将所述第二DEM数据中各像素点对应的像素值归一化至0-1范围内,得到第三DEM数据。
通过对原始数据进行预处理,便于后续得到用于模型训练的训练样本。
其中,所述步骤S2.2中,根据多个所述目标数据,确定真值标签数据和困难样本标签数据,包括:
对于每个所述目标数据中的所述第四遥感图像,获取所述第四遥感图像中的滑坡图谱特征信息,通过遥感解译所述滑坡图谱特征信息,得到所述第四遥感图像对应的滑坡体区域和困难样本区域,所述滑坡体区域表征所述第四遥感图像中滑坡体所在的图像区域,所述困难样本区域表征所述第四遥感图像中与滑坡体形态相似,但不属于滑坡体的数据所在的图像区域;
对于每个所述目标数据中的所述第四遥感图像,将所述第四遥感图像转化为栅格数据,得到第一栅格数据,所述第四遥感图像中各个像素点与所述第一栅格数据中的一个网格对应,所述第一栅格数据中每个网格的栅格值为0或1;将所述第四遥感图像中滑坡体区域对应的网格的属性值设置为1,将所述第四遥感图像中不属于滑坡体区域对应的网格的属性值设置为0,得到所述第四遥感图像对应的真值标签数据,所述真值标签数据即为栅格数据;
对于每个所述目标数据中的所述第四遥感图像,将所述第四遥感图像转化为栅格数据,得到第二栅格数据,所述第四遥感图像中各个像素点与所述第二栅格数据中的一个网格对应,所述第二栅格数据中每个网格的栅格值为0或1;将所述第四遥感图像中困难样本区域对应的网格的属性值设置为1,将所述第四遥感图像中不属于困难样本区域对应的网格的属性值设置为0,得到所述第四遥感图像对应的困难样本标签数据,所述困难样本标签数据即为栅格数据。
其中,所述步骤S2.2中,根据所述真值标签数据,得到多源遥感数据集,包括:
对于每个所述目标数据,将所述目标数据包含的所述第四遥感图像、所述第三DEM数据和所述第四遥感图像对应的真值标签数据进行叠合,得到多源遥感数据,多个所述多源遥感数据组成所述多源遥感数据集;其中,所述第四遥感图像为3个波段的图像数据,所述第三DEM数据为1个波段的图像数据,所述真值标签数据为1个波段的图像数据,叠合后得到的所述多源遥感数据为5个波段的图像数据;所述多源遥感数据中,所述第四遥感图像位于上层,所述第三DEM数据位于中层,所述真值标签数据位于底层。
其中,所述步骤S2.2中,根据所述困难样本标签数据,得到困难样本数据集,包括:
对于每个所述目标数据,将所述目标数据包含的所述第四遥感图像、所述第三DEM数据和所述第四遥感图像对应的困难样本标签数据进行叠合,得到困难样本数据,多个所述困难样本数据组成所述困难样本数据集;其中,所述第四遥感图像为3个波段的图像数据,所述第三DEM数据为1个波段的图像数据,所述困难样本标签数据为1个波段的图像数据,叠合后得到的所述困难样本数据为5个波段的图像数据;所述困难样本数据中,所述第四遥感图像位于上层,所述第三DEM数据位于中层,所述困难样本标签数据位于底层。
其中,所述步骤S2.3包括:
利用中心采样法对所述多源遥感数据集中的每个所述多源遥感数据进行切片处理,得到第一切片数据集,所述第一切片数据集包含M个分辨率为R×R的第一切片数据;本实施例中,R的取值为256,所述第二样本训练数据对应的输出数据的大小即为256×256×2;
利用中心采样法对所述困难样本数据集中的每个所述困难样本数据进行切片处理,得到第二切片数据集,所述第二切片数据集包含N个分辨率为R×R的第二切片数据;
根据多个所述第四遥感图像,确定背景区域,利用随机采样法所述背景区域进行切片处理,得到第三切片数据集,所述第三切片数据集包含N个分辨率为R×R的第三切片数据,所述第三切片数据即为背景图像;
利用所述第三切片数据集对所述第一切片数据集中包含的每个所述第一切片数据进行场景迁移处理,如图5所示,将所述第一切片数据集包含的数据的数量扩充为原来的T倍,得到第一样本训练集,所述第一样本训练集包括T×M个第四切片数据;
对所述第二切片数据集中包含的每个所述第二切片数据进行数据增广处理,得到第四切片数据集,将所述第四切片数据集包含的数据的数量扩充为原来的T倍,得到第五切片数据集,将所述第五切片数据集、所述第三切片数据集进行合并处理,得到第六切片数据集,所述第六切片数据集包含(T+1)×N个第六切片数据,将所述第六切片数据集中包含的数据按照7:3的比例,划分得到第二样本训练集和样本测试集;所述样本测试集包含多个测试数据,用于检测所述目标滑坡智能识别模型的识别精度。
本实施例中,T的取值为4,既保证了样本数量的增加,同时避免了后续利用硬件设备对数据进行处理时对硬件设备要求高的情况;其中,所述数据增广处理包括翻转、旋转。
其中,所述利用中心采样法对所述多源遥感数据集中的每个所述多源遥感数据进行切片处理,得到第一切片数据集,包括:
对于所述多源遥感数据集中的每个所述多源遥感数据,根据所述多源遥感数据中的真值标签数据,得到多个矢量图形;
对于每个所述矢量图形,将所述矢量图形的中心点作为中心,构成大小为R×R的裁剪框,利用所述裁剪框对5个波段的所述多源遥感数据进行切片处理,得到多个大小为R×R×5的第一切片数据,所述第一切片数据为立方体数据;
根据各个所述多源遥感数据对应的多个所述第一切片数据,得到第一切片数据集;
所述根据所述多源遥感数据中的真值标签数据,得到多个矢量图形,包括:
将所述真值标签数据进行栅格数据矢量化,得到多个矢量图形;
其中,所述将所述真值标签数据进行栅格数据矢量化具体为:将所述真值标签数据中所有栅格值为1对应的网格所组成的图形转化为矢量图形。
所述利用中心采样法对所述困难样本数据集中的每个所述困难样本数据进行切片处理,得到第二切片数据集的方法与根据所述多源遥感数据集,得到所述第一切片数据集的方法类似,类似之处不再赘述。
其中,所述根据多个所述第四遥感图像,确定背景区域,利用随机采样法所述背景区域进行切片处理,得到第三切片数据集,包括:
对于每个所述目标数据中的所述第四遥感图像,将所述第四遥感图像转化为栅格数据,得到第三栅格数据,所述第四遥感图像中各个像素点与所述第三栅格数据中的一个网格对应,所述第三栅格数据中每个网格的栅格值为0或1;将所述第四遥感图像中不属于滑坡体区域,同时不属于困难样本区域的区域对应的网格的属性值设置为1,将所述第四遥感图像中属于滑坡体区域或属于困难样本区域对应的网格的属性值设置为0,得到所述第四遥感图像对应的背景标签数据,所述背景标签数据即为栅格数据;
对于每个所述目标数据,将所述目标数据包含的所述第四遥感图像、所述第三DEM数据和所述第四遥感图像对应的背景标签数据进行叠合,得到背景数据,根据多个所述背景数据,得到背景数据集;其中,所述第四遥感图像为3个波段的图像数据,所述第三DEM数据为1个波段的图像数据,所述背景标签数据为1个波段的图像数据,叠合后得到的所述背景数据为5个波段的图像数据;所述背景数据中,所述第四遥感图像位于上层,所述第三DEM数据位于中层,所述背景标签数据位于底层;
对于所述背景数据集中的每个所述背景数据,根据所述背景数据中的背景标签数据,将所述背景数据中不属于滑坡体区域,且不属于困难样本区域的区域作为背景区域,在所述背景区域中随机生成多个坐标点,以每个所述坐标点为中心,构成大小为R×R的裁剪框,利用所述裁剪框对所述背景数据进行切片处理,得到所述背景数据对应的多个大小为R×R×5的第三切片数据;
对于每个所述第三切片数据,计算每个所述第三切片数据中最后一个波段的均值;
将多个所述第三切片数据中最后一个波段的均值大于0的所述第三切片数据删除,得到由多个所述第三切片数据组成的第三切片数据集。
其中,所述利用所述第三切片数据集对所述第一切片数据集中包含的每个所述第一切片数据进行场景迁移处理,将所述第一切片数据集包含的数据的数量扩充为原来的T倍,得到第一样本训练集,所述第一样本训练集包括T×M个第四切片数据,包括:
步骤A1,对于所述第一切片数据集的每个所述第一切片数据,通过中心采样法对所述第一切片数据进行切片处理,得到多个分辨率为64×64的第一待处理数据;
步骤A2,对于每个所述第一待处理数据,对所述第一待处理数据进行随机旋转处理,得到第二待处理数据;
步骤A3,对于每个所述第二待处理数据,选择所述第三切片数据集中任一所述第三切片数据作为目标背景数据,将所述第二待处理数据设置在所述目标背景数据上的任意位置,将所述第二待处理数据与所述目标背景数据叠合,得到第四切片数据;其中,所述第二待处理数据即为用于进行场景迁移处理的场景数据,所述目标背景数据即为用于进行场景迁移处理的背景数据;
步骤A4,重复T-2次所述步骤A1至A4,得到多个第四切片数据;将多个所述第四切片数据确定为所述第一切片数据集,所述第一样本训练集包括T×M个第四切片数据。
其中,所述对所述第二切片数据集中包含的每个所述第二切片数据进行数据增广处理,得到第四切片数据集,包括:
对所述第二切片数据集中包含的每个所述第二切片数据进行翻转或/和旋转处理,得到所述第四切片数据集;
其中,对所述第二切片数据进行翻转处理时的翻转方向随机,对所述第二切片数据进行旋转处理时的旋转方向随机,对所述第二切片数据进行旋转处理时的旋转角度为90°的整数倍。
对于所述样本测试集,将所述样本测试集中的每个所述测试数据依次输入所述目标滑坡智能识别模型中的所述中间语义分割模型,通过所述中间语义分割模型对所述测试数据中的特征信息进行识别。经实验证明,通过本方法得到的所述目标滑坡智能识别模型的识别精度可达到92%。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于对比学习的two-stage滑坡图谱特征智能识别方法,其特征在于,包括:
步骤S1,获取多个针对于滑坡体的原始数据;
步骤S2,根据多个所述原始数据,确定第一样本训练集和第二样本训练集,所述第一样本训练集中包含多个第一样本训练数据,每个所述第一样本训练数据包含滑坡体,所述第二样本训练集中包含多个第二样本训练数据,每个所述第二样本训练数据包含与滑坡体形态相似,但不属于滑坡体的数据;
步骤S3,将所述第一样本训练集输入预先构建好的二阶滑坡智能识别模型的对比学习模型中,通过所述第一样本训练集对所述对比学习模型进行训练,得到目标编码器参数;所述二阶滑坡智能识别模型包括对比学习模型和语义分割模型;所述目标编码器参数表征所述对比学习模型训练结束后,所述对比学习模型中第二编码器的参数;
步骤S4,将所述第二样本训练集输入所述语义分割模型中,根据所述目标编码器参数和所述第二样本训练集对所述语义分割模型进行训练,得到目标滑坡智能识别模型;
所述语义分割模型包括依次连接的第三编码器、解码器和多尺度融合模块;
所述第三编码器包括多个自上而下依次连接的第三DCB卷积模块,每个所述第三DCB卷积模块包括1个卷积核大小为3×3的深度卷积层、2个卷积核大小为1×1的普通卷积层和1个激活层;多个所述第三DCB卷积模块中,位置在前的3个所述第三DCB卷积模块用于对输入的数据进行下采样处理;相邻的两个所述第三DCB卷积模块中,位置在前的所述第三DCB卷积模块的输出作为位置在后的所述第三DCB卷积模块的输入;
所述解码器包括多个自下而上依次连接的第四DCB卷积模块,所述解码器包含的所述第四DCB卷积模块的数量与所述第三编码器包含的所述第三DCB卷积模块的数量相等,所述第四DCB卷积模块的结构与所述第三DCB卷积模块的结构相同;所述第三编码器中自上而下依次连接的所述第三DCB卷积模块与所述解码器中自下而上依次连接的所述第四DCB卷积模块跳层连接;所述解码器包含的多个所述第四DCB卷积模块中,位置在前的3个所述第四DCB卷积模块用于对输入的数据进行上采样处理;相邻的两个所述第四DCB卷积模块中,位置在前的所述第四DCB卷积模块的输出和与位置在后的所述第四DCB卷积模块跳层连接的所述第三DCB卷积模块的输出作为位置在后的所述第四DCB卷积模块的输入;
所述多尺度融合模块包括多个第一CBR模块、一个CATT模块和一个第二CBR模块,每个所述第一CBR模块连接所述CATT模块后连接所述第二CBR模块;每个所述第四DCB卷积模块对应连接一个所述第一CBR模块,每个所述第一CBR模块、所述第二CBR模块包括1个卷积核大小为3×3的卷积层、归一化层和激活层,所述卷积层、所述归一化层和所述激活层依次连接;所述CATT模块包括依次连接的全局池化层、第二多层感知机和激活层,所述第二多层感知机包括依次连接的第一普通卷积层、非线性激活层和第二普通卷积层,所述第一普通卷积层和所述第二普通卷积层用于对输入的数据进行映射处理,所述非线性激活层用于增加映射处理过程中的非线性映射;
所述步骤S4中,根据所述目标编码器参数和所述第二样本训练集对所述语义分割模型进行训练,得到目标滑坡智能识别模型,包括:
将所述第三编码器的参数设定为所述目标编码器参数,得到中间语义分割模型;
确定所述中间语义分割模型的损失函数;
利用所述第二样本训练集对所述中间语义分割模型进行迭代训练,直至所述中间语义分割模型收敛,得到所述目标滑坡智能识别模型;
所述利用所述第二样本训练集对所述中间语义分割模型进行迭代训练,直至所述中间语义分割模型收敛,得到所述目标滑坡智能识别模型,包括:
对于所述第二样本训练集中的每个所述第二样本训练数据,将所述第二样本训练数据输入所述中间语义分割模型中的第三编码器中;
对于所述第三编码器中的每个所述第三DCB卷积模块,通过所述第三DCB卷积模块对输入所述第三DCB卷积模块的数据进行卷积处理,得到所述第三DCB卷积模块对应的编码特征图,输入所述第三编码器中的第一个第三DCB卷积模块的数据为所述第二样本训练数据,输入所述第三编码器中除所述第一个第三DCB卷积模块之外的每个所述第三DCB卷积模块的数据为编码特征图;
对于所述解码器中的每个所述第四DCB卷积模块,通过所述第四DCB卷积模块对输入所述第四DCB卷积模块的数据进行叠加处理,得到所述第四DCB卷积模块对应的解码特征图,输入所述解码器中的第一个第四DCB卷积模块的数据为所述编码特征图,输入所述解码器中除所述第一个第四DCB卷积模块之外的每个所述第四DCB卷积模块的数据为所述解码特征图和所述编码特征图,输入所述第四DCB卷积模块的所述编码特征图表征与所述第四DCB卷积模块连接的所述第三DCB卷积模块输出的编码特征图;
对于所述多尺度融合模块中的每个所述第一CBR模块,通过所述第一CBR模块对与所述第一CBR模块连接的所述第四DCB卷积模块输出的所述解码特征图进行卷积处理,得到卷积特征图,并对所述卷积特征图进行上采样处理,得到一级特征图;所述多尺度融合模块中最后一个所述第一CBR模块输出的所述一级特征图的大小与输入所述中间语义分割模型的所述第二样本训练数据的大小相同;
将各个所述第一CBR模块输出的所述一级特征图进行叠加,得到第二特征图;
通过所述CATT模块对所述第二特征图中的特征进行加权处理,得到第三特征图;
通过所述第二CBR模块对所述第三特征图进行卷积处理,得到所述第二样本训练数据对应的输出数据;
根据所述第二样本训练数据和所述第二样本训练数据对应的输出数据,确定所述损失函数的值是否收敛,若是,将所述对比学习模型和所述中间语义分割模型组成的网络作为所述目标滑坡智能识别模型;若否,则重复步骤S2至S4,直至所述损失函数的值收敛。
2.根据权利要求1所述的方法,其特征在于,所述对比学习模型包括两组并行且结构相同的支路,所述支路分别为第一支路和第二支路,所述第一支路包括顺次连接的第一编码器和第一投影器,所述第二支路包括顺次连接的第二编码器和第二投影器;
所述第一编码器包括多个自上而下依次连接的第一DCB卷积模块,每个所述第一DCB卷积模块包括1个卷积核大小为3×3的深度卷积层、2个卷积核大小为1×1的普通卷积层和1个激活层;多个所述第一DCB卷积模块中,位置在前的3个所述第一DCB卷积模块用于对输入的数据进行下采样处理;相邻的两个所述第一DCB卷积模块中,位置在前的所述第一DCB卷积模块的输出作为位置在后的所述第一DCB卷积模块的输入;
所述第一投影器包括两层结构的第一多层感知机;
所述步骤S3中,通过所述第一样本训练集对所述对比学习模型进行训练,得到目标编码器参数,包括:
初始化所述第一编码器的参数和所述第二编码器的参数;
将所述第一样本训练集中的每个所述第一样本训练数据依次输入所述对比学习模型中,通过所述第一样本训练数据对所述对比学习模型进行训练,调整所述对比学习模型中的所述第二编码器的参数,得到目标编码器参数;
对于所述第一样本训练集中的每个所述第一样本训练数据,通过所述第一样本训练数据对所述对比学习模型进行训练,调整所述对比学习模型中的所述第二编码器的参数,包括:
将所述第一样本训练数据输入所述第一支路中,得到所述第一样本训练数据对应的第一目标数据;
对所述第一样本训练数据进行随机变换,得到变换数据,将所述变换数据输入所述第二支路中,得到所述第一样本训练数据对应的第二目标数据;
计算所述第一样本训练数据对应的所述第一目标数据和所述第二目标数据之间的对称夹角余弦损失值,所述对称夹角余弦损失值表征了所述第一样本训练数据和对应的所述变换数据之间的相似度;
根据所述对称夹角余弦损失值,通过反向传播算法,调整所述第二编码器的参数。
3.根据权利要求1所述的方法,其特征在于,所述通过所述CATT模块对所述第二特征图中的特征进行加权处理,得到第三特征图,包括:
通过所述全局池化层对所述第二特征图的通道维度进行压缩,得到初始向量;
通过所述第二多层感知机对所述初始向量进行非线性变换,得到中间向量;
通过所述激活层将所述中间向量映射到0-1范围内,得到权重向量;
将所述权重向量与所述第二特征图相乘,得到权重特征图;
将所述权重特征图与所述第二特征图相加,得到第三特征图。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述步骤S2包括:
步骤S2.1,对每个所述原始数据进行预处理,得到多个目标数据,每个所述原始数据包括高分辨率光学遥感数据和DEM数据,每个所述目标数据包括第四遥感图像和第三DEM数据;
步骤S2.2,根据多个所述目标数据,确定真值标签数据和困难样本标签数据;所述真值标签数据表征将所述第四遥感图像中的滑坡体作为基准所形成的栅格数据;所述困难样本标签数据表征将所述第四遥感图像中与滑坡体形态相似,但不属于滑坡体的数据作为基准所形成的栅格数据;
根据所述真值标签数据,得到多源遥感数据集,所述多源遥感数据集包括多个多源遥感数据;根据所述困难样本标签数据,得到困难样本数据集,所述困难样本数据集包括多个困难样本数据;
步骤S2.3,根据所述多源遥感数据集和所述困难样本数据集,得到第一样本训练集和第二样本训练集。
5.根据权利要求4所述的方法,其特征在于,所述步骤S2.2中,根据多个所述目标数据,确定真值标签数据和困难样本标签数据,包括:
对于每个所述目标数据中的所述第四遥感图像,获取所述第四遥感图像中的滑坡图谱特征信息,通过遥感解译所述滑坡图谱特征信息,得到所述第四遥感图像对应的滑坡体区域和困难样本区域,所述滑坡体区域表征所述第四遥感图像中滑坡体所在的图像区域,所述困难样本区域表征所述第四遥感图像中与滑坡体形态相似,但不属于滑坡体的数据所在的图像区域;
对于每个所述目标数据中的所述第四遥感图像,将所述第四遥感图像转化为栅格数据,得到第一栅格数据,所述第四遥感图像中各个像素点与所述第一栅格数据中的一个网格对应,所述第一栅格数据中每个网格的栅格值为0或1;将所述第四遥感图像中滑坡体区域对应的网格的属性值设置为1,将所述第四遥感图像中不属于滑坡体区域对应的网格的属性值设置为0,得到所述第四遥感图像对应的真值标签数据;
对于每个所述目标数据中的所述第四遥感图像,将所述第四遥感图像转化为栅格数据,得到第二栅格数据,所述第四遥感图像中各个像素点与所述第二栅格数据中的一个网格对应,所述第二栅格数据中每个网格的栅格值为0或1;将所述第四遥感图像中困难样本区域对应的网格的属性值设置为1,将所述第四遥感图像中不属于困难样本区域对应的网格的属性值设置为0,得到所述第四遥感图像对应的困难样本标签数据;
所述步骤S2.2中,根据所述真值标签数据,得到多源遥感数据集,包括:
对于每个所述目标数据,将所述目标数据包含的所述第四遥感图像、所述第三DEM数据和所述第四遥感图像对应的真值标签数据进行叠合,得到多源遥感数据,多个所述多源遥感数据组成所述多源遥感数据集;
所述步骤S2.2中,根据所述困难样本标签数据,得到困难样本数据集,包括:
对于每个所述目标数据,将所述目标数据包含的所述第四遥感图像、所述第三DEM数据和所述第四遥感图像对应的困难样本标签数据进行叠合,得到困难样本数据,多个所述困难样本数据组成所述困难样本数据集。
6.根据权利要求4所述的方法,其特征在于,所述步骤S2.3包括:
利用中心采样法对所述多源遥感数据集中的每个所述多源遥感数据进行切片处理,得到第一切片数据集,所述第一切片数据集包含M个分辨率为R×R的第一切片数据;
利用中心采样法对所述困难样本数据集中的每个所述困难样本数据进行切片处理,得到第二切片数据集,所述第二切片数据集包含N个分辨率为R×R的第二切片数据;
根据多个所述第四遥感图像,确定背景区域,利用随机采样法所述背景区域进行切片处理,得到第三切片数据集,所述第三切片数据集包含N个分辨率为R×R的第三切片数据;
利用所述第三切片数据集对所述第一切片数据集中包含的每个所述第一切片数据进行场景迁移处理,将所述第一切片数据集包含的数据的数量扩充为原来的T倍,得到第一样本训练集,所述第一样本训练集包括T×M个第四切片数据;
对所述第二切片数据集中包含的每个所述第二切片数据进行数据增广处理,得到第四切片数据集,将所述第四切片数据集包含的数据的数量扩充为原来的T倍,得到第五切片数据集,将所述第五切片数据集、所述第三切片数据集进行合并处理,得到第二样本训练集。
7.根据权利要求6所述的方法,其特征在于,所述利用中心采样法对所述多源遥感数据集中的每个所述多源遥感数据进行切片处理,得到第一切片数据集,包括:
对于所述多源遥感数据集中的每个所述多源遥感数据,根据所述多源遥感数据中的真值标签数据,得到多个矢量图形;
对于每个所述矢量图形,将所述矢量图形的中心点作为中心,构成大小为R×R的裁剪框,利用所述裁剪框对5个波段的所述多源遥感数据进行切片处理,得到多个大小为R×R×5的第一切片数据;
根据各个所述多源遥感数据对应的多个所述第一切片数据,得到第一切片数据集;
所述根据所述多源遥感数据中的真值标签数据,得到多个矢量图形,包括:
将所述真值标签数据进行栅格数据矢量化,得到多个矢量图形;
所述根据多个所述第四遥感图像,确定背景区域,利用随机采样法所述背景区域进行切片处理,得到第三切片数据集,包括:
对于每个所述目标数据中的所述第四遥感图像,将所述第四遥感图像转化为栅格数据,得到第三栅格数据,所述第四遥感图像中各个像素点与所述第三栅格数据中的一个网格对应,所述第三栅格数据中每个网格的栅格值为0或1;将所述第四遥感图像中不属于滑坡体区域,同时不属于困难样本区域的区域对应的网格的属性值设置为1,将所述第四遥感图像中属于滑坡体区域或属于困难样本区域对应的网格的属性值设置为0,得到所述第四遥感图像对应的背景标签数据;
对于每个所述目标数据,将所述目标数据包含的所述第四遥感图像、所述第三DEM数据和所述第四遥感图像对应的背景标签数据进行叠合,得到背景数据,根据多个所述背景数据,得到背景数据集;其中,所述第四遥感图像为3个波段的图像数据,所述第三DEM数据为1个波段的图像数据,所述背景标签数据为1个波段的图像数据,叠合后得到的所述背景数据为5个波段的图像数据;所述背景数据中,所述第四遥感图像位于上层,所述第三DEM数据位于中层,所述背景标签数据位于底层;
对于所述背景数据集中的每个所述背景数据,根据所述背景数据中的背景标签数据,将所述背景数据中不属于滑坡体区域,且不属于困难样本区域的区域作为背景区域,在所述背景区域中随机生成多个坐标点,以每个所述坐标点为中心,构成大小为R×R的裁剪框,利用所述裁剪框对所述背景数据进行切片处理,得到所述背景数据对应的多个大小为R×R×5的第三切片数据;
对于每个所述第三切片数据,计算每个所述第三切片数据中最后一个波段的均值;
将多个所述第三切片数据中最后一个波段的均值大于0的所述第三切片数据删除,得到由多个所述第三切片数据组成的第三切片数据集。
8.根据权利要求6所述的方法,其特征在于,所述利用所述第三切片数据集对所述第一切片数据集中包含的每个所述第一切片数据进行场景迁移处理,将所述第一切片数据集包含的数据的数量扩充为原来的T倍,得到第一样本训练集,所述第一样本训练集包括T×M个第四切片数据,包括:
步骤A1,对于所述第一切片数据集的每个所述第一切片数据,通过中心采样法对所述第一切片数据进行切片处理,得到多个第一待处理数据;
步骤A2,对于每个所述第一待处理数据,对所述第一待处理数据进行随机旋转处理,得到第二待处理数据;
步骤A3,对于每个所述第二待处理数据,选择所述第三切片数据集中任一所述第三切片数据作为目标背景数据,将所述第二待处理数据设置在所述目标背景数据上的任意位置,将所述第二待处理数据与所述目标背景数据叠合,得到第四切片数据;
步骤A4,重复T-2次所述步骤A1至A4,得到多个第四切片数据;将多个所述第四切片数据确定为所述第一切片数据集,所述第一样本训练集包括T×M个第四切片数据。
CN202211164994.1A 2022-09-23 2022-09-23 一种基于对比学习的two-stage滑坡图谱特征智能识别方法 Active CN115909045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211164994.1A CN115909045B (zh) 2022-09-23 2022-09-23 一种基于对比学习的two-stage滑坡图谱特征智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211164994.1A CN115909045B (zh) 2022-09-23 2022-09-23 一种基于对比学习的two-stage滑坡图谱特征智能识别方法

Publications (2)

Publication Number Publication Date
CN115909045A CN115909045A (zh) 2023-04-04
CN115909045B true CN115909045B (zh) 2024-04-30

Family

ID=86469842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211164994.1A Active CN115909045B (zh) 2022-09-23 2022-09-23 一种基于对比学习的two-stage滑坡图谱特征智能识别方法

Country Status (1)

Country Link
CN (1) CN115909045B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN112084923A (zh) * 2020-09-01 2020-12-15 西安电子科技大学 一种遥感图像语义分割方法、存储介质及计算设备
CN113011427A (zh) * 2021-03-17 2021-06-22 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113688808A (zh) * 2021-10-26 2021-11-23 南京信息工程大学 一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法
CN114170533A (zh) * 2021-12-08 2022-03-11 西安电子科技大学 基于注意力机制和多模态表征学习的滑坡识别方法及系统
CN114663749A (zh) * 2022-02-21 2022-06-24 北京箩筐时空数据技术有限公司 滑坡体识别模型的训练方法、装置、电子设备及存储介质
CN114926469A (zh) * 2022-04-26 2022-08-19 中南大学 语义分割模型训练方法、语义分割方法、存储介质及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354778B2 (en) * 2020-04-13 2022-06-07 Google Llc Systems and methods for contrastive learning of visual representations

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN112084923A (zh) * 2020-09-01 2020-12-15 西安电子科技大学 一种遥感图像语义分割方法、存储介质及计算设备
CN113011427A (zh) * 2021-03-17 2021-06-22 中南大学 基于自监督对比学习的遥感图像语义分割方法
CN113688808A (zh) * 2021-10-26 2021-11-23 南京信息工程大学 一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法
CN114170533A (zh) * 2021-12-08 2022-03-11 西安电子科技大学 基于注意力机制和多模态表征学习的滑坡识别方法及系统
CN114663749A (zh) * 2022-02-21 2022-06-24 北京箩筐时空数据技术有限公司 滑坡体识别模型的训练方法、装置、电子设备及存储介质
CN114926469A (zh) * 2022-04-26 2022-08-19 中南大学 语义分割模型训练方法、语义分割方法、存储介质及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Landslide susceptibility prediction based on image semantic segmentation;Du B et al.;《 Computers & Geosciences》;1-11 *
基于卷积神经网络的遥感影像及DEM滑坡识别;杨昭颖等;《自然资源遥感》;第34卷(第2期);224-230 *

Also Published As

Publication number Publication date
CN115909045A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
CN110738697B (zh) 基于深度学习的单目深度估计方法
CN110706302B (zh) 一种文本合成图像的系统及方法
CN113469094A (zh) 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN114049381A (zh) 一种融合多层语义信息的孪生交叉目标跟踪方法
CN110599502B (zh) 一种基于深度学习的皮肤病变分割方法
Liu et al. An efficient residual learning neural network for hyperspectral image superresolution
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN115222998B (zh) 一种图像分类方法
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及系统
CN114937202A (zh) 一种双流Swin Transformer遥感场景分类方法
CN110633706B (zh) 一种基于金字塔网络的语义分割方法
Kavitha et al. Convolutional Neural Networks Based Video Reconstruction and Computation in Digital Twins.
CN115272670A (zh) 一种基于掩膜注意交互的sar图像舰船实例分割方法
Zhang et al. FCHP: Exploring the discriminative feature and feature correlation of feature maps for hierarchical DNN pruning and compression
Fan et al. Hcpvf: Hierarchical cascaded point-voxel fusion for 3D object detection
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
Li et al. HTDFormer: Hyperspectral target detection based on transformer with distributed learning
CN117237623B (zh) 一种无人机遥感图像语义分割方法及系统
Luo et al. Piecewise linear regression-based single image super-resolution via Hadamard transform
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN116844039A (zh) 一种联合多注意的跨尺度遥感图像耕地提取方法
CN115909045B (zh) 一种基于对比学习的two-stage滑坡图谱特征智能识别方法
CN113780305B (zh) 一种基于两种线索交互的显著性目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant