CN115862014B - 矿区语义分割模型构建方法、装置及矿区语义分割方法 - Google Patents
矿区语义分割模型构建方法、装置及矿区语义分割方法 Download PDFInfo
- Publication number
- CN115862014B CN115862014B CN202310166348.7A CN202310166348A CN115862014B CN 115862014 B CN115862014 B CN 115862014B CN 202310166348 A CN202310166348 A CN 202310166348A CN 115862014 B CN115862014 B CN 115862014B
- Authority
- CN
- China
- Prior art keywords
- mining area
- original
- data
- model
- hrnet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了矿区语义分割模型构建方法、装置及矿区语义分割方法，涉及矿区地物遥感分类领域，方法包括：获取原始矿区影像数据；对原始矿区影像数据进行预处理，得到原始矿区多光谱数据和原始矿区数字高程模型数据；对原始矿区多光谱数据和原始矿区数字高程模型数据进行分类体系构建，得到匹配的原始矿区地物分类标记数据；通过原始矿区多光谱数据、原始矿区数字高程模型数据和原始矿区地物分类标记数据对预设的原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型。解决了现有基于语义分割方法的矿区分类精度低的问题。
Description
技术领域
本发明涉及矿区地物遥感分类技术领域，具体而言，涉及矿区语义分割模型构建方法、装置及矿区语义分割方法。
背景技术
矿区资源过度开发会引发一系列的地质灾害问题，因此开展矿区地物遥感分类研究，对矿区现状与变化调查、及有效监管等具有重要的理论意义和实际价值。
基于特征工程和传统机器学习方法，受限于人工设计特征的表示能力，导致其泛化能力差，分类精度不高。深度学习能够自动提取表征能力极强的高层次特征，已广泛用于遥感地物分类；主要包括基于像元特征向量的深度置信网络、自编码器、基于像元邻域特征图的卷积神经网络（Convolutional Neural Networks, CNN）和基于场景的深度CNN。基于像元的方法能获取区域尺度的分类结果，但缺乏语义级标签且具有空间信息感知弱的缺点，限制了分类精度的提升。
现如今基于语义分割的方法具有强大的语义级标签提取能力，已成为遥感分类和变化检测的主流方法之一。然而经典语义分割方法的多尺度特征表征能力不足，且边缘分不准。尤其是，露天矿区地物遥感数据具有地形异质性、多尺度、地物破碎导致的边缘复杂及类别不平衡的特征，导致基于语义分割方法的分类和变化检测精度难以提升。
发明内容
本发明解决的问题是现有基于语义分割方法的矿区分类精度低的问题。
为解决上述问题，本发明提供一种矿区语义分割模型构建方法，包括如下步骤：
获取原始矿区影像数据；
对所述原始矿区影像数据进行预处理，得到所述原始矿区多光谱数据和所述原始矿区数字高程模型数据；
对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行分类体系构建，得到与所述原始矿区多光谱数据和所述原始矿区数字高程模型相匹配的原始矿区地物分类标记数据；
通过所述原始矿区多光谱数据、所述原始矿区数字高程模型数据和所述原始矿区地物分类标记数据对预设的原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型。
可选地，所述获取原始HRNet模型的构建过程包括：
获取HRNet基础模型；
通过对所述HRNet基础模型的主干分支上增设特征增强模块，得到所述原始HRNet模型；
其中，所述特征增强模块基于Swin Transformer模型形成。
可选地，所述通过所述原始矿区多光谱数据、所述原始矿区数字高程模型数据和所述原始矿区地物分类标记数据对预设的原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型，包括：
通过所述原始HRNet模型对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行深度特征提取，得到矿区临时地物分类数据；
对所述矿区临时地物分类数据和所述原始矿区地物分类标记数据进行损失计算，得到损失函数输出；
根据所述损失函数输出调整所述原始HRNet模型的模型参数，直至损失函数输入满足预设条件，将经参数调整后的所述原始HRNet模型作为所述基于HRNet的矿区语义分割模型。
可选地，所述对所述矿区临时地物分类数据和所述原始矿区地物分类标记数据进行损失计算，得到损失函数输出，包括：
通过加权损失函数对所述矿区临时地物分类数据和与所述原始矿区地物分类标记数据进行损失计算，得到损失函数输出；
其中，所述加权损失函数通过交叉熵损失函数和距离损失函数获得。
可选地，所述加权损失函数通过交叉熵损失函数和距离损失函数获得，包括：
根据所述交叉熵损失函数和所述距离损失函数，通过式一计算得到所述加权损失函数；
所述式一为：
其中，LCE为所述交叉熵损失函数，LDL为所述距离损失函数，L为所述加权损失函数，α为权重参数。
本发明所述的矿区语义分割模型构建方法相对于现有技术的优势在于：本发明提供一种矿区语义分割模型构建方法，通过对原始矿区影像数据进行预处理，得到原始矿区多光谱数据和原始矿区数字高程模型数据，对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行分类体系构建，得到匹配的原始矿区地物分类标记数据，再通过所述原始矿区多光谱数据、所述原始矿区数字高程模型数据和所述原始矿区地物分类标记数据对原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型，以原始HRNet模型为基础模型，融合多模态数据以表示矿区多尺度地物特征，通过原始HRNet模型来增强模型多尺度地物表征能力，提高对多尺度物体的检测，再对原始HRNet模型进行训练和参数调优，增强模型边缘信息提取能力、并削弱类不平衡的影响，从而提升矿区分类精度。
为解决上述技术问题，本发明还提供一种矿区语义分割模型构建装置，包括：
获取单元，用于获取原始矿区影像数据；
处理单元，用于对所述原始矿区影像数据进行预处理，得到所述原始矿区多光谱数据和所述原始矿区数字高程模型数据；
标记单元，用于对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行分类体系构建，得到匹配的原始矿区地物分类标记数据；
构建单元，用于通过所述原始矿区多光谱数据、所述原始矿区数字高程模型数据和所述原始矿区地物分类标记数据对预设的原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型。
本发明所述的矿区语义分割模型构建装置与所述矿区语义分割模型构建方法相对于现有技术的优势相同，在此不再赘述。
为解决上述技术问题，本发明还提供一种矿区语义分割模型构建设备，包括存储器和处理器：
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现所述的矿区语义分割模型构建方法。
本发明所述的矿区语义分割模型构建设备与所述矿区语义分割模型构建方法相对于现有技术的优势相同，在此不再赘述。
为解决上述技术问题，本发明还提供一种矿区语义分割方法，包括：
获取目标矿区多光谱数据和目标矿区数字高程模型数据；
将所述目标矿区多光谱数据和所述目标矿区数字高程模型数据输入所述的矿区语义分割模型构建方法得到的基于HRNet的矿区语义分割模型，获得临时分割结果；
对所述目标矿区多光谱数据和所述目标矿区数字高程模型数据进行面向对象多尺度分割，得到对象分割结果；
通过所述对象分割结果对所述临时分割结果进行边界过滤，得到目标矿区地物分类数据。
本发明所述的矿区语义分割方法相对于现有技术的优势在于：本发明提供一种矿区语义分割方法，通过所述的矿区语义分割模型构建方法得到的基于原始HRNet的矿区语义分割模型对目标矿区多光谱数据和目标矿区数字高程模型数据进行处理，得到临时分割结果，再通过对目标矿区多光谱数据和目标矿区数字高程模型数据进行面向对象多尺度分割，得到的对象分割结果对临时分割结果进行边界过滤，得到目标矿区地物分类数据，以原始HRNet模型为基础模型，融合多模态数据以表示矿区多尺度地物特征，通过原始HRNet模型来增强模型多尺度地物表征能力，提高对多尺度物体的检测，通过损失计算后，再对原始HRNet模型进行进行训练和参数调优，增强模型边缘信息提取能力、并削弱类不平衡的影响，从而提升矿区分类精度，最后通过对象边缘进行后处理，减小分割斑点噪声，能够进一步的提升矿区分类精度。
为解决上述技术问题，本发明还提供一种矿区语义分割装置，包括：
获取模块，用于获取目标矿区多光谱数据和目标矿区数字高程模型数据；
分割模块，用于对所述目标矿区多光谱数据和所述目标矿区数字高程模型数据进行面向对象多尺度分割，得到对象分割结果；
处理模块，用于将所述目标矿区多光谱数据和所述目标矿区数字高程模型数据输入所述的矿区语义分割模型构建方法得到的基于HRNet的矿区语义分割模型，获得临时分割结果；
所述处理模块还用于通过所述对象分割结果对所述临时分割结果进行边界过滤，得到目标矿区地物分类数据。
本发明所述的矿区语义分割装置与所述矿区语义分割方法相对于现有技术的优势相同，在此不再赘述。
为解决上述技术问题，本发明还提供一种矿区语义分割设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述矿区语义分割方法的步骤。
本发明所述的矿区语义分割设备与所述矿区语义分割方法相对于现有技术的优势相同，在此不再赘述。
附图说明
图1为本发明实施例中矿区语义分割模型构建方法的流程；
图2为本发明实施例中矿区语义分割模型构建装置结构图；
图3为本发明实施例中矿区语义分割方法的流程图一；
图4为本发明实施例中矿区语义分割方法的流程图二；
图5为本发明实施例中矿区语义分割装置结构图；
图6为本发明实施例中计算机设备的内部结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
如图1所示，在一个实施例中，提供了一种矿区语义分割模型构建方法，包括如下步骤：
步骤S1，获取原始矿区影像数据；
步骤S2，对原始矿区影像数据进行预处理，得到原始矿区多光谱数据和原始矿区数字高程模型数据；
步骤S3，对原始矿区多光谱数据和原始矿区数字高程模型数据进行分类体系构建，得到与原始矿区多光谱数据和原始矿区数字高程模型相匹配的原始矿区地物分类标记数据；
步骤S4，通过原始矿区多光谱数据、原始矿区数字高程模型数据和原始矿区地物分类标记数据对预设的原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型。
具体地，通过卫星获取卫星影像数据（原始矿区影像数据），收集资料，对卫星影像数据进行正射校正、几何校正和影响融合等预处理，得到原始矿区多光谱数据，从立体影像中提取原始矿区数字高程模型数据（DEM数据）。同时通过对原始矿区多光谱数据和原始矿区数字高程模型数据构建分类体系，并基于该分类体系获取与原始矿区多光谱数据和原始矿区数字高程模型数据相匹配的原始矿区地物分类标记数据，再通过原始矿区多光谱数据、原始矿区数字高程模型数据和原始矿区地物分类标记数据对预设的原始HRNet模型进行训练和参数调优，最终得到基于HRNet的矿区语义分割模型。
具体地，原始矿区地物分类标记数据包括但不限于原始矿区地物分类标签图，可以理解的是在实际应用过程中，原始矿区地物分类标签图是通过原始矿区多光谱数据和原始矿区数字高程模型数据进行分类体系构建后，经过目视解译处理获得，即通过肉眼判断分类体系的划分的不同类别。
其中，数字高程模型（Digital Elevation Model)，简称DEM，是通过有限的地形高程数据实现对地面地形的数字化模拟（即地形表面形态的数字化表达），它是用一组有序数值阵列形式表示地面高程的一种实体地面模型，是数字地形模型(Digital TerrainModel，简称DTM)的一个分支，其它各种地形特征值均可由此派生。
本实施例所述的矿区语义分割模型构建方法通过对原始矿区影像数据进行预处理，得到原始矿区多光谱数据和原始矿区数字高程模型数据，对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行分类体系构建，得到匹配的原始矿区地物分类标记数据，再通过所述原始矿区多光谱数据、所述原始矿区数字高程模型数据和所述原始矿区地物分类标记数据对所述原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型，以原始HRNet模型为基础模型，融合多模态数据以表示矿区多尺度地物特征，通过原始HRNet模型来增强模型多尺度地物表征能力，提高对多尺度物体的检测，再对原始HRNet模型进行训练和参数调优，增强模型边缘信息提取能力、并削弱类不平衡的影响，从而提升矿区分类精度。
可选地，获取原始HRNet模型的构建过程包括：
获取HRNet基础模型；
通过对HRNet基础模型的主干分支上增设特征增强模块，得到原始HRNet模型；其中，特征增强模块基于Swin Transformer模型形成。
具体地，原始HRNet模型为基于自注意力机制改进的HRNet，以下简称Swin-HRNet。Swin-HRNet可以概括为俩个分支，一个分支为HRNet基础网络，另一个分支建立在HRNet模型主干上的由Swin Transformer组成的特征增强模块。这种结构构成的多尺度特征融合模块，目的是融合不同特征图的语义信息，以及自注意力模块来聚合相关的上下文特征，基于卷积神经网络（HRNet）和Swin Transformer在捕获全局信息和局部信息方面的优势创新结合，充分利用HRNet基础模型在不同语义尺度下的粗粒度和细粒度特征信息，可以显著提高对多尺度物体的检测精度。
其中，Swin Transformer模型是一种采用自注意力机制的深度学习模块。
可选地，步骤S4中，通过原始矿区多光谱数据、原始矿区数字高程模型数据和原始矿区地物分类标记数据对预设的原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型，包括：
步骤S41，通过原始HRNet模型对原始矿区多光谱数据和原始矿区数字高程模型数据进行深度特征提取，得到矿区临时地物分类数据；
步骤S42，对矿区临时地物分类数据和原始矿区地物分类标记数据进行损失计算，得到损失函数输出；
步骤S43，根据损失函数输出调整原始HRNet模型的模型参数，直至损失函数输入满足预设条件，将经参数调整后的原始HRNet模型作为基于HRNet的矿区语义分割模型。
具体地，原始HRNet模型对原始矿区多光谱数据和原始矿区数字高程模型数据进行深度特征提取过程，就是对原始HRNet模型训练过程，得到矿区临时地物分类数据，通过矿区临时地物分类数据和原始矿区地物分类标记数据损失计算后，若矿区临时地物分类数据和原始矿区地物分类标记数据的差值不满足预设条件，损失函数输出调整原始HRNet模型的模型参数，在通过原始原始矿区多光谱数据和原始矿区数字高程模型数据对经参数调整后的原始HRNet模型进行训练，直至损失函数输入满足预设条件，最终将经参数调整后的原始HRNet模型作为基于HRNet的矿区语义分割模型，其中，损失函数输入为矿区临时地物分类数据和原始矿区地物分类标记数据的差值。
在一些实施例中，通过原始矿区多光谱数据、原始矿区数字高程模型数据和原始矿区地物分类标记数据构建空间上独立和类别均匀分布且成一定比例的训练集、验证集和测试集，其中，类别是指矿区、耕地、林地、水体、道路、居民建设用地或未利用土地等；
例如按照256×256大小，将研究区（即原始影像数据：原始矿区多光谱数据、原始矿区数字高程模型数据原始矿区地物分类标记数据）切割115张图像，按照 6: 2: 2比例，最后划分的训练集中有70张图像，验证集中有20张图像，测试集中有25张图像。如表1中所示，可以看出划分的训练集、验证集和测试集中每种地物类别所占百分比和研究区地物类别百分比基本一致，保证了训练集、验证集和测试在空间上独立和类别均匀分布。
表1：地物类别统计百分比
| 类别/数据集 | 研究区 | 训练集 | 验证集 | 测试集 |
| 数量 | 115张 | 70张 | 20张 | 25张 |
| 矿区 | 5.12% | 4.93% | 5.17% | 4.83% |
| 耕地 | 42.08% | 44.90% | 47.50% | 46.12% |
| 林地 | 26.11% | 25.65% | 21.10% | 20.68% |
| 水体 | 11.89% | 10.89% | 11.74% | 14.08% |
| 道路 | 5.48% | 4.61% | 5.33% | 5.93% |
| 居民建设用地 | 7.02% | 6.02% | 7.85% | 6.65% |
| 未利用土地 | 2.29% | 2.82% | 1.31% | 1.71% |
训练集和验证集用于对原始HRNet模型进行训练，同时构建基于HRNet的矿区语义分割模型，通过测试集对基于HRNet的矿区语义分割模型进行测试，并进行精度评价；以OA为评价指标，其中，OA（Overall Accuracy）表示全局的准确性，评价指标包括精度、交并比、频率交并比、F1分数、G-Mean等。
可选地，步骤S42中，对矿区临时地物分类数据和原始矿区地物分类标记数据进行损失计算，得到损失函数输出，包括：
步骤S421，通过加权损失函数对矿区临时地物分类数据和原始矿区地物分类标记数据进行损失计算，得到损失函数输出；
其中，加权损失函数通过交叉熵损失函数和距离损失函数获得。
具体地，在损失计算过程中损失函数极大的影响网络模型性能，所以合适的损失函数的选取对于提升分割精度和有效的提取地物类别边缘具有重要作用，本实施例中，损失函数包含交叉熵损失函数和区域损失函数，交叉熵损失函数作为最常用的损失函数，能有效的进行每个像元的损失计算，且交叉熵损失函数更关注每个像元的准确性；区域损失函数包括交并比损失函数和距离损失函数，基于试验对交并比损失函数和距离损失函数进行验证，发现：相较于交并比损失函数，距离损失函数更有利于提升分割精度，同时能够更有效的提取地物类别边缘。因此，本实施例中选取交叉熵损失函数和距离损失函数对原始HRNet模型进行反向传播学习，提高分割精度。
一些优选的实施例中，通过调节整体网络模型的基础通道数进行调参试验，也就是通过调节原始HRNet模型的基础通道数进行调参，例如基于基本实验参数为批大小为4，优化器为Adam，学习率为0.0001，训练批次为200，每训练一轮次进行一次验证集精度评价，保存当前验证集精度最优的模型参数。同时，损失函数选择交叉熵损失函数，选择交叉熵损失函数在原始训练期间能够有效的关注每个像元的准确性，有利于模型精度的提升，随着精度提升后，基于距离损失函数更有利于区域的整体精度提升。
可选地，加权损失函数通过交叉熵损失函数和距离损失函数获得，包括：
步骤S422，根据交叉熵损失函数和距离损失函数，通过式一计算得到加权损失函数；
式一为：
其中，LCE为交叉熵损失函数，LDL为距离损失函数，L为加权损失函数，α为权重参数。
具体地，通过对权重参数进行调优过程，选出最优的损失函数权重组合。距离损失函数包括边界距离损失LBDL和Hausdorff距离损失LHDL（豪斯多夫距离损失函数），基于原始HRNet模型最优参数构建的网络模型权重以及参数，来进行边界距离损失和Hausdorff距离损失增量调优实验，加载原始HRNet模型权重的好处可以节省大量初期训练时间，在实验调优过程中通过调节权重参数来确定最优的损失函数权重组合，一般情况，的原始值设置为0.1，步长为10倍，权重参数为0.1、1、10、100、和1000五种情况，在本实施例中，权重参数根据实际需要在上述五种情况中选取其一作为最优值，使加权损失函数更有利于对原始HRNet模型进行反向传播学习。
本实施例提供一种矿区语义分割模型构建方法，所述矿区语义分割模型构建方法通过对原始矿区影像数据进行预处理，得到原始矿区多光谱数据和原始矿区数字高程模型数据，对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行分类体系构建，得到匹配的原始矿区地物分类标记数据，再通过所述原始矿区多光谱数据、所述原始矿区数字高程模型数据和所述原始矿区地物分类标记数据对所述原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型，以原始HRNet模型为基础模型，融合多模态数据以表示矿区多尺度地物特征，通过原始HRNet模型来增强模型多尺度地物表征能力，提高对多尺度物体的检测，再对原始HRNet模型进行训练和参数调优，增强模型边缘信息提取能力、并削弱类不平衡的影响，从而提升矿区分类精度。
如图2所示，在一个实施例中，提供一种矿区语义分割模型构建装置，包括：
获取单元，用于获取原始矿区影像数据；
处理单元，用于对原始矿区影像数据进行预处理，得到原始矿区多光谱数据和原始矿区数字高程模型数据；
标记单元，用于对原始矿区多光谱数据和原始矿区数字高程模型数据进行分类体系构建，得到匹配的原始矿区地物分类标记数据；
构建单元，用于通过原始矿区多光谱数据、原始矿区数字高程模型数据和原始矿区地物分类标记数据对预设的原始HRNet模型进行训练和参数调优，得到基于HRNet的矿区语义分割模型。
本实施例中获取单元还用于获取HRNet基础模型；通过对HRNet基础模型的主干分支上增设特征增强模块，得到原始HRNet模型；其中，特征增强模块基于Swin Transformer模型形成。
本实施例中构建单元还用于通过所述原始HRNet模型对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行深度特征提取，得到矿区临时地物分类数据；对所述矿区临时地物分类数据和所述原始矿区地物分类标记数据进行损失计算，得到损失函数输出；根据所述损失函数输出调整所述原始HRNet模型的模型参数，直至损失函数输入满足预设条件，将经参数调整后的所述原始HRNet模型作为所述基于HRNet的矿区语义分割模型；其中，所述损失函数输入为所述矿区临时地物分类数据和所述原始矿区地物分类标记数据的差值。
在一个实施例中，提供一种矿区语义分割模型构建设备，包括存储器和处理器：存储器，用于存储计算机程序；处理器，用于当执行所述计算机程序时，实现所述的矿区语义分割模型构建方法。
需要注意的是，该设备可以为服务器、移动终端等计算机设备。
如图3所示，在一个实施例中，提供一种矿区语义分割方法，包括如下步骤：
步骤A1，获取目标矿区多光谱数据和目标矿区数字高程模型数据；
步骤A2，将所述目标矿区多光谱数据和所述目标矿区数字高程模型数据输入所述的矿区语义分割模型构建方法得到的基于HRNet的矿区语义分割模型，获得临时分割结果；
步骤A3，对所述目标矿区多光谱数据和所述目标矿区数字高程模型数据进行面向对象多尺度分割，得到对象分割结果；
步骤A4，通过所述对象分割结果对所述临时分割结果进行边界过滤，得到目标矿区地物分类数据。
具体地，通过将目标矿区多光谱数据和目标矿区数字高程模型数据输入到所述的矿区语义分割模型构建方法得到的基于HRNet的矿区语义分割模型中进行处理，得到临时分割结果，再通过对目标矿区多光谱数据和目标矿区数字高程模型数据进行面向对象多尺度分割，得到的对象分割结果对临时分割结果进行边界过滤后处理，得到目标矿区地物分类数据。
其中，对象多尺度分割是一种从单像素对象开始的自下而上的区域合并技术，实现方式为基于对象多尺度分割生成的影像对象的基本单元已不是单个的像元，而是由同质像元组成的多边形块状对象，分割过程中生成的影像对象是影像对象原型，它可以作为信息的载体和原料用于进一步的分割或者分类。基于对象多尺度分割生成的对象原型可以有效的提取矿区地物的完整对象，这些对象保留了地物的边缘完整性，基于这一点将语义分割技术和多尺度分割相结合，通过对象边缘处理能够进一步得到地物的边界，解决矿区地物边界分不准以及分类、分割中产生“椒盐”效应的问题。
在本实施例中，如图4所示，通过卫星获取露天矿区影像数据，露天矿区包括露天矿山用地、耕地、林地、水体、道路、城乡居民用地和未利用土地，通过对露天矿区影像数据进行正射校正、几何校正和影响融合等预处理，得到四波段（红、绿、蓝和近红外波段）影像（即RGB-NIR包括原始矿区多光谱数据和目标矿区多光谱数据），从立体影像中提取数字高程模型数据（DEM数据：原始矿区数字高程模型数据和目标矿区数字高程模型数据），同时通过原始矿区多光谱数据和原始矿区数字高程模型数据构建分类体系，并基于该分类体系获取原始地物分类标记数据，先通过预设的原始HRNet模型对输入数据（即原始矿区多光谱数据（RGB-NIR）和原始矿区数字高程模型数据）进行深层特征提取，能得到初步结果（中间结果：矿区临时地物分类数据），通过加权损失函数（通过交叉熵损失LCE和距离损失LDL获得）对初步结果和原始矿区地物分类标记数据进行损失计算，若初步结果和原始矿区地物分类标记数据的差值不满足预设条件，通过损失函数输出对原始HRNet模型进行加权损失反向传播学习（参数调优），直至损失函数输入满足预设条件，得到基于HRNet的矿区语义分割模型，通过基于HRNet的矿区语义分割模型对目标矿区多光谱数据和目标矿区数字高程模型数据进行处理，得到临时分割结果，再对目标矿区多光谱数据和目标矿区数字高程模型数据进行面向对象多尺度分割，得到的对象分割结果对临时分割结果进行对象边界过滤后处理，得到最终分割结果（目标矿区地物分类数据）。
本实施例所述的矿区语义分割方法通过通过所述的矿区语义分割模型构建方法得到的基于原始HRNet的矿区语义分割模型对目标矿区多光谱数据和目标矿区数字高程模型数据进行处理，得到临时分割结果，再通过对目标矿区多光谱数据和目标矿区数字高程模型数据进行面向对象多尺度分割，得到的对象分割结果对临时分割结果进行边界过滤，得到目标矿区地物分类数据，以原始HRNet模型为基础模型，融合多模态数据以表示矿区多尺度地物特征，通过原始HRNet模型来增强模型多尺度地物表征能力，提高对多尺度物体的检测，通过损失计算后，再对原始HRNet模型进行进行训练和参数调优，增强模型边缘信息提取能力、并削弱类不平衡的影响，从而提升矿区分类精度，最后通过对象边缘进行后处理，减小分割斑点噪声，能够进一步的提升矿区分类精度。
如图5所示，在一个实施例中，提供一种矿区语义分割装置，包括：
获取模块，用于获取目标矿区多光谱数据和目标矿区数字高程模型数据；
分割模块，用于对目标矿区多光谱数据和目标矿区数字高程模型数据进行面向对象多尺度分割，得到对象分割结果；
处理模块，用于将目标矿区多光谱数据和目标矿区数字高程模型数据输入所述的矿区语义分割模型构建方法得到的基于HRNet的矿区语义分割模型，获得临时分割结果；
处理模块还用于通过对象分割结果对临时分割结果进行边界过滤，得到目标矿区地物分类数据。
在一个实施例中，提供了一种一种矿区语义分割设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述矿区语义分割方法的步骤。
需要注意的是，该设备可以为服务器、移动终端等计算机设备。
图6示出了一个实施例中计算机设备的内部结构图。如图6所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现矿区语义分割方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行的矿区语义分割方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述矿区语义分割方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (8)
1.一种矿区语义分割模型构建方法，其特征在于，包括：
获取原始矿区影像数据；
对所述原始矿区影像数据进行预处理，得到原始矿区多光谱数据和原始矿区数字高程模型数据；
对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行分类体系构建，得到与所述原始矿区多光谱数据和所述原始矿区数字高程模型数据相匹配的原始矿区地物分类标记数据；
通过预设的原始HRNet模型对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行深度特征提取，得到矿区临时地物分类数据；
对所述矿区临时地物分类数据和所述原始矿区地物分类标记数据进行损失计算，得到损失函数输出；
根据所述损失函数输出调整所述原始HRNet模型的模型参数，直至损失函数输入满足预设条件，将经参数调整后的所述原始HRNet模型作为基于HRNet的矿区语义分割模型；
其中，所述原始HRNet模型通过对HRNet基础模型的主干分支上增设特征增强模块获得，且所述特征增强模块基于Swin Transformer模型形成。
2.根据权利要求1所述的矿区语义分割模型构建方法，其特征在于，所述对所述矿区临时地物分类数据和所述原始矿区地物分类标记数据进行损失计算，得到损失函数输出，包括：
通过加权损失函数对所述矿区临时地物分类数据和与所述原始矿区地物分类标记数据进行损失计算，得到损失函数输出；
其中，所述加权损失函数通过交叉熵损失函数和距离损失函数获得。
3.根据权利要求2所述的矿区语义分割模型构建方法，其特征在于，所述加权损失函数通过交叉熵损失函数和距离损失函数获得，包括：
根据所述交叉熵损失函数和所述距离损失函数，通过公式计算得到所述加权损失函数；
所述公式为：
其中，LCE为所述交叉熵损失函数，LDL为所述距离损失函数，L为所述加权损失函数，α为权重参数。
4.一种矿区语义分割模型构建装置，其特征在于，包括：
获取单元，用于获取原始矿区影像数据；
处理单元，用于对所述原始矿区影像数据进行预处理，得到所述原始矿区多光谱数据和所述原始矿区数字高程模型数据；
标记单元，用于对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行分类体系构建，得到与所述原始矿区多光谱数据和所述原始矿区数字高程模型相匹配的原始矿区地物分类标记数据；
构建单元，用于通过预设的原始HRNet模型对所述原始矿区多光谱数据和所述原始矿区数字高程模型数据进行深度特征提取，得到矿区临时地物分类数据；对所述矿区临时地物分类数据和所述原始矿区地物分类标记数据进行损失计算，得到损失函数输出；根据所述损失函数输出调整所述原始HRNet模型的模型参数，直至损失函数输入满足预设条件，将经参数调整后的所述原始HRNet模型作为基于HRNet的矿区语义分割模型；其中，所述原始HRNet模型通过对所述HRNet基础模型的主干分支上增设特征增强模块获得，且所述特征增强模块基于Swin Transformer模型形成。
5.一种矿区语义分割模型构建设备，其特征在于，包括存储器和处理器：
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1至3任一项所述的矿区语义分割模型构建方法。
6.一种矿区语义分割方法，其特征在于，包括：
获取目标矿区多光谱数据和目标矿区数字高程模型数据；
将所述目标矿区多光谱数据和所述目标矿区数字高程模型数据输入如权利要求1至3任一项所述的矿区语义分割模型构建方法得到的基于HRNet的矿区语义分割模型，获得临时分割结果；
对所述目标矿区多光谱数据和所述目标矿区数字高程模型数据进行面向对象多尺度分割，得到对象分割结果；
通过所述对象分割结果对所述临时分割结果进行边界过滤，得到目标矿区地物分类数据。
7.一种矿区语义分割装置，其特征在于，包括：
获取模块，用于获取目标矿区多光谱数据和目标矿区数字高程模型数据；
分割模块，用于对所述目标矿区多光谱数据和所述目标矿区数字高程模型数据进行面向对象多尺度分割，得到对象分割结果；
处理模块，用于将所述目标矿区多光谱数据和所述目标矿区数字高程模型数据输入如权利要求1至3任一项所述的矿区语义分割模型构建方法得到的基于HRNet的矿区语义分割模型，获得临时分割结果；
所述处理模块还用于通过所述对象分割结果对所述临时分割结果进行边界过滤，得到目标矿区地物分类数据。
8.一种矿区语义分割设备，其特征在于，包括存储器和处理器：
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求6所述的矿区语义分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310166348.7A CN115862014B (zh) | 2023-02-27 | 2023-02-27 | 矿区语义分割模型构建方法、装置及矿区语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310166348.7A CN115862014B (zh) | 2023-02-27 | 2023-02-27 | 矿区语义分割模型构建方法、装置及矿区语义分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115862014A CN115862014A (zh) | 2023-03-28 |
| CN115862014B true CN115862014B (zh) | 2023-04-28 |
Family
ID=85658977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310166348.7A Active CN115862014B (zh) | 2023-02-27 | 2023-02-27 | 矿区语义分割模型构建方法、装置及矿区语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115862014B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635856A (zh) * | 2023-11-07 | 2024-03-01 | 广东省地质调查院 | 一种矿山开采原始数字高程模型重建方法、系统和介质 |
| CN117789042B (zh) * | 2024-02-28 | 2024-05-14 | 中国地质大学（武汉） | 一种道路信息解译方法、系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407995A (zh) * | 2016-04-01 | 2017-02-15 | 中国地质大学（武汉） | 一种图像数据集的稀疏表示的加速方法以及装置 |
| CN109344837A (zh) * | 2018-10-22 | 2019-02-15 | 西安电子科技大学 | 一种基于深度卷积网络和弱监督学习的sar图像语义分割方法 |
| CN111274865A (zh) * | 2019-12-14 | 2020-06-12 | 深圳先进技术研究院 | 一种基于全卷积神经网络的遥感图像云检测方法及装置 |
| CN112598684A (zh) * | 2020-12-28 | 2021-04-02 | 长光卫星技术有限公司 | 一种基于语义分割技术的露天矿区地物分割方法 |
| CN114895574A (zh) * | 2022-04-06 | 2022-08-12 | 北京路凯智行科技有限公司 | 用于无人驾驶矿车的仿真系统、方法以及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264572B (zh) * | 2019-06-21 | 2021-07-30 | 哈尔滨工业大学 | 一种融合几何特性与力学特性的地形建模方法及系统 |
-
2023
- 2023-02-27 CN CN202310166348.7A patent/CN115862014B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407995A (zh) * | 2016-04-01 | 2017-02-15 | 中国地质大学（武汉） | 一种图像数据集的稀疏表示的加速方法以及装置 |
| CN109344837A (zh) * | 2018-10-22 | 2019-02-15 | 西安电子科技大学 | 一种基于深度卷积网络和弱监督学习的sar图像语义分割方法 |
| CN111274865A (zh) * | 2019-12-14 | 2020-06-12 | 深圳先进技术研究院 | 一种基于全卷积神经网络的遥感图像云检测方法及装置 |
| CN112598684A (zh) * | 2020-12-28 | 2021-04-02 | 长光卫星技术有限公司 | 一种基于语义分割技术的露天矿区地物分割方法 |
| CN114895574A (zh) * | 2022-04-06 | 2022-08-12 | 北京路凯智行科技有限公司 | 用于无人驾驶矿车的仿真系统、方法以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Meng Li.A Multi-Level Output-Based DBN Model for Fine Classification of Complex Geo-Environments Area Using Ziyuan-3 TMS Imagery.MDPI.2021,第21卷全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115862014A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115862014B (zh) | 矿区语义分割模型构建方法、装置及矿区语义分割方法 | |
| Can et al. | Landslide susceptibility mapping at Ovacık-Karabük (Turkey) using different artificial neural network models: comparison of training algorithms | |
| Lv et al. | Landslide inventory mapping from bitemporal high-resolution remote sensing images using change detection and multiscale segmentation | |
| Labib et al. | The potentials of Sentinel-2 and LandSat-8 data in green infrastructure extraction, using object based image analysis (OBIA) method | |
| Pal et al. | Application of frequency ratio and logistic regression models for assessing physical wetland vulnerability in Punarbhaba river basin of Indo-Bangladesh | |
| Sangchini et al. | Assessment and comparison of combined bivariate and AHP models with logistic regression for landslide susceptibility mapping in the Chaharmahal-e-Bakhtiari Province, Iran | |
| CN106022341A (zh) | 高分辨率光学遥感图像灾后水体信息提取方法及系统 | |
| CN111797571B (zh) | 滑坡易发性评价方法、装置、设备和存储介质 | |
| CN116524369B (zh) | 遥感影像分割模型构建方法、装置及遥感影像解译方法 | |
| AU2021102192A4 (en) | Remote sensing classification and identification method, device, equipment and storage medium for soil types | |
| Han et al. | Noncontact detection of earthquake-induced landslides by an enhanced image binarization method incorporating with Monte-Carlo simulation | |
| Ma et al. | Automatic identification of shallow landslides based on Worldview2 remote sensing images | |
| CN110879992A (zh) | 基于迁移学习的草原地表覆盖物分类方法和系统 | |
| Rogers et al. | VEdge_Detector: automated coastal vegetation edge detection using a convolutional neural network | |
| CN113688172B (zh) | 滑坡易发性评估模型训练方法、评估方法、装置及介质 | |
| Shirani et al. | Automatic landform recognition, extraction, and classification using kernel pattern modeling | |
| CN116091850B (zh) | 一种矿区土地覆盖分类模型建立及分类方法 | |
| Wang et al. | Machine learning powered high-resolution co-seismic landslide detection | |
| Zhang et al. | Landslide Susceptibility Mapping Using Novel Hybrid Model Based on Different Mapping Units | |
| Zhang et al. | Identification of geomorphological hazards in an underground coal mining area based on an improved region merging watershed algorithm | |
| CN114639015A (zh) | 联合光谱、植被指数和纹理特征的高分影像滑坡检测方法 | |
| CN112883892A (zh) | 一种土壤类型遥感分类识别方法、装置、设备及存储介质 | |
| CN113705429A (zh) | 一种滑坡地质灾害遥感解译方法、装置、设备及存储介质 | |
| Samadzadegan et al. | Automatic built-up area extraction by feature-level fusion of Luojia 1–01 nighttime light and Sentinel satellite imageries in Google Earth Engine | |
| Hao et al. | Bi-Temporal change detection of high-resolution images by referencing time series medium-resolution images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |