CN117649607B - 基于SegNet深度学习模型的海草床遥感识别方法、装置 - Google Patents
基于SegNet深度学习模型的海草床遥感识别方法、装置 Download PDFInfo
- Publication number
- CN117649607B CN117649607B CN202410091088.6A CN202410091088A CN117649607B CN 117649607 B CN117649607 B CN 117649607B CN 202410091088 A CN202410091088 A CN 202410091088A CN 117649607 B CN117649607 B CN 117649607B
- Authority
- CN
- China
- Prior art keywords
- segnet
- image
- deep learning
- learning model
- image size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 32
- 240000007058 Halophila ovalis Species 0.000 title 1
- 238000012549 training Methods 0.000 claims abstract description 140
- 241001474374 Blennius Species 0.000 claims abstract description 128
- 238000012795 verification Methods 0.000 claims abstract description 55
- 230000000694 effects Effects 0.000 claims abstract description 16
- 239000013535 sea water Substances 0.000 claims description 22
- 239000000758 substrate Substances 0.000 claims description 20
- 239000004576 sand Substances 0.000 claims description 19
- 239000008264 cloud Substances 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 7
- 229910052799 carbon Inorganic materials 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 241000544058 Halophila Species 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009919 sequestration Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- HQHACWYQWDKBOZ-UHFFFAOYSA-N 1-nitroso-azacyclotridecane Chemical compound O=NN1CCCCCCCCCCCC1 HQHACWYQWDKBOZ-UHFFFAOYSA-N 0.000 description 1
- 101150029019 ATP6 gene Proteins 0.000 description 1
- 101100026598 Arabidopsis thaliana NOP2A gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于SegNet深度学习模型的海草床遥感识别方法、装置，所述方法包括：对训练集和验证集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸训练集、第二影像尺寸训练集、第一影像尺寸验证集和第二影像尺寸验证集；对训练集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量；使用第一影像尺寸训练集训练第一SegNet深度学习模型，使用第二影像尺寸训练集训练第二SegNet深度学习模型；根据模型识别效果，确定第一SegNet深度学习模型和第二SegNet深度学习模型中的最优识别模型；使用最优识别模型，识别目标区域的实际卫星遥感影像。采用上述技术方案，克服训练样本在不同特征类别上分布不平衡的问题，提升海草床识别准确度。
Description
技术领域
本发明涉及遥感影像识别技术领域，尤其涉及一种基于SegNet深度学习模型的海草床遥感识别方法、装置。
背景技术
海草床生态系统是近海沿岸最重要的蓝碳生态系统之一，不仅在海洋碳汇方面具有重要价值，其每年固碳量占海洋总固碳量的10%，还能够为海洋生物提供栖息地，促进海洋物质循环、减缓水流速度并稳固近海底质。然而自1990年以来，全球海草床以每年大约7%的速率在减少，目前超过1/3的海草床已经消失，14%的海草物种也正在面临灭绝。由于海草床生态系统的功能完整性和稳定性受到了极大的冲击，碳储量和碳汇能力下降，已引起了国内外学者的高度重视。因此，快速准确地监测获取海草床分布情况迫在眉睫，这对于海草床生态系统的保护管理以及评估其在全球碳循环中的功能价值等具有重要的实践意义。
针对海草床遥感识别，已有研究者提出了基于辐射传输过程的物理模型反演法和多光谱指数法等遥感识别方法。然而，物理模型反演法过程复杂且需要多个水体光学参数作为输入，在推广应用方面受限；多光谱指数法在识别海草床时需要指数阈值作为识别依据，而准确的阈值确定往往较难，这给海草床的识别带来一定的不确定性。
近年来，随着计算机技术的快速发展，诸多深度学习模型已被提出。深度学习方法可以从输入数据中自动提取目标地物特征，不仅可以减少人工提取带来的主观影响，还可以实现高精度的地物自动识别提取，大大提高了效率。因此，近年来已有许多研究人员结合遥感大数据和深度学习模型，提出了基于深度学习模型的目标地物自动化识别新技术，并将其广泛应用到卫星遥感影像地物识别和分类中，已成为当前地物遥感识别的重要方法。
然而，深度学习模型方法往往依赖于训练样本，在样本空间分布不均匀及样本数量有限的情况下，样本类别不平衡问题是影响深度学习提取精度的关键问题之一。在海草床提取中，由于海草床分布存在区域性以及季节性差异，这都会导致在海草床图像上出现样本类别不平衡问题，进而影响深度学习模型在海草床提取上的表现性能，并且不同的深度学习模型在海草床提取的表现上也有所差异。
发明内容
发明目的：本发明提供一种基于SegNet深度学习模型的海草床遥感识别方法、装置，旨在解决现有技术中在利用深度学习模型进行海草床遥感识别的过程中，由于训练样本在不同特征类别上分布不平衡所导致的识别准确度较低的技术问题，并且解决现有技术中应用的深度学习模型在训练样本在不同特征类别上分布不平衡情况下，训练效果较差的技术问题。
技术方案：本发明提供一种基于SegNet深度学习模型的海草床遥感识别方法，包括：获取目标区域的卫星遥感影像，对卫星遥感影像中的像元进行特征标注，形成标签样本集；将标签样本集划分为训练集和验证集，对训练集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸训练集和第二影像尺寸训练集；对验证集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸验证集和第二影像尺寸验证集；对训练集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量；使用第一影像尺寸训练集训练第一SegNet深度学习模型，使用第二影像尺寸训练集训练第二SegNet深度学习模型；使用第一影像尺寸验证集输入第一SegNet深度学习模型，使用第二影像尺寸验证集输入第二SegNet深度学习模型，获得相应的识别结果，根据识别效果，确定第一SegNet深度学习模型和第二SegNet深度学习模型中的最优识别模型；使用最优识别模型，用于识别目标区域的实际卫星遥感影像中的海草床区域；实际卫星遥感影像经过最优影像尺寸切割，最优影像尺寸与最优识别模型训练时用于切割的影像尺寸对应。
具体的，在目标区域的卫星遥感影像中，确定海草、海水、云和砂质底质像元的光谱曲线，确定能够反映海草与海水、云和砂质底质光谱差异的波段为特征波段，使用特征波段对卫星遥感影像进行特征波段合成。
具体的，对卫星遥感影像中每张影像的像元，进行海草、海水、云和砂质底质的类别标注。
具体的，对于第一影像尺寸训练集和第二影像尺寸训练集，在两个集合中分别进行如下的冗余去除步骤：将占比最高的特征类别作为冗余类别，卫星遥感影像切割后得到的影像块中，保留不包括冗余类别的影像块，对于集合中包括冗余类别的影像块，计算冗余类别在影像块中的占比，将占比高于去除阈值的影像块去除；去除阈值与影像块所在集合相对应。
具体的，获取实际卫星遥感影像，分别按照第一SegNet深度学习模型和第二SegNet深度学习模型对应的影像尺寸进行切割后，输入相应的模型，分别将识别结果和实际结果进行比对，分别评估第一SegNet深度学习模型和第二SegNet深度学习模型的海草床识别性能。
具体的，分别计算第一SegNet深度学习模型和第二SegNet深度学习模型的总体精度、精确度和F1分数，加权求和评估海草床识别性能；所述总体精度OA的计算公式如下：
OA=（TP＋TN）/（TP＋TN+FP+FN），
其中，TP表示实际类别为海草且被模型识别为海草的像元个数，FN表示实际类别为海草且被模型识别为非海草的像元个数，TN表示实际类别为非海草且被模型识别为非海草的像元个数，FP表示实际类别为非海草且被模型识别为海草的像元个数；
所述精确度P的计算公式如下：
P=TP/（TP＋FP）；
所述F1分数的计算公式如下：
F1Score=2TP/（2TP＋FP+FN）。
具体的，不断调整第一影像尺寸训练集的去除阈值和第二影像尺寸训练集的去除阈值，直到第一SegNet深度学习模型的海草床识别性能不能再提高，以及第二SegNet深度学习模型的海草床识别性能不能再提高，确定对应的去除阈值。
具体的，所述对训练集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量，包括：计算训练集中每个特征类别的像元数量，按照每个特征类别的像元数量之间比例的反比，对每个特征类别进行加权。
具体的，所述根据识别效果，确定第一SegNet深度学习模型和第二SegNet深度学习模型中的最优识别模型，包括：按照预设权重对模型训练时间和识别结果准确度进行加权求和，根据求和结果的最大值，确定对应的模型作为最优识别模型。
本发明还提供一种基于SegNet深度学习模型的海草床遥感识别装置，包括：影像获取单元、尺寸切割和平衡单元、训练单元、筛选单元和应用单元，其中：所述影像获取单元，用于获取目标区域的卫星遥感影像，对卫星遥感影像进行特征标注，形成标签样本集；所述尺寸切割和平衡单元，用于将标签样本集划分为训练集和验证集，对训练集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸训练集和第二影像尺寸训练集；对验证集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸验证集和第二影像尺寸验证集；对训练集和验证集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量；所述训练单元，用于分别使用第一影像尺寸训练集和第二影像尺寸训练集，用于训练第一SegNet深度学习模型和第二SegNet深度学习模型；所述筛选单元，用于分别使用第一影像尺寸验证集和第二影像尺寸验证集，用于输入第一SegNet深度学习模型和第二SegNet深度学习模型，并获得相应的识别结果，根据识别结果准确度，确定第一SegNet深度学习模型和第二SegNet深度学习模型中的最优识别模型；所述应用单元，用于使用最优识别模型，用于识别目标区域的实际卫星遥感影像中的海草床区域。
有益效果：与现有技术相比，本发明具有如下显著优点：克服训练样本在不同特征类别上分布不平衡的问题，提升海草床识别准确度。
附图说明
图1为本发明提供的基于SegNet深度学习模型的海草床遥感识别方法的流程示意图；
图2为本发明提供的SegNet深度学习模型的示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1，其为本发明提供的基于SegNet深度学习模型的海草床遥感识别方法的流程示意图。
不同于其他通过深度学习模型进行图像分类的领域，海草床的图像分类具有一定的特殊性，具体而言，特殊性在于海草床图像中样本主要集中在特定的水域，并且海草床在不同季节具有不同的空间分布特征，首先限制了海草床样本在图像上的空间分布和样本的数量，其次在特定的水域范围内，主要的底质类型和水体类型（例如海草、海水和砂质底质等）在特征数量上存在明显差异，也即样本中的特征类别在数量上存在明显不平衡，模型在样本数量少的类别上出现“欠学习”现象，使得样本数量少的类别的预测精度大大下降。例如样本中的海水类别明显高于其他特征类别，由此导致基于该类样本训练得到的深度学习模型，在海草床识别上的准确率偏低。
另外需要注意的是，如今深度学习模型的类型繁多，不同深度学习模型在不同特点（例如样本中的特征类别在数量上存在明显不平衡）的样本上，学习训练效果存在区别，针对样本中的特征类别不平衡，需要选择能够避免或克服该问题的深度学习模型。
本发明提供一种基于SegNet深度学习模型的海草床遥感识别方法，选择了SegNet深度学习模型作为用于海草识别的分类模型。SegNet（Semantic Segmentation network），是一种编码器-解码器架构的深度学习模型，它具有跳跃连接层，可以让模型在解码器的不同层获取来自编码器的多尺度信息，因此在图像存在多尺度目标和数据分类不平衡的情况下能够提高对不同目标的识别，可以克服样本中的特征类别不平衡的问题。另外，与其他深度学习模型相比，例如全卷积神经网络（Fully Convolutional Neural Network, FCN）、UNet和DeepLab。SegNet是一个轻量级模型，结构简单，提取速度快，容易实现和训练。它使用基于最大池化索引的解码器，使得存储和信息传递更为高效，适用于资源受限的环境。而FCN使用反卷积进行上采样得到原尺寸的语义分割图像，UNet通过跳跃连接层捕获更多的信息，DeepLab则使用了更复杂的空洞卷积和多尺度信息融合的方法，这使得它们在训练时需要更多的内存，且对硬件的要求相对较高，计算效率较低。
在具体实施中，本发明提供的SegNet深度学习模型的训练和筛选步骤，包括通过对卫星遥感影像分别进行多尺寸的切割，不同尺寸切割后的影像经过样本不平衡的补偿后，分别训练多个的SegNet模型，对比多个SegNet模型在海草床识别上的效果，选择其中效果最好的SegNet模型用于实际的海草床识别。本发明提供的方法中，记载了第一影像尺寸和第二影像尺寸在模型上的对比，在实际应用中，可以使用3种、4种、5种或6种等多种影像尺寸的切割和模型对比，本发明对此不做限制。本发明提供的SegNet深度学习模型的训练和筛选步骤如下。
步骤1，获取目标区域的卫星遥感影像，对卫星遥感影像中的像元进行特征标注，形成标签样本集。
在具体实施中，目标区域是指可以进行海草床识别的区域，或用于训练海草床识别模型的区域。
在具体实施中，特征标注中所指的特征，是指SegNet深度学习模型需要进行识别分类的图像类别，特别是在卫星遥感影像中进行识别分类；目标区域的卫星遥感影像，一般是指在特定时间段内的目标区域的卫星遥感影像，用于模型的训练和验证，其中，特定时间段的长度可以根据用户需求进行确定。
本发明实施例中，在目标区域中的目标水域矢量边界内，对卫星遥感影像的每张（帧）影像，按照最大影像尺寸进行裁切，每张影像通过裁切获得多个像元；所述最大影像尺寸大于等于所述第一影像尺寸或第二影像尺寸。
在具体实施中，按照最大影像尺寸进行裁切，每张影像通过裁切获得多个像元，例如将每帧影像裁剪为128×128个像元（影像块），而基于最大影像尺寸大于等于第一影像尺寸或第二影像尺寸，使用第一影像尺寸或第二影像尺寸可以将每帧影像裁剪得到4×4、8×8、16×16、32×32或64×64个像元，最多128×128个像元。
本发明实施例中，利用归一化差异水体指数（Normalized Difference MoistureIndex，NDMI）掩膜陆地，并标注为陆地。
本发明实施例中，在目标区域的卫星遥感影像中，确定海草、海水、云和砂质底质像元的光谱曲线，确定能够反映海草与海水、云和砂质底质光谱差异的波段为特征波段，使用特征波段对卫星遥感影像进行特征波段合成。
在具体实施中，对卫星遥感影像进行预处理和特征加强，优化模型训练和识别的效果。
在具体实施中，卫星遥感影像，可以是Landsat系列卫星遥感影像数据，包括Landsat-5 TM、Landsat-7 ETM+、Landsat-8 OLI和Landsat-9 OLI2；对收集得到的卫星遥感影像数据进行ACOLITE大气校正。
本发明实施例中，对卫星遥感影像中每张影像的像元，进行海草、海水、云和砂质底质的类别标注。在具体实施中，对卫星遥感影像中的像元进行特征标注，例如对分割得到的128×128个像元中的每个像元，进行海草、海水、云和砂质底质的特征类别标注。
步骤2，将标签样本集划分为训练集和验证集，对训练集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸训练集和第二影像尺寸训练集；对验证集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸验证集和第二影像尺寸验证集；对训练集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量。
在具体实施中，标签样本集划分为训练集和验证集之外，还包括另一种实施例，是将标签样本集划分为训练集、验证集和测试集。在标签样本集划分为训练集和验证集的情况下，划分比例可以为，训练集的比例为70%，验证集的比例为30%；在标签样本集划分为训练集、验证集和测试集的情况下，划分比例可以为，训练集的比例为70%，验证集和测试集的比例各为15%。
在具体实施中，对训练集按照第一影像尺寸和第二影像尺寸分别进行切割，指例如对于训练集卫星遥感影像中的同一张影像而言，按照第一影像尺寸切割得到4×4个像元（影像块），按照第二影像尺寸切割得到8×8个像元（影像块），其中，4×4个像元（影像块）纳入第一影像尺寸训练集，8×8个像元（影像块）纳入第二影像尺寸训练集，对于训练集卫星遥感影像中的所有影像同理，对于验证集同理。
在具体实施中，第一影像尺寸训练集和第一影像尺寸验证集的影像尺寸相同，例如可以都为每张影像切割得到8×8个像元（影像块），第二影像尺寸训练集和第二影像尺寸验证集同理，需要说明的是，第一影像尺寸和第二影像尺寸在尺寸上不相同，否则不存在比对的必要。
在具体实施中，由于部分特征在实际应用的场景中较少出现，或对于模型分类识别训练的帮助较小，例如陆地部分，以及不属于海草、海水、云和砂质底质的部分，甚至可能成为干扰，可以予以剔除。在大部分卫星遥感影像的场景中，主要是在海草、海水和砂质底质中进行海草床识别。
在具体实施中，由于样本中的特征类别在数量上存在明显不平衡，为了克服这种不平衡对模型识别造成的消极影响，可以对训练集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量。特征加权是根据输入影像中不同特征类别的数量进行的，不切割直接加权产生的效果不理想，无法较大程度减轻特征类别不平衡的问题，一般加权的特征类别限于进行了特征标注的特征类别，例如海草、海水、云和砂质底质。
本发明实施例中，计算训练集中每个特征类别的像元数量，按照每个特征类别的像元数量之间比例的反比，对每个特征类别进行加权。
在具体实施中，按照反比进行加权之后，可以使得每个特征类别的像元数量平衡。例如，海草、海水、云和砂质底质的像元数量比例为2:3:1:4，那么按照其反比即为按照海草、海水、云和砂质底质6:4:12:3的比例进行加权，最终得到的海草、海水、云和砂质底质的比例为12:12:12:12，也即1:1:1:1。由此克服样本中的特征类别在数量上存在明显不平衡，使得数量少的特征类别具有更高的权重，提升模型的识别准确度。
在具体实施中，一般按照反比进行加权的操作，是在去除阈值经过海草床识别性能的反馈调整后进行，经过反比进行加权的操作后，将训练集用于模型的训练。
在具体实施中，还可以对训练集进行特征增强，通过在训练期间随机转换训练集的样本来提高模型的训练准确性，包括沿X轴和Y轴方向上的翻转和平移，防止训练过拟合。
参阅图2，其为本发明提供的SegNet深度学习模型的示意图。
步骤3，使用第一影像尺寸训练集训练第一SegNet深度学习模型，使用第二影像尺寸训练集训练第二SegNet深度学习模型。
步骤4，使用第一影像尺寸验证集输入第一SegNet深度学习模型，使用第二影像尺寸验证集输入第二SegNet深度学习模型，获得相应的识别结果，根据识别效果，确定第一SegNet深度学习模型和第二SegNet深度学习模型中的最优识别模型。
在具体实施中，识别结果准确度更高或者识别效果更好的模型，表明该模型对应的影像尺寸更加适合于目标区域中目标水域的海草识别，是最优影像尺寸，可以将该模型作为最优识别模型，通过对目标区域的卫星遥感影像进行该模型对应的影像尺寸切割，进行特征类别的加权之后，可以获得更好的识别效果。
本发明实施例中，对于第一影像尺寸训练集和第二影像尺寸训练集，在两个集合中（第一影像尺寸训练集和第二影像尺寸训练集）分别进行如下的冗余去除步骤：将占比最高的特征类别作为冗余类别，卫星遥感影像切割后得到的影像块中，保留不包括冗余类别的影像块，对于集合中包括冗余类别的影像块，计算冗余类别在影像块中的占比，将占比高于去除阈值的影像块去除；去除阈值与影像块所在集合相对应。
在具体实施中，将占比最高的特征类别作为冗余类别，一般是指数量占比最高，例如在第一影像尺寸训练集中的海草、海水、云、砂质底质和陆地中，海草出现100次，海水出现150次，云出现20次，砂质底质出现80次，陆地出现500次，则确定陆地为冗余类别。出现次数可以依据特征在影像中的像元数量计算，例如存在2个独立的海草像元，则海草出现了2次；出现次数也可以依据面积计算，例如每1平方公里为按照出现1次计算，那么一张完整的卫星遥感影像或者切割后的影像块中存在10平方公里的海水和10平方公里的砂质底质，则出现了10次海水和10次砂质底质。
在具体实施中，通过去除阈值的设定，将存在冗余的特征类别的部分予以去除，使得训练集中的多个特征类别之间保持一定的平衡，避免某种特征类别的数量过多，可以克服样本不平衡所产生的问题。
在具体实施中，第一影像尺寸训练集和第二影像尺寸训练集由于影像尺寸之间存在区别，因此相应的去除阈值也可以不相同。
本发明实施例中，获取实际卫星遥感影像，分别按照第一SegNet深度学习模型和第二SegNet深度学习模型对应的影像尺寸进行分割后，输入相应的模型，分别将识别结果和实际结果进行比对，分别评估第一SegNet深度学习模型和第二SegNet深度学习模型的海草床识别性能。
本发明实施例中，分别计算第一SegNet深度学习模型和第二SegNet深度学习模型的总体精度、精确度和F1分数，加权（总体精度、精确度和F1分数的权重可以根据用户需求相应的预设）求和评估海草床识别性能；所述总体精度OA的计算公式如下：
OA=（TP＋TN）/（TP＋TN+FP+FN），
其中，TP表示实际类别为海草且被模型识别为海草的像元个数，FN表示实际类别为海草且被模型识别为非海草的像元个数，TN表示实际类别为非海草且被模型识别为非海草的像元个数，FP表示实际类别为非海草且被模型识别为海草的像元个数；
所述精确度P的计算公式如下：
P=TP/（TP＋FP）；
所述F1分数的计算公式如下：
F1Score=2TP/（2TP＋FP+FN）。
本发明实施例中，不断调整第一影像尺寸训练集的去除阈值和第二影像尺寸训练集的去除阈值，直到第一SegNet深度学习模型的海草床识别性能不能再提高，以及第二SegNet深度学习模型的海草床识别性能不能再提高，确定对应的去除阈值。
在具体实施中，通过第一SegNet深度学习模型和第二SegNet深度学习模型的海草床识别性能的反馈，不断对于去除阈值进行调整，保证去除阈值的合理性，有效保证了样本特征之间的平衡，使得第一SegNet深度学习模型和第二SegNet深度学习模型分别能够达到最高的海草床识别性能。
本发明实施例中，按照预设权重对模型训练时间和识别结果准确度进行加权求和，根据求和结果的最大值，确定对应的模型作为最优识别模型。
在具体实施中，模型的识别效果可以进一步确定为模型训练时间、验证集精度和验证集损失。其中，验证集损失和验证集精度（识别结果准确度）是模型训练过程中监测模型的拟合状况（在未训练数据上的泛化能力）的常用参数，本发明中验证集损失可以使用交叉熵函数（Cross-Entropy）衡量模型的输出与验证集真实标签之间的差异，较低的损失代表模型能够更好适应验证数据；模型训练时间是指，使用第一（第二）影像尺寸训练集对第一（第二）SegNet深度学习模型进行训练所需的时间。
在具体实施中，预设权重可以对模型训练时间和识别结果准确度，进行重要程度的分配，综合确定识别效果最好的模型，预设权重可以根据实际需要进行相应的设定。
本发明实施例中，在训练完成并选择了最优识别模型后，使用最优识别模型，用于识别目标区域的实际卫星遥感影像中的海草床区域；实际卫星遥感影像经过最优影像尺寸切割，最优影像尺寸与最优识别模型训练时用于切割的影像尺寸对应。
在具体实施中，例如最优识别模型为第一SegNet深度学习模型，对应的第一影像尺寸可以作为最优影像尺寸，则可以按照第一影像尺寸对目标区域的实际卫星遥感影像进行切割，之后输入第一SegNet深度学习模型，获得识别结果。
在具体实施中，最优识别模型的海草床识别结果和实际结果的比对如表1所示。
表1：
| 日期 | 2017年9月16日 | 2018年8月2日 |
| 实际海草床面积 (ha) | 231.7 | 199.1 |
| 模型监测的海草床面积 (ha) | 213.0 | 208.5 |
| 精确度(%) | 95.6 | 88.3 |
| F1Score | 0.93 | 0.84 |
| 整体精度 (%) | 97.7 | 95.9 |
本发明还提供一种基于SegNet深度学习模型的海草床遥感识别装置，包括：影像获取单元、尺寸切割和平衡单元、训练单元、筛选单元和应用单元，其中：所述影像获取单元，用于获取目标区域的卫星遥感影像，对卫星遥感影像进行特征标注，形成标签样本集；所述尺寸切割和平衡单元，用于将标签样本集划分为训练集和验证集，对训练集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸训练集和第二影像尺寸训练集；对验证集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸验证集和第二影像尺寸验证集；对训练集和验证集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量；所述训练单元，用于分别使用第一影像尺寸训练集和第二影像尺寸训练集，用于训练第一SegNet深度学习模型和第二SegNet深度学习模型；所述筛选单元，用于分别使用第一影像尺寸验证集和第二影像尺寸验证集，用于输入第一SegNet深度学习模型和第二SegNet深度学习模型，并获得相应的识别结果，根据识别结果准确度，确定第一SegNet深度学习模型和第二SegNet深度学习模型中的最优识别模型；所述应用单元，用于使用最优识别模型，用于识别目标区域的实际卫星遥感影像中的海草床区域。
本发明实施例中，本发明提供的基于SegNet深度学习模型的海草床遥感识别装置，其中的影像获取单元、尺寸切割和平衡单元、训练单元、筛选单元和应用单元，如上单元配置的功能或执行的步骤/方法，参照本发明提供的基于SegNet深度学习模型的海草床遥感识别方法中对应的内容。
Claims (6)
1.一种基于SegNet深度学习模型的海草床遥感识别方法，其特征在于，包括：
获取目标区域的卫星遥感影像，对卫星遥感影像中的像元进行特征标注，形成标签样本集；
将标签样本集划分为训练集和验证集，对训练集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸训练集和第二影像尺寸训练集；对验证集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸验证集和第二影像尺寸验证集；对训练集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量；对于第一影像尺寸训练集和第二影像尺寸训练集，在两个集合中分别进行如下的冗余去除步骤：将占比最高的特征类别作为冗余类别，卫星遥感影像切割后得到的影像块中，保留不包括冗余类别的影像块，对于集合中包括冗余类别的影像块，计算冗余类别在影像块中的占比，将占比高于去除阈值的影像块去除；去除阈值与影像块所在集合相对应；不断调整第一影像尺寸训练集的去除阈值和第二影像尺寸训练集的去除阈值，直到第一SegNet深度学习模型的海草床识别性能不能再提高，以及第二SegNet深度学习模型的海草床识别性能不能再提高，确定对应的去除阈值；
使用第一影像尺寸训练集训练第一SegNet深度学习模型，使用第二影像尺寸训练集训练第二SegNet深度学习模型；获取实际卫星遥感影像，分别按照第一SegNet深度学习模型和第二SegNet深度学习模型对应的影像尺寸进行切割后，输入相应的模型，分别将识别结果和实际结果进行比对，分别评估第一SegNet深度学习模型和第二SegNet深度学习模型的海草床识别性能；分别计算第一SegNet深度学习模型和第二SegNet深度学习模型的总体精度、精确度和F1分数，加权求和评估海草床识别性能；所述总体精度OA的计算公式如下：
OA=（TP＋TN）/（TP＋TN+FP+FN），
其中，TP表示实际类别为海草且被模型识别为海草的像元个数，FN表示实际类别为海草且被模型识别为非海草的像元个数，TN表示实际类别为非海草且被模型识别为非海草的像元个数，FP表示实际类别为非海草且被模型识别为海草的像元个数；
所述精确度P的计算公式如下：
P=TP/（TP＋FP）；
所述F1分数的计算公式如下：
F1Score=2TP/（2TP＋FP+FN）；使用第一影像尺寸验证集输入第一SegNet深度学习模型，使用第二影像尺寸验证集输入第二SegNet深度学习模型，获得相应的识别结果，根据识别效果，确定第一SegNet深度学习模型和第二SegNet深度学习模型中的最优识别模型；
使用最优识别模型，用于识别目标区域的实际卫星遥感影像中的海草床区域；实际卫星遥感影像经过最优影像尺寸切割，最优影像尺寸与最优识别模型训练时用于切割的影像尺寸对应。
2.根据权利要求1所述的基于SegNet深度学习模型的海草床遥感识别方法，其特征在于，在所述获取目标区域的卫星遥感影像，之后包括：
在目标区域的卫星遥感影像中，确定海草、海水、云和砂质底质像元的光谱曲线，确定能够反映海草与海水、云和砂质底质光谱差异的波段为特征波段，使用特征波段对卫星遥感影像进行特征波段合成。
3.根据权利要求1所述的基于SegNet深度学习模型的海草床遥感识别方法，其特征在于，所述对卫星遥感影像进行特征标注，包括：
对卫星遥感影像中每张影像的像元，进行海草、海水、云和砂质底质的类别标注。
4.根据权利要求1所述的基于SegNet深度学习模型的海草床遥感识别方法，其特征在于，所述对训练集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量，包括：
计算训练集中每个特征类别的像元数量，按照每个特征类别的像元数量之间比例的反比，对每个特征类别进行加权。
5.根据权利要求1所述的基于SegNet深度学习模型的海草床遥感识别方法，其特征在于，所述根据识别效果，确定第一SegNet深度学习模型和第二SegNet深度学习模型中的最优识别模型，包括：
按照预设权重对模型训练时间和识别结果准确度进行加权求和，根据求和结果的最大值，确定对应的模型作为最优识别模型。
6.一种基于SegNet深度学习模型的海草床遥感识别装置，其特征在于，包括：影像获取单元、尺寸切割和平衡单元、训练单元、筛选单元和应用单元，其中：
所述影像获取单元，用于获取目标区域的卫星遥感影像，对卫星遥感影像进行特征标注，形成标签样本集；
所述尺寸切割和平衡单元，用于将标签样本集划分为训练集和验证集，对训练集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸训练集和第二影像尺寸训练集；对验证集按照第一影像尺寸和第二影像尺寸分别进行切割，得到第一影像尺寸验证集和第二影像尺寸验证集；对训练集和验证集中各个特征类别的像元进行加权，平衡每个特征类别的像元数量；对于第一影像尺寸训练集和第二影像尺寸训练集，在两个集合中分别进行如下的冗余去除步骤：将占比最高的特征类别作为冗余类别，卫星遥感影像切割后得到的影像块中，保留不包括冗余类别的影像块，对于集合中包括冗余类别的影像块，计算冗余类别在影像块中的占比，将占比高于去除阈值的影像块去除；去除阈值与影像块所在集合相对应；不断调整第一影像尺寸训练集的去除阈值和第二影像尺寸训练集的去除阈值，直到第一SegNet深度学习模型的海草床识别性能不能再提高，以及第二SegNet深度学习模型的海草床识别性能不能再提高，确定对应的去除阈值；
所述训练单元，用于分别使用第一影像尺寸训练集和第二影像尺寸训练集，用于训练第一SegNet深度学习模型和第二SegNet深度学习模型；获取实际卫星遥感影像，分别按照第一SegNet深度学习模型和第二SegNet深度学习模型对应的影像尺寸进行切割后，输入相应的模型，分别将识别结果和实际结果进行比对，分别评估第一SegNet深度学习模型和第二SegNet深度学习模型的海草床识别性能；分别计算第一SegNet深度学习模型和第二SegNet深度学习模型的总体精度、精确度和F1分数，加权求和评估海草床识别性能；所述总体精度OA的计算公式如下：
OA=（TP＋TN）/（TP＋TN+FP+FN），
其中，TP表示实际类别为海草且被模型识别为海草的像元个数，FN表示实际类别为海草且被模型识别为非海草的像元个数，TN表示实际类别为非海草且被模型识别为非海草的像元个数，FP表示实际类别为非海草且被模型识别为海草的像元个数；
所述精确度P的计算公式如下：
P=TP/（TP＋FP）；
所述F1分数的计算公式如下：
F1Score=2TP/（2TP＋FP+FN）；
所述筛选单元，用于分别使用第一影像尺寸验证集和第二影像尺寸验证集，用于输入第一SegNet深度学习模型和第二SegNet深度学习模型，并获得相应的识别结果，根据识别结果准确度，确定第一SegNet深度学习模型和第二SegNet深度学习模型中的最优识别模型；
所述应用单元，用于使用最优识别模型，用于识别目标区域的实际卫星遥感影像中的海草床区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410091088.6A CN117649607B (zh) | 2024-01-23 | 2024-01-23 | 基于SegNet深度学习模型的海草床遥感识别方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410091088.6A CN117649607B (zh) | 2024-01-23 | 2024-01-23 | 基于SegNet深度学习模型的海草床遥感识别方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649607A CN117649607A (zh) | 2024-03-05 |
| CN117649607B true CN117649607B (zh) | 2024-04-19 |
Family
ID=90049752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410091088.6A Active CN117649607B (zh) | 2024-01-23 | 2024-01-23 | 基于SegNet深度学习模型的海草床遥感识别方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649607B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975255B (zh) * | 2024-04-02 | 2024-06-21 | 国家海洋信息中心 | 一种多光谱遥感影像浅海底质类型识别方法 |
| CN118552871A (zh) * | 2024-07-30 | 2024-08-27 | 广东海洋大学 | 一种基于无人机图像的海草床分布提取方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766155A (zh) * | 2021-01-19 | 2021-05-07 | 山东华宇航天空间技术有限公司 | 一种基于深度学习的海水养殖区提取方法 |
| CN113673586A (zh) * | 2021-08-10 | 2021-11-19 | 北京航天创智科技有限公司 | 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 |
| CN117115685A (zh) * | 2023-07-24 | 2023-11-24 | 中国农业大学 | 一种基于深度学习的经济作物信息识别方法及系统 |
-
2024
- 2024-01-23 CN CN202410091088.6A patent/CN117649607B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766155A (zh) * | 2021-01-19 | 2021-05-07 | 山东华宇航天空间技术有限公司 | 一种基于深度学习的海水养殖区提取方法 |
| CN113673586A (zh) * | 2021-08-10 | 2021-11-19 | 北京航天创智科技有限公司 | 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 |
| CN117115685A (zh) * | 2023-07-24 | 2023-11-24 | 中国农业大学 | 一种基于深度学习的经济作物信息识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649607A (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117649607B (zh) | 基于SegNet深度学习模型的海草床遥感识别方法、装置 | |
| CN111797779A (zh) | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 | |
| CN103034858B (zh) | 一种卫星云图的二次聚类分割方法 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN102855494B (zh) | 一种卫星遥感影像的水体提取方法及装置 | |
| CN111160311A (zh) | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 | |
| CN105787501A (zh) | 输电线路走廊区域自动选择特征的植被分类方法 | |
| CN113627472A (zh) | 基于分层深度学习模型的智慧园林食叶害虫识别方法 | |
| CN111666903A (zh) | 一种卫星云图中雷暴云团的识别方法 | |
| CN114724019A (zh) | 一种基于小波变换和可分离卷积语义分割的遥感图像海冰智能监测方法 | |
| CN111815526B (zh) | 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统 | |
| CN114463643A (zh) | 多模型决策级融合的滑坡识别方法及装置 | |
| CN114612787B (zh) | 一种尺度变化策略支持的城市绿地深度学习提取方法 | |
| CN118366052A (zh) | 多物理可解释深度学习的sar溢油目标识别方法 | |
| Yuan et al. | Capturing small objects and edges information for cross-sensor and cross-region land cover semantic segmentation in arid areas | |
| Liu et al. | A Deep Learning Method for Offshore Raft Aquaculture Extraction Based on Medium Resolution Remote Sensing Images | |
| CN113780117A (zh) | 一种快速识别并提取河口羽状流轮廓相关参数的方法 | |
| CN117727010A (zh) | 目标检测方法、图像脱敏方法、设备、介质及车辆 | |
| Chamberlain et al. | ImageCLEFcoral task: coral reef image annotation and localisation | |
| CN117690017A (zh) | 一种顾及物候时序特征的单、双季水稻提取方法 | |
| CN117036957A (zh) | 一种基于Wave-Net的SAR遥感影像海洋筏式养殖区提取方法 | |
| CN118097445A (zh) | 一种基于开源卫星地图和深度学习的城市建筑屋面光伏应用潜力评估方法 | |
| CN116977204A (zh) | 一种基于选择性信息融合生成对抗网络的遥感图像去云方法 | |
| CN111783656A (zh) | 一种基于统计特性预分割的自适应红外小目标检测方法 | |
| CN116883832A (zh) | 一种地表水边界精细化提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |