CN116310187B - 一种小尺度短周期的滩涂精细建模方法 - Google Patents

一种小尺度短周期的滩涂精细建模方法 Download PDF

Info

Publication number
CN116310187B
CN116310187B CN202310553768.0A CN202310553768A CN116310187B CN 116310187 B CN116310187 B CN 116310187B CN 202310553768 A CN202310553768 A CN 202310553768A CN 116310187 B CN116310187 B CN 116310187B
Authority
CN
China
Prior art keywords
data
fusion
dem
fusion segmentation
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310553768.0A
Other languages
English (en)
Other versions
CN116310187A (zh
Inventor
彭建怡
陈刚
孙启良
李显巨
欧阳桂崇
陈继发
李宏杰
彭禹杰
齐济
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202310553768.0A priority Critical patent/CN116310187B/zh
Publication of CN116310187A publication Critical patent/CN116310187A/zh
Application granted granted Critical
Publication of CN116310187B publication Critical patent/CN116310187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种小尺度短周期的滩涂精细建模方法，涉及图像处理技术领域，包括：对第一多源训练数据集中的每组第一训练数据，采用多种第一融合分割算法进行融合分割，得到各第一融合分割算法对应的融合分割结果，将所得的融合分割结果融合，得到最终分割结果，基于最终分割结果与对应的标签数据计算损失函数，反向训练各第一融合分割算法的参数；基于训练好的所有第一融合分割算法的输出对DEM基础模型进行插值细化，得到精细DEM模型；基于第二多源训练数据集对第二融合分割算法进行训练，基于训练好的第二融合分割算法的输出对精细DEM模型进行插值细化，得到周期性DEM模型。本发明可生成带地质特征和时间特征及与时间强相关的DEM模型。

Description

一种小尺度短周期的滩涂精细建模方法
技术领域
本发明涉及基于机器学习的图像处理技术领域，具体而言，涉及一种小尺度短周期的滩涂精细建模方法。
背景技术
滩涂包括海岸带、河滩、湖摊等水边临近陆地和浅水域，是特定空间陆域和海域的集合体，也是人类向水域生产发展的必经之地。数字高程模型(Digital Elevation Model，简称DEM)是用有序数值阵列形式表示地面高程的实体地面模型，其可用于地图制作、坡度分析、等高线提取、地理信息空间分析等，滩涂DEM数据能够在滩涂立体监测和开发建设发挥重要作用。
现有的滩涂DEM模型仅能提供等高线、坡度、坡向等地理信息，信息类型单一且周期较长，无法满足养殖、渔业等行业的信息需求。
发明内容
本发明解决的问题是如何丰富滩涂DEM模型的信息内容。
为解决上述问题，本发明提供一种小尺度短周期的滩涂精细建模方法，包括：
获取第一多源训练数据集，其中，第一多源训练数据集包括多组带标签数据的第一训练数据，每组第一训练数据包括同一任务区域的DEM基础网格数据、遥感影像数据和激光点云数据；
对于第一多源训练数据集中的每组第一训练数据进行如下处理：采用多种第一融合分割算法进行融合分割，得到各第一融合分割算法对应的融合分割结果，将各第一融合分割算法对应的融合分割结果融合，得到最终分割结果，基于最终分割结果与对应的标签数据计算损失函数，反向训练各第一融合分割算法的参数；
获得训练好的各第一融合分割算法，基于训练好的所有第一融合分割算法的输出对DEM基础模型进行插值细化，得到精细DEM模型；
获取第二多源训练数据集，其中，第二多源训练数据集包括多组第二训练数据，每组第二训练数据包括同一任务区域的精细DEM网格数据和周期性滩涂数据，精细DEM网格数据基于精细DEM模型生成；
基于第二多源训练数据集对第二融合分割算法进行训练，得到训练好的第二融合分割算法；
基于训练好的第二融合分割算法的输出对精细DEM模型进行插值细化，得到周期性DEM模型。
可选地，所述采用多种第一融合分割算法进行融合分割，得到各第一融合分割算法对应的融合分割结果包括：
基于所述第一训练数据中的所述DEM基础网格数据生成初始掩膜图像，将所述初始掩膜图像划分为多个掩膜子块；
采用DeepLab-v3+算法基于所述初始掩膜图像和所述第一训练数据，识别出所述初始掩膜图像的核心区域和边界区域，采用DCT-MASK算法对所述边界区域的掩膜子块进行DCT向量压缩，生成多维DCT向量，将所述多维DCT向量进行逆离散余弦变换，生成所述边界区域的细化掩膜子块，将所述边界区域的细化掩膜子块与所述核心区域的掩膜子块合并，获得精细化的第一掩膜图像；
采用DeepLab-v3+算法基于所述第一掩膜图像和所述第一训练数据，识别出所述第一掩膜图像的核心区域和边界区域，采用DCT-MASK算法对所述边界区域的掩膜子块进行DCT向量压缩，生成多维DCT向量，将所述多维DCT向量进行逆离散余弦变换，生成所述边界区域的细化掩膜子块，将所述边界区域的细化掩膜子块与所述核心区域的掩膜子块合并，获得精细化的第二掩膜图像；
根据所述第二掩膜图像生成对应的第一融合分割结果。
可选地，所述采用多种第一融合分割算法进行融合分割，得到各第一融合分割算法对应的融合分割结果包括：
提取第一训练数据包含的DEM基础网格数据、遥感影像数据和激光点云数据的区域特征；
将所有区域特征作为第二模型的输入，得到第二模型输出的第二融合分割结果。
可选地，所述提取第一训练数据包含的DEM基础网格数据、遥感影像数据和激光点云数据的区域特征；将所有区域特征作为第二模型的输入，得到第二模型输出的第二融合分割结果：
采用特征图分解算法提取DEM基础网格数据的区域特征，采用主成分法提取遥感影像数据的区域特征，采用PointNet模型提取激光点云数据的区域特征；
将所得的所有区域特征输入至UNet网络，得到第二融合分割结果。
可选地，所述采用多种第一融合分割算法进行融合分割，得到各第一融合分割算法对应的融合分割结果包括：
将第一训练数据包含的DEM基础网格数据、遥感影像数据和激光点云数据分别输入到对应的语义分割模型，得到对应的分类图像，融合所得的所有分类图像，得到第三融合分割结果。
可选地，所述将第一训练数据包含的DEM基础网格数据、遥感影像数据和激光点云数据分别输入到对应的语义分割模型，得到对应的分类图像，融合所得的所有分类图像，得到第三融合分割结果包括：
将激光点云数据输入PointNet++模型、所述遥感影像数据和所述DEM基础网格数据输入FCN模型，得到对应的分类图像；
将所有分类图像，按像素累加相应的分类分数；
基于累加结果，得到第三融合分割结果。
可选地，所述将各第一融合分割算法对应的融合分割结果融合，得到最终分割结果包括：
将所有融合分割结果按照像素累加相应的分类分数；
对于累加后所得图像中的每个像素，选择分类分数最高的类作为像素的最终分类结果。
可选地，所述获取第一多源训练数据集之前，还包括：
获取目标滩涂区域的三类图像，其中，所述三类图像包括遥感图像、激光点云图像以及基于DEM基础模型数据生成的DEM基础网格图像；
将目标滩涂区域的三类图像进行图像对齐；
采用滑动窗口在对齐后的三类图像的相同位置按照预设步长同步滑动，将滑动窗口每一次滑动所限定的子图像区域从三类图像中切割出来，作为一组第一训练数据。
可选地，所述周期性滩涂数据包括潮汐数据和海平面数据，第二多源训练数据集还包括与各第二训练数据对应的标签数据，基于第二多源训练数据集对第二融合分割算法进行训练，得到训练好的第二融合分割算法包括：
将第二训练数据包含的精细DEM网格数据和周期性滩涂数据作为第二融合分割算法的输入，得到第二融合分割算法的输出；
基于第二融合分割算法的输出与第二训练数据对应的标签数据生成损失函数值，基于损失函数值调节第二融合分割算法的参数，直至损失函数收敛。
可选地，所述第二融合分割算法包括Vision Transformer模型。
与现有技术相比，本发明至少包含如下技术效果：
本发明构建的周期性DEM模型带有地质特征和时间特征，基于所述周期性DEM模型，可获得滩涂区域的坡度、坡向、水域流向、水体浸泡区域和时间等信息，为滑坡、岸线侵蚀等灾害评估、人、车辆等能否通行的通行能力评估以及滩头养殖稳定性等经济效益评估提供数据基础，同时可反映滩涂区域短周期的变化，与时间强相关，能满足养殖、通行、渔业等强时间关联性需求。
附图说明
图1为本发明实施例所述小尺度短周期的滩涂精细建模方法的流程示意图；
图2为本发明实施例所述小尺度短周期的滩涂精细建模方法中第一融合分割算法一示意图；
图3为本发明实施例所述小尺度短周期的滩涂精细建模方法中第一融合分割算法另一示意图；
图4为本发明实施例所述小尺度短周期的滩涂精细建模方法的部分流程框图；
图5为本发明实施例所述小尺度短周期的滩涂精细建模方法的另一部分流程框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的对象进行区分，并非用于限定这些对象的相互依存关系。
参见图1，本发明实施例中，所述小尺度短周期的滩涂精细建模方法包括：
步骤S100，获取第一多源训练数据集，其中，第一多源训练数据集包括多组带标签数据的第一训练数据，每组第一训练数据包括同一任务区域的DEM基础网格数据、遥感影像数据和激光点云数据。
其中，同一任务区域的DEM基础网格数据、遥感影像数据和激光点云数据，指区域对齐后的DEM基础网格数据、遥感影像数据和激光点云数据，对齐方法可采用坐标对齐或标记点对齐。
标签数据用于区分淤泥、沙石、礁石等不同滩涂地质特征。一实施方式中，每组第一训练数据对应一个标签矩阵，该标签矩阵包含相应第一训练数据的每个像素的类别标签，例如，预设淤泥、沙石、礁石三类滩涂地质特征，像素1为淤泥的概率为100%、为沙石的概率为0%、为礁石的概率为0%，......像素300为淤泥的概率为0%、为沙石的概率为0%、为礁石的概率为100%，......像素500为淤泥的概率为0%、为沙石的概率为100%、为礁石的概率为100%。
可选地，步骤S100之前，还包括：第一多源训练数据集的生成步骤，具体包括：
获取目标滩涂区域的三类图像，其中的三类图像包括遥感图像、激光点云图像以及基于DEM基础模型数据生成的DEM基础网格图像；
将目标滩涂区域的三类图像进行图像对齐；
采用滑动窗口在对齐后的三类图像的相同位置按照预设步长同步滑动，将滑动窗口每一次滑动所限定的子图像区域从三类图像中切割出来，作为一组第一训练数据。
其中，获取目标滩涂区域的三类图像，包括获取目标滩涂区域真实图像，还包括基于真实图像扩充而得的图像，具体可通过随机变换剔除真实图像中相似度较高的图像，防止因训练数据相似性太高导致训练出来的模型过拟合，提高模型的泛化能力，同时，通过翻转、旋转、尺度变换、随机抠图、高斯噪声、随机模糊、颜色抖动等随机变换方法以及随机缩放、随机裁剪生成新的图像，以扩充数据集，从而增强网络特征提取能力。
DEM基础模型可采用开源的DEM基础模型，比如开源的5m、12.5m或30m等DEM基础模型，随后从中选择目标滩涂区域，基于目标滩涂区域的DEM基础模型生成原始的DEM基础网格数据，具体地，对于目标滩涂区域，按照三角形网格或正方形网格生成DEM基础网格图像。
将三类图像进行图像对齐，可首先分别在三类图像中提取特征，再将提取的特征进行匹配，随后求解图像之间的对齐矩阵，基于对齐矩阵将三类图像对齐。
通过一个滑动窗口确定三类图像的切割区域，可将三类图像切割成多个大小固定的图像集合，且因为滑动窗口在三类图像的相同位置按照预设步长同步滑动，使得切割出来的同一组第一训练数据完全对齐，对应同一滩涂区域。进一步地，预设步长可以按照需求设置，比如预设步长可设置为一个像素，或者可设置为三个像素、十个像素，其中，当预设步长设置得越小时，切割出的图像越多。
由此得到由大小一致且完全对齐的三类图像组成的第一多源训练数据集，为后续多源数据的融合分割提供数据基础。
步骤S200，对于所述第一多源训练数据集中的每组第一训练数据进行如下处理：采用多种第一融合分割算法进行融合分割，得到各所述第一融合分割算法对应的融合分割结果，将各所述第一融合分割算法对应的融合分割结果融合，得到最终分割结果，基于所述最终分割结果与对应的标签数据计算损失函数，反向训练各所述第一融合分割算法的参数。
每组第一训练数据，均包含同一任务区域的DEM基础网格数据、遥感影像数据和激光点云数据，通过将DEM基础网格数据、遥感影像数据和激光点云数据进行融合分割，可提取丰富的滩涂地质特征，构建高精度的DEM模型。
进一步地，采用多种第一融合分割算法将DEM基础网格数据、遥感影像数据和激光点云数据等多源数据融合，对相应区域进行语义分割，实现滩涂地质特征提取。一实施方式中，采用三种第一融合分割算法对每组第一训练数据中的所有数据进行分割融合，得到三种融合分割结果，将三种融合分割结果融合，得到最终分割结果。
可选地，步骤S200中对于第一多源训练数据集中的每组第一训练数据，将其采用多种第一融合分割算法进行融合分割，得到各第一融合分割算法对应的融合分割结果包括：
步骤S201，基于第一训练数据中的DEM基础网格数据生成初始掩膜图像，将初始掩膜图像划分为多个掩膜子块；具体地，将第一训练数据中的DEM基础网格数据中的高程数据进行归一化处理后，转换为256阶的灰度，生成二维灰度掩膜图，随后将二维灰度掩膜图分解为多个掩膜子块。
步骤S202，采用DeepLab-v3+算法基于初始掩膜图像和第一训练数据，识别出初始掩膜图像的核心区域和边界区域，采用DCT-MASK算法对边界区域的掩膜子块进行DCT向量压缩，生成多维DCT向量，将多维DCT向量进行逆离散余弦变换，生成边界区域的细化掩膜子块，将边界区域的细化掩膜子块与核心区域的掩膜子块合并，获得精细化的第一掩膜图像；
步骤S203，采用DeepLab-v3+算法基于第一掩膜图像和第一训练数据，识别出第一掩膜图像的核心区域和边界区域，采用DCT-MASK算法对边界区域的掩膜子块进行DCT向量压缩，生成多维DCT向量，将多维DCT向量进行逆离散余弦变换，生成边界区域的细化掩膜子块，将边界区域的细化掩膜子块与核心区域的掩膜子块合并，获得精细化的第二掩膜图像；
步骤S204，根据第二掩膜图像生成对应的第一融合分割结果。
其中，可将第一训练数据包含的DEM基础网格数据、遥感影像数据和激光点云数据以及初始掩膜图像/第一掩膜图像作为同一组数据的多个通道输入DeepLab-v3+算法，识别出掩膜图像的核心区域和边界区域，其中，边界区域指掩膜图像中的实例的边缘区域，核心区域指掩膜图像中实例除边缘区域以外的区域。DeepLab-v3+算法采用带空洞卷积的ResNet-101和改进的Xception-71作为编码器，并且使用和UNet相同的解码单元。在编码器和解码器之间，插入ASPP模块来捕获多尺度上下文特征，强化网络的多尺度表达能力。在解码器跨层级特征融合的过程中，DeepLab-v3+在融合前使用11卷积层对浅层特征进行降维以防止高层语义特征被稀释。
DCT-MASK算法是一种利用离散余弦变换(DCT)将高分辨率二进制网格掩模编码成紧凑的向量的算法，能以低复杂度获得高质量的掩码表示，其算法具体内容为现有技术，此处不赘述。
图2示出了基于微变边界的精细实例分割算法Minor changes boundary-DCT（图3中简称为MC-DCT），首先采用DeepLab-v3+算法基于输入的掩膜图像和第一训练数据，识别出掩膜图像的核心区域和边界区域，采用DCT-MASK算法对边界区域的掩膜子块进行DCT向量压缩，生成多维DCT向量，将多维DCT向量进行逆离散余弦变换，生成边界区域的细化掩膜子块，将边界区域的细化掩膜子块与核心区域的掩膜子块合并，获得精细化的掩膜图像。步骤S202和步骤S203分别可参照图2进行理解。
图3给出了采用MC-DCT算法对掩膜图像进行级联精修的示意图，即在对初始掩膜图像采用MC-DCT算法进行一次精修生成精细化的第一掩膜图像后，再将精细化的第一掩膜图像输入到MC-DCT算法中，与第一训练数据结合，供MC-DCT算法对第一掩膜图像进一步精修，生成最终的第一融合分割结果。
通过基于DEM基础网格数据生成掩膜图像，采用基于微变边界的精细实例分割算法根据掩膜图像和第一训练数据包含的三类数据，对掩膜图像进行级联精修后，生成最终的第一融合分割结果，可提高融合分割结果的准确性。
可选地，步骤S200中对于第一多源训练数据集中的每组第一训练数据，将其采用多种第一融合分割算法进行融合分割，得到各第一融合分割算法对应的融合分割结果包括：
分别提取每组第一训练数据包含的DEM基础网格数据、遥感影像数据和激光点云数据的区域特征；
将所有区域特征作为第二模型的输入，得到第二融合分割结果。
其中，采用特征图分解算法提取DEM基础网格数据的区域特征，采用主成分法提取遥感影像数据的区域特征，采用PointNet模型提取激光点云数据的区域特征。
第二模型可为UNet网络模型。UNet网络包含三个部分：编码器、横向跳跃连接和解码器。左半部分的压缩路径称为编码器，对输入图像进行下采样的同时逐层提取语义特征；中间部分为横向跳跃连接，传递浅层特征至解码器实现浅层特征复用；右半部分的扩张路径为解码器，将编码器提取的深层语义特征上采样并映射为最终的分割结果。UNet 在上采样时，自下而上地将相邻层级的浅层特征和深层特征沿通道拼接融合。
可选地，步骤S200中对于第一多源训练数据集中的每组第一训练数据，将其采用多种第一融合分割算法进行融合分割，得到各第一融合分割算法对应的融合分割结果包括：将每组第一训练数据包含的DEM基础网格数据、遥感影像数据和激光点云数据分别输入到对应的语义分割模型，得到对应的分类图像，将所有分类图像，按像素累加相应的分类分数，基于累加结果，得到第三融合分割结果。
其中，将激光点云数据输入PointNet++模型进行语义分割、遥感影像数据和DEM基础网格数据分别输入各自对应的FCN模型进行语义分割，得到对应的分类图像，其中，每个分类图像为像素级分类图像，包含每个像素归属各类别的概率，比如，共A、B、C三类，像素1属于该三类的概率为A：0.6，B，0.2，C ，0.2。
在得到所有分类图像后，将所有分类图像对应的像素进行分类分数累加，比如，共有A、B、C三类，现有三个分类图像，其某一对应像素分类分别为N1、N2、N3，其中，N1：A：0.6，B，0.2，C ，0.2；N2：A：0.7，B，0.2，C：0.1；N3：A：0.5，B，0.3，C： 0.2，最终求和得到：A：1.8，B0.7，C：0.5。
第三融合分割结果即为所有像素累加求和结果。
通过将每组第一训练数据所包含的三类数据分别输入对应的语义分割模型，可将其输入到相适应的模型中，充分提取单类图像的图像特征进行语义分割后，再融合所得的分割结果，实现不同尺度特征的提取。
可选地，将各第一融合分割算法对应的融合分割结果融合，得到最终分割结果包括：将所有融合分割结果按照像素累加相应的分类分数；对于累加后所得图像中的每个像素，选择分类分数最高的类作为像素的最终分类结果。
其中，所有融合分割结果均包括像素级别的分类分数，比如，共A、B、C三类，像素1属于该三类的概率为A：0.6，B，0.2，C ，0.2。
将所有融合分割结果按照像素累加相应的分类分数，具体可参照上文示例中N1、N2、N3对应类别分数累加求和得到：A：1.8，B 0.7，C：0.5，从中选出分类分数最高的类A作为当前像素的最终分类结果。
每组第一训练数据均对应一个标签数据，在得到最终分割结果，基于最终分割结果与对应的标签数据计算损失函数，反向训练各第一融合分割算法的参数，基于第一多源训练数据集中的第一训练数据对各第一融合分割算法进行训练，直至损失函数收敛。
步骤S300，获得训练好的各第一融合分割算法，基于训练好的所有第一融合分割算法的输出对DEM基础模型进行插值细化，得到精细DEM模型。
参见图4，在获得训练好的各第一融合分割算法后，输入任务区域的DEM基础网格数据、遥感影像数据和激光点云数据，得到带基岩、砂质、淤泥质等地质特征的网格数据，将其对DEM基础模型进行插值细化，从而得到网格更小、带沙、淤泥、岩石等地质特征的精细DEM模型。
步骤S400，获取第二多源训练数据集，其中，第二多源训练数据集包括多组第二训练数据，每组第二训练数据包括同一任务区域的精细DEM网格数据和周期性滩涂数据，精细DEM网格数据基于精细DEM模型生成。
其中，精细DEM网格数据基于步骤S300获得的精细DEM模型生成，具体可选择任务区域，按照三角形网格或正方形网格生成不同区域标记的图像。
周期性滩涂数据包括带时间特征的潮汐数据和海平面数据。
步骤S500，基于第二多源训练数据集对第二融合分割算法进行训练，得到训练好的第二融合分割算法。
可选地，周期性滩涂数据包括潮汐数据和海平面数据，基于第二多源训练数据集对第二融合分割算法进行训练，得到训练好的第二融合分割算法包括：
将精细DEM网格数据和周期性滩涂数据作为第二融合分割算法的输入，得到第二融合分割算法的输出；
基于第二融合分割算法的输出与第二训练数据对应的标签数据生成损失函数值，基于损失函数值调节第二融合分割算法的参数，直至损失函数收敛。其中，第二多源训练数据集还包括与各所述第二训练数据对应的标签数据。
第二融合分割算法包括Vision Transformer模型。
基于精细DEM网格数据和周期性滩涂数据构建序列数据，输入VisionTransformer模型，其中，对于精细DEM网格数据，一实施方式中，首先基于精细DEM网格数据生成精细DEM网格图像，将其裁剪成多个图像小块，将多个图像小块形成序列数据，另一实施方式中，首先基于精细DEM网格数据生成精细DEM网格图像，将其裁剪成预设大小的图像块后复制成多个图像，形成序列数据。随后，将基于精细DEM网格数据构建的序列数据与周期性滩涂数据构成的序列数据从不同通道输入Vision Transformer模型。
步骤S600，基于训练好的第二融合分割算法的输出对精细DEM模型进行插值细化，得到周期性DEM模型。
参见图5，将带地质特征的精细DEM模型、带时间特征的潮汐数据和海平面数据等周期性滩涂数据采用Vision Transformer网络模型进行分割融合，得到周期性的网格数据，将其插值反馈给精细DEM模型，得到周期性的DEM模型。
本发明构建的周期性DEM模型带有地质特征和时间特征，基于本发明实施例构建的周期性DEM模型，可获得滩涂区域的坡度、坡向、水域流向、水体浸泡区域和时间等信息，为滑坡、岸线侵蚀等灾害评估、人、车辆等能否通行的通行能力评估以及滩头养殖稳定性等经济效益评估提供数据基础，同时可反映滩涂区域短周期的变化，与时间强相关，能满足养殖、通行、渔业等强时间关联性需求。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种小尺度短周期的滩涂精细建模方法，其特征在于，包括：
获取第一多源训练数据集，其中，所述第一多源训练数据集包括多组带标签数据的第一训练数据，每组第一训练数据包括同一任务区域的DEM基础网格数据、遥感影像数据和激光点云数据；
对于所述第一多源训练数据集中的每组第一训练数据进行如下处理：采用多种第一融合分割算法进行融合分割，得到各所述第一融合分割算法对应的融合分割结果，将各所述第一融合分割算法对应的融合分割结果融合，得到最终分割结果，基于所述最终分割结果与对应的标签数据计算损失函数，反向训练各所述第一融合分割算法的参数；
获得训练好的各所述第一融合分割算法，基于训练好的所有所述第一融合分割算法的输出对DEM基础模型进行插值细化，得到精细DEM模型；
获取第二多源训练数据集，其中，所述第二多源训练数据集包括多组第二训练数据，每组第二训练数据包括同一任务区域的精细DEM网格数据和周期性滩涂数据，所述精细DEM网格数据基于所述精细DEM模型生成；
基于所述第二多源训练数据集对第二融合分割算法进行训练，得到训练好的第二融合分割算法；
基于所述训练好的第二融合分割算法的输出对所述精细DEM模型进行插值细化，得到周期性DEM模型。
2.如权利要求1所述的小尺度短周期的滩涂精细建模方法，其特征在于，所述采用多种第一融合分割算法进行融合分割，得到各所述第一融合分割算法对应的融合分割结果包括：
基于所述第一训练数据中的所述DEM基础网格数据生成初始掩膜图像，将所述初始掩膜图像划分为多个掩膜子块；
采用DeepLab-v3+算法基于所述初始掩膜图像和所述第一训练数据，识别出所述初始掩膜图像的核心区域和边界区域，采用DCT-MASK算法对所述边界区域的掩膜子块进行DCT向量压缩，生成多维DCT向量，将所述多维DCT向量进行逆离散余弦变换，生成所述边界区域的细化掩膜子块，将所述边界区域的细化掩膜子块与所述核心区域的掩膜子块合并，获得精细化的第一掩膜图像；
采用DeepLab-v3+算法基于所述第一掩膜图像和所述第一训练数据，识别出所述第一掩膜图像的核心区域和边界区域，采用DCT-MASK算法对所述边界区域的掩膜子块进行DCT向量压缩，生成多维DCT向量，将所述多维DCT向量进行逆离散余弦变换，生成所述边界区域的细化掩膜子块，将所述边界区域的细化掩膜子块与所述核心区域的掩膜子块合并，获得精细化的第二掩膜图像；
根据所述第二掩膜图像生成对应的第一融合分割结果。
3.如权利要求1所述的小尺度短周期的滩涂精细建模方法，其特征在于，所述采用多种第一融合分割算法进行融合分割，得到各所述第一融合分割算法对应的融合分割结果包括：
提取所述第一训练数据包含的所述DEM基础网格数据、所述遥感影像数据和所述激光点云数据的区域特征；
将所有所述区域特征作为第二模型的输入，得到所述第二模型输出的第二融合分割结果。
4.如权利要求3所述的小尺度短周期的滩涂精细建模方法，其特征在于，所述第二模型为UNet网络；所述提取所述第一训练数据包含的所述DEM基础网格数据、所述遥感影像数据和所述激光点云数据的区域特征；将所有所述区域特征作为第二模型的输入，得到所述第二模型输出的第二融合分割结果包括：
采用特征图分解算法提取所述DEM基础网格数据的区域特征，采用主成分法提取所述遥感影像数据的区域特征，采用PointNet模型提取所述激光点云数据的区域特征；
将所得的所有区域特征输入至所述UNet网络，得到第二融合分割结果。
5.如权利要求1所述的小尺度短周期的滩涂精细建模方法，其特征在于，所述采用多种第一融合分割算法进行融合分割，得到各所述第一融合分割算法对应的融合分割结果包括：
将所述第一训练数据包含的所述DEM基础网格数据、所述遥感影像数据和所述激光点云数据分别输入到对应的语义分割模型，得到对应的分类图像，融合所得的所有分类图像，得到第三融合分割结果。
6.如权利要求5所述的小尺度短周期的滩涂精细建模方法，其特征在于，所述将所述第一训练数据包含的所述DEM基础网格数据、所述遥感影像数据和所述激光点云数据分别输入到对应的语义分割模型，得到对应的分类图像，融合所得的所有分类图像，得到第三融合分割结果包括：
将所述激光点云数据输入PointNet++模型、所述遥感影像数据和所述DEM基础网格数据输入FCN模型，得到对应的分类图像；
将所有所述分类图像，按像素累加相应的分类分数；
基于累加结果，得到第三融合分割结果。
7.如权利要求1所述的小尺度短周期的滩涂精细建模方法，其特征在于，所述将各所述第一融合分割算法对应的融合分割结果融合，得到最终分割结果包括：
将所有所述融合分割结果按照像素累加相应的分类分数；
对于累加后所得图像中的每个像素，选择分类分数最高的类作为所述像素的最终分类结果。
8.如权利要求1-7任一项所述的小尺度短周期的滩涂精细建模方法，其特征在于，所述获取第一多源训练数据集之前，还包括：
获取目标滩涂区域的三类图像，其中，所述三类图像包括遥感图像、激光点云图像以及基于DEM基础模型数据生成的DEM基础网格图像；
将所述目标滩涂区域的三类图像进行图像对齐；
采用滑动窗口在对齐后的所述三类图像的相同位置按照预设步长同步滑动，将所述滑动窗口每一次滑动所限定的子图像区域从所述三类图像中切割出来，作为一组第一训练数据。
9.如权利要求1所述的小尺度短周期的滩涂精细建模方法，其特征在于，所述周期性滩涂数据包括潮汐数据和海平面数据，所述第二多源训练数据集还包括与各所述第二训练数据对应的标签数据，所述基于所述第二多源训练数据集对第二融合分割算法进行训练，得到训练好的第二融合分割算法包括：
将所述第二训练数据包含的所述精细DEM网格数据和所述周期性滩涂数据作为所述第二融合分割算法的输入，得到所述第二融合分割算法的输出；
基于所述第二融合分割算法的输出与所述第二训练数据对应的标签数据生成损失函数值，基于所述损失函数值调节所述第二融合分割算法的参数，直至损失函数收敛。
10.如权利要求9所述的小尺度短周期的滩涂精细建模方法，其特征在于，所述第二融合分割算法包括Vision Transformer模型。
CN202310553768.0A 2023-05-17 2023-05-17 一种小尺度短周期的滩涂精细建模方法 Active CN116310187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310553768.0A CN116310187B (zh) 2023-05-17 2023-05-17 一种小尺度短周期的滩涂精细建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310553768.0A CN116310187B (zh) 2023-05-17 2023-05-17 一种小尺度短周期的滩涂精细建模方法

Publications (2)

Publication Number Publication Date
CN116310187A CN116310187A (zh) 2023-06-23
CN116310187B true CN116310187B (zh) 2023-08-04

Family

ID=86794487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310553768.0A Active CN116310187B (zh) 2023-05-17 2023-05-17 一种小尺度短周期的滩涂精细建模方法

Country Status (1)

Country Link
CN (1) CN116310187B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274823B (zh) * 2023-11-21 2024-01-26 成都理工大学 基于DEM特征增强的视觉Transformer滑坡识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612008A (zh) * 2020-05-21 2020-09-01 苏州大学 基于卷积网络的图像分割方法
CN112862830A (zh) * 2021-01-28 2021-05-28 陕西师范大学 一种多模态图像分割方法、系统、终端及可读存储介质
CN113963262A (zh) * 2021-12-20 2022-01-21 中国地质大学（武汉） 一种基于深度特征融合模型的矿区土地覆盖分类方法
CN114066899A (zh) * 2021-11-11 2022-02-18 深圳市人工智能与机器人研究院 图像分割模型训练、图像分割方法、装置、设备及介质
CN115331005A (zh) * 2022-08-10 2022-11-11 杭州电子科技大学 一种基于深监督融合和特征平滑的指向性物体分割方法
WO2022252799A1 (zh) * 2021-06-04 2022-12-08 成都数之联科技股份有限公司 模型训练方法及林地变化检测方法及系统及装置及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2995850A1 (en) * 2015-08-31 2017-03-09 Ryan Kottenstette Systems and methods for analyzing remote sensing imagery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612008A (zh) * 2020-05-21 2020-09-01 苏州大学 基于卷积网络的图像分割方法
CN112862830A (zh) * 2021-01-28 2021-05-28 陕西师范大学 一种多模态图像分割方法、系统、终端及可读存储介质
WO2022252799A1 (zh) * 2021-06-04 2022-12-08 成都数之联科技股份有限公司 模型训练方法及林地变化检测方法及系统及装置及介质
CN114066899A (zh) * 2021-11-11 2022-02-18 深圳市人工智能与机器人研究院 图像分割模型训练、图像分割方法、装置、设备及介质
CN113963262A (zh) * 2021-12-20 2022-01-21 中国地质大学（武汉） 一种基于深度特征融合模型的矿区土地覆盖分类方法
CN115331005A (zh) * 2022-08-10 2022-11-11 杭州电子科技大学 一种基于深监督融合和特征平滑的指向性物体分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于GIS的BP神经网络遥感影像分类研究;张友水等;南京大学学报(自然科学版)(第06期);806-813 *

Also Published As

Publication number Publication date
CN116310187A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN113688808B (zh) 一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法
Gautam et al. Realistic river image synthesis using deep generative adversarial networks
CN111274865A (zh) 一种基于全卷积神经网络的遥感图像云检测方法及装置
WO2023039959A1 (zh) 一种基于金字塔机制的遥感影像海洋与非海区域分割方法
CN116310187B (zh) 一种小尺度短周期的滩涂精细建模方法
CN114359130A (zh) 一种基于无人机影像的道路裂缝检测方法
CN113256649B (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
CN115082675B (zh) 一种透明物体图像分割方法及系统
CN115471467A (zh) 一种高分辨率光学遥感影像建筑物变化检测方法
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
CN112884802A (zh) 一种基于生成的对抗攻击方法
CN117726954B (zh) 一种遥感图像海陆分割方法及系统
CN115049919B (zh) 一种基于注意力调控的遥感图像语义分割方法及系统
CN115862010A (zh) 一种基于语义分割模型的高分遥感影像水体提取方法
CN115631513A (zh) 基于Transformer的多尺度行人重识别方法
CN115527027A (zh) 一种基于多特征融合机制的遥感影像地物分割方法
Courtial et al. Representing vector geographic information as a tensor for deep learning based map generalisation
CN117635938A (zh) 花椒点云分割方法、设备、介质及系统
Lin et al. Accurate and automatic mapping of complex debris‐covered glacier from remote sensing imagery using deep convolutional networks
CN117351372A (zh) 一种基于改进DeeplabV3+的遥感图像道路分割方法
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN114332496A (zh) 一种静态目标分割方法和系统
KR100897757B1 (ko) 항공사진과 지아이에스를 이용한 하천의 평면 변화분석시스템 및 그 방법
Teo Deep-Learning for Lod1 Building Reconstruction from Airborne Lidar Data
Wang et al. FE-LinkNet: Enhanced D-LinkNet with Attention and Dense Connection for Road Extraction in High-Resolution Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant