CN114627389A - 一种基于多时相光学遥感影像的筏式养殖区提取方法 - Google Patents

一种基于多时相光学遥感影像的筏式养殖区提取方法 Download PDF

Info

Publication number
CN114627389A
CN114627389A CN202210293377.5A CN202210293377A CN114627389A CN 114627389 A CN114627389 A CN 114627389A CN 202210293377 A CN202210293377 A CN 202210293377A CN 114627389 A CN114627389 A CN 114627389A
Authority
CN
China
Prior art keywords
raft culture
extraction
shape
raft
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210293377.5A
Other languages
English (en)
Other versions
CN114627389B (zh
Inventor
汪承义
孟瑜
李连发
王雷
秦承志
孔赟珑
张懿
汪祖家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202210293377.5A priority Critical patent/CN114627389B/zh
Publication of CN114627389A publication Critical patent/CN114627389A/zh
Priority to US17/979,164 priority patent/US20230306730A1/en
Application granted granted Critical
Publication of CN114627389B publication Critical patent/CN114627389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多时相光学遥感影像的筏式养殖区提取方法，包括以下提取步骤：构建筏式养殖标记样本库；构建基于ASSP与形状约束的Unet网络模型；采用该模型利用目标区域内的多时相中分辨率光学遥感影像提取对应的多时相筏式养殖区；结合先验知识，将筏式养殖区提取结果融合，得到最终的筏式养殖区提取结果。本发明构建适合我国近海筏式养殖的有代表性的样本库，并设计针对筏式养殖提取的深度学习模型，实现大范围筏式养殖区提取；融合多时相光学影像筏式养殖提取结果，减少筏式养殖区提取遗漏的问题；主要针对10米左右中分辨率影像的特点，实现对筏式养殖区的精细提取与养殖类型的识别。

Description

一种基于多时相光学遥感影像的筏式养殖区提取方法
技术领域
本发明涉及一种养殖区提取方法，尤其涉及一种基于多时相光学遥感影像的筏式养殖区提取方法。
背景技术
筏式养殖是一种重要的集约化养殖方式。在沿海领域，浮筏架一般由浮子、竹子和绳索构成，并由桩或锚固定在两侧，这些支架作为支撑可用于养殖各种水产养殖物种。筏式水产养殖产业的发展产生了巨大的经济效益；然而，它也造成了诸多问题，如非法养殖；对海洋自然保护区和海道的侵占越来越普遍，并对沿海生态环境和海上交通产生了负面影响。因此，迫切需要加强对筏式养殖区的监测，以确保筏式养殖产业的有序发展。
筏式养殖具有分布区域大、分布范围广的特点，利用常规的人工调查方法费时费力，难以获取完整准确的信息。遥感技术具有覆盖范围广、实时可用、客观、准确等优点，可以在筏式养殖区监测中发挥重要的作用，特别是中分辨遥感影像非常适合大场景的养殖区的遥感监测。
目前，国内外研究人员虽已提出了许多基于遥感影像提取水产养殖区域的方法，但普遍存在技术缺陷。包括：基于专家经验目视解译方法、指数方法和基于特征信息的分类方法，上述方法均需要大量人工干预，很难在高分辨性和良好鲁棒性之间实现平衡；近年来，机器学习方法被用于提取水产养殖区，机器学习，特别是深度学习方法的使用提高了养殖区遥感提取的精度，但其在筏式养殖区养殖样本库构建方面，缺乏全面的、权威的样本库；在深度学习领域，CNN(卷积神经网络)、R-CNN(具有卷积神经网络特征的区域)和FCN(完全卷积网络)模型、U-Net模型和Deep Lab V3分别在图像分类、目标检测和语义分割任务中迅速发展和演变，但大多数方法都只进行局部区域的提取实验，在大规模筏式养殖的提取与应用方面还比较欠缺。
尽管目前的深度学习方法已逐步应用于海洋养殖区的提取，但使用它们从全国大范围的中分辨率图像中准确提取海洋水产养殖区的潜在问题仍然存在。如数据源本身的约束，方法鲁棒性和使用范围的限制，无法进行大规模海域的养殖区提取。当前技术存在的问题概括为：
(1)当前的主要方法没有有效解决大范围筏式养殖的提取问题，大多数方法实现的是局部小范围研究区的提取；
(2)单一时相光学影像提取筏式养殖存在大量养殖区遗漏的问题；同时，筏式养殖区存在“黏连”现象，边界模糊难以确定，受船舶和其他漂浮物影响，类型多样，外形变化大，导致筏式养殖区精确提取困难；
(3)筏式养殖区存在多种不同的类型，目前方法只能实现养殖区的提取，只有少量能进行筏式养殖区类型识别，存在提取精度低、提取类型不完全等问题。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种基于多时相光学遥感影像的筏式养殖区提取方法。
为了解决以上技术问题，本发明采用的技术方案是：一种基于多时相光学遥感影像的筏式养殖区提取方法，包括以下提取步骤：
步骤一、构建筏式养殖标记样本库；
步骤二、构建基于ASSP与形状约束的Unet网络模型；
步骤三、基于步骤二的ASPP与形状约束的Unet网络模型，采用模型实现目标区域的多时相中分辨率光学遥感影像提取对应的多时相筏式养殖区；
步骤四、结合先验知识，将步骤三所得的筏式养殖区提取结果融合，得到最终的筏式养殖区提取结果。
进一步地，样本库构建的流程为：
构建样本库的影像数据是否超过标准尺寸；
如若超过标准尺寸，进行影像分块；同时，对标记数据进行同样的数据分块；
根据地理分区及养殖区特点对样本进行选择，对形成的样本集合进行合理性评估；
如若满足评估标准，则完成样本库构建；如若不满足则重新进行样本选择、重采样、评估操作，直至完成样本库构建。
进一步地，样本选择的原则是：各地理分区的样本量相对平衡；合理性评估的原则包括：各样本类型比例是否合理、样本数量是否足够。
进一步地，ASSP与形状约束的Unet网络模型基于U-Net模块构建，添加空洞空间卷积池化金字塔模块、条带池化模块、注意力机制模块和形状约束模块。
进一步地，条带池化模块的添加操作为：给定水平、垂直条带和具有角度的池化层，在离散分布的区域之间建立长期依赖，并对带状的区域进行编码；
进一步地，注意力机制模块的添加操作为：给定一个中间特征图，沿着空间和通道两个维度依次推断出注意力权重，然后与原特征图相乘来对特征进行自适应调整。
进一步地，形状约束模块的添加操作为：采用标记的形状进行学习，利用学习得到的知识进行形状的约束；
使用形状表示自动编码器，编码形状特征；形状表示自动编码器以训练样本的地面真掩模作为输入和输出，学习筏式养殖区的形状表示；使用基本的U- Net的自动编码器结构，每个编码层与其对应的解码层之间的剩余连接，但不使用剩余单元，用于优化学习过程；
将筏式养殖区的形态特征用中间层的潜在形状表示进编码，然后在基于潜在形状表示层的解码器中重建输入图像，即筏式养殖区掩模图像；利用训练样本的掩模标签对形状表示自动编码器进行预训练，然后将训练后对形状表示作为正则化器嵌入到语义分割网络的损失函数中。
进一步地，步骤三中，对应的筏式养殖区的提取过程为：先对多时相光学影像进行分块处理，基于ASPP与形状约束的Unet网络模型提取到分块提取结果后，进行结果的分块合并；合并得到该影像对应的养殖区提取结果；采用栅格矢量化将提取结果转换为矢量数据，将提取结果转换为面对象。
进一步地，提取结果的融合规则为：判断不同时相采用搜索与目标位置有叠加关系的对象，根据面积约束判断是否为同一目标；如若为同一目标，则选择面积较大的区域作为目标区域；对于无法找到同一目标的区域，用加法原则实现结果的融合。
本发明公开了一种基于多时相光学遥感影像的筏式养殖区提取方法，不仅可以检测筏式养殖区，也可以识别养殖区的类型，最终形成实用的大场景筏式养殖遥感提取方法，为筏式养殖动态监测提供技术支撑。并且，构建适合我国近海筏式养殖的有代表性的样本库，并设计针对筏式养殖提取的深度学习模型，实现大范围筏式养殖区提取；融合多时相光学影像筏式养殖提取结果，减少筏式养殖区提取遗漏的问题；针对10米左右中分辨率影像的特点，对实现筏式养殖区的精细提取与类型识别。
附图说明
图1为本发明的整体流程图。
图2为本发明筏式养殖标记样本库的构建流程图。
图3为本发明ASPP模块的示意图。
图4为本发明注意力机制模块的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明公开了一种基于多时相光学遥感影像的筏式养殖区提取方法，采用深度学习方法从光学遥感影像中提取筏式养殖区。由于筏式养殖区受季节变化、水气和海况等因素的影响，单时相光学遥感影像经常无法获取得全部的筏式养殖区，因此，本发明结合多时相光学遥感影像信息，通过深度学习方法提取筏式养殖区，融合提取结果，最终得到研究区域筏式养殖区的分布，具体流程如图1所示：
步骤一、筏式养殖标记样本库构建；
样本库用于支撑后续深度学习模型训练，以确保深度学习模型的更新和完善。依据分类体系进行样本库设计，由于筏式养殖类型多样，总的来说分为海洋动物类型养殖和海洋植物类型养殖；不同筏式养殖类型的外观区别大，可以通过外观的不同区分不同的养殖类型，如网箱、浮筏、延绳等方式。另一方面，对于易于和筏式养殖混淆的海水目标，如船只、其他漂浮物也建立样本，以提高筏式养殖的提取精度；由此，可构建得到具有不同类型养殖区代表性、不同区域养殖区代表和易于混淆对象标记的筏式养殖标记样本库。
样本库的构建主要包含以下规则，一是样本采集的地区分布具有代表性，即包括到地理分区及筏式养殖地区特点。二是样本包括足够量的各种不同的筏式养殖类型，三是勾选样本时确保类型的主体性。
样本库的构建流程如图2所示，具体过程为：首先判断构建样本库的影像数据是否超过标准尺寸，如若超过就进行影像分块，并对标记数据进行同样的数据分块；然后根据地理分区及养殖区特点对样本进行选择，总的原则是各地理分区的样本量相对平衡；接着对样本进行重采样，使得各样本的像素尺寸一致；随后对形成的样本集合进行合理性评估，评估的原则包括各样本类型比例是否合理、样本数量是否足够；如若满足评估标准，则完成样本库构建；如若不满足则进一步进行样本选择，如新增样本、调整样本等，重复重采样、评估操作，直至完成样本库构建。
步骤二、构建基于ASSP与形状约束的Unet网络模型；
通过与FCN、Deeplab V3等方法的比较，发现U-Net网络模型相对较好，因此，本发明采用的深度学习模型基于U-Net模型实现有针对性的改进，以获得 ASSP与形状约束的Unet网络模型，主要改进方向如下：
(1)添加空洞空间卷积池化金字塔(ASPP)模块，以提高模型的感受野；
如图3所示，为所添加的ASPP模块的示意图，空洞空间卷积池化金字塔 (atrousspatial pyramid pooling(ASPP))对所给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图像的上下文；因此，可以提取不同尺度的特征信息，从而解决不同尺度大小的养殖区的信息提取。
(2)添加条带池化模块和注意力机制模块，以更加适合筏式养殖区的提取；
筏式养殖在遥感影像中呈现条带状分布，根据此排列规则，可以在U-Net 模型中添加条带池化模块。给定水平、垂直条带和一定角度的池化层，由于长而窄的内核，很容易在离散分布的区域之间建立长期依赖，并对带状的区域进行编码。由于其沿其他维度的窄核形状，且专注于捕获局部细节；这些特性使条带池化与依赖于方形内核的常规空间池化不同。
相对于海洋，筏式养殖属于与背景区别较大的目标；可以在U-Net模型中添加注意力机制提升算法效率。给定一个中间特征图，沿着空间和通道两个维度依次推断出注意力权重，然后与原特征图相乘来对特征进行自适应调整。具体如图4所示。
(3)结合目标形状进行约束；
筏式养殖在10米左右空间分辨率光学影像中的养殖区的形状具有一定的规则，为了养殖区的形状知识，采用标记的形状进行学习，利用学习得到的知识实现形状的约束。
为了编码形状特征，本发明开发了一个形状表示自动编码器。形状表示自动编码器以训练样本的地面真掩模作为输入和输出，学习筏式养殖区的形状表示。使用了基本的U-Net的自动编码器结构，每个编码层与其对应的解码层之间的剩余连接(但不使用剩余单元)用于优化学习过程。将筏式养殖区的形态特征用中间层的潜在形状表示进编码，然后在基于潜在形状表示层的解码器中重建输入图像(即筏式养殖区掩模图像)。利用训练样本的掩模标签对形状表示自动编码器进行预训练，然后将训练后对形状表示作为形状约束器嵌入到语义分割网络的损失函数中。
综上可知，本步骤基于U-Net模型改进得到基于ASPP与形状约束的Unet网络模型，针对筏式养殖区的特点，包括养殖区大小变化大、条带状排列规则、与背景有较大区别和形状相对固定等，采用加入ASPP、条带池化、注意力机制和形状约束模块，对U-Net网络模型进行优化，实现10米左右空间分辨率光学影像的提取。
步骤三、基于步骤二的ASPP与形状约束的Unet网络模型，采用养殖区范围内的多时相中分辨率(10米左右空间分辨率)光学遥感影像提取对应的筏式养殖区。
由于一景卫星遥感影像幅面很宽、数据量大，需要通过影像分块才适合采用深度学习模型进行信息提取，因此，先对多时相光学影像进行分块处理，影像分块过程中采用一定的重叠率实现分块以方便提取结果的合并。
通过基于ASPP与形状约束的Unet网络模型提取到分块提取结果后，进行结果的分块合并；合并得到该影像对应的养殖区提取结果；由于深度学习提取的结果多为二值影像，为了数据的融合与应用，需要采用栅格矢量化将提取结果转换为矢量数据，栅格矢量化采用成熟的转换方法(可参照ArcGIS的栅格矢量化工具)，将提取结果转换为面对象(即polygon)。
步骤四、结合先验知识，将步骤三所得的多时相筏式养殖区提取结果融合，得最终的筏式养殖区提取结果。
由于海洋洋流及潮汐的作用，同一筏式养殖区在不同时相的位置会有不同程度的偏移，形状上也可能有一定的变化，但是相对范围变化不大。因此，需要进行结果融合。本发明采用的方式上基于面积控制，采用位置和形状的约束判断是否为同一养殖区；具体规则如下：
判断不同时相采用搜索与目标位置有叠加关系的对象，然后根据面积约束 (如面积重叠率达到一定的比例)判断是否为同一目标。
如若为同一目标，则选择面积较大的区域作为目标区域；
对于无法找到同一目标的区域，针对单时相影像对养殖区的提取遗漏等问题，用加法原则实现结果的融合，即只要一个时相影像中发现养殖区，则最终该区域为筏式养殖区。
由此，对于本发明所公开的基于多时相光学遥感影像的筏式养殖区提取方法，其提取方法流程重点包括三个环节：基于具有不同类型养殖区代表性、不同区域养殖区代表和易于混淆对象标记的样本库，利用有针对性设计的基于 ASPP与形状约束的Unet网络模型，分别采用养殖期范围内的多期光学影像分别提取筏式养殖区范围，通过一定的加法规则融合提取结果，最终得到筏式养殖区。
基于ASPP与形状约束的Unet网络模型是基于U-Net模型改进而得：针对筏式养殖区的特点，包括养殖区大小变化大、条带状排列规则、与背景有较大区别和形状相对固定等，采用加入ASPP、条带池化、注意力机制和形状约束模块，对U-Net网络模型进行优化，实现10米左右空间分辨率光学影像的提取。
采用多时相筏式养殖区融合方法：针对单一时相光学影像提取筏式养殖区的遗漏问题，采用多时相光学影像提取筏式养殖区并采用一定的规则融合提取结果，从而更准确提取筏式养殖区。本部分是多时相光学影像筏式养殖区提取方法流程的一个重要环节。
与现有技术相比，本发明具有以下技术优势：
(1)建立了筏式养殖标记样本库，可以为行业提供一套标准化的样本库构建方案及具有代表性用于深度学习训练的样本库。
(2)构建了基于ASPP与形状约束的Unet网络模型，可以高效、高精度从单时相光学影像中提取筏式养殖区，提高识别的精度及获得养殖类型信息。
(3)采用多时相筏式养殖区融合方法，可以有效减少单一时相光学影像对筏式养殖区漏检的现状，有效提高从光学影像提取筏式养殖区的实用性。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (9)

1.一种基于多时相光学遥感影像的筏式养殖区提取方法，其特征在于：包括以下提取步骤：
步骤一、构建筏式养殖标记样本库；
步骤二、构建基于ASSP与形状约束的Unet网络模型；
步骤三、基于步骤二的ASPP与形状约束的Unet网络模型，采用多时相中分辨率光学遥感影像提取相应的多时相筏式养殖区；
步骤四、结合先验知识，将步骤三所得的多时相筏式养殖区提取结果融合，得最终的筏式养殖区提取结果。
2.根据权利要求1所述的基于多时相光学遥感影像的筏式养殖区提取方法，其特征在于：样本库构建的流程为：
构建样本库的影像数据是否超过标准尺寸；
如若超过标准尺寸，进行影像分块；同时，对标记数据进行同样的数据分块；
根据地理分区及养殖区特点对样本进行选择，对形成的样本集合进行合理性评估；
如若满足评估标准，则完成样本库构建；如若不满足则重新进行样本选择、重采样、评估操作，直至完成样本库构建。
3.根据权利要求3所述的基于多时相光学遥感影像的筏式养殖区提取方法，其特征在于：样本选择的原则是：各地理分区的样本量相对平衡；合理性评估的原则包括：各样本类型比例是否合理、样本数量是否足够。
4.根据权利要求1所述的基于多时相光学遥感影像的筏式养殖区提取方法，其特征在于：ASSP与形状约束的Unet网络模型基于U-Net模块构建，添加空洞空间卷积池化金字塔模块、条带池化模块、注意力机制模块和形状约束模块。
5.根据权利要求4所述的基于多时相光学遥感影像的筏式养殖区提取方法，其特征在于：条带池化模块的添加操作为：给定水平、垂直条带和具有角度的池化层，在离散分布的区域之间建立长期依赖，并对带状的区域进行编码。
6.根据权利要求4所述的基于多时相光学遥感影像的筏式养殖区提取方法，其特征在于：注意力机制模块的添加操作为：给定一个中间特征图，沿着空间和通道两个维度依次推断出注意力权重，然后与原特征图相乘来对特征进行自适应调整。
7.根据权利要求4所述的基于多时相光学遥感影像的筏式养殖区提取方法，其特征在于：形状约束模块的添加操作为：采用标记的形状进行学习，利用学习得到的知识进行形状的约束；
使用形状表示自动编码器，编码形状特征；形状表示自动编码器以训练样本的地面真掩模作为输入和输出，学习筏式养殖区的形状表示；使用基本的U-Net的自动编码器结构，每个编码层与其对应的解码层之间的剩余连接，但不使用剩余单元，用于优化学习过程；
将筏式养殖区的形态特征用中间层的潜在形状表示进编码，然后在基于潜在形状表示层的解码器中重建输入图像，即筏式养殖区掩模图像；利用训练样本的掩模标签对形状表示自动编码器进行预训练，然后将训练后对形状表示作为正则化器嵌入到语义分割网络的损失函数中。
8.根据权利要求1所述的基于多时相光学遥感影像的筏式养殖区提取方法，其特征在于：步骤三中，对应的筏式养殖区的提取过程为：先对多时相光学影像进行分块处理，基于ASPP与形状约束的Unet网络模型提取到分块提取结果后，进行结果的分块合并；合并得到该影像对应的养殖区提取结果；采用栅格矢量化将提取结果转换为矢量数据，将提取结果转换为面对象。
9.根据权利要求1所述的基于多时相光学遥感影像的筏式养殖区提取方法，其特征在于：提取结果的融合规则为：判断不同时相采用搜索与目标位置有叠加关系的对象，根据面积约束判断是否为同一目标；如若为同一目标，则选择面积较大的区域作为目标区域；对于无法找到同一目标的区域，采用加法原则实现结果的融合。
CN202210293377.5A 2022-03-23 2022-03-23 一种基于多时相光学遥感影像的筏式养殖区提取方法 Active CN114627389B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210293377.5A CN114627389B (zh) 2022-03-23 2022-03-23 一种基于多时相光学遥感影像的筏式养殖区提取方法
US17/979,164 US20230306730A1 (en) 2022-03-23 2022-11-02 Information extraction method of offshore raft culture based on multi-temporal optical remote sensing images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210293377.5A CN114627389B (zh) 2022-03-23 2022-03-23 一种基于多时相光学遥感影像的筏式养殖区提取方法

Publications (2)

Publication Number Publication Date
CN114627389A true CN114627389A (zh) 2022-06-14
CN114627389B CN114627389B (zh) 2023-01-31

Family

ID=81904859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210293377.5A Active CN114627389B (zh) 2022-03-23 2022-03-23 一种基于多时相光学遥感影像的筏式养殖区提取方法

Country Status (2)

Country Link
US (1) US20230306730A1 (zh)
CN (1) CN114627389B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975282A (zh) * 2024-03-29 2024-05-03 山东大学 基于多元光学特征融合的紫菜养殖区遥感提取方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496073B (zh) * 2023-12-29 2024-03-26 山东省国土测绘院 一种多时相实景三维模型的构建方法及系统
CN117522884B (zh) * 2024-01-05 2024-05-17 武汉理工大学三亚科教创新园 一种海洋遥感图像语义分割方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986058A (zh) * 2018-06-22 2018-12-11 华东师范大学 明度一致性学习的图像融合方法
CN109871812A (zh) * 2019-02-22 2019-06-11 苏州工业园区测绘地理信息有限公司 一种基于神经网络的多时相遥感影像城市植被提取方法
US20200160602A1 (en) * 2018-11-16 2020-05-21 Microsoft Technology Licensing, Llc Virtual content display opportunity in mixed reality
CN112801911A (zh) * 2021-02-08 2021-05-14 苏州长嘴鱼软件有限公司 一种去除自然图像中文字类噪声的方法及装置、存储介质
CN113674281A (zh) * 2021-10-25 2021-11-19 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986058A (zh) * 2018-06-22 2018-12-11 华东师范大学 明度一致性学习的图像融合方法
US20200160602A1 (en) * 2018-11-16 2020-05-21 Microsoft Technology Licensing, Llc Virtual content display opportunity in mixed reality
CN109871812A (zh) * 2019-02-22 2019-06-11 苏州工业园区测绘地理信息有限公司 一种基于神经网络的多时相遥感影像城市植被提取方法
CN112801911A (zh) * 2021-02-08 2021-05-14 苏州长嘴鱼软件有限公司 一种去除自然图像中文字类噪声的方法及装置、存储介质
CN113674281A (zh) * 2021-10-25 2021-11-19 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BINGE CUI: "Extracting Raft Aquaculture Areas from Remote Sensing Images via an Improved U-Net with a PSE Structure", 《REMOTE SENSING》 *
孟祥海: "基于改进Unet的脑腹部多模态影像分割", 《中国优秀硕士学位论文全文数据库》 *
胡睿等: "结合注意力的3D卷积网络脑胶质瘤分割算法", 《计算机工程与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975282A (zh) * 2024-03-29 2024-05-03 山东大学 基于多元光学特征融合的紫菜养殖区遥感提取方法及系统
CN117975282B (zh) * 2024-03-29 2024-06-11 山东大学 基于多元光学特征融合的紫菜养殖区遥感提取方法及系统

Also Published As

Publication number Publication date
US20230306730A1 (en) 2023-09-28
CN114627389B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN114627389B (zh) 一种基于多时相光学遥感影像的筏式养殖区提取方法
CN110059758B (zh) 一种基于语义分割的遥感影像养殖塘检测方法
US11521379B1 (en) Method for flood disaster monitoring and disaster analysis based on vision transformer
CN114926749B (zh) 基于遥感图像的近地面大气污染物反演方法及系统
CN113971769B (zh) 基于多源大数据的海岸带地域功能长时序识别方法
CN105787501A (zh) 输电线路走廊区域自动选择特征的植被分类方法
CN113673586A (zh) 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法
CN112183452B (zh) 一种基于气象卫星图像和深度迁移学习的海雾识别方法
Dang et al. A convolutional neural network for coastal classification based on ALOS and NOAA satellite data
CN111178304A (zh) 基于全卷积神经网络的高分辨率遥感影像像素级解译方法
CN111340668B (zh) 一种台风灾害评估系统
CN114882380A (zh) 一种基于改进hrnet模型的湿地资源遥感识别算法
Wang et al. Extracting urban water by combining deep learning and Google Earth Engine
CN116246169A (zh) 基于SAH-Unet的高分辨率遥感影像不透水面提取方法
Iqbal et al. Seasonal effect of agricultural pollutants on coastline environment: a case study of the southern estuarine water ecosystem of the boseong county Korea.
CN116306203A (zh) 一种海上目标航迹智能仿真生成方法
CN114743103A (zh) 基于Deeplabv3+网络模型的海岛礁遥感影像地质分类方法
Evans et al. Broad-scale spatial prediction of areas at risk from dryland salinity
CN114387446A (zh) 一种高分率遥感影像水体自动提取方法
CN112966657A (zh) 一种大尺度水体覆盖的遥感自动分类方法
CN111680641A (zh) 围填海影响下近岸海域可运动水体边界线辨识和划分方法
Wei et al. Long-term observation of global nuclear power plants thermal plumes using Landsat images and deep learning
CN111639623B (zh) 结合空间距离约束的多尺度船企场景识别与提取方法
Wang et al. Quantifying turbidity variation for lakes in Daqing of Northeast China using Landsat images from 1984 to 2018
Sun et al. Check dam extraction from remote sensing images using deep learning and geospatial analysis: A case study in the Yanhe River Basin of the Loess Plateau, China

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant