CN113673586B - 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 - Google Patents

融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 Download PDF

Info

Publication number
CN113673586B
CN113673586B CN202110912441.9A CN202110912441A CN113673586B CN 113673586 B CN113673586 B CN 113673586B CN 202110912441 A CN202110912441 A CN 202110912441A CN 113673586 B CN113673586 B CN 113673586B
Authority
CN
China
Prior art keywords
image
remote sensing
images
satellite remote
mariculture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110912441.9A
Other languages
English (en)
Other versions
CN113673586A (zh
Inventor
徐崇斌
赵晓庆
孙晓敏
吴俣
陈前
胡银博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Spaceflight Creative Technology Co ltd
Original Assignee
Beijing Spaceflight Creative Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Spaceflight Creative Technology Co ltd filed Critical Beijing Spaceflight Creative Technology Co ltd
Priority to CN202110912441.9A priority Critical patent/CN113673586B/zh
Publication of CN113673586A publication Critical patent/CN113673586A/zh
Application granted granted Critical
Publication of CN113673586B publication Critical patent/CN113673586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，获取设定时间段内，覆盖我国海岸线30km范围的多种卫星遥感影像；对卫星遥感影像进行预处理以及数据归一化后获得标准米级高分辨率图像；将标准图像划分为训练集、测试集以及检测集；由训练集中选择样本分别对U2‑Net和HRNet‑OCR深度学习卷积神经网络模型进行训练，由测试集中选择样本进行测试；采用封装的两种模型分别对检测集中的影像进行检测，输出检测结果进行融合后，获得植物型和动物型海上养殖区域分布结果。本发明结合了两种模型的优势，有效提高养殖区域提取准确率，降低了人工甄别的工作量，提高了工作效率，实现了大尺度范围内近海岸不同类型海水养殖区域的快速可靠自动识别分类。

Description

融合多源高分辨率卫星遥感影像的海上养殖区域分类方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种融合多源高分辨率卫星遥感影像的海上养殖区域分类方法。
背景技术
近年来，随着市场需求的持续增加、国家政策支持以及养殖技术的不断进步，我国水产养殖产业得以迅速发展，海上养殖产业及逐渐成为我国农业以及“蓝色经济”的重要组成部分，然而快速、无序的扩张也对生态环境和海上交通带来了一系列负面影响。因此快速、准确的获取海上养殖区域的分布和位置范围变化，对防控养殖污染、保障通航安全、优化养殖空间布局具有重要的现实意义。目前已有大量学者针对海上养殖区域的空间分布进行提取分析：
从使用的方法来看：现有的海水养殖区域提取方法主要是基于不同类型的卫星传感器数据，方法主要包括目视解译法、指数法、空间结构信息分析以及面向对象的分类方法等。这些方法还存在一定的缺陷，如目视解译过程往往费时费力，难以满足大范围、高频次、快速化监测，指数法存在“椒盐效应”明显的缺陷，基于空间结构信息分析方法和面向对象的分类方法缺乏稳定性、普适性且自动化程度较低。
从使用的遥感数据来看：大尺度范围海上养殖区域提取多采用Landsat、ASTER、GF-1WFV等中分辨率卫星影像，局部尺度提取使用基于SPOT-5、资源-3或GF-1PMS等单一类型高分辨率卫星影像。
从提取对象来看，目前的近岸海水养殖信息提取较多关注的是海洋植物养殖区域，而对于海洋动物养殖区域的提取研究较少，但是海洋动物养殖区域也是近岸海域主要的污染源，暂时缺少合适的提取方法。
综上所述，当前的海上养殖区域提取方法难以同时兼顾高时间分辨率和高空间分辨率，仅局限于使用较低时间分辨率和中等空间分辨率的卫星影像进行大尺度范围的海上养殖区域提取分析，或者使用单一来源的高分辨率影像进行局部尺度的精确提取研究，而且对海上养殖区域的研究局限于植物型养殖区域，缺乏对动物型养殖区域的研究，制约海上养殖区域的动态监管评估。
发明内容
针对现有技术中存在的问题，本发明提供一种融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，融合多卫星影像，结合U2-Net和HRNet-OCR两种深度学习卷积神经网络(CNNs)结构，实现对全国尺度甚至全球尺度近海岸不同类型养殖区域的高效提取。
为达到上述目的，本发明提供了一种融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，包括：
获取设定时间段内，覆盖我国海岸线30km范围的多种卫星遥感影像；
对卫星遥感影像进行预处理、存储格式统一以及数据归一化后获得标准图像；
将标准图像划分为训练集、测试集以及检测集；
对训练集和测试集中的标准图像进行养殖区域和类型标注；
构建用于识别海上养殖区域类型的U2-Net和HRNet-OCR深度学习卷积神经网络模型；
由训练集中选择样本分别对U2-Net和HRNet-OCR深度学习卷积神经网络模型进行训练，满足精度要求后，由测试集中选择样本进行测试，测试满足精度要求后，封装U2-Net和HRNet-OCR深度学习卷积神经网络模型；
采用封装的U2-Net和HRNet-OCR深度学习卷积神经网络模型分别对检测集中的影像进行检测，输出检测结果进行融合后，获得植物型和动物型海上养殖区域分布结果。
进一步地，多种卫星遥感影像包括GF-1、GF-2、GF-6和GF-1B、C、D，0.8-2米高分辨率遥感影像。
进一步地，对卫星遥感影像进行预处理，包括：
对每个卫星遥感影像的全色影像和多光谱影像，分别进行辐射定标和正射校正，正射校正后的全色影像和多光谱影像自动配准后，进行图像融合，对融合后的图像进行几何校正。
进一步地，进行存储格式统一，包括：将预处理后遥感影像16位存储的原始数据使用百分比线性拉伸的方法得到8位存储数据，每个波段的计算公式如下：
Figure BDA0003204290300000031
result表示以8位存储的影像灰度值，grey是以16位存储的影像灰度值，假如直方图的百分比为k，minin表示以16位存储数据k对应的灰度值，maxin表示以16位存储数据(1-k)对应的灰度值，minout和maxout分别表示像素的最小值和最大值，其中i表示波段编号，0、1、2、3波段分别表示蓝波段、绿波段、红波段和近红波段。
进一步地，进行数据归一化，包括：
将原始数据线性化等比例的缩放到[0,1]范围内：
Figure BDA0003204290300000032
其中Xnorm为归一化之后的数据,X为以8位存储的影像各个波段的灰度值，Xmin和Xmax分别表示以8位存储的影像各个波段的最小和最大值。
进一步地，针对各种类型的植物和动物，训练或测试都需满足精度要求，如果不满足精度要求，则补充该类型的植物或动物养殖区域卫星遥感影像，进行预处理、存储格式统一以及数据归一化后获得标准图像，加入训练集。
进一步地，还包括，对训练集的样本进行旋转、缩放0.75-1.25倍、线性拉伸、随机裁切、垂直水平翻转和±10％明度变化后获得的图像加入训练集。
进一步地，对训练集和测试集中的标准图像进行养殖区域和类型标注，包括：
用“1”表示植物型海上养殖区域，用“2”表示动物型海上养殖区域，“0”表示其它背景区域；
对植物型和动物型海上养殖区域进行标注，获得标注结果，转换为8位mask图像。
进一步地，输出检测结果进行融合包括：
对于一个区域，如果U2-Net和HRNet-OCR深度学习卷积神经网络模型输出类型相同，则对两种模型输出结果加权后作为融合后的结果；如果一个输出类型为“1”或“2”，另一个输出为“0”，则融合后的结果为“1”或“2”，如果一个输出类型为“1”，另一个输出类型为“2”，则采用HRNet-OCR深度学习卷积神经网络模型输出的结果作为融合后的结果。
进一步地，对两种模型输出结果加权，包括：
两种模型输出结果的权值为0或1，这是因为两个模型养殖区提取结果中存在均存在分割不连续、边缘不清晰、错分漏分等情况，对两种模型预测结果进行融合，不仅可以尽可能的保留植物型和动物型海上养殖区的边缘部分，提高边缘的分割准确度，而且可以提高养殖区目标提取的整体精度；
或者训练时的精度较高的模型权值高于训练时精度较低的模型。
进一步地，采用封装的U2-Net和HRNet-OCR深度学习卷积神经网络模型分别对检测集中的影像进行检测，还包括：对检测集中的影像滑动裁剪，进行水平翻转、垂直翻转以及多尺度缩放后分别输出到U2-Net和HRNet-OCR深度学习卷积神经网络模型，U2-Net和HRNet-OCR深度学习卷积神经网络模型输出结果放缩至统一尺寸后取平均值作为海上养殖区域识别结果。
本发明的上述技术方案具有如下有益的技术效果：
(1)目前已有的近海养殖区域提取方法存在精度较低，对于复杂地物表达能力较差和泛化能力较低的缺陷，原因在于沿海地区遥感图像本身存在的背景复杂、目标尺度变化大、目标尺寸小等问题。本发明使用我国高分-1号/2号/6号卫星(GF-1/GF-2/GF-6)和高分一号B/C/D卫星(GF-1B、C、D)影像，结合了U2-Net和HRNet-OCR两种卷积神经网络的结构优势特征，可以有效提高养殖区域提取准确率，极大的降低了人工甄别的工作量，提高了工作效率，实现了大尺度范围内近海岸不同类型海水养殖区域的快速、可靠、自动解译。
(2)本发明较好的解决了高空间分辨率和时间分辨率在大尺度范围提取近海岸养殖区域时难以兼容的问题，为实现全国尺度甚至全球尺度近海岸海水养殖区域的边界监测、面积统计和空间分布特征分析等提供了一种可靠的、精度较高的识别和调查方法，为我国近岸海水养殖区域的监测、规划及管理提供了重要基础数据，为我国海洋资源监测、科学管理与规划提供重要参考依据。
附图说明
图1为本发明提供的方法的流程示意图；
图2为多源遥感影像预处理流程。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
一种融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，结合图1，步骤如下：
步骤1：获取设定时间段内，覆盖我国海岸线30km范围的多种卫星遥感影像。
获取覆盖我国海岸线30km范围内的GF-1/GF-2/GF-6/GF-1 B、C、D 0.8-2米高分辨率遥感影像，确定一些具有代表性的近海岸养殖区域，对其进行裁剪作为训练样本，其余的作为检测样本。
进一步地，为了分析我国海上养殖区域多年分布的变化情况，获取的数据包括2014年至今的覆盖我国海岸线30km范围的多种卫星遥感影像。
步骤2：对卫星遥感影像进行预处理、存储格式统一以及数据归一化后获得标准图像。
(1)多源遥感影像预处理，流程图2所示，包括：对每个卫星遥感影像的全色影像和多光谱影像，分别进行辐射定标和正射校正，正射校正后的全色影像和多光谱影像自动配准后，进行图像融合，对融合后的图像进行几何校正。
遥感影像包括全色影像和多光谱影像，MultiSpectral多光谱数据(1～7波段)，Panchromatic全色波段数据，全色影像和多光谱影像分别进行辐射定标。辐射定标就是建立遥感器每个探测器输出值与该探测器对应的实际地物辐射亮度之间的定量关系。通过辐射定标，将图像像元值转换为对应像元的辐射率或者反射率等物理量。
全色影像和多光谱影像进行融合之前，必须保证二者具有较好的吻合度，因此需要进行正射校正，消除成像过程中各种因素导致的影像畸变。本发明不考虑高程信息及传感信息，利用地面控制点GCP对各种因素引起的遥感影像几何畸变进行校正，将影像空间的全部元素变换到基准空间，从而实现校正。
为了克服单一数据源的局限性，提高影像目视效果，将全色影像和多光谱影像进行融合，形成一幅高分辨率影像，提高结果有比较高的光谱分辨率和空间分别率。常用的融合方法包括，主成分分析法(PCA)、HIS变换法、乘积法、小波变换法等。
全色影像和多光谱影像进行自动配准，自动配准后进行图像融合，融合后的图像进行几何校正。卫星成像过程中，收到诸多因素影像，使得各个像点产生不同程度的几何变形而失真。此时对图像几何形态和变形误差进行处理，提高其精度。
(2)预处理结果进行存储格式处理
现在常用卫星影像基本上都是16位影像，如GF，ZY3，Landsat8，WV等，有时我们需要将16位影像降到8位影像，这样不仅减小了数据量，也便于后期处理。为了使多源卫星遥感数据制作的样本集可以实现复用，改善不同传感器卫星影像之间的差异，将16位存储的原始数据使用百分比线性拉伸的方法得到8位存储的结果。每个波段的计算公式如下：
Figure BDA0003204290300000071
上式中：result表示以8位存储的影像灰度值，grey是以16位存储的影像灰度值，假如直方图的百分比为2％，minin表示以16位存储数据2％对应的灰度值，maxin表示以16位存储数据98％对应的灰度值，minout和maxout分别表示像素的最小值和最大值，如0和255。其中i表示波段编号，0、1、2、3波段分别表示蓝波段、绿波段、红波段和近红波段。
(3)遥感数据归一化处理
训练数据归一化处理不仅可以提高模型的收敛速度和精度，还可以有效的防止数据分布过大或者过小对模型产生的影响，本发明采用线性函数归一化法对数据坐标点进行归一化处理，线性函数将原始数据线性化等比例的缩放到[0,1]范围内，归一化公式为：
Figure BDA0003204290300000072
其中Xnorm为归一化之后的数据,X为以8位存储的影像各个波段的灰度值，Xmin和Xmax分别表示以8位存储的影像各个波段的最小和最大值。
步骤3：将标准图像划分为训练集、测试集以及检测集；对训练集和测试集中的标准图像进行养殖区域和类型标注。
训练集中的样本用于训练模型，测试集中的样本用于测试训练后的模型，检测集中的样本用于模型检测，输出的结果用于海上养殖区域分类的研究。
在一个实施例中，图像数据包括2014年至今的遥感图像，采用部分2014-2016年的部分数据作为样本形成训练集；2017-2018年的部分数据作为样本形成测试集；其余样本作为检测集。
需要保证样本类型，需要保证每种类型植物和动物养殖区的识别精度均达到95％以上的提取精度。如果不满足精度要求，则补充该类型的植物或动物养殖区域卫星遥感影像，进行预处理、存储格式统一以及数据归一化后获得标准图像，加入训练集。
进一步地，可以对训练集的图像进行泛化处理，增加训练集的数据。
如果将训练集的图像(归一化后的图像和mask图像)直接输入到深度学习卷积神经网络中，会导致内存溢出，因此需要将图像裁剪成图像块输入到网络中。考虑到海洋背景信息复杂、海上养殖区域分散和特征多样等原因，需要通过数据增强来获取更多的训练样本，这样做可以泛化网络的模型，提升实验结果的精确度。对于实验中使用的遥感影像，训练集的图像通过逆时针旋转90度、270度、缩放0.75-1.25、线性拉伸、随机裁切、垂直水平翻转和±10％明度变化等图像增强操作，获得的图像加入训练集。增加训练样本的特征属性和泛化能力。
步骤4：对训练集和测试集中的标准图像进行养殖区域和类型标注。
选择具有代表性的遥感影像作为训练集的图像，用于制作海上养殖区域标签mask，本发明采用原始影像与其对应的mask相结合的方式来对目标对象进行标注，mask影像是一种8位的图像，用“1”表示植物型海上养殖区域，用“2”表示动物型海上养殖区域，“0”表示其它背景区域。
由于需要标注的样本较多，使用两种样本标注工具(MIT开放图像标注工具LabelMe或者Arcgis10.3)对多源遥感影像中的植物型和动物型海上养殖区域进行人工标注，获得json或shapefile标注结果，再通过LabelMe提供的转换工具将json转换为8位mask图像,或者使用GDAL包含的矢量转栅格等api得到近海岸养殖区域对应的8位mask图像。
进一步地，在制作训练样本集时，需要对归一化后的图像和mask图像进行裁切，本发明采用的是能够增强样本随机性且较为灵活高效的随机选取法，将归一化后的图像和mask图像分割成为规则矩形形状的影像块和标签块数据，然后按照一定比例划分为训练数据集和测试数据集，并以训练数据集作为全卷积网络模型的输入项，测试训练集用于对模型分类效果进行精度评价。
进一步地Mask图像作为标签图像，与归一化后的遥感图像一起制作训练集。通过逆时针旋转90度、270度、缩放0.75-1.25、线性拉伸、随机裁切、垂直水平翻转和±10％明度变化等图像增强操作，获得的图像加入训练集。
步骤5：由训练集中选择样本分别对U2-Net和HRNet-OCR深度学习卷积神经网络模型进行训练，满足精度要求后，由测试集中选择样本进行测试，测试满足精度要求后，封装U2-Net和HRNet-OCR深度学习卷积神经网络模型。
构建U2-Net和HRNet-OCR两种深度学习卷积神经网络(CNNs)，将步骤4中得到的训练数据集分别输入到U2-Net和HRNet-OCR神经网络模型中进行迭代训练，训练过程中使用损失函数对模型进行评价，改进模型参数，得到两个优化的近海岸海上养殖区域分类模型。
所述U2-Net是一个两层嵌套的Unet网络结构，是一种新型的网络结构，是为显著性检测任务设计的，它不需要进行预训练，从零训练就可以得到很好的结果，而且，这种网络结构实现了在网络层数加深的同时仍然能够保持较高的分辨率。所述HRNet-OCR是一种新型的高分辨率表征学习方法，以HRNet为骨干，加入对象上下文表示方法，通过并行连接高分辨率和低分辨率卷积流并在多个分辨率之间重复交换信息来通过编码过程保持高分辨率表示。U2-Net和HRNet-OCR在很多分类、分割、检测和识别等任务中都有很好的效果。
所述损失函数包括两种，对于U2-Net神经网络，使用的损失函数为7个标准的二元交叉熵损失函数(bce_loss)之和，即6个block输出结果加1个特征拼接后的结果；对于HRNet-OCR，使用的多个loss损失函数复合，同时采用OHEM机制挖掘困难样本避免或者缓解近海岸植物型养殖区域和动物型养殖区域存在的类不平衡问题。
在一个实施例中，U2-Net优化器为Adam优化算法，超参数设置为：初始学习率0.001，batch_size为28，迭代轮次为120，HRNet-OCR卷积神经网络的优化器为SDG,超参数设置为：初始学习率0.00001，动量为0.9，权重衰减为0.0005，batch_size为50，迭代轮次为200。
训练满足精度要求后，由测试集中选择样本进行测试，测试满足精度要求后，封装模型，如果测试不满足精度要求，则对训练集中补充样本，重新进行训练。对每种动物和植物类型的识别都要求满足精度要求，例如海带的养殖区域识别精度不满足要求，则补充海带养殖区域的样本，再次训练模型。
步骤6：采用封装的U2-Net和HRNet-OCR深度学习卷积神经网络模型分别对检测集中的影像进行检测，输出检测结果进行融合后，输出植物型和动物型海上养殖区域分布结果。
将待处理的多源高分辨率遥感影像，滑动裁剪成256*256大小的图像后，使用增强方式对进行处理，然后分别输入优化过的U2-Net和HRNet-OCR神经网络模型中，两种模型实验结果加权融合后输出植物型和动物型海上养殖区域分布结果。
其中增强包括水平翻转、垂直翻转、多尺度(0.75,1,1.25)测试，所有测试结果放缩至统一尺寸后取平均值作为海上养殖区域识别结果。
进一步地，步骤1中，本发明所采用的影像与海上植物养殖时间相近，于当年9月至次年5月获取，所采用的多源高分辨率遥感影像包括GF-1/GF-2/GF-6/GF-1 B、C、D，卫星简介如下表所示：
表1使用的高分系列卫星信息
Figure BDA0003204290300000101
Figure BDA0003204290300000111
进一步地，由获取的各年度的海上养殖区域检测结果，可以获得海上养殖区域随时间的变化情况。
综上所述，本发明涉及一种融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，获取设定时间段内，覆盖我国海岸线30km范围的多种卫星遥感影像；对卫星遥感影像进行预处理、存储格式统一以及数据归一化后获得标准图像；将标准图像划分为训练集、测试集以及检测集；由训练集中选择样本分别对U2-Net和HRNet-OCR深度学习卷积神经网络模型进行训练，由测试集中选择样本进行测试；采用封装的两种模型分别对检测集中的影像进行检测，输出检测结果进行融合后，获得植物型和动物型海上养殖区域分布结果。本发明结合了两种模型的优势，有效提高养殖区域提取准确率，降低了人工甄别的工作量，提高了工作效率，实现了大尺度范围内近海岸不同类型海水养殖区域的快速可靠、自动解译。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (9)

1.一种融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，其特征在于，包括：
获取设定时间段内，覆盖我国海岸线30km范围的多种卫星遥感影像；
对卫星遥感影像进行预处理、存储格式统一以及数据归一化后获得标准图像；
将标准图像划分为训练集、测试集以及检测集；
对训练集和测试集中的标准图像进行养殖区域和类型标注；
选择具有代表性的遥感影像作为训练集的图像，用于制作海上养殖区域标签mask，将mask图像作为标签图像，与归一化后的遥感图像一起制作训练集；
构建用于识别海上养殖区域类型的U2-Net和HRNet-OCR深度学习卷积神经网络模型；
由训练集中选择样本分别对U2-Net和HRNet-OCR深度学习卷积神经网络模型进行训练，满足精度要求后，由测试集中选择样本进行测试，测试满足精度要求后，封装U2-Net和HRNet-OCR深度学习卷积神经网络模型；
采用封装的U2-Net和HRNet-OCR深度学习卷积神经网络模型分别对检测集中的影像进行检测，输出检测结果进行融合后，获得植物型和动物型海上养殖区域分布结果；
对训练集和测试集中的标准图像进行养殖区域和类型标注，包括：用“1”表示植物型海上养殖区域，用“2”表示动物型海上养殖区域，“0”表示其它背景区域；
对植物型和动物型海上养殖区域进行标注，获得标注结果，转换为8位mask图像；
输出检测结果进行融合包括：对于一个区域，
如果U2-Net和HRNet-OCR深度学习卷积神经网络模型输出类型相同，则对两种模型输出结果加权后作为融合后的结果；
如果一个输出类型为“1”或“2”，另一个输出为“0”，则融合后的结果为“1”或“2”；
如果一个输出类型为“1”，另一个输出类型为“2”，则采用HRNet-OCR深度学习卷积神经网络模型输出的结果作为融合后的结果。
2.根据权利要求1所述的融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，其特征在于，多种卫星遥感影像包括GF-1、GF-2、GF-6和GF-1B、C、D，0.8-2米高分辨率遥感影像。
3.根据权利要求1或2所述的融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，其特征在于，对卫星遥感影像进行预处理，包括：
对每个卫星遥感影像的全色影像和多光谱影像，分别进行辐射定标和正射校正，正射校正后的全色影像和多光谱影像自动配准后，进行图像融合，对融合后的图像进行几何校正。
4.根据权利要求1或2所述的融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，其特征在于，进行存储格式统一，包括：
将预处理后遥感影像16位存储的原始数据使用百分比线性拉伸的方法得到8位存储数据，每个波段的计算公式如下：
Figure FDF0000017801710000021
result表示以8位存储的影像灰度值，grey是以16位存储的影像灰度值，假如直方图的百分比为k，minin表示以16位存储数据k对应的灰度值，maxin表示以16位存储数据(1-k)对应的灰度值，minout和maxout分别表示像素的最小值和最大值，其中i表示波段编号，0、1、2、3波段分别表示蓝波段、绿波段、红波段和近红波段。
5.根据权利要求4所述的融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，其特征在于，进行数据归一化，包括：
将原始数据线性化等比例的缩放到[0,1]范围内：
Figure FDF0000017801710000031
其中，Xnorm为归一化之后的数据,X为以8位存储的影像各个波段的灰度值，Xmax和Xmin分别表示以8位存储的影像各个波段的最小和最大值。
6.根据权利要求1或2所述的融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，其特征在于，针对各种类型的植物和动物，训练或测试都需满足精度要求，如果不满足精度要求，则补充该类型的植物或动物养殖区域卫星遥感影像，进行预处理、存储格式统一以及数据归一化后获得标准图像，加入训练集。
7.根据权利要求1或2所述的融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，其特征在于，还包括，对训练集的样本进行旋转、缩放0.75-1.25倍、线性拉伸、随机裁切、垂直水平翻转和±10％明度变化后获得的图像加入训练集。
8.根据权利要求1所述的融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，其特征在于，对两种模型输出结果加权，包括：
两种模型输出结果的权值为0或1；
或者训练时的精度较高的模型权值高于训练时精度较低的模型。
9.根据权利要求8所述的融合多源高分辨率卫星遥感影像的海上养殖区域分类方法，其特征在于，采用封装的U2-Net和HRNet-OCR深度学习卷积神经网络模型分别对检测集中的影像进行检测，还包括：对检测集中的影像滑动裁剪，进行水平翻转、垂直翻转以及多尺度缩放后分别输出到U2-Net和HRNet-OCR深度学习卷积神经网络模型，U2-Net和HRNet-OCR深度学习卷积神经网络模型输出结果放缩至统一尺寸后进行融合，融合结果作为海上养殖区域识别结果。
CN202110912441.9A 2021-08-10 2021-08-10 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法 Active CN113673586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110912441.9A CN113673586B (zh) 2021-08-10 2021-08-10 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110912441.9A CN113673586B (zh) 2021-08-10 2021-08-10 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法

Publications (2)

Publication Number Publication Date
CN113673586A CN113673586A (zh) 2021-11-19
CN113673586B true CN113673586B (zh) 2022-08-16

Family

ID=78542011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110912441.9A Active CN113673586B (zh) 2021-08-10 2021-08-10 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法

Country Status (1)

Country Link
CN (1) CN113673586B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114440835B (zh) * 2022-01-28 2022-09-27 生态环境部卫星环境应用中心 多特征和模型耦合的牧畜遥感监测方法、系统及存储介质
CN114694152B (zh) * 2022-04-01 2023-03-24 江苏行声远科技有限公司 基于三源ocr结果的印刷文本可信度融合方法及装置
CN114998242A (zh) * 2022-05-26 2022-09-02 电子科技大学 一种卫星图像中输电线路杆塔检测方法
CN115082808B (zh) * 2022-06-17 2023-05-09 安徽大学 基于高分一号数据与U-Net模型的大豆种植区提取方法
CN116168301B (zh) * 2023-04-25 2023-07-11 耕宇牧星(北京)空间科技有限公司 一种基于嵌套编码器网络的农田施肥栅格检测方法
CN116503737B (zh) * 2023-05-10 2024-01-09 中国人民解放军61646部队 基于空间光学图像的船舶检测方法和装置
CN117649598A (zh) * 2023-10-23 2024-03-05 广东省国土资源测绘院 基于sar影像的近海养殖空间分布信息监测方法及系统
CN117649607B (zh) * 2024-01-23 2024-04-19 南京信息工程大学 基于SegNet深度学习模型的海草床遥感识别方法、装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN110929592A (zh) * 2019-11-06 2020-03-27 北京恒达时讯科技股份有限公司 一种用于海上养殖区外边界的提取方法及系统
DE102019209526A1 (de) * 2019-06-28 2020-12-31 Zf Friedrichshafen Ag Überwachen einer Anbaufläche
CN112418100A (zh) * 2020-11-24 2021-02-26 哈尔滨市科佳通用机电股份有限公司 基于图像分类与图像对比的公路车辆异常检测方法
CN112712528A (zh) * 2020-12-24 2021-04-27 浙江工业大学 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN112766155A (zh) * 2021-01-19 2021-05-07 山东华宇航天空间技术有限公司 一种基于深度学习的海水养殖区提取方法
CN112927808A (zh) * 2021-03-01 2021-06-08 北京小白世纪网络科技有限公司 一种基于甲状腺超声图像的结节分级系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3163482A1 (en) * 2019-12-30 2021-07-08 Medo Dx Pte. Ltd Apparatus and method for image segmentation using a deep convolutional neural network with a nested u-structure
CN112308077A (zh) * 2020-11-02 2021-02-02 中科麦迪人工智能研究院(苏州)有限公司 样本数据获取方法、图像分割方法、装置、设备和介质
CN113191256B (zh) * 2021-04-28 2024-06-11 北京百度网讯科技有限公司 车道线检测模型的训练方法、装置、电子设备及存储介质
CN112906697B (zh) * 2021-05-06 2021-07-30 浙江口碑网络技术有限公司 商品识别及结算方法、装置、电子设备、存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
DE102019209526A1 (de) * 2019-06-28 2020-12-31 Zf Friedrichshafen Ag Überwachen einer Anbaufläche
CN110929592A (zh) * 2019-11-06 2020-03-27 北京恒达时讯科技股份有限公司 一种用于海上养殖区外边界的提取方法及系统
CN112418100A (zh) * 2020-11-24 2021-02-26 哈尔滨市科佳通用机电股份有限公司 基于图像分类与图像对比的公路车辆异常检测方法
CN112712528A (zh) * 2020-12-24 2021-04-27 浙江工业大学 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN112766155A (zh) * 2021-01-19 2021-05-07 山东华宇航天空间技术有限公司 一种基于深度学习的海水养殖区提取方法
CN112927808A (zh) * 2021-03-01 2021-06-08 北京小白世纪网络科技有限公司 一种基于甲状腺超声图像的结节分级系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Object-Contextual Representations for Semantic Segmentation;Yuhui Yuan 等;《Computer Vision and Pattern Recognition》;20200725;1-23 *
U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection;Xuebin Qin 等;《Computer Vision and Pattern Recognition》;20200805;1-15 *
改进型双支网络模型的遥感海水网箱养殖区智能提取方法;郑智腾 等;《国土资源遥感》;20201231;第32卷(第4期);120-129 *

Also Published As

Publication number Publication date
CN113673586A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN113673586B (zh) 融合多源高分辨率卫星遥感影像的海上养殖区域分类方法
CN111767801B (zh) 一种基于深度学习的遥感影像水域自动提取方法及系统
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN110263717B (zh) 一种融入街景影像的土地利用类别确定方法
CN112287807B (zh) 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN111598098B (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN112016436A (zh) 一种基于深度学习的遥感影像变化检测方法
CN112766155A (zh) 一种基于深度学习的海水养殖区提取方法
CN111914767B (zh) 一种基于多源遥感数据的散乱污企业检测方法及系统
CN116343053B (zh) 基于光学遥感影像和sar遥感影像融合的固废自动提取方法
CN109671038A (zh) 一种基于伪不变特征点分类分层的相对辐射校正方法
CN111382715A (zh) 一种地形图中地物要素的提取方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN117409168B (zh) 实时动态渲染的洪水预报及洪灾模拟方法和系统
CN110533118B (zh) 基于多核学习的遥感图像稀疏表达分类方法
CN112784806A (zh) 一种基于全卷积神经网络的含锂伟晶岩脉提取方法
CN116994071A (zh) 一种基于自适应光谱残差的多光谱激光雷达点云分类方法
CN115546658B (zh) 一种数据集质量提升与改进cnn相结合的夜间云检测方法
CN114463343A (zh) 一种自动提取海岸带养殖工厂轮廓的方法及装置
CN115761265A (zh) 一种用于提取激光雷达点云中变电站设备的方法及装置
CN116206210A (zh) 一种基于NAS-Swin的遥感影像农业大棚提取方法
CN115661446A (zh) 基于深度学习的指针式仪表示数自动读取系统及方法
CN114913430A (zh) 一种基于高分影像和Unet阴影检测的物体高度识别方法
CN115497006A (zh) 基于动态混合策略的城区遥感图像变化深度监测方法及系统
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant