CN113269789B - 一种遥感图像无监督域自适应的水陆分割方法 - Google Patents

一种遥感图像无监督域自适应的水陆分割方法 Download PDF

Info

Publication number
CN113269789B
CN113269789B CN202110575350.0A CN202110575350A CN113269789B CN 113269789 B CN113269789 B CN 113269789B CN 202110575350 A CN202110575350 A CN 202110575350A CN 113269789 B CN113269789 B CN 113269789B
Authority
CN
China
Prior art keywords
network
remote sensing
data set
data
land
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110575350.0A
Other languages
English (en)
Other versions
CN113269789A (zh
Inventor
胡文心
顾城
龙楚琪
戴志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202110575350.0A priority Critical patent/CN113269789B/zh
Publication of CN113269789A publication Critical patent/CN113269789A/zh
Application granted granted Critical
Publication of CN113269789B publication Critical patent/CN113269789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像无监督域自适应的水陆分割方法，其特点是采用无监督的域适应方法，以标注精细的公开数据集作为源数据，使用公开的监督数据集对神经网络进行域适应，使模型对Landsat卫星遥感数据进行简单快速，具体实施包括：数据获取、网络设计和网络训练与输出等步骤。本发明与现有技术相比具有直接对输入的Landsat卫星遥感数据输出水陆分割的识别结果，相比较于野外实测的方法，更加简单，可以直接使用公开的监督数据集对神经网络进行域适应，避免了对自己数据集的标注，节省了大量的人力与时间。

Description

一种遥感图像无监督域自适应的水陆分割方法
技术领域
本发明涉及遥感图像语义分割技术领域，尤其是一种基于Landsat卫星遥感图像无监督域自适应的水陆分割方法。
背景技术
遥感图像语义分割是为每个像元分配一个语义标签的任务，在土地利用调查和环境监测中有着广泛的应用。水陆分割，在海岸线提取和河道中坝观测中具有重要作用。近年来，监督算法，特别是深度卷积神经网络(CNNs)在遥感图像语义分割中表现出了惊人的性能。基于深度学习的分割往往需要大量的人工标注数据进行训练，而为每个像素标注遥感图像既费时又费力。
目前，解决这一问题的一种方法是使用精细标记数据集来训练模型并对目标数据进行测试。然而，训练(源)和测试(目标)图像之间存在差异性。例如，物体的外观分布、遥感图像的分辨率、波段拉伸方法等都是不同的。
发明内容
本发明的目的是针对现有技术的不足而提出的一种遥感图像无监督域自适应的水陆分割方法，采用无监督域自适应(UDA)技术，以标注精细的公开数据集作为源数据，使用公开的监督数据集对神经网络进行域适应，使模型对Landsat卫星遥感数据进行简单快速，并在分割网络中链接遥感图像的NDWI值，保留了图像中的原始细节，该方法获取包含大量江河海岸地貌无需固定尺寸的Landsat卫星遥感数据，与带标注的GID数据集做域适应，通过波段拉伸与合成，使其图像风格与GID相似，然后使用基于AdaptSegnet设计的生成式对抗卷积神经网络，融入遥感图像的NDWI值，最终可以根据输入的Landsat卫星遥感图像输出识别出水陆分割的结果，极大减轻了人工成本，且具有非常良好的性能。
本发明的目的是这样实现的：一种遥感图像无监督域自适应的水陆分割方法，其特点是从usgs earthexplorer获取landsat8遥感波段数据，下载公开标注数据集GID；将获取到landsat8的R、G、B、NIR波段进行融合，生成四维图像集；利用两个数据集训练一个生成式对抗训练网络，将图像的NDWI值链接到生成网络的最后一层中；交替使用两个数据集优化GAN损失函数；将待分割的图像传入训练完成的网络中的生成网络中预测出地物的表达类别。
本发明以标注精细的公开数据集作为源数据，使用公开的监督数据集对神经网络进行域适应，使模型对Landsat卫星遥感数据进行简单快速，具体实施包括以下步骤：
步骤一：数据获取
获取Landsat卫星遥感波段数据并进行线性拉伸，使用RED、GREEN、BLUE、NIR四个波段合成四通道的图像，获取公开带标签的GID数据集。
步骤二：网络设计
基于AdapSegnet设计卷积神经网络，具体结构是由基于resnet的生成网络和带6层卷积的判别网络组成的生成对抗式神经网络，在生成网络resnet最后一层链接遥感图像的NDWI值。
步骤三：网络训练与输出
对上述生成网络进行训练，训练时交替数据集优化损失函数，最终可以将输入的Landsat卫星遥感图像输入到生成网络得到水陆分割的结果。
所述数据获取具体包括：
1-1：对于Landsat卫星遥感数据，找到包含江河流域及海岸线附近的区域，设置为ROI。另外由于卫星遥感数据存在几何畸变的问题，对于需要的Landsat卫星遥感数据尺寸该方法不需要固定要求。
1-2：对于得到的Landsat卫星遥感数据进行线性拉，伸抑制不重要的灰度空间，并使用RED、GREEN、BLUE、NIR四个波段合成四通道的Landsat卫星遥感图像作为模型的输入。
1-3：使用带NIR波段的GID公开标注数据集作为源数据集进行域适应学习。
所述网络设计具体包括：域适应网络以AdaptSegnet为基础，在原始AdaptSegnet网络结构中的生成网络中最后一层中链接遥感图像NDWI值，以保留原始图像中的细节信息，然后接1X1的卷积得到最终预测特征图。
本发明与现有技术相比具有直接对输入的Landsat卫星遥感数据输出水陆分割的识别结果，相比较于野外实测的方法，更加简单，可以直接使用公开的监督数据集对神经网络进行域适应，避免了对自己数据集的标注，节省了大量的人力与时间。
附图说明
图1为本发明流程图；
图2为卷积神经网络架构图；
图3为生成网络的结构示意图。
具体实施方式
以下结合附图和具体实施方式对本发明作进一步的详细说明。
实施例1
参阅附图1，本发明利用Landsat卫星形成的遥感波段数据，通过线性拉伸合成四通道的图像，使其图像风格与公开标注数据集GID相似。然后基于AdaptSegnet设计生成式对抗训练卷积神经网络，将带监督的GID数据集和不带监督的landsat8数据集映射到相同的特征空间上，来进行分割。同时，将图像的NDWI值链接到特征空间，保留图像的细节信息。训练时交替传入两种数据集，对于GID数据集分别优化网络模型中的生成网络G和判别网络D，对于landsat8数据集优化网络模型中的判别网络D。最终可以根据训练完成的生成网络G将输入的Landsat卫星遥感图像输出预测的水陆分割结果。具体操作按以下步骤进行：
(一)卫星遥感数据的处理
对于landsat8数据集，由于缺乏相应的水陆标签，当与带标注的GID数据集做域适应时，使其图像风格相似。将得到的原始landsat8波段数据，通过2％的线性拉伸，将波段值映射到0～255之间。并将RED、GREEN、BLUE、NIR四个波段融合，使其与GID数据集相对应。
(二)网络模型的设计
参阅附图2，卷积神经网络以AdaptSegnet网络为基础。
参阅附图3，在AdaptSegnet网络结构中的生成网络G用来对遥感图像进行水陆分割，判别网络D用来分辨分割后的特征图像来自源数据集还是目标数据集。此外将遥感图像的NDWI值链接入生成网络G中resnet的最后一层，并接一层1x1的卷积操作，输出为2通道的2分类特征图。
(三)网络的训练以及输出
训练时使用GAN loss优化模型，其具体训练过程如下述a～c式：
Figure BDA0003084091370000031
Figure BDA0003084091370000032
Figure BDA0003084091370000033
其中：Is为源数据集；It为目标数据集；λ为比例系数；N为图像的像素数；C为图像的通道数，
Figure BDA0003084091370000034
为源数据集对于像素位置对应通道的标签；G为生成网络；D为判别网络。
训练过程中，交替训练landsat8与GID数据集。训练时先固定判别网络D，训练生成网络G；使用GID源数据集优化
Figure BDA0003084091370000035
使用landsat8优化
Figure BDA0003084091370000036
将其预测为0。然后固定生成网络G训练判别网络D，使用GID优化
Figure BDA0003084091370000041
将其预测为0，使用landsat8优化
Figure BDA0003084091370000042
将其预测为1。
最终可以将输入的Landsat卫星遥感图像输入到生成网络G得到水陆分割的结果。
本发明采用标注精细的公开数据集作为源数据，极大减轻了人工成本，并在分割网络中链接遥感图像的NDWI值，保留了图像中的原始细节，且具有非常良好的性能。以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。

Claims (3)

1.一种遥感图像无监督域自适应的水陆分割方法，其特征在于采用无监督的域适应方法，以标注精细的公开数据集作为源数据，使用公开的监督数据集对神经网络进行域适应，使模型对Landsat卫星遥感数据进行水陆分割，具体实施包括以下步骤：
步骤一：数据获取
获取Landsat卫星遥感波段数据并进行线性拉伸，使用RED、GREEN、BLUE和NIR四个波段合成四通道的图像，获取公开带标签的GID数据集；
步骤二：网络设计
基于AdapSegnet设计域适应生成式对抗网络，并在生成网络resnet最后一层链接遥感图像的NDWI值，所述基于AdapSegnet设计卷积神经网络，具体结构是由基于resnet的生成网络和带6层卷积的判别网络组成的生成对抗式神经网络，在生成网络resnet最后一层链接遥感图像的NDWI值；
步骤三：网络训练与输出
对上述生成网络进行训练，训练时交替数据集优化损失函数，然后将Landsat卫星遥感图像输入到训练后的生成网络得到水陆分割的结果，训练时使用GAN loss优化模型，其具体训练过程如下述a～c式：
Figure FDA0003474766960000011
Figure FDA0003474766960000012
Figure FDA0003474766960000013
其中：
Figure 1
为源数据集；
Figure 2
为目标数据集；
Figure 3
为比例系数；N为图像的像素数；C为图像的通道数，
Figure FDA0003474766960000014
为源数据集对于像素位置对应通道的标签；G为生成网络；D为判别网络；
训练过程中，交替训练landsat8与GID数据集；训练时先固定判别网络D，训练生成网络G；使用GID源数据集优化
Figure FDA0003474766960000015
使用landsat8优化
Figure FDA0003474766960000016
将其预测为0；然后固定生成网络G训练判别网络D，使用GID优化
Figure FDA0003474766960000017
将其预测为0，使用landsat8优化
Figure FDA0003474766960000018
将其预测为1；
最终可以将输入的Landsat卫星遥感图像输入到生成网络G得到水陆分割的结果。
2.根据权利要求1所述遥感图像无监督域自适应的水陆分割方法 ，其特征在于所述步骤一的数据获取具体包括：
1-1：对Landsat卫星遥感数据，找到包含江河流域及海岸线附近的区域，设置为ROI；
1-2：对Landsat卫星遥感数据进行线性拉伸，抑制不重要的灰度空间，并以RED、GREEN、BLUE和NIR四个波段合成四通道的Landsat卫星遥感图像为模型的输入；
1-3：使用带NIR波段的GID公开标注数据集作为源数据集进行域适应学习。
3.根据权利要求1所述遥感图像无监督域自适应的水陆分割方法 ，其特征在于所述步骤二的网络设计是以AdaptSegnet为基础的域适应网络，在原始AdaptSegnet网络结构中的生成网络中最后一层中链接遥感图像NDWI值，以保留原始图像中的细节信息，然后接1X1的卷积得到最终预测特征图。
CN202110575350.0A 2021-05-26 2021-05-26 一种遥感图像无监督域自适应的水陆分割方法 Active CN113269789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110575350.0A CN113269789B (zh) 2021-05-26 2021-05-26 一种遥感图像无监督域自适应的水陆分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110575350.0A CN113269789B (zh) 2021-05-26 2021-05-26 一种遥感图像无监督域自适应的水陆分割方法

Publications (2)

Publication Number Publication Date
CN113269789A CN113269789A (zh) 2021-08-17
CN113269789B true CN113269789B (zh) 2022-04-05

Family

ID=77232812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110575350.0A Active CN113269789B (zh) 2021-05-26 2021-05-26 一种遥感图像无监督域自适应的水陆分割方法

Country Status (1)

Country Link
CN (1) CN113269789B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109489637B (zh) * 2018-11-08 2019-10-18 清华大学 水量变化监测方法、装置、计算机设备和存储介质
CN111709379B (zh) * 2020-06-18 2023-04-18 广西壮族自治区农业科学院 基于遥感影像的丘陵区柑橘种植地块监测方法及系统
CN111860351B (zh) * 2020-07-23 2021-04-30 中国石油大学(华东) 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法

Also Published As

Publication number Publication date
CN113269789A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110969088B (zh) 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN112036335B (zh) 一种反卷积引导的半监督植物叶部病害识别与分割方法
CN112017191A (zh) 基于注意力机制的肝脏病理图像分割模型建立及分割方法
CN111986099A (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN112749621B (zh) 一种基于深度卷积神经网络的遥感图像云层检测方法
CN106570485B (zh) 一种基于深度学习的筏式养殖遥感图像场景标注方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN110598564B (zh) 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN115661655B (zh) 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN111738954A (zh) 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN110689065A (zh) 一种基于扁平混合卷积神经网络的高光谱图像分类方法
CN114676773A (zh) 基于sar数据的北极海冰分类方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN111242134A (zh) 一种基于特征自适应学习的遥感影像地物分割方法
Matsuoka et al. Automatic detection of stationary fronts around Japan using a deep convolutional neural network
CN116933141B (zh) 一种基于多核图学习的多光谱激光雷达点云分类方法
CN113269789B (zh) 一种遥感图像无监督域自适应的水陆分割方法
Li et al. Change detection in synthetic aperture radar images based on log-mean operator and stacked auto-encoder
WO2023201772A1 (zh) 基于迭代域内适应和自训练的跨域遥感图像语义分割方法
CN115861818A (zh) 基于注意力机制联合卷积神经网络的细小水体提取方法
CN113205484B (zh) 一种基于迁移学习的乳腺组织分类识别方法
CN113642663B (zh) 一种卫星遥感影像水体提取方法
CN117726915B (zh) 遥感数据空谱融合方法及装置、存储介质与终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant