CN111428678A - 一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法 - Google Patents

一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法 Download PDF

Info

Publication number
CN111428678A
CN111428678A CN202010254751.1A CN202010254751A CN111428678A CN 111428678 A CN111428678 A CN 111428678A CN 202010254751 A CN202010254751 A CN 202010254751A CN 111428678 A CN111428678 A CN 111428678A
Authority
CN
China
Prior art keywords
network
image
remote sensing
sensing image
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010254751.1A
Other languages
English (en)
Other versions
CN111428678B (zh
Inventor
张轶
陈杰
朱晶茹
刘方亮
刘丽花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhuozhi Software Co ltd
Original Assignee
Shandong Zhuoyuan Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhuoyuan Data Technology Co ltd filed Critical Shandong Zhuoyuan Data Technology Co ltd
Priority to CN202010254751.1A priority Critical patent/CN111428678B/zh
Publication of CN111428678A publication Critical patent/CN111428678A/zh
Application granted granted Critical
Publication of CN111428678B publication Critical patent/CN111428678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本本发明提供一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法，标注数据；构建训练数据；构建生成对抗网络；计算生成图像与后一时相间误差；生成图像与融合特征图联接；后一时相的遥感影像与融合特征图联接；误差反向传播；生成网络进行训练；遥感影像与变化标签为生成网络输入，生成网络输出为后一时相遥感影像；优点为：本发明得到高精度高质量的影像，用于模拟多时相地物变化，达到对深度神经网络技术应用的变化检测数据集进行扩充的目的；实现对变化检测三元组数据的扩充；将前一时相的遥感影像与变化标签融合生成对抗网络输入，生成后一时相遥感影像的方法，生成的变化检测样本清晰、变化合理、地物变化具备多样性。

Description

一种面向地物变化检测的空间约束条件下生成对抗网络遥感 影像样本扩充方法
技术领域
本发明涉及遥感影像变化检测领域，尤其是涉及一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法。
背景技术
遥感影像变化检测是利用不同时期覆盖同一地表区域的多源遥感影像，确定和分析该地域地物的变化，包括地物位置、范围的变化和地物性质、状态的变化。深度学习在遥感影像变化检测任务上取得了革命性的突破，但是基于深度学习的遥感影像变化检测需要耗费大量人力及时间进行人工手动勾画出像素级标签数据支撑模型训练。若缺乏充足遥感数据或样本采集区域地物变化较少将导致样本匮乏，神经网络难以达到预期效果。
条件生成对抗网络在生成以人脸、动物、汽车等物体为主要目标的图像生成任务中取得了较好效果，但生成图像背景中依然会出现不可识别或不合逻辑的物体。在遥感影像中，多类地物覆盖整副图像，且同类地物离散分布于图像的各个位置，难以区分主目标与背景，导致以标签作为条件的传统条件生成对抗网络难以生成较为真实的遥感影像，更无法构建异谱同物且在特定位置发生地物变化的变化检测样本。
发明内容
本发明的目的在于为解决现有技术的不足，而提供一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法。
本发明新的技术方案是：一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法，所述的对抗网络遥感影像样本扩充步骤如下：
1）标注数据
对同一区域不同时相获取的两幅遥感影像进行比较，将变化的区域进行人工标注，标注结果为单通道的二值图像，作为同一区域多时相特定位置变化信息，将用于生成网络形成位置约束；
2）构建训练数据
将成对的遥感影像及对应的变化标注图，以n为步长裁剪成n*n大小的图像块组，构成训练数据集；
3）搭建多时相变化样本生成网络
3.1）在生成网络中，对于n*n*3大小的前一时相遥感影像的RGB三通道图和带有位置约束的n*n*1的变化标签，通过一个特征融合模块得到大小为n*n*4的特征图；
3.2）在生成网络中，将步骤3.1）得到的大小为n*n*4的图像作为条件，输入到一个端到端训练的编码-解码网络，得到一个大小为n*n*3的RGB三通道生成图像；生成网络的期望输出是后一时相特定位置带有变化信息的遥感影像，将生成网络的实际输出与期望输出利用均方误差公式计算得到误差；
4）将步骤3）得到的n*n*3的生成图像与步骤3.1）获得的n*n*4的融合特征图联接为n*n*7，作为判别器的输入，经过判别器之后得到一个介于0和1之间的概率值，因输入图像是生成图像，判别器的期望输出是0，将判别器的实际输出与期望输出经过二分类交叉熵损失函数计算得到误差；
5）将训练数据集中n*n*3大小的后一时相的遥感影像与步骤3.1）获得的n*n*4的融合特征图联接为n*n*7，作为判别器的输入，经过判别器之后得到一个介于0和1之间的概率值，因输入图像是训练集中真实图像，判别器的期望输出是1，将判别器的实际输出与期望输出经过二分类交叉熵损失函数计算得到误差；
6）将步骤3）步骤4）步骤5）得到的误差反向传播，更新生成网络和判别网络参数；
7）将步骤2）中的训练数据中的所有的前后时相的遥感影像以及对应带有位置约束的标签图像，经过步骤3）步骤4）步骤5）步骤6）对生成网络进行训练，直至生成网络和判别网络达到平衡状态，模型训练完成；
8）将训练完成的生成对抗网络中的生成网络单独取出进行应用，将一张遥感影像与期望变化标签图像裁剪成n*n大小的图像块，并将其作为生成网络的输入，生成网络的输出即为后一时相的遥感影像，从而实现训练样本的扩充。
步骤2）中n取值为256、512或1024。
本发明的有益效果为：本发明得到高精度高质量的影像，模拟多时相地物变化，对深度神经网络技术应用的变化检测数据集进行扩充；使用生成对抗网络实现对变化检测三元组数据的扩充；提出将前一时相的遥感影像与变化标签进行融合，作为生成对抗网络的输入，从而生成后一时相的遥感影像的方法，生成的变化检测样本清晰、变化合理、地物变化具备多样性。将真实遥感影像与变化标签融合（n*n*4），作为生成网络的输入，生成n*n*3的图像，大部分非标注区域与真实遥感影像仅具有细微差别；仅标注区域作为变化区域具有显著差别，减少生成网络生成的信息量，使得训练易收敛，生成效果更稳定可控；
将输入信息扩充至真实影像、生成的变化影像、空间约束标签（n*n*7），使判别器具备判定两幅影像是否是同一区域（若是则误差减小）、标签中标注区域是否发生地物变化（若是则误差减小）、非标注区域是否发生地物变化（若是则误差增大）的能力，符合变化检测样本需求。
附图说明
图1为本发明的连接框图。
具体实施方式
下面结合附图对本发明作进一步的说明。
一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法，所述的对抗网络遥感影像样本扩充步骤如下：
1）标注数据
对同一区域不同时相获取的两幅遥感影像进行比较，将变化的区域进行人工标注，标注结果为单通道的二值图像，作为同一区域多时相特定位置变化信息，将用于生成网络形成位置约束；
2）构建训练数据
将成对的遥感影像及对应的变化标注图，以n为步长裁剪成n*n大小的图像块组，构成训练数据集；
3）搭建多时相变化样本生成网络
3.1）在生成网络中，对于n*n*3大小的前一时相遥感影像的RGB三通道图和带有位置约束的n*n*1的变化标签，通过一个特征融合模块得到大小为n*n*4的特征图；
3.2）在生成网络中，将步骤3.1）得到的大小为n*n*4的图像作为条件，输入到一个端到端训练的编码-解码网络，得到一个大小为n*n*3的RGB三通道生成图像；生成网络的期望输出是后一时相特定位置带有变化信息的遥感影像，将生成网络的实际输出与期望输出利用均方误差公式计算得到误差；
4）将步骤3）得到的n*n*3的生成图像与步骤3.1）获得的n*n*4的融合特征图联接为n*n*7，作为判别器的输入，经过判别器之后得到一个介于0和1之间的概率值，因输入图像是生成图像，判别器的期望输出是0，将判别器的实际输出与期望输出经过二分类交叉熵损失函数计算得到误差；
5）将训练数据集中n*n*3大小的后一时相的遥感影像与步骤3.1）获得的n*n*4的融合特征图联接为n*n*7，作为判别器的输入，经过判别器之后得到一个介于0和1之间的概率值，因输入图像是训练集中真实图像，判别器的期望输出是1，将判别器的实际输出与期望输出经过二分类交叉熵损失函数计算得到误差；
6）将步骤3）步骤4）步骤5）得到的误差反向传播，更新生成网络和判别网络参数；
7）将步骤2）中的训练数据中的所有的前后时相的遥感影像以及对应带有位置约束的标签图像，经过步骤3）步骤4）步骤5）步骤6）对生成网络进行训练，直至生成网络和判别网络达到平衡状态，模型训练完成；
8）将训练完成的生成对抗网络中的生成网络单独取出进行应用，将一张遥感影像与期望变化标签图像裁剪成n*n大小的图像块，并将其作为生成网络的输入，生成网络的输出即为后一时相的遥感影像，从而实现训练样本的扩充。
步骤2）中n取值为256、512或1024。

Claims (2)

1.一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法，其特征在于：
所述的对抗网络遥感影像样本扩充步骤如下：
1）标注数据
对同一区域不同时相获取的两幅遥感影像进行比较，将变化的区域进行人工标注，标注结果为单通道的二值图像，作为同一区域多时相特定位置变化信息，将用于生成网络形成位置约束；
2）构建训练数据
将成对的遥感影像及对应的变化标注图，以n为步长裁剪成n*n大小的图像块组，构成训练数据集；
3）搭建多时相变化样本生成网络
3.1）在生成网络中，对于n*n*3大小的前一时相遥感影像的RGB三通道图和带有位置约束的n*n*1的变化标签，通过一个特征融合模块得到大小为n*n*4的特征图；
3.2）在生成网络中，将步骤3.1）得到的大小为n*n*4的图像作为条件，输入到一个端到端训练的编码-解码网络，得到一个大小为n*n*3的RGB三通道生成图像；生成网络的期望输出是后一时相特定位置带有变化信息的遥感影像，将生成网络的实际输出与期望输出利用均方误差公式计算得到误差；
4）将步骤3）得到的n*n*3的生成图像与步骤3.1）获得的n*n*4的融合特征图联接为n*n*7，作为判别器的输入，经过判别器之后得到一个介于0和1之间的概率值，因输入图像是生成图像，判别器的期望输出是0，将判别器的实际输出与期望输出经过二分类交叉熵损失函数计算得到误差；
5）将训练数据集中n*n*3大小的后一时相的遥感影像与步骤3.1）获得的n*n*4的融合特征图联接为n*n*7，作为判别器的输入，经过判别器之后得到一个介于0和1之间的概率值，因输入图像是训练集中真实图像，判别器的期望输出是1，将判别器的实际输出与期望输出经过二分类交叉熵损失函数计算得到误差；
6）将步骤3）步骤4）步骤5）得到的误差反向传播，更新生成网络和判别网络参数；
7）将步骤2）中的训练数据中的所有的前后时相的遥感影像以及对应带有位置约束的标签图像，经过步骤3）步骤4）步骤5）步骤6）对生成网络进行训练，直至生成网络和判别网络达到平衡状态，模型训练完成；
8）将训练完成的生成对抗网络中的生成网络单独取出进行应用，将一张遥感影像与期望变化标签图像裁剪成n*n大小的图像块，并将其作为生成网络的输入，生成网络的输出即为后一时相的遥感影像，从而实现训练样本的扩充。
2.根据权利要求1所述的一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法，其特征在于：步骤2）中n取值为256、512或1024。
CN202010254751.1A 2020-04-02 2020-04-02 一种空间约束条件下生成对抗网络遥感影像样本扩充方法 Active CN111428678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010254751.1A CN111428678B (zh) 2020-04-02 2020-04-02 一种空间约束条件下生成对抗网络遥感影像样本扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010254751.1A CN111428678B (zh) 2020-04-02 2020-04-02 一种空间约束条件下生成对抗网络遥感影像样本扩充方法

Publications (2)

Publication Number Publication Date
CN111428678A true CN111428678A (zh) 2020-07-17
CN111428678B CN111428678B (zh) 2023-06-23

Family

ID=71557854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010254751.1A Active CN111428678B (zh) 2020-04-02 2020-04-02 一种空间约束条件下生成对抗网络遥感影像样本扩充方法

Country Status (1)

Country Link
CN (1) CN111428678B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法
CN114460013A (zh) * 2022-01-28 2022-05-10 自然资源部第一海洋研究所 滨海湿地植被地上生物量gan模型自学习遥感反演方法
CN115205692A (zh) * 2022-09-16 2022-10-18 成都戎星科技有限公司 基于生成对抗网络的典型地物要素智能识别与提取方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109697469A (zh) * 2018-12-26 2019-04-30 西北工业大学 一种基于一致性约束的自学习小样本遥感图像分类方法
US20200065619A1 (en) * 2017-11-09 2020-02-27 Boe Technology Group Co., Ltd. Image processing method, processing apparatus and processing device
CN110852225A (zh) * 2019-10-31 2020-02-28 中国地质大学（武汉） 基于深度卷积神经网络的遥感影像红树林提取方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200065619A1 (en) * 2017-11-09 2020-02-27 Boe Technology Group Co., Ltd. Image processing method, processing apparatus and processing device
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109033998A (zh) * 2018-07-04 2018-12-18 北京航空航天大学 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN109697469A (zh) * 2018-12-26 2019-04-30 西北工业大学 一种基于一致性约束的自学习小样本遥感图像分类方法
CN110852225A (zh) * 2019-10-31 2020-02-28 中国地质大学（武汉） 基于深度卷积神经网络的遥感影像红树林提取方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOLONG MA 等: "A New Fusion Approach for Extracting Urban Built-up Areas from Multisource Remotely Sensed Data" *
彭博: "基于深度学习的遥感图像道路信息提取算法研究" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法
CN113705526B (zh) * 2021-09-07 2022-03-04 安徽大学 一种高光谱遥感影像分类方法
CN114460013A (zh) * 2022-01-28 2022-05-10 自然资源部第一海洋研究所 滨海湿地植被地上生物量gan模型自学习遥感反演方法
CN114460013B (zh) * 2022-01-28 2023-10-17 自然资源部第一海洋研究所 滨海湿地植被地上生物量gan模型自学习遥感反演方法
CN115205692A (zh) * 2022-09-16 2022-10-18 成都戎星科技有限公司 基于生成对抗网络的典型地物要素智能识别与提取方法
CN115205692B (zh) * 2022-09-16 2022-11-29 成都戎星科技有限公司 基于生成对抗网络的典型地物要素智能识别与提取方法

Also Published As

Publication number Publication date
CN111428678B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111428678A (zh) 一种面向地物变化检测的空间约束条件下生成对抗网络遥感影像样本扩充方法
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
US10297074B2 (en) Three-dimensional modeling from optical capture
CN109063569B (zh) 一种基于遥感影像的语义级变化检测方法
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN110728707B (zh) 基于非对称深度卷积神经网络的多视角深度预测方法
CN106056607A (zh) 一种基于鲁棒主成分分析的监控图像背景建模方法
CN105005760A (zh) 一种基于有限混合模型的行人再识别方法
CN106709901A (zh) 基于深度先验的模拟雾图生成方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN112613397B (zh) 多视角光学卫星遥感影像目标识别训练样本集构建方法
CN108537825A (zh) 一种基于迁移学习回归网络的目标跟踪方法
CN105654055A (zh) 一种利用视频数据进行人脸识别训练的方法
CN103366158A (zh) 基于三维结构和色彩模型的单目视觉路面检测方法
Zhuo et al. Facade segmentation from oblique UAV imagery
CN109919990B (zh) 利用深度感知网络和视差遥感影像进行森林高度预测方法
Son et al. Partial convolutional LSTM for spatiotemporal prediction of incomplete data
CN113192204B (zh) 单幅倾斜遥感图像中建筑物的三维重建方法
CN111881030B (zh) 基于可理解特征变异的智能交通数据测试样本生成方法
KR100897757B1 (ko) 항공사진과 지아이에스를 이용한 하천의 평면 변화분석시스템 및 그 방법
CN111899284A (zh) 一种基于参数化esm网络的平面目标跟踪方法
Gianinetto et al. Satellite images geometric correction based on non-parametric algorithms and self-extracted GCPs
Cao et al. A Real-Time Visual Environmental Estimation System Using Image Segmentation
CN117689960B (zh) 一种岩性场景分类模型构建方法及分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230517

Address after: R&D Building 9, Software Park, No. 228 Nanyi Road, Dongying City, Shandong Province, 257091

Applicant after: Shandong ZhuoZhi Software Co.,Ltd.

Address before: Room 1203, Building G, International Innovation Park, No.1 Weiyi Road, Keyuan, Laoshan District, Qingdao, Shandong Province, 266100

Applicant before: Shandong Zhuoyuan Data Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant