CN113012049B - 一种基于gan网络的遥感数据隐私保护方法 - Google Patents

一种基于gan网络的遥感数据隐私保护方法 Download PDF

Info

Publication number
CN113012049B
CN113012049B CN202110403219.6A CN202110403219A CN113012049B CN 113012049 B CN113012049 B CN 113012049B CN 202110403219 A CN202110403219 A CN 202110403219A CN 113012049 B CN113012049 B CN 113012049B
Authority
CN
China
Prior art keywords
remote sensing
image
network
resolution
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110403219.6A
Other languages
English (en)
Other versions
CN113012049A (zh
Inventor
孙善宝
罗清彩
张鑫
解萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Original Assignee
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Generation Information Industry Technology Research Institute Co Ltd filed Critical Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority to CN202110403219.6A priority Critical patent/CN113012049B/zh
Publication of CN113012049A publication Critical patent/CN113012049A/zh
Application granted granted Critical
Publication of CN113012049B publication Critical patent/CN113012049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于GAN网络的遥感数据隐私保护方法,构建了遥感数据脱敏网络模型,模型充分考虑到遥感影像的特点,采用了超分辨率图像生成和隐私目标图像消除修复两种方式,生成了更加合理的数据脱敏高分辨率遥感影像。与传统的生成方式技术相比,采用GAN网络能够更好的隐藏敏感信息,生成出更逼真的影像数据;将原始遥感影像数据的内容压缩,采用GAN网络生成超分辨率图像,能更好的模拟原始图像的同时也能消除一些原始图像的细节,并且生成出一些干扰数据,达到更好的保护隐私的效果;采用先目标检测,后语义分割来找到身份个体的方式,提升了目标查找处理效率,采用删除身份个体再图像修复还原的方式,能更好的消除遥感影像上的身份隐私。

Description

一种基于GAN网络的遥感数据隐私保护方法
技术领域
本发明涉及遥感和深度学习技术领域,具体涉及一种基于GAN网络的遥感数据隐私保护方法。
背景技术
生成式对抗网络(GAN, Generative Adversarial Networks )是无监督式学习的一种方法,最初由 Ian Goodfellow 提出,是近年来复杂分布上无监督学习最重要的方法之一。生成对抗网络由一个生成网络(Generator)与一个判别网络(Discriminator)组成,生成网络从潜在空间中随机取样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来。通过两个网络在同一时间训练并且在极小化极大算法中进行竞争,通过互相博弈学习产生高质量的输出,最终通过其相互对抗学习,从复杂概率分布中采样,完成两个神经网络的训练。GAN网络技术已经广泛应用于计算机视觉、自然语言处理、语音生成等多个领域。
近年来,随着遥感技术的发展,遥感数据的应用更加广泛,在获取基础地理数据、资源信息和应急灾害数据方面,遥感比其它技术手段更有优势,也有越来越多的GIS系统依赖于遥感信息。卫星拍摄得到的多光谱图像和全色图像,通过图像融合形成更高空间分辨率和光谱分辨率的遥感影像,实现准确地识别和定位影像中的物体。在遥感数据充分利用的同时,数据脱敏和隐私保护也更加重要,在实际应用中的遥感数据需要进行处理,例如改变某个山体或建筑的区域形状和坐标,隐藏掉某些代表身份信息的个体等,这需要进行大量的工作。在这种情况下,如何有效利用GAN网络技术,高效准确的生成脱敏遥感数据,实现遥感数据的隐私保护成为亟须解决的问题。
发明内容
本发明为了克服以上技术的不足,提供了一种利用GAN网络结合超分辨率图像生成和隐私目标图像消除修复两种方法,训练并形成遥感数据脱敏神经网络,实现生成更加合理的数据脱敏高分辨率遥感影像的方法。
本发明克服其技术问题所采用的技术方案是:
一种基于GAN网络的遥感数据隐私保护方法,包括如下步骤:
a)根据卫星得到的多光谱图像及全色图像,对图像进行融合,得到脱敏后的整张高分辨率遥感图像Xhr;
b)训练超分辨率生成对抗网络,超分辨生成对抗网络由生成器Gsr和判别器Dsr构成;
c)将原始的高分辨率遥感影像Xh经过分辨率压缩模块处理得到压缩后遥感影像Xc,建立由数据对(Xc,Xhr)构成的训练集;
d)固定判别器Dsr的网络参数,将遥感影像Xc输入到生成器Gsr中,生成超分辨率遥感影像Xg;
e)固定生成器Gsr的网络参数,训练判别器Dsr;
f)交替训练判别器Dsr和生成器Gsr,得到超分辨率生成对抗网络模型;
g)训练生成对抗网络GaN,生成对抗网络GaN由生成器Ginp和判别器Dinp构成;
h)将原始的高分辨率遥感影像Xh依次经过目标检测模块、目标图像语义分割模块、目标区域消除模块处理后得到遥感影像Xd,建立由数据对(Xd,Xhr)构成的训练集;
i)固定判别器Dinp,将遥感影像Xd输入到生成器Ginp中,生成遥感影像Xinp;
j)固定生成器Ginp的网络参数,训练判别器Dinp;
k)交替训练生成器Ginp和判别器Dinp,得到图像修复生成对抗网络模型;
l)建立由超分辨率生成对抗网络模型和图像修复生成对抗网络模型构成的遥感数据脱敏网络模型;
m)将卫星得到的多光谱图像及全色图像输入遥感数据脱敏网络模型得到处理后的遥感图像。
进一步的,步骤d)中设定数据对(Xc,Xhr)为1,设定数据对(Xc,Xg)为负1,采用梯度下降优化算法更新生成器Gsr的网络参数。
进一步的,步骤h)中目标检测模块用于找到原始的高分辨率遥感影像Xh中的隐藏目标,目标图像语义分割模块用于识别出原始的高分辨率遥感影像Xh中的目标区域,目标区域消除模块用于将目标区域消除形成遥感影像Xd。
进一步的,步骤i)中设定数据对(Xd,Xhr)为1,设定数据对(Xd,Xinp)为负1,采用梯度下降优化算法更新生成器Ginp的网络参数。
本发明的有益效果是:利用GAN网络和深度学习技术,构建了遥感数据脱敏网络模型,模型充分考虑到遥感影像的特点,针对重要山体或建筑区域形状变化隐藏、个体身份隐藏等具体的隐私要求,采用了超分辨率图像生成和隐私目标图像消除修复两种方式,生成了更加合理的数据脱敏高分辨率遥感影像。与传统的生成方式技术相比,采用GAN网络能够更好的隐藏敏感信息,生成出更逼真的影像数据;将原始遥感影像数据的内容压缩,采用GAN网络生成超分辨率图像,能更好的模拟原始图像的同时也能消除一些原始图像的细节,并且生成出一些干扰数据,达到更好的保护隐私的效果;采用先目标检测,后语义分割来找到身份个体的方式,提升了目标查找处理效率,采用删除身份个体再图像修复还原的方式,能更好的消除遥感影像上的身份隐私。另外,持续收集反馈数据来优化模型,进一步提升模型准确性,根据业务形成更具个性化的生成模型,实现更有针对性的脱敏遥感影像数据生成。
附图说明
图1为本发明的方法结构图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种基于GAN网络的遥感数据隐私保护方法,包括如下步骤:
a)根据卫星得到的多光谱图像及全色图像,对图像进行融合,得到脱敏后的整张高分辨率遥感图像Xhr。
b)训练超分辨率生成对抗网络,超分辨生成对抗网络由生成器Gsr和判别器Dsr构成。
c)将原始的高分辨率遥感影像Xh经过分辨率压缩模块处理得到压缩后遥感影像Xc,建立由数据对(Xc,Xhr)构成的训练集。
d)固定判别器Dsr的网络参数,将遥感影像Xc输入到生成器Gsr中,生成超分辨率遥感影像Xg。
e)固定生成器Gsr的网络参数,训练判别器Dsr。将误差反向传播,更新所述的辨别器网络参数,使得辨别器能区分真实的遥感影像数据对(低分辨率遥感影像Xc,实际的脱敏超分辨率遥感影像Xhr)与生成的遥感影像数据对(低分辨率遥感影像Xc,生成的超分辨率遥感影像Xg)。
f)交替训练判别器Dsr和生成器Gsr,得到超分辨率生成对抗网络模型。
g)训练生成对抗网络GaN,生成对抗网络GaN由生成器Ginp和判别器Dinp构成。
h)将原始的高分辨率遥感影像Xh依次经过目标检测模块、目标图像语义分割模块、目标区域消除模块处理后得到遥感影像Xd,建立由数据对(Xd,Xhr)构成的训练集。
i)固定判别器Dinp,将遥感影像Xd输入到生成器Ginp中,生成遥感影像Xinp。
j)固定生成器Ginp的网络参数,训练判别器Dinp。将误差反向传播,更新所述的辨别器Dinp网络参数,使得辨别器能区分真实的遥感影像数据对(Xd,Xhr)与生成的遥感影像数据对(Xd,Xinp)。
k)交替训练生成器Ginp和判别器Dinp,得到图像修复生成对抗网络模型。
l)建立由超分辨率生成对抗网络模型和图像修复生成对抗网络模型构成的遥感数据脱敏网络模型。
m)将卫星得到的多光谱图像及全色图像输入遥感数据脱敏网络模型得到处理后的遥感图像。
利用GAN网络和深度学习技术,构建了遥感数据脱敏网络模型,模型充分考虑到遥感影像的特点,针对重要山体或建筑区域形状变化隐藏、个体身份隐藏等具体的隐私要求,采用了超分辨率图像生成和隐私目标图像消除修复两种方式,生成了更加合理的数据脱敏高分辨率遥感影像。与传统的生成方式技术相比,采用GAN网络能够更好的隐藏敏感信息,生成出更逼真的影像数据;将原始遥感影像数据的内容压缩,采用GAN网络生成超分辨率图像,能更好的模拟原始图像的同时也能消除一些原始图像的细节,并且生成出一些干扰数据,达到更好的保护隐私的效果;采用先目标检测,后语义分割来找到身份个体的方式,提升了目标查找处理效率,采用删除身份个体再图像修复还原的方式,能更好的消除遥感影像上的身份隐私。另外,持续收集反馈数据来优化模型,进一步提升模型准确性,根据业务形成更具个性化的生成模型,实现更有针对性的脱敏遥感影像数据生成。
实施例1:
步骤d)中设定数据对(Xc,Xhr)为1,设定数据对(Xc,Xg)为负1,采用梯度下降优化算法更新生成器Gsr的网络参数。使得所述的辨别器Dsr无法区分真实的遥感影像数据对(低分辨率遥感影像Xc,实际的脱敏超分辨率遥感影像Xhr)与生成的遥感影像数据对(低分辨率遥感影像Xc,生成的超分辨率遥感影像Xg)。
实施例2:
具体的,步骤h)中目标检测模块用于找到原始的高分辨率遥感影像Xh中的隐藏目标,目标图像语义分割模块用于识别出原始的高分辨率遥感影像Xh中的目标区域,目标区域消除模块用于将目标区域消除形成遥感影像Xd。
实施例3:
步骤i)中设定数据对(Xd,Xhr)为1,设定数据对(Xd,Xinp)为负1,采用梯度下降优化算法更新生成器Ginp的网络参数。使得所述的辨别器Dinp无法区分真实的遥感影像数据对(Xd,Xhr)与生成的遥感影像数据(Xd,Xinp)。
需要说明的是,以上所述的实施例,只是本发明具体实施方式的一种,本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (4)

1.一种基于GAN网络的遥感数据隐私保护方法,其特征在于,包括如下步骤:
a)根据卫星得到的多光谱图像及全色图像,对图像进行融合,得到脱敏后的整张高分辨率遥感图像Xhr;
b)训练超分辨率生成对抗网络,超分辨生成对抗网络由生成器Gsr和判别器Dsr构成;
c)将原始的高分辨率遥感影像Xh经过分辨率压缩模块处理得到压缩后遥感影像Xc,建立由数据对(Xc,Xhr)构成的训练集;
d)固定判别器Dsr的网络参数,将遥感影像Xc输入到生成器Gsr中,生成超分辨率遥感影像Xg;
e)固定生成器Gsr的网络参数,训练判别器Dsr;
f)交替训练判别器Dsr和生成器Gsr,得到超分辨率生成对抗网络模型;
g)训练生成对抗网络GaN,生成对抗网络GaN由生成器Ginp和判别器Dinp构成;
h)将原始的高分辨率遥感影像Xh依次经过目标检测模块、目标图像语义分割模块、目标区域消除模块处理后得到遥感影像Xd,建立由数据对(Xd,Xhr)构成的训练集;
i)固定判别器Dinp,将遥感影像Xd输入到生成器Ginp中,生成遥感影像Xinp;
j)固定生成器Ginp的网络参数,训练判别器Dinp;
k)交替训练生成器Ginp和判别器Dinp,得到图像修复生成对抗网络模型;
l)建立由超分辨率生成对抗网络模型和图像修复生成对抗网络模型构成的遥感数据脱敏网络模型;
m)将卫星得到的多光谱图像及全色图像输入遥感数据脱敏网络模型得到处理后的遥感图像。
2.根据权利要求1所述的基于GAN网络的遥感数据隐私保护方法,其特征在于:步骤d)中设定数据对(Xc,Xhr)为1,设定数据对(Xc,Xg)为负1,采用梯度下降优化算法更新生成器Gsr的网络参数。
3.根据权利要求1所述的基于GAN网络的遥感数据隐私保护方法,其特征在于:步骤h)中目标检测模块用于找到原始的高分辨率遥感影像Xh中的隐藏目标,目标图像语义分割模块用于识别出原始的高分辨率遥感影像Xh中的目标区域,目标区域消除模块用于将目标区域消除形成遥感影像Xd。
4.根据权利要求1所述的基于GAN网络的遥感数据隐私保护方法,其特征在于:步骤i)中设定数据对(Xd,Xhr)为1,设定数据对(Xd,Xinp)为负1,采用梯度下降优化算法更新生成器Ginp的网络参数。
CN202110403219.6A 2021-04-15 2021-04-15 一种基于gan网络的遥感数据隐私保护方法 Active CN113012049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110403219.6A CN113012049B (zh) 2021-04-15 2021-04-15 一种基于gan网络的遥感数据隐私保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110403219.6A CN113012049B (zh) 2021-04-15 2021-04-15 一种基于gan网络的遥感数据隐私保护方法

Publications (2)

Publication Number Publication Date
CN113012049A CN113012049A (zh) 2021-06-22
CN113012049B true CN113012049B (zh) 2022-08-02

Family

ID=76388635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110403219.6A Active CN113012049B (zh) 2021-04-15 2021-04-15 一种基于gan网络的遥感数据隐私保护方法

Country Status (1)

Country Link
CN (1) CN113012049B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005789A (zh) * 2015-07-01 2015-10-28 北京理工大学 一种基于视觉词汇的遥感图像地物分类方法
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
CN110992262A (zh) * 2019-11-26 2020-04-10 南阳理工学院 一种基于生成对抗网络的遥感图像超分辨重建方法
GB202101106D0 (en) * 2020-07-14 2021-03-10 Aerospace Information Research Institute Chinese Academy Of Sciences Method and device for performing inversion of crop leaf area index

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005789A (zh) * 2015-07-01 2015-10-28 北京理工大学 一种基于视觉词汇的遥感图像地物分类方法
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
CN110992262A (zh) * 2019-11-26 2020-04-10 南阳理工学院 一种基于生成对抗网络的遥感图像超分辨重建方法
GB202101106D0 (en) * 2020-07-14 2021-03-10 Aerospace Information Research Institute Chinese Academy Of Sciences Method and device for performing inversion of crop leaf area index

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Gans-Based Deep Learning Framework for Automatic Subsurface Object Recognition From Ground Penetrating Radar Data;XIN ZHANG,LIANGXIU HAN,MARK ROBINSON等;《IEEE Access》;20210315;第39009-39016页 *
改进的遥感图像语义分割研究;熊风光,张鑫,韩燮等;《计算机工程与应用》;20210329;第185-190页 *

Also Published As

Publication number Publication date
CN113012049A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN110119703B (zh) 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法
CN106778590B (zh) 一种基于卷积神经网络模型的暴恐视频检测方法
CN110570433B (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
Cao et al. Adversarial learning with local coordinate coding
WO2019232772A1 (en) Systems and methods for content identification
CN112164002B (zh) 人脸矫正模型的训练方法、装置、电子设备及存储介质
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN111754637B (zh) 一种样本相似度抑制的大尺度三维人脸合成系统
Kaluri et al. A framework for sign gesture recognition using improved genetic algorithm and adaptive filter
CN104700100A (zh) 面向高空间分辨率遥感大数据的特征提取方法
CN111008570B (zh) 一种基于压缩-激励伪三维网络的视频理解方法
CN113378949A (zh) 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN113283524A (zh) 一种基于对抗攻击的深度神经网络近似模型分析方法
CN116740422A (zh) 基于多模态注意力融合技术的遥感图像分类方法及装置
CN113806564B (zh) 多模态信息性推文检测方法及系统
CN114937298A (zh) 一种基于特征解耦的微表情识别方法
CN114782752A (zh) 基于自训练的小样本图像集成分类方法及装置
CN110659702A (zh) 基于生成式对抗网络模型书法字帖评价系统及方法
CN113222002A (zh) 一种基于生成式鉴别性对比优化的零样本分类方法
CN117033609A (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN113012049B (zh) 一种基于gan网络的遥感数据隐私保护方法
CN115965968A (zh) 基于知识引导的小样本目标检测识别方法
CN111739168B (zh) 一种样本相似度抑制的大尺度三维人脸合成方法
Pang et al. PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant