CN112487999A - 一种基于CycleGAN的遥感图像鲁棒特征提取方法 - Google Patents

一种基于CycleGAN的遥感图像鲁棒特征提取方法 Download PDF

Info

Publication number
CN112487999A
CN112487999A CN202011391148.4A CN202011391148A CN112487999A CN 112487999 A CN112487999 A CN 112487999A CN 202011391148 A CN202011391148 A CN 202011391148A CN 112487999 A CN112487999 A CN 112487999A
Authority
CN
China
Prior art keywords
image
remote sensing
cyclegan
target domain
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011391148.4A
Other languages
English (en)
Other versions
CN112487999B (zh
Inventor
唐浩漾
孟德宇
肖佳欣
杨东方
乔平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Xian University of Posts and Telecommunications
Original Assignee
Xian Jiaotong University
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University, Xian University of Posts and Telecommunications filed Critical Xian Jiaotong University
Priority to CN202011391148.4A priority Critical patent/CN112487999B/zh
Publication of CN112487999A publication Critical patent/CN112487999A/zh
Application granted granted Critical
Publication of CN112487999B publication Critical patent/CN112487999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CycleGAN的遥感图像鲁棒特征提取方法，包括：利用经训练的CycleGAN生成对抗网络对原始遥感图像进行风格迁移，生成具有标准地图风格的图像；利用RCF网络对所生成的具有标准地图风格的图像进行边缘特征提取，获得特征图像；采用结构相似度对所述特征图像进行图像质量评估。该遥感图像鲁棒特征提取方法通过CycleGAN的网络进行图像风格迁移，将自然得到的可见光遥感图像转换为具有标准地图风格的图片，再进行边缘特征提取，有效提高了遥感图像边缘特征提取的精度和准确度。通过对不同光照条件下的遥感图像进行测试，证明该遥感图像鲁棒特征提取方法能够有效完成对不同光照条件下遥感图像的鲁棒特征提取。

Description

一种基于CycleGAN的遥感图像鲁棒特征提取方法
技术领域
本发明属于计算机视觉及遥感智能识别技术领域，具体涉及一种基于CycleGAN的遥感图像鲁棒特征提取方法。
背景技术
空对地遥感图像覆盖范围广、实时性强、信息丰富，在资源勘探、军事侦察等军事和民用领域都得到了非常广泛的应用。在土地规划、资源利用、区域监视等领域，如何提取地表区域的鲁棒特征，实现对地表区域变化情况进行智能分析和处理，是需要解决的共性基础关键问题。
在前深度学习时代，人们倾向于手工设计的图像特征提取方法，实现遥感图像的鲁棒特征提取。然而，这类方法需要研究者具有丰富且扎实的专业知识背景，需要耗费大量的人工标注和时间成本，同时人工设计的特征往往难以适应不同区域、不同天候的环境变化。现有的基于深度学习的图像鲁棒特征提取通常采用边缘特征提取的方法，然而，由于遥感图像内容丰富、类别复杂、弱小目标众多，并且特征提取结果容易受到光照、天气、恶劣气候等影响，这大大降低了遥感图像的特征提取准确率，使其边缘结果模糊、复杂而且弱小目标众多，导致不能很好地提取到遥感图像的鲁棒特征。
在此背景下，本发明提出了一种新的基于生成对抗策略的遥感图像边缘特征鲁棒提取方法，为地表变化统计、区域态势监测以及飞行器的智能导航定位提供了一种新的解决方案。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于CycleGAN的遥感图像鲁棒特征提取方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于CycleGAN的遥感图像鲁棒特征提取方法，包括：
S1：利用经训练的CycleGAN生成对抗网络对原始遥感图像进行风格迁移，生成具有标准地图风格的图像；
S2：利用RCF网络对所生成的具有标准地图风格的图像进行边缘特征提取，获得特征图像；
S3：采用结构相似度对所述特征图像进行图像质量评估。
在本发明的一个实施例中，所述S1包括：
S11：利用训练数据集对原始CycleGAN网络模型进行训练，获得经训练的CycleGAN生成对抗网络，其中，所述训练数据集包括源域训练数据集和目标域训练数据集，所述目标域训练数据集为所述源域训练数据集中的图像经过人工标注得到的；
S12：利用所述经训练的CycleGAN生成对抗网络对可见光遥感图像进行图像风格迁移，生成具有标准地图风格的图像。
在本发明的一个实施例中，所述原始CycleGAN网络包括生成器和判别器，其中，
所述生成器包括编码器、解码器和转换器，所述编码器包括三层卷积层，所述转换器包括六个残差块，所述解码器包括一层去卷积层；
所述判别器用于判别输入的图像为原始遥感图像还是所述生成器输出的图像，并将判别结果反馈至所述生成器。
在本发明的一个实施例中，所述S11包括：
S111：获取多张可见光遥感图像作为源域训练数据集；
S112：对所述多张可见光遥感图像分别进行人工标注，获得多张标准地图风格图像，作为目标域训练数据集；
S113：利用所述源域训练数据集和所述目标域训练数据集分别作为源域和目标域，对原始CycleGAN网络模型进行训练并学习源域与目标域之间的映射函数，获得经训练的CycleGAN生成对抗网络，所述CycleGAN生成对抗网络的损失函数为：
L(G，F，Dx，Dy)＝LGAN(G，Dy，X，Y)+LGAN(F，Dx，Y，X)+λLcyc(G，F)，
其中，LGAN(G，Dy，X，Y)表示从源域到目标域进行映射的生成对抗损失函数，LGAN(F，Dx，Y，X)表示从目标域到源域进行映射的生成对抗损失函数，Lcyc(G，F)表示循环一致性对抗损失函数，λ为域的倾向性指标。
在本发明的一个实施例中，所述从源域到目标域进行映射的生成对抗损失函数为：
Figure BDA0002812853410000031
其中，x表示来自源域的图像，y表示来自目标域的图像，x服从特征空间分布
Figure BDA0002812853410000032
y服从特征空间分布
Figure BDA0002812853410000033
DY(y)表示来自目标域的图像Y服从真实图像数据分布的概率，DY(G(x))表示图像x从源域映射到目标域的图像G(x)服从真实图像数据分布的概率。
在本发明的一个实施例中，所述循环一致性对抗损失函数为：
Figure BDA0002812853410000034
其中，x表示来自源域的图像，y表示来自目标域的图像，G(x)表示图像x从源域映射到目标域的图像，F(y)表示图像y从目标域映射到源域的图像，F(G(x))表示图像G(x)从目标域映射到源域的图像，G(F(y))表示图像F(y)从源域映射到目标域的图像，||*||表示范数。
在本发明的一个实施例中，所述S2包括：
S21：将原始遥感图像由经训练的CycleGAN生成对抗网络生成的具有标准地图风格的图像输入所述RCF网络进行边缘特征提取，获得第一特征图像；
S22：对所述原始遥感图像进行人工标注，获得标准地图风格标注图像；
S23：将所述标准地图风格标注图像输入所述RCF网络进行边缘特征提取，获得第二特征图像。
在本发明的一个实施例中，所述S3包括：
采用结构相似度SSIM对由所述CycleGAN深度学习网络生成的具有标准地图风格的图像进行图像质量评估，所述结构相似度的计算公式为：
SSIM(M，N)＝[l(M，N)]α[c(M，N)]β[s(M，N))]γ，
其中，
Figure BDA0002812853410000041
μM、μN分别表示第一特征图像M和第二特征图像N的特征值均值，GM、σN分别表示第一特征图像M和第二特征图像N的特征值方差，σMN表示第一特征图像M和第二特征图像N的特征值协方差，C1，C2，C3为常数，α，β，γ＞0为权重系数。
与现有技术相比，本发明的有益效果在于：
1、本发明的遥感图像鲁棒特征提取方法通过CycleGAN网络进行图像风格迁移，将自然得到的可见光遥感图像转换为具有标准地图风格的图片再进行边缘特征提取，有效提高了遥感图像边缘特征提取的精度和准确度。
2、针对遥感图像数据获取难度大，样本少，本发明的遥感图像鲁棒特征提取方法通过图像生成，可增广数据集，满足了训练深度学习网络对海量数据的需要。
3、通过对不同光照条件下的遥感图像进行测试，证明该遥感图像鲁棒特征提取方法能够有效完成对不同光照条件下遥感图像的鲁棒特征提取。
附图说明
图1是本发明实施例提供的一种基于CycleGAN的遥感图像鲁棒特征提取方法的流程图；
图2是本发明实施例提供的一种基于CycleGAN的遥感图像鲁棒特征提取方法的特征提取示意图；
图3至图5分别展示了三组由卫星图像或标准地图进行边缘提取所得到的特征图像的对比结果；
图6是本发明实施例提供的一种CycleGAN生成对抗网络的工作原理图；
图7为同一地区不同光照条件下的遥感图像利用本发明实施例的方法获取的边缘特征提取结果。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于CycleGAN的遥感图像鲁棒特征提取方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包括”或者任何其他变体意在涵盖非排他性的包括，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
请参见图1和图2，图1是本发明实施例提供的一种基于CycleGAN的遥感图像鲁棒特征提取方法的流程图，图2是本发明实施例提供的一种基于CycleGAN的遥感图像鲁棒特征提取方法的特征提取示意图。该遥感图像鲁棒特征提取方法包括：
S1：利用经训练的CycleGAN生成对抗网络对原始遥感图像进行风格迁移，生成具有标准地图风格的图像；
S2：利用RCF网络对所生成的具有标准地图风格的图像进行边缘特征提取，获得特征图像；
S3：采用结构相似度对所述特征图像进行图像质量评估，极大地提升了CycleGAN生成对抗网络的学习效率和对遥感图像特征提取的鲁棒性。
请参见图3至图5，图3至图5分别展示了三组由卫星图像或标准地图进行边缘提取所得到的特征图像的对比结果，其中，图3和图5中的(a)图均为获得的原始卫星图像，(b)图为相应的原始卫星图像直接进行边缘提取获得的图像，(c)图为相应的原始卫星图像经人工标注获得的标准地图；(c)图为对应的标准地图进行边缘提取获得的图像。从图中可以看出，直接对遥感图像进行边缘提取时，其边缘结果模糊、复杂而且细节信息众多，不能很好地获得遥感图像的几何特征，例如：道路特征、房屋特征等；而对于人工标注的标准地图进行边缘提取后，得到的边缘结果清晰、简单，忽略掉了遥感图像中的细节信息，很好地提取到了图像边缘特征。因此可以得出结论：直接对遥感地图进行边缘特征提取，会过于注重图像细节信息，导致提取结果准确率不高，但是人工标注又存在耗时耗力的问题。为了降低遥感图像边缘提取的细节敏感程度，本发明实施例忽略遥感图像细节信息，采用CycleGAN网络生成具有标准地图风格的图像，再对该具有标准地图风格的图像提取边缘信息，然后应用边缘提取方法提取针对遥感图像的鲁棒特征。
进一步地，步骤S1包括：
S11：利用训练数据集对原始CycleGAN网络模型进行训练，获得经训练的CycleGAN生成对抗网络，其中，所述训练数据集包括源域训练数据集和目标域训练数据集，所述目标域训练数据集为所述源域训练数据集中的图像经过人工标注得到的。
具体地，获取多张可见光遥感图像作为源域训练数据集；对所述多张可见光遥感图像分别进行人工标注，获得多张标准地图风格图像，作为目标域训练数据集；利用所述源域训练数据集和所述目标域训练数据集分别作为源域和目标域，对原始CycleGAN网络模型进行训练并学习源域与目标域之间的映射函数，获得经训练的CycleGAN生成对抗网络，所述CycleGAN生成对抗网络的损失函数为：
L(G，F，Dx，Dy)＝LGAN(G，Dy，X，Y)+LGAN(F，Dx，Y，X)+λLcyc(G，F)，
其中，LGAN(G，Dy，X，Y)表示从源域到目标域进行映射的生成对抗损失函数，LGAN(F，Dx，Y，X)表示从目标域到源域进行映射的生成对抗损失函数，Lcyc(G，F)表示循环一致性对抗损失函数，λ为域的倾向性指标。
在本实施例中，首先制作自定义数据集：采集某一地区可见光遥感图像1104张作为源域数据集sourcedata，其中800张图片作为训练数据trainA，304张图片作为测试数据testA；对该1104张可见光遥感图像进行人工标注，制成1104张标准地图图片，作为目标域数据集targetdata，将目标域数据集targetdata中的800张图片作为训练数据trainB，304张图片作为测试数据testB。其中，trainA和trainB分别作为源域和目标域用于训练CycleGAN网络模型，testA用于在已经训练好的CycleGAN生成对抗网络中生成图像风格迁移结果，testB作为真值，即real_map，用于图像质量评估。
请参见图6，图6是本发明实施例提供的一种CycleGAN生成对抗网络的工作原理图。该CycleGAN网络模型由生成器和判别器组成，生成器由编码器、解码器和转换器三部分组成，其中，编码器由三层卷积层构成：假定输入遥感图像大小为(256，256，3)，通过卷积层从遥感图像中提取特征，卷积层依次逐渐提取更高级的特征，通过编码器后，输入图像维度由(256，256，3)变成了(64，64，256)；转换器由6个残差块组成：由编码器输出图像的不同通道组合了图像的不同特征，根据这些特征来将图像的特征向量即编码，目的是将遥感图像转换为标准地图图像，残差块由两个卷积层组成，并且将输入残差添加到输出中，这是为了确保上一图层的输入属性也可以用于后面的图层，使得它们的输出与原始输入不会有太大偏差，否则原始图像的特征不会保留在输出中；解码器的作用是从特征向量重新构建低级特征，可以通过去卷积(转置卷积)层完成，最后将低级特征转换为目标域(即标准地图)中的图像。
CycleGAN网络模型中的判别器的功能是将原始遥感图像和生成器生成的标准地图图像两部分作为输入，并预测图像是原始图像还是生成器的输出，再将预测出来的结果反馈给生成器，以此来提高生成器的图像生成能力。
在本实施例中，CycleGAN网络训练优化目标由三大部分组成，即，从源域到目标域进行映射的生成对抗损失函数LGAN(G，Dy，X，Y)，从目标域到源域进行映射的生成对抗损失函数LGAN(F，Dx，Y，X)，以及循环一致性对抗损失函数Lcyc(G，F)。
首先采用现有的生成对抗网络最原始的生成对抗损失函数作为训练目标的一部分，所述从源域到目标域进行映射的生成对抗损失函数为：
Figure BDA0002812853410000091
其中，x表示来自源域的图像，y表示来自目标域的图像，x服从特征空间分布
Figure BDA0002812853410000092
y服从特征空间分布
Figure BDA0002812853410000093
DY(y)表示来自目标域的图像Y服从真实图像数据分布的概率，DY(G(x))表示图像x从源域映射到目标域的图像G(x)服从真实图像数据分布的概率。
当生成器不断尝试输出越来越像目标域图像Y的图像G(x)，同时判别器DY尽力区分生成图像G(x)与目标域中的真实图像Y。生成器旨在最小化LGAN(G，DX，X，Y)，而判别器则相反，因此，从目标域到源域进行映射的生成对抗损失函数可以表示为minF
Figure BDA0002812853410000094
LGAN(F，Dx，Y，X)。
从理论上讲，生成对抗网络可以学习到从源域X到目标域Y的映射关系和从目标域Y到源域X的映射关系，然而，现实训练中发现，神经网络可以将相同的输入图像数据集映射到目标域中任意图像的随机排列，其中任何学习到的映射都可以生成与目标域数据相似的分布。因此，仅靠生成对抗损失函数不能保证学习函数能够将单个输入xi映射到期望目标样本yi。为了进一步缩小可能映射的分布空间，CycleGAN提出了学习映射函数应该具有循环周期一致性：对于每一幅来自源域X的图像x，所学习到的映射函数都应该能够使x回到原图像，即x→G(x)→F(G(x))≈x，称为前向循环一致性。同理，对于来自目标域Y的每幅图像y，G和F也应满足逆向循环一致性：y→F(y)→G(F(y))≈y。
在本实施例中，所述循环一致性对抗损失函数为：
Figure BDA0002812853410000101
其中，x表示来自源域的图像，y表示来自目标域的图像，G(x)表示图像x从源域映射到目标域的图像，F(y)表示图像y从目标域映射到源域的图像，F(G(x))表示图像G(x)从目标域映射到源域的图像，G(F(y))表示图像F(y)从源域映射到目标域的图像，||*||表示范数。
综上，该CycleGAN生成对抗网络的整体损失函数表示为：
L(G，F，Dx，Dy)＝LGAN(G，Dy，X，Y)+LGAN(F，Dx，Y，X)+λLcyc(G，F)，
其中，λ为域的倾向性指标，控制两个域的相对重要性。λ取值范围通常设定为[10，20]，值越大，生成网络更倾向于源域数据特征，即，保留源域数据特征更多一点。
通过将遥感图像转换为具有标准地图风格的图像，不仅可以有效地忽略遥感图像的细节信息，突出弱小目标物的形状、大小、边缘等几何特征，而且可以大大降低环境因素对遥感图像边缘提取结果的影响。
在本实施例中，设定训练次数为200次。
S12：利用所述经训练的CycleGAN生成对抗网络对可见光遥感图像进行图像风格迁移，生成具有标准地图风格的图像。
在本实施例中，网络训练完成后，将遥感图像测试集testA作为输入，生成具有标准地图风格的图像，记为generator_map。
在其他实施例中，可以将待进行特征提取的原始遥感图像作为输入，即可获得与该原始遥感图像对应的具有标准地图风格的图像。
进一步地，所述S2包括：
S21：将原始遥感图像由经训练的CycleGAN生成对抗网络生成的具有标准地图风格的图像输入所述RCF网络进行边缘特征提取，获得第一特征图像；S22：对所述原始遥感图像进行人工标注，获得标准地图风格标注图像；S23：将所述标准地图风格标注图像输入所述RCF网络进行边缘特征提取，获得第二特征图像。
具体地，在本实施例中，分别将由经训练的CycleGAN生成对抗网络生成的标准地图数据集generatormap和人工标注的标准地图数据集testB(real_map)作为边缘提取网络RCF的输入，进行边缘特征提取，边缘提取结果分别记为第一特征图像generator_edge和第二特征图像real_edge。
需要说明的是，在本步骤中，对人工标注的标准地图数据集testB(real_map)进行特征提取获得第二特征图像，是为了对具有标准地图风格的图像获取的第一特征图像进行图像质量评估，从而评价该CycleGAN生成对抗网络的有效性。
在本发明的一个实施例中，所述S3包括：
采用结构相似度SSIM对由所述CycleGAN生成对抗网络生成的具有标准地图风格的图像进行图像质量评估，所述结构相似度的计算公式为：
SSIM(M，N)＝[l(M，N)]α[c(M，N)]β[s(M，N))]γ，
其中，
Figure BDA0002812853410000121
μM、μN分别表示第一特征图像M和第二特征图像N的特征值均值，σM、σN分别表示第一特征图像M和第二特征图像N的特征值方差，σMN表示第一特征图像M和第二特征图像N的特征值协方差，C1，C2，C3为常数，α，β，γ＞0为权重系数。
本发明实施例与以往的生成对抗网络所使用的图像质量评估方法不同，本发明的目的是遥感图像鲁邦特征提取，因此只要当由CycleGAN生成对抗网络生成的标准图像和由人工标注标准地图两个数据集，提取到的边缘特征越相似，就可以证明本发明实施例所提出的基于CycleGAN的遥感图像鲁棒特征提取方法是行之有效的。因此本实施例采用结构相似度指数(structural similarity，SSIM)对边缘提取结果进行图像质量评估：
SSIM是一种全参考的图像质量评价指标，SSIM指数从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合；用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。
传统的检测图像质量方法MSE(均方误差，Mean Squared Error)方法和PSNR(峰值信噪比，Peak Signal-to-Noise Ratio)方法，与人眼的实际视觉感知是不一致的，SSIM方法在设计上考虑了人眼的视觉特性，比传统方法更符合人眼视觉感知。MSE和PSNR都是对绝对误差的评估，而SSIM是一种基于感知的计算模型，能够考虑到图像的结构信息在人的感知上的模糊变化，同时还引入了一些与感知上的变化有关的感知现象，例如，图片亮度信息、图片对比度等。而SSIM中的结构信息指的是像素之间有着内部的依赖性，尤其是空间上靠近的像素点，这些依赖性携带着目标对象视觉感知上的重要信息。SSIM的计算公式表示为：
Figure BDA0002812853410000131
把这三个函数组合起来，得到SSIM指数函数：
SSIM(M，N)＝[l(M，N)]α[c(M，N)]β[s(M，N))]γ
其中，α，β，γ＞0用来调整三个函数模块间的重要性。
进一步地，为了得到简化形式，本实施例设α，β，γ＝1，C3＝C2/2，其中C1，C2，C3为常数，为了避免分母为0的情况，通常取C1＝(K1*L)2，C2＝(K2*L)2，C3＝C2/2，一般地，K1＝0.01，K2＝0.03，L＝255，则：
SSIM(M，N)＝l(M，N)·c(M，N)·s(M，N)
因此，SSIM取值范围[0，1]，值越大，表示图像失真越小。
此外，针对遥感图像特征提取结果容易受到光照、天气、恶劣气候等影响，导致遥感图像的特征提取准确率不高这一问题，本发明实施例做了补充实验，对测试数据集做了数据扩充。通过改变图像亮度的函数来模拟不同光照条件下对同一地区遥感图像的采集情况，调整图像亮度与对比度算法主要由以下几个步骤组成：(1)计算图像的RGB像素均值Q；(2)对图像的每个像素点减去Q；(3)对减去平均值后的像素点P乘以对比度系数；(4)对以上步骤处理以后的像素P加上Q乘以亮度系统；(5)对像素点RGB值完成重新赋值。图片亮度取值范围[-100,100]，亮度值越大，表示图片越亮，模拟的光照强度越强。
接着，对不同光照条件下的遥感图像数据集，再次进行CycleGAN图像风格迁移和RCF边缘提取，最后计算边缘提取结果的SSIM指数，图像评估结果如表1所示，可以发现，直接对遥感图像进行边缘特征提取(即，遥感-＞边缘)，与真实图片的图片结构相似度指数(SSIM)约为20％，这表示平均每张图片有20％内容失真，而采用本发明实施例所提出的方法(即，遥感-＞cycleGAN-＞边缘)，先对遥感图像进行风格迁移再对其进行边缘提取特征，SSIM指数约为9％，图片失真度下降了11％，这证明了本发明实施例的方法很好的完成了对遥感图像边缘特征的提取工作。
表1边缘特征提取结果SSIM指数对比
Figure BDA0002812853410000141
请参见图7，图7为同一地区不同光照条件下的遥感图像利用本发明实施例的方法获取的边缘特征提取结果，其中，第一行是真实拍摄的遥感图像，第二行是CycleGan风格迁移结果，最后一行是RCF边缘提取结果。从图7可以看出，本发明实施例的方法对于处理同一地区不同光照条件下采集到的遥感图像进行风格迁移之后，并没有对边缘提取结果产生太大的影响，或者说对实验结果的影响可忽略不计，这也充分证明了本发明实施例提出的方法具有鲁棒性。
综上，本发明实施例的遥感图像鲁棒特征提取方法通过CycleGAN网络进行图像风格迁移，将自然得到的可见光遥感图像转换为具有标准地图风格的图片再进行边缘特征提取，有效提高了遥感图像边缘特征提取的精度和准确度。针对遥感图像数据获取难度大，样本少，本发明的遥感图像鲁棒特征提取方法通过图像生成，可增广数据集，满足了训练深度学习网络对海量数据的需要。此外，通过对不同光照条件下的遥感图像进行测试，证明本发明的该遥感图像鲁棒特征提取方法能够有效完成对不同光照条件下遥感图像的鲁棒特征提取。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于CycleGAN的遥感图像鲁棒特征提取方法，其特征在于，包括：
S1：利用经训练的CycleGAN生成对抗网络对原始遥感图像进行风格迁移，生成具有标准地图风格的图像；
S2：利用RCF网络对所生成的具有标准地图风格的图像进行边缘特征提取，获得特征图像；
S3：采用结构相似度对所述特征图像进行图像质量评估。
2.根据权利要求1所述的基于CycleGAN的遥感图像鲁棒特征提取方法，其特征在于，所述S1包括：
S11：利用训练数据集对原始CycleGAN网络模型进行训练，获得经训练的CycleGAN生成对抗网络，其中，所述训练数据集包括源域训练数据集和目标域训练数据集，所述目标域训练数据集为所述源域训练数据集中的图像经过人工标注得到的；
S12：利用所述经训练的CycleGAN生成对抗网络对可见光遥感图像进行图像风格迁移，生成具有标准地图风格的图像。
3.根据权利要求2所述的基于CycleGAN的遥感图像鲁棒特征提取方法，其特征在于，所述原始CycleGAN网络包括生成器和判别器，其中，
所述生成器包括编码器、解码器和转换器，所述编码器包括三层卷积层，所述转换器包括六个残差块，所述解码器包括一层去卷积层；
所述判别器用于判别输入的图像为原始遥感图像还是所述生成器输出的图像，并将判别结果反馈至所述生成器。
4.根据权利要求3所述的基于CycleGAN的遥感图像鲁棒特征提取方法，其特征在于，所述S11包括：
S111：获取多张可见光遥感图像作为源域训练数据集；
S112：对所述多张可见光遥感图像分别进行人工标注，获得多张标准地图风格图像，作为目标域训练数据集；
S113：利用所述源域训练数据集和所述目标域训练数据集分别作为源域和目标域，对原始CycleGAN网络模型进行训练并学习源域与目标域之间的映射函数，获得经训练的CycleGAN生成对抗网络，所述CycleGAN生成对抗网络的损失函数为：
L(G，F，Dx，Dy)＝LGAN(G，Dy，X，Y)+LGAN(F，Dx，Y，X)+λLcyc(G，F)，
其中，LGAN(G，Dy，X，Y)表示从源域到目标域进行映射的生成对抗损失函数，LGAN(F，Dx，Y，X)表示从目标域到源域进行映射的生成对抗损失函数，Lcyc(G，F)表示循环一致性对抗损失函数，λ为域的倾向性指标。
5.根据权利要求4所述的基于CycleGAN的遥感图像鲁棒特征提取方法，其特征在于，所述从源域到目标域进行映射的生成对抗损失函数为：
Figure FDA0002812853400000021
其中，x表示来自源域的图像，y表示来自目标域的图像，x服从特征空间分布
Figure FDA0002812853400000022
y服从特征空间分布
Figure FDA0002812853400000023
DY(y)表示来自目标域的图像Y服从真实图像数据分布的概率，DY(G(x))表示图像x从源域映射到目标域的图像G(x)服从真实图像数据分布的概率。
6.根据权利要求5所述的基于CycleGAN的遥感图像鲁棒特征提取方法，其特征在于，所述循环一致性对抗损失函数为：
Figure FDA0002812853400000024
其中，x表示来自源域的图像，y表示来自目标域的图像，G(x)表示图像x从源域映射到目标域的图像，F(y)表示图像y从目标域映射到源域的图像，F(G(x))表示图像G(x)从目标域映射到源域的图像，G(F(y))表示图像F(y)从源域映射到目标域的图像，||*||表示范数。
7.根据权利要求1所述的基于CycleGAN的遥感图像鲁棒特征提取方法，其特征在于，所述S2包括：
S21：将原始遥感图像由经训练的CycleGAN生成对抗网络生成的具有标准地图风格的图像输入所述RCF网络进行边缘特征提取，获得第一特征图像；
S22：对所述原始遥感图像进行人工标注，获得标准地图风格标注图像；
S23：将所述标准地图风格标注图像输入所述RCF网络进行边缘特征提取，获得第二特征图像。
8.根据权利要求7所述的基于CycleGAN的遥感图像鲁棒特征提取方法，其特征在于，所述S3包括：
采用结构相似度SSIM对由所述CycleGAN深度学习网络生成的具有标准地图风格的图像进行图像质量评估，所述结构相似度的计算公式为：
SSIM(M，N)＝[l(M，N)]α[c(M，N)]β[s(M，N))]γ，
其中，
Figure FDA0002812853400000031
μM、μN分别表示第一特征图像M和第二特征图像N的特征值均值，GM、σN分别表示第一特征图像M和第二特征图像N的特征值方差，σMN表示第一特征图像M和第二特征图像N的特征值协方差，C1，C2，C3为常数，α，β，γ＞0为权重系数。
CN202011391148.4A 2020-12-02 2020-12-02 一种基于CycleGAN的遥感图像鲁棒特征提取方法 Active CN112487999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011391148.4A CN112487999B (zh) 2020-12-02 2020-12-02 一种基于CycleGAN的遥感图像鲁棒特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011391148.4A CN112487999B (zh) 2020-12-02 2020-12-02 一种基于CycleGAN的遥感图像鲁棒特征提取方法

Publications (2)

Publication Number Publication Date
CN112487999A true CN112487999A (zh) 2021-03-12
CN112487999B CN112487999B (zh) 2024-06-14

Family

ID=74939035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011391148.4A Active CN112487999B (zh) 2020-12-02 2020-12-02 一种基于CycleGAN的遥感图像鲁棒特征提取方法

Country Status (1)

Country Link
CN (1) CN112487999B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950460A (zh) * 2021-03-26 2021-06-11 成都理工大学 一种用于图像风格迁移的技术
CN113221788A (zh) * 2021-05-21 2021-08-06 广东省科学院广州地理研究所 一种田块垄作特征提取方法及装置
CN113344772A (zh) * 2021-05-21 2021-09-03 武汉大学 一种用于地图艺术化的迁移模型的训练方法和计算机设备
CN113537282A (zh) * 2021-05-31 2021-10-22 大连民族大学 低光照度交通场景可见光特征环境重构方法、系统和介质
CN113704372A (zh) * 2021-08-18 2021-11-26 中国人民解放军国防科技大学 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN114022352A (zh) * 2022-01-05 2022-02-08 成都国星宇航科技有限公司 遥感图像风格迁徙模型的创建方法和装置
CN114202679A (zh) * 2021-12-01 2022-03-18 昆明理工大学 一种基于gan网络的异源遥感图像自动化标注方法
CN114385883A (zh) * 2021-12-07 2022-04-22 西北大学 一种在风格转换中近似模拟皴法的轮廓增强方法
CN114494789A (zh) * 2022-04-02 2022-05-13 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN108428226A (zh) * 2018-02-02 2018-08-21 中国科学院国家空间科学中心 一种基于ica稀疏表示与som的失真图像质量评价方法
CN108830209A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
CN109886945A (zh) * 2019-01-18 2019-06-14 嘉兴学院 基于对比度增强的无参考对比度失真图像质量评价方法
CN110136075A (zh) * 2019-04-18 2019-08-16 中国地质大学（武汉） 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法
US20190325264A1 (en) * 2018-04-24 2019-10-24 Here Global B.V. Machine learning a feature detector using synthetic training data
US20200111194A1 (en) * 2018-10-08 2020-04-09 Rensselaer Polytechnic Institute Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle)
CN110992262A (zh) * 2019-11-26 2020-04-10 南阳理工学院 一种基于生成对抗网络的遥感图像超分辨重建方法
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法
CN111325660A (zh) * 2020-02-20 2020-06-23 中国地质大学（武汉） 一种基于文本数据的遥感图像风格转换方法
CN111625608A (zh) * 2020-04-20 2020-09-04 中国地质大学（武汉） 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN111783525A (zh) * 2020-05-20 2020-10-16 中国人民解放军93114部队 基于风格迁移的航空摄影图像目标样本生成方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN108428226A (zh) * 2018-02-02 2018-08-21 中国科学院国家空间科学中心 一种基于ica稀疏表示与som的失真图像质量评价方法
US20190325264A1 (en) * 2018-04-24 2019-10-24 Here Global B.V. Machine learning a feature detector using synthetic training data
CN108830209A (zh) * 2018-06-08 2018-11-16 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
US20200111194A1 (en) * 2018-10-08 2020-04-09 Rensselaer Polytechnic Institute Ct super-resolution gan constrained by the identical, residual and cycle learning ensemble (gan-circle)
CN109886945A (zh) * 2019-01-18 2019-06-14 嘉兴学院 基于对比度增强的无参考对比度失真图像质量评价方法
CN110136075A (zh) * 2019-04-18 2019-08-16 中国地质大学（武汉） 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法
CN110992262A (zh) * 2019-11-26 2020-04-10 南阳理工学院 一种基于生成对抗网络的遥感图像超分辨重建方法
CN111275647A (zh) * 2020-01-21 2020-06-12 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法
CN111325660A (zh) * 2020-02-20 2020-06-23 中国地质大学（武汉） 一种基于文本数据的遥感图像风格转换方法
CN111625608A (zh) * 2020-04-20 2020-09-04 中国地质大学（武汉） 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN111783525A (zh) * 2020-05-20 2020-10-16 中国人民解放军93114部队 基于风格迁移的航空摄影图像目标样本生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. -Y. ZHU, T. PARK, P. ISOLA AND A. A. EFROS: "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, pages 2242 - 2251 *
张惊雷;厚雅伟;: "基于改进循环生成式对抗网络的图像风格迁移", 电子与信息学报, no. 05 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950460A (zh) * 2021-03-26 2021-06-11 成都理工大学 一种用于图像风格迁移的技术
CN113221788A (zh) * 2021-05-21 2021-08-06 广东省科学院广州地理研究所 一种田块垄作特征提取方法及装置
CN113344772A (zh) * 2021-05-21 2021-09-03 武汉大学 一种用于地图艺术化的迁移模型的训练方法和计算机设备
CN113344772B (zh) * 2021-05-21 2023-04-07 武汉大学 一种用于地图艺术化的迁移模型的训练方法和计算机设备
CN113537282A (zh) * 2021-05-31 2021-10-22 大连民族大学 低光照度交通场景可见光特征环境重构方法、系统和介质
CN113704372A (zh) * 2021-08-18 2021-11-26 中国人民解放军国防科技大学 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN114202679A (zh) * 2021-12-01 2022-03-18 昆明理工大学 一种基于gan网络的异源遥感图像自动化标注方法
CN114385883A (zh) * 2021-12-07 2022-04-22 西北大学 一种在风格转换中近似模拟皴法的轮廓增强方法
CN114385883B (zh) * 2021-12-07 2024-03-15 西北大学 一种在风格转换中近似模拟皴法的轮廓增强方法
CN114022352A (zh) * 2022-01-05 2022-02-08 成都国星宇航科技有限公司 遥感图像风格迁徙模型的创建方法和装置
CN114494789A (zh) * 2022-04-02 2022-05-13 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质
CN114494789B (zh) * 2022-04-02 2022-07-15 中国科学技术大学 图像风格迁移模型的训练方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN112487999B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN112487999A (zh) 一种基于CycleGAN的遥感图像鲁棒特征提取方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN111625608B (zh) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN109635634B (zh) 一种基于随机线性插值的行人再识别数据增强方法
Ge Sub-pixel land-cover mapping with improved fraction images upon multiple-point simulation
CN100595782C (zh) 一种融合光谱信息和多点模拟空间信息的分类方法
CN109447917B (zh) 基于内容和特征及多尺度模型的遥感图像雾霾消除方法
CN104504744B (zh) 一种合成车牌图像的拟真方法及装置
CN109376591A (zh) 深度学习特征与视觉特征联合训练的船只目标检测方法
CN112365467B (zh) 一种基于单幅图像深度估计的雾天图像能见度估计方法
CN109448009A (zh) 用于输电线路检测的红外图像处理方法及装置
CN117934354B (zh) 一种基于ai算法的图像处理方法
CN112801227B (zh) 一种台风识别模型的生成方法、装置、设备及存储介质
CN113297988A (zh) 一种基于域迁移和深度补全的物体姿态估计方法
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
Zhang Image enhancement method based on deep learning
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
CN115019297B (zh) 一种基于颜色增广的实时车牌检测识别方法和装置
Meng et al. Cross-domain Land Cover Classification of Remote Sensing Images based on Full-level Domain Adaptation
CN115527118A (zh) 一种融合注意力机制的遥感图像目标检测方法
CN113610294A (zh) 一种中小城市色彩规划方法、存储介质和装置
Chen et al. Improving fractional vegetation cover estimation with shadow effects using high dynamic range images
McKee et al. Effect of image classification accuracy on dasymetric population estimation
Yu et al. Data-driven parameterized corner synthesis for efficient validation of perception systems for autonomous driving
Yu et al. Relative radiation correction based on CycleGAN for visual perception improvement in high-resolution remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant