CN114119792A - 光学图像跨域对抗生成sar图像的方法 - Google Patents

光学图像跨域对抗生成sar图像的方法 Download PDF

Info

Publication number
CN114119792A
CN114119792A CN202111013164.4A CN202111013164A CN114119792A CN 114119792 A CN114119792 A CN 114119792A CN 202111013164 A CN202111013164 A CN 202111013164A CN 114119792 A CN114119792 A CN 114119792A
Authority
CN
China
Prior art keywords
domain
image
sar
cross
optical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111013164.4A
Other languages
English (en)
Other versions
CN114119792B (zh
Inventor
潘磊
廖泓舟
高翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Electronic Technology Institute No 10 Institute of Cetc
Original Assignee
Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Electronic Technology Institute No 10 Institute of Cetc filed Critical Southwest Electronic Technology Institute No 10 Institute of Cetc
Priority to CN202111013164.4A priority Critical patent/CN114119792B/zh
Publication of CN114119792A publication Critical patent/CN114119792A/zh
Application granted granted Critical
Publication of CN114119792B publication Critical patent/CN114119792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的光学图像跨域对抗生成SAR图像的方法，能够有效提升特定图像分析任务的准确性。本发明通过下述技术方案实现：源域到目标域的图像跨域生成器生成目标域SAR图像，目标域判别器鉴别生成的SAR图像的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；同理，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络结构，并对该模型进行训练，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。

Description

光学图像跨域对抗生成SAR图像的方法
技术领域
本发明涉及人工智能领域的数据增强，具体涉及小样本图像数据智能增强技术，尤其是光学图像跨域对抗生成SAR图像的方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)图像是一种通过SAR传感器主动发射微波并接收回波而产生的二维图像。接收其回波的高分辨率相干成像系统,能够全天时,全天候地进行数据的采集工作。该系统发射的电磁波的波长较长,这使其能克服光学图像易受云层和雾霾等其他气象条件影响的缺点。然而,由于SAR图像的特殊成像方式,导致SAR图像中含大量斑点噪声和散射斑,因此SAR图像分类相比于光学图像分类更加困难，而且SAR图像样本数量少、分布不均衡，不充足的数据存在量，往往导致下游深度网络模型(如目标检测模型等)过拟合。为了有效解决深度网络模型训练因样本数量不足而出现的过拟合问题，一方面是对数据样本质量方面的增强，例如图像去噪、信号去噪等；另一方面基于已有的少量带标签样本数据，通过模型或算法生成同样标签数据来达到扩增原始样本集数量的目的，例如图像对抗生成、文本回译等。数据增强最早应用于计算机视觉领域，传统图像数据增强方法从几何变换和特征变换的角度来实现，主要包括旋转变换、翻转变换、尺度缩放、图像裁剪、水平/垂直移位变换、分段仿射、插值、对比度变换、Fancy PCA等，构建不同质量等级、不同分布、不同尺度、不同视角、不同形态的图像样本数据集。
随着深度学习时代的到来，众多学者也在思考如何利用深度神经网络强大的特征提取能力来帮助生成同分布的新样本。这其中的代表技术是由蒙特利尔大学IanGoodfellow在2014年提出的生成对抗网络模型(Generative Adversarial Networks，GAN)，文中提到生成对抗网络主要专注于样本生成，通过从数据集中抽取样本组成，并学会以某种方式表示该样本特征的分布估计，通过判别器对真实样本分布和虚假样本分布进行判别，在生成器与判别器的不断对抗中达到平衡，以生成清晰图像。为了实现多模式数据生成，将生成对抗网络框架扩展到了条件设置上，Mehdi Mirza(2014)提出了条件生成对抗网络。此模型在生成器和判别器上都加上了条件，通过对条件的控制实现对生成数据的把控，为多模式数据生成提供了更好地表示。从文本描述中合成高质量图像一直以来都是计算机视觉方面的一大难题。最初的生成对抗网络中采用的是全连接神经网络同时进行生成和判别，限制生成对抗网络的学习能力。比如，在Xi Chen(2016)提出的InfoGAN(InformationMaximizing Generative Adversarial Networks，InfoGAN)模型，发现通过语义信息可以处理图像外观中复杂的交互因素，包括面部的姿势、光线和情感内容上的变化，试图通过最大化潜在代码和生成器输出之间的互信息来检测变化的潜在因素，利用潜在变量实现无监督学习方式。针对这点，Han zhang(2017)等人提出了堆栈生成对抗网络，根据给定的文本描述来绘制对象的原始形状和颜色，以生成基于文本描述为条件的逼真图像。Jie Li(2018)等人提出了全连接到卷积神经网络的卷积生成对抗网络，采用卷积的生成对抗网络来训练生成器和判别网络要更加困难。Jianping Lin(2018)等人拉普拉斯对抗性网络金字塔(Laplacian Pyramid of Adversarial Networks，LAPGAN)通过使用多尺度分解生成过程提供了一种解决方案：将真实的图像本身分解为拉普拉斯算子和有条件的图像，对卷积GAN进行训练，以产生上述给定的每一层。在卷积生成对抗网络上，Yaxin Li(2019)进一步提出了深度卷积生成对抗网络(Deep Convolutional Generative AdversarialNetworks，DCGAN)，这种网络在生成器和判别器中采用跨步卷积对学习空间进行上采样和下采样，实现高维图像想低维向量的映射。随后He Huang(2019)提出的GDAN(Generativedual adversarial network)将语义属性与视觉特征映射，视觉特征与语义属性映射以及度量学习结合使用，以形成一个统一的框架来优化生成模型。在集成学习的启发下，LiangSun(2020)等人提出了一种带有协同耦合生成对抗网络，出于减轻中心性问题的目的，将视觉特征空间作为嵌入空间，并通过视觉特征中心生成网络实现映射。上述现有的文本到图像方法生成的样本可以大致反映给定描述的定义，但是无法包含必要的细节和生动的对象。这些应用于光学图像的深度学习方法在面向SAR数据时容易出现过拟合、泛化差的问题。如何适应性地解决这些问题是基于特征学习的SAR图像解译所必须突破的难点之一。
一直以来，生成对抗网络存在着难以训练，容易存在模式崩塌等问题。为了缓解这一问题，提出了很多相关变体，Yun Luo(2018)提出的Wasserstein GAN就是其中一样，WGAN采用了几乎在任何地方都是可谓且连续的Wasserstein距离，使得模型训练较原始模型更为轻松，也不存在类似的模式崩溃问题。Jingjing Li(2019)所提出来的LisGAN使用条件WGAN从随机噪声和语义属性生成伪造的看不见的图像，并引入了同一类中从最具有语义意义的方面学到的灵魂样本以规范化生成器，从而限制了每个生成的样本应尽可能接近真实样本。Ahmed Marzouk(2019)等人提出的BEGAN(Boundary Equilibrium GenerativeAdversarial Networks)优化了自动编码器损耗分布之间的Wasserstein距离，并且还获得了稳定而强大的训练。然而常规的生成对抗网络采用的判别器是具有S型交叉熵损失函数的分类器，在训练过程中可能会导致梯度消失。
综上所述，对抗生成网络是图像数据增强方向中直接生成新图像的代表性模型。对抗生成网络采用两个神经网络对抗的学习准则来生成新的数据，这是它的优点，也是它的缺点——会导致训练过程不稳定、模式崩溃等问题，因此，如何稳定对抗生成网络训练、解决模式崩溃问题，从而使其适应各种图像生成任务是未来图像数据增强研究的重点方向。
发明内容
本发明针对特定图像分析任务下SAR图像样本数量少、不充足导致下游深度网络模型(如目标检测模型等)过拟合的问题，提出一种能够有效提升特定图像分析任务准确性，跨域数据增强且数据生成模式稳健的光学图像跨域对抗生成SAR图像的方法。
本发明的上述目的可以通过以下措施来实现，一种光学图像跨域对抗生成SAR图像的方法，其特征在于，包括如下步骤：
首先，以源域光学图像x作为图像跨域生成器Gx的输入，生成目标域SAR图像Gx(x)，并送入目标域判别器Dy判断生成SAR图像的真假，目标域判别器Dy根据输入的目标域真实SAR图像y’，鉴别生成的SAR图像Gx(x)的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像Gx(x)送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；然后，以目标域SAR图像y作为跨域生成器Gy的输入，生成源域光学图像Gy(y)，源域判别器Dx根据输入的源域真实光学图像图像x’，鉴别生成的光学图像Gy(y)的真or假，同时图像跨域生成器Gy将生成的源域光学图像Gy(y)送入图像跨域生成器Gx，通过输入SAR图像与重构SAR图像的配准，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络(CycleGAN)结构，并对该模型进行训练，当双向循环一致跨域对抗网络达到最优时，以源域光学图像作为图像跨域生成器Gx的输入，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。
本发明相比于现有技术的有效增益在于：
(1)本发明通过构建源域光学图像到目标域SAR图像循环一致对抗生成网络和目标域SAR图像到源域光学图像循环一致对抗生成网络，将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络(CycleGAN)结构，并对该模型进行训练，实现了光学图像跨域增强SAR图像，有效解决了SAR图像数据样本缺失、数量不足等问题。
(2)本发明构建双向循环一致对抗生成网络模型，克服了普通生成对抗网络模型存在的所有输入光学图像都映射到相同SAR图像的难题，避免了现有技术采用两个神经网络对抗的学习准则来生成新的数据，会导致训练过程不稳定、模式崩溃等问题。在双向循环一致的对抗生成网络模型训练达到最优时，模型输出光学图像跨域增强SAR图像的结果，提升特定图像分析任务的准确性。
附图说明
图1是本发明源域光学图像到目标域SAR图像循环一致对抗网络结构示意图；
图2是本发明目标域SAR图像到源域光学图像循环一致对抗网络结构示意图；
图3是根据图1、图2构建的双向循环一致跨域对抗网络结构示意图；
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
具体实施方式
参阅图1-图3。根据本发明，首先，以源域光学图像x作为图像跨域生成器Gx的输入，生成目标域SAR图像Gx(x)，并送入目标域判别器Dy判断生成SAR图像的真假，目标域判别器Dy根据输入的目标域真实SAR图像y’，鉴别生成的SAR图像Gx(x)的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像Gx(x)送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；然后，以目标域SAR图像y作为跨域生成器Gy的输入，生成源域光学图像Gy(y)，源域判别器Dx根据输入的源域真实光学图像图像x’，鉴别生成的光学图像Gy(y)的真or假，同时图像跨域生成器Gy将生成的源域光学图像Gy(y)送入图像跨域生成器Gx，通过输入SAR图像与重构SAR图像的配准，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络(CycleGAN)结构，并对该模型进行训练，当双向循环一致跨域对抗网络达到最优时，以源域光学图像作为图像跨域生成器Gx的输入，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。
参阅图1，在构建源域光学图像到目标域SAR图像的循环一致对抗生成网络中，以源域光学图像x作为输入，通过图像跨域生成器Gx生成目标域SAR图像Gx(x)，与目标域真实SAR图像y’通过目标域判别器Dy鉴别生成的SAR图像Gx(x)是否为真正的SAR图像，同时，Gx(x)又作为图像跨域生成器Gy的输入，获得重构的源域光学图像x，即Gy(Gx(x))。如果重构源域光学图像x与原始输入源域光学图像x在像素级上相似，即可确保生成的目标域SAR图像Gx(x)保留了源域光学图像x中的分辨率、方位、方位角等信息。根据图像跨域生成器Gx和目标域判别器Dy，光学图像到SAR图像对抗生成网络模型损失函数LGAN(Gx，Dy)：
Figure BDA0003239689360000051
其中，E(·)表示分布函数期望值，y～Psar表示目标域SAR图像y服从概率分布Psar，x～Popt表示源域光学图像x服从概率分布Popt，log表示对数，Dy(·)表示目标域SAR图像判别器输出。
参阅图2。在构建目标域SAR图像到源域光学图像的循环一致对抗生成网络中，以目标域SAR图像y作为输入，通过图像跨域生成器Gy生成源域光学图像Gy(y)，与真实源域光学图像x’通过源域判别器Dx鉴别生成的光学图像Gy(y)是否为真正的光学图像，同时，生成的光学图像Gy(y)又作为图像跨域生成器Gx的输入，获得重构的目标域SAR图像y即Gx(Gy(y))，根据图像跨域生成器Gy和源域判别器Dx，SAR图像到光学图像对抗生成网络模型损失函数LGAN(Gy,Dx)可表示为
Figure BDA0003239689360000052
其中，E(·)表示分布函数期望值，x～Popt表示源域光学图像x服从概率分布Popt，y～Psar表示目标域SAR图像y服从概率分布Psar，Dx(·)表示源域光学图像判别器输出。
参阅图3。结合图1和图2构建双向循环一致跨域对抗生成网络(CycleGAN)，图像跨域生成器Gx和Gy互为逆映射，Gx将源域光学图像x映射为目标域SAR图像Gx(x)，Gy又将目标域SAR图像Gx(x)再次重构为源域光学图像Gy(Gx(x))，这就是循环一致思想的核心。利用循环一致约束x与Gy(Gx(x))、y与Gx(Gy(y))达到像素级相似，根据LGAN(Gx,Dy)、LGAN(Gy,Dx)，将其损失函数Lcyc表示为
Figure BDA0003239689360000053
其中，E(·)表示分布函数期望值，x～Popt表示源域光学图像x服从概率分布Popt，y～Psar表示目标域SAR图像y服从概率分布Psar，||·||1表示1范数。
LGAN(Gx,Dy)、LGAN(Gy,Dx)、Lcyc三项损失函数相加，得到双向循环一致跨域对抗生成网络模型总损失函数Lall：
Lall＝LGAN(Gx,Dy)+LGAN(Gy,Dx)+λLcyc
其中，λ是超参数，控制GAN损失和循环一致损失的比重。
在可选的实施例中，针对光学图像跨域生成SAR图像，引入循环一致性损失Lcyc和交叉熵损失，通过梯度下降方法求解双向循环一致跨域对抗生成网络模型，得到最优解为Gx*,
Figure BDA0003239689360000054
其中，Gx*和Gy*分别表示图像跨域生成器的最优解，
Figure BDA0003239689360000061
表示对Lall中的Gx、Gy、Dx、Dy求最大最小值。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种光学图像跨域对抗生成SAR图像的方法，其特征在于，包括如下步骤：
首先，以源域光学图像x作为图像跨域生成器Gx的输入，生成目标域SAR图像Gx(x)，并送入目标域判别器Dy判断生成SAR图像的真假，目标域判别器Dy根据输入的目标域真实SAR图像y’，鉴别生成的SAR图像Gx(x)的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像Gx(x)送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；然后，以目标域SAR图像y作为跨域生成器Gy的输入，生成源域光学图像Gy(y)，源域判别器Dx根据输入的源域真实光学图像图像x’，鉴别生成的光学图像Gy(y)的真or假，同时图像跨域生成器Gy将生成的源域光学图像Gy(y)送入图像跨域生成器Gx，通过输入SAR图像与重构SAR图像的配准，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络(CycleGAN)结构，并对该模型进行训练，当双向循环一致跨域对抗网络达到最优时，以源域光学图像作为图像跨域生成器Gx的输入，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。
2.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：在构建源域光学图像到目标域SAR图像的循环一致对抗生成网络中，以源域光学图像x作为输入，通过图像跨域生成器Gx生成目标域SAR图像Gx(x)，与目标域真实SAR图像y’通过目标域判别器Dy鉴别生成的SAR图像Gx(x)是否为真正的SAR图像，同时，Gx(x)又作为图像跨域生成器Gy的输入，获得重构的源域光学图像x，即Gy(Gx(x))。
3.如权利要求2所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：
根据图像跨域生成器Gx和目标域判别器Dy，生成光学图像到SAR图像对抗生成网络模型损失函数LGAN(Gx，Dy)：
Figure FDA0003239689350000011
其中，E(·)表示分布函数期望值，y～Psar表示目标域SAR图像y服从概率分布Psar，x～Popt表示源域光学图像x服从概率分布Popt，log表示对数，Dy(·)表示目标域SAR图像判别器输出。
4.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：在构建目标域SAR图像到源域光学图像的循环一致对抗生成网络中，以目标域SAR图像y作为输入，通过图像跨域生成器Gy生成源域光学图像Gy(y)，与真实源域光学图像x’通过源域判别器Dx鉴别生成的光学图像Gy(y)是否为真正的光学图像，同时，生成的光学图像Gy(y)又作为图像跨域生成器Gx的输入，获得重构的目标域SAR图像y即Gx(Gy(y))，根据图像跨域生成器Gy和源域判别器Dx，SAR图像到光学图像对抗生成网络模型损失函数LGAN(Gy,Dx)表示为
Figure FDA0003239689350000021
其中，E(·)表示分布函数期望值，x～Popt表示源域光学图像x服从概率分布Popt，y～Psar表示目标域SAR图像y服从概率分布Psar，Dx(·)表示源域光学图像判别器输出。
5.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：图像跨域生成器Gx和Gy互为逆映射，Gx将源域光学图像x映射为目标域SAR图像Gx(x)，Gy又将目标域SAR图像Gx(x)再次重构为源域光学图像Gy(Gx(x))。
6.如权利1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：利用循环一致约束x与Gy(Gx(x))、y与Gx(Gy(y))达到像素级相似，根据LGAN(Gx,Dy)、LGAN(Gy,Dx)，将其损失函数Lcyc表示为
Figure FDA0003239689350000022
其中，E(·)表示分布函数期望值，x～Popt表示源域光学图像x服从概率分布Popt，y～Psar表示目标域SAR图像y服从概率分布Psar，||·||1表示1范数。
7.如权利要求权利要求2～6任意一项所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：LGAN(Gx,Dy)、LGAN(Gy,Dx)、Lcyc三项损失函数相加，得到双向循环一致跨域对抗生成网络模型总损失函数Lall：
Lall＝LGAN(Gx,Dy)+LGAN(Gy,Dx)+λLcyc
其中，λ是超参数，控制GAN损失和循环一致损失的比重。
8.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：针对光学图像跨域生成SAR图像，引入循环一致性损失Lcyc和交叉熵损失，通过梯度下降方法求解双向循环一致跨域对抗生成网络模型，得到最优解为Gx*,
Figure FDA0003239689350000023
其中，Gx*和Gy*分别表示图像跨域生成器的最优解，
Figure FDA0003239689350000024
表示对Lall中的Gx、Gy、Dx、Dy求最大最小值。
CN202111013164.4A 2021-08-31 2021-08-31 光学图像跨域对抗生成sar图像的方法 Active CN114119792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111013164.4A CN114119792B (zh) 2021-08-31 2021-08-31 光学图像跨域对抗生成sar图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111013164.4A CN114119792B (zh) 2021-08-31 2021-08-31 光学图像跨域对抗生成sar图像的方法

Publications (2)

Publication Number Publication Date
CN114119792A true CN114119792A (zh) 2022-03-01
CN114119792B CN114119792B (zh) 2023-04-07

Family

ID=80441102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111013164.4A Active CN114119792B (zh) 2021-08-31 2021-08-31 光学图像跨域对抗生成sar图像的方法

Country Status (1)

Country Link
CN (1) CN114119792B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036753A (zh) * 2023-07-18 2023-11-10 北京观微科技有限公司 一种基于模板匹配和InfoGAN的SAR图像扩容方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN111798369A (zh) * 2020-06-29 2020-10-20 电子科技大学 一种基于循环条件生成对抗网络的人脸衰老图像合成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN111798369A (zh) * 2020-06-29 2020-10-20 电子科技大学 一种基于循环条件生成对抗网络的人脸衰老图像合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周立君等: "一种基于GAN和自适应迁移学习的样本生成方法", 《应用光学》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036753A (zh) * 2023-07-18 2023-11-10 北京观微科技有限公司 一种基于模板匹配和InfoGAN的SAR图像扩容方法

Also Published As

Publication number Publication date
CN114119792B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Jin et al. Generative adversarial network technologies and applications in computer vision
Yu et al. A survey on deepfake video detection
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
Liu et al. [Retracted] Dynamic Gesture Recognition Algorithm Based on 3D Convolutional Neural Network
Tang et al. Compressed-domain ship detection on spaceborne optical image using deep neural network and extreme learning machine
US20240257554A1 (en) Image generation method and related device
CN109871902A (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN111079374B (zh) 字体生成方法、装置和存储介质
CN111681188A (zh) 基于结合图像像素先验和图像梯度先验的图像去模糊方法
CN114119792B (zh) 光学图像跨域对抗生成sar图像的方法
Tan et al. Editable neural radiance fields convert 2d to 3d furniture texture
Xu et al. Underwater sonar image classification using generative adversarial network and convolutional neural network
Shi et al. Explaining the predictions of any image classifier via decision trees
Mao et al. Neus-pir: Learning relightable neural surface using pre-integrated rendering
Pavan Kumar et al. Multi-class imbalanced image classification using conditioned GANs
Han Texture Image Compression Algorithm Based on Self‐Organizing Neural Network
Qin et al. Virtual reality video image classification based on texture features
Xie et al. Design of painting art style rendering system based on convolutional neural network
Gan et al. Generative adversarial networks with augmentation and penalty
Guzel Turhan et al. Fused voxel autoencoder for single image to 3D object reconstruction
Du et al. SAR2EO: A High-Resolution Image Translation Framework with Denoising Enhancement
Xu et al. Image Style Transfering Based on StarGAN and Class Encoder.
Atone et al. Generative Adversarial Networks in Computer Vision: A Review of Variants, Applications, Advantages, and Limitations
Zhao et al. MMFuse: A multi‐scale infrared and visible images fusion algorithm based on morphological reconstruction and membership filtering
Li et al. Optical-guided residual learning network for synthetic aperture radar image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant