CN114119792A - 光学图像跨域对抗生成sar图像的方法 - Google Patents
光学图像跨域对抗生成sar图像的方法 Download PDFInfo
- Publication number
- CN114119792A CN114119792A CN202111013164.4A CN202111013164A CN114119792A CN 114119792 A CN114119792 A CN 114119792A CN 202111013164 A CN202111013164 A CN 202111013164A CN 114119792 A CN114119792 A CN 114119792A
- Authority
- CN
- China
- Prior art keywords
- domain
- image
- sar
- cross
- optical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 27
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 38
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 9
- 230000008485 antagonism Effects 0.000 claims description 7
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000001427 coherent effect Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims 1
- 238000010191 image analysis Methods 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的光学图像跨域对抗生成SAR图像的方法，能够有效提升特定图像分析任务的准确性。本发明通过下述技术方案实现：源域到目标域的图像跨域生成器生成目标域SAR图像，目标域判别器鉴别生成的SAR图像的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；同理，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络结构，并对该模型进行训练，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。
Description
技术领域
本发明涉及人工智能领域的数据增强，具体涉及小样本图像数据智能增强技术，尤其是光学图像跨域对抗生成SAR图像的方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)图像是一种通过SAR传感器主动发射微波并接收回波而产生的二维图像。接收其回波的高分辨率相干成像系统,能够全天时,全天候地进行数据的采集工作。该系统发射的电磁波的波长较长,这使其能克服光学图像易受云层和雾霾等其他气象条件影响的缺点。然而,由于SAR图像的特殊成像方式,导致SAR图像中含大量斑点噪声和散射斑,因此SAR图像分类相比于光学图像分类更加困难，而且SAR图像样本数量少、分布不均衡，不充足的数据存在量，往往导致下游深度网络模型(如目标检测模型等)过拟合。为了有效解决深度网络模型训练因样本数量不足而出现的过拟合问题，一方面是对数据样本质量方面的增强，例如图像去噪、信号去噪等；另一方面基于已有的少量带标签样本数据，通过模型或算法生成同样标签数据来达到扩增原始样本集数量的目的，例如图像对抗生成、文本回译等。数据增强最早应用于计算机视觉领域，传统图像数据增强方法从几何变换和特征变换的角度来实现，主要包括旋转变换、翻转变换、尺度缩放、图像裁剪、水平/垂直移位变换、分段仿射、插值、对比度变换、Fancy PCA等，构建不同质量等级、不同分布、不同尺度、不同视角、不同形态的图像样本数据集。
随着深度学习时代的到来，众多学者也在思考如何利用深度神经网络强大的特征提取能力来帮助生成同分布的新样本。这其中的代表技术是由蒙特利尔大学IanGoodfellow在2014年提出的生成对抗网络模型(Generative Adversarial Networks，GAN)，文中提到生成对抗网络主要专注于样本生成，通过从数据集中抽取样本组成，并学会以某种方式表示该样本特征的分布估计，通过判别器对真实样本分布和虚假样本分布进行判别，在生成器与判别器的不断对抗中达到平衡，以生成清晰图像。为了实现多模式数据生成，将生成对抗网络框架扩展到了条件设置上，Mehdi Mirza(2014)提出了条件生成对抗网络。此模型在生成器和判别器上都加上了条件，通过对条件的控制实现对生成数据的把控，为多模式数据生成提供了更好地表示。从文本描述中合成高质量图像一直以来都是计算机视觉方面的一大难题。最初的生成对抗网络中采用的是全连接神经网络同时进行生成和判别，限制生成对抗网络的学习能力。比如，在Xi Chen(2016)提出的InfoGAN(InformationMaximizing Generative Adversarial Networks，InfoGAN)模型，发现通过语义信息可以处理图像外观中复杂的交互因素，包括面部的姿势、光线和情感内容上的变化，试图通过最大化潜在代码和生成器输出之间的互信息来检测变化的潜在因素，利用潜在变量实现无监督学习方式。针对这点，Han zhang(2017)等人提出了堆栈生成对抗网络，根据给定的文本描述来绘制对象的原始形状和颜色，以生成基于文本描述为条件的逼真图像。Jie Li(2018)等人提出了全连接到卷积神经网络的卷积生成对抗网络，采用卷积的生成对抗网络来训练生成器和判别网络要更加困难。Jianping Lin(2018)等人拉普拉斯对抗性网络金字塔(Laplacian Pyramid of Adversarial Networks，LAPGAN)通过使用多尺度分解生成过程提供了一种解决方案：将真实的图像本身分解为拉普拉斯算子和有条件的图像，对卷积GAN进行训练，以产生上述给定的每一层。在卷积生成对抗网络上，Yaxin Li(2019)进一步提出了深度卷积生成对抗网络(Deep Convolutional Generative AdversarialNetworks，DCGAN)，这种网络在生成器和判别器中采用跨步卷积对学习空间进行上采样和下采样，实现高维图像想低维向量的映射。随后He Huang(2019)提出的GDAN(Generativedual adversarial network)将语义属性与视觉特征映射，视觉特征与语义属性映射以及度量学习结合使用，以形成一个统一的框架来优化生成模型。在集成学习的启发下，LiangSun(2020)等人提出了一种带有协同耦合生成对抗网络，出于减轻中心性问题的目的，将视觉特征空间作为嵌入空间，并通过视觉特征中心生成网络实现映射。上述现有的文本到图像方法生成的样本可以大致反映给定描述的定义，但是无法包含必要的细节和生动的对象。这些应用于光学图像的深度学习方法在面向SAR数据时容易出现过拟合、泛化差的问题。如何适应性地解决这些问题是基于特征学习的SAR图像解译所必须突破的难点之一。
一直以来，生成对抗网络存在着难以训练，容易存在模式崩塌等问题。为了缓解这一问题，提出了很多相关变体，Yun Luo(2018)提出的Wasserstein GAN就是其中一样，WGAN采用了几乎在任何地方都是可谓且连续的Wasserstein距离，使得模型训练较原始模型更为轻松，也不存在类似的模式崩溃问题。Jingjing Li(2019)所提出来的LisGAN使用条件WGAN从随机噪声和语义属性生成伪造的看不见的图像，并引入了同一类中从最具有语义意义的方面学到的灵魂样本以规范化生成器，从而限制了每个生成的样本应尽可能接近真实样本。Ahmed Marzouk(2019)等人提出的BEGAN(Boundary Equilibrium GenerativeAdversarial Networks)优化了自动编码器损耗分布之间的Wasserstein距离，并且还获得了稳定而强大的训练。然而常规的生成对抗网络采用的判别器是具有S型交叉熵损失函数的分类器，在训练过程中可能会导致梯度消失。
综上所述，对抗生成网络是图像数据增强方向中直接生成新图像的代表性模型。对抗生成网络采用两个神经网络对抗的学习准则来生成新的数据，这是它的优点，也是它的缺点——会导致训练过程不稳定、模式崩溃等问题，因此，如何稳定对抗生成网络训练、解决模式崩溃问题，从而使其适应各种图像生成任务是未来图像数据增强研究的重点方向。
发明内容
本发明针对特定图像分析任务下SAR图像样本数量少、不充足导致下游深度网络模型(如目标检测模型等)过拟合的问题，提出一种能够有效提升特定图像分析任务准确性，跨域数据增强且数据生成模式稳健的光学图像跨域对抗生成SAR图像的方法。
本发明的上述目的可以通过以下措施来实现，一种光学图像跨域对抗生成SAR图像的方法，其特征在于，包括如下步骤：
首先，以源域光学图像x作为图像跨域生成器Gx的输入，生成目标域SAR图像Gx(x)，并送入目标域判别器Dy判断生成SAR图像的真假，目标域判别器Dy根据输入的目标域真实SAR图像y’，鉴别生成的SAR图像Gx(x)的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像Gx(x)送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；然后，以目标域SAR图像y作为跨域生成器Gy的输入，生成源域光学图像Gy(y)，源域判别器Dx根据输入的源域真实光学图像图像x’，鉴别生成的光学图像Gy(y)的真or假，同时图像跨域生成器Gy将生成的源域光学图像Gy(y)送入图像跨域生成器Gx，通过输入SAR图像与重构SAR图像的配准，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络(CycleGAN)结构，并对该模型进行训练，当双向循环一致跨域对抗网络达到最优时，以源域光学图像作为图像跨域生成器Gx的输入，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。
本发明相比于现有技术的有效增益在于：
(1)本发明通过构建源域光学图像到目标域SAR图像循环一致对抗生成网络和目标域SAR图像到源域光学图像循环一致对抗生成网络，将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络(CycleGAN)结构，并对该模型进行训练，实现了光学图像跨域增强SAR图像，有效解决了SAR图像数据样本缺失、数量不足等问题。
(2)本发明构建双向循环一致对抗生成网络模型，克服了普通生成对抗网络模型存在的所有输入光学图像都映射到相同SAR图像的难题，避免了现有技术采用两个神经网络对抗的学习准则来生成新的数据，会导致训练过程不稳定、模式崩溃等问题。在双向循环一致的对抗生成网络模型训练达到最优时，模型输出光学图像跨域增强SAR图像的结果，提升特定图像分析任务的准确性。
附图说明
图1是本发明源域光学图像到目标域SAR图像循环一致对抗网络结构示意图；
图2是本发明目标域SAR图像到源域光学图像循环一致对抗网络结构示意图；
图3是根据图1、图2构建的双向循环一致跨域对抗网络结构示意图；
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
具体实施方式
参阅图1-图3。根据本发明，首先，以源域光学图像x作为图像跨域生成器Gx的输入，生成目标域SAR图像Gx(x)，并送入目标域判别器Dy判断生成SAR图像的真假，目标域判别器Dy根据输入的目标域真实SAR图像y’，鉴别生成的SAR图像Gx(x)的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像Gx(x)送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；然后，以目标域SAR图像y作为跨域生成器Gy的输入，生成源域光学图像Gy(y)，源域判别器Dx根据输入的源域真实光学图像图像x’，鉴别生成的光学图像Gy(y)的真or假，同时图像跨域生成器Gy将生成的源域光学图像Gy(y)送入图像跨域生成器Gx，通过输入SAR图像与重构SAR图像的配准，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络(CycleGAN)结构，并对该模型进行训练，当双向循环一致跨域对抗网络达到最优时，以源域光学图像作为图像跨域生成器Gx的输入，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。
参阅图1，在构建源域光学图像到目标域SAR图像的循环一致对抗生成网络中，以源域光学图像x作为输入，通过图像跨域生成器Gx生成目标域SAR图像Gx(x)，与目标域真实SAR图像y’通过目标域判别器Dy鉴别生成的SAR图像Gx(x)是否为真正的SAR图像，同时，Gx(x)又作为图像跨域生成器Gy的输入，获得重构的源域光学图像x，即Gy(Gx(x))。如果重构源域光学图像x与原始输入源域光学图像x在像素级上相似，即可确保生成的目标域SAR图像Gx(x)保留了源域光学图像x中的分辨率、方位、方位角等信息。根据图像跨域生成器Gx和目标域判别器Dy，光学图像到SAR图像对抗生成网络模型损失函数LGAN(Gx，Dy)：
其中，E(·)表示分布函数期望值，y～Psar表示目标域SAR图像y服从概率分布Psar，x～Popt表示源域光学图像x服从概率分布Popt，log表示对数，Dy(·)表示目标域SAR图像判别器输出。
参阅图2。在构建目标域SAR图像到源域光学图像的循环一致对抗生成网络中，以目标域SAR图像y作为输入，通过图像跨域生成器Gy生成源域光学图像Gy(y)，与真实源域光学图像x’通过源域判别器Dx鉴别生成的光学图像Gy(y)是否为真正的光学图像，同时，生成的光学图像Gy(y)又作为图像跨域生成器Gx的输入，获得重构的目标域SAR图像y即Gx(Gy(y))，根据图像跨域生成器Gy和源域判别器Dx，SAR图像到光学图像对抗生成网络模型损失函数LGAN(Gy,Dx)可表示为
其中，E(·)表示分布函数期望值，x～Popt表示源域光学图像x服从概率分布Popt，y～Psar表示目标域SAR图像y服从概率分布Psar，Dx(·)表示源域光学图像判别器输出。
参阅图3。结合图1和图2构建双向循环一致跨域对抗生成网络(CycleGAN)，图像跨域生成器Gx和Gy互为逆映射，Gx将源域光学图像x映射为目标域SAR图像Gx(x)，Gy又将目标域SAR图像Gx(x)再次重构为源域光学图像Gy(Gx(x))，这就是循环一致思想的核心。利用循环一致约束x与Gy(Gx(x))、y与Gx(Gy(y))达到像素级相似，根据LGAN(Gx,Dy)、LGAN(Gy,Dx)，将其损失函数Lcyc表示为
其中，E(·)表示分布函数期望值，x～Popt表示源域光学图像x服从概率分布Popt，y～Psar表示目标域SAR图像y服从概率分布Psar，||·||1表示1范数。
LGAN(Gx,Dy)、LGAN(Gy,Dx)、Lcyc三项损失函数相加，得到双向循环一致跨域对抗生成网络模型总损失函数Lall：
Lall＝LGAN(Gx,Dy)+LGAN(Gy,Dx)+λLcyc
其中，λ是超参数，控制GAN损失和循环一致损失的比重。
在可选的实施例中，针对光学图像跨域生成SAR图像，引入循环一致性损失Lcyc和交叉熵损失，通过梯度下降方法求解双向循环一致跨域对抗生成网络模型，得到最优解为Gx*,
其中，Gx*和Gy*分别表示图像跨域生成器的最优解，
表示对Lall中的Gx、Gy、Dx、Dy求最大最小值。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种光学图像跨域对抗生成SAR图像的方法，其特征在于，包括如下步骤：
首先，以源域光学图像x作为图像跨域生成器Gx的输入，生成目标域SAR图像Gx(x)，并送入目标域判别器Dy判断生成SAR图像的真假，目标域判别器Dy根据输入的目标域真实SAR图像y’，鉴别生成的SAR图像Gx(x)的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像Gx(x)送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；然后，以目标域SAR图像y作为跨域生成器Gy的输入，生成源域光学图像Gy(y)，源域判别器Dx根据输入的源域真实光学图像图像x’，鉴别生成的光学图像Gy(y)的真or假，同时图像跨域生成器Gy将生成的源域光学图像Gy(y)送入图像跨域生成器Gx，通过输入SAR图像与重构SAR图像的配准，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络(CycleGAN)结构，并对该模型进行训练，当双向循环一致跨域对抗网络达到最优时，以源域光学图像作为图像跨域生成器Gx的输入，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。
2.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：在构建源域光学图像到目标域SAR图像的循环一致对抗生成网络中，以源域光学图像x作为输入，通过图像跨域生成器Gx生成目标域SAR图像Gx(x)，与目标域真实SAR图像y’通过目标域判别器Dy鉴别生成的SAR图像Gx(x)是否为真正的SAR图像，同时，Gx(x)又作为图像跨域生成器Gy的输入，获得重构的源域光学图像x，即Gy(Gx(x))。
3.如权利要求2所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：
根据图像跨域生成器Gx和目标域判别器Dy，生成光学图像到SAR图像对抗生成网络模型损失函数LGAN(Gx，Dy)：
其中，E(·)表示分布函数期望值，y～Psar表示目标域SAR图像y服从概率分布Psar，x～Popt表示源域光学图像x服从概率分布Popt，log表示对数，Dy(·)表示目标域SAR图像判别器输出。
4.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：在构建目标域SAR图像到源域光学图像的循环一致对抗生成网络中，以目标域SAR图像y作为输入，通过图像跨域生成器Gy生成源域光学图像Gy(y)，与真实源域光学图像x’通过源域判别器Dx鉴别生成的光学图像Gy(y)是否为真正的光学图像，同时，生成的光学图像Gy(y)又作为图像跨域生成器Gx的输入，获得重构的目标域SAR图像y即Gx(Gy(y))，根据图像跨域生成器Gy和源域判别器Dx，SAR图像到光学图像对抗生成网络模型损失函数LGAN(Gy,Dx)表示为
其中，E(·)表示分布函数期望值，x～Popt表示源域光学图像x服从概率分布Popt，y～Psar表示目标域SAR图像y服从概率分布Psar，Dx(·)表示源域光学图像判别器输出。
5.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：图像跨域生成器Gx和Gy互为逆映射，Gx将源域光学图像x映射为目标域SAR图像Gx(x)，Gy又将目标域SAR图像Gx(x)再次重构为源域光学图像Gy(Gx(x))。
6.如权利1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：利用循环一致约束x与Gy(Gx(x))、y与Gx(Gy(y))达到像素级相似，根据LGAN(Gx,Dy)、LGAN(Gy,Dx)，将其损失函数Lcyc表示为
其中，E(·)表示分布函数期望值，x～Popt表示源域光学图像x服从概率分布Popt，y～Psar表示目标域SAR图像y服从概率分布Psar，||·||1表示1范数。
7.如权利要求权利要求2～6任意一项所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：LGAN(Gx,Dy)、LGAN(Gy,Dx)、Lcyc三项损失函数相加，得到双向循环一致跨域对抗生成网络模型总损失函数Lall：
Lall＝LGAN(Gx,Dy)+LGAN(Gy,Dx)+λLcyc
其中，λ是超参数，控制GAN损失和循环一致损失的比重。
8.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：针对光学图像跨域生成SAR图像，引入循环一致性损失Lcyc和交叉熵损失，通过梯度下降方法求解双向循环一致跨域对抗生成网络模型，得到最优解为Gx*,
其中，Gx*和Gy*分别表示图像跨域生成器的最优解，
表示对Lall中的Gx、Gy、Dx、Dy求最大最小值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111013164.4A CN114119792B (zh) | 2021-08-31 | 2021-08-31 | 光学图像跨域对抗生成sar图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111013164.4A CN114119792B (zh) | 2021-08-31 | 2021-08-31 | 光学图像跨域对抗生成sar图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114119792A true CN114119792A (zh) | 2022-03-01 |
| CN114119792B CN114119792B (zh) | 2023-04-07 |
Family
ID=80441102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111013164.4A Active CN114119792B (zh) | 2021-08-31 | 2021-08-31 | 光学图像跨域对抗生成sar图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119792B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581295A (zh) * | 2022-03-14 | 2022-06-03 | 天津科技大学 | 一种使用对比学习和数据增强的单向图像转换方法 |
| CN116758009A (zh) * | 2023-05-23 | 2023-09-15 | 山东浪潮科学研究院有限公司 | 一种基于图像转化识别叠掩的sar图像建筑物检测方法 |
| CN117036753A (zh) * | 2023-07-18 | 2023-11-10 | 北京观微科技有限公司 | 一种基于模板匹配和InfoGAN的SAR图像扩容方法 |
| WO2024259847A1 (zh) * | 2023-06-20 | 2024-12-26 | 浙江工业大学 | 一种基于gan网络的语义图像还原方法 |
| CN119295863A (zh) * | 2024-12-12 | 2025-01-10 | 浙江国遥地理信息技术有限公司 | 一种雷达微波图像数据集生成方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180307947A1 (en) * | 2017-04-25 | 2018-10-25 | Nec Laboratories America, Inc. | Cyclic generative adversarial network for unsupervised cross-domain image generation |
| CN111798369A (zh) * | 2020-06-29 | 2020-10-20 | 电子科技大学 | 一种基于循环条件生成对抗网络的人脸衰老图像合成方法 |
-
2021
- 2021-08-31 CN CN202111013164.4A patent/CN114119792B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180307947A1 (en) * | 2017-04-25 | 2018-10-25 | Nec Laboratories America, Inc. | Cyclic generative adversarial network for unsupervised cross-domain image generation |
| CN111798369A (zh) * | 2020-06-29 | 2020-10-20 | 电子科技大学 | 一种基于循环条件生成对抗网络的人脸衰老图像合成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周立君等: "一种基于GAN和自适应迁移学习的样本生成方法", 《应用光学》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581295A (zh) * | 2022-03-14 | 2022-06-03 | 天津科技大学 | 一种使用对比学习和数据增强的单向图像转换方法 |
| CN116758009A (zh) * | 2023-05-23 | 2023-09-15 | 山东浪潮科学研究院有限公司 | 一种基于图像转化识别叠掩的sar图像建筑物检测方法 |
| WO2024259847A1 (zh) * | 2023-06-20 | 2024-12-26 | 浙江工业大学 | 一种基于gan网络的语义图像还原方法 |
| CN117036753A (zh) * | 2023-07-18 | 2023-11-10 | 北京观微科技有限公司 | 一种基于模板匹配和InfoGAN的SAR图像扩容方法 |
| CN119295863A (zh) * | 2024-12-12 | 2025-01-10 | 浙江国遥地理信息技术有限公司 | 一种雷达微波图像数据集生成方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114119792B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114119792B (zh) | 光学图像跨域对抗生成sar图像的方法 | |
| Jin et al. | Generative adversarial network technologies and applications in computer vision | |
| Yu et al. | A survey on deepfake video detection | |
| Tang et al. | Compressed-domain ship detection on spaceborne optical image using deep neural network and extreme learning machine | |
| US20240257554A1 (en) | Image generation method and related device | |
| Xu et al. | Underwater sonar image classification using generative adversarial network and convolutional neural network | |
| Zhang et al. | Single-image defogging algorithm based on improved cycle-consistent adversarial network | |
| Yu et al. | Deep forgery discriminator via image degradation analysis | |
| Zhu et al. | Rhino: Regularizing the hash-based implicit neural representation | |
| Xie et al. | Design of painting art style rendering system based on convolutional neural network | |
| Mao et al. | Neus-pir: Learning relightable neural surface using pre-integrated rendering | |
| Li et al. | [Retracted] Research on Haze Image Enhancement based on Dark Channel Prior Algorithm in Machine Vision | |
| Du et al. | [Retracted] Analysis of Graphic Design Based on AI Interaction Technology | |
| Qin et al. | Virtual reality video image classification based on texture features | |
| Atone et al. | Generative adversarial networks in computer vision: a review of variants, applications, advantages, and limitations | |
| Cui et al. | Feature Joint Learning for SAR Target Recognition | |
| Li et al. | Optical-guided residual learning network for synthetic aperture radar image super-resolution | |
| Zhang et al. | A ship detection method in infrared remote sensing images based on image generation and causal inference | |
| Xu et al. | Image Style Transfering Based on StarGAN and Class Encoder. | |
| Ma et al. | Physical adversarial attack in artificial intelligence of things | |
| Hao et al. | Radar Target Recognition and Location Based on CapsNetv2 | |
| Zhao et al. | MMFuse: A multi‐scale infrared and visible images fusion algorithm based on morphological reconstruction and membership filtering | |
| Li et al. | Moving target detection based on improved Gaussian mixture model in dynamic and complex environments | |
| Wang et al. | A novel target detection method with dual‐domain multi‐frequency feature in side‐scan sonar images | |
| Huang | Exploring Deep Learning-Based Generative Image Techniques: Methods and Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |