CN110197517A - 基于多域循环一致性对抗生成网络的sar图像上色方法 - Google Patents

基于多域循环一致性对抗生成网络的sar图像上色方法 Download PDF

Info

Publication number
CN110197517A
CN110197517A CN201910500919.XA CN201910500919A CN110197517A CN 110197517 A CN110197517 A CN 110197517A CN 201910500919 A CN201910500919 A CN 201910500919A CN 110197517 A CN110197517 A CN 110197517A
Authority
CN
China
Prior art keywords
sar image
pseudo
optical imagery
generator
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910500919.XA
Other languages
English (en)
Other versions
CN110197517B (zh
Inventor
龚声蓉
纪光
周立凡
夏瑜
钟珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN201910500919.XA priority Critical patent/CN110197517B/zh
Publication of CN110197517A publication Critical patent/CN110197517A/zh
Application granted granted Critical
Publication of CN110197517B publication Critical patent/CN110197517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多域循环一致性对抗生成网络的SAR图像上色方法，包括步骤：从数据集中随机抽取一对非成对的SAR图像和光学图像并转化为特征向量，网络采用双生成器和双判别器结构，SAR图像特征向量连接掩模向量经过生成器的常规卷积、残差卷积、上采样操作，生成伪光学图像，相同步骤从光学图像得到伪SAR图像，由伪光学图像和光学图像以及伪SAR图像和SAR图像通过判别器输出，由对抗损失、循环一致损失和多域分类损失对生成器和判别器进行对抗训练，由训练后的生成器根据SAR图像生成上色的光学图像。本发明方法可使用非成对数据集进行训练，并减少区域上色错误。

Description

基于多域循环一致性对抗生成网络的SAR图像上色方法
技术领域
本发明涉及一种SAR图像上色方法，特别是涉及一种基于多域循环一致性对抗生成网络的SAR图像上色方法。
背景技术
SAR(合成孔径雷达)图像上色，即对合成孔径雷达SAR图像进行光学上色，使之拥有接近人类感知的光学色彩。目前对于SAR图像上色主要包括全极化SAR重建和光学SAR上色两种方法。
全极化SAR重建，实际上试图通过深入研究单极化、双极化或紧凑极化灰度图像的空间模式来恢复丢失的极化信息。早些年，Qiming Deng和Yilun Chen等人使用基本原理着色SAR图像，他们认为具有相同散射特性的像素应该具有相似的颜色；近年来，随着深度学习技术的发展，Qian Song和Feng Xu等人提出了一种使用深度神经网络将单极化SAR图像转化为全极化图像的方法。
光学的SAR图像上色方法更类似于传统意义的光学图像上色，它兴起于深度学习的出现，并利用卷积神经网络模拟模拟SAR图像跟RGB图像之间的映射关系，建立仿射函数，实现上色目的。因此，我们可以将这一问题更广泛地将此类SAR图像上色问题描述为图像到图像的转换问题。在计算机视觉领域，图像到图像之间的转化已经从半自动演变为全自动。G.Larsson,M.Maire和G.Shakhnarovich利用VGG16的网络来提取特征，并且使用全连接层来预测颜色。此外，在计算机视觉领域还有一些比较新型高效的利用生成对抗网络结构的方法来完成图像到图像之间的转化。Pix2pix和Pix2pixHD都是非常高效的方法，而前者在SAR图像上色领域中也取得了非常好的效果。
针对SAR图像上色，当前主要存在两个问题。
1、对SAR图像上色的研究，不论是上述所说的哪一种方法，都需要大量成对的数据集，而SAR图像跟光学图像的成像机理又不尽相同。光学图像中的丰富细节被掩埋在SAR图形中的强反射下面，即来自一个像素中的多个源的反射的叠加。因此，SAR图像使用灰度图像来忽略颜色特性。实际应用中，由于SAR和光学图像的不同成像机制和昂贵的获取成本，用于像素到像素回归的成对的训练样本集总是难以获取，这限制了对SAR图像上色的相关研究；
2、在针对上述所述的第一个缺陷的前提下，使用多域循环一致性对抗生成网络来解决必须使用成对SAR-optical(遥感-光学)数据集的问题，在使用非成对数据集进行深度对抗训练时，发现对SAR图像的上色效果出现了偏差，即原本海洋区域的SAR图像被错误的上色为农场的颜色，而农场区域的SAR图像又可能被错误的上色为岩石或海洋的颜色，SAR图像上色效果欠佳。
发明内容
针对上述现有技术缺陷，本发明的任务在于提供一种基于多域循环一致性对抗生成网络的SAR图像上色方法，避免大量使用成对的数据集进行训练并解决区域上色偏差的问题。
本发明技术方案是这样的：一种基于多域循环一致性对抗生成网络的SAR图像上色方法，包括以下步骤：
S1、从数据集中随机抽取一对非成对的SAR图像和光学图像并转化为特征向量；
S2、由所述SAR图像的特征向量连接欲生成的光学图像的掩模向量，经过第一生成器的常规卷积、残差卷积、上采样操作，生成第一伪光学图像，由所述光学图像的特征向量连接欲生成的SAR图像的掩模向量，经过第二生成器的常规卷积、残差卷积、上采样操作，生成第一伪SAR图像，所述第一生成器和第二生成器结构相同，所述掩模向量代表指定颜色域的地理区域，掩模向量其中n指有n个不同地理区域的数量；
S3、设置具有相同卷积结构的第一判别器和第二判别器，所述卷积结构包括相互独立的第一卷积部分和第二卷积部分，所述第一卷积部分和第二卷积部分各自包括若干卷积层，由所述第一伪光学图像经过第二生成器生成第二伪SAR图像，由所述第一伪SAR图像经过第一生成器生成第二伪光学图像，定义：
对抗损失其中E为数学期望，Dadv为所述第一卷积部分，G为生成器，x为图像；
循环一致损失其中为G1第一次经过的生成器，G2为第二次经过的生成器，为图像对应的掩模向量，||||1为损失函数用于规范x和的相似度；
一类多域分类损失其中Dcls为所述第二卷积部分；
二类多域分类损失
由SAR图像、第一伪光学图像以及光学图像、第一伪SAR图像分别得到所述对抗损失，由第一伪光学图像、第二伪SAR图像以及第一伪SAR图像、第二伪光学图像分别得到循环一致损失，由第一伪光学图像的掩模向量、SAR图像得到以及由第一伪SAR图像的掩模向量、光学图像分别得到一类多域分类损失，由所述第一伪光学图像以及第一伪SAR图像分别得到所述二类多域分类损失；
S4、由步骤S3得到的所述对抗损失、循环一致损失和二类多域分类损失训练第一生成器和第二生成器；由所述对抗损失和一类多域分类损失训练第一判别器和第二判别器；
S5、连接欲上色的SAR图像的特征向量及光学图像对应的掩模向量，经过所述训练后的第一生成器上色得到光学图像。
进一步地，所述第一生成器和第二生成器的结构包括三个前置卷积层、九个残差模块、两个反卷积层和一个后置卷积层。
进一步地，所述三个前置卷积层的滤波器数量依次为32、64和128。
进一步地，所述九个残差模块的滤波器数量均为128。
进一步地，所述两个反卷积层的滤波器数量依次为128和256。
进一步地，所述后置卷积层的滤波器数量为256。
进一步地，所述第一卷积部分包括5层卷积层，所述5层卷积层的滤波器数量依次为64、128、256、512和1。
进一步地，所述第二卷积部分包括3层卷积层，所述3层卷积层的滤波器数量均为64。
本发明与现有技术相比的优点在于：
1、引用生成对抗网络，提出多域循环一致性损失函数，使得SAR图像上色的训练过程不再需要大量成对的数据集。
2、采用掩模向量简单标注图像所属的区域信息，采用标注的图像进行训练，可以使得生成器和判别器拥有区分不同区域颜色信息的能力。
附图说明
图1为本发明基于多域循环一致性对抗生成网络结构示意图。
图2为生成器结构示意图。
图3为判别器结构示意图。
具体实施方式
下面结合实施例对本发明作进一步说明，但不作为对本发明的限定。
基于多域循环一致性对抗生成网络的SAR图像上色方法，涉及的网络结构如图1所示，生成器是网络结构的关键架构，SAR图像着色可以被视为图像生成问题。假设有两个训练数据集，即分别来自域A的SAR图像和来自域B的光学图像。在训练过程中，由于SAR-Optical(遥感-光学)数据集不是逐像素一一对应的图像，因此需要在循环中生成两次图像。生成器设置有两个，第一生成器G1和第二生成器G2，两者具有相同的结构，如图2所示，分别包括三个前置卷积层、九个残差模块、两个反卷积层和一个后置卷积层。n代表卷积层，后面的数字是每层中滤波器的数量，dn代表反卷积层，cN是区分不同层的名称。三个前置卷积层的滤波器数量依次为32、64和128，九个残差模块的滤波器数量均为128，两个反卷积层的滤波器数量依次为128和256，后置卷积层的滤波器数量为256，最后由激活函数tanh来生成最终图像。
根据上述两个生成器，对应着两个判别器，分别为第一判别器D1和第二判别器D2。每个判别器由相互独立的两部分组成，第一部分可以区分生成的图像是真是假，这与原始的生成对抗网络的目标一致。而第二部分则是输出具有跟标签向量相同维度的概率向量，以预测判别器输入的图像属于那一区域的图像，以此进行图像的分类。判别器的结构如图3所示，第一卷积部分包括5层卷积层，5层卷积层的滤波器数量依次为64、128、256、512和1。第二卷积部分包括3层卷积层，3层卷积层的滤波器数量均为64。
基于多域循环一致性对抗生成网络的SAR图像上色方法，包括以下步骤：
S1、基于神经网络的方法，使用tensorflow框架函数从数据集中随机抽取一对非成对的SAR图像和光学图像并转化为特征向量，以此作为图像的先验信息，方便后续的特征转化；
S2、由SAR图像的特征向量连接欲生成的光学图像的掩模向量经过第一生成器G1的常规卷积、残差卷积、上采样操作，生成第一伪光学图像，由光学图像的特征向量连接欲生成的SAR图像的掩模向量经过第二生成器G2的常规卷积、残差卷积、上采样操作，生成第一伪SAR图像。第一生成器和第二生成器结构相同，掩模向量代表指定颜色域的地理区域，掩模向量其中n指有n个不同地理区域的数量；例如，定义SAR灰度图像为一种单独的区域，用掩模向量表示为[1,0,0]，而海洋区域的光学图像和农场区域的图像为另外两种区域，分别用[0,1,0]、[0,0,1]表示；
S3、利用损失函数优化生成器和判别器，完成模型的训练。设置具有相同卷积结构的第一判别器D1和第二判别器D2，卷积结构包括相互独立的第一卷积部分和第二卷积部分，第一卷积部分和第二卷积部分各自包括若干卷积层，由第一伪光学图像经过第二生成器生成第二伪SAR图像，由第一伪SAR图像经过第一生成器生成第二伪光学图像，定义：
对抗损失其中E为数学期望，Dadv为所述第一卷积部分，G为生成器，x为图像；
循环一致损失其中为G1第一次经过的生成器，G2为第二次经过的生成器，为图像对应的掩模向量，||||1为损失函数用于规范x和的相似度；
一类多域分类损失其中Dcls为第二卷积部分，表示真实图像的域分类损失用于优化判别器；
二类多域分类损失表示生成的伪图像的域分类损失用于优化生成器；
对抗损失是一个概率值，由SAR图像、第一伪光学图像以及光学图像、第一伪SAR图像分别得到对抗损失，第一伪光学图像越接近SAR图像，第一判别器D1输出的概率值越接近1，第一伪SAR图像越接近光学图像，第二判别器D2输出的概率值越接近1；
循环一致损失是对非成对数据集的弥补，由第一伪光学图像、第二伪SAR图像以及第一伪SAR图像、第二伪光学图像分别得到循环一致损失，将第二伪SAR图像与SAR图像做逐像素的对抗训练，第二伪光学图像与光学图像做逐像素的对抗训练；
由第一伪光学图像的掩模向量、SAR图像得到以及由第一伪SAR图像的掩模向量、光学图像分别得到一类多域分类损失，将第一判别器D1输出的掩模向量与SAR图像的掩模向量做对抗训练，第二判别器D2输出的掩模向量与光学图像的掩模向量做对抗训练；
由第一伪光学图像以及第一伪SAR图像分别得到所述二类多域分类损失；
S4、由步骤S3得到的对抗损失、循环一致损失和二类多域分类损失训练第一生成器和第二生成器；由对抗损失和一类多域分类损失训练第一判别器和第二判别器；
S5、连接欲上色的SAR图像的特征向量及光学图像对应的掩模向量，经过训练后的第一生成器上色得到光学图像，此光学图像拥有可见光的颜色信息。
对本发明进行论证实验，使用数据集是：SEN1-2。
SEN1-2数据集由282，384个SAR-Optical(遥感-光学)图像补丁组成，这些图像遍布地球表面和四季。每个季节的图像都放在仅属于自己的文件夹中。每个季节文件夹中包含不同地区的SAR-Optical(遥感-光学)图像。由于本发明方法基于不成对数据训练，对SEN1-2数据集进行了以下两点修改：首先，随机混合每个类别中的成对SAR-Optical(遥感-光学)图像；然后合并实验中所使用的所有类别。通过这种做法，可以真正使用不成对数据集来验证本发明方法。为了最大化比较的公平性，使用与pix2pix训练期间相同的图像。
另外，实验硬件环境：Ubuntu 16.04，Tesla P100显卡，显存16G。
代码运行环境：深度学习框架(Tensorflow1.2.0)，python2.7。
第一个实验使用非成对数据集训练本发明网络与成对训练数据集训练pix2pix比较；第二个实验使用非成对数据集训练本发明网络与使用相同数据集训练的CycleGAN相比。比较分为定性和定量结果。
定性结果表明，在没有成对数据集的情况下，本发明方法可以将SAR图像上色为正确的颜色，生成出来的图像跟pix2pix效果接近。尽管没有使用真实的成对图像做像素级别的比较，但在两个方向上明确的添加了多域循环一致性损失，使得本发明方法也能够取得接近的效果。而在少数具有见到那纹理和颜色域的区域产生了看似更好的结果，相比较而言，在这些区域本发明更容易地学习SAR图像地细节，而pix2pix只能生成更模糊的图像。与原始的CycleGAN进行比较，由于CycleGAN在多个颜色域中获取准确颜色信息的能力不足，而本发明方法通过增加的掩模向量有效的补偿了CycleGAN的缺陷，很少出现上错颜色的失误。
为了定量分析每种算法的准确性，使用三种评估指标：峰值信噪比(PSNR),结构相似性指数度量(SSIM)和余弦相似度(COSIN)。PSNR是评估图像的客观标准。SSIM是两个图像之间的相似性度量，并且COSIN将图像表示为矢量，并通过计算矢量之间的余弦距离来表征两个图像的相似性。它们中的每一个都是从不同角度度量两个图像的相似性的有效方法。表一评估了每种方法在三个指标上的表现，由于使用成对的训练数据集，pix2pix方法在每个度量上都获得最佳结果，而本发明方法的数据非常接近pix2pix，但本发明方法是不需要成对的数据集的。这意味着，本发明方法可以实现与pix2pix相当的性能，并且能突破必须使用成对数据集的局限。在这种情况下，我们认为本发明方法是优于经典的pix2pix方法的。此外，本发明方法比CycleGAN方法表现得更好，因为引入了多域分类的损失函数，这使得每一张被上色的图像有了更加明确的方向。
表一各方法不同评价指标的对比
Method PSNR SSIM COSIN
Pix2pix 23.34 0.471 0.950
CycleGAN 16.40 0.326 0.817
本发明方法 19.13 0.419 0.882
综上，基于多域循环一致性对抗生成网络的SAR图像上色方法，与其他基于GAN的SAR图像上色方法有两个不同之处：首先，在网络架构中设计了一个多域循环一致性损失，可以避免使用成对的数据集进行训练，这意味着在训练阶段，输入一个SAR图像和任意一张光学图像，就可以训练出很好的模型能够准确的为SAR图像上色。其次，利用在训练过程中添加的掩模向量，同时在网络中提出了一种多域分类损失，能够更准确的实现多域的SAR图像上色。在SEN1-2数据集上的实验结果表明，本发明方法是一种有效的SAR图像上色方法。

Claims (8)

1.一种基于多域循环一致性对抗生成网络的SAR图像上色方法，其特征在于，包括以下步骤：
S1、从数据集中随机抽取一对非成对的SAR图像和光学图像并转化为特征向量；
S2、由所述SAR图像的特征向量连接欲生成的光学图像的掩模向量，经过第一生成器的常规卷积、残差卷积、上采样操作，生成第一伪光学图像，由所述光学图像的特征向量连接欲生成的SAR图像的掩模向量，经过第二生成器的常规卷积、残差卷积、上采样操作，生成第一伪SAR图像，所述第一生成器和第二生成器结构相同，所述掩模向量代表指定颜色域的地理区域，掩模向量其中n指有n个不同地理区域的数量；
S3、设置具有相同卷积结构的第一判别器和第二判别器，所述卷积结构包括相互独立的第一卷积部分和第二卷积部分，所述第一卷积部分和第二卷积部分各自包括若干卷积层，由所述第一伪光学图像经过第二生成器生成第二伪SAR图像，由所述第一伪SAR图像经过第一生成器生成第二伪光学图像，定义：
对抗损失其中E为数学期望，Dadv为所述第一卷积部分，G为生成器，x为图像；
循环一致损失其中为G1第一次经过的生成器，G2为第二次经过的生成器，为图像对应的掩模向量，||||1为损失函数用于规范x和的相似度；
一类多域分类损失其中Dcls为所述第二卷积部分；
二类多域分类损失
由SAR图像、第一伪光学图像以及光学图像、第一伪SAR图像分别得到所述对抗损失，由第一伪光学图像、第二伪SAR图像以及第一伪SAR图像、第二伪光学图像分别得到循环一致损失，由第一伪光学图像的掩模向量、SAR图像得到以及由第一伪SAR图像的掩模向量、光学图像分别得到一类多域分类损失，由所述第一伪光学图像以及第一伪SAR图像分别得到所述二类多域分类损失；
S4、由步骤S3得到的所述对抗损失、循环一致损失和二类多域分类损失训练第一生成器和第二生成器；由所述对抗损失和一类多域分类损失训练第一判别器和第二判别器；
S5、连接欲上色的SAR图像的特征向量及光学图像对应的掩模向量，经过所述训练后的第一生成器上色得到光学图像。
2.根据权利要求1所述的基于多域循环一致性对抗生成网络的SAR图像上色方法，其特征在于，所述第一生成器和第二生成器的结构包括三个前置卷积层、九个残差模块、两个反卷积层和一个后置卷积层。
3.根据权利要求2所述的基于多域循环一致性对抗生成网络的SAR图像上色方法，其特征在于，所述三个前置卷积层的滤波器数量依次为32、64和128。
4.根据权利要求2所述的基于多域循环一致性对抗生成网络的SAR图像上色方法，其特征在于，所述九个残差模块的滤波器数量均为128。
5.根据权利要求2所述的基于多域循环一致性对抗生成网络的SAR图像上色方法，其特征在于，所述两个反卷积层的滤波器数量依次为128和256。
6.根据权利要求2所述的基于多域循环一致性对抗生成网络的SAR图像上色方法，其特征在于，所述后置卷积层的滤波器数量为256。
7.根据权利要求1所述的基于多域循环一致性对抗生成网络的SAR图像上色方法，其特征在于，所述第一卷积部分包括5层卷积层，所述5层卷积层的滤波器数量依次为64、128、256、512和1。
8.根据权利要求1所述的基于多域循环一致性对抗生成网络的SAR图像上色方法，其特征在于，所述第二卷积部分包括3层卷积层，所述3层卷积层的滤波器数量均为64。
CN201910500919.XA 2019-06-11 2019-06-11 基于多域循环一致性对抗生成网络的sar图像上色方法 Active CN110197517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910500919.XA CN110197517B (zh) 2019-06-11 2019-06-11 基于多域循环一致性对抗生成网络的sar图像上色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910500919.XA CN110197517B (zh) 2019-06-11 2019-06-11 基于多域循环一致性对抗生成网络的sar图像上色方法

Publications (2)

Publication Number Publication Date
CN110197517A true CN110197517A (zh) 2019-09-03
CN110197517B CN110197517B (zh) 2023-01-31

Family

ID=67754278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910500919.XA Active CN110197517B (zh) 2019-06-11 2019-06-11 基于多域循环一致性对抗生成网络的sar图像上色方法

Country Status (1)

Country Link
CN (1) CN110197517B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807740A (zh) * 2019-09-17 2020-02-18 北京大学 一种面向监控场景车窗图像的图像增强方法与系统
CN111398955A (zh) * 2020-03-13 2020-07-10 中国科学院电子学研究所苏州研究院 一种基于生成对抗神经网络的sar图像去旁瓣方法
CN112446873A (zh) * 2020-12-11 2021-03-05 深圳高性能医疗器械国家研究院有限公司 一种图像伪影的去除方法
CN112862946A (zh) * 2019-11-28 2021-05-28 四川大学 基于级联条件生成对抗网络的灰度岩心图像三维重建方法
CN112926534A (zh) * 2021-04-02 2021-06-08 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法
CN112967260A (zh) * 2021-03-17 2021-06-15 中国科学院苏州生物医学工程技术研究所 基于弱监督学习的眼底荧光造影图像渗漏点检测方法
CN113205472A (zh) * 2021-04-21 2021-08-03 复旦大学 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法
CN113554671A (zh) * 2021-06-23 2021-10-26 西安电子科技大学 基于轮廓增强的sar图像到可见光图像的转换方法及装置
CN114202679A (zh) * 2021-12-01 2022-03-18 昆明理工大学 一种基于gan网络的异源遥感图像自动化标注方法
CN115546351A (zh) * 2022-12-02 2022-12-30 耕宇牧星(北京)空间科技有限公司 一种基于卷积网络的合成孔径雷达图像着色方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038818A (zh) * 2017-12-06 2018-05-15 电子科技大学 一种基于多重循环一致性的生成对抗式网络图像风格转移方法
CN109190684A (zh) * 2018-08-15 2019-01-11 西安电子科技大学 基于素描及结构生成对抗网络的sar图像样本生成方法
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038818A (zh) * 2017-12-06 2018-05-15 电子科技大学 一种基于多重循环一致性的生成对抗式网络图像风格转移方法
CN109190684A (zh) * 2018-08-15 2019-01-11 西安电子科技大学 基于素描及结构生成对抗网络的sar图像样本生成方法
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李佳豪等: "基于双通道循环生成对抗网络的无人车夜视红外视频彩色化", 《激光与光电子学进展》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807740A (zh) * 2019-09-17 2020-02-18 北京大学 一种面向监控场景车窗图像的图像增强方法与系统
CN112862946B (zh) * 2019-11-28 2023-02-14 四川大学 基于级联条件生成对抗网络的灰度岩心图像三维重建方法
CN112862946A (zh) * 2019-11-28 2021-05-28 四川大学 基于级联条件生成对抗网络的灰度岩心图像三维重建方法
CN111398955A (zh) * 2020-03-13 2020-07-10 中国科学院电子学研究所苏州研究院 一种基于生成对抗神经网络的sar图像去旁瓣方法
CN112446873A (zh) * 2020-12-11 2021-03-05 深圳高性能医疗器械国家研究院有限公司 一种图像伪影的去除方法
CN112967260A (zh) * 2021-03-17 2021-06-15 中国科学院苏州生物医学工程技术研究所 基于弱监督学习的眼底荧光造影图像渗漏点检测方法
CN112967260B (zh) * 2021-03-17 2024-01-26 中国科学院苏州生物医学工程技术研究所 基于弱监督学习的眼底荧光造影图像渗漏点检测方法
CN112926534A (zh) * 2021-04-02 2021-06-08 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法
CN113205472A (zh) * 2021-04-21 2021-08-03 复旦大学 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法
CN113554671A (zh) * 2021-06-23 2021-10-26 西安电子科技大学 基于轮廓增强的sar图像到可见光图像的转换方法及装置
CN113554671B (zh) * 2021-06-23 2024-06-14 西安电子科技大学 基于轮廓增强的sar图像到可见光图像的转换方法及装置
CN114202679A (zh) * 2021-12-01 2022-03-18 昆明理工大学 一种基于gan网络的异源遥感图像自动化标注方法
CN115546351A (zh) * 2022-12-02 2022-12-30 耕宇牧星(北京)空间科技有限公司 一种基于卷积网络的合成孔径雷达图像着色方法
CN115546351B (zh) * 2022-12-02 2023-04-07 耕宇牧星(北京)空间科技有限公司 一种基于卷积网络的合成孔径雷达图像着色方法

Also Published As

Publication number Publication date
CN110197517B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN110197517A (zh) 基于多域循环一致性对抗生成网络的sar图像上色方法
Mei et al. Learning hyperspectral images from RGB images via a coarse-to-fine CNN
CN109934154B (zh) 一种遥感影像变化检测方法及检测装置
CN102308306A (zh) 用于图像分离的约束生成器
CN109993072A (zh) 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN111625608A (zh) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
Messai et al. Adaboost neural network and cyclopean view for no-reference stereoscopic image quality assessment
CN105096286A (zh) 遥感图像的融合方法及装置
CN107301372A (zh) 基于迁移学习的高光谱图像超分辨率方法
CN107816987A (zh) 一种基于蜘蛛网模式和卷积神经网络的星图识别方法
Kiani et al. Image colorization using generative adversarial networks and transfer learning
CN105740917B (zh) 带有标签学习的遥感图像的半监督多视图特征选择方法
CN111680579A (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
CN111488951B (zh) 一种用于rgb-d图像分类的对抗度量学习模型生成方法
Yang et al. FG-GAN: a fine-grained generative adversarial network for unsupervised SAR-to-optical image translation
CN117252936A (zh) 一种适配多种训练策略的红外图像彩色化方法及系统
CN116824485A (zh) 一种基于深度学习的开放场景伪装人员小目标检测方法
CN117876530A (zh) 一种基于参考图像的红外图像彩色化方法及系统
Chen et al. Colorization of infrared images based on feature fusion and contrastive learning
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114372521A (zh) 基于注意力机制和残差关系网络的sar图像分类方法
Lin et al. An investigation on worst‐case spectral reconstruction from RGB images via Radiance Mondrian World assumption
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
Güzel et al. Infrared image generation from rgb images using cyclegan

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant