CN111784560A - 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 - Google Patents
基于级联残差生成对抗网络的sar和光学图像双向翻译方法 Download PDFInfo
- Publication number
- CN111784560A CN111784560A CN201910275216.1A CN201910275216A CN111784560A CN 111784560 A CN111784560 A CN 111784560A CN 201910275216 A CN201910275216 A CN 201910275216A CN 111784560 A CN111784560 A CN 111784560A
- Authority
- CN
- China
- Prior art keywords
- sar
- images
- image
- training
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013519 translation Methods 0.000 title claims abstract description 21
- 230000002457 bidirectional effect Effects 0.000 title claims description 11
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 claims description 2
- 230000008485 antagonism Effects 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 2
- 230000003042 antagnostic effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000010287 polarization Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属遥感图像处理技术领域，涉及将SAR图像和光学图像间相互翻译的方法，尤其是一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法。本发明包括步骤：(1)训练样本严格配准；(2)图像预处理；(3)以监督学习的方式训练级联残差生成对抗网络；(4)基于监督学习的预训练网络，以非监督学习的方式迭代训练待测试样本，改善翻译结果。本发明能高效实现SAR和光学两种截然不同的传感模式的数据之间的转换，能将共同可见的信息从一种图像转换到另一种图像中，且能根据先验知识生成新的内容。本方法可用于SAR图像解译，适用于无雷达背景知识的人员。本发明可促进现有和未来SAR遥感图像存档的广泛应用，具有推广应用前景。
Description
发明领域
本发明属遥感图像处理技术领域，涉及将SAR图像和光学图像间相互翻译的方法，具体涉及一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法。本发明中将不同分辨率、极化方式的SAR图像与光学图像之间进行转换，可用于辅助专业人员进行对SAR图像的解译。
背景技术
现有技术公开了合成孔径雷达(Synthetic Aperture Radar，SAR)具有在全天时、全天候条件下高分辨率成像的能力。作为一种先进的空间遥感技术，它在地球科学、天气变化、环境系统监测、海洋资源利用、行星探测等方面得到了广泛的应用。实践显示，尽管SAR成像技术发展迅速，但SAR图像的解译仍然存在挑战，并且随着轨道上众多雷达卫星每天都在获取大量的SAR数据，解译变得越来越迫切；有研究显示，由于其独特的成像机制和复杂的电磁波散射机理，SAR表现出与光学图像非常不同的成像特征，人类的视觉系统适用于光学图像的解译，却很难解译SAR图像；虽然SAR图像包含丰富的有关目标和场景信息，例如几何结构和材料属性，但它们只能由训练有素的专家解译，这已成为利用现有SAR图像和进一步推广SAR应用的主要障碍。
据报道，自从2012年卷积神经网络(CNN)首次被成功应用于实际的图像分类任务以来，深度学习，特别是CNN已经彻底颠覆了现有的计算机视觉领域，它将卷积层和池化层堆叠起来，通过监督学习自动提取图像的不同尺度的特征。自2014年以来，基于CNN的方法已逐渐被应用于SAR图像的解译，典型的任务包括，如自动目标识别(ATR)、地表分类、相干斑滤波、变化检测等。
相比于计算机领域中被广泛研究的两个光学图像域之间转换的图像翻译，业内认为，SAR和光学图像之间的转换问题更加复杂，其中需要涉及两种传感模式截然不同的数据，如，SAR和光学图像中的信息部分重叠、部分不同，这意味着两个传感器仅观察到部分的共同信息，而其他的信息只对一种传感器可见。本技术领域公认一个成功的翻译算法应该能够将相同的信息从一种图像转换到另一种图像中，并且在理想的情况下，根据学习到的先验知识生成新的内容。
基于现有技术的基础与现状，本申请的发明人拟提供一种将SAR图像和光学图像间相互翻译的算法，尤其一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，所涉及的这样一个交叉模式数据的转换需要一个新颖、可调的网络方案以及大量严格配准的SAR和光学图像对作为训练数据。
发明内容
本发明的目的在于，基于现有技术的基础与现状，提供一种将SAR图像和光学图像间相互翻译的方法，尤其是一种基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，本方法是能够为SAR图像中目标正确分类并着色、具有跨场景泛化能力的图像转换方法。
具体的，本发明的基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，包括步骤：
(1)首先从数据集中挑选部分SAR图像和对应的光学图像，并对之严格配准；
(2)然后对所有即将使用的SAR和光学图像进行预处理，包括降噪、归一化、切片等；
(3)接着采用监督学习的方式，将严格配对的SAR和光学图像送入多尺度残差生成对抗网络中，迭代训练该模型；
(4)最后采用非监督学习的方式，利用拓展数据集中非配对的光学或SAR图像，迭代训练待测试的图像，改善翻译结果。
本发明中，所述的多尺度残差生成对抗网络，基于U-Net网络结构，主体是添加了skipconnections的encoder-decoder结构，并首次在此基础上添加了输入到decoder中间各层的连接；
本发明中，所述的监督学习，是指馈送到网络中的训练样本是严格配对的，因此翻译得到的图像有对应的真值可以逐像素地对比，有利于目标空间位置的对应和网络的稳定训练；
本发明中，所述的非监督学习，是指基于少量严格配对样本预训练的级联残差对抗网络，根据CycleGAN提出的循环回路的思想，将拓展数据集中的光学(或SAR)样本和待测试的SAR(或光学)样本一起送入双向网络中进行训练，在迭代过程待测试的样本结合预训练网络中的先验知识和动态地从拓展数据集中学到的新知识，重构出更加出色的结果。
更具体的，本发明中，所述各步骤的算法中：
(1)SAR和光学图像之间图像配准有两种方法，其中包括，
(1a)对于有经纬度信息的图像，以SAR或光学图像为基准，对于基准图像中每个像素点，根据经纬度的对应关系，从光学或SAR图像中采样对应的像素；
(1b)对于没有经纬度信息的图像，使用MATLAB的cpselect函数，以SAR图像作为基准图像，在SAR和光学图像中选取对应的定标点，根据定标点，可以生成投影矩阵，将光学图像进行相应的几何变换，从而实现它与基准图像在这些定标点位置上的对齐。
(2)对图像预处理，其包括主要步骤：
(2a)降噪，对相干斑噪声较强的SAR图像进行相干斑滤波，采用的是快速非局部降噪滤波器；
(2b)归一化，将SAR和光学图像归一化到区间[-1，1]之间，光学图像比较好处理，而像素值变化范围较大的SAR就需要挑选一个合适的阈值，在不改变对比度的情况下将SAR图像归一化。归一化后的SAR图像的像素值定义为如下等式：
式中x和
分别代表SAR图像归一化前后的像素值，
是选取的阈值，定义为：
式中xi是图像x中第i个像素值，N是图像x中像素总数，n是图像x中像素值为0的像素总数。
这里设置参数λ＝2000。
(2c)切片，将初始的SAR和光学大图中无重叠地切成尺寸为256×256的样本。
(3)多尺度残差网络，其中包括，
(3a)网络结构基于U-Net，主体是添加了skip connections的encoder-decoder结构，某种程度上能规避自编码器的信息瓶颈导致的信息丢失，本发明在此基础做了改进，将输入根据解码器中特征图的尺度相应地降采样，并将降采样后的图像直接跳连接到解码器的各个特征图中，由此鼓励网络中各个尺度的特征图学习到与输入之间的差距，那么该网络等效于学习输入与输出之间差距的残差网络；残差的加入可以消除训练解码器过程中可能出现的梯度消失的问题，经验证，相比于未增加残差连接的网络，增加残差连接的网络在SAR和光学图像中转换的效果更好；
(3b)损失函数基于Pix2Pix的网络，鉴别器的损失函数满足：
其中当i＝0，1时，pdata(i)分别表示真实光学和SAR图像的分布。
表示x服从pdata(i)分布，
表示z服从pdata(j)分布，z表示输入SAR(或光学)图像，T(z)表示翻译的光学(或SAR)图像，x表示对应的真实光学(或SAR)图像，D(□)表示鉴别器的输出概率图。对于鉴别器，最小化L(D)等同于将x分类为1，将T(z)分类为0；
遵循对抗原则，翻译器的损失函数是
其中LGAN(T)是两个翻译器的loss总和。跟鉴别器的目标相反，翻译器希望生成足够真实的图像，以欺骗鉴别器将它们分类为1；
对抗损失函数最好辅以传统的loss来训练，比如L1或L2 loss。相比于L2距离，使用L1距离较少产生模糊，所以，一个额外的衡量翻译图像T(z)和真实图像x之间距离的L1范数的loss被用来训练翻译器，也即
将上面两个等式加权组合在一起，就可以得到翻译器的最终的损失函数L(T)
L(T)＝LGAN(T)+βLL1(T) (公式六)
L(T)是两个翻译器的目标函数，它们的参数同时更新。两个鉴别器分别有一个损失函数L(D)，且被分别训练；
(3c)训练过程，自适应矩估计(Adaptive Moment Estimation，Adam)训练算法可以被用于同时训练两个翻译器/鉴别器，遵循GAN训练策略，一次迭代包括以下步骤：
a)前向传播——首先，随机初始化一对翻译器和一对鉴别器，然后一小批SAR图像被送入翻译器A，生成假的光学图像，同时一小批光学图像被送到翻译器B，生成假的SAR图像，继而，将真假光学图像相继送到同一个鉴别器A，分别生成两个概率图，真假SAR图像则被送到鉴别器B，也分别生成两张概率图；
b)后向传播——比较真假光学图像的两张概率图的差异并作为loss用于优化鉴别器A，同时SAR图像的概率图的差异用于优化鉴别器B，该两个loss相加作为翻译器的GANloss，翻译器需要最大化它们，还将直接比较真值和重构图像的像素级的差异，确保目标的位置一一对应，混合的loss被作为两个翻译器的最终的损失函数，然后应用反向传播，以同时调整两个翻译器的可训练参数；
前向传播和后向传播交替进行：batch size设置为1，使用4块NVIDIA Titan X的GPU并行加速技术，即同时输入4对SAR和光学图像，每次前向传递一对图像生成对应的假的图像，则可根据损失函数计算出可训练参数的梯度，当四个线程的梯度计算出后，其均值被用于更新优化器，后向传播是单线程；当完成后向传播后，另外四对图像又被送入网络中；每个周期需要遍历完所有的图像，然后重新打乱图片的顺序，遍历下一个周期。
(4)监督学习，其中包括，
(4a)从预处理后的严格配对的SAR和光学图像对中随机挑选20％作为测试样本，剩余的作为训练样本；
(4b)随机初始化网络，使所有可训练参数服从均值为0、标准差为0.02的截断正态分布；
(4c)使用4块GPU并行加速，每次将4对图像馈送给网络训练，遍历完所有图像作为一个epoch；
(4d)一个epoch之后重新打乱图像对的序号，重复(5c)；
(4f)训练过程中使用early stop策略，训练集的loss连续4个epoch不下降时，强制停止本次训练。
(5)非监督学习，训练方式为：
a)前向传播——基于少量严格配对的SAR和光学图像对监督训练的预训练网络，将SAR图像送到翻译器A并合成假的光学图像，然后利用假的光学图像通过翻译器B重构出假的SAR图像；另一方面，光学图像用于合成假的SAR图像，然后进一步重构出假的光学图像；
b)后向传播——重构的图像与真值逐像素进行比较，而合成的假图像与真值经过鉴别器生成概率图并进行比较。在这两个循环期间，翻译器A和翻译器B与鉴别器一起交替训练。混合的loss被作为两个翻译器的最终的损失函数，然后应用反向传播，以同时调整两个翻译器的可训练参数；
按下述具体步骤：
(5a)在待测试的数据集之外随机选择n对光学和SAR图像，确保地表均匀分布(建筑稍微多一些，因为它能以重构)；
(5b)将N张测试SAR图像和n张光学图像送入非监督网络中，训练直至网络早截止，并保存翻译的光学图像；
(5c)将N张测试光学图像和n张图像送入非监督网络中，训练直至网络早截止，并保存翻译的SAR图像；
(5d)查看结果，定量评价，并与监督学习的结果对比。
本发明提供了基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，经验证，本发明能高效实现SAR和光学两种截然不同的传感模式的数据之间的转换，能将共同可见的信息从一种图像转换到另一种图像中，且能根据先验知识生成新的内容。本方法可用于SAR图像解译，适用于无雷达背景知识的人员，可促进现有和未来SAR遥感图像存档的广泛应用，具有推广应用前景。
附图说明
图1 是本发明的监督学习的翻译网络框架图。
图2 是本发明提出的翻译器的网络结构示意图。
图3 是本发明使用的鉴别器的网络结构示意图。
图4 是本发明训练对抗网络的过程示意图。
图5 是本发明使用的UAVSAR图像和其严格配对的光学图像。
图6 是本发明使用的GF3 SAR图像和其严格配对的光学图像。
图7 是本发明的单极化和全极化UAVSAR测试结果，其中，每一行的图像从左到右依次是光学图像真值、其转换的单极化SAR图像和其转换的全极化SAR图像，单极化SAR图像和其转换的光学图像，全极化SAR图像和其转换的光学图像，每一行表征一种地表类型，分别是水域、植被、农田和建筑物。
图8 是本发明的非监督学习的翻译网络框架图。
图9 是本发明的翻译结果经过非监督学习改善后的结果，其中，每一行的图像从左到右依次是输入SAR图像，转换的光学图像和非监督学习改善的图像，输入的光学图像，转换的SAR图像和非监督学习改善的SAR图像。每一行表征一种地表类型，分别是水域、植被、农田和建筑物。
具体实施方式
下面结合附图对本发明的实施例作详细说明。
实施例1
按所述的双向图像翻译的方法步骤进行双向图像翻译：
本实例采用的SAR图像是来自中国的星载GF3 SAR和来自NASA的机载UAVSAR系统，使用的GF3图像是HH或VV单极化数据，地理编码后的像素分辨率为0.51米，该区域大概位于湖北武汉和安徽合肥；使用的UAVSAR图像包括HH或VV单极化和全极化，它的纵向像素分辨率为6.2407米，横向像素分辨率为4.9156米，该区域大概位于美国加州附近。
步骤1：首先对待训练的SAR和光学图像进行严格配准，如图6和图7所示(其中，相比于单极化数据，全极化数据翻译的结果中绿地的色彩更加浓郁，建筑物轮廓边界更加分明)；
步骤2：然后对SAR和光学图像进行预处理；
步骤3：其次，将配准好的SAR和光学图像送入设计的多尺度残差网络中(如图2所示，其中，基于U-Net的架构，添加了从输入到解码器的跳连接，是为残差学习)，使用自适应矩估计训练算法交替训练翻译器和鉴别器；
步骤4：最后，当测试SAR或光学图像时，利用非配对的光学或SAR图像，使用非监督学习的方法，迭代训练待测试的图像，翻译得到的图像优于直接使用预训练网络翻译的结果(如图9所示，其中，相比于预训练网络测试的结果，经过非监督学习改善后的结果更清晰且真实)。
本实例SAR图像尺寸为256×256像素，实验的配置为Intel(R)Core(TM)i7-5930处理器、128G内存、4块NVIDIA TITAN X(显存为12G)、Tensorflow(版本号1.4.0)的服务器。
双向图像翻译结果如所述附图所示。
经实例验证，本发明方法能高效实现SAR和光学两种截然不同的传感模式的数据之间的转换，能将共同可见的信息从一种图像转换到另一种图像中，且能根据先验知识生成新的内容。
Claims (4)
1.基于级联残差生成对抗网络的SAR和光学图像双向翻译方法，其特征在于，其包括步骤：
(1)从数据集中挑选部分SAR图像和对应的光学图像，并对之严格配准；
(2)对所有将使用的SAR和光学图像预处理，包括降噪、归一化和切片；
(3)采用监督学习的方式，将严格配对的SAR和光学图像送入多尺度残差生成对抗网络中，迭代训练该模型；
(4)采用非监督学习的方式，利用拓展数据集中非配对的光学或SAR图像，迭代训练待测试的图像，改善翻译结果；
所述的多尺度残差生成对抗网络，基于U-Net网络结构，主体添加了skip connections的encoder-decoder结构，并在此基础上添加输入到decoder中间各层的连接；
所述的监督学习，是指馈送到网络中的训练样本是严格配对的，翻译得到的图像有对应的真值逐像素地对比，有利于目标空间位置的对应和网络的稳定训练；
所述的非监督学习，是指基于少量严格配对样本预训练的级联残差对抗网络。
2.根据权利要求1所述的方法，其特征在于，所述的多尺度残差生成对抗网络，主要包括，(1a)网络结构基于U-Net，主体添加skip connections的encoder-decoder结构，能规避自编码器的信息瓶颈导致的信息丢失；白包括，将输入根据解码器中特征图的尺度相应地降采样，并将降采样后的图像直接跳连接到解码器的各个特征图中，由此鼓励网络中各个尺度的特征图学习到与输入之间的差距，该网络等效于学习输入与输出之间差距的残差网络；残差的加入可以消除训练解码器过程中可能出现的梯度消失的问题；
(1b)损失函数基于Pix2Pix的网络，鉴别器的损失函数满足：
其中当i＝0，1时，pdata(i)分别表示真实光学和SAR图像的分布，
表示x服从pdata(i)分布，
表示z服从pdata(j)分布。z表示输入SAR(或光学)图像，T(z)表示翻译的光学(或SAR)图像，x表示对应的真实光学(或SAR)图像，D(□)表示鉴别器的输出概率图，对于鉴别器，最小化L(D)等同于将x分类为1，将T(z)分类为0；
遵循对抗原则，翻译器的损失函数是
其中LGAN(T)是两个翻译器的loss总和。跟鉴别器的目标相反，翻译器希望生成足够真实的图像，以欺骗鉴别器将它们分类为1；
对抗损失函数辅以传统的loss训练，如L1或L2 loss；额外的衡量翻译图像T(z)和真实图像x之间距离的L1范数的loss用于训练翻译器；
将上面两个等式加权组合在一起，得到翻译器的最终的损失函数L(T)
L(T)＝LGAN(T)+βLL1(T) (公式四)
L(T)是两个翻译器的目标函数，它们的参数同时更新；两个鉴别器分别有一个损失函数L(D)，且被分别训练；
(1c)训练过程，自适应矩估计(Adaptive Moment Estimation，Adam)训练算法用于同时训练两个翻译器/鉴别器，遵循GAN训练策略，一次迭代包括以下步骤：
a)前向传播——首先，随机初始化一对翻译器和一对鉴别器，然后一小批SAR图像被送入翻译器A，生成假的光学图像，同时一小批光学图像被送到翻译器B，生成假的SAR图像，继而，将真假光学图像相继送到同一个鉴别器A，分别生成两个概率图，真假SAR图像则被送到鉴别器B，也分别生成两张概率图；
b)后向传播——比较真假光学图像的两张概率图的差异并作为loss用于优化鉴别器A，同时SAR图像的概率图的差异用于优化鉴别器B；该两个loss相加作为翻译器的GANloss，翻译器需要最大化它们；还将直接比较真值和重构图像的像素级的差异，以确保目标的位置一一对应；混合的loss被作为两个翻译器的最终的损失函数，然后应用反向传播，以同时调整两个翻译器的可训练参数；
前向传播和后向传播交替进行：batch size设置为1，使用4块NVIDIA Titan X的GPU并行加速技术，同时输入4对SAR和光学图像，每次前向传递一对图像生成对应的假的图像，可根据损失函数计算可训练参数的梯度；当四个线程的梯度都计算出来后，其均值被用于更新优化器；后向传播是单线程，当完成后向传播后；另外四对图像又被送入网络中；每个周期需要遍历完所有的图像，然后重新打乱图片的顺序，遍历下一个周期。
3.根据权利要求2所述的方法，其特征在于，所述的监督学习，包括步骤：
(2a)从预处理后的严格配对的SAR和光学图像对中随机挑选20％作为测试样本，剩余的作为训练样本；
(2b)随机初始化网络，使所有可训练参数服从均值为0、标准差为0.02的截断正态分布；
(2c)使用4块GPU并行加速，每次将4对图像馈送给网络训练，遍历完所有图像作为一个epoch；
(2d)一个epoch之后重新打乱图像对的序号，重复(3c)；
(2f)训练过程中使用early stop策略，训练集的loss连续4个epoch不下降时，强制停止本次训练。
4.根据权利要求3所述的方法，其特征在于，所述的非监督学习，训练过程为：
a)前向传播——基于少量严格配对的SAR和光学图像对监督训练的预训练网络，将SAR图像送到翻译器A并合成假的光学图像，然后利用假的光学图像通过翻译器B重构出假的SAR图像；另一方面，光学图像用于合成假的SAR图像，然后进一步重构出假的光学图像；
b)后向传播——重构的图像与真值逐像素进行比较，合成的假图像与真值经过鉴别器生成概率图并进行比较；该两个循环期间，翻译器A和翻译器B与鉴别器一起交替训练；混合的loss被作为两个翻译器的最终的损失函数，然后应用反向传播，以同时调整两个翻译器的可训练参数；
按下述具体步骤：
(3a)在待测试的数据集之外随机选择n对光学和SAR图像，确保地表均匀分布；
(3b)将N张测试SAR图像和n张光学图像送入非监督网络中，训练直至网络早截止，并保存翻译的光学图像；
(3c)将N张测试光学图像和n张图像送入非监督网络中，训练直至网络早截止，并保存翻译的SAR图像；
(3d)查看结果，定量评价，并与监督学习的结果对比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910275216.1A CN111784560A (zh) | 2019-04-04 | 2019-04-04 | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910275216.1A CN111784560A (zh) | 2019-04-04 | 2019-04-04 | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111784560A true CN111784560A (zh) | 2020-10-16 |
Family
ID=72755129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910275216.1A Pending CN111784560A (zh) | 2019-04-04 | 2019-04-04 | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784560A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330739A (zh) * | 2020-10-27 | 2021-02-05 | 北京航空航天大学 | 一种基于光学概率图模型的卫星探测方法 |
| CN112668621A (zh) * | 2020-12-22 | 2021-04-16 | 南京航空航天大学 | 一种基于跨源图像翻译的图像质量评价方法及系统 |
| CN112733861A (zh) * | 2021-01-28 | 2021-04-30 | 华南理工大学 | 基于u型残差网络的文本擦除和抠字方法 |
| CN113362287A (zh) * | 2021-05-24 | 2021-09-07 | 江苏星月测绘科技股份有限公司 | 一种人机协同的遥感影像智能解译方法 |
| CN113538306A (zh) * | 2021-06-15 | 2021-10-22 | 西安电子科技大学 | 一种sar图像与低分辨率光学图像多图融合方法 |
| CN113609900A (zh) * | 2021-06-25 | 2021-11-05 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
| CN113807497A (zh) * | 2021-09-02 | 2021-12-17 | 电子科技大学 | 一种增强纹理细节的非配对图像翻译方法 |
| CN113838107A (zh) * | 2021-09-23 | 2021-12-24 | 哈尔滨工程大学 | 一种基于稠密连接的异源图像自动配准方法 |
| CN118038086A (zh) * | 2024-04-11 | 2024-05-14 | 安徽大学 | 一种基于多尺度和深度监督耦合增益的sar转光学图像方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133173A (zh) * | 2017-11-24 | 2018-06-08 | 西安电子科技大学 | 基于半监督梯形网络的极化sar图像分类方法 |
| CN108509952A (zh) * | 2018-04-10 | 2018-09-07 | 深圳市唯特视科技有限公司 | 一种基于深度注意生成对抗网络的实例级图像翻译技术 |
| CN109492556A (zh) * | 2018-10-28 | 2019-03-19 | 北京化工大学 | 面向小样本残差学习的合成孔径雷达目标识别方法 |
-
2019
- 2019-04-04 CN CN201910275216.1A patent/CN111784560A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108133173A (zh) * | 2017-11-24 | 2018-06-08 | 西安电子科技大学 | 基于半监督梯形网络的极化sar图像分类方法 |
| CN108509952A (zh) * | 2018-04-10 | 2018-09-07 | 深圳市唯特视科技有限公司 | 一种基于深度注意生成对抗网络的实例级图像翻译技术 |
| CN109492556A (zh) * | 2018-10-28 | 2019-03-19 | 北京化工大学 | 面向小样本残差学习的合成孔径雷达目标识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| SHILEI FU: "Reciprocal translation between SAR and optical remote sensing images with cascaded-residual adversarial networks", ARXIV * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330739A (zh) * | 2020-10-27 | 2021-02-05 | 北京航空航天大学 | 一种基于光学概率图模型的卫星探测方法 |
| CN112330739B (zh) * | 2020-10-27 | 2022-05-27 | 北京航空航天大学 | 一种基于光学概率图模型的卫星探测方法 |
| CN112668621A (zh) * | 2020-12-22 | 2021-04-16 | 南京航空航天大学 | 一种基于跨源图像翻译的图像质量评价方法及系统 |
| CN112668621B (zh) * | 2020-12-22 | 2023-04-18 | 南京航空航天大学 | 一种基于跨源图像翻译的图像质量评价方法及系统 |
| CN112733861A (zh) * | 2021-01-28 | 2021-04-30 | 华南理工大学 | 基于u型残差网络的文本擦除和抠字方法 |
| CN112733861B (zh) * | 2021-01-28 | 2022-04-22 | 华南理工大学 | 基于u型残差网络的文本擦除和抠字方法 |
| CN113362287B (zh) * | 2021-05-24 | 2022-02-01 | 江苏星月测绘科技股份有限公司 | 一种人机协同的遥感影像智能解译方法 |
| CN113362287A (zh) * | 2021-05-24 | 2021-09-07 | 江苏星月测绘科技股份有限公司 | 一种人机协同的遥感影像智能解译方法 |
| CN113538306A (zh) * | 2021-06-15 | 2021-10-22 | 西安电子科技大学 | 一种sar图像与低分辨率光学图像多图融合方法 |
| CN113538306B (zh) * | 2021-06-15 | 2024-02-13 | 西安电子科技大学 | 一种sar图像与低分辨率光学图像多图融合方法 |
| CN113609900A (zh) * | 2021-06-25 | 2021-11-05 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
| CN113609900B (zh) * | 2021-06-25 | 2023-09-12 | 南京信息工程大学 | 局部生成人脸定位方法、装置、计算机设备和存储介质 |
| CN113807497A (zh) * | 2021-09-02 | 2021-12-17 | 电子科技大学 | 一种增强纹理细节的非配对图像翻译方法 |
| CN113807497B (zh) * | 2021-09-02 | 2023-09-15 | 电子科技大学 | 一种增强纹理细节的非配对图像翻译方法 |
| CN113838107A (zh) * | 2021-09-23 | 2021-12-24 | 哈尔滨工程大学 | 一种基于稠密连接的异源图像自动配准方法 |
| CN113838107B (zh) * | 2021-09-23 | 2023-12-22 | 哈尔滨工程大学 | 一种基于稠密连接的异源图像自动配准方法 |
| CN118038086A (zh) * | 2024-04-11 | 2024-05-14 | 安徽大学 | 一种基于多尺度和深度监督耦合增益的sar转光学图像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784560A (zh) | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 | |
| Kuang et al. | Single infrared image optical noise removal using a deep convolutional neural network | |
| CN110472483B (zh) | 一种面向sar图像的小样本语义特征增强的方法及装置 | |
| CN109636742B (zh) | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 | |
| CN111383192B (zh) | 一种融合sar的可见光遥感图像去雾方法 | |
| Fu et al. | Reciprocal translation between SAR and optical remote sensing images with cascaded-residual adversarial networks | |
| CN110728658A (zh) | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 | |
| CN112488924A (zh) | 一种图像超分辨率模型训练方法、重建方法及装置 | |
| Huang et al. | High resolution SAR image synthesis with hierarchical generative adversarial networks | |
| Long et al. | Dual self-attention Swin transformer for hyperspectral image super-resolution | |
| CN117237740B (zh) | 一种基于CNN和Transformer的SAR图像分类方法 | |
| CN112949380B (zh) | 一种基于激光雷达点云数据的智能水下目标识别系统 | |
| Zhang et al. | Dense haze removal based on dynamic collaborative inference learning for remote sensing images | |
| CN113408340A (zh) | 基于增强型特征金字塔的双极化sar小型船只检测方法 | |
| CN117037142A (zh) | 一种基于深度学习的3d目标检测方法 | |
| CN117422619A (zh) | 图像重建模型的训练方法、图像重建方法、装置及设备 | |
| Zhang et al. | Hawk‐eye‐inspired perception algorithm of stereo vision for obtaining orchard 3D point cloud navigation map | |
| CN115240040A (zh) | 一种穿墙雷达人体行为特征增强方法及装置 | |
| CN118379358A (zh) | 一种基于对抗神经网络的rgb-d相机深度模块标定方法 | |
| Youk et al. | Transformer-based synthetic-to-measured SAR image translation via learning of representational features | |
| CN117788296A (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN113724308A (zh) | 基于光度与对比度互注意力的跨波段立体匹配算法 | |
| CN113781311A (zh) | 一种基于生成对抗网络的图像超分辨率重建方法 | |
| CN117635904A (zh) | 一种动态自适应特征感知的可信低慢小无人机检测方法 | |
| CN112633123A (zh) | 一种基于深度学习的异源遥感影像变化检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |