CN111047525A - Sar遥感图像到光学遥感图像的翻译方法 - Google Patents
Sar遥感图像到光学遥感图像的翻译方法 Download PDFInfo
- Publication number
- CN111047525A CN111047525A CN201911126718.4A CN201911126718A CN111047525A CN 111047525 A CN111047525 A CN 111047525A CN 201911126718 A CN201911126718 A CN 201911126718A CN 111047525 A CN111047525 A CN 111047525A
- Authority
- CN
- China
- Prior art keywords
- layer
- remote sensing
- sensing image
- convolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003287 optical effect Effects 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000013519 translation Methods 0.000 claims abstract description 11
- 230000009191 jumping Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种SAR遥感图像到光学遥感图像的翻译方法，在训练阶段，构建包括生成器网络和判别器网络的对抗神经网络；对SAR遥感图像进行预处理，将预处理图像及对应的光学遥感图像构成训练集；根据多幅SAR遥感图像所属的地物不同将训练集分成若干个子集；针对任一子集，将子集中的预处理图像输入到对抗神经网络中，对生成器网络和判别器网络交替训练，得到子集对应的对抗神经网络预测模型；在测试阶段，对待翻译的SAR遥感图像进行预处理，并根据其所属的地物，选择相应的对抗神经网络预测模型；将预处理图像输入到相应的对抗神经网络预测模型中，生成器输出翻译结果；优点是翻译结果的精度高、视觉效果好，且能适用于分辨率较高的SAR遥感图像的翻译。
Description
技术领域
本发明涉及一种SAR(合成孔径雷达)遥感图像的处理技术，尤其是涉及一种基于对抗神经网络的SAR遥感图像到光学遥感图像的翻译方法。
背景技术
合成孔径雷达(SAR)是主动式遥感成像，其具有不受白天黑夜的影响成像，可以全天候工作等优点，因此，SAR遥感图像目前被广泛应用。
SAR遥感图像与光学遥感图像不同，其反映的是地物的后向散射特性，虽然其更能体现地物的粗糙程度和含水量，具有纹理、形状等特性，但是相比于光学遥感图像，SAR遥感图像的可读性较差，不像光学遥感图像那样直接易懂，解读SAR遥感图像需要专业的知识，如果不是熟悉SAR遥感图像的人，则很难从SAR遥感图像上解读出什么有用的信息。因此，将SAR遥感图像翻译到光学遥感图像有利于解读SAR遥感图像。
然而，由于SAR遥感图像与光学遥感图像的地物特点差异较大，因此将SAR遥感图像翻译生成光学遥感图像极具挑战性。目前，SAR遥感图像到光学遥感图像的翻译方法研究相对较少，目前针对该难题，通常先对SAR遥感图像进行分类，再根据光学遥感图像的纹理特点对不同地物类别进行纹理替换，来模拟光学遥感图像。然而，由于生成的纹理精度不高，因此导致这种方法只能适用于分辨率较低的场景中。
发明内容
本发明所要解决的技术问题是提供一种基于对抗神经网络的SAR遥感图像到光学遥感图像的翻译方法，其翻译结果的精度高、视觉效果好，其能够适用于分辨率较高的SAR遥感图像的翻译。
本发明解决上述技术问题所采用的技术方案为：一种SAR遥感图像到光学遥感图像的翻译方法，其特征在于包括训练阶段和测试阶段两个过程；
所述的训练阶段过程的具体步骤为：
步骤1_1：构建一个对抗神经网络：该对抗神经网络包括生成器网络和判别器网络；生成器网络由依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层组成，第一卷积层的输入端接收待处理的灰度图像，第八卷积层与第二反卷积层之间进行跳跃连接，第七卷积层与第三反卷积层之间进行跳跃连接，第六卷积层与第四反卷积层之间进行跳跃连接，第五卷积层与第五反卷积层之间进行跳跃连接，第四卷积层与第六反卷积层之间进行跳跃连接，第三卷积层与第七反卷积层之间进行跳跃连接，第二卷积层与第八反卷积层之间进行跳跃连接，第一卷积层与第九反卷积层之间进行跳跃连接，第九反卷积层的输出端输出一幅三通道图像；判别器网络由依次连接的第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层组成，第十卷积层的输入端接收待处理的灰度图像和一幅三通道图像，第十四卷积层的输出端输出一个数值给sigmoid函数，sigmoid函数输出一个区间[0,1]内的值；
其中，第一卷积层的卷积核的窗口尺寸为5×5、步长为1×1、深度为64，第二卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为64，第三卷积层、第七反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为64，第四卷积层、第六反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为128，第五卷积层、第五反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为256，第六卷积层、第四反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为512，第七卷积层、第八卷积层、第九卷积层、第一反卷积层、第二反卷积层、第三反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为1024，第八反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为64，第九反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为3，第十反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为48，第十一反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为96，第十二反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为192，第十三反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为384，第十四反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为1；
步骤1_2：获取多幅同尺寸的SAR遥感图像及对应的光学遥感图像；然后对每幅SAR遥感图像进行预处理，得到每幅SAR遥感图像的预处理图像；再将多幅SAR遥感图像的预处理图像及对应的光学遥感图像构成训练集；
步骤1_3：根据多幅SAR遥感图像所属的地物的不同，将训练集分成若干个子集，一个子集对应一个地物；
步骤1_4：针对任一个子集，获取该子集对应的对抗神经网络预测模型，具体过程为：将该子集中的每幅光学遥感图像作为标签图像，并将对应的预处理图像作为待处理的灰度图像输入到对抗神经网络中，对生成器网络和判别器网络交替进行训练，训练过程中使用的损失函数为
在该子集中的所有预处理图像处理完毕后得到该子集对应的对抗神经网络预测模型；其中，L表示损失函数值，E[]表示数学期望，x表示待处理的灰度图像，y表示标签图像，D(x,y)表示判别器网络的输入为x和y时判别器网络的输出，G(x)表示生成器网络的输入为x时生成器网络的输出，D(x,G(x))表示判别器网络的输入为x和G(x)时判别器网络的输出，λ1和λ2均为权重系数，
SSIM(G(x),y)表示G(x)与y的结构相似度值，符号“||||L1”为求L1范数运算符号；
所述的测试阶段过程的具体步骤为：
步骤2_1：对待翻译的SAR遥感图像进行预处理，得到待翻译的SAR遥感图像的预处理图像；
步骤2_2：根据待翻译的SAR遥感图像所属的地物，选择相应的对抗神经网络预测模型；然后将待翻译的SAR遥感图像的预处理图像作为所选择的对抗神经网络预测模型中的生成器的输入，所选择的对抗神经网络预测模型中的生成器输出翻译结果。
所述的步骤1_2中，对每幅SAR遥感图像进行预处理的过程为：首先，对每幅SAR遥感图像进行几何校正；然后，对每幅几何校正后的SAR遥感图像进行LEE滤波处理，将每幅滤波处理后的SAR遥感图像作为预处理图像。
所述的步骤2_1中，对待翻译的SAR遥感图像进行预处理的过程为：首先，对待翻译的SAR遥感图像进行几何校正；然后，对几何校正后的SAR遥感图像进行LEE滤波处理，将滤波处理后的SAR遥感图像作为预处理图像。
与现有技术相比，本发明的优点在于：
1)本发明方法在训练阶段构建了一个对抗神经网络，并训练得到对抗神经网络预测模型，在测试阶段直接利用对抗神经网络预测模型对待翻译的SAR遥感图像进行预测，由于对抗神经网络具有更好的拟合能力，因此通过对抗神经网络预测模型能够生成更加精细的翻译结果，翻译结果的精度高、视觉效果好，使得本发明方法能够适用于分辨率较高的SAR遥感图像的翻译。
2)本发明方法对SAR遥感图像进行几何校正，然后再对几何校正后的SAR遥感图像进行LEE滤波处理，LEE滤波处理抑制了SAR遥感图像的相干斑噪声，使得本发明方法在训练阶段能更好地学习到SAR遥感图像中的特征，使得训练得到的对抗神经网络预测模型能生成精度更高的翻译结果。
附图说明
图1为本发明方法的总体实现框图；
图2为本发明方法中构建的对抗神经网络的组成结构示意图；
图3a为一幅SAR遥感图像；
图3b为图3a所示的SAR遥感图像对应的光学遥感图像；
图3c为利用本发明方法对图3a所示的SAR遥感图像进行处理，翻译得到的光学遥感图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种SAR遥感图像到光学遥感图像的翻译方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程。
所述的训练阶段过程的具体步骤为：
步骤1_1：构建一个对抗神经网络：如图2所示，该对抗神经网络包括生成器网络和判别器网络；生成器网络由依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层组成，第一卷积层的输入端接收待处理的灰度图像，第八卷积层与第二反卷积层之间进行跳跃连接，第七卷积层与第三反卷积层之间进行跳跃连接，第六卷积层与第四反卷积层之间进行跳跃连接，第五卷积层与第五反卷积层之间进行跳跃连接，第四卷积层与第六反卷积层之间进行跳跃连接，第三卷积层与第七反卷积层之间进行跳跃连接，第二卷积层与第八反卷积层之间进行跳跃连接，第一卷积层与第九反卷积层之间进行跳跃连接，第九反卷积层的输出端输出一幅三通道图像；判别器网络由依次连接的第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层组成，第十卷积层的输入端接收待处理的灰度图像和一幅三通道图像，第十四卷积层的输出端输出一个数值给sigmoid函数，sigmoid函数输出一个区间[0,1]内的值。
其中，第一卷积层的卷积核的窗口尺寸为5×5、步长为1×1、深度为64，第二卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为64，第三卷积层、第七反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为64，第四卷积层、第六反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为128，第五卷积层、第五反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为256，第六卷积层、第四反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为512，第七卷积层、第八卷积层、第九卷积层、第一反卷积层、第二反卷积层、第三反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为1024，第八反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为64，第九反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为3，第十反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为48，第十一反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为96，第十二反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为192，第十三反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为384，第十四反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为1。
步骤1_2：获取多幅同尺寸的SAR遥感图像及对应的光学遥感图像；为了消除由大气散射所引起的辐射误差和由卫星姿态变化、地形起伏、地球自转和曲率等因素引起的地球畸变和几何畸变，然后对每幅SAR遥感图像进行预处理，得到每幅SAR遥感图像的预处理图像；再将多幅SAR遥感图像的预处理图像及对应的光学遥感图像构成训练集。
在此具体实施例中，步骤1_2中，对每幅SAR遥感图像进行预处理的过程为：首先，利用ENVI5.3软件对每幅SAR遥感图像进行几何校正；然后，对每幅几何校正后的SAR遥感图像进行LEE滤波处理，将每幅滤波处理后的SAR遥感图像作为预处理图像。
步骤1_3：根据多幅SAR遥感图像所属的地物的不同，将训练集分成若干个子集，一个子集对应一个地物。
步骤1_4：针对任一个子集，获取该子集对应的对抗神经网络预测模型，具体过程为：将该子集中的每幅光学遥感图像作为标签图像，并将对应的预处理图像作为待处理的灰度图像输入到对抗神经网络中，对生成器网络和判别器网络交替进行训练，训练过程中使用的损失函数为
在该子集中的所有预处理图像处理完毕后得到该子集对应的对抗神经网络预测模型；其中，L表示损失函数值，E[]表示数学期望，x表示待处理的灰度图像，y表示标签图像，D(x,y)表示判别器网络的输入为x和y时判别器网络的输出，G(x)表示生成器网络的输入为x时生成器网络的输出，D(x,G(x))表示判别器网络的输入为x和G(x)时判别器网络的输出，λ1和λ2均为权重系数，在本实施例中取λ1＝λ2＝100，
SSIM(G(x),y)表示G(x)与y的结构相似度值，符号“||||L1”为求L1范数运算符号。
所述的测试阶段过程的具体步骤为：
步骤2_1：对待翻译的SAR遥感图像进行预处理，得到待翻译的SAR遥感图像的预处理图像。
在此具体实施例中，步骤2_1中，对待翻译的SAR遥感图像进行预处理的过程为：首先，利用ENVI5.3软件对待翻译的SAR遥感图像进行几何校正；然后，对几何校正后的SAR遥感图像进行LEE滤波处理，将滤波处理后的SAR遥感图像作为预处理图像。
步骤2_2：根据待翻译的SAR遥感图像所属的地物，选择相应的对抗神经网络预测模型；然后将待翻译的SAR遥感图像的预处理图像作为所选择的对抗神经网络预测模型中的生成器的输入，所选择的对抗神经网络预测模型中的生成器输出翻译结果。
为了进一步说明本发明方法的有效性和可行性，对本发明方法进行实验。
SAR遥感图像来源于哨兵一号卫星数据，对应的光学遥感图像来源于哨兵二号卫星数据，并由慕尼黑理工大学的M.Schmitt进行配对整理，构成数据集，数据集包括13000幅SAR遥感图像及对应的光学遥感图像。从数据集中随机选取3000幅SAR遥感图像，对这3000幅SAR遥感图像进行预处理，将3000幅预处理图像及对应的光学遥感图像构成训练集；将数据集中剩下的10000幅SAR遥感图像及对应的光学遥感图像构成测试集。在训练阶段，设置训练周期为200。
使用SSIM和PSNR两种客观评价指标对实验结果进行分析。利用本发明方法对测试集中的每幅SAR遥感图像进行翻译，在测试集的生成结果中，平均SSIM值达到0.3530，SSIM值的95％置信区间为(0.348，0.358)；平均PSNR值达到17.6747，PSNR值的95％置信区间为(17.551，17.798)，这充分说明了利用本发明方法得到的翻译结果的精度高。
图3a给出了测试集中的一幅SAR遥感图像；图3b给出了图3a所示的SAR遥感图像对应的光学遥感图像；图3c给出了利用本发明方法对图3a所示的SAR遥感图像进行处理，翻译得到的光学遥感图像。对比图3b和图3c，可以看出利用本发明方法得到的翻译结果的视觉效果好。
Claims (3)
1.一种SAR遥感图像到光学遥感图像的翻译方法，其特征在于包括训练阶段和测试阶段两个过程；
所述的训练阶段过程的具体步骤为：
步骤1_1：构建一个对抗神经网络：该对抗神经网络包括生成器网络和判别器网络；生成器网络由依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层组成，第一卷积层的输入端接收待处理的灰度图像，第八卷积层与第二反卷积层之间进行跳跃连接，第七卷积层与第三反卷积层之间进行跳跃连接，第六卷积层与第四反卷积层之间进行跳跃连接，第五卷积层与第五反卷积层之间进行跳跃连接，第四卷积层与第六反卷积层之间进行跳跃连接，第三卷积层与第七反卷积层之间进行跳跃连接，第二卷积层与第八反卷积层之间进行跳跃连接，第一卷积层与第九反卷积层之间进行跳跃连接，第九反卷积层的输出端输出一幅三通道图像；判别器网络由依次连接的第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层组成，第十卷积层的输入端接收待处理的灰度图像和一幅三通道图像，第十四卷积层的输出端输出一个数值给sigmoid函数，sigmoid函数输出一个区间[0,1]内的值；
其中，第一卷积层的卷积核的窗口尺寸为5×5、步长为1×1、深度为64，第二卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为64，第三卷积层、第七反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为64，第四卷积层、第六反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为128，第五卷积层、第五反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为256，第六卷积层、第四反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为512，第七卷积层、第八卷积层、第九卷积层、第一反卷积层、第二反卷积层、第三反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为1024，第八反卷积层的卷积核的窗口尺寸为4×4、步长为2×2、深度为64，第九反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为3，第十反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为48，第十一反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为96，第十二反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为192，第十三反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为384，第十四反卷积层的卷积核的窗口尺寸为3×3、步长为1×1、深度为1；
步骤1_2：获取多幅同尺寸的SAR遥感图像及对应的光学遥感图像；然后对每幅SAR遥感图像进行预处理，得到每幅SAR遥感图像的预处理图像；再将多幅SAR遥感图像的预处理图像及对应的光学遥感图像构成训练集；
步骤1_3：根据多幅SAR遥感图像所属的地物的不同，将训练集分成若干个子集，一个子集对应一个地物；
步骤1_4：针对任一个子集，获取该子集对应的对抗神经网络预测模型，具体过程为：将该子集中的每幅光学遥感图像作为标签图像，并将对应的预处理图像作为待处理的灰度图像输入到对抗神经网络中，对生成器网络和判别器网络交替进行训练，训练过程中使用的损失函数为
在该子集中的所有预处理图像处理完毕后得到该子集对应的对抗神经网络预测模型；其中，L表示损失函数值，E[]表示数学期望，x表示待处理的灰度图像，y表示标签图像，D(x,y)表示判别器网络的输入为x和y时判别器网络的输出，G(x)表示生成器网络的输入为x时生成器网络的输出，D(x,G(x))表示判别器网络的输入为x和G(x)时判别器网络的输出，λ1和λ2均为权重系数，
SSIM(G(x),y)表示G(x)与y的结构相似度值，符号“|| ||L1”为求L1范数运算符号；
所述的测试阶段过程的具体步骤为：
步骤2_1：对待翻译的SAR遥感图像进行预处理，得到待翻译的SAR遥感图像的预处理图像；
步骤2_2：根据待翻译的SAR遥感图像所属的地物，选择相应的对抗神经网络预测模型；然后将待翻译的SAR遥感图像的预处理图像作为所选择的对抗神经网络预测模型中的生成器的输入，所选择的对抗神经网络预测模型中的生成器输出翻译结果。
2.根据权利要求1所述的SAR遥感图像到光学遥感图像的翻译方法，其特征在于所述的步骤1_2中，对每幅SAR遥感图像进行预处理的过程为：首先，对每幅SAR遥感图像进行几何校正；然后，对每幅几何校正后的SAR遥感图像进行LEE滤波处理，将每幅滤波处理后的SAR遥感图像作为预处理图像。
3.根据权利要求1所述的SAR遥感图像到光学遥感图像的翻译方法，其特征在于所述的步骤2_1中，对待翻译的SAR遥感图像进行预处理的过程为：首先，对待翻译的SAR遥感图像进行几何校正；然后，对几何校正后的SAR遥感图像进行LEE滤波处理，将滤波处理后的SAR遥感图像作为预处理图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911126718.4A CN111047525A (zh) | 2019-11-18 | 2019-11-18 | Sar遥感图像到光学遥感图像的翻译方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911126718.4A CN111047525A (zh) | 2019-11-18 | 2019-11-18 | Sar遥感图像到光学遥感图像的翻译方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111047525A true CN111047525A (zh) | 2020-04-21 |
Family
ID=70232809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911126718.4A Pending CN111047525A (zh) | 2019-11-18 | 2019-11-18 | Sar遥感图像到光学遥感图像的翻译方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047525A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132091A (zh) * | 2020-09-29 | 2020-12-25 | 陕西省交通规划设计研究院 | 遥感图像的解译方法、装置、计算机设备及其存储介质 |
| CN115984635A (zh) * | 2023-03-21 | 2023-04-18 | 自然资源部第一海洋研究所 | 多源遥感数据分类模型训练方法、分类方法和电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809194A (zh) * | 2016-03-08 | 2016-07-27 | 华中师范大学 | 一种sar影像翻译为光学影像的方法 |
| CN107507251A (zh) * | 2017-07-19 | 2017-12-22 | 清华大学 | 一种双极化sar图像的伪彩色合成方法和装置 |
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN108564611A (zh) * | 2018-03-09 | 2018-09-21 | 天津大学 | 一种基于条件生成对抗网络的单目图像深度估计方法 |
| CN108734171A (zh) * | 2017-04-14 | 2018-11-02 | 国家海洋环境监测中心 | 一种深度协同稀疏编码网络的合成孔径雷达遥感图像海洋浮筏识别方法 |
| CN109063736A (zh) * | 2018-06-29 | 2018-12-21 | 考拉征信服务有限公司 | 数据分类方法、装置、电子设备及计算机可读存储介质 |
| CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
| CN110287800A (zh) * | 2019-05-29 | 2019-09-27 | 河海大学 | 一种基于sgse-gan的遥感图像场景分类方法 |
| CN110363215A (zh) * | 2019-05-31 | 2019-10-22 | 中国矿业大学 | 基于生成式对抗网络的sar图像转化为光学图像的方法 |
-
2019
- 2019-11-18 CN CN201911126718.4A patent/CN111047525A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809194A (zh) * | 2016-03-08 | 2016-07-27 | 华中师范大学 | 一种sar影像翻译为光学影像的方法 |
| CN108734171A (zh) * | 2017-04-14 | 2018-11-02 | 国家海洋环境监测中心 | 一种深度协同稀疏编码网络的合成孔径雷达遥感图像海洋浮筏识别方法 |
| CN107507251A (zh) * | 2017-07-19 | 2017-12-22 | 清华大学 | 一种双极化sar图像的伪彩色合成方法和装置 |
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN108564611A (zh) * | 2018-03-09 | 2018-09-21 | 天津大学 | 一种基于条件生成对抗网络的单目图像深度估计方法 |
| CN109063736A (zh) * | 2018-06-29 | 2018-12-21 | 考拉征信服务有限公司 | 数据分类方法、装置、电子设备及计算机可读存储介质 |
| CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
| CN110287800A (zh) * | 2019-05-29 | 2019-09-27 | 河海大学 | 一种基于sgse-gan的遥感图像场景分类方法 |
| CN110363215A (zh) * | 2019-05-31 | 2019-10-22 | 中国矿业大学 | 基于生成式对抗网络的sar图像转化为光学图像的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132091A (zh) * | 2020-09-29 | 2020-12-25 | 陕西省交通规划设计研究院 | 遥感图像的解译方法、装置、计算机设备及其存储介质 |
| CN115984635A (zh) * | 2023-03-21 | 2023-04-18 | 自然资源部第一海洋研究所 | 多源遥感数据分类模型训练方法、分类方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10624558B2 (en) | Protocol independent image processing with adversarial networks | |
| CN110097101B (zh) | 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法 | |
| Colditz et al. | Influence of image fusion approaches on classification accuracy: a case study | |
| CN108428220B (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
| CN113128134A (zh) | 一种矿区生态环境演变驱动因子权重量化分析方法 | |
| CN110728706B (zh) | 基于深度学习的sar图像精细配准方法 | |
| CN113177592B (zh) | 一种图像分割方法、装置、计算机设备及存储介质 | |
| Qiu et al. | Void filling of digital elevation models with a terrain texture learning model based on generative adversarial networks | |
| CN116310883B (zh) | 基于遥感图像时空融合的农业灾害预测方法及相关设备 | |
| CN111047525A (zh) | Sar遥感图像到光学遥感图像的翻译方法 | |
| CN115330813A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| CN117788296A (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
| Zhang et al. | Application of deep generative networks for SAR/ISAR: a review | |
| CN114462486A (zh) | 图像处理模型的训练方法、图像处理方法及相关装置 | |
| CN108509835B (zh) | 基于DFIC超像素的PolSAR图像地物分类方法 | |
| CN114612315A (zh) | 一种基于多任务学习的高分辨率影像缺失区域重建方法 | |
| CN117422619A (zh) | 图像重建模型的训练方法、图像重建方法、装置及设备 | |
| Chawla | Possibilistic c-means-spatial contextual information based sub-pixel classification approach for multi-spectral data | |
| CN112200845A (zh) | 一种图像配准方法和装置 | |
| CN114764880B (zh) | 多成分gan重建的遥感图像场景分类方法 | |
| CN116051984A (zh) | 一种基于Transformer的弱小目标检测方法 | |
| Serwa | Studying the potentiality of using digital gaussian pyramids in multi-spectral satellites images classification | |
| KR102432766B1 (ko) | 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법 | |
| WO2022239216A1 (ja) | 学習装置、学習方法、画像処理装置、及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |