CN115082288B - 基于偏微分方程启发的sar图像到光学图像的转换方法 - Google Patents

Abstract

本发明提出了一种基于偏微分方程启发的SAR图像到光学图像的转换方法，实现步骤为：(1)获取训练样本集和测试样本集；(2)构建基于偏微分方程启发的网络模型O；(3)对基于偏微分方程启发的网络模型O进行迭代训练；(4)获取SAR图像转换的结果。本发明提出的基于偏微分方程启发的SAR图像到光学图像的转换方法的网络模型，通过主干分支网络中的TFD启发的边缘块中的残差学习有效地提取多级特征，PMD神经模块网络保留图像的高频结构细节信息并抑制斑点噪声；本发明能够有效促进SAR图像转换为光学图像。

Description

基于偏微分方程启发的SAR图像到光学图像的转换方法

技术领域

本发明属于图像转换技术领域，涉及一种SAR图像到光学图像的转换方法，具体涉及一种基于偏微分方程启发的SAR图像到光学图像的转换方法。

背景技术

图像转换是利用计算机视觉技术实现将源域图像转换为目标域图像的技术。SAR图像到光学图像的转换问题中，SAR图像即为源域图像，光学图像即为目标域图像。合成孔径雷达(SAR)具有远距离、能穿透云雾植被、全天候对地观测的特点，在遥感、水文、地矿等领域有着广泛应用。由于合成孔径雷达的成像原理，SAR图像均为灰度图，其灰度值取决于回波信号的强度。色彩信息的缺乏以及散斑噪声的干扰使得SAR图像的语义信息很不明确，一般人不能读懂SAR图像，因此一般依靠专家来解译SAR图像。而纹理复杂的光学图像对应的SAR图像看上去全是噪声，更为难以理解。因此，利用算法实现SAR图像到光学图像的转换，计算机代替人工的解译能够大大降低SAR图像解译的成本。此外，已有研究表明，将SAR图像转换为光学图像后，有助于图像分类任务中分类精度的提高。SAR图像到光学图像的转换具有很高的实用价值。现有的SAR图像到光学图像的转换方法主要以生成对抗网络(GAN)为基本框架，大多数采用cycleGAN或Pix2Pix作为基本网络模型。其中，cycleGAN在不成对匹配的SAR图像和光学图像的转换中应用广泛，而Pix2Pix主要在成对匹配的SAR图像和光学图像的转换中应用较多。两个网络模型的共同点在于都是基于生成对抗网络的方法，其都由生成器和判别器构成，二者进行博弈对抗，使得生成图像越来越接近目标域的真实图像。

然而，现有的SAR图像到光学图像的转换方法仅能够解决纹理较为简单的SAR图像到光学图像的转换，对于复杂纹理的SAR图像到光学图像的转换任务的实现效果并不好。

西安研硕信息技术有限公司在其申请的专利文献“一种SAR图像转类光学图像的转换方法及系统”(专利申请号：202110136342.6，申请公布号为CN112819688A)中，提出了一种SAR图像转类光学图像的转换方法，该方法利用深度学习的生成对抗网络模型和卷积神经网络可以实现SAR图像的去噪声处理和着色处理，使得SAR图像转换为类光学图像，通过图像的缩放和切片处理使大场景的SAR图像可以快速转换。该发明具有提高SAR图可解译性、能够保持图像边缘纹理、计算速度快的优点，但是仍然存在转换的光学图像因散斑噪声掩盖了SAR图像中部分有效信息导致信噪较低、纹理细节不丰富，使转换的光学图像质量低。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于偏微分方程启发的SAR图像到光学图像的转换方法，用于解决现有技术中基于GAN转换的光学图像存在几何失真、质量差的问题。

为实现上述目的，本发明采取的技术方案包括以下步骤：

(1)获取训练样本集和测试样本集：

(1a)对从光学遥感图像数据集中随机选取的I幅大小为l的光学遥感图像，从与光学遥感图像场景相似的SAR图像数据集中随机选取的I幅大小为M×N的SAR图像分别进行预处理，并对预处理后的每幅光学遥感图像和每幅SAR图像进行1/4降采样，得到降采样后的K幅光学遥感图像和K幅SAR图像，其中，I≥2000，K≥3000；

(1b)将每幅光学遥感图像、每幅SAR图像裁剪为大小为H×H的图像，同时将每幅光学遥感图像对应的降采样后的光学遥感图像、每幅SAR图像对应的降采样后的SAR图像分别裁剪为大小为

的图像，并将每幅光学遥感图像裁剪的图像作为对应的降采样后裁剪的图像的标签、每幅SAR图像裁剪的图像作为对应的降采样后裁剪的图像的标签，然后随机选取其中M幅光学遥感图像降采样后的图像及其标签和M幅SAR图像降采样后的图像及其标签组成训练样本集R₁，将剩余降采样后K-M幅SAR图像及其标签和剩余降采样后K-M幅光学图像及其标签组成测试样本集E₁，其中，

H＝256；

(2)构建基于偏微分方程启发的网络模型O：

构建包括成对偶结构的第一生成对抗网络和第二生成对抗网络的基于偏微分方程启发的网络O；第一生成对抗网络包括顺次连接的第一生成器网络G₁和第一判别器网络D₁，G₁包括并行排布的主干分支网络和PMD神经模块网络，D₁包括多个卷积层；第二生成对抗网络包括顺次连接的第二生成器网络G₂和第二判别器网络D₂，其中，G₁和G₂的结构相同，D₁和D₂的结构相同；

(3)对基于偏微分方程启发的网络模型O进行迭代训练：

(3a)初始化迭代次数为s，最大迭代次数为Q，Q≥2000，第s次迭代的基于偏微分反＝方程启发的网络模型为O_s，O_s中第一生成器网络G₁、第二生成器网络G₂的网络参数分别为θ_G ¹、θ_G ²，第一判别器网络D₁、第二判别器网络D₂的网络参数为θ_D ¹、θ_D ²，并令s＝0，O_s＝O；

(3b)将从训练样本集R₁中随机选取l个SAR图像样本和l个光学图像样本作为基于偏微分方程启发的网络模型O的输入：

(3b1)第一生成对抗网络中第一生成器网络G₁中的主干分支网络将l个SAR图像样本转换为粗糙的类光学图像，同时PMD神经模块网络将l个SAR图像转换为PMD图像的侧输出G_PMD(x)¹，加权融合粗糙的类光学图像和PMD图像的侧输出G_PMD(x)¹，生成l个样本的类光学图像，第一判别器网络D₁根据每个光学图像样本和生成的每个类光学图像，判断生成的类光学图像接近光学图像样本的概率g₁；

(3b2)第二生成对抗网络中第二生成器网络G₂将G₁生成的l个样本的类光学图像转换为l个样本的重构SAR图像，第二判别器网络D₂根据l个重构SAR图像和l个SAR图像样本，判断生成的每个重构SAR图像接近每个SAR图像样本的概率g₂，形成SAR图像到光学图像的循环对抗生成网络；

(3b3)第二生成对抗网络的第二生成器网络G₂中的主干分支网络将l个光学图像样本转换为粗糙的类SAR图像，同时PMD神经模块网络将l个光学图像样本转换为PMD图像的侧输出G_PMD(x)¹，加权融合粗糙的类光学图像和PMD图像的侧输出G_PMD(x)¹，生成l个样本的类SAR图像，第二判别器网络D₂根据l个SAR图像样本和生成的的l个类SAR图像，判断生成的每个类SAR图像接近每个SAR图像样本的概率g₃；

(3b4)第一生成对抗网络中第一生成器网络G₁将G₂生成的l个类SAR图像转换为l个光学图像样本的重构光学图像，第一判别器网络D₁根据l个光学图像样本和重构光学图像，判断生成的每个重构光学图像接近每个光学图像样本的概率g₄，形成光学图像到SAR图像的循环一致对抗生成网络，其中，l≤M；

(3c)用PMD头函数提取l个SAR图像样本的高频特征

和生成l个样本的类SAR图像的高频特征

以及l个光学图像样本的高频特征

和生成l个样本的类光学图像的高频特征

(3e)对基于偏微分方程启发的网络模型O进行参数更新：

(3e1)对生成器网络进行参数更新：

采用循环一致性损失函数，并通过每个样本生成的l个重构光学图像和其对应的训练样本集中的l个光学图像计算O_s的损失值L_cyc ¹，同时通过每个样本生成的l个重构SAR图像和其对应的训练样本集中的l个SAR图像计算O_s的损失值L_cyc ²；采用像素损失函数和感知损失函数，通过每个样本生成的l个类光学图像和其对应的训练样本集中的l个光学图像计算O_s像素损失值L_pix ¹和O_s感知损失值L_per ¹，同时通过每个样本生成的l个重构SAR图像和其对应的训练样本集中的l个SAR图像计算的O_s像素损失值L_pix ²和O_s感知损失值L_per ²；采用TFD损失函数，并通过每个训练样本集中的l个光学图像样本提取的高频特征

和其对应的生成的光学图像的高频特征

计算O_s的损失值L_TFD ¹，同时从训练样本集中的l个SAR图像中提取的高频特征

和其对应的生成的l个SAR图像的高频特征

计算O_s的损失值L_TFD ²；采用PMD损失函数，通过每个训练样本集中的l个光学图像样本和其对应的PMD神经模块网络生成的l个PMD图像的侧输出计算O_s的损失值L_PMD ¹，同时从l个SAR图像样本和其对应的l个PMD神经模块网络生成的PMD图像的侧输出计算O_s的损失值L_PMD ²，通过总的损失函数L对权值参数θ_G ¹、θ_G ²的偏导

再采用梯度下降法，通过

对权值参数θ_G ¹、θ_G ²进行更新；

(3e2)对判别器网络进行参数更新：

采用GAN损失函数，通过每个样本生成的K个类光学图像和其对应的训练样本集中的l个光学图像计算O_s的损失值L_GAN ¹，同时通过每个样本生成的K个类SAR图像和其对应的训练样本集中的l个SAR图像计算O_s的损失值L_GAN ²，然后求取L_GAN ¹、L_GAN ²对权值参数θ_D ¹、θ_D ²的偏导

再采用梯度下降法，通过

对权值参数θ_D ¹、θ_D ²进行更新；

(3f)判断g₁、g₂、g₃、g₄的值是否接近1以及s≥Q是否成立，若是，得到训练好的对生成对抗网络模型，否则，令s＝s+1，并执行步骤(3b)；

(4)获取SAR图像转换的结果：

将测试样本集E₁作为训练好的基于偏微分方程启发的网络模型O的输入进行前向传播，得到K-M个SAR图像转换后的光学图像和K-M个光学图像转换后的SAR图像。

本发明与现有技术相比，具有以下优点：

本发明所构建基于偏微分方程启发的网络模型的包含有成对偶结构的两个生成对抗网络，在对该模型进行训练以及获取SAR图像转换的结果的过程中，通过主干分支网络中的TFD启发的边缘块中的残差学习有效地提取多级特征，PMD神经模块网络保留图像的高频结构细节信息并去除斑点噪声；实验结果表明，本发明提出的网络可以提供结构更精细、噪声更小的光学图像。

附图说明

图1为本发明的实现流程图；

图2为本发明生成器网络的结构示意图；

图3为本发明TFD启发的边缘块模型的结构示意图；

图4为本发明实施例的RRDB模块的结构示意图；

图5为本发明实施例的融合模块的网络结构示意图；

图6为本发明实施例的PMD头函数的网络结构示意图；

图7为本发明实施例的生成器网络模型的结构示意图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

步骤1)获取训练样本集R₁和测试样本集E₁：

步骤1a)从SEN1-2数据集中获取I幅光学遥感图像和I幅SAR图像，其中，I≥1000，在本实施例中，I＝1000；

步骤1b)对I幅光学遥感图像和I幅SAR图像分别进行预处理，并对预处理后的每幅光学遥感图像和每幅SAR图像进行1/4降采样，得到降采样后的K幅光学遥感图像和K幅SAR图像，其中，K＝800；

预处理的实现步骤为：对每幅光学遥感图像和每幅SAR图像随机进行水平翻转或90旋转，实现对图像的数据增强。

步骤1c)将每幅光学遥感图像、每幅SAR图像裁剪为大小为H×H的图像，同时将每幅光学遥感图像对应的降采样后的光学遥感图像、每幅SAR图像对应的降采样后的SAR图像分别裁剪为大小为

的图像，并将每幅光学遥感图像裁剪的图像作为对应的降采样后裁剪的图像的标签、每幅SAR图像裁剪的图像作为对应的降采样后裁剪的图像的标签，然后随机选取其中M幅光学遥感图像降采样后的图像及其标签和M幅SAR图像降采样后的图像及其标签组成训练样本集R₁，将剩余降采样后K-M幅SAR图像及其标签和剩余降采样后K-M幅光学图像及其标签组成测试样本集E₁，其中，

H＝256；

步骤2)构建基于偏微分方程启发的网络模型O：

构建一个偏微分方程启发的网络，该网络包括两个具有相同结构的生成器G和两个具有相同结构的判别器D。其中生成器G1和判别器D1组成一组生成对抗网络，生成器G2和判别器D2组成另一组生成对抗网络，两组成对偶结构；生成器G1是实现从源图像域到目标图像域的转换(即把SAR图像转换成可见光模式图像)，生成器G2是实现从目标域到源图像域的转换(即把可见光模式图像转换成SAR图像)，判别器D用来判断输入的图片是否是真实的可见光图像。

其中，本实施例生成器网络模型的结构如图2所示；

步骤2a)构建生成器网络模型O_G：

生成器网络模型包括并行的主干分支网络和PMD模块网络，主干分支网络包括顺次级联的第一卷积层、第一下采样模块、第一TFD启发的边缘模块、第二TFD启发的边缘模块、第三TFD启发的边缘模块、第一上采样模块、RRDB模块、第二卷积层；第一下采样模块由第三卷积层组成，每个TFD启发的边缘模块包括顺次级联的第四卷积层、ReLU激活层，第五卷积层、门控卷积层；第一上采样模块由第一转置卷积层组成；RRDB模块包括顺次级联的密集块、密集块、密集块，每个密集块包括顺次级联的第六卷积层、LReLU激活层、第七卷积层、LReLU激活层、第八卷积层、LReLU激活层、第九卷积层、LReLU激活层、第十卷积层；PMD神经模块网络包括顺次级联的PMD头函数、第十一卷积层、第二下采样模块、第一融合模块、第二融合模块、第二上采样模块、第十二卷积层；PMD头函数包括并联的五个固定卷积核的卷积层，第二下采样模块是第十三卷积层，每个融合模块包括顺次级联的第十四卷积层、第十五卷积层、ReLU激活层、第十六卷积层，第二上采样模块由第二转置卷积组成，其中，第一TFD启发的边缘模块的输出端与第二下采样模块的输出端连接，第二TFD启发的边缘模块的输出端与第一融合模块的输出端连接，第一上采样模块的输出端与第二上采样模块的输出端连接；网络参数设置为：第一卷积层、第二卷积层、第十一卷积层、第十二卷积层卷积核大小为7*7，通道数设置为64，下采样模块的卷积核大小为3*3，步长为2，padding为1，通道数设置为64，转置卷积层的卷积核大小为3*3，步长为2，padding为1，通道数设置为32，TFD启发的边缘模块的卷积核大小为3*3，通道数设置为64，PMD头映射的卷积核大小为W_x、W_y、W_xx、W_xy、W_yy，通道数设置为64，第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层卷积核大小为3*3，通道数设置为64，用

表示PMD头函数的映射；

其中，本实施例TFD启发的边缘块模型的结构如图3所示；

1)TFD启发的边缘块：

由于合成孔径雷达图像与光学图像之间存在较大的外观差异，在S2O图像转换过程中会丢失线等细节信息，导致生成的光学图像缺乏纹理。为了解决这个问题，本发明提出了一个特定的残差块来促进多层次特征融合；通过这种方式，可以对细节特征进行编码并用于光学图像生成。为此，重新研究了现有方法中使用的残差网络结构与欧拉方法之间的相似性，并基于二阶泰勒有限差分方程设计了一种新的TFD启发的边缘块，它能够从不同的层次聚集边缘信息，帮助获得精细的目标边缘；

具体来说，利用有限差分方程来离散常微分方程，其中偏导数可以用一组近似差分来代替。由于泰勒有限差分法比欧拉法具有更好的精度，本发明设计的一种新的TFD启发的边缘块，从数学上讲，二阶TFD方程可以表示为：

然后，将其改写为加法形式：

具体来说，为了简化深层神经网络的训练，采用残差学习的思想，将直接映射H(x)＝F(x)+x转化为残差形式F(x)＝H(x)-x，其中H(x)和F(x)分别表示目标输出和学习残差。方程(2)改写为：

在本发明中，用几个卷积层来实现从u_j到u_j+1的转换，并采用门控卷积u_gate得到

方程式(2)可以改写为：

u_j+1＝u_gate+u_j+1-3Δu_j                      (4)

其中，Δu_j表示u_j+1和u_j之间的残差。这样，受TFD启发的边缘块可以以残差学习的方式提取边缘特征，值得注意的是，门控卷积可以被视为部分可学习卷积，其中软选通机制用于更好地学习目标的边缘信息，同时抑制背景信息；具体而言，u_gate的输入是u_j+1和来自U-Net的相应特征的总和。

其中，本实施例PMD神经模块网络的结构如图2所示；

2)PMD神经模块网络：

PMD在图像处理中得到了广泛的研究，尤其是在去除噪声的同时保留了图像中的结构信息，由于SAR图像中存在斑点噪声，因此在S2O图像转换任务中探索PMD以生成无噪声光学图像是一个有吸引力的问题；为此，设计了一个PMD神经模块网络，其功能与PMD类似；具体而言，给定图像或特征u，PMD方程可以写成：

其中，

是扩散系数，t是扩散步长，k是形状常数，在坡度较小的平坦或光滑区域很容易发现

扩散系数g接近1，而在纹理或结构细节丰富的区域

系数接近于零；因此，通过这种空间变化的扩散系数，PMD可以在去除噪声的同时保持图像细节。

基于二阶近似恒等式：u_xx+u_yy＝u_αα+u_ββ，通过简单推导，等式(5)可以写为：

其中u_xx和u_yy分别是u沿x和y方向的二阶偏导数，u_αα和u_ββ是u沿法向(图像梯度方向)和切向(边缘方向)的二阶偏导数；

为了更好地保留边缘等结构细节，需要在图像梯度方向尽可能少地对其进行平滑，为此，将u_αα的系数设为零，即

意味着

如果扩散步长Δt被设为1，等式可写为：

其中，u_x和u_y分别是u沿x和y方向的一阶偏导数。

方程(7)可以表示为残差神经块，其中等式的右侧是可学习的残差Δu、实际上，残差神经块可以用具有固定核的卷积层实现，使用固定的卷积核，

通过一个网络的前向传播，可以得到u_x、u_y、u_xx、u_yy、Δu，例如：u_x＝W_x*u，其中，*表示卷积运算；这些具有固定内核的卷积层称为PMD头函数，如图6所示，其映射函数表示为

除了使用固定卷积核学习残差外，还设计了一些融合块来促进主干分支网络和PMD神经模块网络之间的特征交互，并进一步细化特征。具体来说，来自PMD头函数的特征首先经过卷积层和下采样层，然后在两个连续的融合块中与TFD启发的边缘块的特征映射进行串联和融合，每个融合块由三个卷积层组成，在上采样层和卷积预测层之后，得到一个称为PMD图像的侧输出。

其中，本实施例判别器网络的结构如图7所示；

步骤2a)构建判别器网络模型O_D：

判别器网络D₁包括多个卷积层，其中卷积层个数为5，第一判别器网络D₁的具体结构为：顺次级联的第十七卷积层、第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层；网络参数设置为：第十七卷积层卷积核大小为4*4，通道数设置为64，步长为2，padding为1，第十八卷积层卷积核大小为4*4，通道数设置为128，步长为2，padding为1，第十九卷积层卷积核大小为4*4，通道数设置为256，步长为2，padding为1，第二十卷积层卷积核大小为4*4，通道数设置为512，步长为1，padding为1，第二十一卷积层卷积核大小为4*4，通道数设置为1，步长为1，padding为1；

步骤3)对基于偏微分方程启发的SAR图像到光学图像的转换的模型进行迭代训练：

步骤3a)初始化迭代次数为s，最大迭代次数为Q，Q≥2000，第s次迭代的基于偏微分方程启发的网络模型为O_s，O_s中第一生成器网络G₁、第二生成器网络G₂的网络参数分别为θ_G ¹、θ_G ²，第一判别器网络D₁、第二判别器网络D₂的网络参数为θ_D ¹、θ_D ²，并令s＝0，O_s＝O；

步骤3b)将从训练样本集R₁中随机选取K个SAR图像和K个光学图像作为基于偏微分方程启发的网络模型的输入；

步骤3c)K个SAR图像样本作为生成器G₁的输入，第一卷积层对K个SAR图像样本提取特征得到K个SAR图像样本的第一特征图Y₁，其中f_m表示第m个训练样本卷积后的第一特征图，将K个SAR图像样本的特征图Y₁送入下采样模块，第三卷积层对K个256*256大小的特征图下采样到64*64大小，得到K个第二特征图Y₂，将K个第二特征图Y₂作为第一TFD启发的边缘块的输入，其中的第四卷积层、ReLU激活层、第五卷积层、门控卷积层对K个第二特征图Y₂进行特征转换，得到K个第三特征图Y₃，第二TFD启发的边缘块继续对K个第三特征图Y₃进行特征转换得到K个第四特征图Y₄，第三TFD启发的边缘块继续对K个第四特征图Y₄进行特征转换得到K个聚合多级特征的第五特征图Y₅，第五特征图Y₅通过对不同层次的特征进行聚集和增强，促进了SAR图像中有用信息的提取；同时K个SAR图像样本首先被馈入PMD头，以消除斑点噪声，同时保留结构细节，得到K个第六特征图Y₆，第十一卷积层对K个第六特征图Y₆进行特征提取，得到K个第七特征图Y₇，第二下采样模块对256*256大小的K个特征图下采样到64*64大小，得到K个第八特征图Y₈，K个第二特征图Y₂与输出的K个第八特征图Y₈的特征映射在第一融合模块进行融合，以进一步细化特征，得到K个第九特征图Y₉，K个第四特征图Y₄与K个第九特征图Y₉的特征映射在第二融合模块进行融合，得到K个第十特征图Y₁₀，K个第十特征图Y₁₀经过第二上采样模块进行图像重建，得到K个第十一特征图Y₁₁，K个第十一特征图Y₁₁经过第十二卷积层预测层之后，生成称为PMD图像的侧输出；同时，K个第十一特征图Y₁₁与K个第五特征图Y₅在RRDB模块进行融合，以促进特征交互，并引导生成器生成具有精细细节和较少噪声的最终类光学图像，将最终生成的K个类光学图像输入判别器D₁，然后将生成的光学图像经过生成器G₂，得到重构的SAR图像；同时K个光学图像样本作为生成器G₂的输入，经过与生成器G₁相同的处理后，得到K个类SAR图像，将生成的K个类SAR图像输入判别器D₂，然后K个类SAR图像经过生成器G₂后得到K个重构SAR图像；

用生成器G₁的重建损失函数希望重构SAR图像和输入的SAR图像样本尽可能的相似，用判别器D₁的判别损失函数判断输入的图片是否是真实的光学图像，目的是生成的类光学图像和输入的光学图像样本尽可能的相似；用生成器G₂的重建损失函数希望重构光学图像和输入的光学图像尽可能的相似，用判别器D₂的判别损失函数判断输入的图片是否是真实的SAR图像，目的是生成的SAR图像和输入的SAR图像样本尽可能相似；

步骤3d)对基于偏微分方程启发的网络模型进行参数更新：

(1)对生成器网络进行参数更新：

采用循环一致性损失函数，并通过每个样本生成的l个重构光学图像和其对应的训练样本集中的l个光学图像计算O_s的损失值L_cyc ¹，同时通过每个样本生成的l个重构SAR图像和其对应的训练样本集中的l个SAR图像计算O_s的损失值L_cyc ²；采用像素损失函数和感知损失函数，通过每个样本生成的l个类光学图像和其对应的训练样本集中的l个光学图像计算O_s像素损失值L_pix ¹和O_s感知损失值L_per ¹，同时通过每个样本生成的l个重构SAR图像和其对应的训练样本集中的l个SAR图像计算的O_s像素损失值L_pix ²和O_s感知损失值L_per ²；采用TFD损失函数，并通过每个训练样本集中的l个光学图像样本提取的高频特征

和其对应的生成的光学图像的高频特征

计算O_s的损失值L_TFD ¹，同时从训练样本集中的l个SAR图像中提取的高频特征

和其对应的生成的l个SAR图像的高频特征

计算O_s的损失值L_TFD ²；采用PMD损失函数，通过每个训练样本集中的l个光学图像样本和其对应的PMD神经模块网络生成的l个PMD图像的侧输出计算O_s的损失值L_PMD ¹，同时从l个SAR图像样本和其对应的l个PMD神经模块网络生成的PMD图像的侧输出计算O_s的损失值L_PMD ²，通过总的损失函数L对权值参数θ_G ¹、θ_G ²的偏导

再采用梯度下降法，通过

对权值参数θ_G ¹、θ_G ²进行更新；

(2)对判别器网络进行参数更新：

采用GAN损失函数，通过每个样本生成的K个类光学图像和其对应的训练样本集中的l个光学图像计算O_s的损失值L_GAN ¹，同时通过每个样本生成的K个类SAR图像和其对应的训练样本集中的l个SAR图像计算O_s的损失值L_GAN ²，然后求取L_GAN ¹、L_GAN ²对权值参数θ_D ¹、θ_D ²的偏导

再采用梯度下降法，通过

对权值参数θ_D ¹、θ_D ²进行更新；对判别器进行参数更新：

(3)循环一致性损失函数L_cyc、像素损失函数L_pix、感知损失函数L_per、TFD损失函数L_TFD、PMD损失函数L_PMD、总的损失函数L和GAN损失函数L_GAN的计算表达式分别为：

L＝λ₁L_pix+λ₂L_per+λ₃L_cyc+λ₄(L_TFD+L_PMD)

y表示光学图像，x表示SAR图像，V_j(·)表示使用VGG-16的预训练模型的损失函数，C_j表示网络的第j层，C_j*H_j*W_j表示第j层的特征图的大小，λ₁、λ₂、λ₃、λ₄是超参数。

(4)对权值参数θ_G ¹、θ_G ²进行更新和对权值参数θ_D ¹、θ_D ²进行更新的更新公式分别为：

θ_G ¹、θ_G ²、θ_D ¹、θ_D ²表示O_s所有可学习参数的权值参数，θ_D ^1'、θ_D ^2'、θ_D ^1'、θ_D ^2'表示更新后的可学习参数，l_r表示学习率，

表示求导操作。

步骤3e)判断g₁、g₂、g₃、g₄的值是否接近1以及s≥Q是否成立，若是，得到训练好的对生成对抗网络模型，否则，令s＝s+1，并执行步骤(3b)；

步骤3f)获取训练好的生成器网络：

将测试样本集E₁作为训练好的基于偏微分方程启发的网络模型的输入进行前向传播，得到K-M个SAR图像转换后的光学图像和K-M个光学图像转换后的SAR图像。

本发明提出的基于偏微分方程启发的SAR图像到光学图像的转换的模型用于SAR到光学图像的转换以及光学图像到SAR图像的转换，本发明所提出的网络结构模型包括并行的主干分支网络和PMD神经模块网络，主干分支网络中的TFD启发的边缘块从多级特征中提取有用的特征，PMD神经模块网络可以保留结构细节和去除噪声，在SEN1-2数据集上的结果表明，本发明提出的网络结构可以生成结构更精细、噪声更小的清晰光学图像。

1.仿真条件与内容：

仿真实验的硬件平台为：处理器为Intel(R)Core i9-9900K CPU，主频为3.6GHz，内存为32GB、显卡为NVIDIA GeForce RTX 2080Ti。仿真实验的软件平台为：Ubuntu 16.04操作系统，python版本为3.7，Pytorch版本为1.7.1。

从SEN1-2数据集中选择1600对高质量SAR图像和光学图像作为训练数据集，其中的300对作为测试集(表示为Test1)；此外，在山区复杂场景中选取62对，在郊区复杂场景中选取111对作为另外两个测试集，分别表示为Test2和Test3。

本发明提出的基于偏微分方程启发的SAR图像到光学图像的转换方法通过TFD启发的边缘块的残差学习有效地提取多级特征，并在PMD神经模块网络中保留高频结构细节和去除斑点噪声；其中基于PMD的头函数具有明确的设计，能够促进生成光学图像，为了验证这每部分网络结构的有效性，进行了消融研究；结果列于表1；本发明相对于现有技术，峰值信噪比有显著提高。

表1

综合上述仿真实验中的结果分析，本发明提出的基于偏微分方程启发的SAR图像到光学图像的转换方法得益于TFD启发的边缘块和PMD神经模块网络，可以产生更接近真实的输入图像的更好结果。

Claims (5)

1.一种基于偏微分方程启发的SAR图像到光学图像的转换方法，其特征在于，包括以下步骤：

(1)获取训练样本集和测试样本集：

(1a)对从光学遥感图像数据集中随机选取的I幅大小为l的光学遥感图像，从与光学遥感图像场景相似的SAR图像数据集中随机选取的I幅大小为M×N的SAR图像分别进行预处理，并对预处理后的每幅光学遥感图像和每幅SAR图像进行1/4降采样，得到降采样后的K幅光学遥感图像和K幅SAR图像，其中，I≥2000，K≥3000；

(1b)将每幅光学遥感图像、每幅SAR图像裁剪为大小为H×H的图像，同时将每幅光学遥感图像对应的降采样后的光学遥感图像、每幅SAR图像对应的降采样后的SAR图像分别裁剪为大小为

的图像，并将每幅光学遥感图像裁剪的图像作为对应的降采样后裁剪的图像的标签、每幅SAR图像裁剪的图像作为对应的降采样后裁剪的图像的标签，然后随机选取其中M幅光学遥感图像降采样后的图像及其标签和M幅SAR图像降采样后的图像及其标签组成训练样本集R₁，将剩余降采样后K-M幅SAR图像及其标签和剩余降采样后K-M幅光学图像及其标签组成测试样本集E₁，其中，

H＝256；

(2)构建基于偏微分方程启发的网络模型O：

构建包括成对偶结构的第一生成对抗网络和第二生成对抗网络的偏微分方程启发的网络O；第一生成对抗网络包括顺次连接的第一生成器网络G₁和第一判别器网络D₁，G₁包括并行排布的主干分支网络和PMD神经模块网络，D₁包括多个卷积层；第二生成对抗网络包括顺次连接的第二生成器网络G₂和第二判别器网络D₂，其中，G₁和G₂的结构相同，D₁和D₂的结构相同；

(3)对基于偏微分方程启发的网络模型O进行迭代训练：

(3a)初始化迭代次数为s，最大迭代次数为Q，Q≥2000，第s次迭代的基于偏微分启发的网络模型为O_s，O_s中第一生成器网络G₁、第二生成器网络G₂的网络参数分别为θ_G ¹、θ_G ²，第一判别器网络D₁、第二判别器网络D₂的网络参数为θ_D ¹、θ_D ²，并令s＝0，O_s＝O；

(3b)将从训练样本集R₁中随机选取l个SAR图像样本和l个光学图像样本作为基于偏微分方程启发的网络模型O的输入：

(3b1)第一生成对抗网络中第一生成器网络G₁中的主干分支网络将l个SAR图像样本转换为粗糙的类光学图像，同时PMD神经模块网络将l个SAR图像转换为PMD图像的侧输出G_PMD(x)¹，加权融合粗糙的类光学图像和PMD图像的侧输出G_PMD(x)¹，生成l个样本的类光学图像，第一判别器网络D₁根据每个光学图像样本和生成的每个类光学图像，判断生成的类光学图像接近光学图像样本的概率g₁；

(3b2)第二生成对抗网络中第二生成器网络G₂将G₁生成的l个样本的类光学图像转换为l个样本的重构SAR图像，第二判别器网络D₂根据l个重构SAR图像和l个SAR图像样本，判断生成的每个重构SAR图像接近每个SAR图像样本的概率g₂，形成SAR图像到光学图像的循环对抗生成网络；

(3b3)第二生成对抗网络的第二生成器网络G₂中的主干分支网络将l个光学图像样本转换为粗糙的类SAR图像，同时PMD神经模块网络将l个光学图像样本转换为PMD图像的侧输出G_PMD(x)¹，加权融合粗糙的类光学图像和PMD图像的侧输出G_PMD(x)¹，生成l个样本的类SAR图像，第二判别器网络D₂根据l个SAR图像样本和生成的的l个类SAR图像，判断生成的每个类SAR图像接近每个SAR图像样本的概率g₃；

(3b4)第一生成对抗网络中第一生成器网络G₁将G₂生成的l个类SAR图像转换为l个光学图像样本的重构光学图像，第一判别器网络D₁根据l个光学图像样本和重构光学图像，判断生成的每个重构光学图像接近每个光学图像样本的概率g₄，形成光学图像到SAR图像的循环对抗生成网络，其中，l≤M；

(3c)用PMD头函数提取l个SAR图像样本的高频特征

和生成l个样本的类SAR图像的高频特征

以及l个光学图像样本的高频特征

和生成l个样本的类光学图像的高频特征

(3d)对基于偏微分方程启发的网络模型进行参数更新：

(3d1)对生成器网络进行参数更新：

采用循环一致性损失函数，并通过每个样本生成的l个重构光学图像和其对应的训练样本集中的l个光学图像计算O_s的损失值L_cyc ¹，同时通过每个样本生成的l个重构SAR图像和其对应的训练样本集中的l个SAR图像计算O_s的损失值L_cyc ²；采用像素损失函数和感知损失函数，通过每个样本生成的l个类光学图像和其对应的训练样本集中的l个光学图像计算O_s像素损失值L_pix ¹和O_s感知损失值L_per ¹，同时通过每个样本生成的l个重构SAR图像和其对应的训练样本集中的l个SAR图像计算的O_s像素损失值L_pix ²和O_s感知损失值L_per ²；采用TFD损失函数，并通过每个训练样本集中的l个光学图像样本提取的高频特征

和其对应的生成的光学图像的高频特征

计算O_s的损失值L_TFD ¹，同时从训练样本集中的l个SAR图像中提取的高频特征

和其对应的生成的l个SAR图像的高频特征

计算O_s的损失值L_TFD ²；采用PMD损失函数，通过每个训练样本集中的l个光学图像样本和其对应的PMD神经模块网络生成的l个PMD图像的侧输出计算O_s的损失值L_PMD ¹，同时从l个SAR图像样本和其对应的l个PMD神经模块网络生成的PMD图像的侧输出计算O_s的损失值L_PMD ²，通过总的损失函数L对权值参数θ_G ¹、θ_G ²的偏导

再采用梯度下降法，通过

对权值参数θ_G ¹、θ_G ²进行更新；

(3d2)对判别器网络进行参数更新：

采用GAN损失函数，通过每个样本生成的K个类光学图像和其对应的训练样本集中的l个光学图像计算O_s的损失值L_GAN ¹，同时通过每个样本生成的K个类SAR图像和其对应的训练样本集中的l个SAR图像计算O_s的损失值L_GAN ²，然后求取L_GAN ¹、L_GAN ²对权值参数θ_D ¹、θ_D ²的偏导

再采用梯度下降法，通过

对权值参数θ_D ¹、θ_D ²进行更新；

(3e)判断g₁、g₂、g₃、g₄的值是否接近1且s≥Q是否成立，若是，得到训练好的偏微分方程启发的网络模型，否则，令s＝s+1，并执行步骤(3b)；

(4)获取SAR图像的转换结果：

将测试样本集E₁作为训练好的基于偏微分方程启发的网络模型的输入进行前向传播，得到K-M个SAR图像转换后的光学图像和K-M个光学图像转换后的SAR图像。

2.根据权利要求1所述的基于偏微分方程启发的SAR图像到光学图像的转换方法，其特征在于，步骤(1a)中所述的对从光学遥感图像数据集中随机选取的I幅大小为M×N的光学遥感子图像，从与光学遥感图像场景相似的SAR图像数据集中随机选取的I幅大小为M×N的SAR图像分别进行预处理，具体为：对每幅光学遥感图像和每幅SAR图像随机进行水平翻转或90旋转，实现对图像的数据增强。

3.根据权利要求1所述的基于偏微分方程启发的SAR图像到光学图像的转换方法，其特征在于，步骤(2)中所述的偏微分方程启发的网络模型O，其中：

第一生成对抗网络包括顺次连接的第一生成器网络G₁和第一判别器网络D₁；

第一生成器网络G₁的具体结构：包括并行排布的主干分支网络和PMD神经模块网络；主干分支网络包括多个卷积层、多个TFD启发的边缘模块、多个下采样模块、多个上采样模块、RRDB模块，PMD神经模块网络包括多个卷积层、PMD头函数、多个上采样模块、多个下采样模块、多个融合模块；每个TFD启发的边缘模块包括多个卷积层和非线性激活层，每个PMD头函数包括多个卷积层，每个融合模块包括多个卷积层和非线性激活层；主干分支网络包括顺次级联的第一卷积层、第一下采样模块、第一TFD启发的边缘模块、第二TFD启发的边缘模块、第三TFD启发的边缘模块、第一上采样模块、RRDB模块、第二卷积层；第一下采样模块由第三卷积层组成，每个TFD启发的边缘模块包括顺次级联的第四卷积层、ReLU激活层，第五卷积层、门控卷积层；第一上采样模块由第一转置卷积层组成；RRDB模块包括顺次级联的密集块、密集块、密集块，每个密集块包括顺次级联的第六卷积层、LReLU激活层、第七卷积层、LReLU激活层、第八卷积层、LReLU激活层、第九卷积层、LReLU激活层、第十卷积层；PMD神经模块网络包括顺次级联的PMD头函数、第十一卷积层、第二下采样模块、第一融合模块、第二融合模块、第二上采样模块、第十二卷积层；PMD头函数包括并联的五个固定卷积核的卷积层，第二下采样模块是第十三卷积层，每个融合模块包括顺次级联的第十四卷积层、第十五卷积层、ReLU激活层、第十六卷积层，第二上采样模块由第二转置卷积组成，其中，第一TFD启发的边缘模块的输出端与第二下采样模块的输出端连接，第二TFD启发的边缘模块的输出端与第一融合模块的输出端连接，第一上采样模块的输出端与第二上采样模块的输出端连接；网络参数设置为：第一卷积层、第二卷积层、第十一卷积层、第十二卷积层卷积核大小为7*7，通道数设置为64，下采样模块的卷积核大小为3*3，步长为2，padding为1，通道数设置为64，转置卷积层的卷积核大小为3*3，步长为2，padding为1，通道数设置为32，TFD启发的边缘模块的卷积核大小为3*3，通道数设置为64，PMD头映射的卷积核大小为W_x、W_y、W_xx、W_xy、W_yy，通道数设置为64，第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层卷积核大小为3*3，通道数设置为64，用

表示PMD头函数的映射；

第一判别器网络D₁包括多个卷积层，其中卷积层个数为5，第一判别器网络D₁的具体结构为：顺次级联的第十七卷积层、第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层；网络参数设置为：第十七卷积层卷积核大小为4*4，通道数设置为64，步长为2，padding为1，第十八卷积层卷积核大小为4*4，通道数设置为128，步长为2，padding为1，第十九卷积层卷积核大小为4*4，通道数设置为256，步长为2，padding为1，第二十卷积层卷积核大小为4*4，通道数设置为512，步长为1，padding为1，第二十一卷积层卷积核大小为4*4，通道数设置为1，步长为1，padding为1。

4.根据权利要求1所述的基于偏微分方程启发的SAR图像到光学图像的转换方法，其特征在于，步骤(3c)中所述的循环一致性损失函数L_cyc、像素损失函数L_pix、感知损失函数L_per、TFD损失函数L_TFD、PMD损失函数L_PMD、总的损失函数L和步骤(3d)中所述的GAN损失函数L_GAN的计算表达式分别为：

L＝λ₁L_pix+λ₂L_per+λ₃L_cyc+λ₄(L_TFD+L_PMD)

y表示光学图像，x表示SAR图像，V_j(·)表示使用VGG-16的预训练模型的损失函数，C_j表示网络的第j层，C_j*H_j*W_j表示第j层的特征图的大小，λ₁、λ₂、λ₃、λ₄是超参数。

5.根据权利要求1所述的基于偏微分方程启发的SAR图像到光学图像的转换方法，其特征在于，步骤(3c)中所述的对权值参数θ_G ¹、θ_G ²进行更新和步骤(3d)中所述的对权值参数θ_D ¹、θ_D ²进行更新的更新公式分别为：

θ_G ¹、θ_G ²、θ_D ¹、θ_D ²表示O_s所有可学习参数的权值参数，θ_D ^1′、θ_D ^2′、θ_D ^1′、θ_D ^2′表示更新后的可学习参数，l_r表示学习率，

表示求导操作。

Images