CN115830462A

CN115830462A - 基于循环一致性对抗网络的sar图像重构方法及装置

Info

Publication number: CN115830462A
Application number: CN202310160315.1A
Authority: CN
Inventors: 计科峰; 封斯嘉; 张思乾; 王福来; 马晓杰; 张琳彬
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2023-02-24
Filing date: 2023-02-24
Publication date: 2023-03-21
Anticipated expiration: 2043-02-24
Also published as: CN115830462B

Abstract

本申请涉及一种基于循环一致性对抗网络的SAR图像重构方法及装置。所述方法包括：通过获取的多组散射点参数集利用散射点模型构建仿真训练图像以及对应的热力训练图，并将一组仿真训练图像以及热力训练图输入图像重构网络中对其进行训练，将仿真训练图像转换成重构热力图的第一生成器，将热力训练图转换成第一重构仿真图的第二生成器，在训练过程中，将仿真训练图像依次通过第一生成器以及第二生成器得到第二重构仿真图，计算损失函数对图像重构网络的参数进行调整直至收敛得到训练好的图像重构网络。采用本方法以解决现有技术中SAR目标电磁散射特征提取复杂、计算耗时长，以及用于目标识别任务的仿真图像生成成本高、质量差的问题。

Description

基于循环一致性对抗网络的SAR图像重构方法及装置

技术领域

本申请涉及SAR图像目标特征提取与仿真技术领域，特别是涉及一种基于循环一致性对抗网络的SAR图像重构方法及装置。

背景技术

SAR作为一种主动式传感器，具有全天时、全天候、高分辨率、大范围观测成像的独特优势，因此在各种军用和民用领域得到了广泛应用。SAR目标识别在这些应用中发挥着关键作用，其主要目的是识别出SAR图像中的各类目标，如车辆、飞机、舰船等。在SAR目标识别过程中，SAR图像特有的电磁散射特性为分类算法设计和目标识别结果提供了重要的理论支撑和解释依据。

SAR图像具有稀疏性，即目标主要由稀疏的散射点构成。现有描述SAR目标电磁散射特性的模型包括点散射模型、衰减指数模型、属性散射中心模型等等。这些模型假设目标的后向散射可以近似为一系列独立的散射中心响应之和。通过对模型的参数进行估计，可以提取SAR图像目标散射点的相关特征。然而现阶段模型参数提取中通常使用稀疏表示、最大似然估计、遗传算法等较为复杂的参数优化方法，计算耗时长，不利于后续基于目标散射特性的分类算法设计。

发明内容

基于此，有必要针对上述技术问题，提供一种计算耗时短的基于循环一致性对抗网络的SAR图像重构方法及装置。

一种基于循环一致性对抗网络的SAR图像重构方法，所述方法包括：

获取多组散射点参数集，各组所述散射点参数集包括多个散射点的空间位置坐标以及与各散射点对应的相对振幅；

利用散射点模型根据各组所述散射点参数集构建仿真训练图像，还根据各组所述散射点参数集分别构建热力训练图，将所述仿真训练图像以及对应的热力训练图构建一组样本对，并由多组样本对构成训练样本集；

将所述训练样本集中的一组样本对输入图像重构网络中，所述图像重构网络包括第一生成器、第二生成器以及与各生成器对应的判别器，通过所述第一生成器将所述仿真训练图像转换成重构热力图，通过所述第二生成器将所述热力训练图转换成第一重构仿真图，再将所述仿真训练图像依次通过第一生成器、第二生成器生成转换成第二重构仿真图；

根据所述仿真训练图像以及第一重构仿真图构建第一对抗损失函数，根据所述热力训练图以及重构热力图构建第二对抗损失函数，根据所述仿真训练图像以及第二重构仿真图构建循环一致性损失函数；

根据所述第一对抗损失函数、第二对抗损失函数以及循环一致性损失函数进行计算得到总损失函数，根据所述损失函数对所述图像重构网络中的生成器以及判别器进行更新，直至所述总损失函数收敛，则得到训练好的图像重构网络；

获取待重构的SAR目标图像，将所述SAR目标图像输入所述训练好的图像重构网络得到重构目标图像。

在其中一实施例中，当需要提取所述SAR目标图像中目标散射点时；

将所述SAR目标图像输入所述训练好的图像重构网络，通过所述第一生成器得到与所述SAR目标图像对应的参数热力目标图；

提取所述参数热力目标图的峰值点坐标作为目标散射点的空间坐标，并将所述峰值点的幅度值作为目标散射点的幅度参数。

在其中一实施例中，所述图像重构网络采用CycleGAN网络。

在其中一实施例中，根据各组所述散射点参数集分别构建热力训练图包括：

将各组所述散射点参数集中的多个散射点的空间位置坐标以及与各散射点对应的相对振幅转换为二维图像；

根据所述二维图像基于高斯分布计算得到对应的热力训练图。

在其中一实施例中，所述根据所述仿真训练图像以及第一重构仿真图构建第一对抗损失函数包括：

将所述仿真训练图像以及第一重构仿真图输入所述第二生成器对应的判别器中生成所述仿真训练图像以及第一重构仿真图的特征向量，根据所述特征向量构建所述第一对抗损失函数。

在其中一实施例中，所述根据所述热力训练图以及重构热力图构建第二对抗损失函数包括：

将所述热力训练图以及重构热力图输入所述第一生成器对应的判别器中生成所述热力训练图以及重构热力图的特征向量，根据所述特征向量构建所述第二对抗损失函数。

在其中一实施例中，根据所述仿真训练图像以及第二重构仿真图构建循环一致性损失函数采用以下公式：

；

在上式中，

表示所述仿真训练图像，

表示所述仿真训练图像依次被所述第一生成器、第二生成器生成转换成的第二重构仿真图，其中，

表示第一生成器，

表示第二生成器。

一种基于循环一致性对抗网络的SAR图像重构装置，所述装置包括：

散射点参数集获取模块，用于获取多组散射点参数集，各组所述散射点参数集包括多个散射点的空间位置坐标以及与各散射点对应的相对振幅；

训练样本集构建模块，用于利用散射点模型根据各组所述散射点参数集构建仿真训练图像，还根据各组所述散射点参数集分别构建热力训练图，将所述仿真训练图像以及对应的热力训练图构建一组样本对，并由多组样本对构成训练样本集；

图像重构网络训练模块，用于将所述训练样本集中的一组样本对输入图像重构网络中，所述图像重构网络包括第一生成器、第二生成器以及与各生成器对应的判别器，通过所述第一生成器将所述仿真训练图像转换成重构热力图，通过所述第二生成器将所述热力训练图转换成第一重构仿真图，再将所述仿真训练图像依次通过第一生成器、第二生成器生成转换成第二重构仿真图；

损失函数计算模块，用于根据所述仿真训练图像以及第一重构仿真图构建第一对抗损失函数，根据所述热力训练图以及重构热力图构建第二对抗损失函数，根据所述仿真训练图像以及第二重构仿真图构建循环一致性损失函数；

训练好的图像重构网络得到模块，用于根据所述第一对抗损失函数、第二对抗损失函数以及循环一致性损失函数进行计算得到总损失函数，根据所述损失函数对所述图像重构网络中的生成器以及判别器进行更新，直至所述总损失函数收敛，则得到训练好的图像重构网络；

SAR目标图像重构模块，用于获取待重构的SAR目标图像，将所述SAR目标图像输入所述训练好的图像重构网络得到重构目标图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述基于循环一致性对抗网络的SAR图像重构方法及装置，通过获取的多组散射点参数集利用散射点模型构建仿真训练图像以及对应的热力训练图，并将一组仿真训练图像以及热力训练图输入图像重构网络中对其进行训练，其中图像重构网络包括将仿真训练图像转换成重构热力图的第一生成器，将热力训练图转换成第一重构仿真图的第二生成器，在训练过程中，还将仿真训练图像依次通过第一生成器以及第二生成器得到第二重构仿真图，接着计算损失函数对图像重构网络的参数进行调整直至收敛得到训练好的图像重构网络。在本方法中通过图像重构网络学习目标点散射模型，根据目标散射点提取的结果重构目标仿真图像，以解决现有技术中SAR目标电磁散射特征提取复杂、计算耗时长，以及用于目标识别任务的仿真图像生成成本高、质量差的问题，可辅助SAR目标检测、识别、智能电磁建模等，具有广阔的应用前景。

附图说明

图1为一个实施例中基于循环一致性对抗网络的SAR图像重构方法的流程示意图；

图2为一个实施例中计算参数热力图的流程示意图；

图3为一个实施例中图像重构网络的结构示意图；

图4为一个实施例中基于循环一致性对抗网络的SAR图像重构装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示，提供了一种基于循环一致性对抗网络的SAR图像重构方法，具体步骤包括：

步骤S100，获取多组散射点参数集，各组散射点参数集包括多个散射点的空间位置坐标以及与各散射点对应的相对振幅；

步骤S110，利用散射点模型根据各组散射点参数集构建仿真训练图像，还根据各组散射点参数集分别构建热力训练图，将仿真训练图像以及对应的热力训练图构建一组样本对，并由多组样本对构成训练样本集；

步骤S120，将训练样本集中的一组样本对输入图像重构网络中，图像重构网络包括第一生成器、第二生成器以及与各生成器对应的判别器，通过第一生成器将仿真训练图像转换成重构热力图，通过第二生成器将热力训练图转换成第一重构仿真图，再将仿真训练图像依次通过第一生成器、第二生成器生成转换成第二重构仿真图；

步骤S130，根据仿真训练图像以及第一重构仿真图构建第一对抗损失函数，根据热力训练图以及重构热力图构建第二对抗损失函数，根据仿真训练图像以及第二重构仿真图构建循环一致性损失函数；

步骤S140，根据第一对抗损失函数、第二对抗损失函数以及循环一致性损失函数进行计算得到总损失函数，根据损失函数对图像重构网络中的生成器以及判别器进行更新，直至总损失函数收敛，则得到训练好的图像重构网络；

步骤S150，获取待重构的SAR目标图像，将SAR目标图像输入训练好的图像重构网络得到重构目标图像。

在本实施例中，首先利用传统的散射模型构建用于训练网络的仿真图像，并根据对应的散射点参数通过高斯分布构建热力图，将仿真图像及其对应的参数热力图进行仿真图像散射点提取和重构过程的学习，采用本文提出的方法可以对SAR图像点散射模型进行有效的学习和拟合，有效提高散射点参数估计的计算性能。在使用本文提出的深度学习网络计算重构图像时，可增强仿真图像的电磁散射特性。

进一步的，为了解决目前深度学习在SAR目标识别的应用中用于训练的实测SAR数据并不能提供准确的散射点参数相关信息，因此需要通过获取的多组散射点参数集构建训练样本，以提高网络训练的准确性。在步骤S100中，通过获取的多组散射点参数集构建训练样本，每组散射点参数集包括多个散射点的空间位置坐标以及与各散射点对应的相对振幅。

在本实施例中，分别根据各组散射点参数集构建仿真训练图像以及对应的热力训练图。

具体的，利用点散射模型根据散射点参数构建仿真训练图像，其中，点散射模型假设目标的后向散射可以很好地近似为各个散射中心响应的总和，如下所示：

（1）

在公式（1）中，

表示单个散射中心的总数，对于单个散射点，后向散射场可以参数化为频率

和方位角

的函数：

（2）

在公式（2）中，

表示电磁波的传播速度，

是模型参数集也就是散射点参数集，其中，

为散射点空间位置坐标，

表示相对振幅。

根据该模型，可以随机设置多散射点参数集，并计算各散射点参数集对应的频域数据，再通过二维傅里叶逆变换，得到重构后的仿真训练图像。

具体的，再根据各组散射点参数集构建对应的热力训练图，其过程如图2所示，包括将各组散射点参数集中的多个散射点的空间位置坐标以及与各散射点对应的相对振幅转换为二维图像，再根据二维图像基于高斯分布计算得到对应的热力训练图。

进一步的，首先将参数集中位置和幅度参数转换为二维图像形式，图像上每一点的值代表该坐标下目标幅度参数值，如下式所示：

（3）

在公式（3）中，

和

表示图像的中心点坐标。

然后，将参数集A的二维图像

进一步转化为热力图的形式，对于参数集中每一个参数点，使用公式（4）计算基于高斯分布的热力图，再将参数集中所有参数点计算得到的热力图叠加得到最终的热力训练图，公式（4）如下所示：

（4）

最后，将由一组散射点参数集构建的热力训练图以及仿真训练图像作为一组训练对对图像重构网络进行训练。

在本实施例中，图像重构网络采用CycleGAN网络，包括第一生成器、第二生成器以及各生成器中的判别器。

在图像重构网络中，如图3所示，通过第一生成器G将仿真训练图像X转换成重构热力图

，通过第二生成器F将热力训练图Y转换成第一重构仿真图

，再将仿真训练图像X依次通过第一生成器G、第二生成器F生成转换成第二重构仿真图

。利用第一生成器G学习重构图像的能力，利用第二生成器F生成热力图的能力。

进一步的，根据仿真训练图像以及第一重构仿真图构建第一对抗损失函数包括：将仿真训练图像以及第一重构仿真图输入第二生成器对应的判别器中生成仿真训练图像以及第一重构仿真图的特征向量，根据特征向量构建第一对抗损失函数，其中，第一对抗损失函数表示为：

（5）

在公式（5）中，

表示仿真训练图像，

表示由第一生成器G根据仿真训练图像生成的重构热力图，

以及

表示将第一重构仿真图以及仿真训练图像输入判别器中生成的特征向量。

进一步的，同样的根据热力训练图以及重构热力图构建第二对抗损失函数包括：将热力训练图以及重构热力图输入第一生成器对应的判别器中生成热力训练图以及重构热力图的特征向量，再根据特征向量构建所述第二对抗损失函数。

进一步的，根据仿真训练图像以及第二重构仿真图构建循环一致性损失函数采用以下公式：

（6）

在公式（6）中，

表示仿真训练图像，

表示仿真训练图像依次被第一生成器、第二生成器生成转换成的第二重构仿真图，其中，

表示第一生成器，

表示第二生成器。

最后，根据上述三个损失函数构建图像重构网络训练时的总体损失函数表示为：

（7）

在公式（7）中，

表示控制着对抗损失和循环一致性损失之间的相对重要性。

在本实施例中，在对图像重构网络进行训练时，目标函数为：

（8）

在本实施例中，在采用训练集对图像重构网络后，还采用测试数据对对齐进行测试，提取测试目标图像的散射点参数并重构目标图像。

具体的，对于训练好的图像重构网络，在提取测试目标图像散射点参数时，首先，对测试目标图像进行分割，将分割后的图像输入图像重构网络中的第一生成器，经过生成器计算后输出的参数热力图估计结果在

取值范围内，则将范围内的值置零得到最终的估计结果。在得到参数热力图后，提取峰值点坐标作为目标散射模型里的位置参数

的估计结果，峰值点的幅度值作为目标点散射模型里的幅度参数

的估计结果。

具体的，在使用训练好的图像重构网络重构目标图像时，需要输入点散射模型参数热力图，通过第二生成器计算重构图像输出。经过生成器计算后输出的重构图像估计结果在

取值范围内，将其拉伸到

的取值范围即可得到最终的重构图像输出。

在本实施例中，利用训练好的图像重构网络中的第二生成器对SAR目标图像进行图像重构，还可以利用第一生成器提取SAR目标图像中目标散射点：将SAR目标图像输入训练好的图像重构网络，通过第一生成器得到与SAR目标图像对应的参数热力目标图，再提取参数热力目标图的峰值点坐标作为目标散射点的空间坐标，并将峰值点的幅度值作为目标散射点的幅度参数。

上述基于循环一致性对抗网络的SAR图像重构方法中，通过获取的多组散射点参数集利用散射点模型构建仿真训练图像以及对应的热力训练图，并将一组仿真训练图像以及热力训练图输入图像重构网络中对其进行训练，其中图像重构网络包括将仿真训练图像转换成重构热力图的第一生成器，将热力训练图转换成第一重构仿真图的第二生成器，在训练过程中，还将仿真训练图像依次通过第一生成器以及第二生成器得到第二重构仿真图，接着计算损失函数对图像重构网络的参数进行调整直至收敛得到训练好的图像重构网络。在本方法中通过图像重构网络学习目标点散射模型，根据目标散射点提取的结果重构目标仿真图像，以解决现有技术中SAR目标电磁散射特征提取复杂、计算耗时长，以及用于目标识别任务的仿真图像生成成本高、质量差的问题，可辅助SAR目标检测、识别、智能电磁建模等，具有广阔的应用前景。在本方法中，对SAR图像点散射模型进行有效的学习和拟合，有效提高散射点参数估计的计算性能。在提取目标散射点参数图之后，可以使用深度学习网络计算重构仿真图像，增强仿真图像电磁散射特性。本方法应用范围广泛，可灵活嵌入各种需要提取SAR目标散射点特征的检测、识别算法中，同时有助于智能电磁建模的进一步研究。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种基于循环一致性对抗网络的SAR图像重构装置，包括：散射点参数集获取模块200、训练样本集构建模块210、图像重构网络训练模块220、损失函数计算模块230、训练好的图像重构网络得到模块240以及SAR目标图像重构模块250，其中：

散射点参数集获取模块200，用于获取多组散射点参数集，各组所述散射点参数集包括多个散射点的空间位置坐标以及与各散射点对应的相对振幅；

训练样本集构建模块210，用于利用散射点模型根据各组所述散射点参数集构建仿真训练图像，还根据各组所述散射点参数集分别构建热力训练图，将所述仿真训练图像以及对应的热力训练图构建一组样本对，并由多组样本对构成训练样本集；

图像重构网络训练模块220，用于将所述训练样本集中的一组样本对输入图像重构网络中，所述图像重构网络包括第一生成器、第二生成器以及与各生成器对应的判别器，通过所述第一生成器将所述仿真训练图像转换成重构热力图，通过所述第二生成器将所述热力训练图转换成第一重构仿真图，再将所述仿真训练图像依次通过第一生成器、第二生成器生成转换成第二重构仿真图；

损失函数计算模块230，用于根据所述仿真训练图像以及第一重构仿真图构建第一对抗损失函数，根据所述热力训练图以及重构热力图构建第二对抗损失函数，根据所述仿真训练图像以及第二重构仿真图构建循环一致性损失函数；

训练好的图像重构网络得到模块240，用于根据所述第一对抗损失函数、第二对抗损失函数以及循环一致性损失函数进行计算得到总损失函数，根据所述损失函数对所述图像重构网络中的生成器以及判别器进行更新，直至所述总损失函数收敛，则得到训练好的图像重构网络；

SAR目标图像重构模块250，用于获取待重构的SAR目标图像，将所述SAR目标图像输入所述训练好的图像重构网络得到重构目标图像。

关于基于循环一致性对抗网络的SAR图像重构装置的具体限定可以参见上文中对于基于循环一致性对抗网络的SAR图像重构方法的限定，在此不再赘述。上述基于循环一致性对抗网络的SAR图像重构装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于循环一致性对抗网络的SAR图像重构方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。