CN111398955A - 一种基于生成对抗神经网络的sar图像去旁瓣方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗神经网络的SAR去旁瓣方法，基于生成对抗网络的pix2pix模型构建去旁瓣网络，以有旁瓣的点目标图作为网络的输入，以对应的无旁瓣的点目标图作为网络的标签，以基于生成对抗网络生成的无旁瓣的结果图作为网络的输出；给随机点目标赋上不同的强度值得到无旁瓣的点目标图，将无旁瓣的点目标图像卷积二维冲击响应函数生成对应的有旁瓣的点目标图像，构建仿真数据训练集；利用仿真数据对去旁瓣网络模型进行训练；利用训练好的去旁瓣网络模型对SAR图像进行去旁瓣。本发明在提升去旁瓣效果的同时，对噪声、散焦有一定的抑制效果。

Description

一种基于生成对抗神经网络的SAR图像去旁瓣方法

技术领域

本发明涉及合成孔径雷达图像旁瓣抑制处理技术，具体涉及一种基于生成对抗神经网络的SAR(合成孔径雷达)图像去旁瓣方法。

背景技术

合成孔径雷达(SAR)是一种高分辨率的成像雷达，在海洋、减灾及国防等领域具有重要作用。SAR成像时，需要对回波数据进行距离向和方位向的匹配滤波，从而理想点目标的冲击响应是一个二维sinc函数，因此成像后目标点会带有旁瓣。由于强散射目标的旁瓣可能会高于弱目标的主辦电平，导致弱目标被掩盖，不利于SAR图像判读解译和目标的检测识别。尤其，对于舰船、车辆等目标，其主要由金属构成且部件结构比较复杂，很容易某些角度下某些结构部件形成很强的散射，在图像中出现明显的十字旁瓣效应，影响目标判别。因此旁瓣抑制在SAR图像质量提升处理中占有重要地位。

现有的SAR旁瓣抑制方法主要可以分为三类：频域加权法、双重变轨旁瓣抑制法及空间变迹旁瓣抑制法。频域加权法(闵锐,安嘉树,左峰,et al.一种基于频谱加权的SAR图像旁瓣抑制方法)是传统的SAR旁瓣处理方法之一，这个方法主要是在SAR原始回波数据经过匹配滤波时进行加窗操作，先通过傅里叶变换将SAR图像数据变换到频域，然后在频域采用加权函数来平滑频谱，从而降低主瓣能量的泄露，达到降低旁瓣的效果。双重变轨旁瓣抑制法(徐光耀,樊霞良.基于变迹滤波的SAR图像旁瓣抑制技术[J].指挥控制与仿真)是一种非线性的加权方法，主要思想是在成像过程中分别利用矩形窗和其它加权窗得到两幅不同加权处理后的图像，然后取两幅图像中较小的幅值作为该采样点的最终的输出幅值。空间变迹旁瓣抑制法(宦若虹,陶一凡,陈月,et al.基于小波变换空间变迹的SAR图像旁瓣抑制方法)是一种基于余弦类频域加权的非线性加权方法，采用若干加权函数对奈奎斯特采样的图像加权处理，逐点选取最小值作为输出，可以在不损失图像分辨率的同时有效的抑制旁瓣。

以上几种方法都是传统信号处理的方式对旁辦进行的抑制，虽然应用比较广泛，但还是存在以下几个缺点：

1)频域加权法是对信号频谱进行加窗操作，在抑制旁瓣的同时，展宽了信号的主瓣，将导致分辨率下降。

2)双重变轨旁瓣抑制法采用其他加权窗处理后的图像的主瓣采样点的幅值小于矩形窗处理后的图像第一旁瓣幅值，虽然一定程度上抑制了旁瓣，但也会导致第一峰值旁瓣提前出现，且对远处的旁瓣抑制能力有限。

3)空间变迹旁瓣抑制法可以在不损失图像分辨率的同时抑制旁瓣电平，但是对于SAR图像的杂散目标，该方法可能会导致主辦能量的损失。

4)现有三种主要处理方式都是尽可能的去抑制旁瓣，并不能完全的消除旁瓣。

发明内容

本发明所解决的技术问题在于提供一种基于生成对抗神经网络的SAR图像去旁瓣方法。

实现本发明目的的技术解决方案为：一种基于生成对抗神经网络的SAR去旁瓣方法，包括以下步骤：

第一步：基于生成对抗网络的pix2pix模型构建去旁瓣网络，以有旁瓣的点目标图作为网络的输入，以对应的无旁瓣的点目标图作为网络的标签，以基于生成对抗网络生成的无旁瓣结果图作为网络的输出；

第二步：给随机点目标赋上不同的强度值得到无旁瓣的点目标图，将无旁瓣的点目标图像卷积二维冲击响应函数生成对应的有旁瓣的点目标图像，构建仿真数据训练集；

第三步：利用第二步的仿真数据对第一步搭建的去旁瓣网络模型进行训练；

第四步：利用第三步训练好的去旁瓣网络模型对SAR图像进行去旁瓣处理。

本发明与现有技术相比，其显著优点为：1)借助第一步构建的网络模型去学习第二步仿真的数据集有旁瓣到完全无旁瓣的处理过程，在实际SAR图像的测试中，能够消除旁瓣；2)构建的网络能够借助卷积-反卷积操作中滤波器的特性，对SAR图像的噪声、散焦有一定的抑制效果。

附图说明

图1是本发明基于生成对抗神经网络的SAR去旁瓣方法的流程图。

图2是本发明深度学习去旁瓣网络模型的原理图。

图3是本发明仿真的无旁瓣点目标图像和有旁瓣点目标图像的示例图，其中(a)为无旁瓣点目标图像，(b)为有旁瓣点目标图像。

图4是本发明去旁瓣网络模型对第一组实际卫星数据的处理结果图，其中(a)为成像结果(b)为去旁瓣网络输出。

图5是本发明去旁瓣网络模型对第二组实际卫星数据的处理结果图，其中(a)为成像结果(b)为去旁瓣网络输出。

图6是本发明去旁瓣网络模型对第三组实际卫星数据的处理结果图，其中(a)为成像结果(b)为去旁瓣网络输出。

具体实施方式

下面结合附图和具体实施例，对本发明方案作进一步描述。

如图1所示，基于深度学习对抗神经网络的SAR图像去旁瓣方法，包括以下步骤：

第一步：构建去旁瓣网络模型；

基于生成对抗网络的pix2pix模型构建去旁瓣网络模型，以有旁瓣的点目标图作为网络的输入，对应的无旁瓣的点目标图作为网络的标签，以基于生成对抗网络生成的无旁瓣的结果图作为网络的输出。

去旁瓣网络模型采用深度学习生成对抗基本网络架构，利用uNET网络和跨层连接的方式搭建卷积-反卷积网络层，对输入的有旁瓣点目标图像先进行卷积操作，提取主要特征并缩减模型的尺寸，之后再进行反卷积操作，恢复出与原来同尺寸的图像，在卷积-反卷积的操作过程中，利用卷积核的滤波特性去除掉图像中的噪声和旁瓣，学习出有旁瓣和无旁瓣点目标之间的差异，并生成无旁瓣的点目标图像。然后利用生成图与标签图，以及输入图和标签图提取特征进行真假的判定，在多次迭代训练后，生成图能够保持与仿真的无旁瓣点目标完全一致。

在构建网络模型时，一个重要任务就是构建网络的损失函数，该去旁瓣网络的损失有两部分构成，一部分是对抗损失，另一部分是像素损失。对抗损失的公式如下：

其中，x是输入图像，z是真实目标图像，G(x)是生成器网络生成的图像，D(.)表示鉴别器判断成真实图片的概率，D(G(x))表示鉴别器网络判定生成器产生的图像为真实图片的概率，生成器网络的目标是希望这个概率尽可能的大，也就是使1-D(G(x))尽可能小，使V(D，G)尽可能小。D(z)是鉴别真实目标图像的概率，鉴别器的目标是使这个值尽可能大，也就是使V(D，G)尽可能大。在训练的过程中，生成器和鉴别器都以优化各自损失函数的形式相互对抗从而提升各自的能力，生成器去最小化这个目标函数，而鉴别器去最大化这个函数，两者相互对抗。

像素损失V_L是通过计算生成图和目标图之间的L1距离来得到的，这是为了保证输入图像和输出图像之间的相似度。

V_L＝E[|z-G(x)|]

因此，网络的总损失可以表述为公下式，其中α是一个系数。

第二步：构建仿真数据训练集；

实际SAR图像中不存在无旁瓣的雷达数据，因此为了让网络学习到有旁瓣到完全无旁瓣的过程，深度学习生成对抗模型的训练数据和标签数据都必须以仿真的手段来生成。给随机点目标赋上不同强度值得到无旁瓣的点目标图，然后将无旁瓣点目标图像卷积一个二维冲击响应函数生成对应的有旁瓣的点目标图像，并将其作为模型网络的输入。

训练数据和标签数据都可以用MATLAB仿真的手段来生成。假设仿真图像的尺寸设置为M*N像素，构建无旁瓣点图的时候较为简单，在MATLAB里对M*N像素区域中设置随机点，每一个随机点目标设置一个灰度强度值，该像素区域的背景设置为黑色，并对背景区域强度设置为零值，即无旁瓣点图生成时，点在二维图像中的位置服从随机均匀分布，每个随机点的强度服从0-255之间均匀分布。有旁瓣点图是根据无旁瓣点图在距离向和方位向分别卷积一个冲击响应得到的sinc波形。

第三步：训练去旁瓣网络模型；

利用第二步的仿真数据对第一步搭建的去旁瓣网络模型进行训练。训练时，生成器网络和鉴别网络交替进行训练，每一个数据包批次对两个网络都进行一次梯度计算并进行参数更新。网络的输入和标签是仿真构建的有、无旁瓣点目标图像数据对，由于图像中的白点在黑色背景下所占比例较小，因此需要增大系数α，尽可能的去增大像素损失在总损失中的比例，减小对抗损失的比例，来避免生成全黑的图像。

第四步：SAR图像去旁瓣；

利用训练好的去旁瓣网络模型对实际SAR图像进行去旁瓣。这里不需要用无旁瓣点图作为标签，实际SAR图像在充当模型输入的同时，也作为模型的标签。16位宽的SAR图像在测试时需要先转成8位宽的灰度图，并且尺寸需要转化为M*N像素。

实施例

为了验证本发明方案的有效性，进行如下仿真实验。以仿真的无旁瓣点目标图像和对应的卷积了SAR冲击响应后生成的SAR有二维旁瓣的点目标图像作为深度学习对抗神经网络的输入，利用网络内部卷积-反卷积操作去学习点目标去旁瓣的过程，然后利用仿真数据进行模型测试与评估，最后选择实际的SAR图像数据，包括TerraSAR-X数据和GF-3数据的SAR典型舰船目标作为验证对象，将仿真数据去旁瓣训练和评估后的网络模型结果应用到验证实际SAR图像数据的去旁瓣操作中，具体步骤如下：

第一步，基于生成对抗网络的pix2pix模型构建去旁瓣网络模型，以有旁瓣的点目标图作为网络的输入，对应的无旁瓣的点目标图作为网络的标签，输出基于生成对抗网络生成的无旁瓣的结果图。

第二步：设置仿真图像的尺寸为256*256像素，点目标数量在1-25、25-100和100-300个，利用MATLAB生成三组无旁瓣-有旁瓣图像数据。仿真时的基本参数设置如下：距离向采样率为350e6Hz、距离向带宽为300e6Hz、方位向有效处理带宽400Hz、多普勒中心频率为0Hz。控制目标点个数在设置的随机数值范围内，黑色背景为全面幅填充，白色点目标叠加在上面，对每组实验生成一万张无旁瓣点目标图像和一万张对应位置的有旁瓣点目标图像。仿真图示例如图3所示。

第三步，对仿真数据分组进行训练、测试以及引入指标进评估。在32G显存的P100GPU条件下进行训练时，设置初始学习率为0.0002，增大batchsize到50，调整网络参数和卷积核个数，选择自动梯度下降方式进行实验，梯度下降曲线在600轮时趋于稳定，模型效果较好。

在对深度学习去旁瓣网络输出的结果进行评价时，主要通过计算图像的熵值来量化处理结果，一般SAR图像聚焦、去旁瓣是一个熵减的过程。对仿真数据分组进行训练、测试以及引入指标进评估的主要目的是通过各项尝试获得一个效果较好的去旁瓣网络模型，并将该模型进行固化，用于后期对实际SAR卫星图的测试，与此同时，该网络模型结果也可以在不同的硬件(终端、GPU、服务器、工作机等)平台上进行部署和实验。

第一组含1-25个点目标，该随机点目标图中各个点都不重合，是完全孤立的点目标。通过对网络迭代训练，验证了卷积-反卷积网络不仅可以提取图像线面特征，还能够提取到孤立点目标的特征，基本能够学习到从有旁瓣点图到无旁瓣点图的处理过程，这验证了神经网络模型卷积-反卷积操作去旁瓣的可行性。

第二组含25-100个点目标，在SAR实际图像中，除了个别孤立点目标外，大部分都是相邻点目标，它们之间的旁瓣相连，在旁瓣较强时会给识别带来很大困难。为了研究这种相邻点目标的旁瓣，在仿真的时候，将点个数增加，然后进行实验，再观察相邻点的还原情况。另外，由于实验1的点数较少，白色点与黑色区域比例差别较大，也需要增加白色点的个数进行对比实验。该组实验验证了模型对于相邻点目标的处理能力，并且当点数增加后，网络的输出结果b与仿真的无旁瓣点图更加接近，图像的还原精度更高，对有旁瓣仿真图的去旁瓣效果更加优异。

第三组实验点目标个数是100-300之间的随机数值，验证了目标点数目增多时网络对旁瓣处理的效果和还原效果。仿真数据每组包含256*256像素大小的输入图像和标签图像各一万张。对仿真数据进行训练时，设置批次大小为50，训练轮数为600轮，像素损失和对抗损失的系数为120，32G显存GPU的训练总时长约48小时。通过对比实验验证了，当目标点数增多时，旁瓣处理的效果更好，密集点处图像的亮暗细节更好。

第四步，对实际SAR卫星图去旁瓣的验证与效果评估。选择训练了600轮次的点目标数量在100-300的深度学习生成对抗网络的模型训练结果进行去旁瓣的实验，与仿真实验不同的是，这里不需要用无旁瓣点图作为标签，实际SAR舰船图在充当模型输入的同时，也作为模型的标签。16位宽的SAR图在测试时需要先转成8位宽的灰度图，并且尺寸需要转化为256*256像素。对三组实际SAR卫星数据的测评结果如表1所示，处理结果示例如图4、图5和图6所示。

表1测试结果评价表

实验序号	能否去除旁瓣	成像图熵值	网络输出图熵值
				实验1	能	6.1364	1.8553
实验2	能	6.8224	1.6819
				实验3	能	6.1503	0.7947

从上述表格中统计的图像质量评价结果可以看出：

1)该深度学习去旁瓣网络能够实现SAR实际卫星图的去旁瓣效果，并且在去旁瓣的同时，能够实现去噪、散焦抑制等效果。

2)深度学习对抗神经网络的去旁瓣处理是一个熵减的过程，并且熵减的比例较大，网络对SAR成像结果图直接进行处理和对精细聚焦后的SAR图像处理时熵减的数值近似，说明深度学习网络在处理旁瓣的同时也能够实现一定的去散焦效果。

Claims (5)

1.一种基于生成对抗神经网络的SAR去旁瓣方法，其特征在于，包括以下步骤：

第一步：基于生成对抗网络的pix2pix模型构建去旁瓣网络，以有旁瓣的点目标图作为网络的输入，以对应的无旁瓣的点目标图作为网络的标签，以基于生成对抗网络生成的无旁瓣的结果图作为网络的输出；

第二步：给随机点目标赋上不同的强度值得到无旁瓣的点目标图，将无旁瓣的点目标图像卷积二维冲击响应函数生成对应的有旁瓣的点目标图像，构建仿真数据训练集；

第三步：利用第二步的仿真数据对第一步搭建的去旁瓣网络模型进行训练；

第四步：利用第三步训练好的去旁瓣网络模型对SAR图像进行去旁瓣。

2.根据权利要求1所述的基于生成对抗神经网络的SAR去旁瓣方法，其特征在于，第一步中，去旁瓣网络模型的损失函数由对抗损失和像素损失两部分构成，其中对抗损失

的公式如下：

其中，x是输入图像，z是真实目标图像，G(x)是生成器网络生成的图像，D(.)表示鉴别器判断成真实图片的概率，D(G(x))表示鉴别器网络判定生成器产生的图像为真实图片的概率，生成器网络的目标是希望这个概率尽可能的大，也就是使1-D(G(x))尽可能小，使V(D，G)尽可能小；D(z)是鉴别真实目标图像的概率，鉴别器的目标是使这个值尽可能大，也就是使V(D，G)尽可能大；在训练的过程中，生成器和鉴别器都以优化各自损失函数的形式相互对抗从而提升各自的能力，生成器去最小化这个目标函数，而鉴别器去最大化这个函数，两者相互对抗；

像素损失V_L是通过计算生成图和目标图之间的L1距离来得到的，这是为了保证输入图像和输出图像之间的相似度，公式如下：

V_L＝E[|z-G(x)|]

因此，网络的总损失loss表述为下式：

其中，α是一个系数。

3.根据权利要求1所述的基于生成对抗神经网络的SAR去旁瓣方法，其特征在于，第二步中，设仿真图像的尺寸设置为M*N像素，构建无旁瓣点图时，对M*N像素区域中设置随机点，每一个随机点目标设置一个灰度强度值，该像素区域的背景设置为黑色，并对背景区域强度设置为零值。

4.根据权利要求2所述的基于生成对抗神经网络的SAR去旁瓣方法，其特征在于，第二步中，构建有旁瓣点图时，将无旁瓣点图在距离向和方位向卷积一个冲击响应，得到的sinc波形即为有旁瓣点图。

5.根据权利要求1所述的基于生成对抗神经网络的SAR去旁瓣方法，其特征在于，第四步中，先对SAR图像进行灰度化和尺寸归一化处理，再将处理后图像输入训练好的去旁瓣网络模型进行测试。

Images