CN112766381B - 有限样本下属性引导的sar图像生成方法 - Google Patents

有限样本下属性引导的sar图像生成方法 Download PDF

Info

Publication number
CN112766381B
CN112766381B CN202110085648.3A CN202110085648A CN112766381B CN 112766381 B CN112766381 B CN 112766381B CN 202110085648 A CN202110085648 A CN 202110085648A CN 112766381 B CN112766381 B CN 112766381B
Authority
CN
China
Prior art keywords
layer
sar
network
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110085648.3A
Other languages
English (en)
Other versions
CN112766381A (zh
Inventor
王英华
黄媛媛
刘宏伟
孙媛爽
王思源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110085648.3A priority Critical patent/CN112766381B/zh
Publication of CN112766381A publication Critical patent/CN112766381A/zh
Application granted granted Critical
Publication of CN112766381B publication Critical patent/CN112766381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种有限样本下属性引导的SAR图像生成方法。主要解决训练样本有限的情况下，现有的SAR图像生成对抗网络容易产生网络崩塌或者生成的仿真图像的真实感较差的问题。本发明的步骤如下：(1)构建训练集；(2)构建生成器网络；(3)构建判别器网络；(4)构建属性引导的生成对抗网络；(5)训练属性引导的生成对抗网络；(6)使用训练好的属性引导的生成对抗网络生成SAR仿真图像。本发明可在训练样本数量有限情况下训练属性引导的生成对抗网络，再利用训练好的属性引导的生成对抗网络，生成指定类别和方位角度的SAR图像，且生成的SAR图像的真实性更高。

Description

有限样本下属性引导的SAR图像生成方法
技术领域
本发明属于雷达技术领域，更进一步涉及雷达遥感图像处理技术领域中的一种有限样本下属性引导的SAR图像生成方法。本发明可在训练集中目标域数据集中每类的样本数量有限时，生成指定类别和方位角度的SAR图像。
背景技术
基于深度神经网络的目标特征提取和识别非常依赖目标数据集中的样本数量，但是获取大量具有标注信息的SAR图像是一件非常费事且昂贵的任务。获取大量SAR图像的方法主要有三种技术手段，一种是传统的基于物理仿真模型的方法，如几何光学逼近、Kirchhoff物理光学方法等方法，这些方法计算过程复杂，消耗极大的内存空间；一种是通过对数据进行平移、剪切、旋转、缩放、添加噪声等方式，增加数据样本的数量；另一种是基于生成对抗网络的图像生成算法，这种方法可以生成逼真且多样的样本图像，具有端到端的优势，但是尚存在以下不足：训练过程中需要大量的训练数据，且容易产生生成图像质量较差的问题。
电子科技大学在其拥有的专利技术“一种基于深度卷积生成对抗网络的SAR图像定向生成方法”(专利申请号2018101674160，授权公告号CN108399625B)中提出了一种基于生成对抗网络的SAR图像生成方法。该方法在深度卷积生成对抗网络方法基础上，提出了一种深度卷积生成对抗网络添加方位角判别模型的方法。该方法的具体步骤是，基于SAR目标分割与边缘提取，通过边缘外接最小外接矩形法，通过计算垂直方向的北端起与最小外接矩形的最长边顺时针的夹角，作为此生成SAR图像目标的方位角。该方法定向生成SAR图像，对于SAR图像数据集的数据扩充起到很大作用。该方法存在的不足之处是：在大量训练样本的基础上，训练生成对抗网络，以此来提高利用训练好的模型生成图像的质量。但是，当训练样本有限的情况下，容易产生网络崩塌或者生成的仿真图像质量较差等问题。
西安电子科技大学在其拥有的专利技术“一种高分辨SAR图像的快速仿真方法”(申请号201610330190.2，授权公告号CN105842698B)中提出了一种高分辨SAR图像的快速仿真方法。该方法的具体步骤包括：建立目标场景的三维模型；确定目标场景的成像几何以及所需的采样射线的起点以及方向矢量；对目标场景建立基于bin的SAH-BVH面元划分结构；利用上述的BVH结构进行快速的射线追踪并获取交点信息；确定获取的后向散射能量图；合成最终的SAR图像。该方法能够高效快速的仿真所需目标场景的SAR图像，用于SAR图像的解译以及目标的自动识别。但是该方法仍然存在的不足之处是：首先要建立关于目标的三维模型，但在复杂的外部环境中，需考虑的因素繁多、建模过程较为复杂，导致仿真结果真实感较差，无法准确地获得所需目标场景的SAR图像样本。
发明内容
本发明的目的在于针对上述现有技术的不足，提出了一种有限样本下属性引导的SAR图像生成方法，旨在解决在训练集中目标域数据集中每类的样本数量有限情况下，训练生成对抗网络时带来的网络崩塌或者生成图像质量较差的问题。
本发明实现上述目的的思路是：构建一个属性引导的生成对抗网络，生成器网络输入部分不仅包括随机向量，而且加入了图像的类别标签和方位角度信息，使得属性引导的生成对抗网络可以在图像重建过程中加入指定的类别标签和方位角度，生成指定类别标签和方位角度的仿真图像。通过采用少样本学习方法中情景训练的方式，即随机从训练集的全部类别中随机选取的n个类别，每个类别选取m幅SAR图像组成了支撑集，利用支撑集训练属性引导的生成对抗网络，使得本发明可以适用于每类的训练样本数量较少的SAR图像。
本发明的具体步骤包括如下：
(1)构建训练集：
(1a)提取包含M个类别的带有目标方位角度信息的SAR图像组成目标域数据集，每个类别的SAR图像数量均为K；提取包含N个类别的带有目标方位角度信息的SAR图像组成源域数据集，将目标域数据集和源域数据集组成SAR数据集，其中，源域数据集每个类别的SAR图像数量均大于等于200；N≥3，1≤M≤3，K≤30；
(1b)对SAR数据集中每个类别目标的SAR图像设置类别标签；
(1c)将SAR数据集中每幅SAR图像的大小裁剪为64×64，对裁剪后的每幅SAR图像进行L2归一化处理，得到归一化后的SAR数据集；
(1d)将归一化后的SAR数据集中每幅SAR图像的像素值范围转化成0到255之间后得到训练集；
(2)构建生成器网络：
(2a)搭建一个21层的生成器网络，其结构依次为：第1叠加层，全连接层，第1激活函数层，reshape层，第2叠加层，第1反卷积层，归一化层，第2激活函数层，第3叠加层，第2反卷积层，归一化层，第3激活函数层，第4叠加层，第3反卷积层，归一化层，第4激活函数层，第5叠加层，第4反卷积层，归一化层，第5激活函数层，输出层；
所述归一化层采用Batch Normalization函数实现；所述第1至第4激活函数层均采用ReLU函数实现，第5激活函数层采用Tanh函数实现；
(2b)设置生成器网络的每层参数：将第1至第4反卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为128、64、32、16，卷积步长均设置为2；
将全连接层的神经元个数设置为2048；
(3)构建判别器网络：
(3a)搭建一个16层的判别器网络，其结构依次为：第1叠加层，第1卷积层，激活函数层，第2叠加层，第2卷积层，归一化层，激活函数层，第3叠加层，第3卷积层，归一化层，激活函数层，第4叠加层，第4卷积层，归一化层，激活函数层，并联的三个全连接层；所述激活函数层均采用Leaky ReLU函数实现；
(3b)设置判别器网络的每层参数：将第1至第4卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为16、32、64、128，卷积步长均设置为2；将每个激活函数层的Leaky ReLU函数的斜率均设置为0.2；将三个并联的全连接层的神经元个数分别设置为1、1、C，其中C的取值与目标类别总数(M+N)相等；
(4)将生成器网络和判别器网络级联成属性引导的生成对抗网络；
(5)训练属性引导的生成对抗网络：
(5a)从训练集的全部类别中随机选取的n个类别，n≤3，每个类别选取m幅SAR图像组成训练集的支撑集，20≤m≤23；
(5b)将支撑集中所有的SAR图像、支撑集中每张SAR图像对应的类别标签、支撑集中每张SAR图像对应的方位角度信息同时输入到判别器网络中，判别器网络对输入的每张SAR图像评估后输出预测为真实图像的概率值、类别预测概率值和方位角度预测值，并利用判别器网络的损失函数计算判别器网络的损失值；
(5c)使用梯度下降法，计算每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.00005的Adam优化器更新判别器网络每个卷积层的每个卷积核的权重、全连接层的权重；
(5d)生成B个满足正态分布的1×100维的随机向量，B＝n×m；
(5e)将随机向量、支撑集中所有SAR图像对应的类别标签、支撑集中所有SAR图像对应的方位角度信息分别输入到生成器网络中，输出F幅SAR生成图像，F＝n×m；
(5f)将F幅SAR生成图像、支撑集中每个SAR图像对应的类别标签、支撑集中每个SAR图像对应的方位角度信息分别输入到判别器网络中，判别器网络对输入的SAR生成图像评估后分别输出预测为真实图像的概率值、类别预测概率值和方位角度预测值，并利用生成器网络的损失函数计算生成器网络的损失值；
(5g)利用生成器网络的损失值和梯度下降法，计算生成器网络每个反卷积层的每个卷积核的梯度，使用学习率为0.00005的Adam优化器更新生成器网络每个反卷积层的每个卷积核的权重；
(5h)判断判别器网络的损失函数和生成器网络的损失函数是否均收敛，若是，则得到训练好的属性引导的生成对抗网络，否则，执行步骤(5a)；
(6)生成SAR图像：
生成H个满足正态分布的1×100维的随机向量，将随机向量、P个类别标签、Q个方位角度信息输入到训练好的属性引导的生成对抗网络，输出与类别标签和方位角度信息对应的SAR生成图像，其中，H、P、Q的取值与待生成的SAR图像的数量相等。
本发明与现有技术相比，具有如下优点：
第一，由于本发明构建了属性引导的生成对抗网络，在训练该网络的过程中，生成器网络不仅利用了随机向量，而且使用了图像的类别标签和方位角度信息，所以可使用多个类别的图像样本作为训练集，训练属性引导的生成对抗网络更容易收敛，克服了现有技术当训练样本数据较少的情况下，训练生成对抗网络时带来的网络崩塌问题，使得本发明在训练生成对抗网络时更容易收敛，提高了生成SAR图像的多样性。
第二，由于本发明的目标域数据集中的每类SAR图像的数量有限，每个类别的SAR图像数量均为K，K≤30，使用情景训练的方式，随机从训练集的全部类别中随机选取的n个类别，每个类别选取m幅SAR图像组成了支撑集，n≤3，20≤m≤23，再利用支撑集训练属性引导的生成对抗网络，利用训练好的属性引导的生成对抗网络模型可以得到真实性更高的生成图像，克服了现有技术当目标域数据集中每类SAR图像数量不足时，训练生成对抗网络，利用训练好的模型得到的生成图像的真实感较差的问题，使得本发明提高了生成SAR图像的真实感。
附图说明
图1为本发明的流程图；
图2为本发明的仿真图。
具体实施方式
下面结合附图，对本发明进一步的详细描述。
参照图1，对本发明的实现步骤作进一步的详细描述。
步骤1，构建训练集。
提取包含M个类别的带有目标方位角度信息的SAR图像组成目标域数据集，每个类别的SAR图像数量均为K；提取包含N个类别的带有目标方位角度信息的SAR图像组成源域数据集，将目标域数据集和源域数据集组成SAR数据集，其中，源域数据集每个类别的SAR图像数量均大于等于200；N≥3，1≤M≤3，K≤30。
对SAR数据集中每个类别目标的SAR图像设置类别标签。
将SAR数据集中每幅SAR图像的大小裁剪为64×64，对裁剪后的每幅SAR图像进行L2归一化处理，得到归一化后的SAR数据集。
将归一化后的SAR数据集中每幅SAR图像的像素值范围转化成0到255之间后得到训练集。
步骤2，构建生成器网络。
构建一个生成器网络并设置该网络的每层参数，将其作为属性引导的生成对抗网络的生成器网络。
搭建一个21层的生成器网络，其结构依次为：第1叠加层，全连接层，第1激活函数层，reshape层，第2叠加层，第1反卷积层，归一化层，第2激活函数层，第3叠加层，第2反卷积层，归一化层，第3激活函数层，第4叠加层，第3反卷积层，归一化层，第4激活函数层，第5叠加层，第4反卷积层，归一化层，第5激活函数层，输出层。
所述的第1叠加层，是将输入生成器网络的随机向量、图像的类别标签和图像的方位角度信息叠加到一起；第2至第5叠加层都是将上层网络的输出与图像的类别标签和图像的方位角度信息叠加到一起。
所述归一化层采用Batch Normalization函数实现；所述第1至第4激活函数层均采用ReLU函数实现，第5激活函数层采用Tanh函数实现。
生成器网络的每层参数设置如下。
将第1至第4反卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为128、64、32、16，卷积步长均设置为2。
将全连接层的神经元个数设置为2048。
步骤3，构建判别器网络。
构建一个判别器网络并设置该网络的每层参数，将其作为属性引导的生成对抗网络的判别器网络。
构建一个16层的判别器网络，其结构依次为：第1叠加层，第1卷积层，激活函数层，第2叠加层，第2卷积层，归一化层，激活函数层，第3叠加层，第3卷积层，归一化层，激活函数层，第4叠加层，第4卷积层，归一化层，激活函数层，并联的三个全连接层。
所述的第1叠加层，是将输入判别器网络的图像、图像的类别标签和图像的方位角度信息叠加到一起；第2至第5叠加层都是将上层网络的输出与输入判别器网络的图像的类别标签和图像的方位角度信息叠加到一起。
所述激活函数层均采用Leaky ReLU函数实现。
判别器网络的参数设置如下。
将第1至第4卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为16、32、64、128，卷积步长均设置为2。
将每个激活函数层的Leaky ReLU函数的斜率均设置为0.2。
将三个并联的全连接层的神经元个数分别设置为1、1、C，其中C的取值与目标类别总数(M+N)相等。
步骤4，构建属性引导的生成对抗网络。
将生成器网络和判别器网络级联成属性引导的生成对抗网络。
步骤5，训练属性引导的生成对抗网络。
训练属性引导的生成对抗网络的具体步骤如下。
第1步，从训练集的全部类别中随机选取的n个类别，n≤3，每个类别选取m幅SAR图像组成训练集的支撑集，20≤m≤23。
第2步，将支撑集中所有的SAR图像、支撑集中每个SAR目标图像对应的类别标签、支撑集中每个SAR目标图像对应的方位角度信息输入到判别器网络中，判别器网络对输入的SAR图像评估后输出预测为真实图像的概率值、类别预测概率值和方位角度预测值，并利用判别器网络的损失函数计算判别器网络的损失值。所述的判别器网络的损失函数计算公式为：
Figure BDA0002910646440000071
其中，LD表示判别器网络的损失函数，
Figure BDA0002910646440000072
表示真实SAR图像经判别器网络输出的真实类别的类别预测概率值，A1表示真实SAR图像经判别器网络输出的方位角度预测值，x表示从训练集随机选取的支撑集中的真实SAR图像，E[·]表示求期望值操作，G(·)表示生成器网络输出的SAR生成图像，z表示满足正态分布的随机向量，L表示支撑集中真实SAR图像对应的类别标签值，A表示支撑集中真实SAR图像对应的方位角度值，D(·)表示属性引导的生成对抗网络中的判别器网络对输入图像预测为真实图像的概率值，||·||2表示L2范数操作，log表示以e为底的对数处理。
第3步，使用梯度下降法，计算每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.00005的Adam优化器更新判别器网络每个卷积层的每个卷积核的权重、全连接层的权重。
第4步，生成B个满足正态分布的1×100维的随机向量，B＝n×m。
第5步，将随机向量、支撑集中所有SAR图像对应的类别标签、支撑集中所有SAR图像对应的方位角度信息分别输入到生成器网络中，输出F幅SAR生成图像，F＝n×m。
第6步，将F幅SAR生成图像、支撑集中每个SAR图像对应的类别标签、支撑集中每个SAR图像对应的方位角度信息分别输入到判别器网络中，判别器网络对输入的SAR生成图像评估后分别输出预测为真实图像的概率值、类别预测概率值和方位角度预测值，并利用生成器网络的损失函数计算生成器网络的损失值。
所述的生成器网络的损失函数计算公式为：
Figure BDA0002910646440000081
其中，LG表示生成器网络的损失函数，G(·)表示生成器网络输出的SAR生成图像，z表示满足正态分布的随机向量，L表示支撑集中真实SAR图像对应的类别标签值，A表示支撑集中真实SAR图像对应的方位角度值，
Figure BDA0002910646440000082
表示SAR生成图像经判别器网络输出的真实类别的预测概率值，A2表示SAR生成图像经判别器网络输出的方位角度预测值，D(·)表示属性引导的生成对抗网络中的判别器网络对输入图像预测为真实图像的概率值，E[·]表示求期望值操作，||·||2表示L2范数操作，log表示以e为底的对数操作。
第7步，利用生成器网络的损失值和梯度下降法，计算生成器网络每个反卷积层的每个卷积核的梯度，使用学习率为0.00005的Adam优化器更新生成器网络每个反卷积层的每个卷积核的权重。
第8步，判断判别器网络的损失函数和生成器网络的损失函数是否均收敛，若是，则得到训练好的属性引导的生成对抗网络，否则，执行第一步。
步骤6，生成SAR图像。
生成H个满足正态分布的1×100维的随机向量，将随机向量、P个类别标签、Q个方位角度信息输入到训练好的属性引导的生成对抗网络，输出与类别标签和方位角度信息对应的SAR生成图像，其中，H、P、Q的取值与待生成的SAR图像的数量相等。
下面结合仿真实验对本发明的效果做进一步说明。
1.仿真条件：
本发明的仿真实验是在基于单块NVIDIAGTX 1060型号的GPU、运行内存128GB的PC机的硬件环境和tensorflow1.4.0的软件环境下进行的。
2.仿真内容与结果分析：
本发明的仿真实验数据采用的是美国国防高等研究计划署支持的MSTAR计划所公布的公开的运动与静止目标MSTAR数据集，分辨率为0.3m×0.3m，包含俯仰角为15度和17度的SAR图像，图像的像素大小为128×128。本发明的仿真实验使用的MSTAR数据集中俯仰角度17°和俯仰角度15°下的十类图像。对所选的俯仰角度17°下十类图像中随机选取以下图像：从BMP2，BTR70、T72三个类别中随机选取每个类别K张的SAR图像组成目标域数据集，K≤30，7类目标BTR60、2S1、BRDM2、D7、T62、ZIL131、ZSU23/4中的全部图像组成源域数据集，目标域数据集和源域数据集组成训练集。
在本发明的仿真实验中，采用本发明方法和一个常规生成方法，分别生成BMP2，BTR70、T72三个类别的SAR图像，图2是本发明的生成图像，类别为T72，方位角度分别为0°、45°、90°、180°、240°、270°、310°、360°，其中，每一行表示在同一个方位角度下生成的SAR图像，
常规生成方法与本发明不同在于，常规生成方法将目标域数据集作为训练集，直接从训练集中随机选取n×m张SAR图像对生成对抗网络进行训练，再利用训练好的生成对抗网络生成仿真图像。
使用本发明获得的BMP2，BTR70、T72三个类别的SAR生成图像和常规生成方法获得的BMP2，BTR70、T72三个类别的SAR生成图像的两组数据，分别训练传统的CNN分类网络，得到训练好的CNN分类网络。再利用训练好的CNN分类网络分别对BMP2，BTR70、T72三个类别的俯仰角度为17度和俯仰角度为15度的全部真实图像进行测试，得到测试结果。
Figure BDA0002910646440000091
利用上述公式，分别计算BMP2，BTR70、T72三个类别的俯仰角度为17度和俯仰角度为15度的全部真实图像的分类准确率，其中，图像总数表示BMP2，BTR70、T72三个类别的俯仰角度为17度或俯仰角度为15度的全部真实图像的总数量，将计算结果统计成表1：
表1本发明方法与常规方法性能对比结果表
Figure BDA0002910646440000101
例如，表中挑选数量K为5指的是，从俯仰角度为17度的BMP2，BTR70、T72三个类别中每个类别随机挑选5张图像组成目标域数据集，目标域数据集和源域数据集中的7类目标BTR60、2S1、BRDM2、D7、T62、ZIL131、ZSU23/4中的全部图像组成训练集，然后再分别使用本发明和常规方法生成BMP2，BTR70、T72三个类别的SAR图像。
从表1中可见，在样本数量有限情况下，本发明获得的生成图像训练传统的CNN分类网络，再利用训练好的CNN分类模型对真实图像进行测试，得到测试结果，再利用分类准确率计算公式计算得到BMP2，BTR70、T72三个类别的分类准确率更高，从而证明，本发明生成的SAR图像的真实性更高。

Claims (3)

1.一种有限样本下属性引导的SAR图像生成方法，其特征在于，构建一个由属性引导的生成对抗网络，在训练集中目标域数据集的样本数量有限的情况下训练属性引导的生成对抗网络，该方法的具体步骤如下：
(1)构建训练集：
(1a)提取包含M个类别的带有目标方位角度信息的SAR图像组成目标域数据集，每个类别的SAR图像数量均为K；提取包含N个类别的带有目标方位角度信息的SAR图像组成源域数据集，将目标域数据集和源域数据集组成SAR数据集，其中，源域数据集每个类别的SAR图像数量均大于等于200；N≥3，1≤M≤3，K≤30；
(1b)对SAR数据集中每个类别目标的SAR图像设置类别标签；
(1c)将SAR数据集中每幅SAR图像的大小裁剪为64×64，对裁剪后的每幅SAR图像进行L2归一化处理，得到归一化后的SAR数据集；
(1d)将归一化后的SAR数据集中每幅SAR图像的像素值范围转化成0到255之间后得到训练集；
(2)构建生成器网络：
(2a)搭建一个21层的生成器网络，其结构依次为：第1叠加层，全连接层，第1激活函数层，reshape层，第2叠加层，第1反卷积层，归一化层，第2激活函数层，第3叠加层，第2反卷积层，归一化层，第3激活函数层，第4叠加层，第3反卷积层，归一化层，第4激活函数层，第5叠加层，第4反卷积层，归一化层，第5激活函数层，输出层；
所述归一化层采用Batch Normalization函数实现；所述第1至第4激活函数层均采用ReLU函数实现，第5激活函数层采用Tanh函数实现；
(2b)设置生成器网络的每层参数：将第1至第4反卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为128、64、32、16，卷积步长均设置为2；
将全连接层的神经元个数设置为2048；
(3)构建判别器网络：
(3a)搭建一个16层的判别器网络，其结构依次为：第1叠加层，第1卷积层，激活函数层，第2叠加层，第2卷积层，归一化层，激活函数层，第3叠加层，第3卷积层，归一化层，激活函数层，第4叠加层，第4卷积层，归一化层，激活函数层，并联的三个全连接层；所述激活函数层均采用Leaky ReLU函数实现；
(3b)设置判别器网络的每层参数：将第1至第4卷积层的卷积核大小均设置为5×5，卷积核的个数分别设置为16、32、64、128，卷积步长均设置为2；将每个激活函数层的LeakyReLU函数的斜率均设置为0.2；将三个并联的全连接层的神经元个数分别设置为1、1、C，其中C的取值与目标类别总数(M+N)相等；
(4)将生成器网络和判别器网络级联成属性引导的生成对抗网络；
(5)训练属性引导的生成对抗网络：
(5a)从训练集的全部类别中随机选取的n个类别，n≤3，每个类别选取m幅SAR图像组成训练集的支撑集，20≤m≤23；
(5b)将支撑集中所有的SAR图像、支撑集中每张SAR图像对应的类别标签、支撑集中每张SAR图像对应的方位角度信息同时输入到判别器网络中，判别器网络对输入的每张SAR图像评估后输出预测为真实图像的概率值、类别预测概率值和方位角度预测值，并利用判别器网络的损失函数计算判别器网络的损失值；
(5c)使用梯度下降法，计算每个卷积层的每个卷积核的梯度、全连接层的梯度，使用学习率为0.00005的Adam优化器更新判别器网络每个卷积层的每个卷积核的权重、全连接层的权重；
(5d)生成B个满足正态分布的1×100维的随机向量，B＝n×m；
(5e)将随机向量、支撑集中所有SAR图像对应的类别标签、支撑集中所有SAR图像对应的方位角度信息分别输入到生成器网络中，输出F幅SAR生成图像，F＝n×m；
(5f)将F幅SAR生成图像、支撑集中每个SAR图像对应的类别标签、支撑集中每个SAR图像对应的方位角度信息分别输入到判别器网络中，判别器网络对输入的SAR生成图像评估后分别输出预测为真实图像的概率值、类别预测概率值和方位角度预测值，并利用生成器网络的损失函数计算生成器网络的损失值；
(5g)利用生成器网络的损失值和梯度下降法，计算生成器网络每个反卷积层的每个卷积核的梯度，使用学习率为0.00005的Adam优化器更新生成器网络每个反卷积层的每个卷积核的权重；
(5h)判断判别器网络的损失函数和生成器网络的损失函数是否均收敛，若是，则得到训练好的属性引导的生成对抗网络，否则，执行步骤(5a)；
(6)生成SAR图像：
生成H个满足正态分布的1×100维的随机向量，将随机向量、P个类别标签、Q个方位角度信息输入到训练好的属性引导的生成对抗网络，输出与类别标签和方位角度信息对应的SAR生成图像，其中，H、P、Q的取值与待生成的SAR图像的数量相等。
2.根据权利要求1所述的有限样本下属性引导的SAR图像生成方法，其特征在于，步骤(5b)、步骤(5h)中所述判别器网络的损失函数如下：
Figure FDA0002910646430000031
其中，LD表示判别器网络的损失函数，z表示满足正态分布的随机向量，x表示从训练集随机选取的支撑集中的真实SAR图像，L表示真实SAR图像对应的类别标签值，A表示真实SAR图像对应的方位角度值，G(·)表示生成器网络输出的SAR生成图像，
Figure FDA0002910646430000032
表示真实SAR图像经判别器网络输出的真实类别L的类别预测概率值，A1表示真实SAR图像经判别器网络输出的方位角度预测值，D(·)表示属性引导的生成对抗网络中的判别器网络对输入图像预测为真实图像的概率值，E[·]表示求期望值操作，||·||2表示L2范数操作，log表示以e为底的对数操作。
3.根据权利要求2所述的有限样本下属性引导的SAR图像生成方法，其特征在于，步骤(5f)、步骤(5h)中所述生成器网络的损失函数如下：
Figure FDA0002910646430000041
其中，LG表示生成器网络的损失函数，
Figure FDA0002910646430000042
表示SAR生成图像经判别器网络输出的真实类别L的预测概率值，A2表示SAR生成图像经判别器网络输出的方位角度预测值。
CN202110085648.3A 2021-01-22 2021-01-22 有限样本下属性引导的sar图像生成方法 Active CN112766381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110085648.3A CN112766381B (zh) 2021-01-22 2021-01-22 有限样本下属性引导的sar图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110085648.3A CN112766381B (zh) 2021-01-22 2021-01-22 有限样本下属性引导的sar图像生成方法

Publications (2)

Publication Number Publication Date
CN112766381A CN112766381A (zh) 2021-05-07
CN112766381B true CN112766381B (zh) 2023-01-24

Family

ID=75702644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110085648.3A Active CN112766381B (zh) 2021-01-22 2021-01-22 有限样本下属性引导的sar图像生成方法

Country Status (1)

Country Link
CN (1) CN112766381B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998749B (zh) * 2022-07-28 2023-04-07 北京卫星信息工程研究所 用于目标检测的sar数据扩增方法
CN116977535B (zh) * 2023-09-25 2024-01-12 北京渲光科技有限公司 一种实时光线追踪的方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008232626A (ja) * 2007-03-16 2008-10-02 Nec Corp ポラリメトリｓａｒ画像処理方法、ポラリメトリｓａｒ装置および画像処理装置
CN109190684A (zh) * 2018-08-15 2019-01-11 西安电子科技大学 基于素描及结构生成对抗网络的sar图像样本生成方法
CN109766835A (zh) * 2019-01-11 2019-05-17 西安电子科技大学 基于多参数优化生成对抗网络的sar目标识别方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110263845A (zh) * 2019-06-18 2019-09-20 西安电子科技大学 基于半监督对抗深度网络的sar图像变化检测方法
CN112132012A (zh) * 2020-09-22 2020-12-25 中国科学院空天信息创新研究院 基于生成对抗网络的高分辨率sar船舶图像生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008232626A (ja) * 2007-03-16 2008-10-02 Nec Corp ポラリメトリｓａｒ画像処理方法、ポラリメトリｓａｒ装置および画像処理装置
CN109190684A (zh) * 2018-08-15 2019-01-11 西安电子科技大学 基于素描及结构生成对抗网络的sar图像样本生成方法
CN109766835A (zh) * 2019-01-11 2019-05-17 西安电子科技大学 基于多参数优化生成对抗网络的sar目标识别方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110263845A (zh) * 2019-06-18 2019-09-20 西安电子科技大学 基于半监督对抗深度网络的sar图像变化检测方法
CN112132012A (zh) * 2020-09-22 2020-12-25 中国科学院空天信息创新研究院 基于生成对抗网络的高分辨率sar船舶图像生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Novel Automatic PolSAR Ship Detection Method Based on Superpixel-Level Local Information Measurement;Jinglu He et al;《IEEE Geoscience and Remote Sensing Letters》;20180125;384-388 *
SAR图像舰船目标特征提取与分类;孟跃;《中国优秀硕士学位论文全文数据库（电子期刊）》;20200515;第2020年卷(第05期);全文 *

Also Published As

Publication number Publication date
CN112766381A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN113160234B (zh) 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN111127493A (zh) 基于注意力多尺度特征融合的遥感图像语义分割方法
CN112766381B (zh) 有限样本下属性引导的sar图像生成方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN113361367B (zh) 基于深度学习的地下目标电磁反演方法及系统
CN112070729A (zh) 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
CN110390347A (zh) 针对深度神经网络的条件引导式对抗生成测试方法与系统
CN112163450A (zh) 基于s3d学习算法的高频地波雷达船只目标检测方法
CN110287354A (zh) 一种基于多模态神经网络的高分遥感图像语义理解方法
CN109583412A (zh) 一种利用卷积神经网络进行船舶检测的训练方法及其船舶检测方法
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
US20230306559A1 (en) Point cloud denoising method based on multi-level attention perception
CN111563408A (zh) 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN112084860A (zh) 目标对象检测、火力发电厂检测方法和装置
Mu et al. A climate downscaling deep learning model considering the multiscale spatial correlations and chaos of meteorological events
CN112818777B (zh) 一种基于密集连接与特征增强的遥感图像目标检测方法
CN116012709B (zh) 一种高分辨率遥感影像建筑物提取方法及系统
CN112329830A (zh) 一种基于卷积神经网络和迁移学习的无源定位轨迹数据识别方法及系统
CN116883594A (zh) 融合卫星与浮标观测的海洋三维温度遥感超分重建方法
CN116704324A (zh) 基于水下图像的目标检测方法、系统、设备以及存储介质
CN110866552A (zh) 基于全卷积空间传播网络的高光谱图像分类方法
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant