CN108399625B - 一种基于深度卷积生成对抗网络的sar图像定向生成方法 - Google Patents

Abstract

本发明涉及雷达遥感图像应用领域，具体为一种基于深度卷积生成对抗网络的SAR图像定向生成方法，用以扩充SAR图像数据集。本发明在深度卷积生成对抗网络方法基础上，提出了一种深度卷积生成对抗网络添加方位角判别模型的方法：基于SAR目标分割与边缘提取，通过边缘外接最小外接矩形法，通过计算垂直方向的北端起与最小外接矩形的最长边顺时针的夹角，作为此生成SAR图像目标的方位角。定向生成SAR图像，对于SAR图像数据集的数据扩充起到很大作用。

Description

一种基于深度卷积生成对抗网络的SAR图像定向生成方法

技术领域

本发明涉及雷达遥感应用领域，用SAR图像数据集的扩容：基于深度卷积生成对抗网络的SAR图像定向生成方法。

背景技术

在训练图像识别的深度神经网络时，使用大量更多的训练数据，可能会使网络得到更好的性能，例如提高网络的分类准确率，防止过拟合等。获取更多的训练样本其实是很好的想法。但是，这个方法的代价很大，在实践中常常是很难达到的。不过还有一种方法能够获得类似的效果，那就是人为扩展训练数据(Artificially expanding the trainingdata)。

对于图像数据我们可以通过旋转|反射变换(Rotation/reflection)，翻转变换(flip)，缩放变换(zoom)，平移变换(shift)，尺度变换(scale)，对比度变换(contrast)，噪声扰动(noise)等方式来扩展训练数据，人为扩展训练数据时对数据的操作最好能反映真实世界的变化。例如在2003年Patrice Simard等人所著的一篇论文中他们把MNIST手写数字数据集通过旋转，转换和扭曲进行扩展。通过在这个扩展后的数据集上的训练，他们把MNIST手写数字识别的准确率提升到了98.9％。针对SAR image target recognition inlack of pose images目标姿态图像缺失的情况，提出通过姿态图像合成的方式增加训练集的姿态覆盖程度，并将扩充后的图像也用于训练目标分类器。考虑到SAR目标本身变化的多样性，且SAR图像对目标的方位角、本身结构变化、遮挡隐蔽背景、成参数的变化等方面很敏感。以此为基础更能体现SAR目标检测、识别等算法的进步。

目前图像生成模型也有了成熟的研究，主要分为两大类：参数多态和非参数多态。非参数多态方法常用于数据库中已有的图像，此类图像生成模型有纹理合成、超分辨率、图像修复等。参数多态方法图像生成已经得到了广泛的探索，如生成对抗网络，但是生成的图像有噪声和难以理解的毛病。一种拉普拉斯金字塔扩展的方法展现了高质量的图像，但是它仍然有这种目标看起来摇摆不稳定的感觉，主要是因为链接多个模型时引进了噪声。一种递归网络方法以及另外一种反卷积网络方法，也在自然图像生成上也取得了一些成功。但是这些方法没有促使生成模型在监督学习上的使用。深度卷积生成对抗网络(DCGANs)是将卷积神经网络和对抗网络结合起来，在训练生成对抗网络上提出了一套更稳定的架构以及我们给出足够的证据表明在监督学习和生成模型上对抗网络可以为图像学习到很好的特征表示。

发明内容

针对上述存在问题或不足，为了克服传统扩充数据的局限性。本发明提供了一种基于深度卷积生成对抗网络的SAR图像定向生成方法。

本发明由以下步骤实现，其图像生成流程见附图1。

步骤1、准备SAR样本图像数据集，并将所有样本图像转化为三通道图像；

此过程中，因为用于训练SAR样本图像是有限的并不能达到训练集的要求，需要对现有的SAR图像进行旋转|反射变换，翻转变换等操作，丰富作为训练生成对抗网络的样本图像；

步骤2、图像生成：设定一个100维度的均匀分布Z，经过生成模型后产生一个新的向量，作为Fake Image，记作D(z)；从准备好的SAR样本图像数据集中随机选择一张图片，将图片转化成向量，作为Real Image，记作x。将D(z)或者x，作为判别网络的输入，经过判别网络后输入值为一个0到1之间的数，用于表示输入图片为Real Image的概率，real为1，fake为0；在开始的时候生成模型和判别模型都是没有经过训练的，这两个模型一起对抗训练，通过在这两个模型训练的过程中，两个模型的能力越来越强，最终达到稳态。

此过程中，判别模型的输入类型为(x_fake,0)或(x_real,0)。在开始的时候生成模型和判别模型都是没有经过训练的，这两个模型一起对抗训练，生成模型产生一张图片去欺骗判别模型，然后判别模型去判断此SAR图像是真是假，

判别模型的损失函数为：

-(1-y)log(1-D(G(z)))

y为输入数据的类型，当输入的是从数据集中取出的real image数据时，y＝1；D(x)为判别模型的输出，表示输入x为real数据(y＝1，代表是real数据)的概率；G(z)是生成模型的输出，输出的是一张Fake Image；相对判别模型，损失函数是交叉熵损失函数，计算损失，进行梯度反传；当更新完判别模型的参数后，再去更新生成模型的参数；

生成模型的损失函数为：

(1-y)log(1-D(G(z)))

最终目标函数为：

V(D,G)为目标函数，目标是最大化D的区分度，最小化G和real数据集的数据分布；p_data表示真实data的分布函数，p_z表示随机噪声的分布函数。

步骤3、建立方位角判别模型：

方位角判别模型，计算实时产生的SAR图像的方位角主要包括：图像分割目标提取、边缘提取，方位角判别，具体过程如下：

首先，対经生成对抗网络生成的SAR图像，用水平集分割方法对生成图像分割提取SAR目标，并用二值矩阵表示；

通过将曲线C的能量函数写成关于水平集函数φ的能量函数，然后求解水平集函数，最终得到目标区域：

其中，x,y为图像的像素点，μ,v,λ₁,λ₂为固定参数，且μ≥0，v≥0，λ₁,λ₂>0；φ为水平集函数；Ω表示R²中的有界开子集；u₀代表从Ω→R的一个映射，这里表示图像，由两块区域构成，其中常数c₁和c₂分别是曲线C内部像素点的均值和C外部像素点的均值；这里引入两个函数，Heaviside函数和Delta函数：

其中

分割算法如下：

1)随机初始化φ⁰＝φ₀，n＝0，其中n为迭代次数；

2)根据公式：

计算两个均值c₁和c₂；

3)根据迭代公式：

求解φⁿ⁺¹，其中，1≤i≤M,1≤j≤N,n>0且M×N为图像像素个数；

4)检查是否收敛，是的话则停止；否则回到步骤2

经过上述过程，分割提取得到SAR目标，并将目标区域用二值矩阵表示。

(2)提取目标边缘

对提取得到的目标进行边缘提取，若目标点个数小于临界值，则判定该点为边缘点，否则为非边缘点；对提取得到的目标矩阵中的每一个点，计算其周围区域内目标点的个数，将目标边缘信息表示为一个二值边缘矩阵，若目标点个数小于预设的阈值，则判定该点为边缘点并赋值为1，否则为非边缘点赋值为0；

(3)计算目标方位角

在最小边缘区域外接最小外接矩形，垂直方向的北端起与最小外接矩形的最长边顺时针的夹角，即为此目标的方位角。

步骤4、经上述步骤得出方位角信息后，根据需求，自行设定所需的方位角，经过筛选，输出符合数据集要求的SAR图像，舍弃多余图像。

本发明在传统深度卷积生成对抗网络方法基础上提出了一种定向生成指定方位角的SAR图像的方法：基于SAR目标分割与边缘提取，通过边缘外接最小外接矩形法，通过计算垂直方向的北端起与最小外接矩形的最长边顺时针的夹角，作为此生成SAR图像目标的方位角。对于构建带标签的SAR图像数据集起到重要作用。

综上所述，较现有的SAR图像生成方法，本发明具有了定向生成SAR目标图像的能力，不必再对随机生成的图像进行判别。

附图说明

图1为本发明SAR图像生成流程；

图2为方位角判别流程图；

图3为以MSTAR中BMP-2为训练样本，随机生成的SAR图像；

图4为SAR图像方位角判别示意图；

图5为生成定向方位角的SAR图像。

具体实施方式

下面以MSTAR中BMP-2图像生成为例，模拟实际图像生成应用对本发明做进一步说明。

实验所用样本为MSTAR中的BMP-2目标切片，切片为128×128的JPG格式图像。

本发明是为了通过深度卷积生成对抗网络定向生成SAR目标图像，因此，首先通过翻转，旋转等线性方式丰富训练样本图像集。

实验设置初始训练样本数目为623个，经过翻转等操作增加到3115个。将此图像数据集作为深度卷积生成对抗网络的训练图像集。通过附图1的流程图进行图像生成实验，程序设定为300epoch。

本发明方法的优势主要体现在图像的定向生成，而不是随机生成SAR图像，随机生成SAR图像的结果如附图3所示，图像是由生成对抗网络随机生成的，生成的图像并不能确定其信息。本发明通过深度卷积生成对抗网络与方位角判别模型(方位角判别流程如附图2所示)定向生成SAR图像，本发明采用水平集分割方法，対生成的64×64图像进行目标提取，表示为一个二值目标矩阵，其值为1表示该像素点为目标区域的点，为0表示该像素点为非目标区域的点；提取目标边缘，对目标区域内的每一个点，计算其周围区域内目标点的个数，将目标边缘信息表示为一个二值边缘矩阵，若目标点个数小于预设的阈值20，则判定该点为边缘点并赋值为1，否则为非边缘点赋值为0；在所得到的边缘区域外添加最小外接矩形，通过计算垂直方向的北端起与最小外接矩形的最长边顺时针的夹角；最终经过筛选输出符合要求的方位角度，(附图5所示，分别生成了方位角为94.763°，148.1985°，104.036°)。

Claims (1)

1.一种基于深度卷积生成对抗网络的SAR图像定向生成方法，包括以下具体步骤：

步骤1、准备SAR样本图像数据集，并将所有样本图像转化为三通道图像；

步骤2、图像生成：设定一个100维度的均匀分布Z，经过生成模型后产生一个新的向量，作为Fake Image，记作D(z)；从准备好的SAR样本图像数据集中随机选择一张图片，将图片转化成向量，作为Real Image，记作X；将D(z)或者X，作为判别网络的输入，经过判别网络后输入值为一个0到1之间的数，用于表示输入图片为Real Image的概率，Real为1，Fake为0；

其中，判别模型的损失函数为：

-(1-Y)log(1-D(G(z)))

Y为输入数据的类型，当输入的是从数据集中取出的Real Image数据时，Y＝1；D(X)为判别模型的输出，表示X为Real Image数据的概率；G(z)是生成模型的输出，输出的是一张Fake Image；相对判别模型，损失函数是交叉熵损失函数，计算损失，进行梯度反传；当更新完判别模型的参数后，再去更新生成模型的参数；

生成模型的损失函数为：

(1-Y)log(1-D(G(z)))

最终目标函数为：

V(D,G)为目标函数，目标是最大化D的区分度，最小化G和Real Image数据集的数据分布；p_data表示Real Image的分布函数，p_z表示随机噪声的分布函数；

步骤3、建立方位角判别模型：

通过方位角判别模型，计算实时产生的SAR图像的方位角，包括：图像分割目标提取、边缘提取，方位角判别，具体过程如下：

(1)对经生成对抗网络生成的SAR图像，用水平集分割方法对生成图像分割提取SAR目标，并用二值矩阵表示；

通过将曲线C的能量函数写成关于水平集函数φ的能量函数，然后求解水平集函数，最终得到目标区域：

其中，x,y为图像的像素点，μ,v,λ₁,λ₂为固定参数，且μ≥0，v≥0，λ₁,λ₂>0；φ为水平集函数；Ω表示R²中的有界开子集；u₀代表从Ω→R的一个映射，这里表示图像，由两块区域构成，其中常数c₁和c₂分别是曲线C内部像素点的均值和C外部像素点的均值；引入两个函数，Heaviside函数H_ε和Delta函数δ_ε：

其中

分割算法如下：

1)随机初始化φⁿ＝φ₀，n＝0，其中n为迭代次数；

2)根据公式：

计算两个均值c₁和c₂；

3)根据迭代公式：

求解φⁿ⁺¹，其中，1≤i≤M,1≤j≤N,n>0且M×N为图像像素个数；

4)检查是否收敛，是的话则停止；否则回到步骤2；

经过上述过程，分割提取得到SAR目标，并将目标区域用二值矩阵表示；

(2)提取目标边缘

对提取得到的目标矩阵中的每一个点，统计每个点四周区域内目标点的个数，若目标点个数小于设置的临界值，则判定为边缘点，否则为非边缘点；

(3)计算目标方位角

在最小边缘区域外接最小外接矩形，垂直方向的北端起与最小外接矩形的最长边顺时针的夹角，即为此目标的方位角；

步骤4、经上述步骤得出方位角信息后，根据需求，自行设定所需的方位角，经过筛选，输出符合数据集要求的SAR图像，舍弃多余图像。

Images