CN111368935B - 一种基于生成对抗网络的sar时敏目标样本增广方法 - Google Patents

Abstract

本发明一种基于生成对抗网络的SAR时敏目标样本增广方法，步骤如下：1)构建区域卷积生成对抗网络，实现两模型的前向与反向传播功能；2)制作区域卷积生成对抗网络训练数据集，从目标检测训练数据集中提取切片；3)对区域卷积生成对抗网络进行训练，利用对抗网络训练数据集对区域卷积生成对抗网络进行迭代训练，直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，并保存生成模型与判别模型的权重；4)调整参数批量生成样本，对完成训练的区域卷积生成对抗网络中生成模型装订所保存的参数，根据实际使用需求设置参数输入至生成模型，生成符合期望框体的样本；5)制作用于目标检测识别算法训练的数据集。

Description

一种基于生成对抗网络的SAR时敏目标样本增广方法

技术领域

本发明涉及一种基于生成对抗网络的SAR时敏目标样本增广方法，适用于基于卷积神经网络的针对各类SAR时敏的目标检测识别网络和深度学习框架，通过少量的训练数据使用生成对抗网络进行样本增广，使之可以达到用于训练卷积神经网络的数据体量，用于提升算法能力。

背景技术

由于卷积神经网络训练中需要对大量参数进行调优，因此对训练数据的数量有极高的需求。而在军事应用领域，由于感兴趣目标的非合作性导致样本数据难以获取，因此对训练数据进行数据增广成为应用深度学习技术的主要手段之一，该方法主要是对图像进行变换操作，如平移或旋转、镜像等，来增加训练数据的数量。

此类方法操作简单，仅需要对原始图像数据进行平移、旋转等基础变换操作，即可对数据量实现极大的增加。但此类方法仅适用于分类网络，该类型网络输入为仅包含待分类目标的图像切片，而目标检测识别网络所需要的输入为包含较多目标的高分辨率图像，平移操作将影响框体预测的准确性，仅旋转操作对目标检测识别网络适用。

另一种数据增广的方法则是利用了已有的目标检测的训练样本标注信息，将目标从训练数据中截取，并通过旋转等变换后，粘贴在各种原始数据集中，实现了目标的数量的增广。但此种方法并没有增加目标样本与背景的数量，仅增加了样本出现的次数、丰富了样本的位置。对目标检测识别任务而言，这种方法仅能提升算法的目标定位能力，而对少量目标的多次训练，很可能造成对目标的过拟合，降低对其它目标的检测识别能力。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种基于生成对抗网络的SAR时敏目标样本增广方法，通过对少量的标注数据，以及大量的无目标背景图片，通过生成对抗网络算法的半监督训练，可以生成大量的训练样本。

本发明的技术方案是：一种基于生成对抗网络的SAR时敏目标样本增广方法，步骤如下：

1)构建区域卷积生成对抗网络，网络包含生成模型和判别模型两部分，分别实现两模型的前向与反向传播功能；

2)制作区域卷积生成对抗网络训练数据集，从目标检测训练数据集中提取切片，其中有包含目标的切片以及未包含目标的切片；所述包含目标的切片需标记目标所在区域的相对位置，并进行数据增广；

3)对区域卷积生成对抗网络进行训练，利用步骤2)中的对抗网络训练数据集对步骤1)所构建的区域卷积生成对抗网络进行迭代训练，直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，并保存生成模型与判别模型的权重；

4)调整参数批量生成样本，对步骤3)中完成训练的区域卷积生成对抗网络中生成模型装订所保存的参数，根据实际使用需求设置参数输入至生成模型，生成符合期望框体的样本；

5)制作用于目标检测识别算法训练的数据集。

所述的步骤1)构建区域卷积生成对抗网络的方法为：

111)构建生成模型，输入为一个100维向量和一个目标框体信息四维向量；

112)构建判别模型，输入为真实图像或生成器所生成的尺寸为64×64的单或多通道图像，真实图像由包含目标以及不包含目标两部分组成，包含目标的图像需提供目标框体的四维向量用于训练，其框体中心为图像中心；

113)建立生成模型和判别模型的损失函数，其中生成模型被判别模型识别为正样本的概率越大，预测框体与期望框体的偏差越小，生成模型的损失函数值应越小；生成样本被判别模型识别为正样本的概率越小，预测框体与输入样本框体的偏差越小，判别模型的损失函数值越小。

所述步骤1)构建生成模型的方法为：

121)利用4×4反卷积，构建多层反卷积结构，各反卷积层卷积核数量前一层依次为后一层的二倍，最后一层卷积层卷积核数量与期望生成图像的通道数相同；

122)100维向量直接输入至首层反卷积，投射至一个4×4×ng×2^d-1维的特征图，其中ng参数为生成器超参数，特征图输入至第二层进行反卷积计算；

123)框体信息则直接映射为各特征图尺寸的掩膜，作为额外的输出通道并入除最后一层外各层输出的特征图。

所述步骤2)构建判别模型的方法为：

21)利用4×4步长为2的卷积，构建多层卷积结构，各卷积层卷积核数量后一层依次为前一层的二倍，最后一层卷积层为框体预测层，输出为预测框体坐标以及对应得分；

22)在倒数第二层引出框体预测分值，建立区域建议网络，其输入为倒数第二层输出的特征图，输出为一组预测框体，作为最后一层框体预测层的另一输入。

所述的步骤3)对区域卷积生成对抗网络进行训练的方法为：

31)随机产生一批100维向量以及四维目标框体向量作为生成模型输入；

2)将步骤31)中的数据输入至生成模型进行前向计算，生成一组生成样本；

33)从真实样本数据集中随机采样一批与生成样本数量相同的真实样本；

34)将步骤33)中的包含生成样本与真实样本的数据集输入至判别模型进行前向计算；

35)使用步骤33)中样本的真值与步骤34)判别模型的预测结果，对判别模型进行梯度下降，更新判别模型的参数；

36)使用步骤31)中的框体期望值与步骤34)的判别模型预测结果，对生成模型进行梯度下降，更新生成模型的参数；

37)重复步骤31)至步骤36)，直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，当步骤33)完成对真实样本的全部采样，则重新对真实样本数据集随机采样。

本发明与现有技术相比的优点在于：

1)通过生成对抗网络的无监督学习能力，充分挖掘了标注样本中的特征，并生成了与训练样本相似但略有差异的目标，提升了目标数量的同时，还增加了目标的多样性；

2)通过对生成对抗网络的生成模型和判别模型，分别增加框体标记的条件分支与定位分支，使生成样本图片的同时还能生成样本标注框，通过粘贴到无目标背景图片，可以生成大量的具有不同背景的训练样本，增加目标检测识别网路对背景的鲁棒性。

3)相较于传统数据增广方法，本方案一方面极大程度地提高了目标样本的多样化程度，帮助训练中提升目标检测识别的召回率；另一方面减少了手工标注的步骤，可以直接生成目标切片，并可通过大量的目标切片复制于无目标的背景图中，丰富了目标检测识别算法训练集的背景，帮助训练中提升目标检测识别的准确率。

附图说明

图1为本发明方案实施流程图。

图2为生成模型网络结构图。

图3为判别模型网络结构图。

具体实施方式

本方法的核心技术是一种区域卷积生成对抗网络(Regions with ConvolutionalGenerative Adversarial Networks，RCGAN)，这是一种具能生成图像同时还生成目标位置的生成网络模型，通过使用全卷积神经网络、区域条件生成、区域判别的技术手段，得到了一种能训练稳定的网络结构，在多种数据集上实现了附带区域信息的样本生成。RCGAN主要包括生成模型G和判别模型D，相较于传统生成对抗网络(Generative AdversarialNetwork，GAN)分别增加了区域条件分支与定位分支，实现了同时生成样本和标注信息的目的。

实施例1：

如图1所示，本发明对单通道SAR海面舰船目标样本增广的具体步骤如下：

1)构建区域卷积生成对抗网络，网络包含生成模型和判别模型两部分，分别实现两者的前向与反向传播功能。

其中，生成模型的网络模型结构如图2所示,输入是一个100维向量和一个目标框体信息的4维向量，100维向量首先通过反卷积层投射至一个4×4×1024的特征空间，再经过连续的4个反卷积层，并最终生成一幅尺寸为64×64的单或多通道图像；框体信息则直接映射为各特征图尺寸的掩膜，作为额外的输出通道并入除最后一层外各层输出的特征图。

判别模型的网络模型结构如图3所示,输入为真实图像或生成器所生成的尺寸为64×64的单或多通道图像，真实图像由包含目标以及不包含目标两部分组成，包含目标的图像需要提供目标框体的4维向量用于训练。输入经过3层卷积层后，转为两个分支，一个分支使用区域建议网络(Region Proposal Network，RPN)进行框体预测，生成k个可能的框体目标区域，另一个分支继续卷积，并使用分类器判断k个框体的是否为真实目标。最后使用非极大值抑制(Non-Maximum Suppression，NMS)算法多次迭代去除交并比大于阈值的框体，仅保留孤立目标。

RCGAN的生成模型G的训练目的是最大化生成样本p_G被判别模型识别D为正样本的概率即log(1-D(G(z)))，并最小化预测框体与期望框体的偏差；判别模型的训练目的是最大化判别正负样本的准确率，最小化预测框体与真实框体的偏差。

生成模型的损失函数如下：

其中D(G(z⁽ⁱ⁾))＝0or1，0代表生成样本G(z⁽ⁱ⁾)被判别模型拒识，1代表被判别模型识别为正例。t_i为预测候选框的四个坐标组成的向量，而

为真实目标框体坐标向量，其中

判别模型的RPN部分的损失函数L_RPN({p_i},{t_i})定义如下：

其中i为锚点的序号，p_i为第i个锚点对应区域是目标的概率，

为该锚点的真值(若属于目标则为1)，t_i为预测候选框的四个坐标组成的向量，而/>

为真实目标框体坐标向量。L_cls为分类器的损失函数，是两类之间的对数损失；L_reg为候选区域回归损失函数，其中

判别模型中分类器的损失函数L_s(p,u,t^u,v)定义如下：

L_s(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_loc(t^u,v)

L_cls(p,u)＝-log p_u

其中p＝(p₀,p₁)分别为负样本、正样本标签的概率，u为分类的真值，v为框体位置真值，λ[u≥1]在u≥1时等于1，否则为0即背景，元组

为对第k类的位置校正。损失函数依旧分为两部分，第一项为分类损失函数，采用Softmax分类器，损失函数为交叉熵损失(cross-entropy loss)；第二项为回归损失，定义与RPN损失函数中的回归损失相同，用于评估真实框与预测框之间的平移、缩放差距。

2)制作区域卷积生成对抗网络训练数据集，方案实现需要256张以上含目标位置信息的遥感时敏目标切片、256张以上不含背景的切片，尺寸为64×64，通道数根据实际数据确定，本例为1。

3)对区域卷积生成对抗网络进行训练，该训练过程是生成模型与判别模型的同时训练与更新，采用小批随机梯度下降(Stochastic gradient descent，SGD)训练，具体步骤如下：

①从随机输入p_Z(z)中采样出一小批m个样本{z⁽¹⁾,…,z^(m)}，其中z⁽ⁱ⁾作为生成模型输入，包括100维向量以及4维目标框体向量，其框体中心应为图像中心(偏差不超过1像素)；

②将上述步骤①中的小批数据输入至生成模型生成模型对样本{z⁽¹⁾,…,z^(m)}进行前向计算，生成样本{G(z⁽¹⁾),…,G(z^(m))}；

③从真实样本数据集p_data(x)中随机采样一小批与生成样本数量相同的真实样本；

④将步骤③中的包含生成样本与真实样本的数据{x⁽¹⁾,…,x^(m)}∪{G(z⁽¹⁾),…,G(z^(m))}输入至判别模型前向计算D(x)；

⑤使用步骤③中样本的真值与步骤④判别模型的预测结果，对判别模型的参数进行梯度下降更新

⑥使用步骤①中的框体期望值与步骤④的判别模型预测结果，对生成模型的参数进行梯度下降更新

⑦重复步骤①至步骤⑥max_iter次，或直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，当上述步骤③完成了对真实样本的全部采样，则重新对真实样本数据集随机采样。

基于梯度下降的参数更新策略可使用任意方法，常规实现可基于动量(Momentum)的方法。迭代数量max_iter和采样数m分别为1000和64，max_iter可根据生成模型和判别模型的损失函数收敛情况适当增加或减少，m值则根据计算设备算力情况进行调整。

5)对上述步骤3)中完成训练的区域卷积生成对抗网络中生成模型装订所保存的参数，根据实际使用需求的数量num_data，设置num_data组参数{z⁽¹⁾,…,z^(num_data)}输入至生成模型，其中目标框体根据要求设置，可生成符合期望框体的样本，并进行人工筛选；

5)制作可用于目标检测识别算法训练的数据集，准备无目标的SAR海面背景图片，将生成模型生成的目标样本切片根据框体信息仅复制目标区域到准备的背景图片内，并生成包含完整框体信息的用于算法训练的标注文件，即完成了目标样本增广，可用于目标检测识别算法训练使用。

实施例2

输入图片尺寸可调整为64×64的2ⁿ倍，如128×128、256×256等，相应地，步骤1)中的生成模型及判别模型也需要分别增加n层的反卷积层或卷积层。通道数根据实际样本可进行改变，则生成模型的最后一层以及判别模型的第一层卷积核数量也需要改变为对应数量。此外步骤3)中迭代数量max_iter和采样数m推荐值分别为1000和64，可根据实际情况调整，m可根据训练设备计算能力适当提高；max_iter根据m提高可下降对应倍数，具体数值以生成模型获得稳定且符合期望的输出结果为准。

本发明未详细说明部分属本领域技术人员公知常识。

Claims (1)

1.一种基于生成对抗网络的SAR时敏目标样本增广方法，其特征在于步骤如下：

1）构建区域卷积生成对抗网络，网络包含生成模型和判别模型两部分，分别实现两模型的前向与反向传播功能；

2）制作区域卷积生成对抗网络训练数据集，从目标检测训练数据集中提取切片，其中有包含目标的切片以及未包含目标的切片；所述包含目标的切片需标记目标所在区域的相对位置，并进行数据增广；

3）对区域卷积生成对抗网络进行训练，利用步骤2）中的对抗网络训练数据集对步骤1）所构建的区域卷积生成对抗网络进行迭代训练，直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，并保存生成模型与判别模型的权重；

4）调整参数批量生成样本，对步骤3）中完成训练的区域卷积生成对抗网络中生成模型装订所保存的参数，根据实际使用需求设置参数输入至生成模型，生成符合期望框体的样本；

5）制作用于目标检测识别算法训练的数据集；

所述的步骤1）构建区域卷积生成对抗网络的方法为：

111）构建生成模型，输入为一个100维向量和一个目标框体信息四维向量；

112）构建判别模型，输入为真实图像或生成器所生成的尺寸为的单或多通道图像，真实图像由包含目标以及不包含目标两部分组成，包含目标的图像需提供目标框体的四维向量用于训练，其框体中心为图像中心；

113）建立生成模型和判别模型的损失函数，其中生成模型被判别模型识别为正样本的概率越大，预测框体与期望框体的偏差越小，生成模型的损失函数值应越小；生成样本被判别模型识别为正样本的概率越小，预测框体与输入样本框体的偏差越小，判别模型的损失函数值越小；

所述步骤1）构建生成模型的方法为：

121）利用4×4反卷积，构建多层反卷积结构，各反卷积层卷积核数量前一层依次为后一层的二倍，最后一层卷积层卷积核数量与期望生成图像的通道数相同；

122）100维向量直接输入至首层反卷积，投射至一个维的特征图，其中参数为生成器超参数，特征图输入至第二层进行反卷积计算；

123）框体信息则直接映射为各特征图尺寸的掩膜，作为额外的输出通道并入除最后一层外各层输出的特征图；

所述步骤2）构建判别模型的方法为：

21）利用4×4步长为2的卷积，构建多层卷积结构，各卷积层卷积核数量后一层依次为前一层的二倍，最后一层卷积层为框体预测层，输出为预测框体坐标以及对应得分；

22）在倒数第二层引出框体预测分值，建立区域建议网络，其输入为倒数第二层输出的特征图，输出为一组预测框体，作为最后一层框体预测层的另一输入；

所述的步骤3）对区域卷积生成对抗网络进行训练的方法为：

31）随机产生一批100维向量以及四维目标框体向量作为生成模型输入；

32）将步骤31）中的数据输入至生成模型进行前向计算，生成一组生成样本；

33）从真实样本数据集中随机采样一批与生成样本数量相同的真实样本；

34）将步骤33）中的包含生成样本与真实样本的数据集输入至判别模型进行前向计算；

35）使用步骤33）中样本的真值与步骤34）判别模型的预测结果，对判别模型进行梯度下降，更新判别模型的参数；

36）使用步骤31）中的框体期望值与步骤34）的判别模型预测结果，对生成模型进行梯度下降，更新生成模型的参数；

37）重复步骤31）至步骤36），直到区域卷积生成对抗网络中的生成模型获得稳定且符合期望的输出结果，当步骤33）完成对真实样本的全部采样，则重新对真实样本数据集随机采样。

Images