CN112699966A - 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法 - Google Patents

Abstract

本发明针对小样本条件下雷达目标HRRP识别难题，提出了基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法。首先，设计了合适小样本目标的预训练模型，提出了一种可提高预训练模型泛化性能的损失函数，并用源域数据对预训练模型进行从头训练。在预训练模型的基础上，重新设置全连接层和输出层结构并初始化，构成微调模型。在微调过程中，为解决目标域数据集样本较少且类别不均衡导致识别性能不理想的问题，提出了一种可减少类别间样本不均衡引起的识别偏差并提高特征可分性的损失函数。在小样本条件下，与从头训练的卷积神经网络模型相比，所提方法在提高识别正确率的同时，提高了收敛速度和模型的稳定性。

Description

基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调 方法

技术领域

本发明属于雷达目标自动识别技术，针对少量标签样本条件下的雷达HRRP目标识别正确率较低的问题，提供了一种基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法。

背景技术

对于合作目标来说，获得角域完备且数量充足的HRRP较为容易，但在实际应用中，尤其战时，电磁环境复杂，待识别目标多为非合作目标，机动性较强，且HRRP类别标签需要专业人员进行人工判读，因此获取足够数量的目标HRRP有标签样本难度较大。因此，在雷达目标识别领域，小样本条件下的雷达目标HRRP识别是亟需解决的难题之一。

目前已有的小样本识别方法存在以下缺点：1)模型需要角域完备的训练样本，而实际应用中，小样本条件很难保证训练样本覆盖目标全角域；2)低自由度的模型需要的训练样本较少，但识别正确率较低，高自由度的模型识别正确率高，但需要的训练样本较多，少量样本条件下的识别正确率有待于进一步提高。针对上述方法中存在的问题，考虑利用深度学习方法解决小样本条件下的雷达HRRP目标识别问题。

与浅层方法相比，深度网络可以更好的提取HRRP的高阶特征。目前基于深度网络的雷达HHRP小样本目标识别研究较少，目前方法多采用栈式自编码模型提取目标的深层特征，并通过共享HRRP全局特征以减少样本数量。与栈式自编码相比，卷积神经网络具有更好的目标识别性能，但直接利用小样本数据对模型进行从头训练，会导致过拟合现象产生。针对这一问题，本文提出了一种基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法。

发明内容

本发明的目的在于，针对小样本条件下HRRP的识别率低的问题，提供了一种基于深度迁移学习的雷达HRRP小样本目标识别预训练及微调方法，所提方法在提高识别正确率的同时，提高了收敛速度和模型的稳定性。

本发明的技术解决方案为：利用源域数据集对预训练模型进行从头训练；利用目标域数据对预训练模型进行微调。为实现上述目的，本发明实现步骤如下：

预训练过程：

输入：N类目标HRRP仿真数据集

输出：预训练模型卷积层结构与权重

步骤1：按照图2中模型A构建预训练模型，初始化模型权值，卷积层的权值θ_c＝{k_c,b_c}，全连接层的权值参数W，θ_c和W均服从均值为0，方差为

的正态分布，其中n_i和n_o分别为相应层的输入向量和输出向量的维度。

步骤2：前向传播，根据公式计算每个迭代过程中小批量样本(min-batch)的损失函数。

步骤3：反向传播，利用链式法则计算梯度，并利用随机梯度下降法进行参数更新。

步骤4：重复步骤2、3，直到损失函数收敛且不再下降，结束训练过程，保存模型结构与权重。

微调过程：

输入：M类目标HRRP实测数据集

输出：用于小样本识别的微调模型

步骤5：按照图3中模型B构建微调模型，初始化模型权值，其中卷积层的权值初始值与预训练模型步骤4中保存的卷积层权值相同，全连接层的权值W服从正态分布，

步骤6：前向传播，根据公式计算每个迭代过程中小批量样本的损失函数。

步骤7：反向传播，利用链式法则计算梯度，首先将所有卷积层的学习率设置为0，仅更新全连接层和输出层权值，再由卷积层C4-C1，依次将其学习率设置为非零值，逐层更新权值。

步骤8：重复步骤6、7，直到损失函数收敛且不再下降，结束训练过程，保存模型结构与权重。

本发明相比现有技术具有如下技术效果：

(1)所提模型为数据驱动的端对端模型，训练过后的模型可自动提取目标的深层特征。

(2)所提方法根据目标域小样本的特点，设计了合适的预训练模型，提出了一种可提高预训练模型泛化性能的损失函数。

(3)在微调过程中，为解决目标域数据集样本较少且类别不均衡导致识别性能不理想的问题，提出了一种可减少类别间样本不均衡引起的识别偏差并提高特征可分性的损失函数。

附图说明

图1：迁移学习流程图；

图2：预训练模型(模型A)结构图；

图3：微调模型(模型B)结构图。

具体实施方式

以下结合说明书附图对本发明作进一步详细描述。参照说明书附图，本发明所构建的模型说明如下：

从头训练的深度卷积神经网络需要大量的有标签训练样本，训练样本过少会导致模型产生过拟合现象，迁移学习是一种解决小样本问题的有效方法。迁移学习，是指利用数据、任务或模型之间的相似性，将在旧领域学习过的模型，应用于新领域的一种学习过程。迁移学习包含两个基本概念，分别为域和任务。域分为源域D_S和目标域D_T。在目标识别任务中，源域为与目标无关的数据集，数据量较为充足，目标域为与目标相关的数据集，数据量较少，不足以对模型进行从头训练。域D包含两个内容：X和P(X)，其中，X为特征空间，包含数据集及其对应的特征总和，P(X)为特征空间对应的概率，可以理解为特征的分布。任务即为模型实现的功能，任务分为源域任务和目标域任务。任务T同样包含两部分：Y和f(x)，其中，Y表示标签空间，f(x)表示预测函数，由特征空间X和标签空间Y学习得到。通常，源域与目标域不同，源域任务和目标域任务可相同可不同。

本发明使用的源域为N类目标HRRP仿真数据集，目标域为M类目标HRRP实测数据集。因此源域(源任务)和目标域(目标任务)均不相同。迁移学习的流程如图1所示，首先，根据目标域特点和源域任务设计预训练模型，并利用源域对预训练模型进行训练，其次，根据目标域任务，以预训练模型为基础设计微调模型，并利用目标域对微调模型进行训练即可得到所需模型。

下面将从两个方面对所提方法进行详细的介绍与分析：1、模型预训练过程，2、模型微调过程。

1模型预训练过程

(1)预训练模型

从头训练深度卷积神经网络需要大量训练数据，训练数据过少会导致过拟合现象产生，模型泛化性能较差。模型深度对识别正确率影响较大，深度卷积神经网络的浅层特征为低阶的结构特征，深层特征为高阶语义特征，必须保证一定的深度才能取得较好的识别效果，本发明所提方法针对小样本识别问题，预训练模型层数不宜过多，所提方法使用的预训练模型(简称为模型A)结构如图2所示。

模型A包含四个卷积层，四个池化层，一个全连接层，一个输出层。前三个卷积层的卷积核大小为3×1，个数分别为16、32、32，第四个卷积层的卷积核大小为1×1，个数为64，池化层的步长均为2，池化类型为最大池化，全连接层和输出层的神经元个数分别为50和N。

(2)损失函数

HRRP具有姿态角敏感性，同一目标不同姿态角的HRRP相差较大，部分姿态角对应的HRRP样本包含的散射点信息较多，易于识别，部分姿态角对应的HRRP样本包含的散射点信息较少，识别难度较大，但所有姿态角的HRRP样本对于目标识别来说同等重要，决定了模型的泛化性能，在高泛化性能的预训练模型基础上进行微调，可以大大提高小样本条件下的目标识别正确率。为了保证预训练模型可以很好的提取HRRP完备姿态角不变特征，需提高识别难度较大的HRRP样本所对应类别的输出概率，交叉熵损失函数难以满足此需求。针对上述问题，本发明所提方法提出了一种模糊截断交叉熵损失函数L_p，该损失函数分为两个部分。第一部分为模糊交叉熵损失函数，主要解决模型分类结果过分自信的问题，通过对输出结果进行模糊化，缩小各神经元输出的差距，使得每个神经元的输出结果在传播过程中都发挥作用，避免模型过度自信的现象产生。第二部分为截断交叉熵损失函数，该函数主要解决部分HRRP对应类别输出概率较低的问题，利用截断函数，仅对满足条件的输出结果进行反向传播，通过增加这部分HRRP的权重，使模型更好的提取易混淆目标的特征。损失函数L_p表达式如下：

L_p＝L_b+αL_t (1)

其中，L_b表示模糊交叉熵函数，L_t表示截断交叉熵损失函数，α为L_t的权重，y_i＝(y_i1,y_i2,...,y_ic)表示类别标签，

表示输出层的输出结果，

为截断函数，m表示截断阈值，θ(x)为单元阶跃函数，L_t仅在输出结果满足

时，才能参与反向传播。

2模型微调过程

(1)微调模型

由于所用源域和目标域的维度不同，且卷积层和池化层对输入维度没有要求，故用于小样本目标识别的微调模型(简称为模型B)与模型A仅卷积层和池化层结构相同，全连接层和输出层均需重新设置。模型B的卷积层和池化层的权值初始值即为模型A训练后得到的权值，全连接层和输出层权值初始值服从正态分布，

其中n_i和n_o分别为输入向量和输出向量的维度。模型B结构如图3所示。

模型B包含四个卷积层，四个池化层，一个全连接层和一个输出层，因为全连接层和输出层的参数需要从头训练，为防止参数过多导致过拟合现象的产生，全连接层的神经元个数设为10，输出层的神经元个数与目标域类别数相同，即为M。模型初始化完成后，利用目标域数据对模型进行逐层微调。

在模型B中，卷积层C1～C4，全连接层和输出层的参数可通过反向传播进行更新，其对应学习率分别为μ_c1～μ_c4、μ_fc和μ_o。在微调过程中，通过将学习率置零，可将相应层冻结，其权值不参与权值更新，由于全连接层和输出层的权值为经过预训练，因此设置学习率μ_fc和μ_o始终大于0。由于浅层卷积层提取的多为通用特征，适用于大多数任务，而深层卷积层提取的语义特征，主要针对某一具体任务。因此，微调主要指从后往前逐层对卷积层的预训练权值进行更新的过程。对模型B微调的具体方法为，首先，将μ_c1～μ_c4全部置零，仅更新全连接层和输出层权值，全连接层和输出层可以看成是非线性分类器。将卷积层C4的学习率μ_c4设置为非零值(又称作释放卷积层)，继续训练网络，更新该层网络，依次将卷积层C3-C1的学习率μ_c3～μ_c1设置为非零值，逐层更新权值。由于相邻层之间的特征存在耦合关系，单独训练某一层容易导致特征断层，为了更有效的对预训练模型进行微调，在上述过程中，每10个迭代周期释放一个卷积层，直至待训练卷积层全部释放完毕。

(2)损失函数

小样本条件下，类别之间往往存在样本个数不均衡的情况，在反向传播过程中，样本较多的类别占损失函数的比重较高，容易引导模型向利于输出该类别分类结果的方向优化。为解决这一问题，本发明在交叉熵函数的基础上，提出了一种多类平衡损失函数L_MB，通过减少易分类别在损失函数中的权重来平衡各类别在损失函数中的占比。L_MB表达式如下：

其中，y_i＝(y_i1,y_i2,...,y_ic)表示类别标签，

表示输出层的输出结果，γ为超参数，用于调节输出的权重。

Claims (5)

1.基于深度迁移学习的雷达HRRP小样本目标识别预训练方法，其特征在于，包括以下步骤：

输入：N类目标HRRP仿真数据集；

输出：预训练模型卷积层结构与权重；

步骤1，构建预训练模型，初始化模型权值，卷积层的权值θ_c＝{k_c,b_c}，全连接层的权值参数W，θ_c和W均服从均值为0，方差为

的正态分布，其中n_i和n_o分别为相应层的输入向量和输出向量的维度；

步骤2，前向传播，计算每个迭代过程中小批量样本的损失函数L_p；

步骤3，反向传播，利用链式法则计算梯度，并利用随机梯度下降法进行参数更新；

步骤4，重复步骤2、3，直到损失函数收敛且不再下降，结束训练过程，保存模型结构与权重。

2.如权利要求1所述的基于深度迁移学习的雷达HRRP小样本目标识别预训练方法，其特征在于，步骤2中的损失函数L_p具体为：

L_p＝L_b+αL_t

其中，模糊交叉熵函数L_b具体为

截断交叉熵损失函数L_t具体为

α为L_t的权重，y_i＝(y_i1,y_i2,...,y_ic)表示类别标签，

表示输出层的输出结果，c表示类别总数，

为截断函数，具体表达式为

m表示截断阈值，θ(x)为单元阶跃函数，具体表达式为

L_t仅在输出结果满足

时，才能参与反向传播。

3.基于深度迁移学习的雷达HRRP小样本目标识别微调方法，其特征在于，在使用权利要求1或2预训练方法的基础上，还包括如下步骤：

输入：M类目标HRRP实测数据集；

输出：用于小样本识别的微调模型；

步骤5，构建微调模型，初始化模型权值，其中卷积层的权值初始值与预训练模型步骤4中保存的卷积层权值相同，全连接层的权值W服从正态分布，

步骤6，前向传播，计算每个迭代过程中小批量样本的损失函数L_MB；

步骤7，反向传播，逐层更新权值；

步骤8，重复步骤6、7，直到损失函数收敛且不再下降，结束训练过程，保存模型结构与权重。

4.如权利要求3所述的基于深度迁移学习的雷达HRRP小样本目标识别微调方法，其特征在于，步骤6中的损失函数L_MB具体为：

其中，y_i＝(y_i1,y_i2,...,y_ic)表示类别标签，

表示输出层的输出结果，γ为超参数，用于调节输出的权重。

5.如权利要求3所述的基于深度迁移学习的雷达HRRP小样本目标识别微调方法，其特征在于，步骤7中逐层更新权值的方法具体为：

利用链式法则计算梯度，首先将所有卷积层的学习率设置为0，仅更新全连接层和输出层权值，再由卷积层由深至浅，依次将其学习率设置为非零值，逐层更新权值。

Images