CN108985268B - 基于深度迁移学习的归纳式雷达高分辨距离像识别方法 - Google Patents

Abstract

基于深度迁移学习的归纳式雷达高分辨距离像识别方法，涉及雷达信号处理。真实目标信号与辅助仿真数据的预处理；深度模型的选择及优化；深度迁移学习中归纳式迁移策略的应用。针对完备的高分辨距离像数据获取困难的实际问题，提出了基于深度迁移学习的目标识别框架，可以有效提高样本量少、姿态非完备的雷达高分辨距离像的识别性能。建立在深度学习与机器学习中迁移学习的基础上，实用性强，可移植性强，能够满足大多数小样本、非完备等情况下弱监督学习的需求。

Description

基于深度迁移学习的归纳式雷达高分辨距离像识别方法

技术领域

本发明涉及雷达信号处理，尤其是涉及基于深度迁移学习的归纳式雷达高分辨距离像识别方法。

背景技术

雷达自动识别技术作为决定武器系统是否智能化的核心技术之一，在现代战争中起着重要的作用。高分辨一维距离像作为有效的目标识别数据源，获取较为容易、存储较为方便，被广泛应用于雷达目标自动识别中。但由于信号本身具有姿态敏感性、平移敏感性、强度敏感性等问题，特征提取成为雷达高分辨率距离像目标识别问题中的关键技术。深度学习利用端到端的多层非线性映射，通过大量数据可以自适应地学习到目标鲁棒的、可辨识的特征，在各类识别任务中均超越了传统算法的性能。然而实际应用中难以获取到完备的目标信号，一定程度上限制了深度学习算法在雷达高分辨率距离像识别上的应用。

非完备雷达高分辨距离像识别研究对于提升数据不足、信息不全情况下模型的泛化性、鲁棒性和可靠性具有重大的意义，具有广阔的应用前景以及深刻的社会价值。目前主流的基于深度学习的雷达高分辨距离像识别方法虽然在仿真数据上取得了良好的效果，但是在真实信号上反应的情况会有出入，很难应用到实际当中。在此背景下，我们提出了基于深度迁移学习的雷达高分辨距离像识别方法，能够充分利用辅助仿真数据和少量完备的真实目标信号，有效提升模型在非完备目标上的识别性能。

发明内容

本发明的目的在于提供可提升雷达高分辨距离像在样本量少、姿态非完备情况下的目标识别性能，满足实际应用需求，更具实际应用价值的基于深度迁移学习的归纳式雷达高分辨距离像识别方法。

本发明包括以下步骤：

1)真实目标信号与辅助仿真数据的预处理；

2)深度模型的选择及优化；

3)深度迁移学习中归纳式迁移策略的应用。

在步骤1)中，所述真实目标信号与辅助仿真数据的预处理的具体步骤如下：

第一步：为了降低强度敏感性以及离群点等问题对算法带来的影响，对雷达高分辨距离像信号数据进行归一化：

其中，x为原始的一维雷达高分辨距离像信号，ave(max₅(x))和ave(min₅(x))分别为取其帧内五个最大值和最小值的平方，x^*为归一化后的信号数据；

第二步：为了解决仿真数据与真实信号维度有差异的问题，首先对真实信号的边缘部分进行统计，并根据其分布特性生成拼接于仿真数据目标周围的噪点(边缘部分)，使其维度与真实雷达高分辨距离像一致。

在步骤2)中，所述深度模型的选择及优化的具体步骤如下：

第一步：为了降低姿态敏感性、平移敏感性、强度敏感性等问题的影响，构建具有局部感受野、权重共享、多卷积核以及池化等特点的多层卷积神经网络，所述多层卷积神经网络仿照AlexNet^[1]设计五个卷积层以及包括分类器在内的三个全连接层，每两个卷积层之间有最大池化的操作，可进一步增加特征的平移、旋转不变性，降低特征维度，提高特征的鲁棒性和模型的泛化能力；

第二步：为了保证网络中每个神经元输入输出的差异性，促使模型稳定而快速的收敛，采用经典而有效的标准正态分布初始化方法，即使用均值为0，标准差为1的正态分布随机生成参数作为网络卷积核的初始化，并使用大于0小于1的小数随机生成参数作为网络偏置的初始化；

第三步：为了提升模型在非完备雷达高分辨距离像目标上的泛化性能，在前述卷积神经网络的基础上加入正则化约束：Drop-out和L2范数；其中Drop-out是通过在网络训练时随机地以一定概率屏蔽或“删除”神经元，在测试时使用整个网络进行处理，达到多个网络模型共同集合判决的效果；L2范数是通过在原始代价函数后加上一个参数惩罚项，降低模型复杂度，防止过拟合：

其中，λ为正则项系数，m为批量输入的样本大小，w为网络的参数，系数

主要是为了后面求导方便，L₀为原始代价函数，在本发明中定义其为交叉熵损失函数：

其中，h_w(x_i)表示单个输入样本x_i经过网络的非线性映射后得到的预测结果，y_i则为其真实的标签信息。

在步骤3)中，所述深度迁移学习中归纳式迁移策略的应用的具体步骤如下：

为了解决样本量小、姿态非完备情况下的目标识别问题，采用预训练的方法将归纳式迁移学习策略引入深度学习，首先通过使用大量较为完备的仿真数据对原深度网络进行预训练，再用少量非完备的真实信号数据对该网络进行微调，以达到知识迁移的效果，即将仿真数据中存在着的高分辨距离像信号判别知识迁移至非完备的真实数据中，有效提升模型在非完备目标上的识别性能；微调的具体做法是先将网络最后一层替换为与真实样本类别数一致的神经元层，再固定网络的前三层，只微调网络的高层参数，即用较小的学习率，这是由于网络的低层特征具有普适性，而高层特征则更具可迁移性^[2]。

本发明针对完备的高分辨距离像数据获取困难的实际问题，提出了基于深度迁移学习的目标识别框架，可以有效提高样本量少、姿态非完备的雷达高分辨距离像的识别性能。本发明建立在深度学习与机器学习中迁移学习的基础上，本发明的主要特点是实用性强，可移植性强，能够满足大多数小样本、非完备等情况下弱监督学习的需求。

附图说明

图1为归纳式迁移学习概念示意图。

图2为原始数据、基本卷积神经网络最后特征层和归纳式迁移学习最后特征层数据分布的PCA可视化示意图。在图2中，(a)表示原始数据，(b)表示基本卷积神经网络最后特征层，(c)表示归纳式迁移学习最后特征层数据分布。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明包括以下步骤：

1)真实目标信号与辅助仿真数据的预处理，具体步骤如下：

第一步：为了降低强度敏感性以及离群点等问题对算法带来的影响，对雷达高分辨距离像信号数据进行归一化：

其中，x为原始的一维雷达高分辨距离像信号，ave(max₅(x))和ave(min₅(x))分别为取其帧内五个最大值和最小值的平方，x^*为归一化后的信号数据；

第二步：为了解决仿真数据与真实信号维度有差异的问题，首先对真实信号的边缘部分进行统计，并根据其分布特性生成拼接于仿真数据目标周围的噪点(边缘部分)，使其维度与真实雷达高分辨距离像一致，具体操作即将真实数据的噪声部分提取出来，再拼接在仿真数据的边缘，使得得到的仿真数据维度统一。

2)深度模型的选择及优化，具体步骤如下：

第一步：为了降低姿态敏感性、平移敏感性、强度敏感性等问题的影响，构建了具有局部感受野、权重共享、多卷积核以及池化等特点的多层卷积神经网络。该网络仿照AlexNet^[1]设计了五个卷积层以及包括分类器在内的三个全连接层，每一层的参数根据上一层输出的数据来设定。输入的仿真数据长度为1024，五个卷积层的卷积核大小分别为32、32、8、8、4，卷积核个数分别为128、256、256、512、1024，输出数据的维度分别为1024、512、256、128、64。每两个卷积层之间有最大池化的操作，可进一步增加特征的平移、旋转不变性，降低特征维度，提高特征的鲁棒性和模型的泛化能力。三个全连接层中前两层长度均为4096，最后一层输出对三种目标的判别结果。)

第二步：为了保证网络中每个神经元输入输出的差异性，促使模型稳定而快速的收敛，采用经典而有效的标准正态分布初始化方法，即使用均值为0，标准差为1的正态分布随机生成参数作为网络卷积核的初始化，并使用大于0小于1的小数随机生成参数作为网络偏置的初始化。

第三步：为了提升模型在非完备雷达高分辨距离像目标上的泛化性能，在前述卷积神经网络的基础上加入了正则化约束：Drop-out和L2范数。其中Drop-out是通过在网络训练时随机地以一定概率屏蔽或“删除”神经元，在测试时使用整个网络进行处理，达到多个网络模型共同集合判决的效果；L2范数是通过在原始代价函数后加上一个参数惩罚项，降低模型复杂度，防止过拟合：

其中，λ为正则项系数，m为批量输入的样本大小，w为网络的参数，系数

主要是为了后面求导方便，L₀为原始代价函数，在本发明中定义其为交叉熵损失函数：

其中，h_w(x_i)表示单个输入样本x_i经过网络的非线性映射后得到的预测结果，y_i则为其真实的标签信息。

3)深度迁移学习中归纳式迁移策略的应用，具体步骤为下：

为了解决样本量小、姿态非完备情况下的目标识别问题，本发明采用预训练的方法将归纳式迁移学习策略引入深度学习。首先通过使用大量较为完备的仿真数据对原深度网络进行预训练，再用少量非完备的真实信号数据对该网络进行微调，以达到知识迁移的效果，即将仿真数据中存在着的高分辨距离像信号判别知识迁移至非完备的真实数据中，有效提升模型在非完备目标上的识别性能。微调的具体做法是先将网络最后一层替换为与真实样本类别数一致的神经元层，再固定网络的前三层，只微调网络的高层参数，即用较小的学习率，这是由于网络的低层特征具有普适性，而高层特征则更具可迁移性[2]。

本发明归纳式深度迁移方法的主要思路如图1所示，从源域的辅助仿真数据中获取目标信息，将其迁移至目标域中的真实数据，其中实线表示完备的数据，虚线表示有部分数据是无法获取的，即是非完备的。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明技术方案中步骤3)，即归纳式迁移学习的方法，作进一步地详细描述：

本文将采用预训练的方法将归纳式迁移学习方法引入深度学习，通过使用较为完备的仿真数据对预训练得到的深度网络进训练达到迁移知识的效果。虽然仿真数据与真实数据的形态有着很大的不同，但是两者都同属于HRRP数据，完备的仿真数据中存在着HRRP信号的判别模式，通过归纳式迁移学习的方法，这些判别模式可以作为知识被迁移至非完备的真实数据中。

通常源域是有标的辅助数据，而目标域是有着少量标签的目标数据。因此本文将实际应用中容易获得的完备仿真HRRP数据定义为源域数据，将真实非完备HRRP数据定义为目标域数据。其目标是将作为源域的仿真数据中的相关知识引入目标域中，提高作为目标域的非完备真实HRRP数据的识别性能。

本文使用的具体预训练步骤如下：

第一步：本文将使用多种不同目标的完备仿真数据对深度网络进行预训练，使得网络在能够较好的分辨仿真HRRP目标数据后停止训练。

第二步：将网络最后一层替换为与真实样本类别数一致的神经元层，并联合之前各层微调网络。例如，仿真数据为10类的A类目标，真实数据为3类B类目标，首先使用一个十分类的深度网络对10类舰船目标数据进行训练，之后将网络最后一层的10个神经元的层换做3个神经元的层，并将这个替换层与之前训练好的所有其他层共同使用真实数据训练直到网络收敛。

已经有学者将深度学习直接应用于完备高分辨距离像的识别问题中[3]，但是直接将其应用到非完备高分辨距离像识别问题仅能得到较差的性能，并且深度学习中一些成熟的技巧，在该问题上还可能起到反向效果，如批归一化等。

本发明的实验效果如图2所示，该可视化效果是通过主成分分析(PrincipalComponent Analysis，PCA)分别对测试集中原始数据、基本卷积神经网络最后特征层和归纳式迁移学习最后特征层进行降维得到的。其中，三个不同标签分别代表目标域(非完备库)测试集中的三种不同型号的目标，其中标签2和标签1分别为非完备库的两类目标，标签0为完备库的一类目标。从图(a)、(b)，即原始数据和未经过预训练的基本卷积神经网络后的最后一层特征的分布来看，三种目标的特征之间存在明显较大的混杂区域，这也说明，直接通过该数据特征很难通过分类器得到正确的分类结果。而通过归纳式迁移学习后(图(c))，由于引入了源域(仿真数据及完备库)的领域信息后，目标域的不同类型数据的特征分布可以被有效地解耦开来，数据分布更加清晰。综合以上的分析可以得到结论：相似目标判别性能不佳，更多的可能是特征提取机制的不完善，网络本身没有受到足够的监督信息训练，使得网络本身对目标的抽象能力不强，对相似的目标无法有效判别。因此，当非完备库与完备库差别较小而辨识效果不佳时，使用归纳式迁移的方法，利用更多的辅助数据训练网络，同时使网络在真实数据训练之前获得了一个更好的初始值，可以为系统带来明显的性能提升。

本发明的创新点包括：(1)将深度学习应用于非完备雷达高分辨距离像识别。本发明从模型结构，算法参数初始化，以及深度学习技巧等多个方面寻求适合非完备的雷达高分辨距离像识别的方案，并取得了较好的效果。(2)将仿真的高分辨距离像数据用于提高非完备高分辨距离像目标识别性能。真实的高分辨距离像数据获取相对于仿真高分辨距离像数据难度大的多，采用归纳式迁移学习的方式，将仿真数据用于深度模型的预训练，将一些仿真高分辨距离像数据中隐含的判别信息引入真实数据的判别模型中，提升其在数据非完备时的特征表达能力，达到提升对非完备高分辨距离像信号识别性能的效果。

Claims (2)

1.基于深度迁移学习的归纳式雷达高分辨距离像识别方法，其特征在于包括以下步骤：

1)真实目标信号与辅助仿真数据的预处理；

2)深度模型的选择及优化，具体方法如下：

第一步：构建具有局部感受野、权重共享、多卷积核以及池化特点的多层卷积神经网络，所述多层卷积神经网络仿照AlexNet设计五个卷积层以及包括分类器在内的三个全连接层，每两个卷积层之间有最大池化的操作，增加特征的平移、旋转不变性，降低特征维度，提高特征的鲁棒性和模型的泛化能力；

第二步：采用经典而有效的标准正态分布初始化方法，即使用均值为0，标准差为1的正态分布随机生成参数作为网络卷积核的初始化，并使用大于0小于1的小数随机生成参数作为网络偏置的初始化；

第三步：在卷积神经网络的基础上加入正则化约束：Drop-out和L2范数；其中Drop-out是通过在网络训练时随机地以一定概率屏蔽或“删除”神经元，在测试时使用整个网络进行处理，达到多个网络模型共同集合判决的效果；L2范数是通过在原始代价函数后加上一个参数惩罚项，降低模型复杂度，防止过拟合：

其中，λ为正则项系数，m为批量输入的样本大小，w为网络的参数，系数

主要是为后面求导方便，L₀为原始代价函数，定义其为交叉熵损失函数：

其中，h_w(x_i)表示单个输入样本x_i经过网络的非线性映射后得到的预测结果，y_i则为其真实的标签信息；

3)深度迁移学习中归纳式迁移策略的应用，具体方法如下：

采用预训练的方法将归纳式迁移学习策略引入深度学习，首先通过使用大量较为完备的仿真数据对原深度网络进行预训练，再用少量非完备的真实信号数据对该网络进行微调，以达到知识迁移的效果，即将仿真数据中存在着的高分辨距离像信号判别知识迁移至非完备的真实数据中，有效提升模型在非完备目标上的识别性能；微调的具体做法是先将网络最后一层替换为与真实样本类别数一致的神经元层，再固定网络的前三层，只微调网络的高层参数。

2.如权利要求1所述基于深度迁移学习的归纳式雷达高分辨距离像识别方法，其特征在于在步骤1)中，所述真实目标信号与辅助仿真数据的预处理的具体步骤如下：

第一步：对雷达高分辨距离像信号数据进行归一化：

其中，x为原始的一维雷达高分辨距离像信号，ave(max₅(x))和ave(min₅(x))分别为取其帧内五个最大值和最小值的平方，x^*为归一化后的信号数据；

第二步：对真实信号的边缘部分进行统计，并根据分布特性生成拼接于仿真数据目标周围的噪点，使维度与真实雷达高分辨距离像一致。

Images