CN112926547A - 飞行器电信号分类和识别的小样本迁移学习方法 - Google Patents

Abstract

本发明涉及一种飞行器小样本电信号分类识别的迁移学习方法,包括：将源域信号进行采集与传输(102)，送入特征提取基础模块源域多尺度残差卷积模块(103)和源域最大池化层(104)，将基础模块中的参数送入目标域的多尺度残差卷积模块(110)和目标域的最大池化层(111)，在训练过程中目标域的全局平均池化层(112)，目标域的随机丢弃层(113)和目标域的全连接层(114)均要进行反向传播更新网络参数(217)，直到迭代步数更新满足目标域迭代步数判断模块条件(220)，从而结束训练(221)。通过该方法，有效解决了实际测试过程中小样本数据的深度学习问题，显著提升了飞行器信号分类和识别的准确率。

Description

飞行器电信号分类和识别的小样本迁移学习方法

技术领域

本发明涉及一种飞行器电信号分类和识别的小样本迁移学习方法，可应用于小样本信号的分类识别。

背景技术

在航空航天领域的一些领域,小样本学习是深度学习领域中的一个重要前沿方向。由于深度学习依赖于大量标记数据，对飞行器进行实测实验的时间和金钱成本极高，且无法采集得到大量的数据，数据标记工作依赖于人工标注；若进行仿真实验，获取的数据准确性也难以得到保证，所以深度学习容易出现过拟合现象且难以提取到足够多的特征。然而，小样本迁移学习可有效解决样本数据量问题并且避免过拟合现象，可利用少量标注样本提取高质量数据特征从而达到信号分类识别的目的。小样本迁移学习的特性受到各个领域的广泛认同，将成为未来小样本信号分类识别的重要技术方法。

发明内容

现有技术的飞行器信号识别与分类方法中的传统机器学习算法存在着局限性，即无法对飞行器的小样本电信号进行分类识别与研究。而在飞行器电信号数据库中，除了经过专家标注过的大数据集之外，还存在着许多标注数据样本少、数据复杂的高维度电信号数据。

本发明提供了一种基于残差膨胀卷积网络算法的小样本飞行器电信号分类识别的迁移学习方法，采用以残差膨胀卷积神经网络为基础的迁移学习模型，对小样本数据进行分类。本发明提出的迁移学习方法能对网络中模型参数进行迁移，即可以把源域(源域应是一个数据量相对较大，且在数据形式和内容上与目标域数据集有所近似的数据集)模型中获取的特征提取能力，迁移到目标域(目标域是一个标注数据样本量少的电信号数据集)模型的分类当中，具有较好的抗过拟合能力，具有对小样本信号的分类识别能力。

本发明通过残差膨胀卷积网络的迁移学习模型构建与训练方法，克服传统机器学习方法对于高维度、小样本复杂数据处理难度大的问题，提高了特征提取能力上和泛化能力。

根据本发明的一个方面，提供了一种飞行器电信号分类和识别的小样本迁移学习方法，其特征在于包括：

把源域信号送入源域多尺度残差卷积模块，从源域信号提取到源域样本的特征图；

再把源域多尺度残差卷积模块得到的特征图送入源域最大池化层，以提高计算速度和特征图的鲁棒性；其中，源域多尺度残差卷积模块与源域最大池化层属于特征提取的基础模块，基础模块的数目根据样本数据的差异而设置；

把提取的源域样本的特征送入源域全局平均池化层，以防止网络过拟合；

再把源域全局平均池化层得到的每个通道的特征图均值传入到源域随机丢弃层，从而通过随机丢弃部分参数达到防止过拟合的目的，其中源域随机丢弃层的公式如下：

x^l＝random_p(x^l-1) (1)

其中，p(x^l-1)为丢弃x^l-1的概率，random表示为随机行为，x是源域数据样本，l是随机丢弃的层数；

然后把经过源域随机丢弃层后的激活单元送入源域全连接层，将分布式特征映射到样本标记空间，公式如下：

x^l＝f(u^l)

u^l＝w^lx^l-1+b^l

其中，u^l为全连接层线性输出的中间量，它等于前一层输出特征图x^l-1与全连接层的权重矩阵w^l相乘然后与偏差相加，w^l为全连接层的权重矩阵，b^l为全连接层的偏差矩阵；最后得到源域样本分类结果；其中，u为输出，w权重，b是偏差，f代表映射函数；

进行源域网络模型训练，

当源域网络模型训练结束后，将基础模块的源域多尺度残差卷积模块与最大池化层中的网络参数与目标域信号一起传输；

随后，把源域网络模型中的基础模块中的数据迁移传入目标域的多尺度残差卷积模块和目标域的最大值池化层；其中，在源域网络模型训练过程中，目标域的多尺度残差卷积模块和目标域的最大值池化层的参数被冻结，并且这些参数不参与反向传播过程中的参数更新；

然后，将目标域的最大值池化层得到的每个通道特征图最大值传入到目标域全局平均池化层，再将目标域全局平均池化层得到的每个通道特征图平均值送入目标域的随机丢弃层，再将经过目标域的随机丢弃层的激活单元激活函数控制输出送到目标域的全连接层，这些包括神经元网络的权重的参数将进行随机初始化，并在反向传播过程中实时更新，最终得到目标域的分类结果，

其中，源域网络模型训练包括：

首先将源域网络模型的参数初始化，并且设定迭代步数s＝0，

进行一轮训练，

输入源域的批量样本，

通过前向传播计算网络输出，

利用源域损失函数进行计算，

其中，用交叉熵函数作为损失函数，衡量在给定的真实分布下使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力大小，交叉熵损失函数被表示为：

其中，

为根据标签分类器所求出的计算标签；y_n是飞行器信号的真实标签，n为索引的类别，

之后，利用损失函数进行反向传播更新网络参数，把源域样本数目送入源域数据集判断模块，

判断是否遍历源域训练集，若“否”则返回输入源域批量样本，若“是”则迭代步数更新s＝s+1，

再把迭代步数s送入迭代判断模块，

再进行判断，若迭代步数s>＝源域总迭代参数E则复制保存源域网络参数，若迭代步数s<源域总迭代参数E则返回一轮训练，

当复制保存源域网络参数后，采用源域网络参数初始化目标域网络模型参数并重新设置迭代步数s＝0，

在目标源网络中进行一轮训练，

输入目标域批量样本，

在目标源网络中前向传播计算输出，

再重新计算目标域损失函数，

在目标域网络中反向传播更新网络参数，

把目标域样本数目送入目标域数据集判断模块，判断是否遍历目标域训练集，若“否”则返回输入目标域批量样本，若“是”则迭代步数更新s＝s+1，

随后，再把迭代步数s送入目标域迭代判断模块，若“迭代步数s>＝目标域域总迭代参数T”则结束训练，若“迭代步数s<目标域总迭代参数T”则返回目标域一轮训练。

本发明的优点包括：

本发明中的基于残差神经网络的飞行器电信号分类和识别方法克服了现有飞行器信号分类和识别方法存在的信号尺度识别局限问题，有效解决了小样本数据过拟合、梯度消失、目标域与源域之间特征泛化等问题，显著提升了小样本飞行器电信号分类和识别的准确率。

附图说明

图1显示了根据本发明的一个实施例的小样本飞行器电信号迁移学习的分类与识别方法的流程图，

图2显示了根据本发明的一个实施例的小样本飞行器电信号迁移学习的分类与识别方法的训练流程图。

具体实施方式

如图1所示，根据本发明的一个实施例的飞行器电信号分类和识别的小样本迁移学习方法包括：

当小样本飞行器电信号进行分类与识别时(101)，首先将源域信号进行采集与传输(102)，把源域信号送入源域多尺度残差卷积模块(103)，从源域信号提取到源域样本的特征图；

再把源域多尺度残差卷积模块(103)得到的特征图送入源域最大池化层(104)，以提高计算速度和特征图的鲁棒性；其中，源域多尺度残差卷积模块(103)与源域最大池化层(104)属于特征提取的基础模块，可以根据样本数据的差异，设置不同数目的基础模块；在图1中设置的基础模块数目为1；

把提取的源域特征送入源域全局平均池化层(105)，以防止网络过拟合；

再把源域全局平均池化层(105)得到的每个通道的特征图均值传入到源域随机丢弃层，从而通过随机丢弃部分参数达到防止过拟合的目的，其中源域随机丢弃层(106)的公式如下：

x^l＝random_p(x^l-1) (1)

其中，p(x^l-1)为丢弃x^l-1的概率，random表示为随机行为。x是源域数据样本，l是随机丢弃的层数。

然后把经过源域随机丢弃层(106)后的激活单元送入源域全连接层(107)，将分布式特征映射到样本标记空间，公式如下：

x^l＝f(u^l) (2)

u^l＝w^lx^l-1+b^l (3)

其中，u^l为全连接层线性输出的中间量，它等于前一层输出特征图x^l-1与全连接层的权重矩阵w^l相乘然后与偏差相加，w^l为全连接层的权重矩阵，b^l为全连接层的偏差矩阵；最后得到源域样本分类结果(108)；其中，u为输出，w权重，b是偏差，f代表映射函数。

当源域网络模型训练结束后，将基础模块的多尺度残差卷积模块(103)与最大池化层(104)中的网络参数与目标域信号一起传输(109)；

随后，把源域网络模型中的基础模块中的数据迁移传入目标域的多尺度残差卷积模块(110)和目标域的最大值池化层(111)；其中，在源域网络模型训练过程中，目标域的多尺度残差卷积模块(110)和目标域的最大值池化层(111)的参数被冻结，并且这些参数不参与反向传播过程(训练过程)中的参数更新；

然后，将目标域最大值池化层(111)得到的每个通道特征图最大值传入到目标域全局平均池化层(112)，再将目标域全局平均池化层(112)得到的每个通道特征图平均值送入目标域的随机丢弃层(113)，再将经过目标域的随机丢弃层(113)的激活单元激活函数控制输出送到目标域的全连接层(114)，这些参数(神经元网络的权重)将进行随机初始化，并在反向传播过程中实时更新，最终得到目标域的分类结果(115)。

在根据本发明的一个实施例中，整体训练过程采用Adam训练方法进行训练，使参数的更新过程效率更高、鲁棒性更强。在一个具体实施例中，训练的学习率设定为0.001，Adam优化器的超参数β₁和β₂分别设置为0.9和0.999；在随机丢弃策略中，源域模型和目标域模型的随机丢弃概率均被设定为0.5。

根据本发明的一个实施例的飞行器小样本信号迁移学习分类与识别方法的训练流程图如图(2)所示，其中：

当飞行器小样本信号进行迁移学习训练时(201)，首先将源域网络模型的参数初始化，并且设定迭代步数s＝0(202)。经过一轮训练(203)，先输入源域的批量样本(204)，通过前向传播计算网络输出(205)，利用源域损失函数计算(206)。在实际的多分类问题中，常用交叉熵函数作为损失函数，衡量在给定的真实分布下使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力大小，并且可以在一定程度上减少梯度消散。标准的交叉熵损失函数可表示为：

其中，

为根据标签分类器所求出的计算标签；y_n是飞行器信号的真实标签，n为索引的类别。

之后，利用损失函数进行反向传播更新网络参数(207)，把源域样本数目送入源域数据集判断模块；

判断是否遍历源域训练集(208)，若否，则返回输入源域批量样本(204)；若是，则迭代步数更新s＝s+1(209)，再把迭代步数s送入迭代判断模块(210)；再进行判断，若迭代步数s>＝源域总迭代参数E(例如，＝50轮)，则复制保存源域网络参数(211)，以方便迁移；若迭代步数s<源域总迭代参数E，则返回一轮训练(203)。

当复制保存源域网络参数(211)后，采用源域网络参数初始化目标域网络模型参数(212)并重新设置迭代步数s＝0，在目标源网络中进行一轮训练(213)，输入目标域批量样本(214)，在目标源网络中前向传播计算输出(215)，再重新计算目标域损失函数(216)，在目标域网络中反向传播更新网络参数(217)；把目标域样本数目送入目标域数据集判断模块，判断是否遍历目标域训练集(218)，若否，则返回输入目标域批量样本(214)；若是，则迭代步数更新s＝s+1(219)；

随后，再把迭代步数s送入目标域迭代判断模块(220)，若判定迭代步数s>＝目标域域总迭代参数T，则结束训练(221)；若迭代步数s<目标域总迭代参数T，则返回目标域一轮训练(213)。

根据本发明的一个实施例，在利用源域数据的训练过程中，采用分批次训练的方法，每批大小为128。在一个具体的实施例中，为保证模型充分训练，针对源域模型进行E＝50轮的训练；针对目标域模型，进行T＝1500轮的参数更新。

根据本发明的飞行器小样本信号识别与分类的迁移学习方法的优点和有益效果包括：

1)具有很好的鲁棒性及普适性；

2)采用了迁移学习，通过共享参数，有效解决了跨域样本的特征特征泛化问题，使得模型的泛化能力提高；

3)显著提升了飞行器小样本信号的分类和识别准确率，为飞行器健康管理策略的核心故障识别做出了卓越贡献。

Claims (4)

1.飞行器电信号分类和识别的小样本迁移学习方法，其特征在于包括：

把源域信号送入源域多尺度残差卷积模块(103)，从源域信号提取到源域样本的特征图；

再把源域多尺度残差卷积模块(103)得到的特征图送入源域最大池化层(104)，以提高计算速度和特征图的鲁棒性；其中，源域多尺度残差卷积模块(103)与源域最大池化层(104)属于特征提取的基础模块，基础模块的数目根据样本数据的差异而设置；

把提取的源域样本的特征送入源域全局平均池化层(105)，以防止网络过拟合；

再把源域全局平均池化层(105)得到的每个通道的特征图均值传入到源域随机丢弃层(106)，从而通过随机丢弃部分参数达到防止过拟合的目的，其中源域随机丢弃层(106)的公式如下：

x^l＝random_p(x^l-1) (1)

其中，p(x^l-1)为丢弃x^l-1的概率，random表示为随机行为，x是源域数据样本，l是随机丢弃的层数；

然后把经过源域随机丢弃层(106)后的激活单元送入源域全连接层(107)，将分布式特征映射到样本标记空间，公式如下：

x^l＝f(u^l)

u^l＝w^lx^l-1+b^l

其中，u^l为全连接层线性输出的中间量，它等于前一层输出特征图x^l-1与全连接层的权重矩阵w^l相乘然后与偏差相加，w^l为全连接层的权重矩阵，b^l为全连接层的偏差矩阵；最后得到源域样本分类结果(108)；其中，u为输出，w权重，b是偏差，f代表映射函数；

进行源域网络模型训练，

当源域网络模型训练结束后，将基础模块的源域多尺度残差卷积模块(103)与最大池化层(104)中的网络参数与目标域信号一起传输(109)；

随后，把源域网络模型中的基础模块中的数据迁移传入目标域的多尺度残差卷积模块(110)和目标域的最大值池化层(111)；其中，在源域网络模型训练过程中，目标域的多尺度残差卷积模块(110)和目标域的最大值池化层(111)的参数被冻结，并且这些参数不参与反向传播过程中的参数更新；

然后，将目标域的最大值池化层(111)得到的每个通道特征图最大值传入到目标域全局平均池化层(112)，再将目标域全局平均池化层(112)得到的每个通道特征图平均值送入目标域的随机丢弃层(113)，再将经过目标域的随机丢弃层(113)的激活单元激活函数控制输出送到目标域的全连接层(114)，这些包括神经元网络的权重的参数将进行随机初始化，并在反向传播过程中实时更新，最终得到目标域的分类结果(115)，

其中，源域网络模型训练包括：

首先将源域网络模型的参数初始化，并且设定迭代步数s＝0(202)，

进行一轮训练(203)，

输入源域的批量样本(204)，

通过前向传播计算网络输出(205)，

利用源域损失函数进行计算(206)，

其中，用交叉熵函数作为损失函数，衡量在给定的真实分布下使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力大小，交叉熵损失函数被表示为：

其中，

为根据标签分类器所求出的计算标签；y_n是飞行器信号的真实标签，n为索引的类别，

之后，利用损失函数进行反向传播更新网络参数(207)，把源域样本数目送入源域数据集判断模块，

判断是否遍历源域训练集(208)，若“否”则返回输入源域批量样本(204)，若“是”则迭代步数更新s＝s+1(209)，

再把迭代步数s送入迭代判断模块(210)，

再进行判断，若迭代步数s>＝源域总迭代参数E则复制保存源域网络参数(211)，若迭代步数s<源域总迭代参数E则返回一轮训练(203)，

当复制保存源域网络参数(211)后，采用源域网络参数初始化目标域网络模型参数(212)并重新设置迭代步数s＝0，

在目标源网络中进行一轮训练(213)，

输入目标域批量样本(214)，

在目标源网络中前向传播计算输出(215)，

再重新计算目标域损失函数(216)，

在目标域网络中反向传播更新网络参数(217)，

把目标域样本数目送入目标域数据集判断模块，判断是否遍历目标域训练集(218)，若“否”则返回输入目标域批量样本(214)，若“是”则迭代步数更新s＝s+1(219)，

随后，再把迭代步数s送入目标域迭代判断模块(220)，若“迭代步数s>＝目标域域总迭代参数T”则结束训练(221)，若“迭代步数s<目标域总迭代参数T”则返回目标域一轮训练(213)。

2.根据权利要求1所述的飞行器电信号分类和识别的小样本迁移学习方法，其特征在于：

所述批量样本每批大小为128。

3.根据权利要求1所述的飞行器电信号分类和识别的小样本迁移学习方法，其特征在于：

E＝50；且T＝1500。

4.存储有计算机程序的存储介质，该计算机程序能使处理器执行根据权利要求1-3之一所述的小样本迁移学习方法。

Images