CN111210000A

CN111210000A - 一种基于固定特征的调制信号增量学习方法

Info

Publication number: CN111210000A
Application number: CN201911308576.3A
Authority: CN
Inventors: 宣琦; 缪永彪; 陈晋音; 翔云
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2019-12-18
Filing date: 2019-12-18
Publication date: 2020-05-29
Anticipated expiration: 2039-12-18
Also published as: CN111210000B

Abstract

一种基于固定特征的调制信号增量学习方法，包括以下步骤：S1构造以64层LSTM网络层结构为模型的主干网络，数据集更新方式采用代表性记忆方法；S2损失函数为交叉熵和知识蒸馏函数，缓解灾难性遗忘问题；S3训练方式采用任务相关的门机制训练LSTM模型；S4重载上一增量阶段训练的最佳模型，重复步骤S2～S3，评估在所有测试集上的性能，直到训练完所有增量数据。本发明使得特征不再受到增量任务的影响而变化，从而保证后续的再利用，具有较高的实用价值。

Description

一种基于固定特征的调制信号增量学习方法

技术领域

本发明涉及知识蒸馏(Knowledge Distillation)技术和代表性记忆(RepresentativeMemory)方法，利用任务相关的门机制(Task-Dependent Gating)的技巧，在缓解增量学习中的灾难性遗忘问题的同时，并且固定在各个增量阶段中提取的特征，从而在原有数据集上的实现高效的调制信号增量学习以及保证特征的再利用性。

背景技术

近年来，深度学习正在取得重大进展，解决了多年来人工智能领域未能尽最大努力解决的问题。它已被证明擅长发现高维数据中的复杂结构，因此可以应用于科学、商业和政府等领域。深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其它相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

深度神经网络(Deep Neural Networks,DNNs)通过学习数据集中的知识，从而训练出一个模型能够在当前任务下实现特征提取和分类识别，但是各个领域的任务大不相同，即使对模型的参数空间稍作修改都会对模型输出产生极大的影响。实际应用场景中，数据集都是随着时间逐步收集的。所以，学习任务通常被划分为多个阶段，称之为增量学习(Incremental Learning)。传统的学习策略应用于增量学习会造成在新任务识别能力很高的同时，旧任务上的识别能力大幅度下降。这就是DCNN增量训练的另一个难题——灾难性遗忘问题，可参考文献1(I.J.Goodfellow,M.Mirza,D.Xiao,A.Courville,and Y.Bengio.“An empirical investigation of catastrophic forgetting in gradient-basedneural networks.”arXiv preprint arXiv:1312.6211,2013,即I.J.Goodfellow,M.Mirza,D.Xiao,A.Courville,and Y.Bengio.基于梯度的神经网络中灾难性遗忘的证实研究.arXiv preprint arXiv:1312.6211,2013)。由于新的数据被输入DNNs时，旧的数据就不会被再训练，从而模型会遗忘之前的学习任务。

近年来在增量学习方面取得了较大进展，例如iCaRL，它是目前计算机视觉领域最先进的类别增量学习方法。它将深度学习与k近邻相结合，利用深度学习提取每个数据点的高级特征表示，并将k近邻作为最终分类器。在分类过程中，它使用属于该类的所有训练数据(或保留的示例)计算某个类的平均数据表示，为测试数据找到最近的类别的平均表征，并相应地分配类标签。为了在类数量急剧增加时减少内存占用，该方法为每个类维护一个示例集。为了构造示例，它选择那些最接近该类的平均表示的数据点。通过新旧数据的结合，避免了灾难性遗忘，可参考文献2(Rebuffi,S.,Kolesnikov,A.,and Lampert,C.H.(2016).“iCaRL:Incremental classifier and representation learning.”CoRR,abs/1611.07725,即Rebuffi,S.,Kolesnikov,A.,and Lampert,C.H.(2016).iCaRL:增量分类器和表示学习CoRR,abs/1611.07725)。尽管该方法在一部分数据集上的性能令人印象深刻，但它在生物信息学数据集上的效果却急剧下降，说明这种方法缺乏泛化性。PathNet通过一个神经网络进化出一组路径，该神经网络支撑和引导任何期望的基于梯度的学习算法，使其指向有限的神经网络参数子集，然后在学习后修复这些参数，这样功能就不会丢失；它类似于渐进式神经网络，通过设计来防止灾难性遗忘，可参考文献3(Fernando C,Banarse D,Blundell C,et al.Pathnet:Evolution channels gradient descent in super neuralnetworks[J].arXiv preprint arXiv:1701.08734,2017,即Fernando C,Banarse D,Blundell C,et al.Pathnet:超神经网络中的进化通道梯度下降arXiv preprint arXiv:1701.08734,2017)。

在当前社会的大数据背景下，很多个人用户或者中小企业不能承担大型分布式计算集群的费用。增量学习作为一种减少对计算开销时间和系统内存依赖的有效手段，在经济社会的发展中起着重要的作用，需要对增量学习方法进行更深入和更广泛的研究。

发明内容

为了解决实际应用场景下深度模型对动态变化的数据集进行训练的问题，减小对分布式计算系统的依赖，并且节省大量的计算开销和系统内存，本发明提出以64层长短期记忆(Long Short Term Memory,LSTM)网络为基础，通过引入知识蒸馏技术和代表性记忆方法，利用任务相关的门机制技巧，缓解了灾难性遗忘问题，提高了增量学习的性能。这种增量学习方法适应了实际应用场景的需求，在人工智能领域具有重要的研究和应用价值。

本发明实现上述发明目的所采用的技术方案为：

一种基于固定特征的调制信号增量学习方法，包括以下步骤：

S1：构造以64层LSTM网络层结构为模型的主干网络，用于识别增量阶段任务中出现的新旧类别，数据集更新方式采用代表性记忆方法，即预定义的超参数K用于固定系统内存中保存的旧类别数据的数目，从而联合新数据训练LSTM模型；

S2：LSTM模型采用Adam训练优化器，同时，基础分类损失函数是交叉熵(CrossEntropy)损失函数，LSTM引入知识蒸馏损失函数，帮助新模型学习旧类别中的知识，缓解灾难性遗忘问题；

S3：训练方式采用任务相关的门机制，门机制是为每一个增量任务分配单独的隐藏层神经元，这些神经元仅仅在当前增量任务进行参数更新，并且每一个增量任务的神经元都不共用，在测试阶段，激活特定增量任务的神经元，从而获得固定的类别特征；

S4：重载上一增量阶段训练的最佳模型，重复S2～S3步骤，评估在所有测试集上的性能，直到训练完所有增量数据。

进一步，所述步骤S1中，构造以64层LSTM网络层结构为模型的主干网络，用于识别信号数据集，数据集更新方式采用代表性记忆方法，即预定义的超参数K用于固定系统内存中保存的旧类别数据的数目，从而联合新数据训练LSTM模型：内存中的每一类数据的数目都相同；每次增量训练结束后，随机删除内存中每一类的旧数据，为新到来的数据预留存储空间，动态修正向量用于训练过程中统计模型训练的数据类别，防止模型在预测阶段过多偏向于数据较多的类别。

再进一步，所述步骤S2中，LSTM引入知识蒸馏具体来说，在每一个增量步骤中，教师模型是前一个增量步骤中完全训练过的学生模型，而学生模型是当前步骤的更新模型，假设F(x_i)是教师模型在i增量步骤中预测的输入x_i的概率分布，G(x_i)是学生模型的softmax层的输出，随着分类类别数目的增长，存储在每个类的代表性内存中的样本会减少。为了解决这个问题，学生模型可以从教师模型中学习已有的知识；

概率标签由教师模型的分类层计算得到，训练数据有两个标签，分别是概率标签和真实标签，每个样本的概率标签与类的尺寸相同，为了计算F(x_i)和G(x_i)之间的距离，使用Kullback-LeiblerDivergence作为知识提取过程中的损失函数，与常用的交叉熵损失相比，Kullback-LeiblerDivergence损失较小，有利于超参数的调整，通过最小化蒸馏损失，学生模型可以从教师模型中获得足够的信息，知识蒸馏损失函数

的定义如下:

上式中T是将概率标签提升到指数1/T的温度参数，参数T可以强化训练模型中已有的知识。特别是当T＝1时，知识蒸馏损失函数退化为分类损失函数，当温度值大于0.9时，得分较低的等级对结果的影响更小，当T>1时，得分高的类对损失的影响较小，而得分低的类对损失的影响较大，温度参数迫使网络更加关注细粒度分离，通过知识蒸馏，网络可以有选择地学习更加鲁棒的特征。

再进一步，所述步骤S3中，训练方式采用任务相关的门机制，门机制是为每一个增量任务分配单独的隐藏层神经元，这些神经元仅仅在当前增量任务进行参数更新，并且每一个增量任务的神经元都不共用，任务相关的门机制可以减轻训练了大量增量任务的神经网络的灾难性遗忘，当任务之间的输入统计信息不同，并且输出域保持不变时，更重要的是，当任务之间的输入域和输出域不同时，此方法同样有效，在测试阶段，激活特定增量任务的神经元，从而获得固定的类别特征。

实验中采用DeepSig团队的调制信号数据集。数据集取前10类调制信号，信噪比范围取10db-18db。每次增量步长设置为2，即一共有5次增量任务，每次增量训练结束后计算增量精度(Accuracy)以及特征变化率(Rate)，表1为调制信号数据的固定特征增量学习。

	0-1	2-3	4-5	6-7	8-9
						Accuracy	99.9％	99.3％	98.7％	98.1％	97.3％
Rate	-	0％	0％	0％	0％

表1

本发明的技术构思为：鉴于实际生活中数据集都是动态变化的，为了解决深度模型对动态变化的数据集进行训练的问题，减小对分布式计算系统的依赖，并且节省大量的计算开销和系统内存，本发明提出以64层LSTM网络为基础，通过引入知识蒸馏技术和代表性记忆方法，利用任务相关的门机制技巧，缓解了灾难性遗忘问题，提高了增量学习的性能，并且维持了特征的不变性。这种增量学习方法适应了实际应用场景的需求，在人工智能领域具有重要的研究和应用价值。

与现有的技术相比，本发明的有益效果是：与传统的增量学习方法相比，本发明大大节省了计算开销和对系统内存的依赖，并结合知识蒸馏和任务相关的门机制，成功缓解了增量学习中的灾难性遗忘问题，并且固定了新旧类别的特征。

附图说明

图1为构建64层LSTM的训练的流程图。

图2为任务相关的门机制的流程图。

图3为基于固定特征的调制信号增量学习方法的流程图。

具体实施方式

下面结合说明书附图对本发明做进一步说明。

参照图1～图3，一种基于固定特征的调制信号增量学习方法，解决了深度模型对动态变化的数据集进行训练的问题，减小对分布式计算系统的依赖，并且节省大量的计算开销和系统内存，本发明提出以64层LSTM网络为基础，通过引入知识蒸馏技术和代表性记忆方法，利用任务相关的门机制技巧，缓解了灾难性遗忘问题，提高了增量学习的性能，并且维持了特征的不变性。

本发明包括以下步骤：

再进一步，所述步骤S2中，LSTM引入知识蒸馏具体来说，在每一个增量步骤中，教师模型是前一个增量步骤中完全训练过的学生模型，而学生模型是当前步骤的更新模型，假设F(x_i)是教师模型在i增量步骤中预测的输入x_i的概率分布。G(x_i)是学生模型的softmax层的输出，随着分类类别数目的增长，存储在每个类的代表性内存中的样本会减少，为了解决这个问题，学生模型可以从教师模型中学习已有的知识；

的定义如下:

上式中T是将概率标签提升到指数1/T的温度参数，参数T可以强化训练模型中已有的知识。特别是当T＝1时，知识蒸馏损失函数退化为分类损失函数，当温度值大于0.9时，得分较低的等级对结果的影响更小。当T>1时，得分高的类对损失的影响较小，而得分低的类对损失的影响较大，因此，温度参数迫使网络更加关注细粒度分离，通过知识蒸馏，网络可以有选择地学习更加鲁棒的特征。

综上所述，本发明提出以64层LSTM网络层结构为模型的主干网络，通过引入知识蒸馏技术和代表性记忆方法，利用任务相关的门机制技巧，缓解了灾难性遗忘问题，提高了增量学习的性能，并且维持了特征的不变性，有效地提高了实际应用价值，扩大了应用领域。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims

1.一种基于固定特征的调制信号增量学习方法，其特征在于，所述方法包括如下步骤：

2.如权利要求1所述的一种基于固定特征的调制信号增量学习方法，其特征在于：所述步骤S1中，构造以64层LSTM网络层结构为模型的主干网络，用于识别信号数据集，数据集更新方式采用代表性记忆方法，即预定义的超参数K用于固定系统内存中保存的旧类别数据的数目，从而联合新数据训练LSTM模型：内存中的每一类数据的数目都相同；每次增量训练结束后，随机删除内存中每一类的旧数据，为新到来的数据预留存储空间，动态修正向量用于训练过程中统计模型训练的数据类别，防止模型在预测阶段过多偏向于数据较多的类别。

3.如权利要求1或2所述的一种基于固定特征的调制信号增量学习方法，其特征在于：所述步骤S2中，LSTM引入知识蒸馏，在每一个增量步骤中，教师模型是前一个增量步骤中完全训练过的学生模型。而学生模型是当前步骤的更新模型，假设F(x_i)是教师模型在i增量步骤中预测的输入x_i的概率分布，G(x_i)是学生模型的softmax层的输出，随着分类类别数目的增长，存储在每个类的代表性内存中的样本会减少。为了解决这个问题，学生模型可以从教师模型中学习已有的知识；

概率标签由教师模型的分类层计算得到，训练数据有两个标签，分别是概率标签和真实标签，每个样本的概率标签与类的尺寸相同，为了计算F(x_i)和G(x_i)之间的距离，使用Kullback-Leibler Divergence作为知识提取过程中的损失函数，通过最小化蒸馏损失，学生模型可以从教师模型中获得足够的信息，知识蒸馏损失函数

的定义如下:

4.如权利要求1或2所述的一种基于固定特征的调制信号增量学习方法，其特征在于：所述步骤S3中，训练方式采用任务相关的门机制，门机制是为每一个增量任务分配单独的隐藏层神经元，这些神经元仅仅在当前增量任务进行参数更新，并且每一个增量任务的神经元都不共用，任务相关的门机制可以减轻训练了大量增量任务的神经网络的灾难性遗忘，当任务之间的输入统计信息不同，并且输出域保持不变时，更重要的是，当任务之间的输入域和输出域不同时，此方法同样有效，在测试阶段，激活特定增量任务的神经元，从而获得固定的类别特征。