CN109102005B

CN109102005B - 基于浅层模型知识迁移的小样本深度学习方法

Info

Publication number: CN109102005B
Application number: CN201810812756.4A
Authority: CN
Inventors: 张敬; 田婧; 张德清; 杨明月; 徐晓滨; 刘伟峰; 文成林
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2018-07-23
Filing date: 2018-07-23
Publication date: 2020-08-18
Anticipated expiration: 2038-07-23
Also published as: CN109102005A

Abstract

本发明公开了一种基于浅层模型知识迁移的小样本深度学习方法。本发明首先对数据进行预处理，然后根据相关领域的先验知识和专家经验将原始信号变换到不同的变换域，计算人工特征。根据人工特征，选择不同的浅层模型，基于少量有标签样本数据进行训练。并根据分类准确率/预测误差等指标，对不同特征组合的不同浅层模型进行筛选，构成候选模型池。然后，基于上述候选模型池，选择模型对未标注的样本进行预测，得到预测标签，并将多个预测标签融合。将上述预测标签与已有的少量的有标签样本组合，共同构建训练集。针对具体任务，设计深度神经网络结构，基于上述混合训练集训练。通过旋转机械故障诊断数据集，验证了该方法的有效性。

Description

基于浅层模型知识迁移的小样本深度学习方法

技术领域

本发明属于机器学习领域，具体涉及一种基于浅层模型知识迁移的小样本深度学习方法。

背景技术

近年来，深度神经网络尤其是卷积神经网络在图像识别、语音识别等领域取得了显著进展。相比于经典机器学习方法，深度学习方法可以将特征提取和分类器训练统一用深度神经网络的方式进行建模，并实现端到端的学习。

基于深度学习对样本分类，当采用大量样本训练时，可以自动学到样本特征，大大提高分类准确率；但是，针对小样本情况下的识别分类效果并不乐观。深度神经网络的多层结构和大量网络参数，需要大量的有标签训练样本进行监督训练，从而发挥出深度学习的表示能力强、泛化能力好的优点。在某些应用领域，通常只有少量标注样本。例如，在故障诊断领域，一方面滚动轴承和其他旋转元件故障对生产系统造成重大影响，会导致高昂的维护成本和经济损失。但是，另一方面，故障的发生几率相比正常工况却很低。因此，采集的数据中包含的高价值故障样本数据很少。此外，对数据的标注依赖于有丰富故障诊断经验和领域知识的专家。所以，通常很难构建大量的高价值、有标注样本集。仅有稀少的标注样本的情况下，深度神经网络的监督训练过程优化困难，容易陷入局部最优，不能达到很好的收敛状态，导致深度神经网络模型表达能力不足、泛化性能不好。所以提高深度神经网络针对小样本情况下的识别分类能力是一个既充满挑战又有重要应用价值的的研究领域。

一种方法是利用无标签样本数据进行预训练，例如深度自编码器模型。通过逐层预训练或者端到端训练，从无标签样本中学习、发现数据模式。进一步，利用稀少有标签样本，对预训练模型进行微调(Fine-tune)，从而提高学习到的特征的区分能力和网络的分类能力。另一种方法是联合大量无标签样本和稀少的有标签样本进行弱监督学习(Semi-supervised Learning)。但是，上述方法存在以下缺点：1)样本不平衡。无标签样本的数据规模通常远远超过有标签样本，少量的高价值样本(例如，故障数据)淹没在大量的低价值样本(例如，正常工况数据)中。样本不平衡，会导致无监督或者半监督学习很难利用并学习高价值样本的信息和特征，导致特征表示区分性不强。2)上述过程通常是数据驱动的端到端训练方法，缺乏专家知识的嵌入和指导。专家的先验知识和经验在设计经典的浅层模型方法中得以广泛应用，例如人工特征、模型结构和复杂度选择等。在这些知识和经验的指导下，设计的浅层模型使用少量有标注样本就表现出较好的表示能力和泛化能力。因此，如何解决样本不平衡问题，并有效利用领域专家知识和经验，实现小样本情况下的高效深度学习方法，是一个重要的研究方向。

本发明针对现有技术的不足，设计一种基于浅层模型知识迁移的小样本深度学习方法。本发明首先对数据进行预处理，然后根据相关领域的先验知识和专家经验将原始信号变换到不同的变换域，设计并计算人工特征。进一步，根据计算的人工特征，选择不同的浅层模型，基于少量有标签样本数据进行训练。并根据分类准确率/预测误差等指标，对不同特征组合的不同浅层模型进行筛选，构成候选模型池。然后，基于上述候选模型池，选择模型对未标注的样本进行预测，得到预测标签，并将不同浅层模型的预测标签进行融合。进一步，将上述预测标签样本与已有的少量的有标签样本组合，共同构建训练集。最后，针对具体任务，设计深度神经网络结构，基于上述混合训练集训练深度神经网络。通过改变不同的浅层模型组合得到不同的预测标签；通过改变网络结构的超参数，得到不同的深度神经网络模型；迭代上述训练过程，并根据分类准确率/预测误差等指标对深度神经网络模型进行优选，作为最终的模型。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于浅层模型知识迁移的小样本深度学习方法。

本发明包括以下各步骤：

步骤(1)、数据的预处理

针对原始一维时域波形信号进行高斯平均滤波、中值滤波等滤波处理，去除原始信号中的高频噪声。

步骤(2)、人工特征的计算

根据相关领域的先验知识和专家经验，针对步骤(1)处理后的一维时域波形信号计算最大幅值、均值等特征表示。

根据相关领域的先验知识和专家经验采用傅里叶变换，将步骤(1)处理后的一维时域波形信号变换到频域，计算基/倍频向量、向量、功率谱等特征表示。

根据相关领域的先验知识和专家经验采用短时傅里叶变换，将步骤(1)处理后的一维时域波形信号转换到具有二维结构的时频域的频谱图形式，提取频谱图的积分特征、方差特征、均方根特征等反映信号时频变换特性的特征表示。例如，可以计算频谱图沿着时间轴、或者频率轴上的积分作为一种人工特征表示。

上述变换域的选择及人工特征的提取依赖于专家的先验知识和经验，所提取的特征一般具有明确的物理意义和区分性，有利于后续的分类/回归模型的训练。

步骤(3)、浅层模型的预训练与专家知识的数据化表达

3.1针对已有的稀少的带标签样本，根据步骤1和步骤2中的方法进行预处理和特征提取。

3.2采用浅层模型，基于上述特征和标签进行模型训练。浅层模型可以是支持向量机(SVM)，极限学习机(ELM)，决策树(DT)，置信规则库(BRB)，证据推理(ER)等。模型的任务可以是分类，也可以是回归，与所建模的问题本身及标签的形式有关。

上述训练方式包括两种：1)采用相同的人工特征，训练不同的浅层模型。基于分类准确率/预测误差等指标，以及t-SNE等可视化工具，分析上述模型之间的相关性、差异性和互补性。2)对同一种浅层模型，改变不同的特征组合，进行模型训练。基于分类准确率/英寸误差等指标，以及t-SNE等可视化工具，分析同一浅层模型下不同特征组合的表达能力，以及它们之间的相关性、差异性和互补性。

3.3基于分类准确率/预测误差等指标，设定准确率阈值；考虑模型复杂度，设定模型复杂度(参数量)和计算时间复杂度(模型运行时间)阈值；对上述训练得到的模型进行筛选，构成候选模型池。

3.4从上述候选模型池中随机选择模型，针对无标签样本数据进行预测，得到预测标签。

不同的候选模型基于不同的人工特征组合或者浅层模型，反映了特定方面的专家知识和经验，其预测标签会具有一定的相关性、差异性和互补性。该预测标签实现了专家知识和经验的数据化表达。

将上述不同候选模型的预测标签进行融合，与已有的稀少的有标签样本共同构建训练集，用于后续深度神经网络的训练。融合方法可以采用基于投票的简单多数法，基于投票的简单平均法等。

步骤(4)、深度神经网络的训练和优选

4.1针对具体任务，设计深度神经网络结构。针对原始时域波形数据，可以设计一维卷积神经网络结构；针对频域特征，可以设计全连接或深度自编码器等网络结构；针对时频域的频谱图，可以设计二维卷积神经网络结构。

4.2利用步骤3中得到的混合数据集，采用小批量随机梯度下降法(Mini-BatchStochastic Gradient Descent)对网络进行训练，学习权重参数。

根据任务不同，分为分类任务和回归任务；分类任务采用柔性最大损失函数(Softmax Loss)；回归任务可以采用均方误差函数(Mean Square Error)。

4.3深度神经网络模型的评估和改进。

基于分类准确率/预测误差等指标，对上述深度神经网络模型的性能进行评估；

通过调整网络超参数(例如，层数、卷积核数量、非线性激活函数类型、学习率等)，重新训练模型，并评估其性能。

通过改变步骤3.4中的候选模型随机选择构建的组合得到不同的融合预测标签，重新训练上述深度神经网络，并评估其性能。

根据上述评估结果，优选兼顾分类准确率/预测误差和网络复杂度(参数量和计算量)的模型作为最终模型。

本发明的有益效果：

基于浅层模型知识迁移的小样本深度学习方法，得益于混合数据集中的浅层模型预测标签带来的数据提升，能够具有很好的模型表示能力和泛化能力。基于专家知识的数据化形式(预测标签)，实现了人工特征和浅层模型所反映的专家知识到深度神经网络的迁移，克服了小样本深度学习不足导致的模型表示能力不足和泛化能力差的缺点。相比于只用稀缺标记样本训练原始深度神经网络方法，准确率大幅提升。

附图说明

图1是本方法的算法实现流程图。

图2是电机柔性转子系统。

图3是6种旋转机械故障和正常工况下的第1个传感器的波形信号。图中(a)-(g)分别是转子不平衡I、转子不平衡III，转子不平衡V、转子不平衡VII、风机断页、基座松动这6中旋转机械故障，以及正常工况下的波形图。该波形图都是采用第一个传感器采集的。

图4是正常工况下某一样本8个通道波形进行短时傅里叶变换后的频谱图。图中(a)-(h)分别是正常工况下，8个传感器采集得到的波形信号，经过短时傅里叶变换之后得到的频谱图。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1所示，本发明提出一种基于浅层模型知识迁移的小样本深度学习方法，包括以下各步骤：

步骤(1)数据的预处理

在多功能电机平台上构建旋转机械故障诊断数据集，如图2所示，8个传感器安装在底座上用来记录振动信号。实验中，考虑6种故障：转子不平衡1(RU1)，转子不平衡3(RU3)，转子不平衡5(RU5)，转子不平衡7(RU7)，风机断页(PPB)，基座松动(PL)。记录每个样本持续8s的数据即10240个数据点。为每种故障和正常情况收集了300个样本。图3表示的是上述6种旋转机械故障和正常情况下的第1个传感器波形。

针对原始一维时域波形信号可以进行高斯平均滤波、中值滤波等滤波处理，去除原始信号中的高频噪声。

步骤(2)人工特征的计算

针对一维时域波形信号计算最大幅值、均值等特征表示。

采用傅里叶变换，将一维时域波形信号变换到频域，计算基/倍频向量、向量、功率谱等特征表示。

采用短时短时傅里叶变换，将原始一维时域波形信号转换到具有二维结构的时频域的频谱图形式，提取频谱图的积分特征、方差特征、均方根特征等反映信号时频变换特性的特征表示。短时傅里叶变换的数学形式如下：

其中x_i是样本的波形信号，w(·)是窗函数，例如汉明窗，s_i(k,m)是x_i变换后的具有二维结构的频谱图。例如，可以计算频谱图沿着时间轴、或者频率轴上的积分作为一种人工特征表示。将每个样本8个通道的原始数据通过短时傅里叶变换转换到时频域，图4是正常情况下某一样本8个通道原始波形变换后的频谱图，则可以计算时间轴或频率轴上的积分特征，分别记作SIt，SIf。

变换域的选择及人工特征的提取依赖于专家的先验知识和经验，所提取的特征一般具有明确的物理意义和区分性，有利于后续的分类/回归模型的训练。

步骤(3)浅层模型的预训练与专家知识的数据化表达

3.2采用浅层模型，基于上述特征和标签进行模型训练。浅层模型可以是支持向量机(SVM)，极限学习机(ELM)，决策树(DT)，置信规则库(BRB)，证据推理(ER)等。本实施例中采用支持向量机作浅层模型代表，且处理故障分类问题。采用原始数据集每类1％、2％、3％、4％的样本作为新的数据集，构成小样本数据集。针对两种特征表示SIt和SIf，采用不同的核函数，训练多个SVM模型。SIt，SIf作为输入特征。

3.3设定分类准确率阈值和计算时间阈值，对上述模型进行筛选，构成候选模型池。

3.4从上述候选模型池中选择模型，针对原始数据集剩余的样本数据进行预测，得到预测标签。

将上述不同候选模型的预测标签进行融合，与已有的稀少的有标签样本共同构建训练集，用于后续深度神经网络的训练。融合方法可以采用基于投票的简单多数法，基于投票的简单平均法等。本实施例，采用简单多数投票法确定最终的预测标签。

步骤(4)深度神经网络的训练和优选

4.1针对具体任务，设计深度神经网络结构。针对原始时域波形数据，可以设计一维卷积神经网络结构；针对频域特征，可以设计全连接或深度自编码器等网络结构；针对时频域的频谱图，可以设计二维卷积神经网络结构。本实施例采用二维频谱图作为输入数据，设计的二维卷积神经网络结构如表1所示。

表1：CNN网络体系结构

4.2利用步骤3中得到的混合数据集，采用柔性最大损失函数(Softmax Loss)和小批量随机梯度下降法(Mini-BatchStochastic Gradient Descent)对网络进行训练，学习权重参数。

4.3深度神经网络模型的评估和改进。

基于分类准确率，对上述深度神经网络模型的性能进行评估；

调整网络超参数(例如，卷积层数、卷积核数量、非线性激活函数类型、学习率等)，重新训练模型，并评估其性能。

改变步骤3.4中的候选模型组合得到不同的融合预测标签，重新训练上述深度神经网络，并评估其性能。

上述优选出来的深度神经网络得益于混合数据集中的浅层模型预测标签带来的数据提升，能够具有很好的模型表示能力和泛化能力。基于专家知识的数据化形式(预测标签)，实现了人工特征和浅层模型所反映的专家知识到深度神经网络的迁移，克服了小样本深度学习不足导致的模型表示能力不足和泛化能力差的缺点。表2是不同模型的分类结果，CNN-Train,CNN-Test表示稀少样本情况下CNN网络模型的训练准确率以及测试准确率，CNN-Transfer-Train，CNN-Transfer-Test表示的是经过知识迁移后的训练准确率与测试准确率。从结果可得，所提方法可以解决标签样本量不足导致的小样本训练深度神经网络中出现的模型表示能力不足和泛化能力差的问题。

表2：不同模型的分类结果

Claims

1.基于浅层模型知识迁移的旋转机械故障诊断方法，其特征在于该方法包括如下：

步骤（1）、数据的预处理

在多功能电机平台上构建旋转机械故障诊断数据集，传感器安装在底座上获取故障和正常情况振动信号；故障情况包括转子不平衡1，转子不平衡3，转子不平衡5，转子不平衡7，风机断页，基座松动；振动信号为原始一维时域波形信号；

针对原始一维时域波形信号进行滤波处理，去除原始振动信号中的高频噪声；

步骤（2）、人工特征的计算

2.1针对步骤（1）处理后的一维时域波形信号计算最大幅值、均值；

2.2采用傅里叶变换，将步骤（1）处理后的一维时域波形信号变换到频域，计算基/倍频向量、向量、功率谱；

2.3采用短时傅里叶变换，将步骤（1）处理后的一维时域波形信号转换到具有二维结构的时频域的频谱图形式，提取频谱图的积分特征、方差特征、均方根特征；

步骤（3）、浅层模型的预训练与专家知识的数据化表达

3.1 针对已有的稀少的样本，根据步骤（1）和步骤（2）中的方法进行预处理和故障特征提取；

3.2 采用浅层模型，基于上述故障特征和标签进行模型训练；

3.3设定分类准确率阈值和计算时间阈值，对上述模型进行筛选，构成候选模型池；

3.4 从上述候选模型池中随机选择模型，针对无标签样本数据进行预测，得到预测标签；

将上述不同候选模型的预测标签进行融合，与已有的稀少的有标签样本共同构建训练集，用于后续深度神经网络的训练；

步骤（4）、深度神经网络的训练和优选

4.1 针对由多功能电机平台获取的旋转机械故障诊断数据集，设计深度神经网络结构；

若针对原始时域波形数据，采用一维卷积神经网络结构；

若针对频域特征，采用全连接或深度自编码器网络结构；

若针对时频域的频谱图，采用二维卷积神经网络结构；

4.2 利用步骤（3）中得到的混合数据集，采用小批量随机梯度下降法对网络进行训练，学习权重参数；

根据任务不同，分为分类任务和回归任务；分类任务采用柔性最大损失函数SoftmaxLoss；回归任务采用均方误差函数Mean Square Error；

4.3 深度神经网络模型的评估和改进；

基于分类准确率/预测误差指标，对上述深度神经网络模型的性能进行评估；

通过调整网络超参数，重新训练模型，并评估其性能；

通过改变步骤3.4中的候选模型随机选择构建的组合得到不同的融合预测标签，重新训练上述深度神经网络，并评估其性能；

根据上述评估结果，选择兼顾分类准确率/预测误差和网络复杂度的模型作为最终模型。

2.如权利要求1所述的方法，其特征在于步骤（3）浅层模型采用支持向量机SVM，极限学习机ELM，决策树DT，置信规则库BRB或证据推理ER。

3.如权利要求1所述的方法，其特征在于步骤3.2训练方式包括两种：1）采用相同的人工故障特征，训练不同的浅层模型；2）对同一种浅层模型，改变不同的故障特征组合，进行模型训练。

4.如权利要求1所述的方法，其特征在于步骤3.4融合方法采用基于投票的简单多数法，或基于投票的简单平均法。