CN113610148B - 一种基于偏置加权AdaBoost的故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于偏置加权AdaBoost的故障诊断方法。首先，考虑到正常工况样本和故障工况样本之间的边界样本在寻找决策函数中起着重要作用，基于欠采样技术构造偏置数据集；然后，基于偏置数据集构建代价敏感的弱分类器，在其损失函数中为少数类分配更高的代价，即赋予少数类对应的项更高的权重，从而充分刻画弱分类器对不平衡样本的分类能力；最后，基于损失函数计算弱分类器的权重，将上述弱分类器自适应集成为强分类器以实现对故障的诊断。

Description

一种基于偏置加权AdaBoost的故障诊断方法

技术领域

本发明涉及数据驱动技术领域，尤其涉及一种基于偏置加权AdaBoost的故障诊断方法。

背景技术

系统运行过程中大多处于正常状态，发生故障的情况较少，因此可获取的正常测量样本较多，故障测量样本明显不足，如何在不平衡样本的环境下快速准确地实现故障诊断，避免安全隐患和经济损失，成为故障诊断领域的一个新的挑战。近些年来，数据驱动的故障诊断方法被广泛地研究，它不依赖于过程本身的复杂机理，而是通过分析历史数据诊断系统当前是否发生故障。但是，数据驱动的故障诊断方法严重依赖于数据的质量，在这种样本不平衡环境下的故障诊断结果往往倾向于多数类即正常工况，影响了故障诊断的效果。

AdaBoost算法能有效地提高诊断结果的精度和鲁棒性，被广泛应用到故障诊断问题当中。然而当样本呈现不平衡特性时，AdaBoost的结果仍倾向于多数类，诊断效果不佳。为了解决上述不平衡问题，有学者利用SMOTE算法生成更多的少数类样本，或者利用bootstrap算法对多数类进行了欠采样，而后再采用AdaBoost实现分类，但上述方法对所有样本的学习过程是相似的，并未关注到边界样本(即多数类与少数类样本之间的样本)起到的重要作用。此外，在AdaBoost算法中，通过计算每个弱分类器的损失函数刻画其分类能力，从而决定各弱分类器的权重。然而，在该损失函数中，多数类和少数类对应的项的权重是相同的，由于多数类项的数值远高于少数类，使得多数类对损失函数影响过大，导致该损失函数不足以有效地刻画该弱分类器对不平衡样本的分类能力。

发明内容

为解决现有技术存在的局限和缺陷，本发明提供一种基于偏置加权AdaBoost的故障诊断方法，包括：构造基于欠采样的偏置数据集的步骤、构建基于代价敏感的弱分类器的步骤以及构建自适应集成弱分类器的步骤；

所述构造基于欠采样的偏置数据集的步骤包括：利用K近邻算法采集每个少数类样本附近的若干个多数类样本，在平衡样本数量的同时采集边界样本，删除欠采样后的多数类样本数据集中的重复项，将剩余样本与全部少数类样本进行组成，构造偏置数据集；

所述构建基于代价敏感的弱分类器的步骤包括：基于偏置数据集训练弱分类器，在构建弱分类器的过程中，根据多数类和少数类将损失函数中原有的正确分类项和误分类项拆分为四项：多数类正确分类项、多数类误分类项、少数类正确分类项和少数类误分类项，赋予少数类对应项预设的权重，对少数类进行预设的惩罚力度；

所述构建自适应集成弱分类器的步骤包括：通过每个弱分类器的损失函数计算对应的权重，依据对应的权重将弱分类器集成为强分类器，根据强分类器的输出确定故障诊断结果。

可选的，所述构造基于欠采样的偏置数据集的步骤还包括：

构造原始数据集，包括少数类样本S_min和多数类样本S_maj，其中，所述少数类样本表示为(x_v,y_v),x_v∈R^d,y_v＝-1,v＝1,2,...,m，所述多数类样本表示为(x_j,y_j),x_j∈R^d,y_j＝1,j＝1,2,...,n，y表示x的标签，R为实数集，x的维度为1×d，n表示少数类样本的数量，m表示多数类样本的数量(m≥4n)；

根据所述多数类样本，利用K近邻算法选取每个少数类样本(x_v,y_v),x_v∈R^d,y_v＝-1,v＝1,2,...,m附近的k个多数类样本，构成数据集P₁∪P₂∪...∪P_n；

移除数据集P₁∪P₂∪...∪P_n中存在的重复项，得到数据集C，所述少数样本集S_min和所述数据集C共同构成偏置数据集Bias_t＝{C,S_min}。

可选的，所述构建基于代价敏感的弱分类器的步骤还包括：

根据初始化原始训练数据集S，获得u个样本的权重，其中第i个样本的权重Q₁(i)的表达式如下：

在第t次迭代中，利用偏置训练数据集Bias_t训练第t个弱分类器，选择K近邻算法作为弱分类器，对原始训练数据集S中的样本进行分类，分类结果为f(x_i)_t；

根据K近邻算法弱分类器的分类结果更新训练样本的权重，第i个样本的权重更新为：

计算弱分类器对多数类样本S_maj的分类误差ε_-和对少数类样本S_min的分类误差ε₊，表达式如下：

对AdaBoost的损失函数中原有的正确分类项和误分类项进行拆分，拆分后的损失函数表示为：

其中，h(x)∈{1，-1}表示样本x_i的类别属性，Q(i)表示此时第i个样本的权重，P表示在x～Q(i)分布下的条件概率；

为少数类分配预设的代价，赋予少数类对应项预设的权重，每一项的系数与该项对应的样本权重Q(i)之和成反比，将公式(3)代入公式(4)，调整各项的系数后，损失函数表示如下：

根据改进的损失函数计算弱分类器的权重a_t，求解该损失函数公式(5)的极小值点，计算该弱分类器对应的权重a_t，表达式如下：

可选的，所述构建自适应集成弱分类器的步骤还包括：

根据弱分类器的权重a_t，最终将T个弱分类器集成为一个强分类器，强分类器表示为：

其中，H(x)∈{1,-1}，当该强分类器的输出H(x)＝1时，该样本属于正常样本；当该强分类器的输出H(x)＝-1时，该样本属于故障样本。

本发明具有下述有益效果：

本发明提供了一种基于偏置加权AdaBoost的故障诊断方法。首先，考虑到正常工况样本和故障工况样本之间的边界样本在寻找决策函数中起着重要作用，基于欠采样技术构造偏置数据集；然后，基于偏置数据集构建代价敏感的弱分类器，在其损失函数中为少数类分配更高的代价，即赋予少数类对应的项更高的权重，从而充分刻画弱分类器对不平衡样本的分类能力；最后，基于损失函数计算弱分类器的权重，将上述弱分类器自适应集成为强分类器以实现对故障的诊断。

附图说明

图1为本发明实施例一提供的流程图。

图2为本发明实施例一提供的模型结构图。

图3为本发明实施例一提供的TE过程流程图。

图4为本发明实施例一提供的不同平衡度下故障7的准确率图。

图5为本发明实施例一提供的不同平衡度下故障7的F1分数图。

图6为本发明实施例一提供的TE过程故障诊断准确率图。

图7为本发明实施例一提供的TE过程故障诊断F1分数图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的基于偏置加权AdaBoost的故障诊断方法进行详细描述。

实施例一

AdaBoost是一种自适应增强集成算法，它通过多次迭代，针对训练数据集的不同特征构造不同的弱分类器，再将多个弱分类器的分类结果线性组合，集成为一个强分类器。AdaBoost算法在每一次迭代过程中，根据弱分类器的分类结果赋予误分类样本更大的权重，调整了训练样本的分布，从而使下一次迭代时弱分类器能集中对上一个弱分类器难以区分的样本进行分类。

本实施例的目的在于解决样本不平衡环境下的故障诊断问题，提供了一种基于偏置权重AdaBoost(Bias Weights AdaBoost,BW-AaBoost)的故障诊断方法，以提高故障诊断精度，确保系统安全稳定运行。图1为本发明实施例一提供的流程图，图2为本发明实施例一提供的模型结构图。如图1-2所示，本实施例提供的方法包括：基于欠采样的偏置数据集构造，基于代价敏感的弱分类器，自适应集成弱分类器。

对于基于欠采样的偏置数据集构造：利用K近邻(KNN)算法采集每个少数类样本附近的若干个多数类样本，在平衡样本数量的同时采集边界样本，同时删除欠采样后的多数类样本数据集中的重复项，将剩余样本与全部少数类样本进行组成，构造偏置数据集。

对于基于代价敏感的弱分类器：基于偏置数据集训练弱分类器，并在构建弱分类器的过程中，将损失函数中原有的两项(正确分类项和误分类项)根据多数类和少数类共拆分为四项：多数类正确分类项、多数类误分类项、少数类正确分类项和少数类误分类项，为少数类分配更高的代价，即赋予少数类对应的项更高的权重，对少数类惩罚力度更高，提高少数类对损失函数计算结果的影响，使损失函数能够充分刻画弱分类器对不平衡样本的分类能力。

对于自适应集成弱分类器：通过每个弱分类器的损失函数计算其权重，再依据此权重将弱分类器集成为强分类器，根据强分类器的输出确定故障诊断结果。

本实施例提出基于偏置加权AdaBoost的方法，首先基于采样技术构造偏置训练数据集，充分发挥了边界样本对构造决策函数的重要作用；然后构建代价敏感的弱分类器，在其损失函数中为少数类分配更高的代价，从而使损失函数准确地刻画每了个弱分类器对不平衡问题的分类能力；最后基于损失函数计算弱分类器的权重，将多个弱分类器自适应集成为强分类器。该方法诊断结果较好，效果提升显著，将该方法应用于田纳西伊斯曼(Tennessee Eastman,TE)过程的故障诊断中，结果表明该方法准确率和F1分数较高，可以有效解决不平衡样本环境下的故障诊断问题。

本实施例以TE过程作为应用对象，验证了本实施例提出方法的性能。图3为本发明实施例一提供的TE过程流程图。图4为本发明实施例一提供的不同平衡度下故障7的准确率图。图5为本发明实施例一提供的不同平衡度下故障7的F1分数图。图6为本发明实施例一提供的TE过程故障诊断准确率图。图7为本发明实施例一提供的TE过程故障诊断F1分数图。如图3-7所示，TE过程模拟了一个实际工业过程，包括五个主要操作单元：反应器、冷凝器、循环压缩机、气液分离器和气提塔，共有41个测量变量、12个操作变量、6种运行模式、21种故障类型。本实验选取了故障1、故障2、故障4、故障5、故障6、故障7作为实验对象，表1对TE过程变量进行了介绍，表2对TE过程的21类故障进行了介绍。通常当数据中两类样本的比例超过1:4时，数据被认为是不平衡的。本实验构造故障数据与正常数据比例为1:n(n＝4,5,...,9,10)，共7个数据集进行仿真。本实施例选取的两项评价指标为诊断准确率和F1分数。指标计算公式如下：

其中，TP表示实际是正类，同时也被判定为正类；FP表示实际是负类，但被判定为正类；TN表示实际是正类，但被判定为负类；FN表示实际是负类，同时也被判定为负类。F1分数考虑了分类模型的精确率和召回率，最大值为1，最小值为0，F1分数分越高，代表诊断效果越好。

本实施例提供了一种基于偏置加权AdaBoost的故障诊断方法。首先，考虑到正常工况样本和故障工况样本之间的边界样本在寻找决策函数中起着重要作用，基于欠采样技术构造偏置数据集；然后，基于偏置数据集构建代价敏感的弱分类器，在其损失函数中为少数类分配更高的代价，即赋予少数类对应的项更高的权重，从而充分刻画弱分类器对不平衡样本的分类能力；最后，基于损失函数计算弱分类器的权重，将上述弱分类器自适应集成为强分类器以实现对故障的诊断。

表1 TE过程变量及其描述

表2 TE过程故障及其描述

本实施例提供的技术方案的具体描述如下：

(1)基于欠采样的偏置数据集：构造原始数据集，包括故障样本(少数类)S_min和正常样本(多数类)S_maj。其中，少数类样本表示为(x_v,y_v),x_v∈R^d,y_v＝-1,v＝1,2,...,m，多数类样本表示为(x_j,y_j),x_j∈R^d,y_j＝1,j＝1,2,...,n。y表示x的标签，R为实数集，x的维度为1×d，n表示少数类样本的数量，m表示多数类样本的数量(m≥4n)。

1)针对多数类样本，利用K近邻(KNN)算法选取每个少数类样本(x_v,y_v),x_v∈R^d,y_v＝-1,v＝1,2,...,m附近的k个多数类样本，构成数据集P₁∪P₂∪...∪P_n。

2)由于P₁∪P₂∪...∪P_n中可能存在重复项，将重复项移除得到数据集C。原始少数样本集S_min和C共同构成了偏置数据集Bias_t＝{C,S_min}。

(2)基于代价敏感的弱分类器：

1)初始化原始训练数据集S中，共u个样本的权重，其中第i个样本的权重Q₁(i)计算如下：

2)在第t次迭代中，利用偏置训练数据集Bias_t训练第t个弱分类器，本实施例选择KNN作为弱分类器，并对原始训练数据集S中的样本分类，分类结果为f(x_i)_t

3)根据弱分类器KNN的分类结果更新训练样本的权重，第i个样本的权重更新为：

4)计算弱分类器对多数类数据集S_maj的分类误差ε_-和对少数类数据集S_min的分类误差ε₊

5)对AdaBoost的损失函数中原有的两项(正确分类项和误分类项)进行拆分，共拆分为四项分别对应：多数类正确分类项、多数类误分类项、少数类正确分类项和少数类误分类项。则拆分后损失函数可以表示为：

其中，h(x)∈{1，-1}表示样本x_i的类别属性，Q(i)表示此时第i个样本的权重，P表示在x～Q(i)分布下的条件概率。

6)为少数类分配更高的代价，调整公式(4)中的每一项的系数，赋予少数类对应的项更高的权重，赋予多数类对应的项较低的权重，从而提高对少数类的惩罚力度，使少数类的分类结果对损失函数的影响更大。本实施例认为每一项的系数与该项所对应的样本权重Q(i)之和成反比，将公式(3)代入公式(4)，并调整各项的系数后，损失函数表示如下：

7)根据改进的损失函数计算弱分类器的权重a_t，即求解该损失函数公式(5)的极小值点，计算该弱分类器对应的权重a_t如下：

(3)基于自适应权重的集成弱分类器：根据弱分类器的权重a_t，最终将T个弱分类器集成为一个强分类器，强分类器表示为：

其中，H(x)∈{1,-1}。当此强分类器的输出H(x)＝1时，该样本属于正常样本；当此强分类器的输出H(x)＝-1时，该样本属于故障样本。

综上所述，本实施例提供的技术方案依次经过基于欠采样的偏置数据集构造、基于代价敏感的弱分类器，自适应集成弱分类器三个步骤，最终设计出一个基于偏置加权AdaBoost的故障诊断模型，实现了适应不平衡样本环境下的故障诊断，从仿真结果来看，本实施例取得了较高的准确率和F1分数，具有一定的实际应用价值。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (4)

1.一种基于偏置加权AdaBoost的故障诊断方法，其特征在于，包括：构造基于欠采样的偏置数据集的步骤、构建基于代价敏感的弱分类器的步骤以及构建自适应集成弱分类器的步骤；

所述构造基于欠采样的偏置数据集的步骤包括：利用K近邻算法采集每个少数类样本附近的若干个多数类样本，在平衡样本数量的同时采集边界样本，删除欠采样后的多数类样本数据集中的重复项，将剩余样本与全部少数类样本进行组成，构造偏置数据集；

所述构建基于代价敏感的弱分类器的步骤包括：基于偏置数据集训练弱分类器，在构建弱分类器的过程中，根据多数类和少数类将损失函数中原有的正确分类项和误分类项拆分为四项：多数类正确分类项、多数类误分类项、少数类正确分类项和少数类误分类项，赋予少数类对应项预设的权重，对少数类进行预设的惩罚力度；

所述构建自适应集成弱分类器的步骤包括：通过每个弱分类器的损失函数计算对应的权重，依据对应的权重将弱分类器集成为强分类器，根据强分类器的输出确定故障诊断结果。

2.根据权利要求1所述的基于偏置加权AdaBoost的故障诊断方法，其特征在于，所述构造基于欠采样的偏置数据集的步骤还包括：

构造原始数据集，包括少数类样本S_min和多数类样本S_maj，其中，所述少数类样本表示为(x_v,y_v),x_v∈R^d,y_v＝-1,v＝1,2,...,m，所述多数类样本表示为(x_j,y_j),x_j∈R^d,y_j＝1,j＝1,2,...,n，y表示x的标签，R为实数集，x的维度为1×d，n表示少数类样本的数量，m表示多数类样本的数量，m≥4n；

根据所述多数类样本，利用K近邻算法选取每个少数类样本(x_v,y_v),x_v∈R^d,y_v＝-1,v＝1,2,...,m附近的k个多数类样本，构成数据集P₁∪P₂∪...∪P_n；

移除数据集P₁∪P₂∪...∪P_n中存在的重复项，得到数据集C，所述少数类样本S_min和所述数据集C共同构成偏置数据集Bias_t＝{C,S_min}。

3.根据权利要求1所述的基于偏置加权AdaBoost的故障诊断方法，其特征在于，所述构建基于代价敏感的弱分类器的步骤还包括：

根据初始化原始训练数据集S，获得u个样本的权重，其中第i个样本的权重Q₁(i)的表达式如下：

在第t次迭代中，利用偏置训练数据集Bias_t训练第t个弱分类器，选择K近邻算法作为弱分类器，对原始训练数据集S中的样本进行分类，分类结果为f(x_i)_t；

根据K近邻算法弱分类器的分类结果更新训练样本的权重，第i个样本的权重更新为：

计算弱分类器对多数类样本S_maj的分类误差ε_-和对少数类样本S_min的分类误差ε₊，表达式如下：

对AdaBoost的损失函数中原有的正确分类项和误分类项进行拆分，拆分后的损失函数表示为：

其中，h(x)∈{1，-1}表示样本x_i的类别属性，Q(i)表示此时第i个样本的权重，P表示在x～Q(i)分布下的条件概率；

为少数类分配预设的代价，赋予少数类对应项预设的权重，每一项的系数与该项对应的样本权重Q(i)之和成反比，将公式(3)代入公式(4)，调整各项的系数后，损失函数表示如下：

根据改进的损失函数计算弱分类器的权重a_t，求解该损失函数公式(5)的极小值点，计算该弱分类器对应的权重a_t，表达式如下：

4.根据权利要求3所述的基于偏置加权AdaBoost的故障诊断方法，其特征在于，所述构建自适应集成弱分类器的步骤还包括：

根据弱分类器的权重a_t，最终将T个弱分类器集成为一个强分类器，强分类器表示为：

其中，H(x)∈{1,-1}，当该强分类器的输出H(x)＝1时，该样本属于正常样本；

当该强分类器的输出H(x)＝-1时，该样本属于故障样本。