CN110515931A - 一种基于随机森林算法的电容型设备缺陷预测方法 - Google Patents

Abstract

该发明公开了一种基于随机森林算法的电容型设备缺陷预测方法，属于人工智能领域，特别是变电，电容设备的缺陷预测。本发明采用数据量极为庞大，首先对数据进行清洗，将多余数据，重复数据进行删除，对数据格式进行统一，缺失数据进行填补，错误数据进行修改；然后对数据进行编码，采用编码输入预测模型，对预测模型进行训练，采用训练好的预测模型进行实时的预测目标设备。本发明预测精度高，实时性好。

Description

一种基于随机森林算法的电容型设备缺陷预测方法

技术领域

本发明属于人工智能领域，特别是变电，电容设备的缺陷预测。

技术背景

在电力系统中，电容型设备属输变电设备，其数量多，约占变电站设备总量的40％～50％，包括电流互感器、套管、耦合电容器、电容式电压互感器等，在电力系统设备中占有极其重要的地位。电容型设备的健康运行和电气设备安全对于变电站至关重要，如果发生缺陷将会对整个变电站造成很大的影响，一些事故甚至还会危及到人员的人身安全和周边其他设备安全，造成很大的损失。所以，一种好的，能够准确识别电容型设备缺陷等级的预测方法就是当前所迫切需要的，也具有很高的应用价值。

从电容型设备缺陷预测方面来看，国内外主流研究方向是设备运行出现缺陷后，汇聚这类缺陷的数据并进行分析整合，为后期设备维护提供依据。但是没有关于缺陷等级预测方面的相关成果较少。

而今一些比较成熟的机器学习算法已经广泛地应用于各个领域的数据分析中，而且也可能是未来很长一段时间里的热门研究方向。由于当前电网数据的爆发式增长，及各种传感器的层出不穷，造成电容型设备数据量庞大，数据特征复杂，数据质量参差不齐，直接应用传统的统计学方法很难获得理想的结果。所以使用何种合适的机器学习算法对大规模数据进行分析，怎样改进已有机器学习算法提高模型效果都是需要进一步研究的问题。

发明内容

本发明针对上文所述痛点提出了一种将随机森林算法运用于电容型设备缺陷等级预测的方法。并且针对一般的编码方法，在缺陷等级预测模型中的效果较差的问题，在对电容型设备数据进行清洗和数据均衡化基础上，结合电容型数据的特点，加入基于评分卡模型的证据权重 (Weight of Evidence，WOE)特征编码，用于改进缺陷等级预测模型的性能。

首先，在原始数据的基础上对缺失值、重复值、错误值和格式错误脏数据进行数据清洗。其次，将金融领域的评分卡模型方法应用到本论文的电容型数据中，用来改进特征编码，构造基于评分卡模型WOE特征编码数据集。然后数据均衡方法解决样本数据不均衡问题。最后将随机森林机器学习算法应用在缺陷等级预测中，采用监督学习的方法训练模型并优化参数。得到最优缺陷等级预测模型。因此本发明技术方案为一种基于随机森林算法的电容型设备缺陷预测方法，该方法包括：

步骤1：获取所有大型电容型设备的所有数据信息,并对数据进行预处理；

步骤1.1：大型电容型设备的数据信息包括如下多类数据信息中的9类以上的数据：设备ID，设备名称，供电局，设备类型，全路径，设备类型备注，投运日期，设备型号，生产厂家，生产日期，地形地貌，设备经度，设备纬度，设备海拔，变电站名称，运行状态，变电站经度，变电站纬度，电压等级，电压类型，生产日期的年、月、日，生产日期所属该年度的周，投运日期的年、月、日，投运日期所属该年度的周，投运年限，是否发生过缺陷；其中全路径表示该大型电容设备的所属设备类别由大范围到小范围的依次描述；

步骤1.2：对某个大型电容设备缺失的某一类或某几类数据进行人工填补；

步骤1.3：对同一类数据进行格式统一；

步骤1.4：计算同一类数据的聚类中心，计算该类数据中各数据与聚类中心的距离，距离大于设定阈值的数据为错误数据，将错误数据进行人工修改；

步骤2：对步骤1获得的所有数据进行编码，将文字信息转换为数字信息；

步骤3：采用随机森林算法建立一个多输入单输出的预测模型；采用步骤2得到的各大型电容设备的各类编码后数据和该设备是否发生过缺陷，来训练建立的预测模型，直到模型收敛；

步骤4：针对实际的某大型电容设备进行预测时，将该大型电容设备中各类数据采用步骤2 中的编码进行替换，然后采用步骤3训练好的预测模型进行预测，得到预测结果。

进一步的，所述步骤1中获取的数据由一下数据组成：设备名称，供电局，设备类型，全路径，设备类型备注，设备型号，生产厂家，地形地貌，设备经度，设备纬度，设备海拔，变电站名称，运行状态，电压等级，电压类型，生产日期的年、月、日，生产日期所属该年度的周、投运日期的年、月、日，投运日期所属该年度的周，投运年限，是否发生过缺陷。

进一步的，所述步骤2中采用标签定义编码，将各数据设定一个数字或数字向量标签，采用设定的数字或数字向量标签作为编码后数据；

进一步的，所述步骤2中采用如下方法对步骤1获得数据进行编码W；

将所有大型电容型设备的同一类数据中的相同数据归为一个基团，采用如下公式计算该基团的编码；同一类数据中的“类”表示步骤1获取的多类数据中的“类”，每一类数据中的相同数据表示每一类数据中重复出现的数据，举例说明：数据类“生产厂家”中，第一个设备由厂家1生产，第二个设备由厂家2生产，第三个设备也由厂家1生产，第N个设备又由厂家2生产，将该类数据中同为厂家1生产的归为1个基团，同为厂家2生产的归为1个基团；

其中W_i表示第i个基团的编码，B_i表示该类数据的第i个基团中各数据对应的设备曾经发生过缺陷的数量，G_i表示该类数据的第i个基团中各数据对应的设备一直正常的数量，B_T表示该类数据中各数据对应的设备发生过缺陷的数量，G_T表示该类数据中各数据对应的设备一直正常的数量，s为非零常数；

采用该方法计算出各类中所有基团的编码，从而得到各大型电容设备的各类编码后数据；

进一步的，所述步骤2得到各基团的编码后，将每一类数据的编码都聚为Q类，采用如下公式对大型电容型设备x的第一类数据进行扩展，其中表示大型电容型设备x的第i类数据的扩展数据，x_i表示第i类数据，r为随机数，x_i(mm)表示x_i所在的聚类中心；采用上述公式，再r相同的情况下扩展大型电容型设备x的其它类数据，形成一个新的大型电容型设备x^*及其各类数据；

采用上述方法根据不同的大型电容型设备或变换随机数，得到更多的扩展数据。

本发明采用数据量极为庞大，首先对数据进行清洗，将多余数据，重复数据进行删除，对数据格式进行统一，缺失数据进行填补，错误数据进行修改；然后对数据进行编码，采用编码输入预测模型，对预测模型进行训练，采用训练好的预测模型进行实时的预测目标设备。本发明预测精度高，实时性好。

附图说明

图1为基于评分卡模型的WOE特征编码流程图。

图2为三折交叉赋值。

图3为WOE编码对应赋值。

图4为基于各算法缺陷发生预测模型精度对比。

具体实施方式

步骤1：数据清洗操作。

(1)缺失值处理。缺失值的重要性和缺失程度大致划分为四种：特征重要性高，缺失率低；特征重要性高，缺失率高；特征重要性低，缺失率低；特征重要性低，缺失率高。缺失率高的做删除处理，缺失率低且重要度高的使用特殊值进行补全(设定“无”或者“NULL”全局填充)。特征重要性高，不论缺失率如何，尽量保留特征，在这里采用补全法，关联补全法一般采用在正常数据集中(无任何缺失数据)匹配出一个和缺失值样本重合度高的样本，然后用正常数据集中的值补充缺失样本中的对应缺失值。

(2)格式统一。统一时间、整数型和浮点数型变量以及字符编码的格式。

(3)重复值处理。主要有两种重复值的考虑，列重复和行重复，列重复也即特征重复，行重复，即数据相同。

1)列重复，如设备经度纬度和变电站经度纬度，两种变量录入信息类似，甚至是一些样本数据也完全相同。处理策略，只需选择其中一个变量即可。

2)对于数据行重复，需要考虑唯一性(给定属性的每个值都必须不同于该属性的其他值)，对于绝大多数的重复值，如因为有缺失值造成的重复值，采取保留策略；但是对于完全录入重复的数据采取删除策略。

步骤2：基于评分卡模型WOE特征编码。基于评分卡模型的WOE特征编码流程如图1所示。基于评分卡模型的WOE编码的主要步骤说明如下：

(1)数据读取

读取数据清洗后的数据集。

(2)数据集切分

将数据集平均切分为3份，记作数据集D1，数据集D2和数据集D3。

(3)计算目标构造

针对是否发生缺陷进行编码

(4)数据分基团

数据分基团就是将特征按照类型分类归纳，并以设定统一的值。每个输入变量都需要进行数据分基团，在数据分基团过程中，首先对数据进行匹配，然后将相同的类型设定为一个基团，其中基团的值为类型名，最后，用基团的值替代该基团中特征的值。本论文按照数据的类型直接分箱，缺陷发生预测模型和缺陷等级预测模型的分箱过程相同。

(5)WOE计算

分别对切分好的三份数据，计算WOE值。

缺陷发生预测模型中，直接对分箱后的每一个特征，对计算目标“是否发生缺陷”按照下列公式直接计算得出：

式中，WOE_i代表特征的第i个箱子计算的WOE值，B_T是所有缺陷设备的数量，G_T是所有正常设备的数量，G_i表示第i个箱子中正常设备的数量，B_i表示第i个箱子中缺陷设备的数量，为避免出现被除数为0的情况，加入常数项eps，设定其值为1×e^-6。

1)计算B_T和G_T，这两个值是针对数据文件是固定的。

2)分别对于每个特征的每个箱计算G_i和B_i。

3)计算两个比值：该箱中缺陷数比正常数和所有缺陷数比所有正常数。

4)再对这两个比值做比值，以及取对数，即可得到特征第i个箱的WOE值。这个WOE_i值可以反映出自变量的数值对因变量的影响。

(6)WOE编码3折交叉赋值

缺陷发生预测模型中，WOE编码3折交叉赋值的步骤如图2所示。

首先，使用数据集D1和D2的数据计算WOE值，并把计算后的数据合并，生成各特征与其 WOE编码对应的字典，记作数据集D12。数据集D3作为待赋值数据，用每个特征的原始值去找到WOE对应字典数据集D12中对应的特征原始值，并将这个值对应的WOE编码赋值给待赋值数据集D3中对应值的位置，最终得到数据集D3的WOE编码记做数据集D3WOE。

同理，使用数据集D1和D3计算WOE，生成一个特征与WOE对应字典数据集D13，数据集 D2去对应字典赋值，得到数据集D2的WOE编码记做数据集D2WOE。用数据集D2和D3计算WOE，生成一个特征与WOE对应字典数据集D23，数据集D1去对应字典赋值，得到数据集D1 的WOE编码记做数据集D1WOE。

(7)编码后的数据集合并

将赋值对应好的数据集D1WOE，数据集D2WOE，数据集D3WOE纵向链接，只保留对特征编码后的WOE值，最后得到基于评分卡模型WOE特征编码数据集。

步骤3：数据均衡。采用基于随机过采样算法的一种改进方案——SMOTE(Synthetic Minority Oversampling Technique)方法。假设少数样本的数量为K，需要通过SMOTE扩展成 NK个新数据样本。其中，N为大于等于0的整数。设定少数类样本的一个样本i，它的特征向量x_i,i∈{1,...,K}：

(1)寻找少数类中样本xi的k个近邻，我们把这N个近邻表示为 x_i(near),i∈{1,...,K},near∈{1,...,N}；

(2)在这x_i(near),i∈{1,...,K},near∈{1,...,N}中任意选择一个xi(mm)，通过随机数ζ1，进而合成一个新的样本表示为x_i1＝x_i+ζ1·(x_i(mm)-x_i)，随机数范围0到1；

(3)重复第二步N次，即可得到针对xi(mm)生成的N的个新样本；

(4)重复上述三个步骤K次，获得所有的合成数据，即NK个新数据样本。

步骤4：将步骤3处理过后的数据投入搭建好的随机森林模型中进行训练。训练好的模型即可用于电容型设备缺陷等级的预测。预测原始数据需满足与本发明一样的处理流程。

表1缺陷发生预测模型中供电局特征两种编码结果

表2为预测缺陷是否发生的精度结果

Claims (5)

1.一种基于随机森林算法的电容型设备缺陷预测方法，该方法包括：

步骤1：获取所有大型电容型设备的所有数据信息,并对数据进行预处理；

步骤1.1：大型电容型设备的数据信息包括如下多类数据信息中的9类以上的数据：设备ID，设备名称，供电局，设备类型，全路径，设备类型备注，投运日期，设备型号，生产厂家，生产日期，地形地貌，设备经度，设备纬度，设备海拔，变电站名称，运行状态，变电站经度，变电站纬度，电压等级，电压类型，生产日期的年、月、日，生产日期所属该年度的周，投运日期的年、月、日，投运日期所属该年度的周，投运年限，是否发生过缺陷；其中全路径表示该大型电容设备的所属设备类别由大范围到小范围的依次描述；

步骤1.2：对某个大型电容设备缺失的某一类或某几类数据进行人工填补；

步骤1.3：对同一类数据进行格式统一；

步骤1.4：计算同一类数据的聚类中心，计算该类数据中各数据与聚类中心的距离，距离大于设定阈值的数据为错误数据，将错误数据进行人工修改；

步骤2：对步骤1获得的所有数据进行编码，将文字信息转换为数字信息；

步骤3：采用随机森林算法建立一个多输入单输出的预测模型；采用步骤2得到的各大型电容设备的各类编码后数据和该设备是否发生过缺陷，来训练建立的预测模型，直到模型收敛；

步骤4：针对实际的某大型电容设备进行预测时，将该大型电容设备中各类数据采用步骤2中的编码进行替换，然后采用步骤3训练好的预测模型进行预测，得到预测结果。

2.如权利要求1所述的一种基于随机森林算法的电容型设备缺陷预测方法，其特征在于所述步骤1中获取的数据由一下数据组成：设备名称，供电局，设备类型，全路径，设备类型备注，设备型号，生产厂家，地形地貌，设备经度，设备纬度，设备海拔，变电站名称，运行状态，电压等级，电压类型，生产日期的年、月、日，生产日期所属该年度的周、投运日期的年、月、日，投运日期所属该年度的周，投运年限，是否发生过缺陷。

3.如权利要求1所述的一种基于随机森林算法的电容型设备缺陷预测方法，其特征在于所述步骤2中采用标签定义编码，将各数据设定一个数字或数字向量标签，采用设定的数字或数字向量标签作为编码后数据。

4.如权利要求1所述的一种基于随机森林算法的电容型设备缺陷预测方法，其特征在于所述步骤2中采用如下方法对步骤1获得数据进行编码W；

将所有大型电容型设备的同一类数据中的相同数据归为一个基团，采用如下公式计算该基团的编码；

其中W_i表示第i个基团的编码，B_i表示该类数据的第i个基团中各数据对应的设备曾经发生过缺陷的数量，G_i表示该类数据的第i个基团中各数据对应的设备一直正常的数量，B_T表示该类数据中各数据对应的设备发生过缺陷的数量，G_T表示该类数据中各数据对应的设备一直正常的数量，s为非零常数；

采用该方法计算出各类中所有基团的编码，从而得到各大型电容设备的各类编码后数据。

5.如权利要求1所述的一种基于随机森林算法的电容型设备缺陷预测方法，其特征在于所述步骤2得到各基团的编码后，将每一类数据的编码都聚为Q类，采用如下公式对大型电容型设备x的第一类数据进行扩展，其中表示大型电容型设备x的第i类数据的扩展数据，x_i表示第i类数据，r为随机数，x_i(mm)表示x_i所在的聚类中心；采用上述公式，再r相同的情况下扩展大型电容型设备x的其它类数据，形成一个新的大型电容型设备x*及其各类数据；

采用上述方法根据不同的大型电容型设备或变换随机数，得到更多的扩展数据。