CN107561997B - 一种基于大数据决策树的电力设备状态监测方法 - Google Patents

Abstract

本发明公开了一种基于大数据决策树的电力设备状态监测方法，将决策树算法与哈希表和灰色模型相结合，用于电力设备的状态监测；具体讲，将变电站告警信号中的信号类别和发生时间属性数据作为分析对象，通过Spark大数据平台，处理海量变电站告警信号数据，这样避免了由于数据量过大而带来的预测效果不理想的情况，同时解决了传统预测方法预测准确度低、运算效率低等缺点，提升了决策树算法在电力设备状态监测应用的可行性和有效性。

Description

一种基于大数据决策树的电力设备状态监测方法

技术领域

本发明属于数据挖掘处理技术领域，更为具体地讲，涉及一种基于大数据决策树的电力设备状态监测方法。

背景技术

智能电网是建立在智能化输配电系统上的现代电力系统，在电力系统的各环节都在推进智能电网的进程。智能变电站是实现电力能量的流入、控制和分配，是实现电压变换和潮流控制功能的关键，也是实现电力系统安全可靠运行和可持续发展的关键。由于工作环境恶劣变电站设备会随着工作时间的增加逐渐老化，最终失效，这不仅会给电力系统造成严重的损失，同时也会威胁到其他行业的正常生产。目前，大部分地区仍采用对电气设备进行定期检修的方式，以避免出现故障。这种相对陈旧的检验制度存在明显的针对性差的缺陷，直接导致过度维修和遗漏维修两种现象并存。

例如文献“王德文，周青.一中的电力设备状态监测大数据的分布式联机分析处理方法.中国电机工程学报,2016,36(19):5111-5121.”提出了一种基于Hadoop的电力设备状态监测大数据分析平台。文献“郑一鸣,孙翔.基于多源监测数据挖掘电力设别状态.浙江电力,2016,35(5):1-6.”提出了一种利用多源监测数据分析设备状态和缺陷的方法。

上述方法虽然都采用了大数据技术对电力设备状态监测数据进行分析，但Hadoop数据处理速度低于Spark分析效率低，而且并不能对监测信号类别和发生时间进行准确的预测，不能充分挖掘历史数据的价值。

目前，大部分地区仍然通过采用对电气设备进行定期巡检的方式来避免设备故障。但这种检修方式存在明显的正对性差的缺点，会导致过度维修和遗漏维修两种现象并存。随着对系统安全性和可靠性要求的进一步提高，除了故障发生后的诊断外，及时发现和跟踪故障征兆的有效预测也已成为重要的意义。

预测变电站设备故障率的方法可分为两类。一种方法是评估设备的当前状态，根据各种在线或离线的特点。另一种方法是预测基于历史故障信息设备的劣化的发展趋势。

故障预测的基本思想是首先利用所采集的监测数据建立监测设备的模型，然后利用该模型对未来一段时间内所需数据项的期望值进行预测。

分类算法是常用数据挖掘方法，一般用于预测，可以分成两步骤。第一步被称为学习阶段，利用已知的数据构建分类模型，也可以叫做训练阶段，其中用于建立模型的数据称为训练数据集。训练数据集的每一个实例都必须有明确的类标号。第二步被称为测试阶段，就是利用训练好的分类器模型分类未知数据，也被称作工作阶段。

决策树算法是一种用于分类和回归的非参数监督学习方法。其目标是创建一个模型，预测目标变量的值，通过学习简单的决策规则推断数据的特征。决策树有多种实现算法，包括ID3，C4.5算法等。

对于时间序列的分析是一种常见的序列模式搜索，被称为趋势预测探索。常用的趋势预测探索方法有自回归平均移动模型(ARIMA)，灰色系统预测模型(GM)等。灰色系统是指已知部分信息的样本数据能反映的不确定性系统。不完全的信息包括系统因素、因素关系、系统结构、系统作用原理等方面。相应地，还有信息完全的白色系统和信息完全未知(只有该系统与外界联系的信息)的黑色系统。灰色系统预测是通过分辨系统因素之间发展趋势的相似度或相异度对原始数据的生成处理来探索系统变化规律，通过生成数据序列的较强的规律性建立模型，预测事物未来发展趋势。生成数分为累加生成数(AGO)和累减生成数(IAGO)。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于大数据决策树的电力设备状态监测方法，以真实的告警信号数据为背景，有效地提高了告警信号预测的准确率，降低人工巡检的开销，节约了电网运行的成本。

为实现上述发明目的，本发明一种基于大数据决策树的电力设备状态监测方法，其特征在于，包括以下步骤：

(1)、清洗原始数据，并从原始数据中提取出信号类型数据和发生时间数据；

(2)、读取信号类型数据，并对每一个信号类型数据赋予一个数字编号，再利用信号类型数据和对应的数字编号生成哈希表，其中哈希表的关键字(key)对应信号类型，值(value)对应数字编号；最后将所有的信号类型数据按照哈希表生成对应的信号类型序列；

(3)、利用灰色模型中的一次累减运算处理发生时间数据，得到发生时间差序列；

设发生时间数据为：

则生成的发生时间差序列为：

其中，n表示时刻总数，表示n时刻的发生时间数据；

(4)、将信号类型序列和发生时间差序列按照一定比例分别随机划分，得到信号类型序列训练数据集和信号类型序列测试数据集，以及发生时间差序列训练数据集和发生时间差序列测试数据集；

(5)、训练模型

将信号类型序列训练数据集输入到大数据决策树中，训练大数据决策树，得到信号类型分类模型；

将发生时间差序列测试数据集输入到灰色模型中，计算出下一个告警信号的发生时间差模型；

(6)、验证模型

将信号类型序列测试数据集输入至信号类型分类模型，得到对应信号的信号类型；

将发生时间差序列测试数据集发生时间差模型，得到下一个告警信号的发生时间；

(7)、对电力设备状态进行实时监测

将待监测的信号类型数据和发生时间数据按照步骤(2)、(3)处理后，分别得到信号类型序列和发生时间差序列，再将信号类型序列和发生时间差序列分别输入到步骤(5)所述的信号类型分类模型和发生时间差模型，得到当前电力设备内的信号类型和下一个告警信号的发生时间。

本发明的发明目的是这样实现的：

本发明一种基于大数据决策树的电力设备状态监测方法，将决策树算法与哈希表和灰色模型相结合，用于电力设备的状态监测；具体讲，将变电站告警信号中的信号类别和发生时间属性数据作为分析对象，通过Spark大数据平台，处理海量变电站告警信号数据，这样避免了由于数据量过大而带来的预测效果不理想的情况，同时解决了传统预测方法预测准确度低、运算效率低等缺点，提升了决策树算法在电力设备状态监测应用的可行性和有效性。

附图说明

图1是本发明基于大数据决策树的电力设备状态监测方法流程图；

图2是中国西南某地区A、B、C、D四个变电站在不同子序列长度下的信号类型预测准确率；

图3是中国西南某地区A、B、C、D四个变电站信在不同子序列长度下发生时间预测准确率；

图4是中国西南某地区A、B、C、D四个变电站最优子序列长度下信号类型预测准确率；

图5是中国西南某地区A、B、C、D四个变电站最优子序列长度下发生时间预测准确率。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于大数据决策树的电力设备状态监测方法流程图。

在本实施例中，如图1所示，本发明一种基于大数据决策树的电力设备状态监测方法，包括以下步骤：

S1、清洗原始数据，并从原始数据中提取出信号类型数据和发生时间数据；

在原始告警数据中包含各种完整或者不完整的数据，需要将不完整的数据剔除，并且原始数据中包含多种数据属性包含信号类型、发生时间、站点名称、电压等级、间隔号等等，需要过滤出需要的信号类型和发生时间两种属性的数据。

S2、在本实施例中，Spark大数据平台不能处理汉字文本，需要利用哈希表对信号类型进行替换，生成哈希表；

下面对哈希表的生成流程进行描述：读取信号类型数据，并对每一个信号类型数据赋予一个数字编号，再利用信号类型数据和对应的数字编号生成哈希表，其中哈希表的关键字(key)对应信号类型，值(value)对应数字编号；其中，信号类型包括“告知”、“变位”、“异常”、“越限”、“事故”、“其他”等六种，生成的哈希表如表1所示。

表1是信号类型哈希表；

关键字(key)	值(value)
		变位	0
事故	1
		异常	2
告知	3
		越限	4
其它	5

表1

最后，我们再将所有的信号类型数据按照哈希表生成对应的信号类型序列，完成哈希表替换之后得到信号类型序列是一个很长的序列；

S3、将决策树分类算法分别与哈希表结合对信号类别进行预测和决策树算法与灰色模型理论结合对发生时间预测的重要环节；

其中，灰色模型中常用的生成数方法，这样就将原来时间数据完全明确的白色系统转换成一个不完全明确的时间差灰色系统，而时间差数据是通过一次累减运算就是用后一个时间数据减去前一个时间数据得到一个时间差数据；

下面我们对具体过程进行说明：利用灰色模型中的一次累减运算处理发生时间数据，得到发生时间差序列；

设发生时间数据为：

则生成的发生时间差序列为：

其中，n表示时刻总数，表示n时刻的发生时间数据；

S4、信号类型序列和发生时间差序列太长，Spark平台不能处理，需要将长序列划分成若干条短的子序列，如表2所示；

表2是决策树算法处理数据格式；

表2

其中，预测类别为每个子序列中的最后一个数据，ID为一组连续的数字，特征值为子序列中按顺序排放的数据；

将信号类型序列和发生时间差序列按照0.6:0.4的比例分别随机划分，得到信号类型序列训练数据集和信号类型序列测试数据集，以及发生时间差序列训练数据集和发生时间差序列测试数据集；

S5、训练模型

将信号类型序列训练数据集输入到Spark MLlib算法库提供的大数据决策树中，训练大数据决策树，得到信号类型分类模型；

将发生时间差序列测试数据集输入到灰色模型中，计算出下一个告警信号的发生时间差模型；

在本实施例中，训练大数据决策树时，每次选择特征值时，都挑出当前条件下最优的特征值作为划分规则，Spark提供的大数据决策树算法的训练过程通常分为3个步骤：特征选择、决策树生成和决策树修剪。具体过程如下：

特征选择

特征选择的标准是找出当前条件下最优的特征，判断一个特征对于当前数据集的分类效果，即数据按照这个特征分类是否更加有序。信息增益率被用来衡量这种有序变化程度的大小，在当前节点确定分类规则，取决于切分后节点数据集合中的类别有序纯度。衡量节点数据集合的纯度有熵、基尼、方差三种方法，在实施例中采用熵衡量纯度。

熵就是信息量的期望值，信息熵的定义为：

其中，

p(x_i)表示事件x_i发生的概率，n表示将训练数据集x分成n份，x_i为第i份；

条件熵的定义为：

其中，p(x_i/y)表示给定y条件事件x_i发生的概率；

信息增益的定义为：特征A对训练数据集D的信息增益g(D,A)，定义为集合D经验熵H(D)与特征A给定条件下D得经验条件熵H(D/A)之差，即：

g(D,A)＝H(D)-H(D/A)

其中，H(D)根据信息熵公式计算得到，H(D/A)中的D根据A分成n份D₁,D₂,…,D_n，那么H(D/A)是所有H(D_i)的期望。

信息增益只是个相对值，所以采用信息增益率来反映信息增益。特征A对训练集D的信息增益率g_R(D,A)为其信息增益g(D,A)与分裂信息熵split_info(A)之比：

其中，split_info(A)计算公式为：

决策树生成

输入信号类型序列训练数据集D、特征值A和阈值ε；

输出决策树T；

1)、若D中所有信号类型序列属于同一类C_k，那么T为单节点树，并将类C_k作为该节点的类标记，返回T；

2)、若则T为单节点树，并将D中信号类型序列最大的类C_k作为该节点标记，返回T；

3)、则按照基尼特征选择算法计算A中个特征对D的信息增益，选择信息增益最大的特征A_g；

3.1)、如果A_g的信息增益小于阈值ε，则T为单节点树，并将D中实例信号类型序列最大的类C_k作为该节点的类标记，返回T；

3.2)、否则，对A_g的每一个可能取值a_i，根据A_g＝a_i将D分割为若干非空子集D_i，并将D_i中信号类型序列最大的类作为该节点标记，构建子节点，由节点及其子节点构成树T，返回T；

4)、对第i个子节点，以D_i为训练集，以A-A_g为特征集，重复步骤1)～3)，得到子树T_i，返回T_i。

决策树修剪

剪枝就是在决策树对训练的预测误差和树的复杂程度之间找一个平衡。预测误差就是所有叶节点额经验熵之和，其中，N_t表示该叶节点的样本点个数，而H_t(T)表示该叶节点的经验熵：

剪枝的标准是极小化损失函数：C_α(T)＝C(T)+α|T|

其中，α是调节参数，其越大表示选择越简单的树，相反越小表示越复杂的树，N_tk表示归入第k类的样本点个数，t表示某个叶节点，t叶节点包含N_t个样本点；K表示总类别个数；C(T)表示模型对训练数据的预测误差；|T|表示决策树T的叶节点个数；H_t(T)为叶节点t上的经验熵；

树的剪枝算法就是从叶节点向上回溯，比较剪掉该节点前后的有序变化程度，如果剪掉该叶节点后，有序变化程度相对更小就剪掉。

输入：生成算法产生的整个树T，参数α；

输出：修剪后的子树T_α；

1)、计算每个节点的经验熵；

2)、递归地从树的叶节点向上回溯；

设一组叶节点回溯到其父节点之前与之后的整体树分别为T_B和T_A，其对应的损失函数值分别是C_α(T_A)和C_α(T_B)。如果C_α(T_A)≤C_α(T_B)，则进行剪枝，即父节点变为新的叶节点；否则重复步骤2)直至不能继续进行简直为止，最终得到的损失函数最小的子树T_α。

S6、验证模型

将信号类型序列测试数据集输入至信号类型分类模型，得到对应信号的信号类型；

将发生时间差序列测试数据集发生时间差模型，得到下一个告警信号的发生时间；

S7、对电力设备状态进行实时监测

将待监测的信号类型数据和发生时间数据按照步骤S2、S3处理后，分别得到信号类型序列和发生时间差序列，再将信号类型序列和发生时间差序列分别输入到步骤S5所述的信号类型分类模型和发生时间差模型，得到当前电力设备内的信号类型和下一个告警信号的发生时间。

图2是中国西南某地区A、B、C、D四个变电站在不同子序列长度下的信号类型预测准确率；

图3是中国西南某地区A、B、C、D四个变电站信在不同子序列长度下发生时间预测准确率；

图4是中国西南某地区A、B、C、D四个变电站最优子序列长度下信号类型预测准确率；

图5是中国西南某地区A、B、C、D四个变电站最优子序列长度下发生时间预测准确率。

在本实施例中，由图2可知在不同子序列长度下四个变电站信号类型预测准确率的变化情况。由图3可知在不同子序列长度下四个变电站发生时间预测准确率的变化情况。由图4可知在最优子序列长度下四个变电站信号类型预测准确率的变化情况，在最优子序列长度下改进决策树算法算法在预测信号类型时准确率非常高，符合应用要求。由图5可知在不同子序列长度下四个变电站发生时间预测准确率的变化情况，在最优子序列长度下改进决策树算法在预测发生时间时准确率非常高，符合应用要求。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于大数据决策树的电力设备状态监测方法，其特征在于，包括以下步骤：

(1)、清洗原始数据，并从原始数据中提取出信号类型数据和发生时间数据；

(2)、读取信号类型数据，并对每一个信号类型数据赋予一个数字编号，再利用信号类型数据和对应的数字编号生成哈希表，其中哈希表的关键字(key)对应信号类型，值(value)对应数字编号；最后将所有的信号类型数据按照哈希表生成对应的信号类型序列；

(3)、利用灰色模型中的一次累减运算处理发生时间数据，得到发生时间差序列；

设发生时间数据为：

则生成的发生时间差序列为：

其中，n表示时刻总数，表示n时刻的发生时间数据；

(4)、将信号类型序列和发生时间差序列按照一定比例分别随机划分，得到信号类型序列训练数据集和信号类型序列测试数据集，以及发生时间差序列训练数据集和发生时间差序列测试数据集；

(5)、训练模型

将信号类型序列训练数据集输入到大数据决策树中，训练大数据决策树，得到信号类型分类模型；

将发生时间差序列测试数据集输入到灰色模型中，计算出下一个告警信号的发生时间差模型；

(6)、验证模型

将信号类型序列测试数据集输入至信号类型分类模型，得到对应信号的信号类型；

将发生时间差序列测试数据集发生时间差模型，得到下一个告警信号的发生时间；

(7)、对电力设备状态进行实时监测

将待监测的信号类型数据和发生时间数据按照步骤(2)、(3)处理后，分别得到信号类型序列和发生时间差序列，再将信号类型序列和发生时间差序列分别输入到步骤(5)所述的信号类型分类模型和发生时间差模型，得到当前电力设备内的信号类型和下一个告警信号的发生时间。

2.根据权利要求1所述的基于大数据决策树的电力设备状态监测方法，其特征在于，所述步骤(4)中，按照一定比例具体为0.6:0.4。

3.根据权利要求1所述的基于大数据决策树的电力设备状态监测方法，其特征在于，所述步骤(5)中，训练大数据决策树的方法为：

(3.1)、输入信号类型序列训练数据集D、特征值A和阈值ε；

(3.2)、输出决策树T；

1)、若D中所有信号类型序列属于同一类C_k，那么T为单节点树，并将类C_k作为该节点的类标记，返回T；

2)、若则T为单节点树，并将D中信号类型序列最大的类C_k作为该节点标记，返回T；

3)、则按照基尼特征选择算法计算A中个特征对D的信息增益，选择信息增益最大的特征A_g；

3.1)、如果A_g的信息增益小于阈值ε，则T为单节点树，并将D中实例信号类型序列最大的类C_k作为该节点的类标记，返回T；

3.2)、否则，对A_g的每一个可能取值a_τ，根据A_g＝a_τ将D分割为若干非空子集D_τ，并将D_τ中信号类型序列最大的类作为该节点标记，构建子节点，由节点及其子节点构成树T，返回T；

4)、对第τ个子节点，以D_τ为训练集，以A-A_g为特征集，重复步骤1)～3)，得到子树T_τ，返回T_τ。