CN112926627A - 一种基于电容型设备缺陷数据的设备缺陷时间预测方法 - Google Patents

Abstract

该发明公开了一种基于电容型设备缺陷数据的设备缺陷时间预测方法，涉及电气设备和信息技术领域。采用一整套方法进行特征工程处理和缺陷时间建模；针对电网公司异常值、缺失值和冗余值较多的数据，首先进行缺失值填充和数据清洗，通过特征分解构建新特征，并且使用自编码器进行特征降维和去噪；针对已经处理好的特征数据，使用多种机器学习方法如梯度提升树和深度学习方法进行特征模型构建。本发明具有实现简单，计算速度快，预测精度高，预测鲁棒性好，预测流程系统化的优点。

Description

一种基于电容型设备缺陷数据的设备缺陷时间预测方法

技术领域

本发明涉及电气设备和信息技术领域，具体涉及一种基于电容型设备缺陷数据的设备缺陷时间预测方法

背景技术

电容型设备是采用电容屏蔽绝缘结构的设备。它主要包括电流互感器、电压互感器、电容型管套和耦合便容器等，约占输变电设备总量的40％到50％，是变电站中数量最多的设备。电容型设备的健康运行和电气设备安全对变电站来说至关重要，任何意想不到的故障都可能导致重大事故和非常巨大的经济损失。因此，实现电容型设备的在线检测和预计有十分重要的研究意义。目前关于电容型设备的在线监测研究主要集中在数字化测量发方和在线监测系统的开发方面，研究环境对于电容型设备的影响需要在气候室中进行实验，相对较为复杂，国内外此类研究也比较少。

近来，由于数据量的激增，数据挖掘和机器学习的方法在图像语音识别、推荐系统、自动驾驶等方面都取得了较好的成果，带来了不错的经济效益。而之前少有使用机器学习的方法来对电容型设备缺陷发生时间进行预测，主要是由于数据质量不高，无法基于特征大量残缺的数据进行精确建模。人类社会已经进入大数据时代，传统的信息存储和传播媒介已逐渐为计算机所替代，并呈现出指数增长的趋势，成为21世纪最为重要的资源之一。人工智能技术的快速发展为大数据隐含信息的精准获取和有效整合应用能力提供了全新的策略，深度学习是人工智能技术中目前研究最火热的一种技术，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习能够得到很好地表示数据的特征，同时由于模型的层次、参数很多，因此，模型有能力表示大规模数据，能够在大规模训练数据上取得更好的效果。电容型设备的缺陷发生时间由生产日期、所在环境、预期寿命等因素所影响，较难建模。预测算法研究迟滞，缺陷发生时间也鲜有关注。然而，在数据量较大的情况下，不妨通过已有的特征对设备的预期寿命进行建模，进而可以得到设备发生缺陷的大致时间，以便于及时检修。

王永强等2009年首次利用大型人工气候室进行了环境因素对电容型设备影响的实验，获得了较为全面、精确的实验数据，提出了一个基于支持向量机(SVM)的主要环节因素对影响的修正模型，并采用了遗传算法优化了模型参数。但是，这种方法需要独立实验室，并且由于各个厂家设备参数性能不是很一致，要对所有类型的设备都做气候室实验，这显然损失不现实的。同时，电容型设备工作的现实环境比实验环境更为复杂，单纯考虑试验数据放弃电网公司历年来收集到的电容设备工作和检修数据来进行研究预测可能得出比较片面的结论。

因此需要一种电容型设备缺陷预测的方法，有能力建立模型对电网公司多年来搜集的数据特征进行表示，这些数据特征具有许多异常、缺失和冗余，因此需要更有效的特征工程方法对数据进行清洗、降维和去噪。得到的表示数据依然有一定的噪声，因此需要利用相对鲁棒的机器学习模型结合这些特征来对电容型设备缺陷发生时间进行预测。

发明内容

本发明目的在于提供一种基于电容型设备缺陷数据的设备缺陷时间预测方法，采用一整套方法进行特征工程处理和缺陷时间建模；针对电网公司异常值、缺失值和冗余值较多的数据，首先进行缺失值填充和数据清洗，通过特征分解构建新特征，并且使用自编码器进行特征降维和去噪；针对已经处理好的特征数据，使用多种机器学习方法如梯度提升树和深度学习方法进行特征模型构建。

为实现上述目的，本发明所采用的技术方案是：一种基于电容型设备缺陷数据的设备缺陷时间预测方法：

步骤1：依据电网公司的电容型设备缺陷数据，对数据进行数据清洗；

步骤1.1：获取同一类缺陷数据的频率分布状况，找出分布概率密度大于对应阈值的峰值点数据值，设峰值点个数为A，将该类缺陷数据分为A个簇，以这A个簇的峰值点为簇的核心，每个簇对应设置一个距离阈值，簇中的数据越多，距离阈值越大，将不属于任意一个簇阈值内的数据剔除；

步骤1.2：结合先验知识对各簇内的明显异常值进行剔除，先验知识包括位置、时间、设备型号、额定电压；

步骤1.3：剔除完异常值，计算剩余值占原数据的比例，大于设定比例阈值则认定该类数据可用，否则排出该类数据；

步骤1.4：对剔除的异常值和原空白值的数据点进行填充；

步骤1.4.1：选取需要填充的特征y_z，将该特征y_z的同类不为空的数据组成集合Z，为空的数据组成集合X’；从集合Z中选择r个与特征y_z相关度最高的特征，计算这r个特征数据的均值，以该均值填充集合X’中的空白数据，填充完毕后得到集合X；

步骤1.4.2：采用下式计算集合Z到集合X的相关性；

其中，Z_j,X_i分别表示集合Z和集合X中的元素,I为集合X中的元素个数，w_yz＝|ρ(y_z,X_i)|ρ(y_z,X_i)计算X_i与y_z的相关系数；

步骤1.4.3：如果相关性D(Z_j,X_i)小于设定的相关性阈值，则返回步骤1.4.1重新设置r的数值，重新计算直到相关性D(Z_j,X_i)大于等于设定的相关性阈值；

步骤2：将经过清洗的设备数据进行特征变换和编码，对数据进行降维和压缩，得到表示性强的特征；

步骤3：将数据分为训练集和测试集，利用得到的数据特征训练多个机器学习模型，使用训练时间和均方根误差对模型优劣程度进行评估；

步骤4：从以上模型中选择出效果最好的模型，并使用模型对电容型设备缺陷时间进行预测。

进一步的，所述步骤2的具体方法为：

步骤2.1：训练一个神经网络使输入X映射到code，该神经网络激活函数为tanh函数，其中code的维度小于X的维度；

步骤2.2：训练另一个神经网络使输入code重构到

该神经网络激活函数仍为tanh函数；

步骤2.3：计算X与

之间的差距J_S(W,c)；

其中：X⁽ⁱ⁾，

表示对应集合中的元素，n为

中的元素总个数，β为惩罚项的权重，

是code中第j个维度所有样本的平均值，c是稀疏常数，m表示code的元素总个数。

进一步的，所述步骤3中，所述机器学习模型的训练过程：

步骤3.1:将已标注和清洗的数据特征作为标签样本，对其进行归一化预处理过程；

步骤3.2:利用所述步骤3.1中的标签样本对五种机器学习模型分别进行训练，五种机器学习模型分别为：K近邻回归、支持向量回归、随机森林、梯度提升树和深度学习。

步骤3.3：计算机器学习模型的均方损失函数，若损失函数满足条件并且所有网格搜索的超参数都已完成训练，则使用效果最好的超参数得到模型；否则，进入步骤3.2，继续训练；

步骤3.4：经过评估五种模型的损失，选择损失最小的模型。

进一步的，所述步骤3.2中，K近邻回归K值选择为3，使用曼哈顿距离作为距离度量；支持向量回归选择使用高斯核；随机森林的决策树个数为100，树的最大深度为；梯度提升数的决策树个数为100，树的最大深度为3，学习率为0.1；深度学习模型包括四组卷积和批归一化层，后接两层全连接层。激活函数选择ReLU，损失函数选择MSE,优化方法使用Adam。

通过采用上述技术方案，得到具体的所述机器学习模型的建立过程，结合到具体的应用场景中,设置具体的输入、输出参数。

优选的，所述机器学习模型均采用五折交叉验证的网格超参数搜索方法进行训练，保证搜索到最优的超参数，并且达到设定的均方误差阈值。若均方误差大于阈值，则继续训练。

通过采用上述技术方案，得到所述机器学习模型的确定标准。

通过采用上述技术方案，对电容型设备缺陷数据集进行数据清洗处理、将经过清洗的数据进行特征变换和编码、对步骤2得到的特征数据进行稀疏自编码器再编码、使用步骤3得到的特征构建模型、将步骤4得到的模型保存，并对测试集数据进行预测，通过采用上述技术方案，在所述数据的降维中，使用自编码器方法模型函数空间比起使用主成分分析更大，能够在降维的同时损失较小；在所述数据的降噪中，使用自编码其方法能够保证数据的稀疏性，去掉大部分数据中的噪声。本发明具有实现简单，计算速度快，预测精度高，预测鲁棒性好，预测流程系统化的优点。获取电容型设备缺陷数据，通过特征工程的方法更好地处理得到的异常、冗余和缺失数据，通过建立电容型设备缺陷发生时间模型更好地预测缺陷的发生时间，模型有能力从大数据中提取有效特征，并且使用这些特征来比较精确地预测电容型设备的缺陷发生时间。

附图说明

图1为本发明电容型设备缺陷发生时间建模和预测流程图；

图2为本实施例中特征分解方法图；

图3为本实施例中缺陷特征稀疏自编码器编码结构图；

图4为本实施例中模型评估结果图。

具体实施方式

下面结合本发明的附图1～4，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施。

本实施中,请参照图1，

S1:对电容型设备缺陷数据集进行数据清洗处理：去除缺失70％以上的值，并对缺失30％以上的值使用K近邻算法和随机森林算法进行缺失值填充；依据数据特征绘制每个特征的箱型图，并由此来去数据除异常值；把所有的冗余数据和空数据进行删除；

首先对电容型设备缺陷数据的异常值进行了剔除。以经度特征为例，根据数据的频率分布直方图，发现经度特征的概率密度共有三个峰，峰均值分别为0度、23度、103度。这三个峰都近似服从拉普拉斯分布，而且方差很小，故可将经度数据分成三个簇。同时，根据数据画出箱型图，图中可以看出经度数据的均值比中位数要大得多，与上四分位数相当，数据呈偏态分布。其中，有的数据经度在500以上，与大部分数据偏离程度太大，必定是异常值。然后，结合先验知识：云南电网公司的电容型设备都在云南省境内，所以设备经纬度也必然会在云南省的范围以内。均值为0度的第一个簇是异常数据，说明工作人员在抄写设备经度数据时，可能由于种种原因没有正确填写，于是用0值表示缺失。所以，对于这部分数据，将其标为缺失值，用Nan代替，便于下一步处理。均值为23度的第二个簇也是异常数据，对比设备的纬度数据可知，这是由于工作人员在抄写经纬度时，将经纬度数据写反了所导致的。对于这部分数据，将其与纬度数据交换，还原为正常数据。均值为103度的簇与先验知识一致，认为它不是异常数据，予以保留。其他远离上下四分位数的数据为异常值，可以直接予以删除，或者将其置为Nan。数据均值比中位数大得多，为偏态分布，显示出103度的簇数据量比0度的簇数据量要大。所以经度数据的异常值只占一小部分，这个特征经过异常值处理之后可以使用。

数据经过异常值处理后，其分布变为一个主峰，但仍然不够平滑，主要是噪声和缺失值导致的。这里使用改进的K近邻算法进行缺失值的填充。具体填充方法如下：选取需要填充的特征，将其表示为y。所有y值不为空的样本组成样本集合Z’，所有y值为空的样本组成训练样本集合X’。选择r个与特征y_z相关度最高的特征，将其余特征从Z’的特征集合中删去，再对r个特征中包含的缺失值进行均值填充预处理，构成测试样本Z。训练样本X也以同样方式从X’中构造。使用训练样本X与不为空的y_x作为标签训练K近邻模型，最后通过测试样本Z预测出y_z，就得到了需要填充到特征y缺失部分的值。选取需要填充的特征y_z，将该特征y_z的同类不为空的数据组成集合Z，为空的数据组成集合X’；从集合Z中选择r个与特征y_z相关度最高的特征，计算这r个特征数据的均值，以该均值填充集合X’中的空白数据，填充完毕后得到集合X；

采用下式计算集合Z到集合X的相关性；

其中，Z_j,X_i分别表示集合Z和集合X中的元素,I为集合X中的元素个数，w_yz＝|ρ(y_z,X_i)|ρ(y_z,X_i)计算X_i与y_z的相关系数；

如果相关性D(Z_j,X_i)小于设定的相关性阈值，则重新设置r的数值，重新计算直到相关性D(Z_j,X_i)大于等于设定的相关性阈值；

S2：将经过清洗的数据进行特征变换和编码：将所有的字符型特征进行特征分解，具体如图2所示。把分解出的字符型特征进行标签编码，即把每个特征的值对应到一个数字。对于连续型数值特征，进行特征分箱技术，例如经纬度，每隔10°给定一个不同的编码。最后，把所有编码后的特征进行特征交叉，特征两两之间相乘，构成新的特征。

S3:对步骤2得到的特征数据进行稀疏自编码器再编码：根据数据的质量，选择稀疏自编码其对特征数据进行降维、去噪的再编码。稀疏编码器选择包括4个全连接层的编码器和4个全连接层的解码器。编码器输入为步骤2得到的特征，第一层输出为降维后的32个特征。编码器第二层、第三层和第四层形状分别为(64，32)，(32，32)和(32，16)。解码器第一层，第二层、第三层形状分别为(16，32)，(32，32)和(32，64)。解码器第四层输入为64个特征，输出为步骤2得到的特征数量。选择的激活函数为Tanh函数。自编码器加入了L1正则化项，损失函数选择为均方误差。经过五折交叉验证各200轮训练之后，得到训练好的稀疏自编码器。将步骤2的得到的数据特征输入自编码器，将编码器的输出作为新的再编码特征。稀疏自编码器结构见图3。

S4:使用步骤3得到的特征构建模型：分别使用K近邻回归、支持向量回归、随机森林、梯度提升树和深度学习的方法对电容型设备缺陷发生时间进行预测。把发生过缺陷的数据作为有标签的训练集，未发生过缺陷的数据作为测试集，对数据集进行归一化。用训练集分别通过五折交叉验证和网格搜索法训练以上五种模型，选择最优的超参数。得到的模型及其均方误差如图4所示。其中K近邻回归K值选择为3，使用曼哈顿距离作为距离度量；支持向量回归选择使用高斯核；随机森林的决策树个数为100，树的最大深度为；梯度提升数的决策树个数为100，树的最大深度为3，学习率为0.1；深度学习模型包括四组卷积和批归一化层，后接两层全连接层。激活函数选择ReLU，损失函数选择MSE,优化方法使用Adam。对五种模型进行评估，最终得到效果最好的模型：梯度提升树模型。

S5：将步骤4得到的模型保存，并对测试集数据进行预测：把梯度提升决策树模型的参数保存，提取步骤4中测试集的特征向量，输入模型进行预测。最终得到电容型设备缺陷时间的预测结果，重新写回数据表中。

综上所述，本发明的实施原理为：对电容型设备缺陷数据集进行数据清洗处理、将经过清洗的数据进行特征变换和编码、对步骤2得到的特征数据进行稀疏自编码器再编码、使用步骤3得到的特征构建模型、将步骤4得到的模型保存，并对测试集数据进行预测，本发明具有实现简单，计算速度快，预测精度高，预测鲁棒性好，预测流程系统化的优点。

Claims (4)

1.一种基于电容型设备缺陷数据的设备缺陷时间预测方法，该方法包括：

步骤1：依据电网公司的电容型设备缺陷数据，对数据进行数据清洗；

步骤1.1：获取同一类缺陷数据的频率分布状况，找出分布概率密度大于对应阈值的峰值点数据值，设峰值点个数为A，将该类缺陷数据分为A个簇，以这A个簇的峰值点为簇的核心，每个簇对应设置一个距离阈值，簇中的数据越多，距离阈值越大，将不属于任意一个簇阈值内的数据剔除；

步骤1.2：结合先验知识对各簇内的明显异常值进行剔除，先验知识包括位置、时间、设备型号、额定电压；

步骤1.3：剔除完异常值，计算剩余值占原数据的比例，大于设定比例阈值则认定该类数据可用，否则排出该类数据；

步骤1.4：对剔除的异常值和原空白值的数据点进行填充；

步骤1.4.1：选取需要填充的特征y_z，将该特征y_z的同类不为空的数据组成集合Z，为空的数据组成集合X’；从集合Z中选择r个与特征y_z相关度最高的特征，计算这r个特征数据的均值，以该均值填充集合X’中的空白数据，填充完毕后得到集合X；

步骤1.4.2：采用下式计算集合Z到集合X的相关性；

其中，Z_j,X_i分别表示集合Z和集合X中的元素,I为集合X中的元素个数，

ρ(y_z,X_i)计算X_i与y_z的相关系数；

步骤1.4.3：如果相关性D(Z_j,X_i)小于设定的相关性阈值，则返回步骤1.4.1重新设置r的数值，重新计算直到相关性D(Z_j,X_i)大于等于设定的相关性阈值；

步骤2：将经过清洗的设备数据进行特征变换和编码，对数据进行降维和压缩，得到表示性强的特征；

步骤3：将数据分为训练集和测试集，利用得到的数据特征训练多个机器学习模型，使用训练时间和均方根误差对模型优劣程度进行评估；

步骤4：从以上模型中选择出效果最好的模型，并使用模型对电容型设备缺陷时间进行预测。

2.如权利要求1所述的一种基于电容型设备缺陷数据的设备缺陷时间预测方法，其特征在于，所述步骤2的具体方法为：

步骤2.1：训练一个神经网络使输入X映射到code，该神经网络激活函数为tanh函数，其中code的维度小于X的维度；

步骤2.2：训练另一个神经网络使输入code重构到

该神经网络激活函数仍为tanh函数；

步骤2.3：计算X与

之间的差距J_S(W,c)；

其中：X⁽ⁱ⁾，

表示对应集合中的元素，n为

中的元素总个数，β为惩罚项的权重，

是code中第j个维度所有样本的平均值，c是稀疏常数，m表示code的元素总个数。

3.如权利要求1所述的一种基于电容型设备缺陷数据的设备缺陷时间预测方法，其特征在于，所述步骤3中，所述机器学习模型的训练过程：

步骤3.1:将已标注和清洗的数据特征作为标签样本，对其进行归一化预处理过程；

步骤3.2:利用所述步骤3.1中的标签样本对五种机器学习模型分别进行训练，五种机器学习模型分别为：K近邻回归、支持向量回归、随机森林、梯度提升树和深度学习。

步骤3.3：计算机器学习模型的均方损失函数，若损失函数满足条件并且所有网格搜索的超参数都已完成训练，则使用效果最好的超参数得到模型；否则，进入步骤3.2，继续训练；

步骤3.4：经过评估五种模型的损失，选择损失最小的模型。

4.如权利要求3所述的一种基于电容型设备缺陷数据的设备缺陷时间预测方法，其特征在于，所述步骤3.2中，K近邻回归K值选择为3，使用曼哈顿距离作为距离度量；支持向量回归选择使用高斯核；随机森林的决策树个数为100，树的最大深度为；梯度提升数的决策树个数为100，树的最大深度为3，学习率为0.1；深度学习模型包括四组卷积和批归一化层，后接两层全连接层。激活函数选择ReLU，损失函数选择MSE,优化方法使用Adam。

Images