CN115656673A

CN115656673A - 变压器数据的处理及装置、设备存储介质

Info

Publication number: CN115656673A
Application number: CN202211307856.4A
Authority: CN
Inventors: 邹德旭; 彭庆军; 洪志湖; 代维菊; 王山; 周仿荣; 胡锦; 徐肖伟; 刘红文; 施勇
Original assignee: Electric Power Research Institute of Yunnan Power Grid Co Ltd
Current assignee: Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date: 2022-10-25
Filing date: 2022-10-25
Publication date: 2023-01-31

Abstract

本发明实施例公开了一种变压器数据的处理方法及装置、设备及存储介质，方法包括：获取变压器包括若干数据点的第一监测数据；利用预设的异常检测算法以及第一监测数据，确定第一监测数据中每个数据点的局部离群因子得分；根据局部离群因子得分对第一监测数据中各个数据点进行异常值判定处理，确定第一监测数据中的第一异常数据，第一异常数据为第一监测数据中的变压器异常数据点；利用预设的分类算法对第一异常数据进行修正处理，确定变压器的目标监测数据。通过上述方式对变压器数据进行处理，可以对变压器数据进行异常值检测和修正，完成变压器数据清洗和预处理，提高了数据的准确性，为后续的特征提取和故障诊断提供准确有效的数据样本。

Description

变压器数据的处理及装置、设备存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种变压器数据的处理及装置、设备存储介质。

背景技术

电力变压器是电力系统中最重要的设备之一，变压器遭遇到故障如果不能及时诊断与处理，会带来巨大的财产损失与安全隐患。随着电力设备的传感器、通讯装着、储存装置的不断发展与丰富，所检测到的变压器数据越来越复杂，体量越来越大，维度也更高。并且由于变压器所运行的状态不同、环境不同、通讯线路损耗等原因，传感器所获得数据有一定的缺失，并且夹杂着噪声。这会导致进行变压器故障诊断的时候会出现较大的误差。对变压器数据进行清洗，对异常数据的检测、异常数据与缺失数据的填补对于智能电网的建设、电力设备的安全稳定运行显的至关重要。

目前，对变压器油中溶解气体与基于频率响应的绕组状态等异常数据检测是通过直接设定阈值来进行判断，此方法简单但是误差较大。为了提高数据清洗的准确性，保证故障诊断的精度，目前有学者将机器学习引入到了电力设备的故障诊断与数据治理当中。比如基于线性模型的异常值检测、PCA(主成分分析法)等，但此方法在处理非线性数据的时候其结果误差较大。还有学者将孤立森林法引入电力变压器故障诊断中与数据治理中。但当变压器异常数据较少的时候，此方法的效果不理想，误差较大。并且以上方法检测出数据之后直接将异常数据删除，破坏的数据的连续性与完整性。

发明内容

本发明的主要目的在于提供一种变压器数据的处理及装置、设备存储介质，可以解决现有技术中的缺少变压器数据的处理的问题。

为实现上述目的，本发明第一方面提供一种变压器数据的处理方法，所述方法包括：

获取变压器的第一监测数据，所述第一监测数据为完整的变压器的监测数据，所述第一监测数据包括若干数据点；

利用预设的异常检测算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的局部离群因子得分；

根据所述局部离群因子得分对所述第一监测数据中各个数据点进行异常值判定处理，确定所述第一监测数据中的第一异常数据，所述第一异常数据为第一监测数据中的变压器异常数据点；

利用预设的分类算法对所述第一异常数据进行修正处理，确定所述变压器的目标监测数据。

在一种可行实现方式中，所述获取变压器的第一监测数据，包括：

获取变压器的原始监测数据；

确定所述原始监测数据中的第二异常数据，所述第二异常数据为原始监测数据中的缺失数据；

利用所述分类算法对所述第二缺失数据进行修正处理，确定所述变压器的第一监测数据。

在一种可行实现方式中，所述利用预设的异常检测算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的局部离群因子得分，包括：

利用预设的局部可达密度算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的第一局部可达密度；

根据所述第一局部可达密度以及所述异常检测算法，确定每个数据点的局部离群因子得分。

在一种可行实现方式中，所述利用预设的局部可达密度算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的第一局部可达密度，包括：

确定所述第一监测数据中每个数据点之间的距离；

利用每个数据点的距离对各个数据进行降序排列，确定每个数据点的第一距离序列；

在各个数据点的第一距离序列中，查找每个数据点在预设的邻近距离的目标数据点；

利用各个数据点、所述局部可达密度算法、目标数据点以及邻近距离，确定每个数据点的第一局部可达密度。

在一种可行实现方式中，所述根据所述第一局部可达密度以及所述异常检测算法，确定每个数据点的局部离群因子得分，包括：

利用所述数据点的第一局部可达密度、所述目标数据的第二局部可达密度、所述邻近距离内的所有数据点以及所述异常检测算法，确定每个数据点的局部离群因子得分。

在一种可行实现方式中，所述局部可达密度算法，包括如下数学表达式：

式中，ρ_k(P)为数据点P的局部可达密度，N_k(P)为数据点P的邻近距离K中的变压器的所有数据点，d_k(P,O)为数据点P与数据点O之间的可达距离。

在一种可行实现方式中，所述异常检测算法，包括如下数学表达式：

式中，LOF_K(P)为数据点P的局部离群因子得分，ρ_k(P)为数据点P的局部可达密度，ρ_k(O)为数据点O的局部可达密度，N_k(P)为数据点P的邻近距离K中的变压器的所有数据点。

为实现上述目的，本发明第二方面提供一种变压器数据的处理装置，所述装置包括：

数据获取模块：用于获取变压器的第一监测数据，所述第一监测数据为完整的变压器的监测数据，所述第一监测数据包括若干数据点；

离群确定模块：用于利用预设的异常检测算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的局部离群因子得分；

异常判定模块：用于根据所述局部离群因子得分对所述第一监测数据中各个数据点进行异常值判定处理，确定所述第一监测数据中的第一异常数据，所述第一异常数据为第一监测数据中的变压器异常数据点；

数据修正模块：用于利用预设的分类算法对所述第一异常数据进行修正处理，确定所述变压器的目标监测数据。

为实现上述目的，本发明第三方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面及任一可行实现方式所示步骤。

为实现上述目的，本发明第四方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面及任一可行实现方式所示步骤。

采用本发明实施例，具有如下有益效果：

本发明提供一种变压器数据的处理方法，方法包括：获取变压器的第一监测数据，第一监测数据为完整的变压器的监测数据，第一监测数据包括若干数据点；利用预设的异常检测算法以及第一监测数据，确定第一监测数据中每个数据点的局部离群因子得分；根据局部离群因子得分对第一监测数据中各个数据点进行异常值判定处理，确定第一监测数据中的第一异常数据，第一异常数据为第一监测数据中的变压器异常数据点；利用预设的分类算法对第一异常数据进行修正处理，确定变压器的目标监测数据。通过上述方式对变压器数据进行处理，可以对变压器数据进行异常值检测和修正，完成变压器数据清洗和预处理，提高了数据的准确性，为后续的特征提取和故障诊断提供准确有效的数据样本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本发明实施例中一种变压器数据的处理方法的流程图；

图2为本发明实施例中一种变压器数据的处理方法的另一流程图；

图3为本发明实施例中一种变压器数据的处理装置的结构框图；

图4为本发明实施例中计算机设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例中一种变压器数据的处理方法的流程图，如图1所示方法包括如下步骤：

101、获取变压器的第一监测数据，所述第一监测数据为完整的变压器的监测数据，所述第一监测数据包括若干数据点；

需要说明的是，本申请所示的变压器数据的处理方法是为了对采集到的变压器数据进行预处理，故首先需要获取变压器的第一监测数据，其中，监测数据用于反映变压器的工作状态，其中工作状态包括但不限于正常工作、故障工作等等。该监测数据包括但不限于电压、电流、介质损耗因数等等变压器的运行产生的运行参数。具体可以通过预先设置的传感器对变压器进行监测得到监测数据，其中，由于变压器所运行的状态不同、环境不同、通讯线路损耗等原因，传感器所获得数据有一定的缺失，进而可对上述缺失的采集数据进行填充，得到上述第一监测数据，其中，第一监测数据为完整的变压器的监测数据，该第一监测数据包括若干数据点。

102、利用预设的异常检测算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的局部离群因子得分；

进一步的，得到上述第一监测数据之后，利用预设的异常检测算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的局部离群因子得分，其中，局部离群因子得分用于反映数据点的离群程度。其中，异常检测算法可以为LOF算法，LOF算法是基于数据点密度比较基础之上的一种异常值检测算法，它不仅仅从检测数据点相似性的观点出发去判断异常值，其确定信息比较相对较多，相对于其他方法其准确率高。LOF算法考虑了变压器数据的局部与全局的特性。异常值的检测是按照相对于周围点的密度来确定的，并不是按照绝对值来确定的。

103、根据所述局部离群因子得分对所述第一监测数据中各个数据点进行异常值判定处理，确定所述第一监测数据中的第一异常数据，所述第一异常数据为第一监测数据中的变压器异常数据点；

进一步的，可以利用每个数据点的局部离群因子得分，确定第一监测数据中的异常数据，通过局部离群因子得分对所述第一监测数据中各个数据点进行异常值判定处理，确定所述第一监测数据中的第一异常数据，该第一异常数据为第一监测数据中的变压器异常数据点。示例性的，可以根据局部离群因子LOF的阈值判断变压器数据是否为异常数据，即变压器数据的LOF得分大于其阈值则此数据为异常数据。

104、利用预设的分类算法对所述第一异常数据进行修正处理，确定所述变压器的目标监测数据。

最终，得到上述第一异常数据之后，便可以利用预设的分类算法对所述第一异常数据进行修正处理，确定所述变压器的目标监测数据。通过修正异常数据点得到最终的目标监测数据，其中，目标监测数据为修正第一异常数据后的第一监测数据。其中，分类算法可以为KNN算法，KNN算法中，K值的选取会影响数据的修正填充的效果，K值过小相当于仅仅根据异常值周围很小领域来进行预测，很容易出现过拟合的情况。K值过大时，则与异常值较远，相关性少的数据会对填充与修正效果产生影响。在本发明实施过程中使用日小时数24作为其K的取值，此取值具有很好的效果。

请参阅图2，图2为本发明实施例中一种变压器数据的处理方法的另一流程图，如图2所示方法包括如下步骤：

201、获取变压器的第一监测数据，所述第一监测数据为完整的变压器的监测数据，所述第一监测数据包括若干数据点；

需要说明的是，步骤201与图1所示步骤101的内容相似，为避免重复此处不做赘述，具体可参阅前述图1所示步骤101的内容。

在一种可行实现方式中，为了得到完整的变压器的监测数据，步骤202，可以包括步骤A1-A3：

A1、获取变压器的原始监测数据；

需要说明的是，该原始监测数据为未经处理的变压器数据，例如通过变压器采集到的未经处理的变压器运行数据。

A2、确定所述原始监测数据中的第二异常数据，所述第二异常数据为原始监测数据中的缺失数据；

A3、利用所述分类算法对所述第二缺失数据进行修正处理，确定所述变压器的第一监测数据。

进而，得到上述原始监测数据之后，对所述第二缺失数据进行修正处理，确定第一监测数据，示例性的，查找到变压器数据的空缺值后，利用KNN算法(分类算法)对缺失数据进行分类，并根据其类型进行预测填充，得到完整的第一检测数据。其中，首先使用KNN算法对变压器数据缺失值进行填充可以避免步骤202中计算局部可达密度出现无限大的情况，提高了检测精度。

其中，KNN算法是机器学习中有监督学习的一种分类算法，其进行变压器缺失数据的预测填充步骤如下：

1)计算变压器缺失数据与周围数据之间的距离。

2)将变压器缺失数据周围N个数据进行降序排列。

3)确定每个变压器数据类别出现的频率。

4)确定频率出现最高数据的类型，并且根据最高频率类型的数据进行加权平均运算输出预测值。比如，根据最高频率类型数据的排名进行加权平均运算输出预测值。

需要说明的是，LOF算法是一种无监督的异常值检测方法，并且是基于数据密度的高精度离群点检测的方法，可以包括下述步骤202-203。

202、利用预设的局部可达密度算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的第一局部可达密度；

具体的，步骤202包括下述步骤B1-B4：

B1、确定所述第一监测数据中每个数据点之间的距离；

B2、利用每个数据点的距离对各个数据进行降序排列，确定每个数据点的第一距离序列；

B3、在各个数据点的第一距离序列中，查找每个数据点在预设的邻近距离的目标数据点；

B4、利用各个数据点、所述局部可达密度算法、目标数据点以及邻近距离，确定每个数据点的第一局部可达密度。

其中，B1-B4具体内容可以参考如下过程：

1)计算每个变压器数据之间的距离。

2)根据数据之间的距离，将其按照降序排列。

3)对于每个数据点，根据邻近距离找到最近的第K个点。

4)计算每个点的局部可达密度。

示例性的，局部可达密度算法，包括如下数学表达式(1)：

其中，

d_k(P,O)＝max{d_k(P),d(P,O)}。

203、根据所述第一局部可达密度以及所述异常检测算法，确定每个数据点的局部离群因子得分；

通过步骤203利用所述数据点的第一局部可达密度、所述目标数据的第二局部可达密度、所述邻近距离内的所有数据点以及所述异常检测算法，确定每个数据点的局部离群因子得分。

示例性的，异常检测算法，包括如下数学表达式(2)：

204、根据所述局部离群因子得分对所述第一监测数据中各个数据点进行异常值判定处理，确定所述第一监测数据中的第一异常数据，所述第一异常数据为第一监测数据中的变压器异常数据点；

205、利用预设的分类算法对所述第一异常数据进行修正处理，确定所述变压器的目标监测数据。

需要说明的是，步骤204及步骤205与图1所示步骤103以及104的内容相似，为避免重复此处不作赘述，具体可参考前述图1所示步骤103以及104的内容。

示例性的，步骤205包括如下过程：1)计算变压器异常数据与周围数据之间的距离。2)将变压器异常数据周围N个数据进行降序排列。3)确定每个变压器数据类别出现的频率。4)确定频率出现最高数据的类型，并且根据最高频率类型数据的排名进行加权平均运算输出预测值。

本发明的有益效果为：

1、使用LOF算法可以将数据的异常情况进行量化处理，并且考虑了变压器数据的全局性，提高了变压器数据异常值检测的精度。

2、使用KNN算法对异常值进行填补与修正，辨别了异常值数据类型，考虑了其与周围数据的相关性，提高了填充修正的准确度。

3、利用LOF算法与KNN算法相结合，考虑了变压器数据时序性的特点，保证了数据的连续性与完整性，为后续的特征提取和故障诊断提供准确有效的数据样本。

请参阅图3，图3为本发明实施例中一种变压器数据的处理装置的结构框图，如图3所示装置包括：

数据获取模块301：用于获取变压器的第一监测数据，所述第一监测数据为完整的变压器的监测数据，所述第一监测数据包括若干数据点；

离群确定模块302：用于利用预设的异常检测算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的局部离群因子得分；

异常判定模块303：用于根据所述局部离群因子得分对所述第一监测数据中各个数据点进行异常值判定处理，确定所述第一监测数据中的第一异常数据，所述第一异常数据为第一监测数据中的变压器异常数据点；

数据修正模块304：用于利用预设的分类算法对所述第一异常数据进行修正处理，确定所述变压器的目标监测数据。

需要说明的是，图3所示装置中各个模块的作用与图1所示方法中各个步骤的内容相似，为避免重复此处不做赘述，具体可参考前述图1所示方法中各个步骤的内容。

本发明提供一种变压器数据的处理装置，装置包括：数据获取模块：用于获取变压器的第一监测数据，第一监测数据为完整的变压器的监测数据，第一监测数据包括若干数据点；离群确定模块：用于利用预设的异常检测算法以及第一监测数据，确定第一监测数据中每个数据点的局部离群因子得分；异常判定模块：用于根据局部离群因子得分对第一监测数据中各个数据点进行异常值判定处理，确定第一监测数据中的第一异常数据，第一异常数据为第一监测数据中的变压器异常数据点；数据修正模块：用于利用预设的分类算法对第一异常数据进行修正处理，确定变压器的目标监测数据。通过上述方式对变压器数据进行处理，可以对变压器数据进行异常值检测和修正，完成变压器数据清洗和预处理，提高了数据的准确性，为后续的特征提取和故障诊断提供准确有效的数据样本。

图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如图1或图2所示步骤。

在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如图1或图2所示步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种变压器数据的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述方法，其特征在于，所述获取变压器的第一监测数据，包括：

获取变压器的原始监测数据；

3.根据权利要求1所述方法，其特征在于，所述利用预设的异常检测算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的局部离群因子得分，包括：

4.根据权利要求3所述方法，其特征在于，所述利用预设的局部可达密度算法以及所述第一监测数据，确定所述第一监测数据中每个数据点的第一局部可达密度，包括：

确定所述第一监测数据中每个数据点之间的距离；

5.根据权利要求4所述方法，其特征在于，所述根据所述第一局部可达密度以及所述异常检测算法，确定每个数据点的局部离群因子得分，包括：

6.根据权利要求3所述方法，其特征在于，所述局部可达密度算法，包括如下数学表达式：

7.根据权利要求5所述方法，其特征在于，所述异常检测算法，包括如下数学表达式：

8.一种变压器数据的处理装置，其特征在于，所述装置包括：

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。