CN111125079A - 一种输变电设备远程运维数据清洗方法 - Google Patents

Abstract

本发明提出了一种输变电设备远程运维数据清洗方法。本发明接入本地平台数据；接入跨平台数据；跨平台数据进行数据预处理、数据清洗；所述跨平台数据进行数据预处理、数据清洗，具体为：根据跨平台数据抽取得到多元时间序列；对多元时间序列进行平稳化处理，得到平稳时间序列；根据平稳时间序列进行拟合得到ARMA模型；通过拟合得到的ARMA模型去检测模型残差以判断是否存在噪声；对存在噪声的数据进行聚类方法分离噪声数据；将噪声分离后的数据及未存在噪声的数据一起采用数据集查询方法检测缺失值。本发明极大地提高了多平台数据的利用率，为后续的输变电设备操作以及数据分析处理提供有效的参考数据集。

Description

一种输变电设备远程运维数据清洗方法

技术领域

本发明属于电力技术领域，更为具体地讲，涉及一种输变电设备远程运维数据清洗方法。

背景技术

电力系统中各种数据已呈现爆炸性增长的态势，从海量的数据中提取出有价值的信息变得越来越重要，而数据信息的有效挖掘对数据质量提出了更高要求。而数据质量和数据共享利用水平不高，一是数据对分析决策支持度低，同一数据存在多个数多源、统计口径不一致；二是数据对运营管理的支持度有待提高，数据质量参差不齐，部分数据无业务系统支持，缺乏统一的规范、标准和明确的数据问责；三是一线人员数据录入工作量巨大，数据重复录入，业务功能重复；四是数据质量管控滞后，管控工作片面化，没有形成一个完整性的数据质量管控体系和全面有效的数据质量保障机制，制约数据价值的深度挖掘。

因而数据质量评估也越来越受到关注，国内外不同领域的专家从不同角度对数据质量进行了相关研究。数据质量针对不同的用户对象有不同的标准，而非一个一概而论、绝对的概念。因此数据质量的定义应根据需求决定其涵盖的方面。电力统计数据质量的评估所选取的评估指标就应该根据电力系统的需求和数据特征来决定。数据质量评估的核心在于如何具体地评估各个维度,目前方法主要分成两类:定性的策略和定量的策略。对各个维度从定性的角度来分析其好或坏,这是目前数据质量评估方法的主流。

输电设备数据质量评估面临以下问题与困难：一是原有各业务信息系统存有较大差异，输变电设备远程运维数据的集成与共享严重不足，传统关系型数据库无法满足海量、多源、异构数据的管理需求；而且输变电设备远程运维数据利用率低，真实价值未能得到充分地挖掘和利用。因此，本发明专利提出一种输变电设备远程运维数据清洗方法，以提高这些多源数据的利用率。

发明内容

为了克服现有技术的不足,本发明提供一种输变电设备远程运维数据清洗方法。

本发明所采用的技术方案为，包括以下步骤：

步骤1：接入本地平台数据

步骤2：接入跨平台数据；

步骤3：跨平台数据进行数据预处理、数据清洗；

步骤3：跨平台数据进行数据预处理、数据清洗；其具体实现包括以下子步骤：

步骤3.1：根据步骤2中的跨平台数据抽取得到多元时间序列；

步骤3.2：对多元时间序列进行平稳化处理，得到平稳时间序列；

步骤3.3：根据平稳时间序列进行拟合得到ARMA模型；

步骤3.4：通过拟合得到的ARMA模型去检测模型残差以判断是否存在噪声；

步骤3.5：对步骤3.4中存在噪声的数据进行聚类方法分离噪声数据；

步骤3.6：将噪声分离后的数据及未存在噪声的数据一起采用数据集查询方法检测缺失值；

进一步地，步骤3.6中将噪声分离后的数据及未存在噪声的数据一起采用数据集查询方法检测缺失值为：

利用牛顿插值公式方法计算出应插入的缺失点数值；

建立贝叶斯网络拓扑结构，使用反正的数据集训练网络参数，根据贝叶斯推断方法计算缺失点取值概率最大的数值；

填补完缺失值之后便能得到数据质量满足要求的数据集。

本发明优点在于，本发明将多平台的数据接入，将多种平台数据进行清洗，得到满足数据质量要求的数据集，极大地提高了多平台数据的利用率，为后续的输变电设备操作以及数据分析处理提供有效的参考数据集。

附图说明

图1：是输变电设备远程运维数据清洗方法的设计流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1，本发明的具体实施方式为一种输变电设备远程运维数据清洗方法：

步骤1：接入本地平台数据

步骤1.1：现场标准化作业平台的通过无线数据链路，如蓝牙数据链路或802.11协议，获取试验仪器采集的试验数据。

蓝牙通讯的标准为：通讯模式：本专利规定采用点对点方式进行数据通讯。串行线性仿真协议(RFCOMM)：使用本规范传输数据的装置，必须实现串口线性仿真协议(RFCOMM)，以规范数据传输的基本方式。服务发现协议(SDP)：使用本规范传输数据的装置，必须提供完整的基于蓝牙(BlueTooth)技术的SDP服务，用以从监视方向和控制方向两个方向能建立基于蓝牙技术的无线数据链路。全球唯一标识(Universally Unique Identifiers，UUID)定义：本专利约定的UUID为：ae199ffc-db09-47d8-8346-4fef04e09e34。名称规则：蓝牙设备名称规则为：仪器型号+出厂编号。例如，仪器型号为FQR335，出厂编号为12092，则建议的蓝牙命名为FEQ335+12092。

步骤1.2：在企业服务总线的基础上，通过数据接口、数据中心共享、网络隔离下的安全文件传输等方式，配置相关策略。定义相关接口、周期、调用对象和频率等参数，从业务系统中自动选取数据，完成跨平台数据库访问、跨平台大数据库文件高速并发读取、跨平台数据安全传输和同步等关键技术。

步骤2：接入跨平台数据。

远程运维异构数据跨平台接入依托输变电远程运维数据处理系统实现。

跨平台输变电远程运维数据处理系统是集成了相关软件系统的一体化硬件装置，该装置的输入是各业务系统中的实时、历史和环境数据。它以单台或集群的方式部署在信息内网，对于同处信息内网的业务系统(如设备实时运行数据、当前状态数据、历史信息数据等)，直接获取由业务系统推送的数据；对于部署在信息外网的业务系统和数据(如设备所处环境信息等)，将在隔离系统的保护下进行数据的传输。

输变电远程运维数据处理系统的主要功能是获取业务数据，经过数据获取、数据初步清洗和数据转换等处理环节，为输变电设备状态评估系统的分析和展示提供数据基础。

表1：带时间序列的书写标准

带时间标记的试验数据(类型标识128：M_ME_TD_3)按标准书写，其标准如表1所示。传送原因用于类型标识128：M_ME_TD_3

传送原因：<3>：＝突发(自发)；<5>：＝被请求。

信息对象序列(SQ＝0)

步骤3.2：对多远时间序列进行平稳化处理，得到平稳时间序列；

首先判断时间序列是否为平稳性数据。从上面步骤中得到一串时间序列数据，记为{x(t)t＝…,-1,0,1,2,…}。其中时刻t可取遍正负整数和零值。此时记x(t)的均值为m(t)＝Ex(t)，显然它是随t而变化的函数，类似地，x(t)与x(s)的协方差为γ(t,s)＝E[x(t)-m(t)][x(s)-m(s)]，以及它们的相关系数ρ(t,s)＝γ(t,s)/[γ(t,t)γ(s,s)]x^1/2为t和s的二元函数。如果均值m(t)＝m为常数值，γ(t,s)和ρ(t,s)只依赖于t-s之值，则此序列为平稳时间序列，无需平稳化。

若不满足时间序列平稳条件，则采用要先进行d阶差分运算进行平稳化处理。即进行d次将后一时间点的值减去当前时间点，得到新的序列。

步骤3.3：根据平稳时间序列进行拟合得到ARMA模型。

要对平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF，通过对自相关图和偏自相关图的分析，得到最佳的阶层p和阶数q，由以上得到的d、q、p，得到ARMA模型；然后开始对得到的模型进行模型检验，以证实所得模型确实与所观察到的数据特征相符；

步骤3.4：通过拟合得到的ARMA模型去检测模型残差以判断是否存在噪声。

ARMA模型假定残差是一个高斯白噪声，进行残差分析可以考察这个假定。

用MATLAB中sarima()函数拟合模型时会自动输出一个残差分析图，包括四个部分：

标准化残差图应该表现为均值为0方差为1的白噪声；

残差的样本自相关函数图应该表现为白噪声的自相关图(无明显自相关)；

残差的正态性Q-Q图。Q-Q用来辅助检查数据的正态性。残差的正态性是ARMA模型的一个重要假定。如果残差满足正态性时，Q-Q图上的点应该大致上沿对角线分布；

Q-统计量的P值图Ljung-Box检验可以检验一些列观测值是否是随机的独立观测值，可用于检验ARIMA模型残差是否彼此独立，Q-统计量图绘制了Ljung-Box检验下各lag值对应的P值，应该表现为约有95％的P值大于0.05(点位于蓝色线以上)。

步骤3.5：对步骤3.4中存在噪声的数据进行聚类方法分离噪声数据；

确定DBSCAN聚类方法的参数，主要是定义密度时的邻域半径Eps，定义核心点时的阈值MinPts。如果一个对象在其半径Eps内含有超过MinPts数目的点，则该对象为核心点。如果一个对象在其半径Eps内含有点的数量小于MinPts，但是该对象落在核心点的邻域内，则该对象为边界点。如果一个对象既不是核心点也不是边界点，则该对象为噪音点。如果点p在核心点q的Eps邻域內，则称数据对象p从数据对象q出发是直接密度可达的。如果存在数据对象链p₁,p₂,…,p_n，p_i+1是从p_i关于Eps和MinPts直接密度可达的，则数据对象p_n是从数据对象p₁关于EpsMinPts密度可达的。对于对象p和对象q，如果存在核心对象样本o，使数据对象p和对象q均从o密度可达，则称p和q密度相连。显然，密度相连具有对称性。

采用密度可达、密度相连的定义数据集聚类、分离出核心点、边界点、噪声点，将噪声点剔除，具体处理流程如下。

步骤3.5.1：从数据集中任意选取一个数据对象点p；

步骤3.5.2：如果对于参数Eps和MinPts，所选取的数据对象点p为核心点，则找出所有从p密度可达的数据对象点，形成一个簇；

步骤3.5.3：如果选取的数据对象点p是边缘点，选取另一个数据对象点；

步骤3.5.4：重复步骤3.5.2、步骤3.5.3步，直到所有点被处理。

DBSCAN算法的计算复杂的度为O(n²)，n为数据对象的数目。这种算法对于输入参数Eps和MinPts是敏感的。

步骤3.6：将噪声分离后的数据及未存在噪声的数据一起采用数据集查询方法检测缺失值。

查询方法遍历数据集检测是否存在缺失值。

如果检测出有缺失值，则需要填补缺失值，填补缺失值的具体内容为：

先利用牛顿差值函数初步估计缺失点数值；

上述步骤中采用了MATLAB进行仿真拟合，设拟合之后的函数为f(x)，已知n+1个插值节点为(x_i,y_i),i＝0,1,…,n，我们定义：

f(x)在x_i的零阶差商为f(x_i)；

f(x)在点与的一阶差商为

f(x)在点x_i，x_j，x_k的二阶差商为

一般的，f(x)在点x₀,x₁,…,x_k的k阶差商为

可将k阶差商f(x₀,x₁,…,x_k)表示为函数值f(x₀),f(x₁),…,f(x_k)的组合：

先写出f(x)的各阶差商：

……

分别变形可得：

f(x)＝f(x₀)+(x-x₀)f(x,x₀)

f(x,x₀)＝f(x₀,x₁)+(x-x₁)f(x,x₀,x₁)

……

f(x,x₀,x₁,…,x_n-1)＝f(x₀,x₁,…,x_n)+(x-x_n)f(x,x₀,x₁,…,x_n)

依次代入，可得牛顿差值公式：

f(x)＝f(x₀)+(x-x₀)f(x,x₀)+(x-x₀)(x-x₁)f(x₀,x₁,x₂)+…+(x-x₀)(x-x₁)…f(x₀,x₁,…,x_n)

可记为：

f(x)＝N_n(x)+R_n(x)

其中，R_n(x)为牛顿插值公式的余项或截断误差，当n趋于无穷大时为零。取节点间距为h，可导出等间距牛顿差值公式。f(x)的n阶向前差分公式为：

等间距牛顿插值公式：

利用上述牛顿插值公式方法计算出应插入的缺失点数值。

建立贝叶斯网络拓扑结构，使用反正的数据集训练网络参数，根据贝叶斯推断方法计算缺失点取值概率最大的数值；

填补完缺失值之后便能得到数据质量满足要求的数据集。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种输变电设备远程运维数据清洗方法，其特征在于，包括：

步骤1：接入本地平台数据

步骤2：接入跨平台数据；

步骤3：跨平台数据进行数据预处理、数据清洗。

2.根据权利要求1所述的输变电设备远程运维数据清洗方法，其特征在于：

步骤3.1：根据步骤2中的跨平台数据抽取得到多元时间序列；

步骤3.2：对多元时间序列进行平稳化处理，得到平稳时间序列；

步骤3.3：根据平稳时间序列进行拟合得到ARMA模型；

步骤3.4：通过拟合得到的ARMA模型去检测模型残差以判断是否存在噪声；

步骤3.5：对步骤3.4中存在噪声的数据进行聚类方法分离噪声数据；

步骤3.6：将噪声分离后的数据及未存在噪声的数据一起采用数据集查询方法检测缺失值。

3.根据权利要求1所述的输变电设备远程运维数据清洗方法，其特征在于：

步骤3.6中将噪声分离后的数据及未存在噪声的数据一起采用数据集查询方法检测缺失值为：

利用牛顿插值公式方法计算出应插入的缺失点数值；

建立贝叶斯网络拓扑结构，使用反正的数据集训练网络参数，根据贝叶斯推断方法计算缺失点取值概率最大的数值；

填补完缺失值之后便能得到数据质量满足要求的数据集。

Images