CN114039886A - 基于四分差和自相关性分析的数据正确性辨识方法及装置 - Google Patents

基于四分差和自相关性分析的数据正确性辨识方法及装置 Download PDF

Info

Publication number
CN114039886A
CN114039886A CN202111215830.2A CN202111215830A CN114039886A CN 114039886 A CN114039886 A CN 114039886A CN 202111215830 A CN202111215830 A CN 202111215830A CN 114039886 A CN114039886 A CN 114039886A
Authority
CN
China
Prior art keywords
data
monitoring data
abnormal
monitoring
correctness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111215830.2A
Other languages
English (en)
Inventor
袁晓峰
王家武
季金豹
卢京祥
郑加丽
厉文秀
汉新宇
郭大伟
崔巍
金立峰
刘鑫
陈康
高颖
牟芯颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Rizhao Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Rizhao Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Rizhao Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202111215830.2A priority Critical patent/CN114039886A/zh
Publication of CN114039886A publication Critical patent/CN114039886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0847—Transmission error
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

基于四分差和自相关性分析的数据正确性辨识方法及装置，属于调度自动化领域。其特征在于：包括如下步骤：对监测数据进行修复；对监测数据进行自相关性分析，筛选出异常数据；采用自相关函数捕捉异常数据中的伪异常数据；保留伪异常数据，确认异常数据。本基于四分差和自相关性分析的数据正确性辨识方法及装置能够综合考虑评价通道传输数据的多种指标，对调度自动化系统的主子站通道中的异常数据和伪数据进行准确识别，避免了漏判和误判情况，能够提升数据质量，满足实际工程需求。

Description

基于四分差和自相关性分析的数据正确性辨识方法及装置
技术领域
基于四分差和自相关性分析的数据正确性辨识方法及装置，属于调度自动化领域。
背景技术
随着近年来我国经济持续向好发展，作为生产生活不可或缺的电力能源的需求是巨大的。伴随着电能需求的急剧增长，调度自动化系统传输的数据也在大量增加。但是，电力调度自动化系统中存在故障或者是干扰，因此有可能存在数据传输错误和漏报以及网关等数据采集设备的跳变等问题，难以适应智能电网快速发展下的电网运行监视要求。因此，大量数据的传输使得调度自动化系统的任务更加艰巨，不仅要保证数据传输的完整性，同时还要保证数据传输的正确性，确保数据质量。
变电站在逐步升级智能化的条件下，调度自动化系统的数据传输是确保电力系统安全稳定运行的核心。数据传输应满足完整性、规范性和准确性的要求，这是电力系统调度的重要保障。在当前变电站智能化监控的背景下，由于各监控传输设备存在显著差异，引起了调度自动化系统信息传输的不稳定，导致异常数据反复出现。目前采用的数据正确性辨识方法主要是设置数据的阈值，通过数据的上下限进行异常数据的判定，从而辨别数据的正确性和异常数据。这种方法简单容易设置，但数据的传输通道出现延迟上送、丢包等情况则无法进行监测和辨识。此外，用户的动态用电行为存在大量的不确定性，会产生突变的数据，由此引起的伪异常数据也无法进行监测和辨识。所以，目前的技术手段存在大量的弊端，对于数据的正确性辨识存在大量不足。
因此，在当前如何有效的辨识主子站传输通道的异常数据，对数据进行正确性辨识是电力系统安全稳定的研究热点。从调度自动化系统主子站数据传输的角度出发，亟待研究如何辨识主子站通道数据的正确性，开展基于四分差和数据自相关性分析的数据辨识数据的研究工作。
发明内容
本发明要解决的技术问题是：克服现有技术的不足，提供一种能够综合考虑评价通道传输数据的多种指标，对调度自动化系统的主子站通道中的异常数据和伪数据进行准确识别，避免漏判和误判情况，提升数据质量的基于四分差和自相关性分析的数据正确性辨识方法及装置。
本发明解决其技术问题所采用的技术方案是：该基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：包括如下步骤：
对监测数据进行修复；
对监测数据进行自相关性分析，筛选出异常数据；
采用自相关函数捕捉异常数据中的伪异常数据；
保留伪异常数据，确认异常数据。
优选的，对监测数据进行修复包括如下步骤：
确认监测数据的完整性，若监测数据缺失，则对监测数据进行增补；
确认监测数据传输准确性，并对格式错误的监测数据进行格式矫正。
优选的，所述监测数据缺失的增补方法如下：
Figure BDA0003310754630000021
其中，Dt表示在t时刻缺失的监测数据，Dt-k和Dt+l分别表示在t-k和t+l时刻的监测数据，m1和m2分别表示缺失监测数据时刻的前后时间尺度。
优选的，所述方法还包括，构建监测数据正确性辨识的信息矩阵D：
Figure BDA0003310754630000022
其中，dn，t为第n个类型的监测数据在t时刻的监测数据；
对各类型的监测数据从小到大进行排序，构建监测数据信息矩阵D′。
优选的，所述方法还包括，计算监测数据的四分差的下四分位数dQ1、上四分位数dQ3以及四分差离IQR：
Q1＝(t+1)×0.25，
Q3＝(t+1)×0.75，
Figure BDA0003310754630000023
基于四分差的监测数据正确性判定区间为：
Figure BDA0003310754630000031
优选的，基于四分差的监测数据正确性判定区间筛选监测数据异常值，在判定区间之外的监测数据即为异常数据。
优选的，所述方法还包括，确定监测数据的均值
Figure BDA0003310754630000032
和方差Var(D)：
Figure BDA0003310754630000033
Figure BDA0003310754630000034
计算监测数据Dt和Dt+l之间的相关系数：
Figure BDA0003310754630000035
优选的，对于在一段时间上时间间隔l的n个时间序列，监测数据的自相关函数为：
Figure BDA0003310754630000036
通过不算迭代寻找最优的时间间隔，得到最大的自相关系数ρmax。
优选的，迭代的最优周期中出现的突变数据标记为伪突变数据，并在多源数据传输通道中进行数据对比确认异常数据。
一种基于四分差和自相关性分析的数据正确性辨识装置，其特征在于：包括
数据修复模块，对监测数据进行修复；
数据分析模块，对监测数据进行自相关性分析，筛选出异常数据；
数据捕捉模块，采用自相关函数捕捉异常数据中的伪异常数据；
数据确认模块，保留伪异常数据，确认异常数据。
与现有技术相比，本发明所具有的有益效果是：
本基于四分差和自相关性分析的数据正确性辨识方法及装置能够综合考虑评价通道传输数据的多种指标，对调度自动化系统的主子站通道中的异常数据和伪数据进行准确识别，避免了漏判和误判情况，能够提升数据质量，满足实际工程需求。
附图说明
图1为基于四分差和自相关性分析的数据正确性辨识方法的流程图。
具体实施方式
图1是本发明的最佳实施例，下面结合附图1对本发明做进一步说明。
下面结合具体实施例对本发明做进一步说明，然而熟悉本领域的人们应当了解，在这里结合附图给出的详细说明是为了更好的解释，本发明的结构必然超出了有限的这些实施例，而对于一些等同替换方案或常见手段，本文不再做详细叙述，但仍属于本申请的保护范围。
基于四分差和自相关性分析的数据正确性辨识方法，包括如下步骤：
对监测数据进行修复。
对监测数据进行修复包括如下步骤：
确认监测数据的完整性，若监测数据缺失，则对监测数据进行增补；
若数据存在缺失的情况，采用阶拉格朗日内插法对缺失数据进行增补。监测数据缺失的增补方法如下：
Figure BDA0003310754630000041
其中，Dt表示在t时刻缺失的监测数据，Dt-k和Dt+l分别表示在t-k和t+l时刻的监测数据，m1和m2分别表示缺失监测数据时刻的前后时间尺度。
确认监测数据传输准确性，并对格式错误的监测数据进行格式矫正。
通过自动校验对数据格式进行查验，确保数据的准确接收和传输。
对监测数据进行自相关性分析，筛选出异常数据。
构建监测数据正确性辨识的信息矩阵D：
Figure BDA0003310754630000051
其中，dn，t为第n个类型的监测数据在t时刻的监测数据；
对各类型的监测数据从小到大进行排序，构建监测数据信息矩阵D′。
计算监测数据的四分差的下四分位数dQ1、上四分位数dQ3以及四分差离IQR：
Q1＝(t+1)×0.25，
Q3＝(t+1)×0.75，
Figure BDA0003310754630000052
基于四分差的监测数据正确性判定区间为：
Figure BDA0003310754630000053
基于四分差的监测数据正确性判定区间筛选监测数据异常值，在判定区间之外的监测数据即为异常数据，在判定区间之内的为正常数据。
针对筛选后的异常数据中可能存在伪异常的数据的问题，即存在由于突发的工况使电力数据发生突变的正常数据。因此，针对这一类伪异常数据应该从异常数据中剔除，避免数据误判。所以，采用自相关函数捕捉伪异常数据。
确定监测数据的均值
Figure BDA0003310754630000054
和方差Var(D)：
Figure BDA0003310754630000055
Figure BDA0003310754630000056
计算监测数据Dt和Dt+l之间的相关系数：
Figure BDA0003310754630000061
对于在一段时间上时间间隔l的n个时间序列，监测数据的自相关函数为：
Figure BDA0003310754630000062
通过不算迭代寻找最优的时间间隔，得到最大的自相关系数ρmax。
不同的时间间隔l对应不同的自相关系数值，通过不算迭代寻找最优的时间间隔，得到最大的自相关系数ρmax。
采用自相关函数捕捉异常数据中的伪异常数据。
迭代的最优周期中出现的突变数据标记为伪突变数据，并在多源数据传输通道中进行数据对比确认异常数据。
在迭代的最优周期中出现伪突变数据保留，将异常突变数据进行标记，并在多源数据传输通道中进行数据对比确认异常数据，确保数据的正确性。
保留伪异常数据，确认异常数据。
通过多阶拉格朗日内插法对监测数据传输中缺失的数据进行增补，形成完成的监测数据集合。此外，通过四分差对极端离群的监测数据进行筛选和辨识，避免极端值对监测数据整体质量的影响，而不依赖于监测数据的分布。然后，针对电力系统中因突变情况而产生的伪异常数据，根据自相关分析进行辨识，从极端离群监测数据中剔除伪异常数据，避免监测数据的误判。
随着智能电网的发展，调度自动化系统的接入数据量逐步增多，如调度自动化系统出现通道故障、设备采集异常等情况，将造成实时数据异常，影响电网运行监视与分析。因此，有效的不良负荷据辨识具有重要意义。首先，查验监测数据的完整性，针对缺失的监测数据采用多阶拉格朗日内插法进行增补。同时，监测数据格式进行检查，对错误格式自动进行矫正。然后，利用数据期望值与偏差的四分位差，在不依赖监测数据分布的情况下，检测和查找极端离群的数值。此外，基于自相关函数对异常数据中包含的伪异常数据进行辨识，避免造成监测数据的误检测。本发明提出的基于四分差和自相关性分析的监测数据正确性辨识方法能够对调度自动化系统的数据源进行异常数据辨识，同时辨识监测数据中的伪异常数据，避免造成误检，提升主子站通道接收的数据质量，并选取数据正确性高的数据源，保证了数据的质量。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：包括如下步骤：
对监测数据进行修复；
对监测数据进行自相关性分析，筛选出异常数据；
采用自相关函数捕捉异常数据中的伪异常数据；
保留伪异常数据，确认异常数据。
2.根据权利要求1所述的基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：对监测数据进行修复包括如下步骤：
确认监测数据的完整性，若监测数据缺失，则对监测数据进行增补；
确认监测数据传输准确性，并对格式错误的监测数据进行格式矫正。
3.根据权利要求2所述的基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：所述监测数据缺失的增补方法如下：
Figure FDA0003310754620000011
其中，Dt表示在t时刻缺失的监测数据，Dt-k和Dt+l分别表示在t-k和t+l时刻的监测数据，m1和m2分别表示缺失监测数据时刻的前后时间尺度。
4.根据权利要求1所述的基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：所述方法还包括，构建监测数据正确性辨识的信息矩阵D：
Figure FDA0003310754620000012
其中，dn，t为第n个类型的监测数据在t时刻的监测数据；
对各类型的监测数据从小到大进行排序，构建监测数据信息矩阵D′。
5.根据权利要求4所述的基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：所述方法还包括，计算监测数据的四分差的下四分位数dQ1、上四分位数dQ3以及四分差离IQR：
Q1＝(t+1)×0.25，
Q3＝(t+1)×0.75，
Figure FDA0003310754620000021
基于四分差的监测数据正确性判定区间为：
Figure FDA0003310754620000022
6.根据权利要求5所述的基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：基于四分差的监测数据正确性判定区间筛选监测数据异常值，在判定区间之外的监测数据即为异常数据。
7.根据权利要求4所述的基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：所述方法还包括，确定监测数据的均值
Figure FDA0003310754620000023
和方差Var(D)：
Figure FDA0003310754620000024
Figure FDA0003310754620000025
计算监测数据Dt和Dt+l之间的相关系数：
Figure 1
。
8.根据权利要求7所述的基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：对于在一段时间上时间间隔l的n个时间序列，监测数据的自相关函数为：
Figure FDA0003310754620000031
通过不算迭代寻找最优的时间间隔，得到最大的自相关系数ρmax。
9.根据权利要求8所述的基于四分差和自相关性分析的数据正确性辨识方法，其特征在于：迭代的最优周期中出现的突变数据标记为伪突变数据，并在多源数据传输通道中进行数据对比确认异常数据。
10.一种基于四分差和自相关性分析的数据正确性辨识装置，其特征在于：包括
数据修复模块，对监测数据进行修复；
数据分析模块，对监测数据进行自相关性分析，筛选出异常数据；
数据捕捉模块，采用自相关函数捕捉异常数据中的伪异常数据；
数据确认模块，保留伪异常数据，确认异常数据。
CN202111215830.2A 2021-10-19 2021-10-19 基于四分差和自相关性分析的数据正确性辨识方法及装置 Pending CN114039886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111215830.2A CN114039886A (zh) 2021-10-19 2021-10-19 基于四分差和自相关性分析的数据正确性辨识方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111215830.2A CN114039886A (zh) 2021-10-19 2021-10-19 基于四分差和自相关性分析的数据正确性辨识方法及装置

Publications (1)

Publication Number Publication Date
CN114039886A true CN114039886A (zh) 2022-02-11

Family

ID=80141654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111215830.2A Pending CN114039886A (zh) 2021-10-19 2021-10-19 基于四分差和自相关性分析的数据正确性辨识方法及装置

Country Status (1)

Country Link
CN (1) CN114039886A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936211A (zh) * 2022-07-19 2022-08-23 深圳市星卡软件技术开发有限公司 一种汽车诊断数据处理方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766175A (zh) * 2015-04-16 2015-07-08 东南大学 一种基于时间序列分析的电力系统异常数据辨识与修正方法
CN108847968A (zh) * 2018-06-04 2018-11-20 国网浙江省电力有限公司 监控事故、异常事件辨识及多维分析方法
CN112085115A (zh) * 2020-09-16 2020-12-15 华北电力大学 高维空间异常数据优化识别方法
CN112213687A (zh) * 2020-10-10 2021-01-12 国网四川省电力公司电力科学研究院 基于伪异常点辨识的关口电能表数据异常检测方法及系统
CN112434822A (zh) * 2020-10-14 2021-03-02 国网浙江省电力有限公司湖州供电公司 基于智能电表及地理信息分群的户用光伏异常识别方法
CN113435547A (zh) * 2021-08-27 2021-09-24 中国环境监测总站 一种水质指标融合数据异常检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766175A (zh) * 2015-04-16 2015-07-08 东南大学 一种基于时间序列分析的电力系统异常数据辨识与修正方法
CN108847968A (zh) * 2018-06-04 2018-11-20 国网浙江省电力有限公司 监控事故、异常事件辨识及多维分析方法
CN112085115A (zh) * 2020-09-16 2020-12-15 华北电力大学 高维空间异常数据优化识别方法
CN112213687A (zh) * 2020-10-10 2021-01-12 国网四川省电力公司电力科学研究院 基于伪异常点辨识的关口电能表数据异常检测方法及系统
CN112434822A (zh) * 2020-10-14 2021-03-02 国网浙江省电力有限公司湖州供电公司 基于智能电表及地理信息分群的户用光伏异常识别方法
CN113435547A (zh) * 2021-08-27 2021-09-24 中国环境监测总站 一种水质指标融合数据异常检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周优等: "公共建筑电耗监测数据缺失及异常的预处理方法探究", 《建筑技术》 *
杨哲等: "基于M估计量及标准四分位间距的安全监测数据异常识别的改进方法", 《长江科学院院报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114936211A (zh) * 2022-07-19 2022-08-23 深圳市星卡软件技术开发有限公司 一种汽车诊断数据处理方法、装置、设备及介质
CN114936211B (zh) * 2022-07-19 2022-11-01 深圳市星卡软件技术开发有限公司 一种汽车诊断数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN105740975B (zh) 一种基于数据关联关系的设备缺陷评估与预测方法
CN107749667B (zh) 一种智能变电站保护压板信息和状态的实时监测方法
CN106787169B (zh) 一种多数据源比较技术诊断变电站遥测故障的方法
CN113239132B (zh) 一种电压互感器的超差在线辨识方法
CN111160791A (zh) 一种基于gbdt算法及因素融合的异常用户识别方法
CN104052633A (zh) 智能站61850与远动104规约集成测试方法
CN103905275A (zh) 基于iec61850取代服务的电力远动装置测试方法
CN109473945B (zh) 一种继电保护模型数据校验及自动配置方法
CN110244163B (zh) 一种台区停复电事件层级智能研判方法及装置
CN111835006B (zh) 一种基于电压曲线和最小二乘的低压台区拓扑识别方法
CN103730894A (zh) 能量管理系统图形检查方法及装置
CN102800030A (zh) 地区电网继电保护设备综合可靠性互动迭代评估方法
CN111313399B (zh) 一种区域用电网络拓扑关系确认方法、装置和系统
CN110412417B (zh) 基于智能电力监测仪表的微电网数据故障诊断方法
CN114039886A (zh) 基于四分差和自相关性分析的数据正确性辨识方法及装置
CN103529337B (zh) 设备故障与电气量信息间非线性相关关系的识别方法
CN111999691A (zh) 一种计量传感器装置的误差校准方法和误差校准装置
CN113688987A (zh) 光伏监测模型的训练方法、光伏设备的监测方法及设备
CN110955808B (zh) 一种主厂站四遥监控信息匹配关联的方法
CN112215482A (zh) 一种户变关系识别方法和装置
CN112182499A (zh) 一种基于时序电量数据的低压配电网拓扑结构辨识方法
CN115587635A (zh) 一种基于中性点偏移判断的台区线损分析方法、系统
CN115313621A (zh) 基于灰色理论的智能变电站自动运维系统及其方法
CN111342554B (zh) 一种台区拓扑自动识别系统和方法
CN110321527B (zh) 一种基于多元基础信息融合的数据有效性判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220211