CN106354803B - 基于特性指标的电力输变电设备负荷坏数据检测方法 - Google Patents
基于特性指标的电力输变电设备负荷坏数据检测方法 Download PDFInfo
- Publication number
- CN106354803B CN106354803B CN201610743931.XA CN201610743931A CN106354803B CN 106354803 B CN106354803 B CN 106354803B CN 201610743931 A CN201610743931 A CN 201610743931A CN 106354803 B CN106354803 B CN 106354803B
- Authority
- CN
- China
- Prior art keywords
- load
- curve
- load curve
- index
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000005540 biological transmission Effects 0.000 title claims abstract description 17
- 230000009466 transformation Effects 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000009499 grossing Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Abstract
一种基于特性指标的电力输变电设备负荷坏数据检测方法,步骤为:计算聚类有效性指标,确定最佳聚类数,用集成聚类算法对负荷曲线聚类,得到每一类的特征曲线Cp。计算每一类中各负荷曲线在各时刻时,实际负荷曲线与特征曲线的差异程度zscore。用移动中值平滑算法对每一条负荷曲线进行平滑处理,将原始负荷曲线和平滑负荷曲线作差得到误差序列en,计算各时刻的平滑性指标mscore,检测坏数据,令迭代次数r=r+1,若r>M,重复步骤二至步骤九,若r<M,则完成检测。其有益效果是:可以有效消除离群点对其邻近点平滑值的影响,具有较好的稳定性。对于大规模数据集的计算效率较高,辨识与修正的准确率较高能够有效处理连续坏数据。
Description
技术领域
本发明涉及电力系统大数据挖掘领域,特别是一种基于特性指标的电力输变电设备负荷坏数据检测方法。
背景技术
随着电力系统信息化程度的不断提高和电力大数据量的迅速增长,研究适用于电力大数据挖掘的算法并建立有效的知识发现模型,对智能电网业务模式创新和发展具有重要意义。
电力系统中,各类数据采集与监控系统采集的输变电主设备负荷数据是电力系统调度运行、安全稳定分析、设备状态与风险评估基础。然而,在电力系统的实际运行中,一方面由于数据采集通道错误、远程终端单元故障等原因会导致观测数据出现反常态势,以致与大多数观测值不一致;另一方面,由于特殊事件(如线路检修、切负荷停电、大事件冲击等)引起负荷的异常变化,也会导致观测数据违背常规。此外,数据计量装置或存储设备故障也可能导致部分负荷数据缺失。因此,在进行负荷数据分析与建模之前,必须对原始负荷数据中的异常数据进行有效的检测和辨识。
这里所说的负荷缺坏数据的识别与处理基于以下两个前提条件:(1)负荷数据具有规律性和随机性两个特点。规律性是负荷坏数据辨识与修正的基础,而随机性确定了负荷修正值在统计学意义下的置信度与置信区间。(2)负荷曲线具有纵向平滑性及横向相似性。平滑性是指电力系统相近时刻负荷变化较小,相似性是指相邻且类型相同的负荷曲线形状非常相似。
目前国内外对电力负荷数据异常辨识的研究存在一些普遍性的问题。首先,文献中的方法都是针对小规模数据集,对于大规模数据集的计算效率较低;其次,大多数方法没有将负荷曲线的平滑性与相似性综合考虑,从而导致辨识与修正的准确率较低;最后,这些方法对单个离散坏数据的处理效果较好,而对于大片连续坏数据的处理效果一般。
发明内容
本发明的目的是为了解决上述问题,设计了一种基于特性指标的电力输变电设备负荷坏数据检测方法。具体设计方案为:
一种基于特性指标的电力输变电设备负荷坏数据检测方法,其特征在于,步骤为:
令迭代次数为r,用户总数为M,且用户的数量为至少一个,
步骤一、令r=1,
步骤二、计算聚类有效性指标,确定最佳聚类数,
步骤三、用集成聚类算法对负荷曲线聚类,得到每一类的特征曲线Cp。
步骤四、计算每一类中各负荷曲线在各时刻时,实际负荷曲线与特征曲线的差异程度zscore。
步骤五、用移动中值平滑算法对每一条负荷曲线进行平滑处理,
步骤六、将原始负荷曲线和平滑负荷曲线作差得到误差序列en,
步骤七、计算各时刻的平滑性指标mscore,
步骤八、检测坏数据,
步骤九、令迭代次数r=r+1,若r>M,重复步骤二至步骤九,若r<M,则完成检测。
步骤四中,计算第p类各条曲线在t时刻的相似性指标,
重复步骤四,直至每条负荷曲线都被处理过,该指标表示负荷曲线上某点与特征曲线上对应点的偏离程度,zscore的值越大表明该点的异常度越大。
步骤五中,对每一条负荷曲线进行平滑处理的流程为:
输入:时间序列x={x1,x2,…,xn};参数k
输出:平滑处理后的时间序列yn,
令迭代次数r=1
取窗口宽度为2k+1,则xi的平滑值yi为xi-k,xi-k+1,…,xi+k-1,xi+k的中值:
yi=median{xi-k,xi-k+1,…,xi+k-1,xi+k}
令窗口宽度取3,即k=1。
则边界点的平滑值为:
y1=median{y2,y3,…,3y2-2y3}
yn=median{yn,yn-1,…,3yn-1-2yn}
重复以上步骤,直至序列值不再变化,
移动中值平滑法由于采用的是中位数,
步骤六中,误差序列en的获得方法为:
步骤七中,计算xn各时刻的平滑性指标mscore,其计算公式为:
该指标表示负荷曲线上某点与平滑曲线上对应点的偏离程度,zscore的值越大表明该点的异常度越大。
步骤八中,坏数据检测公式为:
|zscore|>thr1,|mscore|>thr2
所述thr1为zscore的阈值,所述thr2为所述mscore的阈值。
通过本发明的上述技术方案得到的基于特性指标的电力输变电设备负荷坏数据检测方法,其有益效果是:
移动中值平滑法由于采用的是中位数而不是平均值,因此可以有效消除离群点对其邻近点平滑值的影响,具有较好的稳定性。
对于大规模数据集的计算效率较高,辨识与修正的准确率较高能够有效处理连续坏数据。
附图说明
图1是本发明所述基于特性指标的电力输变电设备负荷坏数据检测方法的步骤流程图;
图2是本发明所述zscore的各时刻箱线图;
图3是本发明所述mscore的各时刻箱线图;
图4是本发明所述输变电主设备负荷数据的zscore散点图;
图5是本发明所述输变电主设备负荷数据的mscore散点图。
具体实施方式
下面结合附图对本发明进行具体描述。
图1是本发明所述基于特性指标的电力输变电设备负荷坏数据检测方法的步骤流程图,如图1所示,一种基于特性指标的电力输变电设备负荷坏数据检测方法,其特征在于,步骤为:
令迭代次数为r,设备负荷曲线总数为M,且设备负荷曲线的数量为至少一个,
步骤一、令r=1,
步骤二、计算聚类有效性指标,确定最佳聚类数,
步骤三、用集成聚类算法对负荷曲线聚类,得到每一类的特征曲线Cp。
步骤四、计算每一类中各负荷曲线在各时刻时,实际负荷曲线与特征曲线的差异程度zscore。
步骤五、用移动中值平滑算法对每一条负荷曲线进行平滑处理,
步骤六、将原始负荷曲线和平滑负荷曲线作差得到误差序列en,
步骤七、计算各时刻的平滑性指标mscore,
步骤八、检测坏数据,
步骤九、令迭代次数r=r+1,若r>M,重复步骤二至步骤九,若r<M,则完成检测。
步骤四中,计算第p类各条曲线在t时刻的相似性指标,
重复步骤四,直至每条负荷曲线都被处理过,该指标表示负荷曲线上某点与特征曲线上对应点的偏离程度,zscore的值越大表明该点的异常度越大。
步骤五中,对每一条负荷曲线进行平滑处理的流程为:
输入:时间序列x={x1,x2,…,xn};参数k
输出:平滑处理后的时间序列yn,
令迭代次数r=1
取窗口宽度为2k+1,则xi的平滑值yi为xi-k,xi-k+1,…,xi+k-1,xi+k的中值:
yi=median{xi-k,xi-k+1,…,xi+k-1,xi+k}
令窗口宽度取3,即k=1。
则边界点的平滑值为:
y1=median{y2,y3,…,3y2-2y3}
yn=median{yn,yn-1,…,3yn-1-2yn}
重复以上步骤,直至序列值不再变化,
移动中值平滑法由于采用的是中位数,
步骤六中,误差序列en的获得方法为:
步骤七中,计算xn各时刻的平滑性指标mscore,其计算公式为:
该指标表示负荷曲线上某点与平滑曲线上对应点的偏离程度,zscore的值越大表明该点的异常度越大。
步骤八中,坏数据检测公式为:
|zscore|>thr1,|mscore|>thr2
所述thr1为zscore的阈值,所述thr2为所述mscore的阈值。
取某省级电网185个电力用户一年365天的负荷数据,共67525条负荷曲线。每条负荷曲线记录全天的48点,共3241200个数据点。人为制造离散坏数据点675个,连续坏数据点125个,坏数据占比为0.025%。
实施例一
通过集成聚类法对67525条负荷曲线进行聚类,本实施例中得到K个类簇{Xp,p=1,2,…,K}及每一类的特征曲线本例中,H=48,且其中每个族类的曲线个数为n1,n2,…,nk,易知n1+n1+…+nk=67525。
实施例二
计算第一个类簇X1中n1条曲线与特征曲线C1在每个时刻的相似性指标zscore
式中,i=1,2,…,n1,t=1,2,…,48.
重复本实施例的上述计算过程,分别计算剩余k-1个类簇中剩余的负荷曲线的相似性指标zscore。
实施例三
取第一条负荷曲线x1,根据参数k设置窗口宽度,
本实时例中取k=3,
窗口宽度为2k+1,
x1(t)的平滑值y1(i)为x1(t-k),x1(t-k+1),…,x1(t+k-1),x1(t+k)的中值:
y1(t)=median{x1(t-k),x1(t-k+1),…,x1(t+k-1),x1(t+k)}
重复本实施例的上述计算过程,直至序列值不再变化。
根据本实施例的上述计算过程,对67525条负荷曲线xi都得出对应的yi。
实施例四
计算每条负荷曲线的误差序列ei:
ei=yi-xi={yi(t)-xi(t),t=1,2,…,48}
计算各条曲线各个时刻的平滑性指标mscore:
mscorei(t)=ei(t)/yi(t),h=1,2,…,48
实施例五
图2是本发明所述zscore的各时刻箱线图;图3是本发明所述mscore的各时刻箱线图,图2与图3的指标统计结果为根据实施例一至四获得,如图2、图3所示,由箱线图可见各时刻zscore和mscore的值都以0为中心;若用Q3表示上四分位数,Q1表示下四分位数,四分位间距IQR=Q3-Q1,则大多数点都位于偏离中位线±3IQR的范围内(即图中的上下边缘内);偏离箱线图中位线越远的点是坏数据的可能性越大。
实施例六
为了确定阈值thr1和thr2的取值,根据实施例一至五的计算指标统计结果,作出zscore和mscore的散点图。图4是本发明所述负荷数据的zscore散点图;图5是本发明所述负荷数据的mscore散点图,如图4图5所示,图4和图5中的离群点表示负荷曲线的坏数据。可见zscore比mscore的波动性更大。
根据zscore和mscore的散点图,本算例中thr1取0.65,thr2取0.3。获得检测结果:
其中漏检数表示把坏数据检测为正常数据,错检表示把正常数据检测为坏数据,检测错误率为漏检数与误检数之和与坏数据总量的比值。
由上表可见,本文提出的负荷曲线坏数据检测方法具有较高的准确率。随着坏数据数量的增大,漏检数逐渐增大,误检数变化较小,算法的检测错误率逐渐减小。
实施例八
在实施例七的检测结果中,取坏数据数量为800,研究阈值thr1=0.65与thr2=0.3对检测结果的影响。
由计算结果可见,阈值thr1和thr2的取值对于检测结果具有重要的影响,检测错误率与thr1和thr2的关系曲线基本都呈U形,即存在最优的阈值thr1和thr2组合,使得检测错误率最小。选取合理的thr1和thr2对于负荷曲线坏数据检测非常重要,阈值的选取可以借助于zscore和mscore的散点图。
上述技术方案仅体现了本发明技术方案的优选技术方案,本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理,属于本发明的保护范围之内。
Claims (4)
1.一种基于特性指标的电力输变电设备负荷坏数据检测方法,其特征在于,步骤为:
令迭代次数为r,设备负荷曲线总数为M,且设备负荷曲线的数量为至少一个,
步骤一、令r=1,
步骤二、计算聚类有效性指标,确定最佳聚类数,
步骤三、用集成聚类算法对负荷曲线聚类,得到每一类的特征曲线Cp,
步骤四、计算每一类中各负荷曲线在各时刻时,实际负荷曲线与特征曲线的差异程度zscore,
步骤五、用移动中值平滑算法对每一条负荷曲线进行平滑处理,
步骤六、将原始负荷曲线和平滑负荷曲线作差得到误差序列en,
步骤七、计算各时刻的平滑性指标mscore,
步骤八、检测坏数据,
步骤九、令迭代次数r=r+1,若r>M,重复步骤二至步骤九,若r<M,则完成检测,
步骤四中,计算第p类各条曲线在t时刻的相似性指标,
,重复步骤四直至每条负荷曲线都被处理过,该指标表示负荷曲线上某点与特征曲线上对应点的偏离程度,zscore的值越大表明该点的异常度越大,
,步骤五中对每一条负荷曲线进行平滑处理的流程为:
输入:时间序列x={x1,x2,…,xn};参数k
输出:平滑处理后的时间序列yn,
令迭代次数r=1
取窗口宽度为2k+1,则xi的平滑值yi为xi-k,xi-k+1,…,xi+k-1,xi+k的中值:
yi=median{xi-k,xi-k+1,…,xi+k-1,xi+k}
令窗口宽度取3,即k=1,
则边界点的平滑值为:
y1=median{y2,y3,…,3y2-2y3}
yn=median{yn,yn-1,…,3yn-1-2yn}
重复以上步骤,直至序列值不再变化,
移动中值平滑法由于采用的是中位数,
4.根据权利要求1中所述的基于特性指标的电力输变电设备负荷坏数据检测方法,其特征在于,步骤八中,坏数据检测公式为:
|zscore|>thr1,|mscore|>thr2
所述thr1为zscore的阈值,所述thr2为所述mscore的阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610743931.XA CN106354803B (zh) | 2016-08-26 | 2016-08-26 | 基于特性指标的电力输变电设备负荷坏数据检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610743931.XA CN106354803B (zh) | 2016-08-26 | 2016-08-26 | 基于特性指标的电力输变电设备负荷坏数据检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106354803A CN106354803A (zh) | 2017-01-25 |
CN106354803B true CN106354803B (zh) | 2020-04-10 |
Family
ID=57855831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610743931.XA Expired - Fee Related CN106354803B (zh) | 2016-08-26 | 2016-08-26 | 基于特性指标的电力输变电设备负荷坏数据检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106354803B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109580464B (zh) * | 2018-11-22 | 2021-12-28 | 广西电网有限责任公司电力科学研究院 | 一种检测评价电网设备涂层质量的方法 |
CN109492048A (zh) * | 2019-01-21 | 2019-03-19 | 国网河北省电力有限公司经济技术研究院 | 一种电力用户用电特性的提取方法、系统及终端设备 |
CN111177505A (zh) * | 2019-12-31 | 2020-05-19 | 中国移动通信集团江苏有限公司 | 指标异常检测模型的训练方法、推荐的方法及装置 |
CN113094647B (zh) * | 2021-04-02 | 2023-06-20 | 新疆大学 | 一种台区最大负荷辨识方法 |
CN114325213A (zh) * | 2021-11-17 | 2022-04-12 | 国网江苏省电力有限公司盐城供电分公司 | 一种直流输电系统故障检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063480A (zh) * | 2014-07-02 | 2014-09-24 | 国家电网公司 | 一种基于电力大数据的负荷曲线并行聚类方法 |
CN104809255A (zh) * | 2015-05-21 | 2015-07-29 | 国家电网公司 | 一种负荷形态获取方法和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7245044B2 (en) * | 2004-04-08 | 2007-07-17 | Delphi Technologies, Inc. | Electrical system, and control module and smart power supply for electrical system |
-
2016
- 2016-08-26 CN CN201610743931.XA patent/CN106354803B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063480A (zh) * | 2014-07-02 | 2014-09-24 | 国家电网公司 | 一种基于电力大数据的负荷曲线并行聚类方法 |
CN104809255A (zh) * | 2015-05-21 | 2015-07-29 | 国家电网公司 | 一种负荷形态获取方法和系统 |
Non-Patent Citations (1)
Title |
---|
数据挖掘在电力负荷坏数据智能辨识与修正中的应用;张昀等;《重庆大学学报》;20130228;第36卷(第2期);第70-73页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106354803A (zh) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106354803B (zh) | 基于特性指标的电力输变电设备负荷坏数据检测方法 | |
Shen et al. | A combined algorithm for cleaning abnormal data of wind turbine power curve based on change point grouping algorithm and quartile algorithm | |
WO2022110557A1 (zh) | 一种台区户变关系异常诊断方法及装置 | |
WO2021179572A1 (zh) | 运维系统异常指标检测模型优化方法、装置及存储介质 | |
CN111199016B (zh) | 一种基于DTW的改进K-means的日负荷曲线聚类方法 | |
CN108830510B (zh) | 一种基于数理统计的电力数据预处理方法 | |
CN104809658B (zh) | 一种低压配网台区线损的快速分析方法 | |
CN108596242B (zh) | 基于小波神经网络和支持向量机的电网气象负荷预测方法 | |
CN109858522A (zh) | 一种基于数据挖掘的管理线损异常识别方法 | |
CN104063480A (zh) | 一种基于电力大数据的负荷曲线并行聚类方法 | |
CN110297469B (zh) | 基于重采样的集成特征选择算法的生产线故障判断方法 | |
CN109657891B (zh) | 一种基于自适应k-means++算法的负荷特性分析方法 | |
CN103488561A (zh) | 一种在线升级主样本模型的kNN故障检测方法 | |
CN106708647B (zh) | 大数据环境下的分布式跨维度异常数据检测方法 | |
CN108805213B (zh) | 计及小波熵降维的电力负荷曲线双层谱聚类方法 | |
CN110874381B (zh) | 一种基于空间密度聚类的用户侧负荷数据异常值识别方法 | |
CN111401573A (zh) | 一种工况状态建模与修正模型方法 | |
CN105825288B (zh) | 一种消除复杂系统中回归数据共线性问题的优化分析方法 | |
CN110110339B (zh) | 一种日前水文预报误差校正方法及系统 | |
CN115577978A (zh) | 一种配电网目标投资决策要素权重系数测算方法 | |
CN113626767A (zh) | 一种风机限电识别方法、系统、设备和存储介质 | |
CN103902798B (zh) | 数据预处理方法 | |
CN104850612B (zh) | 一种基于增强凝聚层次聚类的配网用户负荷特征分类方法 | |
CN112651552A (zh) | 一种基于电力大数据产业结构优化方法、装置及存储介质 | |
CN114676931B (zh) | 一种基于数据中台技术的电量预测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200410 Termination date: 20200826 |
|
CF01 | Termination of patent right due to non-payment of annual fee |