CN110119858A - 基于大数据的电网调度自动化系统的数据质量评估方法 - Google Patents
基于大数据的电网调度自动化系统的数据质量评估方法 Download PDFInfo
- Publication number
- CN110119858A CN110119858A CN201810110931.5A CN201810110931A CN110119858A CN 110119858 A CN110119858 A CN 110119858A CN 201810110931 A CN201810110931 A CN 201810110931A CN 110119858 A CN110119858 A CN 110119858A
- Authority
- CN
- China
- Prior art keywords
- sample
- data
- point
- space
- sample space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 230000005856 abnormality Effects 0.000 claims abstract description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 6
- 230000006854 communication Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明具体涉及一种基于大数据的电网调度自动化系统的数据质量评估方法,包括:获取调度系统的数据,将获取的数据根据设备的进行分类,每个设备的数据构建成样本空间X;建立的样本空间X,对样本空间X中的所有样本点p进行KNN算法进行分类,输出样本空间中可能为离群点的样本;根据建立的样本空间X,对样本空间X中的所有样本点p进行局部离群因子算法LOF算法,输出样本空间X中可能为离群点的样本;根据建立的样本空间X,对样本空间X中的样本通过INFLO算法,输出样本空间X中可能为离群点的样本;将步骤二将上述的结果进行比较,如果三次结果中相同的样本出现的次数大于等于两次,则该样本即为异常点;输出异常点的数据。
Description
技术领域
本发明涉及电网调度自动化系统,具体涉及一种基于大数据的电网调度自动化系统的数据质量评估方法。
背景技术
随着通信技术、电子计算机信息技术的发展和电力生产调度自动化水平的提高。现代电力生产调度自动化系统建立在集成的、高速双向通信网络的基础上,通过先进的传感和测量技术、先进的设备技术、先进的控制方法以及先进的决策支持系统技术的应用,实现电网的可 靠、安全、经济、高效、环境友好和使用安全的目标。电网调度自动化系统产生了海量数据,但是海量数据中也存在着大量的无效数据。这些无效数据产生的原因多种多样,可能由于测量设备测量精度限制、可能由于测量设备本身故障,可能由于通讯传输导致、也可能主站接收数据时产生错误。数据准确性对于后期的数据分析至关重要,错误数据或缺失数据将导致数据分析结果不正确,影响人工决策,进而影响电网的稳定运行。传统的电网中,主要采用状态评估等方式对数据的正确性进行校核,其利用了不同监测设备的相互冗余信息。但其需要准确的拓扑信息,也无法利用海量的历史数据。在现有海量数据情况下,可引入大数据技术,更加有效的改善数据质量。
发明内容
1、所要解决的技术问题:
针对现有技术的不足,本发明提供一种基于大数据的电网调度自动化系统的数据质量评估方法,通过建立数据样本空间,对调度系统采集的数据采用KNN、LOF、INFLO混合算法对离群点进行甄别数据异常点,通过混合算法对数据的甄别能够高效,快速,低错误率地识别错误数据、无效数据以及丢失的数据,提升了电网调度系统的数据质量及可用性,能从海量时序样本中快速排除干扰点,提高仿真计算和状态监测等工作结果的精确度。
2、技术方案:
一种基于大数据的电网调度自动化系统的数据质量评估方法,包括以下步骤:
步骤一:获取调度系统的数据,将获取的数据根据设备的进行分类,每个设备的数据构建成样本空间X。
步骤二:根据步骤一中建立的样本空间X,对样本空间X中的所有样本点p进行KNN算法进行分类,输出样本空间中可能为离群点的样本。
步骤三:根据步骤一中建立的样本空间X,对样本空间X中的所有样本点p进行局部离群因子算法LOF算法,输出样本空间X中可能为离群点的样本。
步骤四:根据步骤一中建立的样本空间X,对样本空间X中的样本通过INFLO算法,输出样本空间X中可能为离群点的样本。
步骤五:将步骤二到步骤四的结果进行比较,如果三次结果中相同的样本出现的次数大于等于两次,则该样本即为异常点。
步骤六:输出异常点的数据。进一步的,所述步骤二中辨别离群点的过程为:通过计算样本间距离来作为各个对象之间的非相似性指标;所述距离为欧氏距离或曼哈顿距离。
进一步的,所述步骤三中辨别离群点的过程为:首先计算每个样本点p与其他对象之间的欧几里得距离,对欧几里得距离进行排序后,计算每个样本点p的第k距离以及第k邻域;而后计算每个样本点p的可达密度;最后计算局部离群因子;其中如果点p的局部离群因子趋近于1,说明p的邻域点密度相近,p可能与邻域同属一簇;如果局部离群因子越小于1,说明p的密度高于其邻域点密度,p为密集点;如果局部离群因子越大于1,说明p的密度小于其邻域点密度,p越可能是异常点。
进一步地,所述步骤三中辨别离群点的具体过程为:先通过样本空间中样本点p的最近k邻居与逆k邻居,构成了该数据点的影响空间;再计算样本点p的影响空间中的所有点的局部密度的均值或者对象的局部密度,即INFLO的值;如果INFLO的值趋近于1.则说明该数据点就可能是一个正常的点,如果值比较高,那么该点是异常点的概率极大。
3、有益效果:
本发明采用基于大数据离群点检测技术对调度自动化数据质量进行评估,对于离群检测有较好的效果。
具体实施方式
一种基于大数据的电网调度自动化系统的数据质量评估方法,包括以下步骤:
步骤一:获取调度系统的数据,将获取的数据根据设备的进行分类,每个设备的数据构建成样本空间X。
步骤二:根据步骤一中建立的样本空间X,对样本空间X中的所有样本点p进行KNN算法进行分类,输出样本空间中可能为离群点的样本。
步骤三:根据步骤一中建立的样本空间X,对样本空间X中的所有样本点p进行局部离群因子算法LOF算法,输出样本空间X中可能为离群点的样本。
步骤四:根据步骤一中建立的样本空间X,对样本空间X中的样本通过INFLO算法,输出样本空间X中可能为离群点的样本。
步骤五:将步骤二到步骤四的结果进行比较,如果三次结果中相同的样本出现的次数大于等于两次,则该样本即为异常点。
步骤六:输出异常点的数据。进一步的,所述步骤二中辨别离群点的过程为:通过计算样本间距离来作为各个对象之间的非相似性指标;所述距离为欧氏距离或曼哈顿距离。
进一步的,所述步骤三中辨别离群点的过程为:首先计算每个样本点p与其他对象之间的欧几里得距离,对欧几里得距离进行排序后,计算每个样本点p的第k距离以及第k邻域;而后计算每个样本点p的可达密度;最后计算局部离群因子;其中如果点p的局部离群因子趋近于1,说明p的邻域点密度相近,p可能与邻域同属一簇;如果局部离群因子越小于1,说明p的密度高于其邻域点密度,p为密集点;如果局部离群因子越大于1,说明p的密度小于其邻域点密度,p越可能是异常点。
进一步地,所述步骤三中辨别离群点的具体过程为:先通过样本空间中样本点p的最近k邻居与逆k邻居,构成了该数据点的影响空间;再计算样本点p的影响空间中的所有点的局部密度的均值或者对象的局部密度,即INFLO的值;如果INFLO的值趋近于1.则说明该数据点就可能是一个正常的点,如果值比较高,那么该点是异常点的概率极大。
虽然本发明已以较佳实施例公开如上,但它们并不是用来限定本发明的,任何熟习此技艺者,在不脱离本发明之精神和范围内,自当可作各种变化或润饰,因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。
Claims (4)
1.一种基于大数据的电网调度自动化系统的数据质量评估方法,包括以下步骤:
步骤一:获取调度系统的的数据,将获取的数据根据设备的进行分类,每个设备的数据构建成样本空间X;
步骤二:根据步骤一中建立的样本空间X,对样本空间X中的所有样本点p进行KNN算法进行分类,输出样本空间中可能为离群点的样本;
步骤三:根据步骤一中建立的样本空间X,对样本空间X中的所有样本点p进行局部离群因子算法LOF算法,输出样本空间X中可能为离群点的样本;
步骤四:根据步骤一中建立的样本空间X,对样本空间X中的样本通过INFLO算法,输出样本空间X中可能为离群点的样本;
步骤五:将步骤二到步骤四的结果进行比较,如果三次结果中相同的样本出现的次数大于等于两次,则该样本即为异常点;
步骤六:输出异常点的数据。
2.根据权利要求1所述的一种基于大数据的电网调度自动化系统的数据质量评估方法,其特征在于:步骤二中辨别离群点为:通过计算样本间距离来作为各个对象之间的非相似性指标;所述距离为欧氏距离或曼哈顿距离。
3.根据权利要求1所述的一种基于大数据的电网调度自动化系统的数据质量评估方法,其特征在于:所述步骤三中辨别离群点的过程为:首先计算每个样本点p与其他对象之间的欧几里得距离,对欧几里得距离进行排序后,计算每个样本点p的第k距离以及第k邻域;而后计算每个样本点p的可达密度;最后计算局部离群因子;其中如果点p的局部离群因子趋近于1,说明p的邻域点密度相近,p可能与邻域同属一簇;如果局部离群因子越小于1,说明p的密度高于其邻域点密度,p为密集点;如果局部离群因子越大于1,说明p的密度小于其邻域点密度,p越可能是异常点。
4.根据权利要求1所述的一种基于大数据的电网调度自动化系统的数据质量评估方法,其特征在于:所述步骤三中辨别离群点的具体过程为:先通过样本空间中样本点p的最近k邻居与逆k邻居,构成了该数据点的影响空间;再计算样本点p的影响空间中的所有点的局部密度的均值或者对象的局部密度,即INFLO的值;如果INFLO的值趋近于1.则说明该数据点就可能是一个正常的点,如果值比较高,那么该点是异常点的概率极大。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810110931.5A CN110119858A (zh) | 2018-02-05 | 2018-02-05 | 基于大数据的电网调度自动化系统的数据质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810110931.5A CN110119858A (zh) | 2018-02-05 | 2018-02-05 | 基于大数据的电网调度自动化系统的数据质量评估方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110119858A true CN110119858A (zh) | 2019-08-13 |
Family
ID=67519181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810110931.5A Pending CN110119858A (zh) | 2018-02-05 | 2018-02-05 | 基于大数据的电网调度自动化系统的数据质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110119858A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110930057A (zh) * | 2019-12-06 | 2020-03-27 | 国网湖北省电力有限公司电力科学研究院 | 基于lof算法的配电变压器检验结果可信度的量化评判方法 |
CN112083371A (zh) * | 2020-08-07 | 2020-12-15 | 国网山东省电力公司济宁供电公司 | 一种基于lof的异常高压计量点筛查方法及系统 |
CN113809418A (zh) * | 2020-12-22 | 2021-12-17 | 珠海迈巨微电子有限责任公司 | 电池管理芯片、系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193835A (zh) * | 2011-03-25 | 2011-09-21 | 上海磁浮交通发展有限公司 | 基于3取2计算机系统的预执行方法 |
CN104796386A (zh) * | 2014-01-21 | 2015-07-22 | 腾讯科技(深圳)有限公司 | 一种僵尸网络的检测方法、装置和系统 |
CN107357844A (zh) * | 2017-06-26 | 2017-11-17 | 广州视源电子科技股份有限公司 | 离群点检测方法和装置 |
-
2018
- 2018-02-05 CN CN201810110931.5A patent/CN110119858A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193835A (zh) * | 2011-03-25 | 2011-09-21 | 上海磁浮交通发展有限公司 | 基于3取2计算机系统的预执行方法 |
CN104796386A (zh) * | 2014-01-21 | 2015-07-22 | 腾讯科技(深圳)有限公司 | 一种僵尸网络的检测方法、装置和系统 |
CN107357844A (zh) * | 2017-06-26 | 2017-11-17 | 广州视源电子科技股份有限公司 | 离群点检测方法和装置 |
Non-Patent Citations (1)
Title |
---|
李育发等: "基于离群点检测的CEMS系统数据异常点甄别", 《中国科技纵横》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110930057A (zh) * | 2019-12-06 | 2020-03-27 | 国网湖北省电力有限公司电力科学研究院 | 基于lof算法的配电变压器检验结果可信度的量化评判方法 |
CN112083371A (zh) * | 2020-08-07 | 2020-12-15 | 国网山东省电力公司济宁供电公司 | 一种基于lof的异常高压计量点筛查方法及系统 |
CN113809418A (zh) * | 2020-12-22 | 2021-12-17 | 珠海迈巨微电子有限责任公司 | 电池管理芯片、系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108375476B (zh) | 一种水电机组健康评估方法 | |
CN109489977B (zh) | 基于KNN-AdaBoost的轴承故障诊断方法 | |
CN105511445B (zh) | 基于局部近邻标准化矩阵的多模态过程故障检测方法 | |
CN108627720B (zh) | 一种基于贝叶斯算法的电力设备状态监测方法 | |
Davarifar et al. | Real-time model base fault diagnosis of PV panels using statistical signal processing | |
CN105846780A (zh) | 一种基于决策树模型的光伏组件故障诊断方法 | |
CN110119858A (zh) | 基于大数据的电网调度自动化系统的数据质量评估方法 | |
CN103631681A (zh) | 一种在线修复风电场异常数据的方法 | |
CN109597396B (zh) | 一种基于大数据流及迁移学习的配变故障在线诊断方法 | |
CN108092623A (zh) | 一种光伏阵列多传感器故障检测定位方法 | |
CN107679089A (zh) | 一种用于电力传感数据的清洗方法、装置和系统 | |
CN116388402B (zh) | 一种应用于变电设备的异常报警分析方法 | |
CN108957385A (zh) | 一种电能计量设备自动化检定线异常表位确认方法及装置 | |
CN105954695A (zh) | 一种基于同步的同质传感器突变参数识别方法与装置 | |
CN116660672A (zh) | 基于大数据的电网设备故障诊断方法及系统 | |
CN117674249A (zh) | 一种含分布式光伏的配电网故障自愈控制与评价方法 | |
CN115455358A (zh) | 基于非线性回归模型的电气参数趋势预警及故障诊断方法 | |
CN115453356A (zh) | 一种动力设备运行状态监测分析方法、系统、终端及介质 | |
CN110096723B (zh) | 基于运维检测大数据的高压开关柜绝缘状态分析方法 | |
CN109613372B (zh) | 一种基于多元电网数据库的电网故障诊断方法 | |
CN104392591A (zh) | 输电线杆故障监测专家系统 | |
Zhang et al. | Improved PSO-SVM-Based fault diagnosis algorithm for wind power converter | |
CN117743794A (zh) | 一种分布式光伏电站故障诊断及效能损失评估系统 | |
CN117591994A (zh) | 电力设备状态数据预测方法、智能化平台、设备及介质 | |
CN112446801A (zh) | 一种有效提升电力系统数据质量的系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190813 |
|
RJ01 | Rejection of invention patent application after publication |