CN106447172A - 一种基于pms台账的数据校验方法及系统 - Google Patents
一种基于pms台账的数据校验方法及系统 Download PDFInfo
- Publication number
- CN106447172A CN106447172A CN201610798935.8A CN201610798935A CN106447172A CN 106447172 A CN106447172 A CN 106447172A CN 201610798935 A CN201610798935 A CN 201610798935A CN 106447172 A CN106447172 A CN 106447172A
- Authority
- CN
- China
- Prior art keywords
- data
- packet
- pms
- correlation rule
- transfused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 12
- 238000013524 data verification Methods 0.000 claims description 13
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于PMS台账的数据校验方法，包括从历史PMS台账数据中提取属性特征及其对应的数据分组，针对每一数据分组利用关联规则Apriori算法建立其对应的一条关联规则；对被输入数据进行按照关联规则进行分析，将分析结果以文档形式导出分析报告和异常数据文档，并结束数据校验。本发明中的数据校验方法缩短了数据核查时间，提高了数据更新的及时性。
Description
技术领域
本发明涉及电力系统技术领域，具体涉及一种基于PMS台账的数据校验方法及系统。
背景技术
随着国网公司工程生产管理(PMS)系统建设的完成和深化应用的推进，数据量也在不断增加，数据质量已成为系统高效应用的重要因素。如何高效、全面的识别不完整数据及异常数据，是实现PMS系统数据的规范性、标准化的基础，也为提高电网安全生产管理水平打下坚实的基础。同时，国网公司通过提炼数据指标对数据质量提出了更高的考核要求。但由于历史原因，系统中存有较多的不准确、不一致数据；加上数据量大、设备种类繁多、工作人员对数据正确定义模糊等问题，导致全面准确的梳理工作量大、工作困难。现在人工核查数据指标要求已经无法满足数据质量检查要求。
发明内容
为此设计一种基于PMS台账的数据校验方法及系统。
本发明采用如下技术方案：
一种基于PMS台账的数据校验方法，包括以下步骤：
从历史PMS台账数据中提取属性特征及其对应的数据分组，针对每一数据分组利用关联规则Apriori算法建立其对应的一条关联规则；
对于每一关联规则，根据对应数据分组来计算该关联规则的置信度和支持度；
对被输入数据进行逐条属性特征的提取并根据对应数据分组的关联规则进行计算分析，得出关联规则的置信度和支持度，当第一条被输入数据的置信度小于最小支持度且支持度小于最小支持度时，则判定为异常数据，否则判定为正常数据，第一条被输入数据判定结束后，接着进行下一条被输入数据分析，直到最后一条分析结束；
将分析结果以文档形式导出分析报告和异常数据文档，并结束数据校验；
所述数据分组包括计算类型、手工类型、选择类型、拼接类型和关联类型。
进一步，所述被输入数据的输入路径包括接口、模拟键盘或接口与模拟键盘相结合。
进一步，所述关联规则算法为A→B，其中B为数据分组，A为数据分组B对应的属性特征。
一种基于PMS台账的数据校验系统，其特征在于，主要包括：
数据获取模块，其用于利用接口或模拟键盘或接口和模拟键盘结合的方式从PMS系统中导出数据；
数据核查模块，其用于按所述的关联规则和一条一条比对的方式来进行数据准确性核查；
数据导出模块，其用于以文档形式导出分析报告和异常数据文档，并结束数据校验。
本发明具有如下技术效果：
基于PMS台账的数据校验方法及系统可以快速进行数据质量分析，达到数据的高质量，缩短了数据核查时间，提高了数据更新的及时性。
附图说明
图1为基于PMS台账的数据校验系统的结构示意图。
具体实施方式
一种基于PMS台账的数据校验方法，包括以下步骤：
从历史PMS台账数据中提取属性特征及其对应的数据分组，所述数据分组包括计算类型、手工类型、选择类型、拼接类型和关联类型；
针对每一数据分组利用关联规则Apriori算法建立其对应的一条关联规则；
对于每一关联规则，根据对应数据分组来计算该关联规则的置信度和支持度；
对被输入数据进行逐条属性特征的提取并根据对应数据分组的关联规则进行计算分析，得出关联规则的置信度和支持度，当第一条被输入数据的置信度小于最小支持度且支持度小于最小支持度时，则判定为异常数据，否则判定为正常数据，第一条被输入数据判定结束后，接着进行下一条被输入数据分析，直到最后一条分析结束；
将分析结果以文档形式导出分析报告和异常数据文档，并结束数据校验；
所述被输入数据的输入路径包括接口、模拟键盘或接口与模拟键盘相结合。
所述关联规则算法为A→B，其中B为数据分组，A为数据分组B对应的属性特征。
Apriori算法是一种挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。所有支持度大于最小支持度的项集称为频繁项集，简称频集。本发明中使用的Apriori算法已经被广泛应用，属于现有技术。
最小支持度和最小置信度由人工设定，本发明中将最小支持度和最小置信度均设定为1，即输入数据的属性特征与对应的数据分组的属性特征完全相等，当输入数据的属性特征与对应的数据分组的属性特征不相等时，判定输入数据为异常数据。
从历史PMS台账数据中提取属性特征及其对应的数据分组，针对每一数据分组利用关联规则Apriori算法建立其对应的一条关联规则；
数据分组中，选择类型属性特征为内容集合的子集，例如：电压等级包含交流1000kV、交流500kV、交流220kV；
手工类型属性特征为指定正则表达式内容；
计算类型的属性特征为直接表达式计算，例如：额定电流＝额定容量KVA/(电压等级*1.732)；
拼接类型属性特征中包含其他属性特征关系，例如：设备型号中应含有字符或者数字加上容量及电压等级信息；
关联类型属性特征包含负责的关系运算，例如：相数是单相，相别可以是A相、B相、C相；相数是三相，相别可以是ABC相等。
从PMS系统导出数据过程中，模拟键盘获取台账数据是通过模拟键盘来模拟人工操作电脑登录PMS系统下载数据EXCEL文档。
参见图1，本发明基于PMS台账的数据校验系主要包括：数据获取模块，其用于利用接口或模拟键盘或接口和模拟键盘结合的方式从PMS系统中导出数据；数据核查模块，其用于按上述的关联规则和一条一条比对的方式来进行数据准确性核查；数据导出模块，其用于以文档形式导出分析报告和异常数据文档，并结束数据校验。
通过基于PMS台账的数据校验系统对10000条PMS台账的数据进行校验，得出结果的时间是120s，极短地缩减了校验时间。
Claims (4)
1.一种基于PMS台账的数据校验方法，其特征在于，包括以下步骤：
从历史PMS台账数据中提取属性特征及其对应的数据分组，针对每一数据分组利用关联规则Apriori算法建立其对应的一条关联规则；
对于每一关联规则，根据对应数据分组来计算该关联规则的置信度和支持度；
对被输入数据进行逐条属性特征的提取并根据对应数据分组的关联规则进行计算分析，得出关联规则的置信度和支持度，当第一条被输入数据的置信度小于最小支持度且支持度小于最小支持度时，则判定为异常数据，否则判定为正常数据，第一条被输入数据判定结束后，接着进行下一条被输入数据分析，直到最后一条分析结束；
将分析结果以文档形式导出分析报告和异常数据文档，并结束数据校验；
所述数据分组包括计算类型、手工类型、选择类型、拼接类型和关联类型。
2.根据权利要求1所述的基于PMS台账的数据校验方法，其特征在于，所述被输入数据的输入路径包括接口、模拟键盘或接口与模拟键盘相结合。
3.根据权利要求1所述的基于PMS台账的数据校验方法，其特征在于，所述关联规则算法为A→B，其中B为数据分组，A为数据分组B对应的属性特征。
4.一种基于PMS台账的数据校验系统，其特征在于，主要包括：
数据获取模块，其用于利用接口或模拟键盘或接口和模拟键盘结合的方式从PMS系统中导出数据；
数据核查模块，其用于按权利要求1中所述的关联规则和一条一条比对的方式来进行数据准确性核查；
数据导出模块，其用于以文档形式导出分析报告和异常数据文档，并结束数据校验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610798935.8A CN106447172A (zh) | 2016-08-31 | 2016-08-31 | 一种基于pms台账的数据校验方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610798935.8A CN106447172A (zh) | 2016-08-31 | 2016-08-31 | 一种基于pms台账的数据校验方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106447172A true CN106447172A (zh) | 2017-02-22 |
Family
ID=58165067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610798935.8A Pending CN106447172A (zh) | 2016-08-31 | 2016-08-31 | 一种基于pms台账的数据校验方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106447172A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110687346A (zh) * | 2018-07-04 | 2020-01-14 | 国网上海市电力公司 | 一种电网电压异常原因数据检查及优化方法 |
| CN111221956A (zh) * | 2019-12-26 | 2020-06-02 | 国网宁夏电力有限公司中卫供电公司 | 一种电力管理系统pms配网设备数据质量核查方法 |
| CN112307086A (zh) * | 2020-10-30 | 2021-02-02 | 湖北烽火平安智能消防科技有限公司 | 一种消防业务中自动化数据校验方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345207A (zh) * | 2013-05-31 | 2013-10-09 | 北京泰乐德信息技术有限公司 | 一种轨道交通监控数据的挖掘分析与故障诊断系统 |
| CN103400214A (zh) * | 2013-08-22 | 2013-11-20 | 华北电力大学 | 基于多维多层关联规则的电压暂降预测分析方法 |
| CN103713275A (zh) * | 2013-10-24 | 2014-04-09 | 国网安徽省电力公司 | 基于多维关联规则算法判断电能表计量不准确异常的方法 |
| CN103760901A (zh) * | 2013-12-31 | 2014-04-30 | 北京泰乐德信息技术有限公司 | 一种基于关联规则分类器的轨道交通故障识别方法 |
| CN105045256A (zh) * | 2015-07-08 | 2015-11-11 | 北京泰乐德信息技术有限公司 | 基于数据对比分析的轨道交通实时故障诊断方法和系统 |
-
2016
- 2016-08-31 CN CN201610798935.8A patent/CN106447172A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345207A (zh) * | 2013-05-31 | 2013-10-09 | 北京泰乐德信息技术有限公司 | 一种轨道交通监控数据的挖掘分析与故障诊断系统 |
| CN103400214A (zh) * | 2013-08-22 | 2013-11-20 | 华北电力大学 | 基于多维多层关联规则的电压暂降预测分析方法 |
| CN103713275A (zh) * | 2013-10-24 | 2014-04-09 | 国网安徽省电力公司 | 基于多维关联规则算法判断电能表计量不准确异常的方法 |
| CN103760901A (zh) * | 2013-12-31 | 2014-04-30 | 北京泰乐德信息技术有限公司 | 一种基于关联规则分类器的轨道交通故障识别方法 |
| CN105045256A (zh) * | 2015-07-08 | 2015-11-11 | 北京泰乐德信息技术有限公司 | 基于数据对比分析的轨道交通实时故障诊断方法和系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110687346A (zh) * | 2018-07-04 | 2020-01-14 | 国网上海市电力公司 | 一种电网电压异常原因数据检查及优化方法 |
| CN111221956A (zh) * | 2019-12-26 | 2020-06-02 | 国网宁夏电力有限公司中卫供电公司 | 一种电力管理系统pms配网设备数据质量核查方法 |
| CN112307086A (zh) * | 2020-10-30 | 2021-02-02 | 湖北烽火平安智能消防科技有限公司 | 一种消防业务中自动化数据校验方法及装置 |
| CN112307086B (zh) * | 2020-10-30 | 2024-05-24 | 湖北烽火平安智能消防科技有限公司 | 一种消防业务中自动化数据校验方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104331837B (zh) | 电力系统暂态稳定最优切机控制策略搜索的简化方法 | |
| CN110389269B (zh) | 基于电流优化匹配的低压台区拓扑关系识别方法及其装置 | |
| WO2021035681A1 (zh) | 一种基于拉格朗日乘子的最优负荷削减算法及其应用 | |
| CN103698734A (zh) | 智能电表基于仿真的虚拟故障测试方法 | |
| CN106443244A (zh) | 用电设备类型辨识方法和系统 | |
| CN103269279B (zh) | 一种主子站联合拓扑辨识方法 | |
| CN106447172A (zh) | 一种基于pms台账的数据校验方法及系统 | |
| CN104050605B (zh) | 电力设备匹配方法和系统 | |
| CN104882884A (zh) | 基于马尔可夫链-蒙特卡罗法的系统谐波概率评估方法 | |
| CN104091289A (zh) | 基于接线模式规则的大规模配电网n-1快速校验方法 | |
| CN103777092B (zh) | 一种基于云技术的继电保护测试系统及其方法 | |
| CN105512783A (zh) | 用于电磁环网解环方案的综合评价方法 | |
| CN103853765A (zh) | 一种比对电力系统故障波形特征的方法 | |
| CN104036434A (zh) | 一种配电网负荷供应能力评价方法 | |
| CN110348683A (zh) | 电能质量扰动事件主成因分析方法、装置设备及存储介质 | |
| CN105356498A (zh) | 一种风电机组低电压穿越仿真模型验证系统和方法 | |
| CN105701265B (zh) | 一种双馈风电机组建模方法及装置 | |
| CN105335459A (zh) | 基于xbrl智能报告平台的合并报表数据抽取方法 | |
| CN104598713A (zh) | 一种电网理论线损计算需求数据合成方法 | |
| CN107194529B (zh) | 基于挖掘技术的配电网可靠性经济效益分析方法及装置 | |
| CN104700318A (zh) | 基于设备功率流拓扑的配电网薄弱环节辨识方法 | |
| CN104036433A (zh) | 一种配电网运行管理水平评价方法 | |
| CN110717725B (zh) | 基于大数据分析的电网项目选取方法 | |
| CN105842535A (zh) | 一种基于相似特征融合的谐波主特征群筛选方法 | |
| CN106528722A (zh) | 智能电子装置设备数据模型的一致性测试方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170222 |
|
| WD01 | Invention patent application deemed withdrawn after publication |