CN108776856A - 一种基于溯源关系的电力台账数据校验方法及装置 - Google Patents
一种基于溯源关系的电力台账数据校验方法及装置 Download PDFInfo
- Publication number
- CN108776856A CN108776856A CN201810362724.9A CN201810362724A CN108776856A CN 108776856 A CN108776856 A CN 108776856A CN 201810362724 A CN201810362724 A CN 201810362724A CN 108776856 A CN108776856 A CN 108776856A
- Authority
- CN
- China
- Prior art keywords
- data
- account
- account data
- tracing
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013524 data verification Methods 0.000 title claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 109
- 230000003252 repetitive effect Effects 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims description 44
- 238000012544 monitoring process Methods 0.000 claims description 15
- 241001269238 Data Species 0.000 claims description 14
- 230000001052 transient effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 abstract description 12
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007363 ring formation reaction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明实施例提供基于溯源关系的电力台账数据校验方法及装置。所述方法包括：获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。本发明实施例实现了针对不同数据源、不同数据类型的基础数据的规范化处理，提高了管理的率和自动集成化比例。
Description
技术领域
本发明实施例涉及电力自动化领域，尤其涉及一种基于溯源关系的电力台账数据校验方法及装置。
背景技术
目前，随着电力系统的快速发展，电网积累了大量的统计数据，但因电能质量在线监测系统的研究起步较晚，成体系、有针对性的研究比较少等原因，导致电能质量的管理存在效率低、数据利用率不高等问题。
数据质量校验是从管理和技术相结合的角度对数据进行管理，对分布在各系统中的零散数据进行统一管理，使数据具有唯一性、完整性、合理性和一致性的特性，保证数据的准确性，为统计、制定决策建立坚实的数据基础。
目前，跨系统、跨业务、跨部门电网数据管理及监测工作中，存在如下问题：
在源业务系统数据经过推送、采集、转换、上传、入库环节到总部电能质量在线监测系统的过程中，由于数据库管理系统存在缺陷、操作人员操作失误等因素，数据往往存在着自动集成比例低、数据总量不完整、数据字段不匹配、数据关键字段冗余等问题。不利于电网数据科学有效的统计分析，不利于电网可靠性水平的提升。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于溯源关系的电力台账数据校验方法及装置，实现了针对不同数据源、不同数据类型的基础数据的规范化处理，提高了管理的率和自动集成化比例。
第一方面，本发明实施例一种电力台账数据校验方法，包括：
获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；
基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。
第二方面，本发明实施例一种电力台账数据校验装置，包括：
数据获取模块，用于获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；
数据校验模块，用于基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。
第三方面，本发明实施例提供一种电力台账数据校验设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行本发明实施例电力台账数据校验方法及其任一可选实施例的方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本发明实施例电力台账数据校验方法及其任一可选实施例的方法。
本发明实施例提供的一种电力台账数据校验方法，基于源业务系统与数据中心、数据中心与省侧电能主站原始表、省侧电能主站原始表与省侧电能主站上传表、省侧电能主站上传表与总部电能质量在线监测系统台账数据的溯源关系，通过溯源关系数据对比，进行数据的冗余性、完整性、准确性、一致性、及时性、智能性的评估，从而实现了针对不同数据源、不同数据类型的基础数据的规范化处理的功能，为电网提供了科学、可靠的统计结果，大大提高了电网数据质量管理的效率和自动集成化比例。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种电力台账数据校验方法流程示意图；
图2为本发明实施例一种电力台账数据校验设备的框架示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例一种电力台账数据校验方法流程示意图，如图1所示，所述方法包括：
S100，获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；
具体的，所述源业务系统，是指电能质量在线监测系统数据来源的原始系统。
所述数据中心，是对中转台账数据进行存储的系统。
所述省侧电能主站原始表，是省侧电能质量在线监测系统主站对存储台账数据的表。
省侧电能主站上传表，是省侧电能质量在线监测系统主站对原始表台账数据进行转换后存储的表。
具体的，电力系统的台账数据包括：主网13类设施(避雷器、电流互感器、电压互感器、母线、架空线路、电缆线路、隔离开关、阻波器、组合电器、变压器、电抗器、耦合电容器、断路器)、公用配网配电变压器及柱上变压器、变电站、供电专用用户和供电电压监测点。
S200，基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。
具体的，本发明实施例可以获取上述校验数据中的任意一种或任意多种；对于上述每一种校验数据，可以根据所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据中的一种或多种数据进行计算得到。
具体的，所述重复率校验数据是指：当前集成环节业务主键重复数据/当前集成环节数据总量。
所述字段冗余率校验数据是指：电能质量在线监测系统某台账需要字段/当前类型台账字段总量。
所述丢失率校验数据是指：(下一环节数据总量-当前环节的数据总量)/当前环节的数据总量。其中总量为去除业务主键重复的数量。
所述集成字段准确率校验数据是指：某类型台账长度及格式符合要求的字段/当前类型台账字段总量。
所述溯源关系前后环节的一致性校验数据是指：相邻环节关键字段(如投运日期)一致的数据总量/相邻环节能匹配的数据总量。
所述集成及时率校验数据是指：各环节数据及时集成的数量/当前环节的数据总量。
所述溯源关系前后环节推送数据的校验数据是指：当前环节推送到下一环节的数据总量/当前环节的数据总量。
需要说明的是，溯源关系是指基于源业务系统与数据中心、数据中心与省侧电能主站原始表、省侧电能主站原始表与省侧电能主站上传表、省侧电能主站上传表与总部电能质量在线监测系统之间数据的溯源对比，针对评价指标评价数据质量问题。
具体的，所述源业务系统包括PMS系统、用电信息采集系统、供电电压自动采集系统；
所述评价对象包括：
所述源业务系统、数据中心、省侧电能主站原始表、省侧电能主站上传表及电能质量在线监测系统所监测的电力设施、供电公用用户、供电专用用户和供电电压监测点。
所述电力设施以下多种：
避雷器、电流互感器、电压互感器、母线、架空线路、电缆线路、隔离开关、阻波器、组合电器、变压器、电抗器、耦合电容器、断路器、公用配网配电变压器、柱上变压器及变电站。
本发明实施例基于源业务系统与数据中心、数据中心与省侧电能主站原始表、省侧电能主站原始表与省侧电能主站上传表、省侧电能主站上传表与总部电能质量在线监测系统台账数据的溯源关系，通过溯源关系数据对比，进行数据的冗余性、完整性、准确性、一致性、及时性、智能性的评估，从而实现了针对不同数据源、不同数据类型的基础数据的规范化处理的功能，为电网提供了科学、可靠的统计结果，大大提高了电网数据质量管理的效率和自动集成化比例。
下面分别具体描述各种校验数据的具体实现方法，各种校验数据均是对评价对象的校验数据，评价对象包括上述的电力设施、供电公用用户、供电专用用户和供电电压监测点，此后不再赘述。
(一)重复率校验数据
具体的，所述重复率校验数据通过以下方法获取：
分别统计所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据中评价对象的业务主健重复数据的数据量和数据总量；
分别计算所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据中业务主健重复数据的数据量和数据总量的比例，分别获取所述源业务系统、数据中心、省侧电能主站原始表、省侧电能主站上传表及电能质量在线监测系统的重复率校验数据。
本实施例统计五种系统的台账数据，即源业务系统、数据中心、省侧电能主站原始表、省侧电能主站上传表及电能质量在线监测系统的台账数据的数据总量和业务主健重复数据的数据量，对于各个环节，分别根据下式计算比例：业务主健重复数据的数据量/数据总量，该比例即为重复率校验数据，从而得到各系统的重复率校验数据。
(二)字段冗余率校验数据
具体的，所述字段冗余率校验数据通过以下方法获取：
分别统计所述第三台账数据、第四台账数据和第五台账数据中评价对象的字段总量与第五台账数据中评价对象所需要的字段数量；
计算第五台账数据中评价对象的所需要的字段数量与所述第三台账数据、第四台账数据和第五台账数据中分评价对象的字段总量的比例，获取字段冗余率校验数据。
本实施例分别统计省侧电能主站原始表、省侧电能主站上传表及电能质量在线监测系统的台账数据中实际的字段总量，计算：电能质量在线监测系统中评价对象所需要的字段数量/实际的字段总量，得到冗余率比例，即获得字段冗余率校验数据。
需要说明的是，实际的字段总量是指统计省侧电能主站原始表、省侧电能主站上传表及电能质量在线监测系统的台账数据中实际的字段数量之和。
需要说明的是，数据从省侧电能主站原始表转换到省侧电能主站上传表的过程中需要根据转换规则进行转换，因此可以采用参考转换规则，及中文字段与英文字段相结合匹配、通过人工一一对比等方式来统计当前系统字段符合总部业务所需要的字段的数量。
以上重复率校验数据和字段冗余率校验数据都属于冗余性维度的校验数据。
(三)丢失率校验数据
具体的，所述丢失率校验数据通过以下方法获取：
分别统计所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据中评价对象的去除业务主健重复的数据量；
基于所述源业务系统、数据中心、省侧电能主站原始表、省侧电能主站上传表及电能质量在线监测系统的溯源关系，根据下一环节的数据量与当前环节的数据量，计算数据丢失的比例，获取溯源关系前后环节的丢失率校验数据；
本实施例分别统计源业务系统、数据中心、省侧电能主站原始表、省侧电能主站上传表及电能质量在线监测系统中评价对象的业务主健非重复的数据总量，基于溯源关系，即源业务系统与数据中心、数据中心与省侧电能主站原始表、省侧电能主站原始表与省侧电能主站上传表、省侧电能主站上传表与总部电能质量在线监测系统台账数据的溯源关系，根据下式计算：(下一环节数据总量-当前环节的数据总量)/当前环节的数据总量，获得丢失率比例。
例如，对于源业务系统与数据中心，上式中，下一环节数据总量为数据中心的业务主健非重复的数据总量，当前环节为源业务系统的数据总量，代入上式，可以得到源业务系统的丢失率比例。
以此类推，可以得到溯源关系中各个环节的丢失率比例，从而获得丢失率校验数据。本实施例属于完整性维度的校验数据。
(四)集成字段准确率校验数据
具体的，所述集成字段准确率校验数据通过以下方法获取：
分别统计所述第三台账数据和第四台账数据中评价对象的目标字段的格式准确数量与目标字段的数据总量；
计算目标字段的格式准确数量与目标字段的数据总量的比例，获取准确率校验数据。
本实施例分别统计省侧电能主站原始表及省侧电能主站上传表中包括电力设施、供电公用用户、供电专用用户、供电电压监测点、变电站设备的字段总量，字段不准确(包括字段长度不规范、字段格式不规范等)数量总量，对于各个环节，分别计算比例：目标字段的格式((长度及格式符合要求)准确数量/目标字段的数据总量，得到集成字段准确率校验数据。本实施例属于准确性维度的校验数据。
(五)溯源关系前后环节的一致性校验数据
具体的，所述溯源关系前后环节的一致性校验数据通过以下方法获取：
基于所述第二台账数据、第三台账数据、第四台账数据和第五台账数据的溯源关系，分别根据溯源关系前后的两个台账数据中评价对象的业务主健进行匹配，获得所有匹配成功的评价对象的数据量；
基于溯源关系前后的两个台账数据和所有匹配成功的评价对象的数据量，判断所述评价对象的关键字段是否一致，获得评价对象中关键字段一致的总数；
基于溯源关系前后的两个台账数据，计算溯源关系前后的两个台账数据所述关键字段一致的总数与所有匹配成功的评价对象的数据量的比例，获取溯源关系前后环节的一致性评价数据。
本实施例一致性校验包括三个步骤，第一步，进行评价对象匹配，具体是通过评价对象的业务主健进行匹配，业务主健相同的即判断为匹配成功；第二步，对于匹配成功的评价对象，进行关键字段比对，关键字段相同即为一致；第三步，计算比例，关键字段一致的总数/所有匹配成功的评价对象的数据量，得到比例，即获得一致性校验数据。本实施例属于一致性维度的校验数据
以上步骤都是基于溯源关系相邻的前后环节的两个台账数据进行计算，具体溯源关系见前述，此处不再赘述。
(六)集成及时率校验数据
具体的，所述集成及时率校验数据通过以下方法获取：
分别统计所述第二台账数据、第三台账数据、第四台账数据中评价对象的自动集成数据量以及台账总数据量；
计算所述自动集成数据量与台账总数据量的比例，获取集成及时率校验数据。
本实施例主要针对数据中心、省侧电能主站原始表、省侧电能主站上传表的台账数据中自动集成的数据量及台账总数据量进行校验，对于各个环节，分别计算比例：自动集成数据量/台账总数据量，得到集成及时率校验数据。本实施例属于及时性维度的校验数据
(七)溯源关系前后环节推送数据的校验数据
具体的，所述溯源关系前后环节推送数据的校验数据通过以下方法获取：
基于所述第二台账数据、第三台账数据、第四台账数据和第五台账数据的溯源关系，分别统计所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据中评价对象的数据总量及溯源关系前后环节能够匹配的推送数据；
计算溯源关系前后环节能够匹配的推送数据和溯源关系前后环节其中一环节中评价对象的数据总量的比例，获取智能性校验数据。
本实施例中，由于溯源关系前后环节的数据是依次推送的，即源业务系统与数据中心、数据中心与省侧电能主站原始表、省侧电能主站原始表与省侧电能主站上传表、省侧电能主站上传表与总部电能质量在线监测系统台账数据是依次推送的，因此推送数据的校验数据是针对溯源关系前后环节。具体的，计算前后环节的推送数据比例：当前环节推送到下一环节的数据总量/当前环节的数据总量，得到推送数据比例，即溯源关系前后环节推送数据的校验数据。本实施例属于智能性维度的校验数据。
需要说明的是，所述当前环节推送到下一环节的数据总量，是指当前环节推送到下一环节的、能够与当前环节评价对象匹配上的数据总量。
例如，对于源业务系统与数据中心，当前环节指源业务系统，下一环节指数据中心，根据数据中心与源业务系统能够匹配的平均对象数据量，与源业务系统的数据总量，计算：数据中心与源业务系统能够匹配的平均对象数据量/源业务系统的数据总量，得到源业务系统与数据中心的推送数据的校验数据。
综上所述，本发明实施例为了解决现有技术中存在的问题，如：电网数据质量管理缺乏有效的模型管理机制和管理方法，无法实现对电网数据科学有效的维护管理、在线监测及自动化预测，不利于实现数据的自动化集成与融合，不利于实现供电可靠性精细化管理等，提供一种电力台账数据校验方法，通过基于源业务系统(PMS系统、用电信息采集系统、供电电压自动采集系统)与数据中心、数据中心与省侧电能主站原始表、省侧电能主站原始表与省侧电能主站上传表、省侧电能主站上传表与总部电能质量在线监测系统台账数据的溯源关系的数据对比，评价数据的冗余性、完整性、准确性、一致性、及时性、智能性，评估数据质量问题，从而实现了针对不同数据源、不同数据类型的基础数据的规范化处理、标准化传输和统一性存储的数据集成功能。
本发明实施例构建了一种电力数据质量评价体系，包括：
(1)基于溯源关系，确定评价所需的相关系统：源业务系统(PMS系统、用电信息采集系统、供电电压自动采集系统)、数据中心、省侧电能主站原始表及上传表、电能质量在线监测系统。
(2)基于溯源关系，确定评价对象：包括主网13类设施、变电站设备、公用配电变压器、营销专用用户、供电电压监测点数据。
(3)基于溯源关系，确定评价维度：冗余性维度、完整性维度、准确性维度、及时性维度、智能性维度、一致性维度。
(4)基于溯源关系，确定每个维度对应的评价指标：重复率、字段冗余率、丢失率、准确率、一致率、及时性、数据推送率、数据采集比例、转换成功率、正式入库比例。
本发明实施例实现了针对不同数据源、不同数据类型的基础数据的规范化处理的功能，为电网提供了科学、可靠的统计结果，大大提高了电网数据质量管理的效率和自动集成化比例。
本发明实施例还提供一种电力台账数据校验装置，包括：
数据获取模块，用于获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；
数据校验模块，用于基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。
本发明实施例的装置，可用于执行图1所示的一种电力台账数据校验方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图2为本发明实施例一种电力台账数据校验设备的框架示意图。请参考图2，本发明实施例提供一种电力台账数据校验设备，包括：处理器(processor)210、通信接口(Communications Interface)220、存储器(memory)230和总线240，其中，处理器210，通信接口220，存储器230通过总线240完成相互间的通信。处理器210可以调用存储器230中的逻辑指令，以执行如下方法，包括：获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。
本领域普通技术人员可以理解：实现上述设备实施例或方法实施例仅仅是示意性的，其中所述处理器和所述存储器可以是物理上分离的部件也可以不是物理上分离的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种电力台账数据校验方法，其特征在于，包括：
获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；
基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。
2.根据权利要求1所述的方法，其特征在于，所述重复率校验数据通过以下方法获取：
分别统计所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据中评价对象的业务主健重复数据的数据量和数据总量；
分别计算所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据中业务主健重复数据的数据量和数据总量的比例，分别获取所述源业务系统、数据中心、省侧电能主站原始表、省侧电能主站上传表及电能质量在线监测系统的重复率校验数据；
所述字段冗余率校验数据通过以下方法获取：
分别统计所述第三台账数据、第四台账数据和第五台账数据中评价对象的字段总量与第五台账数据中评价对象所需要的字段数量；
计算第五台账数据中评价对象的所需要的字段数量与所述第三台账数据、第四台账数据和第五台账数据中分评价对象的字段总量的比例，获取字段冗余率校验数据。
3.根据权利要求1所述的方法，其特征在于，所述丢失率校验数据通过以下方法获取：
分别统计所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据中评价对象的去除业务主健重复的数据量；
基于所述源业务系统、数据中心、省侧电能主站原始表、省侧电能主站上传表及电能质量在线监测系统的溯源关系，根据下一环节的数据量与当前环节的数据量，计算数据丢失的比例，获取溯源关系前后环节的丢失率校验数据。
4.根据权利要求1所述的方法，其特征在于，所述集成字段准确率校验数据通过以下方法获取：
分别统计所述第三台账数据和第四台账数据中评价对象的目标字段的格式准确数量与目标字段的数据总量；
计算目标字段的格式准确数量与目标字段的数据总量的比例，获取准确率校验数据。
5.根据权利要求1所述的方法，其特征在于，所述溯源关系前后环节的一致性校验数据通过以下方法获取：
基于所述第二台账数据、第三台账数据、第四台账数据和第五台账数据的溯源关系，分别根据溯源关系前后的两个台账数据中评价对象的业务主健进行匹配，获得所有匹配成功的评价对象的数据量；
基于溯源关系前后的两个台账数据和所有匹配成功的评价对象的数据量，判断所述评价对象的关键字段是否一致，获得评价对象中关键字段一致的总数；
基于溯源关系前后的两个台账数据，计算溯源关系前后的两个台账数据所述关键字段一致的总数与所有匹配成功的评价对象的数据量的比例，获取溯源关系前后环节的一致性评价数据。
6.根据权利要求1所述的方法，其特征在于，所述集成及时率校验数据通过以下方法获取：
分别统计所述第二台账数据、第三台账数据、第四台账数据中评价对象的自动集成数据量以及台账总数据量；
计算所述自动集成数据量与台账总数据量的比例，获取集成及时率校验数据。
7.根据权利要求1所述的方法，其特征在于，所述溯源关系前后环节推送数据的校验数据通过以下方法获取：
基于所述第二台账数据、第三台账数据、第四台账数据和第五台账数据的溯源关系，分别统计所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据中评价对象的数据总量及溯源关系前后环节能够匹配的推送数据；
计算溯源关系前后环节能够匹配的推送数据和溯源关系前后环节其中一环节中评价对象的数据总量的比例，获取智能性校验数据。
8.一种电力台账数据校验装置，其特征在于，包括：
数据获取模块，用于获取源业务系统的第一台账数据、数据中心的第二台账数据、省侧电能主站原始表的第三台账数据、省侧电能主站上传表的第四台账数据和电能质量在线监测系统的第五台账数据；
数据校验模块，用于基于所述第一台账数据、第二台账数据、第三台账数据、第四台账数据和第五台账数据，获取重复率校验数据、字段冗余率校验数据、丢失率校验数据、集成字段准确率校验数据、溯源关系前后环节的一致性校验数据、集成及时率校验数据和溯源关系前后环节推送数据的校验数据中的一种或多种。
9.一种电力台账数据校验设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810362724.9A CN108776856B (zh) | 2018-04-20 | 2018-04-20 | 一种基于溯源关系的电力台账数据校验方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810362724.9A CN108776856B (zh) | 2018-04-20 | 2018-04-20 | 一种基于溯源关系的电力台账数据校验方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108776856A true CN108776856A (zh) | 2018-11-09 |
| CN108776856B CN108776856B (zh) | 2020-07-28 |
Family
ID=64026488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810362724.9A Expired - Fee Related CN108776856B (zh) | 2018-04-20 | 2018-04-20 | 一种基于溯源关系的电力台账数据校验方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108776856B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109597763A (zh) * | 2018-12-04 | 2019-04-09 | 北京广利核系统工程有限公司 | 一种对多项数据进行归一化的一致性验证方法及装置 |
| CN110704404A (zh) * | 2019-08-29 | 2020-01-17 | 苏宁云计算有限公司 | 一种数据质量校验方法、装置、系统 |
| CN112463807A (zh) * | 2020-11-20 | 2021-03-09 | 广东电网有限责任公司 | 一种数据处理方法、装置、服务器及存储介质 |
| CN112612842A (zh) * | 2020-12-30 | 2021-04-06 | 南方电网深圳数字电网研究院有限公司 | 台账信息录入方法、装置、电子设备及存储介质 |
| CN117829683A (zh) * | 2024-03-04 | 2024-04-05 | 国网山东省电力公司信息通信公司 | 基于图对比学习的电力物联数据质量分析方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120069131A1 (en) * | 2010-05-28 | 2012-03-22 | Abelow Daniel H | Reality alternate |
| CN105184457A (zh) * | 2015-08-19 | 2015-12-23 | 安徽继远软件有限公司 | 一种数据资产化完成率的评估方法 |
| CN105184482A (zh) * | 2015-09-06 | 2015-12-23 | 国网山东省电力公司电力科学研究院 | 一种变压器台账数据校验系统及其方法 |
| CN105404974A (zh) * | 2015-12-01 | 2016-03-16 | 国网江西省电力公司信息通信分公司 | 一种数据资产化方法、装置及管理平台 |
| CN106600461A (zh) * | 2016-12-15 | 2017-04-26 | 国网浙江宁波市鄞州区供电公司 | 一种数据校验方法、装置及设备 |
-
2018
- 2018-04-20 CN CN201810362724.9A patent/CN108776856B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120069131A1 (en) * | 2010-05-28 | 2012-03-22 | Abelow Daniel H | Reality alternate |
| CN105184457A (zh) * | 2015-08-19 | 2015-12-23 | 安徽继远软件有限公司 | 一种数据资产化完成率的评估方法 |
| CN105184482A (zh) * | 2015-09-06 | 2015-12-23 | 国网山东省电力公司电力科学研究院 | 一种变压器台账数据校验系统及其方法 |
| CN105404974A (zh) * | 2015-12-01 | 2016-03-16 | 国网江西省电力公司信息通信分公司 | 一种数据资产化方法、装置及管理平台 |
| CN106600461A (zh) * | 2016-12-15 | 2017-04-26 | 国网浙江宁波市鄞州区供电公司 | 一种数据校验方法、装置及设备 |
Non-Patent Citations (2)
| Title |
|---|
| 朱文灏 等: "基于优化设备动作次数的地区智能电网AVC控制策略研究", 《电力系统及其自动化》 * |
| 郑澍 等: "数据分析在自动控制系统管理中的应用", 《电力信息与通信技术》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109597763A (zh) * | 2018-12-04 | 2019-04-09 | 北京广利核系统工程有限公司 | 一种对多项数据进行归一化的一致性验证方法及装置 |
| CN109597763B (zh) * | 2018-12-04 | 2022-02-25 | 北京广利核系统工程有限公司 | 一种对多项数据进行归一化的一致性验证方法及装置 |
| CN110704404A (zh) * | 2019-08-29 | 2020-01-17 | 苏宁云计算有限公司 | 一种数据质量校验方法、装置、系统 |
| CN110704404B (zh) * | 2019-08-29 | 2023-04-28 | 苏宁云计算有限公司 | 一种数据质量校验方法、装置、系统 |
| CN112463807A (zh) * | 2020-11-20 | 2021-03-09 | 广东电网有限责任公司 | 一种数据处理方法、装置、服务器及存储介质 |
| CN112612842A (zh) * | 2020-12-30 | 2021-04-06 | 南方电网深圳数字电网研究院有限公司 | 台账信息录入方法、装置、电子设备及存储介质 |
| CN117829683A (zh) * | 2024-03-04 | 2024-04-05 | 国网山东省电力公司信息通信公司 | 基于图对比学习的电力物联数据质量分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108776856B (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776856A (zh) | 一种基于溯源关系的电力台账数据校验方法及装置 | |
| CN106093627B (zh) | 数字化变电站电能质量故障录波监测装置及监测方法 | |
| CN107180314B (zh) | 一种基于一二次系统关联关系的运维业务模型建模方法 | |
| CN103874122B (zh) | 专变终端网络信号采集系统及采集方法 | |
| CN111131417B (zh) | 一种变电站计量监测分析系统及方法 | |
| CN104360208A (zh) | 用电信息采集运维系统的采集故障分析及处理方法 | |
| CN104539051B (zh) | 一种智能变电站二次设备在线评估系统 | |
| CN103852744A (zh) | 电能计量装置分布式在线监测系统及其方法 | |
| CN104794206A (zh) | 一种变电站数据质量评价系统及方法 | |
| CN104730458B (zh) | 发电机励磁系统状态监测方法 | |
| CN104751305A (zh) | 一种基于故障分析抢修的智能交互系统及其控制方法 | |
| CN111600296A (zh) | 基于边缘计算的电力负荷预测系统及其预测方法 | |
| CN104538957B (zh) | 用于统计低频低压切负荷容量的电网模型自适应处理方法 | |
| CN103149547A (zh) | 变电站计量回路在线监测系统及状态检修方法 | |
| CN114528951A (zh) | 一种配网线路单线图异常诊断分析方法、系统及装置 | |
| CN102856896A (zh) | 一种直流输电损耗的在线分析方法 | |
| CN114629128B (zh) | 一种基于营配数据融合的用户低电压治理方法及系统 | |
| CN109142988B (zh) | 一种基于电能质量监测数据的配网故障定位方法及系统 | |
| CN109165837B (zh) | 基于主配一体的保供电区域分级运行风险分析方法 | |
| CN104598713A (zh) | 一种电网理论线损计算需求数据合成方法 | |
| CN104134168A (zh) | 一种数据管理系统 | |
| CN103475091A (zh) | 一种电网关口电能计量管理系统 | |
| CN108763304B (zh) | 一种基于血缘关系的电力台账数据校验方法及装置 | |
| CN113438116B (zh) | 一种电力通讯数据管理系统及方法 | |
| CN104700318A (zh) | 基于设备功率流拓扑的配电网薄弱环节辨识方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20181224 Address after: 100031 West Chang'an Avenue, Xicheng District, Xicheng District, Beijing Applicant after: STATE GRID CORPORATION OF CHINA Applicant after: BEIJING SGITG-ACCENTURE INFORMATION TECHNOLOGY Co.,Ltd. Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd. Applicant after: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co. Address before: 100031 West Chang'an Avenue, Xicheng District, Xicheng District, Beijing Applicant before: State Grid Corporation of China Applicant before: BEIJING SGITG-ACCENTURE INFORMATION TECHNOLOGY Co.,Ltd. Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200728 |