CN112200459A - 一种配电网数据质量分析评价方法及系统 - Google Patents
一种配电网数据质量分析评价方法及系统 Download PDFInfo
- Publication number
- CN112200459A CN112200459A CN202011084561.6A CN202011084561A CN112200459A CN 112200459 A CN112200459 A CN 112200459A CN 202011084561 A CN202011084561 A CN 202011084561A CN 112200459 A CN112200459 A CN 112200459A
- Authority
- CN
- China
- Prior art keywords
- data
- distribution network
- evaluation
- data quality
- power distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 104
- 238000011156 evaluation Methods 0.000 title claims abstract description 82
- 238000004458 analytical method Methods 0.000 title claims abstract description 74
- 238000013499 data model Methods 0.000 claims abstract description 36
- 238000013210 evaluation model Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 13
- 238000007726 management method Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 4
- 239000002994 raw material Substances 0.000 claims 4
- 238000000034 method Methods 0.000 abstract description 30
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013075 data extraction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000037221 weight management Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种配电网数据质量分析评价方法及系统，包括，基于数据项到业务指标的流向构建数据模型；利用所述数据模型交叉计算重过载指标权重并设置关联度；根据数据质量校核规则判断所述数据项的质量维度类型，结合所述关联度进行统一设置，得到各个维度的评价值；利用贝叶斯优化转换策略构建分析评价模型，对所述各个维度评价值进行标准分转换，获得评价排名结果。本发明根据业务侧重导向，通过数据地图关联关系，精准定位数据质量问题，多维度反映数据质量现状，准确评价数据质量现状，提高基层单位人员整改基础数据质量效率，为提高配电网规划综合数据应用提供了简便有效的技术方案。
Description
技术领域
本发明涉及配电网数据质量分析的技术领域，尤其涉及一种配电网数据质量分析评价方法及系统。
背景技术
配电网规划业务，涉及大量配电网基础数据的收资工作。长期以来，配电网基础数据收资难、收资数据质量层次不齐等问题，影响了配电网现状问题分析的精准定位，进而影响配电网立项和投资方向。目前随着电网企业整体信息化建和应用的迅猛发展，配网侧基础数据质量提升问题，日益影响配电网规划信息化应用效果的成效。为此，迫切需要提高针对配电网规划数据质量的分析和评价水平。常用的数据质量分析评价方法是基于层次分析法为数据质量分析维度配置权重，进而通过累计获得质量分析指标值，这个方法的优势在于在于实施简便，难点是需要为各权重赋值需要专家判断，同时最后评价结果更多体现业务数据质量本身水平。实际配电网规划工作中，在不同阶段需要解决不同重点的配电网问题，如何根据配电网规划业务侧重点，灵活实现数据质量分析和评价的灵活调整，实现基于业务分析导向的数据质量分析和评价，进而指导基层单位进行有针对性的基础数据完善，成为目前配电网规划信息系统建设领域的一个难点。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种配电网数据质量分析评价方法及系统，能够精准完善电网基础数据项，进而提高配电网规划业务分析质量和水平。
为解决上述技术问题，本发明提供如下技术方案：包括，基于数据项到业务指标的流向构建数据模型；利用所述数据模型交叉计算重过载指标权重并设置关联度；根据数据质量校核规则判断所述数据项的质量维度类型，结合所述关联度进行统一设置，得到各个维度的评价值；利用贝叶斯优化转换策略构建分析评价模型，对所述各个维度评价值进行标准分转换，获得评价排名结果。
作为本发明所述的配电网数据质量分析评价方法的一种优选方案，其中：包括，数据项综合权重值＝∑所述数据项参与计算的所有业务指标权重值，且业务指标权重值为[1,10]；数据模型综合权重值＝∑所述数据模型内所有数据项的数据项综合权重值。
作为本发明所述的配电网数据质量分析评价方法的一种优选方案，其中：包括，所述重过载指标权重为10，则参与所述指标计算的所有输入数据项对应的权重关联度均设置为10。
作为本发明所述的配电网数据质量分析评价方法的一种优选方案，其中：所述数据质量维度类型包括，缺失、不一致和异常。
作为本发明所述的配电网数据质量分析评价方法的一种优选方案，其中：所述统一设置包括，若为缺失类型，则所述权重为10；若为异常类型，则所述权重为5；若为不一致类型，则所述权重为3。
作为本发明所述的配电网数据质量分析评价方法的一种优选方案，其中：构建所述分析评价模型包括，结合adam优化策略求解以贝叶斯转换目标函数为目标的所述分析评价模型，如下，
其中，yi：输入数据项xi的质量维度类别，pi：分类器对输入数据项xi的输出类别为统一设置的概率，N：不可评价数据项的数量。
作为本发明所述的配电网数据质量分析评价方法的一种优选方案，其中：还包括，训练并验证所述分析评价模型的评价准确率，定义所述准确率为每一个随机样本所预测的结果与其实际类型相同的概率，如下，
其中，Npos：数据项被准确评价排序的数量，Nneg：数据项未被准确评价排序的数量。
作为本发明所述的配电网数据质量分析评价方法的一种优选方案，其中：获得所述评价排名结果包括，获得原始的所有综合评价指标值后，按照平均分计算法，对管理单位维度、数据质量维度和数据模型维度的实际值进行统一转换，获得相关评价排名顺序。
作为本发明所述的配电网数据质量分析评价系统的一种优选方案，其中：包括，配电网规划主题数据库，用于定期从电网数据中心抽取并存储待分析的配电网规划主题数据；配电网规划主题数据地图连接于所述配电网规划主题数据库，其用于管理基础业务数据模型、业务指标模型和建立基础业务数据到业务指标数据的流向关系；配电网规划数据质量校验规则库与所述配电网规划主题数据库和所述配电网规划主题数据地图相连接，其用于面向基础业务数据模型库中的数据项，从数据缺失、数据不一致、数据业务异常三个数据质量维度，构建数据校验规则。
作为本发明所述的配电网数据质量分析评价系统的一种优选方案，其中：还包括，配电网规划数据质量分析评价引擎库，用于配置业务指标模型权重，其根据已配置的数据地图，自动为基础数据项权重赋值，并按照已配置的数据质量校验规则生成数据质量校验明细和校验规则指标；数据质量分析评价库与所述配电网规划数据质量分析评价引擎库相连接，其用于构建面向三类维度，即对单位维度、数据质量维度和业务数据维度的数据质量进行分析评价。
本发明的有益效果：本发明根据业务侧重导向，通过数据地图关联关系，精准定位数据质量问题，多维度反映数据质量现状，准确评价数据质量现状，提高基层单位人员整改基础数据质量效率，为提高配电网规划综合数据应用提供了简便有效的技术方案。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的配电网数据质量分析评价方法的流程示意图；
图2为本发明第二个实施例所述的配电网数据质量分析评价系统的结构示意图；
图3为本发明第二个实施例所述的配电网数据质量分析评价系统的配电网规划主题数据库结构示意图；
图4为本发明第二个实施例所述的配电网数据质量分析评价系统的配电网规划主题数据地图库结构示意图；
图5为本发明第二个实施例所述的配电网数据质量分析评价系统的配电网规划数据质量校验规则库结构示意图；
图6为本发明第二个实施例所述的配电网数据质量分析评价系统的配电网规划数据质量分析评价引擎库结构示意图；
图7为本发明第二个实施例所述的配电网数据质量分析评价系统的配电网规划数据质量分析评价库结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的第一个实施例，提供了一种配电网数据质量分析评价方法，包括：
S1：基于数据项到业务指标的流向构建数据模型。其中需要说明的是，
数据项综合权重值＝∑该数据项参与计算的所有业务指标权重值，业务指标权重值为[1,10]；
数据模型综合权重值＝∑该数据模型内所有数据项的数据项综合权重值；
数据质量校核规则综合评价指标值＝数据质量校核规则计算指标值*质量维度类型权重，质量维度类型权重值为[1,10]；
数据项质量综合评价指标值＝数据项综合权重值*∑针对该数据项的数据质量校核规则综合评价指标值；
数据模型质量综合评价指标值＝∑该数据模型内所有数据项的项目项质量综合评价指标值；
质量维度类型综合评价指标值＝∑该质量维度类型的所有数据模型质量综合评价指标值。
S2：利用数据模型交叉计算重过载指标权重并设置关联度。本步骤需要说明的是，包括：
重过载指标权重为10，则参与指标计算的所有输入数据项对应的权重关联度均设置为10。
S3：根据数据质量校核规则判断数据项的质量维度类型，结合关联度进行统一设置，得到各个维度的评价值。其中还需要说明的是，数据质量维度类型包括：
缺失、不一致和异常；
若为缺失类型，则权重为10；
若为异常类型，则权重为5；
若为不一致类型，则权重为3。
S4：利用贝叶斯优化转换策略构建分析评价模型，对各个维度评价值进行标准分转换，获得评价排名结果。本步骤还需要说明的是，构建分析评价模型包括：
结合adam优化策略求解以贝叶斯转换目标函数为目标的分析评价模型，如下，
其中，yi：输入数据项xi的质量维度类别，pi：分类器对输入数据项xi的输出类别为统一设置的概率，N：不可评价数据项的数量。
具体的，还包括：
训练并验证分析评价模型的评价准确率，定义准确率为每一个随机样本所预测的结果与其实际类型相同的概率，如下，
其中，Npos：数据项被准确评价排序的数量，Nneg：数据项未被准确评价排序的数量。
进一步的，获得评价排名结果包括：
获得原始的所有综合评价指标值后，按照平均分计算法，对管理单位维度、数据质量维度和数据模型维度的实际值进行统一转换，获得相关评价排名顺序。
优选的，为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的配网数据质量分析方法与本发明方法进行对比测试，以科学论证的手段对比试验结果，验证本发明方法所具有的真实效果。
传统的配网数据质量分析方法的各权重赋值需要专家判断，效率较低且人为经验影响较大，为验证本发明方法相较于传统方法具有较高的效率和较精确的分析评价度，本实施例中将采用传统方法与本发明方法分别对南方某一配电网系统的数据质量进行分析测试。
测试环境：(1)DELL Tower服务器、Windows10操作系统、NVIDA GTX1080Ti GUP和Inter Core i7-8700@3.20GHz；
(2)内存32G、显存8G；
(3)本发明方法采用Python3.6基于Tensorflow1.14框架实现，传统方法采用人工操作实现。
表1：两种方法对比结果表。
参照表1，能够直观的看出，在相同的环境设置下，传统方法随着分析次数的增加，准确度逐渐降低，而本发明方法则趋于稳定状态，并保持高于传统方法的稳定状态，由此可知，本发明方法具有较好的分析精确度。
实施例2
参照图2～图7，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种配电网数据质量分析评价系统，包括，配电网规划主题数据库、配电网规划主题数据地图、配电网规划数据质量校验规则库、配电网规划数据质量分析评价引擎库和配电网规划数据质量分析评价库。具体包括：
配电网规划主题数据库，用于定期从电网数据中心抽取并存储待分析的配电网规划主题数据；
配电网规划主题数据地图连接于配电网规划主题数据库，其用于管理基础业务数据模型、业务指标模型和建立基础业务数据到业务指标数据的流向关系；
配电网规划数据质量校验规则库与配电网规划主题数据库和配电网规划主题数据地图相连接，其用于面向基础业务数据模型库中的数据项，从数据缺失、数据不一致、数据业务异常三个数据质量维度，构建数据校验规则；
配电网规划数据质量分析评价引擎库，用于配置业务指标模型权重，其根据已配置的数据地图，自动为基础数据项权重赋值，并按照已配置的数据质量校验规则生成数据质量校验明细和校验规则指标；
数据质量分析评价库与配电网规划数据质量分析评价引擎库相连接，其用于构建面向三类维度，即对单位维度、数据质量维度和业务数据维度的数据质量进行分析评价。
参照图3，配电网规划主题数据库包括，数据抽取单元和数据存储单元，数据抽取单元，用于配置定期从电网中心数据库抽取数据的抽取规则，包括数据源、数据库类型、IP、端口、账号、定时抽取时间信息，其根据已配置的抽取规则定义执行数据抽取作业；数据存储单元，用于建立数据存储环境，保持定期抽取获得的配电网规划主题数据。
参照图4，配电网规划主题数据地图库包括，基础业务数据模型单元、业务指标数据模型单元和数据项流向管理单元，其中，基础业务数据模型单元，用于构建和管理配电网规划主题数据库中存储的资产设备类、运行数据类和地区概况类数据模型；业务指标数据模型，用于构建和管理面向资产设备类的指标计算模型模型和面向地区单位类的业务指标计算模型；数据项流向管理单元，用于构建和管理从基础业务数据模型的数据项向业务指标数据模型的数据项转换的流向关系。
参照图5，配电网规划数据质量校验规则库包括，质量维度类型管理单元和数据质量校核规则管理单元，其中，质量维度管理单元，用于建立和管理数据质量分析维度类型，包括质量维度类型编号、名称和定义内容；数据质量校核规则管理单元，用于面向基础数据项的数据质量校核规则，其包括基础数据模型类型、编号、名称、质量维度编号、名称，规则内容描述、执行周期、执行时间、规则指标计算方式。
参照图6，配电网规划数据质量分析评价引擎库包括，数据质量权重管理单元和数据质量校验处理单元，其中，数据质量权重管理单元，用于建立和管理已配置业务指标权重设置，业务指标按照重要程度从高到低依次为10～1共10个等级，根据已配置的业务指标权重和和已配置的数据地图自动累计参与所有指标计算的各数据项权重值，从而获得各数据项相对权重，建立和管理质量维度类型的权重值，按照影响程度从高到低依次为10-1共10个等级；数据质量计算处理单元，用于根据配置的数据质量校验规则定期执行执行数据质量校验规则，生成数据质量问题数据清单和数据质量规则指标值。
参照图7，配电网规划数据质量分析评价库包括，数据质量分析单元和数据质量评价单元，其中，数据质量分析单元，提供报表和地图两种数据分析方式，报表方式，用于按照数据质量维度类型、数据模型对象类型和数据模型的数据项三类分别展现各级单位的数据质量问题指标和质量数据明细清单；地图方式，用于按照已配置的主题数据地图，查看各业务指标对应的基础数据模型和相关数据项的指标值和问题数据明细清单；数据质量评价单元，用于构建面向管理单位维度、数据质量维度和数据模型维度的数据质量评价排名。
进一步需要说明的是，本实施例提供的配电网数据质量分析评价系统能够根据具体配电网规划业务分析侧重点，建立配电网规划数据地图，指导基层单位根据根据业务工作的侧重点方向，精准完善电网基础数据项，进而提高配电网规划业务分析质量和水平。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种配电网数据质量分析评价方法，其特征在于：包括，
基于数据项到业务指标的流向构建数据模型；
利用所述数据模型交叉计算重过载指标权重并设置关联度；
根据数据质量校核规则判断所述数据项的质量维度类型，结合所述关联度进行统一设置，得到各个维度的评价值；
利用贝叶斯优化转换策略构建分析评价模型，对所述各个维度评价值进行标准分转换，获得评价排名结果。
2.根据权利要求1所述的配电网数据质量分析评价方法，其特征在于：包括，
数据项综合权重值＝∑所述数据项参与计算的所有业务指标权重值，且业务指标权重值为[1,10]；
数据模型综合权重值＝∑所述数据模型内所有数据项的数据项综合权重值。
3.根据权利要求1或2所述的配电网数据质量分析评价方法，其特征在于：包括，
所述重过载指标权重为10，则参与所述指标计算的所有输入数据项对应的权重关联度均设置为10。
4.根据权利要求3所述的配电网数据质量分析评价方法，其特征在于：所述数据质量维度类型包括，缺失、不一致和异常。
5.根据权利要求4所述的配电网数据质量分析评价方法，其特征在于：所述统一设置包括，
若为缺失类型，则所述权重为10；
若为异常类型，则所述权重为5；
若为不一致类型，则所述权重为3。
6.根据权利要求5所述的配电网数据质量分析评价方法，其特征在于：构建所述分析评价模型包括，
结合adam优化策略求解以贝叶斯转换目标函数为目标的所述分析评价模型，如下，
其中，yi：输入数据项xi的质量维度类别，pi：分类器对输入数据项xi的输出类别为统一设置的概率，N：不可评价数据项的数量。
7.根据权利要求6所述的配电网数据质量分析评价方法，其特征在于：还包括，
训练并验证所述分析评价模型的评价准确率，定义所述准确率为每一个随机样本所预测的结果与其实际类型相同的概率，如下，
其中，Npos：数据项被准确评价排序的数量，Nneg：数据项未被准确评价排序的数量。
8.根据权利要求7所述的配电网数据质量分析评价方法，其特征在于：获得所述评价排名结果包括，
获得原始的所有综合评价指标值后，按照平均分计算法，对管理单位维度、数据质量维度和数据模型维度的实际值进行统一转换，获得相关评价排名顺序。
9.一种配电网数据质量分析评价系统，其特征在于：包括，
配电网规划主题数据库，用于定期从电网数据中心抽取并存储待分析的配电网规划主题数据；
配电网规划主题数据地图连接于所述配电网规划主题数据库，其用于管理基础业务数据模型、业务指标模型和建立基础业务数据到业务指标数据的流向关系；
配电网规划数据质量校验规则库与所述配电网规划主题数据库和所述配电网规划主题数据地图相连接，其用于面向基础业务数据模型库中的数据项，从数据缺失、数据不一致、数据业务异常三个数据质量维度，构建数据校验规则。
10.根据权利要求9所述的配电网数据质量分析评价系统，其特征在于：还包括，
配电网规划数据质量分析评价引擎库，用于配置业务指标模型权重，其根据已配置的数据地图，自动为基础数据项权重赋值，并按照已配置的数据质量校验规则生成数据质量校验明细和校验规则指标；
数据质量分析评价库与所述配电网规划数据质量分析评价引擎库相连接，其用于构建面向三类维度，即对单位维度、数据质量维度和业务数据维度的数据质量进行分析评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011084561.6A CN112200459B (zh) | 2020-10-12 | 2020-10-12 | 一种配电网数据质量分析评价方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011084561.6A CN112200459B (zh) | 2020-10-12 | 2020-10-12 | 一种配电网数据质量分析评价方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112200459A true CN112200459A (zh) | 2021-01-08 |
| CN112200459B CN112200459B (zh) | 2023-08-29 |
Family
ID=74013813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011084561.6A Active CN112200459B (zh) | 2020-10-12 | 2020-10-12 | 一种配电网数据质量分析评价方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200459B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408212A (zh) * | 2021-07-14 | 2021-09-17 | 广东电网有限责任公司广州供电局 | 一种基于贝叶斯反向传播的电网资源部署分析方法 |
| CN113869633A (zh) * | 2021-08-23 | 2021-12-31 | 国网安徽省电力有限公司信息通信分公司 | 一种配电网多源数据质量管控方法 |
| CN114139408A (zh) * | 2022-02-08 | 2022-03-04 | 北京智盟信通科技有限公司 | 一种电力变压器健康状态评估方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778517A (zh) * | 2015-04-30 | 2015-07-15 | 国家电网公司 | 基于微气象与卫星遥感数据的微气象灾害预警方法及系统 |
| CN104915897A (zh) * | 2015-06-24 | 2015-09-16 | 国家电网公司 | 一种电网规划评价业务的计算机实现方法 |
| CN105186514A (zh) * | 2015-10-20 | 2015-12-23 | 南京南瑞集团公司 | 一种大规模分布式光伏并网对配网安全评价及预警方法 |
| CN107491381A (zh) * | 2017-07-04 | 2017-12-19 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测系统 |
| CN108877839A (zh) * | 2018-08-02 | 2018-11-23 | 南京华苏科技有限公司 | 基于语音语义识别技术的语音质量感知评估的方法及系统 |
| CN109919184A (zh) * | 2019-01-28 | 2019-06-21 | 中国石油大学(北京) | 一种基于测井数据的多井复杂岩性智能识别方法及系统 |
| CN110135759A (zh) * | 2019-05-24 | 2019-08-16 | 贵州大学 | 一种基于熵权物元可拓模型的煤矿安全评价方法 |
| US20190354723A1 (en) * | 2018-05-16 | 2019-11-21 | Ebay, Inc. | Weighted source data secured on blockchains |
-
2020
- 2020-10-12 CN CN202011084561.6A patent/CN112200459B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778517A (zh) * | 2015-04-30 | 2015-07-15 | 国家电网公司 | 基于微气象与卫星遥感数据的微气象灾害预警方法及系统 |
| CN104915897A (zh) * | 2015-06-24 | 2015-09-16 | 国家电网公司 | 一种电网规划评价业务的计算机实现方法 |
| CN105186514A (zh) * | 2015-10-20 | 2015-12-23 | 南京南瑞集团公司 | 一种大规模分布式光伏并网对配网安全评价及预警方法 |
| CN107491381A (zh) * | 2017-07-04 | 2017-12-19 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测系统 |
| US20190354723A1 (en) * | 2018-05-16 | 2019-11-21 | Ebay, Inc. | Weighted source data secured on blockchains |
| CN108877839A (zh) * | 2018-08-02 | 2018-11-23 | 南京华苏科技有限公司 | 基于语音语义识别技术的语音质量感知评估的方法及系统 |
| CN109919184A (zh) * | 2019-01-28 | 2019-06-21 | 中国石油大学(北京) | 一种基于测井数据的多井复杂岩性智能识别方法及系统 |
| CN110135759A (zh) * | 2019-05-24 | 2019-08-16 | 贵州大学 | 一种基于熵权物元可拓模型的煤矿安全评价方法 |
Non-Patent Citations (2)
| Title |
|---|
| GAO XIAODONG等: "Big data evaluation method of transformer based on association rules and fuzzy variable weight model" * |
| 肖汉斌 等: "基于ICWGT和灰色关联分析法的起重机安全评价" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408212A (zh) * | 2021-07-14 | 2021-09-17 | 广东电网有限责任公司广州供电局 | 一种基于贝叶斯反向传播的电网资源部署分析方法 |
| CN113408212B (zh) * | 2021-07-14 | 2024-04-26 | 广东电网有限责任公司广州供电局 | 一种基于贝叶斯反向传播的电网资源部署分析方法 |
| CN113869633A (zh) * | 2021-08-23 | 2021-12-31 | 国网安徽省电力有限公司信息通信分公司 | 一种配电网多源数据质量管控方法 |
| CN114139408A (zh) * | 2022-02-08 | 2022-03-04 | 北京智盟信通科技有限公司 | 一种电力变压器健康状态评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200459B (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Proença et al. | Maturity models for information systems-a state of the art | |
| US9208053B2 (en) | Method and system for predicting performance of software applications on prospective hardware architecture | |
| Vanhoucke et al. | An overview of project data for integrated project management and control | |
| CN112200459A (zh) | 一种配电网数据质量分析评价方法及系统 | |
| CN107025509B (zh) | 基于业务模型的决策系统和方法 | |
| Etemadinia et al. | Using a hybrid system dynamics and interpretive structural modeling for risk analysis of design phase of the construction projects | |
| JP5754709B2 (ja) | ビジネス・プロセス・マネージメント・モデルを最適化する方法 | |
| Barbosa et al. | Using performance profiles to analyze the results of the 2006 CEC constrained optimization competition | |
| Popović et al. | A comparative evaluation of effort estimation methods in the software life cycle | |
| Becker et al. | Decision criteria in digital preservation: What to measure and how | |
| US20080262824A1 (en) | Creation of resource models | |
| CN100465918C (zh) | 基于事务处理的性能模型的自动化确认和校准系统和方法 | |
| CN111309581B (zh) | 一种数据库升级场景下的应用性能检测方法及装置 | |
| WO2018107292A1 (en) | System and method for earthquake risk mitigation in building structures | |
| CN116594913B (zh) | 一种智能软件自动化测试方法 | |
| Rigger et al. | Design automation state of practice-potential and opportunities | |
| CN114547452A (zh) | 一种基于多维画像评估的网格管理优化方法及系统 | |
| Christensen et al. | Lightweight and continuous architectural software quality assurance using the asqa technique | |
| JP2021077364A (ja) | プロジェクトマネジメントシステム、プロジェクト管理方法及びプログラム | |
| CN111915188A (zh) | 企业的系统性能测试方法、装置和设备 | |
| US20240005259A1 (en) | Index modeling | |
| Li et al. | Search-based uncertainty-wise requirements prioritization | |
| CN103714066A (zh) | 基于模板的数据库分析器 | |
| Mansson et al. | Assessing BIM performance in building management organisations | |
| CN118469520B (zh) | 基于工程项目分项树形结构的多目标管理架构实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |