CN113095680A - 电力大数据模型的评价指标体系与构建方法 - Google Patents
电力大数据模型的评价指标体系与构建方法 Download PDFInfo
- Publication number
- CN113095680A CN113095680A CN202110395761.1A CN202110395761A CN113095680A CN 113095680 A CN113095680 A CN 113095680A CN 202110395761 A CN202110395761 A CN 202110395761A CN 113095680 A CN113095680 A CN 113095680A
- Authority
- CN
- China
- Prior art keywords
- evaluation
- model
- data
- weight distribution
- distribution result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 202
- 238000013499 data model Methods 0.000 title claims abstract description 39
- 238000010276 construction Methods 0.000 title abstract description 16
- 238000009826 distribution Methods 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 73
- 238000003860 storage Methods 0.000 claims description 18
- 230000010354 integration Effects 0.000 claims description 12
- 238000013145 classification model Methods 0.000 claims description 5
- 230000008901 benefit Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000007405 data analysis Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013278 delphi method Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 235000014676 Phragmites communis Nutrition 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000010220 Pearson correlation analysis Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本申请提供了一种电力大数据模型的评价指标体系与构建方法。该评价指标体系包括多个一级评价维度，一部分一级评价维度下包括多个二级评价标签，各二级评价标签下包括多个三级评价因子，另一部分一级评价维度下包括多个三级评价因子。采用本方案建立的评价指标体系选取典型的菜单式指标体系架构，共有三层指标，评价指标体系评价因素比较丰富，采用本方案的评价指标体系对现有的电力大数据模型进行评价，更能准确地评价电力大数据模型的优劣。
Description
技术领域
本申请涉及电力大数据领域，具体而言，涉及一种电力大数据模型的评价指标体系、评价指标体系的构建方法、构建装置、计算机可读存储介质与处理器。
背景技术
近些年，随着国家经济及互联网的快速发展，电力公司业务不断延伸，数据持续增加。公司业务部门以数据为基础，结合电网业务特点，积累了一系列电力大数据分析模型；而模型的优劣直接影响着工作质量及效率，优质模型能够提高公司效益，反之，无效模型将给公司发展带来负面效应。因此，构建一套电力大数据模型评价指标体系用于辅助公司合理、正确的评价及运用模型是非常有意义的。
目前典型通用的大数据分析模型的评价指标主要是围绕模型的准确性来设计的，如分类模型评价指标AUC；另外，2018年，国网公司根据模型准确性评价指标，结合电力特点，发布了一套电网大数据分析模型评价准则，完善了模型评价指标体系。
在上述两种方法中，前者从准确性方面对模型进行评价，考虑因素单一；后者综合评价指标(或者指标权重)计算是通过专家经验法来实现的，主观性强，缺乏客观评判。
发明内容
本申请的主要目的在于提供一种电力大数据模型的评价指标体系、评价指标体系的构建方法、构建装置、计算机可读存储介质与处理器，以解决现有技术中电力大数据模型的评价指标体系评价因素比较单一的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种电力大数据模型的评价指标体系，包括多个一级评价维度，一部分所述一级评价维度下包括多个二级评价标签，各所述二级评价标签下包括多个三级评价因子，另一部分所述一级评价维度下包括多个所述三级评价因子。
进一步地，所述一级评价维度包括模型数据、模型性能和模型适用性，所述模型数据包括数据源标准性、数据合规性和数据集成自动性，所述模型性能包括模型精准性、模型运行能力和模型泛化能力，所述模型适用性包括数据匹配度、目标完成度和适用广泛性。
进一步地，所述数据源标准性包括数据范围符合度和数据类型符合度，所述数据合规性包括数据源合法性和数据源安全性，所述数据集成自动性包括文件数据集成度和数据库数据集成度，所述模型精准性包括AUC、准确率、CH指数、调整兰德系数、校正决定系数、排序收益和排序精度，模型运行能力包括模型运行用时、磁盘占用率、CPU占用率和内存占用率，模型泛化能力包括时间泛化差值率、区域泛化差值率和数据规模泛化差值率。
进一步地，用所述AUC和所述准确率评价分类模型，用所述CH指数和所述调整兰德系数评价聚类模型，用所述校正决定系数和所述调整兰德系数评价回归模型，用所述排序收益和排序精度评价排序模型。
根据本申请的另一个方面，提供了一种评价指标体系的构建方法，包括：获取电力数据的原始数据集；将所述原始数据集划分为多个子数据集；将一部分所述子数据集输入至熵权法基学习器中进行运算，得到第一权重分配结果；将另一部分所述子数据集输入至德尔菲法基学习器中进行运算，得到第二权重分配结果；将所述第一权重分配结果和所述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果，所述最终权重分配结果为所述三级评价因子的权重。
进一步地，在将所述第一权重分配结果和所述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果之后，所述方法还包括：根据所述三级评价因子的权重确定所述二级评价标签的权重和另一部分所述一级评价维度的权重；根据所述二级评价标签的权重确定一部分所述一级评价维度的权重。
进一步地，所述方法还包括：从电网业务中，根据电力大数据模型的运行情况，抽取评价要素；获取任意两个所述评价要素之间的相关性；根据所述相关性，将强相关的两个所述评价要素中的一个删除，得到所述三级评价因子。
根据本申请的另一方面，提供了一种评价指标体系的构建装置，包括：第一获取单元，用于获取电力数据的原始数据集；划分单元，用于将所述原始数据集划分为多个子数据集；第一运算单元，用于将一部分所述子数据集输入至熵权法基学习器中进行运算，得到第一权重分配结果；第二运算单元，用于将另一部分所述子数据集输入至德尔菲法基学习器中进行运算，得到第二权重分配结果；第三运算单元，用于将所述第一权重分配结果和所述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果，所述最终权重分配结果为所述三级评价因子的权重。
根据本申请的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的评价指标体系的构建方法。
根据本申请的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的评价指标体系的构建方法。
采用本方案建立的评价指标体系选取典型的菜单式指标体系架构，共有三层指标，评价指标体系评价因素比较丰富，采用本方案的评价指标体系对现有的电力大数据模型进行评价，更能准确地评价电力大数据模型的优劣。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请的实施例的电力大数据模型的评价指标体系示意图；
图2示出了根据本申请的实施例的电力大数据模型的评价指标体系的构建方法流程图；
图3示出了根据本申请的实施例的电力大数据模型的评价指标体系的构建装置示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
AUC(Area under the ROC curve)：ROC曲线下的面积，AUC直观反映了曲线表达的分类能力。AUC＝1，代表完美分类器；0.5<AUC<1，优于随机分类器；0<AUC<0.5，差于随机分类器。
CH指数(聚类的内部评价指标)：通过计算类内各点与类中心的距离平方和来度量类内的紧密度(分母)，通过计算类间中心点与数据集中心点距离平方和来度量数据集的分离度(分子)，CH指标由分离度和紧密度的比值得到，计算速率比轮廓系数快很多。CH越大代表着类自身越紧密，类与类之间越分散，即更优的聚类结果。
正如背景技术中所介绍的，现有技术中的电力大数据模型的评价指标体系评价因素比较单一，为解决如上电力大数据模型的评价指标体系评价因素比较单一的问题，本申请的实施例提供了一种电力大数据模型的评价指标体系、评价指标体系的构建方法、构建装置、计算机可读存储介质与处理器。
本申请的一种典型的实施例，提供了一种电力大数据模型的评价指标体系。该评价指标体系包括多个一级评价维度，一部分上述一级评价维度下包括多个二级评价标签，各上述二级评价标签下包括多个三级评价因子，另一部分上述一级评价维度下包括多个上述三级评价因子。
具体地，电力大数据模型包括反窃电、线损分析、负荷预测等电网业务中经常用到的分类(如决策树、朴素贝叶斯)、回归(如SVM、神经网络)等电力大数据分析模型。采用本申请的评价指标体系实现对电力大数据模型的全面、科学的评价，使得电力大数据模型更好的为电网业务服务，从而提升工作人员工作质量及效率。
具体地，本申请的电力大数据模型的评价指标体系是通过计算机程序自动生成的，可以将指标体系生成过程自动化和可视化。相对于现有技术中的人为设定评价指标的方式，有明显的优势。
采用本方案建立的评价指标体系选取典型的菜单式指标体系架构，共有三层指标，评价指标体系评价因素比较丰富，采用本方案的评价指标体系对现有的电力大数据模型进行评价，更能准确地评价电力大数据模型的优劣。
本申请的一种实施例中，如图1所示，上述一级评价维度包括模型数据、模型性能和模型适用性，上述模型数据包括数据源标准性、数据合规性和数据集成自动性，上述模型性能包括模型精准性、模型运行能力和模型泛化能力，上述模型适用性包括数据匹配度、目标完成度和适用广泛性。
本申请的一种实施例中，如图1所示，上述数据源标准性包括数据范围符合度和数据类型符合度，上述数据合规性包括数据源合法性和数据源安全性，上述数据集成自动性包括文件数据集成度和数据库数据集成度，上述模型精准性包括AUC、准确率、CH指数、调整兰德系数、校正决定系数、排序收益和排序精度，模型运行能力包括模型运行用时、磁盘占用率、CPU占用率和内存占用率，模型泛化能力包括时间泛化差值率、区域泛化差值率和数据规模泛化差值率。通过全面搜集影响电力大数据分析模型优劣的因素，根据电力大数据分析模型特点以及电力业务需要，通过评价因素的分析，从模型数据、模型性能、模型适用性3大维度，数据源标准性、模型准确性、模型适用能力等6个二级评价标签，选取数据范围符合度、模型准确率、内存占用率等20余个三级评价因子，构建整个电力大数据分析模型的评价体系。本申请的评价指标体系的评价要素全面，能够实现对电力大数据模型进行合理、准确、全方位的评价。
本申请的一种实施例中，如图1所示，用上述AUC和上述准确率评价分类模型，用上述CH指数和上述调整兰德系数评价聚类模型，用上述校正决定系数和上述调整兰德系数评价回归模型，用上述排序收益和排序精度评价排序模型。
根据本申请的实施例，提供了一种评价指标体系的构建方法。
图2根据本申请实施例的评价指标体系的构建方法的流程图。如图2示，该方法包括以下步骤：
步骤S101，获取电力数据的原始数据集；
步骤S102，将上述原始数据集划分为多个子数据集；
步骤S103，将一部分上述子数据集输入至熵权法基学习器中进行运算，得到第一权重分配结果；
步骤S104，将另一部分上述子数据集输入至德尔菲法基学习器中进行运算，得到第二权重分配结果；
步骤S105，将上述第一权重分配结果和上述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果，上述最终权重分配结果为上述三级评价因子的权重。
具体地，电力数据的原始数据集中包括现有的电力大数据模型(例如分类模型、聚类模型、回归模型、排序模型)的评价指标(包括三级评价因子)，以及各评价指标的权重。由于本方案采用的是多种不同的电力大数据模型的数据，使得确定的权重更为泛化，以扩大了评价指标体系适用性，且采用评价指标体系评价模型的结果更为准确。
具体地，现有技术中的评价指标之间的权重分配方法科学、实用、不片面，将典型的客观(熵权法)、主观(德尔菲法)权重分配法，通过集成学习框架进行整合，使得指标间的权重分配更符合业务要求。
上述方案中，通过获取电力数据的原始数据集，然后将原始数据集划分为多个子数据集，再分别采用熵权法基学习器和德尔菲法基学习器进行运算，得到第一权重分配结果和第二权重分配结果，再将第一权重分配结果和第二权重分配结果作为输入至元学习器中进行学习，最终得到三级评价因子的权重。进而采用三级评价因子以及三级评价因子的权重构建评价指标体系，以实现构建准确的电力大数据模型的评价指标体系。由于熵权法是一种客观评价方法，德尔菲法是一种主观的评价方法，将主观和客观相结合，实现了对权重更为准确的确定。相对于现有技术中的仅仅通过专家经验法得到权重的方案，很显然得到的权重更为准确，更符合实际需求。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的一种实施例中，在将上述第一权重分配结果和上述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果之后，上述方法还包括：根据上述三级评价因子的权重确定上述二级评价标签的权重和另一部分上述一级评价维度的权重；根据上述二级评价标签的权重确定一部分上述一级评价维度的权重。即通过集成学习框架的指标权重综合分配方法，逐层计算评价指标之间的权重，并经过加权和计算生成上层指标，最终完成电力大数据模型评价指标体系的构建。具体地，分别计算各三级评价因子权重，利用加权和，得到二级评价标签或者另一部分上述一级评价维度的权重，根据二级评价标签的权重，利用加权和，得到一部分上述一级评价维度的权重。
本申请的一种实施例中，上述方法还包括：设置否决性指标，即否决性指标具备一票否决能力，一旦此项指标不符合要求，则模型不合格。
本申请的一种实施例中，上述方法还包括：从电网业务中，根据电力大数据模型的运行情况，抽取评价要素；获取任意两个上述评价要素之间的相关性；根据上述相关性，将强相关的两个上述评价要素中的一个删除，得到上述三级评价因子。即针对常用的分类、回归、聚类、排序等电力大数据分析模型，围绕模型的输入、输出、参数以及电力业务应用场景，按照菜单式架构，收集、整理模型评价相关的要素。从反窃电、线损分析、负荷预测等电网业务中，根据上述涉及的模型运行情况，抽取评价要素数据。
具体地，对评价要素进行归一化、格式转换等处理，形成利于评判模型的标准规范化数据。利用Pearson相关性分析，计算评价要素两两之间的相关性，保留关键、核心、且能代表所有数据的评价要素，形成三级评价因子。将强相关的评价因素中的一个或者多个删除，剩余一个评价因素，以减少评价因素的数量，实现将维。
本申请的一种实施例中，上述方法还包括：可视化展示评价指标体系，方便用户查阅。通过计算机程序实现电力大数据模型评价指标体系的自动生成，并提供指标多维度展示及查询，使得评价指标可见、易理解，提高了用户的使用效率。本方案基于典型的JavaWeb框架，结合机器学习、Echarts可视化等组件，将指标体系的构建过程自动化；并以图表方式将指标体系进行多维展示。
本申请实施例还提供了一种评价指标体系的构建装置，需要说明的是，本申请实施例的评价指标体系的构建装置可以用于执行本申请实施例所提供的用于评价指标体系的构建方法。以下对本申请实施例提供的评价指标体系的构建装置进行介绍。
图3根据本申请实施例的评价指标体系的构建装置的示意图。如图3示，该装置包括：
第一获取单元10，用于获取电力数据的原始数据集；
划分单元20，用于将上述原始数据集划分为多个子数据集；
第一运算单元30，用于将一部分上述子数据集输入至熵权法基学习器中进行运算，得到第一权重分配结果；
第二运算单元40，用于将另一部分上述子数据集输入至德尔菲法基学习器中进行运算，得到第二权重分配结果；
第三运算单元50，用于将上述第一权重分配结果和上述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果，上述最终权重分配结果为上述三级评价因子的权重。
上述方案中，第一获取单元获取电力数据的原始数据集，划分单元将原始数据集划分为多个子数据集，第一运算单元和第二运算单元分别采用熵权法基学习器和德尔菲法基学习器进行运算，得到第一权重分配结果和第二权重分配结果，第三运算单元将第一权重分配结果和第二权重分配结果作为输入至元学习器中进行学习，最终得到三级评价因子的权重。进而采用三级评价因子以及三级评价因子的权重构建评价指标体系，以实现构建准确的电力大数据模型的评价指标体系。由于熵权法是一种客观评价方法，德尔菲法是一种主观的评价方法，将主观和客观相结合，实现了对权重更为准确的确定。相对于现有技术中的仅仅通过专家经验法得到权重的方案，很显然得到的权重更为准确，更符合实际需求。
本申请的一种实施例中，上述装置还包括第一确定单元和第二确定单元，第一确定单元用于在将上述第一权重分配结果和上述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果之后，根据上述三级评价因子的权重确定上述二级评价标签的权重和另一部分上述一级评价维度的权重；第二确定单元用于在将上述第一权重分配结果和上述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果之后，根据上述二级评价标签的权重确定一部分上述一级评价维度的权重。即通过集成学习框架的指标权重综合分配方法，逐层计算评价指标之间的权重，并经过加权和计算生成上层指标，最终完成电力大数据模型评价指标体系的构建。具体地，分别计算各三级评价因子权重，利用加权和，得到二级评价标签或者另一部分上述一级评价维度的权重，根据二级评价标签的权重，利用加权和，得到一部分上述一级评价维度的权重。
本申请的一种实施例中，上述装置还包括抽取单元、第二获取单元和删除单元，抽取单元用于从电网业务中，根据电力大数据模型的运行情况，抽取评价要素；第二获取单元用于获取任意两个上述评价要素之间的相关性；删除单元用于根据上述相关性，将强相关的两个上述评价要素中的一个删除，得到上述三级评价因子。即针对常用的分类、回归、聚类、排序等电力大数据分析模型，围绕模型的输入、输出、参数以及电力业务应用场景，按照菜单式架构，收集、整理模型评价相关的要素。从反窃电、线损分析、负荷预测等电网业务中，根据上述涉及的模型运行情况，抽取评价要素数据。
所述评价指标体系的构建装置包括处理器和存储器，上述第一获取单元、划分单元、第一运算单元、第二运算单元和第三运算单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来构建准确的电力大数据模型的评价指标体系。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行所述评价指标体系的构建方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述评价指标体系的构建方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：
步骤S101，获取电力数据的原始数据集；
步骤S102，将上述原始数据集划分为多个子数据集；
步骤S103，将一部分上述子数据集输入至熵权法基学习器中进行运算，得到第一权重分配结果；
步骤S104，将另一部分上述子数据集输入至德尔菲法基学习器中进行运算，得到第二权重分配结果；
步骤S105，将上述第一权重分配结果和上述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果，上述最终权重分配结果为上述三级评价因子的权重。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：
步骤S101，获取电力数据的原始数据集；
步骤S102，将上述原始数据集划分为多个子数据集；
步骤S103，将一部分上述子数据集输入至熵权法基学习器中进行运算，得到第一权重分配结果；
步骤S104，将另一部分上述子数据集输入至德尔菲法基学习器中进行运算，得到第二权重分配结果；
步骤S105，将上述第一权重分配结果和上述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果，上述最终权重分配结果为上述三级评价因子的权重。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：
1)、本申请的电力大数据模型的评价指标体系，
2)、本申请的电力大数据模型的评价指标体系的构建方法，
3)、本申请的电力大数据模型的评价指标体系的构建装置，
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种电力大数据模型的评价指标体系，其特征在于，包括多个一级评价维度，一部分所述一级评价维度下包括多个二级评价标签，各所述二级评价标签下包括多个三级评价因子，另一部分所述一级评价维度下包括多个所述三级评价因子。
2.根据权利要求1所述的评价指标体系，其特征在于，所述一级评价维度包括模型数据、模型性能和模型适用性，所述模型数据包括数据源标准性、数据合规性和数据集成自动性，所述模型性能包括模型精准性、模型运行能力和模型泛化能力，所述模型适用性包括数据匹配度、目标完成度和适用广泛性。
3.根据权利要求2所述的评价指标体系，其特征在于，所述数据源标准性包括数据范围符合度和数据类型符合度，所述数据合规性包括数据源合法性和数据源安全性，所述数据集成自动性包括文件数据集成度和数据库数据集成度，所述模型精准性包括AUC、准确率、CH指数、调整兰德系数、校正决定系数、排序收益和排序精度，模型运行能力包括模型运行用时、磁盘占用率、CPU占用率和内存占用率，模型泛化能力包括时间泛化差值率、区域泛化差值率和数据规模泛化差值率。
4.根据权利要求3所述的评价指标体系，其特征在于，用所述AUC和所述准确率评价分类模型，用所述CH指数和所述调整兰德系数评价聚类模型，用所述校正决定系数和所述调整兰德系数评价回归模型，用所述排序收益和排序精度评价排序模型。
5.一种权利要求1至4中任一项所述的评价指标体系的构建方法，其特征在于，包括：
获取电力数据的原始数据集；
将所述原始数据集划分为多个子数据集；
将一部分所述子数据集输入至熵权法基学习器中进行运算，得到第一权重分配结果；
将另一部分所述子数据集输入至德尔菲法基学习器中进行运算，得到第二权重分配结果；
将所述第一权重分配结果和所述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果，所述最终权重分配结果为所述三级评价因子的权重。
6.根据权利要求5所述的构建方法，其特征在于，在将所述第一权重分配结果和所述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果之后，所述方法还包括：
根据所述三级评价因子的权重确定所述二级评价标签的权重和另一部分所述一级评价维度的权重；
根据所述二级评价标签的权重确定一部分所述一级评价维度的权重。
7.根据权利要求5所述的构建方法，其特征在于，所述方法还包括：
从电网业务中，根据电力大数据模型的运行情况，抽取评价要素；
获取任意两个所述评价要素之间的相关性；
根据所述相关性，将强相关的两个所述评价要素中的一个删除，得到所述三级评价因子。
8.一种权利要求1至4中任一项所述的评价指标体系的构建装置，其特征在于，包括：
第一获取单元，用于获取电力数据的原始数据集；
划分单元，用于将所述原始数据集划分为多个子数据集；
第一运算单元，用于将一部分所述子数据集输入至熵权法基学习器中进行运算，得到第一权重分配结果；
第二运算单元，用于将另一部分所述子数据集输入至德尔菲法基学习器中进行运算，得到第二权重分配结果；
第三运算单元，用于将所述第一权重分配结果和所述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果，所述最终权重分配结果为所述三级评价因子的权重。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求5至7中任意一项所述的评价指标体系的构建方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求5至7中任意一项所述的评价指标体系的构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110395761.1A CN113095680A (zh) | 2021-04-13 | 2021-04-13 | 电力大数据模型的评价指标体系与构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110395761.1A CN113095680A (zh) | 2021-04-13 | 2021-04-13 | 电力大数据模型的评价指标体系与构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113095680A true CN113095680A (zh) | 2021-07-09 |
Family
ID=76676794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110395761.1A Pending CN113095680A (zh) | 2021-04-13 | 2021-04-13 | 电力大数据模型的评价指标体系与构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113095680A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837669A (zh) * | 2021-11-26 | 2021-12-24 | 腾讯科技（深圳）有限公司 | 一种标签体系的评价指标构建方法和相关装置 |
| CN116521026A (zh) * | 2023-06-30 | 2023-08-01 | 北京机械工业自动化研究所有限公司 | 一种绿色工厂评价的可视化方法、装置和设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106779267A (zh) * | 2015-11-20 | 2017-05-31 | 中国电力科学研究院 | 一种基于多层模糊法的电力系统模型与数据质量评价方法 |
| CN107256426A (zh) * | 2017-06-19 | 2017-10-17 | 湖北省食品药品监督检验研究院 | 一种基于智能算法的药品安全信心指数系统及构建方法 |
| CN108537600A (zh) * | 2018-04-17 | 2018-09-14 | 华北电力大学 | 一种电力市场运行评价方法及计算设备 |
| CN110738405A (zh) * | 2019-09-29 | 2020-01-31 | 南方电网科学研究院有限责任公司 | 电力市场有效性的评估方法、装置及存储介质 |
-
2021
- 2021-04-13 CN CN202110395761.1A patent/CN113095680A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106779267A (zh) * | 2015-11-20 | 2017-05-31 | 中国电力科学研究院 | 一种基于多层模糊法的电力系统模型与数据质量评价方法 |
| CN107256426A (zh) * | 2017-06-19 | 2017-10-17 | 湖北省食品药品监督检验研究院 | 一种基于智能算法的药品安全信心指数系统及构建方法 |
| CN108537600A (zh) * | 2018-04-17 | 2018-09-14 | 华北电力大学 | 一种电力市场运行评价方法及计算设备 |
| CN110738405A (zh) * | 2019-09-29 | 2020-01-31 | 南方电网科学研究院有限责任公司 | 电力市场有效性的评估方法、装置及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837669A (zh) * | 2021-11-26 | 2021-12-24 | 腾讯科技（深圳）有限公司 | 一种标签体系的评价指标构建方法和相关装置 |
| CN116521026A (zh) * | 2023-06-30 | 2023-08-01 | 北京机械工业自动化研究所有限公司 | 一种绿色工厂评价的可视化方法、装置和设备 |
| CN116521026B (zh) * | 2023-06-30 | 2023-10-03 | 北京机械工业自动化研究所有限公司 | 一种绿色工厂评价的可视化方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564286B (zh) | 一种基于大数据征信的人工智能金融风控授信评定方法和系统 | |
| CN109948641B (zh) | 异常群体识别方法及装置 | |
| AU2015282362B2 (en) | Power distribution transformer load prediction analysis system | |
| CN108694673A (zh) | 一种保险业务风险预测的处理方法、装置及处理设备 | |
| KR101953190B1 (ko) | 복잡한 양자 또는 다자 상대방 관계를 탐색하기 위해 이용되는 다차원 재귀적 학습 과정 및 시스템 | |
| US20220224603A1 (en) | Method and apparatus for determining device information, and system | |
| CN113095680A (zh) | 电力大数据模型的评价指标体系与构建方法 | |
| CN112101692B (zh) | 移动互联网质差用户的识别方法及装置 | |
| CN114511019A (zh) | 一种敏感数据分类分级标识方法及系统 | |
| KR20200010624A (ko) | 머신러닝을 이용한 빅데이터 통합진단 예측 시스템 | |
| CN111178633A (zh) | 基于随机森林算法预测景区客流量的方法和装置 | |
| CN112330227A (zh) | 基于数字化城管业务构建的城市管理能力评价方法和系统 | |
| CN116205355B (zh) | 电力负荷的预测方法、装置以及存储介质 | |
| CN111797320A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN115668265A (zh) | 为操纵和调整承保标的的风险驱动组合提供前瞻和后顾度量的风险转移配置器和模拟引擎及其方法 | |
| CN116932909A (zh) | 模型的推荐方法、装置、处理器以及电子设备 | |
| CN110689211A (zh) | 网站服务能力的评估方法及装置 | |
| CN116401379A (zh) | 金融产品数据推送方法、装置、设备及存储介质 | |
| CN111242430A (zh) | 电力设备供应商评价方法和装置 | |
| Lee et al. | An entropy decision model for selection of enterprise resource planning system | |
| US11227288B1 (en) | Systems and methods for integration of disparate data feeds for unified data monitoring | |
| CN117132383A (zh) | 一种信贷数据处理方法、装置、设备及可读存储介质 | |
| CN113095604B (zh) | 产品数据的融合方法、装置、设备及存储介质 | |
| US20220277008A1 (en) | Supporting database queries using unsupervised vector embedding approaches over unseen data | |
| Bhutani et al. | WSEMQT: a novel approach for quality‐based evaluation of web data sources for a data warehouse |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210709 |