CN107545349A - 一种面向电力大数据的数据质量分析评价模型 - Google Patents

Abstract

本发明公开了一种面向电力大数据的数据质量分析评价模型，其核心功能是通过对基础模型中采集计划及约束规则处理，经由数据质量控制模型调用实现检查分析的后台存储，并在实体库中执行检查、形成查询结果，由分析程序进行分析、计算、分类、汇总，生成反映计划完成情况与数据质量量化指标结果,将结果存储到分析结果表中，由前台调用该分析结果表，可生成一份详尽的反映数据质量问题各类量化指标的数据质量分析评估报告。本发明提高了数据质量分析与评价的自动化水平，实现数据质量的智能管控，满足大批量数据质量控制需要，实现了对数据完整性、及时性、准确性、一致性等关键指标的量化分析及评价。

Description

一种面向电力大数据的数据质量分析评价模型

技术领域

本发明涉及智能配用电技术领域，尤其是一种面向电力大数据的数据质量分析评价模型。

背景技术

随着电力系统的迅速发展，信息化进程不断深入，信息系统内业务数据的数量和种类的逐步增多，数据共享需求迫切。数据作为一种资源，具有横跨专业多、数据采集密度大、频度高、数据处理流程复杂等特点，是支撑信息化建设和应用的主体。目前电力部分已经累积了大量的电力统计数据，其中不可避免的会有异常、冗余或不完整的数据，由此产生的电力统计数据的异常、冗余与遗漏等质量问题日益突出，无法满足数据挖掘算法要求，从中精准挖掘有效信息也存在巨大挑战，海量实际数据中无意义的成分很多，严重影响数据挖掘算法的执行效率，随着应用的深入，暴露出数据重复录入、存储，数据质量有待提高等问题，数据质量的提高已经成为数据挖掘系统实现过程中的关键问题。

针对电力数据数量多、来源广、种类庞杂、缺乏统一规范标准、数据质量管控滞后等特点引起的数据质量不高问题，传统的数据稽查手段匮乏已经难以适应当前电网业务快速发展需求，建立新的数据质量标准、研发新的数据质量稽查手段已成为必然。

为适应电力市场发展，提高数据利用率，亟需建立一套完善的数据定义、控制、评估流程，依托科学严谨的数据监督和质量控制体系持续地改进数据质量，形成一个完整性的数据质量管控体系和全面有效的数据质量评价体系，制约数据价值的深度挖掘实现对供电企业数据的全过程质量管理，夯实数据基础，提升数据质量，保障数据的准确、及时、有效和可信，为数据的集成和挖掘应用提供有力保障。

发明内容

本发明要解决的技术问题是提供一种面向电力大数据的数据质量分析评价模型，其为数据的集成和挖掘应用提供了有力保障。

为了解决上述技术问题，本发明的一种面向电力大数据的数据质量分析评价模型包括基础模型、数据质量定义模型、数据质量控制模型、数据质量评价模型以及数据质量辅助管理模型；

基础模型，其是整个模型框架的支撑，是其他质量模型的定义和标准，主要包括映射、定义数据采集标准，同时纳入了约束规则定义规范、控制规则定义规范、模板定义规范，

其中，数据标准囊括了直接映射应用中的标准及新增应用库和项目库标准的定义规范,包括代码定义标准、数据项定义标准、值域定义标准的建立规范，约束规则定义规范主要描述质量定义模型中的语法构成，控制规则定义规范针对后台执行过程的控制方式使用说明；

数据质量定义模型，其是数据质量分析评价的依据和基础，实现对数据质量统一规范的定义，可使用质量特性描述，其特性可归纳为数据的一致性、数据的准确性、数据的完整性、数据的及时性4个关键特性，此外还包括数据的时效性、有用性、合法性，

其中，数据的一致性是指不同系统之间数据差异和相互矛盾的一致性，包括源系统之间同一数据是否一致,源数据与抽取的数据是否一致，数据中心内部各处理环节数据是否一致，主要用来检查数据直接勾稽关系是否正确，

数据的准确性主要是指数据的来源是否正确，是对数据的描述语言应该满足准确和简介的标准，包括数据源是否准确、数据值域是否符合业务规则和客观事实、编码映射关系是否准确、处理逻辑是否准确，要求必须具备准确性和可靠性，有效反映实际情况，

数据的及时性是指数据提取、传送、处理、装载、展现的及时和快速性，包括数据处理的及时性、数据异常检测的及时性、数据处理更新的及时性，

数据的完整性是指确保相关数据的完整无缺失，包括数据源是否完整、数据取值是否完整、实体类型、属性特征、记录、字段值是否完整，

数据合法性主要指格式、类型、值域和业务规则的有效性，时效性是判断数据是否满足用户需求的重要标准，描述数据的时间特性对应用的满足程度，有用性主要指数据本身的利用价值以及它的使用带来的利益程度，此外，还应包括安全问题，即数据的使用权应该受到一定的限制，以确保数据的保密性；

数据质量控制模型，其以数据质量定义模型为基础，按照定义的检查范围和时间以自动或手工方式完成对数据质量的检查工作，可通过数据质量的关键特性和指标反映出来，包括对数据检查对象、数据检查频度、数据检查时间、数据检查方式的控制，

其中，数据检查对象指根据采集计划设定需要检查的用户、专业数据表、数据库实体，数据检查频度指根据数据表的采集计划和实际发生的频度，设定存储过程的检查执行频率，数据检查时间指根据每日生产应用的密集时间以及数据发生到采集入库的密集时间,综合设定一个检查开始执行的时刻，数据检查方式指执行检查过程的方式可由后台过程自动控制的定时自检或由人工干预的手动检查；

数据质量评价模型，其以数据质量定义模型为依据，由数据质量控制模型操控执行，根据反馈的质量检查结果表对数据质量进行评价，实现对数据质量的量化诊断和评价；

数据质量辅助管理模型，其包括报告模版管理、权限管理、数据库资源占用情况。

本发明的有益效果是：本发明针对现有配用电信息领域电力大数据的数据质量评价问题，通过分析数据质量问题产生的原因，以数据的一致性、数据的准确性、数据的完整性、数据的及时性等关键指标为基础，构建数据质量评价指标体系，提出了适合于电力大数据数据质量控制与评估体系模型，提高了数据质量分析与评价的自动化水平，实现数据质量的智能管控，满足大批量数据质量控制需要，实现了对数据完整性、及时性、准确性、一致性等关键指标的量化分析及评价，确保电网数据质量，提升数据应用价值。

附图说明

图1为电力大数据质量评价模型图；

图2为数据质量稽查考核指标图；

图3是数据质量分析评价模型功能架构图；

图4是程序实现流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明：

1、传统的数据质量只包括数据的精确性，其衡量标准是数据采集中的误差，现代数据质量概念内涵日益丰富，广义上的数据质量是一个相对的属性概念，具有一定综合性，主要是指数据对特定客户的满意程度，其标准会根据用户需求与时间的不同表现出不同数据质量，高质量的数据是数据分析结论有效性和准确性的基础，也是竞争力与决策力最重要的前提和保障。

2、数据质量评价方法是指针对目前电网大数据，从数据的重要性、区域性、差异性、完整度、实时性等多维度建立数据质量评价指标体系，利用数据挖掘技术对电网数据质量进行全方位的系统评价，进而构建数据质量评价模型，以提升数据质量，保障数据的准确性、及时性、可信度的一种有效手段，可为数据的集成和挖掘应用提供有力保障。

3、面向电力大数据的数据质量评价方法是指目前国网针对指标型数据形成的质量评价标准和评价方法，包括质量评价指标、质量评价模型两部分。具体研究内容如下：

(1)开展大数据下的数据质量评价指标设计研究，分析电力大数据环境下数据质量的主要影响因素，从数据的一致性、及时性、完整性、准确性等维度设计关键指标，构建大数据环境下的数据质量评价指标，用于指导并考核大数据下系统数据质量。

(2)构建全面的数据质量检查规则，针对指标型、明细型、外部数据的不同特点，构建不同的电力大数据质量评价模型，包括数据质量指标定义模型、数据质量评估算法或规则及数据质量诊断与评价等。

图1为电力大数据质量评价模型研究方案，所描述的数据模型是指若干校验规则的集合，即评价项的集合，参照数据评价指标，构建规则库，每条评价指标对应着一条动态规则，基本规则包括数据一致性规则、数据完整性规则、数据及时性规则、数据准确性规则。

其中，数据质量指标定义模型，主要研究数据质量层级评价指标树设计、指标权重设计及指标分值计算等；数据质量评估算法或规则研究，主要研究通过一定的数据算法与计算规则建立评估模型，实现对指标权重、指标分数自动计算与分析，并生成诊断与评估结果；数据质量诊断与评价结果是指评价模型发布的最终结果的发布。

质量评价指标体系从数据内容角度，支持对数据各属性要素的全面评价，从用户需求角度，尽量满足各类用户的个性化要求，从评价实施角度，具有清晰的质量指标划分，提出多种度量标准且具有一定规模，并逐步通过技术实现方法以及针对不同领域数据特点的评价示范使体系完善。

4、基于数据挖掘的数据质量考核体系，是指针对传统数据稽查手段难以适应当前电网业务快速发展需求、数据评价方面缺乏科学合理数据质量评价指标、维度单一等问题，建立的多维度、精细化的考核体系，用以实现对电网数据的精细化考核与可视化展示，实现数据质量评估结果流程的标准化。

基于数据挖掘的数据质量考核体系，包括数据质量需求分析、专家智能判断、数据挖掘模型构建、评价指标确定等几方面，以保证评价的准确性、结果的公正、客观，其架构图如图2所示。

(1)结合电网业务需求，由专家梳理电网基础数据质量管理中的关注点，选取典型的评价指标，设计形成基础数据质量评价指标库；

(2)遵循数据挖掘标准流程，采用分类或回归等数据挖掘方法来实现。

建立电网数据质量综合统计分析与可视化展示平台以模型参数，稳态数据，电网故障特征这三类数据质量评价指标为基础利用数据挖掘算法对海量数据进行分析与提取；

发现潜在有用信息与知识，辅助运维人员发现潜在的有用信息与知识已达到趋势预测与风险防范；

基于模型数据，稳态数据、故障特征三类评价指标，构建并训练得到数据挖掘模型，实现对电网运行数据的趋势研判与风险预测

实现人工方式评价模型到机器学习智能的转变，从基础数据的重要性，一致性，完整度，实时性等多个维度建立科学的数据质量评价体系；

对电网运行数据质量进行科学评分，通过可视化的方式对数据质量分析、评价、稽查结果进行综合展现。

5、数据质量分析评价模型，其基本构成要素为基础模型、数据质量辅助管理模型、数据质量定义模型、数据质量控制模型、数据质量评价模型，节本架构图如图3所示。

(1)基础模型。基础模型是整个模型框架的支撑，是其他质量模型的定义和标准，主要包括映射、定义数据采集标准，同时纳入了约束规则定义规范、控制规则定义规范、模板定义规范等。

其中，数据标准囊括了直接映射应用中的标准及新增应用库和项目库标准的定义规范,包括代码定义标准、数据项定义标准、值域定义标准等新增表准的建立规范；约束规则定义规范主要描述质量定义模型中的语法构成；控制规则定义规范针对后台执行过程的控制方式使用说明等。

(2)数据质量定义模型。数据质量定义模型是数据质量分析评价的依据和基础，实现对数据质量统一规范的定义，可使用质量特性描述，其特性可归纳为数据的一致性、数据的准确性、数据的完整性、数据的及时性4个关键特性，此外还包括数据的时效性、有用性、合法性等。

所描述的面向电力大数据的数据质量评价指标，其内涵应包括以下内容：

数据的一致性：指不同系统之间数据差异和相互矛盾的一致性，包括源系统之间同一数据是否一致,源数据与抽取的数据是否一致，数据中心内部各处理环节数据是否一致等，主要用来检查数据直接勾稽关系是否正确。

数据的准确性：主要是指数据的来源是否正确，是对数据的描述语言应该满足准确和简介的标准，包括数据源是否准确、数据值域是否符合业务规则和客观事实、编码映射关系是否准确、处理逻辑是否准确等，要求必须具备准确性和可靠性，有效反映实际情况。

数据的及时性：指数据提取、传送、处理、装载、展现的及时和快速性，包括数据处理的及时性、数据异常检测的及时性、数据处理更新的及时性等。

数据的完整性：是指确保相关数据的完整无缺失，包括数据源是否完整、数据取值是否完整、实体类型、属性特征、记录、字段值是否完整等。

所描述的数据合法性主要指格式、类型、值域和业务规则的有效性，时效性是判断数据是否满足用户需求的重要标准，描述数据的时间特性对应用的满足程度，有用性主要指数据本身的利用价值以及它的使用带来的利益程度。此外，还应包括安全问题，即数据的使用权应该受到一定的限制，以确保数据的保密性。

(3)数据质量控制模型。数据质量控制模型以数据质量定义模型为基础，按照定义的检查范围和时间以自动或手工方式完成对数据质量的检查工作，可通过数据质量的关键特性和指标反映出来，包括对数据检查对象、数据检查频度、数据检查时间、数据检查方式等方面的控制。

数据检查对象指根据采集计划设定需要检查的用户、专业数据表、数据库实体。

数据检查频度指根据数据表的采集计划和实际发生的频度，设定存储过程的检查执行频率。

数据检查时间指根据每日生产应用的密集时间以及数据发生到采集入库的密集时间,综合设定一个检查开始执行的时刻。

数据检查方式指执行检查过程的方式可由后台过程自动控制的定时自检或由人工干预的手动检查。

(4)数据质量评价模型。数据质量评价模型以数据质量定义模型为依据，由数据质量控制模型操控执行，根据反馈的质量检查结果表对数据质量进行评价，实现对数据质量的量化诊断和评价。

(5)数据质量辅助管理模型。数据质量辅助管理包括报告模版管理、权限管理、数据库资源占用情况等。

数据质量分析评价模型的核心功能通过对基础模型中采集计划及约束规则处理，经由数据质量控制模型调用实现检查分析的后台存储，并在实体库中执行检查、形成查询结果，由分析程序进行分析、计算、分类、汇总，生成反映计划完成情况与数据质量量化指标结果,将结果存储到分析结果表中，由前台调用该分析结果表，可生成一份详尽的反映数据质量问题各类量化指标的数据质量分析评估报告。

6、所描述的数据质量评价模型的具体实现，主要包括系统功能模块构建及程序实现两部分。

(1)图3为所研究的数据质量分析评价模型功能架构图，其系统架构为数据层、逻辑层、展示层三层，其中，数据层用于存储各种质量标准数据、检查与评价的过程及结果数据，逻辑层用于质量检查的逻辑处理，展示层通过用户界面以用户易懂的可视化方式展现质量评价结果。

(2)程序实现流程图如图4所示。

综上所述，本发明的内容并不局限在上述的实施例中，本领域的技术人员可以在本发明的技术指导思想之内提出其他的实施例，但这些实施例都包括在本发明的范围之内。

Claims (1)

1.一种面向电力大数据的数据质量分析评价模型，其特征在于：包括基础模型、数据质量定义模型、数据质量控制模型、数据质量评价模型以及数据质量辅助管理模型；

基础模型，其是整个模型框架的支撑，是其他质量模型的定义和标准，主要包括映射、定义数据采集标准，同时纳入了约束规则定义规范、控制规则定义规范、模板定义规范，

其中，数据标准囊括了直接映射应用中的标准及新增应用库和项目库标准的定义规范,包括代码定义标准、数据项定义标准、值域定义标准的建立规范，约束规则定义规范主要描述质量定义模型中的语法构成，控制规则定义规范针对后台执行过程的控制方式使用说明；

数据质量定义模型，其是数据质量分析评价的依据和基础，实现对数据质量统一规范的定义，可使用质量特性描述，其特性可归纳为数据的一致性、数据的准确性、数据的完整性、数据的及时性4个关键特性，此外还包括数据的时效性、有用性、合法性，

其中，数据的一致性是指不同系统之间数据差异和相互矛盾的一致性，包括源系统之间同一数据是否一致,源数据与抽取的数据是否一致，数据中心内部各处理环节数据是否一致，主要用来检查数据直接勾稽关系是否正确，

数据的准确性主要是指数据的来源是否正确，是对数据的描述语言应该满足准确和简介的标准，包括数据源是否准确、数据值域是否符合业务规则和客观事实、编码映射关系是否准确、处理逻辑是否准确，要求必须具备准确性和可靠性，有效反映实际情况，

数据的及时性是指数据提取、传送、处理、装载、展现的及时和快速性，包括数据处理的及时性、数据异常检测的及时性、数据处理更新的及时性，

数据的完整性是指确保相关数据的完整无缺失，包括数据源是否完整、数据取值是否完整、实体类型、属性特征、记录、字段值是否完整，

数据合法性主要指格式、类型、值域和业务规则的有效性，时效性是判断数据是否满足用户需求的重要标准，描述数据的时间特性对应用的满足程度，有用性主要指数据本身的利用价值以及它的使用带来的利益程度，此外，还应包括安全问题，即数据的使用权应该受到一定的限制，以确保数据的保密性；

数据质量控制模型，其以数据质量定义模型为基础，按照定义的检查范围和时间以自动或手工方式完成对数据质量的检查工作，可通过数据质量的关键特性和指标反映出来，包括对数据检查对象、数据检查频度、数据检查时间、数据检查方式的控制，

其中，数据检查对象指根据采集计划设定需要检查的用户、专业数据表、数据库实体，数据检查频度指根据数据表的采集计划和实际发生的频度，设定存储过程的检查执行频率，数据检查时间指根据每日生产应用的密集时间以及数据发生到采集入库的密集时间,综合设定一个检查开始执行的时刻，数据检查方式指执行检查过程的方式可由后台过程自动控制的定时自检或由人工干预的手动检查；

数据质量评价模型，其以数据质量定义模型为依据，由数据质量控制模型操控执行，根据反馈的质量检查结果表对数据质量进行评价，实现对数据质量的量化诊断和评价；

数据质量辅助管理模型，其包括报告模版管理、权限管理、数据库资源占用情况。