CN112163039A - 基于企业级数据中台分析域的数据资源标准化管理系统 - Google Patents

Abstract

本发明公开了一种数据资源标准化管理系统，包括：基础数据层，适于存储电力企业的业务数据和电力企业之间的交互数据；整合明细层，与基础数据层连接，适于按照数据类型对基础数据层的数据进行整合并分类存储；轻度汇总层，与整合明细层连接，适于对整合明细层的数据进行加工处理；数据集市层，与轻度汇总层连接，包括数据接口，数据接口适于获取轻度汇总层的数据并将其提供至应用系统，以便应用系统将轻度汇总层的数据应用于不同应用场景。

Description

基于企业级数据中台分析域的数据资源标准化管理系统

技术领域

本发明涉及电力物联网及大数据技术领域，尤其涉及一种基于企业级数据中台分析域的数据资源标准化管理系统。

背景技术

国家电网公司在2019年工作会议提出，聚焦建设世界一流能源互联网企业，守正创新、担当作为，打造“枢纽型，平台型，共享型”企业，建设运营好“坚强智能电网，泛在电力物联网”，即“三型两网”发展战略。我国电网企业的数据开发和应用虽然有一定基础，但需要进一步挖掘数据价值，快速提升数据的服务水平。泛在电力物联网要求数据建设要以数据价值挖掘、发展数字经济为导向，从管理上破除系统建设的“部门级”壁垒，将资源、系统和数据上升为“企业级”，并同步推动企业组织架构的变革；从技术上将企业共性的数据进行服务化处理，沉淀至数据中台，形成灵活、强大的共享服务能力，供前端业务应用构建或数据分析直接调用。由此可见，构建企业级数据中台是提升电力企业数据共享服务水平的有效途径。

得益于信息化建设工作的积累，国家电网已采集、存储了大量结构化数据、非结构化数据、电网GIS数据、采集量测准实时数据及各管理业务部门数据等数据资源，但目前构建的数据中心缺乏统一标准，数据存储分散，部门壁垒和数据壁垒难以跨越，造成公司内部数据共享困难。

发明内容

为此，本发明提供一种基于企业级数据中台分析域的数据资源标准化管理系统，以力图解决或至少缓解上面存在的问题。

根据本发明的第一个方面，提供一种基于企业级数据中台分析域的数据资源标准化管理系统，包括：基础数据层，适于存储电力企业的业务数据和电力企业之间的交互数据；整合明细层，与基础数据层连接，适于按照数据类型对基础数据层的数据进行整合并分类存储；轻度汇总层，与整合明细层连接，适于对整合明细层的数据进行加工处理；数据集市层，与轻度汇总层连接，包括数据接口，数据接口适于获取轻度汇总层的数据并将其提供至应用系统，以便应用系统将轻度汇总层的数据应用于不同应用场景。

可选地，在根据本发明的基于企业级数据中台分析域的数据资源标准化管理系统中，数据类型包括：结构化类型、采集量测类型和非结构化类型。

可选地，在根据本发明的基于企业级数据中台分析域的数据资源标准化管理系统中，整合明细层适于：采用大规模分布式并行数据库集群系统来存储结构化类型数据；采用分布式列式数据库系统来存储采集量测型数据；采用分布式文件系统来存储非结构化类型数据。

可选地，在根据本发明的基于企业级数据中台分析域的数据资源标准化管理系统中，电力企业的业务数据为结构化类型数据。

可选地，在根据本发明的基于企业级数据中台分析域的数据资源标准化管理系统中，基础数据层与电力企业的业务系统连接，业务系统包括数据同步复制组件，数据同步复制组件适于捕获业务系统中的业务数据的变化，将相应的数据操作日志发送至基础数据层，以实现基础数据层的数据同步更新。

可选地，在根据本发明的基于企业级数据中台分析域的数据资源标准化管理系统中，基础数据层适于：在接收业务系统发来的数据操作日志后，判断本次接收到的数据操作日志是否与已存储的数据重复；若是，则丢弃本次接收到的数据操作日志；若否，则根据数据操作日志来进行数据更新，完成增量数据与历史数据的合并。

可选地，在根据本发明的基于企业级数据中台分析域的数据资源标准化管理系统中，还包括连接至整合明细层的采集量测类数据接入组件，数据接入组件适于采集采集量测类型数据并将其发送至整合明细层。

可选地，在根据本发明的基于企业级数据中台分析域的数据资源标准化管理系统中，加工处理包括数据去重处理和单位转换。

根据本发明的技术方案，能够对企业级数据资源进行标准化管理，实现电力企业全业务领域、全时间维度、全数据类型数据的统一汇聚及集中存储，推进数据资源的全面共享与应用，推动泛在电力物联网的发展。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的基于企业级数据中台分析域的数据资源标准化管理系统100的示意图；

图2示出了根据本发明一个实施例的数据集成路线的示意图；

图3示出了根据本发明一个实施例的数据中台的应用场景的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

得益于信息化建设工作的积累，国家电网已采集、存储了大量结构化数据、非结构化数据、电网GIS数据、采集量测准实时数据及各管理业务部门数据等数据资源，但目前构建的数据中心缺乏统一标准，数据存储分散，部门壁垒和数据壁垒难以跨越，造成公司内部数据共享困难。在公司建设泛在电力物联网的背景下，本发明基于企业级数据中台提出对应的大数据技术架构，研究企业级数据中台数据分析域及对应的数据资源标准化管理方法，包括分析域总体架构、分析域数据流转路径、数据的统一汇聚及标准化管理方法，实现数据的统一管理及共享，加快决策分析类应用与全业务分析域的融合改造，为公司跨业务数据分析与决策提供高效的分析计算能力及夯实的数据基础，进而支撑公司的企业级数据中台和泛在电力物联网建设落地。

图1示出了根据本发明一个实施例的基于企业级数据中台分析域的数据资源标准化管理系统100的示意图。如图1所示，本发明的基于企业级数据中台分析域的数据资源标准化管理系统100包括“两区四层”。其中，“两区”指的是应用区和探索区；“四层”是指应用区的基础数据层(包括贴源历史区和纵向历史区)、整合明细层(SG-CIM，国家电网公司公共数据模型)、轻度汇总层和数据集市层。基础数据层包括。探索区包括开放实验环境和临时工作环境。

以下对系统100的“两区四层”结构进行详细介绍。

一、应用区

1、基础数据层

基础数据层适于存储电力企业的业务数据和电力企业之间的交互数据。电力企业的业务数据和电力企业之间的交互数据均为结构化数据。

具体地，企业级数据中台基础数据层包含贴源历史区以及纵向历史区。贴源历史区主要存储来自电力企业源端的业务数据，其与电力企业的源业务系统表结构保持一致，并长期保存历史数据，追溯数据来源，屏蔽对源系统的影响。纵向历史区主要存储企业总部与省市单位的纵向交互数据，比如集中部署系统数据、一级部署系统数据等。

根据一种实施例，贴源历史区以及纵向历史区的数据皆采用国网基于开源MySQL版本自主研发的关系型数据库，即SG-RDB，进行存储。该数据库为基础数据层的结构化数据提供了存储媒介。SG-RDB数据库的特点在于内核与开源数据库保持一致，便于融入开源社区先进技术，保持自主产品先进性，并在开源基础上进行了安全性能提升、功能性能提升、兼容性优化、列式存储集群等功能，通过了电科院功能、性能和安全性测试，符合国网三级安全标准；SG-RDB(MySQL)继承了原生MySQL事务安全、事务完整的特点，适用于要求较高在线事务处理应用，具有速度快、体积小使用简单等特点，并能提供完整的事务提交及回滚功能。

2、整合明细层

如图1所示，整合明细层与基础数据层连接，适于按照数据类型来对基础数据层的数据进行整合并分类存储。

根据一种实施例，数据类型有三种：结构化类型、采集量测类型和非结构化类型。即，整合明细层存储有企业的三种类型的数据：结构化类型数据、采集量测类数据以及非结构化类型数据。结构化类型数据包括企业业务系统中的人员、财务、物资、项目等数据；采集量测类型数据包括实时采集到的供电电压、用电情况、电网运行状态等数据；非结构化类型包括图片、文档、音视频等。

数据类型的多样性决定了存储机制的差异。根据一种实施例，在整合明细层中，采用大规模分布式并行数据库集群系统来存储结构化类型数据；采用分布式列式数据库系统来存储采集量测型数据；采用分布式文件系统来存储非结构化类型数据。各类型数据的具体存储机制如下：

1)结构化类型数据

整合明细层结构化数据完全基于SG-CIM全模型落地实现，以企业级视角建立数据仓库，分域对数据进行整合、统一，保障数据唯一性。

根据一种实施例，整合明细层的结构化数据存储采用业界颇负盛名的国产数据库南大通用大规模分布式并行数据库集群系统，简称：GBase8a mpp cluster，南大通用的GBase8a是MPP(Massively Parallel Processing)数据库中的佼佼者。架构上采用无Master、节点对等的扁平架构，完全并行的MPP+SharedNothing理念，功能上拥有传统数据库无法比拟的优势。1)列式存储MPP架构，支持节点横向动态扩展；2)采用列存储、自适应压缩、水平分区、智能索引等技术优化行列混合存储，兼顾统计与内容查询；3)支持标准SQL语言，兼顾查询方式的友好及高性能；4)同时具备与Oracle传统数据库及HADOOP大数据平台高速数据交换功能，是PB级数据仓库的完美解决方案，广泛地用于构建超大型数据仓库系统、BI分析展示系统和领导决策支持系统。

2)采集量测类型数据

根据一种实施例，整合明细层采集量测数据存储采用国网SG-BDP作为存储媒介，SG-BDP是国网自行封装的基于HBase的分布式列式数据库系统，是面向海量的准实时采集量测类数据最优解决方案，采用大数据平台分布式列式数据库(基于开源列式数据库HBase优化封装)作为存储介质。

大数据平台分布式列式数据库基于主流大数据开源技术HBase、Hadoop优化封装，HBase是建立在Hadoop基础上的列式数据库，能够为大数据提供准实时的读写操作，能够利用分布式文件系统(HDFS)处理分布式事务，基于可定制MapReduce计算任务获取强大的离线处理能力，同时采用Key、value键值对存储模式，以实现高效的查询能力。HBase是具有优良的分布式存储、横向扩展面向列特点的列式数据库，可以利用廉价的PC构建大规模集群，并利用集群强大的计算能力处理海量数据。

3)非结构化类型数据

根据一种实施例，整合明细层非结构化数据存储以国网大数据平台HDFS为存储介质。HDFS是Hadoop分布式文件系统，其提供了一种跨服务器的弹性数据存储系统在由普通PC组成的集群上提供高可靠的文件存储，通过将块保存多个副本的办法解决服务器或硬盘损坏问题。在保证数据的一致性上，HDFS在追加操作时采用租用(Lease)机制，即将块的写操作授权给主块服务器(prmary chunk server)，另外的副本称为次块服务器(secondarychunk server)。当多个客户端的并发写操作时，主块服务器缓存其写的顺序，之后联系次服务器进行追加操作从而保证了HDFS数据的供给版本一致性。

3、轻度汇总层

如图1所示，轻度汇总层与整合明细层连接，适于对整合明细层的数据进行加工处理。加工处理包括但不限于数据去重处理、数据单位转换等。

根据一种实施例，轻度汇总层采用南大通用公司开发的MPP数据库GBASE8A，它是基于GBase8a列存储数据库开发的一款符合Shared Nothing架构的大规模分布式数据库集群，具备高扩展、高性能、高可用三高特性，可以为PB级数据管理提供高性价比的通用存储及计算平台。轻度汇总层设计上主要面向实际需求，提供跨业务、跨区域数据清洗转换场所，存储清洗转换后最终数据，力求避免数据重复加载，高效支撑应用，是促进数据融合的关键区域。

4、数据集市层

如图1所示，数据集市层与轻度汇总层连接。数据集市层包括适于提供数据访问功能的数据接口，数据接口可以获取轻度汇总层的数据并将其提供至应用系统，以便应用系统将轻度汇总层的数据应用于不同应用场景。

根据一种实施例，数据集市基于国网SG-RDB(PostgreSQL)数据库实现，该数据库是开源数据库PostgreSQL的国网适应性改良版本。国网SG-RDB(PostgreSQL)集成了PG的优良特性，运行稳定性高，支持髙并发读写，能提供强大的査询能力，支持数据类型丰富，在GIS数据的支持上尤为突出。PostgreSQL独特的无锁定技术，完美支持多版本并行操作，为数据中台分析场景建设提供强大的技术支撑。

二、探索区

1、开放实验环境

探索区开放实验环境基于大数据平台建设，在联研院单独物理署，利用国网数据脱敏技术，存储脱敏后的数据，在保障数据安全的前提下，为科研实验提供数据支撑。

2、临时工作环境

探索区临时工作环境基于国网SG-RDB(MySQL)构建，作为企业级数据中台分析域一个临时对外窗口，主要对各业务部门开放，为业务部门数据挖掘探索、跨业务监测等活动提供数据服务。

本发明的基于企业级数据中台分析域的数据资源标准化管理系统(下文简称为“企业级数据中台”)通过ETL(Extract-Transform-Load数据仓库技术)、分布式消息队列(kafka)、实时数据复制(OGG)、数据接口服务等多种技术手段，通过源端业务系统集成结构化类型数据、采集量测准实时数据、非结构化类型数据等，并按数据类型、时间维度、功能需求等方面对数据进行分类存储及管理。图2示出了本发明的企业级数据中台的数据集成路线。

如图2所示，企业级数据中台主要有以下集中数据流转路径：

1、结构化数据流转链路(图2中1.1)：将各电力企业的业务系统的结构化数据通过OGG(Oracle Golden Gate，基于日志的结构化数据复制软件)方式将增量数据实时同步复制然后再通过线下DMP方式导出历史数据，并将历史数据恢复到基础数据层贴源历史区，同时对基础数据层贴源历史区、整合明细层结构化数据、轻度汇总层以及数据集市的数据进行清洗转换，以满足供前端统一分析服务的数据需求。

2、结构化纵向数据流转链路(图2中1.2)：将总部纵向下发的结构化数据接入至纵向历史区基础数据层，同时对基础数据层纵向历史区、整合明细层结构化数据、轻度汇总层以及数据集市的数据进行清洗转换，以满足供前端统一分析服务的数据需求。

3、采集量测类数据流转链路(图2中2.1)：量测类数据的接入通常采用采集量测类数据接入组件将采集量测类数据接入整合明细层采集量测数据存储区域，再通过TL方式清洗转换至轻度汇总层、数据集市，以供前台统一分析服务使用。

4、非结构化数据流转链路(图2中3.1)：采用非结构化数据接入组件采集非结构化数据存入整合明细层非结构化数据区。再通过非结构化转换组件清洗转换至轻度汇总层、数据集市，以供前台统一分析服务使用。

如图2所示，本发明的企业级数据中台需要采集接入结构化数据(包括纵向数据和企业业务数据)、采集监测数据和外部非结构化数据。三种数据的采集接入过程如下：

1、结构化数据采集接入

1)结构化历史数据初始化

结构化历史数据初始化通常采用线上和线下两种方式进行，线上方式：采用线上数据迁移工具，如国网常用的Informatica，Kettle等工具，通过对源端数据库表进行逻辑读，将数据抽取至数据中台基础数据层中。线下方式：利用数据库自带导出工具，将结构化历史数据导出为离线数据文件，通过离线文件恢复至数据中台基础数据层中。两种方式各自优缺点非常明显，本领域技术人员可以根据实际情况选择合适的方式。线上方式直接明了，操作简便，但是线上抽取的实质是对数据库进行查询，对源端数据库压力较大，适合数据量比较小的系统数据迁移；线下方式步骤繁多，操作复杂，但对源端数据库的压力较小，适合较大规模数据量数据迁移工作。

2)结构化增量数据同步复制

电力企业的业务系统中包含数据同步复制组件，数据同步复制组件适于捕获业务系统中的业务数据的变化，将相应的数据操作日志发送至基础数据层，以实现基础数据层的数据同步更新。

结构化增量数据同步复制组件例如可以采用目前主流的数据同步复制工具OGG(Oracle Golden Gate)来实现，OGG是一种基于数据库日志对数据变化进行捕获的结构化数据同步复制软件，它通过解析源端数据库的归档日志或者在线日志，捕获数据的变化，然后再将这些数据变化通过文件的形式传输到目标数据库，轻松实现源与目标两端数据库数据同步。OGG支持非常广泛的IT环境，并能实现数据准实时复制与备份。

通过对OGG对源端系统数据库日志进行监控捕捉，将数据变化日志实时应用到结构化数据增量库中，形成完整的数据操作日志，以保持与源端数据库当前数据一致。

3)增量数据与历史数据合并

基础数据层在接收业务系统发来的数据操作日志后，判断本次接收到的数据操作日志是否与已存储的数据重复；若是，则丢弃本次接收到的数据操作日志；若否，则根据数据操作日志来进行数据更新，完成增量数据与历史数据的合并。

也就是说，结构化增量数据与历史数据的合并分为两个步骤，首先是数据抹平，在增量数据和历史数据合并之前，需要对历史数据与增量数据重复的部门进行抹平操作，避免对后续数据合并工作产生影响；在数据抹平操作完成后，开始数据合并工作，编写相应的脚本，读取增量数据库中关于数据的操作日志，根据操作类型将增量数据插入或者更新至历史数据库中，最终完成增量数据与历史数据的合并。

2、采集量测数据采集接入

采集量测数据由采集量测类数据接入组件采集，并发送至整合明细层。根据一种实施例，采集量测类数据获取采用基于Kafka改良的大数据平台消息队列，并通过编程扩展实现，对国网公司采集量测类数据进行快速捕获及存储。

基于Kafka消息队列实现的采集量测数据采集组件是一个分布式的高性能消息系统，目前广泛用于日志采集、消息在线及离线分发等，主要应用于大数据集群的数据收集和传输。大数据平台消息队列组件具有很强的消息处理能力，采用零复制、即时消费的机制进行消息的批量处理，具备每秒百万级别消息的消费能力。

3、外部数据采集接入

企业所需的外部数据如宏观经济数据以及天气数据等，主要采取以下两种方式获取，一是线下导出离线数据文件，然后将离线文件导入到数据中台；二是通过外部数据所在部门开发的接口获取：

1)以文件形式导入数据中台：从外部数据所在的部门所属的网站或者数据库导出离线文件，并将数据文件导入至数据中台，此方法延迟较大，数据时效性无法保障，且工作量非常大。

2)接口采集：利用外部数据所在部门开发的对外数据接口获取数据，如天气数据，此方法工作量较小，数据时效性有保障。

本发明的企业级数据中台能够实现数据统一汇聚及标准化，具体体现在以下几个方面：

1、业务数据贴源接入

在企业数据中台建设过程中，为彻底解决“数据准确性、实时性不强、数据质量不高”等问题，在数据接入的方面，采用业务数据贴源接入的方法，通过OGG实时复制、接入数据质量核查等手段，保障接入企业务数据中心的数据与源端业务系统数据一致，并长期保存历史数据，为后续应用过程中出现的数据质量问题提供追溯来源的途径，最大限度降低对源端业务系统的影响，为未来数据关联分析及数据价值深度挖掘提供强力数据支撑。

2、业务数据集中存储

电力信息化发展历程中，大量信息系统应运而生，它们基于不同的业务方向、不同的功能需求，产生海量的、具有各自鲜明特色的数据。这些数据没有统一的数据模型及规则，分散存储与各部门之间，具备较为森严的部门壁垒，形成数据孤岛。数据中台在数据存储上采用集中数据存储的方式，通过采集电力系统中所有结构化、非结构化以及采集量测数据，集中存储于基础数据层中，从物理上打破数据隔离，为后续的数据清洗转换提供优质数据基础。

3、基于标准模型的数据清洗转换

在传统数据中心建设当中，往往只是关注数据的存储，在数据整合方面鲜有建树。企业数据中台着力于建立一套涵盖全业务范围的标准数据模型。基于标准数据模型，梳理数据流的业务走向，根据数据的全生命周期、业务的全流程链路，对采集的所有数据进行清洗转换，从而形成符合统一数据模型、遵从标准业务流程的全量数据。基于标准模型的数据清洗转换是解决电力数据口径不一致、打破数据部门壁垒、消除数据重复存储、促进业务数据融合、推动数据资源共享的关键手段。

4、统一信息模型SG-CIM4.0

实现公司全业务范围、全数据类型、全时间维度数据的统一存储、管理与服务是企业数据中台建设的最终目的。统一信息模型(SG-CIM4.0)作为公司信息化建设核心组件之一，必然也是企业数据中台建设的基础支撑。在企业数据中台建设过程中，无论是数据的集中存储，亦或是数据的清洗转换，均完全遵从公司统一信息模型。通过统一信息模型的设计，可有效的解决国网信息化建设和应用过程中所表现出的数据标准不一致、信息资源不能共享、业务集成难度大等问题，从而建立健全信息资源管理体系、共享机制的有效途径和方法，促进提高信息化建设和应用的水平。通过统一信息模型的应用，对于进一步拓展数据资产的应用范围、深化企业数据中台的建设，提高数据融合及资源共享能力，打破数据分割、部门隔离的体制，都具有非常重要的意义，是大势所趋。

本发明的企业级数据中台最典型的应用之一就是营配贯通优化提升。基于企业级数据中台深入挖掘营配贯通成果，构建营配多场景应用，对内加强精益化管理，对外实现可视化服务，全面提升移动作业智能化水平。

在数据中台部署前，可通过建立SG-CIM数据映射表保证营配治理数据的标准性及可移植性，并在全业务统一数据中心中增加线损计算、可视化报修等校验功能开展营配数据验证。在数据中台部署后，可构建形成数据资源整合、业务能力沉淀的企业级共享服务中台，将映射表平滑迁移至数据中台实现治理数据按照标准模型形式存储，通过多场景营配应用检验营配数据，形成数据保鲜机制，巩固营配贯通成果。例如，在营销侧数据层面构建多维度标签体系和分析模型，实现用能分析等14项核心数据能力，促进营销数字化转型，支撑企业客户满意度的提升。在用电新装阶段，通过客户中心、服务中心等的支撑，推送办电服务包，由智能客服引导在线办理新装业务，生成多样化供电方案；在现场勘查阶段，通过服务中心、营销中心等的支撑，自动生成并推送光伏建设、能效管理等综合能源服务方案；在企业投运阶段，通过计量中心、产品中心等的支撑，定期推送用能分析报告，由智能客服引导办理用电套餐变更，节省电费支出；在业务拓展阶段，通过支付中心、营销中心等的支撑，帮助企业拓宽市场，增加企业曝光度，给企业带来更多订单。

通过建设企业级数据中台实现营配贯通优化提升，主要包括如下几个手段：

1、设计营配贯通总体架构。为打通营销领域、配电领域系统间壁垒，借助数据中台将营配数据全面共享融通，实现设备-设备、人-设备的泛在互联、故障智能分析、停电信息主动推送、抢修可视化展示等，提高故障抢修效率及客户服务支撑力度，实现数据、渠道的业务末端紧密融合和前台共享支撑。基于数据中台的营配贯通总体架构如图3所示。

2、完善营配基础数据模型。结合营配业务实际需求，基于国家电网有限公司SG-CIM4.0标准，迭代完善资产、用户等营配基础数据模型标准。

3、建立移动作业核查机制。依托营配核查移动作业工具开展现场人工核查工作，实现坐标、台账等营配数据现场实时维护和采录。

4、搭建营配贯通初步应用。基于营配贯通优化提升成果，搭建客户可视化报修、营配移动作业融合等营配贯通初步应用。

5、完成营配数据平滑迁移。数据中台建成后，将治理后的营配贯通数据平滑迁移至数据中台，按照遵循SG-CIM4.0标准要求的营配标准数据模型统一存储。

6、支撑营配协同应用场景。在数据中台基础上，基于标准数据模型设计多场景营配协同应用，在实际应用中及时发现营配问题数据，形成营配数据保鲜机制，巩固营配数据治理成果，推动营配业务流程变革。利用数据中台对客户档案、历史负荷等离线数据与故障信息、设备状态等实时数据的交互查询、处理分析能力，深入挖掘营配贯通成果，支撑供电服务指挥、同期线损分析、业扩报装管控、停电分析到户、客户画像等一系列营配协同典型应用场景。

1)供电服务指挥。通过对客户档案及工单历史数据分析，实现服务工单与抢修工单精准自动派发；通过对客户用能习惯及环境因素分析，实现台区负荷预测；通过对各渠道停电信息和设备监测信息分析，实现配网故障研判与主动抢修。

2)同期线损分析。基于精准“站-线-变-户”拓扑关系，结合采集信息，自动计算同期线损，并辅助校验营配贯通数据。结合电网负荷、用电检查等数据对异常线损进行辅助分析，及时发现电网拓扑关系错误、电能表故障、疑似窃电等异常问题。

3)业扩报装管控。统筹分析营销系统、运检系统、基建系统数据，支撑业扩流程跨专业无缝对接，实现客户需求与项目储备、建设线上流转。对业扩报方案编制进度、配套工程进度、竣工验收进度等关键环节进度进行全过程监测。

4)停电分析到户。基于营配一张网基础数据，结合停(送)电计划和故障停电信息，实现停电影响设备和用户清单自动分析。并根据完整的客户档案信息，通过微信公众号、短信等渠道将停电信息精准推送到户，提升客户用电体验。

5)客户画像。通过构建能效模型、风险模型、评价模型等通用模型以及投诉倾向识别模型、渠道偏好分析模型等专用模型，挖掘客户显性特征和隐性特征，形成客户标签。基于数据中台提供客户标签分析服务，可以支撑优质服务、精准营销、风险防控、精益管理等应用。

本发明的基于企业级数据中台分析域的数据资源标准化管理系统能够打破数据壁垒、实现数据资源统一汇聚及共享，克服了传统数据中心横向扩展能力差、硬件利旧程度低、计算能力无法满足数据体量增长的缺点。本系统实现了电力企业全业务领域、全时间维度、全数据类型数据的统一汇聚及集中存储，推进了数据资源的全面共享与应用，对于电网企业设计、建设、应用数据中台具有借鉴意义。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (8)

1.一种数据资源标准化管理系统，包括：

基础数据层，适于存储电力企业的业务数据和电力企业之间的交互数据；

整合明细层，与所述基础数据层连接，适于按照数据类型对所述基础数据层的数据进行整合并分类存储；

轻度汇总层，与所述整合明细层连接，适于对所述整合明细层的数据进行加工处理；

数据集市层，与所述轻度汇总层连接，包括数据接口，所述数据接口适于获取所述轻度汇总层的数据并将其提供至应用系统，以便应用系统将所述轻度汇总层的数据应用于不同应用场景。

2.如权利要求1所述的系统，其中，所述数据类型包括：结构化类型、采集量测类型和非结构化类型。

3.如权利要求2所述的系统，其中，所述整合明细层适于：

采用大规模分布式并行数据库集群系统来存储结构化类型数据；

采用分布式列式数据库系统来存储采集量测型数据；

采用分布式文件系统来存储非结构化类型数据。

4.如权利要求2或3所述的系统，其中，电力企业的业务数据为结构化类型数据。

5.如权利要求1所述的系统，其中，所述基础数据层与电力企业的业务系统连接，所述业务系统包括数据同步复制组件，所述数据同步复制组件适于捕获所述业务系统中的业务数据的变化，将相应的数据操作日志发送至所述基础数据层，以实现基础数据层的数据同步更新。

6.如权利要求5所述的系统，其中，所述基础数据层适于：

在接收业务系统发来的数据操作日志后，判断本次接收到的数据操作日志是否与已存储的数据重复；

若是，则丢弃本次接收到的数据操作日志；

若否，则根据数据操作日志来进行数据更新，完成增量数据与历史数据的合并。

7.如权利要求2-6所述的系统，还包括连接至所述整合明细层的采集量测类数据接入组件，所述数据接入组件适于采集采集量测类型数据并将其发送至所述整合明细层。

8.如权利要求1-7中任一项所述的系统，其中，所述加工处理包括数据去重处理和单位转换。

Images