CN108132997A - 一种电网数据管理归结结构及其归结方法 - Google Patents

Abstract

本发明属于电网数据管理领域，尤其涉及一种电网数据管理归结结构及其归结方法，其在现有系统的基础上，提供了一种电网数据管理归结结构，其结构简单，控制和管理方便，结合相应的数据归结方法，能够有效对电力系统中各类管理平台或系统中的数据进行挖掘、管理，能够优化各业务系统与上下级应用及管控接口之间的数据处理效率和效果，能够更合理的应用不同系统之间相互关联的数据信息梦实现数据的挖掘、管理以及存储应用，实现了对现有系统的扩充整合，能够辅助实现电网的高效规划以及数据整理。

Description

一种电网数据管理归结结构及其归结方法

技术领域

本发明属于电网数据管理领域，涉及一种电网数据管理归结结构及其归结方法。

背景技术

在现代电网管理体系中，通过核心业务系统实现基本业务自动化已经得到很好的实施，在此基础上，通过信息管理系统实现流程管理，最终通过决策支持系统帮助企业实现计划制定、执行监控、规划预测等是电网未来的发展目标，实际上现在的电网企业中已经实现了企业资源计划系统(ERP)、生产管理系统(PMS)、预算统筹等各类核心业务系统的应用，并且逐渐与公司整体的运营管理体系相融合。但现有各系统竖的数据主要是包含各种业务数据的电子表单，由于各系统间不同目标和结果的需要，在同一类结果中包含大量重复累赘的数据，导致在数据调取、使用过程中带来大量无效率的资源消耗，跨业务之间形成众多壁垒，资源配置不合理，整体的效能以及效益不高；一方面电网规模庞大，同时涉及的数据参数较多，即使一小片区域也会产生大量的实时数据，另一方面，由于电网持续长时间运行，在进行负荷预测等各类数据预测时，更会产生海量的信息数据，因此从海量的数据信息中挖掘所需要的信息，简化信息获取流程，是提高能效的一种重要重要方法。

发明内容

本发明创造的目的在于，提供一种电网数据管理归结结构，其结构简单，控制和管理方便，能够有效对电力系统中各类管理平台或系统中的数据进行挖掘、管理。

为实现上述目的，本发明创造采用如下技术方案。

一种电网数据管理归结结构，包括数据源模块，存储与处理模块以及展现模块；

数据源模块包括载有ERP系统及存储装置的主机、载有PMS系统的主机、载有外围系统或者存储装置的主机；数据源中的主机是指载有上述系统以及系统数据的PC或者服务器设备，主机内含有完整的软硬件系统以及业务数据的源数据。

存储与处理模块包括SAP BW服务器、第一ETL服务器、第二ETL服务器、独立的IBMDB2数据库、独立运行的SYBASE IQ数据库服务器，SAP BW服务器用于收集和整理ERP系统中的业务数据；包括将ERP系统中的SAP标准源数据加载至SAP BW服务器，经过一层DSO转换后通过OpenHub接口输出文本文件；第一ETL服务器抽取上述SAP BW服务器以及PMS系统、外围系统中的业务数据，对业务数据进行转换和集成并转送至IBM DB2数据库；第二ETL服务器从IBM DB2数据库中获取所需数据进行逻辑处理后输出实体关系模型和结果数据，并将数据转送至SYBASE IQ数据库服务器；存储与处理模块用于对各系统内的业务数据源数据进行处理，在保证不同系统中数据相互隔离的同时抽取需要的数据，并根据不同的数据类型进行转换整合以使其成为所需要可表达的数据类型。

展现模块包括展示服务器、用户端、仪表盘，用于对结果数据进行综合展示以及输出。

一种电网数据管理归结方法，包括如下步骤：

①从ERP系统引用SAP标准源数据加载至SAPBW服务器经过DSO转换后通过OpenHub接口输出文本文件；从SAPBW服务器以及PMS系统、外围系统中抽取业务数据并转送至ODS层；

②根据管理目标的需求确定ODS逻辑数据主题，用实体关系模型表达；

③根据步骤②中的实体关系模型的节点确定业务处理内容，根据各业务处理内容定义最下级元素；以步骤②中的最下级元素为基础确定所需要抽取的业务数据维度以及维度关联键值；

④基于步骤③的业务数据维度，将业务数据库中的事实数据按照挖掘需要进行重新组织和逻辑处理，选择需要的业务数据属性，建立目标主题的真实表集合；

⑤根据步骤④中的真实表集合，从ODS层中抽取真实表集合中所需要的业务数据；

⑥根据数据目标与实际业务数据之间的映射关系完成数据挖掘，包括从各业务数据加载至ODS层以及从ODS层到数据集服务器DM。

进一步地，所述步骤⑥中将业务数据加载至ODS层的过程中，执行以下操作内容，包括：

a1)将ODS层历时存档数据与即时业务数据做对比获取增量数据；

a2)根据过滤条件对传送的数据进行刷选；

a3)校验空数据或者非法特征；

a4)记录未成功获取的业务数据并保存日志；

a5)将不符合的要求格式的数据进行转换；

所述步骤⑥中将业务数据加载至ODS层后，依次执行以下操作内容：

b1)将业务数据源系统中抽取到ODS层接口表中；

b2)维护对照参照表中的数据，或者维护关联的接口表数据；

b3)匹配接口表和对照参照表，或者对关联的接口表进行数据转换操作；

b4)检验匹配结果，将匹配失败的数据拒绝写入并记录日志；

b5)进行数据转换将校验后的数据转送到数据目标表；

进一步地，所述步骤⑥中从ODS层到数据集服务器DM的具体内容包括：

c1)加载业务数据至ODS层准备区事实表中；

c2)加载中间数据中的维度表，包括逻辑映射/运算/转换数据；

c3)加载业务数据及中间数据至第二ETL服务器；

c4)关联和维护事实表与维度表；

c5)汇总逻辑运算以数据计算；

c6)生成目标数据表。

其有益效果在于：在现有系统的基础上，提供了一种电网数据管理归结结构，其结构简单，控制和管理方便，结合相应的数据归结方法，能够有效对电力系统中各类管理平台或系统中的数据进行挖掘、管理，能够优化各业务系统与上下级应用及管控接口之间的数据处理效率和效果，更合理的应用不同系统之间相互关联的数据信息梦实现数据的挖掘、管理以及存储应用，实现了对现有系统的扩充整合，辅助电网的高效规划以及数据整理的实现。

附图说明

图1是本发明数据管理归结结构的流程示意图；

图2是本发明数据管理归结结构的物理结构示意图；

图3是本发明数据管理归结结构实施例的主题模型示意图；

图4是本发明数据管理归结方法实施例中源数据至ODS的抽取示意图；

图5是本发明数据管理归结方法实施例中数据整合时的抽取示意图；

图6是本发明数据管理归结方法实施例中数据转换整理的示意图；

图7是本发明数据管理归结方法实施例中逻辑转换计算的示意图。

具体实施方式

以下结合具体实施例对本发明创造作详细说明。

电网数据管理归结结构是一个数据从业务数据系统到展示平台的流动过程，包括数据模块、存储与处理模块以及展现模块，展现模块负责对存储与处理模块处理完毕的数据进行综合展示，而这通过web服务、小希、数据集成等进行交互；存储与处理模块将保存有源数据的各个业务支撑系统重的数据按照主题进行汇总、计算各类指标，形成流程例，为展现模块提供分析结果，其数据处理的业务流程图如图1所示。

如图2中所示，数据模块主要包括电网系统中现有的ERP系统、PMS系统以及其他外围系统以及相应硬件；上述系统作为各类业务数据的的收集存储系统，含有大量基本业务数据。存储与处理模块通过这些实际工作流程相对应的明细数据进行分析和提取。

存储与处理模块将各个系统中的业务数据按照主题进行汇总分析，计算各类指标，形成流程实例，为展现模块提供分析结果。存储与处理模块中的每项处理过程是按照独立的主题要求进行设计和组织，通过对业务数据库中的数据进行重新处理机组和，形成统一结构的数据形式，再按照不同主题进行存储。如图3中所示，每个主题对应一个分析领域或一个具体分析目标，主题关联了业务数据库中的若干分析对象/业务数据；由于各个系统中业务数据的类型以及表达方式相对独立，因此需要针对各个主题的数据域提取相应数据并进行处理。以电网维修物料需求分析为例，可以构建如表1所示的主题表，并划分子主题以及设计维度表，其中子主题是由主题延伸出来的主要考虑因素，维度是直接决定各子主题属性或数据的元素；

表1

为实现存储与处理模块的功能的快速与独立，需要建立数据仓库，用于支撑分析以及展现模块的具体功能，存放所有的过程以及结果数据，包括从数据模块中提取的业务数据、与主题相关的指标以及维度数据、分析数据等，数据仓库由ODS层和DW/DM层组成，ODS层采用独立服务器IBM的DB2数据库。

DW/DM层采用独立的运行SAP公司SybaseIQ数据库的服务器。基于SAPBW与SAPERP良好的集成性，SAPBW采用SAP的标准模型设计，即引用SAP的标准数据源从ERP加载数据到BW后，经一层DSO转换直接用OpenHub接口输出文本文件，供Informatica抽取到ODS中。所以，在这一层的数据模型中，数据是ERP的镜像，不加逻辑处理，模型架构与数据源一致。

ODS层根据业务逻辑来进行设计，通过E-R模型能够反映实际操作的业务流程，ODS层中的数据同数据模块中的数据一样示意表的结构进行存储和处理，因此ODS层包括与各数据模块中系统的数据结构尽量一致的数据表，同时针对需要进行数据合并等处理的数据还需要制定第三方规范方式来进行构建；ODS层中用于传递至DW的数据准备区中的数据表原则上也应当与DW本身的表结构一致，以提高能效，ODS通常存放从源系统也就是业务系统获得的数据，这些数据从表结构定义，数据关联关系上都和源系统大体一致，因此数据从颗粒度和数据结构等多个方面也都保持与源务系统相同的特性。这样使得数据有连贯性，因此从宏观到微观都能够清晰表达。

DW/DM层采用多维数据库结构，基于上述维度表来构建星型或者花型数据模型，按照事实表、维度表来构建数据仓库。以上述表1中的主题为例，其建模内容包括：

第一步：确定建模的业务处理内容需求调研确定运营监控平台的分析主题是维修物料的使用数量分析。如图3所示。

第二步：定义分析数据的最细颗粒度最细颗粒度是指交易数据不能再拆分。根据分析结果，数据的最细颗粒度分别如表2所示：

维度	最下级元素单位
		维修时间	天
申请单位	A部门
		物资类别	物资小类B
制造商	C省

表2

第三步：选定分析维度

模块的维度包括维修日期、电压等级、成本中心、公司代码、资产性质、制造商、设备类型、建设性质等，最终统计维修物料需求总数；“市公司运维物资使用分析”模块的维度包括维修日期、电压等级、市公司编码、资产性质、制造商、设备类型等，最终统计出维修物料需求数；“县公司运维物资使用分析”模块的维度包括维修日期、电压等级、成本中心、县公司代码等，最终统计出县维修物料需求数；“维修备件缺料分析”模块的维度包括维修日期、电压等级、成本中心、县公司代码等，最终统计维修缺料数；“维修量分析及预测”模块的维度包括维修日期、维修工单号、县公司代码、成本中心等，最终统计出维修次数。“维修缺料统计”模块的维度包括维修日期、电压等级、成本中心、公司代码，最终统计出维修备件缺料的次数和所缺的物料。

第四步：确定事实表的分析度量字段根据需求汇总出该主题所需要的度量值，再加上对应的维度关联键值即可确定事实表的表结构。

上述数据处理的物理环节主要包括两个步骤，包括将源数据从数据模块加载至ODS层以及将ODS的数据转送到DW/DM。上述两个步骤需要利用两个ETL服务器(例如Informatica)，因为有超过60％的业务数据来自ERP系统，该系统为SAP的产品，而SAP的BW系统与其ERP有天然的集成优势，所以在架构中增加了一台BW服务器，用来处理ERP的业务数据。使用Informatica抽取SAPBW和外围系统的数据至DB2，并实现不同数据源数据转换和集成。具体实现过程包括：

一、源数据至ODS

如图4中所示，数据模块中的源数据加载至ODS层的抽取内容包括：

a)数据从源系统到ODS，源系统既包括了SAPECC系统，也包括了非SAP的系统；

b)采用增量处理方式，依据ODS的历史数据存档来做对比；

c)数据刷选，通过条件过滤来实现仅取所需要的数据；

d)格式校验，包括数据为空、非法字符等特征的检测；

e)记录未成功抽取的数据，并把记过保存到文件中，同时产生日志文件；

f)字符格式判断，如有不符合要求的格式，则强制转换，比如字符转成数字类型或者日期型转字符格式等；

g)数据成功加载到ODS目标表中。

如图5中所示，将各类数据进行对照匹配以及数据整合，具体内容包括：；

a)把数据从源系统中抽到ODS接口表A中；

b)维护对照参照表ODSM&R(Mapping&Reference)中的数据；

c)匹配接口表A和对照参照表将ODSM&R之间的数据；

d)检验匹配结果，把未能成功匹配的数据拒绝并写入日志；

e)通过数据转换实现数据校验后到目标表的加载过程。

如图5中所示，还包括，整合多张事实表，然后加载入数据准备表：

a)数据加载到ODS表A中；

b)数据加载到ODS表B中并维护A、B表的关联关系；

c)数据转换，包括过滤、联合、外连接、转置、合并等方法；

d)数据进入ODS目标表。

二、ODS到DW/DM

其包括下述几种加载方式：

如图6所示，ODS数据准备区与DW层的接口层表数据结构保持一致，数据从ODS数据准备区的表中加载到DW中：

1)数据加载到ODS准备区表A中；

2)加载入中间文件；

3)数据加载到DW表中，DW数据库采用SybaseIQ。

如图7所示，实现汇总、逻辑转换和计算准备等操作：

1)数据加载到DW事实表A中；

2)DW实施表A与DW维度表B关联；

3)汇总逻辑并计算数据；

4)事实表C数据加载。

展现模块包括展示服务器、用户端、仪表盘，用于对结果数据进行综合展示以及输出。展示服务器用于从数据集市中获取分析结果等数据，并将数据信息转化为各客户端、仪表盘所使用的图表、指令等信息。

最后应当说明的是，以上实施例仅用以说明本发明创造的技术方案，而非对本发明创造保护范围的限制，尽管参照较佳实施例对本发明创造作了详细地说明，本领域的普通技术人员应当理解，可以对本发明创造的技术方案进行修改或者等同替换，而不脱离本发明创造技术方案的实质和范围。

Claims (5)

1.一种电网数据管理归结结构，其特征在于，包括数据源模块，存储与处理模块以及展现模块；

数据源模块包括载有ERP系统及存储装置的主机、载有PMS系统的主机、载有外围系统或存储装置的主机；

存储与处理模块包括SAP BW服务器、第一ETL服务器、第二ETL服务器、独立的IBM DB2数据库、独立的SYBASE IQ数据库服务器，

SAP BW服务器用于收集和整理ERP系统中的业务数据；包括将ERP系统中的SAP标准源数据加载至SAP BW服务器，经过一层DSO转换后通过OpenHub接口输出文本文件；

第一ETL服务器抽取上述SAP BW服务器以及PMS系统、外围系统中的业务数据，对业务数据进行转换和集成并转送至IBM DB2数据库；

第二ETL服务器从IBM DB2数据库中获取所需数据进行逻辑处理后输出实体关系模型和结果数据，并将数据转送至SYBASE IQ数据库服务器；

展现模块包括展示服务器、用户端、仪表盘，用于对结果数据进行综合展示以及输出。

2.一种电网数据管理归结方法，其特征在于，包括如下步骤：

①从ERP系统引用SAP标准源数据加载至SAP BW服务器经过DSO转换后通过OpenHub接口输出文本文件；从SAP BW服务器以及PMS系统、外围系统中抽取业务数据并转送至ODS层；

②根据管理目标的需求确定ODS逻辑数据主题，用实体关系模型表达；

③根据步骤②中的实体关系模型的节点确定业务处理内容，根据各业务处理内容定义最下级元素；以步骤②中的最下级元素为基础确定所需要抽取的业务数据维度以及维度关联键值；

④基于步骤③的业务数据维度，将业务数据库中的事实数据按照挖掘需要进行重新组织和逻辑处理，选择需要的业务数据属性，建立目标主题的真实表集合；

⑤根据步骤④中的真实表集合，从ODS层中抽取真实表集合中所需要的业务数据；

⑥根据数据目标与实际业务数据之间的映射关系完成数据挖掘，包括从各业务数据加载至ODS层以及从ODS层到数据集服务器DM。

3.根据权利要求2所述一种电网数据管理归结方法，其特征在于，所述步骤⑥中将业务数据加载至ODS层的过程中，执行以下操作内容，包括：

a1)将ODS层历时存档数据与即时业务数据做对比获取增量数据；

a2)根据过滤条件对传送的数据进行刷选；

a3)校验空数据或者非法特征；

a4)记录未成功获取的业务数据并保存日志；

a5)将不符合的要求格式的数据进行转换。

4.根据权利要求2所述一种电网数据管理归结方法，其特征在于，所述步骤⑥中将业务数据加载至ODS层后，依次执行以下操作内容：

b1)将业务数据源系统中抽取到ODS层接口表中；

b2)维护对照参照表中的数据，或者维护关联的接口表数据；

b3)匹配接口表和对照参照表，或者对关联的接口表进行数据转换操作；

b4)检验匹配结果，将匹配失败的数据拒绝写入并写入日志；

b5)进行数据转换将校验后的数据转送到数据目标表。

5.根据权利要求2所述一种电网数据管理归结方法，其特征在于，所述步骤⑥中从ODS层到数据集服务器DM的具体内容包括：

c1)加载业务数据至ODS层准备区事实表中；

c2)加载中间数据中的维度表，包括逻辑映射/运算/转换数据；

c3)加载业务数据及中间数据至第二ETL服务器；

c4)关联和维护事实表与维度表；

c5)汇总逻辑运算以数据计算；

c6)生成目标数据表。