CN105405069A - 一种购电经营决策分析与数据处理方法 - Google Patents

Abstract

一种购电经营决策分析与数据处理方法，其特征在于包括以下步骤：首先进行电能供需平衡分析，借助于内部数据和外部数据形成了包含海量数据的数据源，并对数据源中的原始数据进行快速全量提取或增量提取，然后利用数据转换器组件对转换提取的原始数据进行处理，利用数据库中的所有数据进行数据联机分析，形成包含决策信息的多维表，最后通过报表系统快速生成决策数据报表输出，本发明实现了从海量数据中发现对电力企业具有决定性意义的关键指标，能够筛选、获取大量有用数据，并快速形成清晰明了的决策数据报表，极大地节省了人力，避免了关键数据信息的遗漏，提高了决策分析的准确性，使得购电决策更加经济快捷。

Description

一种购电经营决策分析与数据处理方法

技术领域

本发明涉及一种决策分析与数据处理方法，尤其涉及一种购电经营决策分析与数据处理方法，属于数据处理技术领域。

背景技术

各级电网公司如何按照“安全、环保、公平、经济”的原则，结合政府部门的保证电力供应目标，从经济性的角度为未来的购电提供指导，确定购电策略，优化购电方案，具有非常重要的意义。如何从海量数据中发现对电力企业具有决定性意义的关键指标，如果筛选、获取大量有用数据，并形成清晰明了的数据报表就显得非常重要，对海量的购电决策数据进行处理已经成为一个亟待解决的技术难题。

发明内容

本发明的目的是针对目前电网购电经营决策数据庞杂，用电需求以及供电能力能因数较多，无法快速有效的从海量数据中筛选、获取大量有用数据，并对大量数据进行处理，也无法快速形成内容丰富的数据报表作为决策参考依据的缺陷和不足，提供一种方便快捷，能够无法快速有效的从海量数据中筛选、获取大量有用数据，并对大量数据进行处理，同时能够快速形成内容丰富的数据报表作为决策参考依据的一种购电经营决策分析与数据处理方法。

为实现上述目的，本发明的技术解决方案是：一种购电经营决策分析与数据处理方法，其特征在于包括以下步骤：

a、首先进行电能供需平衡分析，综合用电需求预测、供电能力两方面因素，分析电力电量平衡情况，编制形成月度、季度或年度的电力电量平衡分析表；

b、建立数据源，数据源中的原始数据来自于内部数据和外部数据，内部数据来源于核心业务系统、ERP系统、财务系统以及CRM系统中的数据，外部数据来源于互联网资源、行业报告以及市场信息所构成的数据，其中包括以各种文本文件作为载体导入到数据源中的数据文件；

c、提取数据源中的原始数据，通过ETL系统对数据源中的原始数据进行快速全量提取或增量提取；

d、转换提取的原始数据，将提取的原始数据通过数据转换器组件进行数据转换，数据转换器组件包括数值转换器、维度转换器和聚集转换器，数据转换过程包括计量单位的统一、基础性运算、粒度的调整、数据格式的统一以及清洗掉与主维度不同的数据；

e、载入转换后的数据，将转换的数据存入数据仓库，在载入数据的过程中需要定义数据仓库的数据库类型、主机地址、端口、用户名和密码信息，当来源数据变化时重新加载，同时避免数据重复加载；

f、数据联机分析，利用数据库中的所有数据，提取所需要的更全面的数据的数据，并针对特定问题的联机数据访问和分析，通过对数据进行多维度分析，以观察形式进行快速、稳定一致和交互性的存取，形成面向管理者和决策者的数据分析结果，将数据转换为知识，并将联机分析的结果通过多维表存放到汇总表中；

g、最后通过报表系统将购电经营决策分析数据的报表发布在企业内外或外网的Web服务器中，并形成丰富的报表页面。

所述b步骤中建立数据源的过程中需要对数据进行加工处理，对数据的加工处理采用模型计算、分组聚合或表达式计算的方式，模型计算过程中派生数据是以历史数据和模型数据的指标作为自变量，某种模型函数的结果集，分组聚合是按照不同维度进行的分组聚合数据，比较长江的聚合函数有：合计、平均、最大值、最小值、加权平均值，表达式计算是以自变量在相同的维度背景下通过表达式对数据进行运算。

所述f步骤中数据联机分析采用时序计算、数据钻取、切片分析以及转轴分析。

所述时序计算是以时间作为一个字段以数值的形式存放于数据表中，利用SQL语言进行时序计算。

所述数据钻取分为向上钻取和向下钻取两种操作，向上钻取是找到上一层维度值，数据钻取是根据单个维度值对数据进行过滤，找到专属于某一维度的数据。

所述切片分析是根据单个维度值对数据进行过滤，找到专属于某一维度的数据，或者根据多个维度值对数据进行过滤，找到满足多维度条件的数据。

所述转轴分析是将数据的列变为数据行，数据行变为列，对数据表进行旋转后进行分析操作，数据经过转轴分析后，能够拥有新的维度。

本发明的有益效果是：

1．本发明综合用电需求预测、供电能力等多方面因素，充分借助于内部数据和外部数据，形成了包含海量数据的数据源，便于系统从数据源中调用各种数据，本发明的系统能够对数据源中的原始数据进行快速全量提取或增量提取。

2．本发明利用数据转换器组件对转换提取的原始数据进行处理，对数据的加工处理采用模型计算、分组聚合或表达式计算的方式，并且将将转换处理后的数据存入数据仓库，利用数据库中的所有数据进行数据联机分析，形成包含决策信息的多维表，最后通过报表系统快速生成决策数据报表输出。

3、本发明实现了从海量数据中发现对电力企业具有决定性意义的关键指标，能够筛选、获取大量有用数据，并快速形成清晰明了的决策数据报表，极大地节省了人力，避免了传统方式筛选和处理数据所造成的关键数据信息的遗漏，提高了决策分析的准确性，使得购电决策更加经济快捷。

附图说明

图1是本发明的原理示意图。

图2是本发明数据处理过程中报表的处理过程。

图3是本发明数据处理标准语言案例。

具体实施方式

以下结合附图说明和具体实施方式对本发明作进一步的详细描述。

参见图1至图3，本发明的一种购电经营决策分析与数据处理方法，包括以下步骤：

a、首先进行电能供需平衡分析，综合用电需求预测、供电能力两方面因素，分析电力电量平衡情况，编制形成月度、季度或年度的电力电量平衡分析表；

b、建立数据源，数据源中的原始数据来自于内部数据和外部数据，内部数据来源于核心业务系统、ERP系统、财务系统以及CRM系统中的数据，外部数据来源于互联网资源、行业报告以及市场信息所构成的数据，其中包括以各种文本文件作为载体导入到数据源中的数据文件；

c、提取数据源中的原始数据，通过ETL系统对数据源中的原始数据进行快速全量提取或增量提取；

d、转换提取的原始数据，将提取的原始数据通过数据转换器组件进行数据转换，数据转换器组件包括数值转换器、维度转换器和聚集转换器，数据转换过程包括计量单位的统一、基础性运算、粒度的调整、数据格式的统一以及清洗掉与主维度不同的数据；

e、载入转换后的数据，将转换的数据存入数据仓库，在载入数据的过程中需要定义数据仓库的数据库类型、主机地址、端口、用户名和密码信息，当来源数据变化时重新加载，同时避免数据重复加载；

f、数据联机分析，利用数据库中的所有数据，提取所需要的更全面的数据的数据，并针对特定问题的联机数据访问和分析，通过对数据进行多维度分析，以观察形式进行快速、稳定一致和交互性的存取，形成面向管理者和决策者的数据分析结果，将数据转换为知识，并将联机分析的结果通过多维表存放到汇总表中；

g、最后通过报表系统将购电经营决策分析数据的报表发布在企业内外或外网的Web服务器中，并形成丰富的报表页面。

所述b步骤中建立数据源的过程中需要对数据进行加工处理，对数据的加工处理采用模型计算、分组聚合或表达式计算的方式，模型计算过程中派生数据是以历史数据和模型数据的指标作为自变量，某种模型函数的结果集，分组聚合是按照不同维度进行的分组聚合数据，比较长江的聚合函数有：合计、平均、最大值、最小值、加权平均值，表达式计算是以自变量在相同的维度背景下通过表达式对数据进行运算。

所述f步骤中数据联机分析采用时序计算、数据钻取、切片分析以及转轴分析。

所述时序计算是以时间作为一个字段以数值的形式存放于数据表中，利用SQL语言进行时序计算。

所述数据钻取分为向上钻取和向下钻取两种操作，向上钻取是找到上一层维度值，数据钻取是根据单个维度值对数据进行过滤，找到专属于某一维度的数据。

所述切片分析是根据单个维度值对数据进行过滤，找到专属于某一维度的数据，或者根据多个维度值对数据进行过滤，找到满足多维度条件的数据。

所述转轴分析是将数据的列变为数据行，数据行变为列，对数据表进行旋转后进行分析操作，数据经过转轴分析后，能够拥有新的维度。

首先进行电能供需平衡分析，综合用电需求预测、供电能力两方面因素，分析电力电量平衡情况，编制年度电力电量平衡分析表。开展季度、月度电力电量平衡分析时，已发生季度、月度填写实际发生值，未发生季度、月度根据电力市场变化情况对预测值进行滚动修订。年度电力电量平衡分析表统计分析了全省各月的统调装机容量、检修容量、受阻容量、购入电力电量、售出电力电量、综合可调容量、旋转备用容量、最大用电需求、电力电量余缺。由于需求侧售电电价不会随着电源类型或购电结构的变化而变化，因此，购电方案的优化分析主要集中在对发电侧市场购电结构进行分析。将电厂按电源类型分类，通过找出各类电源的购电量、购电均价和购电结构的变化，分析各类型电源电量对电网公司购电均价的影响程度。对其影响程度进行排序，找出关键因素，从经济性的角度为未来的购电提供指导。

随后建立数据源，数据源中的原始数据来自于内部数据和外部数据，内部数据来源于核心业务系统、ERP系统、财务系统以及CRM系统中的数据，外部数据来源于互联网资源、行业报告以及市场信息所构成的数据，其中包括以各种文本文件作为载体导入到数据源中的数据文件。其中内部数据属于结构化数据，主要存放于各种关系型数据库中，本发明有效解决了以下三个方面的问题：一是数据库的查询方式和数据类型存在差异，如ORACLE和DB2数据库采用了不同的SQL规范和数据长度规范；二是数据的一致性存在差异，如不同业务系统数据的日期类型、单位、格式不一致；三是数据的完整性存在差异，如ERP和CRM中同一笔供应记录所使用的字段不同。外部数据属于非结构化数据，主要存放于网络或数据文件中。外部数据获取面临着与内部数据相同的问题，此外还解决了以下两个问题，一是数据需要清理，清除错误数据和垃圾数据；二是数据需要重新建立关系。

所有的数据都以表（table）作为基本单元，表的行和列分别代表数据维度和指标，如图2，表以不同类型贯穿数据管理的全过程，包括静态表、输入表、转储表、中间表、多维表和视图表。来源数据表是原始数据存放的位置，宽表是经过汇总后的原始数据，可以认为是数据仓库，汇总表是保存的结果数据。

建立数据源的过程中需要对数据进行加工处理，对数据的加工处理采用模型计算、分组聚合或表达式计算的方式，模型计算过程中派生数据是以历史数据和模型数据的指标作为自变量，某种模型函数的结果集，分组聚合是按照不同维度进行的分组聚合数据，比较长江的聚合函数有：合计、平均、最大值、最小值、加权平均值，表达式计算是以自变量在相同的维度背景下通过表达式对数据进行运算。

提取数据源中的原始数据，通过ETL系统对数据源中的原始数据进行快速全量提取或增量提取。实现数据提取操作需要配置数据源和定制事务，使系统能够计划性的实现原始数据的全量提取或增量提取。本发明能够达到每小时20万行记录的高速读取速率，完全满足超大规模企业的应用需要。事务管理用于配置数据提取的时间、频率、提取方式和策略等，系统将根据事务列表中的记录，自动完成数据提取。数据提取的方式分为提取和增量提取，这两种方式的差异如下：全量提取：将数据源中所有的记录全部提取，通常用于一些维度表数据提取，如地区表、单位表、用户表。增量提取：对比数据源和数据仓库，只提取新增或已变更的数据，通常用于事实表数据提取，如生产、财务相关的数据表。各种提取方式均包含一系列的策略，这些策略是用于解决原始数据和数据仓库中数据的冲突。常用的策略有以下几种。时间戳方式：比较原始数据表和数据仓库中相同数据的时间戳，如果原始数据表的时间较近，则提取数据，否则不提取任何数据。全表删除插入方式：如果数据仓库中已存在相同的数据，则删除这些数据，再从数据源中提取数据。全表对比方式：将原始数据和数据仓库进行对比，使数据仓库和原始数据保持一致。志表方式：每次从原始数据提取数据后，均记录在日志中。再次提取数据时，忽略日志记录中已提取的数据。事务管理的高级设置可使用表达式定义一些复杂的提取规则，用于在数据表中定义筛选器、数据转换工具和数据质量策略等内容。

转换提取的原始数据，将提取的原始数据通过数据转换器组件进行数据转换，数据转换器组件包括数值转换器、维度转换器和聚集转换器，数据转换过程包括计量单位的统一、基础性运算、粒度的调整、数据格式的统一以及清洗掉与主维度不同的数据。转换器配置过程中，需要将来源数据表中所采用的值与转换的目标值进行对应，使不同来源的数据转换为数据仓库中统一格式的数据，使系统能够理解这些数据。其中，数值转换是一种微观转换规程，常用的数值转换包括以下内容：转换不同的计量单位，如万元到元、兆瓦时到千瓦时。对数值进行基础的运算，如通过单价和数量计算总价。将数值根据条件转换为描述性字符串，如增长率大于零，则描述为“增长”。维度转换和聚集转换属于宏观转换规则。维度转换主要的目标是将原有的数据库关系转为维度码值，以符合数据仓库和维度建模需求。聚集转换的作用是将较细的数据粒度转换为实际所需较粗的数据粒度，典型应用例如：日交易记录汇总为月交易记录，将某一类产品的销售记录汇总为一个项目。

载入转换后的数据，将转换的数据存入数据仓库，在载入数据的过程中需要定义数据仓库的数据库类型、主机地址、端口、用户名和密码信息。通过数据载入工具实现数据加载过程，其中数据仓库适配器用于连接数据仓库，数据仓库存储管理模块根据数据加载策略实现具体的加载步骤。目标设定过程是选择合适的数据仓库适配器，并定义数据仓库的数据库类型、主机地址、端口、用户名和密码等信息。设定完成后，系统将具备访问和使用数据仓库的能力。本发明所采取的数据加载策略为版本模式，该模式将分别保存来源数据表版本和加载数据版本，每次加载时记录版本的变化，当来源数据变化时重新加载，同时避免数据重复加载。来源数据表版本用于记录来源数据的格式变化，以应对由于来源数据的格式不一致而造成的加载错误。例如，当某个数据表由于系统升级等原因在一个时间点后产生了变化，系统将在数据仓库中记录该变化，生成一个新版本。在数据加载时，系统将根据数据的日期时间自动选择版本。

加载数据版本是一种数据指纹技术，可快速判断已加载的数据是否发生变化。数据进行加载时，系统采用Hash算法计算数据的指纹码，在加载数据版本表中保存版本号和指纹码。若来源数据已发生变化，系统则重新计算数据指纹码。当数据指纹码相同，表示数据的实质未发生变化，数据不再重新载入；当来源数据发生任何变化，数据指纹码也将改变，系统会重新加载数据。

数据联机分析，利用数据库中的所有数据，提取所需要的更全面的数据的数据，并针对特定问题的联机数据访问和分析，通过对数据进行多维度分析，以观察形式进行快速、稳定一致和交互性的存取，形成面向管理者和决策者的数据分析结果，将数据转换为知识，并将联机分析的结果通过多维表存放到汇总表中。传统的数据库所采用的关系模型采用联机事务处理机制，联机事务处理是以SQL语言为基础，面向具体业务数据所提供的数据存取。联机事务处理需要对关系型数据库进行大量计算才能得到结果，访问范围限定于一个独立的数据库中，因此查询结果无法满足决策者需要。联机分析处理则是建立在数据仓库之上，可全面应用多种业务数据库中的数据，提供更全面的数据信息。

数据联机分析采用时序计算、数据钻取、切片分析以及转轴分析，时序计算是以时间作为一个字段以数值的形式存放于数据表中，利用SQL语言进行时序计算。传统的关系型数据库自身不具备时间属性，利用SQL语言进行时序计算，如查询数据的同比、环比，通常需要设计复杂的存储过程。数据钻取分为向上钻取和向下钻取两种操作，是针对维度层次的一种操作方法。向上钻取是找到上一层维度值，常用于计算单项数据在总数据中所占的百分比。例如某一数据以地区为维度，计算该地区在全国所占百分比的操作就需要用到向上钻取。向下钻取是枚举下一层维度值，常用于了解某数据的具体组成。以地区为例，向下钻取可找到所有地区所属的数据，列出地区数据明细。切片分析是根据单个维度值对数据进行过滤，找到专属于某一维度的数据，例如，用户在统计某地区的销售情况时可利用该地区维度进行切片；或者根据多个维度值对数据进行过滤，找到满足多维度条件的数据，例如，用户统计某个产品在某地区、某年的销售情况，采用的就是切块分析方法。转轴分析是将数据的列变为数据行，数据行变为列，对数据表进行旋转后进行分析操作，数据经过转轴分析后，能够拥有新的维度。例如，某数据表的行包含“地区”、“时间”维度，列包含“销售金额”、“销售利润”等指标。转轴前，该数据表可用于分析“销售比重”、“利润率”等指标；转轴后可分析“地区所占比重”、“地区增长率”等指标。

最后通过报表系统将购电经营决策分析数据的报表发布在企业内外或外网的Web服务器中，并形成丰富的报表页面。报表系统由报表设计器和报表发布工具两个模块组成。报表设计器可根据用户需要对报表进行定制，用户可借助发布工具将报表发布在企业内外或外网的Web服务器中。报表系统拥有一系列的可定制组件，如列表、图表、交叉表、文档，应用中这些组件可任意组合，形成丰富的报表页面，提供的报表能够作为国家电网公司所属各省级电网公司根据国网公司开展购电经营决策的重要参考依据。

Claims (7)

1.一种购电经营决策分析与数据处理方法，其特征在于包括以下步骤：

a、首先进行电能供需平衡分析，综合用电需求预测、供电能力两方面因素，分析电力电量平衡情况，编制形成月度、季度或年度的电力电量平衡分析表；

b、建立数据源，数据源中的原始数据来自于内部数据和外部数据，内部数据来源于核心业务系统、ERP系统、财务系统以及CRM系统中的数据，外部数据来源于互联网资源、行业报告以及市场信息所构成的数据，其中包括以各种文本文件作为载体导入到数据源中的数据文件；

c、提取数据源中的原始数据，通过ETL系统对数据源中的原始数据进行快速全量提取或增量提取；

d、转换提取的原始数据，将提取的原始数据通过数据转换器组件进行数据转换，数据转换器组件包括数值转换器、维度转换器和聚集转换器，数据转换过程包括计量单位的统一、基础性运算、粒度的调整、数据格式的统一以及清洗掉与主维度不同的数据；

e、载入转换后的数据，将转换的数据存入数据仓库，在载入数据的过程中需要定义数据仓库的数据库类型、主机地址、端口、用户名和密码信息，当来源数据变化时重新加载，同时避免数据重复加载；

f、数据联机分析，利用数据库中的所有数据，提取所需要的更全面的数据的数据，并针对特定问题的联机数据访问和分析，通过对数据进行多维度分析，以观察形式进行快速、稳定一致和交互性的存取，形成面向管理者和决策者的数据分析结果，将数据转换为知识，并将联机分析的结果通过多维表存放到汇总表中；

g、最后通过报表系统将购电经营决策分析数据的报表发布在企业内外或外网的Web服务器中，并形成丰富的报表页面。

2.根据权利要求1所述的一种购电经营决策分析与数据处理方法，其特征在于：所述b步骤中建立数据源的过程中需要对数据进行加工处理，对数据的加工处理采用模型计算、分组聚合或表达式计算的方式，模型计算过程中派生数据是以历史数据和模型数据的指标作为自变量，某种模型函数的结果集，分组聚合是按照不同维度进行的分组聚合数据，比较长江的聚合函数有：合计、平均、最大值、最小值、加权平均值，表达式计算是以自变量在相同的维度背景下通过表达式对数据进行运算。

3.根据权利要求1所述的一种购电经营决策分析与数据处理方法，其特征在于：所述f步骤中数据联机分析采用时序计算、数据钻取、切片分析以及转轴分析。

4.根据权利要求3所述的一种购电经营决策分析与数据处理方法，其特征在于：所述时序计算是以时间作为一个字段以数值的形式存放于数据表中，利用SQL语言进行时序计算。

5.根据权利要求3所述的一种购电经营决策分析与数据处理方法，其特征在于：所述数据钻取分为向上钻取和向下钻取两种操作，向上钻取是找到上一层维度值，数据钻取是根据单个维度值对数据进行过滤，找到专属于某一维度的数据。

6.根据权利要求3所述的一种购电经营决策分析与数据处理方法，其特征在于：所述切片分析是根据单个维度值对数据进行过滤，找到专属于某一维度的数据，或者根据多个维度值对数据进行过滤，找到满足多维度条件的数据。

7.根据权利要求3所述的一种购电经营决策分析与数据处理方法，其特征在于：所述转轴分析是将数据的列变为数据行，数据行变为列，对数据表进行旋转后进行分析操作，数据经过转轴分析后，能够拥有新的维度。