CN109783716A - 一种电力供需数据自动提取和处理系统及方法 - Google Patents

Abstract

本发明公开了一种电力供需数据自动提取和处理系统及方法，包括在电网数据功能表中加载电网运行数据网页；对加载的电网运行数据网页进行处理，基于设定的分组规则提取出所需的电网运行数据，并将提取到的电网运行数据写入电力供需二维数据库；将电力供需二维数据库中的数据按预定位置写入当日的汇总分析功能表，将汇总分析功能表中的数据按设定的各种逻辑与电力供需二维数据库中的历史数据进行交互运算；通过汇总分析功能表中的电力供需数据，整合出设定时间段内电力供需形势。本发明解决了传统数据采集工具对电网运行数据提取成功率、运行可靠性不高和数据处理方法缺乏的技术问题。

Description

一种电力供需数据自动提取和处理系统及方法

技术领域

本发明属于数据处理技术领域，具体涉及一种电力供需数据自动提取和处理系统及方法。

背景技术

在电力市场营销工作中，需要对电力调度机构网站发布的电网运行数据进行处理、计算和分析，以求取市场营销决策所需的电力供需数据。由于电力调度机构提供的电网运行数据仅简单静态展示当日数据，其安全设置也不对外提供数据接口，且没有年月周累计、时段同比、高低特征值、曲线图等实际使用中需要的数据元素，数据使用方通过人工抄录方式进行统计分析，存在效率低下、操作繁琐、数据量大等问题，已不能满足使用方进行电力供需形势分析的要求。需要一种具备处理大量数据、易操作的自动化方法将工作人员从重复繁琐的工作中解脱出来，提高生产管理水平和工作效率。

现常用的大部分网页数据采集工具能实现网页数据提取功能，但其存在以下弊端：1.在电力调度机构不提供数据接口的情况下，这些数据采集工具的数据提取成功率得不到保障，其工具运作可靠性也高度依赖于第三方软件工具开发者，由于营销决策的时效性要求很高，软件工具的数据提取成功率和运行可靠性不足的话，对工作将没有实质帮助；2.即便上述工具能有效提取电网运行数据，但缺乏对提取后数据的进一步处理、计算和分析方法，尤其是缺乏通过日基础数据自动构建结构化二维数据库的处理和存储方法，使用者不能准确分析历史形势和未来趋势，不能及时、准确做出决策，甚至做出错误决策，提取的数据产生不了应有的效用。

发明内容

针对上述问题，本发明提出一种电力供需数据自动提取和处理系统及方法，实现了电力调度机构通过网页发布的电网运行数据进行自动提取和处理，解决了传统数据采集工具对电网运行数据提取成功率低、运行可靠性不高和数据处理方法缺乏的技术问题。

为实现上述技术目的、达到上述技术效果，本发明通过以下技术方案实现：

第一方面，本发明提供了一种电力供需数据自动提取和处理系统，包括：

数据抓取采集模块，所述数据抓取采集模块用于在电网数据功能表中加载电网运行数据网页；

数据处理及存储模块，所述数据处理及存储模块用于对数据抓取采集模块中加载的电网运行数据网页进行处理，基于设定的分组规则提取出所需的电网运行数据，并将提取到的电网运行数据写入电力供需二维数据库；

数据综合分析模块，所述数据综合分析模块用于将电力供需二维数据库中的数据按预定位置写入当日的汇总分析功能表，将汇总分析功能表中的数据按设定的各种逻辑与电力供需二维数据库中的历史数据进行交互运算；

趋势预判模块，所述趋势预判模块用于通过汇总分析功能表中的电力供需数据，整合出设定时间段内电力供需形势。

优选地，所述分组规则包括：

第一类：发电侧类信息，具体包括：电网发电计划、发电量，水电发电量、火电发电量及新能源发电量，统调及全网装机容量，统调及全网检修容量，水电检修容量及火电检修容量，水电可调容量及火电可调容量，火电缺煤停机容量，火电进煤、存煤量，火电存煤预警级别。

第二类：用电侧类信息，具体包括：省内、周边省份及西电东送供电量。

第三类：负荷特征值，具体包括：最高负荷及发生日期，最大峰谷差及发生日期。

第四类：其他类信息，具体包括根据发电侧和用电侧数据演算出的年、月、周累计及同比或环比数据。

优选地，所述基于设定的分组规则提取出所需的电网运行数据，并将提取到的电网运行数据写入电力供需二维数据库，具体为：

清除掉原电网运行数据网页中包含的网页控件元素，并将电网运行数据网页中的电网运行数据转换为结构化数据后存入数据转换功能表；

根据设定的分组规则，使用Select方法定位提取数据转换功能表中的电力供需数据，过滤不需要的原数据，对保留的数据进行汇总、组合排序，按预定字段对应写入电力供需二维数据库。

优选地，所述各种逻辑包括：

使用SUM函数进行年月周累计、同比计算；

使用MAX函数进行极值筛选。

第二方面，本发明提供了一种电力供需数据自动提取和处理方法，包括：

利用数据抓取采集模块在电网数据功能表中加载电网运行数据网页；

利用数据处理及存储模块对数据抓取采集模块中加载的电网运行数据网页进行处理，基于设定的分组规则提取出所需的电网运行数据，并将提取到的电网运行数据写入电力供需二维数据库；

利用数据综合分析模块将电力供需二维数据库中的数据按预定位置写入当日的汇总分析功能表，将汇总分析功能表中的数据按设定的各种逻辑与电力供需二维数据库中的历史数据进行交互运算；

利用趋势预判模块通过汇总分析功能表中的电力供需数据，整合出设定时间段内电力供需形势。

优选地，所述分组规则包括：

第一类：发电侧类信息，具体包括：电网发电计划、发电量，水电发电量、火电发电量及新能源发电量，统调及全网装机容量，统调及全网检修容量，水电检修容量及火电检修容量，水电可调容量及火电可调容量，火电缺煤停机容量，火电进煤、存煤量，火电存煤预警级别。

第二类：用电侧类信息，具体包括：省内、周边省份及西电东送供电量。

第三类：负荷特征值，具体包括：最高负荷及发生日期，最大峰谷差及发生日期。

第四类：其他类信息，具体包括根据发电侧和用电侧数据演算出的年、月、周累计及同比或环比数据。

优选地，所述基于设定的分组规则提取出所需的电网运行数据，并将提取到的电网运行数据写入电力供需二维数据库，具体为：

清除掉原电网运行数据网页中包含的网页控件元素，并将电网运行数据网页中的电网运行数据转换为结构化数据后存入数据转换功能表；

根据设定的分组规则，使用VBA的Select方法定位提取数据转换功能表中的电力供需数据，过滤不需要的原数据，对保留的数据进行汇总、组合排序，按预定字段对应写入电力供需二维数据库。

优选地，所述各种逻辑包括：

使用Select方法定位提取数据转换功能表中的电力供需数据；

使用PasteSpecial xlPasteValues方法实现数据存库；

使用For…Next循环进行同类数据的处理；

使用Shapes对象处理原电网运行数据中包含的网页控件元素；

使用SUM函数进行年月周累计、同比计算；

使用MAX函数进行极值筛选；

使用Address配合Match函数从二维数据库提取所需数据；

使用Datavalue配合Index函数实现跨年数据同比；

使用Indirect函数提取文本型数据；

使用Vlookup函数搜索对应关键字内容；

使用Font对象实现数据越限自动变色报警；

使用Protect方法实现数据防误删改保护。

与现有技术相比，本发明的有益效果：

本发明在数据提供方不提供数据接口的情况下，通过编程分析目标网页电网运行数据，实现数据的自动提取，大大简化了数据提取流程，数据提取实现所见即所得，提取成功率100％，流程的简化使得维护简单，提高了运行可靠性；进一步地，通过数据挖掘算法，对提取数据进行处理存储，构建结构化电力供需二维数据库，并在此基础上实现数据分析处理和电力供需形势的结果输出，不仅弥补了传统数据采集工具在数据处理方法上的缺乏，还按电量特征把电网数据进行分组，运用相关性分析，得出电力市场环境下的电力供需形势变化情况。

附图说明

图1为本发明一种实施例的电力供需数据自动提取和处理系统的结构示意图；

图2为本发明一种实施例的电力供需数据自动提取和处理方法的流程图；

图3为数据抓取采集模块加载电网运行数据网页示意图；

图4为数据处理及存储模块将数据存入数据转换功能表示意图；

图5为数据处理及存储模块将数据存入电力供需二维数据库示意图；

图6为数据综合分析模块进行数据汇总示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

本发明提供了一种电力供需数据自动提取和处理系统及方法，主要实现电力供需数据的自动提取，通过分组规则进行数据挖掘，通过相关性分析进行数据分析计算，建立电力供需结构化二维数据库，基于二维数据库提出一系列以需求为导向的结果输出方案，达到掌握电力市场环境下的电力供需形势的目的。

本发明的电力供需数据自动提取和处理方法一共包括两个过程，具体为：电力供需数据的自动提取过程和处理过程，其中，所述自动提取过程是通过VBA编程实现，所述处理过程主要通过建立分组规则，并对电力供需数据进行整合计算，最终实现电力供需数据的综合分析。

在实施前，需要预先建立电网数据功能表、数据转换功能表、汇总分析功能表、当年数据库以及历史数据库，并建立分组规则，所述分组规则指的是根据电量特征将电力供需数据进行分类，具体包括以下类型：

第一类：发电侧类信息，具体包括：电网发电计划、发电量，水电发电量、火电发电量及新能源发电量，统调及全网装机容量，统调及全网检修容量，水电检修容量及火电检修容量，水电可调容量及火电可调容量，火电缺煤停机容量，火电进煤、存煤量，火电存煤预警级别等。

第二类：用电侧类信息，具体包括：省内、周边省份及西电东送供电量等。

第三类：负荷特征值，具体包括：最高负荷及发生日期，最大峰谷差及发生日期等。

第四类：其他类信息，具体包括根据发电侧和用电侧数据演算出的年、月、周累计及同比(或环比)数据等。

实施例1

本发明实施例中提供了一种电力供需数据自动提取和处理系统，主要包括：数据抓取采集模块、数据处理及存储模块、数据综合分析模块和趋势预判模块；

所述的数据抓取采集模块用于在电网数据功能表中加载电网运行数据网页，并自动获取电网运行数据网页中的日期，具体参见图3；

所述数据处理及存储模块，用于对数据抓取采集模块中加载的电网运行数据网页进行处理，在本发明的一种具体实施例中，所述处理过程具体为：

清除掉原电网运行数据网页中包含的图片等网页控件元素，并将电网运行数据网页中的电网运行数据转换为结构化数据后存入数据转换功能表(此时的电网运行数据中包含第一类、第二类和第三类电力供需数据，以及大量与电力供需形势分析无关的数据)，由于数据量庞大，仅展示结构化后的部分数据如图4所示；

根据设定的分组规则，使用VBA的Select方法定位提取数据转换功能表中的电力供需数据，过滤不需要的原数据，对保留的数据进行汇总，组合排序，按预定字段(时间、全网电量、水电发电量、火电发电量、存煤、用煤等字段)对应写入结构化电力供需二维数据库，如图5所示：

所述数据综合分析模块将数据库中的数据按预定位置写入当日的汇总分析功能表，如图6所示：将汇总分析功能表中的数据(包括第一类、第二类、第三类、第四类数据)按各种逻辑与数据库中的历史数据进行交互运算(包括使用SUM函数进行年月周累计、同比计算、使用MAX函数进行极值筛选等)：

所述趋势预判模块用于通过汇总分析功能表中的电力供需数据，整合出设定时间段内电力供需形势，包括(年月周累计、负荷高低特征值、时段平均负荷、全网可调容量、检修容量、电煤预警情况等)，据此为市场营销决策提供依据。

实施例2

本发明实施例提供了一种电力供需数据自动提取和处理方法，如图2所示，包括以下步骤：

利用数据抓取采集模块在电网数据功能表中加载电网运行数据网页；

利用数据处理及存储模块对数据抓取采集模块中加载的电网运行数据网页进行处理，基于设定的分组规则提取出所需的电网运行数据，使用PasteSpecialxlPasteValues方法将提取到的电网运行数据写入电力供需二维数据库；

利用数据综合分析模块，使用使用For…Next循环进行同类数据的高效处理，使用Address配合Match函数从二维数据库提取所需数据，使用Datavalue配合Index函数实现跨年数据同比，使用Indirect函数提取文本型数据，使用Vlookup函数搜索对应关键字内容，将电力供需二维数据库中的数据按预定位置写入当日的汇总分析功能表，将汇总分析功能表中的数据按设定的各种逻辑与电力供需二维数据库中的历史数据进行交互运算；

利用趋势预判模块，使用Trend配合Offset函数插值计算和趋势判断，通过汇总分析功能表中的电力供需数据，整合出设定时间段内电力供需形势，使用Font对象实现数据越限自动变色报警。

在具体进行编程设计时，还需要进行下述步骤的设计：

1)对于数据抓取采集模块，需要进行数据转换功能表建立逻辑计算过程、数据采集逻辑计算过程和数据加载逻辑计算过程的设计；所述数据转换功能表建立逻辑计算过程为：判断数据转换功能表属性，若属性为空，则执行建立数据转换功能表命令，执行后进入数据综合分析逻辑；所述数据采集逻辑计算过程为：判断数据是否更新完成，若更新完成则加载数据并进入数据处理逻辑，若不是则进入数据加载逻辑；所述数据加载逻辑计算过程为：判断数据页面的属性，若属性为加载未完成，则进行数据加载，数据加载完成后进入数据处理逻辑；

2)对于数据处理及存储模块，需要进行数据处理逻辑计算过程、数据结构化逻辑计算过程和数据存储逻辑计算过程的设计，所述数据处理逻辑计算过程为：判断数据是否为结构化数据，若是则进入存储逻辑，若不是则进入数据结构化逻辑；数据结构化逻辑计算过程为：判断数据属性，若属性含有非结构化元素，则进行结构化处理，处理后进入数据存储逻辑；所述数据存储逻辑计算过程为：判断“数据转换功能表”是否建立，若建立则进行导入数据，并进入数据综合分析逻辑，若不是则进入数据转换功能表建立逻辑。

3)对于数据综合分析模块，需要进行数据综合分析逻辑计算过程、数据完整性检查逻辑计算过程和数据插补逻辑计算过程的设计；所述数据综合分析逻辑计算过程为：判断上述四类电力供需数据是否已计算完成，若计算完成则生成汇总分析功能表，并进入趋势预判逻辑，若不是则进入数据完整性检查逻辑；所述数据完整性检查逻辑计算过程为：判断今年数据库、去年数据库中对应日期电力供需数据属性是否为真，若为真则进入数据插补逻辑，若不是则进入数据加载逻辑；所述数据插补逻辑计算过程为：判断今年数据库、去年数据库中对应日期电力供需数据属性为空的元素，通过人工判定进行手动插补，插补后进入趋势判断逻辑。

4)对于趋势预判模块，需要进行趋势预判逻辑计算过程的设计，所述趋势预判逻辑计算过程为：判断日期和数据完整性，自动输出趋势判断结果。

采用传统方式的电力供需数据提取分析，首先进入电力供需数据系统，输入账号密码，选择报表功能，选择日期，人工抄录数据(共计上千条数据，即使是精简后也需抄录近200条数据)，再进行分析，一个完整的分析流程大概要耗费30分钟以上，数据量大，效率低下，且人工抄录的错误率较高；而采用本发明提出的一种电力供需数据自动提取和处理系统及方法，只需要运行本发明对应的软件，然后选择日期查询，程序自动输出结果，全程耗费大概10秒钟，该方法通过分组规则对数据进行筛选，再通过数据整合汇总相关原始数据和二次运算数据，为电力市场分析提供数据支持。

本发明的方法对应软件是一种数据提取分析方法的应用，但不限于电力供需数据处理，集数据加载、数据抓取、数据转换、数据处理、数据分析、数据库建立、数据维护、决策支持为一体。该方法也可以用其他编程语言实现，只需要灵活改动语法，即可完成移植，也可对数据提取的查找范围和字段名进行改变，配合不同的分析需求，程序应用和推广简单，适应性强。该方法的应用使得程序稳定性能较好，极少发生崩溃事件。此外，使用者可以根据自身需要修改计算方法，拓展应用于多种数据处理情景，具有很大的后期开发、推广应用前景。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种电力供需数据自动提取和处理系统，其特征在于，包括：

数据抓取采集模块，所述数据抓取采集模块用于在电网数据功能表中加载电网运行数据网页；

数据处理及存储模块，所述数据处理及存储模块用于对数据抓取采集模块中加载的电网运行数据网页进行处理，基于设定的分组规则提取出所需的电网运行数据，并将提取到的电网运行数据写入电力供需二维数据库；

数据综合分析模块，所述数据综合分析模块用于将电力供需二维数据库中的数据按预定位置写入当日的汇总分析功能表，将汇总分析功能表中的数据按设定的各种逻辑与电力供需二维数据库中的历史数据进行交互运算；

趋势预判模块，所述趋势预判模块用于通过汇总分析功能表中的电力供需数据，整合出设定时间段内电力供需形势。

2.根据权利要求1所述的一种电力供需数据自动提取和处理系统，其特征在于：所述分组规则包括：

第一类：发电侧类信息，具体包括：电网发电计划、发电量，水电发电量、火电发电量及新能源发电量，统调及全网装机容量，统调及全网检修容量，水电检修容量及火电检修容量，水电可调容量及火电可调容量，火电缺煤停机容量，火电进煤、存煤量，火电存煤预警级别。

第二类：用电侧类信息，具体包括：省内、周边省份及西电东送供电量。

第三类：负荷特征值，具体包括：最高负荷及发生日期，最大峰谷差及发生日期。

第四类：其他类信息，具体包括根据发电侧和用电侧数据演算出的年、月、周累计及同比或环比数据。

3.根据权利要求1或2所述的一种电力供需数据自动提取和处理系统，其特征在于：所述基于设定的分组规则提取出所需的电网运行数据，并将提取到的电网运行数据写入电力供需二维数据库，具体为：

清除掉原电网运行数据网页中包含的网页控件元素，并将电网运行数据网页中的电网运行数据转换为结构化数据后存入数据转换功能表；

根据设定的分组规则，使用Select方法定位提取数据转换功能表中的电力供需数据，过滤不需要的原数据，对保留的数据进行汇总、组合排序，按预定字段对应写入电力供需二维数据库。

4.根据权利要求1所述的一种电力供需数据自动提取和处理系统，其特征在于，所述各种逻辑包括：

使用SUM函数进行年月周累计、同比计算；

使用MAX函数进行极值筛选。

5.一种电力供需数据自动提取和处理方法，其特征在于，包括：

利用数据抓取采集模块在电网数据功能表中加载电网运行数据网页；

利用数据处理及存储模块对数据抓取采集模块中加载的电网运行数据网页进行处理，基于设定的分组规则提取出所需的电网运行数据，并将提取到的电网运行数据写入电力供需二维数据库；

利用数据综合分析模块将电力供需二维数据库中的数据按预定位置写入当日的汇总分析功能表，将汇总分析功能表中的数据按设定的各种逻辑与电力供需二维数据库中的历史数据进行交互运算；

利用趋势预判模块通过汇总分析功能表中的电力供需数据，整合出设定时间段内电力供需形势。

6.根据权利要求5所述的一种电力供需数据自动提取和处理方法，其特征在于：所述分组规则包括：

第一类：发电侧类信息，具体包括：电网发电计划、发电量，水电发电量、火电发电量及新能源发电量，统调及全网装机容量，统调及全网检修容量，水电检修容量及火电检修容量，水电可调容量及火电可调容量，火电缺煤停机容量，火电进煤、存煤量，火电存煤预警级别。

第二类：用电侧类信息，具体包括：省内、周边省份及西电东送供电量。

第三类：负荷特征值，具体包括：最高负荷及发生日期，最大峰谷差及发生日期。

第四类：其他类信息，具体包括根据发电侧和用电侧数据演算出的年、月、周累计及同比或环比数据。

7.根据权利要求5或6所述的一种电力供需数据自动提取和处理方法，其特征在于：所述基于设定的分组规则提取出所需的电网运行数据，并将提取到的电网运行数据写入电力供需二维数据库，具体为：

清除掉原电网运行数据网页中包含的网页控件元素，并将电网运行数据网页中的电网运行数据转换为结构化数据后存入数据转换功能表；

根据设定的分组规则，使用VBA的Select方法定位提取数据转换功能表中的电力供需数据，过滤不需要的原数据，对保留的数据进行汇总、组合排序，按预定字段对应写入电力供需二维数据库。

8.根据权利要求5所述的一种电力供需数据自动提取和处理方法，其特征在于，所述各种逻辑包括：

使用Select方法定位提取数据转换功能表中的电力供需数据；

使用PasteSpecial xlPasteValues方法实现数据存库；

使用For…Next循环进行同类数据的处理；

使用Shapes对象处理原电网运行数据中包含的网页控件元素；

使用SUM函数进行年月周累计、同比计算；

使用MAX函数进行极值筛选；

使用Address配合Match函数从二维数据库提取所需数据；

使用Datavalue配合Index函数实现跨年数据同比；

使用Indirect函数提取文本型数据；

使用Vlookup函数搜索对应关键字内容；

使用Font对象实现数据越限自动变色报警；

使用Protect方法实现数据防误删改保护。