CN110502718A - 一种电力信息系统高性能公式计算实现方法及系统 - Google Patents

Abstract

一种电力信息系统高性能公式计算实现方法，包括：根据电力信息系统中数据计算需求，将待计算的数据项作为参数带入预先定义的公式中，采用并行处理的方式进行计算，得到计算结果；将所述计算结果根据预先设置的映射配置存储到缓存系统中的存储目标表中。本发明提供的技术方案能够识别和处理多种来源的、多样化的数据结构的电力信息系统数据，满足了日常复杂业务的对数据处理要求，同时提高了公式计算的高效性，能够进行高吞吐量、高性能的数据并行计算。

Description

一种电力信息系统高性能公式计算实现方法及系统

技术领域

本发明涉及电力自动化领域，具体涉及一种电力信息系统高性能公式计算实现方法及系统。

背景技术

在公司、企业中，因为其内部业务职能等管理上的划分，往往会拥有多个业务子系统来满足各自业务上的需求，这些系统之间往往会存在数据共享。数据不是凭空产生的，软件系统的输入数据除了会由其它软件系统提供，线下非结构化数据的导入也是很常见的方式，例如Excel数据、普通文本数据等。对于数据的处理规则一定是由实际的业务规则来决定的，然而，在电力信息系统，这种实际的业务规则又具有多变和不确定性。

因此，采用硬编码的方式编写特定的功能处理数据灵活性比较差，总结主要体现在两个方面：其一，输入数据的不确定性需要经常新增或者修改数据读取接口程序；其二，当实际业务规则发生变化时，需要通过修改程序代码修改数据处理逻辑来适应新的业务规则要求，固化的数据处理方式显然是不能快速响应用户要求的。此外，面对如今海量的业务数据，越发频繁的计算频次，在传统的电力信息系统已经无法满足性能上的要求。

该领域研究重点是基于可配置化的高性能公式计算实现方法。市面上也有类似的ETL(Extract-Transform-Load)工具，然而这些工具往往属于一种通用型数据搬迁工具，只支持简单的数据转换、清洗功能，在电力信息系统，这些简单基本的功能是远远不能满足日常复杂业务的处理要求的。现在涉及电力信息系统数据处理相关的公式计算工具研究成果，采用三个维度进行标准化建模，并基于标准模型的公式化配置手段解决了因业务要求的变化导致需要及时修改调整程序代码的问题，具有一定的灵活性，但是，只是介绍了公式计算本身的实现方法，不支持计算数据源的多源化处理，并且没有介绍如何保证或者提高数据计算处理的效率问题。电力信息系统也有相应的软件实现，都属于集中式数据处理的单体应用软件，数据计算处理的性能较弱，无法满足如今较大规模数据的快速处理要求。

发明内容

为了解决现有技术中所存在的上述不足，本发明提供一种电力信息系统高性能公式计算实现方法及系统。

本发明提供的技术方案是：

一种电力信息系统高性能公式计算实现方法，其改进之处在于，所述方法包括：

根据电力信息系统中数据计算需求，将待计算的数据项作为参数带入预先定义的公式中，采用并行处理的方式进行计算，得到计算结果；

将所述计算结果根据预先设置的映射配置存储到存储系统中的存储目标表中；

其中，所述计算公式基于预先定义的公式模板采用公式预编译技术得到；所述预先设置的映射配置由通过预先定义的数据源获取的数据的各字段和所述计算结果的存储目标表中的各字段进行映射得到。

优选地，所述通过预先定义的数据源获取数据之后还包括：

将基于数据源获取的数据加载并序列化后存放到缓存系统；

对缓存系统中的数据进行多维度分组索引，将加载完成的所有数据记录按照设定的维度进行分组；

其中，所述数据源获取的数据种类包括：数据库表、视图、自定义SQL语句、Excel文件和文本文件；

数据源的数量由电力信息系统数据计算需求的数据确定；

序列化后的数据包括：数据ID、属性维度和数据值。

优选地，所述公式的定义包括：

根据电力信息系统中数据计算需求，定义公式的数据计算模版、名称和参数；

对所述公式模板进行预编译；

其中，所述公式的参数为数据的ID。

优选地，所述采用并行处理的方式进行计算包括：

根据业务需求确定待计算的公式和待计算的数据ID，按任务分发策略将计算任务分发给各个计算结点；

基于所述计算任务，各个计算结点进行并行计算，得到计算结果。

优选地，所述根据业务需求确定待计算的公式和待计算的数据ID，按任务分发策略将计算任务分发给各个计算结点包括：

根据业务需求确定待计算的公式和待计算的数据ID，若缓存系统中存在与所述公式名称和数据ID相同的公式计算结果时，则返回所述公式计算结果；若没有与所述数据ID和公式名称相同的公式计算结果时，则按任务分发策略将计算任务分发给各个计算结点，进行公式并行计算。

优选地，所述按任务分发策略将计算任务分发给各个计算结点之后还包括：

各个计算节点按照获取的数据ID，根据数据维度检索缓存系统中数据；

所述数据维度按照业务的实际需求进行确定，数据ID的值为所述确定后的数据维度中的所有值；

所述确定后的数据维度中的所有值从数据源定义的维度信息中获取。

优选地，所述任务分发策略包括：

策略1：按数据范围分配，把等量的数据分发给各个计算节点；

策略2：将待计算的数据的ID求Hash值，将所述Hash值的绝对值除以总计算节点数结果取余数，根据余数映射给各个计算节点。

优选地，所述基于所述计算任务，各个计算结点进行并行计算，得到计算结果包括：

各个计算结点进行并行计算，使用同一个业务逻辑，且计算节点之间的数据计算没有依赖关系。

优选地，所述数据源的定义还包括：

若原始数据发生变动，通过增量式更新的方式进行数据同步。

一种电力信息系统高性能公式计算实现系统，包括：计算模块和存储模块；

计算模块：用于根据电力信息系统中数据计算需求，将待计算的数据项作为参数带入预先定义的公式中，采用并行处理的方式进行计算，得到计算结果；

存储模块：用于将所述计算结果根据预先设置的映射配置存储到存储系统中的存储目标表中；

其中，所述计算公式基于预先定义的公式模板采用公式预编译技术得到；所述预先设置的映射配置由通过预先定义的数据源获取的数据的各字段和所述计算结果的存储目标表中的各字段进行映射得到。

与现有技术相比，本发明的有益效果为：

本发明提供的技术方案通过数据源定义了多种数据类型，并将缓存、公式预编译和分布式并行计算技术应用于公式计算中，能够识别和处理多种来源的、多样化的的数据结构的电力信息系统数据，满足了日常复杂业务的对数据处理要求，同时提高了公式计算的高效性，能够进行高吞吐量、高性能的数据并行计算；

本发明提供的技术方案易于理解，简单易行，便于推广应用。

附图说明

图1为本发明电力信息系统高性能计算实现方法示意图；

图2为本发明电力信息系统高性能计算实现系统示意图；

图3为本发明实施例1中加载到缓存系统中的数据源数据示意图；

图4为本发明实施例1中数据分组索引示意图；

图5为本发明实施例1中缓存数据快速检索示意图；

图6为本发明实施例3中公式计算过程示意图；

图7为本发明实施例3中任务分发过程示意图；

图8为本发明实施例1中数据源A实际加载到缓存系统中的数据；

图9为本发明实施例1中数据源B实际加载到缓存系统中的数据。

具体实施方式

为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。

实施例1

一种电力信息系统高性能公式计算实现方法，如图1所示，所述方法包括：

步骤1：根据电力信息系统中数据计算需求，将待计算的数据项作为参数带入预先定义的公式中，采用并行处理的方式进行计算，得到计算结果；

步骤2：将所述计算结果根据预先设置的映射配置存储到缓存系统中的存储目标表中；

其中，所述计算公式基于预先定义的公式模板采用公式预编译技术得到；所述预先设置的映射配置由通过预先定义的数据源获取的数据的各字段和所述计算结果的存储目标表中的各字段进行映射得到。

步骤1：根据电力信息系统中数据计算需求，将待计算的数据项作为参数带入预先定义的公式中，采用并行处理的方式进行计算，得到计算结果。

具体地，所述通过预先定义的数据源获取数据之后还包括：

将基于数据源获取的数据加载并序列化后存放到缓存系统；

对缓存系统中的数据进行多维度分组索引，将加载完成的所有数据记录按照设定的维度进行分组；

其中，所述数据源获取的数据种类包括：数据库表、视图、自定义SQL语句、Excel文件和文本文件；

数据源的数量由电力信息系统数据计算需求的数据确定；

序列化后的数据包括：数据ID、属性维度和数据值。

按照数据源定义信息加载到缓存系统中的序列化数据如图3所示，其中包含了数据的ID，以及每行数据的属性维度字段和值字段。

电厂有多台发电机组，对于电量的计量可能的情况是一台机组一个计量关口、多台机组共用一个计量关口，因此电厂总的上网电量是这些关口的综合电量。假设某电厂共有3处上网口径的计量关口分别为用a、b、c表示，为了简化模型，暂不考虑反向电量等因素，上网电量的计算可表述为如下公式：

Q_上网＝Q_a+Q_b+Q_c

根据上网电量计算规则采用公式计算的实现过程如下：

定义两个数据源A和B，其中A为待计算的上网电量结果数据源，B为关口计量电量数据源。A数据源包括ID、日期(datetime)、电厂ID(plantid)、上网电量(neteng)关键字段，B数据源包括ID、日期(datetime)、电厂ID(plantid)、关口ID(meterid)、关口电量(value)关键字段。

其中，[字段名＝值]表示数据源内的匹配条件，Match{字段名＝字段名}表示数据源间的匹配条件。

存储在缓存系统中的序列化数据的分组索引如图4所示，数据按照数据源定义的唯一约束维度进行分组，分组内容为数据记录的ID。

在未来将要逐步大规模开展的现货市场中，计算周期逐步缩短到日内甚至实时，以15分钟的计算周期为例，数据源A实际加载到缓存系统中的数据图8所示。

数据源B实际加载到缓存系统中的数据如图9所示。

具体地，所述公式的定义包括：

根据电力信息系统中数据计算需求，定义公式的数据计算模版、名称和参数；

对所述公式模板进行预编译；

其中，所述公式的参数为数据的ID。

具体地，所述采用并行处理的方式进行计算包括：

根据业务需求确定待计算的公式和待计算的数据ID，按任务分发策略将计算任务分发给各个计算结点；

基于所述计算任务，各个计算结点进行并行计算，得到计算结果。

具体地，所述根据业务需求确定待计算的公式和待计算的数据ID，按任务分发策略将计算任务分发给各个计算结点包括：

根据业务需求确定待计算的公式和待计算的数据ID，若缓存系统中存在与所述公式名称和数据ID相同的公式计算结果时，则返回所述公式计算结果；若没有与所述数据ID和公式名称相同的公式计算结果时，则按任务分发策略将计算任务分发给各个计算结点，进行公式并行计算。

具体地，所述按任务分发策略将计算任务分发给各个计算结点之后还包括：

各个计算节点按照获取的数据ID，根据数据维度检索缓存系统中数据；

所述数据维度按照业务的实际需求进行确定，数据ID的值为所述确定后的数据维度中的所有值；

所述确定后的数据维度中的所有值从数据源定义的维度信息中获取。

分组索引后的缓存数据的检索过程如图5所示。要获取Field1＝f1_00002且Field2＝f2_00002且Field3＝f3_00001的数据，只需要做两次交集运算即可，最后根据得到的ID直接从缓存系统中获取对应的数据。

具体地，所述任务分发策略包括：

策略1：按数据范围分配，把等量的数据分发给各个计算节点；

假设公式计算需要1000条数据和10个计算节点，1到100范围内的数据ID分发给1号计算节点，101到200范围内的数据ID分发给2号计算节点，以此类推。

策略2：将待计算的数据的ID求Hash值，将所述Hash值的绝对值除以总计算节点数结果取余数，根据余数映射给各个计算节点；

假设10个计算节点，其余数的值域为0到9，根据余数映射给各个计算节点。

具体地，所述基于所述计算任务，各个计算结点进行并行计算，得到计算结果包括：

各个计算结点进行并行计算，使用同一个业务逻辑，且计算节点之间的数据计算没有依赖关系。

数据计算是根据待计算的结果数据源A中的数据逐行计算的，以每一行的数据根据公式中的匹配关系从数据源B中检索数据，以数据源A中ID为“dc120190101000000”的待计算数据为例，首先根据datetime匹配，在数据源B中检索到3条数据，根据plantid匹配到6条数据，交集计算得到3条数据，最后根据各自的meterid，分别匹配到一条数据，根据公式运算关系将这3条数据的value值进行相加得到该电厂该时刻的上网电量值。各个时刻的上网电量计算是彼此互不影响相互独立的，可在分布式环境中完成，例如根据时刻区间划分每个计算节点的计算任务进行协同计算以提高整体计算性能。

具体地，所述数据源的定义还包括：

若原始数据发生变动，通过增量式更新的方式进行数据同步。

步骤2：将所述计算结果根据预先设置的映射配置存储到缓存系统中的存储目标表中。

上述只是以一个电厂的上网电量计算为例，现实中可能包含成千上万的大小电厂的电量计算，每个电厂有若干个计量关口、每个关口的计量周期以时刻(15分钟)计算，一个计量关口一天有96个点的数据，整个市场中所有电厂一天的数据量、一周的数据量、甚至一个月的数据量就已经相当庞大了。

电力信息系统的运行中有大量的数据计算需求，除电厂上网电量计算外，还包括省间联络线电量计算、电力交易中长期市场合同电量分劈计算、电力交易现货市场电能结算计算以及辅助服务市场的结算计算等，均能通过高性能公式计算实现多种、大规模数据的准确快速计算。

实施例2

一种电力信息系统高性能公式计算实现系统，如图2所示，包括：计算模块和存储模块；

计算模块：用于根据电力信息系统中数据计算需求，将待计算的数据项作为参数带入预先定义的公式中，采用并行处理的方式进行计算，得到计算结果；

存储模块：用于将所述计算结果根据预先设置的映射配置存储到存储系统中的存储目标表中；

其中，所述计算公式基于预先定义的公式模板采用公式预编译技术得到；所述预先设置的映射配置由通过预先定义的数据源获取的数据的各字段和所述计算结果的存储目标表中的各字段进行映射得到。

所述计算模块中，所述通过预先定义的数据源获取数据之后还包括：

将基于数据源获取的数据加载并序列化后存放到缓存系统；

对缓存系统中的数据进行多维度分组索引，将加载完成的所有数据记录按照设定的维度进行分组；

其中，所述数据源获取的数据种类包括：数据库表、视图、自定义SQL语句、Excel文件和文本文件；

数据源的数量由电力信息系统数据计算需求的数据确定；

序列化后的数据包括：数据ID、属性维度和数据值。

具体地，所述公式的定义包括：

根据电力信息系统中数据计算需求，定义公式的数据计算模版、名称和参数；

对所述公式模板进行预编译；

其中，所述公式的参数为数据的ID。

具体地，所述采用并行处理的方式进行计算包括：

根据业务需求确定待计算的公式和待计算的数据ID，按任务分发策略将计算任务分发给各个计算结点；

基于所述计算任务，各个计算结点进行并行计算，得到计算结果。

具体地，所述根据业务需求确定待计算的公式和待计算的数据ID，按任务分发策略将计算任务分发给各个计算结点包括：

根据业务需求确定待计算的公式和待计算的数据ID，若缓存系统中存在与所述公式名称和数据ID相同的公式计算结果时，则返回所述公式计算结果；若没有与所述数据ID和公式名称相同的公式计算结果时，则按任务分发策略将计算任务分发给各个计算结点，进行公式并行计算。

具体地，所述按任务分发策略将计算任务分发给各个计算结点之后还包括：

各个计算节点按照获取的数据ID，根据数据维度检索缓存系统中数据；

所述数据维度按照业务的实际需求进行确定，数据ID的值为所述确定后的数据维度中的所有值；

所述确定后的数据维度中的所有值从数据源定义的维度信息中获取。

具体地，所述任务分发策略包括：

策略1：按数据范围分配，把等量的数据分发给各个计算节点；

策略2：将待计算的数据的ID求Hash值，将所述Hash值的绝对值除以总计算节点数结果取余数，根据余数映射给各个计算节点。

具体地，所述基于所述计算任务，各个计算结点进行并行计算，得到计算结果包括：

各个计算结点进行并行计算，使用同一个业务逻辑，且计算节点之间的数据计算没有依赖关系。

具体地，所述数据源的定义还包括：

若原始数据发生变动，通过增量式更新的方式进行数据同步。

实施例3

公式计算过程如图6所示，包括以下步骤：

步骤1：根据电力信息系统中数据计算需求，将待计算的数据项作为参数带入预先定义的公式中，采用并行处理的方式进行计算，得到计算结果。

定义数据源(A)、(B)和(C)，并将数据源中的数据加载并序列化后存放到缓存系统；

数据源(A)为待计算的结果数据源，还需要配置存储结果映射信息：将数据源中数据项的字段ID、field1、field2、field3和value分别与计算结果的存储目标表xxx/计算结果.xlsx中的列A、C、D、E和F形成映射配置；

根据业务需求配置公式，预编译后形成公式模版；

通过数据源(A)的ID调用形成的公式模版，将A中数据逐行带入z，根据匹配规则从(B)、(C)中匹配符合要求的数据，并作为公式的参数执行计算，得到计算结果；

计算采用并行形式，如图7所示，各个计算节点根据任务分发策略得到的计算数据ID，从缓存系统中检索数据执行计算。任务分发策略为按数据范围分配时，计算节点1负责数据源(A)中数据ID为1000001的计算，计算节点2负责数据源(A)中数据ID为1000002的计算，以此类推，各个节点执行同一公式计算不同部分的数据，共同完成整个任务的计算。

步骤2：将所述计算结果根据预先设置的映射配置存储到缓存系统中的存储目标表中。

采用并发存储的形式，将计算结果按照映射配置传到存储目标表xxx/计算结果.xlsx中。

上述实施例证明，本发明提供的技术方案通过数据源定义了多种数据类型，并将缓存、公式预编译和分布式并行计算技术应用于公式计算中，能够识别和处理多种来源的、多样化的的数据结构的电力信息系统数据，满足了日常复杂业务的对数据处理要求，同时提高了公式计算的高效性，能够进行高吞吐量、高性能的数据并行计算；

本发明提供的技术方案易于理解，简单易行，便于推广应用。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种电力信息系统高性能公式计算实现方法，其特征在于，所述方法包括：

根据电力信息系统中数据计算需求，将待计算的数据项作为参数带入预先定义的公式中，采用并行处理的方式进行计算，得到计算结果；

将所述计算结果根据预先设置的映射配置存储到缓存系统中的存储目标表中；

其中，所述计算公式基于预先定义的公式模板采用公式预编译技术得到；所述预先设置的映射配置由通过预先定义的数据源获取的数据的各字段和所述计算结果的存储目标表中的各字段进行映射得到。

2.如权利要求1所述的电力信息系统高性能公式计算实现方法，其特征在于，所述通过预先定义的数据源获取数据之后还包括：

将基于数据源获取的数据加载并序列化后存放到缓存系统；

对缓存系统中的数据进行多维度分组索引，将加载完成的所有数据记录按照设定的维度进行分组；

其中，所述数据源获取的数据种类包括：数据库表、视图、自定义SQL语句、Excel文件和文本文件；

数据源的数量由电力信息系统数据计算需求的数据确定；

序列化后的数据包括：数据ID、属性维度和数据值。

3.如权利要求2所述的电力信息系统高性能公式计算实现方法，其特征在于，所述公式的定义包括：

根据电力信息系统中数据计算需求，定义公式的数据计算模版、名称和参数；

对所述公式模板进行预编译；

其中，所述公式的参数为数据的ID。

4.如权利要求3所述的电力信息系统高性能公式计算实现方法，其特征在于，所述采用并行处理的方式进行计算包括：

根据业务需求确定待计算的公式和待计算的数据ID，按任务分发策略将计算任务分发给各个计算结点；

基于所述计算任务，各个计算结点进行并行计算，得到计算结果。

5.如权利要求4所述的电力信息系统高性能公式计算实现方法，其特征在于，所述根据业务需求确定待计算的公式和待计算的数据ID，按任务分发策略将计算任务分发给各个计算结点包括：

根据业务需求确定待计算的公式和待计算的数据ID，若缓存系统中存在与所述公式名称和数据ID相同的公式计算结果时，则返回所述公式计算结果；若没有与所述数据ID和公式名称相同的公式计算结果时，则按任务分发策略将计算任务分发给各个计算结点，进行公式并行计算。

6.如权利要求5所述的电力信息系统高性能公式计算实现方法，其特征在于，所述按任务分发策略将计算任务分发给各个计算结点之后还包括：

各个计算节点按照获取的数据ID，根据数据维度检索缓存系统中数据；

所述数据维度按照业务的实际需求进行确定，数据ID的值为所述确定后的数据维度中的所有值；

所述确定后的数据维度中的所有值从数据源定义的维度信息中获取。

7.如权利要求5所述的电力信息系统高性能公式计算实现方法，其特征在于，所述任务分发策略包括：

策略1：按数据范围分配，把等量的数据分发给各个计算节点；

策略2：将待计算的数据的ID求Hash值，将所述Hash值的绝对值除以总计算节点数结果取余数，根据余数映射给各个计算节点。

8.如权利要求5所述的电力信息系统高性能公式计算实现方法，其特征在于，所述基于所述计算任务，各个计算结点进行并行计算，得到计算结果包括：

各个计算结点进行并行计算，使用同一个业务逻辑，且计算节点之间的数据计算没有依赖关系。

9.如权利要求2所述的电力信息系统高性能公式计算实现方法，其特征在于，所述数据源的定义还包括：

若原始数据发生变动，通过增量式更新的方式进行数据同步。

10.一种电力信息系统高性能公式计算实现系统，其特征在于，所述系统包括：计算模块和存储模块；

计算模块：用于根据电力信息系统中数据计算需求，将待计算的数据项作为参数带入预先定义的公式中，采用并行处理的方式进行计算，得到计算结果；

存储模块：用于将所述计算结果根据预先设置的映射配置存储到存储系统中的存储目标表中；

其中，所述计算公式基于预先定义的公式模板采用公式预编译技术得到；所述预先设置的映射配置由通过预先定义的数据源获取的数据的各字段和所述计算结果的存储目标表中的各字段进行映射得到。