CN112381583A - 一种基于分布式内存计算技术的电力量费计算方法及装置 - Google Patents

Abstract

本发明提供一种基于分布式内存计算技术的电力量费计算方法，通过预设的分布式内存计算引擎来实现，包括：在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；基于营销档案数据和表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将电量计算结果与电量结算规则相结合进行电费计算，得到电费计算结果；将电量计算结果和电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。实施本发明，能克服现有技术中存在架构冗杂、计算时间较长、水平扩展和容错性不足等缺陷的问题，降低维护成本。

Description

一种基于分布式内存计算技术的电力量费计算方法及装置

技术领域

本发明涉及电力电量电费计算技术领域，尤其涉及一种基于分布式内存计算技术的电力量费计算方法及装置。

背景技术

在传统的电力市场中，电力电量的计费主要通过人工方式对每个用户或企业的电表进行电量统计以及电费计算。

随着大数据的发展，已出现通过数据库存储数据和使用存储过程来进行开放或表码查询，最后使用内存计算引擎来进行电量电费计算和量费计算。例如，专利申请号为201410608955.5，名称为一种同于电力的实时算费系统的发明专利，该系统包括数据库服务器、应用服务器、加密前置服务器和存储设备，采用分布式的B/A/S多层体系结构，对数据库服务器、应用服务器核客户端进行分层部署，达到了在低成本的前提下提高电力实时算费的效率和安全性。又如，专利申请号为201410710769.2，名称为一种海量用电数据分析系统及用电数据实时计算方法的发明专利，该系统包括：数据源、数据获取模块和数据存储模块；采用数据获取模块中的ETL方式从数据源中获取海量用电数据；根据计算所需要达到的指标，基于数据计算模块的Spark框架，采用内存并行计算技术对海量用电数据进行数据处理，并进行去噪、过滤重复主题/删除与制定目标无关的冗余和垃圾信息；基于数据计算模块的Spark框架，采用内存并行计算技术对数据处理结果进行汇总，并将汇总结果存储到数据仓库中；结合基础服务模块的GIS服务和/或可视化服务对数据仓库的数据进行展现。

但是，上述通过数据库进行电量电费计算的方式，存在架构冗杂、计算时间较长、水平扩展和容错性不足等缺陷。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于分布式内存计算技术的电力量费计算方法及装置，能克服现有技术中存在架构冗杂、计算时间较长、水平扩展和容错性不足等缺陷的问题，降低维护成本。

为了解决上述技术问题，本发明实施例提供了一种基于分布式内存计算技术的电力量费计算方法，其通过预设的分布式内存计算引擎来实现，所述方法包括以下步骤：

S1、在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；

S2、基于所述营销档案数据和所述表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将所述电量计算结果与所述电量结算规则相结合进行电费计算，得到电费计算结果；

S3、将所述电量计算结果和所述电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。

其中，所述方法进一步包括：

将所述电量计算结果和所述电费计算结果，从预设分布式文件系统对应存储计算结果的存储节点转移至预设营销系统的关系数据库中。

其中，在步骤S1之前，还包括以下步骤：

在检测到预设营销系统的关系数据库空闲时，分批次从预设营销系统的关系数据库中提取营销档案数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中；

采用分布式多线程并行方式，从预设计量系统的关系数据库中提取表码数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中。

其中，所述分布式多线程并行方式是先根据预定的数据分块规则，在分布节点上动态生成多个Spark DataFrame，再通过线程池启动多个线程来调用数据处理模块对每个Spark DataFrame进行并行处理来实现的。

其中，所述营销档案数据和所述表码数据均以列式存储的方式存储。

其中，所述方法进一步包括：

从预设分布式文件系统对应存储计算结果的存储节点中，获取所述电量计算结果和所述电费计算结果，并结合预设的量费核查逻辑，以进行数据核查，且在核查出有异常量费数据时，对所述异常量费数据进行分析并校正，进一步将核查后的电量计算结果和电费计算结果存储至对应原有的存储节点中。

其中，所述方法进一步包括：

在预设分布式文件系统对应存储原始数据的存储节点中，获取所述表码数据，并结合预设的表码核查逻辑，以进行数据校核，且在校核出所述表码数据有异常表码数据时，对所述异常表码数据进行校正后存储至对应原有的存储节点中，或根据所述异常表码数据生成异常数据表。

其中，所述方法进一步包括：

在对所述异常量费数据进行分析时，结合所述异常表码数据，以进行综合分析来得到所述异常量费数据与所述异常表码数据之间的关联性。

其中，所述方法进一步包括：

根据预设的定时任务，将所述异常量费数据和所述异常表码数据，从预设分布式文件系统各自对应的存储节点转移至预设营销系统的关系数据库中。

本发明实施例还提供了一种基于分布式内存计算技术的电力量费计算装置，包括分布式内存计算引擎；其中，所述分布式内存计算引擎包括：

获取单元，用于在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；

计算单元，用于基于所述营销档案数据和所述表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将所述电量计算结果与所述电量结算规则相结合进行电费计算，得到电费计算结果；

分布存储单元，用于将所述电量计算结果和所述电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。

实施本发明实施例，具有如下有益效果：

1、本发明将营销档案数据和表码数据集成到分布式文件系统中并以列式存储格式保存，可以提高数据的吞吐量，减少对关系型数据库的依赖，摆脱关系型数据库的限制，且整个计算过程全部基于分布式内存计算引擎进行处理，方案统一，代码能够实现复用，便于系统的维护和管理；

2、本发明的分布式内存计算引擎具备良好的横向扩展、容错能力，且相对于关系型数据库更适合数据校验和数值计算等操作，数据类型丰富，数据操作更加完备，并在系统稳定性、架构统一性、系统可扩展性以及容错性等方面均有提高，同时计算时间大大缩短，可进一步通过增加计算节点的方式来进行计算资源的水平扩展从而提升计算能力；

3、本发明通过实现错峰批量的方式将数据回流到关系型数据库中，为业务系统提供数据支撑，降低数据回流的时间，提升数据库使用率；

4、相对于传统方式从关系型数据库中数据提取时数据吞吐量明显受制于关系型数据库性能，本发明基于内存缓存，计算输入数据源由关系型数据库改为分布式文件系统，使得计算性能更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的一种基于分布式内存计算技术的电力量费计算方法的流程图；

图2为本发明实施例提供的一种基于分布式内存计算技术的电力量费计算装置中分布式内存计算引擎的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

发明人发现，通过数据库进行电量电费计算的传统方式，具有以下相关缺陷：

(1)由于关系型数据库和传统内存计算引擎不能进行横向扩展的特性，随着数据量增大处理时间也会越来越长，导致电量电费成本增多，同时也降低了计费效率；

(2)现有的关系型数据库仅提供了有限的数据类型和数据操作方法，虽然可以胜任结构化数据存储类的数据处理，然而对于异常数据判别以及数值计算等工作，关系型数据库在这方面的性能较低，无法很好地达到用户要求；

(3)对于同一个装置中的不同数据核查(如表码核查和量费核查)，一般需要采用两种技术方案实现，导致装置架构过于复杂，且代码不能进行有效复用，也不利于代码维护，增加装置维护成本的同时，在对于其它方面的数据核查或处理不能直接用原有的代码进行处理，增加了数据核查的工作量以及开发人员的任务量；

(4)关系型数据库在大规模数据交互时，数据不能满足大吞吐量的要求；

(5)现有的内存计算引擎在装置容错等方面存在性能及效果不足的问题，从而降低了装置稳定性以及数据处理的可靠性。

同时，发明人发现分布式文件系统的数据存储解决方案主要是将大问题划分为小问题，可将大量的文件均匀分布到多个数据服务器上后，使得每个数据服务器存储的文件数量就变少了。另外，分布式文件系统通过使用大文件存储多个小文件的方式，总能把单个数据服务器上存储的文件数降到单机能解决的规模，从而可以将大文件划分成多个相对较小的片段存储在多个数据服务器上。因此，基于分布式文件系统，发明人提出了一种新的内存并行计算方式来计算电力量费的方法。

如图1所示，为本发明实施例中，发明人提出的一种基于分布式内存计算技术的电力量费计算方法，该方法通过预设的分布式内存计算引擎来实现，所述方法包括以下步骤：

步骤S1、在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；

具体过程为，在步骤S1之前，采用SmartMing分析工具、Rhadoop分析工具、Spark框架等方式形成算法配置并由前台业务系统写入至关系型数据库中，且预设的分布式内存计算引擎通过内部处理方式将算法配置信息固化到算法调度中，实现后续对所有数据的处理。应当说明的是，关系型数据库中的数据都经去噪、过滤重复主题、删除与制定目标无关的冗余和垃圾信息等方式进行预处理来提高数据准确性，用以确保后续电费电量计算结果的可靠性。

相对于传统方式从关系型数据库中数据提取时数据吞吐量明显受制于关系型数据库性能，发明人将计算输入数据源由关系型数据库改为分布式文件系统，使得计算性能更高，从而减少对关系型数据库的依赖，摆脱关系型数据库的限制。

因此，在步骤S1之前，还包括以下步骤：

首先，在检测到预设营销系统的关系数据库空闲时，分批次(如按照时间段或存储区域)从预设营销系统的关系数据库中提取营销档案数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中，以列式存储的方式存储；其中，营销档案数据包括但不限于用户名称、区域地址、时间、电量、电费、异常情况等；分批次提取营销档案数据可以采用错峰分批的方式，按照预设的分批顺序。

其次，采用分布式多线程并行方式，从预设计量系统的关系数据库中提取表码数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中，以列式存储的方式存储。其中，表码数据包括但不限于电压数据、电流数据、功率因数数据、相位角数据、有功无功数据和/或电能电量数据；分布式多线程并行方式是先根据预定的数据分块规则，在分布节点上动态生成多个Spark DataFrame，再通过线程池启动多个线程来调用数据处理模块对每个Spark DataFrame进行并行处理来实现的，即相比于传统方式的单线程抽取表码文件，本发明实施例实现了多线程并行提取表码数据，大大提高数据吞吐量。

应当说明的是，此时分布式内存计算引擎可以实现以下几种功能：1)定义数据源与客户/项目之间的关系；2)定义数据在系统中的名称，支持中文和英文；3)定义数据的能源属性；4)对数据计算，包括但不限于常规的插入，编辑，修改，删除。

可以理解的是，分布式内存计算引擎还可以实现营销档案数据和表码数据的开放检索。例如，预先在分布式文件系统中设置若干个计算节点，并通过分布式文件系统中的计算节点对营销档案数据进行处理，根据预设的电量电费算法要求对营销档案数据汇总的计量点信息、计量点关系、变压器信息和变压器计量点等档案数据进行二次处理(包括分类、导出、编辑和生成图表等)，为后续电量计算提供数据基础。又如，以计量点为单位，结合表码数据的开放时间段，以计量点编号、资产编号等字段作为关联特征，将本期开放时间段的表码数据及其上期开放时间段的表码数据进行整合，最后将开放结果平均分成若干块数据对应的并行存储至分布式文件系统对应查询的若干个存储节点中。

应当说明的是，在数据处理过程中，计算节点的个数设置与所需处理的数据量成正比例，即当在数据量增加时，可通过增加分布式文件系统中的计算节点保证计算性能，避免出现系统崩溃或假死的情况。

步骤S2、基于所述营销档案数据和所述表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将所述电量计算结果与所述电量结算规则相结合进行电费计算，得到电费计算结果；

具体过程为，首先，基于营销档案数据和表码数据，确定电量结算规则；例如，根据用户要求(包括时间段、区域以及异常数据等要求)的营销档案数据和表码数据并按照营销系统月结方式，以设定电量结算规则。

其次，采用上述电量结算规则，在营销档案数据和表码数据中选取相应数据进行并列式的电量计算，得到电量计算结果；同时，采用上述电量结算规则，在上述电量计算结果的基础上，进行并列式的电费计算，得到电费计算结果。

步骤S3、将所述电量计算结果和所述电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中；

具体过程为，将电量计算结果和电费计算结果存储至分布式文件系统对应存储计算结果的存储节点中，即所有结果数据继续回流至分布式文件系统中，

步骤S4、将所述电量计算结果和所述电费计算结果，从预设分布式文件系统对应存储计算结果的存储节点转移至预设营销系统的关系数据库中。

具体过程为，将电量计算结果和电费计算结果以批量数据错峰方式转移至预设营销系统的关系数据库中，完成数据回流，为业务系统提供数据支撑。应当说明的是，转移过程中数据库的批量提交可以降低数据库重复创建连接，错峰回流则可以通过时间控制将回流任务配置在数据库空闲时进行数据回流，降低了数据回流的时间，提升了数据库使用率。

在本发明实施例中，可以对量费计算结果进行核查，核查完毕后将核查结果回流到分布式文件系统中。因此，所述方法进一步包括：

从预设分布式文件系统对应存储计算结果的存储节点中，获取电量计算结果和电费计算结果，并结合预设的量费核查逻辑，以进行数据核查，且在核查出有异常量费数据时，对异常量费数据进行分析并校正，进一步将核查后的电量计算结果和电费计算结果存储至对应原有的存储节点中。

在本发明实施例中，还可以对表码进行核查，核查完毕后将核查结果回流到分布式文件系统中。因此，所述方法进一步包括：

在预设分布式文件系统对应存储原始数据的存储节点中，获取表码数据，并结合预设的表码核查逻辑，以进行数据校核(包括有效性校验和非空校验等)，且在校核出表码数据有异常表码数据时，对异常表码数据进行校正后存储至对应原有的存储节点中，或根据异常表码数据生成异常数据表。

同时，在本发明实施例中，若核查有异常量费数据及异常表码数据，则可以对异常产生的情况进行追溯。因此，所述方法进一步包括：

在对异常量费数据进行分析时，结合异常表码数据，以进行综合分析来得到异常量费数据与异常表码数据之间的关联性，以回溯异常数据的起源及原因。

同时，在本发明实施例中，将异常量费数据与异常表码数据回流到关系型数据库。因此，所述方法进一步包括：

根据预设的定时任务，将异常量费数据和异常表码数据，从预设分布式文件系统各自对应的存储节点转移至预设营销系统的关系数据库中。

应当说明的是，转移过程中通过识别若干个存储节点的数据源标识，从而以批量数据错峰方式，对应的将上述异常量费数据和异常表码数据转移至关系型数据库中对应的位置，用以完成数据回流，可以降低数据回流的时间，提升数据库使用率。

如图2所示，为本发明实施例中，提供的一种基于分布式内存计算技术的电力量费计算装置，包括分布式内存计算引擎；其中，该分布式内存计算引擎包括：

获取单元110，用于在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；

计算单元120，用于基于所述营销档案数据和所述表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将所述电量计算结果与所述电量结算规则相结合进行电费计算，得到电费计算结果；

分布存储单元130，用于将所述电量计算结果和所述电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。

该分布式内存计算引擎还包括：

数据回流单元140，用于将所述电量计算结果和所述电费计算结果，从所述预设的分布式文件系统对应存储计算结果的存储节点转移至所述预设营销系统的关系数据库中。

实施本发明实施例，具有如下有益效果：

1、本发明将营销档案数据和表码数据集成到分布式文件系统中并以列式存储格式保存，可以提高数据的吞吐量，减少对关系型数据库的依赖，摆脱关系型数据库的限制，且整个计算过程全部基于分布式内存计算引擎进行处理，方案统一，代码能够实现复用，便于系统的维护和管理；

2、本发明的分布式内存计算引擎具备良好的横向扩展、容错能力，且相对于关系型数据库更适合数据校验和数值计算等操作，数据类型丰富，数据操作更加完备，并在系统稳定性、架构统一性、系统可扩展性以及容错性等方面均有提高，同时计算时间大大缩短，可进一步通过增加计算节点的方式来进行计算资源的水平扩展从而提升计算能力；

3、本发明通过实现错峰批量的方式将数据回流到关系型数据库中，为业务系统提供数据支撑，降低数据回流的时间，提升数据库使用率；

4、相对于传统方式从关系型数据库中数据提取时数据吞吐量明显受制于关系型数据库性能，本发明基于内存缓存，计算输入数据源由关系型数据库改为分布式文件系统，使得计算性能更高。

值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于分布式内存计算技术的电力量费计算方法，其特征在于，其通过预设的分布式内存计算引擎来实现，所述方法包括以下步骤：

S1、在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；

S2、基于所述营销档案数据和所述表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将所述电量计算结果与所述电量结算规则相结合进行电费计算，得到电费计算结果；

S3、将所述电量计算结果和所述电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。

2.如权利要求1所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述方法进一步包括：

将所述电量计算结果和所述电费计算结果，从预设分布式文件系统对应存储计算结果的存储节点转移至预设营销系统的关系数据库中。

3.如权利要求2所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，在步骤S1之前，还包括以下步骤：

在检测到预设营销系统的关系数据库空闲时，分批次从所述预设营销系统的关系数据库中提取营销档案数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中；

采用分布式多线程并行方式，从预设计量系统的关系数据库中提取表码数据，并存储至预设分布式文件系统对应存储原始数据的若干个存储节点中。

4.如权利要求3所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述分布式多线程并行方式是先根据预定的数据分块规则，在分布节点上动态生成多个Spark DataFrame，再通过线程池启动多个线程来调用数据处理模块对每个SparkDataFrame进行并行处理来实现的。

5.如权利要求4所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述营销档案数据和所述表码数据均以列式存储的方式存储。

6.如权利要求2所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述方法进一步包括：

从预设分布式文件系统对应存储计算结果的存储节点中，获取所述电量计算结果和所述电费计算结果，并结合预设的量费核查逻辑，以进行数据核查，且在核查出有异常量费数据时，对所述异常量费数据进行分析并校正，进一步将核查后的电量计算结果和电费计算结果存储至对应原有的存储节点中。

7.如权利要求6所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述方法进一步包括：

在预设分布式文件系统对应存储原始数据的存储节点中，获取所述表码数据，并结合预设的表码核查逻辑，以进行数据校核，且在校核出所述表码数据有异常表码数据时，对所述异常表码数据进行校正后存储至对应原有的存储节点中，或根据所述异常表码数据生成异常数据表。

8.如权利要求7所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述方法进一步包括：

在对所述异常量费数据进行分析时，结合所述异常表码数据，以进行综合分析来得到所述异常量费数据与所述异常表码数据之间的关联性。

9.如权利要求8所述的基于分布式内存计算技术的电力量费计算方法，其特征在于，所述方法进一步包括：

根据预设的定时任务，将所述异常量费数据和所述异常表码数据，从预设分布式文件系统各自对应的存储节点转移至预设营销系统的关系数据库中。

10.一种基于分布式内存计算技术的电力量费计算装置，其特征在于，包括分布式内存计算引擎；其中，所述分布式内存计算引擎包括：

获取单元，用于在预设分布式文件系统对应存储原始数据的存储节点中，获取营销档案数据和表码数据；

计算单元，用于基于所述营销档案数据和所述表码数据，确定电量结算规则，以进行电量计算来得到电量计算结果，并进一步将所述电量计算结果与所述电量结算规则相结合进行电费计算，得到电费计算结果；

分布存储单元，用于将所述电量计算结果和所述电费计算结果存储至预设分布式文件系统对应存储计算结果的存储节点中。

Images