CN111445349A - 一种适用于能源互联网的混合式数据存储处理方法及系统 - Google Patents

Abstract

本发明公开了一种适用于能源互联网的混合式数据存储处理方法及系统，包括，在结算周期的时间点，数据处理中心模块向信息节点周期性发送动作指令；信息节点接收指令后，向智能量测单元收集与信息节点相关设备的数据，同时信息节点配置独立的文件系统；数据存储于文件系统中生成文件库模块；信息节点在收集完每个时间点的数据后，数据库模块存储文件系统中指向文件的指针数据；利用多核结算策略处理数据库模块中的数据。本发明通过采用文件系统和数据库混合存储数据的方式，能够有效避免当前传统数据存储方法所面临的高流量问题，保障能源互联网数据存储和处理通畅、可靠，还能实现多核并列计算算法，有效减少数据存储和计算所需的时间。

Description

一种适用于能源互联网的混合式数据存储处理方法及系统

技术领域

本发明涉及能源互联网技术领域，尤其涉及一种适用于能源互联网的混合式数据存储处理方法及系统。

背景技术

随着传统能源面临资源枯竭、环境恶化等问题的凸显，风能、太阳能、潮汐能等清洁能源的综合利用越来越受到人们的重视。为此，世界各国纷纷提出构建以最大限度开发利用新能源、最大幅度提高能源综合利用效率为使命的新一代能源系统。能源互联网以电力为核心，将大量由分布式能量采集、储存装置和各种类型负载构成的新型电、气、热网络等能源节点互联起来，以实现能量双向流动的能量对等交换与共享。

保证控制、交易的及时性、有效性和可靠性，收集和分享必要信息是不可或缺的工作，信息技术是重要的技术支撑。能源互联网涉及设备众多，对信息技术的及时性、可靠性等要求较高。传统通信技术一般采用单数据库或分布式数据库对数据进行存储和处理，但该类方法经常会遇到高流量问题，尤其是对于规模较大的能源互联网，存储和处理的数据量更大，更容易发生流量堵塞等问题，导致信息出错或失效。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种适用于能源互联网的混合式数据存储处理方法，能够有效避免当前传统数据存储方法所面临的高流量问题。

为解决上述技术问题，本发明提供如下技术方案：包括，在结算周期的时间点，数据处理中心模块向信息节点周期性发送动作指令；所述信息节点接收指令后，向智能量测单元收集与所述信息节点相关设备的数据，同时所述信息节点配置独立的文件系统；所述数据存储于所述文件系统中生成文件库模块；所述信息节点在收集完每个时间点的数据后，所述数据库模块存储所述文件系统中指向文件的指针数据；利用多核结算策略处理所述数据库模块中的数据。

作为本发明所述的一种适用于能源互联网的混合式数据存储处理方法的一种优选方案，其中：利用所述文件库模块进行存储，包括，所述信息节点利用每个所述结算周期的起始时间点，在收集所述数据的同时建立所述文件库模块，将收集到的所述数据输送入所述文件库模块中进行存储。

作为本发明所述的一种适用于能源互联网的混合式数据存储处理方法的一种优选方案，其中：建立所述文件库模块，包括，建立第一层次文件，储存同一所述结算周期下的文件；建立第二层次文件，将储存的所述文件分发到对应需求的文件夹中；建立第三层次文件，将文件分发到有组织的所述文件夹中。

作为本发明所述的一种适用于能源互联网的混合式数据存储处理方法的一种优选方案，其中：建立所述文件库模块进行存储，具体包括，所述信息节点收集所述数据并构建一个根文件夹，获得所述第一层次文件；所述根文件夹利用所述结算周期的所述时间点的个数，构建对应不同所述时间点的多个二层文件夹；所述二层文件夹利用所述智能量测单元构建对应的三层文件夹，并存储所述智能量测单元在每个所述时间点下的测量数据和对应时间。

作为本发明所述的一种适用于能源互联网的混合式数据存储处理方法的一种优选方案，其中：存储的所述指针信息包括，时间戳信息的xml文件；能量信息的xml文件。

作为本发明所述的一种适用于能源互联网的混合式数据存储处理方法的一种优选方案，其中：利用所述多核结算策略处理所述数据，包括，将每个所述结算周期收集的所述数据分类到相应的时间段中，并汇总同一时间段内所述智能量测单元的所述数据。

作为本发明所述的一种适用于能源互联网的混合式数据存储处理方法的一种优选方案，其中：处理所述数据，具体包括，将数据集划分为M个分区，定义所述M是可用的内存核数；每个所述内存核接收一个所述分区；利用线程对所述智能量测单元内的所述数据进行排序，将所述同一时间段的所述数据进行连续排列，并执行缩减策略，完成聚合。

作为本发明所述的一种适用于能源互联网的混合式数据存储处理系统的一种优选方案，其中：包括，数据处理中心模块，用于管理、协调分配给所述信息节点的任务，统计电、气、热等形式的能量数值和相关费用，并生成一组所述时间段计算固定时间间隔内的费用，其包括所述智能量测单元，所述智能量测单元用于测量能源互联网中相关的源、荷、储等具体设备；文件库模块，用于存储所述同一结算周期下的所述文件，将所述文件分发到所需的诉述文件夹内；数据库模块，用于存储相关文件的所述指针信息，指向包含所述时间戳信息的xml文件和所述能量信息的xml文件；信息节点集中器，用于收集与之相关设备的智能量测读数，并储存数据。

本发明的有益效果：本发明通过采用文件系统和数据库混合存储数据的方式，能够有效避免当前传统数据存储方法所面临的高流量问题，保障能源互联网数据存储和处理通畅、可靠，同时，还能实现多核并列计算算法，有效减少数据存储和计算所需的时间。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的适用于能源互联网的混合式数据存储处理方法的流程示意图；

图2为本发明第一个实施例所述的适用于能源互联网的混合式数据存储处理方法的混合式数据存储和处理架构示意图；

图3为本发明第一个实施例所述的适用于能源互联网的混合式数据存储处理方法的文件系统层次结构示意图；

图4为本发明第三个实施例所述的适用于能源互联网的混合式数据存储处理系统的模块结构分布示意图；

图5为本发明第三个实施例所述的适用于能源互联网的混合式数据存储处理系统的网络结构分布示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

能源互联网依赖于先进的电力电子、信息和智能管理等技术，其中，信息技术是能源互联网实现智能互联的关键基础，对于一个含电、气、热，源、网、荷、储于一体的区域能源互联网而言，本实施例提出了一种适用于能源互联网的混合式数据存储处理方法，其信息系统包含一个数据处理中心，一个数据库，多个配置有独立文件系统的信息节点。数据通过文件系统和数据库，实现混合存储。

参照图1～图3，为本发明的第一个实施例，提供了一种适用于能源互联网的混合式数据存储处理方法，包括：

S1：在结算周期的时间点，数据处理中心模块100向信息节点周期性发送动作指令。

S2：信息节点接收指令后，向智能量测单元101收集与信息节点相关设备的数据，同时信息节点配置独立的文件系统。

S3：数据存储于文件系统中生成文件库模块200。参照图2，其中需要说明的是，利用文件库模块200进行存储，包括：

信息节点利用每个结算周期的起始时间点，在收集数据的同时建立文件库模块200，将收集到的数据输送入文件库模块200中进行存储。

进一步的，参照图3，建立文件库模块200，包括：

建立第一层次文件，储存同一结算周期下的文件；

建立第二层次文件，将储存的文件分发到对应需求的文件夹中；

建立第三层次文件，将文件分发到有组织的文件夹中。

具体的，建立文件库模块200进行存储，包括：

信息节点收集数据并构建一个根文件夹，获得第一层次文件；

根文件夹利用结算周期的时间点的个数，构建对应不同时间点的多个二层文件夹；

二层文件夹利用智能量测单元101构建对应的三层文件夹，并存储智能量测单元101在每个时间点下的测量数据和对应时间。

S4：信息节点在收集完每个时间点的数据后，数据库模块300存储文件系统中指向文件的指针数据。本步骤需要说明的是，存储的指针信息包括：

时间戳信息的xml文件；

能量信息的xml文件。

S5：利用多核结算策略处理数据库模块300中的数据。其中还需要说明的是，利用多核结算策略处理数据，包括：

将每个结算周期收集的数据分类到相应的时间段中，并汇总同一时间段内智能量测单元101的数据。

进一步的，处理数据，具体包括：

将数据集划分为M个分区，定义M是可用的内存核数；

每个内存核接收一个分区；

利用线程对智能量测单元101内的数据进行排序，将同一时间段的数据进行连续排列，并执行缩减策略，完成聚合。

为便于理解，本实施例还需要说明的是，数据处理中心模块100管理信息节点，负责管理和协调分配给信息节点的任务，并统计电、气、热等形式的能量数值和相关费用。另外数据处理中心模块100生成一组时间段来计算固定时间间隔内的费用。

信息节点的集中器从多个智能量测单元中收集、存储和返回能量数据。在接收和执行命令的意义上，它是一个被动节点。每隔一段时间，信息节点被要求收集与之相关设备的智能量测读数，并存储数据，以便后续按需处理。

智能量测单元101用于测量能源互联网中相关的源、荷、储等具体的设备。

本实施例提出文件系统由一个含有三个层次的结构树构成。其中第一层次包含了所有同一结算周期下的文件，第二和第三层次用于将文件分发到有组织的文件夹中。

数据库模块300则存储文件系统中指向文件的指针。

通俗的说，数据存储和处理具体流程如下：

(1)在每个结算周期的每个时间点，数据处理中心向每个信息节点发送收集数据的指示；

(2)信息节点收到指示后，向智能量测单元收集数据并向文件系统进行存储。在每个结算周期的起始时间点，信息节点在收集数据的同时，会建立一个根文件夹(文件系统的第一层次)，在该根文件夹下根据结算周期下的时间点个数，建立对应于不同时间点的多个文件夹(文件系统的第二层次)，在每个第二层次的文件夹下，再根据信息节点下的智能量测单元个数建立相同个数的文件夹，每个文件夹内建立单个智能量测单元在每个时间点下的测量数据和对应的具体时间(文件系统的第三层次)。如此，建立了完整的文件系统架构，后续该结算周期下所有时间点的数据只需负责对号输入即可。

(3)信息节点在收集完每个时间点的数据后，将相关文件的指针信息存于数据库中。

(4)在每个结算周期的最后，采用多核结算算法对数据库数据进行处理，便于对每个设备或用户的结算，以及日后数据的查询。

进一步地，多核结算算法为：对于每个结算周期收集的数据，将数据分类到相应的时间段中，然后汇总同一时间段内智能量测单元的数据。

算法步骤如下：

(1)将整个数据集划分为M个分区，其中M是可用的内存核数。

(2)每个内存核接收一个分区。

(3)对于每个智能量测单元，处理的线程遵循以下步骤：

排序：线程对智能量测单元数据进行排序，以便属于同一时间段的数据在内存中是连续的；

聚合：线程为每个时间段获取排序后的数值，并执行缩减操作。

实施例2

传统技术方法一般采用单数据库或分布式数据库的方式对数据进行存储和处理，经常会遇到高流量问题，尤其是对于规模较大的能源互联网，存储和处理的数据量更大，更容易发生流量堵塞、计算耗时长等问题。

基于上述问题，本实施例提出了一种适用于能源互联网的混合式数据存储处理方法，通过采用文件系统和数据库混合存储数据的方式，能够有效避免当前传统数据存储方法所面临的高流量问题，保障能源互联网数据存储和处理通畅、可靠。同时采用混合存储方式后，还能实现多核并列计算算法，有效减少数据存储和计算所需的时间。

因此为验证本实施例提出方法相对传统方法具有较高数据存储和计算效率，可有效避免高流量问题，特别是针对规模较大的能源互联网，本实施例中将采用传统单数据库方法和本发明方法分别对每个用户每个月(31天)进行一次费用结算，每个用户数据量为2976个智能量测读数/月(96个智能量测读数/天，即每15分钟一个智能量测读数)，通过比较扩展到每个信息节点的用户个数和数据处理实时性，测试对比传统方法和本发明方法的优劣。

测试环境：一个数据处理中心、一个信息节点；

每个数据处理中心都在主机中运行，每个信息节点都在虚拟机中运行。如下表所示：

表1：数据模拟的机器特性表。

经过虚拟机的模拟测试运行，分别获得传统方法及本发明方法在处理不同用户数量时的耗时对比数据，如表2所示：

表2：测试数据对比表。

传统单数据库方法在信息节点采用的虚拟机处理10万个用户的情况下，将日用电量数据存入数据库需耗时约1分钟，执行月账单查询需耗时约20分钟；另外，模拟两个含10万户的信息节点，每个信息节点的日数据在1分钟内同时存入，每月账单处理需耗时36分钟，但是，由于数据处理中心不能同时插入信息节点的数据，增加信息节点的数量降低了将数据插入数据库的性能。

本实施例方法在信息节点采用的虚拟机处理10万个用户的情况下，将日用电量数据存入数据库需耗时约0.5分钟，执行月账单查询需耗时约3分钟，模拟两个含10万户的信息节点，每个信息节点的日数据在0.5分钟内同时存入，每月账单处理需耗时约4分钟，模拟十个含10万户的信息节点，每个信息节点的日数据在0.6分钟内同时存入，每月账单处理需耗时约5分钟；另外，在采用文件系统的情况下，关键数据能同时插入数据库，数据库整体性能受信息节点的数量增加影响较少，验证了本发明方法能够避免高流量问题，提高计算效率的能力。

实施例3

参照图4和图5，为本发明的第三个实施例，该实施例不同于前两个实施例的是，提供了一种适用于能源互联网的混合式数据存储处理系统，包括，

数据处理中心模块100，用于管理、协调分配给信息节点的任务，统计电、气、热等形式的能量数值和相关费用，并生成一组时间段计算固定时间间隔内的费用，其包括智能量测单元101，智能量测单元101用于测量能源互联网中相关的源、荷、储等具体设备。

文件库模块200，用于存储同一结算周期下的文件，将文件分发到所需的诉述文件夹内。

数据库模块300，用于存储相关文件的指针信息，指向包含时间戳信息的xml文件和能量信息的xml文件。

信息节点集中器400，用于收集与之相关设备的智能量测读数，并储存数据。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种适用于能源互联网的混合式数据存储处理方法，其特征在于：包括，

在结算周期的时间点，数据处理中心模块(100)向信息节点周期性发送动作指令；

所述信息节点接收指令后，向智能量测单元(101)收集与所述信息节点相关设备的数据，同时所述信息节点配置独立的文件系统；

所述数据存储于所述文件系统中生成文件库模块(200)；

所述信息节点在收集完每个时间点的数据后，所述数据库模块(300)存储所述文件系统中指向文件的指针数据；

利用多核结算策略处理所述数据库模块(300)中的数据。

2.如权利要求1所述的适用于能源互联网的混合式数据存储处理方法，其特征在于：利用所述文件库模块(200)进行存储，包括，

所述信息节点利用每个所述结算周期的起始时间点，在收集所述数据的同时建立所述文件库模块(200)，将收集到的所述数据输送入所述文件库模块(200)中进行存储。

3.如权利要求1或2所述的适用于能源互联网的混合式数据存储处理方法，其特征在于：建立所述文件库模块(200)，包括，

建立第一层次文件，储存同一所述结算周期下的文件；

建立第二层次文件，将储存的所述文件分发到对应需求的文件夹中；

建立第三层次文件，将文件分发到有组织的所述文件夹中。

4.如权利要求3所述的适用于能源互联网的混合式数据存储处理方法，其特征在于：建立所述文件库模块(200)进行存储，具体包括，

所述信息节点收集所述数据并构建一个根文件夹，获得所述第一层次文件；

所述根文件夹利用所述结算周期的所述时间点的个数，构建对应不同所述时间点的多个二层文件夹；

所述二层文件夹利用所述智能量测单元(101)构建对应的三层文件夹，并存储所述智能量测单元(101)在每个所述时间点下的测量数据和对应时间。

5.如权利要求1或4所述的适用于能源互联网的混合式数据存储处理方法，其特征在于：存储的所述指针信息包括，

时间戳信息的xml文件；

能量信息的xml文件。

6.如权利要求1所述的适用于能源互联网的混合式数据存储处理方法，其特征在于：利用所述多核结算策略处理所述数据，包括，

将每个所述结算周期收集的所述数据分类到相应的时间段中，并汇总同一时间段内所述智能量测单元(101)的所述数据。

7.如权利要求1或6所述的适用于能源互联网的混合式数据存储处理方法，其特征在于：处理所述数据，具体包括，

将数据集划分为M个分区，定义所述M是可用的内存核数；

每个所述内存核接收一个所述分区；

利用线程对所述智能量测单元(101)内的所述数据进行排序，将所述同一时间段的所述数据进行连续排列，并执行缩减策略，完成聚合。

8.一种适用于能源互联网的混合式数据存储处理系统，其特征在于：包括，

数据处理中心模块(100)，用于管理、协调分配给所述信息节点的任务，统计电、气、热形式的能量数值和相关费用，并生成一组所述时间段计算固定时间间隔内的费用，其包括所述智能量测单元(101)，所述智能量测单元(101)用于测量能源互联网中相关的源、荷、储具体设备；

文件库模块(200)，用于存储所述同一结算周期下的所述文件，将所述文件分发到所需的诉述文件夹内；

数据库模块(300)，用于存储相关文件的所述指针信息，指向包含所述时间戳信息的xml文件和所述能量信息的xml文件；

信息节点集中器(400)，用于收集与之相关设备的智能量测读数，并储存数据。

Images