CN116226250A

CN116226250A - 针对发电领域海量时序数据管理的汇聚式管理方法及系统

Info

Publication number: CN116226250A
Application number: CN202310173254.2A
Authority: CN
Inventors: 程睿君; 沈阳丽; 刘曙元; 吉云; 吴菲; 王小光
Original assignee: Guoneng Xinkong Internet Technology Co Ltd
Current assignee: Guoneng Xinkong Internet Technology Co Ltd
Priority date: 2023-02-16
Filing date: 2023-02-16
Publication date: 2023-06-06

Abstract

本发明提供了一种针对发电领域海量时序数据管理的汇聚式管理方法及系统，包括：构建单元实时数据库并设置管理中心，每个单元实时数据库分别负责一个子集的时序数据管理，将各单元实时数据库在管理中心处注册登记；管理中心对各单元实时数据库进行状态监测；管理中心对各单元实时数据库进行数据范围分配和对外部数据访问进行数据定位；汇聚式时序数据管理系统API响应客户端应用的数据请求，管理中心提供该数据请求所对应的单元实时数据库定位信息和数据请求的应答信息，由虚拟的测点总集对外提供时序数据服务。本发明能够将多个相互独立的单元实时数据库汇聚成为大容量高性能的时序数据管理系统，满足集团级海量规模发电生产数据汇集管控的需求。

Description

针对发电领域海量时序数据管理的汇聚式管理方法及系统

技术领域

本发明涉及发电生产数据管理的技术领域，更具体地，涉及一种针对发电领域海量时序数据管理的汇聚式管理方法及系统。

背景技术

随着发电行业数字化和智能化的发展，发电生产过程中所产生的大量时序数据作为一种宝贵资源在企业的生产经营中发挥着越来越重要的作用。这些数据需要长期存储、快速检索，并作为生产数据分析、数据挖掘、优化控制与优化管理的基础。尤其是对于一些大型发电或能源集团，拥有超高体量的数据、设备、人员等资源，使用最新的信息化技术和手段，进行集团级大范围、深层次的生产数据采集和统一管控是这些企业提高竞争力、实现降本增效的必然选择。

现有时序数据管理通常采用实时历史数据库系统，一般这类型技术适用于厂级/区域/分公司级实时/历史数据的采集、存储、分析、发布。进行集团级大范围、深层次的数据采集、实现数据集中时，面对集团级海量数据汇集管理的需求，飙升的数据量，以及更高的大数据分析需求，现有技术在数据规模、系统容量、读写性能、并发性等方面无法达到要求的问题。

现有技术文件1提供了一种数据处理方法及装置、系统、计算机可读存储介质，该系统包括：数据节点集群、管理节点和多个代理节点，数据节点集群包括多个存储节点，每个存储节点包括多个存储分片，每个存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象；管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务，目标聚合任务携带目标数据对象；目标代理节点用于根据该目标聚合任务向目标存储节点发送聚合请求，该聚合请求携带目标数据对象；目标存储节点用于根据该聚合请求从目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。本申请有助于提高数据处理效率。

现有技术文件1提供的时序数据并行聚合处理的方法，用于从目标存储节点并行获取时序数据、并行进行聚合，改善ES服务器集群存储节点对时序数据单线程聚合的效率问题。但其不涉及目标存储节点本身时序数据如何分片、服务器集群如何存储等问题。该方法重点侧重于从存储节点并行获取数据和聚合数据，属于数据处理领域。

发明内容

为解决现有技术中存在的不足，本发明提供一种针对发电领域海量时序数据管理的汇聚式管理方法，可将多个单元实时数据库汇聚成为大容量高性能的时序数据管理系统，以解决面对集团级海量数据汇集管理的需求时现有技术在数据规模、系统容量、读写性能、并发性等方面无法达到要求的问题。

本发明采用如下的技术方案。

一种针对发电领域海量时序数据管理的汇聚式管理方法，包括如下步骤：

步骤1，构建若干独立的单元实时数据库并设置管理中心，每个单元实时数据库分别负责一个子集的时序数据管理，并将各单元实时数据库在管理中心处进行注册登记；

步骤2，管理中心对各单元实时数据库进行状态监测；

步骤3，管理中心对各单元实时数据库进行数据范围分配和对外部数据访问进行数据定位；

步骤4，汇聚式时序数据管理系统API响应客户端应用的数据请求，管理中心提供该数据请求所对应的单元实时数据库定位信息，由对应单元数据库提供数据请求的应答信息，基于由各单元实时数据库所负责的测点子集汇集形成虚拟的测点总集对外提供时序数据服务。

优选地，所述步骤1中：

汇聚式时序数据管理系统中两个相互独立的单元实时数据库可作为一个单体整体接受管理中心调度和分配管理，建立高可用机制；

建立高可用机制的两个相互独立的单元实时数据库所管理的测点子集数据范围分配一致，相互之间数据冗余备份；

管理中心根据节点负荷情况在高可用节点内部进行数据访问请求的负荷分配。

优选地，所述步骤2还包括：

步骤2-1，管理中心建立子节点状态表，对分布在各网络节点上的单元实时数据库的在线、离线状态进行管理；

步骤2-2，管理中心启动时进行各节点上的单元实时数据库状态进行侦探，将各单元实时数据库状态记录到子节点状态表；

步骤2-3，管理中心通过定时心跳检测机制，检测各单元实时数据库在线、离线状态，维护子节点状态表。

优选地，所述步骤3还包括：

步骤3-1，管理中心建立数据范围分配表，对分布在各网络节点上的单元实时数据库的数据范围进行管理；

步骤3-2，管理中心启动时对各节点上的单元实时数据库管理的测点子集、数据范围情况进行侦探，记录到数据范围分配表；

步骤3-3，汇聚式时序数据管理系统中需新增测点数据纳入管理时，先通过管理中心通过预定策略进行分配，指定到某个单元实时数据库，管理中心记录到数据范围分配表。

优选地，所述子步骤3-3还包括：

按照测点点名前缀作为数据特征，作为各单元实时数据库管理测点子集的数据范围划定的依据；各单元实时数据库间的测点子集不能有重复交集；

新增测点的数据特征属于现有某单元实时数据库管理测点子集的数据范围时分配到现有单元实时数据库；

新增测点的数据特征不属于任何现有单元实时数据库管理测点子集的数据范围时按照各单元实时数据库系统负荷、库容量及存储空间情况等因素按照加权动态进行排序，按照排序顺序择优分配。

优选地，针对发电领域海量时序数据管理的汇聚式管理方法，其特征在于，

所述步骤4还包括：

步骤4-1，客户端应用通过调用汇聚式时序数据管理系统API进行时序数据访问请求；

步骤4-2，汇聚式时序数据管理系统API先访问管理中心，管理中心按照请求数据的数据特征、数据范围分配表进行检索，找到对应的单元实时数据库，返回到汇聚式时序数据管理系统API；

步骤4-3，汇聚式时序数据管理系统API通过该单元实时数据库提供的底层API获取访问结果，将访问结果返回到客户端应用。

本发明还提供了一种利用所述针对发电领域海量时序数据管理的汇聚式管理方法的针对发电领域海量时序数据管理的汇聚式管理系统，包括：管理中心、单元实时数据库和汇聚式时序数据管理系统API；

其中，管理中心用于对各单元实时数据库的状态监测和管理、数据范围分配；用于外部客户端应用访问请求的定位；

单元实时数据库用于对分配范围内的测点子集的时序数据管理；

汇聚式时序数据管理系统API用于客户端应用对汇聚式时序数据管理系统的访问，调用接口和调用规范保持和底层单元实时数据库API兼容。

优选地，所述管理中心还包括状态检测模块、数据分配模块和负荷分配模块；

其中，状态检测模块用于管理中心对各节点上的单元实时数据库状态侦探和心跳检测；

数据分配模块用于管理中心对各单元实时数据库间的数据范围分配以及客户端应用访问请求的定位；

负荷分配模块用于用于管理中心对高可用节点内部数据访问请求的负荷分配。

优选地，所述单元实时数据库类型为单机版实时数据库类型，且在同一个汇聚系统内部各单元采用同种实时数据库类型。

本发明还提供了一种终端，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行所述针对发电领域海量时序数据管理的汇聚式管理方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述针对发电领域海量时序数据管理的汇聚式管理方法的步骤。

本发明的有益效果在于，与现有技术相比，本发明所提供的针对发电领域海量时序数据管理的汇聚式管理方法和系统，可将多个相互独立的单元实时数据库汇聚成为大容量高性能的时序数据管理系统。通过汇聚多个单元实时数据库形成统一的汇聚式时序数据管理系统，该系统可通过增加节点进行线性扩展，在系统的数据规模、系统容量、读写性能、并发性等方面可满足集团级海量规模发电生产数据汇集管控的需求；汇聚式时序数据管理系统具备和底层所用的单元实时数据库API兼容的调用接口和规范，客户端应用层面无需进行修改和适配，可实现无缝衔接。

附图说明

图1为本发明提供的针对发电领域海量时序数据管理的汇聚式管理方法的流程图；

图2为本发明提供的针对发电领域海量时序数据管理的汇聚式管理系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的有所其它实施例，都属于本发明的保护范围。

如图1所示，本发明提供了一种针对发电领域海量时序数据管理的汇聚式管理方法，其中，本发明中的海量指千万测点以上的数据规模，测点是时序数据管理中的最小单位；该方法具体包括如下步骤：

步骤1，构建若干独立的单元实时数据库并设置管理中心，每个单元实时数据库分别负责一个测点子集的时序数据管理并在管理中心注册登记，管理中心对各单元实时数据库进行管理使其能够彼此协作。

其中，单元实时数据库类型可以为VeStore、openplant、golden、pi或其他常见单机版实时数据库类型，在同一个汇聚系统内部各单元应当采用同种实时数据库类型。

根据测点子集的个数构建单元实时数据库，所构建单元实时数据库的个数与测点子集相同，本发明中的测点子集至少为两个，则构建的单元实时数据库至少为两个。各单元实时数据库对所负责的测点子集有完整的拥有权和管理权，具备完整的时序数据管理功能，原有数据管理功能在组成汇聚式时序数据管理系统时不需增加和修改。

其中，原有的数据管理功能包括：缓存、压缩、索引、归档、检索等，本发明可支持底层采用不同种类的实时数据库类型，作为单元实时数据库，用作单元实时库的同时该类型数据库自身无需做任何的升级或修改，因此其原有的数据管理功能依然能够使用。

各单元实时数据库在管理中心处进行注册登记，记录该节点的网络位置信息，其中，节点指单元实时数据库。

各单元实时数据库分别负责一个测点子集，由各单元实时数据库所负责的测点子集汇集形成虚拟的测点总集，对外提供基于测点总集的时序数据管理服务；

进一步的，汇聚式时序数据管理系统中两个相互独立的单元实时数据库可作为一个高可用单元组整体接受管理中心调度和分配管理，建立高可用机制；建立高可用机制的两个相互独立的单元实时数据库所管理的测点子集数据范围分配一致，相互之间数据冗余备份；

管理中心根据高可用单元组中各个节点负荷情况在高可用单元组内部进行数据访问请求的负荷分配。由若干彼此协作且又相互独立的单元实时数据库组合构成汇聚式时序数据管理系统。

步骤2，管理中心对各单元实时数据库进行状态监测；

具体的，步骤2还包括：

步骤2-1，管理中心建立子节点状态表对分布在各网络节点上的单元实时数据库的在线、离线状态进行管理；

步骤3，管理中心对各单元实时数据库进行数据范围分配、对外部数据访问进行数据定位；

具体的，步骤3还包括：

步骤3-1，管理中心建立数据范围分配表对分布在各网络节点上的单元实时数据库的数据范围进行管理；

进一步的，将新增测点数据纳入管理时，通过管理中心通过预定策略进行分配还包括：

步骤4，汇聚式时序数据管理系统API响应客户端应用的数据请求，管理中心提供该数据请求所对应的单元实时数据库节点的定位信息，对应节点的单元数据库提供数据请求的具体应答信息，基于由各单元实时数据库所负责的测点子集汇集形成虚拟的测点总集对外提供时序数据服务。

具体的，数据访问请求发生时，汇聚式时序数据管理系统API先与管理中心互动获取该访问数据所对应的单元实时数据库，然后调用该单元实时数据库提供的底层API接口获取访问结果。步骤4还包括：

步骤4-1，客户端应用通过汇聚式时序数据管理系统API进行数据请求；

步骤4-3，汇聚式时序数据管理系统API通过该单元实时数据库提供的底层API获取访问结果。将访问结果返回到客户端应用。

其中，如包括多份数据的访问结果则需要先进行组装，再将组装后的访问结果返回客户端应用。

如图2所示，本发明还提供了一种针对发电领域海量时序数据管理的汇聚式管理系统，上述针对发电领域海量时序数据管理的汇聚式管理方法能够基于该系统实现，该系统具体包括：管理中心410、单元实时数据库420和汇聚式时序数据管理系统API430；

其中，管理中心410用于对各单元实时数据库的状态监测和管理、数据范围分配；用于外部客户端应用访问请求的定位；

进一步的，管理中心410还包括状态检测模块440、数据分配模块450和负荷分配模块460；

状态检测模块440用于管理中心对各节点上的单元实时数据库状态侦探和心跳检测；

数据分配模块450用于管理中心对各单元实时数据库间的数据范围分配以及客户端应用访问请求的定位；

负荷分配模块460用于管理中心对高可用节点内部数据访问请求的负荷分配。

单元实时数据库420用于对分配范围内的测点子集的时序数据管理；

具体的，单元实时数据库类型包括但不限于以下任意一种：VeStore、openplant、golden、pi或其他常见单机版实时数据库类型，在同一个汇聚系统内部各单元应当采用同种实时数据库类型。

汇聚式时序数据管理系统API 430用于客户端应用对汇聚式时序数据管理系统的访问，调用接口和调用规范保持和底层单元实时数据库API兼容。

为了验证本发明的实际应用中，结合如下的示例对针对本发明所提出的发电领域海量时序数据管理的汇聚式管理方法进行说明：

如下表1所示，表1为子节点状态表的一个样例表，通过子节点状态表可以得到分布在各网络节点上的单元实时数据库的在线或离线状态。

表1：子节点状态样例表

根据表1可以看出，节点N1、N3、N4为在线状态，节点N2为离线状态；IP和Port代表各单元数据库所在的机器ip地址和端口号，State表示节点状态为在线或离线。

如下表2所示，表2为数据范围分配表一个样例表：

表2：数据范围分配样例表

Node	Table
		N1	T1～T7
N2	T8～T14
		N3	T15
N4	T15

如下表3所示，表3为省略了T7～T15后的测点类别的一个样例表：

表3：测点数据特征分类样例表

Table	features
		T1	A
T2	B
		T3	C
T4	D
		T5	E
T6	F
		…	…

结合表3和节点所负责的测点，将表3的测点分配到各节点中，将表3的测点分配到各节点中。

设N1节点实时数据库负责测点A～G前缀开头的测点；N2节点实时数据库负责H～N前缀开头的测点；

结合表2、3可以看出：例如新增一个测点点名为“Axxx”。管理中心根据判断该点属于节点N1已有测点子集范围，则将该点纳入N1节点管理；

例如新增一个测点点名为“Pxxx”。管理中心根据预定策略判断该点不属于任何已有节点测点子集范围，则预定策略进行分配；

按照各单元实时数据库系统负荷、库容量及存储空间情况等因素按照加权动态进行排序，按照排序顺序择优分配，N3节点排序最前，则分配该点到节点N3管理，记录到数据范围分配表。

发生数据访问请求时，例如访问测点“Axxx”数据时，管理中心根据请求数据的数据特征、数据范围分配表进行检索，找到对应的单元实时数据库N1，返回到系统API，之后系统API再通过N1实时数据库提供的底层API获取访问结果。

本发明的有益效果在于，与现有技术相比，本发明将多个相互独立的单元实时数据库汇聚成为大容量高性能的时序数据管理系统，系统规模可线性扩展，在测点规模、数据容量、读写性能、并发性等方面可满足集团级海量规模发电生产数据汇集管控的需求；客户端应用层面无需进行修改和适配，实现无缝衔接。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其它设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims

1.一种针对发电领域海量时序数据管理的汇聚式管理方法，其特征在于，包括如下步骤：

步骤2，管理中心对各单元实时数据库进行状态监测；

2.根据权利要求1所述的针对发电领域海量时序数据管理的汇聚式管理方法，其特征在于，

所述步骤1中：

3.根据权利要求1所述的针对发电领域海量时序数据管理的汇聚式管理方法，其特征在于，

所述步骤2还包括：

4.根据权利要求1所述的针对发电领域海量时序数据管理的汇聚式管理方法，其特征在于，

所述步骤3还包括：

5.根据权利要求4所述的针对发电领域海量时序数据管理的汇聚式管理方法，其特征在于，

所述子步骤3-3还包括：

6.根据权利要求1所述的针对发电领域海量时序数据管理的汇聚式管理方法，其特征在于，

所述步骤4还包括：

步骤4-3，汇聚式时序数据管理系统API通过该单元实时数据库提供的底层API获取访问结果，并将访问结果返回到客户端应用。

7.一种利用权利要求1-6任一项权利要求所述针对发电领域海量时序数据管理的汇聚式管理方法的针对发电领域海量时序数据管理的汇聚式管理系统，其特征在于，包括：管理中心、单元实时数据库和汇聚式时序数据管理系统API；

8.根据根据权利要求7所述的针对发电领域海量时序数据管理的汇聚式管理系统，其特征在于，

所述管理中心还包括状态检测模块、数据分配模块和负荷分配模块；

9.根据权利要求7所述的针对发电领域海量时序数据管理的汇聚式管理系统，其特征在于，

所述单元实时数据库类型为单机版实时数据库类型，且在同一个汇聚系统内部各单元采用同种实时数据库类型。

10.一种终端，包括处理器及存储介质；其特征在于：

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据权利要求1-6任一项所述针对发电领域海量时序数据管理的汇聚式管理方法的步骤。

11.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述针对发电领域海量时序数据管理的汇聚式管理方法的步骤。