CN115982228A - 一种分布式时序数据库数据处理系统、方法及查询方法 - Google Patents

Abstract

本发明公开一种分布式时序数据库数据处理系统、方法及查询方法，该处理系统包括多个节点单元、集成中间单元；其中，多个所述节点单元构成数据同步队列；集成中间单元用于添加每一所述节点单元的管理项，并对多个所述节点单元中的目标节点单元的运行状态进行监测；若监测到目标节点单元运行正常，则进行数据同步；若监测到目标节点单元运行崩溃，则将目标节点单元暂时踢出，并在恢复运行正常后进行容灾处理；即使目标节点单元崩溃，也不会影响到其他节点单元，避免了因某一节点单元崩溃导致的数据雪崩。

Description

一种分布式时序数据库数据处理系统、方法及查询方法

技术领域

本发明涉及空调技术领域，尤其涉及一种分布式时序数据库数据处理系统、方法及查询方法。

背景技术

时序数据库全称为时间序列数据库。时间序列数据库指主要用于处理带时间标签的数据，带时间标签的数据也称为时间序列数据。时间序列数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快、严重依赖于采集时间、测点多信息量大。

目前的分布式时序数据库容易发生节点崩溃，一旦发生节点崩溃就容易出现数据雪崩等情况，从而导致数据丢失，服务崩溃等严重后果。现在并没有相关技术对此问题提出合理的解决方案

因此，如何防止因节点崩溃而导致的数据雪崩成为了现有技术亟需改进的问题。

发明内容

本申请旨在提供一种分布式时序数据库数据处理系统、方法及查询方法，以解决如何防止因节点崩溃而导致的数据雪崩的问题。

第一方面，本申请提供一种分布式时序数据库数据处理系统，包括：

多个节点单元，多个所述节点单元构成数据同步队列；

集成中间单元，用于添加每一所述节点单元的管理项，并对多个所述节点单元中的目标节点单元的运行状态进行监测；

若监测到所述目标节点单元运行正常，则将所述目标节点单元的数据同步到其他所述节点单元中；

若监测到所述目标节点单元运行崩溃，则将所述目标节点单元踢出数据同步队列，并记录下所述节点单元的崩溃时间t1；在所述目标节点单元恢复运行正常之后，将所述节点单元恢复到数据同步队列中，记录下所述节点单元的崩溃时间t2，再将数据同步队列中其他运行正常的所述节点单元中取出第一数据写入到所述目标节点单元中；

其中，所述第一数据为数据同步队列中其他运行正常的所述节点单元中t1至t2时间段内的运行数据。

在本申请的部分实施例中，包括代理网关，所述代理网关用于处理来自数据存储代理应用及数据查询代理应用的请求、管理所述节点单元的信息及状态。

在本申请的部分实施例中，所述代理网关在接收到数据存储请求后，将目标存储数据存储到集成中间单元内，且目标存储数据的份数与所述节点单元的数量一一对应；集成中间单元还用于将所述目标存储数据写入到每一所述节点单元内，且在写入成功后删除所述节点单元对应的所述目标存储数据。

在本申请的部分实施例中，所述分布式时序数据库为InfluxDB数据库。

第二方面，本申请还提供一种分布式时序数据库数据处理方法，应用于上述的分布式时序数据库数据处理系统中，且所述分布式时序数据库数据处理方法包括以下步骤：

提供数据同步队列，所述数据同步队列中包括多个节点单元；

通过添加管理项对多个所述节点单元中的目标节点单元的运行状态进行监测；

若监测到所述目标节点单元运行正常，则将所述目标节点单元的数据同步到其他所述节点单元中；

若监测到所述目标节点单元运行崩溃，则将所述目标节点单元踢出数据同步队列，并记录下所述节点单元的崩溃时间t1；在所述目标节点单元恢复运行正常之后，将所述节点单元恢复到数据同步队列中，记录下所述节点单元的崩溃时间t2，再将数据同步队列中其他运行正常的所述节点单元中取出第一数据写入到所述目标节点单元中；

其中，所述第一数据为数据同步队列中其他运行正常的所述节点单元中t1至t2时间段内的运行数据。

在本申请的部分实施例中，在所述通过添加管理项对多个所述节点单元中的目标节点单元的运行状态进行监测的步骤之前还包括以下步骤：

代理网关接收到数据存储请求；

将目标存储数据存储到集成中间单元内，且目标存储数据的份数与所述节点单元的数量一一对应；

将所述目标存储数据写入到每一所述节点单元内，且在写入成功后删除所述节点单元对应的所述目标存储数据。

在本申请的部分实施例中，所述将所述目标存储数据写入到每一所述节点单元内步骤之后还包括以下步骤：

若所述节点单元写入数据失败后，重试写入步骤；

检测所述节点单元的重试写入的次数，若大于预设次上限仍未写入数据成功，则将所述节点单元标记为处于不可用状态的所述目标节点单元。

在本申请的部分实施例中，在所述将所述节点单元标记为处于不可用状态的所述目标节点单元的步骤之后还包括以下步骤：

记录下所述目标节点单元处于不可用状态的时间，并定时检测所述目标节点单元是否恢复正常；

若检测到所述目标节点单元恢复正常，则根据时序数据特点将所述目标节点单元自被标记位不可用状态后其他正常的所述节点单元的数据同步至所述目标节点单元内，以恢复数据。

第三方面，本申请还提供一种分布式时序数据库数据查询方法，基于上述的分布式时序数据库数据处理方法处理之后的数据库进行查询，且包括以下步骤：

代理网关接收到数据查询请求；

所述代理网关按照请求量将所述数据查询请求均衡分配到不同的所述节点单元进行数据查询。

在本申请的部分实施例中，在所述代理网关按照请求量将所述数据查询请求均衡分配到不同的所述节点单元进行数据查询的步骤中，所述数据查询请求分配到可用的所述节点单元中。

本申请所提供的一种分布式时序数据库数据处理系统、方法及查询方法，该处理系统包括多个节点单元、集成中间单元；其中，多个所述节点单元构成数据同步队列；集成中间单元用于添加每一所述节点单元的管理项，并对多个所述节点单元中的目标节点单元的运行状态进行监测；若监测到目标节点单元运行正常，则进行数据同步；若监测到目标节点单元运行崩溃，则将目标节点单元暂时踢出，并在恢复运行正常后进行容灾处理；即使目标节点单元崩溃，也不会影响到其他节点单元，避免了因某一节点单元崩溃导致的数据雪崩。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一实施例提供的分布式时序数据库数据处理系统的结构框图；

图2为本发明的另一实施例中提供的分布式时序数据库数据处理系统的结构框图。

主要元素符号说明：

1-节点单元，2-集成中间单元，3-代理网关。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下获得的所有其他实施例，都属于本发明保护的范围。在本发明的描述中，“多个”的含义包含两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认为，在不使用这些特定细节的情况下也可以实现本发明。在其它实施例中，不会对已知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理的最广范围相一致。

请结合图1和图2，本实施例提供一种分布式时序数据库数据处理系统，包括：

多个节点单元1，多个所述节点单元1构成数据同步队列；

集成中间单元2，用于添加每一所述节点单元1的管理项，并对多个所述节点单元1中的目标节点单元1的运行状态进行监测；

若监测到所述目标节点单元1运行正常，则将所述目标节点单元1的数据同步到其他所述节点单元1中；

若监测到所述目标节点单元1运行崩溃，则将所述目标节点单元1踢出数5据同步队列，并记录下所述节点单元1的崩溃时间t1；在所述目标节点单元1

恢复运行正常之后，将所述节点单元1恢复到数据同步队列中，记录下所述节点单元1的崩溃时间t2，再将数据同步队列中其他运行正常的所述节点单元1中取出第一数据写入到所述目标节点单元1中；

其中，所述第一数据为数据同步队列中其他运行正常的所述节点单元1中0t1至t2时间段内的运行数据。

可以理解的是，若监测到目标节点单元1运行正常，则进行数据同步；若监测到目标节点单元1运行崩溃，则将目标节点单元1暂时踢出，并在恢复运行正常后进行容灾处理；即使目标节点单元1崩溃，也不会影响到其他节点单元1，避免了因某一节点单元1崩溃导致的数据雪崩。

5在一些实施例中，集成中间单元2为集成Redis中间件，用于添加对每个

节点单元1的管理项，并通过应用程序监控节点单元1服务器当前运行状况。若节点单元1运行状况良好，写入数据通过Redis的记录节点单元1，依次同步到每个节点单元1中，保持数据的一致性。

若某个节点单元1发生崩溃，记录下崩溃的时间，然后将该节点单元1踢0出数据同步队列。通过心跳方式监控到节点单元1一旦恢复之后，获取崩溃的时间段，从运行良好的节点单元1中取出数据并写入到崩溃的节点单元1中去，以达到数据同步的目的。

在本申请的部分实施例中，包括代理网关3，所述代理网关3用于处理来

自数据存储代理应用及数据查询代理应用的请求、管理所述节点单元1的信息5及状态。

在本申请的部分实施例中，所述代理网关3在接收到数据存储请求后，将目标存储数据存储到集成中间单元2内，且目标存储数据的份数与所述节点单元1的数量一一对应；集成中间单元2还用于将所述目标存储数据写入到每一所述节点单元1内，且在写入成功后删除所述节点单元1对应的所述目标存储数据。

在本申请的部分实施例中，所述分布式时序数据库为InfluxDB数据库。

本申请的另一实施例中还提供一种分布式时序数据库数据处理方法，应用于上述的分布式时序数据库数据处理系统中，且所述分布式时序数据库数据处理方法包括以下步骤：

提供数据同步队列，所述数据同步队列中包括多个节点单元1；

通过添加管理项对多个所述节点单元1中的目标节点单元1的运行状态进行监测；

若监测到所述目标节点单元1运行正常，则将所述目标节点单元1的数据同步到其他所述节点单元1中；

若监测到所述目标节点单元1运行崩溃，则将所述目标节点单元1踢出数据同步队列，并记录下所述节点单元1的崩溃时间t1；在所述目标节点单元1恢复运行正常之后，将所述节点单元1恢复到数据同步队列中，记录下所述节点单元1的崩溃时间t2，再将数据同步队列中其他运行正常的所述节点单元1中取出第一数据写入到所述目标节点单元1中；

其中，所述第一数据为数据同步队列中其他运行正常的所述节点单元1中t1至t2时间段内的运行数据。

在本申请的部分实施例中，在所述通过添加管理项对多个所述节点单元1中的目标节点单元1的运行状态进行监测的步骤之前还包括以下步骤：

代理网关3接收到数据存储请求；

将目标存储数据存储到集成中间单元2内，且目标存储数据的份数与所述节点单元1的数量一一对应；

将所述目标存储数据写入到每一所述节点单元1内，且在写入成功后删除所述节点单元1对应的所述目标存储数据。

在本申请的部分实施例中，所述将所述目标存储数据写入到每一所述节点单元1内步骤之后还包括以下步骤：

若所述节点单元1写入数据失败后，重试写入步骤；

检测所述节点单元1的重试写入的次数，若大于预设次上限仍未写入数据成功，则将所述节点单元1标记为处于不可用状态的所述目标节点单元1。

在本申请的部分实施例中，在所述将所述节点单元1标记为处于不可用状态的所述目标节点单元1的步骤之后还包括以下步骤：

记录下所述目标节点单元1处于不可用状态的时间，并定时检测所述目标节点单元1是否恢复正常；

若检测到所述目标节点单元1恢复正常，则根据时序数据特点将所述目标节点单元1自被标记位不可用状态后其他正常的所述节点单元1的数据同步至所述目标节点单元1内，以恢复数据。

本申请的实施例中还提供一种分布式时序数据库数据查询方法，基于上述的分布式时序数据库数据处理方法处理之后的数据库进行查询，且包括以下步骤：

代理网关3接收到数据查询请求；

所述代理网关3按照请求量将所述数据查询请求均衡分配到不同的所述节点单元1进行数据查询。

在本申请的部分实施例中，在所述代理网关3按照请求量将所述数据查询请求均衡分配到不同的所述节点单元1进行数据查询的步骤中，所述数据查询请求分配到可用的所述节点单元1中。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考，但与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

以上对本申请实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式时序数据库数据处理系统，其特征在于，包括：

多个节点单元，多个所述节点单元构成数据同步队列；

集成中间单元，用于添加每一所述节点单元的管理项，并对多个所述节点单元中的目标节点单元的运行状态进行监测；

若监测到所述目标节点单元运行正常，则将所述目标节点单元的数据同步到其他所述节点单元中；

若监测到所述目标节点单元运行崩溃，则将所述目标节点单元踢出数据同步队列，并记录下所述节点单元的崩溃时间t1；在所述目标节点单元恢复运行正常之后，将所述节点单元恢复到数据同步队列中，记录下所述节点单元的崩溃时间t2，再将数据同步队列中其他运行正常的所述节点单元中取出第一数据写入到所述目标节点单元中；

其中，所述第一数据为数据同步队列中其他运行正常的所述节点单元中t1至t2时间段内的运行数据。

2.根据权利要求1所述的分布式时序数据库数据处理系统，其特征在于，包括代理网关，所述代理网关用于处理来自数据存储代理应用及数据查询代理应用的请求、管理所述节点单元的信息及状态。

3.根据权利要求2所述的分布式时序数据库数据处理系统，其特征在于，所述代理网关在接收到数据存储请求后，将目标存储数据存储到集成中间单元内，且目标存储数据的份数与所述节点单元的数量一一对应；集成中间单元还用于将所述目标存储数据写入到每一所述节点单元内，且在写入成功后删除所述节点单元对应的所述目标存储数据。

4.根据权利要求1所述的分布式时序数据库数据处理系统，其特征在于，所述分布式时序数据库为InfluxDB数据库。

5.一种分布式时序数据库数据处理方法，其特征在于，应用于权利要求1至4所述的分布式时序数据库数据处理系统中，且所述分布式时序数据库数据处理方法包括以下步骤：

提供数据同步队列，所述数据同步队列中包括多个节点单元；

通过添加管理项对多个所述节点单元中的目标节点单元的运行状态进行监测；

若监测到所述目标节点单元运行正常，则将所述目标节点单元的数据同步到其他所述节点单元中；

若监测到所述目标节点单元运行崩溃，则将所述目标节点单元踢出数据同步队列，并记录下所述节点单元的崩溃时间t1；在所述目标节点单元恢复运行正常之后，将所述节点单元恢复到数据同步队列中，记录下所述节点单元的崩溃时间t2，再将数据同步队列中其他运行正常的所述节点单元中取出第一数据写入到所述目标节点单元中；

其中，所述第一数据为数据同步队列中其他运行正常的所述节点单元中t1至t2时间段内的运行数据。

6.根据权利要求5所述的分布式时序数据库数据处理方法，其特征在于，在所述通过添加管理项对多个所述节点单元中的目标节点单元的运行状态进行监测的步骤之前还包括以下步骤：

代理网关接收到数据存储请求；

将目标存储数据存储到集成中间单元内，且目标存储数据的份数与所述节点单元的数量一一对应；

将所述目标存储数据写入到每一所述节点单元内，且在写入成功后删除所述节点单元对应的所述目标存储数据。

7.根据权利要求6所述的分布式时序数据库数据处理方法，其特征在于，所述将所述目标存储数据写入到每一所述节点单元内步骤之后还包括以下步骤：

若所述节点单元写入数据失败后，重试写入步骤；

检测所述节点单元的重试写入的次数，若大于预设次上限仍未写入数据成功，则将所述节点单元标记为处于不可用状态的所述目标节点单元。

8.根据权利要求7所述的分布式时序数据库数据处理方法，其特征在于，在所述将所述节点单元标记为处于不可用状态的所述目标节点单元的步骤之后还包括以下步骤：

记录下所述目标节点单元处于不可用状态的时间，并定时检测所述目标节点单元是否恢复正常；

若检测到所述目标节点单元恢复正常，则根据时序数据特点将所述目标节点单元自被标记位不可用状态后其他正常的所述节点单元的数据同步至所述目标节点单元内，以恢复数据。

9.一种分布式时序数据库数据查询方法，其特征在于，基于权利要求5至8所述的分布式时序数据库数据处理方法处理之后的数据库进行查询，且包括以下步骤：

代理网关接收到数据查询请求；

所述代理网关按照请求量将所述数据查询请求均衡分配到不同的所述节点单元进行数据查询。

10.根据权利要求9所述的分布式时序数据库数据查询方法，其特征在于，在所述代理网关按照请求量将所述数据查询请求均衡分配到不同的所述节点单元进行数据查询的步骤中，所述数据查询请求分配到可用的所述节点单元中。

Images