CN115114316A - 一种高并发数据的处理方法、装置、集群和存储介质 - Google Patents

Abstract

本申请公开了一种高并发数据的处理方法、高并发数据的处理装置、集群和存储介质，方法包括：通过集群中的数据聚合节点调用进程以获取目标指标数据；若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据；其中，目标指标数据包括部分数据和剩余数据；通过数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点；通过数据存储节点存储聚合后的部分数据和剩余数据至存储设备；如此，减少了组件个数，简化了架构设计，易于部署和维护。

Description

一种高并发数据的处理方法、装置、集群和存储介质

技术领域

本申请涉及数据存储技术领域，尤其是涉及一种高并发数据的处理方法、高并发数据的处理装置、集群和存储介质。

背景技术

近年来，随着大数据、分布式存储的广泛应用和深入发展，采用时序数据库来衔接海量涌入的数据已经成为常规选择。时序数据库实现了对具有时间戳的指标数据的存储，并将这些具有时间戳的指标数据按需渲染成图表、仪表盘，完成对这些具有时间戳的指标数据的管控。

然而，当前的时序数据库所在的服务器包括的组件过多，导致技术人员对时序数据库进行部署时存在操作复杂，且不易维护的问题。

发明内容

本申请提供一种高并发数据的处理方法、高并发数据的处理装置、集群和存储介质，解决相关技术中当前的时序数据库所在的服务器包括的组件过多，导致技术人员对时序数据库进行部署时存在操作复杂，且不易维护的问题。

本申请的技术方案是这样实现的：

一种高并发数据的处理方法，所述方法包括：

通过集群中的数据聚合节点调用进程以获取目标指标数据；

若所述目标指标数据中的部分数据符合数据聚合条件，通过所述数据聚合节点对所述部分数据进行聚合处理，得到聚合后的部分数据；其中，所述目标指标数据包括所述部分数据和剩余数据；

通过所述数据聚合节点将所述聚合后的部分数据和所述剩余数据，发送至所述集群中的数据存储节点；

通过所述数据存储节点存储所述聚合后的部分数据和所述剩余数据至存储设备。

一种高并发数据的处理装置，所述处理装置包括：

获取单元，用于通过集群中的数据聚合节点调用进程以获取目标指标数据；

处理单元，用于若所述目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对所述部分数据进行聚合处理，得到聚合后的部分数据；其中，所述目标指标数据包括所述部分数据和剩余数据；

发送单元，用于通过所述数据聚合节点将所述聚合后的部分数据和所述剩余数据，发送至所述集群中的数据存储节点；

存储单元，用于通过所述数据存储节点存储所述聚合后的部分数据和所述剩余数据至存储设备。

一种高并发数据的处理集群，所述处理集群包括：数据聚合节点和数据存储节点；

所述数据聚合节点，用于调用进程以获取目标指标数据；

所述数据聚合节点，还用于若所述目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对所述部分数据进行聚合处理，得到聚合后的部分数据；其中，所述目标指标数据包括所述部分数据和剩余数据；

所述数据聚合节点，还用于通过所述数据聚合节点将所述聚合后的部分数据和所述剩余数据，发送至所述数据存储节点；

所述数据存储节点，用于存储所述聚合后的部分数据和所述剩余数据至存储设备。

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述的高并发数据的处理方法。

本申请所提供的高并发数据的处理方法、高并发数据的处理装置、集群和存储介质，通过集群中的数据聚合节点调用进程以获取目标指标数据；若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据；其中，目标指标数据包括部分数据和剩余数据；通过数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点；通过数据存储节点存储聚合后的部分数据和剩余数据至存储设备；如此，减少了组件个数，简化了架构设计，易于部署和维护。本申请还可以通过集群中的数据聚合节点调用至少两个进程以获取目标指标数据，如此，避免在时序数据库刚启动时，出现丢弃监控指标数据的情况，保障了数据的完整性，提高了数据获取、分发以及存储的效率。本申请扩大了高并发数据的处理装置所能处理的数据的来源；同时缩小了查询的范围，提高了查询的效率，并保障在小范围内未查找到数据时在大范围内能够查询到。

附图说明

图1为相关技术提供的一种时序数据库的结构框图；

图2为本申请实施例提供的一种可选的高并发数据的处理方法的流程示意图；

图3为本申请实施例提供的一种可选的高并发数据的处理方法的流程示意图；

图4为本申请实施例提供的一种可选的高并发数据的处理方法的流程示意图；

图5为本申请实施例提供的一种时序数据库架构示意图一；

图6为本申请实施例提供的一种时序数据库架构示意图二；

图7为本申请实施例提供的一种高并发数据的处理装置的结构示意图；

图8为本申请实施例提供的一种服务器集群的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，这里，关于附图说明中提到的“另一种”或“又一种”并非指特定某个实施例，本申请的各个实施例可以在不冲突的情况下相互结合。

应理解，说明书通篇中提到的“本申请实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“本申请实施例中”或“在前述实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中应用。在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在解释本申请之前，这里针对相关技术中的时序数据库，例如Graphite时序数据库的数据库架构进行说明：

如图1所示，在相关技术中，Graphite时序数据库包括Graphite-web模块101、carbon模块102和whisper模块103。数据采集终端将具有时间戳的指标数据(metrics)发送至Graphite时序数据库中的carbon模块102。用户通过终端提供的接口与Graphite-web模块101交互，查询用户需要查找的指标数据。

Graphite-Web模块101为用户提供可视化界面。Graphite-Web模块101包括webapp组件1011、memcached组件1012以及数据库(database)组件1013。其中，webapp组件1011用于读取和解析whisper模块103中的指标数据，并提供应用程序接口(ApplicationProgramming Interface，API)供外部系统调用；memcached组件1012用于根据策略，缓存被渲染的具有时间戳的指标数据；database组件1013是一个关系型数据库，用于存放Graphite-Web模块101的管理数据，如用户信息。

carbon模块102可以用Python语言设计，用于单线程监听发送的具有时间戳的指标数据，并将其写入磁盘。carbon模块102包含carbon-relay组件1021、carbon-aggregator组件1022以及carbon-cache组件1023。其中，carbon-relay组件1021用于对数据的复制和分片；carbon-aggregator组件1022用于根据规则完成对数据的聚合；carbon-cache组件1023用于接受通过协议传输来的数据，并将数据写入磁盘，在接收到数据时，将数据对应的数据值缓存在随机存取存储器(Random Access Memory，RAM)中，并采用Whisper模块103按照指定的时间间隔将这些数据值写入磁盘。

whisper模块103是一个数据库，用于存储具有时间戳的指标数据。其中，whisper模块103是由多个wsp文件组成；例如，whisper模块103包含load.1m.wsp文件1031、load.5m.wsp文件1032以及load.15m.wsp文件1033。

可见，Graphite时序数据库包含三个模块，并且Graphite-web模块101、carbon模块102中均包含三个组件；也就是说，当前的时序数据库所在的服务器架构下交互的组件过多，导致技术人员对时序数据库进行部署时存在操作复杂，且不易维护的问题。

在图1的Graphite的架构下，示例性的，在无人驾驶的场景中，数据采集终端为传感器，传感器包括但不限于：速度传感器、温度传感器、湿度传感器、方向传感器。其中，速度传感器用于采集无人驾驶的车辆的行驶速度，温度传感器用于采集无人驾驶的车辆的车内和/或车外的温度，湿度传感器用于采集无人驾驶的车辆的车内和/或车外的湿度，方向传感器用于采集无人驾驶的车辆的行驶方向。传感器在采集到相应的数据后，将采集到的数据作为指标数据发送至Graphite时序数据库。

又一示例性的，在报表统计的场景中，数据采集终端为某一企业的所有计算机设备，每一计算机设备采集自身运行过程中的运行数据，运行数据包括但不限于：中央处理器(Central Processing Unit，CPU)使用率、内存使用率、网络收发流量、磁盘读写速率、网络延迟时长。每一计算机设备在采集到上述运行数据后，将运行数据作为指标数据发送至Graphite时序数据库。

然而，该Graphite时序数据库中的carbon模块102通常只能调用单线程来接收并处理该指标数据，从而导致Graphite时序数据库所在的服务器仅支持单个实例运行。也就是说，在多个数据采集终端向该Graphite时序数据库发送指标数据，导致指标数据的数据量较大时，该Graphite时序数据库在对这些指标数据进行接收并处理时，由于carbon模块102只能调用单线程，可能会出现大量数据被丢弃。

本申请提供了一种高并发数据的处理方法，应用于高并发数据的处理装置，该高并发数据的处理装置可以实施为高并发数据的处理集群，处理集群包括多个服务器对应的服务节点，如图2所示，该方法包括以下步骤：

步骤201、通过集群中的数据聚合节点调用进程以获取目标指标数据。

本申请实施例中，高并发数据的处理装置基于C语言，对时序数据库如Graphite时序数据库架构中的carbon-relay组件和carbon-aggregator组件的功能进行重新编写，得到数据聚合节点。如此，本申请提供的数据聚合节点实施为一个组件，便可以实现相关技术中两个组件才能实现的功能；即数据聚合节点不仅具备carbon-relay组件所能实现的功能，又具备carbon-aggregator组件所能实现的功能。进一步地，用C语言编写数据聚合节点的功能，相对于相关技术中用Python语言编写多个组件的功能的方案，提升了高并发数据的处理装置对数据进行处理的能力。

本申请实施例中，数据聚合节点可以表示为carbon-c-relay节点。

在本申请其他实施例中，步骤201通过集群中的数据聚合节点调用进程以获取目标指标数据，可以通过如下步骤实现：

首先、高并发数据的处理装置通过数据聚合节点调用进程以接收原始指标数据。

示例性的，在上述报表统计的场景中，原始指标数据包括所有计算机设备采集到的具有时间戳的指标数据。在上述无人驾驶的场景中，原始指标数据包括所有传感器采集到的具有时间戳的指标数据。这里，对本申请中的原始指标数据对应的场景即对原始指标数据的来源不作具体限定，以实现本申请提供的高并发数据的处理方法为准。

其次、高并发数据的处理装置确定原始指标数据的数据格式不符合预设数据格式，将原始指标数据进行格式转换，得到符合预设数据格式的目标指标数据。

本申请实施例中，高并发数据的处理装置预先配置有各种数据格式对应的解析适配器；解析适配器用于对数据进行格式转换。例如，高并发数据的处理装置用于处理.xml、.jpg、.wav文件格式的具有时间戳的指标数据。若数据采集终端提供的是.mp4文件格式的指标数据，那么，高并发数据的处理装置在接收到数据采集终端提供的原始指标数据即.mp4文件格式的指标数据后，通过解析适配器将.mp4文件格式的指标数据转换为.jpg文件格式的指标数据，目标指标数据包括.jpg文件格式的指标数据。本申请实施例中的目标指标数据包括符合高并发数据的处理装置支持的文件格式的指标数据。

本申请实施例中，不同的应用场景下，需要监控的具有时间戳的指标数据的数据种类可以不同。本申请实施例中，可以为高并发数据的处理装置中的数据聚合节点配置数据适配层，数据适配层用于将原始指标数据转换成预设数据格式的目标指标数据。如此，在数据采集终端向高并发数据的处理装置上报原始指标数据时，若原始指标数据的数据格式不统一且不符合预设数据格式，高并发数据的处理装置可以对原始指标数据进行数据格式转换，以得到目标指标数据，如此，扩大了高并发数据的处理装置所能处理的数据的来源。

步骤202、若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据。

其中，目标指标数据包括部分数据和剩余数据。

本申请实施例中，高并发数据的处理装置在获取到目标指标数据之后，先判断目标指标数据中是否存在需要聚合的目标指标数据即部分数据，若目标指标数据中存在部分数据，数据聚合节点对部分数据进行聚合处理；若目标指标数据中不存在部分数据，数据聚合节点将高并发数据的处理装置获取的数据发送到下一个节点。数据聚合条件用于指示上述部分数据为需要被聚合的目标指标数据。

本申请实施例中，通过数据聚合节点对上述部分数据进行聚合处理，是指在预设时间段内将需要集合的指标数据，代入某一聚合函数进行聚合处理。这里，预设时间段是用户根据具体需求配置的，例如，配置预设时间段为10s，如此，每10s采集一次指标数据。并且，聚合函数包括求和(sum)函数、求平均(avg)函数等。

步骤203、通过数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点。

本申请实施例中，在得到剩余数据的情况下，通过数据聚合节点将剩余数据，发送至集群中的数据存储节点；同样的，在得到聚合后的部分数据的情况下，通过数据聚合节点将聚合后的部分数据，发送至集群中的数据存储节点。

步骤204、通过数据存储节点存储聚合后的部分数据和剩余数据至存储设备。

本申请实施例中，高并发数据的处理装置基于go语言对时序数据库如Graphite架构中的carbon-cache组件的功能进行重新编写，得到数据存储节点。需要说明的是，本申请中的数据存储节点具有相关技术中carbon-cache组件的功能；同时，用go语言去编写数据存储节点的功能，相对于相关技术中用Python语言去编写carbon-cache组件的功能的方案，提升了高并发数据的处理装置对数据进行处理的能力。

本申请实施例中，数据存储节点可以表示为go-carbon节点。

本申请实施例中，通过集群中的数据聚合节点和数据存储节点之间的交互，实现了高并发数据的处理装置对指标数据的高效且持久化存储。同时，本申请实施例中仅采用数据聚合、数据存储这两个节点，减少了组件的个数，简化了设计的架构，使得架构设计人员在对时序数据库进行部署时操作简单，易于维护。

本申请提供的高并发数据的处理方法，通过集群中的数据聚合节点调用进程以获取目标指标数据；若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据；其中，目标指标数据包括部分数据和剩余数据；通过数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点；通过数据存储节点存储聚合后的部分数据和剩余数据至存储设备；如此，减少了组件个数，简化了架构设计，易于部署和维护。

本申请提供了一种高并发数据的处理方法，应用于高并发数据的处理装置，该高并发数据的处理装置可以实施为高并发数据的处理集群，处理集群包括多个服务器对应的服务节点，如图3所示，该方法包括以下步骤：

步骤301、若通过数据聚合节点调用至少两个进程以获取目标指标数据的过程中，数据聚合节点发生故障，通过集群中的缓存节点接收目标指标数据。

本申请实施例中，集群中的缓存节点用于对发往数据聚合节点的目标指标数据进行缓存处理。也就是说，在接收目标指标数据的过程中，集群中的缓存节点作为集群中的数据聚合节点的备用节点。

本申请实施例中，在数据采集终端向高并发数据的处理装置的数据聚合节点下发指标数据时，高并发数据的处理装置会判断待接收目标指标数据的数据聚合节点是否故障，若待接收目标指标数据的数据聚合节点发生故障，将待发送至该数据聚合节点的指标数据发送至集群中的另一个专门用于缓存处理的缓存节点。如此，有效地保障了数据的完整性，避免在时序数据库刚启动时，出现丢弃监控指标数据的情况。

本申请实施例中，在获取目标指标数据的过程中，高并发数据的处理装置可以通过集群中的数据聚合节点，调用至少两个进程来获取目标指标数据；也就是说，集群中的数据聚合节点会开启多个进程同时采集目标指标数据，如此，有效的解决了现有技术中时序数据库所在的服务器仅支持单一实例运行的问题，提高了对目标指标数据获取的效率。

步骤302、若目标指标数据中的部分数据符合数据聚合条件，且数据聚合节点的状态由故障状态切换为工作状态，通过数据聚合节点从缓存节点中获取部分数据和剩余数据。

本申请实施例中，工作状态用于表征数据聚合节点的工作负载小于预设负载，或者，工作状态用于表征数据聚合节点处于非故障状态。

这里，当数据聚合节点从故障状态转换为工作状态时，数据聚合节点从缓存节点中获取符合数据聚合条件的部分数据和剩余数据。如此，保障了数据聚合节点上数据的完整性。

步骤303、对获取的部分数据进行聚合处理，得到聚合后的部分数据。

步骤304、通过数据聚合节点确定聚合后的部分数据和剩余数据中具有目标属性信息的目标数据。

本申请实施例中，目标数据为聚合后的部分数据和剩余数据中查询频率大于频率阈值的数据，例如在报表统计的场景中，用户对CPU使用率、内存使用率、网络收发流量、磁盘读写速率的查询频率大于频率阈值，那么，CPU使用率、内存使用率、网络收发流量、磁盘读写速率是具有目标属性的目标数据即核心指标数据。

本申请实施例中，在集群中的数据聚合节点将聚合后的部分数据和剩余数据发送至数据存储节点之前，数据聚合节点基于数据适配层配置match规则将聚合后的部分数据和剩余数据中查询频率大于频率阈值的数据筛选出来。

这里，match规则用于判断聚合后的部分数据和剩余数据中哪些是核心指标数据。

步骤305、通过数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点。

这里，数据存储节点在接收到数据聚合节点发送的部分数据和剩余数据后，能基于数据的属性信息，对数据进行相应的存储，例如，将具有目标属性信息的目标数据存储至第一类存储节点对应的存储设备。

本申请实施例中，高并发数据的处理装置通过集群中的数据聚合节点发送数据的过程中，可以开启多个进程，实现数据的并行发送，如此，有效的解决了相关技术中时序数据库所在的服务器不支持多个实例同时运行的问题，提高了对目标指标数据分发的效率。

步骤306、通过数据存储节点将目标数据，存储至第一类存储节点对应的存储设备，并将聚合后的部分数据和剩余数据存储至第二类存储节点对应的存储设备。

本申请实施例中的高并发数据的处理装置通过数据存储节点同时开启多个进程，对数据聚合节点发送过来的聚合后的部分数据和剩余数据进行并行存储，有效地提升了集群中的数据存储节点对数据处理能力，保证时序数据库所在的服务器可多实例运行。

本申请实施例中，在目标数据频繁调用的场景中，需要对最近某个时间段内的目标数据进行频繁的查询、计算，以便为诸如报表统计等业务提供数据支撑。然而，若是直接在硬盘上进行大量频繁的数据查询，其工作效率低下，同时也会占据不小的硬盘输入/输出(Input/Output，I/O)，影响接收到的数据持久化性能。基于此，在数据聚合节点判断指标数据具有目标属性信息时，将这些具有目标属性信息的数据发送并存储到第一类存储节点对应的存储设备；同时，将聚合后的部分数据和剩余数据即全量数据发送并存储至第二类存储节点对应的存储设备。如此，在用户进行数据查询时，将核心指标数据即调用概率比较大的数据，存储在第一类存储节点对应的存储设备，缩小调用范围，提高了查询的效率；同时，为了确保任一数据在被调用时均能找到，在第二类存储节点对应的存储设备中存储了全量数量，实现了全量数据的落盘即写入磁盘。

步骤307、通过数据存储节点获取携带有第一查询标识的第一查询请求。

本申请实施例中，第一查询请求是用户根据实际需求，从高并发数据的处理装置封装的统一API向高并发数据的处理装置输入的查询请求，其中，第一查询请求会包含第一查询标识。第一查询标识用于指示所要查询的数据。例如，用户需要获取CPU使用率，那么用户通过高并发数据的处理装置封装的统一API输入包含第一查询标识如CPU使用率的查询请求即可。

步骤308、通过数据存储节点响应第一查询请求，调用第一应用程序接口基于第一查询标识从第一类存储节点对应的存储设备处进行查询。

本申请实施例中，第一应用程序接口是与第一类存储节点对应的存储设备相对应的接口。

本申请实施例中，基于第一查询请求，先在第一类存储节点对应的存储设备中查询。第一类存储节点对应的存储设备中包含的是核心指标数据；其中，核心指标数据为用户查询频率大于频率阈值的具有时间戳的指标数据。若在第一类存储节点对应的存储设备处存在与第一查询标识对应的查询结果，那么，高并发数据的处理装置就是从第一类存储节点对应的存储设备获取用户所需要的指标数据，并输出给用户。如此，缩小了查询的范围，提高了查询的效率。

步骤309、若第一类存储节点对应的存储设备处不存在与第一查询标识对应的查询结果，通过数据存储节点从第二类存储节点对应的存储设备处进行查询，以获得第一查询标识对应的查询数据。

本申请实施例中，在第一类存储节点对应的存储设备不存在第一查询标识对应的查询结果，即第一类存储节点对应的存储设备没有用户需要的指标数据；那么，数据存储节点从第二类存储节点对应的存储设备中去寻找用户需要的指标数据。第二类存储节点对应的存储设备存储的是高并发数据的处理装置在当前时刻之前所采集到的所有具有时间戳的指标数据。也就是说，在第一类存储节点对应的存储设备中即小范围不包含用户所需要的数据的情况下，高并发数据的处理装置则数据存储节点从第二类存储节点对应的存储设备即一个更大范围查询，如此，保证了最大范围的查询，提高了用户的体验度。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

本申请提供了一种高并发数据的处理方法，应用于高并发数据的处理装置，该高并发数据的处理装置可以实施为高并发数据的处理集群，处理集群包括多个服务器对应的服务节点，如图4所示，该方法包括以下步骤：

步骤401、若通过数据聚合节点调用至少两个进程以获取目标指标数据的过程中，数据聚合节点发生故障，通过集群中的缓存节点接收目标指标数据。

步骤402、若目标指标数据中的部分数据符合数据聚合条件，且数据聚合节点的状态由故障状态切换为工作状态，通过数据聚合节点从缓存节点中获取部分数据和剩余数据。

步骤403、对获取的部分数据进行聚合处理，得到聚合后的部分数据。

步骤404、通过数据聚合节点确定聚合后的部分数据和剩余数据中具有目标属性信息的目标数据。

步骤405、通过数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点。

步骤406、通过数据存储节点将目标数据，存储至第一类存储节点对应的存储设备。

步骤407、通过数据存储节点确定聚合后的部分数据和剩余数据中每一数据，在第二类存储节点对应的存储设备中对应的存储区域。

步骤408、通过数据存储节点将每一数据存储至第二类存储节点对应的存储设备中与每一数据对应的存储区域中。

步骤409、通过数据存储节点获取携带有第二查询标识的第二查询请求。

本申请实施例中，第二查询请求用于获取每一数据需要在相应的存储区域。例如，指标数据如CPU使用率对应的存储区域为/opt/carbon/cpu.swp这一区域，那么，第二查询标识就会携带/opt/carbon/cpu.swp这一区域的相关信息。

步骤410、通过数据存储节点响应第二查询请求，确定每一数据对应的存储区域中与第二查询标识关联的存储区域。

本申请实施例中，第二查询标识关联的存储区域可以是第二查询标识所指示的存储区域。

步骤411、调用第二应用程序接口基于第二查询标识，从与第二查询标识关联的存储区域中进行查询，以获得第二查询标识对应的查询数据。

本申请实施例中，第二应用程序接口是与第二类存储节点对应的存储设备相对应的接口。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

基于前述内容，本申请提供一种时序数据库的架构，时序数据库是部署在服务器集群中，如图5所示，时序数据库的架构包括数据聚合节点501、数据存储节点502、whisper节点503以及carbonapi节点504。数据采集终端将具有时间戳的指标数据发送至时序数据库中的数据聚合节点501。用户终端与carbonapi节点504交互，查询用户需要查找的指标数据。

本申请实施例中，数据聚合节点501用于对具有时间戳的指标数据的复制、分片以及聚合。数据存储节点502用于根据不同策略接收、缓存数据，并高效地将数据持久化到硬盘。carbonapi节点504用于读取、解析、归并数据存储节点502发送的具有时间戳的指标数据，并渲染成图表、仪表盘；同时，carbonapi节点504还用于提供统一的API以查询指标数据。

图6为本申请提供的一种数据聚合节点与数据存储节点交互的示意图，图6是由601所指的服务器node1、602所指的服务器node2、603所指的服务器node3以及604所指的服务器node4组成的高并发数据的处理集群。

本申请实施例中，高可用性集群(Highly Available，HA)relay，即relay集群605由一级relay6052和二级relay6051组成。其中，一级relay6052和二级relay6051包含多个relay节点。

carbon集群由高可用性集群(HA)disk即disk集群606以及高可用性集群(HA)memory即memory集群607组成。

每一服务器中都会设置有api-disk和api-mem；其中，api-disk是高并发数据的处理装置提供的用于从disk集群606从查询指标数据的应用程序接口，api-mem高并发数据的处理装置提供的用于从memory集群607中查询指标数据的应用程序接口。

需要说明的是，一级relay6052中的relay节点将需要聚合的监控数据发送到二级relay6051，将不需要聚合的指标数据分发到disk集群606和memory集群607。一级relay6052中的relay节点在分发的过程中，根据集群数量对监控数据进行复制，并在每个集群中随机选择一个节点进行分发。二级relay6051中relay节点的接收一级relay6052发送的指标数据，并进行聚合，然后将聚合的指标数据分发到disk集群606和memory集群607。二级relay6051中的relay节点在分发的过程中，根据集群数量对监控数据进行复制，并在每个集群中随机选择一个节点进行分发。

本申请提供一种高并发数据的处理装置，该高并发数据的处理装置用于实施图2至图4对应的实施例提供的一种高并发数据的处理方法中，参照图7所示，该高并发数据的处理装置7包括：

获取单元701，用于通过集群中的数据聚合节点调用进程以获取目标指标数据。

处理单元702，用于若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据；其中，目标指标数据包括部分数据和剩余数据。

发送单元703，用于通过所述数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点。

存储单元704，用于通过数据存储节点存储聚合后的部分数据和剩余数据至存储设备。

在本申请的其他实施例中，高并发数据的处理装置7还包括：

处理单元702，还用于若通过数据聚合节点调用至少两个进程以获取目标指标数据的过程中，数据聚合节点发生故障，通过集群中的缓存节点接收目标指标数据。

处理单元702，还用于若目标指标数据中的部分数据符合数据聚合条件，且数据聚合节点的状态由故障状态切换为工作状态，通过数据聚合节点从缓存节点中获取部分数据和剩余数据。对获取的部分数据进行聚合处理，得到聚合后的部分数据。

在本申请的其他实施例中，高并发数据的处理装置7还包括：

处理单元702，还用于通过数据聚合节点确定聚合后的部分数据和剩余数据中具有目标属性信息的目标数据。

存储单元704，还用于通过数据存储节点将目标数据，存储至第一类存储节点对应的存储设备，并将聚合后的部分数据和剩余数据存储至第二类存储节点对应的存储设备。

在本申请的其他实施例中，高并发数据的处理装置7还包括：

获取单元701，还用于通过数据存储节点获取携带有第一查询标识的第一查询请求。

处理单元702，还用于通过数据存储节点响应第一查询请求，调用第一应用程序接口基于第一查询标识从第一类存储节点对应的存储设备处进行查询。

处理单元702，还用于若第一类存储节点对应的存储设备处不存在与第一查询标识对应的查询结果，通过数据存储节点从第二类存储节点对应的存储设备处进行查询，以获得第一查询标识对应的查询数据。

在本申请的其他实施例中，高并发数据的处理装置7还包括：

处理单元702，还用于通过数据存储节点确定聚合后的部分数据和剩余数据中每一数据，在第二类存储节点对应的存储设备中对应的存储区域。

存储单元704，还用于通过数据存储节点将每一数据存储至第二类存储节点对应的存储设备中与每一数据对应的存储区域中。

在本申请的其他实施例中，高并发数据的处理装置7还包括：

获取单元701，用于通过数据存储节点获取携带有第二查询标识的第二查询请求。

处理单元702，还用于通过数据存储节点响应第二查询请求，确定每一数据对应的存储区域中与第二查询标识关联的存储区域。

处理单元702，还用于调用第二应用程序接口基于第二查询标识，从与第二查询标识关联的存储区域中进行查询，以获得第二查询标识对应的查询数据。

在本申请的其他实施例中，高并发数据的处理装置7还包括：

处理单元702，还用于通过数据聚合节点调用至少两个进程以接收原始指标数据。

处理单元702，还用于若原始指标数据的数据格式不符合预设数据格式，将原始指标数据进行格式转换，得到符合预设数据格式的目标指标数据。

本申请提供的高并发数据的处理装置，通过集群中的数据聚合节点调用进程以获取目标指标数据；若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据；其中，目标指标数据包括部分数据和剩余数据；通过数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点；通过数据存储节点存储聚合后的部分数据和剩余数据至存储设备。如此，减少了组件个数，简化了架构设计，易于部署和维护。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

基于前述实施例，本申请的实施例提供一种高并发数据的处理集群，该高并发数据的处理集群为服务器集群，可以实施图2至图4对应的实施例提供的一种高并发数据的处理方法中，参照图8所示，该服务器集群8(服务器集群8与高并发数据的处理装置7对应)包括：数据聚合节点801和数据存储节点802，其中：数据聚合节点801和数据存储节点802具有通信连接；

数据聚合节点801，用于调用进程以获取目标指标数据；

数据聚合节点801，还用于若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据；其中，目标指标数据包括部分数据和剩余数据；

数据聚合节点801，还用于通过数据聚合节点将聚合后的部分数据和剩余数据，发送至数据存储节点；

数据存储节点802用于存储聚合后的部分数据和剩余数据至存储设备。

在本申请的其他实施例中，数据聚合节点801，还用于若通过数据聚合节点调用至少两个进程以获取目标指标数据的过程中，数据聚合节点发生故障，通过集群中的缓存节点接收目标指标数据；

数据聚合节点801，还用于若目标指标数据中的部分数据符合数据聚合条件，且数据聚合节点的状态由故障状态切换为工作状态，通过数据聚合节点从缓存节点中获取部分数据和剩余数据；对获取的部分数据进行聚合处理，得到聚合后的部分数据。

在本申请的其他实施例中，数据聚合节点801，还用于通过数据聚合节点确定聚合后的部分数据和剩余数据中具有目标属性信息的目标数据；

数据存储节点802，还用于通过数据存储节点将目标数据，存储至第一类存储节点对应的存储设备，并将聚合后的部分数据和剩余数据存储至第二类存储节点对应的存储设备。

在本申请的其他实施例中，数据存储节点802，还用于通过数据存储节点获取携带有第一查询标识的第一查询请求；

数据存储节点802，还用于通过数据存储节点响应第一查询请求，调用第一应用程序接口基于第一查询标识从第一类存储节点对应的存储设备处进行查询；

数据存储节点802，还用于若第一类存储节点对应的存储设备处不存在与第一查询标识对应的查询结果，通过数据存储节点从第二类存储节点对应的存储设备处进行查询，以获得第一查询标识对应的查询数据。

在本申请的其他实施例中，数据存储节点802，还用于通过数据存储节点确定聚合后的部分数据和剩余数据中每一数据，在第二类存储节点对应的存储设备中对应的存储区域；

数据存储节点802，还用于通过数据存储节点将每一数据存储至第二类存储节点对应的存储设备中与每一数据对应的存储区域中。

在本申请的其他实施例中，数据存储节点802，还用于通过数据存储节点获取携带有第二查询标识的第二查询请求；

数据存储节点802，还用于通过数据存储节点响应第二查询请求，确定每一数据对应的存储区域中与第二查询标识关联的存储区域；

数据存储节点802，还用于调用第二应用程序接口基于第二查询标识，从与第二查询标识关联的存储区域中进行查询，以获得第二查询标识对应的查询数据。

在本申请的其他实施例中，数据聚合节点801，还用于通过数据聚合节点调用至少两个进程以接收原始指标数据；

数据聚合节点801，还用于若原始指标数据的数据格式不符合预设数据格式，将原始指标数据进行格式转换，得到符合预设数据格式的目标指标数据。

本申请提供的高并发数据的处理集群，通过集群中的数据聚合节点调用进程以获取目标指标数据；若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据；其中，目标指标数据包括部分数据和剩余数据；通过数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点；通过数据存储节点存储聚合后的部分数据和剩余数据至存储设备。如此，减少了组件个数，简化了架构设计，易于部署和维护。

需要说明的是，本实施例中数据聚合节点801和数据存储节点802所执行的步骤的具体实现过程，可以参照图2至图4对应的实施例提供的高并发数据的处理方法中的实现过程，此处不再赘述。

基于前述实施例，本申请的实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如下步骤：

调用进程以获取目标指标数据；

若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据；其中，目标指标数据包括部分数据和剩余数据；

通过数据聚合节点将聚合后的部分数据和剩余数据，发送至数据存储节点；

通过数据存储节点存储聚合后的部分数据和剩余数据至存储设备。

在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：

若通过数据聚合节点调用至少两个进程以获取目标指标数据的过程中，数据聚合节点发生故障，通过集群中的缓存节点接收目标指标数据；

若目标指标数据中的部分数据符合数据聚合条件，且数据聚合节点的状态由故障状态切换为工作状态，通过数据聚合节点从缓存节点中获取部分数据和剩余数据；

对获取的部分数据进行聚合处理，得到聚合后的部分数据。

在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：

通过数据聚合节点确定聚合后的部分数据和剩余数据中具有目标属性信息的目标数据；

通过数据存储节点将目标数据，存储至第一类存储节点对应的存储设备，并将聚合后的部分数据和剩余数据存储至第二类存储节点对应的存储设备。

在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：

通过数据存储节点获取携带有第一查询标识的第一查询请求；

通过数据存储节点响应第一查询请求，调用第一应用程序接口基于第一查询标识从第一类存储节点对应的存储设备处进行查询；

若第一类存储节点对应的存储设备处不存在与第一查询标识对应的查询结果，通过数据存储节点从第二类存储节点对应的存储设备处进行查询，以获得第一查询标识对应的查询数据。

在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：

通过数据存储节点确定聚合后的部分数据和剩余数据中每一数据，在第二类存储节点对应的存储设备中对应的存储区域；

通过数据存储节点将每一数据存储至第二类存储节点对应的存储设备中与每一数据对应的存储区域中。

在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：

通过数据存储节点获取携带有第二查询标识的第二查询请求；

通过数据存储节点响应第二查询请求，确定每一数据对应的存储区域中与第二查询标识关联的存储区域；

调用第二应用程序接口基于第二查询标识，从与第二查询标识关联的存储区域中进行查询，以获得第二查询标识对应的查询数据。

在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：

通过数据聚合节点调用至少两个进程以接收原始指标数据。

若原始指标数据的数据格式不符合预设数据格式，将原始指标数据进行格式转换，得到符合预设数据格式的目标指标数据。

本申请提供的计算机可读存储介质，通过集群中的数据聚合节点调用进程以获取目标指标数据；若目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对部分数据进行聚合处理，得到聚合后的部分数据；其中，目标指标数据包括部分数据和剩余数据；通过数据聚合节点将聚合后的部分数据和剩余数据，发送至集群中的数据存储节点；通过数据存储节点存储聚合后的部分数据和剩余数据至存储设备；如此，减少了组件个数，简化了架构设计，易于部署和维护。

需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图2至图4对应的实施例提供的信息显示方法中的实现过程，此处不再赘述。

需要说明的是，上述计算机存储介质/存储器可以是只读存储器(Read OnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种高并发数据的处理方法，其特征在于，所述方法包括：

通过集群中的数据聚合节点调用进程以获取目标指标数据；

若所述目标指标数据中的部分数据符合数据聚合条件，通过所述数据聚合节点对所述部分数据进行聚合处理，得到聚合后的部分数据；其中，所述目标指标数据包括所述部分数据和剩余数据；

通过所述数据聚合节点将所述聚合后的部分数据和所述剩余数据，发送至所述集群中的数据存储节点；

通过所述数据存储节点存储所述聚合后的部分数据和所述剩余数据至存储设备。

2.根据权利要求1所述的高并发数据的处理方法，其特征在于，所述方法还包括：

若通过所述数据聚合节点调用至少两个进程以获取所述目标指标数据的过程中，所述数据聚合节点发生故障，通过所述集群中的缓存节点接收所述目标指标数据；

相应的，若所述目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对所述部分数据进行聚合处理，得到聚合后的部分数据，包括：

若所述目标指标数据中的所述部分数据符合所述数据聚合条件，且所述数据聚合节点的状态由故障状态切换为工作状态，通过所述数据聚合节点从所述缓存节点中获取所述部分数据和所述剩余数据；

对获取的所述部分数据进行聚合处理，得到所述聚合后的部分数据。

3.根据权利要求2所述的高并发数据的处理方法，其特征在于，所述对获取的所述部分数据进行聚合处理，得到所述聚合后的部分数据之后，还包括：

通过所述数据聚合节点确定所述聚合后的部分数据和所述剩余数据中具有目标属性信息的目标数据；

相应的，所述通过所述数据存储节点存储所述聚合后的部分数据和所述剩余数据至存储设备，包括

通过所述数据存储节点将所述目标数据，存储至第一类存储节点对应的存储设备，并将所述聚合后的部分数据和所述剩余数据存储至第二类存储节点对应的存储设备。

4.根据权利要求3所述的高并发数据的处理方法，其特征在于，所述将所述聚合后的部分数据和所述剩余数据存储至第二类存储节点对应的存储设备之后，包括：

通过所述数据存储节点获取携带有第一查询标识的第一查询请求；

通过所述数据存储节点响应所述第一查询请求，调用第一应用程序接口基于所述第一查询标识从所述第一类存储节点对应的存储设备处进行查询；

若所述第一类存储节点对应的存储设备处不存在与所述第一查询标识对应的查询结果，通过所述数据存储节点从所述第二类存储节点对应的存储设备处进行查询，以获得所述第一查询标识对应的查询数据。

5.根据权利要求3所述的高并发数据的处理方法，其特征在于，所述将所述聚合后的部分数据和所述剩余数据存储至第二类存储节点对应的存储设备，包括：

通过所述数据存储节点确定所述聚合后的部分数据和所述剩余数据中每一数据，在所述第二类存储节点对应的存储设备中对应的存储区域；

通过所述数据存储节点将所述每一数据存储至所述第二类存储节点对应的存储设备中与所述每一数据对应的存储区域中。

6.根据权利要求5所述的高并发数据的处理方法，其特征在于，所述通过所述数据存储节点将所述每一数据存储至所述第二类存储节点对应的存储设备中与所述每一数据对应的存储区域中之后，包括：

通过所述数据存储节点获取携带有第二查询标识的第二查询请求；

通过所述数据存储节点响应所述第二查询请求，确定所述每一数据对应的存储区域中与所述第二查询标识关联的存储区域；

调用第二应用程序接口基于所述第二查询标识，从与所述第二查询标识关联的存储区域中进行查询，以获得所述第二查询标识对应的查询数据。

7.根据权利要求1所述的高并发数据的处理方法，其特征在于，所述通过集群中的数据聚合节点调用进程以获取目标指标数据，包括：

通过所述数据聚合节点调用至少两个进程以接收原始指标数据；

若所述原始指标数据的数据格式不符合预设数据格式，将所述原始指标数据进行格式转换，得到符合所述预设数据格式的所述目标指标数据。

8.一种高并发数据的处理装置，其特征在于，所述处理装置包括：

获取单元，用于通过集群中的数据聚合节点调用进程以获取目标指标数据；

处理单元，用于若所述目标指标数据中的部分数据符合数据聚合条件，通过所述数据聚合节点对所述部分数据进行聚合处理，得到聚合后的部分数据；其中，所述目标指标数据包括所述部分数据和剩余数据；

发送单元，用于通过所述数据聚合节点将所述聚合后的部分数据和所述剩余数据，发送至所述集群中的数据存储节点；

存储单元，用于通过所述数据存储节点存储所述聚合后的部分数据和所述剩余数据至存储设备。

9.一种高并发数据的处理集群，其特征在于，所述处理集群包括：数据聚合节点和数据存储节点；

所述数据聚合节点，用于调用进程以获取目标指标数据；所述数据聚合节点，还用于若所述目标指标数据中的部分数据符合数据聚合条件，通过数据聚合节点对所述部分数据进行聚合处理，得到聚合后的部分数据；其中，所述目标指标数据包括所述部分数据和剩余数据；

所述数据聚合节点，还用于通过所述数据聚合节点将所述聚合后的部分数据和所述剩余数据，发送至所述数据存储节点；

所述数据存储节点，用于存储所述聚合后的部分数据和所述剩余数据至存储设备。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的高并发数据的处理方法。

Images