CN114640632B - 数据聚合方法、系统、装置、设备及存储介质 - Google Patents

数据聚合方法、系统、装置、设备及存储介质 Download PDF

Info

Publication number
CN114640632B
CN114640632B CN202210307591.1A CN202210307591A CN114640632B CN 114640632 B CN114640632 B CN 114640632B CN 202210307591 A CN202210307591 A CN 202210307591A CN 114640632 B CN114640632 B CN 114640632B
Authority
CN
China
Prior art keywords
data
aggregation
target
component
transponder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210307591.1A
Other languages
English (en)
Other versions
CN114640632A (zh
Inventor
张羽
沈徐东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202210307591.1A priority Critical patent/CN114640632B/zh
Publication of CN114640632A publication Critical patent/CN114640632A/zh
Application granted granted Critical
Publication of CN114640632B publication Critical patent/CN114640632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1036—Load balancing of requests to servers for services different from user content provisioning, e.g. load balancing across domain name servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种数据聚合方法、系统、装置、设备及存储介质；其中，所述方法适用于转发器，所述转发器与转发聚合集群中的各聚合组件均建立数据通信；且不同聚合组件用于对不同类型的数据进行聚合或降采样处理；所述方法包括：获取多条数据；根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件；将各所述数据发送至与各所述数据各自对应的目标聚合组件；其中，每个所述目标聚合组件用于对所述转发器发送的相同数据类型的数据进行聚类或降采样处理，得到聚合结果数据；接收各所述目标聚合组件发送的各所述聚合结果数据。本申请用以解决现有技术中，数据流量较大的情况下，导致数据聚合结果不准确的问题。

Description

数据聚合方法、系统、装置、设备及存储介质
技术领域
本申请涉及云计算技术领域，尤其涉及一种数据聚合方法、系统、装置、设备及存储介质。
背景技术
目前，在利用m3db技术存储大量的数据指标时，每个转发器对应绑定有一个m3db聚合组件，其中，m3db聚合组件用于对数据进行聚合或降采样处理，然后通过转发器将聚合或降采样处理后的数据，再写回到m3db存储器中。
但是，在数据流量较大的情况下，如果使用负载均衡将数据分发到多个转发器上，由于负载均衡分发数据时，并不考虑数据的具体内容，会导致分发到某个转发器上的数据的种类是多样的。而由于每个转发器对应绑定有一个m3db聚合组件，则聚合时会出现将多种不同类型的数据聚合到一起的情况，导致聚合结果不准确。
发明内容
本申请提供了一种数据聚合方法、系统、装置、设备及存储介质，用以解决现有技术中，数据流量较大的情况下，导致数据聚合结果不准确的问题。
第一方面，本申请提供了一种数据聚合方法，适用于转发器，所述转发器与转发聚合集群中的各聚合组件均建立数据通信；且不同聚合组件用于对不同类型的数据进行聚合或降采样处理；所述方法包括：
获取多条数据；
根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件；
将各所述数据发送至与各所述数据各自对应的目标聚合组件；其中，每个所述目标聚合组件用于对所述转发器发送的相同数据类型的数据进行聚类或降采样处理，得到聚合结果数据；
接收各所述目标聚合组件发送的各所述聚合结果数据。
可选的，所述根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件，包括：
获取转发聚合集群中各所述聚合组件的总数量；
对于每条所述数据，将所述数据类型和所述总数量进行一致性哈希计算，确定所述数据对应的所述目标聚合组件。
可选的，所述将各所述数据发送至与各所述数据各自对应的目标聚合组件，包括：
确定与各所述目标聚合组件各自对应的入队列；
按照所述入队列，发送各所述数据至与各所述数据各自对应的目标聚合组件。
可选的，所述接收各所述目标聚合组件发送的各所述聚合结果数据，包括：
确定与各所述目标聚合组件各自对应的出队列；
按照所述出队列，获取各所述目标聚合组件各自发送的所述聚合结果数据。
可选的，所述确定与各所述目标聚合组件各自对应的入队列，包括：
从etcd服务器中，获取各所述聚合组件与数据类型、预设入队列以及预设出队列之间的预设对应关系；
对于每个所述目标聚合组件，根据所述预设对应关系，确定与所述目标聚合组件对应的预设入队列，作为所述入队列。
可选的，所述确定与各所述目标聚合组件各自对应的出队列，包括：
从etcd服务器中，获取各所述聚合组件与数据类型、预设入队列以及预设出队列之间的预设对应关系；
对于每个所述目标聚合组件，根据所述预设对应关系，确定与所述目标聚合组件对应的预设出队列，作为所述出队列。
第二方面，本申请提供了一种数据聚合方法，适用于聚合组件；所述聚合组件与至少两个转发器均建立数据通信；所述方法包括：
获取至少两个转发器各自发送的数据；且所述至少两个转发器发送的数据的数据类型相同；
对各所述转发器发送的数据分别进行聚合或降采样处理，得到各所述转发器各自对应的聚合结果数据；
将各所述聚合结果数据对应发送至与所述聚合结果数据各自对应的转发器。
第三方面，本申请提供了一种数据聚合系统，包括：至少两个转发器和转发聚合集群；其中，所述转发聚合集群中包括至少两个聚合组件；其中，每个所述转发器与所述至少两个聚合组件均建立数据通信；不同聚合组件用于对不同数据类型的数据进行聚类或降采样处理；
每个所述转发器，用于接收多条数据，根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件；将各所述数据发送至与各所述数据各自对应的目标聚合组件；
每个所述目标聚合组件，用于对与所述目标聚合组件对应的数据类型相同的各所述数据，按照不同转发器分别进行聚合或降采样处理，得到各所述转发器各自对应的聚合结果数据；将各所述聚合结果数据发送至与各所述聚合结果数据各自对应的转发器；
每个所述转发器，用于接收各所述目标聚合组件发送的各所述聚合结果数据。
可选的，每个所述聚合组件包括：主节点和从节点；
所述主节点，用于接收各所述转发器发送的与所述目标聚合组件对应的数据类型相同的各所述数据，并发送至所述从节点；
所述从节点，用于对与所述目标聚合组件对应的数据类型相同的各所述数据，按照不同转发器分别进行聚合或降采样处理，得到各所述转发器对应的聚合结果数据，并将各所述聚合结果数据发送至所述主节点；
所述主节点，用于将各所述聚合结果数据发送至与各所述聚合结果数据各自对应的转发器。
第四方面，本申请提供了一种数据聚合装置，适用于转发器，所述转发器与转发聚合集群中的各聚合组件均建立数据通信；且不同聚合组件用于对不同类型的数据进行聚合或降采样处理；所述装置法包括
第一获取模块，用于获取多条数据；
确定模块，用于根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件；
第一发送模块，用于将各所述数据发送至与各所述数据各自对应的目标聚合组件；其中，每个所述目标聚合组件用于对所述转发器发送的相同数据类型的数据进行聚类或降采样处理，得到聚合结果数据；
接收模块，用于接收各所述目标聚合组件发送的各所述聚合结果数据。
第五方面，本申请提供了一种数据聚合装置，适用于聚合组件；所述聚合组件与至少两个转发器均建立数据通信；所述装置包括：
第二获取模块，用于获取至少两个转发器各自发送的数据；且所述至少两个转发器发送的数据的数据类型相同；
处理模块，用于对各所述转发器发送的数据分别进行聚合或降采样处理，得到各所述转发器各自对应的聚合结果数据；
第二发送模块，用于将各所述聚合结果数据对应发送至与所述聚合结果数据各自对应的转发器。
第六方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的数据聚合方法或第二方面所述的数据聚合方法。
第七方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的数据聚合方法或第二方面所述的数据聚合方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，将转发器和聚合组件解耦，转发器中收到的数据根据数据类型发送到对应的目标聚合组件中进行聚合或降采样处理，然后再对应返回给转发器，一个目标聚合组件只针对同一数据类型的数据进行聚合或降采样，避免了将多种不同类型的数据聚合到一起，保证了聚合结果的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为现有技术中提供的数据聚合方法的系统架构示意图；
图2为本申请实施例提供的数据聚合方法的系统架构示意图；
图3为本申请实施例提供的适用于转发器的数据聚合方法的流程示意图；
图4为本申请实施例提供的适用于聚合组件的数据聚合方法的流程示意图；
图5为本申请实施例提供的数据聚合方法的整体处理流程图；
图6为本申请实施例提供的数据聚合方法的时序图；
图7为本申请实施例提供的适用于转发器的数据聚合装置的结构示意图；
图8为本申请实施例提供的适用于聚合组件的数据聚合装置的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在详细介绍本申请实施例提供的一种数据聚合方法之前，首先，结合图1对现有技术中的数据聚合方法所应用的系统架构进行描述。如图1所示，现有技术提供的数据聚合方法所应用的系统架构中主要包括：客户端、DNS(域名系统)设备、负载均衡设备、多个M3DB转发器，其中，每个M3DB转发器一一对应有M3DB聚合组件。
其中，客户端将采集的数据流发送到DNS设备上，通过DNS服务解析后，数据流经负载均衡设备分发到多个M3DB转发器上，每个M3DB转发器和M3DB聚合组件之间存在一个输入队列和一个输出队列，以使得M3DB转发器和M3DB聚合组件之间完成数据的传输。
按照现有技术中的系统架构，当负载均衡设备将数据流分发到多个M3DB转发器时，并不会考虑数据的具体内容，则分发到每个M3DB转发器上的数据的类型可能是一种，两种，甚至是更多种，有可能将属于同一种类型的数据分发到不同的M3DB转发器上，导致聚合结果并不准确。
为了便于理解，这里举例说明，例如：系统架构中存在三个M3DB转发器，数据流中包含CPU(中央处理器)内存大小这一指标相关的数据、磁盘读写这一指标相关的数据以及IP地址这一指标相关的数据。则经过负载均衡设备后，将数据流分发到这三个M3DB转发器上，第一个M3DB转发器上分发到的数据均为CPU内存大小这一指标相关的数据，第二个M3DB转发器上分发到的数据中包括CPU内存大小这一指标相关的一小部分数据，还包括磁盘读写这一指标相关的数据；第三个M3DB转发器上分发到的数据中包括磁盘读写这一指标相关的一部分数据以及IP地址这一指标相关的数据。
如果按照目前的系统架构进行聚合或降采样处理的话，则与第一个M3DB转发器一一对应的M3DB聚合组件完成对第一个M3DB转发器发送的CPU内存大小这一指标相关的数据的聚合或降采样；与第二个M3DB转发器一一对应的M3DB聚合组件完成对第二个M3DB转发器发送的CPU内存大小这一指标相关的数据以及磁盘读写这一指标相关的数据的聚合或降采样，则在聚合或降采样处理时，会出现不同类型的数据聚合或降采样到一起，导致聚合或降采样结果不准确。同理，与第三个M3DB转发器一一对应的M3DB聚合组件在聚合时，也同样会存在相同的问题。
为了解决现有技术中存在的聚合或降采样结果不准确的技术问题，本申请实施例提供了一种数据聚合方法，能够将相同数据类型的数据发送到同一个目标聚合组件进行聚合或降采样处理，使得聚合结果更加准确。
在详细介绍本申请实施例提供的一种数据聚合方法之前，首先结合图2对本申请实施例提供的一种数据聚合方法所应用的系统架构进行说明。
如图2所示，本申请实施例提供的一种数据聚合方法所应用的系统架构中包括：至少两个转发器和转发聚合集群；其中，转发聚合集群中包括至少两个聚合组件；其中，每个转发器与至少两个聚合组件均建立数据通信；不同聚合组件用于对不同数据类型的数据进行聚类或降采样处理；且每种聚合组件只负责一种数据类型的数据的聚合或降采样处理。
其中，每个转发器，用于接收多条数据，根据各数据的数据类型，确定各数据各自对应的目标聚合组件；将各数据发送至与各数据各自对应的目标聚合组件；
每个目标聚合组件，用于对与目标聚合组件对应的数据类型相同的各数据，按照不同转发器分别进行聚合或降采样处理，得到各转发器各自对应的聚合结果数据；将各聚合结果数据发送至与各聚合结果数据各自对应的转发器；
每个转发器，用于接收各目标聚合组件发送的各聚合结果数据。
其中，每个聚合组件包括：主节点和从节点；
主节点，用于接收各转发器发送的与目标聚合组件对应的数据类型相同的各数据，并发送至从节点；
从节点，用于对与目标聚合组件对应的数据类型相同的各数据，按照不同转发器分别进行聚合或降采样处理，得到各转发器对应的聚合结果数据，并将各聚合结果数据发送至主节点；
主节点，用于将各聚合结果数据发送至与各聚合结果数据各自对应的转发器。
其中，主节点主要用于收发数据，真正实现聚合或降采样处理的是从节点。在具体实现时，如果聚合组件的计算能力不足时，只需提高从节点的计算能力即可，为后续提高计算能力提供了便利条件。
还需要说明的是，在本申请实施例提供的数据聚合方法所应用的系统架构中还包括：客户端和DNS设备、负载均衡设备等设备，转发器和聚合组件之间也可以通过输入队列和输出队列实现数据的传输。其中，DNS设备、负载均衡设备中，DNS设备和负载均衡设备可以单独部署，也可以部署在一起，这里并不做限定。系统架构中未尽之处与现有技术相同，这里不再展开描述，具体参见图2。
在本申请实施例中，将转发器和聚合组件解耦，转发器中收到的数据根据数据类型发送到对应的目标聚合组件中，一个目标聚合组件只针对同一数据类型的数据进行聚合或降采样，避免了将多种不同类型的数据聚合到一起，保证了聚合结果的准确性。
下面结合图3对本申请实施例提供的一种数据聚合方法进行说明，如图3所示，本申请实施例提供的一种数据聚合方法，适用于转发器，转发器与转发聚合集群中的各聚合组件均建立数据通信；且不同聚合组件用于对不同类型的数据进行聚合或降采样处理；该方法包括：
步骤301，获取多条数据；
在具体实现时，数据流经负载均衡设备分发到多个转发器，每个转发器上都会接收到负载均衡设备分发的数据，数据的类型可能是一种、两种或更多种。
其中，在本申请实施例中，转发器具体为M3DB转发器，聚合组件具体为M3DB聚合组件。
步骤302，根据各数据的数据类型，确定各数据各自对应的目标聚合组件；
在具体实现时，数据可以为指标，不同数据类型代表不同设备或客户端的不同指标，即属于同一设备或客户端的相同指标的数据类型相同。一个指标数据中包括：指标名称、指标标签集合和指标数值；其中，指标标签集合包含标签名和标签值。
为了便于理解，这里举例说明，从客户端处采集到的数据为CPU内存指标，其中，对于该指标，指标名称为：CPU内存，标签名：设备名称，标签值：A设备；标签名：单位，标签值：GB，指标数值为100。
在具体实现时，转发器可以通过读取数据的指标名称和标签名称来确定数据类型。每种数据类型的数据在各自对应的目标聚合组件进行聚合或降采样处理。
在一个具体实施例中，在根据各数据的数据类型，确定各数据各自对应的目标聚合组件，包括：
获取转发聚合集群中各聚合组件的总数量；
其中，各聚合组件的总数量，对于转发器来讲，可以从etcd服务器中获取到所有转发聚合集群中各聚合组件的总数量，也可以从etcd服务器中获取到入队列的数量和/或出队列的数量，各聚合组件的总数量与入队列的数量以及出队列的数量均相同，由此，能够确定各聚合组件的总数量。
对于每条数据，将数据类型和各聚合组件的总数量进行一致性哈希计算，确定数据对应的目标聚合组件。
其中，可以通过数据的指标名称和标签名称来表征数据的数据类型，在具体实现时，可以将数据的指标名称、标签名称及标签值先进行md5或checksum(校验和)计算，然后将md5或checksum(校验和)计算的结果与聚合组件的总数量进行一致性哈希计算，从而确定数据对应的计算结果，每个计算结果与一个目标聚合组件一一对应。
例如：在etcd服务器中，预先设定了不同聚合组件各自对应的标识，如各聚合组件的总数量为3个，对应的计算结果或者说标识分别为0，1，2，如果经过一致性哈希计算得到的结果为1，则说明该数据对应的目标聚合组件为标识为1的聚合组件。实际在本申请实施例中，一致性哈希计算即为哈希计算的结果对聚合组件的总数量取余。
步骤303，将各数据发送至与各数据各自对应的目标聚合组件；其中，每个目标聚合组件用于对转发器发送的相同数据类型的数据进行聚类或降采样处理，得到聚合结果数据；
其中，在将各数据发送至与各数据各自对应的目标聚合组件时，可以预先从etcd服务器中，获取各聚合组件与数据类型、预设入队列以及预设出队列之间的预设对应关系；对于每个目标聚合组件，根据预设对应关系，确定与目标聚合组件对应的预设入队列，作为入队列，按照入队列，发送各数据至与各数据各自对应的目标聚合组件。
步骤304，接收各目标聚合组件发送的各聚合结果数据。
其中，在接收各目标聚合组件发送的各聚合结果数据时，可以预先从etcd服务器中，获取各聚合组件与数据类型、预设入队列以及预设出队列之间的预设对应关系；根据预设对应关系，确定与目标聚合组件对应的预设出队列，作为出队列。按照出队列，获取各目标聚合组件各自发送的聚合结果数据。
在本申请实施例中，在将数据发送至目标聚合组件时，通过确定好的入队列将数据发送到对应的目标聚合组件进行聚合或降采样计算，然后目标聚合组件再通过确定好的出队列将聚合结果数据发送至转发器，由转发器读取并写入到M3DB存储集群中。
在本申请实施例中，将转发器和聚合组件解耦，转发器中收到的数据根据数据类型发送到对应的目标聚合组件中进行聚合或降采样处理，然后再对应返回给转发器，一个目标聚合组件只针对同一数据类型的数据进行聚合或降采样，避免了将多种不同类型的数据聚合到一起，保证了聚合结果的准确性。
此外，如图4所示，本申请实施例还提供了一种数据聚合方法，适用于聚合组件；聚合组件与至少两个转发器均建立数据通信；该方法包括：
步骤401，获取至少两个转发器各自发送的数据；且至少两个转发器发送的数据的数据类型相同；
在获取转发器发送的数据时，参见上述实施例，可以通过确定好的入队列获取至少两个转发器各自发送的数据。
步骤402，对各转发器发送的数据分别进行聚合或降采样处理，得到各转发器各自对应的聚合结果数据；
对于某个聚合组件，只针对同一数据类型的数据进行聚合或降采样，对于每个转发器各自发送的数据分别进行聚合或降采样处理，得到每个转发器各自对应的聚合结果数据。
步骤403，将各聚合结果数据对应发送至与聚合结果数据各自对应的转发器。
同样的，在将聚合结果数据发送给转发器时，参照上述实施例，可以通过聚合组件对应的出队列将数据发送至各自对应的转发器。
上述实施例分别从转发器端和聚合组件端描述了本申请实施例提供的数据聚合方法，为了便于理解，下面结合图5和图6对本申请实施例提供的数据聚合方法的流程做进一步说明。其中，图5为本申请实施例提供的整体处理过程的流程图。首先，客户端投递指标数据到DNS/负载均衡设备上，经DNS解析和负载均衡后，转发到各转发器，各转发器接收指标，转发器根据从etcd服务器中获取的聚合集群信息计算指标归属的聚合组件(目标聚合组件)，并通过聚合集群信息以及关联的输入队列，将指标转发到目标聚合组件，目标聚合组件进行聚合计算(即聚合或降采样处理)，目标聚合组件通过输出队列将聚合结果发送到转发器，转发器从输出队列获取聚合结果，转发器将聚合结果转发到M3DB存储器中，M3DB存储器根据指标的数据类型存储指标。
图6为本申请实施例提供的整体处理过程的时序图，示出了从前期的部署准备工作到实际工作的全流程，更加全面的描述了本申请实施例提供的数据聚合方法。
首先，针对前期部署工作的流程进行介绍。各M3DB转发器向etcd服务器注册，etcd服务器返回注册结果，注册成功后，各M3DB转发器从etcd服务器获取存储集群信息、聚合集群信息以及队列信息，并初始化。对于各M3DB聚合组件，各M3DB聚合组件分别向etcd服务器注册，在注册时，对于每个M3DB聚合组件，确定每个M3DB聚合组件中的主节点(leader)，并反馈给各M3DB聚合组件。各M3DB聚合组件从etcd服务器获取聚合集群信息以及队列信息，并初始化。
下面对数据聚合方法的流程进行介绍。客户端投递指标到DNS/负载均衡设备上，经DNS解析和负载均衡后，转发到各转发器，对于任意一个转发器，转发器收到负载均衡后的指标后，将指标名称、指标标签和各所述聚合组件的总数量(入队列数或出队列数)进行一致性哈希计算，确定指定M3DB聚合组件，即目标聚合组件，将指标发送到指定M3DB聚合组件，在指定M3DB聚合组件上进行聚合或降采样处理，再通过指定的出队列将聚合结果发送至与该数据对应转发器上，转发器将聚合结果转发到M3DB存储器，M3DB存储器按照各指标的时间先后顺序进行存储，并转化为区块存储在内存中，定期将区块数据写入存储介质。
此外，还需要说明的是，图6中的虚线均代表返回相关数据的操作。
通过本申请实施例提供的数据聚合方法，能够提高M3DB集群集中采集数据的能力和聚合能力，发挥M3DB存储方案在容器数据收集方面的优势，达到节省数据转发资源和数据聚合资源，降低监控存储成本的效果。
基于同一构思，本申请实施例中提供了一种数据聚合装置，适用于转发器，所述转发器与转发聚合集群中的各聚合组件均建立数据通信；且不同聚合组件用于对不同类型的数据进行聚合或降采样处理；该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述。如图7所示，该装置主要包括：
第一获取模块701，用于获取多条数据；
确定模块702，用于根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件；
第一发送模块703，用于将各所述数据发送至与各所述数据各自对应的目标聚合组件；其中，每个所述目标聚合组件用于对所述转发器发送的相同数据类型的数据进行聚类或降采样处理，得到聚合结果数据；
接收模块704，用于接收各所述目标聚合组件发送的各所述聚合结果数据。
在一个具体实施例中，确定模块702，用于获取转发聚合集群中各所述聚合组件的总数量；对于每条所述数据，将所述数据类型和所述总数量进行一致性哈希计算，确定所述数据对应的所述目标聚合组件。
在一个具体实施例中，第一发送模块703，用于确定与各所述目标聚合组件各自对应的入队列；按照所述入队列，发送各所述数据至与各所述数据各自对应的目标聚合组件。
在一个具体实施例中，接收模块704，用于确定与各所述目标聚合组件各自对应的出队列；按照所述出队列，获取各所述目标聚合组件各自发送的所述聚合结果数据。
在一个具体实施例中，第一发送模块703，用于从etcd服务器中，获取各所述聚合组件与数据类型、预设入队列以及预设出队列之间的预设对应关系；对于每个所述目标聚合组件，根据所述预设对应关系，确定与所述目标聚合组件对应的预设入队列，作为所述入队列。
在一个具体实施例中，接收模块704，用于从etcd服务器中，获取各所述聚合组件与数据类型、预设入队列以及预设出队列之间的预设对应关系；对于每个所述目标聚合组件，根据所述预设对应关系，确定与所述目标聚合组件对应的预设出队列，作为所述出队列。
基于同一构思，本申请实施例中提供了一种数据聚合装置，适用于聚合组件；所述聚合组件与至少两个转发器均建立数据通信；该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述。如图8所示，该装置主要包括：
第二获取模块801，用于获取至少两个转发器各自发送的数据；且所述至少两个转发器发送的数据的数据类型相同；
处理模块802，用于对各所述转发器发送的数据分别进行聚合或降采样处理，得到各所述转发器各自对应的聚合结果数据；
第二发送模块803，用于将各所述聚合结果数据对应发送至与所述聚合结果数据各自对应的转发器。
基于同一构思，本申请实施例中还提供了一种电子设备，如图9所示，该电子设备主要包括：处理器901、存储器902和通信总线903，其中，处理器901和存储器902通过通信总线903完成相互间的通信。其中，存储器902中存储有可被处理器901执行的程序，处理器901执行存储器902中存储的程序，实现如下步骤：
获取多条数据；
根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件；
将各所述数据发送至与各所述数据各自对应的目标聚合组件；其中，每个所述目标聚合组件用于对所述转发器发送的相同数据类型的数据进行聚类或降采样处理，得到聚合结果数据；
接收各所述目标聚合组件发送的各所述聚合结果数据；
或者，
获取至少两个转发器各自发送的数据；且所述至少两个转发器发送的数据的数据类型相同；
对各所述转发器发送的数据分别进行聚合或降采样处理，得到各所述转发器各自对应的聚合结果数据；
将各所述聚合结果数据对应发送至与所述聚合结果数据各自对应的转发器。
上述电子设备中提到的通信总线903可以时外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线903可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器902可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器901的存储装置。
上述的处理器901可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的一种适用于转发器的聚合转发方法或一种适用于聚合组件的聚合转发方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种数据聚合方法，其特征在于，适用于转发器，所述转发器与转发聚合集群中的各聚合组件均建立数据通信；且不同聚合组件用于对不同类型的数据进行聚合或降采样处理；所述方法包括：
获取多条数据；
根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件；
将各所述数据发送至与各所述数据各自对应的目标聚合组件；其中，每个所述目标聚合组件用于对所述转发器发送的相同数据类型的数据进行聚类或降采样处理，得到聚合结果数据；
接收各所述目标聚合组件发送的各所述聚合结果数据。
2.根据权利要求1所述的数据聚合方法，其特征在于，所述根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件，包括：
获取转发聚合集群中各所述聚合组件的总数量；
对于每条所述数据，将所述数据类型和所述总数量进行一致性哈希计算，确定所述数据对应的所述目标聚合组件。
3.根据权利要求2所述的数据聚合方法，其特征在于，所述将各所述数据发送至与各所述数据各自对应的目标聚合组件，包括：
确定与各所述目标聚合组件各自对应的入队列；
按照所述入队列，发送各所述数据至与各所述数据各自对应的目标聚合组件。
4.根据权利要求3所述的数据聚合方法，其特征在于，所述接收各所述目标聚合组件发送的各所述聚合结果数据，包括：
确定与各所述目标聚合组件各自对应的出队列；
按照所述出队列，获取各所述目标聚合组件各自发送的所述聚合结果数据。
5.根据权利要求3或4所述的数据聚合方法，其特征在于，所述确定与各所述目标聚合组件各自对应的入队列，包括：
从etcd服务器中，获取各所述聚合组件与数据类型、预设入队列以及预设出队列之间的预设对应关系；
对于每个所述目标聚合组件，根据所述预设对应关系，确定与所述目标聚合组件对应的预设入队列，作为所述入队列。
6.根据权利要求4所述的数据聚合方法，其特征在于，所述确定与各所述目标聚合组件各自对应的出队列，包括：
从etcd服务器中，获取各所述聚合组件与数据类型、预设入队列以及预设出队列之间的预设对应关系；
对于每个所述目标聚合组件，根据所述预设对应关系，确定与所述目标聚合组件对应的预设出队列，作为所述出队列。
7.一种数据聚合方法，其特征在于，适用于聚合组件；所述聚合组件与至少两个转发器均建立数据通信；所述方法包括：
获取至少两个转发器各自发送的数据；且所述至少两个转发器发送的数据的数据类型相同；
对各所述转发器发送的数据分别进行聚合或降采样处理，得到各所述转发器各自对应的聚合结果数据；
将各所述聚合结果数据对应发送至与所述聚合结果数据各自对应的转发器。
8.一种数据聚合系统，其特征在于，包括：至少两个转发器和转发聚合集群；其中，所述转发聚合集群中包括至少两个聚合组件；其中，每个所述转发器与所述至少两个聚合组件均建立数据通信；不同聚合组件用于对不同数据类型的数据进行聚类或降采样处理；
每个所述转发器，用于接收多条数据，根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件；将各所述数据发送至与各所述数据各自对应的目标聚合组件；
每个所述目标聚合组件，用于对与所述目标聚合组件对应的数据类型相同的各所述数据，按照不同转发器分别进行聚合或降采样处理，得到各所述转发器各自对应的聚合结果数据；将各所述聚合结果数据发送至与各所述聚合结果数据各自对应的转发器；
每个所述转发器，用于接收各所述目标聚合组件发送的各所述聚合结果数据。
9.根据权利要求8所述的数据聚合系统，其特征在于，每个所述聚合组件包括：主节点和从节点；
所述主节点，用于接收各所述转发器发送的与所述目标聚合组件对应的数据类型相同的各所述数据，并发送至所述从节点；
所述从节点，用于对与所述目标聚合组件对应的数据类型相同的各所述数据，按照不同转发器分别进行聚合或降采样处理，得到各所述转发器对应的聚合结果数据，并将各所述聚合结果数据发送至所述主节点；
所述主节点，用于将各所述聚合结果数据发送至与各所述聚合结果数据各自对应的转发器。
10.一种数据聚合装置，其特征在于，适用于转发器，所述转发器与转发聚合集群中的各聚合组件均建立数据通信；且不同聚合组件用于对不同类型的数据进行聚合或降采样处理；所述装置包括
第一获取模块，用于获取多条数据；
确定模块，用于根据各所述数据的数据类型，确定各所述数据各自对应的目标聚合组件；
第一发送模块，用于将各所述数据发送至与各所述数据各自对应的目标聚合组件；其中，每个所述目标聚合组件用于对所述转发器发送的相同数据类型的数据进行聚类或降采样处理，得到聚合结果数据；
接收模块，用于接收各所述目标聚合组件发送的各所述聚合结果数据。
11.一种数据聚合装置，其特征在于，适用于聚合组件；所述聚合组件与至少两个转发器均建立数据通信；所述装置包括：
第二获取模块，用于获取至少两个转发器各自发送的数据；且所述至少两个转发器发送的数据的数据类型相同；
处理模块，用于对各所述转发器发送的数据分别进行聚合或降采样处理，得到各所述转发器各自对应的聚合结果数据；
第二发送模块，用于将各所述聚合结果数据对应发送至与所述聚合结果数据各自对应的转发器。
12.一种电子设备，包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线完成相互间的通信；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器中所存储的程序，实现权利要求1至6任一项所述的数据聚合方法或权利要求7所述的数据聚合方法。
13.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的数据聚合方法或权利要求7所述的数据聚合方法。
CN202210307591.1A 2022-03-25 2022-03-25 数据聚合方法、系统、装置、设备及存储介质 Active CN114640632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210307591.1A CN114640632B (zh) 2022-03-25 2022-03-25 数据聚合方法、系统、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210307591.1A CN114640632B (zh) 2022-03-25 2022-03-25 数据聚合方法、系统、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114640632A CN114640632A (zh) 2022-06-17
CN114640632B true CN114640632B (zh) 2023-12-15

Family

ID=81949683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210307591.1A Active CN114640632B (zh) 2022-03-25 2022-03-25 数据聚合方法、系统、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114640632B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108173782A (zh) * 2017-12-26 2018-06-15 北京星河星云信息技术有限公司 虚拟私有云中传输数据流的方法、装置及存储介质
CN109218232A (zh) * 2017-06-29 2019-01-15 华为技术有限公司 一种实现Mux机的方法、设备及系统
CN109672750A (zh) * 2019-01-15 2019-04-23 特斯联（北京）科技有限公司 一种基于边缘架构的安防数据聚合管理系统及其管理方法
CN111241172A (zh) * 2019-12-26 2020-06-05 北京航天测控技术有限公司 一种数据存储方法、装置、终端及计算机可读介质
CN111338888A (zh) * 2020-02-13 2020-06-26 北京奇艺世纪科技有限公司 一种数据统计方法、装置、电子设备及存储介质
CN111612491A (zh) * 2019-02-25 2020-09-01 北京嘀嘀无限科技发展有限公司 状态分析模型构建方法、分析方法及装置
CN112328688A (zh) * 2020-11-09 2021-02-05 广州虎牙科技有限公司 数据存储方法、装置、计算机设备及存储介质
CN113438494A (zh) * 2021-06-22 2021-09-24 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN113438129A (zh) * 2021-06-22 2021-09-24 上海哔哩哔哩科技有限公司 数据采集方法及装置
WO2021238248A1 (zh) * 2020-05-27 2021-12-02 广东浪潮智慧计算技术有限公司 一种网络流量的分类处理方法、装置、设备及介质
CN113746763A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 一种数据处理的方法、装置和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630972B2 (en) * 2007-01-05 2009-12-08 Yahoo! Inc. Clustered search processing
US10148544B2 (en) * 2013-04-06 2018-12-04 Citrix Systems, Inc. Systems and methods for cluster statistics aggregation
US9219692B2 (en) * 2013-04-24 2015-12-22 International Business Machines Corporation Reducing latencies through packet aggregation
US10834106B2 (en) * 2018-10-03 2020-11-10 At&T Intellectual Property I, L.P. Network security event detection via normalized distance based clustering
US11494700B2 (en) * 2020-09-16 2022-11-08 International Business Machines Corporation Semantic learning in a federated learning system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218232A (zh) * 2017-06-29 2019-01-15 华为技术有限公司 一种实现Mux机的方法、设备及系统
CN108173782A (zh) * 2017-12-26 2018-06-15 北京星河星云信息技术有限公司 虚拟私有云中传输数据流的方法、装置及存储介质
CN109672750A (zh) * 2019-01-15 2019-04-23 特斯联（北京）科技有限公司 一种基于边缘架构的安防数据聚合管理系统及其管理方法
CN111612491A (zh) * 2019-02-25 2020-09-01 北京嘀嘀无限科技发展有限公司 状态分析模型构建方法、分析方法及装置
CN111241172A (zh) * 2019-12-26 2020-06-05 北京航天测控技术有限公司 一种数据存储方法、装置、终端及计算机可读介质
CN111338888A (zh) * 2020-02-13 2020-06-26 北京奇艺世纪科技有限公司 一种数据统计方法、装置、电子设备及存储介质
WO2021238248A1 (zh) * 2020-05-27 2021-12-02 广东浪潮智慧计算技术有限公司 一种网络流量的分类处理方法、装置、设备及介质
CN113746763A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 一种数据处理的方法、装置和设备
CN112328688A (zh) * 2020-11-09 2021-02-05 广州虎牙科技有限公司 数据存储方法、装置、计算机设备及存储介质
CN113438494A (zh) * 2021-06-22 2021-09-24 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN113438129A (zh) * 2021-06-22 2021-09-24 上海哔哩哔哩科技有限公司 数据采集方法及装置

Also Published As

Publication number Publication date
CN114640632A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110290189B (zh) 一种容器集群管理方法、装置及系统
CN109741060B (zh) 信息查询系统、方法、装置、电子设备及存储介质
CN109922158A (zh) 基于微服务的数据处理方法、装置、介质及电子设备
CN110719215B (zh) 虚拟网络的流信息采集方法及装置
CN109547474A (zh) 一种数据传输方法及装置
CN109104368B (zh) 一种请求连接方法、装置、服务器及计算机可读存储介质
US10574765B2 (en) Method, device, and non-transitory computer-readable recording medium
CN108989101A (zh) 一种日志输出系统、方法及电子设备
CN114640632B (zh) 数据聚合方法、系统、装置、设备及存储介质
CN115442420A (zh) 区块链跨链服务管理方法及装置
JP6574310B2 (ja) 評価情報のマッチング方法、装置及びサーバー
CN115391605A (zh) 数据查询方法、装置、设备、计算机可读介质和程序产品
CN115080771A (zh) 基于人工智能的数据处理方法及装置、介质、网关设备
CN114531946B (zh) 数据推送方法、数据推送系统和计算机程序产品
CN112256654B (zh) 一种文档共享方法及装置
CN113032492A (zh) 一种边缘端数据传输与存储的方法以及装置
CN110995890A (zh) 域名请求的调度方法及装置
CN117472617B (zh) 一种消息处理方法、装置、电子设备及可读存储介质
CN109582481A (zh) 调用结果的传输方法、装置、设备及存储介质
WO2018145739A1 (en) Methods, client and server relating to a distributed database
CN113485893B (zh) 一种数据采集方法、装置、系统及电子设备
KR20090003520A (ko) 타회사 주문접수시스템간 데이터 호환프로그램을 이용한자동 주문내역 관리 시스템 및 방법
CN114265739A (zh) 数据处理方法、装置、设备及存储介质
CN115643294A (zh) 车辆控制方法、设备、系统及存储介质
CN114691393A (zh) 消息传输方法、系统、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant