CN113672665A - 数据处理方法、数据采集系统、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种数据处理方法、数据处理系统、电子设备和存储介质。本申请实施方式的数据处理方法包括：获取多个目标节点和多个抓取节点；基于数据库类型，对多个目标节点和多个抓取节点进行分类；对同类别的多个抓取节点进行负载排序；根据排序结果为抓取节点分配同类别的目标节点，以使多个抓取节点之间的负载均衡。本申请中的数据处理方法，对获取到的多个目标节点和抓取节点，按照数据库类型，将生成同一数据库的指标数据的目标节点分为一类、将抓取同一数据库的指标数据的抓取节点分为一类，并对同类别的多个抓取节点进行负载排序，然后按照排序结果为抓取节点分配同类别的目标节点，保证抓取节点的负载均衡，提高抓取数据的稳定性。

Description

数据处理方法、数据采集系统、电子设备和存储介质

技术领域

本申请涉及信息技术领域，尤其涉及一种数据处理方法、数据采集系统、电子设备和存储介质。

背景技术

监控作为底层基础设置的一环，是保证线上业务服务正常运行中必不可少的一环，通过设置的监控系统，服务开发和运维人员能够及时有效地发现服务运行的异常，而线上问题从发现到定位再到解决，都离不开作为监控基础功能之一的数据采集过程。然而，当现有的监控系统存在海量时序数据的监控节点需要抓取时，进行采集数据任务的抓取节点的任务分配会出现不均衡的状态。

发明内容

本申请实施方式提供一种数据处理方法、数据采集系统、电子设备和存储介质。

本申请实施方式的数据处理方法用于数据采集系统，所述数据处理方法包括：

获取多个目标节点和多个抓取节点；

基于数据库类型，对多个所述目标节点与多个所述抓取节点进行分类，所述目标节点能够提供对应所述数据库类型的时序数据，所述抓取节点能够抓取对应所述数据库类型的所述目标节点提供的时序数据；

对同类别的多个所述抓取节点进行负载排序；

根据排序结果为所述抓取节点分配同类别的所述目标节点，以使多个所述抓取节点之间的负载均衡。

本申请中的数据处理方法，对获取到的多个目标节点和抓取节点，按照数据库类型，将生成同一数据库的指标数据的目标节点分为一类、将抓取同一数据库的指标数据的抓取节点分为一类，并对同类别的多个抓取节点进行负载排序，然后按照排序结果为抓取节点分配同类别的目标节点，使得保证抓取节点的负载均衡，从而提高抓取数据的持久性和稳定性。

本申请实施方式中提供一种数据采集系统，所述数据采集系统包括：

目标节点；

抓取节点，用于抓取所述目标节点提供的时序数据；

调度节点，用于执行上述实施方式中的数据处理方法。

本申请实施方式提供一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以实现上述任一实施方式所述的数据处理方法。

本申请实施方式提供一种计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行以上任一实施方式所述的数据处理方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式中的数据处理方法的流程示意图；

图2是本申请实施方式中的数据采集系统的结构示意图；

图3是本申请实施方式中的电子设备的结构示意图；

图4是本申请实施方式中的数据处理方法的流程示意图；

图5是本申请实施方式中的数据处理方法的流程示意图；

图6是本申请实施方式中的数据处理方法的流程示意图；

图7是本申请实施方式中的计算第一哈希值与第二哈希值的场景示意图；

图8是本申请实施方式中的数据处理方法的流程示意图；

图9是本申请实施方式中的计算第三哈希值与第四哈希值的场景示意图；

图10是本申请实施方式中的数据处理方法的流程示意图；

图11是本申请实施方式中的数据处理方法的流程示意图；

图12是本申请实施方式中的数据采集系统中调度节点的部署示意图。

主要元件符号说明：

数据采集系统100、目标节点11、抓取节点12、调度节点13、注册中心14、快照文件15、电子设备200、存储器21、处理器22。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

请参阅图1，本申请实施方式提供一种数据处理方法，数据处理方法包括：

步骤S10：获取多个目标节点11和多个抓取节点12；

步骤S20：基于数据库类型，对多个目标节点11与多个抓取节点12进行分类，目标节点11能够提供对应数据库类型的时序数据，抓取节点12能够抓取对应数据库类型的目标节点11提供的时序数据；

步骤S30：对同类别的多个抓取节点12进行负载排序；

步骤S40：根据排序结果为抓取节点12分配同类别的目标节点11，以使多个抓取节点12之间的负载均衡。

请参阅图2，本申请实施方式提供一种数据采集系统100，数据采集系统100包括目标节点11、抓取节点12、调度节点13和注册中心14。其中，抓取节点12可以用于抓取目标节点11提供的时序数据，调度节点13可以实现本申请实施方式中的数据处理方法，目标节点11、抓取节点12和调度节点13能够与注册中心14进行信息交互。

本申请实施方式中的数据处理方法可以由本申请实施方式的数据采集系统100实现。例如，步骤S10、步骤S20、步骤S30与步骤S40可由数据采集系统100的调度节点13(schduler)实现。或者说，调度节点13用于获取多个目标节点11和多个抓取节点12，及用于基于数据库类型，对多个目标节点11与多个抓取节点12进行分类，目标节点11能够提供对应数据库类型的时序数据，抓取节点12能够抓取对应数据库类型的目标节点11提供的时序数据，及用于对同类别的多个抓取节点12进行负载排序，以及用于根据排序结果为抓取节点12分配同类别的目标节点11，以使多个抓取节点12之间的负载均衡。

请参阅图3，本申请还提供了一种电子设备200。其中，电子设备200包括存储器21和处理器22，存储器21用于存储计算机程序，处理器22可以执行计算机程序以实现本申请中的数据处理方法。处理器22与存储器21可以通过总线或者其他方式连接。

本申请中的电子设备200可以为台式电脑等实体设备。特别地，在线上大规模部署的时候，电子设备200可以为虚拟机。

本申请中的数据处理方法，对获取到的多个目标节点11和抓取节点12，按照数据库类型，将生成同一数据库的指标数据的目标节点11分为一类、将抓取同一数据库的指标数据的抓取节点12分为一类，并对同类别的多个抓取节点12进行负载排序，然后按照排序结果为抓取节点12分配同类别的目标节点11，使得保证抓取节点12的负载均衡，从而提高抓取数据的持久性和稳定性。

具体地，监控作为底层基础设置的一环，是保证线上业务服务正常运行中必不可少的一环，通过设置的监控系统，服务开发和运维人员能够及时有效地发现服务运行的异常，而线上问题从发现到定位再到解决，都离不开作为监控基础功能之一的数据采集过程。

现有的监控系统，例如普罗米修斯，在采集海量时序数据时，要么是抓取节点定期从静态配置的主机拉取数据，或者基于服务发现的方式，需要监控的目标设备可以注册到服务中心，例如Kubernetes组件、Consul组件等，然后做调度任务的模块可以从服务中心进行服务发现，以得到需要监控的列表，然后再给抓取节点分配任务以拉取对应目标设备的时序数据。

采用前者的方式，会使得每次需要监控的云主机在发生数量变化时，都需要手动配置或者配置文件，会使得配置文件被反复更新，难以维护；采用后者的方式，即使能够动态感知到目标设备的数量变化，但是依旧无法保证给多个抓取节点分配的抓取任务是均衡的，这样，当存在海量分布式时序数据，比如大量待监控的业务机房，分散在全国/全球各地区的情况下，抓取节点如果不能够尽量负载均衡的进行监控数据抓取，便无法保证数据抓取的持久性和稳定性。

有鉴于此，本申请提供一种数据处理方法，可以应用于数据采集系统100。通过使用本方法，可以使得数据采集系统100中抓取节点12实现动态负载均衡。

需要说明的是，在业务服务本身执行的过程中，一直有数据存入建立的对应的数据库，即多个业务服务可以对应到多个数据库。由于本方案中的数据采集系统100可以监控业务服务的运行状态，以保证线上业务服务正常运行，使服务开发和运维人员能够及时有效地发现服务运行的异常。可以理解，在需要监控服务的运行状态时，需要获取服务的运行指标，那么数据采集系统100可以定时采集对应数据库的一些指标数据，然后将指标数据存入TSDB(Time Series Database)，然后再通过在图形界面去TSDB获取数据以展示出当前各个服务的运行状态指标。

另外，采集到的指标数据为时序数据，时序数据即按时间维度索引的数据，时序数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。对于运维人员而言，监控数据则为一类时序数据，例如对于机器的CPU的监控数据，实际上代表纪录着每个时间点机器上的CPU实际消耗值。

在数据处理方法的步骤S10中，目标节点11即为exporter(ip:port(端口))，是能够提供时序数据的一个服务，服务为一套运行着的提供着对应服务的程序。目标节点11可以向数据采集系统100提供监控样本数据，例如提供指标数据，反映当前服务运行状态。其中，指标数据为目标节点11通过采集其所在的数据库的相关数据后，经过计算生成，用以反映当前服务运行状态。

例如，在目标节点11为node_exporter时，生成的指标数据能够反映CPU运行状态、CPU核心数及内存占用率等；在目标节点11为mysql_exporter时，生成指标数据能够反映每秒存入多少数据、存入数据失败的次数等。

抓取节点12(scraper)可以用于完成抓取指标数据的动作。其中，目标节点11能够暴露出接口，抓取节点12通过访问接口便能够抓取目标节点11生成的对应数据库的时序数据。可以理解，调度节点13可以为抓取节点12分配其所需要抓取的目标节点11的数量。

目标节点11与抓取节点12的数量都可以为多个，例如如图2所示，目标节点11包括目标节点0、目标节点1、目标节点2和目标节点3，抓取节点12包括抓取节点0与抓取节点1。

多个目标节点11与抓取节点12在使用前可以在注册中心14先进行服务注册，服务注册即为服务进程在注册中心14注册自己的位置，通常会注册自身的主机和端口号，还可以根据实际需求注册身份验证信息、运行环境的详细资料等。

注册中心14相当于一个配置中心，其本身也是服务，本质为一套正在运行中的程序。本申请中的注册中心14可以为注册中心集群，例如为Consul Cluster(一个开源的使用GO语言开发的服务发现、配置管理中心服务)。目标节点11与抓取节点12在注册中心14中进行服务注册后，目标节点11与抓取节点12便能够及时的被调用者发现。另外，在目标节点11与抓取节点12出现新增时，称为服务新增，在出现删减时，称为服务删减，而不管是服务新增或者是服务删减，目标节点11与抓取节点12都需要在注册中心14及时更新信息，从而可以被实时感知到。

特别地，由于不同的数据库的目标节点11所暴露的接口不一致，不同数据库的目标节点11导出的指标数据也不一致，那么在注册的时候，可以提前标记抓取节点12要抓取的数据库类型。也即是说，目标节点11与抓取节点12可以携带参数进行注册，参数可以为数据库类型。

这样，如图2所示，在步骤S10中，调度节点13可以从注册中心14中获取到多个目标节点11和多个抓取节点12，从注册中心14中获取已注册信息的行为可以称为服务发现。还需要说明的是，获取多个目标节点11和多个抓取节点12的动作可以为调度节点13中的定时任务(软件程序中实现的一种能定时执行某项特定功能的模块，属于调度节点13主程序的一部分)定时向注册中心14获取的，从而可以动态的更新获得得目标节点11与抓取节点12的实时信息。

在步骤S20中，调度节点13可以基于数据库类型，对多个目标节点11与多个抓取节点12进行分类。如上文所述，目标节点11与抓取节点12可以携带参数在注册中心14进行注册，那么参数可以为数据库类型。这样，在拉取到目标节点11的列表以及抓取节点12的列表后，可以根据数据库类型进行分类。

此时，目标节点11携带的数据库类型的参数代表着，目标节点11可以进行采集的对应数据库，目标节点11可以通过采集的一些数据生成了能够反映服务运行状态的指标数据，并可以通过目标节点11的暴露的接口采集到该数据库的指标数据。抓取节点12携带的数据库类型的参数代表着，抓取节点12可以进行抓取的对应数据库。

基于数据库类型进行分类代表着，将能够采集同一个数据库的数据以计算生成指标数据的目标节点11归为一类，将能够抓取同一个数据库的指标数据的抓取节点12归为一类。那么此时，在目标节点11提供的指标数据，与抓取节点12抓取的指标数据，均来自于同一个数据库的情况下，将对应的目标节点11与抓取节点12归为同一类别。

例如，在图2中，将目标节点0与目标节点1与抓取节点0归为一类，将目标节点0、目标节点1、目标节点2与目标节点3归为一类，将抓取节点0与抓取节点1归为一类。

在步骤S30中，调度节点13可以对同类别的多个抓取节点12进行负载排序。其中，负载所指的是由调度节点13分配给抓取节点12的目标节点11列表。需要说明的是，在从注册中心14获得抓取节点12后，可以从抓取节点12提供的接口中获得抓取节点12的目标节点11列表，或者是，可以通过直接从注册中心14获得抓取节点12与目标节点11的对应关系，从而确定每个抓取节点12对应的目标节点11列表。

如上文所述，同类别可以指的是，抓取节点12抓取到的指标数据来自于相同的数据库。其中，负载排序可以根据抓取节点12当前已分配，或者说已绑定的需要抓取的目标节点11的数量，来对同类别的抓取节点12进行排序，当然，还可以根据当前抓取节点12剩余的服务资源等来进行排序。

特别地，当由步骤S10获取到的抓取节点12的目标节点11列表为空时，可以根据拉取顺序对多个抓取节点12排序。当然，也可以根据其他条件对同类别的多个抓取节点12进行负载排序。

在步骤S40中，调度节点13可以根据排序结果，根据实际需求，设计一定的条件为抓取节点12分配同类别的目标节点11，使得多个抓取节点12之间的负载均衡。其中，可以是优先为剩余服务资源较多的抓取节点12分配目标节点11，也可以是优先为负载低的抓取节点12分配目标节点11，本申请中并不对具体分配条件做固有限制。

例如，在图2中，便将目标节点0与目标节点1分配给抓取节点0，将目标节点2与目标节点3分配给抓取节点1，实现多个抓取节点12之间的负载均衡。

请参阅图4，在某些实施方式中，数据处理方法可以包括：

步骤S50：向注册中心14发送分配完成的抓取节点12与目标节点11的对应关系，以使抓取节点12能够从注册中心14获取对应关系，并根据对应关系抓取目标节点11的时序数据。

在某些实施方式中，调度节点13用于向注册中心14发送分配完成的抓取节点12与目标节点11的对应关系，以使抓取节点12能够从注册中心14获取对应关系，并根据对应关系抓取目标节点11的时序数据。

在某些实施方式中，处理器22用于向注册中心14发送分配完成的抓取节点12与目标节点11的对应关系，以使抓取节点12能够从注册中心14获取对应关系，并根据对应关系抓取目标节点11的时序数据。

如此，可以减少不同节点之间的消息通信，从而降低不同节点间的耦合度，使得保证数据抓取的稳定性。

具体地，在步骤S50中，调度节点13经由步骤S40进行负载均衡后，可以向注册中心14发送分配完成的抓取节点12与目标节点11的对应关系，其中，对应关系所指代的是，每个抓取节点12所分配到的目标节点11列表。然后，抓取节点12可以与注册中心14进行信息交互以获得对应关系，从而抓取节点12可以确定需要抓取的目标节点11列表。

在这种模式下，抓取节点12仅需要与注册中心14通信便可以获得对应的目标节点11列表，从而减少了不同节点之间的消息通信，以降低不同节点间的耦合度，保证数据抓取的稳定性。

请参阅图5，在某些实施方式中，数据处理方法还可以包括：

步骤S60：重新获取多个目标节点11和多个抓取节点12；

步骤S70：在目标节点11和抓取节点12中的至少一个发生变化的情况下，更新抓取节点12与目标节点11的对应关系；

步骤S80：在目标节点11和抓取节点12均未发生变化的情况下，维持原有的对应关系。

在某些实施方式中，调度节点13用于重新获取多个目标节点11和多个抓取节点12，及用于在目标节点11和抓取节点12中的至少一个发生变化的情况下，更新抓取节点12与目标节点11的对应关系，以及用于在目标节点11和抓取节点12均未发生变化的情况下，维持原有的对应关系。

在某些实施方式中，处理器22用于重新获取多个目标节点11和多个抓取节点12，及用于在目标节点11和抓取节点12中的至少一个发生变化的情况下，更新抓取节点12与目标节点11的对应关系，以及用于在目标节点11和抓取节点12均未发生变化的情况下，维持原有的对应关系。

如此，通过在每次发现目标节点11与抓取节点12发生变化时，重新触发负载均衡动作，以重分配抓取节点12需要抓取目标节点11列表，从而增强数据采集系统100的可扩展性。

具体地，当存在海量分布式时序数据，比如大量待监控的业务机房需要监控的情况下，云主机数量往往由于弹性伸缩，一直处于动态变化中，即监控实例处于实时变动中，那么数据采集系统100要及时感知此变化，实现动态负载均衡。

在步骤S60中，可以通过调度节点13中的定时任务重新获取到多个目标节点11和多个抓取节点12以进行后续步骤。

在步骤S70中，在目标节点11和抓取节点12中的至少一个发生变化可以是，目标节点11发生变化，或者是抓取节点12发生变化，还可以是目标节点11和抓取节点12均发生变化。其中，节点的变化可以指的是节点的数量发生变化，例如发生了增减；还可以指的是，节点的IP地址发生了变化，例如更换了执行的云主机；或者可以是节点所携带的参数发生了变化，例如数据库类型发生了改变。

在一个实施例中，mysql_exporter在云主机A上执行，那么192.168.31.237:8080就为其中一个目标节点11，其IP地址为192.168.31.237，端口为8080，注册时携带参数exporter/mysql。在另一台云主机B上执行，目标节点11则为192.168.31.300:8080，可以理解，由于注册时仍携带参数exporter/mysql，携带参数未变仍为同一数据库类型的目标节点11，其端口保持一致，仅是IP地址发生了变化；或者，弃用mysql_exporter，改用node_exporter，此时目标节点11携带的参数类型发生了改变。

在目标节点11与抓取节点12中的至少一个发生变化后，更新抓取节点12与目标节点11的对应关系可以是重复步骤S20、步骤S30与步骤S40，重新触发负载均衡动作，获得抓取节点12与目标节点11之间的新对应关系。

然后，可以将新对应关系发送至注册中心14，以使注册中心14同步更新对应关系，从而抓取节点12可以从注册中心14及时获取新分配的目标节点11列表。

在步骤S80中，在目标节点11和抓取节点12均未发生变化的情况下，及节点的数量与节点自身的信息全部保持不变，此时重复步骤S20、步骤S30与步骤S40，重新触发负载均衡动作，可以容易理解，此时获得的抓取节点12与目标节点11之间的对应关系与先前一致，也即是说，回传至注册中心14的对应关系与先前一致。

特别地，还需要说明的是，上述步骤中，无论目标节点11和抓取节点12变化与否，调度节点13均会重新触发负载均衡动作以更新抓取节点12需要抓取的目标节点11列表，从而导致调度节点13频繁进行不必要的负载均衡计算。那么，可以通过增加判断目标节点11和抓取节点12是否变化的步骤，来避免调度节点13频繁进行不必要的负载均衡计算，其中，具体的方法步骤将在下文详细阐述。

请参阅图6与图7，在某些实施方式中，数据处理方法还可以包括：

步骤S21：获取上次计算同类别的所有目标节点11的信息获得的第一哈希值，目标节点11的信息包括节点地址、节点类型和数据库类型；

步骤S22：计算当前的同类别的所有目标节点11的信息并得到第二哈希值；

步骤S23：在第一哈希值与第二哈希值不同的情况下，确认目标节点11发生变化。

在某些实施方式中，步骤S21、步骤S22与步骤S23可由调度节点13实现。

即，调度节点13用于获取上次计算同类别的所有目标节点11的信息获得的第一哈希值，目标节点11的信息包括节点地址、节点类型和数据库类型，及用于计算当前的同类别的所有目标节点11的信息并得到第二哈希值，以及用于在第一哈希值与第二哈希值不同的情况下，确认目标节点11发生变化。

在某些实施方式中，处理器22用于获取上次计算同类别的所有目标节点11的信息获得的第一哈希值，目标节点11的信息包括节点地址、节点类型和数据库类型，及用于计算当前的同类别的所有目标节点11的信息并得到第二哈希值，以及用于在第一哈希值与第二哈希值不同的情况下，确认目标节点11发生变化。

如此，通过比较第一和第二哈希值来确认目标节点11是否有发生变化，从而可以选择只在第一与第二哈希值不同的情况下，重新触发负载均衡动作以更新抓取节点12需要抓取的目标节点11列表，从而可以降低调度节点13进行负载均衡计算的频率。

具体地，Hash，一般翻译做散列、杂凑，或音译为哈希，是把任意长度的输入(又叫做预映射pre-image)通过散列算法变换成固定长度的输出，该输出就是散列值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。哈希算法具有不可逆性，虽然说两个不同的输入有可能会得到相同的值，但是在采用安全性高的Hash算法，如MD5、SHA时，两个不同的文件几乎不可能得到相同的Hash结果。因此，一旦文件被修改，就可检测出来。这样，本申请中可以利用哈希一致性算法来确认目标节点11是否有发生变化。

在步骤S21中，调度节点13可以获取上次计算同类别的所有目标节点11的信息获得的第一哈希值，在步骤S22中，调度节点13可以计算当前的同类别的所有目标节点11的信息并得到第二哈希值。

本申请中调度节点13通过定时任务每次获取到所有目标节点11时，均会拉取目标节点11的信息对其计算哈希值。例如获取到目标节点11的节点地址，即IP地址和端口，节点类型，即携带的用于表明目标节点11身份的注册参数，和数据库类型，即告知能够暴露接口用于提供生成的哪种数据库的时序数据。

本申请中将每次当前获取到的所有目标节点11的信息所计算的哈希值记作第二哈希值，将与当前的第二哈希值做比较的，在上一次定时任务中计算得到的哈希值记作第一哈希值。

也即是说，当前的第二哈希值可以作为下次比较时的第一哈希值，第二哈希值可以被保存并覆盖第一哈希值。容易理解，在每一次调度节点13获取到目标节点11的信息后，只会做一次哈希计算。

另外，由于可能存在多个类别的目标节点11，那么第一、第二仅做描述性用语，并不限制哈希值的具体个数，实际可能同时存在多个第一、第二哈希值。

在步骤S23中，调度节点13在第一哈希值与第二哈希值不同的情况下，即可确认目标节点11发生变化。可以了解，对于采用的安全性较高的哈希算法时，在输入不是完全相同的情况下，哈希值一定不同，那么即可确认目标节点11存在变化，可能是数量变化、IP变化以及数据库类型发生变化等。

这样，便可以选择在确认第一哈希值与第二哈希值不同的情况下，调度节点13再进行负载均衡计算，为抓取节点12分配需要采集的目标节点11列表，得到新对应关系回传至注册中心14；以及，在确认第一哈希值与第二哈希值相同的情况下，不进行负载均衡计算，直接将从抓取节点12接口获得的上次的目标节点11列表，或者已保存的上次目标节点11列表，又或者是直接从注册中心14获取的上次的目标节点11列表，得到上次的对应关系回传至注册中心14。从而避免了调度节点13做不必要的频繁的负载均衡计算。

在一个实施例中，如图7所示，目标节点3为新增的目标节点11，在步骤S21中，获得对目标节点0、目标节点1和目标节点2的信息计算的第一哈希值，在步骤S22中，对当前的目标节点0、目标节点1、目标节点2和目标节点3的信息计算第二哈希值。由于新增有目标节点3，那么第一哈希值与第二哈希值不同，判断目标节点11发生了变化，便可以重新做负载均衡计算。

特别地，目标节点11的信息还可以包括其他多种信息，例如在目标节点11注册时还可以携带机器配置信息、机器所在区域信息、内存信息等多种信息。具体携带信息可以根据实际需要来设定，本申请并不对此做固有限制，只要包括有基本的节点地址、节点类型和数据库类型信息即可。可以理解，当目标节点11注册时携带了除节点地址、节点类型和数据库类型以外的参数时，在对所有目标节点11做哈希计算时，会将所有参数信息加入进行计算。

请参阅图8和图9，在某些实施方式中，数据处理方法还包括：

步骤S24：获取上次计算同类别的所有抓取节点12的信息获得的第三哈希值，抓取节点12的信息包括节点地址、节点类型和数据库类型；

步骤S25：计算当前的同类别的所有抓取节点12的信息并得到第四哈希值；

步骤S26：在第三哈希值与第四哈希值不同的情况下，确认抓取节点12发生变化。

在某些实施方式中，步骤S24、步骤S25与步骤S26可由调度节点13实现。

即，调度节点13用于获取上次计算同类别的所有抓取节点12的信息获得的第三哈希值，抓取节点12的信息包括节点地址、节点类型和数据库类型，及用于计算当前的同类别的所有抓取节点12的信息并得到第四哈希值，以及用于在第三哈希值与第四哈希值不同的情况下，确认抓取节点12发生变化。

在某些实施方式中，处理器22用于获取上次计算同类别的所有抓取节点12的信息获得的第三哈希值，抓取节点12的信息包括节点地址、节点类型和数据库类型，及用于计算当前的同类别的所有抓取节点12的信息并得到第四哈希值，以及用于在第三哈希值与第四哈希值不同的情况下，确认抓取节点12发生变化。

如此，通过比较第三和第四哈希值来确认抓取节点12的信息是否有发生变化，从而可以选择只在第三与第四哈希值不同的情况下，重新触发负载均衡动作以更新抓取节点12与目标节点11的对应关系，从而可以降低调度节点13进行负载均衡计算的频率。

具体地，在步骤S21中，调度节点13可以获取上次计算同类别的所有抓取节点12的信息获得的第三哈希值。在步骤S22中，调度节点13可以计算当前的同类别的所有抓取节点12的信息并得到第四哈希值。

本申请中调度节点13通过定时任务每次获取到所有抓取节点12时，均会拉取所有抓取节点12的信息对其计算哈希值。例如获取到抓取节点12的节点地址，即IP地址和端口，节点类型，即携带的用于表明抓取节点12身份的注册参数，和数据库类型，即告知能够抓取的对应数据库类型的目标节点11所提供的时序数据。本申请中将每次当前获取到的所有抓取节点12所计算的哈希值记作第四哈希值，将与当前的第四哈希值做比较的，在上一次定时任务中计算得到的哈希值记作第三哈希值。

也即是说，当前的第四哈希值可以作为下次比较时的第三哈希值，第四哈希值可以被保存并覆盖第三哈希值。容易理解，在每一次调度节点13获取到抓取节点12后，只会做一次哈希计算。

另外，由于可能存在多个类别的抓取节点12，那么第三、第四仅做描述性用语，并不限制哈希值的具体个数，实际可能同时存在多个第三、第四哈希值。

在步骤S23中，调度节点13在第三哈希值与第四哈希值不同的情况下，即可确认抓取节点12发生变化。可以了解，对于采用的安全性较高的哈希算法时，在输入不是完全相同的情况下，哈希值一定不同，那么即可确认抓取节点12存在变化，可能是数量变化、IP变化以及数据库类型发生变化等。

这样，便可以选择在确认第三哈希值与第四哈希值不同的情况下，调度节点13再进行负载均衡计算，为抓取节点12分配需要采集的目标节点11列表，得到新对应关系回传至注册中心14；以及，在确认第三哈希值与第四哈希值相同的情况下，不进行负载均衡计算，直接将从抓取节点12接口获得的上次的目标节点11列表，或者已保存的上次目标节点11列表，又或者是直接从注册中心14获取的上次的目标节点11列表，得到上次的对应关系回传至注册中心14。从而避免了调度节点13做不必要的频繁的负载均衡计算。

在一个实施例中，如图9所示，抓取节点3为新增的抓取节点12，在步骤S21中，获得对抓取节点0、抓取节点1和抓取节点2的信息计算的第一哈希值，在步骤S22中，对当前的抓取节点0、抓取节点1、抓取节点2和抓取节点3的信息计算第二哈希值。由于新增有抓取节点3，那么第三哈希值与第四哈希值不同，判断抓取节点12发生了变化，便可以重新做负载均衡计算。

这样，通过采用目标节点11与抓取节点12先携带参数在注册中心14中注册，然后调度节点13通过定时任务定时从注册中心14中拉取目标节点11与抓取节点12。然后比对第一哈希值、第二哈希值、第三哈希值与第四哈希值，在第一哈希值与第二哈希值或者第三哈希值与第四哈希值其中的至少一组出现不相等的情况时，根据数据库类型做分类，并采用负载均衡算法给抓取节点12分配负载后，将分配完成后得到的抓取节点12与目标节点11的对应关系传回注册中心14，以使抓取节点12从注册中心14获得对应关系，从而确认并去抓取被分配的目标节点11。

也即，通过服务注册与服务发现的形式，减小节点间的耦合，保证数据抓取的稳定性；并结合哈希比较算法，在海量分布式系统中，当监控节点和抓取节点12处于动态伸缩时调度节点13可以根据哈希值是否变化,及时更新目标节点11与抓取节点12的列表信息，并判定是否需要刷新负载均衡列表，即重新做负载均衡计算为抓取节点12分配目标节点11列表，更新对应关系。从而可以增加数据采集系统100的可扩展性，并有效降低调度节点13的更新频率。

特别地，抓取节点12的信息还可以包括其他多种信息，例如在抓取节点12注册时还可以携带机器配置信息、机器所在区域信息、内存信息等多种信息。具体携带信息可以根据实际需要来设定，本申请并不对此做固有限制，只要包括有基本的节点地址、节点类型和数据库类型信息即可。可以理解，当抓取节点12注册时携带了除节点地址、节点类型和数据库类型以外的参数时，在对所有抓取节点12做哈希计算时，会将所有参数信息加入进行计算。

请参阅图2与图10，在某些实施方式中，根据排序结果为抓取节点12分配同类别的目标节点11(步骤S40)，包括：

步骤S41：优先为负载低的抓取节点12分配同类别的目标节点11。

在某些实施方式中，步骤S41可由调度节点13实现。也即是说，调度节点13用于优先为负载低的抓取节点12分配同类别的目标节点11。

在某些实施方式中，处理器22用于优先为负载低的抓取节点12分配同类别的目标节点11。

如此，通过优先为负载低的抓取节点12分配同类别的目标节点11，可以保证多个抓取节点12间分配到的抓取任务均衡，避免某个抓取节点12的任务过重造成压力。

具体地，在步骤S41中，经由步骤S30，对同类别的多个抓取节点12进行负载排序从而获得了排序结果。可以理解，负载排序可以根据抓取节点12当前已分配，或者说已绑定的需要抓取的目标节点11的数量，来对同类别的抓取节点12进行排序，当然，还可以根据当前抓取节点12剩余的服务资源等来进行排序。

当采用前者的方式进行排序时，优先为负载低的抓取节点12分配同类别的目标节点11可以是为绑定了数量较少的目标节点11的抓取节点12先分配抓取任务；当采用后者的方式进行排序时，优先为负载低的抓取节点12分配同类别的目标节点11可以是为剩余更多服务资源的抓取节点12先分配抓取任务。

请参阅图11，在某些实施方式中，根据排序结果为抓取节点12分配同类别的目标节点11(步骤S40)，包括：

步骤S42：在负载最大的抓取节点12与负载最小的抓取节点12之间的负载差异大于预设范围的情况下，响应于命令，对抓取节点12重新分配同类别的目标节点11。

在某些实施方式中，步骤S42可以由调度节点13来实现。或者说，调度节点13用于在负载最大的抓取节点12与负载最小的抓取节点12之间的负载差异大于预设范围的情况下，响应于命令，对抓取节点12重新分配同类别的目标节点11。

在某些实施方式中，处理器22用于在负载最大的抓取节点12与负载最小的抓取节点12之间的负载差异大于预设范围的情况下，响应于命令，对抓取节点12重新分配同类别的目标节点11。

如此，通过用户下达命令，让调度节点13响应于命令为抓取节点12重新分配同类别的目标节点11，可以更高效率地使多个抓取节点12间负载均衡，以保证数据抓取的稳定性。

具体地，在步骤S42中，预设范围可以根据服务器的部署方式、服务器的服务资源以及联系实际需求来设定，例如可以根据负载均衡算法决定，由于在算法确定后，可以计算出当负载均衡算法具体实现的情况下，算法可能产生的误差范围，那么可以把大概的最大与最小之间的负载差设为预设范围。

设定预设范围以及保留主动提供命令，以为抓取节点12重分配同类别的目标节点11的方式，可以在面对并发的极端场景时，快速恢复多个抓取节点12间的负载均衡。

例如，在一个场景中，在极短的时间内涌入了大量抓取任务，由于并发处理，在当前时刻抓取节点12所计算拿到的目标节点11列表有可能是错误的，此时有可能导致抓取节点12中的抓取节点0已经分配了目标节点0-目标节点99等100个任务，而抓取节点12中的抓取节点1只分配了目标节点100-目标节点101这2个任务。

此时，负载最大的抓取节点0与负载最小的抓取节点1之间的负载差异已经超过预设范围，那么如果再根据负载均衡算法自动的进行负载均衡，例如下次再有目标节点102任务到来时，会被分配到抓取节点1上，会导致抓取节点12间的负载差异短时间内无法缩小，容易导致数据采集系统100不稳定。

那么下次再有目标节点102任务到来时，此时用户可以主动对调度节点13下达命令，主动进行负载均衡，即对抓取节点0和抓取节点1的任务，进行重分配，使抓取节点0分配目标节点0-目标节点55，抓取节点1分配目标节点56-目标节点102，从而可以更高效率地使多个抓取节点12间负载均衡，以保证数据抓取的稳定性。

请参阅图12，在某些实施方式中，调度节点13至少包括一个主节点和一个从节点，在主节点发生故障的情况下，从节点能够接替主节点的工作。如此，可以保证调度节点13在容灾场景下的工作。

具体地，本申请中所提及的调度节点13所指的是能够实现调度功能的节点，调度节点13可采用包括但不限于集群部署的形式，调度节点13至少包括一个主节点和一个从节点，或者说，主节点与从节点都可以被认为是调度节点13以实现调度功能。

调度节点13中可以自动选举主节点与从节点，并且主节点与从节点间可以实现数据同步，如图12所示，调度节点130为主节点，调度节点131和调度节点132为从节点，主节点负责从注册中心14拉取数据，即拉取抓取节点12与目标节点11，并将此批次数据平均转发给从节点，由从节点计算负载信息，并将计算在调度节点13集群中同步，这样可以减少每个从节点的负载均衡计算量，提高负载均衡效率。

可以理解，调度节点13中的主节点与从节点仅针对调度节点13集群而言，对外表现为只有一个节点。当把调度节点13部署成多个的时候，若不做任何处理，则每个调度节点13由于拉取到的抓取节点12和目标节点11是一样的，因此负载均衡后获得的对应关系也是一致、重复的。这样部署是没有起到任何有效的正面作用，所以本申请采用将调度节点13部署为主从节点的形式，从而让主节点的存在是为了管理从节点，从节点处理具体业务请求，主从节点之间依靠心跳探测，进行状态感知。当主节点由于故障无法提供服务，从节点会接管主节点，继续提供服务。

请参阅图12，在某些实施方式中，数据采集系统还可以包括注册中心14，目标节点11、抓取节点12和所述调度节点13能够与注册中心14进行信息交互，调度节点13能够在每次获取目标节点11与抓取节点12后生成快照文件15，以使自身和注册中心14可以通过快照文件15恢复数据。

如此，在调度节点13遇到异常原因重启时，可以根据快照文件15恢复数据，并且由于每次获取目标节点11与抓取节点12后生成快照文件15，即每次获取目标节点11与抓取节点12后会加载文件数据到内存，从而可以保证恢复的文件数据的时效性。并且，在注册中心14宕机或数据丢失后，也可以通过上述快照文件15，恢复注册中心14的数据。

具体地，存储网络行业协会(SNIA)对快照的定义是：对指定数据集合的一个完全可用拷贝，该拷贝包含源数据在拷贝时间点的静态影像。快照可以是数据再现的一个副本或者复制。对于文件系统来说，文件系统快照是文件系统的一个即时拷贝，它包含了文件系统在快照生成时刻所有的信息，本身也是一个完整可用的副本。

快照文件15可以是保存在运行调度节点13的机器上的，所以调度节点13能直接加载这个快照文件15进行数据恢复。特别地，在本申请的数据处理方法中，会把抓取节点12和目标节点11的信息根据配置时间间隔，生成本地快照文件15，也即是说每次获取目标节点11与抓取节点12后生成快照文件15，这样便可以保证保存的快照文件15的时效性，从而保证根据快照文件15恢复的调度节点13的数据、注册中心14的数据的时效性。

还需要说明的是，调度节点13可以把节点数据注册回注册中心14，从而注册中心14可以恢复数据，或者注册中心14可以从调度节点13的接口获取快照文件15以恢复数据。

本申请实施方式提供了一种存储有计算机程序的非易失性计算机可读存储介质，当计算机程序被一个或多个处理器22执行时，使得处理器22执行以上任一实施方式的数据处理方法。

例如，当计算机程序被一个或多个处理器22执行时，使得处理器22执行以下步骤：

步骤S10：获取多个目标节点11和多个抓取节点12；

步骤S20：基于数据库类型，对多个所述目标节点11与多个所述抓取节点12进行分类；

步骤S30：对同类别的多个所述抓取节点12进行负载排序；

步骤S40：根据排序结果为所述抓取节点12分配同类别的所述目标节点11，以使多个所述抓取节点12之间的负载均衡。

具体地，处理器22可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

计算机程序可以被存储在存储器21中，存储器21作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如上述方法实施例中的方法所对应的程序指令/模块。处理器22通过运行存储在存储器21中的非暂态软件程序、指令以及模块，从而执行处理器22的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，实现的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；存储介质还可以包括上述种类的存储器21的组合。

在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (12)

1.一种数据处理方法，用于数据采集系统，其特征在于，所述数据处理方法包括：

获取多个目标节点和多个抓取节点；

基于数据库类型，对多个所述目标节点与多个所述抓取节点进行分类，所述目标节点能够提供对应所述数据库类型的时序数据，所述抓取节点能够抓取对应所述数据库类型的所述目标节点提供的时序数据；

对同类别的多个所述抓取节点进行负载排序；

根据排序结果为所述抓取节点分配同类别的所述目标节点，以使多个所述抓取节点之间的负载均衡。

2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

向注册中心发送分配完成的所述抓取节点与所述目标节点的对应关系，以使所述抓取节点能够从所述注册中心获取所述对应关系，并根据所述对应关系抓取对应的所述目标节点的时序数据。

3.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

重新获取多个目标节点和多个抓取节点；

在所述目标节点和所述抓取节点中的至少一个发生变化的情况下，更新所述抓取节点与所述目标节点的所述对应关系；

在所述目标节点和所述抓取节点均未发生变化的情况下，维持原有的所述对应关系。

4.根据权利要求3所述的数据处理方法，其特征在于，所述数据处理方法包括：

获取上次计算同类别的所有所述目标节点的信息获得的第一哈希值，所述目标节点的信息包括节点地址、节点类型和所述数据库类型；

计算当前的同类别的所有所述目标节点的信息并得到第二哈希值；

在所述第一哈希值与所述第二哈希值不同的情况下，确认所述目标节点发生变化。

5.根据权利要求3所述的数据处理方法，其特征在于，所述数据处理方法包括：。

获取上次计算同类别的所有所述抓取节点的信息获得的第三哈希值，所述抓取节点的信息包括节点地址、节点类型和所述数据库类型；

计算当前的同类别的所有所述抓取节点的信息并得到第四哈希值；

在所述第三哈希值与所述第四哈希值不同的情况下，确认所述抓取节点发生变化。

6.根据权利要求1所述的数据处理方法，其特征在于，所述根据排序结果为所述抓取节点分配同类别的所述目标节点，包括：

优先为负载低的所述抓取节点分配同类别的所述目标节点。

7.根据权利要求1所述的数据处理方法，其特征在于，所述根据排序结果为所述抓取节点分配同类别的所述目标节点，包括：

在负载最大的所述抓取节点与负载最小的所述抓取节点之间的负载差异大于预设范围的情况下，响应于命令，对所述抓取节点重新分配同类别的所述目标节点。

8.一种数据采集系统，其特征在于，包括：

目标节点；

抓取节点，用于抓取所述目标节点提供的时序数据；

调度节点，用于执行权利要求1-7任一项中所述的数据处理方法。

9.根据权利要求8所述的数据采集系统，其特征在于，所述调度节点至少包括一个主节点和一个从节点，在所述主节点发生故障的情况下，所述从节点能够接替所述主节点的工作。

10.根据权利要求8所述的数据采集系统，其特征在于，所述数据采集系统还包括注册中心，所述目标节点、所述抓取节点和所述调度节点能够与所述注册中心进行信息交互，所述调度节点能够在每次获取所述目标节点与所述抓取节点后生成快照文件，以使自身和所述注册中心通过所述快照文件恢复数据。

11.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以实现权利要求1-7中任一项所述的数据处理方法。

12.一种计算机可执行指令的非易失性计算机可读存储介质，其特征在于，所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1-7中任一项所述的数据处理方法。

Images