CN103095598B - 一种大规模集群环境下的监控数据聚合方法 - Google Patents

Abstract

本发明公开了一种大规模集群环境下的监控数据聚合方法，包括：所有监控节点向主控节点发起注册请求，注册请求中携带有该节点所要采集的数据，并按顺序从主控节点分别获得一个唯一的节点编号Ni，主控节点编号设置为N0，主控节点根据聚合节点负载公式以及约束条件计算聚合树所需要的聚合节点个数，并根据聚合节点负载均衡的原则从所有监控节点中选取合适的聚合节点，根据聚合节点构建聚合树，主控节点判断聚合树中是否存在聚合节点失效或者集群规模是否发生改变，如果是则主控节点对聚合节点的失效或者集群规模的变化做出实时处理。本发明的方法可以克服传统的监控数据聚合导致的集群节点负载不均衡，而且能够动态的自适应集群规模的伸缩变化。

Description

一种大规模集群环境下的监控数据聚合方法

技术领域

本发明属于计算机集群运维领域，更具体地，涉及一种大规模集群环境下的监控数据聚合方法。

背景技术

对整个集群的资源和性能进行有效监控对于保证集群环境的高可用性至关重要。随着集群规模越来越大，如何降低监控系统的开销也变的尤为关键。监控数据的聚合方法的选择直接影响了集群的负载等，同时也要考虑选择的聚合方法能够适应集群的伸缩变换。

传统的监控数据聚合方法主要有两种：一种是集中式的聚合方法，如图1所示，所有的监控节点直接发送数据给主控节点，这种聚合方法适用于集群规模较小的情况，实现起来简单快速方便；另外一种是分层式的聚合方法，如图2所示，这种方法适用于集群规模较大的情况，而且可伸缩性也较好，但是实现起来相对复杂。例如目前常用的开源监控系统Ganglia正是采用这种分层式的聚合方法，但是Ganglia聚合树的构建需要手动配置，除非重新进行手动配置，否则运行时的拓扑不会发生变化，另外中间进程(监控数据处理)的异常也会导致数据的丢失。因此，设计的聚合方法也要考虑到聚合树的自动配置建立以及中间进程失效检测恢复的问题。

目前对于大规模集群环境来说，一般情况下少则几百个节点，多则成千上万个节点。本发明提出的面向集群环境的监控数据聚合方法，主要针对大规模的分布式集群。尽管集群中的每个节点的监控数据量是有限的，但是在大规模分布式计算场景下，确保主控节点快速接收到所有监控数据并维持节点的负载均衡具有一定的挑战。面对这个挑战，常见的聚合方法是构建树型结构，例如构建二叉树等。这些方法可能在集群规模达到一定程度时，主控节点负载可能会成为集群正常运行的一个瓶颈，主要原因是在构建聚合树的过程中，没有对聚合树的高度和宽度做出合适的折中处理，并能实时的根据集群规模的大小自适应动态的做出调整。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种大规模集群环境下的监控数据聚合方法，旨在克服传统的监控数据聚合可能导致的集群节点负载不均衡的问题，而且能够动态的自适应集群规模的伸缩变化。

为实现上述目的，本发明提供了一种大规模集群环境下的监控数据聚合方法，包括以下步骤：

(1)所有监控节点向主控节点发起注册请求，注册请求中携带有该节点所要采集的数据，并按顺序从主控节点分别获得一个唯一的节点编号Ni，其中i为自然数，主控节点编号设置为N0；

(2)主控节点根据聚合节点负载公式以及约束条件计算聚合树所需要的聚合节点个数，并根据聚合节点负载均衡的原则从所有监控节点中选取合适的聚合节点；

(3)根据步骤(2)中获得的聚合节点构建聚合树；具体而言，聚合树为一颗完全二叉树，根节点为主控节点N0，聚合节点按照节点编号Ni按序从小到大排列并构建完全二叉树；

(4)主控节点判断是否存在聚合节点失效或者集群规模是否发生改变，如果是则进入步骤(5)，否则进入步骤(6)；

(5)主控节点对聚合节点的失效或者集群规模的变化做出实时处理；具体而言，如果是由聚合节点失效，则主控节点清理该失效的聚合节点的注册信息，并返回步骤(2)，如果是有监控节点的注册或者注销，也即集群规模发生了变化，则返回步骤(2)；

(6)完成聚合树的构建；具体而言，监控节点发送监控数据给它所在分组的聚合节点，聚合节点把接收到的该组所有监控节点的数据进行聚合，并发送给父节点，最终聚合到主控节点，主控节点进行监控数据的存储和数据分析，分析的结果以图表的方式展示给集群运维人员。

在步骤(2)中，聚合节点的负载度量Load_n满足目标函数：load_n＝a*f_n+b*g_n，其中a，b为权重因子，且满足a+b＝1，f_n为数据个数对节点负载的影响，g_n为数据大小对节点负载的影响，且f_n，g_n都是标量。

在步骤(2)中，聚合节点个数n≤Max，其中Max为一阈值，其取值范围为集群节点数量的1/50到1/20。

步骤(2)包括以下子步骤：

(2.1)初始化聚合节点的个数n＝2；

(2.2)利用负载公式计算聚合节点个数n时对应的整体负载sum_load_n＝n*load_x，load_x表示消息个数x对应产生的单节点负载，x的取值为聚合树叶子节点聚合的监控节点数量；

(2.3)设置n＝n+1，并且判断n是否小于等于阈值Max，如果是则返回步骤(2.2)，否则进入步骤(2.4)；

(2.4)从计算得到的所有sum_load_n中取最小值对应的聚合节点个数m作为聚合树所需要的聚合节点个数，即在整个数据聚合的过程中此时的负载最低；

(2.5)根据步骤(2.4)中所求得的聚合节点个数m，依据节点编号Ni从小到大按序分为m组；

(2.6)在m个组中随机选取一个监控节点作为该组的聚合节点，初始化各组的监控节点代理，以确定其聚合节点，使得监控代理采集的监控数据发给它所在分组的聚合节点。

步骤(2-5)中的分组原则为：聚合节点的子节点所聚合的监控节点数量是该聚合节点所聚合的监控节点数量的2倍，同时已知总的监控节点数量，由此根据等比数列求和公式计算得到各组监控节点的数量。

步骤(4)包括以下子步骤：

(4.1)初始化聚合节点的失效计数器cnt＝0；

(4.2)主控节点判断是否有新的监控节点的注册或者已有的监控节点的注销，即集群规模发生了变化，如果有则返回步骤(3)，否则进入步骤(4.3)；

(4.3)聚合节点以固定时间间隔interval接收子节点child的聚合的监控数据，并重置cnt＝0，利用相关聚合函数对监控数据进行过滤合并处理，发给该聚合节点的父节点；

(4.4)聚合节点每隔一个时间间隔interval去判断是否没有收到子节点child的消息，如果是则进入步骤(4.5)，否则返回步骤(4.3)；

(4.5)设置cnt＝cnt+1，判断cnt是否大于等于5，如果是则进入步骤(4.6)，否则返回步骤(4.4)；

(4.6)聚合节点向子节点child连续三次发送失效探测报文；

(4.7)聚合节点判断是否没有收到子节点child的任何反馈，如果是则进入步骤(5)，否则返回步骤(4.3)。

固定时间间隔interval的取值范围是1至5秒。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：

(1)降低了监控系统的开销：由于步骤(2)采用了负载公式以及集群的所有节点数量计算聚合节点的个数，以及步骤(3)根据步骤(2)获得的聚合节点构建聚合树以完成监控数据的聚合，由此确保在整个数据聚合的过程中对集群的负载影响降到最低。

(2)适用于大规模的集群环境的监控：由于采用了步骤(2)，聚合节点数量会随着集群的规模的增长而增加，由此具有良好的可扩展性，适用大规模的集群环境的监控。

(3)动态的自适应集群的伸缩变换：由于采用了步骤(5)，监控节点向主控节点的注册或者注销，由此使得在集群的规模发生变化时能够重建聚合树。

(4)数据聚合的鲁棒性：由于采用了步骤(5)，当主控节点探测到聚合节点失效时及时做出失效处理，由此保证了整个集群监控系统的数据聚合的鲁棒性。

附图说明

图1为现有集群监控系统的集中式数据聚合方法的架构。

图2为现有集群监控系统的分层式数据聚合方法的架构。

图3为本发明大规模集群环境下的监控数据聚合方法的系统架构。

图4为本发明大规模集群环境下的监控数据聚合方法的流程图。

图5为本发明方法中步骤(2)的细化流程图。

图6为本发明方法中步骤(4)的细化流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在介绍具体方法步骤之前，有必要对集群环境下的监控数据聚合对监控节点产生负载的决定因素做个说明。影响监控节点负载压力的因素主要有两个：一个是监控节点接收消息的个数(子节点的个数)，另外一个是监控节点接收消息的大小，这两个因素分别决定了聚合树的宽度和高度，经过试验发现消息的个数对节点负载的影响的比重相对更大。

本发明大规模集群环境下的监控数据聚合方法根据影响监控节点负载的因素进行分析，对这两个因素做出折中的考虑，从而保证了在数据聚合的过程中各个监控节点的负载均衡，并使得整体的负载降到最低。同时通过构建聚合树的方式来进行数据聚合，使其具有可伸缩性，适用于大规模的分布式集群。由于应用的需求，可能在集群的运行过程中，有时可能会发生节点的增删或者是在数据聚合的过程中发生聚合节点的失效状况，利用该方法可以迅速的重构聚合树，确保监控系统的鲁棒性。

下面就结合附图和具体实施方式对本发明做进一步详细的说明。

如图3所示，本发明大规模集群环境下的监控数据聚合方法是应用到一种集群监控系统架构中，该集群监控系统包括有一个主控节点和多个监控节点。其中主控节点的主要功能是接收监控节点注册或者注销，分析计算并确定聚合节点的个数，控制构建聚合树，探测是否有聚合节点失效的状况并做出失效的恢复处理，探测集群规模是否有发生改变，并做出自适应的调整；监控节点指的是集群环境下运行监控代理的所有节点；聚合节点指的是指监控节点采集的监控数据发往主控节点的聚合路由中的一个节点，除了运行监控代理外，而且对该聚合节点在聚合树的所有子节点的数据以及所在分组内所有监控节点数据进行聚合并发送给父节点。

如图4所示，本发明大规模集群环境下的监控数据聚合方法包括以下步骤：

(1)所有监控节点向主控节点发起注册请求，注册请求中携带有该节点所要采集的数据，并按顺序从主控节点分别获得一个唯一的节点编号Ni(i为自然数)，主控节点编号设置为N0；具体而言，是通过调用主控节点的注册请求接口，传递的参数是监控节点所要采集的监控数据，例如cpu、内存、网络I/O，磁盘I/O等反应节点资源性能指标的数据，如果注册成功，则返回一个节点编号给注册的监控节点，否则返回-1；

(2)主控节点根据聚合节点负载公式以及约束条件计算聚合树所需要的聚合节点个数，并根据聚合节点负载均衡的原则从所有监控节点中选取合适的聚合节点；具体而言，聚合节点的负载度量做如下的定义：设f_n为数据个数对节点负载的影响，g_n为数据大小对节点负载的影响，其中f_n，g_n都是标量，通过实验模拟出不同数据个数和不同数据大小对单节点的负载压力(cpu利用率)的影响，建立一个二维表，便于负载的计算。定义度量节点负载的目标函数：load_n＝a*f_n+b*g_n，其中a，b为权重因子，且满足a+b＝1。同时定义一个约束条件：聚合节点个数n≤Max(取值范围为集群节点数量的1/50到1/20)。通过计算选取不同聚合节点个数时监控数据聚合产生的总负载，总负载最低时的聚合节点个数m即为聚合树的所有非根节点个数。为了尽可能保证所有聚合节点的负载均衡，聚合节点的子节点所聚合的监控节点个数是该聚合节点所聚合的监控节点个数的2倍，按照该原则，根据步骤(1)中获取的节点编号Ni按序进行分组，并在每组中随机选取一个节点作为聚合节点，然后初始化各组的监控节点的监控代理，以确定其聚合节点，使得监控代理采集的监控数据发给它所在分组的聚合节点；

(3)根据步骤(2)中获得的聚合节点构建聚合树；具体而言，聚合树为一颗完全二叉树，根节点为主控节点N0，聚合节点按照节点编号Ni按序从小到大排列并构建完全二叉树；

(4)主控节点判断聚合树中是否存在聚合节点失效或者集群规模是否发生改变，如果是则进入步骤(5)，否则进入步骤(6)；每个聚合节点与其父节点要保持联系，主控节点会及时感知是否有聚合节点失效，而且主控节点一直能够接收监控节点的注册或者注销即集群规模发生伸缩变换；

(5)主控节点对聚合节点的失效或者集群规模的变化做出实时处理；具体而言，如果有聚合节点失效，则主控节点清理该失效的聚合节点的注册信息，并返回步骤(2)，如果有监控节点的注册或者注销，也即集群规模是否发生了变化，则返回步骤(2)；

(6)完成聚合树的构建；具体而言，监控节点发送监控数据给它所在分组的聚合节点，聚合节点把接收到的该组所有监控节点的数据进行聚合，并发送给父节点，最终聚合到主控节点，主控节点进行监控数据的存储和数据分析，分析的结果以图表的方式展示给集群运维人员。

如图5所示，本发明方法中的步骤(2)包括以下子步骤：

(2.1)初始化聚合节点的个数n＝2；

(2.2)利用负载公式计算聚合节点个数n时对应的整体负载sum_load_n＝n*load_x，load_x表示消息个数x对应产生的单节点负载，x的取值为聚合树叶子节点聚合的监控节点数量；

(2.3)设置n＝n+1，并且判断n是否小于等于一个阈值Max(取值范围为集群节点数量的1/50到1/20)，如果是则返回步骤(2.2)，否则进入步骤(2.4)；

(2.4)从计算得到的所有sum_load_n中取最小值对应的聚合节点个数m作为聚合树所需要的聚合节点个数，即在整个数据聚合的过程中此时的负载最低；

(2.5)根据步骤(2.4)中所求得的聚合节点个数m，依据节点编号Ni从小到大按序分为m组，如图3所示，为了保证各个聚合节点的负载均衡，分组原则为：聚合节点的子节点所聚合的监控节点数量是该聚合节点所聚合的监控节点数量的2倍，同时已知总的监控节点数量，由此根据等比数列求和公式计算得到各组监控节点的数量；

(2.6)在m个组中随机选取一个监控节点作为该组的聚合节点，初始化各组的监控节点代理，以确定其聚合节点，使得监控代理采集的监控数据发给它所在分组的聚合节点。

如图6所示，本发明方法中步骤(4)包括以下子步骤：

(4.1)初始化聚合节点的失效计数器cnt＝0；

(4.2)主控节点判断是否有新的监控节点的注册或者已有的监控节点的注销，即集群规模发生了变化，如果有则返回步骤(3)，否则进入步骤(4.3)；

(4.3)聚合节点以固定时间间隔interval(其取值范围为1-5秒)接收子节点child的聚合的监控数据，并重置cnt＝0，利用相关聚合函数对监控数据进行过滤合并处理，发给该聚合节点的父节点；

(4.4)聚合节点每隔一个固定时间间隔interval去判断是否没有收到子节点child的消息，如果是则进入步骤(4.5)，否则返回步骤(4.3)；

(4.5)设置cnt＝cnt+1，判断cnt是否大于等于5，如果是则进入步骤(4.6)，否则返回步骤(4.4)；

(4.6)聚合节点向子节点child连续三次发送失效探测报文；

(4.7)聚合节点判断是否没有收到子节点child的任何反馈，如果是则进入步骤(5)，否则返回步骤(4.3)。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种大规模集群环境下的监控数据聚合方法，其特征在于，包括以下步骤：

(1)所有监控节点向主控节点发起注册请求，注册请求中携带有该节点所要采集的数据，并按顺序从主控节点分别获得一个唯一的节点编号Ni，其中i为自然数，主控节点编号设置为N0；

(2)主控节点根据聚合节点负载公式以及约束条件计算聚合树所需要的聚合节点个数，并根据聚合节点负载均衡的原则从所有监控节点中选取合适的聚合节点；本步骤包括以下子步骤：

(2.1)初始化聚合节点的个数n＝2；

(2.2)利用负载公式计算聚合节点个数n时对应的整体负载sum_load_n＝n*load_x，load_x表示消息个数x对应产生的单节点负载，x的取值为聚合树叶子节点聚合的监控节点数量；

(2.3)设置n＝n+1，并且判断n是否小于等于阈值Max，如果是则返回步骤(2.2)，否则进入步骤(2.4)；

(2.4)从计算得到的所有sum_load_n中取最小值对应的聚合节点个数m作为聚合树所需要的聚合节点个数，即在整个数据聚合的过程中此时的负载最低；

(2.5)根据步骤(2.4)中所求得的聚合节点个数m，依据节点编号Ni从小到大按序分为m组；

(2.6)在m个组中随机选取一个监控节点作为该组的聚合节点，初始化各组的监控节点代理，以确定其聚合节点，使得监控代理采集的监控数据发给它所在分组的聚合节点；

(3)根据步骤(2)中获得的聚合节点构建聚合树；具体而言，聚合树为一颗完全二叉树，根节点为主控节点N0，聚合节点按照节点编号Ni按序从小到大排列并构建完全二叉树；

(4)主控节点判断聚合树中是否存在聚合节点失效或者集群规模是否发生改变，如果是则进入步骤(5)，否则进入步骤(6)；

(5)主控节点对聚合节点的失效或者集群规模的变化做出实时处理；具体而言，如果是由聚合节点失效，则主控节点清理该失效的聚合节点的注册信息，并返回步骤(2)，如果是有监控节点的注册或者注销，也即集群规模发生了变化，则返回步骤(2)；

(6)完成聚合树的构建；具体而言，监控节点发送监控数据给它所在分组的聚合节点，聚合节点把接收到的该组所有监控节点的数据进行聚合，并发送给父节点，最终聚合到主控节点，主控节点进行监控数据的存储和数据分析，分析的结果以图表的方式展示给集群运维人员。

2.根据权利要求1所述的监控数据聚合方法，其特征在于，在步骤(2)中，聚合节点的负载度量Load_n满足目标函数：load_n＝a*f_n+b*g_n，其中a，b为权重因子，且满足a+b＝1，f_n为数据个数对节点负载的影响，g_n为数据大小对节点负载的影响，且f_n，g_n都是标量。

3.根据权利要求2所述的监控数据聚合方法，其特征在于，在步骤(2)中，聚合节点个数n≤Max，其中Max为一阈值，其取值范围为集群节点数量的1/50到1/20。

4.根据权利要求1所述的监控数据聚合方法，其特征在于，步骤(2-5)中的分组原则为：聚合节点的子节点所聚合的监控节点数量是该聚合节点所聚合的监控节点数量的2倍，同时已知总的监控节点数量，由此根据等比数列求和公式计算得到各组监控节点的数量。

5.根据权利要求1所述的监控数据聚合方法，其特征在于，步骤(4)包括以下子步骤：

(4.1)初始化聚合节点的失效计数器cnt＝0；

(4.2)主控节点判断是否有新的监控节点的注册或者已有的监控节点的注销，即集群规模发生了变化，如果有则返回步骤(3)，否则进入步骤(4.3)；

(4.3)聚合节点以固定时间间隔interval接收子节点child的聚合的监控数据，并重置cnt＝0，利用相关聚合函数对监控数据进行过滤合并处理，发给该聚合节点的父节点；

(4.4)聚合节点每隔一个时间间隔interval去判断是否没有收到子节点child的消息，如果是则进入步骤(4.5)，否则返回步骤(4.3)；

(4.5)设置cnt＝cnt+1，判断cnt是否大于等于5，如果是则进入步骤(4.6)，否则返回步骤(4.4)；

(4.6)聚合节点向子节点child连续三次发送失效探测报文；

(4.7)聚合节点判断是否没有收到子节点child的任何反馈，如果是则进入步骤(5)，否则返回步骤(4.3)。

6.根据权利要求5所述的监控数据聚合方法，其特征在于，固定时间间隔interval的取值范围是1至5秒。