CN111082972B - 基于分布式集群实现弹性扩展的方法及分布式集群架构 - Google Patents

Abstract

本发明实施例公开了一种基于分布式集群实现弹性扩展的方法及分布式集群架构，方法包括：集群监管服务Monitor接收服务网关发送的加入集群通知，获取服务网关的资源信息；集群监管服务Monitor接收终端服务Agent发送的加入集群申请，通知终端服务Agent与服务网关进行通讯；若监听到服务网关的个数发生变动，则所述集群监管服务Monitor通过平衡算法动态调整所述终端服务Agent与服务网关的链路关系；集群监管服务Monitor展示信息。实施本发明实施例，以将后端服务进行分布式部署，实现弹性扩展，即能动态扩展资源提高整体服务的性能，又能达到部分服务失效但不影响整体服务的高可靠性。

Description

基于分布式集群实现弹性扩展的方法及分布式集群架构

技术领域

本发明涉及互联网安全服务技术领域，具体涉及一种基于分布式集群实现弹性扩展的方法及分布式集群架构。

背景技术

在端到端终端检测安全领域，随着新型病毒的不断涌现，网络威胁日新月异，传统的分级中心管理模式已经不适合处理新型病毒的威胁。统一集中式的管理模式，能够及时发现和处理新型病毒，但是海量的终端接入需要后端服务更高的性能和可靠性来支撑。

发明内容

本发明实施例的目的在于提供一种基于分布式集群实现弹性扩展的方法及分布式集群架构，以将后端服务进行分布式部署，实现弹性扩展，即能动态扩展资源提高整体服务的性能，又能达到部分服务失效但不影响整体服务的高可靠性。

为实现上述目的，第一方面，本发明实施例提供了一种基于分布式集群实现弹性扩展的方法，包括：

集群监管服务Monitor接收服务网关发送的加入集群通知，并实时监听获取所述服务网关的资源信息；

所述集群监管服务Monitor接收终端服务Agent发送的加入集群申请，并根据所述加入集群申请获取一有效的服务网关，通知所述终端服务Agent与所获取的有效的服务网关进行通讯；

若监听到所述服务网关的个数发生变动，则所述集群监管服务Monitor通过平衡算法动态调整所述终端服务Agent与服务网关的链路关系；

所述集群监管服务Monitor展示信息。

其中，所述资源信息包括服务网关的网络流量、网络流速、终端服务Agent的链接数、周期内请求最大响应时间，所在服务器的内存大小、内存使用率、cpu个数和cpu使用率；所述服务网关的个数发生变动包括集群添加服务网关、删除服务网关、服务网关异常掉线和服务网关重新加入集群。

作为本申请的一种具体实施方式，所述集群监管服务Monitor通过平衡算法动态调整所述终端服务Agent与服务网关的链路关系，具体包括：

当集群添加服务网关时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算；

所述集群监管服务Monitor通知评分低的服务网关拒绝服务部分终端服务Agent，使得被拒绝服务的终端服务Agent重新向集群监管服务Monitor发出申请；

所述集群监管服务Monitor根据所述申请优先安排被拒绝服务的终端服务Agent到评分高的服务网关。

作为本申请的另一种具体实施方式，所述集群监管服务Monitor通过平衡算法动态调整所述终端服务Agent与服务网关的链路关系，具体包括：

当删除服务网关或者服务网关异常掉线时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，被删除的服务网关评分被置0，异常掉线的服务网关评分被置0，服务网关与终端服务Agent链接中断，终端服务Agent向集群监管服务重新申请服务网关信息，集群监管服务Monitor优先安排被中断的终端服务Agent到评分高的服务网关。

进一步地，所述方法还包括：

若所述集群监管服务Monitor根据所述加入集群申请未获取有效的服务网关，则终端服务Agent通过时间退化算法向集群监管服务Monitor申请加入集群。

其中，终端服务Agent通过时间退化算法向集群监管服务Monitor申请加入集群，具体包括：

若终端服务Agent申请加入集群失败，第一次重新申请时间延后30秒，若再次失败，第二次重新申请时间延后60秒，依次类推，直到第10次失败，以后重新申请的时间固定延后时间300秒。

进一步地，所述集群监管服务Monitor展示信息包括四个场景，分别是：

场景一：展示服务网关的状态、网络流量、网络流速、终端服务Agent的链接数、周期内请求最大响应时间、所在服务器的内存大小、内存使用率、cpu个数和cpu使用率；

场景二：展示终端服务Agent的状态、UUID和IP；

场景三：展示集群监管服务Monitor状态；

场景四：展示终端服务Agent与网关服务的链路关系。

第二方面，本发明实施例提供了一种分布式集群架构，包括集群监管服务Monitor、服务网关和终端服务Agent。其中，所述服务网关通知集群监管服务Monitor加入集群，并将资源信息实时上报给集群监管服务Monitor；

终端服务Agent通知集群监管服务Monitor加入集群，集群监管服务Monitor根据平衡算法通知终端服务Agent与确定的单个服务网关进行通讯；

集群监管服务Monitor根据服务网关的实时状态，通过平衡算法动态调整终端服务Agent与服务网关的链路关系；

集群监管服务Monitor展示信息。

进一步地，所述集群监管服务Monitor通过平衡算法动态调整所述终端服务Agent与服务网关的链路关系，具体包括两个场景：

场景一：当集群添加服务网关时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，以得到服务网关的评分差值；若该评分差值超出预设范围，则所述集群监管服务Monitor通知评分低的服务网关拒绝服务部分终端服务Agent，使得被拒绝服务的终端服务Agent重新向集群监管服务Monitor发出申请；所述集群监管服务Monitor根据所述申请优先安排被拒绝服务的终端服务Agent到评分高的服务网关；

场景二：当删除服务网关或者服务网关异常掉线时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，被删除的服务网关评分被置0，异常掉线的服务网关评分被置0，服务网关与终端服务Agent链接中断，终端服务Agent向集群监管服务重新申请服务网关信息，集群监管服务Monitor优先安排被中断的终端服务Agent到评分高的服务网关。

实施本发明实施例，以将后端服务进行分布式部署，实现弹性扩展，即能动态扩展资源提高整体服务的性能，又能达到部分服务失效但不影响整体服务的高可靠性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是分布式集群架构示意图；

图2是本发明实施例提供的基于分布式集群实现弹性扩展的方法的示意流程图；

图3是添加服务网关示意图；

图4是服务网关失效示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为更好地理解本发明实施例，现对其发明构思说明如下：

本实施例的方法是在分布式集群系统中，服务网关实时上报资源信息到集群监管服务Monitor，当终端服务Agent加入集群或者服务网关发生变动时，集群监管服务Monitor根据平衡算法确定终端服务Agent与服务网关新的链接关系，并且每个终端服务Agent仅且唯一与单个服务网关进行通讯，以确保集群在伸缩时或者个别服务网关异常时，集群的整体服务能力不会中断。且，集群监管服务Monito还会展示终端服务Agent与服务网关的链路关系信息，以及服务网关的资源信息，集群中各种组件的状态信息。

如图1所示，本发明实施例提供的基于分布式集群实现弹性扩展的方法，其所适用的分布式集群架构的集群监管服务Monitor配置3个(一主两副)，加入集群的服务网关的个数大于10个，加入集群的终端服务Agent个数为百万级。需要说明的是，本发明实施例所涉及的终端服务Agent是运行在虚机、PC机、服务器或者嵌入式终端等接入集群网络并加入分布式集群的进程，服务网关是接收终端服务Agent请求的并处理的服务进程，集群监管服务Monitor是整个集群的管理进程。

请参考图2，本发明实施例基于分布式集群实现弹性扩展的方法包括以下步骤：

S101，集群监管服务Monitor接收服务网关发送的加入集群通知，并实时监听获取服务网关的资源信息。

具体地，集群监管服务Monitor启动，服务网关启动并加入集群，服务网关上报资源信息给集群监管服务Monitor。其中，上报的资源信息包括但不仅限于服务网关的网络流量、网络流速、终端服务Agent的链接数、周期内请求最大响应时间，所在服务器的内存大小、内存使用率、cpu个数、cpu使用率等。

S102，集群监管服务Monitor接收终端服务Agent发送的加入集群申请，集群监管服务Monitor根据平衡算法通知终端服务Agent与确定的单个服务网关进行通讯。

其中，平衡算法是一种加权算法，影响因子包括服务网关的网络流速、终端服务Agent的链接数、周期内请求最大响应时间，所在服务器的内存使用率，cpu使用率。

具体地，终端服务Agent启动，通知集群监管服务Monitor加入集群，获取正常的服务网关，并与该网关进行通讯。

S103，集群监管服务Monitor根据服务网关的实时状态，通过平衡算法动态调整终端服务Agent与服务网关的链路关系。

具体地，服务网关的实时状态指的是服务网关个数变动，其发生的场景包括新增服务网关，删除服务网关，服务网关异常掉线，服务网关重新加入集群。

其中，集群添加服务网关的示意图如图3所示。新增服务网关或者服务网关重新加入集群时，集群监管服务Monitor根据平衡算法将终端服务Agent重新离散到正常的服务网关。

具体地，当新增服务网关或者服务网关重新加入集群时，集群监管服务Monitor会根据每个服务网关的资源信息通过平衡算法进行综合评分计算，评分低的服务网关会选择部分终端服务Agent向评分高的服务网关进行重新迁移，以达到所有服务网关的评分在一定差值范围内。

进一步地，评分低的服务网关会选择部分终端服务Agent向评分高的服务网关进行重新迁移具体为：集群监管服务Monitor根据平衡算法计算出需要迁移的终端服务Agent，通知终端服务Agent所在的服务网关对需要迁移的终端服务Agent禁止服务，需要迁移的终端服务Agent收到禁止服务消息后重新向集群监管服务Monitor申请新的服务网关。

其中，服务网关失效的示意图如图4所示。当删除服务网关或者服务网关异常掉线时，服务网关与集群监管服务Monitor中断，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，被删除的服务网关评分被置0，异常掉线的服务网关评分被置0，服务网关与终端服务Agent链接中断，终端服务Agent向集群监管服务重新申请服务网关信息，集群监管服务Monitor优先选择评分高的服务网关。

需要说明的是，终端服务Agent向集群监管服务重新申请服务网关加入集群时，在正常情况下集群监管服务Monitor根据平衡算法能得到一个正常的服务网关并返回给终端服务Agent。如果集群监管服务Monitor不能得到一个有效的服务网关，则终端服务Agent通过时间退化算法一直向集群监管服务Monitor申请加入集群。具体为，如果终端服务Agent申请加入集群失败，第一次重新申请时间延后30秒，如果再次失败，第二次重新申请时间延后60秒，依次类推，直到第10次失败，以后重新申请的时间固定延后时间300秒。

S104，集群监管服务Monitor展示信息。

具体地，集群监管服务Monitor展示信息包括四个场景，分别是：

场景一：展示服务网关的状态、网络流量、网络流速、终端服务Agent的链接数、周期内请求最大响应时间、所在服务器的内存大小、内存使用率、cpu个数和cpu使用率；

场景二：展示终端服务Agent的状态、UUID和IP；

场景三：展示集群监管服务Monitor状态；

场景四：展示终端服务Agent与网关服务的链路关系。

实施本发明实施例基于分布式集群实现弹性扩展的方法，以将后端服务进行分布式部署，实现弹性扩展，即能动态扩展资源提高整体服务的性能，又能达到部分服务失效但不影响整体服务的高可靠性。

基于相同的发明构思，本发明实施例还提供一种分布式集群架构，包括集群监管服务Monitor、服务网关和终端服务Agent。其中，所述服务网关通知集群监管服务Monitor加入集群，并将资源信息实时上报给集群监管服务Monitor；

终端服务Agent通知集群监管服务Monitor加入集群，集群监管服务Monitor根据平衡算法通知终端服务Agent与确定的单个服务网关进行通讯；

集群监管服务Monitor根据服务网关的实时状态，通过平衡算法动态调整终端服务Agent与服务网关的链路关系；

集群监管服务Monitor展示信息。

进一步地，所述集群监管服务Monitor通过平衡算法动态调整所述终端服务Agent与服务网关的链路关系，具体包括两个场景：

场景一：当集群添加服务网关时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，以得到服务网关的评分差值；若该评分差值超出预设范围，则所述集群监管服务Monitor通知评分低的服务网关拒绝服务部分终端服务Agent，使得被拒绝服务的终端服务Agent重新向集群监管服务Monitor发出申请；所述集群监管服务Monitor根据所述申请优先安排被拒绝服务的终端服务Agent到评分高的服务网关；

场景二：当删除服务网关或者服务网关异常掉线时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，被删除的服务网关评分被置0，异常掉线的服务网关评分被置0，服务网关与终端服务Agent链接中断，终端服务Agent向集群监管服务重新申请服务网关信息，集群监管服务Monitor优先安排被中断的终端服务Agent到评分高的服务网关。

需要说明的是，关于该分布式集群架构所涉及的相关数据交互流程，可参考前述方法实施例部分的描述，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于分布式集群实现弹性扩展的方法，其特征在于，包括：

集群监管服务Monitor接收服务网关发送的加入集群通知，并实时监听获取所述服务网关的资源信息；

所述集群监管服务Monitor接收终端服务Agent发送的加入集群申请，并根据所述加入集群申请获取一有效的服务网关，通知所述终端服务Agent与所获取的有效的服务网关进行通讯；

若监听到所述服务网关的个数发生变动，则所述集群监管服务Monitor通过平衡算法动态调整所述终端服务Agent与服务网关的链路关系；且每个终端服务Agent仅且唯一与单个服务网关进行通讯，以确保集群在伸缩时或个别服务网关异常时，集群的整体服务能力不会中断；

所述集群监管服务Monitor展示信息；

当所述服务网关的个数发生变动为集群添加服务网关时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算；所述集群监管服务Monitor通知评分低的服务网关拒绝服务部分终端服务Agent，使得被拒绝服务的终端服务Agent重新向集群监管服务Monitor发出申请；所述集群监管服务Monitor根据所述申请优先安排被拒绝服务的终端服务Agent到评分高的服务网关；

当所述服务网关的个数发生变动为删除服务网关或者服务网关异常掉线时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，被删除的服务网关评分被置0，异常掉线的服务网关评分被置0，服务网关与终端服务Agent链接中断，终端服务Agent向集群监管服务重新申请服务网关信息，集群监管服务Monitor优先安排被中断的终端服务Agent到评分高的服务网关。

2.如权利要求1所述的方法，其特征在于，所述资源信息包括服务网关的网络流量、网络流速、终端服务Agent的链接数、周期内请求最大响应时间，所在服务器的内存大小、内存使用率、cpu个数和cpu使用率。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

若所述集群监管服务Monitor根据所述加入集群申请未获取有效的服务网关，则终端服务Agent通过时间退化算法向集群监管服务Monitor申请加入集群。

4.如权利要求3所述的方法，其特征在于，终端服务Agent通过时间退化算法向集群监管服务Monitor申请加入集群，具体包括：

若终端服务Agent申请加入集群失败，第一次重新申请时间延后30秒，若再次失败，第二次重新申请时间延后60秒，依次类推，直到第10次失败，以后重新申请的时间固定延后时间300秒。

5.如权利要求1所述的方法，其特征在于，所述集群监管服务Monitor展示信息包括四个场景，分别是：

场景一：展示服务网关的状态、网络流量、网络流速、终端服务Agent的链接数、周期内请求最大响应时间、所在服务器的内存大小、内存使用率、cpu个数和cpu使用率；

场景二：展示终端服务Agent的状态、UUID和IP；

场景三：展示集群监管服务Monitor状态；

场景四：展示终端服务Agent与网关服务的链路关系。

6.一种分布式集群架构，包括集群监管服务Monitor、服务网关和终端服务Agent，其特征在于，所述服务网关通知集群监管服务Monitor加入集群，并将资源信息实时上报给集群监管服务Monitor；

终端服务Agent通知集群监管服务Monitor加入集群，集群监管服务Monitor根据平衡算法通知终端服务Agent与确定的单个服务网关进行通讯；

集群监管服务Monitor根据服务网关的实时状态，通过平衡算法动态调整终端服务Agent与服务网关的链路关系；且每个终端服务Agent仅且唯一与单个服务网关进行通讯，以确保集群在伸缩时或个别服务网关异常时，集群的整体服务能力不会中断；

集群监管服务Monitor展示信息；

当所述服务网关的个数发生变动为集群添加服务网关时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算；所述集群监管服务Monitor通知评分低的服务网关拒绝服务部分终端服务Agent，使得被拒绝服务的终端服务Agent重新向集群监管服务Monitor发出申请；所述集群监管服务Monitor根据所述申请优先安排被拒绝服务的终端服务Agent到评分高的服务网关；

当所述服务网关的个数发生变动为删除服务网关或者服务网关异常掉线时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，被删除的服务网关评分被置0，异常掉线的服务网关评分被置0，服务网关与终端服务Agent链接中断，终端服务Agent向集群监管服务重新申请服务网关信息，集群监管服务Monitor优先安排被中断的终端服务Agent到评分高的服务网关。

7.如权利要求6所述的分布式集群架构，其特征在于，所述集群监管服务Monitor通过平衡算法动态调整所述终端服务Agent与服务网关的链路关系，具体包括两个场景：

场景一：当集群添加服务网关时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，以得到服务网关的评分差值；若该评分差值超出预设范围，则所述集群监管服务Monitor通知评分低的服务网关拒绝服务部分终端服务Agent，使得被拒绝服务的终端服务Agent重新向集群监管服务Monitor发出申请；所述集群监管服务Monitor根据所述申请优先安排被拒绝服务的终端服务Agent到评分高的服务网关；

场景二：当删除服务网关或者服务网关异常掉线时，集群监管服务Monitor根据每个服务网关的资源信息通过平衡算法进行综合评分计算，被删除的服务网关评分被置0，异常掉线的服务网关评分被置0，服务网关与终端服务Agent链接中断，终端服务Agent向集群监管服务重新申请服务网关信息，集群监管服务Monitor优先安排被中断的终端服务Agent到评分高的服务网关。

Images