CN104702521A - 负载均衡方法和装置 - Google Patents

Abstract

本发明公开了一种负载均衡方法和装置，其中，该方法包括：根据内容分发网络的多个单板的负载，确定多个单板中每个单板对应的负载等级；选择负载等级中的第一负载等级对应的一个或多个单板中的一个单板为新用户提供服务，其中，第一负载等级对应的一个或多个单板的负载低于该负载等级中其他负载等级对应的负载。通过本发明，解决了相关技术中的内容分发网络的轮选策略或者优选策略导致的负载不均衡的问题，从而实现了内容分发网络的多个单板的负载均衡。

Description

负载均衡方法和装置

技术领域

本发明涉及通信领域，具体而言，涉及一种负载均衡方法和装置。

背景技术

在内容分发网络（Content Delivery Network，简称为CDN）系统中，为了增加系统总的服务能力，往往需要多个单板为用户提供服务。信令处理模块需要在用户接入时，选择为用户提供服务的单板，出于流程的可控性，这种选择往往是一次性的。因此，如何选择为用户服务的单板，并保证单板间负载均衡以减少单板负载过大的几率就显得尤为重要。

相关技术中的一种CDN系统的负载均衡方案采用的是轮选策略，即在所有单板中轮流选取服务的单板，这种方法可以简单的实现用户数上的均衡，且正常情况下较为稳定，不用提供外部数据（例如单板的负载数据）就能实现。但是发明人发现在采用轮选策略时，以下几种情况下会出现问题：

1、由于用户点播内容码率不一样，虽然用户数均衡，其他指标，如文件输入输出（IO）、网口流量等，很容易出现不均衡；

2、系统中某些单板下电或者异常，因为后续没有调整策略，其他单板的压力会比较大；

3、频道录制等业务对单板的资源消耗较大，如果和普通VOD用户一样轮选，尤其单板复位导致频道集中，这样频道多的单板压力会非常大；

4、现网用户退出时机是随机的，因此也会导致单板间的不均衡。

相关技术中的另一种CDN系统的负载均衡方案采用的是针对单板负载指标的优选策略，即选择一种典型的指标，如文件系统IO、网口流量、中央处理器（Central Processing Unit，简称为CPU）等，每次选择负载最轻的单板服务。这种策略对系数的选择要求特别高，并且需要及时并且准确的数据支持。并且，发明人在研究过程中发现，由于该策略仅对于最优的一个单板进行选择，在数据统计或者上报不够及时，而用户数快速上线或者迁移时，容易导致用户集中在一个单板，从而使得这块单板由于负载突然增大导致该单板服务的所有用户出现卡顿。

针对相关技术中的内容分发网络的轮选策略或者优选策略导致的负载不均衡的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种负载均衡方法和装置，以至少解决相关技术中的内容分发网络的轮选策略或者优选策略导致的负载不均衡的问题。

根据本发明的一个方面，提供了一种负载均衡方法，包括：根据内容分发网络的多个单板的负载，确定所述多个单板中每个单板对应的负载等级；选择所述负载等级中的第一负载等级对应的一个或多个单板中的一个单板为新用户提供服务，其中，所述第一负载等级对应的所述一个或多个单板的所述负载低于所述负载等级中其他负载等级对应的所述负载。

优选地，在确定所述多个单板中每个单板对应的负载等级之前，所述方法还包括：根据预定负载指标，分别确定所述多个单板的所述负载。

优选地，所述预定负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标。

优选地，选择所述第一负载等级对应的所述一个或多个单板中的所述一个单板包括：判断所述一个或多个单板的负载指标是否满足所述新用户需求的负载指标，其中，所述新用户需求的负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标；选择所述一个或多个单板中负载指标满足所述新用户需求的负载指标的一个单板为所述新用户提供服务。

优选地，确定所述多个单板中每个单板对应的所述负载等级包括：根据所述多个单板的所述负载分别落入的多个阈值范围，将所述多个单板依次映射到多个队列中，其中，所述多个队列中的一个队列分别对应于所述负载等级中的一个负载等级。

优选地，选择所述第一负载等级对应的所述一个或多个单板中的所述一个单板包括：依次判断所述第一负载等级对应的队列中的一个或多个单板的负载指标是否满足所述新用户需求的负载指标，其中，所述新用户需求的负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标；选择所述第一负载等级对应的队列中满足所述新用户需求的负载指标的第一个单板为所述新用户提供服务。

优选地，所述方法还包括：在以下至少之一的情况下更新所述多个单板中的相应单板的所述负载等级：达到预定的更新周期；所述相应单板开始为新的用户提供服务；所述相应单板所提供服务的用户中有用户退出；所述相应单板下电或者出现异常，其中，确定所述下电或者出现异常的所述相应单板的负载为满负载。

根据本发明的另一个方面，还提供了一种负载均衡装置，包括：确定模块，用于根据内容分发网络的多个单板的负载，确定所述多个单板中每个单板对应的负载等级；选择模块，用于选择所述负载等级中的第一负载等级对应的一个或多个单板中的一个单板为新用户提供服务，其中，所述第一负载等级对应的所述一个或多个单板的所述负载低于所述负载等级中其他负载等级对应的所述负载。

优选地，所述选择模块包括：判断单元，用于判断所述一个或多个单板的负载指标是否满足所述新用户需求的负载指标，其中，所述新用户需求的负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标；选择单元，用于选择所述一个或多个单板中负载指标满足所述新用户需求的负载指标的一个单板为所述新用户提供服务。

优选地，所述装置还包括：更新模块，用于在以下至少之一的情况下更新所述多个单板中的相应单板的所述负载等级：达到预定的更新周期；所述相应单板开始为新的用户提供服务；所述相应单板所提供服务的用户中有用户退出；所述相应单板下电或者出现异常，其中，确定所述下电或者出现异常的所述相应单板的负载为满负载。

通过本发明，采用根据内容分发网络的多个单板的负载，确定多个单板中每个单板对应的负载等级；选择负载等级中的第一负载等级对应的一个或多个单板中的一个单板为新用户提供服务，其中，第一负载等级对应的一个或多个单板的负载低于该负载等级中其他负载等级对应的负载的方式，解决了相关技术中的内容分发网络的轮选策略或者优选策略导致的负载不均衡的问题，从而实现了内容分发网络的多个单板的负载均衡。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的负载均衡方法的流程示意图；

图2是根据本发明实施例的负载均衡装置的结构示意图；

图3是根据本发明实施例的负载均衡装置的优选结构示意图一；

图4是根据本发明实施例的负载均衡装置的优选结构示意图二；

图5是根据本发明优选实施例的功能模块拓扑结构示意图；

图6是根据本发明优选实施例的分级控制过程的流程示意图；

图7是根据本发明优选实施例的一个等级队列的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例提供了一种负载均衡方法，图1是根据本发明实施例的负载均衡方法的流程示意图，如图1所示，该方法包括如下流程：

步骤S102，根据内容分发网络的多个单板的负载，确定多个单板中每个单板对应的负载等级；

步骤S104，选择负载等级中的第一负载等级对应的一个或多个单板中的一个单板为新用户提供服务，其中，第一负载等级对应的一个或多个单板的负载低于负载等级中其他负载等级对应的负载。

通过上述步骤，采用根据多个单板的负载分别确定其中每个单板对应的负载等级，并选择负载等级表示为负载低的第一负载等级中的一个或多个单板中的一个单板为新用户提供服务。上述步骤所示的方案是基于单板负载的均衡策略，因此相对于相关技术中的轮选策略，该方案能够实现负载的均衡；由于上述方案是基于同一个负载等级中的一个或多个单板的均衡策略，因此相对于相关技术中的优选策略，该方案对系数的要求和数据的及时、准确性相对要低，而且不容易出现之前负载最轻的单个单板的负载突然增大的问题。由此可见，通过本实施例的上述步骤，解决了相关技术中的内容分发网络的轮选策略或者优选策略导致的负载不均衡的问题，从而实现了内容分发网络的多个单板的负载均衡。

优选地，多个单板中每个单板的负载是根据预定负载指标确定的，例如，预定负载指标可以是以下至少之一的指标：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标。当然，预定负载指标不限于上述的指标，用户可以根据需要或者系统的要求设置其他的负载指标或者对这些负载指标进行单独选择或组合应用。

在用户选取负载指标时，优选地选择对于这类单板而言容易造成整体负载瓶颈的负载指标，例如：对已一类单板而言，其中央处理器处理能力相对较强不容易出现指标过高的情况，而造成其负载过大的主要因素往往是网口流量指标过高，此时可以优选包含网口流量指标作为预定负载指标。

优选地，可以对多个单板的多种负载指标进行归一化处理，并在同一个内容分发网络的负载均衡处理中对不同单板或者不同类型的单板分别采用归一化处理后的不同预定负载指标来确定各自单板的负载。优选地，不同单板或者不同类型的单板分别选择容易造成其整体负载瓶颈的负载指标作为该预定负载指标。

优选地，在步骤S104中，为了使得待加入的新用户在选择一个单板为其提供服务后，被选择的单板不会出现负载过大的问题，可以在第一负载等级对应的一个或多个单板中选择单板时先判断这些单板的负载指标是否满足新用户需求的负载指标，例如，剩余的负载能力是否满足新用户请求的服务所需要的负载能力，从而选择这一个或多个单板中负载指标满足新用户需求的负载指标的一个单板为新用户提供服务。

优选地，新用户需求的负载指标包括但不限于以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标。

在步骤S102中，可以根据多个单板的负载分别落入的多个阈值范围，将多个单板依次映射到多个队列中，其中，多个队列中的一个队列分别对应于负载等级中的一个负载等级。其中，多个阈值范围中的一个阈值范围对应一个负载等级，该阈值范围或负载等级的个数可以由用户根据需求的负载均衡的粒度和精度进行选择，阈值范围或负载等级的个数越多，则该负载均衡方法的负载均衡能力越强，但需求的数据实时性、准确性需求将越大。

优选地，在使用上述的队列策略的情况下，在步骤S104中可以依次判断第一负载等级对应的队列中的一个或多个单板的负载指标是否满足新用户需求的负载指标，并选择第一负载等级对应的队列中满足新用户需求的负载指标的第一个单板为新用户提供服务。其中，新用户需求的负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标；

优选地，在判断到第一负载等级的一个或多个单板中没有能够满足新用户需求的负载指标的第一个单板可以为新用户提供服务的情况下，可以选择负载比第一负载等级较高的第二负载等级的一个或多个单板中的一个单板为新用户提供服务，或者更新多个单板的负载情况并重新进行单板的选择，或者选择第一负载等级中负载最轻的单板为新用户提供服务，或者挂起新用户的接入请求并等待符合该新用户需求的单板出现后再为该新用户提供服务。

其中，由于新用户请求服务时，该服务所需求的某一个负载指标：例如请求录制业务需求的单板的文件系统输入输出负载较大，而在第一负载等级中的一个或多个单板中可能并不存在能够满足其需求的负载能力的单板，而在第二负载等级中的一个或多个单板中，虽然其预定负载指标较第一负载等级较高，但是在预定负载指标能够满足新用户需求的负载能力的情况下，可能也会存在单板的文件系统输入输出负载能力满足新用户需求的负载能力的单板，因此可以在第二负载等级中选择单板为新用户提供服务。

优选地，在本实施例中，可以在以下至少之一的情况下更新多个单板中的相应单板的负载等级：达到预定的更新周期；相应单板开始为新的用户提供服务；相应单板所提供服务的用户中有用户退出；相应单板下电或者出现异常，其中，确定下电或者出现异常的相应单板的负载为满负载。

本实施例还提供了一种负载均衡装置，该装置用于实现上述负载均衡方法，该装置的功能实现已经在上述方法实施例中进行了说明，在此不再赘述。

图2是根据本发明实施例的负载均衡装置的结构示意图，如图2所示，该装置包括确定模块22和选择模块24，其中，确定模块22，用于根据内容分发网络的多个单板的负载，确定多个单板中每个单板对应的负载等级；选择模块24耦合至确定模块22，用于选择负载等级中的第一负载等级对应的一个或多个单板中的一个单板为新用户提供服务，其中，第一负载等级对应的一个或多个单板的负载低于负载等级中其他负载等级对应的负载。

本发明的实施例中所涉及到的模块、单元可以通过软件的方式实现，也可以通过硬件的方式来实现。本实施例中的所描述的模块、单元也可以设置在处理器中，例如，可以描述为：一种处理器包括确定模块22、选择模块24。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，确定模块22还可以被描述为“用于根据内容分发网络的多个单板的负载确定多个单板中每个单板对应的负载等级的模块”。

优选地，该装置还包括：第二确定模块耦合至确定模块22，用于根据预定负载指标，分别确定多个单板的负载。

优选地，该预定负载指标包括但不限于以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标。

图3是根据本发明实施例的负载均衡装置的优选结构示意图一，如图3所示，优选地，选择模块24包括：判断单元242，用于判断一个或多个单板的负载指标是否满足新用户需求的负载指标，其中，新用户需求的负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标；选择单元244耦合至判断单元242，用于选择一个或多个单板中负载指标满足新用户需求的负载指标的一个单板为新用户提供服务。

优选地，确定模块22还用于根据多个单板的负载分别落入的多个阈值范围，将多个单板依次映射到多个队列中，其中，多个队列中的一个队列分别对应于负载等级中的一个负载等级。

优选地，判断单元242还用于依次判断第一负载等级对应的队列中的一个或多个单板的负载指标是否满足新用户需求的负载指标，其中，新用户需求的负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标；选择单元244还用于选择第一负载等级对应的队列中满足新用户需求的负载指标的第一个单板为新用户提供服务。

图4是根据本发明实施例的负载均衡装置的优选结构示意图二，如图4所示，优选地，该装置还包括：更新模块42，用于在以下至少之一的情况下更新多个单板中的相应单板的负载等级：达到预定的更新周期；相应单板开始为新的用户提供服务；相应单板所提供服务的用户中有用户退出；相应单板下电或者出现异常，其中，确定下电或者出现异常的相应单板的负载为满负载。其中，更新模块42可以位于确定模块22中，也可以与选择模块24耦合，或者与确定模块22和选择模块24分别耦合。

下面结合优选实施例进行描述和说明。

本优选实施例提供了一种CDN系统中基于分级控制的负载均衡方法，以解决CDN系统中用户负载均衡问题，提高系统运行的稳定性。

本发明优选实施例设计的一种利用分级控制策略实现负载均衡的机制采用如下的方案：

步骤1，选择一个合适的指标用来反应单板的负载情况，一般是选择单板紧缺的指标，如文件IO、网口流量、CPU负载等，在本优选实施例中以文件IO为例进行说明。

文件IO是根据单板上承载的业务计算而来，采用预占的方式，如VOD用户占用1倍码率的IO，频道录制占用5倍码率的IO。对于IO，可以根据需求和性能测试，提供一个单板能够承受的最大值。

步骤2，根据文件IO实时占用情况将单板分成几个等级（相当于负载等级），如空闲20%以下属于最低的等级，依次是空闲20%～50%，50%～80%，80%～100%等。

步骤3，用户（信令处理模块或负载均衡模块等都可以称之为用户）选择的时候，首先选择最空闲的等级队列，如果最空闲等级队列存在多个单板时，就在这些单板间轮选。

下面结合附图对本优选实施例进行说明。

图5是根据本发明优选实施例的功能模块拓扑结构示意图，如图5所示，用于实现上述机制的系统包括：机顶盒、信令处理模块、负载均衡模块、多个流媒体。其中，机顶盒将信令发给信令处理模块，信令处理模块发送请求到负载均衡模块，由负载均衡模块确定一个提供服务的单板，最后将信令转发给这个单板上的流媒体模块进行服务。

图6是根据本发明优选实施例的分级控制过程的流程示意图，参考图6所示，该过程的实现包括的步骤如下：

步骤62，模块上电时，创建多个用于轮选的先入先出的等级队列，根据IO占用情况，将所有单板分配到各个等级队列中，其中，状态不正常或者人工闭塞的单板直接放入最忙队列中；

步骤64，用户接入时，先在最空闲队列中轮选，判断单板是否符合服合条件，如网口状态，CPU，文件IO等，不符合条件则选择队列中下一个单元（即队列中的下一个单板）；

步骤66，选中某单板后，对IO占用情况进行更新，并重新评估单板应属的队列，将其放入该队列的末尾；

步骤68，用户退出时，重新评估是否需要更新等级队列。

图7是根据本发明优选实施例的一个等级队列的示意图，图中的MSTU GRAND X分别表示4个队列，每个队列中的数字为相应单板的标识号。

需要说明的是，上述优选实施例仅以文件IO为例进行说明，并不用于对本发明的任何限制。根据需要可以选择其他负载指标或者这些负载指标的组合来实现上述实施例或优选实施例，在此不再赘述。

由上述描述可知，本发明通过上述实施例或优选实施例，可以很好的结合了轮选策略和优选策略的优点，一方面尽量保证负载均衡，另一方面也可以实现资源的最大使用，相对于相关技术中的方案，优点详述如下：

1、选择的指标可以是单板的瓶颈所在，也可以上几种指标的综合，这样尽量避免出现某一种指标特别高的情况；

2、如果某块单板异常复位之后，可以确定其处于最空闲队列，这样开始阶段就会尽量选在该块单板，直到等级队列发生变化；

3、如果某块单板承载的频道很多，也会在选择的指标中有所体现，这样会将其放入较忙的队列中，在有选择的情况下，尽量不会再加用户上去；

4、虽然用户退出时机是随机的，但是只要等级队列发生变化，就会对后续用户分布进行调整，保证不会出现大的不均衡；

5、由于在等级队列内仍然采用轮选，因此对用户上线速度并不是很敏感，也即即使用户上线速度比较集中，也不容易出现同一单板的负载突然增大的问题。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上上述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种负载均衡方法，其特征在于包括：

根据内容分发网络的多个单板的负载，确定所述多个单板中每个单板对应的负载等级；

选择所述负载等级中的第一负载等级对应的一个或多个单板中的一个单板为新用户提供服务，其中，所述第一负载等级对应的所述一个或多个单板的所述负载低于所述负载等级中其他负载等级对应的所述负载。

2.根据权利要求1所述的方法，其特征在于，在确定所述多个单板中每个单板对应的负载等级之前，所述方法还包括：

根据预定负载指标，分别确定所述多个单板的所述负载。

3.根据权利要求2所述的方法，其特征在于，所述预定负载指标包括以下至少之一：

单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标。

4.根据权利要求1所述的方法，其特征在于，选择所述第一负载等级对应的所述一个或多个单板中的所述一个单板包括：

判断所述一个或多个单板的负载指标是否满足所述新用户需求的负载指标，其中，所述新用户需求的负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标；

选择所述一个或多个单板中负载指标满足所述新用户需求的负载指标的一个单板为所述新用户提供服务。

5.根据权利要求1所述的方法，其特征在于，确定所述多个单板中每个单板对应的所述负载等级包括：

根据所述多个单板的所述负载分别落入的多个阈值范围，将所述多个单板依次映射到多个队列中，其中，所述多个队列中的一个队列分别对应于所述负载等级中的一个负载等级。

6.根据权利要求5所述的方法，其特征在于，选择所述第一负载等级对应的所述一个或多个单板中的所述一个单板包括：

依次判断所述第一负载等级对应的队列中的一个或多个单板的负载指标是否满足所述新用户需求的负载指标，其中，所述新用户需求的负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标；

选择所述第一负载等级对应的队列中满足所述新用户需求的负载指标的第一个单板为所述新用户提供服务。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：在以下至少之一的情况下更新所述多个单板中的相应单板的所述负载等级：达到预定的更新周期；所述相应单板开始为新的用户提供服务；所述相应单板所提供服务的用户中有用户退出；所述相应单板下电或者出现异常，其中，确定所述下电或者出现异常的所述相应单板的负载为满负载。

8.一种负载均衡装置，其特征在于包括：

确定模块，用于根据内容分发网络的多个单板的负载，确定所述多个单板中每个单板对应的负载等级；

选择模块，用于选择所述负载等级中的第一负载等级对应的一个或多个单板中的一个单板为新用户提供服务，其中，所述第一负载等级对应的所述一个或多个单板的所述负载低于所述负载等级中其他负载等级对应的所述负载。

9.根据权利要求8所述的装置，其特征在于，所述选择模块包括：

判断单元，用于判断所述一个或多个单板的负载指标是否满足所述新用户需求的负载指标，其中，所述新用户需求的负载指标包括以下至少之一：单板的文件系统输入输出指标、单板的网口流量指标、单板的中央处理器负载指标；

选择单元，用于选择所述一个或多个单板中负载指标满足所述新用户需求的负载指标的一个单板为所述新用户提供服务。

10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括：

更新模块，用于在以下至少之一的情况下更新所述多个单板中的相应单板的所述负载等级：达到预定的更新周期；所述相应单板开始为新的用户提供服务；所述相应单板所提供服务的用户中有用户退出；所述相应单板下电或者出现异常，其中，确定所述下电或者出现异常的所述相应单板的负载为满负载。