CN1874348A - 一种多处理单元负载均衡方法和多处理单元系统 - Google Patents

Abstract

本发明涉及一种多处理单元负载均衡方法和多处理单元系统。所述方法包括：数据分发单元依据发送数据量预测当前数据处理单元的业务负荷，数据分发单元选择当前业务负荷最小的数据处理单元发送数据；若至少两个数据处理单元的业务负荷相同且为最小，则数据分发单元选择当前周期内获取数据量最小的数据处理单元发送数据；进一步，若至少两个数据处理单元当前周期内获取数据量相同且最小，则采用论选的方法选择确定的数据处理单元发送数据。本发明可以使负荷小的处理单元处理较多的业务，从而使所有数据处理单元的负荷趋于均衡；并且减小了数据处理单元产生业务数据激增状况的可能。

Description

一种多处理单元负载均衡方法和多处理单元系统

技术领域

本发明涉及多处理单元并行数据处理技术，尤其是并行数据处理过程中的多处理单元负载均衡技术。

背景技术

随着并行数据处理技术的广泛应用，其所涉及的数据分发技术也越发引起关注。下文将通过对软交换以及集群通信中数据分发技术的说明，阐述现有技术存在的缺陷。

在NGN网络中，软交换设备是其中业务处理的核心，处理SIP(会话发起协议，Session Initiation Protocol)、H323等网络协议，实现呼叫等业务功能，如图1所示，其中UA1、UA2是两个终端，它们使用SIP协议消息，通过软交换设备建立呼叫。

软交换设备基于功能单元的划分通常呈现如图2所示的分层结构，下层为协议处理部分，称为协议栈，该部分实现对网络协议(如SIP协议)的处理，将协议消息中携带的与业务相关的信息交给上层处理；上层是业务处理部分，处理协议发送过来的应用信息，并实现业务接续功能。

为了提高软交换设备的业务处理容量，通常设置多个相同的数据处理单元独立进行业务处理；并且，通过数据分发单元将协议消息分发给各个数据处理单元。多个数据处理单元分担并行处理业务，提升了整个软交换设备的处理容量。为了发挥软交换设备业务处理的最大能力，需要各个数据处理单元的业务负荷均衡，即应用数据分发技术。

现有软交换中的分发技术多为轮选分发，即数据分发单元轮流将业务消息分发给不同的数据处理单元；该方法不考虑数据处理单元的负荷，在各个数据处理单元负荷不均衡的情况下，依然以相同的速率向高负荷的数据处理单元分发数据/消息，因而可能导致确定数据处理单元过载，而其他数据处理单元相对空闲的状况，进而未能最大发挥并行业务处理的优势。

基于上文的讨论，软交换设备也可以看作是一个集群系统。因此集群系统中使用的分发技术方案，也可以作为本发明领域内的现有技术。在《LVS集群的负载调度》一文中总结了现有的数据分发技术。

最小连接调度/加权最小连接调度，该算法假设当某个数据处理单元的连接数最小时负荷也最小，因此在分发时向持续该数据处理单元分发业务，然而这种高的分发频率，容易使得该数据处理单元短时间接收大量的业务数据，使得业务负荷急剧上升，从而造成过载；尤其是确定数据处理单元的处理能力比其它数据处理单元低时，虽然它的连接数最小，但负荷不一定也最小。

动态反馈负荷均衡算法，该算法根据数据处理单元的负荷反馈，在其负荷查询周期内，对负荷最小的数据处理单元持续分发业务，然而这种高的分发频率，容易使得该数据处理单元在负荷查询周期内接收大量的负荷，在负荷查询周期内负荷急剧上升，从而造成过载；尤其是如果该数据处理单元的处理能力比其它数据处理单元低时，过载就更容易发生；并且计算较复杂，不利于嵌入式实时系统的应用。

综上所述，现有技术存在如下两方面的缺陷：某个数据处理单元即将过载，而其它单元还相对空闲；或者，某个数据处理单元在确定周期内负荷急剧上升。进而现有技术的缺陷导致系统整体的处理能力较难提高。

发明内容

为解决上述问题，本发明的目的在于提供一种多处理单元负载均衡方法，该方法能够均衡各处理单元的业务负荷，相应的本发明还提供了一种多处理单元系统。

为解决上述技术问题，本发明的目的是通过以下技术方案实现的。

一种多处理单元负载均衡方法，包括：数据分发单元选择当前业务负荷最小的数据处理单元发送数据；数据分发单元依据发送数据量预测当前数据处理单元的业务负荷。

在上述方法中，所述预测业务负荷的方法具体为：对于不同数据处理单元，预置单位数据量所对应的业务负荷增加值；依据确定数据处理单元当前获取的数据量预测所述业务负荷。

上述方法基础上，数据分发单元依据数据处理单元的上报消息，对数据处理单元业务负荷的预测值进行更新。所述数据处理单元可以以第一时长为周期，周期性的向数据分发单元上报业务负荷。

上述方法中，若至少两个数据处理单元的业务负荷相同且为最小，则数据分发单元选择当前周期内获取数据量最小的数据处理单元发送数据。进一步，若至少两个数据处理单元当前周期内获取数据量相同且最小，则采用论选的方法选择确定的数据处理单元发送数据。

优选的，所述数据分发单元还以第二时长为周期周期性的向数据处理单元发送数据。

所述业务负荷可采用数据处理单元的CPU占用率或队列占用率。

一种多处理单元系统，包括：数据处理单元，用于对数据分发单元下发的业务数据进行处理；数据分发单元，用于选择当前业务负荷最小的数据处理单元发送数据；并且依据发送的数据量预测该数据处理单元的业务负荷，作为下次数据分发的依据。

上述系统中，所述数据处理单元还周期性的向数据分发单元上报当前业务负荷。进行数据分发过程中，在至少两个数据处理单元的业务负荷相同且为最小的情况下，数据分发单元选择当前周期内获取数据量最小的数据处理单元发送数据。以及进一步，若至少两个数据处理单元当前周期内获取数据量相同且最小，则采用论选的方法选择确定的数据处理单元发送数据。

所述数据分发单元预测业务负荷的方法具体为：对于不同数据处理单元，预置单位数据量所对应的业务负荷增加值；依据确定数据处理单元当前获取的数据量预测所述业务负荷。所述业务负荷可采用数据处理单元的CPU占用率或队列占用率。

以上技术方案可以看出，本发明提供了一种多处理器负载均衡的方法，使用该方法可以使得负荷小的处理单元处理较多的业务，从而使所有数据处理单元的负荷趋于均衡。

并且，由于数据处理单元在不断接收业务数据，因此其业务负荷是在变化的，而现有技术中数据分发单元周期性的获取数据处理单元上报的负荷作为数据分发的依据，这种情况下，在T周期内，数据分发单元将始终往所述负荷最小的数据处理单元发送业务数据，则有可能在T周期内导致该数据处理单元过载并且周期T越大，数据处理单元过载的可能性就越大。相比现有技术所存在的缺陷，由于本发明是一种基于预测机制的负载均衡方法，即数据分发单元依据所预测的各数据处理单元的负荷进行业务数据的分发，因而数据分发单元能够较灵敏的发现各数据处理单元负荷的变化，从而避免在周期内盲目的将业务数据发送到一个数据处理单元而导致该单元的过载。

并且本发明中，当多个数据处理单元负荷相等且最小时，选取该些数据处理单元中累积数据量CNT最小的数据单元发送业务数据。该步骤结合上述方法，考虑到数据处理单元的数据处理能力，进一步对其业务负荷下降的趋势进行预测，使本发明的数据分发机制更加合理。

由上述可知，本发明为多级制的数据分发机制，即在基于预测的方法上选取负荷最小的数据处理单元的基础上，本发明还可进一步按照一定的规则(如以论选的机制选取CNT最小的数据处理单元)进行业务数据的分发。作为一种负载均衡方法，多级制的数据分发机制有益于进一步均衡各数据处理单元之间的负载，减小数据处理单元产生业务数据激增状况的可能。

相应的，本发明所提供的多处理单元系统具有均衡多数据处理单元负载的作用，并且减小了数据处理单元产生业务数据激增状况的可能。

附图说明

图1为典型SIP呼叫建立流程示意图；

图2为软交换设备的功能结构示意图；

图3为多处理单元数据分发功能模块图；

图4为本发明中数据分发算法流程图。

具体实施方式

本发明提供了一种多处理单元负载均衡方法。本发明的核心在于：基于预测的机制，提供多级的数据分发算法以实现各数据处理单元间负载的均衡。以下对本发明的较佳实施方式予以说明。

图3为本发明所涉及的多处理单元数据分发功能模块图，该模型可代表软交换设备的业务数据分发系统，以及集群通信中的消息分发系统等多处理器并行的系统；因而，本发明的目的在于提供一种多处理单元负载均衡方法，而对于该方法所应用的环境并无意进行限定。

以下参照图3所示功能模块图，并结合图4所示的数据分发算法说明本发明的实现方法。

设本实施例中包含n个业务数据处理单元SPM，用于完成期望的业务功能；一个业务数据分发单元MDM，将业务消息分发到所述SPM。如图所示，每个SPM每隔时间周期T，将代表自身业务负荷的C值发送给MDM；所述业务负荷是反映数据处理单元已使用处理能力的指标，它是一个相对的值，通常用相对本数据处理单元最大能力百分比来表示，例如CPU占用率、队列占用率等反映SPM负荷的综合指标，例如：若两个CPU占用率均为80％的数据处理单元，表示这两个数据处理单元都使用了自己CPU最大处理能力的80％进行业务处理。MDM每隔时间周期t，根据下文所述的数据分发算法选择一个SPM，将srv data发送给该SPM；所述srv data为业务数据消息，即协议消息中携带的与业务相关的数据。所述周期T以及周期t的时长可依据具体业务需求制定，且应将周期t时长设置小于周期T，例如T可设置为1s，则t可设置为10ms。

参照图4说明本发明数据分发算法。

步骤41：对于每个SPM，MDM维护变量Cn以及Csrv，所述Cn表示当前确定数据处理单元的业务负荷，所述Csrv是针对每个SPM，处理每单位srvdata所产生业务负荷的增加值，该值为经验数据；通常情况下，各个SPM是相同的，因此Csrv也是相同的，假如某个SPM更换为性能更好的处理器，则其Csrv应小于其他SPM。例如，处理一个SIP呼叫的srv data会使得某SPM业务负荷增加3％，这个经验数据可通过话务统计和分析获得。本发明将这个经验数据Csrv作为算法对SPM业务负荷进行预测的参数。

对于每个SPM，MDM分别维护记录变量CNT，所述CNT表示确定时长内，MDM分发到确定SPM的业务数据srv data的数量，CNT初始值为零，MDM发送每单位srv data时，CNT计数器相应增加一个单位值；例如MDM每发送一个SIP呼叫的srv data，CNT值加1。

MDM以大于0地整数顺序标识各个SPM，例如：如果有40个SPM，标识序列号为1、2、……40。

步骤42：以T为周期，在每个T时刻，各个SPM发送自己当前的业务负荷值C到MDM；MDM收到C后保存该值，即Cn＝C；并且，在每个T时刻，MDM对每个SPM，将其CNT清零，即CNT＝0。

步骤43：在每个T周期内，MDM以t为周期，在每个t周期内查找当前最小的Cn，若只有一个SPM的Cn最小，则进行步骤46，若有多个SPM的Cn都为最小，则进行步骤44。

步骤44：在该些Cn均为当前最小值的SPM中，查找所述CNT值最小的SPM，若只有一个SPM的CNT值最小，则进行步骤46，若有多个SPM的CNT值均为最小，则进行步骤45。

步骤45：在该些CNT值均为当前最小的SPM中，查找所述序列号最小的SPM；并进行步骤46。

步骤46：将符合特征的SPM作为待发业务数据的对象；待t时刻到达，MDM向该SPM发送业务数据srv data。

步骤47：在MDM侧，对该SPM的业务负荷进行预测，即Cn＝Cn+Csrv，保存预测后的Cn值作为下一t周期分发数据的参考值；并且，将该SPM的CNT值增加一个单位值，例如：若MDM对某个SPM发送了一个SIP呼叫的srv data，则CNT＝CNT+1。

以下基于上述方法提供一具体实例，设有三个数据处理单元A、B、C，处理能力相同，即Csrv＝5％；T时刻A、B、C三个数据处理拉单元各自向数据分发单元上报的业务负荷分别为60％、50％、40％；依据上文所述方法，第一个t时刻选择数据处理单元C分发业务数据，第1轮分发过后的业务负荷预测分别为60％、50％、45％；相同的，第二个t时刻分发仍然选择数据处理单元C，第2轮分发过后的业务负荷预测分别为60％、50％、50％；显然，在这2轮分发过程中，负荷小的模块C处理了较多的业务，经过2轮的分发，模块B和C的业务负荷已经均衡；按照本发明的方案，第三个t时刻分发选择数据处理单元B，第3轮分发过后的业务负荷预测分别为60％、55％、50％；同理，第4轮分发过后的业务负荷预测分别为60％、55％、55％，第5轮分发过后的业务负荷预测分别为60％、60％、55％，第6轮分发过后的业务负荷预测分别为60％、60％、60％。经过6轮分发，A、B、C的业务负荷已达到均衡。由于Csrv是经验数据，因此预测的负荷是可信的。

通过对上述具体实例的分析可知，如果没有本发明基于预测的数据分发方法，则在周期T内，第一次数据分发时选择数据处理单元C之后，以后每次分发业务数据将总是选择数据处理单元C，进而会导致C过载。如若在上文实例所述的周期T内进行12轮数据分发的情况下，数据处理单元C的业务负荷就会超过100％。

并且，上文实例中，数据处理单元B在第一和第二t时刻没有接收新的业务数据，考虑到该数据处理单元所进行的数据处理操作，因而其业务负荷应该处于下降趋势，在第2轮数据分发后，其实际负荷可能小于50％，因此，当数据处理单元B和C的负荷预测值均为50％时，选择数据处理单元B分发更加合理；并且，采用CNT最小的论选原则比随机选择算法实现更简单。

以上仅对本发明中采用的较佳算法进行说明，例如上述实施例中，在多个数据处理单元的业务负荷相等且最小的情况下，采用CNT最小的原则选取数据处理单元发送业务数据，然而，本发明中并不排除随机或以其他原则(如CNT最大)选择数据处理单元发送业务数据的情况。上述实施例中，当多个数据处理单元CNT相等且最小时，选取序列号最小的数据处理单元发送业务数据，如该实施例所代表的，本发明中推荐采用论选的方法选择数据处理单元，然而并不排除采用其他原则或随机选取的方法选取数据处理单元发送业务数据。

以上具体说明了本发明的一较佳实施例，依据本发明的核心，在实现本发明的具体细节上存在诸多变化。例如，上述实施例中，SPM周期性的向MDM发送各自当前业务负荷值，然而，本发明也可不采用周期T的Cn值更新方式，MDM可依据预置的规则请求所有SPM发送业务负荷值，所述规则除上述实施例中所应用的时间周期外，还可将对Cn预测的次数作为SPM上报业务负荷值条件的依据，例如，当MDM对某个SPM的Cn值的次数到达预置的数量时，考虑到Cn在经过多次预测后，其预测值与实际值之间将产生较大误差，因此MDM可向SPM请求对Cn值进行更新。同样的，上述实施例中以t为周期向SPM发送业务数据，然而本发明MDM的数据分发操作也可不局限于周期t的限制，只要在每次进行数据分发后进行上文所述预测/更新操作即可，以作为下次数据分发的参考依据。并且，上述实施例中依据经验值Csrv实现基于预测的负载均衡，本领域技术人员同样可预置特定的机制，触发对各SPM经验值Csrv的动态调整，由于其为实现本发明的非必要技术特征，因而本发明对触发调整Csrv的方法并不进行限制。

本发明还提供了一种多处理单元系统。采用本发明所述的多处理单元负载均衡方法。系统结构具体包括：数据处理单元和数据分发单元。其中：

数据处理单元，用于对数据分发单元下发的业务数据进行处理，并且还负责周期性的向数据分发单元上报当前业务负荷；

数据分发单元，用于选择当前业务负荷最小的数据处理单元发送数据；若至少两个数据处理单元的业务负荷相同且为最小，则数据分发单元选择当前周期内获取数据量最小的数据处理单元发送数据；进一步，若至少两个数据处理单元当前周期内获取数据量相同且最小，则采用论选的方法选择确定的数据处理单元发送数据；选择确定的数据处理单元进行数据发送后，依据发送的数据量预测该数据处理单元的业务负荷，作为下次数据分发的依据；

数据分发单元中预测业务负荷的方法具体为：对于不同数据处理单元，预置单位数据量所对应的业务负荷增加值；依据确定数据处理单元当前获取的数据量预测所述业务负荷。所述业务负荷可采用数据处理单元的CPU占用率或队列占用率。

以上为本发明所述系统的实现方式，其中所采用的数据分发流程和数据分发算法参见上文对本发明方法的阐述，此处不再赘述。

以上对本发明所提供的一种多处理单元负载均衡方法和多处理单元系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1、一种多处理单元负载均衡方法，其特征在于：

数据分发单元选择当前业务负荷最小的数据处理单元发送数据；

数据分发单元依据发送的数据量预测该数据处理单元的业务负荷，保存预测值作为下次数据分发的依据。

2、如权利要求1所述的多处理单元负载均衡方法，其特征在于：

所述预测业务负荷的方法具体为：

对于不同数据处理单元，预置单位数据量所对应的业务负荷增加值；

依据确定数据处理单元当前获取的数据量预测所述业务负荷。

3、如权利要求1或2所述的多处理单元负载均衡方法，其特征在于，还包括：

数据分发单元依据数据处理单元的上报消息，对数据处理单元业务负荷的预测值进行更新。

4、如权利要求3所述的多处理单元负载均衡方法，其特征在于：

所述数据处理单元以第一时长为周期，周期性的向数据分发单元上报业务负荷。

5、如权利要求4所述的多处理单元负载均衡方法，其特征在于：

若至少两个数据处理单元的业务负荷相同且为最小，则数据分发单元选择当前周期内获取数据量最小的数据处理单元发送数据。

6、如权利要求5所述的多处理单元负载均衡方法，其特征在于：

进一步，若至少两个数据处理单元当前周期内获取数据量相同且最小，则采用论选的方法选择确定的数据处理单元发送数据。

7、如权利要求4所述的数据分发方法，其特征在于：

所述数据分发单元还以第二时长为周期周期性的向数据处理单元发送数据。

8、如权利要求1所述的多处理单元负载均衡方法，其特征在于：

所述业务负荷为数据处理单元的CPU占用率或队列占用率。

9、一种多处理单元系统，其特征在于，包括：

数据处理单元，用于对数据分发单元下发的业务数据进行处理；

数据分发单元，用于选择当前业务负荷最小的数据处理单元发送数据；并且依据发送的数据量预测该数据处理单元的业务负荷，作为下次数据分发的依据。

10、如权利要求9所述的多处理单元系统，其特征在于：

所述数据处理单元还周期性的向数据分发单元上报当前业务负荷。

11、如权利要求10所述的多处理单元系统，其特征在于：

在至少两个数据处理单元的业务负荷相同且为最小的情况下，数据分发单元选择当前周期内获取数据量最小的数据处理单元发送数据。

12、如权利要求9至11其中之一所述的多处理单元系统，其特征在于：

数据分发单元预测业务负荷的方法具体为：

对于不同数据处理单元，预置单位数据量所对应的业务负荷增加值；

依据确定数据处理单元当前获取的数据量预测所述业务负荷。

Images