CN106330987A - 动态负荷均衡方法 - Google Patents

Abstract

本发明提供了一种动态负荷均衡方法，所述方法包含：服务器集群中任一服务器接收到所述批处理服务请求时；所述服务器将所述批处理服务请求按业务规则进行划分后，获得多组批处理任务；所述服务器将所述多组批处理任务与服务器集群中的目标服务器匹配并发送通知消息至所述目标服务器；所述服务器将所述批处理任务存储至数据存储设备；所述目标服务器根据所述通知消息从所述数据存储设备中获取对应的所述批处理任务，处理所述批处理任务后输出处理结果至数据存储设备存储；所述服务器从所述数据存储设备中获得所述处理结果。

Description

动态负荷均衡方法

技术领域

本发明涉及数据处理领域，尤指一种动态负荷均衡方法。

背景技术

随着银行业务规模的不断扩大、业务量的持续增长，越来越多的应用系统需要面对更高的访问量和数据量。同时，银行业务对在线系统的依赖性也越来越高，大量的关键应用需要系统有足够的在线率及高效率。这些要求使得单一的应用服务器已经不能满足这些需要，由此引入服务器的负载均衡技术，实现客户端可以同时访问多台同时工作的服务器。但大量的应用系统目前仅在网络层实现动态负载均衡，即多台服务器通过网络设备相连组成一个服务器集群，每台服务器都提供相同或相似的网络服务，服务器集群前端部署一台负载均衡设备，负责根据已配置的均衡策略将用户请求在服务器集群中进行分发，如图1所示，从而避免服务器的单点故障，并且提高了系统的在线服务处理能力。

考虑到现有计算机网络的分层体系架构，为了进一步提高系统的效率，本专利拟从应用层入手，根据应用服务器的处理效率，进一步实现动态负载均衡策略。企业为了降低人力、时间成本，往往希望一人能在短时间内处理原来多人的任务，由此产生了批处理，这样一个业务人员就能在前台同时提交多个任务，并让这些任务按照既定效果高效执行。而在应用层实现的动态负载均衡技术就是针对这些批处理的任务，由于批处理十分耗费机器的性能和时间，因此若能进一步提高批处理的执行效率，将会大大提高系统的性能以及用户的满意度。

发明内容

为了进一步提高任务处理效率，考虑到并不是所有的用户都会在同一时间提交批处理请求，同时鉴于每台机器性能的不同，因此本发明目的在于提供一种动态负荷均衡方法，充分利用服务器集群的空闲资源，这样不仅提高了机器使用率，还进一步提高了任务并行度，从而提高了系统的效率。

为达上述目的，本发明所提供的动态负荷均衡方法具体包含：服务器集群中任一服务器接收到所述批处理服务请求时；所述服务器将所述批处理服务请求按业务规则进行划分后，获得多组批处理任务；所述服务器将所述多组批处理任务与服务器集群中的目标服务器匹配并发送通知消息至所述目标服务器；所述服务器将所述批处理任务存储至数据存储设备；所述目标服务器根据所述通知消息从所述数据存储设备中获取对应的所述批处理任务，处理所述批处理任务后输出处理结果至数据存储设备存储；所述服务器从所述数据存储设备中获得所述处理结果。

上述动态负荷均衡方法中，优选的，所述服务器将所述批处理服务请求按业务规则进行划分后获得多组批处理任务还包含：根据所述批处理服务请求反馈批次信息。

上述动态负荷均衡方法中，优选的，所述服务器将所述批处理服务请求按业务规则进行划分包含：将有执行顺序的任务分配为一组批处理任务，将可以并行执行的任务分配为多组批处理任务。

上述动态负荷均衡方法中，优选的，所述服务器将所述多组批处理任务与服务器集群中的目标服务器匹配包含：所述服务器根据服务器集群中目标服务器的空闲资源状态匹配所述批处理任务。

上述动态负荷均衡方法中，优选的，所述服务器将所述批处理任务存储至数据存储设备还包含：所述服务器将所述目标服务器的位置信息、所述批处理任务和所述批次信息关联后存储至数据存储设备。

上述动态负荷均衡方法中，优选的，所述通知消息包含所述批次信息，所述目标服务器根据所述批次信息和所述目标服务器的位置信息从所述数据存储设备中获取对应的所述批处理任务。

上述动态负荷均衡方法中，优选的，所述处理所述批处理任务后输出处理结果包含：所述目标服务器判断是否有空闲资源处理所述批处理任务，若没有，则将所述批次任务放在任务队列中，待有空闲资源后再进行处理；若有，则对所述批处理任务进行划分后，分别放入所述目标服务器空闲的线程中进行处理。

上述动态负荷均衡方法中，优选的，所述输出处理结果至数据存储设备存储还包含：所述目标服务器将所述处理结果与所述批次信息关联后存储至数据存储设备。

上述动态负荷均衡方法中，优选的，所述服务器从所述数据存储设备中获得所述处理结果包含：所述服务器根据所述批次信息从所述数据存储设备中获得所述处理结果。

上述动态负荷均衡方法中，优选的，所述服务器集群中服务器之间通过异步方式进行通讯。

本发明的有益技术效果在于：本发明所提供的动态负荷均衡方法针对批处理任务，从应用层进行动态负载均衡，充分利用服务器集群的所有空余线程，最大程度的提高批处理的效率。系统通过对同质记录进行服务器间、进程间的并发处理，以提高处理性能。并通过对接收数据的分析、数据先后关系的梳理，设计实现了按一定差异化实现分配策略的批量处理技术。同时，在进行业务批处理时，充分发挥多服务器集群优势，系统自动根据各服务器性能和负载情况动态分配批量任务，提高设备整体利用率，降低设备成本，提高系统整体效益，并支持业务人员动态调整批处理运行节点，实现灵活、快速调整。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为现有的网络层负载均衡技术示意图；

图2为本发明提供的动态负载均衡方法在实际应用中的时序图；

图3为本发明一实施例中的批处理状态图；

图4为本发明一实施例中的任务状态图；

图5为本发明一实施例中批处理在托管估值系统中的位置；

图6为本发明一实施例中批处理流程图；

图7为本发明一实施例中批处理模块分布图；

图8为本发明一实施例中批处理时序图。

具体实施方式

为使本发明实施目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

现有的动态负载均衡技术均使用在网络层，而在网络层进行动态负载均衡，仅能在多个用户同时发起的交易请求间进行动态负载均衡，由于批处理的存在，每个用户提交的单个请求又能拆分出多个子任务。为了提高处理效率，就会在服务器中设置多个线程来同时处理这些子任务，但由于服务器性能的限制，每台服务器能设置的线程数是有限的，这就导致任务不能最大程度的并行。本发明为了进一步提高任务的并行度，考虑到并不是所有的用户都会在同一时间提交批处理请求，同时鉴于每台机器性能的不同，因此将一台服务器收到的批处理请求再按照一定规则进行拆分，将拆分出的多个任务集分发给相对空闲的服务器进行并行处理，从而充分利用服务器集群的空闲资源。这样不仅提高了机器使用率，还能进一步提高任务并行度，从而提高了系统的效率。

本发明所提供的动态负荷均衡方法具体包含：服务器集群中任一服务器接收到所述批处理服务请求时；所述服务器将所述批处理服务请求按业务规则进行划分后，获得多组批处理任务；所述服务器将所述多组批处理任务与服务器集群中的目标服务器匹配并发送通知消息至所述目标服务器；所述服务器将所述批处理任务存储至数据存储设备；所述目标服务器根据所述通知消息从所述数据存储设备中获取对应的所述批处理任务，处理所述批处理任务后输出处理结果至数据存储设备存储；所述服务器从所述数据存储设备中获得所述处理结果。其中，所述执行批处理任务划分的服务器也可为目标服务器，所述服务器在划分批处理任务时，会根据集群中目标服务器当前的资源空闲状态动态进行任务分配。

上述实施例中，用户在前台发起批处理服务的请求，集群中任何一台服务器在接收到批处理服务请求时，将所述批处理服务请求按业务规则进行划分后获得多组批处理任务，之后还包含根据所述批处理服务请求反馈批次信息，后期，用户端或执行服务器可根据所述批次信息查询或调取本次批处理服务请求的处理结果及划分后的批处理任务。其中，所述服务器将所述批处理服务请求按业务规则进行划分包含：将有前后逻辑关系的任务划分为一组任务，比如根据时间，大小及有序逻辑判断的批处理任务放在一组，从而形成多组可并行执行的任务，并根据集群中当前目标服务器的资源空闲状态动态进行任务分配。例如：当前有10个任务，分别标号为1～10，按照任务间的逻辑关系划分为如下5组任务：#1(1、3、5)、#2(2、4)、#3(6、8)、#4(7)、#5(9、10)，其中#X指的是组编号，现将#1任务划分给集群中目前最闲的服务器，这样集群中服务器的空闲状态经此分配后，就会产生变化，然后再将#2任务划分给此时最闲的服务器，以此类推，直至将这5组任务分配至相应的目标服务器进行处理。

上述实施例中，所述服务器将所述多组批处理任务与服务器集群中的目标服务器匹配包含：所述服务器根据服务器集群中目标服务器的空闲资源状态匹配所述批处理任务。所述服务器将所述目标服务器的位置信息、所述批处理任务和所述批次信息关联后存储至数据存储设备；而后，目标服务器可根据所述批次信息和所述目标服务器的位置信息从所述数据存储设备中获取相应的需要处理的所述批处理任务。

上述实施例中，所述处理所述批处理任务后输出处理结果包含：所述目标服务器判断是否有空闲资源处理所述批处理任务，若没有，则将所述批次任务放在任务队列中，待有空闲资源后再进行处理；若有，则对所述批处理任务进行划分后，分别放入所述目标服务器的空闲线程中进行处理。所述目标服务器将所述处理结果与所述批次信息关联后存储至数据存储设备。

上述实施例中，所述服务器从所述数据存储设备中获得所述处理结果包含：所述服务器根据所述批次信息从所述数据存储设备中获得所述处理结果，所述服务器集群中服务器之间通过异步方式进行通讯。

在实际工作中，所述批处理时进行应用层动态负载均衡的时序图如图2所示，下面对图2中各个步骤流程分别进行说明：

1、用户在前台发起批处理服务请求；

2、根据网络层的动态负载均衡策略，服务器集群中的某台服务器在收到该请求后，调用应用程序中的批处理服务总接口处理该请求；

3、批处理执行服务接口将批处理任务按照业务规则进行划分(将有一定执行顺序的任务分配在一台服务器上处理，将可以并行执行的任务分配在不同的服务器上进行处理)，并将划分好的任务信息存入持久化数据存储设备中(例如：数据库)，最后发消息通知集群中的其他服务器一起处理该批处理任务；

4、服务器集群中的每台服务器都设置了一个端口，用于监听服务器集群中其他服务器发送来的通知消息。当某台服务器监听到该消息后，首先判断自己是否有空闲资源用于处理该批处理任务的子任务集，若没有，则将该任务集放在任务队列中，待有空闲资源后再进行处理；若有，则对该任务集按照业务规则进行合理划分后，分别放入本机空闲的线程中进行处理；

5、服务器集群中的每台服务器在处理完相应的批处理任务后，并不是发消息通知主服务器任务已处理完毕，而是将该信息存入持久化数据存储设备中，便于发起任务的服务器在空闲时查询任务的处理情况，从而降低网络的通信消耗。

在以上处理流程中，还包含：

1、集群中服务器之间消息的广播与接收采取的是异步方式，以此降低服务器之间通讯的消耗，使得服务器不会长时间处于闲置状态。

2、划分出的子任务在服务器间的分配是动态的，会根据此时服务器的空闲状态及其性能来进行分配，最终那些性能较好任务较少的服务器会首先被分配到任务。

具体实施时，可根据服务器的性能设置不同的权值，对于那些性能较好的机器，由于其单位时间内能处理更多的任务，因此给其分配较大的权值，然后用下面的公式计算各个服务器的繁忙度：

最终那些繁忙度低的机器就是当前较为空闲的机器。

3、各应用服务器即目标服务器根据消息监听服务接收的消息，调用服务器节点的服务，从持久化数据存储设备中取得自身需要执行的任务。

4、各应用服务器调用多线程服务，以多线程方式执行批处理任务。

5、为了让每台机器的性能发挥到极致，需要避免处理任务时有空闲线程的出现，因此每当“线程队列深度≤线程数*2”时，就往线程池中装入新任务。其中，所谓线程队列深度，即当前在目标服务器内存中等待执行的任务数。设该目标服务器的线程数＝10，当这10个线程中有空闲线程出现时，就会从线程队列中取出等待执行的任务放入该空闲线程中执行。对于该例，当线程队列深度≤20的时候，该目标服务器就需要从数据库中再取出部分任务放入线程队列中(即服务器的内存中)等待执行。

再请参考图3与图4所示，图3、图4是在实际应用中考虑到容错处理的批处理状态图和任务状态图，鉴于对系统健壮性的考虑，前台业务人员对于正在执行的批处理任务可进行暂停、恢复、撤销的处理，当业务人员发出暂停、恢复、撤销的请求时，接收到请求的服务器会将需要处理的任务批次号广播给集群中的所有目标服务器，目标服务器在接收到消息通知后，会按照批次号找到相应任务进行暂停、恢复、撤销的处理。

在实际工作中，银行托管估值系统中估值数据进行批处理采取的就是按组合切分任务并调度任务计算的技术方案。下面以银行托管估值系统为例，对本发明所提供的动态负荷均衡方法实施的具体环境和实施方式进行详细说明。

银行托管估值系统中的批处理业务需支持以下的非功能性需求：

环境要求：基于托管估值系统的服务器集群结构，对批处理请求集中分配任务统一调度，实现由多个服务器多个线程池并行处理请求。

并发可靠性：线程池需要设置线程数量，能够保证在多个用户高并发同时请求批量操作时不会将服务器资源耗尽。系统会根据当前批量任务的处理能力安排执行计划，当待处理任务最大数达到系统饱和值时，后台主动拒绝前台请求，保证每个批处理任务都能得到良好的系统服务。系统还可设置每次批处理最大处理任务数(一次提交的总任务数＝组合*日期*业务类型)小于指定阈值，当某特定批处理超过该阈值后，可由系统管理员临时调配。

扩展性：批处理必须支持全局数据缓存和任务处理的异步执行。能够支持每种业务处理的扩展，每个服务器都部署有任务监听器，并且可以配置监听处理线程组，由每个线程调用对应的任务Action执行。任务Action接口应为标准的、可扩展的，以后新增批处理线程数量也不用修改Action接口。

其次，批处理子系统是托管估值系统的主要难点之一，其面临的主要业务挑战为：需要解决在多用户并发环境下的处理时效性问题。每天业务处理高峰的时间窗口大约在下午4:00-6:00，批处理操作需要在2小时内完成系统的大部分估值计算。批处理需要解决处理的实时性，需要良好的平衡性能、响应速度、缓存内存大小等关键技术问题。估值的组合数量众多，目标数量为50000个组合，需要考虑良好的扩展性。

为此，针对以上几个主要的业务挑战，批处理子系统采用了如下的应对措施：采用统一任务分配的模式将批处理切分为小的任务；每个应用节点都有线程组来处理对应每个业务类型的任务；采用Ehcache一级本地缓存和(Hazelcast或者Gemfire)二级全局缓存的结构来实现缓存策略，从而克服上述问题。

在实际工作中，所述批处理在托管估值系统中的位置如图5所示，下面分别对其系统架构定义、批处理流程、流程限定条件进行说明：

系统架构定义：系统采取MVC(Model View Controller模型-视图-控制器)三层体系架构，前台界面采用Flex技术实现，主应用程序部署在WAS(Web ApplicationServer网络应用服务器)中，所有的数据都存储在数据库中，同时为了提高系统的处理效率，还在系统中采用了二级缓存技术。

批处理的流程：业务人员通过点击前台界面中的按钮，触发批处理服务请求，后台WAS集群中的某台服务器(下文简称服务器A)在接收到该请求后，发出消息通知前台用户：该批处理请求已被接收，同时调用自身的任务管理模块进行任务拆分。对于托管估值系统，由于不同组合在处理时有其自身特定的要求，因此在拆分任务的时候是按照组合、处理日期、业务类型进行拆分的。服务器A将拆分好的任务存入数据库中，然后通知集群中的其他目标服务器，由于服务器间采取的是异步通信方式，因此，服务器A在发送完消息后，可以继续处理自己的任务，而无需等待其他目标服务器的回复。集群中的其他目标服务器在监听到任务后，定时读取数据库中的任务，将读取的任务按照一定业务逻辑划分后，调用自身的多线程来处理任务。在处理过程中为了提高服务器内部和服务器间的处理效率，将任务处理时需要频繁读取的数据存入本地缓存和全局缓存中。同时为了便于用户后期查询任务执行的情况，各服务器在处理过程中会调用自身的日志记录模块，将处理信息存入数据库中。用户后期可通过前台发起日志查询请求，接收到请求的目标服务器通过调用自身的日志读取模块，读取存入数据库的日志信息，并传送给前台，便于用户查阅。

批处理流程限定条件：任务拆分的时候一定要按照业务规则合理拆分，在每个服务器内部调用多线程处理之前，还需要对任务再进行一次拆分。

批处理整体流程如图6所示，该图是对图5中每台目标服务器在托管估值系统中进行批处理时详细的处理流程说明。在托管估值系统中业务人员可以选择多组合、日期区间、多业务类型来处理。具体的业务处理规则如下：

1、同一个组合必须按日期顺序来处理；

2、同一个组合同一个日期如果存在业务先后依赖，必须按照业务顺序来处理；

3、同一个组合同一日期同一业务不允许同时多个人员处理；

4、同一个组合某天某个业务发生失败，则组合退出处理，后续的任务都不处理，批处理状态置为失败；

5、为了防止事务过大，导致数据库锁升级或锁等待等问题，事务分配在最小颗粒度上，一个组合一个日期的一个业务处理放在一个事务中。

鉴于如上的处理规则，在托管估值系统中，服务器A在接收到批处理服务请求后，会按照组合、日期、业务类型进行任务拆分，并将同一组合拆分好的任务按照日期和业务执行顺序排好序后存储到数据库中，并通知集群中的其他目标服务器。目标服务器在监听到任务后，调用自身的任务处理模块，按顺序处理从数据库中取出的任务。对于取出的任务，将同一个组合的所有任务放在目标服务器的同一个线程中，按照处理规则顺序处理。例如：对于组合A，前台一次提交了连续3天的5个业务的处理，则会形成3*5＝15个任务，在处理时，会先处理该组合第1天这5个业务的处理任务(按照业务顺序来处理)，再处理第二天的，以此类推，直到把所有任务处理完毕。每处理一个任务之前会先判断该任务是否已由其他业务人员提交处理，若有，则暂停后续任务的处理，若没有，则继续执行。鉴于这15个任务是有先后顺序的，因此目标服务器不会用不同的线程同时处理这15个任务，而是将其分配给同一个线程进行处理。

批处理时涉及到的模块分布图如图7所示，主要包括如下几个模块：

1、任务调度模块(Task Manger)，将前台一个批处理请求按组合、业务处理类型、处理日期拆分为一组任务；

2、业务类型级别数据准备模块(Business Data Prepare)，将业务相关参数放入全局缓存模块；

3、任务监听模块(Task Listener)，在每个WAS节点都有一个Listener用于监听分派的任务，交给对应的线程组执行；

4、任务处理模块(Task Processor)，包括了任务级别数据准备模块和核算模型计算模块，其中：

任务级别数据准备模块(Task Data Prepare)，按任务准备数据后放入本地缓存；

核算模型计算模块(Evaluator)，调用表达式计算相关业务数据，该模块提供根据业务要素和对应的模版来生成凭证。

5、业务日志模块(Business Logger)，记录业务操作日志，方便业务人员在前台实时查看处理情况及处理详情。

6、表达式模块(Expression)，将业务数据生成凭证时，用于解析表达式；

7、全局缓存模块(Global Cache)，业务操作中的全局缓存；

8、本地缓存模块(Local Cache)，业务操作中的本地局部缓存。

各模块在托管估值系统中的调用时序如图8所示，业务人员在前台发起批处理服务请求后，系统将请求信息进行封装并发送给任务调度模块。任务调度模块先进行任务拆分，然后调用业务类型级别数据准备模块，将业务相关参数放入全局缓存模块，最后发送消息通知集群中的其他目标服务器。目标服务器的任务监听模块在监听到任务后，会将分派的任务交给相应的线程组执行。每个线程在处理任务的时候，会调用任务级别数据准备模块，将查询到的业务数据存入本地缓存，通过对本地缓存中的数据进行处理，形成业务要素，之后根据预先定义的模板以及生成的业务要素，调用核算模型计算模块和表达式解析模块生成相应的凭证。同时为了便于业务人员能实时查询任务的处理情况，在处理任务的过程中，系统会自动调用业务日志模块，记录任务处理的详细信息。

本方案针对批处理任务，从应用层进行动态负载均衡，充分利用服务器集群的所有空余线程，最大程度的提高批处理的效率。系统通过对同质记录进行服务器间、进程间的并发处理，以提高处理性能。并通过对接收数据的分析、数据先后关系的梳理，设计实现了按一定差异化实现分配策略的批量处理技术。同时，在进行业务批处理时，充分发挥多服务器集群优势，系统自动根据系统性能和负载情况动态分配批量任务，提高设备整体利用率、降低设备成本、提高系统整体效益，并支持业务人员动态调整批处理运行节点，实现灵活、快速调整。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种动态负荷均衡方法，其特征在于，所述方法包含：

服务器集群中任一服务器接收到所述批处理服务请求时；

所述服务器将所述批处理服务请求按业务规则进行划分后，获得多组批处理任务；

所述服务器将所述多组批处理任务与服务器集群中的目标服务器匹配并发送通知消息至所述目标服务器；

所述服务器将所述批处理任务存储至数据存储设备；

所述目标服务器根据所述通知消息从所述数据存储设备中获取对应的所述批处理任务，处理所述批处理任务后输出处理结果至数据存储设备存储；

所述服务器从所述数据存储设备中获得所述处理结果。

2.根据权利要求1所述的动态负荷均衡方法，其特征在于，所述服务器将所述批处理服务请求按业务规则进行划分后获得多组批处理任务还包含：根据所述批处理服务请求反馈批次信息。

3.根据权利要求1所述的动态负荷均衡方法，其特征在于，所述服务器将所述批处理服务请求按业务规则进行划分包含：将有执行顺序的任务分配为一组批处理任务，将可以并行执行的任务分配为多组批处理任务。

4.根据权利要求1所述的动态负荷均衡方法，其特征在于，所述服务器将所述多组批处理任务与服务器集群中的目标服务器匹配包含：所述服务器根据服务器集群中目标服务器的空闲资源状态匹配所述批处理任务。

5.根据权利要求2所述的动态负荷均衡方法，其特征在于，所述服务器将所述批处理任务存储至数据存储设备还包含：所述服务器将所述目标服务器的位置信息、所述批处理任务和所述批次信息关联后存储至数据存储设备。

6.根据权利要求5所述的动态负荷均衡方法，其特征在于，所述通知消息包含所述批次信息，所述目标服务器根据所述批次信息和所述目标服务器的位置信息从所述数据存储设备中获取对应的所述批处理任务。

7.根据权利要求1所述的动态负荷均衡方法，其特征在于，所述处理所述批处理任务后输出处理结果包含：所述目标服务器判断是否有空闲资源处理所述批处理任务，若没有，则将所述批次任务放在任务队列中，待有空闲资源后再进行处理；若有，则对所述批处理任务进行划分后，分别放入所述目标服务器空闲的线程中进行处理。

8.根据权利要求2所述的动态负荷均衡方法，其特征在于，所述输出处理结果至数据存储设备存储还包含：所述目标服务器将所述处理结果与所述批次信息关联后存储至数据存储设备。

9.根据权利要求8所述的动态负荷均衡方法，其特征在于，所述服务器从所述数据存储设备中获得所述处理结果包含：所述服务器根据所述批次信息从所述数据存储设备中获得所述处理结果。

10.根据权利要求1所述的动态负荷均衡方法，其特征在于，所述服务器集群中服务器之间通过异步方式进行通讯。