CN103227838A - 一种多重负载均衡处理装置与方法 - Google Patents

一种多重负载均衡处理装置与方法 Download PDF

Info

Publication number
CN103227838A
CN103227838A CN2013101708520A CN201310170852A CN103227838A CN 103227838 A CN103227838 A CN 103227838A CN 2013101708520 A CN2013101708520 A CN 2013101708520A CN 201310170852 A CN201310170852 A CN 201310170852A CN 103227838 A CN103227838 A CN 103227838A
Authority
CN
China
Prior art keywords
task
server
type
memory cell
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101708520A
Other languages
English (en)
Other versions
CN103227838B (zh
Inventor
凌晓珂
李兆佳
王超
丁文定
李正杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201310170852.0A priority Critical patent/CN103227838B/zh
Publication of CN103227838A publication Critical patent/CN103227838A/zh
Application granted granted Critical
Publication of CN103227838B publication Critical patent/CN103227838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种多重负载均衡装置及方法。所述多重负载均衡装置包括配置信息库、动态检测装置、资源计算装置、任务分配装置和灾备装置。配置信息库用于存储服务器集群中各服务器的静态信息、任务分配的规则以及算法信息;动态检测装置用于存储服务器集群中各服务器的实时信息;资源计算装置用于根据计算请求来计算任务的逻辑资源值或逻辑匹配值;任务分配装置用于从服务节点接收任务;灾备装置用于负载均衡装置的备份及灾难恢复。本发明通过上述技术方案,实现了对服务器集群间负载均衡和通信的集中控制,使资源使用率更趋于平均,并提高整个应用系统的纵向及横向扩展性以及健壮性。

Description

一种多重负载均衡处理装置与方法
技术领域
本发明涉及计算机数据处理技术领域,特别涉及一种多重负载均衡装置与方法。
背景技术
随着信息科技的不断发展,基于服务器集群的应用系统的使用领域越来越广泛,对于大型企业来说,集群系统的处理时效和控制成本是提高企业效益的一大方面,因此服务器集群的负载均衡技术已成为大型集群系统提高运行时效、合理分配资源的关键手段。目前服务器集群的负载均衡主要通过一个服务节点与多个代理节点之间的直接通信方式来实现,该方式在需要进行多重负载均衡的应用系统中存在一定缺陷,主要体现在以下几方面:
1、下层逻辑资源分配不够平均:由于目前负载均衡技术为一个服务节点与多个代理节点之间进行直接通信,各服务节点所拥有的资源相互不能共享,如果在一个自上而下进行多重负载均衡的应用系统中出现每层均衡逻辑不相同的情况,则容易出现下层代理节点负载不均衡的情况。举例来说,某应用系统的逻辑处理分为三层,第一层为文件扫描,第二层为初始化参数,第三层为文件处理,则在数据扫描到初始化参数的负载均衡中(第一层负载均衡),均衡逻辑为文件个数均衡,在初始化参数与文件处理的负载均衡中(第二层负载均衡),均衡逻辑为文件大小均衡,而文件个数与文件大小之间无必然联系,则很容易出现第二层负载不均衡的情况。
2、负载均衡的纵向扩展性较低:由于目前负载均衡是在服务节点与代理节点上实现,如果要纵向增加负载均衡(即扩展负载均衡的层次),则须新设立服务节点与代理节点,并实现节点间的通信、逻辑判断、灾备等机制,扩展性相对较低。
3、灾难恢复的操作流程较为复杂且存在隐患:当某个服务节点发生故障时,目前的恢复手段为先启用备份服务节点接管故障服务节点的任务,再将故障服务节点下的所有代理节点上挂到备份服务节点上,然后判断已在故障服务节点以及代理节点上运行的任务进度,若故障服务节点已无法提供当前该节点以及其代理节点的任务进度,则无法判断现有作业是否已完成,存在隐患。
发明内容
为了克服现有技术存在的上述缺陷,本发明采用独立部署、实时监测的技术,通过参数配置、资源管理、动态监测等方式,实现了对服务器集群间负载均衡和通信的集中控制,使资源使用率更趋于平均,并提高整个应用系统的纵向及横向扩展性以及运行稳定性。
本发明提出的一种多重负载均衡装置包括配置信息库、动态检测装置、资源计算装置、任务分配装置和灾备装置。配置信息库用于存储服务器集群中各服务器的静态信息、任务分配的规则以及算法信息;动态检测装置用于存储服务器集群中各服务器的实时信息,并通过心跳检测来实时监测服务器集群中各节点是否正常工作;资源计算装置用于根据计算请求来计算任务的逻辑资源值或逻辑匹配值;任务分配装置用于从服务节点接收任务,根据所述资源计算装置计算得出的逻辑资源值和逻辑匹配值来选择最合适的代理节点进行任务派发;灾备装置用于负载均衡装置的备份及灾难恢复。
本发明提出的一种多重负载均衡装置进行负载均衡的方法,该方法包括步骤:步骤1,A类型应用服务器向多重负载均衡装置发出A类型任务派发请求,服务器适用类型为B类型服务器,开始第一重负载均衡;步骤2,多重负载均衡装置接收到A类型应用服务器的任务派发请求,执行任务派发流程;步骤3,多重负载均衡装置向B类型服务器分配任务;步骤4,B类型服务器处理完成已分配的任务,并将运行结果反馈给多重负载均衡装置,完成第一重负载均衡;步骤5,B类型应用服务器继续向多重负载均衡装置发出B类型任务派发请求,服务器适用类型为C类型服务器,开始第二重负载均衡;步骤6,多重负载均衡装置接收到B类型应用服务器的任务派发请求,执行任务派发流程;步骤7,多重负载均衡装置向C类型服务器分配任务;步骤8,C类型服务器处理完成已分配的任务,并将运行结果反馈给多重负载均衡装置,完成第二重负载均衡。
本发明通过上述技术方案,实现了对服务器集群间负载均衡和通信的集中控制,使资源使用率更趋于平均,并提高整个应用系统的纵向及横向扩展性以及健壮性,其优点在于:1、服务器集群中的所有同层节点都通过统一的均衡算法进行资源值计算,而且所有节点没有固定的资源组,其既可作为某任务的服务节点,也可作为某任务的代理节点,因此不局限于固定资源组的计算方式,使各节点的负载更加均衡。2、服务器集群中的所有节点(包括服务节点和代理节点)均通过多重负载均衡装置进行通信,使各个节点的输入和输出的信息源统一,降低了服务器部署和应用系统维护的复杂性。3、通过多重负载均衡装置中的参数配置功能,应用系统的横向扩展(增加同层节点个数)和纵向扩展(增加系统处理层次)无需额外实现,只须进行简单配置即可,因此理论上可对应用系统进行横向和纵向的无限扩充。4、通过队列暂存机制可使任务量上限得到控制,使负载均衡装置理论上不会出现处理压力,即无需对负载均衡装置再次进行负载均衡。5、集群中各个节点的运行都通过多重负载均衡装置统一交互,动态检测装置一旦发现服务器集群中的节点故障,只须通过任务委托即可将该节点的任务进行重新分配,无需额外判断其代理节点的运行情况,降低了运维的风险,简化了灾备操作流程,并增强了应用系统的容错机制。
附图说明
图1是本发明的多重负载均衡装置示意图;
图2是本发明的多重负载均衡装置的配置信息库示意图;
图3是本发明的多重负载均衡装置的动态检测装置示意图;
图4是本发明的多重负载均衡装置的资源计算装置示意图;
图5是本发明的多重负载均衡装置的任务分配装置示意图;
图6是本发明的多重负载均衡装置的灾备装置示意图;
图7是本发明的多重负载均衡装置运行环境示意图;
图8是本发明的多重负载均衡装置运行流程图;
图9是本发明的任务派发流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
首先对本文所涉及到的术语进行说明:
逻辑资源值——指根据某种规则计算出的执行一个任务所需消耗的资源的虚拟值,逻辑资源值与任务关注指标、CPU、内存、IO、数据量、理论执行时间等有关。例如,若某任务是对文件进行读写操作,文件大小为800MB,任务关注指标为IO,处理比率为0.3,计算公式为文件大小*处理比率,则逻辑资源值为800*0.3=240。
任务派发请求——指系统所需要进行派发的任务描述,格式为:任务编号|任务类型|任务参数。
任务委托请求——指系统所需要进行委托的任务描述,格式为:服务器编号|任务参数。
任务队列——指系统待运行及运行中的任务清单,包括任务编号、任务类型、任务状态(待分配、待委托、已分配、已委托)、运行服务器编号、逻辑资源值等。
应用服务器——指用于系统处理的各类服务器。
图1是本发明的多重负载均衡装置示意图。所述多重负载均衡装置由配置信息库1、动态检测装置2、资源计算装置3、任务分配装置4和灾备装置5组成。
配置信息库1用于存储服务器集群中各服务器的静态信息、任务分配的规则以及算法信息等。动态检测装置2用于存储服务器集群中各服务器的实时信息,并通过心跳检测来实时监测服务器集群中各节点是否正常工作,若某节点发生故障,动态检测装置2可向任务分配装置4发起任务委托。资源计算装置3用于根据计算请求,通过相关公式来计算某任务的逻辑资源值或逻辑匹配值。任务分配装置4用于接收、派发和委托任务等通信工作,该装置从服务节点接收到任务,根据资源计算装置3计算得出的逻辑资源值和逻辑匹配值来选择最合适的代理节点进行任务派发。灾备装置5主要用于负载均衡装置的备份及灾难恢复工作,对配置信息库1、动态检测装置2和任务分配装置4的数据作准实时备份,当其中某个装置发生故障时,启用对应的备份装置完全接管故障装置的所有工作。
图2是本发明的多重负载均衡装置的配置信息库示意图。配置信息库1包括服务器信息存储单元101、任务类型存储单元102和均衡算法存储单元103,这三个单元相互独立。服务器信息存储单元101存储了服务器的基本信息。服务器信息表如下:
序号 域名 备注
1 服务器编号 主键
2 服务器IP
3 服务器型号
4 服务器类型
5 总资源值
6 可用资源值
任务类型存储单元102存储了任务类型的信息。任务类型信息表如下:
序号 域名 备注
1 任务类型 主键
2 执行命令组成规则
3 适用算法编号
4 服务器分配类型
均衡算法存储单元103存储了均衡算法相关信息。均衡算法信息表如下:
序号 域名 备注
1 算法编号 主键
2 成本算法公式
3 时间算法公式
4 输入参数格式
5 输出参数格式
图3是本发明的多重负载均衡装置的动态检测装置示意图。动态检测装置2包括心跳检测单元201和服务器状态存储单元202。心跳检测单元201从服务器信息存储单元101的服务器信息表中获取到服务器清单,通过定时问答机制实时检测清单中服务器的运行情况,并将服务器状态更新到服务器状态存储单元202中,如果发现服务器运行出现异常,心跳检测单元201向任务接收单元401发出任务委托请求。服务器状态存储单元202记录了服务器的当前运行状态,当接收到任务分配单元403的任务分配信息后,更新该服务器的当前资源值、剩余资源值(剩余资源值的计算方式为服务器的总资源值-当前运行任务的逻辑资源值总和)当前运行任务编号,当接收到任务结果接收单元404的任务完成信息后,根据服务器编号和任务编号来删除该服务器的当前运行任务编号,同时更新当前资源值和剩余资源值。
服务器状态信息表:
Figure BDA00003171548600061
图4是本发明的多重负载均衡装置的资源计算装置示意图。资源计算装置3包括逻辑资源值计算单元301、服务器选择单元302。
逻辑资源值计算单元301接收到任务接收单元401的计算请求,根据请求中的“任务类型”,从任务类型存储单元102的任务类型信息表中获取适用算法编号,再从均衡算法存储单元103的均衡算法信息表中获取成本算法公式和时间算法公式,根据请求中的“任务参数”计算得出该请求中的任务所需的逻辑资源值,返回给任务接收单元401。
服务器选择单元302接收到任务分配单元403的计算请求,根据请求中的“分配服务器类型”,从服务器信息存储单元101与服务器状态存储单元202获取所有符合类型的服务器的剩余资源值,再根据请求中的“逻辑资源值”从中选出大于或等于、且最接近该任务逻辑资源值的服务器编号,将服务器编号返回给任务分配单元403。
图5是本发明的多重负载均衡装置的任务分配装置示意图。任务分配装置4包括任务接收单元401、任务队列暂存单元402、任务分配单元403、任务结果接收单元404。
任务接收单元401用于接收应用服务器或心跳检测单元201的任务请求,并对任务请求作出响应。若任务接收单元401接收到的是“任务委托请求”,则任务接收单元401根据任务委托请求中的服务器编号从服务器状态存储单元202中获取到该服务器的当前运行任务编号,并通知任务队列暂存单元402更新相关任务编号的任务状态为“待委托”。若任务接收单元401接收到的是“任务派发请求”,则任务接收单元401根据任务请求中的任务类型判断任务队列暂存单元402中该任务类型的任务队列标志是否已满,若已满则退回任务请求,若未满则向逻辑资源值计算单元301发出计算请求(请求格式为“任务类型|任务参数”),获取到逻辑资源值,再将任务信息(任务编号|任务类型|任务状态(“待派发”)|逻辑资源值)发送给任务队列暂存单元402。
任务队列暂存单元402采用先进先出的队列方式来存储和更新待运行及运行中的任务清单(存储格式为:任务编号|任务类型|任务状态|逻辑资源值),并按照任务类型来判断该任务类型的队列是否已满,判断依据为若某任务类型的逻辑资源值的总和大于或等于该任务类型下可分配服务器的可用资源值总和的两倍,则队列已满,否则队列未满,避免任务队列暂存单元402所存储的队列过多而带来的处理压力,使得该负载均衡装置理论上不会出现处理压力过大的情况。当任务队列暂存单元402接收到任务接收单元401的任务信息后,则在任务清单中增加该任务;当接收到任务结果接收单元404的任务完成情况后,在任务清单中删除该任务。
任务分配单元403首先从任务队列暂存单元402中获取一个任务状态为“待派发”或“待委托”的任务,并根据任务类型存储单元102中的执行命令组成规则拼接成任务命令,然后根据任务类型从任务类型存储单元102获取分配服务器类型,向服务器选择单元302发出服务器选择请求(请求格式为“分配服务器类型|逻辑资源值”),将任务派发给该服务器,同时通知任务队列暂存单元402将该任务的状态更新为“已派发”,并将任务分配信息(任务编号|服务器编号|逻辑资源值)发送给服务器状态存储单元202,最后再从任务队列暂存单元402中获取一个任务状态为“待派发”的任务。
任务结果接收单元404用于从应用服务器接收任务的完成情况,并将任务完成信息(任务编号|服务器编号)发送给任务队列暂存单元402及服务器状态存储单元202。
图6是本发明的多重负载均衡装置的灾备装置示意图。灾备装置5包括节点故障检测单元501、配置信息库灾备单元502、动态检测装置灾备单元503、资源计算装置灾备单元504、任务分配装置灾备单元505。节点故障检测单元501用于实时检测配置信息库1、动态检测装置2、资源计算装置3、任务分配装置4的运行情况,若某装置出现异常,则将该装置对应的灾备单元从备份状态转为运行状态。配置信息库灾备单元502用于对配置信息库1中的数据作准实时备份。动态检测装置灾备单元503用于对动态检测装置2中的数据作准实时备份。资源计算装置灾备单元504用于对资源计算装置3中的数据作准实时备份。任务分配装置灾备单元505用于对任务分配装置4中的数据作准实时备份。
图7是本发明的多重负载均衡装置运行环境示意图。图7描述了多重负载均衡装置在需要进行多层处理的服务器集群中的运行示意图。如图7所示,多重负载均衡装置01与A类型应用服务器02、A类型应用服务器03、B类型应用服务器04、B类型应用服务器05、C类型应用服务器06、C类型应用服务器07连接,相同类型的应用服务器所处理的任务类型相同(假设任务类型B的服务器分配类型为B,任务类型C的服务器分配类型为C),在服务器集群中,A类型应用服务器所处理的任务可视为第一层处理,B类型应用服务器所处理的任务可视为第二层处理,C类型应用服务器所处理的任务可视为第三层处理,并且第二层任务处理的负载均衡逻辑与第三层任务处理的负载均衡逻辑不相同,处理流程详见图8。
在多重负载均衡装置所部署的服务器集群中,任一服务器既可以是任务发起方,也可以是任务接收方,任务的负载均衡都统一通过多重负载均衡装置01进行处理,因此服务器集群中的每一种任务类型的均衡都基本均衡,避免了由于每种任务类型的均衡逻辑不同而造成的下层处理节点负载不均衡的情况。另外,由于多重负载均衡装置01可对服务器类型、任务类型、均衡算法进行参数化配置,因此在增加某种服务器类型或任务类型时,只须进行参数配置即可,无需在各节点单独实现负载均衡,增加了任务类型纵向扩展的灵活性。
图8是利用本发明的多重负载均衡装置进行负载均衡的流程图。结合图7的运行环境,图8描述了多重负载均衡装置在具有多个处理层次的集群中的运行流程。
在步骤1中,A类型应用服务器向多重负载均衡装置发出A类型任务派发请求,服务器适用类型为B类型服务器,开始第一重负载均衡。在步骤2中,多重负载均衡装置接收到A类型应用服务器的任务派发请求,执行任务派发流程(具体步骤详见图9的任务派发流程图)。在步骤3中,多重负载均衡装置向B类型服务器分配任务。在步骤4中,B类型服务器处理完成已分配的任务,并将运行结果反馈给多重负载均衡装置,完成第一重负载均衡。在步骤5中,B类型应用服务器继续向多重负载均衡装置发出B类型任务派发请求,服务器适用类型为C类型服务器,开始第二重负载均衡。在步骤6中,多重负载均衡装置接收到B类型应用服务器的任务派发请求,执行任务派发流程(具体步骤详见图9的任务派发流程图)。在步骤7中,多重负载均衡装置向C类型服务器分配任务。在步骤8中,C类型服务器处理完成已分配的任务,并将运行结果反馈给多重负载均衡装置,完成第二重负载均衡。
图9是本发明的任务派发流程图。由于任务派发流程与任务委托流程较为相似,下面将着重对任务派发流程进行全面描述。
在步骤201中,应用服务器向任务接收单元401发出任务派发请求。在步骤202中,任务接收单元401顺序接收任务派发请求,该步骤为持续性步骤。在步骤203中,任务接收单元401读取任务派发请求的任务类型。在步骤204中,任务接收单元401判断该任务类型的任务队列是否已满,若“是”,则转步骤104,若“否”,则转步骤206。在步骤205中,任务接收单元401退回任务派发请求。在步骤206中,任务接收单元401向逻辑资源值计算单元301发出计算请求。
在步骤207中,逻辑资源值计算单元301计算该任务的逻辑资源值,并将结果返回给任务接收单元401。在步骤208中,任务接收单元401将任务信息发送给任务队列暂存单元402。
在步骤209中,任务队列暂存单元402将该任务加入队列,并更新队列是否已满标志,转步骤210。
在步骤210中,任务分配单元403判断任务队列暂存单元402中是否包含“待派发”任务,若“是”,则转步骤211,若“否”,则继续判断任务队列中是否存在包含“待派发”任务,直至出现“待派发”的任务。在步骤211中,任务分配单元403从任务队列暂存单元402中获取一个任务状态为“待派发”的任务。在步骤212中,任务分配单元403根据任务类型存储单元102中的执行命令组成规则拼接成任务命令。在步骤213中,任务分配单元403根据任务类型从任务类型存储单元102获取到分配服务器类型。
在步骤214中,任务派发单元403向服务器选择单元302发出计算请求,获得逻辑匹配值。在步骤215中,任务派发单元403根据逻辑匹配值选出最合适的应用服务器。在步骤216中,任务派发单元403向该服务器发出任务命令,并将任务分配信息发送给任务队列暂存单元402及服务器状态存储单元203,转步骤210、步骤217、步骤218、步骤209(这四个步骤属于并行处理)。
在步骤217中,任务队列暂存单元402将该任务的状态更新为“已派发”。
在步骤218中,服务器状态存储单元202将该任务添加到该服务器运行任务中,并更新当前资源值。
在步骤219中,任务结果接收单元404用于从应用服务器接收任务的完成情况。在步骤220中,任务结果接收单元404将任务完成信息发送给任务队列暂存单元402及服务器状态存储单元203,分别转步骤221和步骤222(这两个步骤属于并行处理)。
在步骤221中,服务器状态存储单元202将该任务从该服务器运行任务中删除。在步骤222中,任务队列暂存单元402将该任务从任务队列中删除。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (13)

1.一种多重负载均衡装置,其特征在于包括配置信息库、动态检测装置、资源计算装置、任务分配装置和灾备装置,其中: 
配置信息库,用于存储服务器集群中各服务器的静态信息、任务分配的规则以及算法信息; 
动态检测装置,用于存储服务器集群中各服务器的实时信息,并通过心跳检测来实时监测服务器集群中各节点是否正常工作,若某节点发生故障,动态检测装置向任务分配装置发起任务委托; 
资源计算装置,用于根据计算请求来计算任务的逻辑资源值或逻辑匹配值; 
任务分配装置,用于从服务节点接收任务,根据所述资源计算装置计算得出的逻辑资源值和逻辑匹配值来选择最合适的代理节点进行任务派发; 
灾备装置,用于负载均衡装置的备份及灾难恢复,对配置信息库、动态检测装置和任务分配装置的数据作准实时备份,当其中某个装置发生故障时,启用对应的备份装置完全接管故障装置的所有工作。 
2.根据权利要求1所述的装置,其特征在于,所述配置信息库包括: 
服务器信息存储单元,用于存储服务器的基本信息; 
任务类型存储单元,用于存储任务类型的信息; 
均衡算法存储单元,用于存储均衡算法相关信息。 
3.根据权利要求1所述的装置,其特征在于,所述动态检测装置包括: 
心跳检测单元,用于从服务器信息存储单元的服务器信息表中获取到服务器清单,通过定时问答机制实时检测清单中服务器的运行情况,并将服务器状态更新到服务器状态存储单元中,如果发现服务器运行出现异常,心跳检测单元向任务分配装置发出任务委托请求; 
服务器状态存储单元,用于记录服务器的当前运行状态,当接收到任务分配装置的任务分配信息后,更新该服务器的当前资源值、剩余资源值、 当前运行任务编号,当接收到任务分配装置的任务完成信息后,根据服务器编号和任务编号来删除该服务器的当前运行任务编号,同时更新当前资源值和剩余资源值。 
4.根据权利要求1所述的装置,其特征在于,所述资源计算装置包括: 
逻辑资源值计算单元,用于在接收到任务分配装置的计算请求时,根据请求中的“任务类型”,从任务类型存储单元的任务类型信息表中获取适用算法编号,再从均衡算法存储单元的均衡算法信息表中获取成本算法公式和时间算法公式,根据请求中的“任务参数”计算得出该请求中的任务所需的逻辑资源值,返回给任务分配装置; 
服务器选择单元,用于在接收到任务分配单元的计算请求时,根据请求中的“分配服务器类型”,从服务器信息存储单元与服务器状态存储单元获取所有符合类型的服务器的剩余资源值,再根据请求中的“逻辑资源值”,从中选出大于或等于、且最接近该任务逻辑资源值的服务器编号,将服务器编号返回给任务分配装置。 
5.根据权利要求1所述的装置,其特征在于,所述任务分配装置包括: 
任务接收单元,用于接收应用服务器或心跳检测单元的任务请求,并对任务请求作出响应; 
任务队列暂存单元,采用先进先出的队列方式来存储和更新待运行及运行中的任务清单; 
任务分配单元,用于从任务队列暂存单元中获取任务状态为“待派发”或“待委托”的任务,并根据任务类型存储单元中的执行命令组成规则拼接成任务命令,然后根据任务类型从任务类型存储单元获取分配服务器类型,向服务器选择单元发出服务器选择请求,将任务派发给该服务器; 
任务结果接收单元,用于从应用服务器接收任务的完成情况,并将任务完成信息发送给任务队列暂存单元及服务器状态存储单元。 
6.根据权利要求5所述的装置,其特征在于,若所述任务接收单元接收到的是“任务委托请求”,则根据任务委托请求中的服务器编号从服务 器状态存储单元中获取到该服务器的当前运行任务编号,并通知任务队列暂存单元更新相关任务编号的任务状态为“待委托”。 
7.根据权利要求6所述的装置,其特征在于,若任务接收单元接收到的是“任务派发请求”,则任务接收单元根据任务请求中的任务类型判断任务队列暂存单元中该任务类型的任务队列标志是否已满,若已满则退回任务请求,若未满则向逻辑资源值计算单元发出计算请求,获取到逻辑资源值,再将任务信息发送给任务队列暂存单元。 
8.根据权利要求5所述的装置,其特征在于,所述灾备装置包括: 
节点故障检测单元,用于实时检测配置信息库、动态检测装置、资源计算装置、任务分配装置的运行情况,若某装置出现异常,则将该装置对应的灾备单元从备份状态转为运行状态; 
配置信息库灾备单元,用于对配置信息库中的数据作准实时备份; 
动态检测装置灾备单元,用于对动态检测装置中的数据作准实时备份; 
资源计算装置灾备单元,用于对资源计算装置中的数据作准实时备份; 
任务分配装置灾备单元,用于对任务分配装置中的数据作准实时备份。 
9.利用如权利要求1-8任一项所述的多重负载均衡装置进行负载均衡的方法,该方法包括步骤: 
步骤1,A类型应用服务器向多重负载均衡装置发出A类型任务派发请求,服务器适用类型为B类型服务器,开始第一重负载均衡; 
步骤2,多重负载均衡装置接收到A类型应用服务器的任务派发请求,执行任务派发流程; 
步骤3,多重负载均衡装置向B类型服务器分配任务; 
步骤4,B类型服务器处理完成已分配的任务,并将运行结果反馈给多重负载均衡装置,完成第一重负载均衡; 
步骤5,B类型应用服务器继续向多重负载均衡装置发出B类型任务派发请求,服务器适用类型为C类型服务器,开始第二重负载均衡; 
步骤6,多重负载均衡装置接收到B类型应用服务器的任务派发请求, 执行任务派发流程; 
步骤7,多重负载均衡装置向C类型服务器分配任务; 
步骤8,C类型服务器处理完成已分配的任务,并将运行结果反馈给多重负载均衡装置,完成第二重负载均衡。 
10.根据权利要求9所述的方法,其特征在于,多重负载均衡装置与A类型应用服务器、B类型应用服务器、C类型应用服务器连接,相同类型的应用服务器所处理的任务类型相同。 
11.根据权利要求9所述的方法,其特征在于,在服务器集群中,A类型应用服务器所处理的任务视为第一层处理,B类型应用服务器所处理的任务视为第二层处理,C类型应用服务器所处理的任务视为第三层处理,并且第二层任务处理的负载均衡逻辑与第三层任务处理的负载均衡逻辑不相同。 
12.根据权利要求9所述的方法,其特征在于,步骤2中的任务派发流程进一步包括: 
步骤201,应用服务器向任务接收单元发出任务派发请求; 
步骤202,任务接收单元顺序接收任务派发请求; 
步骤203,任务接收单元读取任务派发请求的任务类型; 
步骤204,任务接收单元判断该任务类型的任务队列是否已满,若“是”,则转步骤205,若“否”,则转步骤206; 
步骤205,任务接收单元退回任务派发请求; 
步骤206,任务接收单元向逻辑资源值计算单元发出计算请求; 
步骤207,逻辑资源值计算单元计算该任务的逻辑资源值,并将结果返回给任务接收单元; 
步骤208,任务接收单元将任务信息发送给任务队列暂存单元; 
步骤209,任务队列暂存单元将该任务加入队列,并更新队列是否已满标志,转步骤210; 
步骤210,任务分配单元判断任务队列暂存单元中是否包含“待派发” 任务,若“是”,则转步骤211,若“否”,则继续判断任务队列中是否存在包含“待派发”任务,直至出现“待派发”的任务; 
步骤211,任务分配单元从任务队列暂存单元中获取1个任务状态为“待派发”的任务; 
步骤212,任务分配单元根据任务类型存储单元中的执行命令组成规则拼接成任务命令; 
步骤213,任务分配单元根据任务类型从任务类型存储单元获取到分配服务器类型; 
步骤214,任务派发单元向服务器选择单元发出计算请求,获得逻辑匹配值; 
步骤215,任务派发单元根据逻辑匹配值选出最合适的应用服务器。 
13.根据权利要求12所述的方法,其特征在于,在步骤215之后,进一步包括: 
步骤216,任务派发单元向该服务器发出任务命令,并将任务分配信息发送给任务队列暂存单元及服务器状态存储单元,转步骤210、步骤217、步骤218、步骤219这四个步骤属于并行处理; 
步骤217,任务队列暂存单元将该任务的状态更新为“已派发”; 
步骤218,服务器状态存储单元将该任务添加到该服务器运行任务中,并更新当前资源值; 
步骤219,任务结果接收单元负责从应用服务器接受任务的完成情况; 
步骤220,任务结果接收单元将任务完成信息发送给任务队列暂存单元及服务器状态存储单元,分别转步骤221和步骤222,这两个步骤属于并行处理; 
步骤221,服务器状态存储单元将该任务从该服务器运行任务中删除; 
步骤222,任务队列暂存单元将该任务从任务队列中删除。 
CN201310170852.0A 2013-05-10 2013-05-10 一种多重负载均衡处理装置与方法 Active CN103227838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310170852.0A CN103227838B (zh) 2013-05-10 2013-05-10 一种多重负载均衡处理装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310170852.0A CN103227838B (zh) 2013-05-10 2013-05-10 一种多重负载均衡处理装置与方法

Publications (2)

Publication Number Publication Date
CN103227838A true CN103227838A (zh) 2013-07-31
CN103227838B CN103227838B (zh) 2015-09-30

Family

ID=48838094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310170852.0A Active CN103227838B (zh) 2013-05-10 2013-05-10 一种多重负载均衡处理装置与方法

Country Status (1)

Country Link
CN (1) CN103227838B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103401937A (zh) * 2013-08-07 2013-11-20 中国科学院信息工程研究所 日志数据处理方法及系统
CN103713974A (zh) * 2014-01-07 2014-04-09 浪潮(北京)电子信息产业有限公司 一种高性能作业调度管理节点双机加固方法及设备
CN103944831A (zh) * 2014-04-29 2014-07-23 中国科学院声学研究所 负载均衡方法及系统
CN104753805A (zh) * 2013-12-31 2015-07-01 腾讯科技(深圳)有限公司 分布式流量控制方法、服务器和系统
CN105141541A (zh) * 2015-09-23 2015-12-09 浪潮(北京)电子信息产业有限公司 一种基于任务的动态负载均衡调度方法及装置
CN106254408A (zh) * 2015-06-12 2016-12-21 财团法人工业技术研究院 移动边缘计算的控制方法、网络系统与服务平台
CN106708826A (zh) * 2015-07-30 2017-05-24 中兴通讯股份有限公司 数据处理及查询方法、装置
CN107145384A (zh) * 2017-04-17 2017-09-08 广州孩教圈信息科技股份有限公司 任务分配方法和系统
CN107294774A (zh) * 2017-06-08 2017-10-24 深圳市迈岭信息技术有限公司 分布式系统物理节点的任务部署方法
CN108351811A (zh) * 2015-12-21 2018-07-31 英特尔公司 调度高度并行的应用
CN109800120A (zh) * 2017-11-17 2019-05-24 深圳市鹰硕技术有限公司 一种远程教育系统的服务器群的监测系统
CN110659354A (zh) * 2018-06-29 2020-01-07 优视科技(中国)有限公司 问答系统的建立方法、装置、存储介质及电子设备
CN113742059A (zh) * 2021-07-15 2021-12-03 上海朋熙半导体有限公司 任务分配方法、装置、计算机设备和存储介质
CN114090394A (zh) * 2022-01-19 2022-02-25 山东卓朗检测股份有限公司 分布式服务器集群负载异常分析方法
CN116777182A (zh) * 2023-08-15 2023-09-19 北京珂阳科技有限公司 半导体晶圆制造执行任务派工方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351775B1 (en) * 1997-05-30 2002-02-26 International Business Machines Corporation Loading balancing across servers in a computer network
CN102118433A (zh) * 2010-12-27 2011-07-06 网宿科技股份有限公司 多层次的分布式集群系统
CN102868747A (zh) * 2012-09-19 2013-01-09 深圳中兴网信科技有限公司 资源信息管理方法和资源信息管理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351775B1 (en) * 1997-05-30 2002-02-26 International Business Machines Corporation Loading balancing across servers in a computer network
CN102118433A (zh) * 2010-12-27 2011-07-06 网宿科技股份有限公司 多层次的分布式集群系统
CN102868747A (zh) * 2012-09-19 2013-01-09 深圳中兴网信科技有限公司 资源信息管理方法和资源信息管理装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103401937A (zh) * 2013-08-07 2013-11-20 中国科学院信息工程研究所 日志数据处理方法及系统
CN103401937B (zh) * 2013-08-07 2016-06-08 中国科学院信息工程研究所 日志数据处理方法及系统
US10447789B2 (en) 2013-12-31 2019-10-15 Tencent Technology (Shenzhen) Company Limited Distributed flow control
CN104753805B (zh) * 2013-12-31 2018-07-24 腾讯科技(深圳)有限公司 分布式流量控制方法、服务器和系统
CN104753805A (zh) * 2013-12-31 2015-07-01 腾讯科技(深圳)有限公司 分布式流量控制方法、服务器和系统
WO2015101309A1 (en) * 2013-12-31 2015-07-09 Tencent Technology (Shenzhen) Company Limited Distributed flow control
CN103713974B (zh) * 2014-01-07 2016-02-17 浪潮(北京)电子信息产业有限公司 一种高性能作业调度管理节点双机加固方法及设备
CN103713974A (zh) * 2014-01-07 2014-04-09 浪潮(北京)电子信息产业有限公司 一种高性能作业调度管理节点双机加固方法及设备
CN103944831A (zh) * 2014-04-29 2014-07-23 中国科学院声学研究所 负载均衡方法及系统
CN106254408A (zh) * 2015-06-12 2016-12-21 财团法人工业技术研究院 移动边缘计算的控制方法、网络系统与服务平台
CN106708826A (zh) * 2015-07-30 2017-05-24 中兴通讯股份有限公司 数据处理及查询方法、装置
CN105141541A (zh) * 2015-09-23 2015-12-09 浪潮(北京)电子信息产业有限公司 一种基于任务的动态负载均衡调度方法及装置
CN108351811A (zh) * 2015-12-21 2018-07-31 英特尔公司 调度高度并行的应用
CN108351811B (zh) * 2015-12-21 2022-06-21 英特尔公司 调度高度并行的应用
CN107145384A (zh) * 2017-04-17 2017-09-08 广州孩教圈信息科技股份有限公司 任务分配方法和系统
CN107294774A (zh) * 2017-06-08 2017-10-24 深圳市迈岭信息技术有限公司 分布式系统物理节点的任务部署方法
CN107294774B (zh) * 2017-06-08 2020-07-10 深圳市迈岭信息技术有限公司 分布式系统物理节点的任务部署方法
CN109800120B (zh) * 2017-11-17 2020-12-08 鹰硕(韶关)信息产业集团有限公司 一种远程教育系统的服务器群的监测系统
CN109800120A (zh) * 2017-11-17 2019-05-24 深圳市鹰硕技术有限公司 一种远程教育系统的服务器群的监测系统
CN110659354A (zh) * 2018-06-29 2020-01-07 优视科技(中国)有限公司 问答系统的建立方法、装置、存储介质及电子设备
CN113742059A (zh) * 2021-07-15 2021-12-03 上海朋熙半导体有限公司 任务分配方法、装置、计算机设备和存储介质
CN113742059B (zh) * 2021-07-15 2024-03-29 上海朋熙半导体有限公司 任务分配方法、装置、计算机设备和存储介质
CN114090394A (zh) * 2022-01-19 2022-02-25 山东卓朗检测股份有限公司 分布式服务器集群负载异常分析方法
CN114090394B (zh) * 2022-01-19 2022-04-22 山东卓朗检测股份有限公司 分布式服务器集群负载异常分析方法
CN116777182A (zh) * 2023-08-15 2023-09-19 北京珂阳科技有限公司 半导体晶圆制造执行任务派工方法
CN116777182B (zh) * 2023-08-15 2023-11-03 北京珂阳科技有限公司 半导体晶圆制造执行任务派工方法

Also Published As

Publication number Publication date
CN103227838B (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN103227838B (zh) 一种多重负载均衡处理装置与方法
JP6190389B2 (ja) 分散型計算環境において計算を実行する方法およびシステム
CN111381936B (zh) 一种分布式云系统-云簇架构下的服务容器资源的分配方法与系统
EP2652594B1 (en) Multi-tenant, high-density container service for hosting stateful and stateless middleware components
CN102546782B (zh) 一种分布式系统及其数据操作方法
CN102594861A (zh) 一种多服务器负载均衡的云存储系统
US8713125B2 (en) Method and system for scaling usage of a social based application on an online social network
KR20140119090A (ko) 확장 가능한 환경에서의 동적 로드 밸런싱 기법
CN104954277B (zh) 一种负载均衡方法、网关服务器及相关系统
US20080162625A1 (en) Apparatus for end-user transparent utilization of computational, storage, and network capacity of mobile devices, and associated methods
CN105308553B (zh) 动态提供存储
CN102904955B (zh) 云计算平台中Web应用的自适应伸缩控制系统及其方法
CN101986272A (zh) 一种云计算环境下的任务调度方法
US20120297056A1 (en) Extensible centralized dynamic resource distribution in a clustered data grid
CN105554123B (zh) 大容量感知云计算平台系统
CN102137128A (zh) 一种集群服务的负载均衡方法和装置
CN107346264A (zh) 一种虚拟机负载均衡调度的方法、装置和服务器设备
CN102271145A (zh) 一种虚拟计算机集群及其实施方法
CN105471985A (zh) 负载均衡方法及云平台计算方法、云平台
US20120233313A1 (en) Shared scaling server system
CN103218233A (zh) Hadoop异构集群中的数据分配策略
CN101753359B (zh) 动态组件分布的方法和系统
KR101719116B1 (ko) 데이터 센터들에서의 효율적인 자원 이용
CN111443870A (zh) 一种数据处理的方法、设备及存储介质
CN104715044A (zh) 一种分布式系统及其数据操作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant