CN105791166A - 一种负载均衡分配的方法及系统 - Google Patents

一种负载均衡分配的方法及系统 Download PDF

Info

Publication number
CN105791166A
CN105791166A CN201610232573.6A CN201610232573A CN105791166A CN 105791166 A CN105791166 A CN 105791166A CN 201610232573 A CN201610232573 A CN 201610232573A CN 105791166 A CN105791166 A CN 105791166A
Authority
CN
China
Prior art keywords
distribution
record
task
module
load balancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610232573.6A
Other languages
English (en)
Other versions
CN105791166B (zh
Inventor
方辉盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201610232573.6A priority Critical patent/CN105791166B/zh
Publication of CN105791166A publication Critical patent/CN105791166A/zh
Application granted granted Critical
Publication of CN105791166B publication Critical patent/CN105791166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/76—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/78—Architectures of resource allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明涉及一种负载均衡分配的方法及系统，其中方法包括：步骤1：发起负载分配任务，对任务进行配置和预处理；步骤2：获取任务的相关信息和节点信息；步骤3：根据相关信息和节点信息从内存库中读取待分配的记录；步骤4：将待分配的记录分发到相应进程下；步骤5：判断是否存在任务配置更新或节点信息异常，如果是，执行步骤2；否则，执行步骤6；步骤6：判断待分配记录是否全部分配完成，如果是，结束；否则，执行步骤4。本发明通过动态获取服务端列表，高效智能解决计算服务端压力，均衡分派海量任务，在提高系统整体运行速度同时避免了服务端主机运行压力不均衡的问题；本发明可在电信BOSS系统中各种任务流转过程中使用。

Description

一种负载均衡分配的方法及系统
技术领域
本发明涉及一种负载均衡分配的方法及系统。
背景技术
目前,随着电信业务的发展，为运营商带来大量用户的同时，也对整体系统带来了大量任务压力.各大运营商均为了追求更好的用户体验与服务水平，对于电信系统的要求也就越来越高,对现有BOSS系统的服务响应能力提出挑战。
在系统运行的过程中,海量的任务生成后,如何高效合理的分配负载所有的任务,不仅决定着系统是否能够正常的运行,更加关键的是有限资源的合理分配利用.所以,对任务进行负载均衡就显得尤为重要。
发明内容
本发明所要解决的技术问题是，为了解决电信业务中不断增加的海量任务的处理,为了合理分配使用主机资源,避免服务主机出现使用不均衡的情况，提供一种将不同任务负载均衡处理,流转分配给后续处理进程,使每台主机分摊到的任务量都是一样的.从而达到系统资源有效利用以及整体系统的健康运行的负载均衡分配的方法及系统。
本发明解决上述技术问题的技术方案如下：一种负载均衡分配的方法，具体包括以下步骤：
步骤1：发起负载分配任务，对任务进行配置和预处理；
步骤2：获取任务的相关信息和节点信息；
步骤3：根据相关信息和节点信息从内存库中读取待分配的记录；
步骤4：将待分配的记录分发到相应进程下；
步骤5：判断是否存在任务配置更新或节点信息异常，如果是，执行步骤2；否则，执行步骤6；
步骤6：判断待分配记录是否全部分配完成，如果是，结束；否则，执行步骤4。
本发明的有益效果是：通过动态获取内存库记录，高效智能解决计算服务端压力，均衡分派海量任务，在提高系统整体运行速度同时避免了服务端主机运行压力不均衡的问题；本发明可在电信BOSS系统中各种任务流转过程中使用。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述相关信息包括进程个数、进程ID、分发表名及字段名等信息。
进一步，所述预处理包括启动客户端，从客户端获取对应本次任务的节点信息，以实现对负载分配进程的动态调度管理。
进一步，所述步骤4中按照设定的算法将记录的分发字段更新为出口进程ID，进而按照出口进程ID将记录分发到相应的进程下。
进一步，所述获取节点信息采用抢占式先注册客户端获取对应本次任务的节点信息的方式。
进一步，所述设定的算法包括记录数与进程数取模算法、分发表积压数量加权算法和单独路由表算法等。
本发明解决上述技术问题的技术方案如下：一种负载均衡分配的系统，包括预处理模块、信息获取模块、记录读取模块、分配模块和监控模块；
所述预处理模块用于发起负载分配任务，对任务进行配置和预处理；
所述信息获取模块用于获取任务的相关信息和节点信息；
所述记录读取模块用于根据相关信息和节点信息从内存库中读取待分配的记录；
所述分配模块用于将待分配的记录分发到相应进程下，直到所述分配记录全部分配完成；
所述监控模块用于监控分配模块分配记录过程中，当存在任务配置更新或节点信息异常，触发信息获取模块重新获取相关信息和节点信息。
本发明的有益效果是：通过动态获取服务端列表，高效智能解决计算服务端压力，均衡分派海量任务，在提高系统整体运行速度同时避免了服务端主机运行压力不均衡的问题；本发明可在电信BOSS系统中各种任务流转过程中使用。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述相关信息包括进程个数、进程ID、分发表名及字段名等信息。
进一步，所述预处理包括启动客户端，从客户端获取对应本次任务的节点信息，以实现对负载分配进程的动态调度管理。
进一步，所述分配模块中按照设定的算法将记录的分发字段更新为出口进程ID，进而按照出口进程ID将记录分发到相应的进程下。
附图说明
图1为本发明实施例1所述的一种负载均衡分配的方法流程图；
图2为本发明实施例1所述的一种负载均衡分配的系统结构框图；
图3为本发明具体示例所述的一种负载均衡分配的方法流程图。
附图中，各标号所代表的部件列表如下：
1、预处理模块，2、信息获取模块，3、记录读取模块，4、分配模块，5、监控模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明实施例1所述的一种负载均衡分配的方法，具体包括以下步骤：
步骤1：发起负载分配任务，对任务进行配置和预处理；
步骤2：获取任务的相关信息和节点信息；
步骤3：根据相关信息和节点信息从内存库中读取待分配的记录；
步骤4：将待分配的记录分发到相应进程下；
步骤5：判断是否存在任务配置更新或节点信息异常，如果是，执行步骤2；否则，执行步骤6；
步骤6：判断待分配记录是否全部分配完成，如果是，结束；否则，执行步骤4。
本发明实施例2所述的一种负载均衡分配的方法，在实施例1的基础上，所述相关信息包括进程个数、进程ID、分发表名及字段名等信息。
本发明实施例3所述的一种负载均衡分配的方法，在实施例1或2的基础上，所述预处理包括启动客户端，从客户端获取对应本次任务的节点信息，以实现对负载分配进程的动态调度管理。
本发明实施例4所述的一种负载均衡分配的方法，在实施例1-3任一实施例的基础上，所述步骤4中按照设定的算法将记录的分发字段更新为出口进程ID，进而按照出口进程ID将记录分发到相应的进程下。
本发明实施例5所述的一种负载均衡分配的方法，在实施例1-4任一实施例的基础上，所述获取节点信息采用抢占式先注册客户端获取对应本次任务的节点信息的方式。
本发明实施例6所述的一种负载均衡分配的方法，在实施例1-5任一实施例的基础上，所述设定的算法包括记录数与进程数取模算法、分发表积压数量加权算法和单独路由表算法等。
如图2所示，为本发明实施例1所述的一种负载均衡分配的系统，包括预处理模块1、信息获取模块2、记录读取模块3、分配模块4和监控模块5；
所述预处理模块1用于发起负载分配任务，对任务进行配置和预处理；
所述信息获取模块2用于获取任务的相关信息和节点信息；
所述记录读取模块3用于根据相关信息和节点信息从内存库中读取待分配的记录；
所述分配模块4用于将待分配的记录分发到相应进程下，直到所述分配记录全部分配完成；
所述监控模块5用于监控分配模块分配记录过程中，当存在任务配置更新或节点信息异常，触发信息获取模块重新获取相关信息和节点信息。
本发明实施例2所述的一种负载均衡分配的系统，在实施例1的基础上，所述相关信息包括进程个数、进程ID、分发表名及字段名等信息。
本发明实施例3所述的一种负载均衡分配的系统，在实施例1或2的基础上，所述预处理包括启动客户端，从客户端获取对应本次任务的节点信息，以实现对负载分配进程的动态调度管理。
本发明实施例4所述的一种负载均衡分配的系统，在实施例1-3任一实施例的基础上，所述分配模块中按照设定的算法将记录的分发字段更新为出口进程ID，进而按照出口进程ID将记录分发到相应的进程下。
如图3所示，本发明所述负载均衡分配的方法的具体示例包括以下步骤：
1、在crontab中配置任务负载均衡进程的调度任务。
2、启动zookeeper客户端，任务负载均衡进程(RLB)每次启动时都以抢占式先注册zookeeper，获取本次处理的节点信息，以实现对负载进程的动态调度管理。
3、任务负载均衡进程从zookeeper树中获取接续模块进程(APP)个数、进程ID、分发表名及字段名等信息。
4、根据进程数从分布式内存库获取一批待分发的记录。
5、分发线程按一定算法(如记录数与进程数取模、分发表积压数量加权、单独路由表等)确定将记录分发到相应接续模块进程下。
6、监听线程负责判断zookeeper上静态配置树信息是否变化(配置更新或节点异常)，如果变化则需要重新读取信息，然后再按新的配置进行分发。如果未变化，分发线程继续取记录按原配置进行分发。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种负载均衡分配的方法，其特征在于，具体包括以下步骤：
步骤1：发起负载分配任务，对任务进行配置和预处理；
步骤2：获取任务的相关信息和节点信息；
步骤3：根据相关信息和节点信息从内存库中读取待分配的记录；
步骤4：将待分配的记录分发到相应进程下；
步骤5：判断是否存在任务配置更新或节点信息异常，如果是，执行步骤2；否则，执行步骤6；
步骤6：判断待分配记录是否全部分配完成，如果是，结束；否则，执行步骤4。
2.根据权利要求1所述的一种负载均衡分配的方法，其特征在于，所述相关信息包括进程个数、进程ID、分发表名及字段名信息。
3.根据权利要求1所述的一种负载均衡分配的方法，其特征在于，所述预处理包括启动客户端，从客户端获取对应本次任务的节点信息，以实现对负载分配进程的动态调度管理。
4.根据权利要求1-3任一项所述的一种负载均衡分配的方法，其特征在于，所述步骤4中按照设定的算法将记录的分发字段更新为出口进程ID，进而按照出口进程ID将记录分发到相应的进程下。
5.根据权利要求4所述的一种负载均衡分配的方法，其特征在于，所述获取节点信息采用抢占式先注册客户端获取对应本次任务的节点信息的方式。
6.根据权利要求4所述的一种负载均衡分配的方法，其特征在于，所述设定的算法包括记录数与进程数取模算法、分发表积压数量加权算法和单独路由表算法。
7.一种负载均衡分配的系统，其特征在于，包括预处理模块、信息获取模块、记录读取模块、分配模块和监控模块；
所述预处理模块用于发起负载分配任务，对任务进行配置和预处理；
所述信息获取模块用于获取任务的相关信息和节点信息；
所述记录读取模块用于根据相关信息和节点信息从内存库中读取待分配的记录；
所述分配模块用于将待分配的记录分发到相应进程下，直到所述分配记录全部分配完成；
所述监控模块用于监控分配模块分配记录过程中，当存在任务配置更新或节点信息异常，触发信息获取模块重新获取相关信息和节点信息。
8.根据权利要求7所述的一种负载均衡分配的系统，其特征在于，所述相关信息包括进程个数、进程ID、分发表名及字段名等信息。
9.根据权利要求7所述的一种负载均衡分配的系统，其特征在于，所述预处理包括启动客户端，从客户端获取对应本次任务的节点信息，以实现对负载分配进程的动态调度管理。
10.根据权利要求7-9任一项所述的一种负载均衡分配的系统，其特征在于，所述分配模块中按照设定的算法将记录的分发字段更新为出口进程ID，进而按照出口进程ID将记录分发到相应的进程下。
CN201610232573.6A 2016-04-14 2016-04-14 一种负载均衡分配的方法及系统 Active CN105791166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610232573.6A CN105791166B (zh) 2016-04-14 2016-04-14 一种负载均衡分配的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610232573.6A CN105791166B (zh) 2016-04-14 2016-04-14 一种负载均衡分配的方法及系统

Publications (2)

Publication Number Publication Date
CN105791166A true CN105791166A (zh) 2016-07-20
CN105791166B CN105791166B (zh) 2019-05-24

Family

ID=56396497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610232573.6A Active CN105791166B (zh) 2016-04-14 2016-04-14 一种负载均衡分配的方法及系统

Country Status (1)

Country Link
CN (1) CN105791166B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506213A (zh) * 2017-08-30 2017-12-22 深圳市小牛在线互联网信息咨询有限公司 动态配置方法、装置、存储介质和计算机设备
CN109361953A (zh) * 2018-09-18 2019-02-19 武汉斗鱼网络科技有限公司 弹幕消息的动态分发方法、装置、设备和存储介质
CN109614224A (zh) * 2018-11-12 2019-04-12 华南理工大学 一种功率电子电路优化方法
CN111338790A (zh) * 2020-02-12 2020-06-26 中山大学 一种高通量计算任务管理方法及系统
CN114978951A (zh) * 2022-06-07 2022-08-30 武汉大学 一种云平台负载均衡方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446910A (zh) * 2008-12-08 2009-06-03 哈尔滨工程大学 基于smp的aedf任务调度方法
EP2472397A1 (en) * 2010-12-28 2012-07-04 POLYTEDA Software Corporation Limited Load distribution scheduling method in data processing system
CN103019854A (zh) * 2012-11-20 2013-04-03 北京思特奇信息技术股份有限公司 一种分布式的动态进程管理方法及系统
CN103401939A (zh) * 2013-08-08 2013-11-20 中国航天科工集团第三研究院第八三五七研究所 一种采用混合调度策略的负载均衡方法
CN104915259A (zh) * 2015-06-15 2015-09-16 浪潮软件集团有限公司 一种应用于分布式采集系统的任务调度方法
CN105100259A (zh) * 2015-08-18 2015-11-25 北京京东尚科信息技术有限公司 一种分布式定时任务执行方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446910A (zh) * 2008-12-08 2009-06-03 哈尔滨工程大学 基于smp的aedf任务调度方法
EP2472397A1 (en) * 2010-12-28 2012-07-04 POLYTEDA Software Corporation Limited Load distribution scheduling method in data processing system
CN103019854A (zh) * 2012-11-20 2013-04-03 北京思特奇信息技术股份有限公司 一种分布式的动态进程管理方法及系统
CN103401939A (zh) * 2013-08-08 2013-11-20 中国航天科工集团第三研究院第八三五七研究所 一种采用混合调度策略的负载均衡方法
CN104915259A (zh) * 2015-06-15 2015-09-16 浪潮软件集团有限公司 一种应用于分布式采集系统的任务调度方法
CN105100259A (zh) * 2015-08-18 2015-11-25 北京京东尚科信息技术有限公司 一种分布式定时任务执行方法和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506213A (zh) * 2017-08-30 2017-12-22 深圳市小牛在线互联网信息咨询有限公司 动态配置方法、装置、存储介质和计算机设备
CN109361953A (zh) * 2018-09-18 2019-02-19 武汉斗鱼网络科技有限公司 弹幕消息的动态分发方法、装置、设备和存储介质
CN109361953B (zh) * 2018-09-18 2022-04-08 武汉斗鱼网络科技有限公司 弹幕消息的动态分发方法、装置、设备和存储介质
CN109614224A (zh) * 2018-11-12 2019-04-12 华南理工大学 一种功率电子电路优化方法
CN109614224B (zh) * 2018-11-12 2021-07-20 华南理工大学 一种功率电子电路优化方法
CN111338790A (zh) * 2020-02-12 2020-06-26 中山大学 一种高通量计算任务管理方法及系统
CN111338790B (zh) * 2020-02-12 2023-07-04 中山大学 一种高通量计算任务管理方法及系统
CN114978951A (zh) * 2022-06-07 2022-08-30 武汉大学 一种云平台负载均衡方法
CN114978951B (zh) * 2022-06-07 2023-08-18 武汉大学 一种云平台负载均衡方法

Also Published As

Publication number Publication date
CN105791166B (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
US10606662B2 (en) System and method for processing task resources
CN105791166A (zh) 一种负载均衡分配的方法及系统
CN105049268B (zh) 分布式计算资源分配系统和任务处理方法
CN103870334B (zh) 一种大规模漏洞扫描的任务分配方法及装置
JP6658882B2 (ja) 制御装置、ｖｎｆ配置先選択方法及びプログラム
US20150052254A1 (en) Virtual Machine Live Migration Method, Virtual Machine Deployment Method, Server, and Cluster System
CN108667859A (zh) 一种实现资源调度的方法及装置
CN105468435A (zh) Nfv动态资源分配方法
KR20170029263A (ko) 부하 분산 장치 및 방법
CN110308980A (zh) 数据的批量处理方法、装置、设备及存储介质
CN103530189A (zh) 一种面向流式数据的自动伸缩及迁移的方法及装置
CN104915259A (zh) 一种应用于分布式采集系统的任务调度方法
CN104503832B (zh) 一种公平和效率均衡的虚拟机调度系统及方法
EP3442201B1 (en) Cloud platform construction method and cloud platform
CN106557471A (zh) 任务调度方法及装置
US10761869B2 (en) Cloud platform construction method and cloud platform storing image files in storage backend cluster according to image file type
CN105404549B (zh) 基于yarn架构的虚拟机调度系统
CN104506669B (zh) 一种面向分布式网络仿真平台的ip地址分配系统及方法
CN103957280A (zh) 一种物联网中的传感网络连接分配和调度方法
CN104410511B (zh) 一种服务器管理方法及系统
CN109960579A (zh) 一种调整业务容器的方法及装置
CN107025134A (zh) 数据库服务系统及兼容多种数据库的方法
CN109739634A (zh) 一种原子任务执行方法及装置
CN104184685B (zh) 数据中心资源分配方法、装置及系统
CN105872082A (zh) 基于容器集群负载均衡算法的细粒度资源响应系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant