CN105430027A - 基于多资源尺度的负载均衡动态预调度方法 - Google Patents

基于多资源尺度的负载均衡动态预调度方法 Download PDF

Info

Publication number
CN105430027A
CN105430027A CN201410447805.0A CN201410447805A CN105430027A CN 105430027 A CN105430027 A CN 105430027A CN 201410447805 A CN201410447805 A CN 201410447805A CN 105430027 A CN105430027 A CN 105430027A
Authority
CN
China
Prior art keywords
resource
load
server
application
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410447805.0A
Other languages
English (en)
Inventor
湛林福
杨澎涛
丛龙水
李战强
苗永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Petroleum and Chemical Corp
Geophysical Research Institute of Sinopec Shengli Oilfield Co
Original Assignee
China Petroleum and Chemical Corp
Geophysical Research Institute of Sinopec Shengli Oilfield Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Petroleum and Chemical Corp, Geophysical Research Institute of Sinopec Shengli Oilfield Co filed Critical China Petroleum and Chemical Corp
Priority to CN201410447805.0A priority Critical patent/CN105430027A/zh
Publication of CN105430027A publication Critical patent/CN105430027A/zh
Pending legal-status Critical Current

Links

Abstract

本发明针对专业软件共享系统中不同类型的应用服务器提供一种基于多资源尺度的负载均衡动态预调度方法。该方法首先按照应用类型对服务器进行池化，形成资源池进行统一管理；其次，根据实际需求综合多种资源评价参数，实现服务器负载的多资源尺度分析。并根据负载分析结果结合资源属性及设计的排队算法，对资源池中的应用服务器按照负载情况动态的进行预排队。当用户请求应用资源时，系统会直接自动匹配队首服务器，不需要进行负载轮询，能有效提高负载的分配效率，降低用户应用延时，明显提升了整个系统在大规模并发应用下的性能，有效增强用户应用体验。

Description

基于多资源尺度的负载均衡动态预调度方法
技术领域
本发明涉及计算机系统的远程共享应用技术领域，特别是涉及到一种基于多资源尺度的负载均衡动态预调度方法。
背景技术
负载均衡建立在现有网络结构之上，它提供了一种廉价、有效、透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高应用的灵活性和可用性。负载均衡的本质是将负载(工作任务)进行平衡、分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。当网络应用的访问量不断增长，单个处理单元无法满足负载需求时，网络应用流量将要出现瓶颈时，负载均衡才会起到作用。
为了改善系统的性能,通过在多台计算机之间合理地分配负载,使各台计算机的负载基本均衡,这种计算能力共享的形式,通常被称为负载平衡或负载共享?一般来说,"负载平衡"要达到的目标是使各台计算机之间的负载基本均衡,而"负载共享"意味着只是简单的负载的重新分配?
负载平衡包括两种,一种是静态负载平衡,一种是动态负载平衡?只是利用系统负载的平均信息,而忽视系统当前的负载状况的方法被称为静态负载平衡。根据系统当前的负载状况来调整任务划分的方法被称为动态负载平衡?依据实际需要，在动态负载平衡方向，研究适合远程共享应用系统的动态预调度算法。
专业软件网上共享系统目前已在全油田范围内进行了大规模推广应用，实现了专业软件的远程共享应用，取得了良好应用效果，但是由于面对的用户规模越来越大，导致系统在大规模、多用户并发情况下的应用性能及稳定性大幅下降。主要原因是原系统的负载评价参数单一，负载均衡策略及调度方式简单，在多用户并发时无法把用户的应用调度到最佳的应用服务器上，增加了响应时间，降低了应用效率。　　　　　　　
发明内容
本发明的目的就是上述问题，提出一种针对大规模共享应用的优化的基于多资源尺度的负载均衡动态预调度方法，以对服务器资源进行最优选择、动态调度，有效解决多用户并发时应用性能下降的问题。
本发明的方法总体技术路线是，首先按照应用类型对服务器进行池化，形成资源池进行统一管理；其次根据实际需求综合多种资源评价参数，实现服务器负载的多资源尺度分析。并根据负载分析结果结合资源属性及设计的排队算法，对资源池中的应用服务器按照负载情况动态的进行预排队。当用户请求应用资源时，系统会直接自动匹配队首服务器，不需要进行负载轮询，能有效提高负载的分配效率，降低用户应用延时，明显提升了整个系统在大规模并发应用下的性能，有效增强用户应用体验。
本发明通过如下技术措施来实现：
步骤1，选择资源评价参数，并采集相关信息，使用多资源尺度分析方法对服务器负载进行评价分析。
步骤2，根据负载分析结果结合资源属性及设计的排队算法，对资源池中的应用服务器按照负载情况动态的进行预排队。
在步骤1中，针对显示服务器、应用服务器应用类型的不同，从包括CPU、内存、I/O、用户数、进程数、磁盘读写速度多个参数进行性能综合评价。
在步骤1中，选择以下10个参数对服务器负载进行评价：
(1)FreeCPUPercent：CPU空闲百分比；
(2)NCPU：CPU数量；
(3)AVGCPUMHZ：CPU平均速度；
(4)Nusers：当前用户数；
(5)NSEESIONS：共享客户端连接数；
(6)CPULOADAVG1：cpu最近1分钟就绪队列长度；
(7)CPULOADAVG5：cpu最近5分钟就绪队列长度；
(8)FREEMEM：空闲内存；
(9)DiskIO：磁盘I/O流量；
(10)NetworkIO：网I/O流量；
以上参数的优先级依次降低；
通过以上10种参数使用多资源尺度方法定性分析和评价整个共享系统中所有节点的负载。
10种参数使用多资源尺度方法是用元组来表示mrm，元组的项分别对应于一种所考虑到的资源；各服务器节点的mrm定义如下：Mrm=<CPUAPP，Nusers，FREEMEM，DiskIO,NetworkIO>，其中，场点当前可用的处理能力CPUAPP：AVGCPUMHZ*NCPU*FreeCPUPercent/CPULOADAVG；Nusers：当前用户数；FREEMEM：空闲内存；DiskIO：磁盘I/O流量；NetworkIO：网I/O流量；
每一个节点的负载信息都以五元组的形式提供给系统，五元组中每一项的值都由系统动态地计算，专用进程用来记录各节点的资源负载情况的变化；
Load=f(mrm1,mrm2,...mrmi…,mrmn),1<=i<=n,且f:MRM->{1,…,n}，函数f依据每个节点mrm中的第i项值的大小对所有节点进行排序。
在步骤2中，由资源池维护资源的属性和状态，并作为负载分析器或者调度器的输入；调度后的输出就是选中的显示服务器和应用服务器，资源选中后由分发器将应用分发到指定节点；通过资源管理器对资源池进行管理，完成增、删、改、查等操作，并根据实际需要动态调整资源池；将负载收集合并到资源管理器，它维护一个共同的对象，负责资源状态的更新；定期对资源池按照设计的调度策略进行排队，用户直接选取队列首节点；通过调度算法能保证队列首节点始终是用户所需的最优节点，同时资源排队的调度参数是能定制的。
附图说明
图1为本发明的一具体实施例的流程图。
具体实施方式
下文特举出较佳实施例，并配合所附图式，作详细说明如下。
步骤1，选择资源评价参数，并采集相关信息，使用多资源尺度分析方法对服务器负载进行评价分析。
步骤2，根据负载分析结果结合资源属性及设计的排队算法，对资源池中的应用服务器按照负载情况动态的进行预排队。
步骤１中，针对显示服务器、应用服务器应用类型的不同，从CPU、内存、I/O、用户数、进程数、磁盘读写速度等多个参数进行性能综合评价。通过采用这种多资源尺度分析方法，能较准确的确定出不同应用类型服务器的综合负载。选择以下10个参数对服务器负载进行评价。
(1)FreeCPUPercent：CPU空闲百分比；
(2)NCPU：CPU数量；
(3)AVGCPUMHZ：CPU平均速度；
(4)Nusers：当前用户数；
(5)NSEESIONS：共享客户端连接数；
(6)CPULOADAVG1：cpu最近1分钟就绪队列长度；
(7)CPULOADAVG5：cpu最近5分钟就绪队列长度；
(8)FREEMEM：空闲内存；
(9)DiskIO：磁盘I/O流量；
(10)NetworkIO：网I/O流量；
以上参数的优先级依次降低，显示服务器和应用服务器的性能评价参数稍微有点区别，例如应用服务器可以忽略NSEESIONS，但是性能评价方法一致。
以上10种参数代表系统性能的某一方面，很难去定义一个公式来定量分析，创新使用多资源尺度方法定性分析和评价整个共享系统中所有节点的负载。该方法用元组来表示mrm，元组的项分别对应于一种所考虑到的资源。各服务器节点的mrm定义如下：Mrm=<CPUAPP，Nusers，FREEMEM，DiskIO,NetworkIO>，其中：CPUAPP（场点当前可用的处理能力）：AVGCPUMHZ*NCPU*FreeCPUPercent/CPULOADAVG；Nusers：当前用户数；FREEMEM：空闲内存；DiskIO：磁盘I/O流量；NetworkIO：网I/O流量。
每一个节点的负载信息都以五元组的形式提供给系统。五元组中每一项的值都由系统动态地计算。专用进程用来记录各节点的资源负载情况的变化。
Load=f(mrm1,mrm2,...mrmi…,mrmn),1<=i<=n,且f:MRM->{1,…,n}，函数f依据每个节点mrm中的第i项值的大小对所有节点进行排序。
在步骤2中，资源池主要维护资源的属性和状态，并作为负载分析器或者调度器的输入。调度后的输出就是选中的显示服务器和应用服务器，资源选中后由分发器将应用分发到指定节点。通过资源管理器对资源池进行管理，完成增、删、改、查等操作，并根据实际需要动态调整资源池，将负载收集合并到资源管理器，它维护一个共同的对象，负责资源状态的更新。定期对资源池按照设计的调度策略进行排队，用户直接选取队列首节点，缩短了应用响应时间，增强了用户体验。通过调度算法能保证队列首节点始终是用户所需的最优节点，同时资源排队的调度参数是可以定制的。
如图1所示，图1为本发明的基于多资源尺度的负载均衡动态预调度方法的流程图。在步骤101，对应用服务器进行池化，形成资源池，作为调度的对象。流程进入到步骤102。
在步骤102，依据应用类型，选取资源评价参数,并采集相关信息。流程进入到步骤103。
在步骤103，综合多种资源评价参数，使用多资源尺度分析方法，对服务器负载进行评价。流程进入到步骤104。
在步骤104，依据服务器负载评价结果和排队算法对资源池中的服务器进行预排队。流程进入到步骤105。
在步骤105，用户请求资源，直接匹配队首服务器。

Claims (5)

1.基于多资源尺度的负载均衡动态预调度方法，其特征在于，包括:
步骤1，选择资源评价参数，并采集相关信息，使用多资源尺度分析方法对服务器负载进行评价分析；
步骤2，根据负载分析结果结合资源属性及设计的排队算法，对资源池中的应用服务器按照负载情况动态的进行预排队。
2.根据权利要求1所述的基于多资源尺度的负载均衡动态预调度方法，其特征在于，在步骤1中，针对显示服务器、应用服务器应用类型的不同，从包括CPU、内存、I/O、用户数、进程数、磁盘读写速度多个参数进行性能综合评价。
3.根据权利要求2所述的基于多资源尺度的负载均衡动态预调度方法，其特征在于，在步骤1中，选择以下10个参数对服务器负载进行评价：
(1)FreeCPUPercent：CPU空闲百分比；
(2)NCPU：CPU数量；
(3)AVGCPUMHZ：CPU平均速度；
(4)Nusers：当前用户数；
(5)NSEESIONS：共享客户端连接数；
(6)CPULOADAVG1：cpu最近1分钟就绪队列长度；
(7)CPULOADAVG5：cpu最近5分钟就绪队列长度；
(8)FREEMEM：空闲内存；
(9)DiskIO：磁盘I/O流量；
(10)NetworkIO：网I/O流量；
以上参数的优先级依次降低；
通过以上10种参数使用多资源尺度方法定性分析和评价整个共享系统中所有节点的负载。
4.根据权利要求３所述的基于多资源尺度的负载均衡动态预调度方法，其特征在于，10种参数使用多资源尺度方法是用元组来表示mrm，元组的项分别对应于一种所考虑到的资源；各服务器节点的mrm定义如下：Mrm=<CPUAPP，Nusers，FREEMEM，DiskIO,NetworkIO>，其中，场点当前可用的处理能力CPUAPP：AVGCPUMHZ*NCPU*FreeCPUPercent/CPULOADAVG；Nusers：当前用户数；FREEMEM：空闲内存；DiskIO：磁盘I/O流量；NetworkIO：网I/O流量；
每一个节点的负载信息都以五元组的形式提供给系统，五元组中每一项的值都由系统动态地计算，专用进程用来记录各节点的资源负载情况的变化；
Load=f(mrm1,mrm2,...mrmi…,mrmn),1<=i<=n,且f:MRM->{1,…,n}，函数f依据每个节点mrm中的第i项值的大小对所有节点进行排序。
5.根据权利要求1或、２、３、４所述的基于多资源尺度的负载均衡动态预调度方法，其特征在于，在步骤2中，由资源池维护资源的属性和状态，并作为负载分析器或者调度器的输入；调度后的输出就是选中的显示服务器和应用服务器，资源选中后由分发器将应用分发到指定节点；通过资源管理器对资源池进行管理，完成增、删、改、查等操作，并根据实际需要动态调整资源池；将负载收集合并到资源管理器，它维护一个共同的对象，负责资源状态的更新；定期对资源池按照设计的调度策略进行排队，用户直接选取队列首节点；通过调度算法能保证队列首节点始终是用户所需的最优节点，同时资源排队的调度参数是能定制的。
CN201410447805.0A 2014-09-04 2014-09-04 基于多资源尺度的负载均衡动态预调度方法 Pending CN105430027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410447805.0A CN105430027A (zh) 2014-09-04 2014-09-04 基于多资源尺度的负载均衡动态预调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410447805.0A CN105430027A (zh) 2014-09-04 2014-09-04 基于多资源尺度的负载均衡动态预调度方法

Publications (1)

Publication Number Publication Date
CN105430027A true CN105430027A (zh) 2016-03-23

Family

ID=55507968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410447805.0A Pending CN105430027A (zh) 2014-09-04 2014-09-04 基于多资源尺度的负载均衡动态预调度方法

Country Status (1)

Country Link
CN (1) CN105430027A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291539A (zh) * 2017-06-19 2017-10-24 山东师范大学 基于资源重要程度的集群程序调度方法
CN107659676A (zh) * 2017-11-03 2018-02-02 北京云端智度科技有限公司 基于动态ip资源池的智能调度技术
CN107948088A (zh) * 2018-01-05 2018-04-20 宝牧科技（天津）有限公司 一种网络应用层负载均衡的方法
CN107968804A (zh) * 2016-10-20 2018-04-27 创盛视联数码科技（北京）有限公司 分布式缓存调度系统及方法
CN108885554A (zh) * 2016-04-07 2018-11-23 国际商业机器公司 特定分散计算机系统
CN110515728A (zh) * 2019-08-19 2019-11-29 杭州迪普科技股份有限公司 服务器调度方法、装置、电子设备及机器可读存储介质
CN112860317A (zh) * 2020-12-31 2021-05-28 上海交通大学 无服务器计算系统中的调用器池化方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1997031A (zh) * 2006-12-01 2007-07-11 清华大学 一种视频网格自适应负载均衡调度方法
CN101557344A (zh) * 2009-05-21 2009-10-14 南昌航空大学 一种基于空间地理位置的动态负载均衡方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1997031A (zh) * 2006-12-01 2007-07-11 清华大学 一种视频网格自适应负载均衡调度方法
CN101557344A (zh) * 2009-05-21 2009-10-14 南昌航空大学 一种基于空间地理位置的动态负载均衡方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885554A (zh) * 2016-04-07 2018-11-23 国际商业机器公司 特定分散计算机系统
CN107968804A (zh) * 2016-10-20 2018-04-27 创盛视联数码科技（北京）有限公司 分布式缓存调度系统及方法
CN107291539A (zh) * 2017-06-19 2017-10-24 山东师范大学 基于资源重要程度的集群程序调度方法
CN107291539B (zh) * 2017-06-19 2019-11-01 山东师范大学 基于资源重要程度的集群程序调度方法
CN107659676A (zh) * 2017-11-03 2018-02-02 北京云端智度科技有限公司 基于动态ip资源池的智能调度技术
CN107948088A (zh) * 2018-01-05 2018-04-20 宝牧科技（天津）有限公司 一种网络应用层负载均衡的方法
CN110515728A (zh) * 2019-08-19 2019-11-29 杭州迪普科技股份有限公司 服务器调度方法、装置、电子设备及机器可读存储介质
CN110515728B (zh) * 2019-08-19 2022-05-31 杭州迪普科技股份有限公司 服务器调度方法、装置、电子设备及机器可读存储介质
CN112860317A (zh) * 2020-12-31 2021-05-28 上海交通大学 无服务器计算系统中的调用器池化方法及系统

Similar Documents

Publication Publication Date Title
CN105430027A (zh) 基于多资源尺度的负载均衡动态预调度方法
CN104915407B (zh) 一种基于Hadoop多作业环境下的资源调度方法
Pu et al. Low latency geo-distributed data analytics
Grandl et al. Multi-resource packing for cluster schedulers
Nguyen et al. A hybrid scheduling algorithm for data intensive workloads in a mapreduce environment
Wang et al. Adaptive scheduling for parallel tasks with QoS satisfaction for hybrid cloud environments
Selvarani et al. Improved cost-based algorithm for task scheduling in cloud computing
Zaharia et al. Delay scheduling: a simple technique for achieving locality and fairness in cluster scheduling
Piao et al. A network-aware virtual machine placement and migration approach in cloud computing
Kim et al. Autonomic management of application workflows on hybrid computing infrastructure
US9471390B2 (en) Scheduling mapreduce jobs in a cluster of dynamically available servers
US9870269B1 (en) Job allocation in a clustered environment
US20200174844A1 (en) System and method for resource partitioning in distributed computing
Yao et al. LsPS: A job size-based scheduler for efficient task assignments in Hadoop
CN103927225A (zh) 一种多核心架构的互联网信息处理优化方法
Domanal et al. Load balancing in cloud environment using a novel hybrid scheduling algorithm
US9817698B2 (en) Scheduling execution requests to allow partial results
Javanmardi et al. A unit-based, cost-efficient scheduler for heterogeneous Hadoop systems
Wang et al. Dependency-aware network adaptive scheduling of data-intensive parallel jobs
Han et al. Energy efficient VM scheduling for big data processing in cloud computing environments
Kaur et al. A survey on load balancing techniques in cloud computing
Thamsen et al. Mary, Hugo, and Hugo*: Learning to schedule distributed data‐parallel processing jobs on shared clusters
CN117573373A (zh) 一种基于云计算的cpu虚拟化调度方法及系统
Kapil et al. Resource aware scheduling in Hadoop for heterogeneous workloads based on load estimation
Islam Network Load Balancing Methods: Experimental Comparisons and Improvement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323

RJ01 Rejection of invention patent application after publication