CN105100168A - 一种基于应用执行单元的PaaS请求分发机制 - Google Patents

一种基于应用执行单元的PaaS请求分发机制 Download PDF

Info

Publication number
CN105100168A
CN105100168A CN201410216427.5A CN201410216427A CN105100168A CN 105100168 A CN105100168 A CN 105100168A CN 201410216427 A CN201410216427 A CN 201410216427A CN 105100168 A CN105100168 A CN 105100168A
Authority
CN
China
Prior art keywords
application
request
paas
application example
request rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410216427.5A
Other languages
English (en)
Inventor
魏豪
张锐
王千祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201410216427.5A priority Critical patent/CN105100168A/zh
Publication of CN105100168A publication Critical patent/CN105100168A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种基于应用执行单元的PaaS请求分发机制，适用于在PaaS平台上更合理地分发用户对应用的请求，属于软件技术领域。传统的基于轮询的负载平衡作为请求分发方式，由于单位时间内每个应用实例所承担的请求数量不固定，一个应用实例的状态发生改变，可能会影响整个服务器集群上相应应用的所有实例状态，进而引发不必要的弹性操作。本发明提出了一种基于应用执行单元的PaaS请求分发机制，对PaaS平台上应用实例能接收到的最高请求率进行了限定，解决了传统的基于轮询的负载平衡方法中各应用实例请求率之间的耦合性，从而避免一个应用实例状态的改变影响服务器集群上相应应用所有实例的状态，减少了触发的弹性操作次数，降低了由此带来的资源开销。

Description

一种基于应用执行单元的PaaS请求分发机制
技术领域：
本发明涉及一种基于应用执行单元的PaaS请求分发机制，适用于在PaaS平台上更合理地分发用户对应用的请求，属于软件技术领域。
背景技术：
为了能提供可靠、高效的应用服务，PaaS平台上应用的服务往往由应用的多个实例共同承担完成，并且通常单个应用实例不会独自占尽虚拟机上的全部资源。因此，平台需将用户的请求根据一定的规则分发给各个应用实例，由各个实例借助所在服务器提供的资源，完成对请求的响应和处理，并将结果返回给用户。
基于轮询的负载平衡是一种较为常见的请求分发方式，它通过轮询，将用户请求平均地转发给各个应用实例。这种方法实现简单，但在PaaS平台的弹性机制中有显著的缺点：由于单位时间内每个应用实例所承担的请求数量不固定，一个应用实例的状态发生改变，可能会影响整个服务器集群上相应应用的所有实例状态，进而引发不必要的弹性操作。
发明内容：
本发明提出了一种基于应用执行单元的PaaS请求分发机制，将PaaS平台上应用实例能接收到的最高请求率进行限定，使得应用大部分实例接收到的请求率都处于较为稳定的状态，各自的请求率不会相互影响，解决传统的基于轮询的负载平衡方法中各应用实例请求率之间的耦合性，从而防止出现一个应用实例状态改变影响整个服务器集群上相应应用所有实例状态的现象，减少了触发的弹性操作次数，降低了由此带来的资源开销。
附图说明
附图为基于应用执行单元的请求分配方法
具体实施方式：
本发明设计了应用“执行单元”作为应用服务的基本单位，来代替基于轮询的负载平衡方法中接收请求率大小不固定的应用实例。一个应用的执行单元是指限定了最高请求率Rmax的应用实例。如果一个应用执行单元接受的请求率达到Rmax，则称其处于满负荷状态，否则为不满状态，特别地，将接受请求率为零的执行单元称为空执行单元。在每个请求分发周期内，用户请求被分发给应用的若干执行单元承担，且通常只有一个处于不满状态。例如：假设某应用的执行单元最大请求率Rmax设为60req/s。某一时刻用户对该应用的请求率达到150req/s，则分别分配60req/s的请求给2个执行单元使之达到满负荷状态，剩余30req/s的请求分配给1个执行单元。
如果应用的全部执行单元都处于满负荷状态仍不足以承载所有用户请求，则将超出执行单元承载能力的请求推迟至下一分发周期接受处理，如下一分发周期请求数仍超过执行单元承载能力，则继续推迟处理，以此类推。上述推迟操作会导致应用平均响应时间增长，可以通过PaaS平台上的弹性资源管理机制持续监测平均响应时间，并在其超过特定阈值时增加执行单元以提高承载能力。
基于执行单元的请求分配方式保证了应用大部分实例接收到的请求率都处于较为稳定的状态，各自的请求率不会相互影响，解决了基于轮询的负载平衡方法中各应用实例请求率之间的耦合性，从而防止出现一个应用实例状态改变影响整个服务器集群上相应应用所有实例状态的现象，减少了触发的弹性操作次数，降低了由此带来的资源开销。
附图展示了基于应用执行单元的请求分配方法的优越性，某应用A在VM1、VM2和VM3三台虚拟机上各部署了1个执行单元，它们承担的请求各有2单位的资源开销，且均处于满负荷状态。当系统进行收缩操作关闭VM3时，需要将它上面的执行单元“整体”地迁移到其他虚拟机上。在这个例子中执行单元被迁移到了资源占用还未超过阈值的VM2上。上述过程只触发了一次弹性操作，其弹性操作次数较少，因此弹性操作带来的额外开销较低。
应用执行单元的最高请求率Rmax决定了单位时间内单个执行单元可以接收到的最大请求数，进而决定了单个执行单元的资源开销。因此，为应用执行单元确定合适的Rmax值至关重要。本发明基于应用特征以及应用的请求率上限Rul(随着请求率的增加，应用所在虚拟机会有某项系统资源消耗首先超过阈值，将应用此时的请求率定义为应用的请求率上限，记为Rul)来确定Rmax。令Rmax＝Rul/k，其中k为正整数，将确定Rmax的问题转化为确定k值。
如果k过小，则意味着满载的执行单元承载了较大的请求率，需要占用更多的资源量，会难以找到合适的其他应用的执行单元与其共同使用服务器的资源，从而丧失搭配部署的灵活性；如果k过大，则意味着满载的执行单元承载了较小的请求率，所需资源量较少，便能在同一个虚拟机上部署较多数目的应用执行单元，但由于处理器在接受各个执行单元的请求时要不断地进行进程的调度，执行单元数目过多会导致进程调度频繁，从而增大调度开销。因此，k值的确定需在保证搭配部署灵活性和系统调度开销之间做一个权衡。另外，不同应用的k值也会不同：对于资源开销较大的应用，其k值应相对较小，否则需较多执行单元才能满足其资源需求，增大调度开销。因此k值的大小需结合应用特征确定。

Claims (1)

1.一种基于应用执行单元的PaaS请求分发机制，将PaaS平台上应用实例能接收到的最高请求率进行限定，使得应用大部分实例接收到的请求率都处于较为稳定的状态，各自的请求率不会相互影响，解决传统的基于轮询的负载平衡方法中各应用实例请求率之间的耦合性，从而防止出现一个应用实例状态改变影响整个服务器集群上相应应用所有实例状态的现象，减少了触发的弹性操作次数，降低了由此带来的资源开销。
CN201410216427.5A 2014-05-21 2014-05-21 一种基于应用执行单元的PaaS请求分发机制 Pending CN105100168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410216427.5A CN105100168A (zh) 2014-05-21 2014-05-21 一种基于应用执行单元的PaaS请求分发机制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410216427.5A CN105100168A (zh) 2014-05-21 2014-05-21 一种基于应用执行单元的PaaS请求分发机制

Publications (1)

Publication Number Publication Date
CN105100168A true CN105100168A (zh) 2015-11-25

Family

ID=54579694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410216427.5A Pending CN105100168A (zh) 2014-05-21 2014-05-21 一种基于应用执行单元的PaaS请求分发机制

Country Status (1)

Country Link
CN (1) CN105100168A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106230986A (zh) * 2016-09-21 2016-12-14 南方电网科学研究院有限责任公司 一种基于电力PaaS云平台的资源适配调度系统及方法
CN108351811A (zh) * 2015-12-21 2018-07-31 英特尔公司 调度高度并行的应用
CN109286661A (zh) * 2018-08-29 2019-01-29 广东恒电信息科技股份有限公司 一种企业级PaaS平台自动化部署的数据处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150459A1 (en) * 2005-12-22 2007-06-28 International Business Machines Corporation System and method for filtering query results using model entity limitations
CN103425535A (zh) * 2013-06-05 2013-12-04 浙江大学 云环境下的敏捷弹性伸缩方法
CN103516781A (zh) * 2012-06-27 2014-01-15 国际商业机器公司 用于实例化it服务的资源的方法和系统
CN103533063A (zh) * 2013-10-18 2014-01-22 北京华胜天成科技股份有限公司 一种可实现web应用资源动态扩展的方法及装置
CN103576827A (zh) * 2012-07-25 2014-02-12 田文洪 一种云计算数据中心在线节能调度的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150459A1 (en) * 2005-12-22 2007-06-28 International Business Machines Corporation System and method for filtering query results using model entity limitations
CN103516781A (zh) * 2012-06-27 2014-01-15 国际商业机器公司 用于实例化it服务的资源的方法和系统
CN103576827A (zh) * 2012-07-25 2014-02-12 田文洪 一种云计算数据中心在线节能调度的方法和装置
CN103425535A (zh) * 2013-06-05 2013-12-04 浙江大学 云环境下的敏捷弹性伸缩方法
CN103533063A (zh) * 2013-10-18 2014-01-22 北京华胜天成科技股份有限公司 一种可实现web应用资源动态扩展的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351811A (zh) * 2015-12-21 2018-07-31 英特尔公司 调度高度并行的应用
CN108351811B (zh) * 2015-12-21 2022-06-21 英特尔公司 调度高度并行的应用
CN106230986A (zh) * 2016-09-21 2016-12-14 南方电网科学研究院有限责任公司 一种基于电力PaaS云平台的资源适配调度系统及方法
CN109286661A (zh) * 2018-08-29 2019-01-29 广东恒电信息科技股份有限公司 一种企业级PaaS平台自动化部署的数据处理方法

Similar Documents

Publication Publication Date Title
CN111078363B (zh) 一种虚拟机的numa节点调度方法、装置、设备及介质
CN102236582B (zh) 虚拟化集群负载在多台物理机中均衡分配的方法
US10055259B2 (en) Method for performing processor resource allocation in an electronic device, and associated apparatus
CN109726005B (zh) 用于管理资源的方法、服务器系统和计算机可读介质
CN106133693B (zh) 虚拟机的迁移方法、装置及设备
US11740921B2 (en) Coordinated container scheduling for improved resource allocation in virtual computing environment
EP2511822A2 (en) Resource management method and computer system
Daryapurkar et al. Efficient load balancing algorithm in cloud environment
CN104199739A (zh) 一种基于负载均衡的推测式Hadoop调度方法
CN103617088A (zh) 在处理器不同类型线程中分配内核资源的方法、装置及其处理器
US20160154676A1 (en) Method of Resource Allocation in a Server System
CN104917805A (zh) 一种负载分担的方法和设备
CN105100168A (zh) 一种基于应用执行单元的PaaS请求分发机制
EP3274859B1 (en) Cluster computing service assurance apparatus and method
WO2016202154A1 (zh) 一种gpu资源的分配方法及系统
CN109729113B (zh) 管理专用处理资源的方法、服务器系统和计算机程序产品
CN105487927B (zh) 一种资源管理方法及装置
US20230379268A1 (en) Resource scheduling method and system, electronic device, computer readable storage medium
CN105653347B (zh) 一种服务器、资源管理方法及虚拟机管理器
US9152549B1 (en) Dynamically allocating memory for processes
CN106775925B (zh) 一种虚拟机cpu的限额处理方法和装置
US10157066B2 (en) Method for optimizing performance of computationally intensive applications
CN108388471A (zh) 一种基于双门限约束虚机迁移的管理方法
CN106879022B (zh) 无线接入网的基带单元池的资源分配方法和装置
CN107562510B (zh) 一种应用实例的管理方法及管理设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice

Addressee: Peking University

Document name: Notification of Publication and of Entering the Substantive Examination Stage of the Application for Invention

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151125

WD01 Invention patent application deemed withdrawn after publication