CN106161485A - 一种基础服务集群的资源调度方法、装置和系统 - Google Patents

一种基础服务集群的资源调度方法、装置和系统 Download PDF

Info

Publication number
CN106161485A
CN106161485A CN201510126673.6A CN201510126673A CN106161485A CN 106161485 A CN106161485 A CN 106161485A CN 201510126673 A CN201510126673 A CN 201510126673A CN 106161485 A CN106161485 A CN 106161485A
Authority
CN
China
Prior art keywords
service
request
time
predicted
request quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510126673.6A
Other languages
English (en)
Other versions
CN106161485B (zh
Inventor
兰瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201510126673.6A priority Critical patent/CN106161485B/zh
Publication of CN106161485A publication Critical patent/CN106161485A/zh
Application granted granted Critical
Publication of CN106161485B publication Critical patent/CN106161485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种基础服务集群的资源调度方法、装置和系统;本发明实施例采用获取基础服务集群中各个设备的资源使用信息,比如,时间戳、业务请求数和设备负载信息等,根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线,然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量,并在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度;该方案可以大大节省资源,以及大大提高资源的利用率,有利于降低成本。

Description

一种基础服务集群的资源调度方法、装置和系统
技术领域
本发明涉及通信技术领域,具体涉及一种基础服务集群的资源调度方法、装置和系统。
背景技术
近年来,互联网技术的发展日新月异,互联网业务更是渗透到我们生活的方方面面,在这众多的互联网业务背后,需要有许多基础服务进行支撑,在现有技术中,通行的做法是各个业务根据历史数据经验,来决定各自需要的基础服务集群资源规模,并按照这个规模进行建设。其中,为了确保各自业务的正常,建设的基础服务集群规模都需要按照各自业务的峰值进行评估。
在对现有技术的研究和实践过程中,本发明的发明人发现,由于建设的集群规模都按照各自业务的峰值进行评估,因此,在一般情况下,所建设的基础服务集群的资源都会有所冗余,资源无法得到充分利用;而且,不同业务可能会需要相同的基础服务,若各个业务都自行建立相应的基础服务集群,则也会造成资源的浪费。
发明内容
本发明实施例提供一种基础服务集群的资源调度方法、装置和系统,可以为各个业务提供一个公共基础服务集群,并基于该公共基础服务集群为各个业务进行实时的资源调度,大大提高资源的利用率,节省资源。
本发明实施例提供一种基础服务集群的资源调度方法,包括:
获取基础服务集群中各个设备的资源使用信息,所述资源使用信息包括时间戳、业务请求数和设备负载信息;
根据所述资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线;
根据所述请求量的时间曲线估算待预测时刻各个业务的预测请求量;
在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度。
相应的,本发明实施例还提供一种基础服务集群的资源调度装置,包括获取单元、统计单元、估算单元和调度单元,如下:
获取单元,用于获取基础服务集群中各个设备的资源使用信息,所述资源使用信息包括时间戳、业务请求数和设备负载信息;
统计单元,用于根据所述资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线;
估算单元,用于根据所述请求量的时间曲线估算待预测时刻各个业务的预测请求量;
调度单元,用于在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度。
此外,本发明实施例还提供一种资源调度系统,包括本发明实施例提供的任一种基础服务集群的资源调度装置。
本发明实施例采用获取基础服务集群中各个设备的资源使用信息,比如,时间戳、业务请求数和设备负载信息等,根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线,然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量,并在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度;由于该方案可以为各个业务提供一个公共基础服务集群,并基于该公共基础服务集群对各个业务的业务请求量进行预测,并基于该预测进行实时的资源调度,因此,相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言,可以大大节省资源,以及大大提高资源的利用率,有利于降低成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的资源调度系统的场景示意图;
图1b是本发明实施例提供的基础服务集群的资源调度方法的流程图;
图2a是本发明实施例提供的基础服务集群的资源调度方法的另一流程图;
图2b是本发明实施例提供的基础服务集群的资源调度方法中请求量的时间曲线的示意图;
图3是本发明实施例提供的基础服务集群的资源调度装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种基础服务集群的资源调度方法、装置和系统。
参见图1a,该图为本发明实施例所提供的资源调度系统的场景示意图,该资源调度系统可以包括基础服务集群的资源调度装置,简称资源调度装置,主要用于获取基础服务集群中各个设备的资源使用信息,包括时间戳、业务请求数和设备负载信息等,然后根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线,根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量,并在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度,比如对资源进行分配,并发送资源分配列表给业务设备,等等。
此外,该资源调度系统还可以包括基础服务集群等设备,该基础服务集群中可以包括多个基础服务设备,主要用于在接收到各个业务设备发送的业务请求后,记录时间戳和业务请求数,并获取本地的设备负载信息,根据所述时间戳、业务请求数和设备负载信息生成资源使用信息,将所述资源使用信息发送给所述资源调度装置。当然,该资源调度系统还可以包括业务设备,用于接受资源调度装置的资源调度,并基于调度结果向基础服务集群发送业务请求。
以下将分别进行详细说明。
实施例一、
在本实施例中,将从资源调度装置的角度进行描述,该资源调度装置具体可以集成在服务器或网关等网络设备中。
一种基础服务集群的资源调度方法,包括:获取基础服务集群中各个设备的资源使用信息,根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线,根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量,在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度。
如图1b所示,该基础服务集群的资源调度方法,具体流程可以如下:
101、获取基础服务集群中各个设备的资源使用信息。
其中,该资源使用信息可以包括时间戳、业务请求数和设备负载信息等信息。时间戳指的是基础服务集群中的某个设备接收到业务请求时的时间信息,业务请求数指的是基础服务集群中的某个设备在某个时刻所接收到的业务请求的数量;设备负载信息用于指示基础服务集群中某个设备的负载情况。
其中,获取资源使用信息的方式可以有多种,例如,具体可以接收基础服务集群中各个设备上报的资源使用信息;或者,也可以向基础服务集群中各个设备发送信息获取请求,然后接收基础服务集群中各个设备根据该信息获取请求返回的资源使用信息。
其中,获取的周期,比如基础服务集群中各个设备上报的时间周期、或者该资源调度装置向基础服务集群中各个设备发送信息获取请求的时间周期,可以根据实际应用的需求进行设置,在此不再赘述。
102、根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线。
例如,以业务A为例,则可以从该资源使用信息中,获取与业务A相关的资源使用信息,比如业务A所发送的业务请求的时间戳、以及业务A所发送的业务请求数等等,然后根据这些与业务A相关的资源使用信息进行统计,得到业务A的请求量与时间的对应关系,并基于该对应关系绘制曲线,便可得到业务A的请求量的时间曲线。
103、根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量;例如,具体可以如下:
(1)确定待预测时刻,以及待预测时刻的上一个时刻,其中,该上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔。
例如,若该待预测时刻为T,且资源调度的最小时间间隔为d(duration),则该待预测时刻的上一个时刻可以表示为“T-d”。
其中,该资源调度的最小时间间隔可以根据实际应用的需求进行设置,在此不再赘述。
(2)根据该请求量的时间曲线获取当日在该上一个时刻时,各个业务的实际请求量,得到第一请求量集合。
例如,以当日为4月1日为例,若需要预测4月1日的T时刻的各个业务的预测请求量,则可以确定待预测时刻为T,此时,可以根据该请求量的时间曲线获取4月1日在“T-d”时刻的各个业务的实际请求量,得到第一请求量集合。
(3)根据该请求量的时间曲线获取预置历史时间范围内,与该待预测时刻在同一时刻的各个业务的平均请求量,得到第二请求量集合。
例如,还以当日为4月1日为例,若需要预测4月1日的T时刻的各个业务的预测请求量,则可以确定待预测时刻为T,此时,可以根据该请求量的时间曲线获取预置历史时间范围内,比如获取最近7天的T时刻的各个业务的平均请求量,如业务A在最近7天的T时刻的平均请求量、业务B在最近7天的T时刻的平均请求量、以及业务C在最近7天的T时刻的平均请求量等等,得到第二请求量集合。
其中,预置历史时间范围可以根据实际应用的需求进行设置,比如,可以设置为最近7天或最近一个月等等,在此不再赘述。
(4)根据该第一请求量集合和第二请求量集合估算当日在待预测时刻时,各个业务的预测请求量,例如,具体可以如下:
确定当前业务,从该第一请求量集合中获取该当前业务相应的请求量,得到当前业务的第一请求量;从该第二请求量集合中获取该当前业务相应的请求量,得到当前业务的第二请求量;根据该当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时,当前业务的预测请求量,并返回执行确定当前业务步骤。
其中,步骤“根据该当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时,当前业务的预测请求量”可以包括:
(a)计算当前业务的第一请求量和第二请求量的和,得到第一值;
(b)计算该第一请求量集合和第二请求量集合中所有请求量的和,得到第二值;
(c)计算第一值与第二值的百分比,该百分比即为给当前业务分配的资源占该基础服务集群总资源的比例
(d)根据该百分比,估算当日在待预测时刻时,当前业务的预测请求量。
例如,对A1、A2、A3.....An个业务,若在预置历史时间范围内,如最近7天在时刻T2时的业务平均请求量分别为M1T2、M2T2、M3T2.....MnT2,在当天的T1时刻(T1=T2-d)的业务请求量分别是M1T1、M2T1、M3T1.....MnT1。那么,在当天的T2时刻,给业务Ak(1≤k≤n)分配的资源占该基础服务集群总资源的比例(即第一值与第二值的百分比)可以为:
M k T 1 + M k T 2 Σ i = 1 n M i T 1 + Σ i = 1 n M i T 2 × 100 %
104、在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度,例如,具体可以如下:
在待预测时间,根据该预测请求量对基础服务集群的资源进行分配,得到资源分配列表,将该资源分配列表发送给各个业务所属的设备,以便各个业务所属的设备根据该资源分配列表进行业务处理,比如,根据该资源分配列表向基础服务集群中相应的设备发送业务请求,等等。
其中,不同业务从资源调度装置处拿到的资源分配列表可能不同。同一业务在不同时刻从资源调度装置处拿到的资源分配列表也可能不同。其中,该资源分配列表具体可以为集群机器列表等。
由上可知,本实施例采用获取基础服务集群中各个设备的资源使用信息,比如,时间戳、业务请求数和设备负载信息等,根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线,然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量,并在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度;由于该方案可以为各个业务提供一个公共基础服务集群,并基于该公共基础服务集群对各个业务的业务请求量进行预测,并基于该预测进行实时的资源调度,因此,相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言,可以大大节省资源,以及大大提高资源的利用率,有利于降低成本。
实施例二、
根据实施例一所描述的方法,以下将举例作进一步详细说明。
首先,为各个业务设备建立一个公共的基础服务集群,该基础服务集群用于为各个业务设备提供基础服务支撑。其次,设置资源调度装置,该用于资源调度装置用于对该基础服务集群进行实时的资源调度,以供各个业务设备使用。以下将进行详细说明。
如图2所示,一种基础服务集群的资源调度方法,具体流程可以如下:
201、基础服务集群中的各个设备按照预置的时间周期,向资源调度装置上报的资源使用信息。
其中,该资源使用信息可以包括时间戳、业务请求数和设备负载信息等信息。
其中,该时间周期可以根据实际应用的需求进行设置,在此不再赘述。
202、资源调度装置根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线。
例如,以业务A为例,则可以从该资源使用信息中,获取与业务A相关的资源使用信息,比如业务A所发送的业务请求的时间戳、以及业务A所发送的业务请求数等等,然后根据这些与业务A相关的资源使用信息进行统计,得到业务A的请求量与时间的对应关系,并基于该对应关系绘制曲线,便可得到业务A的请求量的时间曲线。
又例如,以业务B为例,则可以从该资源使用信息中,获取与业务B相关的资源使用信息,比如业务B所发送的业务请求的时间戳、以及业务B所发送的业务请求数等等,然后根据这些与业务B相关的资源使用信息进行统计,得到业务A的请求量与时间的对应关系,并基于该对应关系绘制曲线,便可得到业务A的请求量的时间曲线。
参见图2b,该图为业务A和业务B的请求量的时间曲线的示意图,其中,虚线为业务A的请求量的时间曲线,实线为业务B的请求量的时间曲线。
203、资源调度装置确定待预测时刻T2,以及待预测时刻的上一个时刻T1,其中,该上一个时刻T1与待预测时刻T2之间的时间间隔为资源调度的最小时间间隔d,即T1=T2-d。
204、资源调度装置根据该请求量的时间曲线获取当日的T1时刻的各个业务的实际请求量,得到第一请求量集合。
例如,以业务A和业务B为例,则资源调度装置可以根据该业务A的请求量的时间曲线,获取当日在T1时刻的业务A的实际请求量,以及根据该业务B的请求量的时间曲线,获取当日在T1时刻的业务B的实际请求量,其中,将得到的业务A的实际请求量和业务B的实际请求量添加到集合中,便可得到第一请求量集合。
205、资源调度装置根据该请求量的时间曲线获取预置历史时间范围内,如最近7日内的T2时刻的各个业务的平均请求量,得到第二请求量集合。
例如,还是以业务A和业务B,且预置历史时间范围为最近7天为例,则资源调度装置可以根据该业务A的请求量的时间曲线,获取最近7日内的T2时刻的业务A的平均请求量,以及根据该业务B的请求量的时间曲线,获取最近7日内的T2时刻的业务B的平均请求量,其中,将得到的业务A的平均请求量和业务B的平均请求量添加到集合中,便可得到第二请求量集合。
206、资源调度装置根据该第一请求量集合和第二请求量集合估算当日的T2时刻的各个业务的预测请求量,并根据该预测请求量对基础服务集群的资源进行分配,得到资源分配列表。
例如,还是以业务A和业务B,且预置历史时间范围为最近7天为例,若业务A在当日T1时刻的实际请求量为NAT1,业务B在当日T1时刻的实际请求量为NBT1;最近7天业务A在T2时刻的平均请求量是MAT2,业务B在T2时刻的平均请求量是MBT2。则在当日来到T2时刻时,资源调度装置可以根据当天的T1时刻,业务A的实际请求量NAT1、业务B的实际请求量NBT1、最近7天业务A在T2时刻的平均请求量是MAT2(即业务A的历史请求量)、以及业务B在T2时刻的平均请求量是MBT2(即业务B的历史请求量),分配
M A T 2 + N A T 1 ( M A T 2 + N A T 1 ) + ( M B T 2 + N B T 1 ) × 100 %
的集群资源给业务A。同理,分配
M B T 2 + N B T 1 ( M A T 2 + N A T 1 ) + ( M B T 2 + N B T 1 ) × 100 %
的集群资源给业务B。
207、资源调度装置将该资源分配列表发送给各个业务所属的设备,比如分别发送给业务A所属的设备(比如业务设备A)和业务B所属的设备(比如业务设备B),以便各个业务所属的设备根据该资源分配列表进行业务处理,比如,根据该资源分配列表向基础服务集群中相应的设备发送业务请求,等等,在此不再赘述。
由上可知,本实施例采用获取基础服务集群中各个设备的资源使用信息,比如,时间戳、业务请求数和设备负载信息等,根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线,然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量,并在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度;由于该方案可以为各个业务提供一个公共基础服务集群,并基于该公共基础服务集群对各个业务的业务请求量进行预测,并基于该预测进行实时的资源调度,因此,相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言,可以大大节省资源,以及大大提高资源的利用率,有利于降低成本。
实施例三、
相应的,本发明实施例还提供一种基础服务集群的资源调度装置,简称资源调度装置,如图3所示,该资源调度装置包括获取单元301、统计单元302、估算单元303和调度单元304,如下:
获取单元301,用于获取基础服务集群中各个设备的资源使用信息,其中,该资源使用信息可以包括时间戳、业务请求数和设备负载信息等信息。
其中,获取资源使用信息的方式可以有多种,例如:
获取单元301,具体可以用于接收基础服务集群中各个设备上报的资源使用信息;或者,
获取单元301,具体可以用于也可以向基础服务集群中各个设备发送信息获取请求,然后接收基础服务集群中各个设备根据该信息获取请求返回的资源使用信息。
其中,获取的周期,比如基础服务集群中各个设备上报的时间周期、或者该资源调度装置向基础服务集群中各个设备发送信息获取请求的时间周期,可以根据实际应用的需求进行设置,在此不再赘述。
统计单元302,用于根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线。
例如,以业务A为例,则可以从该资源使用信息中,获取与业务A相关的资源使用信息,比如业务A所发送的业务请求的时间戳、以及业务A所发送的业务请求数等等,然后根据这些与业务A相关的资源使用信息进行统计,得到业务A的请求量与时间的对应关系,并基于该对应关系绘制曲线,便可得到业务A的请求量的时间曲线。
估算单元303,用于根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量。
调度单元304,用于在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度。
例如,调度单元304,具体可以用于在待预测时间,根据该预测请求量对基础服务集群的资源进行分配,得到资源分配列表;将该资源分配列表发送给各个业务所属的设备,以便各个业务所属的设备根据该资源分配列表进行业务处理,比如,根据该资源分配列表向基础服务集群中相应的设备发送业务请求,等等。
其中,估算单元303可以包括确定子单元、获取子单元和估算子单元,如下:
(1)确定子单元;
确定子单元,用于确定待预测时刻,以及待预测时刻的上一个时刻,该上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔。
例如,若该待预测时刻为T,且资源调度的最小时间间隔为d(duration),则该待预测时刻的上一个时刻可以表示为“T-d”。
其中,该资源调度的最小时间间隔可以根据实际应用的需求进行设置,在此不再赘述。
(2)获取子单元;
获取子单元,用于根据该请求量的时间曲线获取当日在该上一个时刻时,各个业务的实际请求量,得到第一请求量集合;以及根据该请求量的时间曲线获取预置历史时间范围内,与该待预测时刻在同一时刻的各个业务的平均请求量,得到第二请求量集合。
例如,以当日为4月1日为例,若需要预测4月1日的T时刻的各个业务的预测请求量,则可以确定待预测时刻为T,此时,可以获取子单元可以执行如下操作:
根据该请求量的时间曲线获取4月1日在“T-d”时刻的各个业务的实际请求量,得到第一请求量集合。
以及,根据该请求量的时间曲线获取预置历史时间范围内,比如获取最近7天的T时刻的各个业务的平均请求量,如业务A在最近7天的T时刻的平均请求量、业务B在最近7天的T时刻的平均请求量、以及业务C在最近7天的T时刻的平均请求量等等,得到第二请求量集合。
其中,预置历史时间范围可以根据实际应用的需求进行设置,比如,可以设置为最近7天或最近一个月等等,在此不再赘述。
(3)估算子单元;
估算子单元,用于根据该第一请求量集合和第二请求量集合估算当日在待预测时刻时,各个业务的预测请求量。例如,该估算子单元,具体可以用于执行如下操作:
确定当前业务;从该第一请求量集合中获取该当前业务相应的请求量,得到当前业务的第一请求量;从该第二请求量集合中获取该当前业务相应的请求量,得到当前业务的第二请求量;根据该当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时,当前业务的预测请求量,并返回执行确定当前业务的操作。
其中,该估算子单元,具体可以用于计算当前业务的第一请求量和第二请求量的和,得到第一值;计算该第一请求量集合和第二请求量集合中所有请求量的和,得到第二值;计算第一值与第二值的百分比;根据该百分比,估算当日在待预测时刻时,当前业务的预测请求量。
例如,对A1、A2、A3.....An个业务,若在预置历史时间范围内,如最近7天在时刻T2时的业务平均请求量分别为M1T2、M2T2、M3T2.....MnT2,在当天的T1时刻(T1=T2-d)的业务请求量分别是M1T1、M2T1、M3T1.....MnT1。那么,在当天的T2时刻,给业务Ak(1≤k≤n)分配的资源占该基础服务集群总资源的比例(即第一值与第二值的百分比)可以为:
M k T 1 + M k T 2 Σ i = 1 n M i T 1 + Σ i = 1 n M i T 2 × 100 %
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
该资源调度装置具体可以集成在服务器或网关等网络设备中。
由上可知,本实施例的资源调度装置的获取单元301可以获取基础服务集群中各个设备的资源使用信息,比如,时间戳、业务请求数和设备负载信息等,由统计单元302根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线,然后由估算单元303根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量,并由调度单元304在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度;由于该方案可以为各个业务提供一个公共基础服务集群,并基于该公共基础服务集群对各个业务的业务请求量进行预测,并基于该预测进行实时的资源调度,因此,相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言,可以大大节省资源,以及大大提高资源的利用率,有利于降低成本。
实施例四、
相应的,本发明实施例还提供一种资源调度系统,包括本发明实施例提供的任一种资源调度装置(即基础服务集群的资源调度装置),具体可参见实施例三,例如,具体可以如下:
资源调度装置,用于获取基础服务集群中各个设备的资源使用信息,该资源使用信息包括时间戳、业务请求数和设备负载信息等信息,然后根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线,根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量,并在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度。
其中,根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量的方式可以有多种,例如,可以如下:
资源调度装置,具体可以用于确定待预测时刻以及待预测时刻的上一个时刻,根据该请求量的时间曲线获取当日在该上一个时刻时,各个业务的实际请求量,得到第一请求量集合;根据该请求量的时间曲线获取预置历史时间范围内,与该待预测时刻在同一时刻的各个业务的平均请求量,得到第二请求量集合;根据该第一请求量集合和第二请求量集合估算当日在待预测时刻时,各个业务的预测请求量,具体可参见前面的实施例。
其中,该上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔。
此外,该资源调度系统还可以其他的设备,比如基础服务集群,该基础服务集群中可以包括多个基础服务设备,如下:
该基础服务集群,可以用于在接收到各个业务设备发送的业务请求后,记录时间戳和业务请求数,并获取本地的设备负载信息,根据该时间戳、业务请求数和设备负载信息生成资源使用信息,将该资源使用信息发送给该资源调度装置。
当然,该资源调度系统还可以业务设备,用于接受资源调度装置的资源调度,并基于调度结果向基础服务集群发送业务请求,在此不再赘述。
以上各个设备的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例的资源调度系统采用由资源调度装置获取基础服务集群中各个设备(即基础服务设备)的资源使用信息,比如,时间戳、业务请求数和设备负载信息等,根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线,然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量,并在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度;由于该方案可以为各个业务提供一个公共基础服务集群,并基于该公共基础服务集群对各个业务的业务请求量进行预测,并基于该预测进行实时的资源调度,因此,相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言,可以大大节省资源,以及大大提高资源的利用率,有利于降低成本。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种基础服务集群的资源调度方法、装置和系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种基础服务集群的资源调度方法,其特征在于,包括:
获取基础服务集群中各个设备的资源使用信息,所述资源使用信息包括时间戳、业务请求数和设备负载信息;
根据所述资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线;
根据所述请求量的时间曲线估算待预测时刻各个业务的预测请求量;
在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述请求量的时间曲线估算待预测时刻各个业务的预测请求量,包括:
确定待预测时刻,以及待预测时刻的上一个时刻,所述上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔;
根据所述请求量的时间曲线获取当日在所述上一个时刻时,各个业务的实际请求量,得到第一请求量集合;
根据所述请求量的时间曲线获取预置历史时间范围内,与所述待预测时刻在同一时刻的各个业务的平均请求量,得到第二请求量集合;
根据所述第一请求量集合和第二请求量集合估算当日在待预测时刻时,各个业务的预测请求量。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一请求量集合和第二请求量集合估算当日在待预测时刻时,各个业务的预测请求量,包括:
确定当前业务;
从所述第一请求量集合中获取所述当前业务相应的请求量,得到当前业务的第一请求量;
从所述第二请求量集合中获取所述当前业务相应的请求量,得到当前业务的第二请求量;
根据所述当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时,当前业务的预测请求量,并返回执行确定当前业务步骤。
4.根据权利要求3所述的方法,其特征在于,所述根据所述当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时,当前业务的预测请求量,包括:
计算当前业务的第一请求量和第二请求量的和,得到第一值;
计算所述第一请求量集合和第二请求量集合中所有请求量的和,得到第二值;
计算第一值与第二值的百分比;
根据所述百分比,估算当日在待预测时刻时,当前业务的预测请求量。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度,包括:
在待预测时间,根据该预测请求量对基础服务集群的资源进行分配,得到资源分配列表;
将所述资源分配列表发送给各个业务所属的设备,以便各个业务所属的设备根据所述资源分配列表进行业务处理。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述获取基础服务集群中各个设备的资源使用信息,包括:
接收基础服务集群中各个设备上报的资源使用信息;或者,
向基础服务集群中各个设备发送信息获取请求,接收基础服务集群中各个设备根据所述信息获取请求返回的资源使用信息。
7.一种基础服务集群的资源调度装置,其特征在于,包括:
获取单元,用于获取基础服务集群中各个设备的资源使用信息,所述资源使用信息包括时间戳、业务请求数和设备负载信息;
统计单元,用于根据所述资源使用信息对每个业务在不同历史时刻的实际请求量进行统计,得到请求量的时间曲线;
估算单元,用于根据所述请求量的时间曲线估算待预测时刻各个业务的预测请求量;
调度单元,用于在待预测时刻,根据该预测请求量对基础服务集群的资源进行调度。
8.根据权利要求7所述的装置,其特征在于,所述估算单元包括确定子单元、获取子单元和估算子单元;
所述确定子单元,用于确定待预测时刻,以及待预测时刻的上一个时刻,所述上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔;
所述获取子单元,用于根据所述请求量的时间曲线获取当日在所述上一个时刻时,各个业务的实际请求量,得到第一请求量集合;以及根据所述请求量的时间曲线获取预置历史时间范围内,与所述待预测时刻在同一时刻的各个业务的平均请求量,得到第二请求量集合;
所述估算子单元,用于根据所述第一请求量集合和第二请求量集合估算当日在待预测时刻时,各个业务的预测请求量。
9.根据权利要求8所述的装置,其特征在于,所述估算子单元,具体用于:
确定当前业务;
从所述第一请求量集合中获取所述当前业务相应的请求量,得到当前业务的第一请求量;
从所述第二请求量集合中获取所述当前业务相应的请求量,得到当前业务的第二请求量;
根据所述当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时,当前业务的预测请求量,并返回执行确定当前业务的操作。
10.根据权利要求9所述的装置,其特征在于,
所述估算子单元,具体用于计算当前业务的第一请求量和第二请求量的和,得到第一值;计算所述第一请求量集合和第二请求量集合中所有请求量的和,得到第二值;计算第一值与第二值的百分比;根据所述百分比,估算当日在待预测时刻时,当前业务的预测请求量。
11.根据权利要求7至10任一项所述的装置,其特征在于,
所述调度单元,具体用于在待预测时间,根据该预测请求量对基础服务集群的资源进行分配,得到资源分配列表;将所述资源分配列表发送给各个业务所属的设备,以便各个业务所属的设备根据所述资源分配列表进行业务处理。
12.根据权利要求7至10任一项所述的装置,其特征在于,
所述获取单元,具体用于接收基础服务集群中各个设备上报的资源使用信息。
13.根据权利要求7至10任一项所述的装置,其特征在于,
所述获取单元,具体用于向基础服务集群中各个设备发送信息获取请求,接收基础服务集群中各个设备根据所述信息获取请求返回的资源使用信息。
14.一种资源调度系统,其特征在于,包括权利要求7至13任一项所述的基础服务集群的资源调度装置。
15.根据权利要求14所述的系统,其特征在于,还包括基础服务集群;
所述基础服务集群,用于在接收到各个业务设备发送的业务请求后,记录时间戳和业务请求数,并获取本地的设备负载信息,根据所述时间戳、业务请求数和设备负载信息生成资源使用信息,将所述资源使用信息发送给所述资源调度装置。
CN201510126673.6A 2015-03-23 2015-03-23 一种基础服务集群的资源调度方法、装置和系统 Active CN106161485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510126673.6A CN106161485B (zh) 2015-03-23 2015-03-23 一种基础服务集群的资源调度方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510126673.6A CN106161485B (zh) 2015-03-23 2015-03-23 一种基础服务集群的资源调度方法、装置和系统

Publications (2)

Publication Number Publication Date
CN106161485A true CN106161485A (zh) 2016-11-23
CN106161485B CN106161485B (zh) 2019-03-26

Family

ID=58063210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510126673.6A Active CN106161485B (zh) 2015-03-23 2015-03-23 一种基础服务集群的资源调度方法、装置和系统

Country Status (1)

Country Link
CN (1) CN106161485B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936471A (zh) * 2017-12-18 2019-06-25 北京图森未来科技有限公司 一种多集群的资源分配方法和装置
CN109981744A (zh) * 2019-02-28 2019-07-05 东软集团股份有限公司 数据的分发方法、装置、存储介质及电子设备
CN110377415A (zh) * 2018-04-12 2019-10-25 华为技术有限公司 一种请求处理方法和服务器
CN110688615A (zh) * 2019-09-24 2020-01-14 北京达佳互联信息技术有限公司 提供资源包服务的方法、装置、设备及存储介质
CN110889636A (zh) * 2019-12-02 2020-03-17 中国银行股份有限公司 一种银行实物资源的调度方法及装置
CN110990138A (zh) * 2019-12-04 2020-04-10 北京三快在线科技有限公司 资源调度方法、装置、服务器及存储介质
WO2020164612A1 (zh) * 2019-02-15 2020-08-20 贵州白山云科技股份有限公司 一种智能热点打散的方法、装置、存储介质及计算机设备
CN111988412A (zh) * 2020-08-25 2020-11-24 东北大学 一种多租户服务资源需求智能预测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546203A (zh) * 2010-12-20 2012-07-04 中国移动通信集团广西有限公司 一种业务进程分配方法及装置
CN103425535A (zh) * 2013-06-05 2013-12-04 浙江大学 云环境下的敏捷弹性伸缩方法
CN103970587A (zh) * 2014-04-21 2014-08-06 华为技术有限公司 一种资源调度的方法、设备和系统
CN104065663A (zh) * 2014-07-01 2014-09-24 复旦大学 一种基于混合云调度模型的自动伸缩、费用优化的内容分发服务方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546203A (zh) * 2010-12-20 2012-07-04 中国移动通信集团广西有限公司 一种业务进程分配方法及装置
CN103425535A (zh) * 2013-06-05 2013-12-04 浙江大学 云环境下的敏捷弹性伸缩方法
CN103970587A (zh) * 2014-04-21 2014-08-06 华为技术有限公司 一种资源调度的方法、设备和系统
CN104065663A (zh) * 2014-07-01 2014-09-24 复旦大学 一种基于混合云调度模型的自动伸缩、费用优化的内容分发服务方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAO WEI,SHURUI ZHOU,TING YANG,RUI ZHANG,QIANXIANG WANG: "Elastic Resource Management for Heterogeneous Applications on PaaS", 《PROCEEDINGS OF THE 5TH ASIA-PACIFIC SYMPOSIUM ON INTERNETWARE》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936471A (zh) * 2017-12-18 2019-06-25 北京图森未来科技有限公司 一种多集群的资源分配方法和装置
CN109936471B (zh) * 2017-12-18 2022-05-24 北京图森智途科技有限公司 一种多集群的资源分配方法和装置
CN110377415A (zh) * 2018-04-12 2019-10-25 华为技术有限公司 一种请求处理方法和服务器
WO2020164612A1 (zh) * 2019-02-15 2020-08-20 贵州白山云科技股份有限公司 一种智能热点打散的方法、装置、存储介质及计算机设备
US11562042B2 (en) 2019-02-15 2023-01-24 Guizhou Baishancloud Technology Co., Ltd. Intelligent hotspot scattering method, apparatus, storage medium, and computer device
CN109981744A (zh) * 2019-02-28 2019-07-05 东软集团股份有限公司 数据的分发方法、装置、存储介质及电子设备
CN110688615A (zh) * 2019-09-24 2020-01-14 北京达佳互联信息技术有限公司 提供资源包服务的方法、装置、设备及存储介质
CN110688615B (zh) * 2019-09-24 2023-07-11 北京达佳互联信息技术有限公司 提供资源包服务的方法、装置、设备及存储介质
CN110889636A (zh) * 2019-12-02 2020-03-17 中国银行股份有限公司 一种银行实物资源的调度方法及装置
CN110990138A (zh) * 2019-12-04 2020-04-10 北京三快在线科技有限公司 资源调度方法、装置、服务器及存储介质
CN111988412A (zh) * 2020-08-25 2020-11-24 东北大学 一种多租户服务资源需求智能预测系统及方法

Also Published As

Publication number Publication date
CN106161485B (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN106161485B (zh) 一种基础服务集群的资源调度方法、装置和系统
CN106817499B (zh) 一种话务资源调度方法及预测调度装置
CN109788315A (zh) 视频转码方法、装置及系统
CN109756911A (zh) 网络质量预测方法、业务调整方法、相关设备及存储介质
CN108521856A (zh) 内容分发网络中的调度方法和设备
CN110990138B (zh) 资源调度方法、装置、服务器及存储介质
CN108600300B (zh) 日志数据处理方法及装置
CN105227489B (zh) 一种带宽管理方法及电子设备
CN108346010A (zh) 基于用户需求分析的共享汽车调度方法
CN103699445A (zh) 一种任务调度方法、装置及系统
CN104714851A (zh) 一种实现资源分配的方法及装置
CN106790636A (zh) 一种云计算服务器集群的均衡负载系统及方法
CN108268965A (zh) 用于资源分配的、用于交通工具调度的方法及其装置
CN110830964B (zh) 信息调度方法、物联网平台和计算机可读存储介质
CN107592304A (zh) 直播资源计算分配方法、存储介质、电子设备及系统
CN106303112B (zh) 一种话务均衡方法及装置
CN110109800A (zh) 一种服务器集群系统的管理方法及装置
CN114064204A (zh) 一种微服务环境下基于业务预测动态扩容的方法
CN109347982A (zh) 一种数据中心的调度方法及装置
CN115348264A (zh) 多租户云服务管理方法、装置、设备及存储介质
CN111832600A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN111988388B (zh) 流量分配的方法、装置、电子设备及存储介质
CN111182479A (zh) 信息发送的控制方法及装置
CN108076443B (zh) 一种在线计费系统中流量的分配方法及在线计费系统
CN110377427B (zh) 任务监控方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190807

Address after: 518057 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer

Co-patentee after: Tencent cloud computing (Beijing) limited liability company

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.