CN106161485B - 一种基础服务集群的资源调度方法、装置和系统 - Google Patents
一种基础服务集群的资源调度方法、装置和系统 Download PDFInfo
- Publication number
- CN106161485B CN106161485B CN201510126673.6A CN201510126673A CN106161485B CN 106161485 B CN106161485 B CN 106161485B CN 201510126673 A CN201510126673 A CN 201510126673A CN 106161485 B CN106161485 B CN 106161485B
- Authority
- CN
- China
- Prior art keywords
- request
- business
- resource
- request amount
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种基础服务集群的资源调度方法、装置和系统；本发明实施例采用获取基础服务集群中各个设备的资源使用信息，比如，时间戳、业务请求数和设备负载信息等，根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线，然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量，并在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度；该方案可以大大节省资源，以及大大提高资源的利用率，有利于降低成本。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种基础服务集群的资源调度方法、装置和系统。
背景技术
近年来，互联网技术的发展日新月异，互联网业务更是渗透到我们生活的方方面面，在这众多的互联网业务背后，需要有许多基础服务进行支撑，在现有技术中，通行的做法是各个业务根据历史数据经验，来决定各自需要的基础服务集群资源规模，并按照这个规模进行建设。其中，为了确保各自业务的正常，建设的基础服务集群规模都需要按照各自业务的峰值进行评估。
在对现有技术的研究和实践过程中，本发明的发明人发现，由于建设的集群规模都按照各自业务的峰值进行评估，因此，在一般情况下，所建设的基础服务集群的资源都会有所冗余，资源无法得到充分利用；而且，不同业务可能会需要相同的基础服务，若各个业务都自行建立相应的基础服务集群，则也会造成资源的浪费。
发明内容
本发明实施例提供一种基础服务集群的资源调度方法、装置和系统，可以为各个业务提供一个公共基础服务集群，并基于该公共基础服务集群为各个业务进行实时的资源调度，大大提高资源的利用率，节省资源。
本发明实施例提供一种基础服务集群的资源调度方法，包括：
获取基础服务集群中各个设备的资源使用信息，所述资源使用信息包括时间戳、业务请求数和设备负载信息；
根据所述资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线；
根据所述请求量的时间曲线估算待预测时刻各个业务的预测请求量；
在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度。
相应的，本发明实施例还提供一种基础服务集群的资源调度装置，包括获取单元、统计单元、估算单元和调度单元，如下：
获取单元，用于获取基础服务集群中各个设备的资源使用信息，所述资源使用信息包括时间戳、业务请求数和设备负载信息；
统计单元，用于根据所述资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线；
估算单元，用于根据所述请求量的时间曲线估算待预测时刻各个业务的预测请求量；
调度单元，用于在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度。
此外，本发明实施例还提供一种资源调度系统，包括本发明实施例提供的任一种基础服务集群的资源调度装置。
本发明实施例采用获取基础服务集群中各个设备的资源使用信息，比如，时间戳、业务请求数和设备负载信息等，根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线，然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量，并在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度；由于该方案可以为各个业务提供一个公共基础服务集群，并基于该公共基础服务集群对各个业务的业务请求量进行预测，并基于该预测进行实时的资源调度，因此，相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言，可以大大节省资源，以及大大提高资源的利用率，有利于降低成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的资源调度系统的场景示意图；
图1b是本发明实施例提供的基础服务集群的资源调度方法的流程图；
图2a是本发明实施例提供的基础服务集群的资源调度方法的另一流程图；
图2b是本发明实施例提供的基础服务集群的资源调度方法中请求量的时间曲线的示意图；
图3是本发明实施例提供的基础服务集群的资源调度装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基础服务集群的资源调度方法、装置和系统。
参见图1a，该图为本发明实施例所提供的资源调度系统的场景示意图，该资源调度系统可以包括基础服务集群的资源调度装置，简称资源调度装置，主要用于获取基础服务集群中各个设备的资源使用信息，包括时间戳、业务请求数和设备负载信息等，然后根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线，根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量，并在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度，比如对资源进行分配，并发送资源分配列表给业务设备，等等。
此外，该资源调度系统还可以包括基础服务集群等设备，该基础服务集群中可以包括多个基础服务设备，主要用于在接收到各个业务设备发送的业务请求后，记录时间戳和业务请求数，并获取本地的设备负载信息，根据所述时间戳、业务请求数和设备负载信息生成资源使用信息，将所述资源使用信息发送给所述资源调度装置。当然，该资源调度系统还可以包括业务设备，用于接受资源调度装置的资源调度，并基于调度结果向基础服务集群发送业务请求。
以下将分别进行详细说明。
实施例一、
在本实施例中，将从资源调度装置的角度进行描述，该资源调度装置具体可以集成在服务器或网关等网络设备中。
一种基础服务集群的资源调度方法，包括：获取基础服务集群中各个设备的资源使用信息，根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线，根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量，在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度。
如图1b所示，该基础服务集群的资源调度方法，具体流程可以如下：
101、获取基础服务集群中各个设备的资源使用信息。
其中，该资源使用信息可以包括时间戳、业务请求数和设备负载信息等信息。时间戳指的是基础服务集群中的某个设备接收到业务请求时的时间信息，业务请求数指的是基础服务集群中的某个设备在某个时刻所接收到的业务请求的数量；设备负载信息用于指示基础服务集群中某个设备的负载情况。
其中，获取资源使用信息的方式可以有多种，例如，具体可以接收基础服务集群中各个设备上报的资源使用信息；或者，也可以向基础服务集群中各个设备发送信息获取请求，然后接收基础服务集群中各个设备根据该信息获取请求返回的资源使用信息。
其中，获取的周期，比如基础服务集群中各个设备上报的时间周期、或者该资源调度装置向基础服务集群中各个设备发送信息获取请求的时间周期，可以根据实际应用的需求进行设置，在此不再赘述。
102、根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线。
例如，以业务A为例，则可以从该资源使用信息中，获取与业务A相关的资源使用信息，比如业务A所发送的业务请求的时间戳、以及业务A所发送的业务请求数等等，然后根据这些与业务A相关的资源使用信息进行统计，得到业务A的请求量与时间的对应关系，并基于该对应关系绘制曲线，便可得到业务A的请求量的时间曲线。
103、根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量；例如，具体可以如下：
(1)确定待预测时刻，以及待预测时刻的上一个时刻，其中，该上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔。
例如，若该待预测时刻为T，且资源调度的最小时间间隔为d(duration)，则该待预测时刻的上一个时刻可以表示为“T-d”。
其中，该资源调度的最小时间间隔可以根据实际应用的需求进行设置，在此不再赘述。
(2)根据该请求量的时间曲线获取当日在该上一个时刻时，各个业务的实际请求量，得到第一请求量集合。
例如，以当日为4月1日为例，若需要预测4月1日的T时刻的各个业务的预测请求量，则可以确定待预测时刻为T，此时，可以根据该请求量的时间曲线获取4月1日在“T-d”时刻的各个业务的实际请求量，得到第一请求量集合。
(3)根据该请求量的时间曲线获取预置历史时间范围内，与该待预测时刻在同一时刻的各个业务的平均请求量，得到第二请求量集合。
例如，还以当日为4月1日为例，若需要预测4月1日的T时刻的各个业务的预测请求量，则可以确定待预测时刻为T，此时，可以根据该请求量的时间曲线获取预置历史时间范围内，比如获取最近7天的T时刻的各个业务的平均请求量，如业务A在最近7天的T时刻的平均请求量、业务B在最近7天的T时刻的平均请求量、以及业务C在最近7天的T时刻的平均请求量等等，得到第二请求量集合。
其中，预置历史时间范围可以根据实际应用的需求进行设置，比如，可以设置为最近7天或最近一个月等等，在此不再赘述。
(4)根据该第一请求量集合和第二请求量集合估算当日在待预测时刻时，各个业务的预测请求量，例如，具体可以如下：
确定当前业务，从该第一请求量集合中获取该当前业务相应的请求量，得到当前业务的第一请求量；从该第二请求量集合中获取该当前业务相应的请求量，得到当前业务的第二请求量；根据该当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时，当前业务的预测请求量，并返回执行确定当前业务步骤。
其中，步骤“根据该当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时，当前业务的预测请求量”可以包括：
(a)计算当前业务的第一请求量和第二请求量的和，得到第一值；
(b)计算该第一请求量集合和第二请求量集合中所有请求量的和，得到第二值；
(c)计算第一值与第二值的百分比，该百分比即为给当前业务分配的资源占该基础服务集群总资源的比例
(d)根据该百分比，估算当日在待预测时刻时，当前业务的预测请求量。
例如，对A1、A2、A3.....An个业务，若在预置历史时间范围内，如最近7天在时刻T2时的业务平均请求量分别为M1T2、M2T2、M3T2.....MnT2，在当天的T1时刻(T1＝T2-d)的业务请求量分别是M1T1、M2T1、M3T1.....MnT1。那么，在当天的T2时刻，给业务Ak(1≤k≤n)分配的资源占该基础服务集群总资源的比例(即第一值与第二值的百分比)可以为：
104、在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度，例如，具体可以如下：
在待预测时间，根据该预测请求量对基础服务集群的资源进行分配，得到资源分配列表，将该资源分配列表发送给各个业务所属的设备，以便各个业务所属的设备根据该资源分配列表进行业务处理，比如，根据该资源分配列表向基础服务集群中相应的设备发送业务请求，等等。
其中，不同业务从资源调度装置处拿到的资源分配列表可能不同。同一业务在不同时刻从资源调度装置处拿到的资源分配列表也可能不同。其中，该资源分配列表具体可以为集群机器列表等。
由上可知，本实施例采用获取基础服务集群中各个设备的资源使用信息，比如，时间戳、业务请求数和设备负载信息等，根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线，然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量，并在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度；由于该方案可以为各个业务提供一个公共基础服务集群，并基于该公共基础服务集群对各个业务的业务请求量进行预测，并基于该预测进行实时的资源调度，因此，相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言，可以大大节省资源，以及大大提高资源的利用率，有利于降低成本。
实施例二、
根据实施例一所描述的方法，以下将举例作进一步详细说明。
首先，为各个业务设备建立一个公共的基础服务集群，该基础服务集群用于为各个业务设备提供基础服务支撑。其次，设置资源调度装置，该用于资源调度装置用于对该基础服务集群进行实时的资源调度，以供各个业务设备使用。以下将进行详细说明。
如图2所示，一种基础服务集群的资源调度方法，具体流程可以如下：
201、基础服务集群中的各个设备按照预置的时间周期，向资源调度装置上报的资源使用信息。
其中，该资源使用信息可以包括时间戳、业务请求数和设备负载信息等信息。
其中，该时间周期可以根据实际应用的需求进行设置，在此不再赘述。
202、资源调度装置根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线。
例如，以业务A为例，则可以从该资源使用信息中，获取与业务A相关的资源使用信息，比如业务A所发送的业务请求的时间戳、以及业务A所发送的业务请求数等等，然后根据这些与业务A相关的资源使用信息进行统计，得到业务A的请求量与时间的对应关系，并基于该对应关系绘制曲线，便可得到业务A的请求量的时间曲线。
又例如，以业务B为例，则可以从该资源使用信息中，获取与业务B相关的资源使用信息，比如业务B所发送的业务请求的时间戳、以及业务B所发送的业务请求数等等，然后根据这些与业务B相关的资源使用信息进行统计，得到业务A的请求量与时间的对应关系，并基于该对应关系绘制曲线，便可得到业务A的请求量的时间曲线。
参见图2b，该图为业务A和业务B的请求量的时间曲线的示意图，其中，虚线为业务A的请求量的时间曲线，实线为业务B的请求量的时间曲线。
203、资源调度装置确定待预测时刻T2，以及待预测时刻的上一个时刻T1，其中，该上一个时刻T1与待预测时刻T2之间的时间间隔为资源调度的最小时间间隔d，即T1＝T2-d。
204、资源调度装置根据该请求量的时间曲线获取当日的T1时刻的各个业务的实际请求量，得到第一请求量集合。
例如，以业务A和业务B为例，则资源调度装置可以根据该业务A的请求量的时间曲线，获取当日在T1时刻的业务A的实际请求量，以及根据该业务B的请求量的时间曲线，获取当日在T1时刻的业务B的实际请求量，其中，将得到的业务A的实际请求量和业务B的实际请求量添加到集合中，便可得到第一请求量集合。
205、资源调度装置根据该请求量的时间曲线获取预置历史时间范围内，如最近7日内的T2时刻的各个业务的平均请求量，得到第二请求量集合。
例如，还是以业务A和业务B，且预置历史时间范围为最近7天为例，则资源调度装置可以根据该业务A的请求量的时间曲线，获取最近7日内的T2时刻的业务A的平均请求量，以及根据该业务B的请求量的时间曲线，获取最近7日内的T2时刻的业务B的平均请求量，其中，将得到的业务A的平均请求量和业务B的平均请求量添加到集合中，便可得到第二请求量集合。
206、资源调度装置根据该第一请求量集合和第二请求量集合估算当日的T2时刻的各个业务的预测请求量，并根据该预测请求量对基础服务集群的资源进行分配，得到资源分配列表。
例如，还是以业务A和业务B，且预置历史时间范围为最近7天为例，若业务A在当日T1时刻的实际请求量为NAT1，业务B在当日T1时刻的实际请求量为NBT1；最近7天业务A在T2时刻的平均请求量是MAT2，业务B在T2时刻的平均请求量是MBT2。则在当日来到T2时刻时，资源调度装置可以根据当天的T1时刻，业务A的实际请求量NAT1、业务B的实际请求量NBT1、最近7天业务A在T2时刻的平均请求量是MAT2(即业务A的历史请求量)、以及业务B在T2时刻的平均请求量是MBT2(即业务B的历史请求量)，分配
的集群资源给业务A。同理，分配
的集群资源给业务B。
207、资源调度装置将该资源分配列表发送给各个业务所属的设备，比如分别发送给业务A所属的设备(比如业务设备A)和业务B所属的设备(比如业务设备B)，以便各个业务所属的设备根据该资源分配列表进行业务处理，比如，根据该资源分配列表向基础服务集群中相应的设备发送业务请求，等等，在此不再赘述。
由上可知，本实施例采用获取基础服务集群中各个设备的资源使用信息，比如，时间戳、业务请求数和设备负载信息等，根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线，然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量，并在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度；由于该方案可以为各个业务提供一个公共基础服务集群，并基于该公共基础服务集群对各个业务的业务请求量进行预测，并基于该预测进行实时的资源调度，因此，相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言，可以大大节省资源，以及大大提高资源的利用率，有利于降低成本。
实施例三、
相应的，本发明实施例还提供一种基础服务集群的资源调度装置，简称资源调度装置，如图3所示，该资源调度装置包括获取单元301、统计单元302、估算单元303和调度单元304，如下：
获取单元301，用于获取基础服务集群中各个设备的资源使用信息，其中，该资源使用信息可以包括时间戳、业务请求数和设备负载信息等信息。
其中，获取资源使用信息的方式可以有多种，例如：
获取单元301，具体可以用于接收基础服务集群中各个设备上报的资源使用信息；或者，
获取单元301，具体可以用于也可以向基础服务集群中各个设备发送信息获取请求，然后接收基础服务集群中各个设备根据该信息获取请求返回的资源使用信息。
其中，获取的周期，比如基础服务集群中各个设备上报的时间周期、或者该资源调度装置向基础服务集群中各个设备发送信息获取请求的时间周期，可以根据实际应用的需求进行设置，在此不再赘述。
统计单元302，用于根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线。
例如，以业务A为例，则可以从该资源使用信息中，获取与业务A相关的资源使用信息，比如业务A所发送的业务请求的时间戳、以及业务A所发送的业务请求数等等，然后根据这些与业务A相关的资源使用信息进行统计，得到业务A的请求量与时间的对应关系，并基于该对应关系绘制曲线，便可得到业务A的请求量的时间曲线。
估算单元303，用于根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量。
调度单元304，用于在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度。
例如，调度单元304，具体可以用于在待预测时间，根据该预测请求量对基础服务集群的资源进行分配，得到资源分配列表；将该资源分配列表发送给各个业务所属的设备，以便各个业务所属的设备根据该资源分配列表进行业务处理，比如，根据该资源分配列表向基础服务集群中相应的设备发送业务请求，等等。
其中，估算单元303可以包括确定子单元、获取子单元和估算子单元，如下：
(1)确定子单元；
确定子单元，用于确定待预测时刻，以及待预测时刻的上一个时刻，该上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔。
例如，若该待预测时刻为T，且资源调度的最小时间间隔为d(duration)，则该待预测时刻的上一个时刻可以表示为“T-d”。
其中，该资源调度的最小时间间隔可以根据实际应用的需求进行设置，在此不再赘述。
(2)获取子单元；
获取子单元，用于根据该请求量的时间曲线获取当日在该上一个时刻时，各个业务的实际请求量，得到第一请求量集合；以及根据该请求量的时间曲线获取预置历史时间范围内，与该待预测时刻在同一时刻的各个业务的平均请求量，得到第二请求量集合。
例如，以当日为4月1日为例，若需要预测4月1日的T时刻的各个业务的预测请求量，则可以确定待预测时刻为T，此时，可以获取子单元可以执行如下操作：
根据该请求量的时间曲线获取4月1日在“T-d”时刻的各个业务的实际请求量，得到第一请求量集合。
以及，根据该请求量的时间曲线获取预置历史时间范围内，比如获取最近7天的T时刻的各个业务的平均请求量，如业务A在最近7天的T时刻的平均请求量、业务B在最近7天的T时刻的平均请求量、以及业务C在最近7天的T时刻的平均请求量等等，得到第二请求量集合。
其中，预置历史时间范围可以根据实际应用的需求进行设置，比如，可以设置为最近7天或最近一个月等等，在此不再赘述。
(3)估算子单元；
估算子单元，用于根据该第一请求量集合和第二请求量集合估算当日在待预测时刻时，各个业务的预测请求量。例如，该估算子单元，具体可以用于执行如下操作：
确定当前业务；从该第一请求量集合中获取该当前业务相应的请求量，得到当前业务的第一请求量；从该第二请求量集合中获取该当前业务相应的请求量，得到当前业务的第二请求量；根据该当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时，当前业务的预测请求量，并返回执行确定当前业务的操作。
其中，该估算子单元，具体可以用于计算当前业务的第一请求量和第二请求量的和，得到第一值；计算该第一请求量集合和第二请求量集合中所有请求量的和，得到第二值；计算第一值与第二值的百分比；根据该百分比，估算当日在待预测时刻时，当前业务的预测请求量。
例如，对A1、A2、A3.....An个业务，若在预置历史时间范围内，如最近7天在时刻T2时的业务平均请求量分别为M1T2、M2T2、M3T2.....MnT2，在当天的T1时刻(T1＝T2-d)的业务请求量分别是M1T1、M2T1、M3T1.....MnT1。那么，在当天的T2时刻，给业务Ak(1≤k≤n)分配的资源占该基础服务集群总资源的比例(即第一值与第二值的百分比)可以为：
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
该资源调度装置具体可以集成在服务器或网关等网络设备中。
由上可知，本实施例的资源调度装置的获取单元301可以获取基础服务集群中各个设备的资源使用信息，比如，时间戳、业务请求数和设备负载信息等，由统计单元302根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线，然后由估算单元303根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量，并由调度单元304在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度；由于该方案可以为各个业务提供一个公共基础服务集群，并基于该公共基础服务集群对各个业务的业务请求量进行预测，并基于该预测进行实时的资源调度，因此，相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言，可以大大节省资源，以及大大提高资源的利用率，有利于降低成本。
实施例四、
相应的，本发明实施例还提供一种资源调度系统，包括本发明实施例提供的任一种资源调度装置(即基础服务集群的资源调度装置)，具体可参见实施例三，例如，具体可以如下：
资源调度装置，用于获取基础服务集群中各个设备的资源使用信息，该资源使用信息包括时间戳、业务请求数和设备负载信息等信息，然后根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线，根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量，并在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度。
其中，根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量的方式可以有多种，例如，可以如下：
资源调度装置，具体可以用于确定待预测时刻以及待预测时刻的上一个时刻，根据该请求量的时间曲线获取当日在该上一个时刻时，各个业务的实际请求量，得到第一请求量集合；根据该请求量的时间曲线获取预置历史时间范围内，与该待预测时刻在同一时刻的各个业务的平均请求量，得到第二请求量集合；根据该第一请求量集合和第二请求量集合估算当日在待预测时刻时，各个业务的预测请求量，具体可参见前面的实施例。
其中，该上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔。
此外，该资源调度系统还可以其他的设备，比如基础服务集群，该基础服务集群中可以包括多个基础服务设备，如下：
该基础服务集群，可以用于在接收到各个业务设备发送的业务请求后，记录时间戳和业务请求数，并获取本地的设备负载信息，根据该时间戳、业务请求数和设备负载信息生成资源使用信息，将该资源使用信息发送给该资源调度装置。
当然，该资源调度系统还可以业务设备，用于接受资源调度装置的资源调度，并基于调度结果向基础服务集群发送业务请求，在此不再赘述。
以上各个设备的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例的资源调度系统采用由资源调度装置获取基础服务集群中各个设备(即基础服务设备)的资源使用信息，比如，时间戳、业务请求数和设备负载信息等，根据该资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线，然后根据该请求量的时间曲线估算待预测时刻各个业务的预测请求量，并在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度；由于该方案可以为各个业务提供一个公共基础服务集群，并基于该公共基础服务集群对各个业务的业务请求量进行预测，并基于该预测进行实时的资源调度，因此，相对于现有技术中需要基于各个业务的峰值进行评估并分别建立各自的基础服务集群而言，可以大大节省资源，以及大大提高资源的利用率，有利于降低成本。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种基础服务集群的资源调度方法、装置和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种基础服务集群的资源调度方法，其特征在于，包括：
获取基础服务集群中各个设备的资源使用信息，所述资源使用信息包括时间戳、业务请求数和设备负载信息；
根据所述资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线；
根据所述请求量的时间曲线估算待预测时刻各个业务的预测请求量，其中包括确定待预测时刻，以及待预测时刻的上一个时刻，所述上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔；根据所述请求量的时间曲线获取当日在所述上一个时刻时，各个业务的实际请求量，得到第一请求量集合；根据所述请求量的时间曲线获取预置历史时间范围内，与所述待预测时刻在同一时刻的各个业务的平均请求量，得到第二请求量集合；根据所述第一请求量集合和第二请求量集合估算当日在待预测时刻时，各个业务的预测请求量；
所述根据所述第一请求量集合和第二请求量集合估算当日在待预测时刻时，各个业务的预测请求量，包括：计算当前业务的第一请求量和第二请求量的和，得到第一值；计算所述第一请求量集合和第二请求量集合中所有请求量的和，得到第二值；计算第一值与第二值的百分比；根据所述百分比，估算当日在待预测时刻时，当前业务的预测请求量；其中，所述第一请求量为所述第一请求量集合中当前业务相应的请求量，所述第二请求量为所述第二请求量集合中当前业务相应的请求量；
在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一请求量集合和第二请求量集合估算当日在待预测时刻时，各个业务的预测请求量，包括：
确定当前业务；
从所述第一请求量集合中获取所述当前业务相应的请求量，得到当前业务的第一请求量；
从所述第二请求量集合中获取所述当前业务相应的请求量，得到当前业务的第二请求量；
根据所述当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时，当前业务的预测请求量，并返回执行确定当前业务步骤。
3.根据权利要求1或2所述的方法，其特征在于，所述在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度，包括：
在待预测时间，根据该预测请求量对基础服务集群的资源进行分配，得到资源分配列表；
将所述资源分配列表发送给各个业务所属的设备，以便各个业务所属的设备根据所述资源分配列表进行业务处理。
4.根据权利要求1或2所述的方法，其特征在于，所述获取基础服务集群中各个设备的资源使用信息，包括：
接收基础服务集群中各个设备上报的资源使用信息；或者，
向基础服务集群中各个设备发送信息获取请求，接收基础服务集群中各个设备根据所述信息获取请求返回的资源使用信息。
5.一种基础服务集群的资源调度装置，其特征在于，包括：
获取单元，用于获取基础服务集群中各个设备的资源使用信息，所述资源使用信息包括时间戳、业务请求数和设备负载信息；
统计单元，用于根据所述资源使用信息对每个业务在不同历史时刻的实际请求量进行统计，得到请求量的时间曲线；
估算单元，用于根据所述请求量的时间曲线估算待预测时刻各个业务的预测请求量，所述估算单元包括确定子单元、获取子单元和估算子单元；所述确定子单元，用于确定待预测时刻，以及待预测时刻的上一个时刻，所述上一个时刻与待预测时刻之间的时间间隔为资源调度的最小时间间隔；所述获取子单元，用于根据所述请求量的时间曲线获取当日在所述上一个时刻时，各个业务的实际请求量，得到第一请求量集合；以及根据所述请求量的时间曲线获取预置历史时间范围内，与所述待预测时刻在同一时刻的各个业务的平均请求量，得到第二请求量集合；所述估算子单元，用于根据所述第一请求量集合和第二请求量集合估算当日在待预测时刻时，各个业务的预测请求量；
所述估算子单元，具体用于计算当前业务的第一请求量和第二请求量的和，得到第一值；计算所述第一请求量集合和第二请求量集合中所有请求量的和，得到第二值；计算第一值与第二值的百分比；根据所述百分比，估算当日在待预测时刻时，当前业务的预测请求量；其中，所述第一请求量为所述第一请求量集合中当前业务相应的请求量，所述第二请求量为所述第二请求量集合中当前业务相应的请求量；
调度单元，用于在待预测时刻，根据该预测请求量对基础服务集群的资源进行调度。
6.根据权利要求5所述的装置，其特征在于，所述估算子单元，具体用于：
确定当前业务；
从所述第一请求量集合中获取所述当前业务相应的请求量，得到当前业务的第一请求量；
从所述第二请求量集合中获取所述当前业务相应的请求量，得到当前业务的第二请求量；
根据所述当前业务的第一请求量、第二请求量、第一请求量集合和第二请求量集合估算当日在待预测时刻时，当前业务的预测请求量，并返回执行确定当前业务的操作。
7.根据权利要求5至6任一项所述的装置，其特征在于，
所述调度单元，具体用于在待预测时间，根据该预测请求量对基础服务集群的资源进行分配，得到资源分配列表；将所述资源分配列表发送给各个业务所属的设备，以便各个业务所属的设备根据所述资源分配列表进行业务处理。
8.根据权利要求5至6任一项所述的装置，其特征在于，
所述获取单元，具体用于接收基础服务集群中各个设备上报的资源使用信息。
9.根据权利要求5至6任一项所述的装置，其特征在于，
所述获取单元，具体用于向基础服务集群中各个设备发送信息获取请求，接收基础服务集群中各个设备根据所述信息获取请求返回的资源使用信息。
10.一种资源调度系统，其特征在于，包括权利要求5至9任一项所述的基础服务集群的资源调度装置。
11.根据权利要求10所述的系统，其特征在于，还包括基础服务集群；
所述基础服务集群，用于在接收到各个业务设备发送的业务请求后，记录时间戳和业务请求数，并获取本地的设备负载信息，根据所述时间戳、业务请求数和设备负载信息生成资源使用信息，将所述资源使用信息发送给所述资源调度装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510126673.6A CN106161485B (zh) | 2015-03-23 | 2015-03-23 | 一种基础服务集群的资源调度方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510126673.6A CN106161485B (zh) | 2015-03-23 | 2015-03-23 | 一种基础服务集群的资源调度方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106161485A CN106161485A (zh) | 2016-11-23 |
| CN106161485B true CN106161485B (zh) | 2019-03-26 |
Family
ID=58063210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510126673.6A Active CN106161485B (zh) | 2015-03-23 | 2015-03-23 | 一种基础服务集群的资源调度方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106161485B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109936471B (zh) * | 2017-12-18 | 2022-05-24 | 北京图森智途科技有限公司 | 一种多集群的资源分配方法和装置 |
| CN110377415A (zh) * | 2018-04-12 | 2019-10-25 | 华为技术有限公司 | 一种请求处理方法和服务器 |
| CN111585908B (zh) | 2019-02-15 | 2022-03-04 | 贵州白山云科技股份有限公司 | 一种智能热点打散的方法、装置、存储介质及计算机设备 |
| CN109981744B (zh) * | 2019-02-28 | 2022-03-04 | 东软集团股份有限公司 | 数据的分发方法、装置、存储介质及电子设备 |
| CN110688615B (zh) * | 2019-09-24 | 2023-07-11 | 北京达佳互联信息技术有限公司 | 提供资源包服务的方法、装置、设备及存储介质 |
| CN110889636A (zh) * | 2019-12-02 | 2020-03-17 | 中国银行股份有限公司 | 一种银行实物资源的调度方法及装置 |
| CN110990138B (zh) * | 2019-12-04 | 2023-04-14 | 北京三快在线科技有限公司 | 资源调度方法、装置、服务器及存储介质 |
| CN111988412A (zh) * | 2020-08-25 | 2020-11-24 | 东北大学 | 一种多租户服务资源需求智能预测系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546203A (zh) * | 2010-12-20 | 2012-07-04 | 中国移动通信集团广西有限公司 | 一种业务进程分配方法及装置 |
| CN103425535A (zh) * | 2013-06-05 | 2013-12-04 | 浙江大学 | 云环境下的敏捷弹性伸缩方法 |
| CN103970587A (zh) * | 2014-04-21 | 2014-08-06 | 华为技术有限公司 | 一种资源调度的方法、设备和系统 |
| CN104065663A (zh) * | 2014-07-01 | 2014-09-24 | 复旦大学 | 一种基于混合云调度模型的自动伸缩、费用优化的内容分发服务方法 |
-
2015
- 2015-03-23 CN CN201510126673.6A patent/CN106161485B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546203A (zh) * | 2010-12-20 | 2012-07-04 | 中国移动通信集团广西有限公司 | 一种业务进程分配方法及装置 |
| CN103425535A (zh) * | 2013-06-05 | 2013-12-04 | 浙江大学 | 云环境下的敏捷弹性伸缩方法 |
| CN103970587A (zh) * | 2014-04-21 | 2014-08-06 | 华为技术有限公司 | 一种资源调度的方法、设备和系统 |
| CN104065663A (zh) * | 2014-07-01 | 2014-09-24 | 复旦大学 | 一种基于混合云调度模型的自动伸缩、费用优化的内容分发服务方法 |
Non-Patent Citations (1)
| Title |
|---|
| Elastic Resource Management for Heterogeneous Applications on PaaS;Hao Wei,Shurui Zhou,Ting Yang，Rui Zhang，Qianxiang Wang;《Proceedings of the 5th Asia-Pacific Symposium on Internetware》;20131024;1-7 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106161485A (zh) | 2016-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106161485B (zh) | 一种基础服务集群的资源调度方法、装置和系统 | |
| CN105159782B (zh) | 基于云主机为订单分配资源的方法和装置 | |
| CN109246229A (zh) | 一种分发资源获取请求的方法和装置 | |
| CN104579768B (zh) | 客户端升级方法和装置 | |
| CN106326002B (zh) | 资源调度方法、装置及设备 | |
| CN108521856A (zh) | 内容分发网络中的调度方法和设备 | |
| CN108600300B (zh) | 日志数据处理方法及装置 | |
| CN105227489B (zh) | 一种带宽管理方法及电子设备 | |
| CN109788315A (zh) | 视频转码方法、装置及系统 | |
| CN104796422A (zh) | 一种在线客服均衡分配的方法及装置 | |
| CN105338061A (zh) | 一种轻量级消息中间件的实现方法与系统 | |
| CN108924221A (zh) | 分配资源的方法和装置 | |
| CN104620222A (zh) | 扩展虚拟机实例 | |
| CN106257893A (zh) | 存储服务器任务响应方法、客户端、服务器及系统 | |
| CN109348264B (zh) | 视频资源共享方法、装置、存储介质及电子设备 | |
| CN104301257B (zh) | 一种资源分配方法、装置及设备 | |
| US20200329118A1 (en) | Data transmission scheduling method and system | |
| EP3742697A1 (en) | Data transmission scheduling method and system | |
| CN110149377A (zh) | 一种视频服务节点资源分配方法、系统、装置及存储介质 | |
| US9077735B2 (en) | Method and related device for controlling service charging | |
| CN109729113A (zh) | 管理专用处理资源的方法、服务器系统和计算机程序产品 | |
| WO2016206441A1 (zh) | 一种虚拟资源分配方法及装置、计算机存储介质 | |
| CN109450672B (zh) | 一种识别带宽需求突发的方法和装置 | |
| US11755379B2 (en) | Liaison system and method for cloud computing environment | |
| CN113312359B (zh) | 一种分布式作业进度计算方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190807 Address after: 518057 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer Co-patentee after: Tencent cloud computing (Beijing) limited liability company Patentee after: Tencent Technology (Shenzhen) Co., Ltd. Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403 Patentee before: Tencent Technology (Shenzhen) Co., Ltd. |
|
| TR01 | Transfer of patent right |