CN117608783A - 资源调度方法、装置、计算机设备和存储介质 - Google Patents
资源调度方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117608783A CN117608783A CN202311622188.9A CN202311622188A CN117608783A CN 117608783 A CN117608783 A CN 117608783A CN 202311622188 A CN202311622188 A CN 202311622188A CN 117608783 A CN117608783 A CN 117608783A
- Authority
- CN
- China
- Prior art keywords
- scheduled
- resource scheduling
- resources
- preset
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000004044 response Effects 0.000 claims abstract description 191
- 230000006870 function Effects 0.000 claims description 74
- 238000004088 simulation Methods 0.000 claims description 63
- 230000015654 memory Effects 0.000 claims description 53
- 230000004913 activation Effects 0.000 claims description 49
- 238000012545 processing Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 35
- 238000005457 optimization Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种资源调度方法、装置、计算机设备和存储介质，涉及大数据技术领域。所述方法包括：在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息，历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，历史访问请求包括当前访问请求的前两次访问请求，实际响应接口由目标服务器集群提供；将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源；在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度。采用本方法能够提高资源调度的精确性。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种资源调度方法、装置、计算机设备和存储介质。
背景技术
随着技术发展，服务器集群已经成为当下的主要服务形式，其同时带来了服务器集群资源调度问题。
目前服务器集群进行资源调度的方式是配合监视器一起作用的，即构建一个资源监视器来实时监控当前服务器集群的资源利用率，当资源利用率达到某个上限值就进行扩容，当资源利用率低于某个下限时就进行缩容。然而扩容和缩容的大小通常是提前设定好的特定比例，这种资源调度方式由于对资源的调度以及分配不够精细，会造成很大的资源浪费。
因此，传统技术中针对服务器集群的资源调度方式存在精确性较低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高资源调度精确性的资源调度方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种资源调度方法，包括：
在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息；其中，所述历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，所述历史访问请求包括所述当前访问请求的前两次访问请求，所述实际响应接口由目标服务器集群提供；
将所述实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源；
在所述待调度资源处于预设资源范围内的情况下，利用所述待调度资源对所述目标服务器集群进行资源调度。
在其中一个实施例中，所述基本实时信息包括接口协议类型、标准执行时长、占用内存或者预设每秒处理业务量中的至少一项；其中，所述标准执行时长为相应实际响应接口在1个服务器1个CPU的情况下执行完所述当前访问请求对应的时长，所述预设每秒处理业务量为相应实际响应接口的实际每秒处理业务量；所述待调度资源包括CPU、内存或者网络带宽中的至少一项。
在其中一个实施例中，所述资源调度模型的训练过程，包括：
获取训练样本，所述训练样本包括模拟访问请求所需调度的模拟响应接口对应的基本模拟信息；其中，所述基本模拟信息的种类与所述基本实时信息的种类保持一致，所述基本模拟信息中包括的预设每秒处理业务量为不大于相应模拟响应接口最大每秒处理业务量且大于0的范围内的随机取值；所述模拟响应接口由目标服务器集群提供；
将所述训练样本输入至初始资源调度模型中，使得所述初始资源调度模型的优化目标达到最小值，得到训练后的资源调度模型以及所述优化目标对应函数中包含的目标权重值。
在其中一个实施例中，所述优化目标对应的函数为各种类待调度资源对应的资源数量与模拟平均响应时长进行加权求和的函数式；其中，所述模拟平均响应时长是根据响应所述模拟访问请求的模拟响应时长与所有模拟响应接口的模拟被调用次数所确定的。
在其中一个实施例中，所述资源调度模型包括输入层、隐藏层和输出层；其中，所述输入层的输入维数为预设接口数量与所述基本实时信息的种类数量的乘积，所述预设接口数量为所述目标服务器集群的实际接口数量增加预设倍数的数量；所述输出层的输出维数为所述待调度资源的种类数量。
在其中一个实施例中，所述隐藏层和所述输出层之间采用第一激活函数，所述输出层采用第二激活函数；其中，所述第一激活函数为非线性激活函数，所述第二激活函数为恒等激活函数。
第二方面，本申请还提供了一种资源调度装置，包括：
信息获取模块，用于在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息；其中，所述历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，所述历史访问请求包括所述当前访问请求的前两次访问请求，所述实际响应接口由目标服务器集群提供；
模型输出模块，用于将所述实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源；
资源调度模块，用于在所述待调度资源处于预设资源范围内的情况下，利用所述待调度资源对所述目标服务器集群进行资源调度。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。
上述资源调度方法、装置、计算机设备和存储介质，通过在达到预设资源调度条件的情况下，确定当前访问请求所需调度的由目标服务器集群提供的实际响应接口以及每一实际响应接口对应的基本实时信息，将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源，在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度。相比于传统技术中存在的资源调度精确性低的问题而言，本申请能够基于当前访问请求，确定实际响应接口以及对应的基本实时信息，通过训练后的资源调度模型，实时输出待调度资源，通过待调度资源进行资源调度，相比于按照特定比例进行缩容扩容，精确性更高，并且限定待调度资源处于预设资源范围内，进一步提高了资源调度的精确性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中提供的资源调度方法的流程示意图；
图2为一个实施例中资源调度模型的训练过程的流程示意图；
图3为一个实施例中提供的资源调度模型的结构示意图；
图4为本申请实施例中提供的一种资源调度装置的结构框图；
图5为本申请实施例中提供的一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本实施例中，提供的一种资源调度方法，本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括计算机设备和服务器的系统，并通过计算机设备和服务器的交互实现。
图1为本申请实施例中提供的资源调度方法的流程示意图，该方法应用于计算机设备中，在一个实施例中，如图1所示，包括以下步骤：
S101，在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息；其中，历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，历史访问请求包括当前访问请求的前两次访问请求，实际响应接口由目标服务器集群提供。
其中，预设时长和预设阈值可人为设定。当前访问请求为针对目标服务器集群发起的请求。基本实时信息为与实际响应接口相关的信息。
在一些实施例中，历史平均响应时长的确定方式，包括：
将目标服务器集群针对历史访问请求的历史响应时长除以所有历史响应接口的历史被调用次数，得到历史平均响应时长；历史响应接口为目标服务器集群针对历史访问请求所需调度的响应接口。
进一步地，获取历史平均响应时长的变化量的方式可以是将位于当前访问请求上一次的历史访问请求对应的历史平均响应时长、减去位于当前访问请求上上次的历史访问请求对应的历史平均响应时长得到的值的绝对值，作为历史平均响应时长的变化量。
S102，将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源。
其中，资源调度模型用于基于接口相关信息输出待调度资源。待调度资源为针对目标服务器集群的可调度资源。
S103，在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度。
其中，预设资源范围可人为设定。
在一个实施例中，在待调度资源大于预设资源范围的最大值的情况下，利用预设资源范围的最大值对目标服务器集群进行资源调度；在待调度资源小于预设资源范围的最小值的情况下，利用预设资源范围的最小值对目标服务器集群进行资源调度。在本实施例中，能够防止待调度资源过大或者过小，不符合目标服务器集群的资源可调度范围，导致的不能正常进行资源调度的问题。
以待调度资源为内存进行示例，预设资源范围是由最大内存值和最小内存值所确定出的范围，在待调度资源不大于最大内存值且不小于最小内存值的情况下，利用待调度资源对目标服务器集群进行资源调度；在待调度资源大于最大内存值的情况下，利用最大内存值对目标服务器集群进行资源调度；在待调度资源小于最小内存值的情况下，利用最小内存值对目标服务器集群进行资源调度。
本实施例提供的资源调度方法，通过在达到预设资源调度条件的情况下，确定当前访问请求所需调度的由目标服务器集群提供的实际响应接口以及每一实际响应接口对应的基本实时信息，将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源，在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度。相比于传统技术中存在的资源调度精确性低的问题而言，本实施例能够基于当前访问请求，确定实际响应接口以及对应的基本实时信息，通过训练后的资源调度模型，实时输出待调度资源，通过待调度资源进行资源调度，相比于按照特定比例进行缩容扩容，精确性更高，并且限定待调度资源处于预设资源范围内，进一步提高了资源调度的精确性。
在一个实施例中，基本实时信息包括接口协议类型、标准执行时长、占用内存或者预设每秒处理业务量中的至少一项；其中，标准执行时长为相应实际响应接口在1个服务器1个CPU的情况下执行完当前访问请求对应的时长，预设每秒处理业务量为相应实际响应接口的实际每秒处理业务量；待调度资源包括CPU、内存或者网络带宽中的至少一项。
其中，接口协议类型包括当前访问请求访问实际响应接口的相关协议。
示例性地，实际响应接口以及对应的基本实时信息如下表1所示，表1：
| 实际响应接口 | 基本实时信息 |
| 登录接口 | HTTP、50毫秒、20kb、20000tps |
| 账户查询接口 | RPC、20毫秒、10kb、15000tps |
其中，HTTP(HyperText Transfer Protocol，超文本传输协议)以及RPC(RemoteProcedure Call，远程过程调用协议)为接口协议类型，50毫秒以及20毫秒为标准执行时长，20kb以及10kb为占用内存，20000tps以及15000tps为预设每秒处理业务量。
在本实施例中，明确了基本实时信息以及待调度资源的种类，对于实际响应接口对应的基本实时信息考虑较全面，使得得到的待调度资源准确性更高。
在一个实施例中，资源调度模型的训练过程的流程示意图，如图2所示，包括以下内容：
S201，获取训练样本，训练样本包括模拟访问请求所需调度的模拟响应接口对应的基本模拟信息；其中，基本模拟信息的种类与基本实时信息的种类保持一致，基本模拟信息中包括的预设每秒处理业务量为不大于相应模拟响应接口最大每秒处理业务量且大于0的范围内的随机取值；模拟响应接口由目标服务器集群提供。
模拟访问请求为针对目标服务器集群发起的请求。基本模拟信息为与模拟响应接口相关的信息。基本模拟信息包括接口协议类型、标准执行时长、占用内存或者预设每秒处理业务量中的至少一项。应当理解的是，针对基本模拟信息中的接口协议类型包括模拟访问请求访问模拟响应接口的相关协议，标准执行时长为相应模拟响应接口在1个服务器1个CPU的情况下执行完模拟访问请求对应的时长。
S202，将训练样本输入至初始资源调度模型中，使得初始资源调度模型的优化目标达到最小值，得到训练后的资源调度模型以及优化目标对应函数中包含的目标权重值。
在本实施例中，对初始资源调度模型进行训练，提高资源调度模型的输出准确性。
在一个实施例中，优化目标对应的函数为各种类待调度资源对应的资源数量与模拟平均响应时长进行加权求和的函数式；其中，模拟平均响应时长是根据响应模拟访问请求的模拟响应时长与所有模拟响应接口的模拟被调用次数所确定的。
在一些实施例中，模拟平均响应时长的确定方式，包括：
将目标服务器集群针对模拟访问请求的模拟响应时长除以所有模拟响应接口的模拟被调用次数，得到模拟平均响应时长；模拟响应接口为目标服务器集群针对模拟访问请求所需调度的响应接口。
以待调度资源为内存、CPU和网络带宽为例，优化目标对应的函数为
L＝aC+bM+cQ+yT；
其中，L为优化目标，a、b、c、y为权重，C为内存数量，M为CPU数量，Q为网络带宽数量，T为模拟平均响应时长。
在本实施例中，给出优化目标对应的函数，能够使得资源调度的数量和响应时长达到一个较为平衡的状态，合理分配目标服务器集群的资源，既提高了目标服务器集群的资源利用率，又保障了响应请求的效率。
在一个实施例中，资源调度模型包括输入层、隐藏层和输出层；其中，输入层的输入维数为预设接口数量与基本实时信息的种类数量的乘积，预设接口数量为目标服务器集群的实际接口数量增加预设倍数的数量；输出层的输出维数为待调度资源的种类数量。
其中，资源调度模型可采用全连接神经网络FNN。预设倍数可人为设定。资源调度模型的结构示意图，如图3所示。值得注意的是，图3为简单示意图，资源调度模型中隐藏层的层数可以不止一层。
示例性地，输入层的输入维数为(1+k)*N*F，k为预设倍数，N为实际接口数量，F为基本实时信息的种类数量。
在输入至训练后的资源调度模型中的实际响应接口的基本实时信息未达到输入层的输入维数的情况下，可通过补0的方式进行补齐。
应当理解的是，训练样本的最大长度与输入层的输入维数一致，在训练样本的长度不足输入层的输入维数的情况下，同理可通过补0的方式进行补齐。
在本实施例中，明确了资源调度模型的结构，提高模型训练的准确性。
在一个实施例中，隐藏层和输出层之间采用第一激活函数，输出层采用第二激活函数；其中，第一激活函数为非线性激活函数，第二激活函数为恒等激活函数。
具体的，第一激活函数为ReLU激活函数，第二激活函数为Identity激活函数。
在本实施例中，设置不同的激活函数，提高资源调度模型的准确性。
在这里，以一具体实施例的方式对本申请提供的资源调度方法进行说明，本申请提供的资源调度方式针对的是目标服务器集群，待调度资源包括内存、CPU或者网络带宽中的至少一项。该资源调度方法的具体实施流程包括：
获得训练后的资源调度模型；
资源调度模型采用全连接神经网络FNN，包括输入层、隐藏层和输出层，输入层的输入维数为预设接口数量与基本实时信息的种类数量的乘积，预设接口数量为目标服务器集群的实际接口数量增加预设倍数的数量，输出层的输出维数为待调度资源的种类数量，隐藏层和输出层之间采用ReLU激活函数，输出层采用Identity激活函数；设定基本实时信息包括接口协议类型、标准执行时长、占用内存或者预设每秒处理业务量中的至少一项，即可确定基本实时信息的种类数量；
获取训练样本，训练样本包括模拟访问请求所需调度的模拟响应接口对应的基本模拟信息，模拟响应接口的数量小于预设接口数量时用0补齐该训练样本，将训练样本输入至初始资源调度模型中，使得初始资源调度模型的优化目标达到最小值，优化目标对应的函数为各种类待调度资源对应的资源数量与模拟平均响应时长进行加权求和的函数式，确定优化目标对应函数中包含的目标权重值，最终得到训练后的资源调度模型；基本模拟信息包括的种类与基本实时信息包括的种类保持一致。
在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息，将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源，在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度，在待调度资源大于预设资源范围的最大值的情况下，利用预设资源范围的最大值对目标服务器集群进行资源调度，在待调度资源小于预设资源范围的最小值的情况下，利用预设资源范围的最小值对目标服务器集群进行资源调度。
本实施例提供的资源调度方法，通过构建资源调度模型来计算目标服务器集群的各项资源分配值，从而实现对目标服务器集群资源的分配和调度，使得目标服务器集群资源的分配更加精确，且具有一定的实时性。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的资源调度方法的资源调度装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个资源调度装置实施例中的具体限定可以参见上文中对于资源调度方法的限定，在此不再赘述。
参见图4，图4为本申请实施例中提供的一种资源调度装置的结构框图，该装置400包括：信息获取模块401、模型输出模块402和资源调度模块403，其中：
信息获取模块401，用于在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息；其中，历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，历史访问请求包括当前访问请求的前两次访问请求，实际响应接口由目标服务器集群提供；
模型输出模块402，用于将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源；
资源调度模块403，用于在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度。
本实施例提供的资源调度装置，通过信息获取模块在达到预设资源调度条件的情况下，确定当前访问请求所需调度的由目标服务器集群提供的实际响应接口以及每一实际响应接口对应的基本实时信息，通过模型输出模块将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源，通过资源调度模块在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度。相比于传统技术中存在的资源调度精确性低的问题而言，本实施例能够基于当前访问请求，确定实际响应接口以及对应的基本实时信息，通过训练后的资源调度模型，实时输出待调度资源，通过待调度资源进行资源调度，相比于按照特定比例进行缩容扩容，精确性更高，并且限定待调度资源处于预设资源范围内，进一步提高了资源调度的精确性。
可选的，基本实时信息包括接口协议类型、标准执行时长、占用内存或者预设每秒处理业务量中的至少一项；其中，标准执行时长为相应实际响应接口在1个服务器1个CPU的情况下执行完当前访问请求对应的时长，预设每秒处理业务量为相应实际响应接口的实际每秒处理业务量；待调度资源包括CPU、内存或者网络带宽中的至少一项。
可选的，该装置400还包括：
训练样本获取模块，用于获取训练样本，训练样本包括模拟访问请求所需调度的模拟响应接口对应的基本模拟信息；其中，基本模拟信息的种类与基本实时信息的种类保持一致，基本模拟信息中包括的预设每秒处理业务量为不大于相应模拟响应接口最大每秒处理业务量且大于0的范围内的随机取值；模拟响应接口由目标服务器集群提供；
模型训练模块，用于将训练样本输入至初始资源调度模型中，使得初始资源调度模型的优化目标达到最小值，得到训练后的资源调度模型以及优化目标对应函数中包含的目标权重值。
可选的，优化目标对应的函数为各种类待调度资源对应的资源数量与模拟平均响应时长进行加权求和的函数式；其中，模拟平均响应时长是根据响应模拟访问请求的模拟响应时长与所有模拟响应接口的模拟被调用次数所确定的。
可选的，资源调度模型包括输入层、隐藏层和输出层；其中，输入层的输入维数为预设接口数量与基本实时信息的种类数量的乘积，预设接口数量为目标服务器集群的实际接口数量增加预设倍数的数量；输出层的输出维数为待调度资源的种类数量。
可选的，隐藏层和输出层之间采用第一激活函数，输出层采用第二激活函数；其中，第一激活函数为非线性激活函数，第二激活函数为恒等激活函数。
上述资源调度装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储实际响应接口和基本实时信息等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资源调度方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例提供的资源调度方法的步骤：
在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息；其中，历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，历史访问请求包括当前访问请求的前两次访问请求，实际响应接口由目标服务器集群提供；
将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源；
在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基本实时信息包括接口协议类型、标准执行时长、占用内存或者预设每秒处理业务量中的至少一项；其中，标准执行时长为相应实际响应接口在1个服务器1个CPU的情况下执行完当前访问请求对应的时长，预设每秒处理业务量为相应实际响应接口的实际每秒处理业务量；待调度资源包括CPU、内存或者网络带宽中的至少一项。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取训练样本，训练样本包括模拟访问请求所需调度的模拟响应接口对应的基本模拟信息；其中，基本模拟信息的种类与基本实时信息的种类保持一致，基本模拟信息中包括的预设每秒处理业务量为不大于相应模拟响应接口最大每秒处理业务量且大于0的范围内的随机取值；模拟响应接口由目标服务器集群提供；
将训练样本输入至初始资源调度模型中，使得初始资源调度模型的优化目标达到最小值，得到训练后的资源调度模型以及优化目标对应函数中包含的目标权重值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
优化目标对应的函数为各种类待调度资源对应的资源数量与模拟平均响应时长进行加权求和的函数式；其中，模拟平均响应时长是根据响应模拟访问请求的模拟响应时长与所有模拟响应接口的模拟被调用次数所确定的。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
资源调度模型包括输入层、隐藏层和输出层；其中，输入层的输入维数为预设接口数量与基本实时信息的种类数量的乘积，预设接口数量为目标服务器集群的实际接口数量增加预设倍数的数量；输出层的输出维数为待调度资源的种类数量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
隐藏层和输出层之间采用第一激活函数，输出层采用第二激活函数；其中，第一激活函数为非线性激活函数，第二激活函数为恒等激活函数。
上述实施例的实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例提供的资源调度方法的步骤：
在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息；其中，历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，历史访问请求包括当前访问请求的前两次访问请求，实际响应接口由目标服务器集群提供；
将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源；
在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基本实时信息包括接口协议类型、标准执行时长、占用内存或者预设每秒处理业务量中的至少一项；其中，标准执行时长为相应实际响应接口在1个服务器1个CPU的情况下执行完当前访问请求对应的时长，预设每秒处理业务量为相应实际响应接口的实际每秒处理业务量；待调度资源包括CPU、内存或者网络带宽中的至少一项。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取训练样本，训练样本包括模拟访问请求所需调度的模拟响应接口对应的基本模拟信息；其中，基本模拟信息的种类与基本实时信息的种类保持一致，基本模拟信息中包括的预设每秒处理业务量为不大于相应模拟响应接口最大每秒处理业务量且大于0的范围内的随机取值；模拟响应接口由目标服务器集群提供；
将训练样本输入至初始资源调度模型中，使得初始资源调度模型的优化目标达到最小值，得到训练后的资源调度模型以及优化目标对应函数中包含的目标权重值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
优化目标对应的函数为各种类待调度资源对应的资源数量与模拟平均响应时长进行加权求和的函数式；其中，模拟平均响应时长是根据响应模拟访问请求的模拟响应时长与所有模拟响应接口的模拟被调用次数所确定的。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
资源调度模型包括输入层、隐藏层和输出层；其中，输入层的输入维数为预设接口数量与基本实时信息的种类数量的乘积，预设接口数量为目标服务器集群的实际接口数量增加预设倍数的数量；输出层的输出维数为待调度资源的种类数量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
隐藏层和输出层之间采用第一激活函数，输出层采用第二激活函数；其中，第一激活函数为非线性激活函数，第二激活函数为恒等激活函数。
上述实施例的实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述实施例提供的资源调度方法的步骤：
在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息；其中，历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，历史访问请求包括当前访问请求的前两次访问请求，实际响应接口由目标服务器集群提供；
将实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源；
在待调度资源处于预设资源范围内的情况下，利用待调度资源对目标服务器集群进行资源调度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基本实时信息包括接口协议类型、标准执行时长、占用内存或者预设每秒处理业务量中的至少一项；其中，标准执行时长为相应实际响应接口在1个服务器1个CPU的情况下执行完当前访问请求对应的时长，预设每秒处理业务量为相应实际响应接口的实际每秒处理业务量；待调度资源包括CPU、内存或者网络带宽中的至少一项。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取训练样本，训练样本包括模拟访问请求所需调度的模拟响应接口对应的基本模拟信息；其中，基本模拟信息的种类与基本实时信息的种类保持一致，基本模拟信息中包括的预设每秒处理业务量为不大于相应模拟响应接口最大每秒处理业务量且大于0的范围内的随机取值；模拟响应接口由目标服务器集群提供；
将训练样本输入至初始资源调度模型中，使得初始资源调度模型的优化目标达到最小值，得到训练后的资源调度模型以及优化目标对应函数中包含的目标权重值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
优化目标对应的函数为各种类待调度资源对应的资源数量与模拟平均响应时长进行加权求和的函数式；其中，模拟平均响应时长是根据响应模拟访问请求的模拟响应时长与所有模拟响应接口的模拟被调用次数所确定的。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
资源调度模型包括输入层、隐藏层和输出层；其中，输入层的输入维数为预设接口数量与基本实时信息的种类数量的乘积，预设接口数量为目标服务器集群的实际接口数量增加预设倍数的数量；输出层的输出维数为待调度资源的种类数量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
隐藏层和输出层之间采用第一激活函数，输出层采用第二激活函数；其中，第一激活函数为非线性激活函数，第二激活函数为恒等激活函数。
上述实施例的实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种资源调度方法，其特征在于，所述方法包括：
在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息；其中，所述历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，所述历史访问请求包括所述当前访问请求的前两次访问请求，所述实际响应接口由目标服务器集群提供；
将所述实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源；
在所述待调度资源处于预设资源范围内的情况下，利用所述待调度资源对所述目标服务器集群进行资源调度。
2.根据权利要求1所述的方法，其特征在于，所述基本实时信息包括接口协议类型、标准执行时长、占用内存或者预设每秒处理业务量中的至少一项；其中，所述标准执行时长为相应实际响应接口在1个服务器1个CPU的情况下执行完所述当前访问请求对应的时长，所述预设每秒处理业务量为相应实际响应接口的实际每秒处理业务量；所述待调度资源包括CPU、内存或者网络带宽中的至少一项。
3.根据权利要求1所述的方法，其特征在于，所述资源调度模型的训练过程，包括：
获取训练样本，所述训练样本包括模拟访问请求所需调度的模拟响应接口对应的基本模拟信息；其中，所述基本模拟信息的种类与所述基本实时信息的种类保持一致，所述基本模拟信息中包括的预设每秒处理业务量为不大于相应模拟响应接口最大每秒处理业务量且大于0的范围内的随机取值；所述模拟响应接口由目标服务器集群提供；
将所述训练样本输入至初始资源调度模型中，使得所述初始资源调度模型的优化目标达到最小值，得到训练后的资源调度模型以及所述优化目标对应函数中包含的目标权重值。
4.根据权利要求3所述的方法，其特征在于，所述优化目标对应的函数为各种类待调度资源对应的资源数量与模拟平均响应时长进行加权求和的函数式；其中，所述模拟平均响应时长是根据响应所述模拟访问请求的模拟响应时长与所有模拟响应接口的模拟被调用次数所确定的。
5.根据权利要求1所述的方法，其特征在于，所述资源调度模型包括输入层、隐藏层和输出层；其中，所述输入层的输入维数为预设接口数量与所述基本实时信息的种类数量的乘积，所述预设接口数量为所述目标服务器集群的实际接口数量增加预设倍数的数量；所述输出层的输出维数为所述待调度资源的种类数量。
6.根据权利要求5所述的方法，其特征在于，所述隐藏层和所述输出层之间采用第一激活函数，所述输出层采用第二激活函数；其中，所述第一激活函数为非线性激活函数，所述第二激活函数为恒等激活函数。
7.一种资源调度装置，其特征在于，所述装置包括：
信息获取模块，用于在间隔预设时长或者历史平均响应时长的变化量大于预设阈值的情况下，确定当前访问请求所需调度的实际响应接口以及每一实际响应接口对应的基本实时信息；其中，所述历史平均响应时长是根据历史访问请求的历史响应时长与所有历史响应接口的历史被调用次数所确定的，所述历史访问请求包括所述当前访问请求的前两次访问请求，所述实际响应接口由目标服务器集群提供；
模型输出模块，用于将所述实际响应接口的基本实时信息输入至训练后的资源调度模型中，输出待调度资源；
资源调度模块，用于在所述待调度资源处于预设资源范围内的情况下，利用所述待调度资源对所述目标服务器集群进行资源调度。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311622188.9A CN117608783A (zh) | 2023-11-30 | 2023-11-30 | 资源调度方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311622188.9A CN117608783A (zh) | 2023-11-30 | 2023-11-30 | 资源调度方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117608783A true CN117608783A (zh) | 2024-02-27 |
Family
ID=89957694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311622188.9A Pending CN117608783A (zh) | 2023-11-30 | 2023-11-30 | 资源调度方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117608783A (zh) |
-
2023
- 2023-11-30 CN CN202311622188.9A patent/CN117608783A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108595254B (zh) | 一种查询调度方法 | |
| CN106547854B (zh) | 基于贪心萤火虫算法的分布式文件系统存储优化节能方法 | |
| CN116167581A (zh) | 电池需求量预估方法、装置、调度方法和计算机设备 | |
| CN116800671A (zh) | 数据传输方法、装置、计算机设备、存储介质和程序产品 | |
| CN117608783A (zh) | 资源调度方法、装置、计算机设备和存储介质 | |
| CN114118275A (zh) | 联合学习训练方法及装置 | |
| CN115545248A (zh) | 目标对象预测方法、装置、设备及介质 | |
| CN109800148A (zh) | 一种页面调试方法、装置、可读存储介质及终端设备 | |
| Xu et al. | A novel data set importance based cost-effective and computation-efficient storage strategy in the cloud | |
| CN116451960B (zh) | 基于电力调度的碳排放权配额调度方法、装置和设备 | |
| Kang | Research on the load balancing strategy for original pages based on cloud storage | |
| CN117972367B (zh) | 一种数据存储预测方法、数据存储子系统及智能计算平台 | |
| CN117973755A (zh) | 业务计算状态监测方法、装置、计算机设备和存储介质 | |
| CN117745446A (zh) | 资源数据处理方法、装置、计算机设备、存储介质 | |
| CN118282846A (zh) | 业务资源调整信息生成方法、装置、设备、介质和产品 | |
| CN117314067A (zh) | 工单分配方法、装置、设备、存储介质和程序产品 | |
| CN118034884A (zh) | 资源调度方法、装置、设备、介质和程序产品 | |
| CN118312300A (zh) | 任务调度方法、装置、计算机设备和存储介质 | |
| CN117455501A (zh) | 请求处理方法、装置、计算机设备和存储介质 | |
| CN117198557A (zh) | 资源数据处理方法、装置、计算机设备、存储介质 | |
| CN117632470A (zh) | 业务处理方法、装置、设备、存储介质和程序产品 | |
| CN118051570A (zh) | 资源互动业务数据展示方法、装置和计算机设备 | |
| CN116546097A (zh) | 一种资源传输控制方法、装置、计算机设备 | |
| CN117707897A (zh) | 故障预测方法、装置、计算机设备和存储介质 | |
| CN116681164A (zh) | 资源信息处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |