CN114466014A - 一种服务调度方法、装置、电子设备及存储介质 - Google Patents

一种服务调度方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114466014A
CN114466014A CN202111621104.0A CN202111621104A CN114466014A CN 114466014 A CN114466014 A CN 114466014A CN 202111621104 A CN202111621104 A CN 202111621104A CN 114466014 A CN114466014 A CN 114466014A
Authority
CN
China
Prior art keywords
service
performance
function
scheduled
performance prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111621104.0A
Other languages
English (en)
Other versions
CN114466014B (zh
Inventor
周贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
Tianyi Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Cloud Technology Co Ltd filed Critical Tianyi Cloud Technology Co Ltd
Priority to CN202111621104.0A priority Critical patent/CN114466014B/zh
Publication of CN114466014A publication Critical patent/CN114466014A/zh
Application granted granted Critical
Publication of CN114466014B publication Critical patent/CN114466014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种服务调度方法、装置、电子设备及存储介质，涉及计算机技术领域，获取待调度服务对应的至少一个待调度服务函数，基于至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况，按照目标函数分布情况对所述待调度服务进行调度，基于上述方法，在云服务器中获取到待调度服务时，可以根据待调度服务函数和云服务器中的负载服务函数进行虚拟调度，并得到最终满足预设值的目标函数分布情况，按照目标函数分布情况进行待调度服务的调度。可以有效提高对各个服务进行调度的效率，提高待调度服务的性能。

Description

一种服务调度方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种服务调度方法、装置、电子设备及存储介质。
背景技术
无服务器运算(Serverless computing)，又称为函数即服务(Function-as-a-Service，FaaS)，是一种云计算的使用方式。
在无服务器运算中，为了提高云服务器中对数据处理的压力，通常对服务的服务函数进行混部，近可能多的在资源有限的基础设施中容纳更多的服务，以提高对云服务器的资源利用率，但是增加了由于共享云服务器资源，导致各个服务彼此之间产生干扰而降低服务质量。
所以，提供一种服务调度方法是一个亟待解决的问题。
发明内容
为了解决上述现有技术中的问题，本申请实施例提供了一种服务调度方法、装置、电子设备及存储介质，对各个服务的服务函数进行调度，使得各个服务的性能可以更好。
第一方面，本申请实施例提供了一种服务调度方法，所述方法包括：
获取待调度服务对应的至少一个待调度服务函数；
基于所述至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况；所述目标函数分布情况是基于将全部或部分所述待调度服务函数与所述云服务器中的负载服务函数进行虚拟调度得到的目标虚拟调度结果；所述云服务器为运行所述待调度服务的服务器集群；所述负载服务函数为所述云服务器中已经存在的负载服务对应的服务函数；
按照所述目标函数分布情况对所述待调度服务进行调度。
在一种可能的实施方式中，将所述至少一个待调度服务函数作为虚拟调度服务函数；
基于所述虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度，得到虚拟调度结果；所述虚拟调度结果为所述虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度之后的函数分布情况；
利用性能预测模型对所述虚拟调度结果进行预测，得到性能预测结果；
若所述性能预测结果不满足所述预设值，则按照设定比例从所述虚拟调度服务函数中选择部分待调度服务函数，作为新的虚拟调度服务函数，返回执行基于所述虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度的步骤；
若所述性能预测结果满足所述预设值，则将所述虚拟调度结果作为目标虚拟调度结果，并将所述目标虚拟调度结果对应的函数分布情况作为所述目标函数分布情况。
在一种可能的实施方式中，所述利用性能预测模型对所述虚拟调度结果进行预测，得到性能预测结果，包括：
基于所述虚拟调度结果，确定所述虚拟调度结果对应的函数分布情况下，所述虚拟调度服务函数对应的干扰编码；
将所述待调度服务对应的性能相关参数以及所述干扰编码输入所述性能预测模型中，得到所述性能预测结果；所述性能相关参数为所述待调度服务在单独运行时，用于评估所述待训练服务性能的参数。
在一种可能的实施方式中，所述性能预测模型的训练过程，包括：
获取干扰编码训练集、待训练服务的性能相关参数和预设性能参数标签；所述干扰编码训练集为所述待训练服务的服务函数与各种类型的服务的服务函数混合后的干扰编码的集合；所述性能相关参数为待训练服务在单独运行时，用于评估所述待训练服务性能的参数；
基于所述干扰编码训练集、所述性能相关参数和所述预设性能参数标签，对所述性能预测模型进行迭代训练；其中，一次迭代训练过程包括：
从所述干扰编码训练集中抽取多个干扰编码样本，将所述多个干扰编码样本和所述性能相关参数输入所述性能预测模型中，得到所述待训练服务对应的预测性能参数；
基于所述待训练服务对应的预测性能参数和所述预设性能参数标签，得到性能预测损失值；
根据所述性能预测损失值，调整所述性能预测模型的网络参数，直至所述性能预测损失值满足预设数值，得到已训练的性能预测模型。
在一种可能的实施方式中，所述基于所述至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况之后，所述方法还包括：
采集所述目标函数分布情况，并基于所述目标函数分布情况对所述性能预测模型进行更新，得到更新后的性能预测模型。
第二方面，本申请实施例提供了一种服务调度装置，所述装置包括：
获取单元，用于获取待调度服务对应的至少一个待调度服务函数；
确定单元，用于基于所述至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况；
调度单元，用于按照所述目标函数分布情况对所述待调度服务进行调度。
在一种可能的实施方式中，所述确定单元，还用于：
将所述至少一个待调度服务函数作为虚拟调度服务函数；
基于所述虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度，得到虚拟调度结果；所述虚拟调度结果为所述虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度之后的函数分布情况；
利用性能预测模型对所述虚拟调度结果进行预测，得到性能预测结果；
若所述性能预测结果不满足所述预设值，则按照设定比例从所述虚拟调度服务函数中选择部分待调度服务函数，作为新的虚拟调度服务函数，返回执行基于所述虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度的步骤；
若所述性能预测结果满足所述预设值，则将所述虚拟调度结果作为目标虚拟调度结果，并将所述目标虚拟调度结果对应的函数分布情况作为所述目标函数分布情况。
在一种可能的实施方式中，所述确定单元，还用于：
基于所述虚拟调度结果，确定所述虚拟调度结果对应的函数分布情况下，所述虚拟调度服务函数对应的干扰编码；
将所述待调度服务对应的性能相关参数以及所述干扰编码输入所述性能预测模型中，得到所述性能预测结果；所述性能相关参数为所述待调度服务在单独运行时，用于评估所述待训练服务性能的参数。
在一种可能的实施方式中，所述服务调度装置，还包括：
训练单元，用于获取干扰编码训练集、待训练服务的性能相关参数和预设性能参数标签；所述干扰编码训练集为所述待训练服务的服务函数与各种类型的服务的服务函数混合后的干扰编码的集合；所述性能相关参数为待训练服务在单独运行时，用于评估所述待训练服务性能的参数；
基于所述干扰编码训练集、所述性能相关参数和所述预设性能参数标签，对所述性能预测模型进行迭代训练；其中，一次迭代训练过程包括：
从所述干扰编码训练集中抽取多个干扰编码样本，将所述多个干扰编码样本和所述性能相关参数输入所述性能预测模型中，得到所述待训练服务对应的预测性能参数；
基于所述待训练服务对应的预测性能参数和所述预设性能参数标签，得到性能预测损失值；
根据所述性能预测损失值，调整所述性能预测模型的网络参数，直至所述性能预测损失值满足预设数值，得到已训练的性能预测模型。
在一种可能的实施方式中，所述服务调度装置，还包括：
更新单元，用于采集所述目标函数分布情况，并基于所述目标函数分布情况对所述性能预测模型进行更新，得到更新后的性能预测模型。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现上述第一方面中任一项服务调度方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面中任一项服务调度方法的步骤。
本申请实施例提供了一种服务调度方法，获取待调度服务对应的至少一个待调度服务函数，基于至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况，按照目标函数分布情况对所述待调度服务进行调度，其中，目标函数分布情况是基于将全部或部分待调度服务函数与云服务器中的负载服务函数进行虚拟调度得到的虚拟调度结果。基于上述方法，在云服务器中获取到待调度服务时，可以根据待调度服务函数和云服务器中的负载服务函数进行虚拟调度，并得到最终满足预设值的目标函数分布情况，按照目标函数分布情况进行待调度服务的调度。可以有效提高对各个服务进行调度的效率，提高待调度服务的性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种服务调度方法的流程示意图；
图2为本申请实施例提供的一种性能预测模型的训练过程的流程示意图；
图3为本申请实施例提供了性能相关参数中的性能指标相关度的示意图；
图4为本申请实施例提供了不同算法构建性能预测模型得到的误差对比示意图；
图5为本申请实施例提供了一种能预测结果的误差对比示意图；
图6为本申请实施例提供了一种服务调度装置的结构示意图；
图7为本申请实施例提供了另一种服务调度装置的结构示意图；
图8为本申请实施例提供了一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
针对现有技术中，对于云服务器，接收到待调度服务之后，一般是依赖于开源的无服务器运算框架对待调度服务进行调度，并没有明确对待调度服务的待调度服务函数与负载服务函数之间应该如何进行调度。所以，本申请实施例提供了一种服务调度方法，获取待调度服务对应的至少一个待调度服务函数，基于至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况，按照目标函数分布情况对所述待调度服务进行调度，其中，目标函数分布情况是基于将全部或部分待调度服务函数与云服务器中的负载服务函数进行虚拟调度得到的虚拟调度结果。基于上述方法，在云服务器中获取到待调度服务时，可以根据待调度服务函数和云服务器中的负载服务函数进行虚拟调度，并得到最终满足预设值的目标函数分布情况，按照目标函数分布情况进行待调度服务的调度。可以有效的对各个服务进行调度，并且进一步提高各个服务的性能。
图1示出了一种本申请实施例提供的服务调度方法，应用于电子设备，如图1所示，本申请实施例提供的地址查询方法包括以下步骤：
步骤S101：获取待调度服务对应的至少一个待调度服务函数。
在一种可能的实施例中，获取到待调度服务之后，可以确定待调度服务对应的至少一个待调度服务函数。
需要说明的是，本申请实施例只需要监控并采集待调度服务的信息，并获取到待调度服务对应的至少一个服务函数即可，采用的是无侵入的方式。
步骤S102：基于至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况。
其中，目标函数分布情况是基于将全部或部分待调度服务函数与云服务器中的负载服务函数进行虚拟调度得到的目标虚拟调度结果。云服务器为运行待调度服务的服务器集群。负载服务函数为云服务器中已经存在的负载服务对应的服务函数。虚拟调度结果为虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度之后的函数分布情况。
虚拟调度结果是根据至少一个待调度服务函数和云服务器中的负载服务函数进行虚拟调度，并预测出虚拟调度时，虚拟调度结果对应的函数分布情况下，待调度服务的性能是否满足预设值，若满足预设值，则可以得到目标虚拟调度结果，目标虚拟调度结果对应的即为目标函数分布情况，若不满足预设值，则需要重新进行虚拟调度，直至满足预设值为止，以确定最终的目标函数分布情况。
在一种可能的实施例中，将至少一个待调度服务函数作为虚拟调度服务函数，基于虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度，得到虚拟调度结果，利用性能预测模型对虚拟调度结果进行预测，得到性能预测结果，若性能预测结果不满足预设值，则按照设定比例从虚拟调度服务函数中选择部分待调度服务函数，作为新的虚拟调度服务函数，返回执行基于虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度的步骤，若性能预测结果满足预设值，则将虚拟调度结果对应的函数分布情况作为目标函数分布情况。
其中，设定比例可以为1/2或者1/3。
示例性地，为了减少调度时间，可以通过二分法的方式进行虚拟调度，也就是设定比例为1/2，可以将调度的时间复杂度降低很多。在第一次进行虚拟调度时，将全部待调度服务函数都与负载服务函数进行虚拟调度，可以得到第一次的虚拟调度结果，可以确定此次虚拟调度结果对应的云服务器内的所有服务函数的函数分布情况，利用性能预测模型对第一次的函数分布情况进行预测，可以得到第一次这种函数分布情况下，待调度服务的性能预测结果，若性能预测结果不满足预设值，则继续进行虚拟调度，将一半数量的待调度服务函数作为新的虚拟调度服务函数，重新进行调度，得到第二次的虚拟调度结果，并确定第二次的虚拟调度结果对应的函数分布情况，利用性能预测模型对第二次的虚拟调度结果进行预测，得到第二次的性能预测结果，若第二次的性能预测结果满足预设值，则可以将此次函数分布情况作为目标函数分布情况。实质上就是通过不断迭代的方式找到在云服务器集群中以最少的活动云服务器数量满足部署待调度服务运行的最佳调度策略。
可选地，将待调度服务的至少一个服务函数作为虚拟调度服务函数，通过与负载服务函数进行混合的方式进行函数之间的虚拟调度，还可以通过遍历查找的方式进行虚拟调度，确定每一种进行虚拟调度之后的虚拟调度结果，利用性能预测模型对虚拟调度结果进行预测，得到性能预测结果，再根据性能预测结果与预设值进行对比，将性能预测结果满足所述预设值的虚拟调服结果作为目标虚拟调度结果，就可以将目标虚拟调度结果对应的函数分布情况作为目标函数分布情况。
可选地，在接收到待调度服务之后，可以将云服务器中每个服务器的当前可用资源按照降序进行排序，并将每个待调度服务函数所需资源进行排序，在将待调度服务函数与负载服务函数进行混合时，可以将需要资源最多的待调度服务函数与当前可用资源最多的服务器中的负载服务函数进行混合，并以此种方式进行类推，每个待调度服务函数都可以进行安排。通过检查资源配置的方式来降低虚拟调度的成本和时间。
可选地，可以采用资源分区的方式，将待调度服务函数与负载服务函数进行虚拟调度，如：缓存分配的方式和内存带宽分配的方式等，先将待调度服务函数中传统的粗粒度组件进行资源隔离，在针对细粒度的待调度服务函数进行虚拟调度等方式进行调度。因为，细粒度的待调度服务函数必须共享有限的云服务器空间中的资源，如：有限的核心数，内存带宽等。以共享的方式来提高资源的利用效率，所以，细粒度的待调度服务函数就一定会因资源竞争而互相产生干扰。
在上述过程中，需要使用性能预测模型对各种情况下的函数分布情况进行预测，得到性能预测结果。
具体地，基于虚拟调度结果，确定虚拟调度结果对应的函数分布情况下，虚拟调度服务函数对应的干扰编码，将待调度服务对应的性能相关参数以及干扰编码输入性能预测模型中，得到性能预测结果。
其中，性能相关参数为待调度服务在单独运行时，用于评估待训练服务性能的参数。
需要说明的是，性能相关参数包括待调度服务在系统层面和微结构服务层面上，在单独运行时，待调度服务的每一个服务函数对应的性能信息。
在待调度服务确定之后，就可以得到待调度服务对应的性能相关参数。以第一次虚拟调用结果对应的函数分布情况为例，在函数分布情况确定之后，全部服务函数都已经混合，可以将此种函数分布情况称为灰度干扰场景，在灰度干扰场景下，可以得出此种对应的灰度干扰编码。将待调度服务对应的性能相关参数和灰度干扰编码一起输入到性能预测模型中，就可以得到性能预测结果。就可以利用性能预测结果进行后续步骤。
需要说明的是，每个灰度干扰编码由两个分别捕获各个服务函数之间的空间重叠特征和时间重叠特征的向量组成，其中，空间重叠向量表示服务函数之间的混合部署位置特征，时间重叠向量表示服务函数之间因启动延迟导致的时间重叠差异特征。
通过上述方式，就可以确定满足预设值的性能预测结果，此种性能预测结果对应的函数分布情况就是目标函数分布情况，继续执行步骤S103。
步骤S103：按照目标函数分布情况对待调度服务进行调度。
在一种可能的实施例中，按照目标函数分布情况对待调度服务进行调度即可。
需要说明的是，需要说明的是，若第二次的虚拟调度结果对应的函数分布情况为目标函数分布情况，则待调度服务仅有一半数量的待调度服务函数被进行调度，其余一半数量的待调度服务函数可以采用资源分区的方式进行部署，将一半数量的待调度服务函数放置于新启动的云服务器中。或者，可以采用对云服务器进行资源分区的方式，将一半数量的待调度服务函数放置于资源分区之后，还没有部署服务函数的分区中。
可选地，若是在云服务器运行的初始状态下，当云服务器中还未部署任何工作负载时，调度的过程为直接在随机的任何一个服务器上部署待调度服务对应的至少一个服务函数中的任何一个，然后将剩余的待调度服务函数按照上述方法中的虚拟调度方式进行调度，得到虚拟调度结果，并利用性能预测模型预测每一次的虚拟调度结果，得到满足预设值的性能预测结果。
其中，性能预测模型可以采用如图2所示的训练方法得到，如图2所示，性能预测模型的训练过程包括以下步骤：
在进行性能预测模型的训练之前需要建立性能预测模型。
所以，需要说明的是，上述过程中使用的性能预测模型是一个回归模型(regression model，RM)，可以预测任意数量的，待调度服务函数和负载服务函数混合场景下，待调度服务的性能，即可以得到待调度服务的性能预测结果。针对上述情况中，主要是针对灰度干扰场景下进行性能预测。
由于灰度干扰编码由两个分别捕获各个服务函数之间的空间重叠特征和时间重叠特征的向量组成，其中，空间重叠向量表示服务函数之间的混合部署位置特征，时间重叠向量表示服务函数之间因启动延迟导致的时间重叠差异特征。
所以，在性能预测模型建立的过程中，是通过下述几种预设条件下进行建立的。
首先，在训练过程中会使用到待训练服务的性能相关参数，为了更好的得到云服务器中待训练服务的性能相关参数。针对系统层资源，分配给负载服务函数资源的多少将直接影响其性能表现，但负载服务并不总是充分利用这些资源。因此，在确定性能相关参数时，不仅采集分配给每个负载服务的资源配置，还收集它们在运行过程中的实际资源利用率。
针对微体系架构层，可以采集与CPU指令执行密切相关的指标，它们代表了负载服务的执行状态。并且，还考虑了两个重要的因素：并行性和局部性。此外，通过缓存缺失测量的指令和数据的局部性代表了局部性指标，包括：缓存(cache)和转译后备缓冲区(TLB)。为了规范化采集到的这些指标数据，统一测量了每千条指令指标的失败次数(MPKI)。
然而，合并所有可用的系统层和微架构层指标并将其作为性能模型的输入具有一定的局限性，因为那些与性能弱相关或不相关的指标很容易导致性能预测模型的过拟合且预测精度较低。此外，性能预测模型的输入维度过大也会导致预测时间过长。因此，性能预测模型的输入数据需要采用与应用固有特征或干扰高度相关的性能指标。
可以使用皮尔森(Pearson)相关系数和斯皮尔曼(Spearman)相关系数来评估待训练服务的性能与性能指标之间的相关性。如图3所示，图3中示出了各个指标与性能之间的平均相关度，并排除了3个相关系数绝对值小于0.1的指标，最后，模型选择了剩下的16个指标作为训练性能预测模型时的输入。
示例性地，性能预测模型建立的过程中，以某一种情况进行举例，假设在云服务器中已经存在的负载服务为B，C等等，新的待调度服务为A。则此种灰度干扰场景下的性能预测模型表示如下：
PA∪{B,C…}＝RM(RA,RB,RC…,UA,UB,UC…,DA,DB,DC…,TA,TB,TC…)
其中，RA,RB,RC…分别表示各个服务(A，B，C，...)配置的资源分配；UA,UB,UC…表示各个服务在系统层和微架构层上采集如图3中所示的实际利用率；DA,DB,DC…表示各个服务之间的启动延迟；DA,DB,DC…表示各个服务在无干扰状态下的运行时长，当服务的类型为延迟敏感型的服务(latency sensitive，LS)时，将该值设置为0。
针对上述性能预测模型的建立过程，不同的服务之间有可能类型是不同的，所以，在模型进行建立和训练时，需要将这些因素考虑进来，一般来说，针对无服务器运算的服务类型主要划分成两类：离线服务类型和在线服务类型。其中，离线服务类型可以包括后台运行的服务(scheduled background，BG)，短期计算的任务(short-term computing，SC)；在线服务类型可以包括延迟敏感型的服务。
针对上述几种类型的服务，BG类型的服务会被间歇性地触发或调度，并且会随时运行且没有任何延迟要求；SC类型的服务具有分钟级的处理时间，且毫秒级的完成时间变化对该服务的影响不大；LS类型的服务会被频繁地请求调用，并且毫秒级的延迟增加会导致极差的用户体验。
DA,DB,DC…表示各个服务之间的启动延迟，实际上就是时间重叠向量，其中，DA＝0，并且DB,DC…表示负载服务相比于新的待调度服务A的启动延迟时间。即，可以若DB>0，则表示待调度服务A比B负载服务提前启动DB时间，若DB<0，则表示待调度服务A比B负载服务晚启动|DB|时间。
RA,RB,RC…分别表示各个服务(A，B，C，...)配置的资源分配；UA,UB,UC…表示各个服务在系统层和微架构层上采集如图3中所示的实际利用率。上述两种均是二维向量，并且整个了服务函数之间的空间重叠信息，Ui的表达式如下所示：
Figure BDA0003438047960000131
其中，S表示云服务器中服务器的数量，
Figure BDA0003438047960000132
(1≤l≤S,1≤k≤16)，表示服务器1上的服务i的服务函数的第k个指标。
如果服务器l上不存在函数，则
Figure BDA0003438047960000133
都设置为0，由于所有服务的矩阵Ui都具有相同的行数和列数，而矩阵间相同行号的函数指标来自于同一台服务器，因此，能够在性能预测模型中对服务函数间的空间重叠信息进行编码。特别的，如果一台服务器上存在同一个服务的多个函数，则将它们的指标聚合在一起，生成一个更大的虚拟函数，而该虚拟函数的指标为这多个函数指标的均值。同样的，向量Ri的设计也是如此。
但是，针对不同种类型的服务对应的服务函数之间的混合情况，一共可以包括三种情况，如在线服务类型对应的服务函数和在线服务类型对应的服务函数进行混合；离线服务类型对应的服务函数和在线服务类型对应的服务函数进行混合；离线服务类型对应的服务函数和离线服务类型对应的服务函数进行混合。
针对第一种情况：如果服务函数混合的情况中，不存在离线服务类型的服务函数，则可以确定的是，Di＝0且Ti＝0，i∈{A，B，C，...}。因为LS类型的服务通常为长时间运行的服务，其主要的干扰来源是每秒查询率(Queries-per-second，QPS)而不是启动延迟时间。此外，PA∪{B,C…}表示服务A在灰度干扰下的性能进程间通信(Inter-ProcessCommunication，IPC)或尾延迟。
针对第二种情况：则将第一个到达系统的离线服务类型的任务的启动延迟时间设置为0，然后，通过与第一个离线服务类型的任务的到达时间进行比较来设置其它离线服务类型的服务的启动延迟时间。同时，对于在线服务类型的服务i，存在Di＝0且Ti＝0。
针对第三种情况：则第一个到达系统的服务的启动延迟时间为0，其它服务的启动延迟时间通过与第一个服务到达云服务器的时间差比较得出。此外，PA∪{B,C…}表示服务A在灰度干扰下的作业完成时间(JCT)。
一般的，如果不知道模型输入变量的具体维度，则无法训练出一个性能预测模型。为了解决这个问题，本发明固定PA∪{B,C…}中的服务对应的服务函数的数量，如设为n，即：云服务器中允许的最大数量的服务函数。如果混合工作的服务函数的实际数量小于n，则使用0值对空位进行填充。由于服务启动延迟时间和生命周期向量均具有n个维度，并且资源分配向量和的实际利用率向量均具有16nS个维度，因此，性能预测模型的每条训练数据的总维度可以确定为32nS+2n+1。在确定了输入变量的具体维度，以及对模型进行训练时输入的训练数据，则可以对模型进行训练。
通过上述叙述，可以确定的是，模型建立的过程中是根据不同情况下各个服务之间的启动延迟，以及各个服务在无干扰状态下的运行时长，还有各个服务配置的资源分配和实际利用率。所以，训练数据集可以是由性能相关参数和扰编码组成的。
所以，本申请实施例提供的训练性能预测模型的过程中，需要输入到性能预测模型中的训练数据集为：干扰编码训练集，以及待训练服务的性能相关参数。确定之后可以执行步骤S201。本申请实施例提供的性能预测模型的结构可以参考回归预测模型。
步骤S201：获取干扰编码训练集、待训练服务的性能相关参数和预设性能参数标签。
其中，干扰编码训练集为待训练服务的服务函数与各种类型的服务的服务函数混合后的干扰编码的集合，性能相关参数为待训练服务在单独运行时，用于评估待训练服务性能的参数。
待训练服务的性能相关参数得到的方式和待调度服务的性能相关参数得到的方式是相同的。
需要说明的是，针对某一个待训练服务，若待训练服务包括多个服务函数，则需要结合多个服务函数，确定待训练服务的性能相关参数。
预设性能参数标签为服务级别协议，就是希望待训练服务的性能预测结果可以达到的预设值。
步骤S202：从干扰编码训练集中抽取多个干扰编码样本，将多个干扰编码样本和性能相关参数输入性能预测模型中，得到待训练服务对应的预测性能参数。
对性能预测模型进行训练，可以得到预测性能参数，用于表征待训练服务的性能。
步骤S203：基于待训练服务对应的预测性能参数和预设性能参数标签，得到性能预测损失值。
通过待训练服务对应的预测性能参数和预设性能参数标签，利用回归预测模型中的损失函数确定性能预测损失值。
步骤S204：判断性能预测损失值是否满足预设数值，若不满足，则执行步骤S205；若满足，则执行步骤S206；
步骤S205：根据性能预测损失值，调整性能预测模型的网络参数。
步骤S206：将当前的网络参数作为性能预测模型的网络参数，得到已训练的性能预测模型。
可选地，性能预测模型将性能相关参数和干扰编码输入到性能预测模型中，就可以得到服务A在混合干扰下的性能变化情况。本发明采用了几种流行的机器学习算法来构建性能预测模型，包括：K最邻近算法(K-Nearest Neighbor，IKNN)、支持向量回归模型(Support Vector Regression，SVR)和多层感知机(Multi-layerPerceptron，MLP)等算法，并和现有的预测算法进行比较。如图4所示，当性能预测模型采用IRFR算法进行性能预测时要优于其它算法，也比现有的预测方法具有更小的预测误差。此外，性能预测模型同样适用于多服务对应的服务函数混部场景下的性能预测，且依旧具有较低的预测误差，如图5所示。
通过上述过程就可以得到训练好的性能预测模型，在得到了已训练好的性能预测模型之后，在对待调度服务进行调度的过程中，对各种虚拟调度结果进行性能预测的过程中，每一次进行预测完，可以将此次预测得到的性能预测结果加入到训练数据集中，使用在线增量的模式，对性能预测模型进行新一次的训练，可以得到更新后的性能预测模型。利用这种方式可以边使用，边训练，不停的进行迭代，可以使得性能预测模型预测的能力越来越强。
其次，可以直接对性能预测模型使用在线增量的方式进行训练，边使用，边进行训练，最终得到训练好的性能预测模型。
基于同一种构思，本申请实施例还提供了一种服务调度装置。图6示出了本申请实施例提供的一种服务调度装置的结构示意图。该服务调度装置，应用于电子设备，如图6所示，该服务调度装置包括：
获取单元601，用于获取待调度服务对应的至少一个待调度服务函数；
确定单元602，用于基于至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况；
调度单元603，用于按照目标函数分布情况对待调度服务进行调度。
在一种可能的实施方式中，确定单元602，还用于：
将至少一个待调度服务函数作为虚拟调度服务函数；
基于虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度，得到虚拟调度结果；虚拟调度结果为虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度之后的函数分布情况；
利用性能预测模型对虚拟调度结果进行预测，得到性能预测结果；
若性能预测结果不满足预设值，则按照设定比例从虚拟调度服务函数中选择部分待调度服务函数，作为新的虚拟调度服务函数，返回执行基于虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度的步骤；
若性能预测结果满足预设值，则将虚拟调度结果作为目标虚拟调度结果，并将目标虚拟调度结果对应的函数分布情况作为目标函数分布情况。
在一种可能的实施方式中，确定单元602，还用于：
基于虚拟调度结果，确定虚拟调度结果对应的函数分布情况下，虚拟调度服务函数对应的干扰编码；
将待调度服务对应的性能相关参数以及干扰编码输入性能预测模型中，得到性能预测结果；性能相关参数为待调度服务在单独运行时，用于评估待训练服务性能的参数。
在一种可能的实施方式中，图7示出了本申请实施例提供的另一种服务调度装置，该服务调度装置还包括：
训练单元701，用于获取干扰编码训练集、待训练服务的性能相关参数和预设性能参数标签；干扰编码训练集为待训练服务的服务函数与各种类型的服务的服务函数混合后的干扰编码的集合；性能相关参数为待训练服务在单独运行时，用于评估待训练服务性能的参数；
基于干扰编码训练集、性能相关参数和预设性能参数标签，对性能预测模型进行迭代训练；其中，一次迭代训练过程包括：
从干扰编码训练集中抽取多个干扰编码样本，将多个干扰编码样本和性能相关参数输入性能预测模型中，得到待训练服务对应的预测性能参数；
基于待训练服务对应的预测性能参数和预设性能参数标签，得到性能预测损失值；
根据性能预测损失值，调整性能预测模型的网络参数，直至性能预测损失值满足预设数值，得到已训练的性能预测模型。
在一种可能的实施方式中，服务调度装置，还包括：
更新单元702，用于采集目标函数分布情况，并基于目标函数分布情况对性能预测模型进行更新，得到更新后的性能预测模型。
本申请实施例还提供了一种电子设备，该电子设备可以用于执行服务调度方法的流程，该电子设备可以是服务器，也可以是终端设备。该电子设备至少包括用于存储数据的存储器和处理器，其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、CPU、GPU(Graphics Processing Unit，图形处理单元)、DSP或FPGA实现。对于存储器来说，存储器中存储有操作指令，该操作指令可以为计算机可执行代码，通过该操作指令来实现上述本申请实施例的服务调度方法的流程中的各个步骤。
图8为本申请实施例提供的一种电子设备的结构示意图。如图8所示，电子设备800包括存储器801、处理器802、数据获取模块803和总线804。该存储器801、处理器802和数据获取模块803均通过总线804连接，该总线804用于该存储器801、处理器802和数据获取模块803之间传输数据。
其中，存储器801可用于存储软件程序以及模块，处理器802通过运行存储在存储器801中的软件程序以及模块，从而执行电子设备800的各种功能应用以及数据处理，如本申请实施例提供的服务调度方法。存储器801可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个应用的应用程序等；存储数据区可存储根据电子设备800的使用所创建的数据等。此外，存储器801可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器802是电子设备800的控制中心，利用总线804以及各种接口和线路连接整个电子设备800的各个部分，通过运行或执行存储在存储器801内的软件程序和/或模块，以及调用存储在存储器801内的数据，执行电子设备800的各种功能和处理数据。可选的，处理器802可包括一个或多个处理单元，如CPU、GPU(Graphics Processing Unit，图形处理单元)、数字处理单元等。
数据获取模块803用于获取数据，如待调度服务以及待调度服务对应的待调度服务函数。
本申请实施例还提供了一种计算机可读存储介质，该计算机存储介质中存储有计算机可执行指令，该计算机程序被处理器执行时可用于实现本申请任一实施例所记载的服务调度方法。
在一些可能的实施方式中，本申请提供的服务调度方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的服务调度方法的步骤，例如，所述计算机设备可以执行如图1所示的步骤S101～S103的服务调度方法的流程。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种服务调度方法，其特征在于，所述方法包括：
获取待调度服务对应的至少一个待调度服务函数；
基于所述至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况；所述目标函数分布情况是基于将全部或部分所述待调度服务函数与所述云服务器中的负载服务函数进行虚拟调度得到的目标虚拟调度结果；所述云服务器为运行所述待调度服务的服务器集群；所述负载服务函数为所述云服务器中已经存在的负载服务对应的服务函数；
按照所述目标函数分布情况对所述待调度服务进行调度。
2.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况，包括：
将所述至少一个待调度服务函数作为虚拟调度服务函数；
基于所述虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度，得到虚拟调度结果；所述虚拟调度结果为所述虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度之后的函数分布情况；
利用性能预测模型对所述虚拟调度结果进行预测，得到性能预测结果；
若所述性能预测结果不满足所述预设值，则按照设定比例从所述虚拟调度服务函数中选择部分待调度服务函数，作为新的虚拟调度服务函数，返回执行基于所述虚拟调度服务函数和云服务器中的负载服务函数进行虚拟调度的步骤；
若所述性能预测结果满足所述预设值，则将所述虚拟调度结果作为目标虚拟调度结果，并将所述目标虚拟调度结果对应的函数分布情况作为所述目标函数分布情况。
3.根据权利要求2所述的方法，其特征在于，所述利用性能预测模型对所述虚拟调度结果进行预测，得到性能预测结果，包括：
基于所述虚拟调度结果，确定所述虚拟调度结果对应的函数分布情况下，所述虚拟调度服务函数对应的干扰编码；
将所述待调度服务对应的性能相关参数以及所述干扰编码输入所述性能预测模型中，得到所述性能预测结果；所述性能相关参数为所述待调度服务在单独运行时，用于评估所述待训练服务性能的参数。
4.根据权利要求1所述的方法，其特征在于，所述性能预测模型的训练过程，包括：
获取干扰编码训练集、待训练服务的性能相关参数和预设性能参数标签；所述干扰编码训练集为所述待训练服务的服务函数与各种类型的服务的服务函数混合后的干扰编码的集合；所述性能相关参数为待训练服务在单独运行时，用于评估所述待训练服务性能的参数；
基于所述干扰编码训练集、所述性能相关参数和所述预设性能参数标签，对所述性能预测模型进行迭代训练；其中，一次迭代训练过程包括：
从所述干扰编码训练集中抽取多个干扰编码样本，将所述多个干扰编码样本和所述性能相关参数输入所述性能预测模型中，得到所述待训练服务对应的预测性能参数；
基于所述待训练服务对应的预测性能参数和所述预设性能参数标签，得到性能预测损失值；
根据所述性能预测损失值，调整所述性能预测模型的网络参数，直至所述性能预测损失值满足预设数值，得到已训练的性能预测模型。
5.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况之后，所述方法还包括：
采集所述目标函数分布情况，并基于所述目标函数分布情况对所述性能预测模型进行更新，得到更新后的性能预测模型。
6.一种服务调度装置，其特征在于，所述装置包括：
获取单元，用于获取待调度服务对应的至少一个待调度服务函数；
确定单元，用于基于所述至少一个待调度服务函数和云服务器中的负载服务函数，确定满足预设值的目标函数分布情况；
调度单元，用于按照所述目标函数分布情况对所述待调度服务进行调度。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
训练单元，用于获取干扰编码训练集、待训练服务的性能相关参数和预设性能参数标签；所述干扰编码训练集为所述待训练服务的服务函数与各种类型的服务的服务函数混合后的干扰编码的集合；所述性能相关参数为待训练服务在单独运行时，用于评估所述待训练服务性能的参数；
基于所述干扰编码训练集、所述性能相关参数和所述预设性能参数标签，对所述性能预测模型进行迭代训练；其中，一次迭代训练过程包括：
从所述干扰编码训练集中抽取多个干扰编码样本，将所述多个干扰编码样本和所述性能相关参数输入所述性能预测模型中，得到所述待训练服务对应的预测性能参数；
基于所述待训练服务对应的预测性能参数和所述预设性能参数标签，得到性能预测损失值；
根据所述性能预测损失值，调整所述性能预测模型的网络参数，直至所述性能预测损失值满足预设数值，得到已训练的性能预测模型。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
更新单元，用于采集所述目标函数分布情况，并基于所述目标函数分布情况对所述性能预测模型进行更新，得到更新后的性能预测模型。
9.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～5中任一项所述的方法。
10.一种计算机程序产品，其特征在于，包括有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1～5中任一项所述的方法。
CN202111621104.0A 2021-12-28 2021-12-28 一种服务调度方法、装置、电子设备及存储介质 Active CN114466014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111621104.0A CN114466014B (zh) 2021-12-28 2021-12-28 一种服务调度方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111621104.0A CN114466014B (zh) 2021-12-28 2021-12-28 一种服务调度方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114466014A true CN114466014A (zh) 2022-05-10
CN114466014B CN114466014B (zh) 2024-03-12

Family

ID=81408435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111621104.0A Active CN114466014B (zh) 2021-12-28 2021-12-28 一种服务调度方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114466014B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114945024A (zh) * 2022-05-19 2022-08-26 东北林业大学 基于长短期记忆网络的服务器负载均衡优化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062658A (zh) * 2018-06-29 2018-12-21 优刻得科技股份有限公司 实现计算资源服务化的调度方法、装置、介质、设备及系统
CN111541760A (zh) * 2020-04-20 2020-08-14 中南大学 基于无服务器雾计算系统架构的复杂任务分配方法
WO2020226659A1 (en) * 2019-05-09 2020-11-12 Huawei Technologies Co., Ltd. Faas warm startup and scheduling
CN113114758A (zh) * 2021-04-09 2021-07-13 北京邮电大学 一种面向无服务器边缘计算的任务调度方法及装置
CN113342515A (zh) * 2021-05-11 2021-09-03 北京大学 一种无服务器计算资源选择方法、装置、设备及存储介质
CN113377510A (zh) * 2021-06-08 2021-09-10 武汉理工大学 无服务器计算环境中基于一致性哈希的缓存包调度优化算法
CN113656179A (zh) * 2021-08-19 2021-11-16 北京百度网讯科技有限公司 云计算资源的调度方法及装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062658A (zh) * 2018-06-29 2018-12-21 优刻得科技股份有限公司 实现计算资源服务化的调度方法、装置、介质、设备及系统
WO2020226659A1 (en) * 2019-05-09 2020-11-12 Huawei Technologies Co., Ltd. Faas warm startup and scheduling
CN111541760A (zh) * 2020-04-20 2020-08-14 中南大学 基于无服务器雾计算系统架构的复杂任务分配方法
CN113114758A (zh) * 2021-04-09 2021-07-13 北京邮电大学 一种面向无服务器边缘计算的任务调度方法及装置
CN113342515A (zh) * 2021-05-11 2021-09-03 北京大学 一种无服务器计算资源选择方法、装置、设备及存储介质
CN113377510A (zh) * 2021-06-08 2021-09-10 武汉理工大学 无服务器计算环境中基于一致性哈希的缓存包调度优化算法
CN113656179A (zh) * 2021-08-19 2021-11-16 北京百度网讯科技有限公司 云计算资源的调度方法及装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
裴云曼: ""基于无服务器架构的云资源管理技术研究"", 《信息科技》, no. 6 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114945024A (zh) * 2022-05-19 2022-08-26 东北林业大学 基于长短期记忆网络的服务器负载均衡优化方法
CN114945024B (zh) * 2022-05-19 2023-05-12 东北林业大学 基于长短期记忆网络的服务器负载均衡优化方法

Also Published As

Publication number Publication date
CN114466014B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
US11989647B2 (en) Self-learning scheduler for application orchestration on shared compute cluster
WO2022037337A1 (zh) 机器学习模型的分布式训练方法、装置以及计算机设备
Tuli et al. COSCO: Container orchestration using co-simulation and gradient based optimization for fog computing environments
Bhattacharjee et al. Barista: Efficient and scalable serverless serving system for deep learning prediction services
Mishra et al. Esp: A machine learning approach to predicting application interference
CN112433819A (zh) 异构集群调度的模拟方法、装置、计算机设备及存储介质
US20240036937A1 (en) Workload placement for virtual gpu enabled systems
US11055139B2 (en) Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster
CN111274036A (zh) 一种基于速度预测的深度学习任务的调度方法
CN112416585A (zh) 面向深度学习的gpu资源管理与智能化调度方法
US9471383B2 (en) Task allocation in a computing environment
CN114915630A (zh) 基于物联网设备的任务分配方法、网络训练方法及装置
CN113168347A (zh) 容器化应用程序的编排
CN110705716A (zh) 一种多模型并行训练方法
CN114895773A (zh) 异构多核处理器的能耗优化方法、系统、装置及存储介质
CN115860066A (zh) 一种基于批处理的神经网络推理流水线复用的方法
CN114466014A (zh) 一种服务调度方法、装置、电子设备及存储介质
CN115016938A (zh) 一种基于强化学习的计算图自动划分方法
CN117349026B (zh) 一种用于aigc模型训练的分布式算力调度系统
CN115470901B (zh) 支持移动端异构处理器分载的混合精度训练方法及设备
CN111061618A (zh) 云平台仿真系统、云平台性能测试方法和计算机设备
CN114327856A (zh) 数据处理方法、装置、电子设备及存储介质
Park et al. Gemma: reinforcement learning-based graph embedding and mapping for virtual network applications
Zykov et al. Application of information processes applicative modelling to virtual machines auto configuration
Harihar et al. Behaviour comprehension and prediction using time series analysis of data for code offloading in mobile cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant