CN115373825B - 一种资源调度方法、装置、设备及可读存储介质 - Google Patents

一种资源调度方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN115373825B
CN115373825B CN202211307690.6A CN202211307690A CN115373825B CN 115373825 B CN115373825 B CN 115373825B CN 202211307690 A CN202211307690 A CN 202211307690A CN 115373825 B CN115373825 B CN 115373825B
Authority
CN
China
Prior art keywords
algorithm
target
analysis
task
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211307690.6A
Other languages
English (en)
Other versions
CN115373825A (zh
Inventor
韩丽
刘凯
何杰
李惠民
郑洪雷
宋林涛
张天翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tower Zhilian Technology Co ltd
China Tower Co Ltd
Original Assignee
Tower Zhilian Technology Co ltd
China Tower Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tower Zhilian Technology Co ltd, China Tower Co Ltd filed Critical Tower Zhilian Technology Co ltd
Priority to CN202211307690.6A priority Critical patent/CN115373825B/zh
Publication of CN115373825A publication Critical patent/CN115373825A/zh
Application granted granted Critical
Publication of CN115373825B publication Critical patent/CN115373825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种资源调度方法、装置、设备及可读存储介质，涉及计算机技术领域，以解决实际中算法运行稳定性较低的问题。该方法包括：算法平台接收用户发送的目标分析任务的任务期望信息；所述算法平台基于所述任务期望信息，识别所述目标分析任务的期望状态，所述期望状态包括新增、修改或取消；所述算法平台获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量；在所述期望状态为新增或修改的情况下，所述算法平台根据所述分析任务数量在第一条件下对所述目标算法进行容器扩容；在所述期望状态为取消的情况下，所述算法平台根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容。本发明可以提高算法运行的稳定性。

Description

一种资源调度方法、装置、设备及可读存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种资源调度方法、装置、设备及可读存储介质。
背景技术
随着算法资源的使用量越来越大，出现了不同算法厂家、不同版本的算法资源抢占服务器，导致服务器崩溃的情形。实际应用中，目前行业内头部算法企业对算法的调度一般是对资源的负载情况进行排序，通过轮询选定资源消耗较少的服务器下发算法分析任务。但这种调度方式只考虑了当前资源的使用情况，对实际业务变动的响应不够及时，导致算法运行的稳定性较低。
发明内容
本发明实施例提供了一种资源调度方法、装置、设备及可读存储介质，可以根据用户发送的目标分析任务，获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量，实时地对容器进行扩容或者缩容，使得算法运行的稳定性较高。
第一方面，本发明实施例提供了一种资源调度方法，包括：
算法平台接收用户发送的目标分析任务的任务期望信息；
所述算法平台基于所述任务期望信息，识别所述目标分析任务的期望状态，所述期望状态包括新增、修改或取消；
所述算法平台获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量；
在所述期望状态为新增或修改的情况下，所述算法平台根据所述分析任务数量在第一条件下对所述目标算法进行容器扩容；
在所述期望状态为取消的情况下，所述算法平台根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容。
可选地，所述第一条件包括：
所述分析任务数量大于或者等于第一值；
所述第一值为：当前为所述目标算法配置的容器个数、单个容器上所述目标算法的最大分析任务数量和预设扩容系数的积。
可选地，所述第二条件包括：
所述分析任务数量小于第二值；
所述第二值为：目标容器个数、单个容器上所述目标算法的最大分析任务数量和预设缩容系数的积，所述目标容器个数为当前所述目标算法配置的容器个数减1，所述预设缩容系数小于所述预设扩容系数。
可选地，所述方法还包括：
所述算法平台检测在预设周期内是否存在两个以上的算法，所述两个以上的算法执行的分析任务数量均低于预设数量值；
所述算法平台在第三条件下，对所述两个以上的算法进行容器缩容；
所述第三条件包括：
所述两个以上的算法的分析任务数量的总值小于第三值；
所述第三值为目标分析数量和预设缩容系数的积，所述目标分析数量为：当前所述两个以上的算法配置的所有容器中执行的分析任务数量的和。
可选地，所述算法平台根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容，包括：
所述算法平台根据所述分析任务数量在第二条件下删除为所述目标算法配置的第一容器，并将所述第一容器内执行的分析任务调度到为所述目标算法分配的第二容器内执行。
第二方面，本发明实施例提供了一种资源调度装置，包括：
接收模块，用于接收用户发送的目标分析任务的任务期望信息；
识别模块，用于基于所述任务期望信息，识别所述目标分析任务的期望状态，所述期望状态包括新增、修改或取消；
获取模块，用于获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量；
分析模块，用于在所述期望状态为新增或修改的情况下，根据所述分析任务数量在第一条件下对所述目标算法进行容器扩容；
在所述期望状态为取消的情况下，根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容。
可选地，所述分析模块用于根据所述分析任务数量分析所述目标算法是否满足第二条件，包括：
第二分析模块，用于分析所述分析任务数量是否小于第二值；
所述第二值为：目标容器个数、单个容器上所述目标算法的最大分析任务数量和预设缩容系数的积，所述目标容器个数为当前所述目标算法配置的容器个数减1。
可选地，所述装置还包括：
检测模块，用于检测在预设周期内是否存在两个以上的算法，所述两个以上的算法执行的分析任务数量均低于预设数量值；
第三分析模块，用于分析所述两个以上的算法的分析任务数量的总值是否小于第三值；
所述第三值为目标分析数量和预设缩容系数的积，所述目标分析数量为：当前所述两个以上的算法配置的所有容器中执行的分析任务数量的和。
第三方面，本发明实施例提供了一种资源调度设备，所述资源调度设备包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；
所述处理器，用于读取存储器中的程序实现如第一方面所述的方法中的步骤。
第四方面，本发明实施例提供了一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如第一方面所述的方法中的步骤。
在本发明实施例中，所述资源调度方法应用于所述处理器，可以根据用户发送的目标分析任务，获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量，实时地对容器进行扩容或者缩容，使得算法运行的稳定性较高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种资源调度方法的流程图；
图2是本发明实施例提供的一种算法平台的流程图；
图3是本发明实施例提供的一种资源调度装置的结构图；
图4是本发明实施例提供的一种资源调度设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
图1为本发明实施例提供的一种资源调度方法的流程图，如图1所示，所述方法包括：
步骤101，算法平台接收用户发送的目标分析任务的任务期望信息。
所述算法平台可以是是服务器、计算机，所述算法平台接收用户发送的目标分析任务的任务期望信息，并对所述任务期望信息进行分析。
所述用户可以称为租户，可以是算法企业服务的组织或个人，订购算法并根据需求配置目标分析任务，所述用户通过发送目标分析任务的任务期望信息对目标算法进行运行。
所述目标分析任务可以是所述用户对目标算法进行设置的任务，按照通道或者预置位配置目标分析任务，取消或停止目标分析任务，一个目标算法可以有多条目标分析任务。
步骤102，所述算法平台基于所述任务期望信息，识别所述目标分析任务的期望状态，所述期望状态包括新增、修改或取消。
所述期望状态可以是对目标分析任务的指令，所述新增可以是所述目标分析任务对应的目标算法执行的分析任务的运行，所述修改可以是所述目标分析任务对应的目标算法执行的分析任务的调整，所述取消可以是所述目标分析任务对应的目标算法执行的分析任务的停止。
步骤103，所述算法平台获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量。
所述目标分析任务可以包含任务期望信息、算法名称、算法编码、算法任务唯一标识、分析类型、算法状态。
所述算法平台可以通过所述目标分析任务的算法编码和算法任务唯一标识获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量，所述算法平台根据目标算法的所述算法编码和所述算法任务唯一标识在数据库中查询目标算法的实际分析任务数量。
步骤104，在所述期望状态为新增或修改的情况下，所述算法平台根据所述分析任务数量在第一条件下对所述目标算法进行容器扩容；
在所述期望状态为取消的情况下，所述算法平台根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容。
所述期望状态为取消的情况下，所述期望状态可以是新增或修改，所述算法平台根据所述分析任务数量在第一条件下对所述目标算法进行容器扩容，所述第一条件可以是，所述分析任务数量大于或者等于第一值；所述第一值为：当前为所述目标算法配置的容器个数、单个容器上所述目标算法的最大分析任务数量和预设扩容系数的积。
所述算法平台所述算法平台根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容，所述第二条件可以是所述分析任务数量小于第二值；所述第二值为：目标容器个数、单个容器上所述目标算法的最大分析任务数量和预设缩容系数的积，所述目标容器个数为当前所述目标算法配置的容器个数减1，所述预设缩容系数小于所述预设扩容系数。
本发明实施例中，所述算法平台可以根据用户发送的目标分析任务，获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量，实时地对容器进行扩容或者缩容，使得算法运行的稳定性较高。
可选地，在一些实施例中，所述第一条件包括：
所述分析任务数量大于或者等于第一值；
所述第一值为：当前为所述目标算法配置的容器个数、单个容器上所述目标算法的最大分析任务数量和预设扩容系数的积。
所述最大分析任务数量可以是所述单个容器上所能承载的所述目标算法的最大分析任务数量。
例如，所述目标算法
Figure DEST_PATH_IMAGE001
的所述分析任务数量为
Figure 392126DEST_PATH_IMAGE002
，所述单个容器上所能承载的目标算法
Figure 682293DEST_PATH_IMAGE003
的最大分析任务数量为
Figure 811792DEST_PATH_IMAGE004
,容器个数为
Figure 187409DEST_PATH_IMAGE005
，预扩容系数为
Figure 499704DEST_PATH_IMAGE006
。当满足
Figure 706695DEST_PATH_IMAGE007
条件时，所述算法平台进行容器扩容操作，调用接口自动创建新的容器，完成资源的动态扩容。
本实施例中，在目标分析任务的期望状态为新增或修改的情况下，所述算法平台实时地对目标算法当前实际执行的分析任务的分析任务数量进行分析，对容器进行扩容，避免了算法资源抢占服务器，导致服务崩溃的情形。
可选地，在一些实施例中，所述第二条件包括：
所述分析任务数量小于第二值；
所述第二值为：目标容器个数、单个容器上所述目标算法的最大分析任务数量和预设缩容系数的积，所述目标容器个数为当前所述目标算法配置的容器个数减1，所述预设缩容系数小于所述预设扩容系数。
例如，当所述目标算法
Figure 7095DEST_PATH_IMAGE001
的所述分析任务数量为
Figure 932325DEST_PATH_IMAGE002
，所述单个容器上所能承载的目标算法
Figure 94316DEST_PATH_IMAGE003
的最大分析任务数量为
Figure 841299DEST_PATH_IMAGE004
,容器个数为
Figure 63333DEST_PATH_IMAGE005
，预缩容系数为
Figure 662811DEST_PATH_IMAGE008
。当满足
Figure 690809DEST_PATH_IMAGE009
，且
Figure 232912DEST_PATH_IMAGE010
时，进行容器缩容操作，调用接口自动删除多余的容器，完成资源的动态缩容，释放算法服务器资源。
本实施例中，在目标分析任务的期望状态为取消的情况下，所述算法平台实时地对目标算法当前实际执行的分析任务的分析任务数量进行分析，对容器进行缩容，将资源使用率低的目标算法对应的分析任务整合到空闲容器中，删除多余的容器，从而使得资源利用率较高。并且所述预设缩容系数小于所述预设扩容系数，避免了对容器进行缩容操作之后，直接触发对容器的扩容操作的情形。
可选地，在一些实施例中，所述方法还包括：
所述算法平台检测在预设周期内是否存在两个以上的算法，所述两个以上的算法执行的分析任务数量均低于预设数量值；
所述算法平台在第三条件下，对所述两个以上的算法进行容器缩容；
所述第三条件包括：
所述两个以上的算法的分析任务数量的总值小于第三值；
所述第三值为目标分析数量和预设缩容系数的积，所述目标分析数量为：当前所述两个以上的算法配置的所有容器中执行的分析任务数量的和。
所述两个以上的算法可以是目标算法，也可以是除目标算法之外的其他算法；所述预设数量值可以是所述容器内应有分析任务数量的最低阈值，低于最低阈值则表示容器的资源使用率低；所述预设周期可以是七天为一个周期，所述算法平台检测在所述预设周期内资源使用率低的算法，对目标分析任务数量较少的目标算法且单个容器未完全利用的算法采用任务转移的方式进行调度。
例如，当所述目标算法
Figure 688164DEST_PATH_IMAGE011
的所述分析任务数量为
Figure 525670DEST_PATH_IMAGE002
，所述目标算法对应的容器上所能承载的目标算法
Figure 278731DEST_PATH_IMAGE011
的最大分析任务数量为
Figure 518082DEST_PATH_IMAGE004
,所述目标算法的个数为
Figure 564142DEST_PATH_IMAGE012
，预缩容系数为
Figure 623365DEST_PATH_IMAGE008
。当满足
Figure 180117DEST_PATH_IMAGE013
，且
Figure 805134DEST_PATH_IMAGE010
时，进行容器缩容操作，将多个所述目标算法转移到一个容器上运行，调用接口自动删除多余的容器，完成资源的动态缩容，释放算法服务器资源。
可选地，在一些实施例中，所述算法平台根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容，包括：
所述算法平台根据所述分析任务数量在第二条件下删除为所述目标算法配置的第一容器，并将所述第一容器内执行的分析任务调度到为所述目标算法分配的第二容器内执行。
所述算法平台检测到预设周期内存在两个以上的算法，所述两个以上的算法执行的分析任务数量均低于预设数量值，所述算法平台在第三条件下对所述算法进行容器缩容：删除为所述第一算法配置的第一容器，并将所述第一容器内执行的分析任务调度到为所述第二算法分配的第二容器内执行。
图2为本发明实施例提供的一种算法平台的流程图，如图2所示：
用户在平台配置算法后下发分析任务，下发的分析任务包含算法名称、算法编码、算法任务唯一标识、分析类型、算法状态等信息，其中配置的算法状态分为新增、修改和取消。
算法平台接收到分析任务后，在数据库中利用该算法的算法编码和算法任务唯一标识查询该算法的实际分析任务数量。
算法平台根据接收到的分析任务的信息，判断当前分析任务是否为取消。
如果分析任务不是取消，判断接收该分析任务后是否满足当前算法的扩容条件，如果为是，则调用接口自动创建新的容器，完成资源的动态扩容依次，将分析任务下发给算法，让算法进行分析；如果不是，则直接将分析任务下发给算法，让算法进行分析。
如果分析任务是取消，判断接收该分析任务后是否满足当前算法的缩容条件，如果为是，则调用接口自动删除多余的容器，完成资源的动态缩容，释放算法服务器资源，将取消的分析任务下发给算法，让算法停止分析；如果不是，则直接将取消的分析任务下发给算法，让算法停止分析。
除对多个容器的算法进行扩容和缩容的调度外，算法平台还可以对算法分析任务较少且单个容器未完全利用的算法采用任务转移的方式进行调度，以此整合长期资源使用率不高的算法。通过检测长时间内资源使用率低的算法，进行任务转移操作，将多个算法转移到一个容器上运行。
本发明实施例提供了一种资源调度装置300，如图3所示，包括：
接收模块301，用于接收用户发送的目标分析任务的任务期望信息；
识别模块302，用于基于所述任务期望信息，识别所述目标分析任务的期望状态，所述期望状态包括新增、修改或取消；
获取模块303，用于获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量；
分析模块304，用于在所述期望状态为新增或修改的情况下，根据所述分析任务数量在第一条件下对所述目标算法进行容器扩容；在所述期望状态为取消的情况下，根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容。
可选地，所述分析模块304用于分析所述目标算法是否满足第一条件，包括：
第一分析模块，用于分析所述分析任务数量是否大于或者等于第一值；
所述第一值为：当前为所述目标算法配置的容器个数、单个容器上所述目标算法的最大分析任务数量和预设扩容系数的积。
可选地，所述分析模块304用于分析所述目标算法是否满足第二条件，包括：
第二分析模块，用于分析所述分析任务数量是否小于第二值；
所述第二值为：目标容器个数、单个容器上所述目标算法的最大分析任务数量和预设缩容系数的积，所述目标容器个数为当前所述目标算法配置的容器个数减1。
可选地，所述装置还包括：
检测模块，用于检测在预设周期内是否存在两个以上的算法，所述两个以上的算法执行的分析任务数量均低于预设数量值；
第三分析模块，用于分析所述两个以上的算法的分析任务数量的总值是否小于第三值；
所述第三值为目标分析数量和预设缩容系数的积，所述目标分析数量为：当前所述两个以上的算法配置的所有容器中执行的分析任务数量的和。
可选地，所述分析模块304在第二条件下对所述目标算法进行容器缩容，所述分析模块304包括：
第一删除单元，用于根据所述分析任务数量在第二条件下删除为所述目标算法配置的第一容器；
第一分配单元，用于将所述第一容器内执行的分析任务调度到为所述目标算法分配的第二容器内执行。
可选地，在检测模块检测到预设周期内存在两个以上的算法，所述两个以上的算法执行的分析任务数量均低于预设数量值的情况下，所述分析模块304也可以在第三条件下对所述算法进行容器缩容，所述分析模块304包括：
第二删除单元，用于删除为所述第一算法配置的第一容器；
第二分配单元，用于将所述第一容器内执行的分析任务调度到为所述第二算法分配的第二容器内执行。
本发明实施例提供了一种资源调度设备，如图4所示，所述资源调度设备包括：收发机401、存储器402、处理器400及存储在所述存储器上并可在所述处理器上运行的程序：
收发机401接收用户发送的目标分析任务的任务期望信息；
处理器400用于读取存储器402中的程序，执行如下步骤：
基于所述任务期望信息，识别所述目标分析任务的期望状态，所述期望状态包括新增、修改或取消；获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量；在所述期望状态为新增或修改的情况下，所述算法平台根据所述分析任务数量在第一条件下对所述目标算法进行容器扩容；在所述期望状态为取消的情况下，所述算法平台根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容。
其中，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器400代表的一个或多个处理器和存储器402代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机401可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器400负责管理总线架构和通常的处理，存储器402可以存储处理器400在执行操作时所使用的数据。
可选地，处理器400判断是否满足所述第一条件，所述第一条件包括：
所述分析任务数量大于或者等于第一值；
所述第一值为：当前为所述目标算法配置的容器个数、单个容器上所述目标算法的最大分析任务数量和预设扩容系数的积。
可选地，处理器400判断是否满足所述第二条件，所述第二条件包括：
所述分析任务数量小于第二值；
所述第二值为：目标容器个数、单个容器上所述目标算法的最大分析任务数量和预设缩容系数的积，所述目标容器个数为当前所述目标算法配置的容器个数减1。
可选地，处理器400还用于：
检测在预设周期内是否存在两个以上的算法，所述两个以上的目标算法执行的分析任务数量均低于预设数量值；
在第三条件下，对所述两个以上的算法进行容器缩容；
所述第三条件包括：
所述两个以上的算法的分析任务数量的总值小于第三值；
所述第三值为目标分析数量和预设缩容系数的积，所述目标分析数量为：当前所述两个以上的算法配置的所有容器中执行的分析任务数量的和。
可选地，处理器400在第二条件下对所述目标算法进行容器缩容，包括：
删除为所述目标算法配置的第一容器，并将所述第一容器内执行的分析任务调度到为所述目标算法分配的第二容器内执行。
本发明实施例还提供一种可读存储介质，用于存储程序，所述程序可被处理器执行实现上述方法的实施例的各个过程，且其实现原理和技术效果类似，为避免重复，本实施例此处不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，本发明的保护范围并不局限于此，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种资源调度方法，其特征在于，包括：
算法平台接收用户发送的目标分析任务的任务期望信息；
所述算法平台基于所述任务期望信息，识别所述目标分析任务的期望状态，所述期望状态包括新增、修改或取消；
所述算法平台获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量；
在所述期望状态为新增或修改的情况下，所述算法平台根据所述分析任务数量在第一条件下对所述目标算法进行容器扩容；
在所述期望状态为取消的情况下，所述算法平台根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容。
2.根据权利要求1所述的方法，其特征在于，所述第一条件包括：
所述分析任务数量大于或者等于第一值；
所述第一值为：当前为所述目标算法配置的容器个数、单个容器上所述目标算法的最大分析任务数量和预设扩容系数的积。
3.根据权利要求2所述的方法，其特征在于，所述第二条件包括：
所述分析任务数量小于第二值；
所述第二值为：目标容器个数、单个容器上所述目标算法的最大分析任务数量和预设缩容系数的积，所述目标容器个数为当前所述目标算法配置的容器个数减1，所述预设缩容系数小于所述预设扩容系数。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
所述算法平台检测在预设周期内是否存在两个以上的算法，所述两个以上的算法执行的分析任务数量均低于预设数量值；
所述算法平台在第三条件下，对所述两个以上的算法进行容器缩容；
所述第三条件包括：
所述两个以上的算法的分析任务数量的总值小于第三值；
所述第三值为目标分析数量和预设缩容系数的积，所述目标分析数量为：当前所述两个以上的算法配置的所有容器中执行的分析任务数量的和。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述算法平台根据所述分析任务数量在第二条件下对所述目标算法进行容器缩容，包括：
所述算法平台根据所述分析任务数量在第二条件下删除为所述目标算法配置的第一容器，并将所述第一容器内执行的分析任务调度到为所述目标算法分配的第二容器内执行。
6.一种资源调度装置，其特征在于，包括：
接收模块，用于接收用户发送的目标分析任务的任务期望信息；
识别模块，用于基于所述任务期望信息，识别所述目标分析任务的期望状态，所述期望状态包括新增、修改或取消；
获取模块，用于获取所述目标分析任务对应的目标算法当前实际执行的分析任务的分析任务数量；
分析模块，用于在所述期望状态为新增或修改的情况下，根据所述分析任务数量在第一条件下对所述目标算法进行容器扩容；在所述期望状态为取消的情况下，根据所述分析任务数量在第二条件或第三条件下对所述目标算法进行容器缩容。
7.根据权利要求6所述的装置，其特征在于，所述分析模块用于分析所述目标算法是否满足第二条件，包括：
第二分析模块，用于分析所述分析任务数量是否小于第二值；
所述第二值为：目标容器个数、单个容器上所述目标算法的最大分析任务数量和预设缩容系数的积，所述目标容器个数为当前所述目标算法配置的容器个数减1。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
检测模块，用于检测在预设周期内是否存在两个以上的算法，所述两个以上的算法执行的分析任务数量均低于预设数量值；
第三分析模块，用于分析所述两个以上的算法的分析任务数量的总值是否小于第三值；
所述第三值为目标分析数量和预设缩容系数的积，所述目标分析数量为：当前所述两个以上的算法配置的所有容器中执行的分析任务数量的和。
9.一种资源调度设备，所述资源调度设备包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，
所述处理器，用于读取存储器中的程序实现如权利要求1至5中任一项所述的方法中的步骤。
10.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一项所述的方法中的步骤。
CN202211307690.6A 2022-10-25 2022-10-25 一种资源调度方法、装置、设备及可读存储介质 Active CN115373825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211307690.6A CN115373825B (zh) 2022-10-25 2022-10-25 一种资源调度方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211307690.6A CN115373825B (zh) 2022-10-25 2022-10-25 一种资源调度方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN115373825A CN115373825A (zh) 2022-11-22
CN115373825B true CN115373825B (zh) 2022-12-20

Family

ID=84074326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211307690.6A Active CN115373825B (zh) 2022-10-25 2022-10-25 一种资源调度方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115373825B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936471A (zh) * 2017-12-18 2019-06-25 北京图森未来科技有限公司 一种多集群的资源分配方法和装置
CN111459617A (zh) * 2020-04-03 2020-07-28 南方电网科学研究院有限责任公司 基于云平台的容器化应用自动分配优化系统及其方法
CN112650552A (zh) * 2019-10-09 2021-04-13 中国电信股份有限公司 容器资源调度方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003271658A1 (en) * 2003-09-30 2005-05-11 Telecom Italia S.P.A. Method and system for tuning a taskscheduling process

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936471A (zh) * 2017-12-18 2019-06-25 北京图森未来科技有限公司 一种多集群的资源分配方法和装置
CN112650552A (zh) * 2019-10-09 2021-04-13 中国电信股份有限公司 容器资源调度方法和装置
CN111459617A (zh) * 2020-04-03 2020-07-28 南方电网科学研究院有限责任公司 基于云平台的容器化应用自动分配优化系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于任务控制的动态多传感器管理方案;崔博鑫等;《系统工程与电子技术》;20121215(第12期);全文 *

Also Published As

Publication number Publication date
CN115373825A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN107038069B (zh) Hadoop平台下动态标签匹配DLMS调度方法
US9277003B2 (en) Automated cloud workload management in a map-reduce environment
US8424007B1 (en) Prioritizing tasks from virtual machines
US6411982B2 (en) Thread based governor for time scheduled process execution
US20060206894A1 (en) Method of scheduling jobs using database management system for real-time processing
CN111338791A (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN108399101A (zh) 资源调度的方法、装置和系统
CN108090731A (zh) 一种信息处理方法及设备
CN104462432A (zh) 自适应的分布式计算方法
CN104407926A (zh) 一种云计算资源的调度方法
CN115543577B (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
CN109376011A (zh) 虚拟化系统中管理资源的方法和装置
CN113946431B (zh) 一种资源调度方法、系统、介质及计算设备
CN106095957A (zh) 分布式文件系统的跨域多副本文件同步方法及装置
CN112860387A (zh) 分布式任务调度方法、装置、计算机设备及存储介质
CN116909739A (zh) 一种Kubernetes集群中资源超分提升资源利用率的方法及系统
CN114625533A (zh) 分布式任务调度方法、装置、电子设备及存储介质
CN113051054A (zh) 调度人工智能平台资源的方法、设备和计算机可读存储介质
CN114721824A (zh) 一种资源分配方法、介质以及电子设备
CN112948109B (zh) 一种ai计算集群的配额弹性调度方法、装置及介质
CN104794000B (zh) 一种作业调度方法及系统
CN115373825B (zh) 一种资源调度方法、装置、设备及可读存储介质
CN110008187A (zh) 文件传输调度方法、装置、设备及计算机可读存储介质
CN110851245A (zh) 一种分布式异步任务调度方法及电子设备
CN115168012A (zh) 一种线程池并发线程数确定方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant