CN112905344A - 一种存储系统中的资源调度方法、装置、设备及介质 - Google Patents
一种存储系统中的资源调度方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112905344A CN112905344A CN202110189428.5A CN202110189428A CN112905344A CN 112905344 A CN112905344 A CN 112905344A CN 202110189428 A CN202110189428 A CN 202110189428A CN 112905344 A CN112905344 A CN 112905344A
- Authority
- CN
- China
- Prior art keywords
- task
- resource
- service
- executed
- occupation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种存储系统中的资源调度方法、装置、设备、介质，该方法包括：获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务；从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务；基于历史任务占用资源信息预测所述预选业务的资源占用信息，所述资源占用信息包括占用的资源类型和对应的资源量；为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务，这样能够对待执行任务对应的业务所需要的资源进行预测并进行资源调度，保证业务的正常顺利执行。
Description
技术领域
本申请涉及存储技术领域，特别涉及一种存储系统中的资源调度方法、装置、设备、介质。
背景技术
在一般的存储系统中，实现一个业务的正常使用可能需要若干任务的顺序执行。当存储系统的运行内存资源以及存储资源紧张时，可能会存在因其他业务任务的原因而导致正在执行任务因运行内存资源以及存储资源不足而阻塞，进而导致整个业务的不可用问题。
因此，如何进行存储系统中的资源调度以保证业务正常顺利运行是本领域技术人员要解决的重要问题。
发明内容
有鉴于此，本申请的目的在于提供一种存储系统中的资源调度方法、装置、设备、介质，能够对待执行任务对应的业务所需要的资源进行预测并进行资源调度，保证业务的正常顺利执行。其具体方案如下：
第一方面，本申请公开了一种存储系统中的资源调度方法，包括：
获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务；
从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务；
基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量；
为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。
可选地，所述获取通过用户界面下发的任务执行请求之前，还包括：
通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储。
可选地，所述通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储之后，还包括：
在通过所述预设接口获取到对所述业务执行任务集进行编辑的编辑指令时，基于所述编辑指令对所述业务执行任务集进行对应的编辑操作，其中，所述编辑指令包括任务编辑指令和业务编辑指令，所述任务编辑指令包括任务增加指令、任务删除指令和任务移动指令，所述业务编辑指令包括业务增加指令及业务删除指令。
可选地，所述从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务的过程中，还包括：
如果所述业务任务集中不存在包括所述待执行存储任务的预选业务，则以所述待执行存储任务创建新业务，并执行所述待执行存储任务。
可选地，所述从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务的过程中，还包括：
如果所述业务任务集中存在多个业务包括所述待执行存储任务，则将多个所述业务均作为所述预选业务；
相应地，所述基于历史任务占用资源信息预测所述预选业务的资源占用信息，包括：
基于历史任务占用资源信息预测各个所述预选业务的资源占用信息，并将占用资源量最多的所述资源占用信息作为所述待执行存储任务对应的目标资源占用信息。
可选地，所述基于历史任务占用资源信息预测所述预选业务的资源占用信息，包括：
如果所述预选业务中的各个任务为并行执行，则基于历史任务占用资源信息确定所述预选业务中的各个任务的资源占用记录；
如果所述预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量之和和资源类型作为所述待执行存储任务对应的资源占用信息。
可选地，所述基于历史任务占用资源信息预测所述预选业务的资源占用信息，包括：
如果所述预选业务中的各个任务为串行执行，则基于历史任务占用资源信息确定所述预选业务中的各个任务的资源占用记录；
如果所述预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量的最大值和资源类型作为所述待执行存储任务对应的资源占用信息。
第二方面，本申请公开了一种存储系统中的资源调度装置，包括：
任务获取模块，用于获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务；
业务确定模块，用于从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务；
资源预测模块，用于基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量；
任务执行模块，用于为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。
第三方面，本申请公开了一种电子设备，包括：
存储器和处理器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，以实现前述公开的存储系统中的资源调度方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的存储系统中的资源调度方法。
可见，本申请先获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务，从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务，然后基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量，再为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。由此可见，本申请中在获取到待执行任务之后，便先确定出所述待执行任务所属于的业务，也即，预测所述待执行任务之后可能执行的任务，然后基于历史任务占用资源信息预测所述业务所需要的资源占用信息，并分配所述资源占用信息对应的资源，这样可以预先为所述待执行任务所属业务分配所需的资源，保证待执行任务对应的业务可以正常顺利执行。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种存储系统中的资源调度方法流程图；
图2为本申请公开的一种具体的存储系统中的资源调度方法流程图；
图3为本申请公开的一种存储系统框架图；
图4为本申请公开的一种具体的存储系统中的资源调度方法流程图；
图5为本申请公开的一种存储系统中的资源调度装置结构示意图；
图6为本申请公开的一种电子设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，在一般的存储系统中，实现一个业务的正常使用可能需要若干任务的顺序执行。当存储系统的运行内存资源以及存储资源紧张时，可能会存在因其他业务任务的原因而导致正在执行任务因运行内存资源以及存储资源不足而阻塞，进而导致整个业务的不可用问题。有鉴于此，本申请提出了一种存储系统中的资源调度方法，能够对待执行任务对应的业务所需要的资源进行预测并进行资源调度，保证业务的正常顺利执行。
参见图1所示，本申请实施例公开了一种存储系统中的资源调度方法，应该方法包括：
步骤S11：获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务。
在具体的实施过程中，需要先获取到任务执行请求，具体的，获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务，所述待执行存储任务为存储相关的任务。也即，所述存储系统提供用户界面作为用户接口，用户可以通过所述用户界面下发任务执行请求，所述存储系统便需要获取通过所述用户界面下发的所述任务执行请求。
步骤S12：从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务。
在获取到所述任务执行请求之后，还需要从预设的业务执行任务集中确定出包括所述待执行任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个业务包括对应的任务。
相应地，在获取通过用户界面下发的任务执行请求之前，还包括：通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储。也即，所述存储系统提供预设接口可以获取所述业务执行任务集，并对所述业务执行任务集进行存储，所述业务执行任务集中包括预先设置的不同业务，各个业务又有自身对应的任务，不同业务中的任务可能存在交叉的任务。
从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，也即，将所述业务执行任务集中包括所述待执行任务的业务都作为所述预选业务，确定所述预选业务的目的是对待执行任务之后可能进行的任务进行预测，以便留出足够的资源。
步骤S13：基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量。
确定出所述预选业务之后，还需要基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量。
也即，所述存储系统在一开始执行任务时，便会对执行过的任务所占用的资源信息进行记录，所述资源信息也包括占用的资源类型和资源大小，所述资源类型包括CPU占用率、存储等。所以在确定出所述预选业务之后，还需要基于历史任务占用资源信息预测所述预选业务的资源占用信息。具体的，就是从历史任务占用资源信息中确定所述预选业务中各个任务对应的资源占用记录，利用所述预选业务中各个任务对应的资源占用记录预测出所述预选业务的资源占用信息。
例如，所述预选业务中包括5个任务，历史任务占用资源信息表明这5个任务中每个任务所消耗的存储资源为100M，且这5个任务需要并行执行，则所述预选业务对应的资源占用信息具体为500M的存储资源。
步骤S14：为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。
可以理解的是，在预测出所述资源占用信息之后，还需要为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。
可见，本申请先获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务，从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务，然后基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量，再为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。由此可见，本申请中在获取到待执行任务之后，便先确定出所述待执行任务所属于的业务，也即，预测所述待执行任务之后可能执行的任务，然后基于历史任务占用资源信息预测所述业务所需要的资源占用信息，并分配所述资源占用信息对应的资源，这样可以预先为所述待执行任务所属业务分配所需的资源，保证待执行任务对应的业务可以正常顺利执行。
参见图2所示，本申请实施例公开了一种具体的存储系统中的资源调度方法，该方法包括：
步骤S21：通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务。
首先需要通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务。
在通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储之后，还包括：在通过所述预设接口获取到对所述业务执行任务集进行编辑的编辑指令时，基于所述编辑指令对所述业务执行任务集进行对应的编辑操作，其中，所述编辑指令包括任务编辑指令和业务编辑指令，所述任务编辑指令包括任务增加指令、任务删除指令和任务移动指令，所述业务编辑指令包括业务增加指令及业务删除指令。
也即，可以在对所述业务执行任务集进行存储之后，还可以对所述业务执行任务集进行编辑，将所述业务执行任务集中的业务删除、增加新业务，还可以将某些业务中的某些任务删除，或者在某些业务中增加某些任务，或将某一任务从当前业务移动到其他的业务中。
步骤S22：获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务。
步骤S22的具体实施过程可以参考前述实施例中公开的内容，在此不再进行赘述。
步骤S23：从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务。
获取到所述任务执行请求之后，还需要从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务。
具体的，如果所述业务任务集中存在多个业务包括所述待执行存储任务，则将多个所述业务均作为所述预选业务。所述多个业务也即大于或等于2个业务。例如，所述业务执行任务集中包括所述待执行任务的业务包括业务A、业务B、业务C，则将业务A、业务B、业务C均作为所述待执行任务对应的预选业务。
步骤S24：基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量。
可以理解的是，在确定出所述预选业务之后，还需要基于历史任务占用资源信息预测所述预选业务的资源占用信息。
当所述预选业务包括多个业务时，需要基于历史任务占用资源信息预测各个所述预选业务的资源占用信息，并将占用资源量最多的所述资源占用信息作为所述待执行存储任务对应的目标资源占用信息。
基于历史任务占用资源信息预测任一预选业务的资源占用信息，包括：如果该预选业务中的各个任务为并行执行，则基于历史任务占用资源信息确定所述预选业务中的各个任务的资源占用记录；如果该预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量之和和资源类型作为所述待执行存储任务对应的资源占用信息。
也即，在所述预选业务中的各个任务为并行执行，则从历史任务占用资源信息中确定出所述预选业务中的各个任务的资源占用记录，然后在该预选业务中的各个任务的资源占用记录中的资源类型相同时，将各个所述资源占用记录中的资源量之和和资源类型作为所述待执行存储任务对应的资源占用信息。
基于历史任务占用资源信息预测任一预选业务的资源占用信息，包括：如果该预选业务中的各个任务为串行执行，则基于历史任务占用资源信息确定该预选业务中的各个任务的资源占用记录；如果该预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量的最大值和资源类型作为所述待执行存储任务对应的资源占用信息。
也即，在该预选业务中的各个任务为串行执行时，从历史任务占用资源信息中确定出该预选业务中的各个任务的资源占用记录，然后在该预选业务中的各个任务的资源占用记录中的资源类型相同时，将各个所述资源占用记录中的资源量的最大值和资源类型作为所述待执行存储任务对应的资源占用信息。
步骤S25：为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。
步骤S26：如果所述业务任务集中不存在包括所述待执行存储任务的预选业务，则以所述待执行存储任务创建新业务，并执行所述待执行存储任务。
如果所述业务任务集中不存在包括所述待执行存储任务的预选业务，则以所述待执行存储任务创建新业务，并执行所述待执行存储任务。或者，如果所述预选业务没有对应的历史任务，则直接执行所述待执行任务。
参见3所示，为存储系统运行框架图。通过业务任务集管理模块存储所述业务执行任务集，执行前述的通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储；在通过所述预设接口获取到对所述业务执行任务集进行编辑的编辑指令时，基于所述编辑指令对所述业务执行任务集进行对应的编辑操作，其中，所述编辑指令包括任务编辑指令和业务编辑指令，所述任务编辑指令包括任务增加指令、任务删除指令和任务移动指令，所述业务编辑指令包括业务增加指令及业务删除指令的步骤。
通过所述业务资源占用管理模块记录所述存储系统的任务执行记录，形成所述历史任务占用资源信息。
所述存储业务管理模块，用于获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务；从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务；基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量；为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。如果所述业务任务集中不存在包括所述待执行存储任务的预选业务，则以所述待执行存储任务创建新业务，并执行所述待执行存储任务。如果所述业务任务集中存在多个业务包括所述待执行存储任务，则将多个所述业务均作为所述预选业务；基于历史任务占用资源信息预测各个所述预选业务的资源占用信息，并将占用资源量最多的所述资源占用信息作为所述待执行存储任务对应的目标资源占用信息。如果所述预选业务中的各个任务为并行执行，则基于历史任务占用资源信息确定所述预选业务中的各个任务的资源占用记录；如果所述预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量之和和资源类型作为所述待执行存储任务对应的资源占用信息。如果所述预选业务中的各个任务为串行执行，则基于历史任务占用资源信息确定所述预选业务中的各个任务的资源占用记录；如果所述预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量的最大值和资源类型作为所述待执行存储任务对应的资源占用信息等步骤。
参见图4所示，为存储系统的资源调度流程图。下发任务执行请求，检索业务执行任务集，判断是否检索到该任务，如果否，则以该任务创建新业务，并执行该任务。锁定该任务所属的业务，获取业务任务集，也即，该任务所属的业务下的各个任务构成的任务集，检索历史任务占用资源信息，判断是否检索到该任务对应的历史任务，如果没有，则直接执行该任务，如果是，则解析历史任务占用资源信息，预测业务的资源占用信息，调度系统资源，并执行任务。
参见图5所示，本申请实施例公开了一种存储系统中的资源调度装置，包括：
任务获取模块11，用于获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务；
业务确定模块12，用于从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务；
资源预测模块13，用于基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量；
任务执行模块14，用于为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。
可见，本申请先获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务，从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务，然后基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量，再为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。由此可见，本申请中在获取到待执行任务之后，便先确定出所述待执行任务所属于的业务，也即，预测所述待执行任务之后可能执行的任务，然后基于历史任务占用资源信息预测所述业务所需要的资源占用信息，并分配所述资源占用信息对应的资源，这样可以预先为所述待执行任务所属业务分配所需的资源，保证待执行任务对应的业务可以正常顺利执行。
在一些具体的实施过程中，所述存储系统的任务调度装置，还包括：
业务任务集管理模块，用于通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储。
在一些具体的实施过程中，所述业务任务集管理模块，用于：
在通过所述预设接口获取到对所述业务执行任务集进行编辑的编辑指令时，基于所述编辑指令对所述业务执行任务集进行对应的编辑操作，其中，所述编辑指令包括任务编辑指令和业务编辑指令，所述任务编辑指令包括任务增加指令、任务删除指令和任务移动指令，所述业务编辑指令包括业务增加指令及业务删除指令。
在一些具体的实施过程中，所述任务执行模块14，用于：
在所述业务任务集中不存在包括所述待执行存储任务的预选业务时，则以所述待执行存储任务创建新业务，并执行所述待执行存储任务。
在一些具体的实施过程中，所述业务确定模块12，用于：
在所述业务任务集中存在多个业务包括所述待执行存储任务时，则将多个所述业务均作为所述预选业务；
相应地，所述资源预测模块13，用于：
基于历史任务占用资源信息预测各个所述预选业务的资源占用信息，并将占用资源量最多的所述资源占用信息作为所述待执行存储任务对应的目标资源占用信息。
在一些具体的实施过程中，所述资源预测模块13，用于：
如果所述预选业务中的各个任务为并行执行，则基于历史任务占用资源信息确定所述预选业务中的各个任务的资源占用记录；
如果所述预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量之和和资源类型作为所述待执行存储任务对应的资源占用信息。
在一些具体的实施过程中，所述资源预测模块13，用于：
如果所述预选业务中的各个任务为串行执行，则基于历史任务占用资源信息确定所述预选业务中的各个任务的资源占用记录；
如果所述预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量的最大值和资源类型作为所述待执行存储任务对应的资源占用信息。
所述任务获取模块11、业务确定模块12、资源预测模块13、任务执行模块14相当于图3中的存储业务管理模块，所述业务任务集管理模块，也即图3中的业务任务集管理模块。
参见图6所示，为本申请实施例提供的一种电子设备20的结构示意图，该用电子设备20具体可以实现前述实施例中公开的存储系统中的资源调度方法步骤。
通常，本实施例中的电子设备20包括：处理器21和存储器22。
其中，处理器21可以包括一个或多个处理核心，比如四核心处理器、八核心处理器等。处理器21可以采用DSP(digital signal processing,数字信号处理)、FPGA(field-programmable gate array,现场可编程们阵列)、PLA(programmable logic array,可编程逻辑阵列)中的至少一种硬件来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(central processing unit,中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有GPU(graphics processing unit,图像处理器)，GPU用于负责显示屏所需要显示的图像的渲染和绘制。一些实施例中，处理器21可以包括AI(artificialintelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器22可以包括一个或多个计算机可读存储介质，计算机可读存储介质可以是非暂态的。存储器22还可以包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器22至少用于存储以下计算机程序221，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例中公开的存储系统中的资源调度方法步骤。
在一些实施例中，电子设备20还可包括有显示屏23、输入输出接口24、通信接口25、传感器26、电源27以及通信总线28。
本技术领域人员可以理解，图6中示出的结构并不构成对电子设备20的限定，可以包括比图示更多或更少的组件。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述任一实施例中公开的存储系统中的资源调度方法。
其中，关于上述存储系统中的资源调度方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得一系列包含其他要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种存储系统中的资源调度方法、装置、设备、介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种存储系统中的资源调度方法，其特征在于，包括：
获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务；
从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务；
基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量；
为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。
2.根据权利要求1所述存储系统中的资源调度方法，其特征在于，所述获取通过用户界面下发的任务执行请求之前，还包括：
通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储。
3.根据权利要求2所述存储系统中的资源调度方法，其特征在于，所述通过预设接口获取所述业务执行任务集，并对所述业务执行任务集进行存储之后，还包括：
在通过所述预设接口获取到对所述业务执行任务集进行编辑的编辑指令时，基于所述编辑指令对所述业务执行任务集进行对应的编辑操作，其中，所述编辑指令包括任务编辑指令和业务编辑指令，所述任务编辑指令包括任务增加指令、任务删除指令和任务移动指令，所述业务编辑指令包括业务增加指令及业务删除指令。
4.根据权利要求1所述存储系统中的资源调度方法，其特征在于，所述从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务的过程中，还包括：
如果所述业务任务集中不存在包括所述待执行存储任务的预选业务，则以所述待执行存储任务创建新业务，并执行所述待执行存储任务。
5.根据权利要求1所述存储系统中的资源调度方法，其特征在于，所述从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务的过程中，还包括：
如果所述业务任务集中存在多个业务包括所述待执行存储任务，则将多个所述业务均作为所述预选业务；
相应地，所述基于历史任务占用资源信息预测所述预选业务的资源占用信息，包括：
基于历史任务占用资源信息预测各个所述预选业务的资源占用信息，并将占用资源量最多的所述资源占用信息作为所述待执行存储任务对应的目标资源占用信息。
6.根据权利要求1至5任一项所述存储系统中的资源调度方法，其特征在于，所述基于历史任务占用资源信息预测所述预选业务的资源占用信息，包括：
如果所述预选业务中的各个任务为并行执行，则基于历史任务占用资源信息确定所述预选业务中的各个任务的资源占用记录；
如果所述预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量之和和资源类型作为所述待执行存储任务对应的资源占用信息。
7.根据权利要求1至5任一项所述存储系统中的资源调度方法，其特征在于，所述基于历史任务占用资源信息预测所述预选业务的资源占用信息，包括：
如果所述预选业务中的各个任务为串行执行，则基于历史任务占用资源信息确定所述预选业务中的各个任务的资源占用记录；
如果所述预选业务中的各个任务的资源占用记录中的资源类型相同，则将各个所述资源占用记录中的资源量的最大值和资源类型作为所述待执行存储任务对应的资源占用信息。
8.一种存储系统中的资源调度装置，其特征在于，包括：
任务获取模块，用于获取通过用户界面下发的任务执行请求，其中，所述任务执行请求中包括待执行存储任务；
业务确定模块，用于从预设的业务执行任务集中确定出包括所述待执行存储任务的预选业务，其中，所述业务执行任务集中包括不同的业务，每个所述业务包括对应的任务；
资源预测模块，用于基于历史任务占用资源信息预测所述预选业务的资源占用信息，其中，所述历史任务占用资源信息为所述存储系统记录的在所述存储系统上执行过的各个任务的资源占用记录，所述资源占用信息包括占用的资源类型和对应的资源量；
任务执行模块，用于为所述预选业务分配所述资源占用信息对应的资源，并执行所述待执行存储任务。
9.一种电子设备，其特征在于，包括：
存储器和处理器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，以实现权利要求1至7任一项所述的存储系统中的资源调度方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的存储系统中的资源调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110189428.5A CN112905344A (zh) | 2021-02-19 | 2021-02-19 | 一种存储系统中的资源调度方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110189428.5A CN112905344A (zh) | 2021-02-19 | 2021-02-19 | 一种存储系统中的资源调度方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112905344A true CN112905344A (zh) | 2021-06-04 |
Family
ID=76123859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110189428.5A Pending CN112905344A (zh) | 2021-02-19 | 2021-02-19 | 一种存储系统中的资源调度方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112905344A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275397A (zh) * | 2020-01-20 | 2020-06-12 | 中国电力科学研究院有限公司 | 一种仿真培训业务数据的处理方法及系统 |
| CN111813545A (zh) * | 2020-06-29 | 2020-10-23 | 北京字节跳动网络技术有限公司 | 一种资源配置方法、装置、介质和设备 |
-
2021
- 2021-02-19 CN CN202110189428.5A patent/CN112905344A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275397A (zh) * | 2020-01-20 | 2020-06-12 | 中国电力科学研究院有限公司 | 一种仿真培训业务数据的处理方法及系统 |
| CN111813545A (zh) * | 2020-06-29 | 2020-10-23 | 北京字节跳动网络技术有限公司 | 一种资源配置方法、装置、介质和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11106579B2 (en) | System and method to manage and share managed runtime memory for java virtual machine | |
| CN105550345B (zh) | 文件操作方法和装置 | |
| CN107968810B (zh) | 一种服务器集群的资源调度方法、装置和系统 | |
| CN107341029B (zh) | 系统资源部署策略的获取方法、装置及电子设备 | |
| CN111143039B (zh) | 一种虚拟机的调度方法、装置及计算机存储介质 | |
| CN109447253B (zh) | 显存分配的方法、装置、计算设备及计算机存储介质 | |
| CN110427258B (zh) | 基于云平台的资源调度控制方法及装置 | |
| CN107977275B (zh) | 基于消息队列的任务处理方法及相关设备 | |
| US20140297983A1 (en) | Method of arranging data, information processing apparatus, and recording medium | |
| CN111124644B (zh) | 任务调度资源的确定方法、装置及系统 | |
| CN106649654A (zh) | 一种数据更新的方法和装置 | |
| US8601232B2 (en) | Memory management device, memory management method, memory management program, computer-readable recording medium recording memory management program and integrated circuit | |
| CN115827162A (zh) | 一种智能化处理镜像仓库数据方法、装置、介质及设备 | |
| US10394615B2 (en) | Information processing apparatus and job management method | |
| CN112416596A (zh) | 一种节点调度方法、装置及设备 | |
| CN101847128A (zh) | 管理tlb的方法和装置 | |
| CN116881003A (zh) | 资源分配方法、装置、服务设备及存储介质 | |
| CN112905344A (zh) | 一种存储系统中的资源调度方法、装置、设备及介质 | |
| CN109324886A (zh) | 集群资源调度方法和装置 | |
| CN115016735A (zh) | 一种分布式缓存系统的控制方法、装置及介质 | |
| CN115564635A (zh) | 一种gpu资源调度方法、装置、电子设备及存储介质 | |
| JP6686599B2 (ja) | 画像処理装置、負荷分散方法および負荷分散プログラム | |
| CN115658287A (zh) | 一种用于调度运行单元的方法、设备、介质及程序产品 | |
| CN112905541B (zh) | 镜像仓库垃圾清理方法和装置 | |
| CN111176571A (zh) | 一种本地对象的管理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210604 |
|
| RJ01 | Rejection of invention patent application after publication |