CN117193992B - 模型训练方法、任务调度方法、装置以及计算机存储介质 - Google Patents
模型训练方法、任务调度方法、装置以及计算机存储介质 Download PDFInfo
- Publication number
- CN117193992B CN117193992B CN202311480534.4A CN202311480534A CN117193992B CN 117193992 B CN117193992 B CN 117193992B CN 202311480534 A CN202311480534 A CN 202311480534A CN 117193992 B CN117193992 B CN 117193992B
- Authority
- CN
- China
- Prior art keywords
- task
- thread pool
- processed
- tasks
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000012216 screening Methods 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种模型训练方法、任务调度方法、任务调度装置以及计算机存储介质。所述模型训练方法包括：获取若干已处理任务以及对应的任务信息以及任务属性，任务信息包括处理耗时和处理线程池；基于同一任务属性的若干已处理任务的处理耗时对同一任务属性的若干已处理任务进行筛选得到训练任务集；利用任务调度模型的预测模块对训练任务集进行预测得到预测线程池；基于预测线程池以及每个已处理任务对应的处理线程池对任务调度模型进行训练。通过上述方式，本申请能够使用训练好的任务调度模型对待处理任务的执行线程池进行预测，从而得到并使用不同执行规则的线程池执行待处理任务，提高了系统的线程资源利用率，提高了任务的执行效率。
Description
技术领域
本申请涉及任务调度领域，特别是涉及一种模型训练方法、任务调度方法、任务调度装置以及计算机存储介质。
背景技术
随着互联网的发展以及计算机科学技术的不断进步，人们不再满足于依靠自己来完成各种任务，而是通过在不同的业务场景下使用不同的智能算法如任务调度、目标跟踪、目标识别、目标分割、人脸识别等完成对应的任务。而在每个业务场景中，需要依次执行多个算法任务，而算法任务的执行顺序影响了任务完成的效率。
在现有的任务调度中，使用先进先出的原则调度执行算法任务时，由于不同算法任务的耗时存在较大差异，因此会导致一些耗时短的算法任务等待时间过长，而如果使用优先级调度执行算法任务，每个算法任务的优先级难以设置，且容易增加在不同线程中切换时的资源浪费。
发明内容
本申请主要解决的技术问题是如何提高任务调度的效率，对此，本申请提供一种模型训练方法、任务调度方法、任务调度装置以及计算机可读存储介质。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种模型训练方法，该方法包括：获取若干已处理任务以及对应的任务信息以及任务属性，任务信息包括处理耗时和处理线程池；基于同一任务属性的若干已处理任务的处理耗时对同一任务属性的若干已处理任务进行筛选得到训练任务集；利用任务调度模型的预测模块对训练任务集进行预测得到预测线程池；基于预测线程池以及每个已处理任务对应的处理线程池对任务调度模型进行训练。
其中，任务属性包括任务场景、任务业务、任务算法和/或任务设备。
其中，基于同一任务属性的若干已处理任务的处理耗时对同一任务属性的若干已处理任务进行筛选得到训练任务集，包括：基于同一任务属性的若干已处理任务的处理耗时计算同一任务属性的若干已处理任务的平均处理耗时；剔除处理耗时大于平均处理耗时的已处理任务，基于剩余的已处理任务建立训练任务集。
其中，基于预测线程池以及每个已处理任务对应的处理线程池对任务调度模型进行训练，包括：将训练任务集输入第一训练网络得到每个已处理任务对应的处理线程池；将处理线程池输入第二训练网络得到处理线程池特征；基于预测线程池以及每个已处理任务的处理线程池特征对任务调度模型进行训练。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种任务调度方法，该方法包括：获取待处理任务；将待处理任务输入预先训练的任务调度模型，任务调度模型由上述模型训练方法所得；获取任务调度模型输出的预测线程池；使用预测线程池对待处理任务进行处理。
其中，预测线程池包括第一线程池、第二线程池和第三线程池；在获取待处理任务之前，任务调度方法还包括：基于待处理任务的处理设备的处理器核数决定每个预测线程池的线程分配比例；按照线程分配比例将总线程分别分配给第一线程池、第二线程池和第三线程池。
其中，基于待处理任务的处理设备的处理器核数决定每个预测线程池的线程分配比例，包括：当处理器核数小于等于预设数量时，第一线程池、第二线程池和第三线程池的线程分配比例相等。
其中，当预测线程池为第一线程池时，直接执行待处理任务；和/或当预测线程池为第二线程池时，将第一预设数量的待处理任务进行合并，执行合并后的任务；和/或当预测线程池为第三线程池时，将第二预设数量的待处理任务进行合并，执行合并后的任务。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种任务调度装置，该任务调度装置包括处理器和存储器，存储器与处理器耦接，存储器存储有程序数据，处理器用于执行程序数据以实现如上述的模型训练方法，和/或任务调度方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质存储有程序数据，程序数据在被执行时，用于实现上述的模型训练方法，和/或任务调度方法。
本申请的有益效果是：区别于现有技术的情况，本发明提供的基于任务调度的模型训练方法应用于任务调度装置，任务调度装置获取若干已处理任务以及对应的任务信息以及任务属性，任务信息包括处理耗时和处理线程池；基于同一任务属性的若干已处理任务的处理耗时对同一任务属性的若干已处理任务进行筛选得到训练任务集；利用任务调度模型的预测模块对训练任务集进行预测得到预测线程池；基于预测线程池以及每个已处理任务对应的处理线程池对任务调度模型进行训练。通过上述方式，与常规的任务调度方法相比，本申请采用的在任务调度装置中基于处理耗时对属于同一任务属性的已处理任务进行筛选，将筛选后的已处理任务作为训练任务集训练任务调度模型的方法，能够在提高任务调度模型中提取到的与线程有关的数据特征的准确性的同时还能提取到任务调度中的非线性特征，从而提高了任务调度模型的泛化能力和表达能力，并在使用任务调度模型进行任务调度时，提高了系统线程资源的利用率，从而提高了任务执行的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的基于任务调度的模型训练方法第一实施例的流程示意图；
图2是本申请提供的基于任务调度的模型训练方法中获取训练任务集的一实施例的流程示意图；
图3是本申请提供的基于任务调度的模型训练方法第二实施例的流程示意图；
图4是本申请提供的基于任务调度的模型训练方法中搭建智能体的流程示意图；
图5是本申请提供的基于任务调度的模型训练方法中搭建处理线程池的流程示意图；
图6是本申请提供的任务调度方法一实施例的流程示意图；
图7是本申请提供的任务调度装置中使用任务调度方法的整体流程示意图；
图8是本申请提供的任务调度装置第一实施例的结构示意图；
图9是本申请提供的任务调度装置第二实施例的结构示意图；
图10是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
任务调度装置和任务调度模型均可以作为为本申请实施例中提供的任务调度方法和/或基于任务调度的模型训练方法的执行主体，任务调度模型可以搭载在任务调度装置上，为其中的核心部分。
本申请提供的模型训练方法和/或任务调度方法主要应用于一种任务调度装置，其中，本申请的任务调度装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，任务调度装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的模型训练方法和/或任务调度方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
在现有技术中，采用先进先出原则对多个算法任务进行调度执行时，由于每个算法任务的耗时存在较大差异，因此可能造成一部分耗时短的算法任务需要等待耗时长的算法任务完成后再执行，从而导致等待时间过长；而采用最短作业优先原则对多个算法任务进行调度执行时，由于实际场景的复杂性，一个耗时短的算法任务可能与许多算法任务之间存在依赖关系，因此导致耗时长的任务的等待时间过长。
因此，本申请提供一种基于任务调度的模型训练方法，通过基于同一应用场景中的算法任务的耗时对算法任务进行筛选从而得到训练任务集，基于训练任务集的预测线程池和实际线程池对模型进行训练，增强了任务调度模型的鲁棒性和泛化性。具体实施方法如下所述。
参阅图1，图1是本申请提供的基于任务调度的模型训练方法第一实施例的流程示意图。
步骤11：获取若干已处理任务以及对应的任务信息以及任务属性，任务信息包括处理耗时和处理线程池。
具体地，获取已处理任务的方式可以是通过用户输入或导入的方式实现或从数据库中提取得到。示例性地，已处理任务可以是预先存储在数据库中的，任务调度装置通过调用该数据库就能够获取已处理任务。当然，已处理任务还可以是用户导入的，用户可以预先收集已处理任务，已处理任务可以从公开的数据集、现有的已标注的数据集中得到，然后导入至任务调度装置中。因此，关于具体如何获取已处理任务的方式有很多，此处不做具体限定。
具体地，任务属性包括任务场景、任务业务、任务算法和/或任务设备。任务调度装置将已处理任务以及对应的任务信息和任务属性存储为一条数据，记为di={scene,business,alg,dev,time,pool}。
其中，scene表示任务场景，business表示任务业务，alg表示任务使用的算法类型，dev表示任务执行的设备类型，time表示算法任务的耗时信息，time表示当前已处理任务的处理耗时，pool表示当前已处理任务的处理线程池。
步骤12：基于同一任务属性的若干已处理任务的处理耗时对同一任务属性的若干已处理任务进行筛选得到训练任务集。
在本申请一实施例中，任务调度装置使用如图2所示的方法得到训练任务集。参阅图2，图2是本申请提供的基于任务调度的模型训练方法中获取训练任务集的一实施例的流程示意图。
具体地，任务调度装置获取属于同一任务场景、同一任务业务以及同一算法类型的已处理任务的数据中每个已处理任务的处理耗时，并计算平均耗时记为time_ave，平均耗时计算公式如下：
其中，m为属于同一任务场景、同一任务业务以及同一算法类型的已处理任务的任务总数，t_j为每个已处理任务的处理耗时。任务调度装置将每个已处理任务的处理耗时加起来除以任务总数得到平均耗时。
具体地，任务调度装置剔除同一任务属性的已处理任务中处理耗时大于平均耗时的已处理任务，基于剩余的已处理任务建立数据集S1。
可选地，任务调度装置可以按照上述方法对数据集进行多次剔除，从而得到最终的训练任务集S2。通过任务调度装置对数据集的多次剔除，提高了训练任务集中数据的质量，从而能够训练出更加准确的任务调度模型。
步骤13：利用任务调度模型的预测模块对训练任务集进行预测得到预测线程池。
具体地，任务调度装置使用调度模型的预测模块对每一训练任务集中的已处理任务进行预测，得到每个已处理任务的预测线程池。
步骤14：基于预测线程池以及每个已处理任务对应的处理线程池对任务调度模型进行训练。
在本申请一实施例中，任务调度装置通过图3所示的方法使用搭建好的智能体对训练任务集进行特征提取。参阅图3和图4，图3是本申请提供的基于任务调度的模型训练方法第二实施例的流程示意图，图4是本申请提供的基于任务调度的模型训练方法中搭建智能体的流程示意图。
步骤31：将训练任务集输入第一训练网络得到每个已处理任务对应的处理线程池。
具体地，第一层智能体即第一训练网络中包括多个层数和节点数不同的神经网络，将训练任务集输入第一层智能体中，可以得到训练任务集中每个已处理任务的处理线程池。
步骤32：将处理线程池输入第二训练网络得到处理线程池特征。
具体地，第二层智能体即第二训练网络，由单个神经网络构成，将第一层智能体输出的结果作为第二层智能体的输入，得到每个已处理任务的处理线程池特征值。
通过使用两层智能体对已处理任务的处理线程池特征的提取，可以进一步提高数据的抽象特征，能够更好地提取到处理线程池的非线性特征。
步骤32：基于预测线程池以及每个已处理任务的处理线程池特征对任务调度模型进行训练。
具体地，任务调度装置使用任务调度模型的预测模块预测得到的预测线程池以及每个已处理任务的实际使用的处理线程池的特征对任务调度模型进行训练。
可选地，任务调度装置可以使用以下公式作为任务调度模型的损失函数：
其中，y_i 表示已处理任务真实的处理线程池的第i个元素，y_hat_i 表示任务调度模型预测的第 i 个预测线程池的概率。
在本申请一实施例中，任务调度装置使用如图5所示方法在当前处理设备中搭建处理线程池，图5是本申请提供的基于任务调度的模型训练方法中搭建处理线程池的流程示意图。
具体地，任务调度装置获取当前处理设备的处理器cpu核数，记为N，并基于cpu核数创建多个线程池以及线程池的线程分配比例。
在本申请一实施例中，当cpu核数N小于等于3且线程池数量为3时时，任务调度装置将按1:1:1的比例，分别在第一线程池、第二线程池和第三线程池中创建一个线程。当cpu核数N大于3时，则按照3:2:1的比例分别在第一线程池、第二线程池和第三线程池中创建线程，且总线程的数量为cpu核数的两倍。例如，当cpu核数等于6时，则总线程数量为12，第一线程池中线程的数量为6，第二线程池中线程的数量为4，第三线程池中线程的数量为2。其中，每个线程池中线程的分配比例可以根据用户需求自行设定，在此不做限定。
具体地，第一线程池中任务处理的规则为只要任务队列中存在任务就执行该任务；第二线程池中任务处理的规则为将第一预设数量的待处理任务进行合并，再将合并后的任务进行处理，第二线程池中任务处理的规则为将第二预设数量的待处理任务进行合并，再将合并后的任务进行处理。其中，第一预设数量和第二预设数量的具体数值可以根据用户需求自行设定，在此不做限定。
在本申请一实施例中，在得到训练好的任务调度模型后，任务调度装置可以使用如图6所示的方法对待处理任务进行调度。图6是本申请提供的任务调度方法一实施例的流程示意图，图7是本申请提供的任务调度装置中使用任务调度方法的整体流程示意图。
步骤61：获取待处理任务。
具体地，待处理任务可以为不同任务场景、任务算法以及任务业务的算法任务。
步骤62：将待处理任务输入预先训练的任务调度模型，任务调度模型上述模型训练方法所得。
具体地，任务调度模型由步骤11~步骤14的模型训练方法训练所得。
步骤63：获取任务调度模型输出的预测线程池。
具体地，预测线程池为第一线程池、第二线程池和第三线程池中的一个。任务调度装置在得到预测线程池后，将待处理任务调度到对应线程池的任务队列中。
步骤64：使用预测线程池对待处理任务进行处理。
具体地，每个线程池根据自己的任务处理规则对待处理任务进行处理。当预测线程池为第一线程池时，任务调度装置直接执行当前任务队列中的待处理任务；当预测线程池为第二线程池时，任务调度装置将第一预设数量的待处理任务合并为一个任务并执行；当预测线程池为第三线程池时，任务调度装置将第二预设数量的待处理任务合并为一个任务并执行。
可选地，当预测线程池为第二线程池或第三线程池时，在预设时间间隔内若第二线程池或第三线程池内没有获得第一预设数量或第二预设数量的待处理任务，则将当前任务队列中的待处理任务合并为一个任务并执行。
通过上述任务调度方法，本申请可以在复杂的算法业务场景中，当不同的算法任务的耗时存在较大差异且多任务并发时，通过训练好的任务调度模型将不同类型的算法任务调度到不同的线程池，将耗时短的任务合并为单个任务执行，从而提高了系统线程资源利用率，减少耗时短的任务频繁占用线程的情况，从而减少了由线程切换导致的线程资源浪费。
区别于现有技术的情况，本发明提供的基于任务调度的模型训练方法应用于任务调度装置，任务调度装置获取若干已处理任务以及对应的任务信息以及任务属性，任务信息包括处理耗时和处理线程池；基于同一任务属性的若干已处理任务的处理耗时对同一任务属性的若干已处理任务进行筛选得到训练任务集；利用任务调度模型的预测模块对训练任务集进行预测得到预测线程池；基于预测线程池以及每个已处理任务对应的处理线程池对任务调度模型进行训练。通过上述方式，与常规的任务调度方法相比，本申请采用的在任务调度装置中基于处理耗时对属于同一任务属性的已处理任务进行筛选，将筛选后的已处理任务作为训练任务集训练任务调度模型的方法，能够在提高任务调度模型中提取到的与线程有关的数据特征的准确性的同时还能提取到任务调度中的非线性特征，从而提高了任务调度模型的泛化能力和表达能力，并在使用任务调度模型进行任务调度时，提高了系统线程资源的利用率，从而提高了任务执行的效率。
上述实施例的方法，可以利用一任务调度装置来实现，下面结合图8进行描述，图8是本申请提供的任务调度装置第一实施例的结构示意图。
如图8所示，本申请实施例的任务调度装置80包括获取模块81、筛选模块82、预测模块83、训练模块84。
其中，获取模块81，用于获取若干已处理任务以及对应的任务信息以及任务属性，任务信息包括处理耗时和处理线程池。
筛选模块82，用于基于同一任务属性的若干已处理任务的处理耗时对同一任务属性的若干已处理任务进行筛选得到训练任务集。
预测模块83，用于对训练任务集进行预测得到预测线程池。
训练模块84，用于基于预测线程池以及每个已处理任务对应的处理线程池对任务调度模型进行训练。
上述实施例的方法，可以利用一任务调度装置来实现，下面结合图9，图9是本申请提供的任务调度装置第二实施例的结构示意图，该任务调度装置90包括存储器91和处理器92，存储器91用于存储程序数据，处理器92用于执行程序数据以实现如下的方法：
获取若干已处理任务以及对应的任务信息以及任务属性，任务信息包括处理耗时和处理线程池；基于同一任务属性的若干已处理任务的处理耗时对同一任务属性的若干已处理任务进行筛选得到训练任务集；利用任务调度模型的预测模块对训练任务集进行预测得到预测线程池；基于预测线程池以及每个已处理任务对应的处理线程池对任务调度模型进行训练。
参阅图10，图10是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质100存储有程序数据101，程序数据101在被处理器执行时，用于实现如下的方法：
获取若干已处理任务以及对应的任务信息以及任务属性，任务信息包括处理耗时和处理线程池；基于同一任务属性的若干已处理任务的处理耗时对同一任务属性的若干已处理任务进行筛选得到训练任务集；利用任务调度模型的预测模块对训练任务集进行预测得到预测线程池；基于预测线程池以及每个已处理任务对应的处理线程池对任务调度模型进行训练。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (9)
1.一种模型训练方法，其特征在于，所述模型训练方法包括：
获取若干已处理任务以及对应的任务信息以及任务属性，所述任务信息包括处理耗时和处理线程池；
基于同一所述任务属性的若干所述已处理任务的处理耗时对同一所述任务属性的若干所述已处理任务进行筛选得到训练任务集；
利用任务调度模型的预测模块对所述训练任务集进行预测得到预测线程池；
将所述训练任务集输入第一训练网络得到所述每个所述已处理任务对应的处理线程池；
将所述处理线程池输入第二训练网络得到处理线程池特征；
基于所述预测线程池以及每个所述已处理任务的所述处理线程池特征对所述任务调度模型进行训练。
2.根据权利要求1所述的模型训练方法，其特征在于，
所述任务属性包括任务场景、任务业务、任务算法和/或任务设备。
3.根据权利要求1所述的模型训练方法，其特征在于，
所述基于同一所述任务属性的若干所述已处理任务的处理耗时对同一所述任务属性的若干所述已处理任务进行筛选得到训练任务集，包括：
基于同一所述任务属性的若干所述已处理任务的处理耗时计算所述同一所述任务属性的若干所述已处理任务的平均处理耗时；
剔除所述处理耗时大于所述平均处理耗时的已处理任务，基于剩余的已处理任务建立所述训练任务集。
4.一种任务调度方法，其特征在于，所述任务调度方法包括：
获取待处理任务；
将所述待处理任务输入预先训练的任务调度模型，所述任务调度模型由权利要求1至3任一项所述的模型训练方法所得；
获取所述任务调度模型输出的预测线程池；
使用所述预测线程池对所述待处理任务进行处理。
5.根据权利要求4所述的任务调度方法，其特征在于，
所述预测线程池包括第一线程池、第二线程池和第三线程池；
在所述获取待处理任务之前，所述任务调度方法还包括：
基于所述待处理任务的处理设备的处理器核数决定每个预测线程池的线程分配比例；
按照所述线程分配比例将总线程分别分配给所述第一线程池、所述第二线程池和所述第三线程池。
6.根据权利要求5所述的任务调度方法，其特征在于，
所述基于所述待处理任务的处理设备的处理器核数决定每个预测线程池的线程分配比例，包括：
当所述处理器核数小于等于预设数量时，所述第一线程池、所述第二线程池和所述第三线程池的所述线程分配比例相等。
7.根据权利要求5所述的任务调度方法，其特征在于，
所述使用所述预测线程池对所述待处理任务进行处理，包括：
当所述预测线程池为所述第一线程池时，直接执行所述待处理任务；
和/或
当所述预测线程池为所述第二线程池时，将第一预设数量的所述待处理任务进行合并，执行合并后的任务；
和/或
当所述预测线程池为所述第三线程池时，将第二预设数量的所述待处理任务进行合并，执行合并后的任务。
8.一种任务调度装置，其特征在于，所述任务调度装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至3任一项所述的模型训练方法，和/或权利要求4至7任一项所述的任务调度方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至3任一项所述的模型训练方法，和/或权利要求4至7任一项所述的任务调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311480534.4A CN117193992B (zh) | 2023-11-08 | 2023-11-08 | 模型训练方法、任务调度方法、装置以及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311480534.4A CN117193992B (zh) | 2023-11-08 | 2023-11-08 | 模型训练方法、任务调度方法、装置以及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117193992A CN117193992A (zh) | 2023-12-08 |
| CN117193992B true CN117193992B (zh) | 2024-02-02 |
Family
ID=89000207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311480534.4A Active CN117193992B (zh) | 2023-11-08 | 2023-11-08 | 模型训练方法、任务调度方法、装置以及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117193992B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807294B (zh) * | 2024-02-28 | 2024-05-28 | 深圳市豪斯莱科技有限公司 | 一种多线程网络爬虫调度管理方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409513A (zh) * | 2018-10-10 | 2019-03-01 | 广州市百果园信息技术有限公司 | 一种基于神经网络的任务处理方法及相关设备 |
| CN112036648A (zh) * | 2020-09-02 | 2020-12-04 | 中国平安财产保险股份有限公司 | 基于模型的任务分配方法、装置、计算机设备和存储介质 |
| CN112087487A (zh) * | 2020-07-30 | 2020-12-15 | 北京聚云科技有限公司 | 模型训练任务的调度方法、装置、电子设备及存储介质 |
| CN115016916A (zh) * | 2022-06-30 | 2022-09-06 | 苏州浪潮智能科技有限公司 | 一种线程池调度方法、系统、设备及可读存储介质 |
| CN115269196A (zh) * | 2022-08-05 | 2022-11-01 | 中国平安财产保险股份有限公司 | 线程池动态创建方法、装置、设备及存储介质 |
| WO2023050712A1 (zh) * | 2021-09-30 | 2023-04-06 | 苏州浪潮智能科技有限公司 | 一种深度学习业务的任务调度方法及相关装置 |
| CN116501471A (zh) * | 2023-05-04 | 2023-07-28 | 北京力通通信有限公司 | 一种基于risc-v的多核系统的程序调度方法及系统 |
-
2023
- 2023-11-08 CN CN202311480534.4A patent/CN117193992B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409513A (zh) * | 2018-10-10 | 2019-03-01 | 广州市百果园信息技术有限公司 | 一种基于神经网络的任务处理方法及相关设备 |
| WO2020073742A1 (zh) * | 2018-10-10 | 2020-04-16 | 广州市百果园信息技术有限公司 | 一种基于神经网络的任务处理方法及相关设备 |
| CN112087487A (zh) * | 2020-07-30 | 2020-12-15 | 北京聚云科技有限公司 | 模型训练任务的调度方法、装置、电子设备及存储介质 |
| CN112036648A (zh) * | 2020-09-02 | 2020-12-04 | 中国平安财产保险股份有限公司 | 基于模型的任务分配方法、装置、计算机设备和存储介质 |
| WO2023050712A1 (zh) * | 2021-09-30 | 2023-04-06 | 苏州浪潮智能科技有限公司 | 一种深度学习业务的任务调度方法及相关装置 |
| CN115016916A (zh) * | 2022-06-30 | 2022-09-06 | 苏州浪潮智能科技有限公司 | 一种线程池调度方法、系统、设备及可读存储介质 |
| CN115269196A (zh) * | 2022-08-05 | 2022-11-01 | 中国平安财产保险股份有限公司 | 线程池动态创建方法、装置、设备及存储介质 |
| CN116501471A (zh) * | 2023-05-04 | 2023-07-28 | 北京力通通信有限公司 | 一种基于risc-v的多核系统的程序调度方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Fine-grained Scheduling in FPGA-Based Convolutional Neural Networks;Wei Zhang Etc.;2020 IEEE 5th International Conference on Cloud Computing and Big Data Analytics (ICCCBDA);全文 * |
| 基于线程池的多任务并行处理模型;高翔;张金登;;指挥信息系统与技术(04);全文 * |
| 面向CPUs-GPUs系统的OpenCL任务调度框架;王浩;计算机工程与设计;第43卷(第7期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117193992A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111694656B (zh) | 基于多智能体深度强化学习的集群资源调度方法及系统 | |
| CN117193992B (zh) | 模型训练方法、任务调度方法、装置以及计算机存储介质 | |
| CN111614769A (zh) | 一种深度学习技术的行为智能分析引擎系统及控制方法 | |
| CN104391879B (zh) | 层次聚类的方法及装置 | |
| CN114721833A (zh) | 一种基于平台业务类型的智能云端协调方法和装置 | |
| CN114610474B (zh) | 一种异构超算环境下多策略的作业调度方法及系统 | |
| CN110445939B (zh) | 容量资源的预测方法及装置 | |
| CN116450312A (zh) | 面向流水线并行训练的调度策略确定方法及系统 | |
| CN115220921B (zh) | 资源调度方法及相关装置、图形处理器、摄像器件和介质 | |
| CN105786610B (zh) | 计算密集型任务向云服务器中卸载的方法 | |
| CN114783021A (zh) | 一种口罩佩戴智能检测方法、装置、设备及介质 | |
| CN115454654B (zh) | 一种自适应资源匹配获取方法和装置 | |
| CN115098240B (zh) | 一种多处理器应用调度方法和系统及存储介质 | |
| CN114339266B (zh) | 一种基于国产cpu和操作系统的视频流队列处理方法 | |
| CN116010051A (zh) | 一种联邦学习多任务调度方法及装置 | |
| CN115563160A (zh) | 数据处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN113821313B (zh) | 一种任务调度方法、装置及电子设备 | |
| CN112637793B (zh) | 一种基于5g的场景化计费方法、系统、电子设备和存储介质 | |
| CN114723071A (zh) | 一种基于客户端分类和信息熵的联邦学习方法及装置 | |
| CN107992821A (zh) | 一种图像识别方法及系统 | |
| CN114327856A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN114327925A (zh) | 一种电力数据实时计算调度优化方法及系统 | |
| CN112598112A (zh) | 一种基于图神经网络的资源调度方法 | |
| CN118260054B (zh) | 获取方法、训练方法、任务处理方法及相关装置 | |
| CN118193177B (zh) | 一种任务的调度方法、系统、程序产品、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |