CN112667376A - 任务调度处理方法、装置、计算机设备及存储介质 - Google Patents
任务调度处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112667376A CN112667376A CN202011539991.2A CN202011539991A CN112667376A CN 112667376 A CN112667376 A CN 112667376A CN 202011539991 A CN202011539991 A CN 202011539991A CN 112667376 A CN112667376 A CN 112667376A
- Authority
- CN
- China
- Prior art keywords
- task
- executed
- tasks
- resources
- matched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012163 sequencing technique Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004083 survival effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种任务调度处理方法、装置、计算机设备及存储介质。所述方法包括：获取待执行任务，并计算出所述待执行任务匹配的待分配资源和匹配的权重；将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；按照所述执行次序从所述任务集合中获取所述待执行任务；根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。本发明实施例可以合理配置任务所需的资源，提高任务处理效率。
Description
技术领域
本发明实施例涉及数据处理领域，尤其涉及一种任务调度处理方法、装置、计算机设备及存储介质。
背景技术
目前，服务可以分解成多个任务，并按照固定的流程执行。这一过程可以称为流水线，即组装在一起的可以执行的活动或作业任务。流水线中涉及的任务需要对应部署服务器去执行。例如采用专有构建服务器或者构建集群，执行任务。
持续集成的流水线需要源源不断执行任务，流水线中任务量会实时改变，这会导致服务器资源不能有效利用。例如，出现大规模流水线任务，会出现大量的排队和长时间等待的情况。为了解决前述情况，通常会扩大服务器集群结构。
但上述方法，在服务器集群在闲时会导致极大的资源浪费。而且，如果不设置专有集群处理流水线任务会挤压服务器集群内其他服务器的运行。
发明内容
本发明实施例提供了一种任务调度处理方法、装置、计算机设备及存储介质，可以合理配置任务所需的资源，提高任务处理效率。
第一方面，本发明实施例提供了一种任务调度处理方法，包括：
获取待执行任务，并计算所述待执行任务匹配的待分配资源和匹配的权重；
将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；
按照所述执行次序从所述任务集合中获取所述待执行任务；
根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
第二方面，本发明实施例提供了一种任务调度处理装置，包括：
资源和权重计算模块，用于获取待执行任务，并计算所述待执行任务匹配的待分配资源和匹配的权重；
待执行任务添加模块，用于将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；
获取待执行任务模块，用于按照所述执行次序从所述任务集合中获取所述待执行任务；
容器部署模块，用于根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的任务调度处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的任务调度处理方法。
本发明实施例通过计算待执行任务匹配的待分配资源和匹配的权重，将待执行任务添加到任务集合中，并根据权重确定待执行任务的执行次序，在轮到待执行任务的执行次序时，获取目标空闲服务器，并部署与待分配资源匹配的目标容器，将待执行任务分配到目标容器中运行，可以按照与权重匹配的执行次序部署待执行任务对应的目标容器，同时该目标容器依赖的资源与待分配资源匹配，解决了现有技术中依靠扩大服务器集群规模以满足任务变多的问题，可以在空闲服务器中部署容器运行轮到执行次序的待执行任务，实现针对待执行任务实时部署容器，可以合理配置任务所需的资源，减少运行任务的服务器的数量激增的情况，并兼顾任务处理需求，提高任务处理效率。
附图说明
图1是本发明实施例一中的一种任务调度处理方法的流程图；
图2a是本发明实施例二中的一种任务调度处理方法的流程图；
图2b是本发明实施例二中的一种任务调度处理方法的流程图；
图3是本发明实施例三中的一种任务调度处理装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一中的一种任务调度处理方法的流程图，本实施例可适用于处理流水线任务的服务器集群中任务调度处理的情况，该方法可以由本发明实施例提供的任务调度处理装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成计算机设备中。如图1a所示，本实施例的方法具体包括：
S110，获取待执行任务，并计算所述待执行任务匹配的待分配资源和匹配的权重。
待执行任务用于在服务器集群中任一服务器中部署的容器中运行，以实现特定功能。待执行任务可以是指流水线任务。流水线任务是指存活时间短暂且发起无规律的任务。示例性的，待执行任务为数据查询任务、数据编辑任务和数据添加任务等；或者待执行任务为设备控制任务。可以根据需要配置待执行任务的内容。
待分配资源用于运行待执行任务。权重用于确定待执行任务的执行次序。实际上，存在多个需要分配资源待执行的任务，根据权重确定待执行任务的执行次序，在执行次序时，部署与待分配资源的容器运行待执行任务，可以有序并恰当配置资源运行待执行任务，可以避免服务器集群同时运行大量任务，导致服务器集群的压力过大产生错误，并合理配置资源，可以减少同时为大量任务同时分配资源，导致资源分配不合理，在闲时造成浪费的情况，使服务器集群均衡负载。
可选的，待分配资源的资源类型包括核心计算资源类型、内存存储资源类型和临时文件存储资源类型。
核心计算资源用于执行待执行任务中的计算操作。内存存储资源用于为待执行任务提供存储空间。临时文件存储资源用于为待执行任务的执行过程中生成临时文件(如中间结果)提供存储空间。
S120，将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序。
任务集合包括多个任务。通常获取的待执行任务会添加到任务集合，等待处理，其中，获取方式可以是生成待执行任务或者接收其他设备发送的待执行任务。执行次序用于确定待执行任务的执行顺序，该执行次序是相对于任务集合包括的任务而言。任务集合中包括多个任务，通常不会同时运行全部任务，可以依次运行各任务，在同一时刻运行多个任务，例如，2个任务，从而，需要根据各任务的执行次序，从任务集合中获取个任务分配资源并执行。
执行次序的确定方式可以是：根据待执行任务的权重，以及任务集合中各任务的权重和其他信息，确定各任务的执行次序以及待执行任务的权重。实际上，是将待执行任务和任务集合中包括的全部任务放在一起综合考虑，确定执行各任务的先后顺序，以确定待执行任务的执行次序。
S130，按照所述执行次序从所述任务集合中获取所述待执行任务。
任务集合中各任务按照各自的执行次序进行处理。在轮到待执行任务的执行次序时，从任务集合中提取待执行任务进行后续处理，即此时任务集合中不包括待执行任务。
S140，根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
待分配资源用于运行待执行任务。目标空闲服务器用于部署容器，并运行待执行任务。目标空闲服务器可以是指在服务器集群中空闲的服务器，即负载小的服务器。目标容器用于运行待执行任务。目标空间服务器将待分配资源配置给目标容器，目标容器采用待分配资源运行待执行任务。通过容器运行待执行任务，可以将待执行任务和在目标空闲服务器上正在执行的任务进行隔离，减少任务之间的相互影响，提高任务执行的准确率。
可选的，任务调度处理方法，还包括：在所述待执行任务执行完成之后；在所述目标空闲服务器中删除所述目标容器。
目标容器专用于执行该待执行任务。在所述待执行任务执行完成之后，目标容器不用于执行其他待执行任务，可以释放资源，以重新部署新容器执行新的任务。在目标空闲服务器中删除目标容器，用于释放配置给目标容器的待分配资源，以重新分配给其他任务，并相应配置给其他容器。
实际上，流水线任务的运行时长通常是短暂的且重复出现没有规律，由此可以选择在流水线任务运行完成，就释放对应的容器的资源，并等待配置给下一个流水线任务。
通过在待执行任务执行完成之后，及时释放目标容器的资源，可以循环利用服务器的资源，同时合理配置服务器资源，减少服务器资源的占用时长，增加服务器资源分配的灵活性。
此外，如果服务器集群中无服务器资源，则等待资源释放，并在资源释放之后继续依次对任务队列中各任务进行调度。
可选的，在根据所述待分配资源，在目标空闲服务器中部署目标容器之前，还包括：获取服务器集群中各服务器的占用资源；选择占用资源最小的服务器作为目标空闲服务器。
目标空闲服务器属于服务器集群。服务器集群包括大量服务器。服务器的占用资源可以是指服务器已经分配的资源。占用资源用于评价服务器的负载程度。占用资源最小的服务器，表明服务器的负载程度小，将待执行任务分配给该占用资源最小的服务器，可以达到负载均衡的效果。
其中，各服务器的占用资源可以通过对各服务器的监听获取。监听服务器首先通过服务器集群获取服务器集群的基本属性信息，例如，服务器集群总中央处理器(CentralProcessing Unit，CPU)数量，总内存容量和磁盘容量等，并存储，然后实时监控整个服务器集群的资源情况和分布的容器个数。由于实时监控对机器的损耗较大，可以采用轮询策略，间隔周期进行一次数据扫描，将扫描结果录入数据库，扫描时间一般根据业务特点来，扫描时间的周期小于等于30秒。
通过获取各服务器的占用资源，并在占用资源最小的服务器上部署目标容器，以执行待执行任务，可以合理配置服务器资源，并实现负载均衡。
本发明实施例通过计算待执行任务匹配的待分配资源和匹配的权重，将待执行任务添加到任务集合中，并根据权重确定待执行任务的执行次序，在轮到待执行任务的执行次序时，获取目标空闲服务器，并部署与待分配资源匹配的目标容器，将待执行任务分配到目标容器中运行，可以按照与权重匹配的执行次序部署待执行任务对应的目标容器，同时该目标容器依赖的资源与待分配资源匹配，解决了现有技术中依靠扩大服务器集群规模以满足任务变多的问题，可以在空闲服务器中部署容器运行轮到执行次序的待执行任务，实现针对待执行任务实时部署容器，可以合理配置任务所需的资源，减少运行任务的服务器的数量激增的情况，并兼顾任务处理需求，提高任务处理效率。
实施例二
图2a为本发明实施例二中的一种任务调度处理方法的流程图，本实施例以上述实施例为基础进行具体化。本实施例的方法具体包括：
S210，获取多个历史任务，并计算各所述历史任务与所述待执行任务之间的相似度，确定至少一个目标历史任务。
本发明实施例未详尽的描述可以参考前述实施例。
其中，历史任务为执行完成的任务。相似度可以是指历史任务和待执行任务之间的相似程度。目标历史任务为与待执行任务相似的历史任务。
历史任务以及匹配的历史分配资源可以通过监听获取，例如服务器集群中各节点安装采集代理(agent)终端的方式，主动向后端上报用量信息，后端数据库保存监听数据，用于后续的分析。示例性的，监听各历史任务对应部署的容器所占用的资源和生命周期，资源可以包括内存占用、CPU时间分片用量和容器内的磁盘IO量。历史任务的标签标识历史任务，并建立标签与资源、生命周期之间的对应关系。
可选的，获取多个历史任务，并计算各所述历史任务与所述待执行任务之间的相似度，确定至少一个目标历史任务，包括：根据所述待执行任务的特征信息，查询与所述待执行任务匹配的基准分配资源；根据所述基准分配资源分别与各所述历史任务的历史分配资源之间的差值，计算各所述历史任务与所述待执行任务之间的相似度值；按照相似度值对各所述历史任务进行排序，将排序结果中相似度值满足高相似条件的至少一个历史任务，确定为目标历史任务。
待执行任务的特征信息用于标识待执行任务的特征。特征信息可以是标签，采用键值对(Key＝Value)表示。在一个具体的例子中，lang＝java，表明该任务基于Java语言编写；os＝linux，表明该任务运行在Linux操作系统；type＝high_cpu，表明该任务对CPU的运算能力要求高；framework＝spring，表明该任务使用Spring框架构建。待执行任务的特征信息用于从预先记录的历史任务集中筛选出相同或者相似的目标历史任务。历史任务集的特征信息包括：待执行任务的特征信息，示例性的，基于如下公式，表示待执行任务的特征信息属于历史任务集的特征信息：
x∈Rj
x表示待执行任务，R为历史任务集，j表示特征信息。该公式表明，待执行任务的特征信息，属于预先记录的历史任务集的特征信息。
基准分配资源可以是指为某一类型的任务配置的资源。可以预先为各特征信息配置基准分配资源，并作为待执行任务的初始分配资源，之后通过目标历史任务的历史分配资源进行调整，以提高待执行任务的分配资源的准确率。在一个具体的例子中，特征信息包括：lang，若lang＝java，表明编程语言为Java，对应的基准分配资源为{cpu＝0.5，memory＝2G，file＝1G}，即对于基于Java编写的任务，默认分配0.5个CPU核心，2G的内存，1G的临时文件，其中，cpu为资源类型，0.5为该资源类型对应的分配量。
差值用于描述待执行任务与历史任务之间的相似程度。高相似条件用于筛选相似度值高的多个历史任务。高相似条件可以是指相似度从高到低的排序结果中，排名在前的k个(k大于等于1)的历史任务，或者可以是指大于等于预设相似度阈值的多个历史任务。
示例性的，相似度值可以基于如下公式计算：
其中，d为相似度值，n表示资源类型的数量，M表示资源类型集合，即资源，Mi表示第i个资源类型，ci表示第i个资源类型对应的权重，是常数，可以预先配置。
表示基准分配资源中第i个资源类型对应的分配量，
表示历史分配资源中第i个资源类型对应的分配量。r表示历史任务，历史任务的特征信息属于待执行任务的特征信息属于历史任务集的特征信息。
此外，相似度值还可以采用其他方式确定，例如采用距离公式(如欧氏距离)、K近邻算法那或预先训练的相似度计算模型等。
获取所有历史任务的相似度值，并按照从小到大的顺序进行排序，在排序结果中从后往前，连续取出k个相似度值，分别对应的历史任务为目标历史任务，其中，k大于等于1。
通过计算待执行任务和各历史任务之间的相似度值，并进行排序，选择相似度高的历史任务作为目标历史任务，并根据目标历史任务确定待分配资源，可以提高待分配资源的准确率。
S220，根据各所述目标历史任务匹配的历史分配资源，确定所述待执行任务匹配的待分配资源和匹配的权重。
历史分配资源为目标历史任务分配的资源。资源是一个数据资源集合，包括多个资源类型，每个资源类型对应有分配量。资源类型对应的分配量的单位可以认为是指标。指标可以是指数量特征。例如，资源类型为CPU核心，指标为CPU核心的数量，分配量为0.5个CPU核心。又如，资源类型为内存，指标为内存的容量，分配量为2G的内存。又如，资源类型为临时文件，指标为临时文件的容量，分配量为1G的临时文件。
根据多个目标历史任务匹配的历史分配资源，可以评估相似的待执行任务的待分配资源，实际上是用于为相似任务分配的资源来确定当前任务的资源，可以提高资源确定的准确率。
可选的，可以对各目标历史任务匹配的历史分配资源中每个资源类型的分配量，计算加权平均，确定待分配资源各资源类型的分配量。具体可以基于如下公式计算：
其中，
为待分配资源中第i个资源类型的分配量，k为目标历史任务的数量，Mi表示第i个资源类型，
为第i个目标历史任务的历史分配资源中第i个资源类型的分配量。其中，待分配资源第i个资源类型与历史分配资源中第i个资源类型的资源类型相同。
可选的，所述计算所述待执行任务匹配的权重，包括：从所述待执行任务匹配的待分配资源中提取资源类型和各所述资源类型对应的分配量；获取各所述资源类型对应的权重，并根据各所述资源类型对应的分配量计算加权和，确定为所述待执行任务匹配的权重。
资源类型用于标识资源中不同资源。可以分配的资源可以包括多个不同资源类型的资源，每个资源类型对应有分配量。分配量可以是指待分配资源中资源类型对应的资源的分配的数量，也即为待执行任务实际分配的资源中某个资源类型对应的资源的分配数量。权重可以是指对应的资源类型相对于其他资源类型的重要程度。
示例性的，权重可以基于如下公式计算：
其中，w为权重，n表示资源类型的数量，Mi表示第i个资源类型，
表示待分配资源(也即实际分配的资源)中第i个资源类型对应的分配量，ci表示第i个资源类型对应的权重，是常数，可以预先配置。
通过计算各资源类型对应的分配量的加权和，确定待执行任务匹配的权重，可以根据待执行任务的待分配资源情况，准确评估待执行任务的重要程度。
S230，将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序。
可选的，所述任务集合包括任务队列；所述将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序，包括：获取预先建立的任务队列中各任务对应的优先级，所述优先级根据所述任务的权重和所述任务在所述任务队列中的存活时间确定；根据所述待执行任务的权重，和各所述任务对应的优先级，对所述待执行任务和各所述任务进行排序；根据排序结果将所述待执行任务添加到所述任务队列中，并确定所述待执行任务的执行次序；所述按照所述执行次序从所述任务集合中获取所述待执行任务，包括：在所述待执行任务处于所述任务队列的首部位置，获取所述待执行任务。
任务队列为按照设定顺序排列任务的数据结果，通常，先进入队列的任务先出队列。任务队列中各任务按照任务对应的优先级的高低进行排列，通常优先级最高的任务在队列首部，优先级最低的任务在队列尾部。
优先级用于表示任务相对于该任务队列中其他任务的重要程度。示例性的，可以基于如下公式计算优先级：
W＝p×w×t
其中，W为优先级，p为预设常数，w为任务对应的权重，t为任务在任务队列中的存活时间。其中，w为在任务添加到任务队列时，根据待分配资源确定，具体方式可以参考前述。
任务在队列中的存活时间可以是指任务在任务队列中等待被处理的时长。对于待执行任务来说，未在任务队列中，待执行任务的t可以是1个单位时长，为任务队列中任务的t中的最小值。存活时间可以直接根据实时时间进行统计，还可以在该任务队列每添加一个任务时，除了添加的任务的每个任务的存活时间自动累加1个单位时长，具体可以根据需要进行设定。示例性的，单位时长可以为1秒。新任务进入队列会根据实际权重动态调整队列顺序，保证权重大的任务先执行，并且等待时间越长，权重小的任务也能优先执行。
根据待执行任务的权重可以计算待执行任务的优先级，并根据各任务对应的优先级，对待执行任务和各任务进行共同排序。根据排序结果将待执行任务添加到任务队列中，同时重新调整任务队列中各任务的顺序。
任务队列中从首部到尾部的排列顺序，即为任务队列的执行次序，也即任务队列按照该执行次序，依次从首部取出任务进行后续处理。待执行任务在任务队列中的位置，确定为该待执行任务的执行次序。任务队列的处理顺序为，每次从首部位置获取任务，分配相应的资源，部署相应的容器，以执行任务。在待执行任务处于任务队列的首部位置，任务队列在当前时刻获取到的任务为待执行任务，并为待执行任务分配资源，部署目标容器，基于目标容器运行待执行任务。
通过根据任务的权重和任务在任务队列中的存活时间确定各任务的优先级，基于待执行任务的权重，和各任务对应的优先级对各任务和待执行任务进行共同排序，并根据排序结果将待执行任务添加到任务队列中，可以在先来先服务的基础上，优先执行权重大的任务并且保证权重小的任务也能尽量公平，可以减少任务的等待时间，综合考虑任务权重和等待时间，合理配置整体集群资源。
S240，按照所述执行次序从所述任务集合中获取所述待执行任务。
S250，根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
在一个具体的例子中，如图2b所示，任务调度处理方法可以包括：
S201，获取待执行任务。
S202，计算所述待执行任务的待分配资源和权重。
对待执行任务进行评估，得到待执行任务的评估结果，该评估结果包括待分配资源和权重。
S203，根据所述待执行任务的权重，将所述待执行任务插入任务队列。
根据评估结果，按照预设规则插入任务队列。同时，重新获取任务队列中各任务的评估结果，调整队列中各任务的排列顺序。
S204，对所述任务队列中所述待执行任务进行调度处理。
通过调度器对任务队列中各任务进行调度。如果服务器集群中无服务器资源，则调度器等待资源释放，并在资源释放之后继续对任务队列中各任务进行调度；如果服务器集群中有服务器资源，则对任务队列中各任务进行调度，在空闲服务器中部署容器，并运行调度的任务。销毁运行完成的任务对应的容器，并释放服务器资源。
示例性的，调度算法可以是：将一个核心100％时间占用作为乘子基准1，2g内存做一个乘子基准。根据业务实际情况预先配置任务生命周期时间基准，将服务器CPU乘子和内存占用乘子的内积作为一个资源池模块，采用贪心算法，将任务队列中的任务放入资源最空闲地服务器中，并减去资源池剩余资源余值，直至每一个资源池全部无法插入容器。未调度的任务仍处于任务队列中等待。
任务队列设计的模式是根据预分配的资源占用按从高到低排列，时间占用乘子配置为基准。如果任务的存活时间超过时间基准，乘以一个小于1的固定系数，同时每一个待执行任务进入任务队列后配置基准等待数值，即前述单位时长，每有一个任务成功调度时基准等待数值减1，当基准等待数值归零时，资源占用系数乘以两位数的基准系数，确保该等待时间过长的任务优先调度。
实际上，待执行任务插入到任务队列合适的位置，等待执行即可。当任务队列执行到该待执行任务的时候，从资源池里面获取最空闲的机器，把待执行任务调度到该服务器执行即可。这样设置的好处在于，可以极大化利用整体集群资源，并使的等待时间大大压缩，并且将流水线容器构建时间等待时间尽量缩短的同时，极大的提高了资源使用效率，同时保证了服务器集群的稳定性。
S205，根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器运行所述待执行任务。
S206，资源监听以及数据采集。
收集服务器资源信息以及资源消耗状态。具体是监听服务器集群中，各服务器的CPU核心数量、内存容量和磁盘的容量空间等，以及监控运行时，各服务器占用的CPU核心数量、内存容量和磁盘的容量空间等，以及各服务器运行的任务的数量。
S207，获取采集的数据并分析数据。
获取服务器资源信息以及资源消耗状态，并进行分析，以分析确定当前的空闲资源，并基于空闲的资源去部署待执行任务，并运行待执行任务。
S208，基于资源评估机制，对待执行任务进行评估。
资源评估机制包括对相似的目标历史任务各资源类型的分配量进行加权平均，计算待执行任务的待分配资源；计算各任务的权重，以及优先级。
历史任务可以根据特征信息，如标签，找出相同类型的任务进行分类处理。首先确定同一个业务的多个不同任务，然后对同类任务作一个标记，根据内存消耗和CPU确定相应资源类型的分配量。该分配量根据记录数据量的增加进行动态计算，还可以根据时间维度计算存活时间。并且根据业务类型，针对类似业务进行人工筛选和标记，作为一个同类业务的基准分配资源，用于针对某些特定场景进行资源预分配。并且采用K近邻算法做一个更精细的分类和资源预估，一般采用线性回归分析进行判断。
在容器化的流水线构建的业务场景下，主要的特点是构建容器是临时的，会频繁创建和销毁，这就导致了对机器硬件资源的使用峰值是不固定的。通过本发明实施例提供的任务调度处理方法，可以对服务器资源以及容器资源的分配进行动态调度，实时调整任务队列中各任务的调度顺序。
对待执行任务进行评估之后，还可以将待执行任务的评估数据进行整理存储，添加到历史任务集中。
本发明实施例通过查询与待执行任务相似的目标历史任务，并根据各目标历史任务的实际分配得到的历史分配资源，计算待执行任务匹配的待分配资源，可以准确评估为执行任务分配的资源，避免过多或过少分配资源，合理配置服务器资源，提高服务器利用率，最大程度增加同一时刻执行的任务，提高任务执行效率，同时提高服务器集群的稳定性。
实施例三
图3为本发明实施例三中的一种任务调度处理装置的示意图。实施例三是实现本发明上述实施例提供的任务调度处理方法的相应装置，该装置可采用软件和/或硬件的方式实现，并一般可集成电子设备中，例如多级节点网络的节点中。
相应的，本实施例的装置可以包括：
资源和权重计算模块310，用于获取待执行任务，并计算所述待执行任务匹配的待分配资源和匹配的权重；
待执行任务添加模块320，用于将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；
获取待执行任务模块330，用于按照所述执行次序从所述任务集合中获取所述待执行任务；
容器部署模块340，用于根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
本发明实施例通过计算待执行任务匹配的待分配资源和匹配的权重，将待执行任务添加到任务集合中，并根据权重确定待执行任务的执行次序，在轮到待执行任务的执行次序时，获取目标空闲服务器，并部署与待分配资源匹配的目标容器，将待执行任务分配到目标容器中运行，可以按照与权重匹配的执行次序部署待执行任务对应的目标容器，同时该目标容器依赖的资源与待分配资源匹配，解决了现有技术中依靠扩大服务器集群规模以满足任务变多的问题，可以在空闲服务器中部署容器运行轮到执行次序的待执行任务，实现针对待执行任务实时部署容器，可以合理配置任务所需的资源，减少运行任务的服务器的数量激增的情况，并兼顾任务处理需求，提高任务处理效率。
进一步的，所述资源和权重计算模块310，具体用于：获取多个历史任务，并计算各所述历史任务与所述待执行任务之间的相似度，确定至少一个目标历史任务；根据各所述目标历史任务匹配的历史分配资源，确定所述待执行任务匹配的待分配资源。
进一步的，所述资源和权重计算模块310，具体用于：根据所述待执行任务的特征信息，查询与所述待执行任务匹配的基准分配资源；根据所述基准分配资源分别与各所述历史任务的历史分配资源之间的差值，计算各所述历史任务与所述待执行任务之间的相似度值；按照相似度值对各所述历史任务进行排序，将排序结果中相似度值满足高相似条件的至少一个历史任务，确定为目标历史任务。
进一步的，所述资源和权重计算模块310，具体用于：从所述待执行任务匹配的待分配资源中提取资源类型和各所述资源类型对应的分配量；获取各所述资源类型对应的权重，并根据各所述资源类型对应的分配量计算加权和，确定为所述待执行任务匹配的权重。
进一步的，所述任务调度处理装置还包括：目标空闲服务器确定模块，用于在根据所述待分配资源，在目标空闲服务器中部署目标容器之前，获取服务器集群中各服务器的占用资源；选择占用资源最小的服务器作为目标空闲服务器。
进一步的，所述任务集合包括任务队列；所述待执行任务添加模块320，具体用于：获取预先建立的任务队列中各任务对应的优先级，所述优先级根据所述任务的权重和所述任务在所述任务队列中的存活时间确定；根据所述待执行任务的权重，和各所述任务对应的优先级，对所述待执行任务和各所述任务进行排序；根据排序结果将所述待执行任务添加到所述任务队列中，并确定所述待执行任务的执行次序；所述资源和权重计算模块310，具体用于：在所述待执行任务处于所述任务队列的首部位置，获取所述待执行任务。
进一步的，所述任务调度处理装置还包括：容器资源释放模块，用于在所述待执行任务执行完成之后，在所述目标空闲服务器中删除所述目标容器。
上述任务调度处理装置可执行本发明实施例所提供的任务调度处理方法，具备执行的任务调度处理方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。计算机设备12可以是挂接在高速工业控制总线上的设备。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得发送设备能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、(Redundant Arrays of Inexpensive Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种任务调度处理方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的任务调度处理方法：
也即，该程序被处理器执行时实现：获取待执行任务，并计算所述待执行任务匹配的待分配资源和匹配的权重；将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；按照所述执行次序从所述任务集合中获取所述待执行任务；根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在发送设备计算机上执行、部分地在发送设备计算机上执行、作为一个独立的软件包执行、部分在发送设备计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到发送设备计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种任务调度处理方法，其特征在于，包括：
获取待执行任务，并计算出所述待执行任务匹配的待分配资源和匹配的权重；
将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；
按照所述执行次序从所述任务集合中获取所述待执行任务；
根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
2.根据权利要求1所述的方法，其特征在于，所述获取待执行任务，并计算所述待执行任务匹配的待分配资源，包括：
获取多个历史任务，并计算各所述历史任务与所述待执行任务之间的相似度，确定至少一个目标历史任务；
根据各所述目标历史任务匹配的历史分配资源，确定所述待执行任务匹配的待分配资源。
3.根据权利要求2所述的方法，其特征在于，所述获取多个历史任务，并计算各所述历史任务与所述待执行任务之间的相似度，确定至少一个目标历史任务，包括：
根据所述待执行任务的特征信息，查询与所述待执行任务匹配的基准分配资源；
根据所述基准分配资源分别与各所述历史任务的历史分配资源之间的差值，计算各所述历史任务与所述待执行任务之间的相似度值；
按照相似度值对各所述历史任务进行排序，将排序结果中相似度值满足高相似条件的至少一个历史任务，确定为目标历史任务。
4.根据权利要求1所述的方法，其特征在于，所述计算所述待执行任务匹配的权重，包括：
从所述待执行任务匹配的待分配资源中提取资源类型和各所述资源类型对应的分配量；
获取各所述资源类型对应的权重，并根据各所述资源类型对应的分配量计算加权和，确定为所述待执行任务匹配的权重。
5.根据权利要求1所述的方法，其特征在于，在根据所述待分配资源，在目标空闲服务器中部署目标容器之前，还包括：
获取服务器集群中各服务器的占用资源；
选择占用资源最小的服务器作为目标空闲服务器。
6.根据权利要求3所述的方法，其特征在于，所述任务集合包括任务队列；
所述将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序，包括：
获取预先建立的任务队列中各任务对应的优先级，所述优先级根据所述任务的权重和所述任务在所述任务队列中的存活时间确定；
根据所述待执行任务的权重，和各所述任务对应的优先级，对所述待执行任务和各所述任务进行排序；
根据排序结果将所述待执行任务添加到所述任务队列中，并确定所述待执行任务的执行次序；
所述按照所述执行次序从所述任务集合中获取所述待执行任务，包括：
在所述待执行任务处于所述任务队列的首部位置，获取所述待执行任务。
7.根据权利要求1所述的方法，其特征在于，还包括：
在所述待执行任务执行完成之后，在所述目标空闲服务器中删除所述目标容器。
8.一种任务调度处理装置，其特征在于，包括：
资源和权重计算模块，用于获取待执行任务，并计算出所述待执行任务匹配的待分配资源和匹配的权重；
待执行任务添加模块，用于将所述待执行任务添加到任务集合中，并根据所述待执行任务匹配的权重确定所述待执行任务的执行次序；
获取待执行任务模块，用于按照所述执行次序从所述任务集合中获取所述待执行任务；
容器部署模块，用于根据所述待分配资源，在目标空闲服务器中部署目标容器，并基于所述目标容器执行所述待执行任务。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的任务调度处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的任务调度处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011539991.2A CN112667376A (zh) | 2020-12-23 | 2020-12-23 | 任务调度处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011539991.2A CN112667376A (zh) | 2020-12-23 | 2020-12-23 | 任务调度处理方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112667376A true CN112667376A (zh) | 2021-04-16 |
Family
ID=75408790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011539991.2A Pending CN112667376A (zh) | 2020-12-23 | 2020-12-23 | 任务调度处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112667376A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113110927A (zh) * | 2021-04-19 | 2021-07-13 | 上海商汤科技开发有限公司 | 一种任务调度方法、装置、计算机设备和存储介质 |
| CN113238861A (zh) * | 2021-05-08 | 2021-08-10 | 北京天空卫士网络安全技术有限公司 | 一种任务执行方法和装置 |
| CN113238848A (zh) * | 2021-05-27 | 2021-08-10 | 上海商汤科技开发有限公司 | 一种任务调度方法、装置、计算机设备和存储介质 |
| CN113312166A (zh) * | 2021-07-29 | 2021-08-27 | 阿里云计算有限公司 | 资源处理方法以及装置 |
| CN113360270A (zh) * | 2021-06-30 | 2021-09-07 | 杭州数梦工场科技有限公司 | 一种数据清洗任务处理方法及装置 |
| CN113378498A (zh) * | 2021-08-12 | 2021-09-10 | 新华三半导体技术有限公司 | 一种任务分配方法及装置 |
| CN113434248A (zh) * | 2021-06-17 | 2021-09-24 | 中国科学院电子学研究所苏州研究院 | 一种面向容器云的任务协同调度系统及其方法 |
| CN113608869A (zh) * | 2021-07-21 | 2021-11-05 | 中央广播电视总台 | 任务调度方法、装置、电子设备和计算机存储介质 |
| CN113626171A (zh) * | 2021-08-26 | 2021-11-09 | 北京京东乾石科技有限公司 | 分析仓储执行设备的任务执行效率的方法、装置及系统 |
| CN113835865A (zh) * | 2021-09-30 | 2021-12-24 | 北京金山云网络技术有限公司 | 一种任务部署方法和装置、电子设备和存储介质 |
| CN114297923A (zh) * | 2021-12-24 | 2022-04-08 | 中汽创智科技有限公司 | 调度确定模型的训练方法、指标数据的确定方法及装置 |
| CN114461384A (zh) * | 2021-12-28 | 2022-05-10 | 浙江大华技术股份有限公司 | 任务执行方法、装置、计算机设备和存储介质 |
| CN114579270A (zh) * | 2022-02-24 | 2022-06-03 | 北京理工大学 | 一种基于资源需求预测的任务调度方法及系统 |
| CN115174535A (zh) * | 2022-06-24 | 2022-10-11 | 上海网达软件股份有限公司 | 基于Kubernetes实现文件转码POD调度方法、系统、设备及存储介质 |
| CN116521350A (zh) * | 2023-06-29 | 2023-08-01 | 联通沃音乐文化有限公司 | 基于深度学习算法的etl调度方法及装置 |
| CN117076555A (zh) * | 2023-05-08 | 2023-11-17 | 芜湖本初子午信息技术有限公司 | 一种基于计算的分布式任务管理系统及方法 |
| CN117785487A (zh) * | 2024-02-27 | 2024-03-29 | 融科联创(天津)信息技术有限公司 | 一种算力资源调度方法、装置、设备和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096353A (zh) * | 2019-05-14 | 2019-08-06 | 厦门美图之家科技有限公司 | 任务调度方法及装置 |
| CN110119310A (zh) * | 2019-04-12 | 2019-08-13 | 深圳壹账通智能科技有限公司 | 系统资源分配方法、装置、计算机可读存储介质及服务器 |
| WO2019186585A1 (en) * | 2018-03-27 | 2019-10-03 | Oracle Financial Services Software Limited | Computerized control of execution pipelines |
| CN111506413A (zh) * | 2020-07-02 | 2020-08-07 | 上海有孚智数云创数字科技有限公司 | 一种基于业务效率优化的智能任务调度方法及系统 |
| CN111667181A (zh) * | 2020-06-08 | 2020-09-15 | 拉扎斯网络科技（上海）有限公司 | 任务处理方法、装置、电子设备及计算机可读存储介质 |
| US10853082B1 (en) * | 2019-04-30 | 2020-12-01 | Splunk Inc. | Pipeline set selection based on duty cycle estimation of pipeline threads |
-
2020
- 2020-12-23 CN CN202011539991.2A patent/CN112667376A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019186585A1 (en) * | 2018-03-27 | 2019-10-03 | Oracle Financial Services Software Limited | Computerized control of execution pipelines |
| CN110119310A (zh) * | 2019-04-12 | 2019-08-13 | 深圳壹账通智能科技有限公司 | 系统资源分配方法、装置、计算机可读存储介质及服务器 |
| US10853082B1 (en) * | 2019-04-30 | 2020-12-01 | Splunk Inc. | Pipeline set selection based on duty cycle estimation of pipeline threads |
| CN110096353A (zh) * | 2019-05-14 | 2019-08-06 | 厦门美图之家科技有限公司 | 任务调度方法及装置 |
| CN111667181A (zh) * | 2020-06-08 | 2020-09-15 | 拉扎斯网络科技（上海）有限公司 | 任务处理方法、装置、电子设备及计算机可读存储介质 |
| CN111506413A (zh) * | 2020-07-02 | 2020-08-07 | 上海有孚智数云创数字科技有限公司 | 一种基于业务效率优化的智能任务调度方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Y. ZHAO, L. CHEN, Y. LI AND W. TIAN: "Efficient task scheduling for Many Task Computing with resource attribute selection", CHINA COMMUNICATIONS, vol. 11, no. 12, XP011571215, DOI: 10.1109/CC.2014.7019847 * |
| 孟宪福，张晓燕: "对等网络环境下基于相似度的任务调度策略研究", 计算机集成制造系统, no. 12 * |
| 范利利: "云计算任务调度智能优化算法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, pages 46 - 48 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113110927A (zh) * | 2021-04-19 | 2021-07-13 | 上海商汤科技开发有限公司 | 一种任务调度方法、装置、计算机设备和存储介质 |
| CN113238861A (zh) * | 2021-05-08 | 2021-08-10 | 北京天空卫士网络安全技术有限公司 | 一种任务执行方法和装置 |
| CN113238848A (zh) * | 2021-05-27 | 2021-08-10 | 上海商汤科技开发有限公司 | 一种任务调度方法、装置、计算机设备和存储介质 |
| CN113434248A (zh) * | 2021-06-17 | 2021-09-24 | 中国科学院电子学研究所苏州研究院 | 一种面向容器云的任务协同调度系统及其方法 |
| CN113434248B (zh) * | 2021-06-17 | 2022-02-01 | 苏州空天信息研究院 | 一种面向容器云的任务协同调度系统及其方法 |
| CN113360270B (zh) * | 2021-06-30 | 2024-02-27 | 杭州数梦工场科技有限公司 | 一种数据清洗任务处理方法及装置 |
| CN113360270A (zh) * | 2021-06-30 | 2021-09-07 | 杭州数梦工场科技有限公司 | 一种数据清洗任务处理方法及装置 |
| CN113608869A (zh) * | 2021-07-21 | 2021-11-05 | 中央广播电视总台 | 任务调度方法、装置、电子设备和计算机存储介质 |
| CN113312166A (zh) * | 2021-07-29 | 2021-08-27 | 阿里云计算有限公司 | 资源处理方法以及装置 |
| CN113312166B (zh) * | 2021-07-29 | 2022-02-01 | 阿里云计算有限公司 | 资源处理方法以及装置 |
| CN113378498A (zh) * | 2021-08-12 | 2021-09-10 | 新华三半导体技术有限公司 | 一种任务分配方法及装置 |
| CN113626171A (zh) * | 2021-08-26 | 2021-11-09 | 北京京东乾石科技有限公司 | 分析仓储执行设备的任务执行效率的方法、装置及系统 |
| CN113626171B (zh) * | 2021-08-26 | 2024-04-05 | 北京京东乾石科技有限公司 | 分析仓储执行设备的任务执行效率的方法、装置及系统 |
| CN113835865A (zh) * | 2021-09-30 | 2021-12-24 | 北京金山云网络技术有限公司 | 一种任务部署方法和装置、电子设备和存储介质 |
| CN114297923A (zh) * | 2021-12-24 | 2022-04-08 | 中汽创智科技有限公司 | 调度确定模型的训练方法、指标数据的确定方法及装置 |
| CN114461384A (zh) * | 2021-12-28 | 2022-05-10 | 浙江大华技术股份有限公司 | 任务执行方法、装置、计算机设备和存储介质 |
| CN114579270A (zh) * | 2022-02-24 | 2022-06-03 | 北京理工大学 | 一种基于资源需求预测的任务调度方法及系统 |
| CN115174535A (zh) * | 2022-06-24 | 2022-10-11 | 上海网达软件股份有限公司 | 基于Kubernetes实现文件转码POD调度方法、系统、设备及存储介质 |
| CN117076555A (zh) * | 2023-05-08 | 2023-11-17 | 芜湖本初子午信息技术有限公司 | 一种基于计算的分布式任务管理系统及方法 |
| CN117076555B (zh) * | 2023-05-08 | 2024-03-22 | 深圳市优友网络科技有限公司 | 一种基于计算的分布式任务管理系统及方法 |
| CN116521350A (zh) * | 2023-06-29 | 2023-08-01 | 联通沃音乐文化有限公司 | 基于深度学习算法的etl调度方法及装置 |
| CN116521350B (zh) * | 2023-06-29 | 2024-03-22 | 联通沃音乐文化有限公司 | 基于深度学习算法的etl调度方法及装置 |
| CN117785487A (zh) * | 2024-02-27 | 2024-03-29 | 融科联创(天津)信息技术有限公司 | 一种算力资源调度方法、装置、设备和介质 |
| CN117785487B (zh) * | 2024-02-27 | 2024-05-24 | 融科联创(天津)信息技术有限公司 | 一种算力资源调度方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112667376A (zh) | 任务调度处理方法、装置、计算机设备及存储介质 | |
| WO2021179462A1 (zh) | 基于改进量子蚁群算法的Spark平台任务调度方法 | |
| CA2780231C (en) | Goal oriented performance management of workload utilizing accelerators | |
| CN107038069B (zh) | Hadoop平台下动态标签匹配DLMS调度方法 | |
| US8434085B2 (en) | Scalable scheduling of tasks in heterogeneous systems | |
| US20090077235A1 (en) | Mechanism for profiling and estimating the runtime needed to execute a job | |
| CN108776934A (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| US20110072437A1 (en) | Computer job scheduler with efficient node selection | |
| CN111190712A (zh) | 一种任务调度方法、装置、设备及介质 | |
| CN111338791A (zh) | 集群队列资源的调度方法、装置、设备及存储介质 | |
| US10606650B2 (en) | Methods and nodes for scheduling data processing | |
| EP3932025A1 (en) | Computing resource scheduling method, scheduler, internet of things system, and computer readable medium | |
| CN112148468A (zh) | 一种资源调度方法、装置、电子设备及存储介质 | |
| CN105022668B (zh) | 一种作业调度方法及系统 | |
| CN105824705B (zh) | 一种任务分配方法和电子设备 | |
| CN117707759A (zh) | 一种多租户gpu集群弹性配额调度方法和系统 | |
| CA2631255A1 (en) | Scalable scheduling of tasks in heterogeneous systems | |
| US6782535B1 (en) | Dynamic queue width system and method | |
| CN115665157B (zh) | 一种基于应用资源类型的均衡调度方法和系统 | |
| CN115373764B (zh) | 一种容器自动加载方法和装置 | |
| CN113301087A (zh) | 资源调度方法、装置、计算设备和介质 | |
| CN109445863B (zh) | 一种基于fpga的数据处理方法、装置、设备及介质 | |
| CN114253686A (zh) | 一种任务调度方法、装置、电子设备及存储介质 | |
| CN114090201A (zh) | 资源调度方法、装置、设备及存储介质 | |
| CN114077481A (zh) | 任务调度方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |