CN115454595A - 一种算法程序的自动化调度系统、方法及存储介质 - Google Patents
一种算法程序的自动化调度系统、方法及存储介质 Download PDFInfo
- Publication number
- CN115454595A CN115454595A CN202211066443.1A CN202211066443A CN115454595A CN 115454595 A CN115454595 A CN 115454595A CN 202211066443 A CN202211066443 A CN 202211066443A CN 115454595 A CN115454595 A CN 115454595A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- task
- input
- output data
- management node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 256
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种算法任务的自动化调度系统，包括客户端，用于提供可视化界面，以获取算法流程图；管理节点集群，用于对客户端上传的算法流程图并对算法流程图进行解析以得出每个算法任务的输入输出数据及执行顺序，并按照执行顺序依次将每个算法任务的输入输出数据下发给对应计算节点集群；以及接收计算节点集群反馈回的执行结果；计算节点集群，用于接收管理节点集群下发的对应算法任务的输入输出数据匹配对应算法引擎并通过对应算法引擎调用对应程序代码执行。本发明能够实现算法程序的自动调用，用户无需熟悉每个算法的程序代码即可快速完成任务的处理，具有操作方便等特点。本发明还公开了一种算法任务的自动化调度方法及存储介质。
Description
技术领域
本发明涉及一种算法调度，尤其涉及一种算法程序的自动化调度系统、方法及存储介质。
背景技术
目前，对于一个完整的数据分析任务往往需要不同的算法程序来共同完成，比如，对于数据建模的作业项目，首先需要使用Spark对数据进行预处理，然后才能使用Pytorch或者MindSpore这类机器学习框架进行模型训练，同时可能还夹杂着一些自定义的可执行程序。工程人员在进行每一个算法任务时，需要熟悉各个算法任务的程序代码以及其输入输出数据的类型等，以解决不同的计算引擎之间的差异，同时，由于不同计算引擎之间的差异也会使得上述计算过程的操作更为复杂，使得数据分析的处理时长更长，不利于工程人员操作。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种算法任务的自动化调度系统，其能够解决现有的数据分析任务中需要工程人员熟悉每个算法任务的程序代码才能实现的问题以及由于不同算法的计算引擎之间的差异导致数据分析任务的操作更为复杂的问题。
本发明的目的之二在于提供一种算法任务的自动化调度方法，其能够解决现有的数据分析任务中需要工程人员熟悉每个算法任务的程序代码才能实现的问题以及由于不同算法的计算引擎之间的差异导致数据分析任务的操作更为复杂的问题。
本发明的目的之三在于提供一种存储介质，其能够解决现有的数据分析任务中需要工程人员熟悉每个算法任务的程序代码才能实现的问题以及由于不同算法的计算引擎之间的差异导致数据分析任务的操作更为复杂的问题。
本发明的目的之一采用如下技术方案实现：
一种算法任务的自动化调度系统，包括：
客户端，用于提供可视化界面，以获取用户构建的算法流程图；所述算法流程图包括一个作业项目的所有算法任务、每个算法任务的输入输出数据以及每个算法任务的执行顺序；
管理节点集群，与所述客户端通信连接，用于对所述客户端上传的算法流程图并对所述算法流程图进行解析以得出每个算法任务的输入输出数据及执行顺序，并按照执行顺序依次将每个算法任务的输入输出数据下发给对应计算节点集群；以及接收所述计算节点集群反馈回的执行结果；直到所有的算法任务执行完毕后得出作业项目的输出结果；
计算节点集群，与所述管理节点集群通信连接，用于接收所述管理节点集群下发的对应算法任务的输入输出数据匹配对应算法引擎并通过对应算法引擎调用对应程序代码执行。
进一步地，包括：所述算法流程图采用有向无环图的形式表示，并且有向无环图的节点表示每个算法任务。
进一步地，所述客户端提供的可视化界面包括组件区和操作区；其中，所述组件区，用于显示算法任务组件，每个算法任务组件均与算法库中的对应算法任务的程序代码相匹配；所述操作区，用于显示用户通过拖拽的方式从组件区选择的对应的算法任务组件所形成的有向无环图。
进一步地，所述管理节点集群包括主管理节点和备用管理节点；其中，所述主管理节点与客户端通信连接，用于获取所述客户端上传的算法流程图并对所述算法流程图进行解析，以及将解析得出的每个算法流程图的输入输出数据按照执行顺序存储于队列中；
所述备用管理节点，用于当所述主管理节点正常工作时，处于休眠状态，当所述主管理节点存在故障时，从休眠状态退出并替换所述主管理节点称为新的主管理节点；
所述备用管理节点有一个或多个，并且当所述备用管理节点有多个时，通过选举的方式从多个备用管理节点中选择一个备用管理节点替换存在故障的主管理节点。
进一步地，所述计算节点包括若干个计算节点；所述主管理节点，用于在按照执行顺序调用对应算法任务的输入输出数据后，对对应算法任务的输入输出数据进行分组，以及将分组后的输入输出数据下发给对应的计算节点；
所述主管理节点，还用于接收每个计算节点反馈回的执行结果并将若干个执行结果进行整合以得出对应算法任务的输出结果；
每个计算节点，还用于定时向所述主管理节点发送心跳连接，以使得所述主管理节点更新对应计算节点的可用状态。
本发明的目的之二采用如下技术方案实现：
一种算法任务的自动化调度方法，所述自动化调度方法包括：
获取步骤：获取算法流程图；所述算法流程图包括一个作业项目的所有算法任务、每个算法任务的输入输出数据以及每个算法任务的执行顺序；
处理步骤：对所述算法流程图进行解析以得出每个算法任务的输入输出数据和执行顺序，并按照执行顺序依次根据每个算法任务的输入输出数据匹配对应算法引擎并通过对应算法引擎调用对应程序代码执行；以及直到所有算法任务执行完毕后，得出作业项目的输出结果。
进一步地，所述处理步骤还包括：
解析步骤：对所述算法流程图进行解析以得出每个算法任务的输入输出数据和执行顺序；
存储步骤：按照执行顺序将每个算法任务的输入输出数据依次存储于队列中；
调用步骤：从队列中依次取出每个算法任务的输入输出数据，并将每个算法任务的输入输出数据分配对应的计算节点，从而使得所述计算节点匹配得出对应算法引擎并通过对应算法引擎调用对应程序代码执行；以及获取所述计算节点反馈回的执行结果得出对应算法任务的输出结果。
进一步地，所述调用步骤还包括：从队列中依次取出每个算法任务的输入输出数据后将对应算法任务的输入输出数据分组，并根据每组输入输出数据分配给对应的计算节点，以使得每个计算节点根据分配的输入输出数据从算法库中匹配得出对应算法程序并执行，以及接收每个计算节点反馈的执行结果并整合后得出对应算法任务的输出结果。
进一步地，还包括：定时检测步骤：定时获取每个计算节点上传的运行状态并计时更新每个计算节点的可用状态。
本发明的目的之三采用如下技术方案实现：
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序为自动化调度程序，所述自动化调度程序被处理器执行时实现如本发明的目的之二采用的一种算法任务的自动化调度方法的步骤。
相比现有技术，本发明的有益效果在于：
本发明通过将算法进行封装形成组件的方式，并通过可视化界面显示给用户，以使得用户根据自身的需求构建算法流程图，然后根据算法流程图中每个算法任务的输入数据匹配得出对应算法引擎并调用对应程序代码以执行，无需用户熟悉各种算法的程序代码，实现程序的自动调度，操作简单、数据处理效率高等问题。
附图说明
图1为本发明提供的一种算法流程的自动化调度系统模块图；
图2为本发明给出的算法流程图采用有向无环图表示的示意图；
图3为本发明提供的包括两个任务A和B的算法流程图；
图4为本发明提供的一种算法流程的自动化调度系统中主管理节点Master的分组处理的流程示意图；
图5为本发明提供的一种算法流程的自动化调度方法流程图；
图6为图5中的步骤S2的流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
本发明提供一种算法任务的自动化调度系统，其能够消除各个算法任务之间的差异，降低数据分析的门槛。同时，本发明还通过采用可视化界面，将封装好的算法以组件的形式显示于可视化界面中，这样，用户可通过拖拽的方式将算法组件拖拽入可视化界面中，以构建算法流程图，无需用户对算法程序本身过多的熟悉，降低操作门槛。
如图1-2所示，本发明提供一优选的实施例，一种算法任务的自动化调度系统，包括客户端、管理节点集群和计算节点集群。
其中，客户端，与用户进行交互，提供可视化界面。用户通过可视化界面来实现算法流程图(DAG)的构建，并通过客户端将算法流程图提交到系统中。比如在可视化界面上设置菜单区，在菜单区设置功能按钮。用户通过操作对应的功能按钮可将算法流程图提交到系统中。
其中，算法流程图采用有向无环图来表示，如图3所示，有向无环图的每个节点表示每个算法任务，相邻节点之间的线表示算法任务的执行顺序。比如，对于一个机器学习建模的作业项目，其包括一个基于Spark的预处理算法任务A和一个基于AI模型的训练任务B，如图4所示，可将上述两个任务按照调度的先后顺序通过有向无环图的方式组合起来，并通过可视化界面的操作区显示出来。
同时，本发明还构建算法库，用于存储各种算法的算法引擎。其中，每个算法组件均与算法库中对应的算法引擎匹配。也即，通过算法组件可匹配得出算法库中的算法引擎，进而通过算法引擎调用对应的程序代码并执行。优选地，本发明的算法库，封装了很多主流的开源算法，比如：基于Spark的大数据分析算法、人工智能算法。当然，在实际的使用过程中，算法库中的算法也可根据用户的需求增加自定义算法，并将自定义算法在算法库中注册，并形成自定义算法组件。这样，自定义算法即可向封装好的开源算法一样，在客户端供用户使用。自定义算法组件在可视化界面组件区中的显示图标，可由用户自定义设计，也可由用户从系统中选择，也可有系统随机给出。
更为优选地，可视化界面包括组件区、操作区和菜单区。其中，组件区，用于显示封装好的算法组件；操作区，用于显示用户构建的算法流程图；菜单区，用于显示各种功能按键。具体地，用户可通过拖拽的方式将组件区内的算法组件拖拽到操作区，并按照算法任务的执行顺序构建有向无环图，以形成算法流程图。
在作业设计时，工程人员可根据自身的需求确定一个作业项目的所有算法任务，然后从可视化界面的组件区中选取每个算法任务的算法组件，并以拖拽的方式将其拖拽入可视化界面的操作区，并根据所有算法任务的执行顺序将多个算法组件以有向无环图的方式构建形成算法流程图，工程人员无需熟悉每个算法任务的程序代码即可实现作业项目的开发设计。
另外，用户在构建算法流程图时，还需要对将每个算法任务的输入输出数据进行编辑定义。
管理节点集群，作为整个系统的核心管理部件，与客户端进行通信，接收客户端提交的算法流程图并对其进行解析。
优选地，本发明中的管理节点集群设有主管理节点Master，用于接收算法流程图并对其进行解析处理，以得出每个算法任务的输入输出数据以及执行顺序。
更为具体地，主管理节点Master，还用于将解析得出的算法任务的输入输出数据按照执行顺序存储于队列中。这样，在执行算法时依次从队列中取出每个算法任务的输入输出数据即可。
计算节点集群，是指用于算法调用的部件，与管理节点集群通信连接，用于接收管理节点集群中的主管理节点Master下发的算法任务的输入输出数据并通过调用对应的算法引擎执行对应的算法程序，以及将执行结果反馈给管理节点集群。
由于各个算法任务具有执行先后顺序，后一个算法任务的输入数据可能会应用到前一个算法任务的输出结果，比如前述训练任务B的输入数据是算法任务A经过预处理后的输出结果，因此，计算节点集群将得出的输出结果反馈给主管理节点Master，这样，主管理节点Master在取出下一个算法任务的输入数据的同时，还可能将前一个算法任务的输出数据作为下一个算法任务的输入数据，一并下发给计算节点集群。也即，一个算法任务的输入数据，既可以为用户输入的数据，也可以上一个算法任务执行后的输出结果。
优选地，本发明中的计算节点包括若干个计算节点Worker，其数量可根据实际的需求进行扩展。主管理节点Master在从队列中取出一个算法任务的输入输出数据时，还将算法任务的输入输出数据进行分组，并将分组后的每组输入输出数据分配给对应的计算节点Worker，以使得对应计算节点Worker根据分配的对应组输入输出数据通过对应的算法引擎调用对应算法程序执行。每个计算节点Worker还将执行结果反馈给主管理节点Master，主管理节点Master会根据反馈回的多个执行结果进行整合以得出该算法任务的输出数据。
优选地，主管理节点Master在对算法流程图进行解析、存储、数据分组以及每组数据对应的计算节点Worker的内容均会被记录下来，以便在发生故障时恢复。具体地，可以日志的方式将上述内容记录下来。
优选地，本发明中的计算节点Worker，在通过算法引擎调用算法程序运行的同时，还会根据输入输出数据的类型以及算法任务的类型将其提交到对应的算法引起，同时监控每个算法引擎的运行状态。
优选地，每个计算节点Worker还定期向主管理节点Master发送心跳连接，以向主管理节点Master发送其使用状态，从而使得主管理节点Master及时更新每个计算节点Worker的可用状态。更为优选地，主管理节点Master在对输入数据进行分组时，按照处于可用状态的计算节点Worker的数量进行分组，以保证数据的快速运行。
优选地，本发明的管理节点集群还包括备用管理节点Master，包括一个或多个。一旦主管理节点Master出现故障时，可从若干个备用管理节点Master中选出一个备用管理节点Master，将其作为主管理节点Master，以解决主管理节点Master出现故障而导致系统无法运行的问题。
另外，当备用管理节点Master有多个时，可通过选举的方式从多个备用管理节点中选择出一个备用管理节点Master作为主管理节点Master。具体地，当主管理节点Master发生故障时，每个备用管理节点Master均向其他的备用管理节点Master发出选举指令，从而选举中一个备用管理节点Master作为主管理节点Master。其中，选举的规则具体可根据需求设定。
实施例二
基于实施例一，本发明还提供一种算法任务的自动化调度方法，如图5所示，包括以下步骤：
步骤S1、获取算法流程图。
其中，算法流程图包括一个作业项目的所有算法任务、每个算法任务的输入数据以及每个算法任务的执行顺序。
更为优选地，算法流程图采用有向无环图的方式表示。
步骤S2、对算法流程图进行解析以得出每个算法任务的输入输出数据和执行顺序，以及按照执行顺序依次根据每个算法任务的输入输出数据匹配得出对应算法引擎并通过对应算法引擎调用对应程序代码执行，以及直到所有算法任务执行完毕后得出作业项目的输出结果。
优选地，如图6所示，步骤S2还包括：
步骤S21、对算法流程图进行解析以得出每个算法任务的输入输出数据和执行顺序；
步骤S22、按照执行顺序将每个算法任务的输入输出数据依次存储于队列中。
步骤S23、从队列中依次取出每个算法任务的输入输出数据，并将每个算法任务的输入输出数据分配对应的计算节点，从而使得计算节点根据对应算法任务匹配得出对应算法引擎并通过对应算法引擎调用对应程序代码执行。
步骤S24、获取计算节点反馈的执行结果以得出对应算法任务的输出结果。
优选地，步骤S23还具体包括：从队列中依次取出每个算法任务的输入输出数据后，还将对应算法任务的输入输出数据分组，并将分组后的每组输入输出数据下发给对应的计算节点。
对应地，步骤S24还包括：接收每个计算节点反馈的执行结果并将若干个执行结果进行整合后得出对应算法任务的输出数据。
优选地，本发明还包括：定时检测步骤：定时获取每个计算节点上传的运行状态并及时更新每个计算节点的可用状态。通过将计算节点与管理节点集群的主管理节点构建心跳连接，以使得主管理节点及时更新每个计算节点的可用状态。
优选地，本发明还包括：故障修复步骤：当主管理节点出现故障时，从若干个备用管理节点中选出一个备用管理节点作为主管理节点。通过设置备用的Master，可解决主管理节点出现故障而导致系统无法运行的问题，保证系统的实时稳定运行。
实施例三
基于实施例二，本发明还提供另外一实施例，一种存储介质，其上存储有计算机程序，所述计算机程序为自动化调度程序，所述自动化调度计算机程序被处理器执行时实现以下步骤：
获取步骤：获取算法流程图；所述算法流程图包括一个作业项目的所有算法任务、每个算法任务的输入输出数据以及每个算法任务的执行顺序；
处理步骤：对所述算法流程图进行解析以得出每个算法任务的输入输出数据和执行顺序，并按照执行顺序依次根据每个算法任务的输入输出数据匹配对应算法引擎并通过对应算法引擎调用对应程序代码执行；以及直到所有算法任务执行完毕后，得出作业项目的输出结果。
进一步地，所述处理步骤还包括：
解析步骤：对所述算法流程图进行解析以得出每个算法任务的输入输出数据和执行顺序；
存储步骤：按照执行顺序将每个算法任务的输入输出数据依次存储于队列中；
调用步骤：从队列中依次取出每个算法任务的输入输出数据，并将每个算法任务的输入输出数据分配对应的计算节点，从而使得所述计算节点匹配得出对应算法引擎并通过对应算法引擎调用对应程序代码执行；以及获取所述计算节点反馈回的执行结果得出对应算法任务的输出结果。
进一步地，所述调用步骤还包括：从队列中依次取出每个算法任务的输入输出数据后将对应算法任务的输入输出数据分组，并根据每组输入输出数据分配给对应的计算节点，以使得每个计算节点根据分配的输入输出数据从算法库中匹配得出对应算法程序并执行，以及接收每个计算节点反馈的执行结果并整合后得出对应算法任务的输出数据。其中，输入输出数据的组数与处于可用状态的计算节点的数目相同。
进一步地，还包括：定时检测步骤：定时获取每个计算节点上传的运行状态并计时更新每个计算节点的可用状态。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.一种算法任务的自动化调度系统，其特征在于，包括：
客户端，用于提供可视化界面，以获取用户构建的算法流程图；所述算法流程图包括一个作业项目的所有算法任务、每个算法任务的输入输出数据以及每个算法任务的执行顺序；
管理节点集群，与所述客户端通信连接，用于对所述客户端上传的算法流程图并对所述算法流程图进行解析以得出每个算法任务的输入输出数据及执行顺序，并按照执行顺序依次将每个算法任务的输入输出数据下发给对应计算节点集群；以及接收所述计算节点集群反馈回的执行结果；直到所有的算法任务执行完毕后得出作业项目的输出结果；
计算节点集群，与所述管理节点集群通信连接，用于接收所述管理节点集群下发的对应算法任务的输入输出数据匹配对应算法引擎并通过对应算法引擎调用对应程序代码执行。
2.根据权利要求1所述的算法任务的自动化调度系统，其特征在于，包括：所述算法流程图采用有向无环图的形式表示，并且有向无环图的节点表示每个算法任务。
3.根据权利要求2所述的算法任务的自动化调度系统，其特征在于，所述客户端提供的可视化界面包括组件区和操作区；其中，所述组件区，用于显示算法任务组件，每个算法任务组件均与算法库中的对应算法任务的程序代码相匹配；所述操作区，用于显示用户通过拖拽的方式从组件区选择的对应的算法任务组件所形成的有向无环图。
4.根据权利要求1所述的算法任务的自动化调度系统，其特征在于，所述管理节点集群包括主管理节点和备用管理节点；其中，所述主管理节点与客户端通信连接，用于获取所述客户端上传的算法流程图并对所述算法流程图进行解析，以及将解析得出的每个算法流程图的输入输出数据按照执行顺序存储于队列中；
所述备用管理节点，用于当所述主管理节点正常工作时，处于休眠状态，当所述主管理节点存在故障时，从休眠状态退出并替换所述主管理节点称为新的主管理节点；
所述备用管理节点有一个或多个，并且当所述备用管理节点有多个时，通过选举的方式从多个备用管理节点中选择一个备用管理节点替换存在故障的主管理节点。
5.根据权利要求4所述的算法任务的自动化调度系统，其特征在于，所述计算节点包括若干个计算节点；所述主管理节点，用于在按照执行顺序调用对应算法任务的输入输出数据后，对对应算法任务的输入输出数据进行分组，以及将分组后的输入输出数据下发给对应的计算节点；
所述主管理节点，还用于接收每个计算节点反馈回的执行结果并将若干个执行结果进行整合以得出对应算法任务的输出结果；
每个计算节点，还用于定时向所述主管理节点发送心跳连接，以使得所述主管理节点更新对应计算节点的可用状态。
6.一种算法任务的自动化调度方法，其特征在于，所述自动化调度方法包括：
获取步骤：获取算法流程图；所述算法流程图包括一个作业项目的所有算法任务、每个算法任务的输入输出数据以及每个算法任务的执行顺序；
处理步骤：对所述算法流程图进行解析以得出每个算法任务的输入输出数据和执行顺序，并按照执行顺序依次根据每个算法任务的输入输出数据匹配对应算法引擎并通过对应算法引擎调用对应程序代码执行；以及直到所有算法任务执行完毕后，得出作业项目的输出结果。
7.根据权利要求6所述的算法任务的自动化调度方法，其特征在于，所述处理步骤还包括：
解析步骤：对所述算法流程图进行解析以得出每个算法任务的输入输出数据和执行顺序；
存储步骤：按照执行顺序将每个算法任务的输入输出数据依次存储于队列中；
调用步骤：从队列中依次取出每个算法任务的输入输出数据，并将每个算法任务的输入输出数据分配对应的计算节点，从而使得所述计算节点匹配得出对应算法引擎并通过对应算法引擎调用对应程序代码执行；以及获取所述计算节点反馈回的执行结果得出对应算法任务的输出结果。
8.根据权利要求7所述的算法任务的自动化调度方法，其特征在于，所述调用步骤还包括：从队列中依次取出每个算法任务的输入输出数据后将对应算法任务的输入输出数据分组，并根据每组输入输出数据分配给对应的计算节点，以使得每个计算节点根据分配的输入输出数据从算法库中匹配得出对应算法程序并执行，以及接收每个计算节点反馈的执行结果并整合后得出对应算法任务的输出结果。
9.根据权利要求8所述的算法任务的自动化调度方法，其特征在于，还包括：定时检测步骤：定时获取每个计算节点上传的运行状态并计时更新每个计算节点的可用状态。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序为自动化调度程序，所述自动化调度程序被处理器执行时实现如权利要求6-9中任意一项所述的一种算法任务的自动化调度方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211066443.1A CN115454595A (zh) | 2022-09-01 | 2022-09-01 | 一种算法程序的自动化调度系统、方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211066443.1A CN115454595A (zh) | 2022-09-01 | 2022-09-01 | 一种算法程序的自动化调度系统、方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115454595A true CN115454595A (zh) | 2022-12-09 |
Family
ID=84300480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211066443.1A Pending CN115454595A (zh) | 2022-09-01 | 2022-09-01 | 一种算法程序的自动化调度系统、方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115454595A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111240662A (zh) * | 2020-01-16 | 2020-06-05 | 同方知网(北京)技术有限公司 | 一种基于任务可视化拖拽的spark机器学习系统及学习方法 |
| WO2021196074A1 (zh) * | 2020-04-01 | 2021-10-07 | 华为技术有限公司 | 任务调度方法及装置 |
| CN114625517A (zh) * | 2022-04-13 | 2022-06-14 | 北京赛博云睿智能科技有限公司 | 一种dag图计算分布式大数据工作流任务调度平台 |
| CN114896038A (zh) * | 2022-04-28 | 2022-08-12 | 北京和利时系统工程有限公司 | 管理和调度数据分析算法的方法及系统 |
-
2022
- 2022-09-01 CN CN202211066443.1A patent/CN115454595A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111240662A (zh) * | 2020-01-16 | 2020-06-05 | 同方知网(北京)技术有限公司 | 一种基于任务可视化拖拽的spark机器学习系统及学习方法 |
| WO2021196074A1 (zh) * | 2020-04-01 | 2021-10-07 | 华为技术有限公司 | 任务调度方法及装置 |
| CN114625517A (zh) * | 2022-04-13 | 2022-06-14 | 北京赛博云睿智能科技有限公司 | 一种dag图计算分布式大数据工作流任务调度平台 |
| CN114896038A (zh) * | 2022-04-28 | 2022-08-12 | 北京和利时系统工程有限公司 | 管理和调度数据分析算法的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107239335B (zh) | 分布式系统的作业调度系统及方法 | |
| CN109783214B (zh) | 任务调度控制系统 | |
| US20040015846A1 (en) | System, device and method for integrating functioning of autonomous processing modules, and testing apparatus using same | |
| CN109299150B (zh) | 一种可配置多数据源适配规则引擎解决方法 | |
| CN111125444A (zh) | 大数据任务调度管理方法、装置、设备及存储介质 | |
| CN105719126B (zh) | 一种基于生命周期模型的互联网大数据任务调度的系统及方法 | |
| US10817532B2 (en) | Scientific computing process management system | |
| CN113569987A (zh) | 模型训练方法和装置 | |
| CN111984390A (zh) | 任务调度方法、装置、设备及存储介质 | |
| JP2005527916A (ja) | 作業リスト予報のためのシステムおよび方法 | |
| CN108647886B (zh) | 科学计算流程管理系统 | |
| CN110362315A (zh) | 基于dag的软件系统调度方法及装置 | |
| CN110569113A (zh) | 分布式任务的调度方法及系统、计算机可读存储介质 | |
| CN106127365A (zh) | 定量遥感产品在线交互式自主生产方法 | |
| CN110619014A (zh) | 一种基于etl的数据抽取方法 | |
| CN107908469A (zh) | 一种任务调度方法及系统 | |
| US11119899B2 (en) | Determining potential test actions | |
| JP2020537269A (ja) | リアルタイムタスク間の低レイテンシ通信を保証する順序付け計画を実行するための方法 | |
| CN111147541B (zh) | 基于参数服务器的节点处理方法、装置、设备及存储介质 | |
| CN115454595A (zh) | 一种算法程序的自动化调度系统、方法及存储介质 | |
| CN116627609A (zh) | 基于Hive批处理的调度方法及装置 | |
| CN116400950A (zh) | 一种基于版本控制的DevOps元流水线系统 | |
| US20220229692A1 (en) | Method and device for data task scheduling, storage medium, and scheduling tool | |
| CN115510957A (zh) | 一种模型训练方法和系统 | |
| CN111475684B (zh) | 数据处理网络系统及其计算图生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221209 |