CN113641482B - Ai算法离线调度方法、系统、计算机设备及存储介质 - Google Patents
Ai算法离线调度方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113641482B CN113641482B CN202111016079.3A CN202111016079A CN113641482B CN 113641482 B CN113641482 B CN 113641482B CN 202111016079 A CN202111016079 A CN 202111016079A CN 113641482 B CN113641482 B CN 113641482B
- Authority
- CN
- China
- Prior art keywords
- task
- algorithm
- data
- pipeline
- configuration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 279
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013507 mapping Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 3
- 240000007087 Apium graveolens Species 0.000 description 2
- 235000015849 Apium graveolens Dulce Group Nutrition 0.000 description 2
- 235000010591 Appio Nutrition 0.000 description 2
- 241000283965 Ochotona princeps Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 244000141353 Prunus domestica Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/544—Buffers; Shared memory; Pipes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种AI算法离线调度方法、系统、计算机设备及存储介质，该方法包括：通过消息队列接收算法注册请求、任务注册请求，根据算法注册请求对算法服务进行注册，根据任务注册请求对任务进行注册；读取已注册的任务的配置信息，触发数据采集器从数据仓库中采集与任务相应的任务数据；通过消息队列接收与任务相应的任务数据；根据任务的配置信息，将任务数据推送给与任务绑定的算法管道，以调度算法管道中包含的已注册的算法服务对任务数据进行计算；通过消息队列接收算法服务对任务数据进行计算后的结果数据，并将结果数据写入数据仓库。本发明通过将数据采集、算法调度业务和算法服务执行隔离，实现对各类AI算法的分布式调度。
Description
技术领域
本发明涉及算法调度技术领域，具体地，涉及一种AI算法离线调度方法、系统、计算机设备及存储介质。
背景技术
随着人工智能技术的发展，智能分析算法越来越受人们青睐。在实际使用中，越来越多的需求需要通过不同算法来完成，甚至需多个算法厂家的多种算法配合，算法厂家往往擅长特定算法，但行业应用常需要不同的算法相结合来实现一个整体的方案，但是，由于不同算法厂商中算法本质不同，现有的算法运行平台不能够根据用户的需求整合对应种类以及数量的算法资源，给用户的使用造成困扰。
发明内容
本发明旨在克服上述现有技术中至少一种缺陷，提供一种AI算法离线调度方法、系统、计算机设备及存储介质，通过将数据采集、算法调度业务和算法服务执行隔离，实现对各类AI算法的分布式调度。
本发明采用的技术方案为：
第一方面，提供一种AI算法离线调度方法，包括：
通过消息队列接收算法注册请求、任务注册请求，根据所述算法注册请求对算法服务进行注册，根据所述任务注册请求对任务进行注册；
读取已注册的所述任务的配置信息，触发数据采集器，以使所述数据采集器从数据仓库中采集与所述任务相应的任务数据；
通过消息队列接收所述数据采集器采集的与所述任务相应的任务数据；
根据所述任务的配置信息，将所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道中包含的已注册的算法服务对所述任务数据进行计算；
通过消息队列接收所述算法服务对所述任务数据进行计算后的结果数据，并将所述结果数据写入所述数据仓库。
进一步地，根据所述任务注册请求对任务进行注册，包括：
根据所述任务注册请求保存任务的配置信息，并生成任务对象；
根据所述任务的配置信息绑定对应的算法管道和任务触发器；
将所述任务加入生效任务列表，完成对所述任务的注册；
读取已注册的所述任务的配置信息，触发数据采集器，以使所述数据采集器从数据仓库中采集与所述任务相应的任务数据，包括：
从所述生效任务列表中读取已注册的所述任务的配置信息，启动与所述任务绑定的所述任务触发器触发数据采集器，以使所述数据采集器从数据仓库中采集与所述任务对象相应的任务数据。
进一步地，根据所述算法注册请求对算法服务进行注册，包括：
根据所述算法注册请求，保存算法服务的配置信息；
根据所述算法服务的配置信息生成算法元类并将所述算法元类加入到算法库中，完成对所述算法服务的注册。
进一步地，根据所述任务的配置信息，将所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道中包含的已注册的算法服务对所述任务数据进行计算，包括：
对所述任务数据进行预处理；
根据所述任务的配置信息，将预处理后的所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道中包含的已注册的算法服务对预处理后的所述任务数据进行计算。
进一步地，所述任务的配置信息包括算法管道的算法服务名称列表和算法管道调度模式；
根据所述任务的配置信息，将所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道包含的已注册的算法服务对所述任务数据进行计算，还包括：
根据所述算法管道的算法服务名称列表，将所述任务数据推送给与所述任务绑定的算法管道，并按所述算法管道调度模式调度所述算法管道的算法服务名称列表上的算法服务对所述任务数据进行计算。
进一步地，所述预处理包括将所述任务数据中多余的信息进行删减，和/或，根据所述任务的类型对所述任务数据进行聚合，得到所述算法服务可接收的数据格式的任务数据。
进一步地，接收所述算法服务对所述任务数据进行计算后的结果数据，并将所述结果数据写入所述数据仓库，包括：
接收所述算法服务对所述任务数据进行计算后的结果数据；
生成所述结果数据与所述任务数据的映射关系；
将所述映射关系与所述结果数据写入所述数据仓库。
第二方面，提供一种AI算法离线调度系统，包括：
数据接收模块，用于通过消息队列接收算法注册请求、任务注册请求；
注册模块，用于根据所述算法注册请求对算法服务进行注册或根据所述任务注册请求对任务进行注册；
任务触发模块，用于读取已注册的所述任务的配置信息，触发数据采集器，以使所述数据采集器从数据仓库中采集与所述任务相应的任务数据；
所述数据接收模块还用于通过消息队列接收所述数据采集器采集的与所述任务相应的任务数据；
数据推送模块，用于根据所述任务的配置信息，将所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道中包含的已注册的算法服务对所述任务数据进行计算；
所述数据接收模块还用于通过消息队列接收所述算法服务对所述任务数据进行计算后的结果数据；
写入模块，用于将所述结果数据写入所述数据仓库。
第三方面，提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
与现有技术相比，本发明的有益效果为：本发明通过利用消息队列，接收算法注册请求、任务注册请求，完成对算法服务和任务的注册，根据任务的配置信息触发数据采集器从数据仓库中采集与任务相应的任务数据，并通过消息队列将任务数据推送给与任务绑定的算法管道，以调度算法管道中包含的已注册的算法服务对任务数据进行计算，实现将任务数据采集、算法调度业务和算法服务执行隔离，具有高吞吐、低耦合和易扩展等特点，可广泛用于通信质检、话单分类和信息抽取等应用场景。
附图说明
图1为实施例1所述的AI算法离线调度方法的流程示意图；
图2为实施例1所述的AI算法离线调度方法的另一流程示意图；
图3为实施例1所述的AI算法离线调度方法的另一流程示意图；
图4为实施例2所述的AI算法离线调度系统的模块示意图。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
在本实施例中，如图1所示，提供一种AI算法离线调度方法，本方法应用于COP平台(Collaborative Operation Platform，协同运营平台)，以调度器为执行主体为例，本方法包括以下步骤：
S100.通过消息队列接收算法注册请求、任务注册请求，根据算法注册请求对算法服务进行注册，根据任务注册请求对任务进行注册。
可以理解的是，算法注册请求中包含有算法服务的配置信息，任务注册请求中包含有任务的配置信息，该算法任务及其配置信息、任务及其配置信息通过消息队列上传至调度器；其中，如图2所示，步骤S100中根据任务注册请求对任务进行注册，具体可以包括以下步骤：
S111.根据任务注册请求保存任务的配置信息，并生成任务对象。
S112.根据任务的配置信息绑定对应的算法管道和任务触发器。
S113.将任务加入生效任务列表，完成对任务的注册。
具体的，任务的配置信息包括但不限于任务名称、该任务需执行的算法管道的算法服务名称列表、算法管道调度模式、任务触发器类型、触发器参数信息、任务对应的数据采集器、数据源配置、数据筛选条件；如图3所示，调度器通过消息队列接收该任务的配置信息后，将该任务的配置信息保存并生成任务对象，然后根据任务的配置信息中的任务触发器类型、触发器参数信息绑定任务触发器，根据任务的配置信息中的算法管道的算法服务名称列表、算法管道调度模式将该任务与算法管道的算法服务名称列表中的算法服务进行绑定；最后将该任务加入生效任务列表，从而完成对该任务的注册。
具体的，算法服务的配置信息包括但不限于算法服务名称、算法类型、算法调度模式、算法订阅的exchange、算法订阅的routing_key、算法结果回调类型、算法对应的celery入口函数名；其中，步骤S100中根据算法注册请求对算法服务进行注册，具体可以包括以下步骤：
S121.根据算法注册请求，保存算法服务的配置信息。
S122.根据算法服务的配置信息生成算法元类并将算法元类加入到算法库中，完成对算法服务的注册。
具体的，调度器通过消息队列接收算法注册请求后，将算法注册请求中包含的算法服务的配置信息进行保存，根据算法服务的配置信息中的算法服务名称、算法类型生成算法元类，并将算法元类加入到调度器的算法库中，从而完成对算法服务的注册。
S200.读取已注册的任务的配置信息，触发数据采集器，以使数据采集器从数据仓库中采集与任务相应的任务数据。
为了采集的任务数据更加准确，步骤S200具体可以为：从生效任务列表中读取已注册的任务的配置信息，启动与任务绑定的任务触发器触发数据采集器，以使数据采集器从数据仓库中采集与任务对象相应的任务数据。
具体的，调度器从生效任务列表中读取已注册的任务的配置信息，优选的，读取已注册的任务的配置信息中的任务触发器类型和触发器参数信息，启动与任务绑定的任务触发器触发与该任务对应的数据采集器，数据采集器根据数据源配置和数据筛选条件，从数据仓库中对应的数据源中按照数据筛选条件采集与任务相应的任务数据；具体的，任务触发器可以为cron定时触发器、interval间隔触发器、date定时触发器中的一种，当任务触发器为cron定时触发器时，该任务可以在生效状态下定时执行多次，当任务触发器为interval间隔触发器时，该任务在生效状态下按一定间隔时间执行多次，当任务触发器为date定时触发器时，该任务在生效状态下按指定特定时间执行一次。
S300.通过消息队列接收数据采集器采集的与任务相应的任务数据。
具体的，通过触发数据采集器从数据仓库采集与任务相应的任务数据，并通过消息队列将任务数据回调给调度器，从而实现任务数据采集与算法调度业务的隔离。
S400.根据任务的配置信息，将任务数据推送给与任务绑定的算法管道，以调度算法管道中包含的已注册的算法服务对任务数据进行计算。
为了使接收的任务数据都能输入到算法服务中，步骤S400具体可以包括以下步骤：
S410.对任务数据进行预处理。
S420.根据任务的配置信息，将预处理后的任务数据推送给与任务绑定的算法管道，以调度算法管道中包含的已注册的算法服务对预处理后的任务数据进行计算。
在一个实施例中，预处理包括将任务数据中多余的信息进行删减，和/或，根据任务的类型对任务数据进行聚合，得到算法服务可接收的数据格式的任务数据。
在一个实施例中，任务的配置信息包括算法管道的算法服务名称列表和算法管道调度模式；
根据任务的配置信息，将任务数据推送给与任务绑定的算法管道，以调度算法管道包含的已注册的算法服务对任务数据进行计算，还包括：
根据算法管道的算法服务名称列表，将任务数据推送给与任务绑定的算法管道，并按算法管道调度模式调度算法管道的算法服务名称列表上的算法服务对任务数据进行计算。
具体的，调度器接收任务数据后，将任务数据中多余的信息进行删减，并根据任务的类型对任务数据进行聚合，其中，任务的类型可以包括但不限于话单标注、用户标注等，调度器先按照任务的类型将对任务数据进行分类，然后将同一类的数据进行加和，完成对任务数据的聚类，从而得到统一的可输入算法服务的数据格式的任务数据。
具体的，算法管道内包含了任务在注册时根据任务的配置数据中的算法管道的算法服务名称列表绑定的多个已注册的算法服务，算法管道调度模式包含了算法调度模式；调度器将预处理后的任务数据按算法管道调度模式推送给与该任务绑定的算法管道，也即推送给绑定的多个已注册的算法服务，算法服务接收到任务数据后对其进行计算得到结果数据，并根据算法结果回调类型将该结果数据通过消息队列回调给调度器，从而实现算法调度业务与算法服务执行计算过程的分离；其中，算法调度模式和算法管道调度模式均可以为并发调度或顺序调度，任务数据推送支持两种方式，第一种是Pika推送，算法服务使用Pika库接入消息队列，各个算法服务定义各自的队列信息，调度器通过各消息队列的队列名将任务数据分发到具体的算法服务，该推送方式仅支持并发调度这种调度模式的算法管道；第二种是Celery推送，算法服务使用Celery库接入消息队列，调度器通过算法入口函数调用的方式调度算法服务，该方式同时支持顺序调度和并发调度两种调度模式的算法管道。
S500.通过消息队列接收算法服务对任务数据进行计算后的结果数据，并将结果数据写入数据仓库。
具体的，算法服务将任务数据进行计算后，通过消息队列回调给调度器，从而调度器即可将结果数据写入数据仓库。
在一个实施例中，为了使结果数据更为准确，步骤S500具体可以包括：
接收算法服务对任务数据进行计算后的结果数据；
生成结果数据与任务数据的映射关系；
将映射关系与结果数据写入数据仓库。
具体的，COP平台中还包括数据后处理模块，调度器接收算法服务对任务数据进行计算后的结果数据后将该结果数据推送给数据后处理模块，数据后处理模块生成该结果数据与任务数据的映射关系，其中，该映射关系具体可以为结果数据与任务数据对应的数据源的映射关系。
实施例2
如图4所示，在本实施例中，提供一种AI算法离线调度系统，包括：
数据接收模块100，用于通过消息队列接收算法注册请求、任务注册请求；
注册模块200，用于根据算法注册请求对算法服务进行注册或根据任务注册请求对任务进行注册；
任务触发模块300，用于读取已注册的任务的配置信息，触发数据采集器，以使数据采集器从数据仓库中采集与任务相应的任务数据；
数据接收模块100还用于通过消息队列接收数据采集器采集的与任务相应的任务数据；
数据推送模块400，用于根据任务的配置信息，将任务数据推送给与任务绑定的算法管道，以调度算法管道中包含的已注册的算法服务对任务数据进行计算；
数据接收模块100还用于通过消息队列接收算法服务对任务数据进行计算后的结果数据；
写入模块500，用于将结果数据写入数据仓库。
在一个实施例中，注册模块200用于根据任务注册请求对任务进行注册，包括：
根据任务注册请求保存任务的配置信息，并生成任务对象；
根据任务的配置信息绑定对应的算法管道和任务触发器；
将任务加入生效任务列表，完成对任务的注册；
任务触发模块300用于读取已注册的任务的配置信息，触发数据采集器，以使数据采集器从数据仓库中采集与任务相应的任务数据，包括：
从生效任务列表中读取已注册的任务的配置信息，启动与任务绑定的任务触发器触发数据采集器，以使数据采集器从数据仓库中采集与任务对象相应的任务数据。
在一个实施例中，注册模块200用于根据算法注册请求对算法服务进行注册，包括：
根据算法注册请求，保存算法服务的配置信息；
根据算法服务的配置信息生成算法元类，并将算法元类加入到算法库中，完成对算法服务的注册。
在一个实施例中，数据推送模块400用于根据任务的配置信息，将任务数据推送给与任务绑定的算法管道，以调度算法管道中包含的已注册的算法服务对任务数据进行计算，包括：
对任务数据进行预处理；
根据任务的配置信息，将预处理后的任务数据推送给与任务绑定的算法管道，以调度算法管道中包含的已注册的算法服务对预处理后的任务数据进行计算。
在一个实施例中，任务的配置信息包括算法管道的算法服务名称列表和算法管道调度模式；
数据推送模块400用于根据任务的配置信息，将任务数据推送给与任务绑定的算法管道，以调度算法管道包含的已注册的算法服务对任务数据进行计算，还包括：
根据算法管道的算法服务名称列表，将任务数据推送给与任务绑定的算法管道，并按算法管道调度模式调度算法服务名称列表上的算法服务对任务数据进行计算。
在一个实施例中，预处理包括将任务数据中多余的信息进行删减，和/或，根据任务的类型对任务数据进行聚合，得到算法服务可接收的数据格式的任务数据。
在一个实施例中，数据接收模块100用于通过消息队列接收算法服务对任务数据进行计算后的结果数据，包括：
接收算法服务对任务数据进行计算后的结果数据；
生成结果数据与任务数据的映射关系；
将映射关系与结果数据写入数据仓库。
实施例3
在本实施例中，提供一种计算机设备，该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力，存储器包括非易失性存储介质中的操作系统和计算机程序的运行提供环境，通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WiFi、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现实施例1所述的一种AI算法离线调度方法。
实施例4
在本实施例中，提供一种计算机可读存介质，其上存储有计算机程序，该计算机程序被处理器执行时实现实施例1所述的一种AI算法离线调度方法。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (9)
1.一种AI算法离线调度方法，其特征在于，包括：
通过消息队列接收算法注册请求、任务注册请求，根据所述算法注册请求对算法服务进行注册，根据所述任务注册请求对任务进行注册；
读取已注册的所述任务的配置信息，触发数据采集器，以使所述数据采集器从数据仓库中采集与所述任务相应的任务数据；
通过消息队列接收所述数据采集器采集的与所述任务相应的任务数据；
根据所述任务的配置信息，将所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道中包含的已注册的算法服务对所述任务数据进行计算；
通过消息队列接收所述算法服务对所述任务数据进行计算后的结果数据，并将所述结果数据写入所述数据仓库；
根据所述任务注册请求对任务进行注册，包括：
根据所述任务注册请求保存任务的配置信息，并生成任务对象；
根据所述任务的配置信息绑定对应的算法管道和任务触发器；
将所述任务加入生效任务列表，完成对所述任务的注册；
读取已注册的所述任务的配置信息，触发数据采集器，以使所述数据采集器从数据仓库中采集与所述任务相应的任务数据，包括：
从所述生效任务列表中读取已注册的所述任务的配置信息，启动与所述任务绑定的所述任务触发器触发数据采集器，以使所述数据采集器从数据仓库中采集与所述任务对象相应的任务数据。
2.根据权利要求1所述的一种AI算法离线调度方法，其特征在于，根据所述算法注册请求对算法服务进行注册，包括：
根据所述算法注册请求，保存算法服务的配置信息；
根据所述算法服务的配置信息生成算法元类并将所述算法元类加入到算法库中，完成对所述算法服务的注册。
3.根据权利要求1所述的一种AI算法离线调度方法，其特征在于，根据所述任务的配置信息，将所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道中包含的已注册的算法服务对所述任务数据进行计算，包括：
对所述任务数据进行预处理；
根据所述任务的配置信息，将预处理后的所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道中包含的已注册的算法服务对预处理后的所述任务数据进行计算。
4.根据权利要求3所述的一种AI算法离线调度方法，其特征在于，所述任务的配置信息包括算法管道的算法服务名称列表和算法管道调度模式；
根据所述任务的配置信息，将所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道包含的已注册的算法服务对所述任务数据进行计算，还包括：
根据所述算法管道的算法服务名称列表，将所述任务数据推送给与所述任务绑定的算法管道，并按所述算法管道调度模式调度所述算法管道的算法服务名称列表上的算法服务对所述任务数据进行计算。
5.根据权利要求3所述的一种AI算法离线调度方法，其特征在于，所述预处理包括将所述任务数据中多余的信息进行删减，和/或，根据所述任务的类型对所述任务数据进行聚合，得到所述算法服务可接收的数据格式的任务数据。
6.根据权利要求1所述的一种AI算法离线调度方法，其特征在于，接收所述算法服务对所述任务数据进行计算后的结果数据，并将所述结果数据写入所述数据仓库，包括：
接收所述算法服务对所述任务数据进行计算后的结果数据；
生成所述结果数据与所述任务数据的映射关系；
将所述映射关系与所述结果数据写入所述数据仓库。
7.一种用于实现权利要求1-6任一项所述AI算法离线调度方法的AI算法离线调度系统，其特征在于，包括：
数据接收模块，用于通过消息队列接收算法注册请求、任务注册请求；
注册模块，用于根据所述算法注册请求对算法服务进行注册和根据所述任务注册请求对任务进行注册；
任务触发模块，用于读取已注册的所述任务的配置信息，触发数据采集器，以使所述数据采集器从数据仓库中采集与所述任务相应的任务数据；
所述数据接收模块还用于通过消息队列接收所述数据采集器采集的与所述任务相应的任务数据；
数据推送模块，用于根据所述任务的配置信息，将所述任务数据推送给与所述任务绑定的算法管道，以调度所述算法管道中包含的已注册的算法服务对所述任务数据进行计算；
所述数据接收模块还用于通过消息队列接收所述算法服务对所述任务数据进行计算后的结果数据；写入模块，用于将所述结果数据写入所述数据仓库。
8.一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111016079.3A CN113641482B (zh) | 2021-08-31 | 2021-08-31 | Ai算法离线调度方法、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111016079.3A CN113641482B (zh) | 2021-08-31 | 2021-08-31 | Ai算法离线调度方法、系统、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113641482A CN113641482A (zh) | 2021-11-12 |
| CN113641482B true CN113641482B (zh) | 2024-03-22 |
Family
ID=78424776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111016079.3A Active CN113641482B (zh) | 2021-08-31 | 2021-08-31 | Ai算法离线调度方法、系统、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113641482B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114625901B (zh) * | 2022-05-13 | 2022-08-05 | 南京维数软件股份有限公司 | 一种多算法整合方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022245A (zh) * | 2016-05-16 | 2016-10-12 | 中国资源卫星应用中心 | 一种基于算法分类的多源遥感卫星数据并行处理系统及方法 |
| CN106897132A (zh) * | 2017-02-27 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种服务器任务调度的方法以及装置 |
| CN109284180A (zh) * | 2018-08-30 | 2019-01-29 | 百度在线网络技术（北京）有限公司 | 一种任务调度方法、装置、电子设备及存储介质 |
| CN110413822A (zh) * | 2019-06-19 | 2019-11-05 | 北京旷视科技有限公司 | 离线图像结构化分析方法、装置、系统和存储介质 |
| CN111367643A (zh) * | 2020-03-09 | 2020-07-03 | 北京易华录信息技术股份有限公司 | 一种算法调度系统、方法及装置 |
| CN112513814A (zh) * | 2020-04-01 | 2021-03-16 | 华为技术有限公司 | 任务调度方法及装置 |
| CN112882813A (zh) * | 2021-03-18 | 2021-06-01 | 苏州科达科技股份有限公司 | 任务调度方法、装置、系统及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100704674B1 (ko) * | 2005-06-27 | 2007-04-06 | 한국전자통신연구원 | 휴대 인터넷 시스템의 스케줄링 장치 및 그 방법 |
-
2021
- 2021-08-31 CN CN202111016079.3A patent/CN113641482B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022245A (zh) * | 2016-05-16 | 2016-10-12 | 中国资源卫星应用中心 | 一种基于算法分类的多源遥感卫星数据并行处理系统及方法 |
| CN106897132A (zh) * | 2017-02-27 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种服务器任务调度的方法以及装置 |
| CN109284180A (zh) * | 2018-08-30 | 2019-01-29 | 百度在线网络技术（北京）有限公司 | 一种任务调度方法、装置、电子设备及存储介质 |
| CN110413822A (zh) * | 2019-06-19 | 2019-11-05 | 北京旷视科技有限公司 | 离线图像结构化分析方法、装置、系统和存储介质 |
| CN111367643A (zh) * | 2020-03-09 | 2020-07-03 | 北京易华录信息技术股份有限公司 | 一种算法调度系统、方法及装置 |
| CN112513814A (zh) * | 2020-04-01 | 2021-03-16 | 华为技术有限公司 | 任务调度方法及装置 |
| CN112882813A (zh) * | 2021-03-18 | 2021-06-01 | 苏州科达科技股份有限公司 | 任务调度方法、装置、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113641482A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110554958B (zh) | 图数据库测试方法、系统、设备和存储介质 | |
| EP2981095A1 (en) | Data collection and management system, data collection and management method, terminal, and management device | |
| CN111143075B (zh) | 海洋卫星数据定标检验方法、装置、电子设备及存储介质 | |
| CN113641482B (zh) | Ai算法离线调度方法、系统、计算机设备及存储介质 | |
| CN111400288A (zh) | 数据质量检查方法及系统 | |
| CN113672500B (zh) | 深度学习算法的测试方法、装置、电子装置和存储介质 | |
| CN115310954B (zh) | 一种it业务运行维护方法及系统 | |
| CN110955640A (zh) | 跨系统数据文件的处理方法、装置、服务器和存储介质 | |
| CN110471945A (zh) | 活跃数据的处理方法、系统、计算机设备和存储介质 | |
| CN112148468A (zh) | 一种资源调度方法、装置、电子设备及存储介质 | |
| CN109086816A (zh) | 一种基于贝叶斯分类算法的用户行为分析系统 | |
| CN102959540B (zh) | 内容分类系统、内容生成分类装置、内容分类装置、分类方法 | |
| CN116820714A (zh) | 一种算力设备的调度方法、装置、设备和存储介质 | |
| CN111291936A (zh) | 产品生命周期预估模型生成方法、装置及电子设备 | |
| CN111679919A (zh) | 数据交互方法、装置、设备及存储介质 | |
| CN111045849A (zh) | 核对异常原因的识别方法、装置、服务器和存储介质 | |
| CN110602207A (zh) | 基于离网预测推送信息的方法、装置、服务器和存储介质 | |
| CN113568747A (zh) | 基于任务分类与时序预测的云机器人资源调度方法及系统 | |
| CN113360556B (zh) | 一种数据处理方法、装置、设备和存储介质 | |
| CN115495500A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN111488928B (zh) | 用于获取样本的方法及装置 | |
| CN114996228A (zh) | 一种面向服务器无感知的数据传输成本优化方法 | |
| CN110532071B (zh) | 一种基于gpu的多应用调度系统和方法 | |
| CN107346472A (zh) | 一种通过在线建模处理运维数据的方法及装置 | |
| US8065114B2 (en) | Ubiquitous monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |