CN107105009A - 基于Kubernetes系统对接工作流引擎的作业调度方法和装置 - Google Patents
基于Kubernetes系统对接工作流引擎的作业调度方法和装置 Download PDFInfo
- Publication number
- CN107105009A CN107105009A CN201710175059.8A CN201710175059A CN107105009A CN 107105009 A CN107105009 A CN 107105009A CN 201710175059 A CN201710175059 A CN 201710175059A CN 107105009 A CN107105009 A CN 107105009A
- Authority
- CN
- China
- Prior art keywords
- kubernetes
- workflow engine
- container
- systems
- executable unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Kubernetes系统对接工作流引擎的作业调度方法和装置，所述方法包括：接收工作流引擎提交的可执行单元；根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎；若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元。本发明能够实现工作流引擎与Kubernetes系统的对接协同工作，有效提升作业执行效率和资源使用效率。
Description
技术领域
本发明涉及数据处理技术领域，特别是指一种基于Kubernetes系统对接工作流引擎的作业调度方法和装置。
背景技术
工作流引擎是一个管理业务流程或者数据分析流程作业的应用，它管理和监控作业执行的状态。可以按照作业流程定义将作业拆分成若干个有先后执行顺序的可执行单元，分派可执行单元给相应的计算资源执行，并监控可执行单元的执行结果，直到整个作业执行完成或失败退出。
在工作流引擎应用中，会大量存在可执行单元并发执行的场景，比如多个作业同时运行或者单个作业中并发执行可执行单元。相对于单机执行，如果将可执行单元的执行调度到一个分布式计算集群上一方面可以大大提高作业执行效率，另一方面可以有效管理资源使用效率，所以很多工作流引擎应用都需要开发插件来和后台分布式计算集群集成。并且，由于容器(Pod)技术的大力发展，将可执行单元封装成单独容器并分配相应的资源加以执行也逐渐成为趋势。Kubernetes作为一个容器集群管理系统也成为工作流引擎与之对接的常见分布式计算集群。但是Kubernetes原生系统里针对这种场景缺乏一个好的实现，使得工作流引擎无法与Kubernetes协同工作完成可执行单元的并发执行工作，降低了作业执行效率和资源使用效率。
发明内容
有鉴于此，本发明的目的在于提出一种能够有效提升作业执行效率和资源使用效率的基于Kubernetes系统对接工作流引擎的作业调度方法和装置。
基于上述目的本发明提供的一种基于Kubernetes系统对接工作流引擎的作业调度方法，其中，工作流引擎将作业拆分成若干个具有执行顺序的可执行单元；所述方法包括：
接收工作流引擎提交的可执行单元；
根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；
将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；
接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；
对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎；
若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元。
在一些实施方式中，所述方法还包括：
若所述第二结果信息为执行失败，则接收工作流引擎提交的容器删除请求，并将所述容器删除请求发送至Kubernetes系统；
接收Kubernetes系统返回的容器删除信息，并将所述容器删除信息发送至工作流引擎，使工作流引擎中断所述作业。
在一些实施方式中，所述则接收工作流引擎提交的容器删除请求，并将所述容器删除请求发送至Kubernetes系统的步骤之前，还包括：
接收工作流引擎提交的错误日志查询请求，并将所述错误日志查询请求发送至Kubernetes系统；
接收Kubernetes系统返回的容器执行错误日志，并将所述容器执行错误日志发送至工作流引擎。
在一些实施方式中，所述将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元之后，还包括：
向Kubernetes系统发出监听请求，用以在所述可执行单元的执行状态发生变化时，获取Kubernetes系统返回的执行状态信息；
将符合预设条件的所述执行状态信息作为所述第一结果信息。
在一些实施方式中，所述将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元之后，还包括：
接收工作流引擎发送的查询指令；
向Kubernetes系统获取所述可执行单元的执行状态信息，并将所述执行状态信息发送至工作流引擎。
另一方面，本发明还提供了一种基于Kubernetes系统对接工作流引擎的作业调度装置，包括：
第一接收模块，用于接收工作流引擎提交的可执行单元；以及，若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元；
配置文件生成模块，用于根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；
第一发送模块，用于将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；
第二接收模块，用于接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；
第二发送模块，用于对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎。
在一些实施方式中，所述第一接收模块还用于：若所述第二结果信息为执行失败，则接收工作流引擎提交的容器删除请求；所述第一发送模块还用于：将所述容器删除请求发送至Kubernetes系统；
相应的，所述第二接收模块还用于：接收Kubernetes系统返回的容器删除信息；所述第二发送模块还用于：将所述容器删除信息发送至工作流引擎，使工作流引擎中断所述作业。
在一些实施方式中，所述第一接收模块还用于：接收工作流引擎提交的错误日志查询请求；所述第一发送模块还用于：将所述错误日志查询请求发送至Kubernetes系统；
相应的，所述第二接收模块还用于：接收Kubernetes系统返回的容器执行错误日志；所述第二发送模块还用于：将所述容器执行错误日志发送至工作流引擎。
在一些实施方式中，所述装置还包括：监听模块，用于向Kubernetes系统发出监听请求，用以在所述可执行单元的执行状态发生变化时，获取Kubernetes系统返回的执行状态信息，并将符合预设条件的所述执行状态信息作为所述第一结果信息。
在一些实施方式中，所述装置还包括：查询模块，用于接收工作流引擎发送的查询指令；向Kubernetes系统获取所述可执行单元的执行状态信息，并将所述执行状态信息发送至工作流引擎。
从上面所述可以看出，本发明提供的基于Kubernetes系统对接工作流引擎的作业调度方法和装置，使得工作流引擎将可执行单元分配给Kubernetes系统，由Kubernetes系统根据可执行单元的资源需求调度到相应计算节点并执行，实现工作流引擎与Kubernetes系统的对接协同工作，有效提升作业执行效率和资源使用效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于Kubernetes系统对接工作流引擎的作业调度方法流程图；
图2为本发明实施例中可执行单元执行失败时的处理步骤流程图；
图3为本发明实施例中监听容器状态变化的处理步骤流程图；
图4为本发明实施例中主动查询容器执行状态的处理步骤流程图；
图5为本发明实施例的基于Kubernetes系统对接工作流引擎的作业调度装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例提供了一种基于Kubernetes系统对接工作流引擎的作业调度方法。参考图1，为本发明实施例的基于Kubernetes系统对接工作流引擎的作业调度方法流程图。
所述基于Kubernetes系统对接工作流引擎的作业调度方法，包括以下步骤：
步骤101、接收工作流引擎提交的可执行单元。
工作流引擎按照作业流程定义将作业拆分成若干个具有先后执行顺序的可执行单元，并按照所述的执行顺序将若干个可执行单元进行依次提交。本步骤中，首先接收工作流引擎提交的一个可执行单元。
步骤102、根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件。
本步骤中，在接收到可执行单元后，获取可执行单元的参数，获得的参数一般包括：执行命令、资源需求(CPU、内存等)、输入输出文件等，根据上述参数生成配置文件。该配置文件能够被Kubernetes系统识别，Kubernetes系统能够根据配置文件的记载内容，创建具有相应处理能力的容器。一般的，所述的配置文件为Yaml文件。
步骤103、将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元。
本步骤中，将生成的配置文件发送至Kubernetes系统。Kubernetes系统接收到所述的配置文件后，根据配置文件的记载内容，创建容器并调度到相应的节点执行所述的可执行单元。
步骤104、接收Kubernetes系统返回的关于所述可执行单元的第一结果信息。
容器执行可执行单元成功或者失败后，返回第一结果信息。第一结果信息一般包括：任务成功(Completed)、任务失败(CrashLoopBackOff，容器创建失败)、命令执行失败(Error，执行过程失败)。
步骤105、对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎。
前述步骤中获得的第一结果信息为Kubernetes系统格式，其无法被工作流引擎直接识别。则在本步骤中，首先将第一结果信息进行转译，将其转译成为能够被工作流引擎识别的第二结果信息，然后在将发送至工作流引擎。对应于第一结果信息，第二结果信息一般包括：任务成功(TASK_FINISHED)、任务失败(TASK_FAIL，容器创建失败)、命令执行失败(TASK_ERROR，执行过程失败)。
步骤106、若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元。
工作流引擎接收到第二结果信息后，若第二结果信息为执行成功，则表明Kubernetes系统成功完成了当前可执行单元的执行工作。接下来，工作流引擎将会按照之前设置的执行顺序，提交一下个执行单元，直至所有的可执行单元均成功执行后，当前作业结束，作业状态设置为成功。
在一个实施例中，若所述第二结果信息为执行失败，参考图2，本实施例的方法还包括可执行单元执行失败时的处理步骤：
步骤201、接收工作流引擎提交的错误日志查询请求，并将所述错误日志查询请求发送至Kubernetes系统。
步骤202、接收Kubernetes系统返回的容器执行错误日志，并将所述容器执行错误日志发送至工作流引擎。
通过步骤201至步骤202，使得工作流引擎能够向Kubernetes系统请求获得可执行单元的容器执行错误日志，通过解析容器执行错误日志，获知可执行单元执行失败的原因，并对执行失败的原因进行分析、记录。
步骤203、接收工作流引擎提交的容器删除请求，并将所述容器删除请求发送至Kubernetes系统。
步骤204、接收Kubernetes系统返回的容器删除信息，并将所述容器删除信息发送至工作流引擎，使工作流引擎中断所述作业。
通过步骤203至步骤204，令Kubernetes系统将用于执行当前可执行单元的容器删除，释放其占有的资源供为其他作业使用。
在一个实施例中，在前述实施例中的步骤103之后，本实施例的方法还包括监听容器状态变化的处理步骤：
步骤301、向Kubernetes系统发出监听请求，用以在所述可执行单元的执行状态发生变化时，获取Kubernetes系统返回的执行状态信息；
步骤302、将符合预设条件的所述执行状态信息作为所述第一结果信息。
常用的Kubernetes系统并没有在容器执行完成或者删除成功后主动通知的机制，本实施例中，设置有主动监听步骤，具体包括：向Kubernetes系统发出监听请求，用以在所述可执行单元的执行状态发生变化时，获取Kubernetes系统返回的执行状态信息。其中，获取到执行状态信息中，除了前述的任务成功(Completed)、任务失败(CrashLoopBackOff，容器创建失败)、命令执行失败(Error，执行过程失败)之外，还包括其他的标示执行过程中状态的执行状态信息，如：任务等待中(Pending)、任务进行中(Running)等。则需要按照预设条件，将任务成功(Completed)、任务失败(CrashLoopBackOff，容器创建失败)、命令执行失败(Error，执行过程失败)三种执行状态信息挑选出来，并在后续处理步骤中将其作为结果信息进行后续处理。
在一个实施例中，在前述实施例中的步骤103之后，参考图4，本实施例的方法还包括主动查询容器执行状态的处理步骤：
步骤401、接收工作流引擎发送的查询指令。
步骤402、向Kubernetes系统获取所述可执行单元的执行状态信息，并将所述执行状态信息发送至工作流引擎。
在实际应用中，有时会无法及时获得可执行单元的执行状态信息，这会导致可执行单元对应的容器实际已经执行完成而工作流引擎未收到相应通知一直等待的场景。相应的，本实施例中提供了主动查询容器执行状态的处理步骤，使得工作流引擎能够实时的或是定时查询获得可执行单元对应容器的容器执行状态，实现一种捡漏机制。
由上述实施例可见，本发明的基于Kubernetes系统对接工作流引擎的作业调度方法和装置，使得工作流引擎将可执行单元分配给Kubernetes系统，由Kubernetes系统根据可执行单元的资源需求调度到相应计算节点并执行，实现工作流引擎与Kubernetes系统的对接协同工作，有效提升作业执行效率和资源使用效率。
另一方面，本发明实施例还提供了一种基于Kubernetes系统对接工作流引擎的作业调度装置。参考图5，为本发明实施例的基于Kubernetes系统对接工作流引擎的作业调度装置结构示意图。
所述基于Kubernetes系统对接工作流引擎的作业调度装置，包括：
第一接收模块501，用于接收工作流引擎提交的可执行单元；以及，若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元；
配置文件生成模块502，用于根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；
第一发送模块503，用于将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；
第二接收模块504，用于接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；
第二发送模块505，用于对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎。
进一步的，第一接收模块501还用于：若所述第二结果信息为执行失败，则接收工作流引擎提交的容器删除请求；第一发送模块503还用于：将所述容器删除请求发送至Kubernetes系统；相应的，第二接收模块504还用于：接收Kubernetes系统返回的容器删除信息；第二发送模块505还用于：将所述容器删除信息发送至工作流引擎，使工作流引擎中断所述作业。
进一步的，第一接收模块501还用于：接收工作流引擎提交的错误日志查询请求；第一发送模块503还用于：将所述错误日志查询请求发送至Kubernetes系统；相应的，第二接收模块504还用于：接收Kubernetes系统返回的容器执行错误日志；第二发送模块505还用于：将所述容器执行错误日志发送至工作流引擎。
进一步的，所述装置还包括：监听模块506，用于向Kubernetes系统发出监听请求，用以在所述可执行单元的执行状态发生变化时，获取Kubernetes系统返回的执行状态信息，并将符合预设条件的所述执行状态信息作为所述第一结果信息。
进一步的，所述装置还包括：查询模块507，用于接收工作流引擎发送的查询指令；向Kubernetes系统获取所述可执行单元的执行状态信息，并将所述执行状态信息发送至工作流引擎。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于Kubernetes系统对接工作流引擎的作业调度方法，其中，工作流引擎将作业拆分成若干个具有执行顺序的可执行单元；其特征在于，包括：
接收工作流引擎提交的可执行单元；
根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；
将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；
接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；
对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎；
若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元。
2.根据权利要求1所述的方法，其特征在于，还包括：
若所述第二结果信息为执行失败，则接收工作流引擎提交的容器删除请求，并将所述容器删除请求发送至Kubernetes系统；
接收Kubernetes系统返回的容器删除信息，并将所述容器删除信息发送至工作流引擎，使工作流引擎中断所述作业。
3.根据权利要求2所述的方法，其特征在于，所述则接收工作流引擎提交的容器删除请求，并将所述容器删除请求发送至Kubernetes系统的步骤之前，还包括：
接收工作流引擎提交的错误日志查询请求，并将所述错误日志查询请求发送至Kubernetes系统；
接收Kubernetes系统返回的容器执行错误日志，并将所述容器执行错误日志发送至工作流引擎。
4.根据权利要求1所述的方法，其特征在于，所述将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元之后，还包括：
向Kubernetes系统发出监听请求，用以在所述可执行单元的执行状态发生变化时，获取Kubernetes系统返回的执行状态信息；
将符合预设条件的所述执行状态信息作为所述第一结果信息。
5.根据权利要求1所述的方法，其特征在于，所述将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元之后，还包括：
接收工作流引擎发送的查询指令；
向Kubernetes系统获取所述可执行单元的执行状态信息，并将所述执行状态信息发送至工作流引擎。
6.一种基于Kubernetes系统对接工作流引擎的作业调度装置，其特征在于，包括：
第一接收模块，用于接收工作流引擎提交的可执行单元；以及，若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元；
配置文件生成模块，用于根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；
第一发送模块，用于将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；
第二接收模块，用于接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；
第二发送模块，用于对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎。
7.根据权利要求6所述的装置，其特征在于，所述第一接收模块还用于：若所述第二结果信息为执行失败，则接收工作流引擎提交的容器删除请求；所述第一发送模块还用于：将所述容器删除请求发送至Kubernetes系统；
相应的，所述第二接收模块还用于：接收Kubernetes系统返回的容器删除信息；所述第二发送模块还用于：将所述容器删除信息发送至工作流引擎，使工作流引擎中断所述作业。
8.根据权利要求7所述的装置，其特征在于，所述第一接收模块还用于：接收工作流引擎提交的错误日志查询请求；所述第一发送模块还用于：将所述错误日志查询请求发送至Kubernetes系统；
相应的，所述第二接收模块还用于：接收Kubernetes系统返回的容器执行错误日志；所述第二发送模块还用于：将所述容器执行错误日志发送至工作流引擎。
9.根据权利要求6所述的装置，其特征在于，还包括：监听模块，用于向Kubernetes系统发出监听请求，用以在所述可执行单元的执行状态发生变化时，获取Kubernetes系统返回的执行状态信息。
10.根据权利要求6所述的装置，其特征在于，还包括：查询模块，用于接收工作流引擎发送的查询指令；向Kubernetes系统获取所述可执行单元的执行状态信息，并将所述执行状态信息发送至工作流引擎。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710175059.8A CN107105009B (zh) | 2017-03-22 | 2017-03-22 | 基于Kubernetes系统对接工作流引擎的作业调度方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710175059.8A CN107105009B (zh) | 2017-03-22 | 2017-03-22 | 基于Kubernetes系统对接工作流引擎的作业调度方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107105009A true CN107105009A (zh) | 2017-08-29 |
| CN107105009B CN107105009B (zh) | 2020-03-10 |
Family
ID=59676095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710175059.8A Active CN107105009B (zh) | 2017-03-22 | 2017-03-22 | 基于Kubernetes系统对接工作流引擎的作业调度方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107105009B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062246A (zh) * | 2018-01-25 | 2018-05-22 | 北京百度网讯科技有限公司 | 用于深度学习框架的资源调度方法和装置 |
| CN108108239A (zh) * | 2017-12-29 | 2018-06-01 | 咪咕文化科技有限公司 | 一种业务功能的提供方法、装置及计算机可读存储介质 |
| CN108519911A (zh) * | 2018-03-23 | 2018-09-11 | 上饶市中科院云计算中心大数据研究院 | 一种基于容器的集群管理系统中资源的调度方法和装置 |
| CN108920260A (zh) * | 2018-05-16 | 2018-11-30 | 成都淞幸科技有限责任公司 | 一种异构系统的交互方法及其装置 |
| CN109117265A (zh) * | 2018-07-12 | 2019-01-01 | 北京百度网讯科技有限公司 | 在集群中调度作业的方法、装置、设备及存储介质 |
| CN109167835A (zh) * | 2018-09-13 | 2019-01-08 | 重庆邮电大学 | 一种基于kubernetes的物理资源调度方法及系统 |
| CN110457135A (zh) * | 2019-08-09 | 2019-11-15 | 重庆紫光华山智安科技有限公司 | 一种资源调度方法、装置及共享gpu显存的方法 |
| CN110557428A (zh) * | 2019-07-17 | 2019-12-10 | 中国科学院计算技术研究所 | 一种基于Kubernetes的脚本解释型服务代理方法和系统 |
| CN110689245A (zh) * | 2019-09-17 | 2020-01-14 | 上海易点时空网络有限公司 | 一种分析大数据工作流调用关系的方法及系统 |
| CN112181586A (zh) * | 2020-09-11 | 2021-01-05 | 济南浪潮数据技术有限公司 | 基于Kubernetes架构的工作流处理方法、装置 |
| CN112398933A (zh) * | 2020-11-05 | 2021-02-23 | 携程旅游网络技术（上海）有限公司 | 云原生应用发布方法、系统、设备及存储介质 |
| CN112698914A (zh) * | 2020-12-30 | 2021-04-23 | 北京理工大学 | 一种工作流任务容器生成系统及方法 |
| CN113110923A (zh) * | 2021-03-25 | 2021-07-13 | 南京飞灵智能科技有限公司 | 基于k8s的工作流引擎的使用方法及装置 |
| CN114691050A (zh) * | 2022-05-26 | 2022-07-01 | 深圳前海环融联易信息科技服务有限公司 | 基于kubernetes的云原生存储方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7603363B2 (en) * | 2005-01-05 | 2009-10-13 | Microsoft Corporation | Systems and methods for controlling transaction participation for groups of steps in a workflow |
| CN101694709A (zh) * | 2009-09-27 | 2010-04-14 | 华中科技大学 | 一种面向服务的分布式工作流管理系统 |
| CN103491024A (zh) * | 2013-09-27 | 2014-01-01 | 中国科学院信息工程研究所 | 一种面向流式数据的作业调度方法及装置 |
| CN104239148A (zh) * | 2013-06-06 | 2014-12-24 | 腾讯科技（深圳）有限公司 | 一种分布式任务调度方法及装置 |
| CN104679488A (zh) * | 2013-11-29 | 2015-06-03 | 亿阳信通股份有限公司 | 一种流程定制开发平台及流程定制开发方法 |
| CN105245373A (zh) * | 2015-10-12 | 2016-01-13 | 天津市普迅电力信息技术有限公司 | 一种容器云平台系统的搭建及运行方法 |
| CN106027643A (zh) * | 2016-05-18 | 2016-10-12 | 无锡华云数据技术服务有限公司 | 一种基于Kubernetes容器集群管理系统的资源调度方法 |
-
2017
- 2017-03-22 CN CN201710175059.8A patent/CN107105009B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7603363B2 (en) * | 2005-01-05 | 2009-10-13 | Microsoft Corporation | Systems and methods for controlling transaction participation for groups of steps in a workflow |
| CN101694709A (zh) * | 2009-09-27 | 2010-04-14 | 华中科技大学 | 一种面向服务的分布式工作流管理系统 |
| CN104239148A (zh) * | 2013-06-06 | 2014-12-24 | 腾讯科技（深圳）有限公司 | 一种分布式任务调度方法及装置 |
| CN103491024A (zh) * | 2013-09-27 | 2014-01-01 | 中国科学院信息工程研究所 | 一种面向流式数据的作业调度方法及装置 |
| CN104679488A (zh) * | 2013-11-29 | 2015-06-03 | 亿阳信通股份有限公司 | 一种流程定制开发平台及流程定制开发方法 |
| CN105245373A (zh) * | 2015-10-12 | 2016-01-13 | 天津市普迅电力信息技术有限公司 | 一种容器云平台系统的搭建及运行方法 |
| CN106027643A (zh) * | 2016-05-18 | 2016-10-12 | 无锡华云数据技术服务有限公司 | 一种基于Kubernetes容器集群管理系统的资源调度方法 |
Non-Patent Citations (1)
| Title |
|---|
| 师晓岩: "异构集群作业管理调度平台的设计与实现", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108239A (zh) * | 2017-12-29 | 2018-06-01 | 咪咕文化科技有限公司 | 一种业务功能的提供方法、装置及计算机可读存储介质 |
| CN108062246A (zh) * | 2018-01-25 | 2018-05-22 | 北京百度网讯科技有限公司 | 用于深度学习框架的资源调度方法和装置 |
| CN108519911A (zh) * | 2018-03-23 | 2018-09-11 | 上饶市中科院云计算中心大数据研究院 | 一种基于容器的集群管理系统中资源的调度方法和装置 |
| CN108920260A (zh) * | 2018-05-16 | 2018-11-30 | 成都淞幸科技有限责任公司 | 一种异构系统的交互方法及其装置 |
| CN109117265A (zh) * | 2018-07-12 | 2019-01-01 | 北京百度网讯科技有限公司 | 在集群中调度作业的方法、装置、设备及存储介质 |
| CN109167835A (zh) * | 2018-09-13 | 2019-01-08 | 重庆邮电大学 | 一种基于kubernetes的物理资源调度方法及系统 |
| CN110557428A (zh) * | 2019-07-17 | 2019-12-10 | 中国科学院计算技术研究所 | 一种基于Kubernetes的脚本解释型服务代理方法和系统 |
| CN110457135A (zh) * | 2019-08-09 | 2019-11-15 | 重庆紫光华山智安科技有限公司 | 一种资源调度方法、装置及共享gpu显存的方法 |
| CN110689245A (zh) * | 2019-09-17 | 2020-01-14 | 上海易点时空网络有限公司 | 一种分析大数据工作流调用关系的方法及系统 |
| CN110689245B (zh) * | 2019-09-17 | 2022-07-12 | 上海易点时空网络有限公司 | 一种分析大数据工作流调用关系的方法及系统 |
| CN112181586A (zh) * | 2020-09-11 | 2021-01-05 | 济南浪潮数据技术有限公司 | 基于Kubernetes架构的工作流处理方法、装置 |
| CN112398933A (zh) * | 2020-11-05 | 2021-02-23 | 携程旅游网络技术（上海）有限公司 | 云原生应用发布方法、系统、设备及存储介质 |
| CN112698914A (zh) * | 2020-12-30 | 2021-04-23 | 北京理工大学 | 一种工作流任务容器生成系统及方法 |
| CN112698914B (zh) * | 2020-12-30 | 2022-12-27 | 北京理工大学 | 一种工作流任务容器生成系统及方法 |
| CN113110923A (zh) * | 2021-03-25 | 2021-07-13 | 南京飞灵智能科技有限公司 | 基于k8s的工作流引擎的使用方法及装置 |
| CN113110923B (zh) * | 2021-03-25 | 2023-10-20 | 南京飞灵智能科技有限公司 | 基于k8s的工作流引擎的使用方法及装置 |
| CN114691050A (zh) * | 2022-05-26 | 2022-07-01 | 深圳前海环融联易信息科技服务有限公司 | 基于kubernetes的云原生存储方法、装置、设备及介质 |
| CN114691050B (zh) * | 2022-05-26 | 2022-09-06 | 深圳前海环融联易信息科技服务有限公司 | 基于kubernetes的云原生存储方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107105009B (zh) | 2020-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107105009A (zh) | 基于Kubernetes系统对接工作流引擎的作业调度方法和装置 | |
| CN107729139B (zh) | 一种并发获取资源的方法和装置 | |
| US20230222442A1 (en) | Order processing method, outbound method, device, system, and storage medium | |
| CN101753344B (zh) | 一种记录日志的方法、装置及系统 | |
| CN107291547A (zh) | 一种任务调度处理方法、装置及系统 | |
| CN107943577A (zh) | 用于调度任务的方法和装置 | |
| CN111240812B (zh) | 任务执行方法及装置 | |
| CN110611707B (zh) | 一种任务调度的方法及装置 | |
| CN106407021A (zh) | 一种基于队列的业务请求处理方法 | |
| CN108737560A (zh) | 云计算任务智能调度方法及系统、可读存储介质、终端 | |
| CN110427252A (zh) | 基于任务依赖关系的任务调度方法、装置及存储介质 | |
| CN108134690B (zh) | 网络业务部署流程控制方法、装置及系统 | |
| US20220207341A1 (en) | Neural network processor and control method therefor | |
| CN106484425B (zh) | 一种基于策略配置的异常处理方法 | |
| CN107239342A (zh) | 一种存储集群任务管理方法及装置 | |
| US20230020324A1 (en) | Task Processing Method and Device, and Electronic Device | |
| CN104484167B (zh) | 任务处理方法及装置 | |
| CN111078436A (zh) | 数据处理的方法、装置、设备及存储介质 | |
| US20150195229A1 (en) | Listening for externally initiated requests | |
| CN106874109A (zh) | 一种分布式作业分发处理方法及系统 | |
| CN107682391A (zh) | 电子装置、服务器分配控制方法和计算机可读存储介质 | |
| CN108491281A (zh) | 在软件系统之间进行交互的方法、可读介质及电子设备 | |
| CN107547608A (zh) | 分布式任务处理方法和装置 | |
| CN110365786A (zh) | 作业处理系统、异步作业调度方法和计算机设备 | |
| CN105550025A (zh) | 分布式基础设施即服务（IaaS）调度方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 1002-1, 10th floor, No.56, Beisihuan West Road, Haidian District, Beijing 100080 Patentee after: Ronglian Technology Group Co., Ltd Address before: 100080, Beijing, Haidian District, No. 56 West Fourth Ring Road, glorious Times Building, 10, 1002-1 Patentee before: UNITED ELECTRONICS Co.,Ltd. |