CN114138324A - 一种基于云服务的任务控制方法、装置及电子设备 - Google Patents

一种基于云服务的任务控制方法、装置及电子设备 Download PDF

Info

Publication number
CN114138324A
CN114138324A CN202111364887.9A CN202111364887A CN114138324A CN 114138324 A CN114138324 A CN 114138324A CN 202111364887 A CN202111364887 A CN 202111364887A CN 114138324 A CN114138324 A CN 114138324A
Authority
CN
China
Prior art keywords
task
module
configuration table
information
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111364887.9A
Other languages
English (en)
Inventor
赵俊俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Longbu Technology Co ltd
Original Assignee
Hangzhou Longbu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Longbu Technology Co ltd filed Critical Hangzhou Longbu Technology Co ltd
Priority to CN202111364887.9A priority Critical patent/CN114138324A/zh
Publication of CN114138324A publication Critical patent/CN114138324A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种基于云服务的任务控制方法、装置及电子设备,通过获取用户预定义的任务配置表,任务配置表中包括多个任务,基于任务配置表,启动对应的集群服务模块,控制集群服务模块执行任务配置表中的任务,能够基于任务配置表启动对应的集群服务模块,并由集群服务模块执行各任务,并且在所有任务执行完成后,自动关闭集群服务,避免用户手动执行每个具体的数据任务,缩短了执行数据任务的整体耗时,提高了集群配置的效率和集群的使用成本。

Description

一种基于云服务的任务控制方法、装置及电子设备
技术领域
本申请涉及云计算技术领域,尤其涉及一种基于云服务的任务控制方法、 装置及电子设备。
背景技术
在基于云服务使用大数据计算框架的场景下,许多数据任务需要根据具体 的业务需求和数据任务的负载,配置并使用集群服务。
在一些场景下,在使用云服务执行数据任务时,通过手动方式在产品界面 上点击从而启动集群,在集群启动完成后,再在集群中手动执行每个具体的数 据任务。这种方式导致执行数据任务的整体耗时较长,进而导致数据任务的执 行效率低。
发明内容
本申请实施例提供一种基于云服务的任务控制方法、装置及电子设备,解 决了执行数据任务的整体耗时较长、数据任务的执行效率低的问题。
第一方面,本申请实施例还提供一种基于云服务的任务控制方法,包括:
获取用户预定义的任务配置表,任务配置表中包括多个任务;基于任务配 置表,启动对应的集群服务模块;控制集群服务模块执行任务配置表中的任务。
第二方面,本申请实施例还提供一种基于云服务的任务控制装置,包括:
获取模块,用于获取用户预定义的任务配置表,任务配置表包括多个任务; 启动模块,用于基于任务配置表,启动对应的集群服务模块;控制模块,用于 控制集群服务模块执行任务配置表中的任务。
第三方面,本申请实施例还提供一种电子设备,包括:处理器,存储器及 存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行 时实现如以上任意一种的方法的步骤。
第四方面,本申请实施例还提供一种可读存储介质,可读存储介质上存储 程序或指令,程序或指令被处理器执行时实现如以上任意一种的方法的步骤。
本申请实施例公开的技术方案,通过获取用户预定义的任务配置表,任务 配置表中包括多个任务,基于任务配置表,启动对应的集群服务模块,控制集 群服务模块执行任务配置表中的任务,能够基于任务配置表启动对应的集群服 务模块,并由集群服务模块执行各任务,避免用户手动执行每个具体的数据任 务,缩短了执行数据任务的整体耗时,提高了集群配置的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部 分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不 当限定。在附图中:
图1A为本申请实施例提供的基于云服务的任务控制方法的第一种流程示 意图;
图1B为本申请实施例提供的基于云服务的任务控制方法的第二种流程示 意图;
图2为本申请实施例提供的基于云服务的任务控制方法的第三种流程示意 图;
图3为本申请实施例提供的基于云服务的任务控制装置的模块组成示意 图;
图4为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实 施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的 实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施 例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
如图1A所示,本申请实施例提供一种基于云服务的任务控制方法,该方 法的执行主体可以为云服务器,其中,该云服务器可以是独立的服务器,也可 以是由多个服务器组成的服务器集群,而且,该服务器可以是能够执行数据任 务的服务器。该通讯方法具体可以包括以下步骤S101-S103:
S101:获取用户预定义的任务配置表。
具体来讲,任务配置表中包括多个任务,用户通过自定义开发数据项目, 可以是任何的可执行代码块,然后自定义任务配置表。任务配置表包括但不限 于:任务执行依赖关系配置文件、gitci部署定时任务配置信息。任务执行依赖 关系配置文件包括但不限于:任务配置信息(如conf.yml文件)、任务调度方 式信息(如flow.project文件)、任务依赖关系信息(如project.flow文件)。gitci 部署定时任务配置信息可以为gitlab-ci.yml文件。
任务配置信息可以为配置定时任务,cron有两个配置文件,一个是全局配 置文件(/etc/crontab),是针对系统任务的;一组是crontab命令生成的配置文 件(/var/spool/cron下的文件),是针对用户自定义的定时任务,具体是配置定 时启动任务的时刻,以及配置用来接收任务执行状态的邮箱等。
任务调度方式信息包括任务调度方式,如采用任务调度工具(azkaban工 具)进行调度。
任务依赖关系信息包括互相关联的一系列任务,如用户自定义的任务包括 任务1、任务2和任务3,在任务依赖关系信息中,用户定义任务1、任务2 和任务3互相管理且定义任务执行顺序依次为任务1、任务2和任务3。
gitci部署定时任务配置信息主要是将任务执行依赖关系配置文件打包传 送至调度工具(如azkaban工具)。
S102:基于任务配置表启动对应的集群服务模块。
具体来讲,在获取到任务配置表确定具体的任务后,启动aws中集群的sdk 调用模块,启动执行上述任务的集群服务模块。
S103:控制集群服务模块执行任务配置表中的任务。
具体来讲,在启动集群服务模块之后,每个任务都具有对应的集群服务模 块,并由集群服务模块执行对应的任务。具体是,集群服务模块按照任务依赖 关系中的任务执行顺序,以及按照任务配置信息中配置的任务执行时刻定时自 动执行任务,直至任务配置表中所有相关联的任务执行完成。
在一种可能的实现方式中,控制集群服务模块执行任务配置表中的任务包 括:通过任务调度方式信息中的调度工具,调度任务依赖关系信息中的多个任 务,各任务互相关联;基于任务依赖关系信息,控制集群服务模块执行任务配 置表中的任务。
通过本申请实施例公开的技术方案,通过获取用户预定义的任务配置表, 基于任务配置表,启动对应的集群服务模块,控制集群服务模块执行任务配置 表中的任务,能够基于任务配置表启动对应的集群服务模块,并由集群服务模 块执行各任务,并且在所有任务执行完成后,自动关闭集群服务,避免用户手 动执行每个具体的数据任务,缩短了执行数据任务的整体耗时,提高了集群配 置的效率和集群的使用成本。
在一种可能的实现方式中,如图1B所示的,在步骤S103之后,还包括: 步骤S104。
S104:在触发关闭条件的情况下,关闭集群服务模块。具体来讲,在任务 配置表中的所有任务执行完毕,且集群服务模块中未存在其它的执行进程的情 况下,控制集群服务模块关闭,可靠性高。
如图2所示,本申请实施例提供一种基于云服务的任务控制方法,该方法 的执行主体可以为云服务器,其中,该云服务器可以是独立的服务器,也可以 是由多个服务器组成的服务器集群,而且,该服务器可以是能够执行数据任务 的服务器。该通讯方法具体可以包括以下步骤S200-S203:
S200:拉取用户预定义的任务配置信息、任务调度方式信息和任务依赖关 系信息至git仓库,通过git仓库,根据任务配置信息、任务调度方式信息和任 务依赖关系信息部署云服务平台(aws)中的匿名函数(lambda函数)定时任 务模块。
具体来讲,通过开源的分布式版本控制系统(git)仓库,根据任务配置信 息、任务调度方式信息和任务依赖关系信息部署aws中的lambda函数定时任 务模块包括:
在aws中存在lambda函数定时任务模块的情况下,通过git仓库,根据任 务配置信息、任务调度方式信息和任务依赖关系信息更新lambda函数定时任 务模块;在aws中未存在lambda函数定时任务模块的情况下,通过git仓库, 根据任务配置信息、任务调度方式信息和任务依赖关系信息创建lambda函数 定时任务模块。
有就是说,在aws中存在lambda函数定时任务模块的情况下,按照任务 配置信息、任务调度方式信息和任务依赖关系信息更新lambda函数定时任务 模块中相关的信息,对于lambda函数定时任务模块中的公共资源可以不作更 新。在aws中未存在lambda函数定时任务模块的情况下,需要按照任务配置 信息、任务调度方式信息和任务依赖关系信息重新创建lambda函数定时任务 模块。
S201:通过lambda函数定时任务模块获取用户预定义的任务配置表。
S202:基于任务配置表启动对应的集群服务模块。
S203:控制集群服务模块执行任务配置表中的任务。
值得注意的是,S201至S203与上述S101至S103具有相同或类似的实现 方式,其可以互相参照,本申请实施例在此不再赘述。
通过本申请实施例公开的技术方案,通过获取用户预定义的任务配置表, 基于任务配置表,启动对应的集群服务模块,控制集群服务模块执行任务配置 表中的任务,能够基于任务配置表启动对应的集群服务模块,并由集群服务模 块执行各任务,并且在所有任务执行完成后,自动关闭集群服务,避免用户手 动执行每个具体的数据任务,缩短了执行数据任务的整体耗时,提高了集群配 置的效率和集群的使用成本。
下面结合具体应用场景对本申请实施例公开的技术方案进行进一步的说 明,如以长桥数据任务中计算用户标签为例,对本申请实施例提供的基于云服 务的任务控制方法进行进一步的说明。
首先进行以下配置:
进行任务配置,具体是配置conf.yml文件,conf.yml文件包括以下内容(任 务配置信息):
PROJECT:lb-user-profile(项目名称)
JOB_LANG:python(项目开发语言)
CRON:cron(300)(定时器)
FLOW:user_profile(任务的名称)
ENV:PROD(执行的环境)
配置任务调度方式,具体是配置flow.project文件,如任务调度方式为 azkaban-flow-version:2.0。
配置任务依赖关系,具体是自定义待执行的任务,以及各个任务之间的关 联关系和执行顺序。
配置任务配置表,任务配置表中包括待执行的任务名称(project);任务调 度方式;任务依赖关系;aws所服务的地区(region_name);集群的版本 (releaseLabel);需要集群的服务类型(applications);集群中元数据信息的配 置(configurations);aws中集群的权限相关设置;云平台初始化完成的时间 (wait_for_cluster);选择集群的类型(Instance Groups);初始化集群过程中执 行的代码块(bootstrapActions),主要下载第三方的资源包。
其中,需要集群的服务类型(applications)以长桥数据任务中计算用户标 签任务为例,其中的服务类型为数据仓库服务(Hive)和计算引擎服务(Spark), 代码表示为"[{"Name":"Hive"},{"Name":“Spark”}]"。
集群中元数据信息的配置代码可以表示为"[{"Classification": "hive-site","Properties":{"hive.metastore.client.factory.class":"com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"}},{"Classification":"s park-hive-site","Properties":{"hive.metastore.client.factory.class":“com.amazonaws. glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory”}}]"。
通过以上配置之后,将其存储于数据库任务配置中,再拉取到git仓库, 由git仓库部署到lambda函数定时任务模块。在部署lambda函数定时任务模 块的过程中,如果aws中存在lambda函数定时任务模块,通过git仓库,根据 任务配置信息、任务调度方式信息和任务依赖关系信息更新lambda函数定时 任务模块;如果aws中未存在lambda函数定时任务模块,通过git仓库,根据 任务配置信息、任务调度方式信息和任务依赖关系信息创建lambda函数定时 任务模块。
在上述的lambda函数定时任务模块部署完成后,首先读取上述用户预定 义配置好的任务配置表,其中,读取任务配置表可以通过以下代码实现:
Figure BDA0003360244610000071
Figure BDA0003360244610000081
在读取任务配置表之后,等待集群服务创建成功并获取集群ID,再启动集 群服务模块,具体通过以下代码实现:
Figure BDA0003360244610000082
Figure BDA0003360244610000091
启动对应的集群服务模块之后,添加具体的任务(即把待执行的任务拉到 调度工具),具体通过以下代码实现:
aws.add_job_flow(cluster_id=CLUSTER_ID,steps=steps)。
然后按照任务配置表中的任务依赖关系执行任务,具体可以采用以下代码 实现:
aws.run_job_flow_with_steps(clustername,emr_logUri,releaseLabel,applications,instances,configurations,bootstrapActions,serviceRole,jobFlowRole, steps)。
在所有的任务执行完成之后,关闭对应的集群服务模块,具体可以采用以 下方式实现:
Figure BDA0003360244610000101
通过本申请实施例公开的技术方案,通过获取用户预定义的任务配置表, 基于任务配置表,启动对应的集群服务模块,控制集群服务模块执行任务配置 表中的任务,能够基于任务配置表启动对应的集群服务模块,并由集群服务模 块执行各任务,并且在所有任务执行完成后,自动关闭集群服务,避免用户手 动执行每个具体的数据任务,缩短了执行数据任务的整体耗时,提高了集群配 置的效率和集群的使用成本。
对应上述实施例提供的基于云服务的任务控制方法,基于相同的技术构 思,本申请实施例还提供了一种基于云服务的任务控制装置,图3为本申请实 施例提供的基于云服务的任务控制装置的模块组成示意图,该基于云服务的任 务控制装置用于执行图1A至图2描述的基于云服务的任务控制方法,如图3 所示,该基于云服务的任务控制装置300包括:获取模块301,启动模块302 和控制模块303。
获取模块301,用于获取用户预定义的任务配置表,任务配置表包括多个 任务;启动模块302,用于基于任务配置表,启动对应的集群服务模块;控制 模块303,用于控制集群服务模块执行任务配置表中的任务。
通过本申请实施例公开的技术方案,能够基于任务配置表启动对应的集群 服务模块,并由集群服务模块执行各任务,避免用户手动执行每个具体的数据 任务,缩短了执行数据任务的整体耗时,提高了集群配置的效率。
在一种可能的实现方式中,还包括:
关闭模块,用于在触发关闭条件的情况下,关闭集群服务模块。
在一种可能的实现方式中,任务配置表包括:任务配置信息、任务调度方 式信息和任务依赖关系信息,还包括:拉取模块,用于拉取用户预定义的任务 配置信息、任务调度方式信息和任务依赖关系信息至git仓库;部署模块,用 于通过git仓库,根据任务配置信息、任务调度方式信息和任务依赖关系信息 部署aws中的lambda函数定时任务模块;获取模块,还用于通过lambda函数 定时任务模块获取用户预定义的任务配置表。
在一种可能的实现方式中,控制模块303,还用于通过任务调度方式信息 中的调度工具,调度任务依赖关系信息中的多个任务,各任务互相关联;基于 任务依赖关系信息,控制集群服务模块执行任务配置表中的任务。
在一种可能的实现方式中,部署模块,还用于在aws中存在lambda函数 定时任务模块的情况下,通过git仓库,根据任务配置信息、任务调度方式信 息和任务依赖关系信息更新lambda函数定时任务模块;
在aws中未存在lambda函数定时任务模块的情况下,通过git仓库,根据 任务配置信息、任务调度方式信息和任务依赖关系信息创建lambda函数定时 任务模块。
本申请实施例提供的基于云服务的任务控制装置能够实现上述基于云服 务的任务控制方法对应的实施例中的各个过程,为避免重复,这里不再赘述。
需要说明的是,本申请实施例提供的基于云服务的任务控制装置与本申请 实施例提供的基于云服务的任务控制方法基于同一申请构思,因此该实施例的 具体实施可以参见前述基于云服务的任务控制方法的实施,重复之处不再赘 述。
对应上述实施例提供的基于云服务的任务控制方法,基于相同的技术构 思,本申请实施例还提供了一种电子设备,该电子设备用于执行上述的基于云 服务的任务控制方法,图4为实现本申请各个实施例的一种电子设备的结构示 意图,如图4所示。电子设备可因配置或性能不同而产生比较大的差异,可以 包括一个或一个以上的处理器401和存储器402,存储器402中可以存储有一 个或一个以上存储应用程序或数据。其中,存储器402可以是短暂存储或持久 存储。存储在存储器402的应用程序可以包括一个或一个以上模块(图示未示 出),每个模块可以包括对电子设备中的一系列计算机可执行指令。
更进一步地,处理器401可以设置为与存储器402通信,在电子设备上执 行存储器402中的一系列计算机可执行指令。电子设备还可以包括一个或一个 以上电源403,一个或一个以上有线或无线网络接口404,一个或一个以上输 入输出接口405,一个或一个以上键盘406。
具体在本实施例中,电子设备包括有处理器、通信接口、存储器和通信总 线;其中,处理器、通信接口以及存储器通过总线完成相互间的通信;存储器, 用于存放计算机程序;处理器,用于执行存储器上所存放的程序,实现以下方 法步骤:获取用户预定义的任务配置表,任务配置表中包括多个任务,基于任 务配置表,启动对应的集群服务模块,控制集群服务模块执行任务配置表中的 任务。
由以上本申请实施例提供的技术方案可见,能够基于任务配置表启动对应 的集群服务模块,并由集群服务模块执行各任务,避免用户手动执行每个具体 的数据任务,缩短了执行数据任务的整体耗时,提高了集群配置的效率。
本实施例中还提供了一种计算机可读存储介质,计算机可读存储介质上 存储有计算机程序,计算机程序被处理器执行时实现如下步骤:
获取用户预定义的任务配置表,任务配置表中包括多个任务,基于任务配 置表,启动对应的集群服务模块,控制集群服务模块执行任务配置表中的任务。
由以上本申请实施例提供的技术方案可见,能够基于任务配置表启动对应 的集群服务模块,并由集群服务模块执行各任务,并且在所有任务执行完成后, 自动关闭集群服务,避免用户手动执行每个具体的数据任务,缩短了执行数据 任务的整体耗时,提高了集群配置的效率和集群的使用成本。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计 算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算 机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输 出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。 内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任 何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序 的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其 他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读 存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁 磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算 设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒 体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排 他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括 那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、 方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括 一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设 备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程 序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和 硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算 机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、 光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技 术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所 作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于云服务的任务控制方法,其特征在于,包括:
获取用户预定义的任务配置表,所述任务配置表包括多个任务;
基于所述任务配置表,启动对应的集群服务模块;
控制所述集群服务模块执行所述任务配置表中的任务。
2.如权利要求1所述的基于云服务的任务控制方法,其特征在于,在所述控制所述集群服务模块执行所述任务配置表中的任务之后,所述方法还包括:
在触发关闭条件的情况下,关闭所述集群服务模块。
3.如权利要求1所述的基于云服务的任务控制方法,其特征在于,所述任务配置表包括:任务配置信息、任务调度方式信息和任务依赖关系信息,在所述获取用户预定义的任务配置表之前,所述方法还包括:
拉取用户预定义的任务配置信息、任务调度方式信息和任务依赖关系信息至git仓库;
通过所述git仓库,根据所述任务配置信息、所述任务调度方式信息和所述任务依赖关系信息部署aws中的lambda函数定时任务模块;
所述获取用户预定义的任务配置表包括:
通过所述lambda函数定时任务模块获取用户预定义的任务配置表。
4.如权利要求3所述的基于云服务的任务控制方法,其特征在于,所述控制所述集群服务模块执行所述任务配置表中的任务包括:
通过所述任务调度方式信息中的调度工具,调度所述任务依赖关系信息中的多个任务,各所述任务互相关联;
基于所述任务依赖关系信息,控制所述集群服务模块执行所述任务配置表中的任务。
5.如权利要求3所述的基于云服务的任务控制方法,其特征在于,所述通过所述git仓库,根据所述任务配置信息、所述任务调度方式信息和所述任务依赖关系信息部署aws中的lambda函数定时任务模块包括:
在所述aws中存在所述lambda函数定时任务模块的情况下,通过所述git仓库,根据任务配置信息、所述任务调度方式信息和所述任务依赖关系信息更新所述lambda函数定时任务模块;
在所述aws中未存在所述lambda函数定时任务模块的情况下,通过所述git仓库,根据所述任务配置信息、所述任务调度方式信息和所述任务依赖关系信息创建所述lambda函数定时任务模块。
6.一种基于云服务的任务控制装置,其特征在于,包括:
获取模块,用于获取用户预定义的任务配置表,所述任务配置表包括多个任务;
启动模块,用于基于所述任务配置表,启动对应的集群服务模块;
控制模块,用于控制所述集群服务模块执行所述任务配置表中的任务。
7.如权利要求6所述的基于云服务的任务控制装置,其特征在于,还包括:
关闭模块,用于在触发关闭条件的情况下,关闭所述集群服务模块。
8.如权利要求6所述的基于云服务的任务控制装置,其特征在于,所述任务配置表包括:任务配置信息、任务调度方式信息和任务依赖关系信息,还包括:
拉取模块,用于拉取用户预定义的任务配置信息、任务调度方式信息和任务依赖关系信息至git仓库;
部署模块,用于通过所述git仓库,根据所述任务配置信息、所述任务调度方式信息和所述任务依赖关系信息部署aws中的lambda函数定时任务模块;
所述获取模块,还用于通过所述lambda函数定时任务模块获取用户预定义的任务配置表。
9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的方法的步骤。
CN202111364887.9A 2021-11-17 2021-11-17 一种基于云服务的任务控制方法、装置及电子设备 Pending CN114138324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111364887.9A CN114138324A (zh) 2021-11-17 2021-11-17 一种基于云服务的任务控制方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111364887.9A CN114138324A (zh) 2021-11-17 2021-11-17 一种基于云服务的任务控制方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114138324A true CN114138324A (zh) 2022-03-04

Family

ID=80390162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111364887.9A Pending CN114138324A (zh) 2021-11-17 2021-11-17 一种基于云服务的任务控制方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114138324A (zh)

Similar Documents

Publication Publication Date Title
US11379311B2 (en) Configuring computing devices using a template
CN111897539A (zh) 一种根据服务角色的进行应用部署的方法及装置
US9542173B2 (en) Dependency handling for software extensions
CN110162344B (zh) 一种隔离限流的方法、装置、计算机设备及可读存储介质
US11431563B1 (en) Intelligent management of cloud infrastructures using a cloud management platform
CN111124596A (zh) 基于容器的发布管理方法及其系统
CN110888736A (zh) 一种基于容器云平台的应用管理方法、系统及相关组件
CN112882846B (zh) 消息队列的数据处理方法、装置、计算机设备和存储介质
CN112242920A (zh) 一种云平台部署方法、装置及节点
Bhattacharjee et al. A model-driven approach to automate the deployment and management of cloud services
CN110895544B (zh) 一种接口数据处理方法、装置、系统及存储介质
US20230037199A1 (en) Intelligent integration of cloud infrastructure tools for creating cloud infrastructures
CN112596746B (zh) 应用安装包生成方法、装置、计算机设备和存储介质
CN112199200B (zh) 资源调度方法、装置、计算机设备和存储介质
US11150919B2 (en) Logging of scripts executed in an information technology workflow orchestration system
US11221923B2 (en) Performing selective backup operations
CN114138324A (zh) 一种基于云服务的任务控制方法、装置及电子设备
US20180341475A1 (en) Just In Time Deployment with Package Managers
CN114968422A (zh) 基于变量状态自动执行合约的方法和装置
CN113867776A (zh) 中台应用的发布方法、装置、电子设备和存储介质
CN114493493A (zh) 决策引擎及决策引擎实现方法
CN110837394B (zh) 一种高可用配置版本仓库配置方法、终端及可读介质
CN110019034A (zh) 表单文件加载方法和装置
CN112559444A (zh) Sql文件迁移方法、装置、存储介质及设备
US9477447B1 (en) Semantic representations of software extensions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination