CN114428621A - 一种作业自动化部署方法 - Google Patents

Abstract

本发明公开了一种作业自动化部署方法，应用于Kettle作业的部署，包括：步骤S1，自动化运维工具接收上线所需文件，并于生产环境中对上线所需文件进行自动化运维，上线所需文件包括作业文件、以及每一作业文件对应配置文件、数据模型和调度信息；步骤S2，工作流任务调度系统根据调度信息自动创建工作流和定时任务，以所有作业文件为节点形成开发项目对应的部署工作流以及每一作业文件对应的任务执行时间；步骤S3，根据创建的部署工作流和任务执行时间进行自动化运行。本发明基于自动化运维工具实现配置文件更新、数据模型变更、Kettle作业的上线与运行以及错误作业的回滚；同时基于工作流任务调度系统实现作业的定时、错误作业的维护。

Description

一种作业自动化部署方法

技术领域

本发明涉及自动化部署领域，尤其涉及一种Kettle作业的自动化部署方法。

背景技术

部署阶段作为数据开发的重要的一环，需要部署人员按照一定的规范以及工作流程进行操作，包括文件的准备、命令的执行、作业上传以及任务调度这四个阶段的设置。

大数据背景下，企业各项业务产生了大量的数据应用需求，因此日常有大量的Kettle开发作业需要部署至生产服务器上。现有技术中，大多通过部署人员手动进行部署操作，并且上述的四个阶段中包含有大量的重复工作，人为的依据工作流程进行部署操作，过程较为繁复，耗费时间较久，部署效率较低，而且人工维护的容错性较差。随着业务的开展需要上线的作业越来越多，手动操作的方式已无法满足部署需求，使得开发适宜的自动化部署策略成为必要。但是由于Kettle作业在部署阶段需要进行数据库的创建，使得Kettle作业的自动化部署成为难点，因此针对以上问题，迫切需要设计出一种作业自动化部署方法，以满足实际使用的需要。

发明内容

为了解决以上技术问题，本发明提供了一种作业自动化部署方法。

本发明所解决的技术问题可以采用以下技术方案实现：

一种作业自动化部署方法，应用于Kettle作业的部署，包括：

步骤S1，提供一自动化运维工具，所述自动化运维工具接收开发人员上传的开发项目对应的上线所需文件，并于生产环境中对所述上线所需文件进行自动化运维，所述上线所需文件包括作业文件、以及每一所述作业文件对应配置文件、数据模型和调度信息；其中，所述自动化运维工具包括Ansible；

步骤S2，工作流任务调度系统根据所述调度信息自动创建工作流和定时任务，以所有所述作业文件为节点形成所述开发项目对应的部署工作流以及每一所述作业文件对应的任务执行时间；其中，所述工作流任务调度系统包括DolphinScheduler；

步骤S3，根据创建的所述部署工作流和所述任务执行时间进行自动化运行。

上述的一种作业自动化部署方法，所述步骤S1中，具体包括：

步骤S11，根据所述作业文件中的文件路径创建作业所属目录；

步骤S12，根据所述数据模型更新每一所述作业文件对应的任务涉及库；

步骤S13，根据新增的配置信息更新所述配置文件；

步骤S14，将所述作业文件上传至所述步骤S11中创建的所述作业所属目录中；

步骤S15，运行所述作业文件，并于运行成功时，转入所述步骤S2中。

上述的一种作业自动化部署方法，还包括：

步骤S4，于所述作业文件运行失败时，所述自动化运维工具对所述上线所需文件进行回滚，得到运行失败对应的错误日志，并发送至相关人员；

所述步骤S15中，若所述作业文件运行失败，则进入所述步骤S4。

上述的一种作业自动化部署方法，所述步骤S13中，若所述任务涉及库为新建的数据库，则还包括：

步骤S131，获取所述新建的数据库的连接信息；

步骤S132，根据所述连接信息对所述作业文件对应的所述配置文件进行更新。

上述的一种作业自动化部署方法，所述数据模型包括：

业务配置库，用于存储业务配置信息，所述业务配置信息包括作业名称、开始时间、结束时间；

任务涉及库，用以存储各所述作业文件对应的作业数据。

上述的一种作业自动化部署方法，所述调度信息包括收件人信息、抄送人信息、运行时间或运行频率中的一种或多种组合。

上述的一种作业自动化部署方法，所述步骤S1之前，还包括：

步骤S01，接收所述开发项目的需求信息，所述开发人员根据所述需求信息进行本地开发，得到所述开发项目对应的所有所述作业文件；

步骤S02，所述开发人员在测试环境中对所有所述作业文件进行测试；

步骤S03，于测试成功后进行数据准备，得到所述上线所需文件，并上传至代码管理系统。

上述的一种作业自动化部署方法，所述步骤S03之后，还包括：

步骤S04，对所述上线所需文件进行审查，得到一审查信息；

步骤S05，于所述审查信息表示所述上线所需文件存在错误项时，对所述上线所需文件进行相应的修改。

上述的一种作业自动化部署方法，所述步骤S04中，还包括：审查业务配置信息，保留所述配置文件中的所述新增的配置信息；

所述步骤S1中，所述自动化运维工具根据保留的所述新增的配置信息更新所述配置文件。

上述的一种作业自动化部署方法，所述步骤S2中，具体包括：

步骤S21，根据所述上线所需文件中根据各所述作业文件之间的对应关系，以及每一所述作业文件对应的优先级标识创建所述部署工作流；

步骤S22，获取用户的账号信息；

步骤S23，获取当前的所述部署工作流对应的标识信息，并对所述部署工作流进行上线；

步骤S24，创建每一所述作业文件对应的所述任务执行时间，得到定时任务并上线。

本发明技术方案的有益效果在于：

本发明基于自动化运维工具实现配置文件更新、数据模型变更、Kettle作业的上线与运行，此外还可用于对错误作业的回滚；同时基于工作流任务调度系统实现作业的定时、错误作业的维护。

附图说明

图1为本发明较佳的实施例中，一种作业自动化部署方法的流程示意图；

图2为本发明较佳的实施例中，自动化部署具体实施例的流程示意图；

图3为本发明较佳的实施例中，步骤S1之前具体实施例的流程示意图；

图4为本发明较佳的实施例中，步骤S2具体实施例的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本发明及区别每一步骤，因此不能理解为对本发明的限制。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明提供一种基于Ansible和DolphinScheduler的作业自动化部署方法，旨在针对于Kettle作业的部署，其中：

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定，可用于跨数据库、跨数据平台对数据的抽取、数据指标的计算等应用，被应用于数据开发的相关工作。Kettle中有两种脚本文件，transformation和job，其中，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

Ansible是一种基于Python开发的自动化运维工具，集合了众多运维工具(例如集中配置管理系统puppet、集群自动化部署管理工具chef、func、网络远程部署fabric)的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。

DolphinScheduler是一种分布式大数据工作流任务调度系统，可适用于包含错综复杂关系的大数据任务组。它以有向无环图(Directed acyclic graph，DAG)的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停、Kill任务、返还错误日志等操作。

参阅图1，本发明实施例的作业自动化部署方法具体包括如下步骤：

步骤S1，提供一自动化运维工具，自动化运维工具接收开发人员上传的开发项目对应的上线所需文件，并于生产环境中对上线所需文件进行自动化运维，上线所需文件包括作业文件、以及每一作业文件对应配置文件、数据模型和调度信息；其中，自动化运维工具包括Ansible；

步骤S2，工作流任务调度系统根据调度信息自动创建工作流和定时任务，以所有作业文件为节点形成开发项目对应的部署工作流以及每一作业文件对应的任务执行时间；其中，工作流任务调度系统包括DolphinScheduler；

步骤S3，根据创建的部署工作流和任务执行时间进行自动化运行。

考虑到现有的Kettle作业的部署包含了配置文件的更新、数据模型的创建或更新、Kettle作业的上传、Kettle作业的运行以及Kettle作业的定时任务等，过程较为繁复；另一方面，人工维护的容错性较差的问题。本发明基于规范化的上线作业规范，开发人员依据一定的规范将Kettle作业、配置文件、数据模型提交至代码管理系统(GitLab)，然后利用自动化运维工具(Ansible)自动化地从代码管理系统上拉取文件，实现配置文件更新、数据模型变更、Kettle作业的上线与运行，此外还可用于对错误作业的回滚，例如文件系统的回滚以及数据库的回滚，利用工作流任务调度系统(DolphinScheduler)的API接口实现作业的定时设置、错误作业的维护。

针对每日大批量的上线作业，基于自动化运维工具和工作流任务调度系统的自动定时功能，协同实现Kettle作业在生产环境中的自动化部署，协助部署人员进行作业的上线、配置文件的修改、数据模型的创建与更改、调度的设置，减少人工部署耗费的时间，以大幅地提高作业的部署效率。进一步的，通过工作流任务调度系统也可自动地将出现问题的Kettle作业通知至对应的开发人员，及时进行维护，具备较强的容错性。

作为优选的实施方式，其中，如图3所示，步骤S1之前，还包括：

步骤S01，接收开发项目的需求信息，开发人员根据需求信息进行本地开发，得到开发项目对应的所有作业文件；

步骤S02，开发人员在测试环境中对所有作业文件进行测试；

步骤S03，于测试成功后进行数据准备，得到上线所需文件，并上传至代码管理系统(GitLab)。

作为优选的实施方式，其中，如图3所示，步骤S03之后，还包括：

步骤S04，对上线所需文件进行审查，得到一审查信息；

步骤S05，于审查信息表示上线所需文件存在错误项时，对上线所需文件进行相应的修改。

具体的，在本实施例中，Kettle作业开发的完整流程包括开发、测试以及在生产环境中的部署三个部分，因此，在部署前还包括开发、测试、以及文件的准备，具体包括如下步骤：

接收开发项目的需求信息，需求信息包括数据产品需求，例如报表展示任务、机器学习任务、API接口开发等等；由各开发人员根据需求信息并依据Kettle开发标准在本地展开Kettle作业的开发，例如抽取Extract、转换Transform、加载Load，以完成前期的数据抽取、数据处理、指标的计算、数据存储工作。

然后，由开发人员在测试环境中对Kettle作业进行测试；

最后，由开发人员依据标准提供Kettle作业的上线所需文件，上线所需文件具体包括作业文件(Kettle的ktr与kjb文件、Kettle文件的路径)、配置文件(Kettle作业中数据库的连接信息)、数据模型(业务配置库、任务涉及库)、调度信息(收件人信息、抄送人信息、运行时间或运行频率)；将以上文件上传至代码管理系统(GitLab)；

进一步的，即使开发文件在测试环境中已测试成功，但还是可能会存在一些错误项并未被测试处理，因此，上传至代码管理系统后，还需由部署人员完成审查以及相应的修改。

作为优选的实施方式，其中，步骤S04中，还包括：审查业务配置信息，保留所述配置文件中的所述新增的配置信息；

所述步骤S1中，所述自动化运维工具根据保留的所述新增的配置信息更新所述配置文件。

具体的，由部署人员在代码管理系统(GitLab)进行业务配置信息的审查，使得配置文件中只保留新增的配置信息，因此Ansible在运维的过程中直接更新即可，提高部署效率。

作为优选的实施方式，其中，如图2所示，步骤S1中，具体包括：

步骤S11，根据作业文件中的文件路径创建作业所属目录；

步骤S12，根据数据模型更新每一作业文件对应的任务涉及库；

步骤S13，根据新增的配置信息更新所述配置文件；

其中，这里的新增的配置信息由上述部署人员在代码管理系统(GitLab)审核得到，Ansible根据新增的配置信息直接进行更新。

步骤S14，将作业文件上传至步骤S11中创建的作业所属目录中；

步骤S15，运行作业文件，并于运行成功时，转入步骤S2中。

作为优选的实施方式，其中，如图2所示，还包括：

步骤S4，于作业文件运行失败时，自动化运维工具对上线所需文件进行回滚，得到运行失败对应的错误日志，并发送至相关人员；

步骤S15中，若作业文件运行失败，则进入步骤S4。

具体的，在本实施例中，基于Ansible进行自动化运维，具体包括如下步骤：根据作业文件中Kettle作业的文件路径创建作业所属目录；根据数据模型创建或更新作业涉及的数据库(即任务涉及库)，包括业务配置库中的业务配置信息与存储作业数据的库；更新Kettle作业的配置文件，若作业涉及的数据库为新建的，则将新建的任务涉及库的连接信息加入配置文件中；上传作业文件，将Kettle作业上传至上述创建的作业所属目录下；运行作业文件，若运行成功，则利用工作流任务调度系统的API接口的自动化部署脚本，将调度信息传入自动化部署脚本中，自动创建工作流和定时任务。

进一步的，若作业文件运行失败，则利用自动化运维工具对错误作业的回滚，例如文件系统的上线所需文件进行回滚以及数据库的回滚，并将出现问题的Kettle作业通知至相关人员，例如对应的开发人员或部署人员，及时进行维护，容错性较强。

作为优选的实施方式，其中，所述步骤S13中，若所述任务涉及库为新建的数据库，则还包括：

步骤S131，获取所述新建的数据库的连接信息；

步骤S132，根据所述连接信息对所述作业文件对应的所述配置文件进行更新。

作为优选的实施方式，其中，数据模型包括：

业务配置库，用于存储业务配置信息，业务配置信息包括作业名称、开始时间、结束时间；

任务涉及库，用以存储各作业文件对应的作业数据。

具体的，步骤S12中，根据数据模块创建或更新作业文件对应的任务涉及库，具体包括：业务配置库中的业务配置信息，例如作业名称Job_Name、开始时间SDate、结束时间EDate；以及用于存储作业数据的每一作业文件对应的任务涉及库。

进一步的，每一作业文件对应有很多作业数据，

作为优选的实施方式，其中，调度信息包括收件人信息、抄送人信息、运行时间或运行频率中的一种或多种组合。

作为优选的实施方式，其中，如图4所示，步骤S2中，具体包括：

步骤S21，根据上线所需文件中的所有作业文件创建部署工作流；

步骤S22，获取用户的账号信息；

步骤S23，获取当前的部署工作流对应的标识信息，并对部署工作流进行上线；

步骤S24，创建每一作业文件对应的任务执行时间，得到定时任务并上线。

作为优选的实施方式，其中，每一作业文件对应有一优先级标识；

步骤S21中，具体包括：

根据各作业文件之间的对应关系，以及优先级标识进行部署工作流的创建。

作为优选的实施方式，其中，如图4所示，步骤S21之前，还包括：

步骤A1，接收用户的登录信息；

步骤A2，根据登录信息验证用户是否存在，并于验证成功后，进入步骤S21。

具体的，在本实施例中，基于工作流任务调度系统进行自动化部署脚本的设计，实现工作流和定时任务的自动创建，包括用户登录、创建工作流、上线工作流、创建定时任务、上线定时任务这五部分。

用户登录：接收用户的登录信息，包括各部门或相关人员的账号和密码；

创建工作流：验证用户是否存在，若验证成功，进入创建工作流模块，接收调度信息，执行工作流的自动创建；

上线工作流：获取用户的账号信息，例如用户ID，然后获取当前的部署工作流的标识信息，标识信息可以是工作流的流程定义的ID；进行部署工作流的上线。

创建定时任务：根据调度信息进行定时任务的创建；

上线定时任务：对创建的定时任务进行上线。

采用上述技术方案的有益效果在于：本发明基于自动化运维工具实现配置文件更新、数据模型变更、Kettle作业的上线与运行，此外还可用于对错误作业的回滚；同时基于工作流任务调度系统实现作业的定时、错误作业的维护。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种作业自动化部署方法，其特征在于，应用于Kettle作业的部署，包括：

步骤S1，提供一自动化运维工具，所述自动化运维工具接收开发人员上传的开发项目对应的上线所需文件，并于生产环境中对所述上线所需文件进行自动化运维，所述上线所需文件包括作业文件、以及每一所述作业文件对应配置文件、数据模型和调度信息；其中，所述自动化运维工具包括Ansible；

步骤S2，工作流任务调度系统根据所述调度信息自动创建工作流和定时任务，以所有所述作业文件为节点形成所述开发项目对应的部署工作流以及每一所述作业文件对应的任务执行时间；其中，所述工作流任务调度系统包括DolphinScheduler；

步骤S3，根据创建的所述部署工作流和所述任务执行时间进行自动化运行。

2.根据权利要求1所述的一种作业自动化部署方法，其特征在于，所述步骤S1中，具体包括：

步骤S11，根据所述作业文件中的文件路径创建作业所属目录；

步骤S12，根据所述数据模型更新每一所述作业文件对应的任务涉及库；

步骤S13，根据新增的配置信息更新所述配置文件；

步骤S14，将所述作业文件上传至所述步骤S11中创建的所述作业所属目录中；

步骤S15，运行所述作业文件，并于运行成功时，转入所述步骤S2中。

3.根据权利要求2所述的一种作业自动化部署方法，其特征在于，还包括：

步骤S4，于所述作业文件运行失败时，所述自动化运维工具对所述上线所需文件进行回滚，得到运行失败对应的错误日志，并发送至相关人员；

所述步骤S15中，若所述作业文件运行失败，则进入所述步骤S4。

4.根据权利要求2所述的一种作业自动化部署方法，其特征在于，所述步骤S13中，若所述任务涉及库为新建的数据库，则还包括：

步骤S131，获取所述新建的数据库的连接信息；

步骤S132，根据所述连接信息对所述作业文件对应的所述配置文件进行更新。

5.根据权利要求1所述的一种作业自动化部署方法，其特征在于，所述数据模型包括：

业务配置库，用于存储业务配置信息，所述业务配置信息包括作业名称、开始时间、结束时间；

任务涉及库，用以存储各所述作业文件对应的作业数据。

6.根据权利要求1所述的一种作业自动化部署方法，其特征在于，所述调度信息包括收件人信息、抄送人信息、运行时间或运行频率中的一种或多种组合。

7.根据权利要求1所述的一种作业自动化部署方法，其特征在于，所述步骤S1之前，还包括：

步骤S01，接收所述开发项目的需求信息，所述开发人员根据所述需求信息进行本地开发，得到所述开发项目对应的所有所述作业文件；

步骤S02，所述开发人员在测试环境中对所有所述作业文件进行测试；

步骤S03，于测试成功后进行数据准备，得到所述上线所需文件，并上传至代码管理系统。

8.根据权利要求7所述的一种作业自动化部署方法，其特征在于，所述步骤S03之后，还包括：

步骤S04，对所述上线所需文件进行审查，得到一审查信息；步骤S05，于所述审查信息表示所述上线所需文件存在错误项时，对所述上线所需文件进行相应的修改。

9.根据权利要求8所述的一种作业自动化部署方法，其特征在于，所述步骤S04中，还包括：审查业务配置信息，保留所述配置文件中的所述新增的配置信息；

所述步骤S1中，所述自动化运维工具根据保留的所述新增的配置信息更新所述配置文件。

10.根据权利要求1所述的一种作业自动化部署方法，其特征在于，所述步骤S2中，具体包括：

步骤S21，根据所述上线所需文件中根据各所述作业文件之间的对应关系，以及每一所述作业文件对应的优先级标识创建所述部署工作流；

步骤S22，获取用户的账号信息；

步骤S23，获取当前的所述部署工作流对应的标识信息，并对所述部署工作流进行上线；

步骤S24，创建每一所述作业文件对应的所述任务执行时间，得到定时任务并上线。

Images