CN110908700A - 一种任务一体化发布方法及装置 - Google Patents

Abstract

本发明公开了一种任务一体化发布方法及装置，该方法包括：接收用户提交的待发布任务，待发布任务包括新建任务、修改任务或删除任务中的至少一个；对待发布任务进行合法性校验；若校验通过，则将待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。本发明通过能够通过一次创建任务，发布至各个环境，而无需到每个环境中重复创建任务，既节省了数据开发人员的开发成本，又提高了开发效率，并且限制了开发人员随意跨环境发布，只能按照测试环境‑预生产环境‑生产环境的顺序来进行任务发布，降低风险。

Description

一种任务一体化发布方法及装置

技术领域

本发明涉及大数据技术领域，特别涉及一种任务一体化发布方法及装置。

背景技术

对于数据开发人员而言，在开发过程中，需要在数据开发平台建立大量的任务，但是，目前大数据的任务开发都遵循各个环境相互之间独立的原则，即在测试环境中创建任务，就在测试环境中运行，在预生产环境中创建任务，就在预生产环境中运行，在生产环境中创建任务，就在生产环境中运行。

也就是说，现有技术中的开发模式，通常需要开发人员在每个环境都要重复创建一遍任务，即开发人员需要做大量的重复工作，一方面重复工作加大了开发成本，严重影响开发效率，另一方面，各个环境独立发布上线，对于任务的发布没有规范。并且各个环境随便独立发布上线，存在跨环境发布的问题，甚至存在没有经过测试和预生产环境验证，直接发布到生产环境的情况。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种任务一体化发布方法及装置，以克服现有技术中各个环境独立发布上线，存在跨环境发布的问题，甚至存在没有经过测试和预生产环境验证，直接发布到生产环境等问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

一方面，提供了一种任务一体化发布方法，该方法包括如下步骤：

接收用户提交的待发布任务，所述待发布任务包括新建任务、修改任务或删除任务中的至少一个；

对所述待发布任务进行合法性校验；

若校验通过，则将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。

进一步的，所述对所述待发布任务进行合法性校验包括：

校验所述用户是否有权限操作所述待发布任务；和/或，

校验所述待发布任务的数据源是否合法；和/或，

校验所述待发布任务是否配置完毕；和/或，

校验所述待发布任务是否有修改变更。

进一步的，所述将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布包括：

将所述待发布任务发布至所述测试环境中；

若所述待发布任务在所述测试环境中测试成功，则将所述待发布任务发布至所述预生产环境中；

若所述待发布任务在所述预生产环境中运行成功，则将所述待发布任务发布至所述生产环境中。

进一步的，所述方法还包括：

若所述待发布任务在所述测试环境中测试不成功，或者若所述待发布任务在所述预生产环境中运行不成功，则对所述待发布任务进行修改后，将修改后的待发布任务重新发布至所述测试环境中。

进一步的，所述将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布包括：

对所述待发布任务进行发布管控审核，若审核通过，则将待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。

另一方面，提供了一种任务一体化发布装置，所述装置包括：

任务接收模块，用于接收用户提交的待发布任务，所述待发布任务包括新建任务、修改任务或删除任务中的至少一个；

任务校验模块，用于对所述待发布任务进行合法性校验；

任务发布模块，用于若校验通过，则将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。

进一步的，所述任务校验模块包括：

权限校验单元，用于校验所述用户是否有权限操作所述待发布任务；

数据源校验单元，用于校验所述待发布任务的数据源是否合法；

配置校验单元，用于校验所述待发布任务是否配置完毕；

修改校验单元，用于校验所述待发布任务是否有修改变更。

进一步的，所述任务发布模块包括：

第一发布单元，用于将所述待发布任务发布至所述测试环境中；

第一判断单元，用于判断所述待发布任务在所述测试环境中是否测试成功；

第二发布单元，用于将所述待发布任务发布至所述预生产环境中；

第二判断单元，用于判断所述待发布任务在所述预生产环境中是否运行成功；

第三发布单元，用于将所述待发布任务发布至所述生产环境中。

进一步的，所述装置还包括：

任务修改模块，用于若所述待发布任务在所述测试环境中测试不成功，或者若所述待发布任务在所述预生产环境中运行不成功，则对所述待发布任务进行修改；

所述任务发布模块还用于将修改后的待发布任务重新发布至所述测试环境中。

进一步的，所述装置还包括：

任务审核模块，用于对所述待发布任务进行发布管控审核。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例提供的任务一体化发布方法及装置，通过接收用户提交的待发布任务，对待发布任务进行合法性校验，校验通过后，将待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布，即能够通过一次创建任务，发布至各个环境，而无需到每个环境中重复创建任务，既节省了数据开发人员的开发成本，又提高了开发效率；

2、本发明实施例提供的任务一体化发布方法及装置，通过将待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布，即限制了开发人员随意跨环境发布，只能按照测试环境-预生产环境-生产环境的顺序来进行任务发布，降低风险。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的任务一体化发布方法的流程图；

图2是根据一示例性实施例示出的任务一体化发布装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据一示例性实施例示出的任务一体化发布方法的流程图，参照图1所示，该方法包括如下步骤：

S1：接收用户提交的待发布任务，所述待发布任务包括新建任务、修改任务或删除任务中的至少一个。

具体的，用户（如数据开发人员）在开发过程中，通过任务发布中心创建待发布任务，其中，用户创建的待发布任务包括新建任务、修改任务或删除任务中的至少一个。作为一种较优的实施方式，本发明实施例中，用户在向发布中心提交待发布任务时，可以同时将代表待发布任务的新建、修改还是删除任务的标识一起提交至发布中心，方便发布中心通过该标识判断待发布任务的种类，以进行后续相应的处理。

S2：对所述待发布任务进行合法性校验。

具体的，接收到用户提交的待发布任务后，首先需要对待发布任务进行合法性校验，若是校验通过，才可以将待发布任务进行后续发布，若是校验不通过，则还需对该待发布任务进行相应的修改，直至修改后的待发布任务通过合法性校验。

S3：若校验通过，则将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。

具体的，这里需要说明的是，本发明实施例中，将测试环境、预生产环境以及生产环境这3个环境封装在了一起，并且设置合法性校验通过后的待发布任务只能按照测试环境-预生产环境-生产环境的顺序依次进行发布，从而避免了将待发布任务跨环境进行发布，使得任务发布只能严格按照流程来规范的进行。

作为一种较优的实施方式，本发明实施例中，所述对所述待发布任务进行合法性校验包括：

校验所述用户是否有权限操作所述待发布任务；和/或，

校验所述待发布任务的数据源是否合法；和/或，

校验所述待发布任务是否配置完毕；和/或，

校验所述待发布任务是否有修改变更。

具体的，对待发布任务进行合法性校验包括但不限于以下几种方式：

1、校验用户是否有权限操作待发布任务：

本发明实施例中，为保证安全性，对用户权限进行了划分，给不同的用户配置不同的操作权限，接收到用户向发布中心提交的待发布任务后，会对用户的权限进行校验，校验其是否具有该待发布任务的权限，若有，则校验通过，否则校验不通过。

2、校验待发布任务的数据源是否合法：

即校验待发布任务的数据源进行校验，若数据源符合要求，则校验通过，否则校验不通过。

3、校验待发布任务是否配置完毕：

为保证待发布任务的配置的完整性，不影响其后期的运行，本发明实施例中，还需要对待发布任务的配置的完整性进行校验，即查看待发布任务是否已经配置完毕，若已配置完毕，则校验通过，否则校验不通过，需要将待发布任务缺失的配置补充完整。

4、校验待发布任务是否有修改变更。

任务修改变更是指对任务本身的参数、代码包逻辑或者任务依赖关系这三者中任何一种或多种有修改变更，即视为任务有修改变更，其中，这里的任务依赖关系是指任务调度执行的一种先后依赖顺序。本发明实施例中，校验任务是否有修改变更的目的是：若有修改变更，则生成新的任务版本，同时记录任务变更内容，便于用户追溯任务的变更历史。

作为一种较优的实施方式，本发明实施例中，所述将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布包括：

将所述待发布任务发布至所述测试环境中；

若所述待发布任务在所述测试环境中测试成功，则将所述待发布任务发布至所述预生产环境中；

若所述待发布任务在所述预生产环境中运行成功，则将所述待发布任务发布至所述生产环境中。

具体的，本发明实施例中，设置首先将待发布任务发布至测试环境中，在将待发布任务发布至测试环境中后，判断待发布任务在测试环境中测试是否成功，若是测试成功了，则再将待发布任务发布至预生产环境中，并且判断待发布任务在预生产环境中运行是否成功，若是运行成功了，则才将待发布任务发布至生产环境中。这样设置，保证了待发布任务严格按照测试环境-预生产环境-生产环境的顺序依次进行发布，防止待发布任务被跨环境发布，给后续运行带来风险。

作为一种较优的实施方式，本发明实施例中，所述方法还包括：

若所述待发布任务在所述测试环境中测试不成功，或者若所述待发布任务在所述预生产环境中运行不成功，则对所述待发布任务进行修改后，将修改后的待发布任务重新发布至所述测试环境中。

具体的，本发明实施例中，当待发布任务在测试环境中测试不成功，或者当待发布任务在预生产环境中运行不成功时，设置将待发布任务返回给用户进行修改后，并且在修改完成后，只能将修改后的待发布任务重新发布至测试环境中。这样设置，同样可以防止待发布任务被跨环境发布，给后续运行带来风险。

作为一种较优的实施方式，本发明实施例中，所述将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布包括：

对所述待发布任务进行发布管控审核，若审核通过，则将待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。

具体的，为了避免用户随意发布任务，影响生成数据，本发明实施例中，再将待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布前，还需要对待发布任务进行发布管控审核，主要审核该任务当前是否可以进行发布。比如可以设置在某些场景下严格禁止发布任务：在大型促销活动（如双11）期间，任何的发布都需要严加审核，特别是发布的任务跟大促活动相关，涉及到核心业务的数据，这种任务是禁止发布的，目的是防止任务发布对大促产生不可估量的损失。因此，只有任务审核通过，才可以进行发布，否则，不进行发布。

作为一种较优的实施方式，本发明实施例中，所述方法还包括：

给所述待发布任务设置版本号，并按照版本号将所述待发布任务进行保存。

具体的，采用版本管理的方式对待发布任务进行存储管理，可以通过与历史版本的比对，一目了然的看到历史版本和当前运行版本的差异。并且，当新版本发布后出现问题，可以快速的回滚到历史指定版本，提高处理效率。

图2是根据一示例性实施例示出的任务一体化发布装置的结构示意图，参照图2所示，该装置包括：

任务接收模块，用于接收用户提交的待发布任务，所述待发布任务包括新建任务、修改任务或删除任务中的至少一个；

任务校验模块，用于对所述待发布任务进行合法性校验；

任务发布模块，用于若校验通过，则将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。

作为一种较优的实施方式，本发明实施例中，所述任务校验模块包括：

权限校验单元，用于校验所述用户是否有权限操作所述待发布任务；

数据源校验单元，用于校验所述待发布任务的数据源是否合法；

配置校验单元，用于校验所述待发布任务是否配置完毕；

修改校验单元，用于校验所述待发布任务是否有修改变更。

作为一种较优的实施方式，本发明实施例中，所述任务发布模块包括：

第一发布单元，用于将所述待发布任务发布至所述测试环境中；

第一判断单元，用于判断所述待发布任务在所述测试环境中是否测试成功；

第二发布单元，用于将所述待发布任务发布至所述预生产环境中；

第二判断单元，用于判断所述待发布任务在所述预生产环境中是否运行成功；

第三发布单元，用于将所述待发布任务发布至所述生产环境中。

作为一种较优的实施方式，本发明实施例中，所述装置还包括：

任务修改模块，用于若所述待发布任务在所述测试环境中测试不成功，或者若所述待发布任务在所述预生产环境中运行不成功，则对所述待发布任务进行修改；

所述任务发布模块还用于将修改后的待发布任务重新发布至所述测试环境中。

作为一种较优的实施方式，本发明实施例中，所述装置还包括：

任务审核模块，用于对所述待发布任务进行发布管控审核。

这里需要说明的是，作为一种较优的实施方式，本发明实施例提供的任务一体化发布装置的设计方法包括采用面向对象的设计方法、采用MVC的设计思想或者采用从业务而下的系统分解，从技术至上的系统抽象方法。技术框架上主要使用SNF技术框架，使用spring mvc、redis、日志、异常、rsc等技术组件。与外部系统之间的交互主要通过rest接口，同步采用HTTP，异步采用MQ队列,异步方式使用队列进行异步消息的存储。数据库采用mysql一主备高可用部署，缓存采用redis, json的转换采用fastjson组件，以提升效率。应用服务器及web服务器集群模式无状态，任意节点宕机不影响系统功能。

综上所述，本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例提供的任务一体化发布方法及装置，通过接收用户提交的待发布任务，对待发布任务进行合法性校验，校验通过后，将待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布，即能够通过一次创建任务，，发布至各个环境，而无需到每个环境中重复创建任务，既节省了数据开发人员的开发成本，又提高了开发效率；

2、本发明实施例提供的任务一体化发布方法及装置，通过将待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布，即限制了开发人员随意跨环境发布，只能按照测试环境-预生产环境-生产环境的顺序来进行任务发布，降低风险。

需要说明的是：上述实施例提供的任务一体化发布装置在触发任务发布业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的任务一体化发布装置与任务一体化发布方法实施例属于同一构思，即该装置是基于该任务一体化发布方法的，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种任务一体化发布方法，其特征在于，所述方法包括如下步骤：

接收用户提交的待发布任务，所述待发布任务包括新建任务、修改任务或删除任务中的至少一个；

对所述待发布任务进行合法性校验；

若校验通过，则将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。

2.根据权利要求1所述的任务一体化发布方法，其特征在于，所述对所述待发布任务进行合法性校验包括：

校验所述用户是否有权限操作所述待发布任务；和/或，

校验所述待发布任务的数据源是否合法；和/或，

校验所述待发布任务是否配置完毕；和/或，

校验所述待发布任务是否有修改变更。

3.根据权利要求1或2所述的任务一体化发布方法，其特征在于，所述将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布包括：

将所述待发布任务发布至所述测试环境中；

若所述待发布任务在所述测试环境中测试成功，则将所述待发布任务发布至所述预生产环境中；

若所述待发布任务在所述预生产环境中运行成功，则将所述待发布任务发布至所述生产环境中。

4.根据权利要求3所述的任务一体化发布方法，其特征在于，所述方法还包括：

若所述待发布任务在所述测试环境中测试不成功，或者若所述待发布任务在所述预生产环境中运行不成功，则对所述待发布任务进行修改后，将修改后的待发布任务重新发布至所述测试环境中。

5.根据权利要求1或2所述的任务一体化发布方法，其特征在于，所述将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布包括：

对所述待发布任务进行发布管控审核，若审核通过，则将待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。

6.一种任务一体化发布装置，其特征在于，所述装置包括：

任务接收模块，用于接收用户提交的待发布任务，所述待发布任务包括新建任务、修改任务或删除任务中的至少一个；

任务校验模块，用于对所述待发布任务进行合法性校验；

任务发布模块，用于若校验通过，则将所述待发布任务按照测试环境、预生产环境以及生产环境的顺序依次自动进行发布。

7.根据权利要求6所述的任务一体化发布装置，其特征在于，所述任务校验模块包括：

权限校验单元，用于校验所述用户是否有权限操作所述待发布任务；

数据源校验单元，用于校验所述待发布任务的数据源是否合法；

配置校验单元，用于校验所述待发布任务是否配置完毕；

修改校验单元，用于校验所述待发布任务是否有修改变更。

8.根据权利要求6或7所述的任务一体化发布装置，其特征在于，所述任务发布模块包括：

第一发布单元，用于将所述待发布任务发布至所述测试环境中；

第一判断单元，用于判断所述待发布任务在所述测试环境中是否测试成功；

第二发布单元，用于将所述待发布任务发布至所述预生产环境中；

第二判断单元，用于判断所述待发布任务在所述预生产环境中是否运行成功；

第三发布单元，用于将所述待发布任务发布至所述生产环境中。

9.根据权利要求8所述的任务一体化发布装置，其特征在于，所述装置还包括：

任务修改模块，用于若所述待发布任务在所述测试环境中测试不成功，或者若所述待发布任务在所述预生产环境中运行不成功，则对所述待发布任务进行修改；

所述任务发布模块还用于将修改后的待发布任务重新发布至所述测试环境中。

10.根据权利要求6或7所述的任务一体化发布装置，其特征在于，所述装置还包括：

任务审核模块，用于对所述待发布任务进行发布管控审核。

Images