CN112083948B

CN112083948B - 一种基于数据配置化的自动化构建部署方法及工具

Info

Publication number: CN112083948B
Application number: CN202010882643.9A
Authority: CN
Inventors: 王锐旭
Original assignee: Guangzhou Joiway Information Technology Co ltd
Current assignee: Guangzhou Joiway Information Technology Co ltd
Priority date: 2020-08-28
Filing date: 2020-08-28
Publication date: 2022-08-09
Anticipated expiration: 2040-08-28
Also published as: CN112083948A

Abstract

本发明的目的在于提供一种基于数据配置化的自动化构建部署方法及工具，通过本发明降低人工学习、维护及运营成本，提升工作效率，实现构建项目的发布端口、配置文件、发布地址、二方库等涉及项目动态配置的方面实现可配置化，减轻运维人员的上线以及线上项目的维护压力，提高生产环境的稳定性，通过本系统降低人工学习、维护及运营成本，提升工作效率，提高了系统的可操作性，同时也提升了用户体验。

Description

一种基于数据配置化的自动化构建部署方法及工具

技术领域

本发明涉及计算机软件技术领域，更具体地说，它涉及一种基于数据配置化的自动化构建部署方法及工具。

背景技术

现有技术：Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。

缺点在于尽管它有很庞大的插件库，增量打包需要人工进行文件差异化比较，再提取出增量文件列表进行打包，这种方式不仅效率低下，而且准确性得不到保障，但是每个企业都需要一些订制化的需求功能，比如java代码的编译效率、静态代码打包等需求，都需要基于Jenkins的插件规范进行开发，这无形中增加了额外的学习成本。

本发明的技术关键点是对CI系统流程的组件化整合，实现了一款轻量级的自动化、可配置化的构建部署、发布工具；无需过多花费精力学习系统知识，只需要了解几个简单的CI命令即可，节省了人力成本，同时也可以快速定位项目运行环境中产生的问题所在，提高了研发测试及运维的整体工作效率。

发明内容

本发明的目的在于提供一种基于数据配置化的自动化构建部署方法及工具，通过本发明降低人工学习、维护及运营成本，提升工作效率。

根据本发明的一个方面，一种基于数据配置化的自动化构建部署方法，其特征在于，包括以下步骤：

依据本次打包拉取代码的时间与对比之前代码仓库提交的版本号，判断拉取和更新项目最新源代码；

进一步地，通过第三方工具maven编译代码；

进一步地，企业封装私有服务包，企业二方库，用于抽离业务中共有的方法去版本号；

进一步地，集成编译静态资源文件；

进一步地，使用java通过读取项目打包配置文件，决定增量打包和全量打包；

进一步地，根据匹配规则过滤文件及目录进行代码打包；

进一步地，集成构建项目接口的各项测试用例时，构建环节即自动执行各个单元用例，若发生异常则抛出具体exception信息且定位反馈至具体的接口逻辑，形成日志文件；

进一步地，打包构建的代码通过nfs挂载发布至配置化的web服务器tomcat、weblogic等主流服务器且可指定服务器版本中，完成部署后，通过执行shell脚本执行tomcat服务器start.sh，后自动重启webserver；

其中，运维工具zabbix对项目发布端口实时监控，根据配置化的日志文件路径形成日志文件记录项目运行情况，若出现异常可根据监控脚本中配置的邮箱地址实现实时通知；

进一步地，校验无误通过后可以通过执行shell脚本中的代码分支merge命令合并已上线的分支代码至远程代码仓库git、svn等主干部署目录；

进一步地，执行release脚本释放备份主干部署目录代码，将已上线代码合并至本地仓库；

记录发布的版本。

其中，项目构建部署打包时，判断是否为静态资源与动态代码相互分离的项目，编译时可以判断控制静态资源是否一并打包。

进一步地，增量构建时，以当前的构建命令所对应的代码分支以及构建次数进行版本命名，方便排查问题时进行增量代码的对比。

进一步地，每次构建时都将项目的版本号记录到文件中，方便版本的快速回溯或回滚。

进一步地，构建过程中，可以通过对项目中实现编写测试用例的接口进行互通性测试，若接口异常则导无法通过同时形成接口日志文件至服务器目录下，便于开发排查问题。

根据本公开的一个方面，一种基于数据配置化的自动化构建部署工具，包括：

代码编译模块：第三方工具maven；

配置管理模块：采用HOCON(Human-Optimized Config Object Notation)配置，作为json和.properties文件格式的超集，能提供了一种更好的阅读格式；

单元测试接口：在集成构建项目接口的各项测试用例时，构建环节即自动执行各个单元用例；

代码同步模块：支持git和svn两种代码仓库的同步；

编译java文件模块：基于maven工具进行java代码的编译，通过java读取项目打包配置文件，决定增量打包和全量打包；

整合静态代码打包工具fis3：fis3是一个前端构建工具，使用它来进行静态代码的打包；

企业二方库：企业封装私有服务包，主要是用于抽离业务中共有的方法去版本号；

二方库版本管理模块：为了更好地解决依赖包冲突的问题，打包时通过删除依赖包的版本号，来避免依赖jar包带来的版本冲突问题；

增量打包模块：为了控制代码上线的影响面，采取增量打包的方式，通过比较主干代码文件和分支代码文件的SHA1值，输出增量文件列表；

web服务器：将构建的项目发布至指定相应的实例中并实现自动化部署，通过配置指定代码分支的webserver等实例，达到自动化部署的效果；

实时监控插件：保证各模块安全稳定运行，用于提升研发测试以及运维工作效率；

进一步地，实时监控插件通过zabbix监控发布的服务端口，并记录服务运行情况形成日志于指定的服务器路径下，便于运维管理及排查问题且服务异常时可以实时告警告知相关人员。

其中，可集成编译静态资源文件。

进一步地，所述单元测试接口发生异常则抛出具体exception信息且定位反馈至具体的接口逻辑，形成日志文件，便于排查问题。

进一步地，在每次构建时拉取代码的时间与对比之前代码仓库git、svn，提交的版本号，判断拉取或更新项目最新源代码。

本发明一种基于数据配置化的自动化构建部署方法及工具，实现提高公司项目的开发、测试部署效率及质量。

依据公司项目的不同需求，实现构建部署工具的数据化、可扩展化、灵活配置化。

实现构建项目的发布端口、配置文件、发布地址、二方库等涉及项目动态配置的方面实现可配置化。

减轻运维人员的上线以及线上项目的维护压力，提高生产环境的稳定性。

通过本系统降低人工学习、维护及运营成本，提升工作效率，提高了系统的可操作性，同时也提升了用户体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出一种实施例S1～S7步骤中基于数据配置化的自动化构建部署方法的流程图。

图2示意性示出一种实施例S8～S12步骤中基于数据配置化的自动化构建部署方法的流程图。

图3示意性示出一种基于数据配置化的自动化构建部署工具组成模块的框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施步骤，如图1依据本次打包拉取代码的时间与对比之前代码仓库提交的版本号，判断拉取和更新项目最新源代码；

通过第三方工具maven编译代码；

企业封装私有服务包，企业二方库，用于抽离业务中共有的方法，去版本号；

集成编译静态资源文件；

如图1，使用java通过读取项目打包配置文件，决定增量打包和全量打包；

根据匹配规则过滤文件及目录进行代码打包；

如图1，集成构建项目接口的各项测试用例时，构建环节即自动执行各个单元用例，若发生异常则抛出具体exception信息且定位反馈至具体的接口逻辑，形成日志文件；

打包构建的代码通过nfs挂载发布至配置化的web服务器tomcat、weblogic等主流服务器且可指定服务器版本中且完成部署后，通过执行shell脚本执行tomcat服务器start.sh，后自动重启webserver；

运维工具zabbix对项目发布端口实时监控，根据配置化的日志文件路径形成日志文件记录项目运行情况，若出现异常可根据监控脚本中配置的邮箱地址实现实时通知；

如图2，校验无误通过后可以通过执行shell脚本中的代码分支merge命令合并已上线的分支代码至远程代码仓库git、svn等主干部署目录；

执行release脚本释放备份主干部署目录代码，将已上线代码合并至本地仓库；

记录发布的版本。

优选地一种实施例，增量构建时，以当前的构建命令所对应的代码分支以及构建次数进行版本命名，方便排查问题时进行增量代码的对比。

优选地一种实施例，每次构建时都将项目的版本号记录到文件中，方便版本的快速回溯或回滚。

优选地一种实施例，构建过程中，可以通过对项目中实现编写测试用例的接口进行互通性测试，若接口异常则导无法通过同时形成接口日志文件至服务器目录下，便于开发排查问题。

优选地一种实施例，一种基于数据配置化的自动化构建部署工具，包括：

代码编译模块：第三方工具maven；

代码同步模块：支持git和svn两种代码仓库的同步；

优选地一种实施例，实时监控插件通过zabbix监控发布的服务端口，并记录服务运行情况形成日志于指定的服务器路径下，便于运维管理及排查问题且服务异常时可以实时告警告知相关人员。

其中，可集成编译静态资源文件。

优选地一种实施例，所述单元测试接口发生异常则抛出具体exception信息且定位反馈至具体的接口逻辑，形成日志文件，便于排查问题。

优选地一种实施例，在每次构建时拉取代码的时间与对比之前代码仓库git、svn，提交的版本号，判断拉取或更新项目最新源代码。

本发明具体运行步骤：

其中crius为本发明工具名称

配置相关环境：java、maven、zabbix等依赖环境

配置crius环境：export CRIUS_HOME＝/data/app/crius

上传crius代码到服务器：/data/app/crius

配置系统配置文件详解：

crius.conf(系统配置)：

system.port:80--系统部署端口

system.log:/data/app/logs--服务日志存放路径

system.trunk_path:--主干部署代码目录

system.branches_path:--分支部署代码目录

system.backup_dir：--备份代码目录

system.work_dir：--工作目录(系统应用相关文件存放地址)

system.script_path：--编译脚本存放地址(存放如clean.sh、compile.sh、deploy.sh)

system.variables:--存放设置全局的变量，通用语本系统的上下文(json数组)

……

crius_branch.conf(项目分支配置,json数组的形式，允许同时构建多个项目)：

server.port:80--项目部署端口

server.build_mode:--构建模式(0-增量(默认)1-全量)

server.is_dynamic:--是否为动静分离项目(根据项目类型标识，区分为静态资源项目以及动态web项目，0-静态1-动态)

server.self.libs:--项目二方库标识(json数组形式，存放私有lib包，去版本号，解除依赖冲突问题)

server.project.logs:--项目运行时日志存放地址

server.build.logs:--项目构建时日志存放地址

server.test.switch:--项目运行时测试用例集成测试开关(0-关闭1-开启)

server.jdk.version:1.7--服务配置jdk版本(可选，若为java项目)

server.type:tomcat/weblogic--web服务器类型

server.id:--项目编号

server.name:--项目名称

server.repo_url:--项目代码仓库地址

server.branch_name：--代码分支目录

……

通过java执行加载上述配置文件，执行打包命令即package命令则通过nfs挂载构建的增量or全量代码至指定配置的服务器地址；

打包构建后则执行部署命令即deploy命令，在指定的web服务器目录下，通过执行start.sh脚本启动上述配置好的web服务器；同时启动zabbix监控配置化的端口，形成日志文件，记录各接口响应情况；

详细CI命令如下：

通过SSH工具登录CI机器

a.打包命令:crius2--package-p<server_id>-b<branch_name>

此过程通过执行上述脚本实现打包构建的过程，并且依据配置化文件中的相关配置，在打包过程中实现接口测试用例的逻辑集成测试，性能并无损耗，且能助开发人员快速定位问题所在；

b.部署命令：crius2--deploy-p<server_id>-b<branch_name>

发布对应的增量或全量代码至对应的web服务器中，且在指定的web端口运行，依据zabbix的监控日志对系统运行情况实时监控，能够形成格式化的日志文件，便于快速定位解决问题；

c.释放命令：crius2--release-p<server_id>-b<branch_name>

此环节为释放本次构建部署的分支记录，可以通过清除环境中存放的无关日志和终版之前构建的旧代码达到释放磁盘空间的目的。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种基于数据配置化的自动化构建部署方法，其特征在于，包括以下步骤：

步骤S1，依据本次打包拉取代码的时间与对比之前代码仓库提交的版本号，判断拉取和更新项目最新源代码；

步骤S2，通过第三方工具maven编译代码；

步骤S3，企业封装私有服务包，企业二方库，用于抽离业务中共有的方法去版本号；

步骤S4，集成编译静态资源文件；

步骤S5，使用java通过读取项目打包配置文件，决定增量打包和全量打包；

步骤S6，根据匹配规则过滤文件及目录进行代码打包；

步骤S7，集成构建项目接口的各项测试用例时，构建环节即自动执行各个单元用例，若发生异常则抛出具体exception信息且定位反馈至具体的接口逻辑，形成日志文件；

步骤S8，打包构建的代码通过nfs挂载发布至配置化的web服务器中tomcat、weblogic主流服务器可指定服务器版本，且完成部署后，通过执行shell脚本执行tomcat服务器start.sh，后自动重启webserver；

步骤S9，运维工具zabbix对项目发布端口实时监控，根据配置化的日志文件路径形成日志文件记录项目运行情况，若出现异常可根据监控脚本中配置的邮箱地址实现实时通知；

步骤S10，校验无误通过后可以通过执行shell脚本中的代码分支merge命令合并已上线的分支代码至远程代码仓库git、svn主干部署目录；

步骤S11，执行release脚本释放备份主干部署目录代码，将已上线代码合并至本地仓库；

步骤S12，记录发布的版本。

2.根据权利要求1所述的一种基于数据配置化的自动化构建部署方法，其特征在于：项目构建部署打包时，判断是否为静态资源与动态代码相互分离的项目，编译时可以判断控制静态资源是否一并打包。

3.根据权利要求1所述的一种基于数据配置化的自动化构建部署方法，其特征在于：增量构建时，以当前的构建命令所对应的代码分支以及构建次数进行版本命名，方便排查问题时进行增量代码的对比。

4.根据权利要求1所述的一种基于数据配置化的自动化构建部署方法，其特征在于：每次构建时都将项目的版本号记录到文件中，方便版本的快速回溯或回滚。

5.根据权利要求1所述的一种基于数据配置化的自动化构建部署方法，其特征在于：构建过程中，可以通过对项目中实现编写测试用例的接口进行互通性测试，若接口异常则无法通过，同时形成接口日志文件至服务器目录下，便于开发排查问题。

6.一种基于数据配置化的自动化构建部署工具，其特征在于，包括：

代码编译模块：第三方工具maven；

配置管理模块：采用HOCON(Human-Optimized Config Object Notation)配置，作为json和.properties文件格式的超集，能提供一种更好的阅读格式；

代码同步模块：支持git和svn两种代码仓库的同步；

web服务器：将构建的项目发布至指定相应的实例中并实现自动化部署，通过配置指定代码分支的webserver实例，达到自动化部署的效果；

实时监控插件：保证各模块安全稳定运行，用于提升研发测试以及运维工作效率。

7.根据权利要求6所述的一种基于数据配置化的自动化构建部署工具，其特征在于：实时监控插件通过zabbix监控发布的服务端口，并记录服务运行情况形成日志于指定的服务器路径下，便于运维管理及排查问题且服务异常时可以实时报警，告知相关人员。

8.根据权利要求6所述的一种基于数据配置化的自动化构建部署工具，其特征在于：可集成编译静态资源文件。

9.根据权利要求6所述的一种基于数据配置化的自动化构建部署工具，其特征在于：所述单元测试接口发生异常则抛出具体exception信息且定位反馈至具体的接口逻辑，形成日志文件，便于排查问题。

10.根据权利要求6所述的一种基于数据配置化的自动化构建部署工具，其特征在于：在每次构建时拉取代码的时间与对比之前代码仓库git、svn提交的版本号，判断拉取或更新项目最新源代码。