CN110321113A - 以项目批次为标准的一体化流水线系统及其工作方法 - Google Patents

Abstract

本发明公开了一种基于项目批次的一体化流水线系统，包括用户分组管理模块、项目定义模块、数据采集模块、CI/CD模块、发布模块；本发明能够将项目交付生命周期每个环节连接成流水线，将流水线的每个节点承接的子系统分散的指标数据进行提取、流转、分析、展示，有效的管控流水线每个环节的状态、质量和效率，实现一体化一站式的流程管控和数据分析，有效的进行项目交付过程中的降本增效，保证整体交付环节的标准化、流程化、自动化以及数据可视化；推进项目进度，改善项目质量，增加研发、测试的效率，整体部署达到无人值守的状态，数据的采集、传输自动化，数据的分析可视化，达到稳定、高效、低成本、可持续的项目交付。

Description

以项目批次为标准的一体化流水线系统及其工作方法

技术领域

本发明涉及软件开发技术领域，具体而言涉及一种基于项目批次的一体化流水线系统及其工作方法。

背景技术

在软件交付项目领域，交付过程涵盖了需求整理、产品设计、软件开发、软件测试、软件交付、软件运维等过程。其中软件开发过程包括了持续集成和持续交付，其中敏捷开发被全球大型软件公司普遍采用，敏捷开发是指一系列软件开发中的原则和方法，它以用户的需求进化为核心，采用迭代、循序渐进的方法进行软件开发，其特点是能够快速响应需求，细化软件功能。在软件交付项目管理中，为了更高质量更快速的进行项目交付，在交付流水线每个环境进行数据的采集、流转和分析，提高需求管理、研发、测试、交付各个团队的效率，减少项目交付过程中的一些质量和进度问题和延误风险，因此需要对各个环节进行优化。

流水线包含的子系统有需求管理系统、代码托管系统、代码编译系统、代码发布系统、质量管理系统、BUG管理系统、测试自动化系统、配置管理系统、统一登录系统、代码走读系统。这些子系统均是由开源系统搭建而成，这就造成没有一个统一的流程体系来管理这些子系统，也没有一个统一的存储空间来存储这些子系统产生的一些数据，更为严重的问题是各个子系统的数据不集中、不流通造成数据不能形成串联，不能形成数据的分析和数据的输出。

在代码编译和自动发布的系统中，自动部署的初始化配置和自动路由配置较为复杂，在没有形成web容器统一的规范之前，需要进行web容器的规范化和标准化，以tomcat和jboss 为例，需要明确两者的软件部署的规范、软件包的加载位置、日志打印的位置、软件包缓存的位置、实例的端口、实例的名称、心跳页的页面等。因此自动部署需要进行数据的初始化，并按照路由策略去自动判别发布的类型、发布的策略、发布所调用的脚本、以及相应的验证方法。

同样的在流水线节点方面，研发的起始日期是按照项目批次关联的系统进行版本分支的新建为日期，以系统的版本分支封板为结束。测试的起始日期是按照测试案例的编写时间为开始，以测试报告的出具为结束。

因此，在项目交付的流水线整体周期中需要解决的问题有：每个环节子系统的数据的采集方式有接口、爬虫，数据的传递方式和消费方式，多版本情况下代码扫描和代码提交量和项目团队的关联方式。

发明内容

本发明目的在于提供一种基于项目批次的一体化流水线系统及其工作方法，以项目批次为标准执行流水线管控和完成整体流水线周期的数据支撑，有效解决现有技术中各个子系统的数据采集、数据汇总、数据传递、数据输出展示的问题，以及在部署环节因配置不标准不统一造成的自动路由、自动部署软件安装包的问题。

为达成上述目的，结合图1，本发明提出一种基于项目批次的一体化流水线系统，所述流水线系统基于项目批次对项目所涉及的各个子系统进行管理，所述子系统包括需求管理系统、代码托管系统、代码编译系统、代码发布系统、质量管理系统、BUG管理系统、测试自动化系统、配置管理系统、统一登录系统、代码走读系统；

所述流水线系统包括用户分组管理模块、项目定义模块、数据采集模块、CI/CD模块、发布模块；

所述用户分组管理模块用于对项目的各个子系统进行用户分组管理以及对用户分组的属性进行管理；其中，所述对项目的各个子系统进行用户分组管理包括用户管理权限的赋予、收回、编辑、代理，所述对用户分组的属性进行管理包括分组属性的新建、编辑、删除、查询；

所述项目定义模块用于定义项目版本，对项目版本的需求进行分析后，将分析结果导入需求子系统；

所述数据采集模块用于根据外部控制指令/自动采集、提取各个子系统的数据，以协调各个子系统依次执行代码编码、代码编译、代码质量检测、代码入库、案例编写、自动化测试、 BUG评估任务，通过接口的方式将代码质量、质量分级结果的数量、以及编译的结果和编译包的地址录入代码托管系统，包括：

第一提取单元，用于从需求管理系统中提取需求的明细、关联的系统、需求的级别；

第二提取单元，用于从配置管理系统中提取基础信息、IP、中间件版本；

第三提取单元，用于从代码走读系统中提取代码评审的结果、明细；

第四提取单元，用于从代码编译系统中提取编译的结果和编译包的路径；

第五提取单元，用于从代码托管系统中得到代码提交数量、提交人和提交代码的URL地址；

第六提取单元，用于从质量管理系统中提取代码的质量结果、质量分级结果的数量；

第七提取单元，用于从BUG管理系统中提取bug号、关联的系统、关联的人员；

所述CI/CD模块用于采用CI/CD模式协调各个子系统完成代码编码、代码编译、代码质量检测、代码入库任务，在WEB页面将CI/CD阶段的各种信息以接口的方式提供服务，包括：

代码编码单元，用于利用自动创建代码分支的方式在代码托管系统中创建代码空间，并给相应的人员赋予读写权限；

代码编译单元，用于在代码编码完成后，在代码编译系统自动创建编译任务，按照预设的编译规则进行编译构建；

代码扫描单元，用于在代码构建完成后异步进行代码的扫描；

所述发布模块用于结合所述服务、采取自动部署的规则对代码发布系统进行自动发布的配置，以完成代码的自动发布，包括以下步骤：

S1：获取项目所对应的代码在代码托管系统中的存储地址、工程代号、编译包的路径、环境类型；

S2：获取项目所对应的代码的部署地址、web容器类型、涉及的所有用户和所属团队组织；

S3：根据发布策略进行流量切换和发布数量的编组；

S4：根据web容器类型将编译包上传至不同的路径；

S5：进行web容器的关闭和原有编译包的备份；

S6：进行缓存的清除和web容器的启动；

S7：按照发布验证规则进行验证；

S8：输出发布结果。

进一步的实施例中，所述流水线系统还包括流水线展示模块，用于对项目涉及的各个子系统的数据进行汇总，根据流水线各节点对汇总后的数据进行编排、展示，包括：流水线进度展示单元、数据展示单元、数据关联单元、数据跳转单元。

进一步的实施例中，所述流水线系统还包括测试自动化模块，包括测试案例集管理单元和测试单元；

其中，测试案例集管理单元用于根据测试案例的需要进行测试案例集的新增、编排、执行、结果输出，测试单元用于结合测试自动化系统执行数据源配置、案例配置、案例编排、案例执行、在线接口调用任务。

进一步的实施例中，所述流水线系统还包括数据存储模块，用于存储所述数据采集模块采集的指标数据、策略数据、脚本数据。

进一步的实施例中，所述流水线系统还包括报表展示模块，用于加工数据采集模块采集的数据，并根据加工后的数据在web页面根据报表类型生成对应的报表；

所述报表展示模块包括报表下载单元，用于提供报表的下载和发送功能，方便相关人员定时获取相关的数据。

进一步的实施例中，所述流水线系统还包括权限管理模块，用于对用户登录请求中的域账号进行统一鉴权管理；

其中，权限控制以角色类型来区别，例如项目经理、研发经理、运维经理、测试经理、架构经理等，每种角色类型拥有不一样的权限。

进一步的实施例中，所述第五提取单元被设置成按照设定周期对代码托管系统中的代码数据进行提交记录和提交数量的扫描，并存储扫描结果。

进一步的实施例中，所述流水线系统还包括质量分析模块，用于抽取代码扫描数据指标，以系统分组分类，分别汇总统计抽取数据，根据统计的结果进行同比、环比，同时进行修复系统的展示和修复数量的趋势图展示；

所述代码扫描数据指标包括系统名称、系统版本、系统负责人、系统分组、最后一次分析时间、代码质量阻断数量、代码质量严重数量、代码质量主要数量、代码质量次要数量。

进一步的实施例中，所述流水线系统还包括能效分析模块，用于抽取代码提交数据指标，以系统分组、开发者为维度，按照汇总指标以汇总抽取数据，根据统计的结果进行同比、环比，同时进行单位时间内开发者的代码贡献量趋势图展示；

所述代码提交数据指标包括系统名称、系统分组、版本、统计时间段、最后一次分析时间、新增代码、有效代码、开发人；

所述汇总指标包括系统数、版本数、产出代码总数、开发者人数、人均代码贡献量。

基于前述流水线系统，本发明还提及一种基于项目批次的一体化流水线系统的工作方法，所述工作方法包括：

利用统一登录系统登录所有子系统；

采用项目定义模块定义项目版本，对项目需求进行分析，将分析结果录入需求管理系统；

从需求管理系统中抽取所述项目版本对应的需求信息，结合需求信息关联相关子系统，分析每个子系统分配需求数量；

采用用户分组管理模块对项目的各个子系统进行用户分组管理以及对用户分组的属性进行管理；

依次将所述项目版本对应的资源准备信息、子系统版本信息发送给用户确认，接收用户拉取的子系统版本分支信息；

执行代码编码任务，分配代码版本权限；

采用CI/CD模块协调各个子系统完成代码编码、代码编译、代码质量检测、代码入库任务，在WEB页面将CI/CD阶段的各种信息以接口的方式提供服务；

执行案例编写任务，自动化测试相关代码；

从BUG管理系统中采集BUG数据，评估BUG级别；

出具上线评估报告；

接收外部填写的上线策略，对上线策略进行评审；

根据评审通过的上线策略投产交付；

对已交付大项目进行后评估。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

(1)以项目批次为标准执行流水线管控和完成整体流水线周期的数据支撑，有效解决现有技术中各个子系统的数据采集、数据汇总、数据传递、数据输出展示的问题，以及在部署环节因配置不标准不统一造成的自动路由、自动部署软件安装包的问题。

(2)能够将流水线各个节点集成子系统分散的指标数据自动采集、流转、分析、展示，有效的将指标数据纳入管理，更好的实现流水线各环节数据的分析，更好的优化各环节的工作，有效的节约各个环节的时间，增加效率，提高项目交付的质量。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的基于项目批次的一体化流水线系统的结构示意图。

图2是本发明的基于项目批次的一体化流水线系统的工作方法流程图。

图3是本发明的其中一种实施例的工作原理示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

每个项目在其项目交付生命周期内包括多个环节，如需求分析环节、研发环节、测试环节、运维环节等。对于软件开发来说，通常涉及到大量复杂的代码编码、编译、质检、测试、更新修复、发布等节点和多个子系统，为了将这些子系统联系起来形成流水线作业，本发明提出一种以项目批次为标准的一体化流水线系统。

结合图1至图3，本发明所提及了一种以项目批次为标准的一体化流水线系统，以项目批次为标准，执行需求研发测试运维一体化流水线管控和完成整体流水线周期的数据支撑，具体的，所述流水线系统包括：

一、用户分组管理模块

用户分组管理模块用于对项目的各个子系统进行分组管理，包括管理的赋予、收回、编辑、代理；并对用户分组的属性进行管理，包括分组属性的新建、编辑、删除、查询。

二、数据采集模块

数据采集模块用于自动采集、提取各个子系统的数据。

优选的，所述子系统包括需求管理系统(如禅道)、代码托管系统(如svn)、代码编译系统(如jenkins)、代码发布系统、质量管理系统(如sonar)、BUG管理系统(如jira)、测试自动化系统、配置管理系统(如cmdb)、统一登录系统、代码走读系统(如review board)。

数据采集模块提取方式包括：(1)从svn中得到代码提交数量、提交人和提交代码的URL 地址，(2)从jenkins提取编译的结果和编译包的路径，(3)从sonar中提取代码的质量结果、质量分级结果的数量，(4)从禅道中提取需求的明细、关联的系统、需求的级别，(5)从cmdb 中提取基础信息、IP、中间件版本等，(6)从review board中提取代码评审的结果、明细，(7) 从jira中提取bug号、关联的子系统、关联的人员。

三、数据存储模块

此模块负责将数据自动采集后的数据存储与数据库中并使用，存储的特点是可弹性扩展。

四、CI/CD模块

结合图3，在模块信息中新建系统A，并录入系统A的版本，则利用本模块的自动创建代码分支的方式在代码库中创建代码空间，并给相应的人员赋予读写权限。代码编写完成后，在jenkins自动创建编译任务的job，然后按照相应的规则进行编译构建，构建完成后异步进行代码的扫描，数据采集模块通过接口的方式将代码质量、质量分级结果的数量采集落库。同时，将编译的结果和编译包的地址录入数据库。每天采取固定时间段对代码仓库svn进行提交记录和提交数量的扫描，将扫描结果进行存储。

在WEB页面将CI阶段的各种信息以接口的方式提供服务，用户通过该服务采取自动部署的规则进行自动发布的配置。具体的步骤为①获取该系统的svn地址、工程代号、编译包的路径、环境类型；②获取该系统的部署地址、web容器类型、系统的所有人、系统所属团队组织；③根据发布策略进行流量切换和发布数量的编组④根据web容器类型将编译包上传至不同的路径⑤进行web容器的关闭和原有编译包的备份⑥进行缓存的清除和web容器的启动⑦按照发布验证规则进行验证⑧输出发布结果。

五、质量分析模块

质量分析模块用于抽取代码扫描数据以下指标：系统名称、系统版本、系统负责人、系统分组、最后一次分析时间、代码质量阻断数量、代码质量严重数量、代码质量主要数量、代码质量次要数量，以及结合抽取数据，以系统分组分类，分别汇总统计，并根据统计的结果进行同比、环比，同时进行修复系统的展示，修复数量的趋势图展示。

六、能效分析模块

能效分析模块用于抽取代码提交数据以下指标：系统名称、系统分组、版本、统计时间段、最后一次分析时间、新增代码、有效代码、开发人，以及结合抽取数据，以系统分组、开发者为维度，进行数据的汇总，汇总指标有系统数、版本数、产出代码总数、开发者人数、人均代码贡献量，并根据统计的结果进行同比、环比，同时进行单位时间内开发者的代码贡献量趋势图展示。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种以项目批次为标准的一体化流水线系统，其特征在于，所述流水线系统基于项目批次对项目所涉及的各个子系统进行管理，所述子系统包括需求管理系统、代码托管系统、代码编译系统、代码发布系统、质量管理系统、BUG管理系统、测试自动化系统、配置管理系统、统一登录系统、代码走读系统；

所述流水线系统包括用户分组管理模块、项目定义模块、数据采集模块、CI/CD模块、发布模块；

所述用户分组管理模块用于对项目的各个子系统进行用户分组管理以及对用户分组的属性进行管理；其中，所述对项目的各个子系统进行用户分组管理包括用户管理权限的赋予、收回、编辑、代理，所述对用户分组的属性进行管理包括分组属性的新建、编辑、删除、查询；

所述项目定义模块用于定义项目版本，对项目版本的需求进行分析后，将分析结果导入需求子系统；

所述数据采集模块用于根据外部控制指令/自动采集、提取各个子系统的数据，以协调各个子系统依次执行代码编码、代码编译、代码质量检测、代码入库、案例编写、自动化测试、BUG评估任务，通过接口的方式将代码质量、质量分级结果的数量、以及编译的结果和编译包的地址录入代码托管系统，包括：

第一提取单元，用于从需求管理系统中提取需求的明细、关联的系统、需求的级别；

第二提取单元，用于从配置管理系统中提取基础信息、IP、中间件版本；

第三提取单元，用于从代码走读系统中提取代码评审的结果、明细；

第四提取单元，用于从代码编译系统中提取编译的结果和编译包的路径；

第五提取单元，用于从代码托管系统中得到代码提交数量、提交人和提交代码的URL地址；

第六提取单元，用于从质量管理系统中提取代码的质量结果、质量分级结果的数量；

第七提取单元，用于从BUG管理系统中提取bug号、关联的系统、关联的人员；

所述CI/CD模块用于采用CI/CD模式协调各个子系统完成代码编码、代码编译、代码质量检测、代码入库任务，在WEB页面将CI/CD阶段的各种信息以接口的方式提供服务，包括：

代码编码单元，用于利用自动创建代码分支的方式在代码托管系统中创建代码空间，并给相应的人员赋予读写权限；

代码编译单元，用于在代码编码完成后，在代码编译系统自动创建编译任务，按照预设的编译规则进行编译构建；

代码扫描单元，用于在代码构建完成后异步进行代码的扫描；

所述发布模块用于结合所述服务、采取自动部署的规则对代码发布系统进行自动发布的配置，以完成代码的自动发布，包括以下步骤：

S1：获取项目所对应的代码在代码托管系统中的存储地址、工程代号、编译包的路径、环境类型；

S2：获取项目所对应的代码的部署地址、web容器类型、涉及的所有用户和所属团队组织；

S3：根据发布策略进行流量切换和发布数量的编组；

S4：根据web容器类型将编译包上传至不同的路径；

S5：进行web容器的关闭和原有编译包的备份；

S6：进行缓存的清除和web容器的启动；

S7：按照发布验证规则进行验证；

S8：输出发布结果。

2.根据权利要求1所述的以项目批次为标准的一体化流水线系统，其特征在于，所述流水线系统还包括流水线展示模块，用于对项目涉及的各个子系统的数据进行汇总，根据流水线各节点对汇总后的数据进行编排、展示，包括：流水线进度展示单元、数据展示单元、数据关联单元、数据跳转单元。

3.根据权利要求1所述的以项目批次为标准的一体化流水线系统，其特征在于，所述流水线系统还包括测试自动化模块，包括测试案例集管理单元和测试单元；

其中，测试案例集管理单元用于根据测试案例的需要进行测试案例集的新增、编排、执行、结果输出，测试单元用于结合测试自动化系统执行数据源配置、案例配置、案例编排、案例执行、在线接口调用任务。

4.根据权利要求1所述的以项目批次为标准的一体化流水线系统，其特征在于，所述流水线系统还包括数据存储模块，用于存储所述数据采集模块采集的指标数据、策略数据、脚本数据。

5.根据权利要求1所述的以项目批次为标准的一体化流水线系统，其特征在于，所述流水线系统还包括报表展示模块，用于加工数据采集模块采集的数据，并根据加工后的数据在web页面根据报表类型生成对应的报表；

所述报表展示模块包括报表下载单元，用于提供报表的下载和发送功能。

6.根据权利要求1所述的以项目批次为标准的一体化流水线系统，其特征在于，所述流水线系统还包括权限管理模块，用于对用户登录请求中的域账号进行统一鉴权管理；

其中，权限控制以角色类型来区别。

7.根据权利要求1所述的以项目批次为标准的一体化流水线系统，其特征在于，所述第五提取单元被设置成按照设定周期对代码托管系统中的代码数据进行提交记录和提交数量的扫描，并存储扫描结果。

8.根据权利要求1所述的以项目批次为标准的一体化流水线系统，其特征在于，所述流水线系统还包括质量分析模块，用于抽取代码扫描数据指标，以系统分组分类，分别汇总统计抽取数据，根据统计的结果进行同比、环比，同时进行修复系统的展示和修复数量的趋势图展示；

所述代码扫描数据指标包括系统名称、系统版本、系统负责人、系统分组、最后一次分析时间、代码质量阻断数量、代码质量严重数量、代码质量主要数量、代码质量次要数量。

9.根据权利要求1所述的以项目批次为标准的一体化流水线系统，其特征在于，所述流水线系统还包括能效分析模块，用于抽取代码提交数据指标，以系统分组、开发者为维度，按照汇总指标以汇总抽取数据，根据统计的结果进行同比、环比，同时进行单位时间内开发者的代码贡献量趋势图展示；

所述代码提交数据指标包括系统名称、系统分组、版本、统计时间段、最后一次分析时间、新增代码、有效代码、开发人；

所述汇总指标包括系统数、版本数、产出代码总数、开发者人数、人均代码贡献量。

10.一种以项目批次为标准的一体化流水线系统的工作方法，其特征在于，所述工作方法包括：

利用统一登录系统登录所有子系统；

采用项目定义模块定义项目版本，对项目需求进行分析，将分析结果录入需求管理系统；

从需求管理系统中抽取所述项目版本对应的需求信息，结合需求信息关联相关子系统，分析每个子系统分配需求数量；

采用用户分组管理模块对项目的各个子系统进行用户分组管理以及对用户分组的属性进行管理；

依次将所述项目版本对应的资源准备信息、子系统版本信息发送给用户确认，接收用户拉取的子系统版本分支信息；

执行代码编码任务，分配代码版本权限；

采用CI/CD模块协调各个子系统完成代码编码、代码编译、代码质量检测、代码入库任务，在WEB页面将CI/CD阶段的各种信息以接口的方式提供服务；

执行案例编写任务，自动化测试相关代码；

从BUG管理系统中采集BUG数据，评估BUG级别；

出具上线评估报告；

接收外部填写的上线策略，对上线策略进行评审；

根据评审通过的上线策略投产交付；

对已交付大项目进行后评估。