CN109542769A - 一种持续集成的自动化测试方法 - Google Patents

Abstract

本发明属于代码自动化测试技术领域，公开了一种持续集成的自动化测试方法，将项目任务划分成若干子任务，将待测代码关联到具体的任务号，在SVN服务上配置钩子脚本调用Jenkins服务构建自动化测试，每次提交任务号关联的代码即由SVN钩子脚本触发持续集成工具Jenkins来调度代码检测工具执行测试，从集成到测试一键自动化完成；通过导入预设的质量规则和质量阈，提高代码质量检测的有效性；并且可借助项目管理平台跟踪监控任务的进度，包括认领、开发、测试到完成的整个过程，不仅可有效提高代码质量检测的效率，而且可准确定位代码问题，使得代码修复的责任更加清晰和具体；反馈信息以电子邮件和QQ即时消息的形式反馈给责任人，从而达到有效指导项目改进的目的。

Description

一种持续集成的自动化测试方法

技术领域

本发明属于自动化测试技术领域，更具体地，涉及一种持续集成的自动化测试方法。

背景技术

代码测试方法包括人工测试和自动化测试。人工测试由测试人员手工编写测试用例对代码进行测试，缺点在于测试工作量大，重复多，回归测试难以实现。自动化测试是通过工具、程序的方式来辅助或代替人工测试，自动实现构建、编译、执行静态测试、单元测试、统计质量报告等测试工作，节省大量的测试开销。

版本发布后进行集中测试的方式，随着项目规模的增加，早期就存在的Bug往往在最后集成测试阶段才被发现，需要花费大量的时间来定位Bug，导致修复成本增加，产生大量在前期未预估到的额外工作量，最终导致整个项目的周期拉长，无法保证项目按时按质交付。持续集成自动化测试的方式是在项目开发过程中频繁的集成，每次提交代码都触发自动化测试，从构建集成到测试一键完成，问题能够更快地被检测出来，引入缺陷和发现缺陷的时间变短了，缺陷更容易定位，能持续有效地提高测试效率。并自动监控项目的质量数据，及时反馈给相关责任人，指导改进项目质量。

现有的持续集成自动化测试的技术通过以周期性的频率(每日或每周)对集成后的代码使用质量检测工具进行质量检测，因质量检测工具中的默认的规则并不是都适用于项目，每次测试后会产生很多问题，可能会因修复问题不及时导致技术债务累积较多，问题无法有效闭环，从而影响项目的质量。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种持续集成的自动化测试方法，其目的在于通过将项目任务划分成若干子任务，并将任务号与待测代码关联，提交关于该任务号关联的代码触发自动化测试，提高代码质量检测的效率。

为实现上述目的，按照本发明的一个方面，提供了一种持续集成的自动化测试方法，将项目任务划分成若干子任务，将待测代码关联到具体的任务号，在版本控制系统配置钩子脚本调用持续集成工具构建自动化测试，每次提交任务号关联的待测代码即由版本控制系统配置钩子脚本触发持续集成工具来调度代码检测工具执行测试。

优选地，上述的自动化测试方法，提交任务号关联的代码即由版本控制系统钩子脚本触发持续集成工具来调度代码检测工具执行测试的方法，具体包括如下步骤：

(1)将待测代码和附加信息提交到版本控制系统临时库；通过调用版本控制系统钩子脚本对提交的待测代码和附加信息进行校验；

(2)校验通过后在版本控制系统钩子脚本中调用持续集成工具，构建预先配置好的自动化测试任务；

(3)触发钩子程序进行自动化测试，包括代码规范检查、静态代码审查、单元测试、集成测试，并生成测试结果。

优选地，上述的自动化测试方法，通过持续集成工具构建脚本命令的方式进行代码规范检查，包括：应用代码规范检查工具将现有的编程规范采用Python语言对规则逐条定义，基于正则表达式用法匹配待检测文件中定义的类名、函数名、变量名、代码的格式，对不符合规范要求的代码，将错误消息格式化输出到测试结果中。

优选地，上述的自动化测试方法，校验内容包括：核实待测代码关联的任务ID、评审人信息是否有效，附加信息是否完整；

附加信息包括关联的开发任务、代码实现的功能、代码修改的原因、可能影响到的代码块、关联的故障或代码评审人。

优选地，上述的自动化测试方法，还包括如下步骤：

(4)将预设的编程规则、代码检测规则集导入到代码质量管理平台的规则库中；

(5)采用代码质量管理平台扫描分析工具将测试结果解析后推送给代码质量管理平台；调用代码质量管理平台的网络应用程序接口判断该项目的质量，若为合格，则自动创建人工审查任务，进入步骤(6)；否则将告警或错误以反馈给预设的责任人；

(6)所有代码审查完成后，将版本控制系统临时库代码同步到版本控制系统正式库。

优选地，上述的自动化测试方法，通过执行batch或者shell脚本命令的方式调用静态分析工具对代码文件执行静态代码审查；通过提取svnlog信息，对单次提交的多个分布于不同的目录下的待测代码文件生成一个文件列表，供多个检查工具共享，以简化静态脚本的开发。

优选地，上述的自动化测试方法，步骤(1)中，版本控制系统提交事务触发钩子程序校验附加信息是否有效；当自动化测试失败后，通过附加信息来帮助定位缺陷的位置和原因，缩短修复缺陷的时间。

优选地，上述的自动化测试方法，步骤(5)中，通过代码质量管理平台的质量规则和质量阈判定，生成项目问题列表和质量阈判定级别；经过质量阈的判定，若合格，则自动创建人工审查任务，进入步骤(6)；否则将告警或错误以反馈给预设的责任人。

优选地，上述的自动化测试方法，通过调用持续集成工具的邮件通知功能，或者通过python QQ自动反馈告警或错误。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明提供的持续集成的自动化测试方法，通过对项目实行任务责任制，将提交的代码关联到具体的任务号，在SVN服务上配置钩子脚本调用Jenkins服务构建自动化测试，每次提交关于相应任务号的代码即会触发自动化测试，从集成到测试一键自动化完成；跟踪监控任务的进度，包括认领、开发、测试到完成的整个过程，不仅可有效提高代码质量检测的效率，而且可准确定位代码问题，使得代码修复的责任更加清晰和具体；

本发明提供的持续集成的自动化测试方法，通过导入预设的质量规则和质量阈，提高代码质量检测的有效性；从可靠性，安全性，可维护性，代码的覆盖率，重复的模块多个角度分析代码的质量，对产生的问题以电子邮件或QQ即时消息的形式反馈给责任人，从而达到有效指导项目改进的目的。

附图说明

图1是本发明提供的持续集成的自动化测试方法的一个实施例的流程示意图；

图2是本发明提供的持续集成的自动化测试方法的一个实施例的架构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例提供的持续集成的自动化测试方法，将项目任务划分成若干子任务，将待测代码关联到具体的任务号，在版本控制系统配置钩子脚本调用持续集成工具服务构建自动化测试，每次提交任务号关联的待测代码即由版本控制系统配置钩子脚本触发持续集成工具来调度代码检测工具执行测试。实施例中，版本控制系统采用SVN服务，持续集成工具采用Jenkins服务。开发人员从项目管理平台Kanboard认领任务，任务状态从Todo更新到Ready，在本地开发完成自测后，即可采用本发明提供的持续集成的自动化测试方法对代码进行自动化测试；以下结合图1、2来阐述实施例提供的持续集成的自动化测试方法，具体包括如下步骤：

(1)向SVN临时库提交代码和附加信息，触发SVN钩子脚本pre-commit.bat调用python语言对提交的代码文件和附加信息进行校验，核实代码关联的任务ID、评审人是否有效，附加信息是否完整；

附加信息包括关联的开发任务、代码实现的功能、代码修改的原因、可能影响到的代码块、关联的故障、代码评审人；在一个实施例中，附加信息的格式如下：

【Kanboard任务号】:(Kanboard项目管理平台中任务号)

【简介】：

【修改原因】：

【波及分析】：

【关联故障】：

【评审人】：(以逗号间隔多个检查人)

在一个优选实施例中，SVN提交事务触发SVN钩子脚本pre-commit.bat，通过校验评审信息是否有效；当自动化测试失败后，通过上述的附加信息帮助定位缺陷的位置和原因，缩短修复缺陷的时间。

(2)附加信息校验通过后，在SVN钩子脚本post-commit.bat中调用Jenkins服务的python API接口，连接持续集成服务Jenkins，构建预先配置好的自动化测试任务；

在自动化测试任务执行之前，从SVN临时库更新最新代码到Jenkins项目空间Workspace，保证自动化测试代码为最新代码。

(3)SVN在提交事务完成后触发post-commit.bat构建自动化测试，包括代码规范检查、静态代码审查、单元测试、集成测试，并生成测试结果；

具体包括如下子步骤：

(3.1)应用C++代码规范检查工具Cpplint将现有的编程规范采用Python语言对规则逐条定义，基于正则表达式用法匹配待检测文件中定义的类名、函数名、变量名、代码的格式，对不符合规范要求的代码，将错误消息格式化输出到结果报告中，通过Jenkins工具构建脚本命令的方式进行代码规范检查；其中，Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作。

在一个优选实施例中，Cpplint代码规范检查命令使用方式如下：

python cpplint.py checkfile.cpp 2>cpplint_result.xml；其中cpplint.py为规则检查文件，checkfile.cpp为待测文件，cpplint_result.xml为测试结果生成报告。

(3.2)静态代码审查，调用C++静态分析工具譬如CppCheck、PCLint对代码进行测试，检查程序潜在的漏洞、错误及不安全的因素；包括重复定义的变量、数组越界、内存未释放、可能出现的空指针、文件打开未关闭；

在一个优选实施例中，CppCheck代码审查工具检查代码命令使用方式如下：

cppcheck--enable＝all--xml-version＝2--includes-file＝includes.txt--file-list＝checkfiles.txt 2>cppcheck_result.xml；

其中CppCheck告警级别有warning，style，performance，portability，information，unusedFunction，missingInclude；

--enable＝all表示包括所有的级别，--includes-file为include头文件列表；--file-list为待测文件列表，cppcheck_result.xml为测试结果报告。

在一个优选实施例中，采用PCLint代码审查工具检查代码命令使用方式如下：

lint-nt v-i+fdi std.lnt-os(pclint_result.xml)files.lnt；其中std.lnt为库依赖lnt文件，files.lnt为需要待测文件列表，pclint_result.xml为测试结果报告。

通过执行batch或者shell脚本命令的方式调用CppCheck、PCLint工具对代码文件执行静态代码审查，因单次可能提交多个代码文件，这些文件分布于不同的目录，通过提取svn log信息，将待测文件生成到一个文件列表中，多个检查工具可共享文件列表，简化静态脚本的开发。

(3.3)单元测试主要验证程序的接口、函数、边界、分支覆盖、逻辑与设计是否吻合，以保证程序及功能的正确性；

在一个优选实施例中，采用单元测试GoogleTest工具对程序的接口、函数、模块编写单元测试用例，在Jenkins任务中通过脚本命令的方式对代码执行单元测试用例形成gtest.xml。

采用多个小的方法的单元测试比成百上千行的大方法的单测代码要简单、稳定；通过单元测试可以尽早的发现问题，而不用等到集成时再发现问题。

(3.4)集成测试是对项目多个任务提交后的代码运行单元测试代码，检查模块间相互调用是否有冲突、调用方式是否正确、是否有数据丢失；一个模块的功能是否会对另一个模块的功能产生影响；检查项目任务集成后是否达到预期要求的各项功能。

(4)将代码检测规则导入到代码质量管理平台SonarQube的规则库中；

(5)采用Sonar-Scanner扫描分析工具将测试结果解析后推送给SonarQube质量管理平台；调用Sonar的Web-API判断该项目的质量，经过质量阈的判定，如果没有告警或错误，则自动创建人工代码审查CodeReview；进入步骤(6)；否则将告警或错误以反馈给预设的责任人；

具体地，采用sonar-scanner扫描分析工具将测试结果报告解析后推送给SonarQube质量管理平台；经SonarQube平台的质量规则和质量阈判定，生成项目告警级别和问题列表，并从可靠性、安全性、可维护性、代码的覆盖率、重复的模块多个角度分析代码的质量析项目质量，更直观和细致地评价项目质量，有助于开快速定位缺陷。

通过在SonarQube平台中增加预设的编码规范规则，针对每个项目设置测试规则集rules和质量阈threshold，使得质量报告更具有针对性。

(6)所有代码审查完成后，将SVN临时库代码同步到SVN正式库。

持续集成是一个循序渐进的过程，自动化构建过程都是环环相扣，兼顾质量和效率，避免一个环节的延迟而影响后续的构建。SonarQube平台中默认的代码质量检查规则可能会导致扫描出来的违反代码规则的代码量非常大，给开发人员带来很大的修复压力。在静态代码检查前期在SonarQube平台中启用高规格的规则，对内耗较高的项目着重关注内存的释放，对数据安全性有明确要求的项目着重关注精度是否有丢失，对涉及通信的项目着重测试连接时效，并将质量检测有效性高的规则纳入到通用规则集中，形成长效的持续构建机制。

采用本发明提供的持续集成自动化测试方法，为了有效管控项目，将项目划分到若干子任务，实行任务明确责任制，将开发的代码关联到项目任务，跟踪项目的任务进度状态，促使开发人员关注代码测试结果并积极修复，对项目的任务代码执行一键构建自动化测试，无需人工干预，构建过程都由SVN钩子脚本触发持续集成工具Jenkins来调度代码质量检测工具执行测试，提高了测试效率。本方法中静态代码审查或者单元测试失败后，通过在Jenkins中扩展通知方式以电子邮件和QQ即时消息形式将检测结果有反馈给相关责任人，以便于快速应对处理。本方法中的代码质量检测工具中的检测规则是依据置编程规则使用Python语言进行重新定义，能针对项目有效地检测并发现问题。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种持续集成的自动化测试方法，其特征在于，将项目任务划分成若干子任务，将待测代码关联到具体的任务号，在版本控制系统配置钩子脚本调用持续集成工具构建自动化测试，每次提交任务号关联的待测代码即由版本控制系统配置钩子脚本触发持续集成工具来调度代码检测工具执行测试。

2.如权利要求1所述的自动化测试方法，其特征在于，提交任务号关联的代码即由版本控制系统钩子脚本触发持续集成工具来调度代码检测工具执行测试的方法，具体包括如下步骤：

(1)将待测代码和附加信息提交到版本控制系统临时库；通过调用版本控制系统钩子脚本对提交的待测代码和附加信息进行校验；

(2)校验通过后在版本控制系统钩子脚本中调用持续集成工具，构建预先配置好的自动化测试任务；

(3)触发钩子程序进行自动化测试，包括代码规范检查、静态代码审查、单元测试、集成测试，并生成测试结果。

3.如权利要求2所述的自动化测试方法，其特征在于，通过持续集成工具构建脚本命令的方式进行代码规范检查，包括：应用代码规范检查工具将现有的编程规范采用Python语言对规则逐条定义，基于正则表达式用法匹配待检测文件中定义的类名、函数名、变量名、代码的格式，对不符合规范要求的代码，将错误消息格式化输出到测试结果中。

4.如权利要求2所述的自动化测试方法，其特征在于，校验内容包括：核实待测代码关联的任务ID、评审人信息是否有效，附加信息是否完整；

附加信息包括关联的开发任务、代码实现的功能、代码修改的原因、可能影响到的代码块、关联的故障或代码评审人。

5.如权利要求2～4任一项所述的自动化测试方法，其特征在于，还包括如下步骤：

(4)将预设的编程规则、代码检测规则集导入到代码质量管理平台的规则库中；

(5)采用代码质量管理平台扫描分析工具将测试结果解析后推送给代码质量管理平台；调用代码质量管理平台的网络应用程序接口判断该项目的质量，若为合格，则自动创建人工审查任务，进入步骤(6)；否则将告警或错误以反馈给预设的责任人；

(6)所有代码审查完成后，将版本控制系统临时库代码同步到版本控制系统正式库。

6.如权利要求5所述的自动化测试方法，其特征在于，所述步骤(5)中，通过代码质量管理平台的质量规则和质量阈判定，生成项目问题列表和质量阈判定级别；经过质量阈的判定，若合格，则自动创建人工审查任务，进入步骤(6)；否则将告警或错误以反馈给预设的责任人。

7.如权利要求5或6所述的自动化测试方法，其特征在于，通过调用持续集成工具的邮件通知功能，或者通过python QQ自动反馈告警或错误。

8.如权利要求1或2所述的自动化测试方法，其特征在于，通过执行batch或者shell脚本命令的方式调用静态分析工具对代码文件执行静态代码审查；通过提取svn log信息，对单次提交的多个分布于不同的目录下的待测代码文件生成一个文件列表，供多个检查工具共享，以简化静态脚本的开发。

9.如权利要求1或2所述的自动化测试方法，其特征在于，所述步骤(1)中，版本控制系统提交事务触发钩子程序校验附加信息是否有效；当自动化测试失败后，通过附加信息来帮助定位缺陷的位置和原因，缩短修复缺陷的时间。