CN109376076B - 一种用于集成系统的测试方法及装置 - Google Patents

Abstract

本发明公开了一种用于集成系统的测试方法，包括：获取基于国产环境的集成系统的测试对象；将所述测试对象匹配测试标准包含的测试内容，获得所述测试对象的测试项；针对不同的测试项设计不同的测试方法，以及设计不同的测试用例；将发生测试活动的触发事件，匹配对应的测试方法，使用所述测试方法执行与所述触发事件相关的测试用例，输出所述触发事件的测试结果，解决了基于国产环境的集成系统是一整套集成产品组合，集成环境内任何一个组件的变动都有可能影响整个集成环境的使用，存在由于测试覆盖度低，影响测试质量的问题。

Description

一种用于集成系统的测试方法及装置

技术领域

本申请涉及系统测试领域，具体涉及一种用于集成系统的测试方法，以及一种用于集成系统的测试装置。

背景技术

软件质量通常是产品质量和过程质量的结合。软件测试是保障软件产品质量的有效手段。“软件测试”在IEEE软件工程术语中给出的定义是“使用人工或自动的手段来运行或测定某个软件系统的过程，其目的在于检验它是否满足规定的需求或弄清预期结果与实际结果之间的差别。”软件测试的对象通常包括程序、数据及文档。从测试阶段上，软件测试分为单元测试、集成测试、系统测试、验收测试等过程；从测试技术上，包含白盒测试、黑盒测试、静态测试、动态测试等；从测试内容上，包含功能测试、性能测试、压力测试、安全性测试、兼容性测试、可靠性测试、安装卸载测试等内容。

传统的应用系统及其配套产品组件均基于X86平台开发，技术成熟，版本稳定，使用组件开放的接口便可完成集成工作，产口通用性强，可靠性较高。而基于国产环境的集成系统是一整套集成产品组合，集成环境内任何一个组件的变动都有可能影响整个集成环境的使用，所以存在由于测试覆盖度低，影响测试质量的问题。

发明内容

本申请提供一种用于集成系统的测试方法，用于解决基于国产环境的集成系统是一整套集成产品组合，集成环境内任何一个组件的变动都有可能影响整个集成环境的使用，存在由于测试覆盖度低，影响测试质量的问题。

本申请提供一种用于集成系统的测试方法，包括：

获取基于国产环境的集成系统的测试对象；

将所述测试对象匹配测试标准包含的测试内容，获得所述测试对象的测试项；

针对不同的测试项设计不同的测试方法，以及设计不同的测试用例；

将发生测试活动的触发事件，匹配对应的测试方法，使用所述测试方法执行与所述触发事件相关的测试用例，输出所述触发事件的测试结果。

优选的，所述获取集成系统的测试对象，包括：

获取集成系统的应用系统、数据库、中间件、基础软件平台、安全套件、外部设备。

优选的，还包括：获取测试对象对应的相关组件，具体的为，

应用系统相关的组件为数据库、中间件、基础软件平台、安全套件、以及外部设备；

数据库相关的组件为应用系统、基础软件平台、以及中间件；

中间件相关的组件为应用系统、以及基础软件平台；

基础软件平台相关的组件为应用系统、数据库、中间件、安全套件、以及外部设备；

安全套件相关的组件为应用系统、基础软件平台、以及外部设备；

外部设备相关的组件为应用系统、以及安全套件。

优选的，所述将所述测试对象匹配测试标准包含的测试内容，获得所述测试对象的测试项，包括：

将所述测试对象匹配GB/T 16260.2-2006标准中包含的功能性度量、可靠性度量、易用性度量、效率度量、维护性度量、以及可移植性度量6个质量特征，以及子特征；

将所述测试对象匹配的质量特征，以及子特征作为所述测试对象的测试项。

优选的，所述针对不同的测试项设计不同的测试方法，以及设计不同的测试用例，包括：

根据不同的测试项涉及的质量特征，以及子特征，设计不同的测试方法，以及设计不同的测试用例。

优选的，所述将发生测试活动的触发事件，匹配对应的测试方法，包括：

根据发生测试活动的触发事件，获取对应的测试对象，进而获取对应的测试项和测试方法。

优选的，还包括：

发生测试活动的触发事件，用于启动所述集成系统的测试工作。

优选的，所述使用所述测试方法执行与所述触发事件相关的测试用例，包括：

使用所述测试方法通过手工方式或运行自动化测试程序执行所述触发事件相关的测试用例；

输出所述测试用例的执行结果。

优选的，所述输出所述触发事件的测试结果，包括：

根据所述测试用例的执行结果，以及测试的通过标准，判断所述触发事件的测试是否通过；

输出所述触发事件的测试结果。

本申请同时提供一种用于集成系统的测试装置，包括：

测试主体获取单元，用于获取基于国产环境的集成系统的测试对象；

测试项获取单元，用于将所述测试对象匹配测试标准包含的测试内容，获得所述测试对象的测试项；

设计单元，用于针对不同的测试项设计不同的测试方法，以及设计不同的测试用例；

输出单元，用于将发生测试活动的触发事件，匹配对应的测试方法，使用所述测试方法执行与所述触发事件相关的测试用例，输出所述触发事件的测试结果。

本申请提供的一种用于集成系统的测试方法，通过获取基于国产环境的集成系统的测试对象，根据测试标准包含的测试内容，获得测试项，针对不同的测试项设计不同的测试方法，以及设计不同的测试用例，解决了基于国产环境的集成系统是一整套集成产品组合，集成环境内任何一个组件的变动都有可能影响整个集成环境的使用，存在由于测试覆盖度低，影响测试质量的问题。

附图说明

图1是本申请实施例提供的一种用于集成系统的测试方法流程图；

图2是本申请实施例涉及的基于国产环境的电子政务应用系统的测试方法流程图；

图3是本申请实施例提供的一种用于集成系统的测试装置。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

请参看图1，图1是本申请实施例提供的一种用于集成系统的测试方法，下面结合图1对本申请实施例提供的方法进行详细说明。

步骤S101，获取基于国产环境的集成系统的测试对象，以及所述测试对象的测试主体。

本步骤用于明确基于国产环境的待测试的集成系统的测试对象，以及测试对象对应的测试主体。

基于国产环境的集成系统，是指基于国产环境的集成系统，在本申请实施例中，将通过基于国产环境的电子政务应用系统对本申请提供的方法进行详细说明。

由于基于国产环境的电子政务应用系统是基于国产芯片、硬件设备、基础软件平台、数据库、中间件、办公套件、外设等一整套集成产品组合的测试，集成环境内任何一个组件的变动都有可能影响整个集成环境的使用，因此，本方法所包含的测试内容不仅限于应用系统本身，而是对集成产品组合全生命周期、全品类的测试，使用本申请提供的方法进行测试可以有效保证国产环境电子政务应用系统的测试覆盖度及测试质量。

软件测试是保障软件产品质量的有效手段。“软件测试”在IEEE软件工程术语中给出的定义是“使用人工或自动的手段来运行或测定某个软件系统的过程，其目的在于检验它是否满足规定的需求或弄清预期结果与实际结果之间的差别。”软件测试对象通常包括程序、数据及文档。从测试阶段上，软件测试分为单元测试、集成测试、系统测试、验收测试等过程；从测试技术上，包含白盒测试、黑盒测试、静态测试、动态测试等；从测试内容上，包含功能测试、性能测试、压力测试、安全性测试、兼容性测试、可靠性测试、安装卸载测试等内容。

下面以基于国产环境的电子公文系统为例介绍电子政务系统的主要业务流程。电子公文系统的主要工作是完成电子公文编制、审批、制版及发放工作。电子公文编制需要集成流式软件作为文件编辑工具，流式文件编制完成后通过调用版式软件接口生成OFD格式的版式文件，版式文件通过签章组件加盖电子公章后发送到指定单位。电子公文系统通常使用BS结构实现。服务器端部署数据库与中间件进行应用系统发布，部署负载均衡设备进行负载分配，部署安全组件进行前台访问权限控制。终端使用安装了国产操作系统的PC机、用户通过浏览器访问服务器中部署的应用系统，终端需安装流式软件、版式软件、签章组件以完成文件的成文及盖章操作，同时，终端需安装打印机器、扫描仪驱动，进行文件扫描和打印操作。为保障终端访问安全，还需安装身份认证与安全登录等全套件。

基于以上流程，可将基于国产环境的电子政务应用系统的测试对象确定为：

应用系统、数据库、中间件、办公套件(子分类为：流式软件、版式软件、签章组件)、基础软件平台(子分类为：操作系统、浏览器)安全套件(子分类为：身份认证、安全登录、杀毒软件)、外设(子分类为：扫描仪、打印机)。

根据集成系统中组件的组合关系，可得知国产环境的电子政务应用系统各测试对象对应的相关组件如下：

应用系统相关的组件为数据库、中间件、基础软件平台、安全套件、以及外部设备；

数据库相关的组件为应用系统、基础软件平台、以及中间件；

中间件相关的组件为应用系统、以及基础软件平台；

基础软件平台相关的组件为应用系统、数据库、中间件、安全套件、以及外部设备；

安全套件相关的组件为应用系统、基础软件平台、以及外部设备；

外部设备相关的组件为应用系统、以及安全套件。

步骤S102，将所述测试对象匹配测试标准包含的测试内容，获得所述测试对象的测试项。

本步骤用于根据GB/T 16260.2-2006标准将每个测试对象的测试内容进行分解，从而获得测试内容对应的测试项。

在测试对象明确之后，我们根据GB/T 16260.2-2006标准中提供的六个质量特性及子特性将每个测试对象测试内容进行分解。将所述测试对象匹配GB/T16260.2-2006标准中包含的6个质量特征，以及子特征，将所述测试对象匹配的质量特征，以及子特征作为所述测试对象的测试项。GB/T 16260.2-2006标准中包含的6个质量特征，包括：功能性度量、可靠性度量、易用性度量、效率度量、维护性度量、以及可移植性度量。

对应用系统测试内容进行分解后得到的测试项如下：需求符合性测试、功能正确性测试、交互正确性测试、安全性测试、标准符合性测试、压力测试、稳定性测试、容错性测试、破坏性测试、界面测试、操作习惯测试、手册及帮助信息测试、易操作性测试。

步骤S103，针对不同的测试项设计不同的测试方法，以及设计不同的测试用例。

本步骤用于根据不同的测试项的特点，设计具体的测试方法，然后再设计详细的测试用例，以保证测试的覆盖率。

在上一个步骤中，将应用系统测试内容进行分解后得到了对应的测试项，下面再对不同的测试项设计不同的测试方法，具体的为，

对于需求符合性测试，可以定义其测试方法为(功能测试、性能测试)，通过功能测试验证其功能和业务正确性，通过性能测试验证性能对需求的满足性。

对于功能正确性测试，设计的测试方法可以为(功能测试)。

对于交互正确性测试，设计的测试方法可以为(适配测试)。

对于安全性测试，设计的测试方法可以为(功能测试)。

对于标准符合性测试，设计的测试方法可以为(功能测试、接口测试、代码走查)，通过功能测试验证功能对相关标准的符合性，通过接口测试验证接口对标准的符合性，通过走查验证代码对标准的符合性。

对于压力测试，设计的测试方法可以为(性能测试)。

对于稳定性测试，设计的测试方法可以为(性能测试)。

对于容错性测试，设计的测试方法可以为(适配测试)。

对于破坏性测试，设计的测试方法可以为(功能测试、接口测试)，通过功能测试制造异常数据验证系统应对错误的能力，通过接口测试制造非标准数据验证接口对异常数据的处理能力。

对于界面测试，设计的测试方法可以为(功能测试)。

对于操作习惯测试，设计的测试方法可以为(功能测试)。

对于手册及帮助信息测试，设计的测试方法可以为(文档走查)。

对于易操作性测试，设计的测试方法可以为(功能测试)。

基于以上分析，应用系统测试方法的应包含(功能测试、性能测试、适配测试、安全性测试、接口测试、代码走查、文档走查)。在执行测试时，我们通常根据一组设计好的测试用例或检查单进行测试，这样既可以保证测试的覆盖率也可以让对系统不熟悉的人尽快开展测试。因此我们可以通过反向追溯，为不同的测试方法设计测试用例，在对不同测试项进行测试时，调用对应的测试用例来执行测试。

通过测试方法反向追溯测试项进行测试用例设计，每种测试用例应包含的内容如下：

功能测试用例包含需求符合性用例、功能正确性用例、标准符合性检查单、破坏性测试用例、界面检查单、操作习惯检查单、易操作性检查单、安全性测试用例。

性能测试用例包含需求符合性场景、压力测试场景、稳定性测试场景。

适配测试主要考虑应用系统与其他组件集成后，应用系统运行的正确性，因此适配测试用例应针对与相关组件有交互的模块设计测试用例或检查单，适配测试应包含对异常及极限测试的覆盖。

接口测试用例应按照电子公文接口标准中提供的标准接口设计入口参数，并验证出口参数的正确性，接口测试时应从正面测试和负面测试两方面设计测试数据，保证标准符合性测试和破坏性测试都能被执行。

本方法中涉及的代码走查指的是系统开发完成后，按照相关标准中对代码的要求检查代码的符合性，并非单元测试阶段的代码走查。代码走查可以通过设计检查单方式执行。

文档走查用例可以通过设计检查单验证手册和帮助信息的正确性

以上内容是对应用系统进行的测试项分解，由于应用系统为系统集成商所开发，因此集成商的测试组织应对应用系统进行更为全面的测试。

除应用系统外，基于国产环境的电子公文系统的测试对象还包括其他几个测试对象，如办公套件、数据库、中间件、外设相关等。

作为系统集成商，为保障集成系统的运行，我们还需要对所集成产品组件进行测试。对集成产品测试项目主要包括功能正确性测试、适配测试及性能测试，各组件测试项分解如下：

数据库的测试项包括功能正确性测试、安全性测试、交互正确性测试、性能测试；

中间件的测试项包括功能正确性测试、安全性测试、交互正确性测试；

基础软件平台的测试项包括功能正确性测试、交互正确性测试、安全性测试；

办公套件的测试项包括功能正确性测试、安全性测试、交互正确性测试；

外设的测试项包括功能正确性测试、交互正确性测试、性能测试、安全性测试；

由于基于国产环境的电子政务应用系统是集成多个厂家组件的整合系统，因此测试工作需集成商与厂家配合执行，因此我们定义了系统的测试主体及配合方，在针对不同测试项进行测试时，由集成商向单品厂商提出测试需求，单品厂商配合集成商执行相应测试或提供协助。测试主体和配合方对象包括集成商，厂商。

具体的，应用系统测试项与测试主体、配合方的对应关系为；

步骤S104，将发生测试活动的触发事件，匹配对应的测试方法，使用所述测试方法执行与所述触发事件相关的测试用例，输出所述触发事件的测试结果。

本步骤用于根据测试活动的触发事件，启动测试工作，在执行测试工作时，根据触发事件匹配对应的测试方法，从而执行相关的测试用例，最后输出测试结果。

基于国产环境的电子政务系统的测试基于事件触发，整个生命周期中可触发测试的事件包括：系统测试、适配测试、应用需求变更、办公套件升级、数据库升级、中间件升级、操作系统变更、终端更换、打印机更换。当触发事件发生时，测试组织可根据测试方法选取必要的测试项执行测试。

下面是基于国产环境的电子政务系统的测试项对应的触发事件。

以上是基于国产环境的电子政务应用系统的测试项对应的所有触发事件，接下来再例举具体的某项触发事件发生时的测试工作内容。例如，当“办公套件升级”的触发事件发生时，需要根据触发事件确定测试的内容、使用的方法，测试主体和配合方的分工如下：

然后，在触发事件发生时，启动基于国产环境的电子政务应用系统的测试工作。根据发生测试活动的触发事件，获取对应的测试对象，进而获取对应的测试项和测试方法。使用所述测试方法通过手工方式或运行自动化测试程序执行所述触发事件相关的测试用例，输出所述测试用例的执行结果。根据所述测试用例的执行结果，以及测试的通过标准，判断所述触发事件的测试是否通过，最后输出所述触发事件的测试结果，测试结果一般为，测试通过或不通过。

以上实施例是根据图1提供的方法，对每一个步骤进行了详细的说明，下面再根据如图2所示的基于国产环境的电子政务应用系统的测试方法流程图，对测试过程以及测试过程中的产出进行整体的说明。

请参看图2，图2中的虚线部分可以定义为测试知识库，其余部分可以定义为执行事件。测试知识库相当于是执行具体的测试前的准备工作，例如，通过确定测试对象，产出测试对象集合，通过对测试项进行分解，产出测试项集合，确定触发事件，产出触发事件集合等。然后在触发事件发生时，启动测试，然后根据触发事件选择测试项，执行测试用例，然后输出测试结果，具体的测试流程包括：

1)确定基于国产环境的电子政务应用系统的测试对象，形成测试对象集合；

2)分析每个测试对象相关的产品组件，形成测试对象与相关组件的对应关系集合；

3)根据GB/T 16260.2-2006标准中提供的六个质量特性及子特性将每个测试对象的测试内容进行分解，形成每个测试对象的测试项集合；

4)根据各测试项的测试内容，分析并确定该测试项应使用的测试方法，及对应的测试用例及检查方法；

5)根据测试项对应的测试内容分析并确定特定测试项对应的测试主体和配合方；

6)通过对基于国产环境的电子政务应用系统项目开发与实施过程分析，得到测试触发事件集合；

7)以上六步骤形成的数据存放入测试知识库中；

8)项目执行过程中，特定的触发事件发生时，根据触发事件与测试项的对应关系，选择相应的项目进行测试，测试时根据测试项与责任主体的对应关系确定测试主体和配合厂商。测试主体为集成商时，集成商的测试组织按照步骤4)中定义的规则调用相应测试用例进行测试；测试主体为其他厂商时，集成商调用步骤4)中定义的检查方式做好配合及检查工作；最后输出测试结果。

本申请同时提供一种用于集成系统的测试装置300，包括：

测试主体获取单元310，用于获取基于国产环境的集成系统的测试对象；

测试项获取单元320，用于将所述测试对象匹配测试标准包含的测试内容，获得所述测试对象的测试项；

设计单元330，用于针对不同的测试项设计不同的测试方法，以及设计不同的测试用例；

输出单元340，用于将发生测试活动的触发事件，匹配对应的测试方法，使用所述测试方法执行与所述触发事件相关的测试用例，输出所述触发事件的测试结果。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，而这些未脱离本发明精神和范围的任何修改或者等同替换，其均在申请待批的本发明的权利要求保护范围之内。

Claims (7)

1.一种用于集成系统的测试方法，其特征在于，包括：

获取基于国产环境的集成系统的测试对象，包括：获取集成系统的应用系统、数据库、中间件、基础软件平台、安全套件、外部设备；

将所述测试对象匹配测试标准包含的测试内容，获得所述测试对象的测试项，包括：将所述测试对象匹配GB/T 16260.2-2006标准中包含的功能性度量、可靠性度量、易用性度量、效率度量、维护性度量、以及可移植性度量6个质量特征，以及子特征；将所述测试对象匹配的质量特征，以及子特征作为所述测试对象的测试项；

针对不同的测试项设计不同的测试方法，以及设计不同的测试用例；

将发生测试活动的触发事件，匹配对应的测试方法，包括：根据发生测试活动的触发事件，获取对应的测试对象，进而获取对应的测试项和测试方法；使用所述测试方法执行与所述触发事件相关的测试用例，输出所述触发事件的测试结果。

2.根据权利要求1所述的方法，其特征在于，还包括：获取测试对象对应的相关组件，具体的为，

应用系统相关的组件为数据库、中间件、基础软件平台、安全套件、以及外部设备；

数据库相关的组件为应用系统、基础软件平台、以及中间件；

中间件相关的组件为应用系统、以及基础软件平台；

基础软件平台相关的组件为应用系统、数据库、中间件、安全套件、以及外部设备；

安全套件相关的组件为应用系统、基础软件平台、以及外部设备；

外部设备相关的组件为应用系统、以及安全套件。

3.根据权利要求1所述的方法，其特征在于，所述针对不同的测试项设计不同的测试方法，以及设计不同的测试用例，包括：

根据不同的测试项涉及的质量特征，以及子特征，设计不同的测试方法，以及设计不同的测试用例。

4.根据权利要求1所述的方法，其特征在于，还包括：

发生测试活动的触发事件，用于启动所述集成系统的测试工作。

5.根据权利要求1所述的方法，其特征在于，所述使用所述测试方法执行与所述触发事件相关的测试用例，包括：

使用所述测试方法通过手工方式或运行自动化测试程序执行所述触发事件相关的测试用例；

输出所述测试用例的执行结果。

6.根据权利要求1或5所述的方法，其特征在于，所述输出所述触发事件的测试结果，包括：

根据所述测试用例的执行结果，以及测试的通过标准，判断所述触发事件的测试是否通过；

输出所述触发事件的测试结果。

7.一种用于集成系统的测试装置，其特征在于，包括：

测试主体获取单元，用于获取基于国产环境的集成系统的测试对象，包括：获取集成系统的应用系统、数据库、中间件、基础软件平台、安全套件、外部设备；

测试项获取单元，用于将所述测试对象匹配测试标准包含的测试内容，获得所述测试对象的测试项，包括：将所述测试对象匹配GB/T 16260.2-2006标准中包含的功能性度量、可靠性度量、易用性度量、效率度量、维护性度量、以及可移植性度量6个质量特征，以及子特征；将所述测试对象匹配的质量特征，以及子特征作为所述测试对象的测试项；

设计单元，用于针对不同的测试项设计不同的测试方法，以及设计不同的测试用例；

输出单元，用于将发生测试活动的触发事件，匹配对应的测试方法，包括：根据发生测试活动的触发事件，获取对应的测试对象，进而获取对应的测试项和测试方法；使用所述测试方法执行与所述触发事件相关的测试用例，输出所述触发事件的测试结果。

Images