CN110704316A

CN110704316A - 一种国产环境下办公软硬件测试方法

Info

Publication number: CN110704316A
Application number: CN201910917842.6A
Authority: CN
Inventors: 柯文俊; 陈旭; 陈静; 王坤龙; 杨雨婷
Original assignee: Beijing Institute of Computer Technology and Applications
Current assignee: Beijing Institute of Computer Technology and Applications
Priority date: 2019-09-26
Filing date: 2019-09-26
Publication date: 2020-01-17

Abstract

本发明公开了一种国产环境下办公软硬件测试方法，首先在云化服务器上对办公软件集进行模板化分解并建立服务集合库；其次将云化服务器上的服务集合库进行服务组装，形成多个评测场景；然后对于每一个评测场景，使用不同的测试工具集对其进行评测，通过自动化脚本生成器完成不同测试场景所要求的自动化脚本的评测参数设置和数据注入；执行自动化评测脚本；将自动化脚本之后的结果进行收集与比对，输出评测结果。本发明把测试基准移植到国产化操作平台，实现了计算机软硬件系统的并发测试，并将软件细粒度模块组合设计了不同测试场景，使用自动化评测脚本工具增强了评测的自动化程度。

Description

一种国产环境下办公软硬件测试方法

技术领域

本发明属于测试领域，具体涉及一种国产环境下办公软硬件测试方法，尤其是一种在国产软硬件平台上进行军用办公关键软硬件自主可控综合检测验证的测试。

背景技术

随着军用办公软件应用使用越来越方便，日常办公业务量不断增长，建立国产平台下关键软硬件测试基准也越来越重要。传统的测试方案采用LoadRunner工具模拟上千万用户实施并发负载及实时性能监控的方式确定和查找问题，直接扫描军用软硬件环境的各项模拟场景，比对各项测试场景中得出的结果与预期测试基准，输出评测报告。为了保证评测基准的可移植性，测试用例在设计时更多地考虑平台无关性，而不是专注于国产化操作平台；更多地关注于软件并发测试，而不是计算机软硬件系统并发测试；更多地侧重于测试整体软件，而不是将软件细粒度模块作为评测对象；更多地使用手动执行测试用例，而不是自动化脚本驱动。这种缺乏自动化评测机制的测试方案，已经不足以满足军用关键软硬件高速发展的要求。

发明内容

本发明的目的是提供一种国产环境下办公软硬件测试方法，用于直接测试军用办公关键软硬件，实现军用办公关键软硬件自主可控综合检测验证。

本发明的技术方案为：国产环境下办公软硬件测试方法，其特征在于，具体包括以下步骤：

步骤一、在云化服务器上对办公软件集进行模板化分解并建立服务集合库；

步骤二、将云化服务器上的服务集合库进行服务组装，形成多个评测场景；

步骤三、对于每一个评测场景，使用不同的测试工具集对其进行评测，通过自动化脚本生成器完成不同测试场景所要求的自动化脚本的评测参数设置和数据注入；

步骤四、执行自动化评测脚本；

步骤五、将自动化脚本之后的结果进行收集与比对，输出评测结果。

有益效果：本发明把测试基准移植到国产化操作平台，实现了计算机软硬件系统的并发测试，并将软件细粒度模块组合设计了不同测试场景，使用自动化评测脚本工具增强了评测的自动化程度。

附图说明

图1为云化服务器构建示意图

图2为服务集合库示意图

图3为服务组装示意图

图4为脚本生成器总体结构示意图

图5为自动化脚本参数设置示意图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，对本发明的具体实施方式作进一步详细描述。

本发明提供一种国产环境下办公软硬件测试方法，其特征在于，具体包括以下步骤：

步骤一、在云化服务器上完成军用关键办公软件集的拆分和服务集合库的建立

1、构建云化服务器

云化服务器的构建包括数据采集、流式计算、数据存储三大部分；数据采集部分主要完成现有系统与云化服务器之间的数据对接，而军用办公系统的数据采集对数据的实时性要求极高，只允许有秒级延迟，首先采用Oracle的结构化数据复制备份软件从现有系统实时同步增量数据文件，利用kafka集群生产增量消息；然后新建云化系统通过Spark集群实时消费Kafka消息，保证实时体现增量变化；

其次流式计算部分主要利用Spark的流式计算技术对数据流进行相关的处理，包括原始数据过滤、数据分析和处理、有效数据过滤、时序性处理和入库等操作。针对异常情况，例如数据丢失、错误数据等，会有数据重算流程；

最后数据存储部分采用HBase+Redis的方式，Redis存放48小时的临时数据。HBase存放48小时之外的持久化数据。

通过这三个步骤完成整个云化服务器的构建，如图1所示。

2、服务集合

完成云化服务器的构建后，开始在云化服务器这个平台上，将办公软件集进行模板化分解，将其拆分为一个个细粒度模块服务，所有拆分好的细粒度模块服务构成了一个数量庞大的服务集合库，如图2所示。

步骤二、办公软件集服务组装，形成多个评测场景

将云化服务器上的服务集合库推送到虚拟平台上，办公系统被拆分为若干个模块后，针对服务集合库里面的各个细粒度模块服务，根据模块与模块之间的块间联系和业务数据交互关系，在保证服务功能完整独立、接口数据简单的情况下，组装成为一个个评测场景，这就是服务组装，如图3所示。

步骤三、对于每一个评测场景，使用不同的测试工具集对其进行评测(如并发测试工具集、吞吐量测试工具集)，在测试工具集中注入自动化脚本，完成不同测试场景所要求的自动化脚本的评测参数设置和数据注入：

3.1自动化脚本生成器

ABBYY FineReader是一款由ABBYY公司推出的成熟的OCR工具，集成了ABBYY最先进的文档识别和转换技术，主要用于将扫描的文档、PDF文档和图像文件等转换为可编辑的文本文件格式，包括实现文档转换、文件归档、文本提取等功能，本发明涉及的自动化脚本生成器主要使用其在文本提取方面的功能。

自动化脚本生成器是主要基于ITS Client Manager的一个辅助性脚本生成工具，包括HOST模式、serial模式、sut模式三种模式。Host模式主要完成本地脚本录制功能，serial模式主要完成串口设备相关操作，sut模式主要对远程的sut系统屏幕做相应的录制与操作。

自动化脚本生成器总体架构主要由脚本录制模块、脚本保存模块、脚本打开模块、API自定义模块和图像文字识别模块组成，如图4所示。

其中脚本录制模块主要完成用户自定义通过截图录制功能进行动作的记录，自动生成相应的脚本代码；脚本保存模块主要完成将录制好的脚本代码从脚本生成器的编辑页面保存到本地的自定义位置，并对脚本文件和截图文件进行分别保存；脚本打开模块负责将本地任意位置的已有脚本在脚本生成器中打开，以进行后续编辑及运动等功能；自定义API模块完成API的自定义功能，主要包含API的增加、删除及编辑三项功能；图像文字识别模块主要用于实现脚本录制中动态地将截图转换为对应字符串以写入脚本代码的功能。

其中脚本录制模块是脚本生成器的核心模块，图像文字识别模块是基于该模块之上的附加可选模块。脚本打开和保存模块是对脚本代码的处理模块，两个模块分别完成相反读写的操作。自定义API模块是一个较独立的设置模块，该模块的设置可在脚本编辑过程中得到应用。

3.2自动化脚本参数设置、数据注入

对于每一个评测场景，使用不同的测试工具集对其进行评测(如并发测试工具集、吞吐量测试工具集)，在测试工具集中通过采用自动化脚本生成器，完成不同测试场景所要求的自动化脚本的评测参数设置和数据注入，准备执行自动化评测脚本。

自动化执行脚本步骤如下：

A)读取excel，保存测试用例的内容；

B)根据excel中的请求url和参数拼接请求报文，调用接口，并保存返回报文；

C)读取返回报文，和预期结果比对，不一致的往bugfree数据库中存入一条bug，并且把请求报文、返回报文和测试结果写到测试用例的excel中。

如图5所示。

步骤四自动执行脚本进行评测：

4.1HP UFT

HP UFT是一种自动化测试工具，以VBScript为内嵌语言，支持自动化功能测试和回归测试。UFT插件管理，每次启动前需要选择对应的插件才能进行测试，插件的目的是为了能够成功识别对应插件的测试对象。UFT支持两种视图：一种是Keyword(关键字视图)，一种是Expert View(专家视图)，也是脚本视图，其中关键字视图的每一步都在视图中记录一行，专家视图必须定位到业务操作的最终对象。

UFT测试的基本流程：

1.录制测试脚本

2.编辑测试脚本

3.调试测试脚本

4.运行测试脚本

5.分析测试结果

步骤五收集与比对基于机器学习基准的自动结果，输出评测结果：

将自动化脚本之后的结果收集与比对，这里可以采用基于机器学习基准的比对方式完成。比对对象分为两类，图片比对和日志比对。

图片比对，采用均方误差的计算方法，均方误差(mean-square error，MSE)是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量，(θ-t)2的数学期望，称为估计量t的均方误差。它等于σ2+b2，其中σ2与b分别是t的方差与偏倚。

相合估计(或一致估计)是在大样本下评价估计量的标准，在样本量不是很多时，人们更加倾向于基于小样本的评价标准，此时，对无偏估计使用方差，对有偏估计使用均方误差。这里给出均方误差的计算方法。

一般地，在样本量一定时，评价一个点估计的好坏标准使用的指标总是点估计与参数真值θ的距离的函数，最常用的函数是距离的平方，由于估计量具有随机性，可以对该函数求期望，这就是下式给出的均方误差：

MSE()＝E(－θ)2

均方误差是评价点估计的最一般的标准，自然，我们希望估计的均方误差越小越好，注意到

MSE()＝E{[-E()]+[E()-θ]}²

＝E[-E()]²+[E(-θ)]²+2E{[-E()][E()-θ]}

＝D()+[E()-θ]²

MSE()＝E{[-E()]+[E()-θ]}²

＝E[-E()]²+[E(-θ)]²+2E{[-E()][E()-θ]}

＝D()+[E()-θ]²

上式说明，均方误差MSE()由点估计的方差D()与偏差|E()-θ|的平方两部分组成。

如果是θ的无偏估计，则MSE()＝D()，此时用均方误差评价点估计与用方差是完全一致的，这也说明了用方差考察无偏估计是合理的。

当不是θ的无偏估计，就要看其均方误差MSE()，即不仅看方差大小，还要看其偏差大小，下面的例子说明在均方误差的含义下，有些有偏估计优于无偏估计。

日志比对，采用混淆矩阵计算出的准确率、查重率、查准率来完成日志比对，下面列出混淆矩阵的相关概念：

TP：样本为正，预测结果为正；

FP：样本为负，预测结果为正；

TN：样本为负，预测结果为负；

FN：样本为负，预测结果为负。

准确率、精准率和召回率的计算公式如下：

准确率＝所有预测正确的结果/总的样本＝(TP+TN)/(TP+FP+TN+FN)

精准率＝将正类预测为正类/所有预测为正类＝TP/(TP+FP)

召回率＝将正类预测为正类/所有正真的正类＝TP/(TP+FN)。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种国产环境下办公软硬件测试方法，其特征在于，具体包括以下步骤：

步骤四、执行自动化评测脚本；

2.根据权利要求1所述的一种国产环境下办公软硬件测试方法，其特征在于，云化服务器包括数据采集、流式计算、数据存储三部分；数据采集部分主要完成现有系统与云化服务器之间的数据对接；流式计算部分用于对数据流进行相关的处理，数据存储部分用于存储数据。

3.根据权利要求2所述的一种国产环境下办公软硬件测试方法，其特征在于，对于数据采集部分，首先采用Oracle的结构化数据复制备份软件从现有系统实时同步增量数据文件，利用kafka集群生产增量消息；然后新建云化服务器通过Spark集群实时消费Kafka消息，保证实时体现增量变化。

4.根据权利要求2所述的一种国产环境下办公软硬件测试方法，其特征在于，流式计算部分包括原始数据过滤、数据分析和处理、有效数据过滤、时序性处理和入库的操作。

5.根据权利要求2所述的一种国产环境下办公软硬件测试方法，其特征在于，数据存储部分采用HBase+Redis的方式，Redis存放48小时的临时数据，HBase存放48小时之外的持久化数据。

6.根据权利要求2所述的一种国产环境下办公软硬件测试方法，其特征在于，自动化脚本生成器主要由脚本录制模块、脚本保存模块、脚本打开模块、API自定义模块和图像文字识别模块组成，其中脚本录制模块主要完成用户自定义通过截图录制功能进行动作的记录，自动生成相应的脚本代码；脚本保存模块主要完成将录制好的脚本代码从脚本生成器的编辑页面保存到本地的自定义位置，并对脚本文件和截图文件进行分别保存；脚本打开模块负责将本地任意位置的已有脚本在脚本生成器中打开，以进行后续编辑及运动功能；API自定义模块用于完成API的自定义功能，图像文字识别模块主要用于实现脚本录制中动态地将截图转换为对应字符串以写入脚本代码的功能。

7.根据权利要求6所述的一种国产环境下办公软硬件测试方法，其特征在于，API自定义模块包含API的增加、删除及编辑三项功能。

8.根据权利要求1-7任一项所述的一种国产环境下办公软硬件测试方法，其特征在于，步骤五中，采用基于机器学习基准的比对方式输出评测结果。

9.根据权利要求8所述的一种国产环境下办公软硬件测试方法，其特征在于，步骤五中的比对对象分为两类，图片比对和日志比对。

10.根据权利要求9所述的一种国产环境下办公软硬件测试方法，其特征在于，图片比对采用均方误差的计算方；日志比对采用混淆矩阵计算出的准确率、查重率、查准率来完成日志比对。