CN109995614B - 一种α测试方法及装置 - Google Patents

Abstract

本申请实施例提供了一种α测试方法及装置，应用于测试设备，包括：获取至少一目标测试用例，目标测试用例包括：目标测试用例的标识、目标应用工具的标识、对目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；确定各目标测试用例的标识对应的目标客户端的IP地址；根据各目标客户端的IP地址，将各目标测试用例分别发送给对应的目标客户端，以使各目标客户端根据目标应用工具的标识，运行目标应用工具，执行目标操作指令，并通过被测设备与业务服务器进行交互；获取目标测试参数对应的第一测试结果；将第一测试结果存储至测试结果数据库。应用本申请实施例提供的技术方案，实现了自动化的α测试，降低耗费的人力和测试成本。

Description

一种α测试方法及装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种α测试方法及装置。

背景技术

Beta测试是一种验收测试。所谓验收测试是软件产品完成了功能测试和系统测试之后，在产品发布之前所进行的软件测试活动。Beta测试是技术测试的最后一个阶段，通过了验收测试，产品就会进入发布阶段。

Beta测试的α测试(以下简称α测试)是指软件开发公司组织内部人员模拟各类用户对即将面市软件产品进行测试，试图发现错误并修正。α测试的关键在于尽可能逼真地模拟实际运行环境和用户对软件产品的操作并尽最大努力涵盖所有可能的用户操作方式。

目前，对网络转发设备，如路由器、交换机和网络安全设备等，进行α测试，对保证产品的质量是有重要意义的。然而，对网络转发设备进行α测试，需要公司的非测试人员投入验收测试，并且需要的参与人数较多。这使得人力耗费较大，测试成本较高。并且，在现实中，由于非测试人员的工作任务也比较重，因此难以同时有多人投入到α测试中。

发明内容

本申请实施例的目的在于提供一种α测试方法及装置，以实现α测试，降低耗费的人力和测试成本。具体技术方案如下：

第一方面，本申请实施例提供了一种α测试方法，应用于测试设备，所述方法包括：

获取至少一目标测试用例，所述目标测试用例包括：所述目标测试用例的标识、目标应用工具的标识、对所述目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

根据预先存储的测试用例的标识与客户端的IP(Internet Protocol，网络协议)地址的对应关系，确定各所述目标测试用例的标识对应的目标客户端的IP地址；

根据各目标客户端的IP地址，将各所述目标测试用例分别发送给对应的目标客户端，以使各所述目标客户端分别根据接收到的目标测试用例中的目标应用工具的标识，运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互；

获取各所述目标客户端通过所述被测设备与所述目标业务服务器交互的过程中所述目标测试参数对应的第一测试结果；

将所述第一测试结果存储至测试结果数据库。

第二方面，本申请实施例提供了一种α测试方法，应用于目标客户端，所述方法包括：

接收测试设备发送的目标测试用例，所述目标测试用例包括：所述目标测试用例的标识、目标应用工具的标识、对所述目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

根据所述目标应用工具的标识，判断所述目标客户端中是否已安装所述目标应用工具；

若已安装，则运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互；

获取所述目标客户端通过所述被测设备与所述目标业务服务器交互的过程中所述目标测试参数对应的第一测试结果；

将所述第一测试结果发送给所述测试设备，以使所述测试设备将所述第一测试结果存储至测试结果数据库。

第三方面，本申请实施例提供了一种α测试装置，应用于测试设备，所述装置包括：

第一获取单元，用于获取至少一目标测试用例，所述目标测试用例包括：所述目标测试用例的标识、目标应用工具的标识、对所述目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

确定单元，用于根据预先存储的测试用例的标识与客户端的网络协议IP地址的对应关系，确定各所述目标测试用例的标识对应的目标客户端的IP地址；

发送单元，用于根据各目标客户端的IP地址，将各所述目标测试用例分别发送给对应的目标客户端，以使各所述目标客户端分别根据接收到的目标测试用例中的目标应用工具的标识，运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互；

第二获取单元，用于获取各所述目标客户端通过所述被测设备与所述目标业务服务器交互的过程中所述目标测试参数对应的第一测试结果；

存储单元，用于将所述第一测试结果存储至测试结果数据库。

第四方面，本申请实施例提供了一种α测试装置，应用于目标客户端，所述装置包括：

接收单元，用于接收测试设备发送的目标测试用例，所述目标测试用例包括：所述目标测试用例的标识、目标应用工具的标识、对所述目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

判断单元，用于根据所述目标应用工具的标识，判断所述目标客户端中是否已安装所述目标应用工具；

运行单元，用于若已安装，则根据所述目标应用工具的标识，判断所述目标客户端中是否已安装所述目标应用工具；

获取单元，用于获取所述目标客户端通过所述被测设备与所述目标业务服务器交互的过程中所述目标测试参数对应的第一测试结果；

发送单元，用于将所述第一测试结果发送给所述测试设备，以使所述测试设备将所述第一测试结果存储至测试结果数据库。

第五方面，本申请实施例提供了一种测试设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使实现第一方面提供任一方法步骤。

第六方面，本申请实施例提供了一种客户端，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使实现第二方面提供任一方法步骤。

第七方面，本申请实施例提供了一种机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使实现第一方面提供任一方法步骤。

第八方面，本申请实施例提供了一种机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使实现第二方面提供任一方法步骤。

本申请实施例提供的技术方案，测试设备获取至少一目标测试用例，目标测试用例包括：目标测试用例的标识、目标应用工具的标识、对目标应用工具执行的目标操作指令和被测设备对应的目标测试参数。测试设备将目标测试用例分别发送给对应的目标客户端。各目标客户端接收到目标测试用例，分别运行目标应用工，执行目标操作指令，并通过被测设备与目标应用工具对应的目标业务服务器进行交互。这样就可以模拟出多个用户同时执行不同的网络操作。测试设备获取各目标客户端通过被测设备与目标业务服务器交互的过程中目标测试参数的第一测试结果，将第一测试结果存储至测试结果数据库。之后，可基于测试结果数据库存储的数据对被测设备进行质量评估。

可见，本申请实施例提供的技术方案中，不需要人工的参与，就可以模拟出多个用户同时执行不同的网络业务操作，获取到目标测试参数的第一测试结果，实现了自动化的α测试，降低了耗费的人力和测试成本。当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的α测试组网的一种架构示意图；

图2为本申请实施例提供的α测试方法的第一种流程示意图；

图3为本申请实施例提供的α测试方法的第二种流程示意图；

图4为本申请实施例提供的α测试方法的第三种流程示意图

图5为本申请实施例提供的α测试装置的第一种结构示意图；

图6为本申请实施例提供的α测试装置的第二种结构示意图；

图7为本申请实施例提供的测试设备的一种结构示意图；

图8为本申请实施例提供的客户端的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，对网络转发设备进行α测试，需要公司的非测试人员投入验收测试，并且需要的参与人数较多。这使得人力耗费较大，测试成本较高。并且，在现实中，由于非测试人员的工作任务也比较重，因此难以同时有多人投入到α测试中。

为了实现α测试，降低耗费的人力和测试成本，本申请实施例提供了一种α测试组网，如图1所示，包括工具服务器100、自动化中心设备101、自动化节点102、网络转发设备103和业务服务器104。

其中，工具服务器100用于存储自动化节点102模拟用户进行α测试时需要的应用工具。例如，FTP(File Transfer Protocol，文件传输协议)工具、视频播放工具等。这些应用工具可由自动化节点102，根据测试用例需要从工具库下载并执行。

自动化中心设备101为自动化系统的中心节点。自动化中心设备101管理每个自动化节点102的自动化执行策略，例如测试用例等。本申请实施例中，自动化中心设备101为测试设备。

自动化节点102为一个安装了自动化节点软件的系统，一般为Python系统。本申请实施例中，自动化节点102为执行测试用例的客户端。一个自动化节点102代表一个用户，即一个客户端代表一个用户。测试组网中包括多个自动化节点102，相当于模拟了多个用户参与被测设备的α测试。

网络转发设备103为被测设备。在实际测试中，网络转发设备可以为多台待测试设备与辅助设备组成的一个满足某个网络应用的组网。

业务服务器104，主要为自动化节点102提供用于应用测试的服务，如：FTP服务器、视频服务器、HTTP(Hyper Text Transport Protocol，超文本传输协议)服务器。

在实际自动化α测试时，自动化节点102可以通过被测设备访问业务服务器104进行测试，也可以通过被测设备直接访问外网进行测试。

基于上述α测试组网，自动化中心设备101获取至少一目标测试用例，目标测试用例包括：目标测试用例的标识、目标应用工具的标识、对目标应用工具执行的目标操作指令和被测设备对应的目标测试参数。自动化中心设备101根据预先存储的测试用例的标识与客户端的IP地址的对应关系，确定目标测试用例的标识对应的目标客户端的IP地址；根据各目标客户端的IP地址，将各目标测试用例分别发送给对应的目标客户端。目标客户端接收到目标测试用例后，根据接收到的目标测试用例中的目标应用工具的标识，运行目标应用工具，执行目标操作指令，并通过被测设备与目标应用工具对应的目标业务服务器进行交互。目标客户端运行目标应用工具，执行目标操作指令，并通过被测设备与目标应用工具对应的目标业务服务器进行交互，可以实现模拟出多个用户进行网络业务操作，来参与被测设备的α测试，进而可以模拟出多种用户的应用场景。

自动化中心设备101获取各目标客户端通过被测设备与目标业务服务器交互的过程中目标测试参数的第一测试结果；将第一测试结果存储至测试结果数据库。之后，可基于测试结果数据库存储的数据对被测设备进行质量评估。

通过本申请实施例提供的技术方案，不需要人工的参与，就可以模拟出多个用户同时执行的网络业务操作，获取到目标测试参数的第一测试结果，实现了自动化的α测试，降低了耗费的人力和测试成本。

下面通过具体实施例，对本申请实施例提供的α测试方法进行说明。

参考图2，图2为本申请实施例提供的α测试方法的一种流程示意图。该方法应用于测试设备，如图1所述的自动化中心设备101。该α测试方法包括如下步骤。

步骤201，获取至少一目标测试用例。

其中，目标测试用例可以包括：目标测试用例的标识、目标应用工具的标识、对目标应用工具执行的目标操作指令和被测设备对应的目标测试参数。其中，目标应用工具可以视频软件、社交软件、音频软件等应用软件或应用模块。不同的测试用例中包括的目标应用工具可以相同，也可以不同。

被测设备对应的目标测试参数可以包括获取目标客户端使用目标应用工具的操作结果，目标客户端接收目标业务服务器回应报文的速率等。使用目标应用工具的操作结果可以包括使用目标应用工具成功和使用目标应用工具失败等。若

一个可选的实施例中，测试用例可以包括客户端的标识、测试起始时间、测试截止时间、应用工具的标识、对应用工具执行的操作指令列表、对应用工具可以进行随机操作指令的列表、工具服务器的地址、从工具服务器下载应用工具时进行的下载操作指令列表等。如表1所示。

表1

表1中，ID(Identity，标识)：客户端的标识，也就是测试用例的标识。

BegTime：测试起始时间，即开始执行测试用例的时间。

EndTime：测试截止时间，即结束执行测试用例的时间。

ToolName：应用工具的标识，也就是执行测试用例时用到的应用工具的标识。ToolName还可以作为指示获取目标客户端使用目标应用工具的操作结果的参数。

ToolOptList：对应用工具执行的操作指令列表。对于对应用工具执行的操作指令列表可包括至少一条执行的操作指令、执行操作指令后保持无操作的时间、指定获取接收速率的源IP地址和满足用户体验的正常接收速率等。其中，接收速率为客户端接收业务服务器回应报文的速率。如表2所示。

表2

Command

KeepTime

GetRateSouIP

RateThres

表2中，Command：执行的操作指令，即需要对应用工具执行的操作指令。

本申请实施例中，对应用工具执行的操作指令可以包括：获取网络应用的反馈信息、截屏操作和将截屏文件进行保存等。这些操作均可以用来衡量用户体验。对于不同的应用工具执行的目标操作指令可以不同。例如，对于视频软件工具执行的目标操作指令可以包括播放视频和下载视频等，对于音频软件工具执行的目标操作指令可以包括播放音频、暂停音频播放和切换播放音频等。

KeepTime：执行一操作指令后保持无操作的时间，例如，执行看视频的操作指令后，保持看视频的时间。

GetRateSouIP：指定获取接收速率的源IP地址，即需要统计源IP地址为该IP地址的报文的接收速率。GetRateSouIP可以作为指示目标客户端接收目标业务服务器回应报文的速率的参数。如果需要统计接收速率，GetRateSouIP处指定源IP地址。如果不需要统计接收速率，GetRateSouIP处可以为空。

RateThres：速率下限值，满足用户体验的正常接收速率。在接收速率低于该值时，用户体验较差。

RandOptList：对应用工具可以进行随机操作执行的列表。该列表中包括信息可参考上述对应用工具执行的操作列表。此处不再赘述。

ToolDownAddr：工具服务器的地址。如果客户端没有安装应用工具，则根据工具服务器的地址从工具服务器下载应用工具。

ToolDownOptList：从工具服务器下载应用工具时进行的下载操作指令列表。该列表中包括至少一条下载操作指令。

一个可选实施例中，对于多个客户端的测试用例，这多个测试用例的BegTime和EndTime相同。也就是，如果客户端1的测试用例的BegTime为时间1，EndTime为时间2，则其他客户端的测试用例的BegTime也为时间1，EndTime也为时间2。这样用于测试结果统计时，可以统计出在BegTime至EndTime时间段内多个客户端同时进行自动化测试情况下，被测设备的状态变化以及各客户端的测试结果。

步骤202，根据预先存储的测试用例的标识与客户端的IP地址的对应关系，确定各目标测试用例的标识对应的目标客户端的IP地址。

在本申请的一个实施例中，客户端启动后向测试设备发送连接请求。测试设备接收到客户端发送的连接请求后与客户端建立连接，并为客户端分配标识，将客户端的标识作为测试用例的标识，建立测试用例的标识与客户端的IP地址的对应关系。一个示例中，测试设备可以按照递增的方式为客户端分配标识。例如，测试设备与一客户端建立连接，则为该客户端分配的标识为1。之后，测试设备与另一客户端建立连接，则为该客户端分配的标识为2。再之后，测试设备与再一客户端建立连接，则为该客户端分配的标识为3。之后，以此类推，此处不再赘述。

测试设备根据预先存储的测试用例的标识与客户端的IP地址的对应关系，可确定各目标测试用例的标识对应的目标客户端的IP地址。这样可确定出至少一个目标客户端。

步骤203，根据各目标客户端的IP地址，将目标测试用例分别发送给对应的目标客户端。

针对每一目标测试用例，测试设备根据该目标测试用例的标识对应的目标客户端的IP地址，将该目标测试用例发送给该目标测试用例对应的目标客户端。目标客户端从接收到的目标测试用例中获取到目标应用工具的标识和目标操作指令，根据目标应用工具的标识，运行目标应用工具，执行目标操作指令，并通过被测设备与目标应用工具对应的目标业务服务器进行交互。各目标客户端获取自身通过被测设备与目标业务服务器交互的过程中目标测试参数的第一测试结果，将第一测试结果发送给测试设备。其中，目标业务服务器可以为内网的业务服务器，也可以为外网的业务服务器。目标测试参数可以包括目标客户端使用目标应用工具的操作结果和目标客户端接收目标业务服务器回应报文的速率。接收服务器回应报文的速率可以简称为接收速率，如表2中的GetRateSouIP部分的描述。第一测试结果即为目标测试参数的具体数值。

步骤204，获取各目标客户端通过被测设备与目标业务服务器交互的过程中目标测试参数对应的第一测试结果。

一个实施例中，测试设备可在目标业务服务器与目标客户端的交互的过程中实时获取到目标测试参数的第一测试结果。另一个实施例中，目标客户端在与业务服务器交互一段时间后，确定这一时间段内目标测试参数的第一测试结果，并将这一时间段内第一测试结果统一发送给测试设备。

在本申请的一个实施例中，为了便于管理各个目标测试参数对应的第一测试结果，可通过表格记录各个目标测试参数对应的第一测试结果。如表3所示的客户端测试记录表。

表3

BegTime

EndTime

ToolName

OptList

Result

RateList

RateThres

表3中，BegTime：测试起始时间。

EndTime：测试截止时间。

ToolName：应用工具标识。

OptList：在测试这段时间内的操作指令列表，如表1中的ToolOptList。

Resut：执行测试的结果，即使用应用工具的操作结果。如：使用应用工具成功为Ture，使用应用工具失败为False。可以根据具体情况进行定义。

RateList：在进行测试时接收速率列表，该列表中包括至少条速率。目标客户端每接收到目标业务服务器回应的一个报文，均可以确定一个速率，并存储至RateList。

RateThres：速率下限值。在接收速率低于该值时，用户体验较差，如表2中RateThres的描述。

本申请实施例中，每一个客户端可设置一个客户端测试记录表。

步骤205，将第一测试结果存储至测试结果数据库。

测试设备在获取到第一测试结果后，可将目标客户端的第一测试结果存储至测试结果数据库。一个示例中，测试设备可将记录的上述表3存储至测试结果数据库。

在本申请的一个实施例中，测试设备中预先存储有被测设备对应的设备测试参数。设备测试参数可以包括被测设备的资源利用率。资源利用率可以包括内存利用率、CPU利用率等。

在将目标测试用例发送给目标客户端之后，测试设备按照预设周期，获取被测设备运行时设备测试参数对应的的第二测试结果，将第二测试结果存储至测试结果数据库。本申请实施例中，可通过获取被测设备的CPU利用率、内存利用率，来衡量在测试用例所描述的用户使用场景下CPU利用率和内存的利用率，从而来衡量被测设备的性能和可靠性。

一个可选的实施例中，为了便于管理设备测试参数对应的第二测试结果，可通过表格记录设备测试参数对应的第二测试结果。如表4所示的被测设备状态记录表。

表4

BegTime

EndTime

CPU利用率列表

内存利用率列表

表4中，BegTime：获取CPU、内存利用率的开始时间

EndTime：获取CPU、内存利用率的结束时间

CPU利用率列表：在BegTime到EndTime这一时间段内，按照预设时间间隔获取被测设备的CPU利用率，将该段时间内获取的CPU利用率保存在这里。

内存利用率：在BegTime到EndTime这一时间段内，按照一定时间间隔获取被测设备的内存利用率，将该段时间内的内存利用率保存在这里

本申请实施例中，每台被测设备可设置一个被测设备状态记录表。

在本申请的一个实施例中，当确定被测设备的质量情况时，测试设备可从测试结果数据库中，获取各个第一测试结果(如表3所示)以及第二测试结果(如表4所示)，对获取的信息进行分析，进而确定被测设备的质量情况。

基于上述测试组网，以及应用于测试设备的α测试方法实施例，本申请实施例还提供了应用于客户端的一种α测试方法。参考图3，图3为本申请实施例提供的α测试方法的第二种流程示意图。该方法应用于目标客户端，如图1所示的自动化节点102，包括如下步骤。

步骤301，接收测试设备发送的目标测试用例。目标测试用例包括目标测试用例的标识、目标应用工具的标识、对目标应用工具执行的目标操作指令和被测设备对应的目标测试参数。

测试设备获取到至少一目标测试用例后，根据预先存储的测试用例的标识与客户端的IP地址的对应关系，确定目标测试用例的标识对应的目标客户端的IP地址。测试设备根据各目标客户端的IP地址，将目标测试用例分别发送给对应的目标客户端。

步骤302，根据目标应用工具的标识，判断目标客户端中是否已安装目标应用工具。若已安装，则执行步骤303。

目标客户端需要运行目标应用工具来获取目标测试参数对应的第一测试结果。因此，目标客户端在获取到目标测试用例后，判断目标客户端中是否已安装目标应用工具。若已安装，则执行步骤303。

一个实施例中，若目标客户端中未安装目标应用，则从预设工具服务器下载并安装目标应用工具。例如，表1所示，目标客户端根据目标测试用例中ToolDownAddr字段的工具服务器的地址，确定预设工具服务器，从预设工具服务器下载并安装目标应用工具。之后执行步骤303。

步骤303，运行目标应用工具，执行目标操作指令，并通过被测设备与目标应用工具对应的目标业务服务器进行交互。

目标客户端运行目标应用工具，执行目标操作指令，并通过被测设备与业务服务器进行交互。例如，目标应用工具为视频软件，目标操作指令为看视频。目标客户端运行视频软件，执行看视频，并通过被测设备与视频软件对应的目标业务服务器进行交互，从目标业务服务器中获取视频。

步骤304，获取目标客户端通过被测设备与目标业务服务器交互的过程中目标测试参数对应的第一测试结果。

在目标客户端与目标业务服务器进行交互的过程中，目标客户端获取到目标测试参数对应的第一测试结果。一个示例中，目标测试参数可以包括：获取目标客户端使用目标应用工具的操作结果，目标客户端接收目标业务服务器回应报文的速率，则目标客户端获取的第一测试结果即为目标测试参数的具体数值，如表3所示。

步骤305，将第一测试结果发送给测试设备。

一个可选的实施例中，目标测试用例中包括测试起始时间和测试截止时间，目标客户端判断当前时间是否为测试起始时间；若是，则运行目标应用工具，执行目标操作指令，并通过被测设备与目标应用工具对应的目标业务服务器进行交互。另外，目标客户端判断当前时间是否为测试截止时间；若是，则将测试起始时间至测试截止时间之间获取的第一测试结果发送给测试设备。这样，可以减少目标客户端向测试设备发送测试结果的次数，降低对目标客户端与目标业务服务器间交互的影响。

本申请实施例提供的技术方案，不需要人工的参与，就可以模拟出多个用户同时执行不同的网络业务操作，获取到目标测试参数的第一测试结果，实现了自动化的α测试，降低了耗费的人力和测试成本。

下面结合图4所示的α测试方法的流程示意图，对本申请实施例提供的α测试方法进行说明。

步骤401，测试组网的服务器安装完成并启动。其中，服务器包括自动化中心设备、业务服务器和工具服务器等。自动化中心设备即为测试设备。

步骤402，客户端启动并向自动化中心设备、业务服务器和工具服务器发送连接请求，与自动化中心设备、业务服务器和工具服务器发送连接请求建立连接。此时，客户端至工具服务器目的可达。客户端通过被测设备到业务服务器目的可达。客户端至自动化中心设备目的可达。

步骤403，用户将测试用例导入自动化中心设备。

步骤404，自动化中心设备解析测试用例，获取到测试用例的标识，根据获取的测试用例的标识，确定客户端的IP地址，根据客户端的IP地址将测试用例发送给客户端。

步骤405，客户端接收到测试用例后，根据测试用例中包括的应用工具标识，判断是否已安装对应的应用工具。若是，则执行步骤407。若否，则执行步骤406。

步骤406，客户端根据测试用例中包括的工具服务器的地址，从工具服务器下载并安装测试用例中包括的应用工具标识对应的应用工具。

步骤407，客户端判断当前时间是否到达测试用例中包括的测试起始时间。若是，则执行步骤408。若否，则重新执行步骤407，继续监测当前时间是否到达测试用例中包括的测试起始时间。

步骤408，客户端按照测试用例的描述操作，如表2中的ToolOptList和RandOptList等，运行应用工具，执行对应用工具执行的目标操作指令，通过被测设备与业务服务器进行交互，并记录测试结果。其中，操作结果可以包括客户端使用应用工具的操作结果和客户端接收业务服务器回应报文的速率等。

步骤409客户端判断当前时间是否到达测试用例中包括的测试截止时间。若是，则执行步骤410。若否，则重新执行步骤409，继续监测当前时间是否到达测试用例中包括的测试截止时间。

步骤410，客户端将测试结果发送给自动化中心设备。

步骤411，自动化中心设备接收到测试结果后，将测试结果存储至测试结果数据库。

步骤412，自动化中心设备根据记录的被测设备的地址列表，按照预设周期，获取被测设备的资源利用率。

步骤413，自动化中心设备将获取的被测设备的资源利用率存储至测试结果数据库。

通过上述α测试方法，用来模拟在同一时间有多个用户进行网络业务操作。这样可以模拟出多种用户的应用场景，如：所有用户上网的场景，或部分用户上网、部分用户看网络电视的场景。通过这种方式来模拟实现用户可能的场景。

另外，通过上述α测试方法，可以很好的进行对比操作，如：网络访问经过被测设备进行转发的情况下测试结果为TestDevRecord。网络访问不经过被被测设备进行转发的情况下测试结果为NullDevRecord。通过结果对比TestDevRecord和NullDevRecord，可以很好的发现被测产品的性能、可靠性和功能完备性情况。

一个可选的实施例中，在上述对被测设备进行α测试，得到第一测试结果和第二测试结果后，测试设备可根据测试结果数据库中存储的数据，如目标客户端使用目标应用工具的操作结果、目标客户端接收目标业务服务器回应报文的速率、以及被测设备的资源利用率，对被测设备进行产品质量评估。

具体的，测试设备根据客户端使用应用工具的操作结果中成功操作所占的比例，确定客户端使用应用工具的成功率。按照使用应用工具的成功率进行统计。可以统计出某一时间段成功使用应用工具的客户端占总客户端的比值，并可以按照客户端操作的应用工具类型，统计出每种类型的应用工具的成功操作比值。测试设备可以统计出整个自动化测试过程中，用户成功操作的比例变化曲线以及被测设备的资源利用率的同步变化曲线，可以体现出被测设备的可靠性和性能。测试设备通过客户端使用应用工具的失败操作情况，也反映了被测设备的功能完备性。

测试设备根据客户端接收业务服务器回应报文的速率以及速率下限值，确定用户的体验感，如表3RateList和RateThres。客户端接收业务服务器回应报文的速率低于速率下限值，用户的体验感较差，客户端接收业务服务器回应报文的速率高于速率下限值，用户的体验感较好。按照用户的体验感进行统计。测试设备对可以使用应用工具的操作结果为成功的客户端，根据测试结果中的RateList和RateThres，可以评估出用户体验的优、一般、差三个等级。测试设备可以统计出在某一时间段内用户体验的不同等级所占比例，并可以查看出整个自动化测试阶段用户体验的变化曲线。测试设备在显示用户体验的变化曲线的同时，可以展示出被测设备的资源利用率变化曲线。测试设备通过这些分析，可以很好的评估出被测设备的易用性、用户的体验、以及实际支持的应用处理性能。

另外，测试设备对被测设备的资源利用率进行统计。测试设备可以展示出在某一时间段资源利用率情况、在该情况下，客户端成功进行使用应用工具的成功率。测试设备可以展示出在整个测试过程中资源利用率的变化曲线，可以发现被测设备是否存在内存泄漏、真实承载能力以及CPU异常的情况。

根据上述α测试组网，以及应用于测试设备的α测试方法实施例，本申请实施例还提供了一种α测试装置，参考图5所示，应用于测试设备，该装置包括：

第一获取单元501，用于获取至少一目标测试用例，目标测试用例包括：目标测试用例的标识、目标应用工具的标识、对目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

确定单元502，用于根据预先存储的测试用例的标识与客户端的IP地址的对应关系，确定各目标测试用例的标识对应的目标客户端的IP地址；

发送单元503，用于根据各目标客户端的IP地址，将各目标测试用例分别发送给对应的目标客户端，以使各目标客户端分别根据接收到的目标测试用例中的目标应用工具的标识，运行目标应用工具，执行目标操作指令，并通过被测设备与目标应用工具对应的目标业务服务器进行交互；

第二获取单元504，用于获取各目标客户端通过被测设备与目标业务服务器交互的过程中目标测试参数对应的第一测试结果；

存储单元505，用于将第一测试结果存储至测试结果数据库。

一个可选的实施例中，测试设备中预先存储有被测设备对应的设备测试参数；

此时，第二获取单元504，还可以用于在将各目标测试用例分别发送给对应的目标客户端之后，按照预设周期，获取被测设备运行时设备测试参数对应的第二测试结果；

存储单元505，还可以用于将所获取的第二测试结果存储至测试结果数据库。

一个可选的实施例中，第一测试结果包括目标客户端使用目标应用工具的操作结果和目标客户端接收目标业务服务器回应报文的速率；第二测试结果包括被测设备的资源利用率。

这种情况下，上述α测试装置还可以包括：

质量评估单元，用于根据各目标客户端使用应用工具的操作结果、各目标客户端接收目标业务服务器回应报文的速率、以及被测设备的资源利用率，对被测设备进行质量评估。

本申请实施例提供的技术方案，不需要人工的参与，就可以模拟出多个用户同时执行的网络业务操作，获取到目标测试参数的第一测试结果，实现了自动化的α测试，降低了耗费的人力和测试成本。

根据上述测试组网，以及应用于目标客户端的α测试方法实施例，本申请实施例还提供了一种α测试装置，参考图6所示，应用于目标客户端，该装置包括：

接收单元601，用于接收测试设备发送的目标测试用例，目标测试用例包括：目标测试用例的标识、目标应用工具的标识、对目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

判断单元602，用于根据目标应用工具的标识，判断目标客户端中是否已安装目标应用工具；

运行单元603，用于若已安装，则根据目标应用工具的标识，判断目标客户端中是否已安装目标应用工具；

获取单元604，用于获取目标客户端通过被测设备与目标业务服务器交互的过程中目标测试参数对应的第一测试结果；

发送单元605，用于将第一测试结果发送给测试设备，以使测试设备将第一测试结果存储至测试结果数据库。

一个可选的实施例中，目标测试用例中还可以包括测试起始时间和测试截止时间；

运行单元603，具体可以用于判断当前时间是否为测试起始时间；若是，则运行目标应用工具，执行目标操作指令，并通过被测设备与目标应用工具对应的目标业务服务器进行交互；

发送单元605，具体可以用于判断当前时间是否为测试截止时间；若是，则将测试起始时间至测试截止时间之间获取的第一测试结果发送给测试设备。

一个可选的实施例中，上述α测试装置还可以包括：

下载单元，用于若未安装，则从预设工具服务器下载并安装目标应用工具。

本申请实施例提供的技术方案，不需要人工的参与，就可以模拟出多个用户同时执行的网络业务操作，获取到目标测试参数的第一测试结果，实现了自动化的α测试，降低了耗费的人力和测试成本。

根据上述α测试方法实施例，本申请实施例还提供了一种测试设备，如图7所示，包括处理器701和机器可读存储介质702，机器可读存储介质702存储有能够被处理器701执行的机器可执行指令。处理器701被机器可执行指令促使实现上述图2所示的任一α测试方法步骤。

一个可选的实施例中，如图7所示，测试设备还可以包括：通信接口703和通信总线704；其中，处理器701、机器可读存储介质702、通信接口703通过通信总线704完成相互间的通信，通信接口703用于上述测试设备与其他设备之间的通信。

根据上述α测试方法实施例，本申请实施例还提供了一种客户端，如图8所示，包括处理器801和机器可读存储介质802，机器可读存储介质802存储有能够被处理器801执行的机器可执行指令。处理器801被机器可执行指令促使实现上述图3所示的任一α测试方法步骤。

一个可选的实施例中，如图8所示，客户端还可以包括：通信接口803和通信总线804；其中，处理器801、机器可读存储介质802、通信接口803通过通信总线804完成相互间的通信，通信接口803用于上述客户端与其他设备之间的通信。

根据上述α测试方法实施例，本申请实施例还提供了一种机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令。处理器被机器可执行指令促使实现上述图2所示的任一α测试方法步骤。

根据上述α测试方法实施例，本申请实施例还提供了一种机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令。处理器被机器可执行指令促使实现上述图3所示的任一α测试方法步骤。

上述通信总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等

上述机器可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。另外，机器可读存储介质还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于α测试装置、测试设备、客户端实施例而言，由于其基本相似于α测试方法实施例，所以描述的比较简单，相关之处参见α测试方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (13)

1.一种α测试方法，其特征在于，应用于测试设备，所述方法包括：

获取至少一目标测试用例，所述目标测试用例包括：所述目标测试用例的标识、目标应用工具的标识、对所述目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

根据预先存储的测试用例的标识与客户端的网络协议IP地址的对应关系，确定各所述目标测试用例的标识对应的目标客户端的IP地址；

根据各目标客户端的IP地址，将各所述目标测试用例分别发送给对应的目标客户端，以使各所述目标客户端分别根据接收到的目标测试用例中的目标应用工具的标识，运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互；

获取各所述目标客户端通过所述被测设备与所述目标业务服务器交互的过程中所述目标测试参数对应的第一测试结果；

将所述第一测试结果存储至测试结果数据库。

2.根据权利要求1所述的方法，其特征在于，所述测试设备中预先存储有所述被测设备对应的设备测试参数；在将各所述目标测试用例分别发送给对应的目标客户端之后，所述方法还包括：

按照预设周期，获取所述被测设备运行时所述设备测试参数对应的第二测试结果；

将所述第二测试结果存储至所述测试结果数据库。

3.根据权利要求2所述的方法，其特征在于，所述第一测试结果包括所述目标客户端使用目标应用工具的操作结果和所述目标客户端接收所述目标业务服务器回应报文的速率；所述第二测试结果包括所述被测设备的资源利用率；

所述方法还包括：

根据各所述目标客户端使用应用工具的操作结果、各所述目标客户端接收所述目标业务服务器回应报文的速率、以及所述被测设备的资源利用率，对所述被测设备进行质量评估。

4.一种α测试方法，其特征在于，应用于目标客户端，所述方法包括：

接收测试设备发送的目标测试用例，所述目标测试用例包括：所述目标测试用例的标识、目标应用工具的标识、对所述目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

根据所述目标应用工具的标识，判断所述目标客户端中是否已安装所述目标应用工具；

若已安装，则运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互；

获取所述目标客户端通过所述被测设备与所述目标业务服务器交互的过程中所述目标测试参数对应的第一测试结果；

将所述第一测试结果发送给所述测试设备，以使所述测试设备将所述第一测试结果存储至测试结果数据库。

5.根据权利要求4所述的方法，其特征在于，所述目标测试用例中还包括测试起始时间和测试截止时间；

所述运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互的步骤，包括：

判断当前时间是否为所述测试起始时间；若是，则运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互；

所述将所述第一测试结果发送给所述测试设备的步骤，包括：

判断当前时间是否为所述测试截止时间；若是，则将所述测试起始时间至所述测试截止时间之间获取的所述第一测试结果发送给所述测试设备。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若未安装，则从预设工具服务器下载并安装所述目标应用工具。

7.一种α测试装置，其特征在于，应用于测试设备，所述装置包括：

第一获取单元，用于获取至少一目标测试用例，所述目标测试用例包括：所述目标测试用例的标识、目标应用工具的标识、对所述目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

确定单元，用于根据预先存储的测试用例的标识与客户端的网络协议IP地址的对应关系，确定各所述目标测试用例的标识对应的目标客户端的IP地址；

发送单元，用于根据各目标客户端的IP地址，将各所述目标测试用例分别发送给对应的目标客户端，以使各所述目标客户端分别根据接收到的目标测试用例中的目标应用工具的标识，运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互；

第二获取单元，用于获取各所述目标客户端通过所述被测设备与所述目标业务服务器交互的过程中所述目标测试参数对应的第一测试结果；

存储单元，用于将所述第一测试结果存储至测试结果数据库。

8.根据权利要求7所述的装置，其特征在于，所述测试设备中预先存储有所述被测设备对应的设备测试参数；

所述第二获取单元，还用于在将各所述目标测试用例分别发送给对应的目标客户端之后，按照预设周期，获取所述被测设备运行时所述设备测试参数对应的第二测试结果；

所述存储单元，还用于将所述第二测试结果存储至所述测试结果数据库。

9.根据权利要求8所述的装置，其特征在于，所述第一测试结果包括所述目标客户端使用目标应用工具的操作结果和所述目标客户端接收所述目标业务服务器回应报文的速率；所述第二测试结果包括所述被测设备的资源利用率；

所述装置还包括：

质量评估单元，用于根据各所述目标客户端使用应用工具的操作结果、各所述目标客户端接收所述目标业务服务器回应报文的速率、以及所述被测设备的资源利用率，对所述被测设备进行质量评估。

10.一种α测试装置，其特征在于，应用于目标客户端，所述装置包括：

接收单元，用于接收测试设备发送的目标测试用例，所述目标测试用例包括：所述目标测试用例的标识、目标应用工具的标识、对所述目标应用工具执行的目标操作指令和被测设备对应的目标测试参数；

判断单元，用于根据所述目标应用工具的标识，判断所述目标客户端中是否已安装所述目标应用工具；

运行单元，用于若已安装，则运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互；

获取单元，用于获取所述目标客户端通过所述被测设备与所述目标业务服务器交互的过程中所述目标测试参数对应的第一测试结果；

发送单元，用于将所述第一测试结果发送给所述测试设备，以使所述测试设备将所述第一测试结果存储至测试结果数据库。

11.根据权利要求10所述的装置，其特征在于，所述目标测试用例中还包括测试起始时间和测试截止时间；

所述运行单元，具体用于判断当前时间是否为所述测试起始时间；若是，则运行所述目标应用工具，执行所述目标操作指令，并通过所述被测设备与所述目标应用工具对应的目标业务服务器进行交互；

所述发送单元，具体用于判断当前时间是否为所述测试截止时间；若是，则将所述测试起始时间至所述测试截止时间之间获取的所述第一测试结果发送给所述测试设备。

12.根据权利要求10所述的装置，其特征在于，所述装置还包括：

下载单元，用于若未安装，则从预设工具服务器下载并安装所述目标应用工具。

13.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-6任一所述的方法步骤。

Images