CN104572444B - 一种游戏性能云测试平台及其测试方法 - Google Patents

Abstract

本发明涉及一种客户端游戏性能云测试平台及其测试方法，所述测试平台包括客户端录制模块，用于将测试用例的人工设置和操作转换为代码或数据描述，实现对测试用例的录制；服务端任务调度模块，其与多个测试机进行连接；所述服务端任务调度模块接收测试请求，将测试任务分配发送至其中一测试机；控制信息生成模块，用于接收客户端录制模块的录制结果，将该录制结果转换为游戏客户端控制的对应操作和代码，并发送至测试机进行自动测试；测试数据分析模块，用于分析测试数据的与生成测试报告。本发明还涉及一种应用于上述测试平台的测试方法。

Description

一种游戏性能云测试平台及其测试方法

技术领域

本发明涉及一种测试平台，特别是一种客户端游戏性能云测试平台。本发明还涉及一种应用于上述测试平台的测试方法。

背景技术

游戏客户端性能测试旨在对游戏过程中，游戏客户端的性能参数(如FPS，CPU、内存占用率等)进行收集与分析，是游戏测试中最基本的测试内容之一。特别对于大型客户端游戏而言，客户端性能直接影响玩家的游戏体验，性能测试尤为重要。

传统的游戏客户端性能测试流程是游戏开发人员修改游戏资源(代码、美术资源等)，提交后通知测试人员进行测试，由于性能测试对于软、硬件配置有特定需求，需要测试人员在专用的测试机上开展测试工作。为了提高测试的效率与科学性，自动化测试技术被引入。游戏客户端性能的自动化测试通过游戏客户端的脚本控制游戏操作及游戏中的相机位置，从而保证前后测试中游戏环境一致，进而保证前后测试数据具有对比价值，并收集相应的数据并生成测试报告。

传统的游戏客户端性能的测试方案具体步骤如下：

1.在测试机上对测试环境进行部署；

2.开启游戏客户端，利用测试脚本控制游戏操作(如对游戏中的场景做性能测试，则控制游戏进入指定场景的指定位置，并控制游戏中相机的视角，保证视角一致)，并收集相应的性能的参数；

3.重复步骤2，完成所有待测点的性能测试，此步骤可通过脚本自动重复运行；

4.收集测试数据，并根据测试结果完成测试报告。

但由于本地测试的方式，不可避免存在如下几个问题：第一，由于性能测试需要特定的硬件环境，需要在专用测试机上进行测试，使得测试工作只能通过开发人员通知测试人员开展，再由测试人员操作完成，并将测试结果告知开发人员，整个过程繁琐而低效；第二，测试结果及报告的管理完全是本地管理模式，不利于团队协作与结果的分析与展示，特别对于时间跨度较长、游戏规模较大的游戏的测试过程极为不利。

发明内容

本发明在于克服现有技术的缺点与不足，提供一种可以自动进行游戏测试的游戏性能的云测试平台及其测试方法。

本发明是通过以下的技术方案实现的：一种游戏性能云测试平台，包括：

客户端录制模块，用于将测试用例的参数和操作储存为数据，实现对测试用例的录制；

服务端任务调度模块，其与多个测试机进行连接；所述服务端任务调度模块接收测试请求，将测试任务分配发送至其中一测试机；

控制信息生成模块，用于接收客户端录制模块的录制结果，将该录制结果转换为与游戏客户端控制对应的操作和代码，并发送至测试机进行自动测试；

测试数据分析模块，用于分析测试机的测试数据与生成测试报告。

相比于现有技术，本发明通过客户端录制模块对测试用例的录制，有效将测试操作转化为可自动执行的测试用例描述，为自动化测试提供基础。进一步，通过服务任务调度模块，可以将测试任务进行分配，可以提高了测试的效率和测试机的利用率。同时，通过测试数据分析模块，自动对数据进行分析和生成测试报告，简化了传统测试的流程，提高了测试的效率。

作为本发明的进一步改进，还包括一客户端控制模块，用于实现对游戏客户端的的更新、启动与关闭操作，以及对游戏客户端游戏环境的控制。

作为本发明的进一步改进，还包括一网络端显示模块，用于将测试数据通过网络前端进行展示。

作为本发明的进一步改进，还包括一历史数据管理模块，用于记录和查询历史测试数据。通过所述数据管理模块，可以有效的对历史测试数据进行管理和对比分析，解决了单机测试模式下测试数据分散存储管理的不足。

作为本发明的进一步改进，所述服务端任务调度模块根据测试机的状态信息，对测试任务进行分配。

作为本发明的进一步改进，所述测试机的状态信息包括测试机的性能及其当前工作状态。

本发明还提供了一种用于上述云测试平台的客户端游戏性能的测试方法，包括以下步骤：

对测试用例的录制：通过将测试用例的参数和操作存储为数据，实现对测试用例的录制；

响应测试请求：接收并响应测试请求，将已录制完成的测试用例转换为对应的参数或操作，发送至测试机，通过测试机对该游戏进行测试；

收集测试机的测试数据并分析结果。

相比于现有技术，本发明可以有效简化开发-测试流程，由传统的通知测试人员进行测试变为web端的测试请求发送操作，测试过程在线查询，测试完成后自动分析发送测试报告，实现自主测试与整个测试过程的自动化。同时将原先分散的开发-测试流程改善为统一调度执行，避免了原先测试机的分散部署，可采用机房的统一方式进行管理，有效节省测试成本、也避免了测试任务执行与开发过程脱节，开发完成后可自行提交测试任务，节省测试人力，提高测试效率。

作为本发明的进一步改进，所述对测试用例的录制的步骤，包括对游戏人物操作的录制和对指令操作的录制。

作为本发明的进一步改进，所述响应游戏测试的请求的步骤，还包括对游戏测试任务进行分配管理。

作为本发明的进一步改进，在完成游戏测试后，还包括步骤：对测试的数据进行记录和管理。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1是本发明的云测试平台的连接框图。

图2是服务端任务调度模块的任务调度流程图。

图3是本发明的游戏性能的测试方法流程图。

图4是录制的具体实现方式示意图。

图5是测试任务队列管理的示意图。

图6是测试数据的收集和分析示意图。

具体实施方式

请参阅图1，其为本发明的云测试平台的连接框图。本发明提供一种可自动进行游戏测试的客户端游戏性能云测试平台。具体的，先由用户通过发送游戏测试请求至测试平台，再由该测试平台发送测试任务至测试机进行自动测试。当测试机完成游戏的测试时，返回测试数据至测试平台。所述测试平台对该测试数据进行分析后，将测试报告发送至用户主机。

具体的，本发明的客户端游戏性能云测试平台包括客户端录制模块1、客户端控制模块2、网络端显示模块3、服务端任务调度模块4、控制信息生成模块5、测试数据分析模块6与历史数据管理模块7。

所述客户端录制模块1，用于将测试用例的参数和操作储存为数据，实现对测试用例的录制。其中，所述参数由人工进行设置，所述数据也可以用代码形式进行储存。

具体的，云测试平台中心(即服务端)响应用户在web端的操作，通过RPC(RemoteProcedure Call)协议向部署在测试机上的控制程序发送录制命令。录制过程中，服务端周期性的向agent请求录制信息。每次请求时，agent获取游戏中人物信息参数，同时利用接口捕获技术捕捉性能测试中可能使用的接口调用，如场景测试中的场景跳转、模型测试中的模型生成等，将以上信息通过rpc接口返回值的形式发送至服务端。

所述服务端任务调度模块4，其与多个测试机进行连接；所述服务端任务调度模块接收测试请求，将测试任务分配发送至其中一测试机。所述服务端任务调度模块根据测试机的状态信息，对测试任务进行分配。具体的，所述测试机的状态信息包括测试机的性能和当前的工作状态。

具体的，服务端记录每个接入的测试机的状态信息，包括测试机性能分类(比如，高配置测试机、低配置测试机及普通测试机)、测试机的工作状态(比如空闲或者执行任务中)。当接到来自web端发来的测试任务请求或定时测试任务请求时，由服务端任务调度模块对任务进行分配调度。请参阅图2，其为服务端任务调度模块的任务调度流程图。具体的流程如下：

S21：当测试任务进入时，首先根据测试任务的需求选择符合配置要求的测试机队列集合，如需要在高配置测试机的测试任务，则选择所有高配置测试机对应的任务队列；

S22：从中选择任务数最小的任务队列；任务队列是一个数据结构的表示，可通过web端显示，并由人工任意调整队列中各任务的顺序。

S23：所有任务队列都会周期性轮询对应的测试机的状态，若测试机空闲，则立刻将测试任务发送到测试机执行。

所述控制信息生成模块5，用于接收客户端录制模块的录制结果，将该录制结果转换为游戏客户端控制的对应操作和代码，并发送至测试机进行自动测试。

其中，所述控制信息生成模块用于将测试用例的代码或数据转为游戏客户端控制的相关操作及代码，与录制模块是相反的过程。具体的，测试用例中存储的代码及数据描述的格式为按照时间顺序保存的信息列表，列表中的每条信息包含能重现用例中对应时刻游戏客户端环境的全部信息。比如在场景测试中，包含该时刻的人物相机视角矩阵、场景跳转接口调用记录，因此生成的游戏客户端控制代码为：场景跳转接口调用->相机视角矩阵设置。

所述测试数据分析模块6，用于分析测试数据的与生成测试报告。

具体的，所述测试数据分析模块对测试数据进行分析时，需要根据测试对象确定。首先，将得到的测试数据填入测试报告模板，同时根据测试对象，对测试数据进行相应规则的检查。比如在场景测试中，每个测试点的性能数据都必须满足最低FPS(Frames PerSecond:每秒传输帧数)限制及最大FPS下降率的要求，输出所有不满足条件测试点，形成测试报告。同时利用测试点的录制信息及控制信息生成模块的相关接口，提供该测试点的重现接口，用户可通过web端操作在本地游戏客户端重现该测试点的游戏环境，迅速定位缺陷现场。

所述历史数据管理模块7，用于记录和查询历史测试数据。

具体的，用户可以通过web端访问历史数据，服务端通过数据库索引到用户需要的测试数据，对比若干时间段内的测试结果。所述记录中存储测试执行时间、测试用例编号、测试数据、测试请求用户、及测试机编号，可通过数据库的基本操作实现对所需测试数据的索引。为减少美术在工作过程中反复修改资源的次数，可以利用数据挖掘技术对各历史测试数据进行统计分析，得到不满足测试规则的测试点的同性，从而在以后的设计开发中提前避免。

所述客户端控制模块2，用于实现对游戏客户端的的更新、启动与关闭操作，以及对游戏客户端游戏环境的控制。

具体的，在实现对游戏客户端的各项控制功能时，通过winapi(视窗操作系统应用程序接口)实现游戏客户端的更新、启动与关闭等操作。通过测试版游戏客户端预留通信端口向游戏客户端发送待执行的控制脚本，实现对游戏客户端游戏环境及操作的控制。

所述网络端显示模块3，用于将测试数据通过网络前端进行展示。

具体的，在将测试数据通过web前端展示时，通过利用网页前端技术如ajax，jQuery，以及开源插件echarts等将测试数据图形化展现。其中，具体包括两种展示模式：实时显示模式与批量显示模式。所述实时显示模块主要用于测试过程在线监控环节，web前端向服务端请求测试数据并显示，自动循环执行该流程直至得到服务端返回的停止数据。批量显示模式主要用于测试报告及历史数据分析环节，利用echarts的功能实现。

请参阅图3，其为本发明的游戏性能的测试方法流程图。本发明还提供了一种用于上述云测试平台的客户端游戏性能的测试方法，包括以下步骤：

步骤S1：通过将测试用例的参数和操作储存为数据，实现对测试用例的录制。其中，包括游戏人物操作的录制和对指令操作的录制。所述参数可以通过人工进行设置，所述数据可以用代码形式进行储存。

用户在web端发出录制请求，记录用户在游戏客户端中的测试操作，以便后续自动执行测试用例，录制完毕后，将测试操作转化为相应的测试用例记录并在服务端统一存储管理。其中为了实现录制功能，需要对测试操作进行定义，分为常规操作和指令操作两种。所述常规操作是指游戏中人物的控制，而游戏中人物的控制可进一步映射为人物基本状态，包括位置、相机视角等参数，从而可通过记录人物位置、相机视角实现游戏环境的“再现”。所述指令操作是指游戏中通过指令系统完成一些行为，可通过记录相应指令实现指令操作录制。请参阅图4，其为录制的具体实现方式示意图。具体在录制测试用例时,包括以下步骤：

周期性记录游戏中人物位置及相机视角信息；

捕捉指令系统接口的调用，若有相应接口被调用，则将相应信息与同时刻的人物信息一同记录。

步骤S2：接收并响应游戏的测试请求，将已录制完成的测试用例转换为游戏客户端的参数或操作，并对游戏测试任务进行分配管理并发送至测试机，再通过测试机进行游戏性能测试。

具体的，用户通过web发出测试请求，服务端响应请求并将测试任务发送到测试机上执行。测试请求的响应包括测试任务的生成与队列管理。测试任务的生成过程是步骤一中生成的测试用例逆过程，从测试用例数据库中读取记录信息，生成能够实现测试用例中游戏环境“重现”的游戏客户端控制代码。请参阅图5，其为测试任务队列管理的示意图。服务端为每个接入的测试机维护一个任务队列，将测试任务分配给符合测试条件中测试任务数最小的测试机，也支持由用户自主制定测试机及手动对未执行测试任务的调度。同时服务端通过周期性轮询，获得测试机代理(agent)的状态反馈，确认测试机当前状态。

步骤S3：收集测试机的测试数据并分析结果。

请参阅图6，其为测试数据的收集和分析示意图。服务端主动向测试机周期性发出测试数据请求，测试机上收集相应的性能参数并通过rpc通信协议发送回服务端；用户根据需求，通过web端自动或手动向服务端发出数据请求，实现测试结果的在线显示；测试任务执行结束后，服务端对测试数据进行分析，根据配置好的性能测试规则验证各测试数据，给出测试报告。为方便开发人员便捷的定位和观察不满足条件的测试数据，对于不满足条件的测试数据，提供测试用例重现接口，将测试用例转译的游戏客户端控制代码发送到用户本地使用的agent执行，控制游戏客户端重现测试环境。

步骤S4：对测试的数据进行记录和管理。

历史数据管理与查询：用户通过web访问历史数据，服务端通过数据库索引到用户需要的测试数据，对比若干时间段内的测试结果。记录中存储测试执行时间、测试用例编号、测试数据、测试请求用户、及测试机编号，可通过数据库的基本操作实现对所需测试数据的索引。为减少美术在工作过程中反复修改资源的次数，利用数据挖掘技术对各历史测试数据进行统计分析，得到不满足测试规则的测试点的同性，从而在以后的设计开发中提前避免。

相比于现有技术，本发明可以有效简化开发-测试流程，由传统的通知测试人员进行测试变为web端的测试请求发送操作，测试过程在线查询，测试完成后自动分析发送测试报告，实现自主测试与整个测试过程的自动化。同时将原先分散的开发-测试流程改善为统一调度执行，避免了原先测试机的分散部署，可采用机房的统一方式进行管理，有效节省测试成本、也避免了测试任务执行与开发过程脱节，开发完成后可自行提交测试任务，节省测试人力，提高测试效率。

本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (9)

1.一种游戏性能云测试平台，其特征在于：包括

客户端录制模块，用于接收web端发出的录制请求，并用于将测试用例的参数和操作存储为数据，实现对测试用例的录制；

客户端控制模块，用于实现对游戏客户端的更新、启动与关闭操作；

服务端任务调度模块，其与多个测试机进行连接；所述服务端任务调度模块用于接收测试请求，将测试任务分配发送至其中一测试机；

控制信息生成模块，用于接收客户端录制模块的录制结果，将该录制结果转换为与游戏客户端控制对应的操作和参数，并发送至测试机进行自动测试；

测试数据分析模块，用于分析测试机的测试数据与生成测试报告。

2.根据权利要求1所述游戏性能云测试平台，其特征在于：还包括一网络端显示模块，用于将测试数据通过网络前端进行展示。

3.根据权利要求1所述游戏性能云测试平台，其特征在于：还包括一历史数据管理模块，用于记录和查询历史测试数据。

4.根据权利要求1所述游戏性能云测试平台，其特征在于：所述服务端任务调度模块根据测试机的状态信息，对测试任务进行分配。

5.根据权利要求4所述游戏性能云测试平台，其特征在于：所述测试机的状态信息包括测试机的性能及其当前的工作状态。

6.一种游戏性能的测试方法，其特征在于：包括以下步骤：

对测试用例的录制：接收web端发出的录制请求，并通过将测试用例的参数和操作存储为数据，实现对测试用例的录制；

响应测试请求：接收并响应测试请求，将已录制完成的测试用例转换为对应的参数或操作，发送至测试机，通过测试机对游戏进行测试；

收集测试机的测试数据并分析结果。

7.根据权利要求6所述游戏性能的测试方法，其特征在于：所述对测试用例的录制的步骤，包括对游戏人物操作的录制和对指令操作的录制。

8.根据权利要求6所述游戏性能的测试方法，其特征在于：所述响应测试请求的步骤，还包括对游戏测试任务进行分配管理。

9.根据权利要求6所述游戏性能的测试方法，其特征在于：在完成游戏测试后，还包括步骤：对测试的数据进行记录和管理。