CN115080445B - 一种游戏测试管理方法及其系统 - Google Patents

Abstract

本发明提供一种游戏测试管理方法及其系统。通过在待测试终端上通过强化学习的方式训练模型，使模型能够按照拟人化的真实操作方式进行游戏的测试，并通过与测试服务器建立针对于测试获取数据的实时比对方法，将获取到的实时游戏数据与预设值之间进行比较，能够实时以及真实的反应在游戏环境中关键数据的情况，因为采用的模型为训练后的模型，其在游戏的操作以及操作所带来的反馈为真实深入的，从而减少了测试人员的人工操作，降低了测试成本；并且因为拟人化的操作能够较为深入的还原真实玩家的实时场景，同样的将游戏中之前不容易出现的bug等相关缺陷通过深入的体验而确定，增加了对于游戏缺陷掌握的完整度。

Description

一种游戏测试管理方法及其系统

技术领域

本申请涉及软件测试领域，为一种针对于游戏的测试方法及系统，具体而言，涉及一种游戏测试管理方法及其系统。

背景技术

随着互联网的发展，游戏成为人们日常娱乐的重要项目。其中，游戏性能直接影响玩家的游戏体验，较差的游戏性能很可能导致游戏玩家的流失，进而导致游戏经营损失，基于此，游戏性能测试备受关注。

但在现有技术中，针对于游戏的测试主要基于测试人员使用脚本测试以及手动测试相结合的形式。虽然在一定程度上降低了对于游戏的较为明显的显示问题或者是明显的操作以及决策稳定，但是随着游戏的复杂程度加深以及物理引擎或者渲染程度的加深，针对于游戏中潜藏的缺陷即Bug很难通过简单地方式出现，主要还是依靠于测试人员的手动进行测试，并且因为游戏本身是一个持续决策的过程，对于测试人员进行测试过程中需要长时间的使用和体验才能找到隐藏较深的Bug，这就要求为了降低测试的时间和人员成本，需要增加较为智能并且行为趋向于真实使用者的智能体的对游戏进行自动化的测试。

发明内容

本申请实施例提供一种游戏测试管理方法及系统，以通过强化学习的方式训练测试模型，通过测试模型实现了对于游戏测试的自动化，降低了人工成本，实现了智能化测试的效果和目的。

为了达到上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种游戏测试管理方法，应用于测试服务器，所述测试服务器与测试人员终端连接，所述测试服务器上配置有多个测试模型，多个所述测试模型配置有对应的多个待测试游戏以及多个待测试游戏对应的多个性能采集策略，任一所述性能采集策略用于对应的待测试游戏进行对应性能数据的采集，所述测试人员终端用于发送测试命令；所述方法包括：获取测试模型；基于所述测试模型对待测试终端进行测试，并基于测试命令确定对应的性能采集策略；基于所述性能采集策略获取实时测试信息；基于所述实时测试信息与预设信息进行比对，得到比对结果；基于第一规则确定比对结果是否属于异常，并将异常信息发送至测试服务器并产生报警标签；所述测试命令包括多个命令子集，确定所述测试命令包括确定命令子集，所述性能采集策略包括多个性能采集子集，所述性能采集子集和所述命令子集设置有匹配标签，所述性能采集子集包括多个参数，每个所述参数被赋予对应的权重；所述基于测试命令确定对应的性能采集策略包括：基于多个被选择的命令子集，基于被选择的命令子集所对应的匹配标签确定对应的性能采集子集，基于所述性能采集子集中的参数的权重确定采集顺序；所述实时测试信息包括第一测试信息和第二测试信息，所述第一测试信息用于表征信息的性质，所述第二测试信息用于表征信息的数学值；还对于所述第一测试信息和第二测试信息的获取通过将所述实时测试信息进行分割，且将分割后的第一测试信息和所述第二测试信息进行分类保存至所述测试服务器内并针对所述第一测试信息配置有第一测试标签，所述预设信息包括第一预设信息和第二预设信息，所述第一预设信息和所述第二预设信息分别设置于所述测试服务器的存储空间内并针对于所述第一预设信息配置有第一预设标签。

在第一方面的第一种可能的实现方式中，获取所述测试模型包括以下方法：构建测试模型数据库，所述测试模型数据库包括多个子数据库，每个所述子数据库配置有对应的测试模型，所述子数据库配置有第一数据库标签，所述第一数据库标签与多个所述测试模型对应配置；基于测试命令并提取所述测试命令的命令特征，所述命令特征内匹配命令标签，所述命令标签与所述第一数据库标签进行映射关联，得到标签映射关联特征信息；基于所述标签映射关联特征信息确定对应的测试模型。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，基于所述测试模型对待测试终端进行测试包括以下方法：基于所述测试模型生成与之对应的模拟用户操作的智能体；基于所述智能体对待测试终端进行测试。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，生成模拟用户操作的智能体包括以下方法：获取多个样本生成模型，基于多个样本生成模型进行对弈得到第一对弈数据；获取第二对弈数据，并根据第二对弈数据和所述第一对弈数据对待训练模型进行训练，所述第二对弈数据为真实对弈数据；当所述待训练模型收敛时，将所述待训练模型作为待评测模型，通过所述待评测模型与对比模型进行多次对弈，并得到对弈结果；当所述对弈结果达到预设指标，确定所述待评测模型为智能体。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，获取多个样本生成模型包括采集用户行为数据，并对采集的所述用户行为数据的特征进行提取，产生用户操作行为的样本，将所述样本进行集合，得到样本生成模型。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，根据第二对弈数据和所述第一对弈数据对待训练模型进行训练包括以下方法：

根据所述用户行为数据的特征进行提取得到样本向量特征和样本类图像特征，样本数据包括环境反馈；通过第一全连接层对所述样本向量特征进行处理，得到第一目标向量；通过残差网络层对所述样本类图像特征进行处理，得到第二目标向量；通过拼接层对所述第一目标向量和第二目标向量进行拼接，得到拼接向量；通过第二全连接层基于所述拼接向量，确定主要策略标签的概率分布、从策略标签的概率分布以及预测得分；根据所述主要策略标签的概率分布、从策略标签的概率分布、预测得分和环境反馈，对所述待训练模型的神经网络参数进行训练。

在第一方面的第六种可能的实现方式中，基于所述实时测试信息与预设信息进行比对，得到比对结果包括以下方法：所述实时测试信息与预设测试信息进行比对，得到比对结果包括：基于性能采集策略获取与之对应的第一测试标签和第二测试标签，并且基于所述第一测试标签确定对应的第一测试信息和第二测试信息，基于所述第二测试标签确定对应的第一预设信息和第二预设信息，基于所述第一预设信息和所述第二预设信息确定对应的第二测试信息和第二预设信息，比较所述第二测试信息和所述第二预设信息。

结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，将实时测试信息发送至测试服务器，包括以下方法：在获取到测试信息后，将测试信息存入指定消息队列，并对指定消息队列进行监听，当监听到指定消息队列中存入测试信息时，将指定消息队列中的测试信息发送至测试服务器，测试服务器中配置有性能比对策略标签。

结合第一方面的第六种可能的实现方式，在第八种可能的实现方式中，基于第一规则确定比对结果是否属于异常包括以下方法：提取第二测试信息中的关键数据，基于关键数据与所述预设信息的关键数据进行比对，基于第一规则确定比对结果是否属于异常；其中第一规则包括对于第二预设信息的关键数据设置阈值范围，当第二测试信息中的关键数据不属于预设信息的阈值范围内时，判断实时测试信息为异常。

第二方面，本申请实施例还提供一种游戏测试管理系统，包括测试服务器、至少一个待测试终端和至少一个测试人员终端；测试服务器上配置有多个测试模型，多个所述测试模型配置有对应的多个待测试游戏以及多个待测试游戏对应的多个性能采集策略；测试服务器，在接收到测试命令时，通过测试任务识别确定需要进行测试的测试模型，并基于确定后的测试模型对待测试终端进行测试执行，测试模型以向至少一个待测试终端发送游戏指令，游戏指令携带测试模型对应测试场景的性能采集策略；待测试终端，执行游戏指令，以及在执行游戏指令的过程中，基于性能采集策略采集游戏性能数据；待测试终端，在存在采集到的游戏性能数据的情况下，将游戏性能数据发送至测试服务器基于第一方面提供的游戏测试管理方法。

本申请实施例提供的技术方案中，通过设置多个测试模型，并且根据测试命令确定对应的测试模型，以及基于测试命令确定需要进行的测试行为。在测试模型上配置有多个性能采集策略，基于测试模型中训练的智能体对待测试游戏进行测试，降低了人工测试所造成的bug获取的成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。

图1是本申请实施例提供的通信系统的系统架构示意图。

图2是本申请实施例提供的测试服务器的方框示意图。

图3是根据本申请的一些实施例所示的一种游戏测试管理方法的流程图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。

本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。

请参照图1，本申请实施例提供一种游戏测试管理系统100，该游戏测试管理系统100包括相互通信的测试服务器200、待测试终端300和测试人员终端400。

在实践中，测试服务器101可为单台服务器或者为多台服务器组成的服务器集群，图1中仅以单台服务器为例。

在本实施例中，待测试终端为搭载有游戏应用程序的智能终端，可为支持具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机等，图1中仅以智能手机为例。可选的，一台电子设备上可安装一个或多个游戏软件，本发明对此不做限制。

本申请实施例提供的测试服务器200内配置多个测试模型，在本实施例中测试模型为与待测试游戏进行匹配的测试环境和测试手段，主要基于待测试游戏的不同类型进行配置，例如针对于FPS类型游戏和MOBA类游戏的测试手段是不同的，并且在进行测试时需要采集的性能数据也不相同。所以，需要在进行测试时，针对不同类型的游戏进行对应测试模型的确定，实现对于测试结果的快速获取和测试准确度。并且在每一个测试模型内配置有多个性能采集策略，在本实施例中性能采集策略用于不同的测试场景下进行对应性能数据的采集。在本实施例中，测试策略的描述内容包括但不限于：测试时间、测试目标、测试环境等。其中，测试时间是指在什么时间点执行测试任务；测试目标也即测试功能点；测试环境则是指为了完成软件测试工作所必须的计算机硬件、软件、网络设备、历史数据等的总称。针对于游戏使用场景，需要进行测试的场景较多，比如说针对于游戏运行过程中的显示帧率、针对于游戏运行中游戏环境的完整度、针对于游戏运行中游戏过程的流畅度等相关的游戏运行指标，因为针对于不同的游戏运行情况所对应测试的关键指标不同则需要进行判断的策略也不同，则需要针对于不同测试场景下使用不同的性能采集策略，从而在本实施例中测试服务器中配置有多个性能采集策略。

在本实施例中，测试服务器在基于测试人员终端接收到测试任务时，基于测试模型对待测试终端进行测试执行测试模型以向至少一个待测试终端发送游戏指令，在本实施例中游戏指令携带测试模型对应测试场景下的性能采集策略。

在本实施例中，待测试终端在采集到的游戏性能数据的情况下，将游戏性能数据发送至测试服务器并通过游戏测试管理方法进行游戏测试。

针对于测试服务器的物理结构，请参照图2，是根据本申请的一些实施例所示的测试服务器200的方框示意图，该测试服务器200包括基于游戏测试方法的测试装置210、存储器220、处理器230和通信单元240。存储器220、处理器230以及通信单元240各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。测试装置210包括至少一个可以软件或固件（firmware）的形式存储于存储器220中或固化在电子设备的操作系统（operating system，OS）中的软件功能模块。处理器230用于执行存储器220中存储的可执行模块，例如基于测试装置210所包括的软件功能模块及计算机程序等。

其中，存储器220可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。其中，存储器220用于存储程序，处理器230在接收到执行指令后，执行所述程序。通信单元240用于通过网络建立测试服务器200与待测试终端300之间的通信连接，并用于通过网络收发数据。

处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器（DSP)）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图2所示的结构仅为示意，测试服务器200还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

针对于游戏测试管理系统提供的游戏测试管理方法，请参阅图3，是根据本申请的一些实施例所示的一种游戏测试管理方法的流程图，主要方法为基于测试模型对待测试终端进行测试，并基于性能采集策略获取实时测试信息，针对于获取到的实时测试信息与预设信息进行比对得到比对结果，基于第一规则确定比对结果是否属于异常，并将异常信息发送至测试服务器并产生报警标签。

本实施例中的游戏测试管理方法，通过建立了多个测试模型，并且通过多个测试模型与待测试游戏之间形成对应关系，实现对于不同类型游戏的测试结果的确定。降低了因为游戏类型不同而导致的测试结果不准确的问题。并且，在测试模型中配置有训练好的测试模型，利用测试模型实现对于测试结果的准确性，而非通过人工的方式进行测试而是基于计算机技术即模型对于待测试终端进行测试，待测试终端中配置有用于待测试的游戏，通过测试模型对于待测试的游戏进行自动化的测试，降低了人工测试所带来的成本以及复杂策略下现有自动化测试方法对于复杂场景下的缺陷的捕捉度。

在本实施例中，因为不同的游戏或者是游戏场景中具有多种待检测的场景，所以对于测试的要求以及测试的目标值也不同，通过设置有性能采集策略实现实时测试信息的采集。

针对于测试过程中获取的实时测试信息与预设信息进行比对，得到比对结果，比对结果用于是判断是否产生异常情况的基础。在本实施例中，基于第一规则确定比对结果是否属于异常，当出现异常时，将异常信息发送至测试服务器并产生报警标签，对于报警标签测试服务器进行保存，在报警标签中具体保存有对应的数据信息以及时间等标识信息。

具体的请参阅图3，详细的说明了游戏测试管理方法的具体处理过程：

步骤S110. 获取测试模型，确定与待测试游戏对应的测试模型。

针对于测试模型的获取，首先需要构建测试模型数据库，在测试模型数据库内设置有多个子数据库，其中每个子数据库配置有对应独立的测试模型，并且在子数据库配置有第一数据库标签，其中第一数据库标签与任一测试模型对应配置，即在子数据库中通过第一数据库标签将测试模型进行匹配。

通过下发的测试命令并提取测试命令的命令特征，因为测试命令为预设的字符串命令，其特征提取的方式较为简单，通过在字符串内预设标签即可，在本实施例中不再进行详细说明。并且在命令特征内匹配命令标签，将命令标签与所述第一数据库标签进行映射关联，得到标签映射关联特征信息。

并基于标签映射关联特征信息确定对应的测试模型。

步骤S120. 基于测试模型对待测试终端进行测试，并基于测试命令确定对应的性能采集策略。

作为一个实施例，测试服务器上被配置有自动化测试管理服务。在实践中，若测试服务器被配置为关闭自动化测试管理服务，则可由测试人员手动控制测试服务器进行测试，也即由测试人员向测试服务器下发测试任务；若测试服务器被配置为启动自动化测试管理服务，则测试服务器可根据被配置的性能采集策略进行自动化测试，也即测试服务器在被配置为启动自动化测试管理服务器的情况下，可根据被配置的性能采集策略自动触发测试任务。

在本实施例中，性能采集策略被配置在测试模型上。

上述性能采集策略的描述内容包括但不限于：测试时间、测试目标、测试环境等。其中，测试时间是指在什么时间点执行测试任务；测试目标也即测试功能点；测试环境则是指为了完成软件测试工作所必须的计算机硬件、软件、网络设备、历史数据等的总称。

而针对于性能采集策略的确定基于测试命令，测试命令可以测试人员直接手动一一设置，也可以通过测试人员指定测试命令串，根据项目的需要确定测试命令串。

作为一个可选的实现方式，可配置测试服务器从某一时刻开始，按照设定的时间间隔周期性地执行测试任务，也即测试服务器在被配置为启动自动化测试管理服务器的情况下，当设定测试周期到达时，自动触发测试任务。

进一步的，作为一个实施例，不同测试周期内执行的测试任务可不同，比如，在一个测试周期内，测试任务为针对3D游戏地图场景进行性能测试；在另一个测试周期内，测试任务为针对长时间战斗场景进行性能测试。

在实践中，可由测试人员通过测试人员终端提供的可视化界面配置上述测试策略。可以理解的是，若测试人员是通过测试人员终端提供的可视化界面配置上述测试策略的，则在配置完成之后，可将配置的测试策略导入测试服务器。

在步骤120中，测试服务器在接收到由测试人员终端发出测试任务时，则可执行测试用例以向至少一个游戏客户端发送游戏指令，实现通过游戏客户端进行游戏测试。

作为一个实施例，测试服务器上可配置有针对不同测试场景的多个测试用例，其中，不同的测试场景对应不同的测试功能点。举例来说，若测试功能点为针对3D游戏地图场景的性能测试，则可屏蔽掉游戏UI、NPC(Non Player Character，非玩家控制角色)、野怪等无用对象，创建对游戏地图进行跑图遍历的测试场景。再举例来说，若测试功能点为针对长时间战斗场景的性能测试，则可构造5V5战斗组，创建进行半小时无间隔战斗的测试场景。

作为一个实施例，上述测试任务的任务信息中可包含待测试功能点。基于此，测试服务器在接收到测试任务时，可先根据测试任务的任务信息，将任务信息中包含的待测试功能点所对应测试场景下的测试用例确定为目标测试用例，进一步地，测试服务器可执行目标测试用例。如此可实现定制化游戏测试。

在本实施例中，测试命令包括多个命令子集，确定测试命令包括确定命令子集，在本实施例中性能采集策略包括多个性能采集子集，其中性能采集子集和命令子集设置有匹配标签，其中性能采集子集包括多个参数，每个参数被赋予对应的权重。

在本实施例中，基于测试命令确定对应的性能采集策略包括：

基于多个被选择的命令子集，基于被选择的命令子集所对应的匹配标签确定对应的性能采集子集，基于性能采集子集中的参数的权重确定采集顺序。可以理解的是，本实施例中所对应的性能采集策略的确定目的是确定采集什么类型的数据、优先采集什么类型的数据、数据采集的时长等信息。

针对于不同场景下的测试情况，通过设置测试模型来实现测试，具体为步骤130：

基于测试模型对待测试终端进行测试，并基于测试命令确定性能采集策略，基于性能采集策略获取实时测试信息。

在本实施例中，为了实现对于测试模型对于自动化测试程度的提高，还包括以下具体的方法：

生成模拟用户操作的智能体。

针对于智能体的确定通过获取多个样本生成模型，基于多个样本生成模型进行对弈得到第一对弈数据。在本实施例中，对于多个样本生成模型包括采集用户行为数据，并对采集的所述用户行为数据的特征进行提取，产生用户操作行为的样本，将所述样本进行集合，得到样本生成模型。

获取第二对弈数据，并根据第二对弈数据和第一对弈数据对待训练模型进行训练，在本实施例中第二对弈数据为真实对弈数据。在本实施例中，待训练模型包括第一全连接层、残差网络层、拼接层和第二全连接层。针对于训练的过程为：根据第二对弈数据和第一对弈数据构建样本数据，并对样本数据进行特征提取得到样本向量特征和样本类图像特征，其中样本数据包括环境反馈；通过第一全连接层对样本向量特征进行处理，得到第一目标向量；通过残差网络层对样本类图像特征进行处理，得到第二目标向量；通过拼接层对第一目标向量和第二目标向量进行拼接，得到拼接向量；通过第二全连接层基于拼接向量，确定主策略标签的概率分布、从策略标签的概率分布以及预测得分；根据主策略标签的概率分布、从策略标签的概率分布、预测得分和环境反馈，对待训练模型的神经网络参数进行训练。

在本实施例中，根据主策略标签的概率分布、从策略标签的概率分布、预测得分和环境反馈，对待训练模型的神经网络参数进行训练，具体的方法包括：根据主策略标签的概率分布计算对应的第一损失值；根据从策略标签的概率分布计算对应的第二损失值；根据预测得分和环境反馈计算对应的第三损失值；根据第二对弈数据以及待训练模型输出的主策略标签的概率分布和从策略标签的概率分布，计算第四损失值；根据第一损失值、第二损失值、第三损失值和第四损失值，确定待训练模型是否收敛；若待训练模型收敛，则执行当待训练模型收敛时，将待训练模型作为待评测模型，与对比模型进行多次对弈，并得到对弈结果的步骤。

在本实施例中，针对于根据第一损失值、第二损失值、第三损失值和第四损失值，确定待训练模型是否收敛的具体过程，包括：计算第一损失值、第二损失值、第三损失值和第四损失值的和，将第一损失值、第二损失值、第三损失值和第四损失值的和作为总损失值；若总损失值小于或等于预设的损失值阈值，则确定待训练模型收敛。

在本实施例中，通过强化学习的方式对模拟真实用户操作场景，实现移动端应用自动化测试，其中强化学习的方式主要为通过计算机对于历史真实的操作数据结合基于现有计算机技术对于游戏的操作过程实现对于待训练模型的训练。当待训练模型为收敛时，将待训练模型作为待评测模型，通过待评测模型与对比模型进行多次对弈，并得到对弈结果。

当对弈结果得到预设指标时，确定待评测模型为智能体。在本实施例中，对弈结果包括待评测模型与对比模型进行多次对弈的平均得分和/或胜率；当所述对弈结果达到预设指标时，确定待评测模型为AI模型，具体为： 当平均得分和/或胜率达到预设阈值时，确定待评测模型为智能体。

基于智能体对待测试终端进行测试。

在本实施例中，针对于具体的智能体中设置有对应的性能检测策略，通过设置有对应的性能检测策略进行测试，并得到实时测试信息。

具体为，同的测试场景可对应不同的性能采集策略，上述性能采集策略包括但不限于采集频率、采集内容等。其中，采集频率也即采集时间间隔；采集内容可包括：系统性能指标、游戏引擎性能指标。在本实施例中，系统性能指标包括但不限于：CPU使用率、FPS、内存使用率、温度、电量消耗量、流量消耗量等；游戏引擎性能指标包括但不限于：接口响应时长，渲染时长等。以U3D游戏引擎为例，上述接口包括但不限于：mono、drawcall、verts、triangles等。

步骤140，基于采集到的实时测试信息与预设信息进行比对，得到比对结果。

在本实施例中，预设信息存储在测试服务器中，即针对于测试终端中采集到的具体的实时测试信息，将实时测试信息上传至测试服务器中，并将实时测试信息与预设信息进行比对。

在本实施例中，测试终端在存在采集到的游戏性能数据的情况下，则将游戏性能数据发送至测试服务器，意味着测试终端一旦采集到游戏性能数据，则将采集到的游戏性能数据发送至测试服务器，也即测试终端实时地将采集到的游戏性能数据发送至测试服务器。

作为一个实施例，测试终端可通过以下方式实现实时地将采集到的游戏性能数据发送至测试服务器：测试终端在采集到游戏性能数据后，则将采集到游戏性能数据存入指定消息队列中，以及监听该指定消息队列，当监听到指定消息队列中存入游戏性能数据时，将指定消息队列中的游戏性能数据发送至测试服务器。

在本实施例中，游戏客户端在将采集到的游戏性能数据发送至测试服务器之前，还可对游戏性能数据进行加密，之后则将加密后的游戏性能数据发送至测试服务器，如此可有效避免游戏性能数据在传输过程中被恶意篡改或者泄露。

可选的，游戏客户端对游戏性能数据进行加密的方式包括但不限于：对称加密、非对称加密等。

本实施例中的预设信息为标准的测试指标，在预设信息中同样的配置有对应的性能采集策略标签，通过设置在预设信息中的性能采集策略标签与测试模型中的性能采集策略进行匹配，实现对于采集到的信息与预设的信息针对于相同的测试场景进行比对。预设信息中存储有多种标准的已经确定好的游戏指标，通过测试信息中的游戏性能数据与预设的游戏指标即预设的游戏性能数据进行比对，得到比对结果，即数据之间的比对结果，通过比对结果来实现对于游戏中是否存在缺陷的检测。

在本实施例中，为了将实时测试信息与预设信息之间的比对更加的准确，将实时测试信息包括第一测试信息和第二测试信息，其中第一测试信息用于表征信息的性质，第二测试信息用于表征信息的数学量。并且还对于述第一测试信息和第二测试信息的获取通过将所述实时测试信息进行分割，且将分割后的第一测试信息和第二测试信息进行分类保存至测试服务器内并针对第一测试信息配置有第一测试标签，其中预设信息包括第一预设信息和第二预设信息，将第一预设信息和所述第二预设信息分别设置于所述测试服务器的存储空间内并针对于所述第一预设信息配置有第一预设标签。

具体的比对过程包括：基于性能采集策略获取与之对应的第一测试标签和第二测试标签，并且基于第一测试标签确定对应的第一测试信息和第二测试信息，基于第二测试标签确定对应的第一预设信息和第二预设信息，基于第一预设信息和第二预设信息确定对应第二测试信息和第二预设信息，比较第二测试信息和所述第二预设信息。

本实施例通过以上的设置，将实时测试信息与预设信息之间的比对和关联通过标签的设置而更加紧密，降低了因为对于采集信息和预设信息比对不准确而带来的缺陷。

而针对于比对结果与是否产生缺陷具体包括步骤150，步骤150具体为：

基于第一规则确定比对结果是否属于异常，并将异常信息发送至测试服务器并产生报警标签。

具体为在测试服务器端通过提取第二测试信息中的关键数据，提取关键信息的主要方法是基于性能采集策略来实现，具体为在第二测试信息中的权重信息则基于性能采集策略中的权重设置而定，权重高的即为关键数据，而针对于关键数据适用于判断是否产生异常的基本数据。

在本实施例中，第一规则为通过设置阈值的比对机制，具体为在本实施例的测试方法中在测试服务器端设置有对应与具体性能采集策略的关键数据阈值。通过获取的关键数据的具体数值与对应的阈值进行比对判断是否在阈值范围内，如果在阈值范围内则认定为实时测试信息属于正常，如果在阈值范围外则认定为实时测试信息为异常数据。

针对于判断后的异常数据，将异常数据以及与之关联的实时测试信息进行保存，并通过测试服务器发送至测试人员的终端。

在其他实施例中，为了保证测试结果的精确度以及对于测试结果可指导性，可针对于阈值范围进行优化。优化方式为在一定的阈值范围内进行缩小，分为第一阈值和第二阈值以及最佳数据值，第一阈值为范围最大的阈值范围，针对于实时测试信息首先与第一阈值进行比较，得到第一结果，如果第一结果属于异常结果，则将异常数据以及实时测试信息进行保存并实时发送至测试人员终端。如果实时测试信息与第一阈值比较为第一阈值范围，但不在第二阈值范围内，则判定为正常数据，但因为阈值范围为第二阈值范围内，则可以建立“优化”标签并与实时测试数据进行同步并将数据存储至服务器，但无需进行实时报送至测试人员终端，测试人员可以通过测试人员终端下载其具体信息并作为后续优化的方向。而针对于最优阈值，则为最佳的测试结果，同样的不需要进行实时发送至测试人员终端，测试人员可在测试完成后针对于数据进行下载。

在本实施例中，经过异常信息处理完之后，测试服务器还可以实现对于游戏性能报告的导出，即通过获取到的信息生成对应的游戏报告，并将游戏报告发送至测试人员终端，用于让测试人员获取全面的数据。

待测试终端在向测试服务器发送采集到的游戏性能数据时，可先对采集到的游戏性能数据进行加密，然后将加密后的游戏性能数据发送至测试服务器。基于此，测试服务器在接收到游戏性能数据时，可首先对接收到的游戏性能数据进行解密，然后根据解密后的游戏性能数据生成游戏性能报告。

在实践中，测试服务器可首先对解密后的游戏性能数据进行格式转换，以将二进制格式的游戏性能数据转换为可读的数据，比如字符串格式的数据。进一步的，测试服务器可加载预设的游戏性能报告模板，将格式转换后的游戏性能数据填充至游戏性能报告模板中对应的数据填充区域中，生成游戏性能报告。

作为一个实施例，测试服务器可周期性地根据本周期内接收到的游戏性能数据生成游戏性能报告。

作为另一个实施例，从生成第二份游戏性能报告开始，测试服务器每生成一份游戏性能报告，还可将当前生成的游戏性能报告与前一周期内生成的游戏性能报告进行对比整合，将同一指标的数据对比显示，形成一份新的游戏性能报告，如何可便于测试人员了解游戏性能的变化趋势。

本实施例提供的游戏测试管理方法，通过强化学习的方式建立目标模型，实现了对于测试过程中拟人化操作，降低了因为现有技术对于游戏操作过于死板的技术问题，使在测试过程中因为高度拟人化的操作从而更加深度的模拟了人为操作过程，使游戏测试过程中的缺陷暴露的较为明显，提高了测试的高度自动化和结果的完整化。

在本实施例中，为了使实时测试信息中的关键数据与预设信息中的关键数据比对的结果更加的准确，可以通过多次的测试来实现对于不同游戏环境下结果的获取，通过对不同环境下的游戏数据的获取以及比对能够实现多数据量下的实时测试信息的获取，从而得到较多的数据从而进行较多的比较，其得到的数据真实度更高。

而针对于不同环境下的测试，可以针对在相同性能采集策略的条件下，通过变换测试环境来实现对于数据的获取。

针对以上内容将初始进行游戏测试的全过程再做详细描述，请参阅图3：首先，针对于待测试游戏，基于强化学习的训练方式对目标模型进行训练，训练出具有拟人化操作的模型。

基于模型作为游戏体验者进行游戏相关内容的测试，并将实时数据发送至测试服务器端，通过设置在测试服务器端内的测试装置实现对于实时数据与预设数据之间的比较，通过比较能够确定实时数据是否出现异常，基于出现的异常进行报警标签的添加以及对应数据的存储。

综上所述，本申请实施例通过在待测试终端上通过强化学习的方式训练模型，使模型能够按照拟人化的真实操作方式进行游戏的测试，并通过与测试服务器建立针对于测试获取数据的实时比对方法，将获取到的实时游戏数据与预设值之间进行比较，能够实时以及真实的反应在游戏环境中关键数据的情况，因为采用的模型为训练后的模型，其在游戏的操作以及操作所带来的反馈为真实深入的，从而减少了真实测试人员的人工操作，降低了测试成本；并且因为拟人化的操作能够较为深入的还原真实玩家的实时场景，同样的将游戏中之前不容易出现的bug等相关缺陷通过深入的体验而确定，增加了对于游戏缺陷掌握的完整度。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，当计算机程序在计算机上执行时，使得计算机执行本申请实施例提供的车辆辅助驾驶控制方法。

需要理解的是，针对上述内容没有进行名词解释的技术术语，本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义，例如针对一些阈值、系数等术语，本领域技术人员可以根据前后的逻辑关系进行推导和确定，这些数值的取值范围可以根据实际情况进行选取，例如0.1~1，又例如1~10，再例如50~100，在此均不作限定。

本领域技术人员可以根据上述已公开的内容毫无疑义对一些预设的、基准的、预定的、设定的以及偏好标签的技术特征/技术术语进行确定，例如阈值、阈值区间、阈值范围等。对于一些未作解释的技术特征术语，本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导，从而清楚、完整地实施上述技术方案。未作解释的技术特征术语的前缀，例如“第一”、“第二”、“示例”、 “目标”等，可以根据前后文进行毫无疑义地推导和确定。未作解释的技术特征术语的后缀，例如“集合”、“列表”等，也可以根据前后文进行毫无疑义地推导和确定。

本申请实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解，本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的，因此上述内容并不是对整体方案的创造性的评判。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同部分两次或多次提到的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的至少一个实施例中的某些特征、结构或特点可以进行适当的组合。

另外，本领域普通技术人员可以理解的是，本申请的各个方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可以被称为“单元”、“组件”或“系统”。此外，本申请的各方面可以表现为位于至少一个计算机可读介质中的计算机产品，所述产品包括计算机可读程序编码。

计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤缆线、RF、或类似介质、或任何上述介质的组合。

本申请各方面执行所需的计算机程序码可以用一种或多种程序语言的任意组合编写，包括面向对象程序设计，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET，Python等，或类似的常规程序编程语言，如"C"编程语言，Visual Basic，Fortran2003，Perl，COBOL 2002，PHP，ABAP，动态编程语言如Python，Ruby和Groovy或其它编程语言。所述程式设计编码可以完全在用户计算机上执行、或作为独立的软体包在用户计算机上执行、或部分在用户计算机上执行部分在远程计算机执行、或完全在远程计算机或服务器上执行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网络(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非申请专利范围中明确说明，本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的申请专利范围并不仅限于披露的实施例，相反，申请专利范围旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件装置实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或行动装置上安装所描述的系统。

同样应当理解的是，为了简化本申请揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (7)

1.一种游戏测试管理方法，其特征在于，应用于测试服务器，所述测试服务器与测试人员终端连接，所述测试服务器上配置有多个测试模型，多个所述测试模型配置有对应的多个待测试游戏以及多个待测试游戏对应的多个性能采集策略，任一所述性能采集策略用于对应的待测试游戏进行对应性能数据的采集，所述测试人员终端用于发送测试命令；所述方法包括：

获取测试模型，所述测试模型基于构建的测试模型数据库获取，所述测试模型数据库包括多个子数据库，每个所述子数据库配置有对应的测试模型，所述子数据库配置有第一数据库标签，所述第一数据库标签与多个所述测试模型对应配置；

基于所述测试模型对待测试终端进行测试，并基于测试命令确定对应的性能采集策略；

基于所述性能采集策略获取实时测试信息；

基于所述实时测试信息与预设信息进行比对，得到比对结果；

基于第一规则确定比对结果是否属于异常，并将异常信息发送至测试服务器并产生报警标签；

所述测试命令包括多个命令子集，确定所述测试命令包括确定命令子集，所述性能采集策略包括多个性能采集子集，所述性能采集子集和所述命令子集设置有匹配标签，所述性能采集子集包括多个参数，每个所述参数被赋予对应的权重；基于所述测试模型对待测试终端进行测试包括：

基于测试命令并提取所述测试命令的命令特征，所述命令特征内匹配命令标签，所述命令标签与所述第一数据库标签进行映射关联，得到标签映射关联特征信息；

基于所述标签映射关联特征信息确定对应的测试模型;

基于所述测试模型配置与之对应的模拟用户操作的智能体；

基于所述智能体对待测试终端进行测试;

所述基于测试命令确定对应的性能采集策略包括：

基于多个被选择的命令子集，基于被选择的命令子集所对应的匹配标签确定对应的性能采集子集，基于所述性能采集子集中的参数的权重确定采集顺序；所述实时测试信息包括第一测试信息和第二测试信息，所述第一测试信息用于表征信息的性质，所述第二测试信息用于表征信息的数学值；还对于所述第一测试信息和第二测试信息的获取通过将所述实时测试信息进行分割，且将分割后的第一测试信息和所述第二测试信息进行分类保存至所述测试服务器内并针对所述第一测试信息配置有第一测试标签，所述预设信息包括第一预设信息和第二预设信息，所述第一预设信息和所述第二预设信息分别设置于所述测试服务器的存储空间内并针对于所述第一预设信息配置有第一预设标签；

基于第一规则确定比对结果是否属于异常，并将异常信息发送至测试服务器并产生报警标签，包括：

基于性能采集策略提取所述第二测试信息中的关键数据，基于所述关键数据与所述预设信息的关键数据进行比对，基于第一规则确定比对结果是否属于异常，所述第二测试信息中基于性能采集策略设置有权重信息，基于所述权重信息提取所述第二测试信息中的关键数据；

所述第一规则包括对于所述第二预设信息的关键数据设置阈值范围，当所述第二测试信息中的关键数据不属于所述预设信息的阈值范围内时，判断所述实时测试信息为异常，具体包括以下方法：

所述阈值包括第一阈值、第二阈值和最佳数据值，所述第一阈值为范围最大的阈值范围，针对于实时测试信息首先与第一阈值进行比较，得到第一结果，如果第一结果属于异常结果，则将异常数据以及实时测试信息进行保存并实时发送至测试人员终端；如果实时测试信息与第一阈值比较为第一阈值范围，但不在第二阈值范围内，则判定为正常数据，并优化标签并与实时测试数据进行同步并将数据存储至服务器。

2.根据权利要求1所述的游戏测试管理方法，其特征在于，生成模拟用户操作的智能体包括以下方法：

获取多个样本生成模型，基于多个样本生成模型进行对弈得到第一对弈数据；

获取第二对弈数据，并根据第二对弈数据和所述第一对弈数据对待训练模型进行训练，所述第二对弈数据为真实对弈数据；

当所述待训练模型收敛时，将所述待训练模型作为待评测模型，通过所述待评测模型与对比模型进行多次对弈，并得到对弈结果；

当所述对弈结果达到预设指标，确定所述待评测模型为智能体。

3.根据权利要求2所述的游戏测试管理方法，其特征在于，获取多个样本生成模型包括采集用户行为数据，并对采集的所述用户行为数据的特征进行提取，产生用户操作行为的样本，将所述样本进行集合，得到样本生成模型。

4.根据权利要求3所述的游戏测试管理方法，其特征在于，根据第二对弈数据和所述第一对弈数据对待训练模型进行训练包括以下方法：

根据所述用户行为数据的特征进行提取得到样本向量特征和样本类图像特征，样本数据包括环境反馈；通过第一全连接层对所述样本向量特征进行处理，得到第一目标向量；通过残差网络层对所述样本类图像特征进行处理，得到第二目标向量；通过拼接层对所述第一目标向量和第二目标向量进行拼接，得到拼接向量；通过第二全连接层基于所述拼接向量，确定主要策略标签的概率分布、从策略标签的概率分布以及预测得分；根据所述主要策略标签的概率分布、从策略标签的概率分布、预测得分和环境反馈，对所述待训练模型的神经网络参数进行训练。

5.根据权利要求1所述的游戏测试管理方法，其特征在于，基于所述实时测试信息与预设信息进行比对，得到比对结果包括以下方法：

所述实时测试信息与预设测试信息进行比对，得到比对结果包括：基于性能采集策略获取与之对应的第一测试标签和第二测试标签，并且基于所述第一测试标签确定对应的第一测试信息和第二测试信息，基于所述第二测试标签确定对应的第一预设信息和第二预设信息，基于所述第一预设信息和所述第二预设信息确定对应的第二测试信息和第二预设信息，比较所述第二测试信息和所述第二预设信息。

6.根据权利要求5所述的游戏测试管理方法，其特征在于，将实时测试信息发送至所述测试服务器，包括以下方法：

在获取到所述测试信息后，将所述测试信息存入指定消息队列，并对所述指定消息队列进行监听，当监听到所述指定消息队列中存入测试信息时，将所述指定消息队列中的测试信息发送至所述测试服务器。

7.一种游戏测试管理系统，其特征在于，所述游戏测试系统包括测试服务器、至少一个待测试终端和至少一个测试人员终端；所述测试服务器上配置有多个测试模型，所述测试模型上配置有性能采集策略，所述性能采集策略用于不同的测试场景下进行对应性能数据的采集；所述测试服务器，在接收到测试任务时，基于所述测试模型对待测试终端进行测试执行所述测试模型以向至少一个所述待测试终端发送游戏指令，所述游戏指令携带所述测试模型对应测试场景的性能采集策略；所述待测试终端，执行所述游戏指令，以及在执行所述游戏指令的过程中，基于所述性能采集策略采集游戏性能数据；所述待测试终端，在存在采集到的所述游戏性能数据的情况下，将所述游戏性能数据发送至所述测试服务器基于权利要求1~6中任一项所述的游戏测试管理方法。

Images