CN109359043A

CN109359043A - 一种基于机器学习的移动游戏自动化测试方法

Info

Publication number: CN109359043A
Application number: CN201811172156.2A
Authority: CN
Inventors: 戴亦斌; 贾志凯
Original assignee: Guangzhou Cloud Information Technology Co Ltd
Current assignee: Beijing Testin Information Technology Co Ltd
Priority date: 2018-10-08
Filing date: 2018-10-08
Publication date: 2019-02-19
Anticipated expiration: 2038-10-08
Also published as: CN109359043B

Abstract

本发明公开了一种基于机器学习的移动游戏自动化测试方法，包括：预设测试流程：根据要测试的功能，对关键场景的界面进行截图和分类，对关键的UI元素进行标注和分类，并记录同一界面的操作顺序；机器学习训练和预测；自动化测试。本发明可以实现跨平台、跨设备，且能大大节省人力成本，提高测试效率，并能够更好的处理复杂场景的识别。

Description

一种基于机器学习的移动游戏自动化测试方法

技术领域

本发明涉及移动游戏测试技术领域，具体涉及一种基于机器学习的移动游戏自动化测试方法，通过机器学习技术对游戏的关键场景和UI元素进行识别，从而完成预定的自动化测试，特别是兼容测试。

背景技术

目前针对移动游戏的测试主要有如下几种方法：

1)人工测试：这种测试方式只能在有限的设备上测试，而移动设备的碎片化适配，是游戏测试的一个基本方向。另外，移动游戏会进行多渠道发布，版本多，迭代也快，一到两周一个版本，而人工测试效率低，覆盖率差。

2)基于机械手的批量测试：虽然效率比人工测试高，但是该方法只适用于同一分辨率的设备，对于不同分辨率的设备，仍然需要多次测试。

3)基于控件识别技术的自动化测试：该方法主要针对普通应用，移动游戏界面元素都是纯OpenGL绘制，无法获取传统意义上的控件信息，导致控件识别技术对移动游戏失效。

4)基于OpenCV的图像识别：该方法主要用来识别画面中的某个静态元素，无法对动态场景进行识别，比如当前是否处于战斗中。这使得该技术在自动化测试中有较大的局限性。

发明内容

针对现有技术的不足，本发明旨在提供一种基于机器学习的移动游戏自动化测试方法，可以实现跨平台、跨设备，且能大大节省人力成本，提高测试效率，并能够更好的处理复杂场景的识别。

为了实现上述技术目的，本发明采用如下技术方案：

一种基于机器学习的移动游戏自动化测试方法，包括如下步骤：

S1、预设测试流程：根据要测试的功能，对关键场景的界面进行截图和分类，得到关键界面截图及对应的分类信息，对关键的UI元素进行位置信息标注和分类，得到关键UI元素的标注和分类信息，并记录同一界面的UI元素的操作顺序；

S2、机器学习训练和预测：

S2.1、对步骤S1中采集的关键界面截图及对应的分类信息、关键UI元素的标注和分类信息进行预处理；

S2.2、将经过预处理后的关键界面截图及对应的分类信息、关键UI元素的标注和分类信息作为输入进行机器学习模型的训练；

S2.3、使用步骤S2.2中训练好的机器学习模型，搭建预测服务器，所述预测服务器用于在接收一张界面的截图后，利用训练好的机器学习模型识别并返回该界面对应的分类以及界面中所有预设UI元素的位置信息和对应的分类；

S3、开始进行自动化测试：

S3.1、安装待测试游戏；

S3.2、启动待测试游戏；

S3.3、进行界面截图；

S3.4、发送界面截图至预测服务器；

S3.5、预测服务器对接收到的界面截图进行识别，返回该界面对应的分类和界面中所有预设UI元素的位置信息和对应的分类；

S3.6、根据S3.5中界面的分类，判断当前界面的状态处于静止状态、结束状态还是中间状态；

如果为静止状态，则解析预测服务器返回的界面中所有预设UI元素的位置信息和对应的分类，计算各个UI元素的操作坐标，按照预设的UI元素的操作顺序完成点击操作，然后进入下一个界面，返回步骤S3.3；

如果为中间状态，则等待设定的时间，然后返回步骤S3.3；

如果为结束状态，判断当前界面是否测试结束界面，是则直接卸载游戏，结束测试，否则说明出现异常状态，此时保存异常状态下的数据、截面截图和日志，然后卸载游戏，结束测试。

进一步地，步骤S2.1中，所述预处理包括去除脏数据和调试格式。

进一步地，步骤S3.6中，所述预设的时间为5s。

本发明的有益效果在于：

1)本发明测试方式只依赖游戏的界面截图，因此支持跨平台、跨设备。

2)本发明测试方式中，人工部分只需要进行游戏截图、分类、UI元素的标注和分别，而且只需要在任意一款设备上完成即可，大大节省人力成本，提高测试效率。

3)本发明测试方法基于机器学习的图像识别技术，能够对图像进行高度抽象，从而能够更好的处理复杂场景的识别，比如战斗状态，游戏的界面具有随机性，机器学习可以抽象出该状态下的特征值，无论处于战斗的某个时刻，均可以准确的识别出来。

附图说明

图1为本发明实施例中方法总体流程示意图；

图2为图1中步骤S2的流程示意图；

图3为图1中步骤S3的流程示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

以下先对本实施例涉及的技术名词作简要说明：

1)UI元素的位置信息：<x1,y1,x2,y2>，x1和y1是UI元素的左上角的x、y轴坐标，x2和y2是UI元素的右下角的x、y轴坐标。

2)UI元素的标注：指对界面中的特定元素标记位置信息和类别。标注的手段和工具有很多，这里不做具体指定。

3)UI元素的操作坐标：返回的位置信息为实际为矩形区域，而模拟操作只能作用到一个坐标点<x,y>，所以采用矩形区域的中心点为操作坐标，从而保证操作的更准确。

4)机器学习模型：进行图像识别和目标检测的模型有很多，可以根据自己的情况进行选择，这里同样不做具体指定。

本实施例提供一种基于机器学习的移动游戏自动化测试方法，如图1所示，包括如下步骤：

S1、预设测试流程：一般的移动游戏测试，主要有引导部分、前期关卡、菜单功能(比如聊天、商城等)。根据要测试的功能，对关键场景的界面进行截图和分类，对关键的UI元素进行位置信息标注和分类，并记录同一界面的UI元素的操作顺序。实际场景中，需要连续步骤，即人工操作的每一步骤都需要做预设操作。尽可能多地采集界面信息，以提高机器学习的效果。其中，关键场景和关键UI元素均根据需要自定义。

以下对本步骤作进一步举例说明。

S1.1、在角色选择界面，需要测试的功能为一侧的选择人物，另一侧点击更换角色名称，然后点击开始游戏；那么需要进行界面截图和标注UI元素的有:左侧四个人物、右侧色子、开始游戏按钮；同时记录三个UI元素的点击操作顺序。

S1.2、在主线引导界面，需要测试的功能为点击主线人物。那么需要进行界面截图和标注UI元素的有任务主线部分。

S1.3、在战斗状态界面，在测试中，需要识别该场景，因为不同手机上，战斗持续的时间不确定，需要定时检测当前的战斗状态。那么需要进行该场景的界面截图，同时给出分类。此处应该尽可能多的截图，以提高机器学习模型的识别率。

S1.4、在菜单功能界面，需要测试的功能为福利、商城、精彩预告、首充和背包等菜单。那么需要进行界面截图和标注UI元素的有：对应菜单按钮。

S1.5、在测试结束界面，需要选择一个界面作为整个自动化测试结束的标志。

S2、机器学习训练和预测，如图2所示：

S2.1、对步骤S1中采集的关键界面截图及对应的分类信息、关键UI元素的标注和分类信息进行预处理，去除脏数据、调试格式等，使其满足后面模型的输入要求。

S2.2、选择合适的机器学习框架和模型，将经过预处理后的关键界面截图及对应的分类信息、关键UI元素的标注和分类信息作为输入进行机器学习模型的训练，训练目标是能够精准识别界面的分类、UI元素的位置信息和对应的分类。具体模型的选择和调优，这里不做阐述。

S2.3、使用步骤S2.2中训练好的机器学习模型，搭建预测服务器，所述预测服务器用于在接收一张界面的截图后，利用训练好的机器学习模型识别并返回该界面对应的分类和界面中所有预设UI元素的位置信息和对应的分类。

S3、自动化测试：在所有设备上并行执行自动化脚本，完成所有测试流程。自动化脚本的执行流程如下，如图3所示：

S3.1、安装待测试游戏；

S3.2、启动待测试游戏；

S3.3、进行界面截图；

S3.4、发送界面截图至预测服务器；

S3.5、预测服务器对界面截图进行识别，返回该界面对应的分类和界面中所有预设UI元素的位置信息和对应的分类；

S3.6、根据S3.5中界面的分类(打怪中、寻路中等，不同游戏可以设定不同分类)，判断当前界面的状态处于静止状态、结束状态还是中间状态(非静止状态，也非结束状态)；

如果为中间状态，则等待设定的时间(例如5s)，然后返回步骤S3.3；

如果为结束状态，判断当前界面是否测试结束界面，是则直接卸载游戏，结束测试，否则说明出现异常状态，此时保存异常状态下的数据、截图和日志，然后卸载游戏，结束测试。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims

1.一种基于机器学习的移动游戏自动化测试方法，其特征在于，包括如下步骤：

S2、机器学习训练和预测：

S3、开始进行自动化测试：

S3.1、安装待测试游戏；

S3.2、启动待测试游戏；

S3.3、进行界面截图；

S3.4、发送界面截图至预测服务器；

如果为中间状态，则等待设定的时间，然后返回步骤S3.3；

2.根据权利要求1所述的基于机器学习的移动游戏自动化测试方法，其特征在于，步骤S2.1中，所述预处理包括去除脏数据和调试格式。

3.根据权利要求1所述的基于机器学习的移动游戏自动化测试方法，其特征在于，步骤S3.6中，所述预设的时间为5s。