CN108052451A - 测试方法、系统、测试服务器、测试终端及存储介质 - Google Patents

测试方法、系统、测试服务器、测试终端及存储介质 Download PDF

Info

Publication number
CN108052451A
CN108052451A CN201711428359.9A CN201711428359A CN108052451A CN 108052451 A CN108052451 A CN 108052451A CN 201711428359 A CN201711428359 A CN 201711428359A CN 108052451 A CN108052451 A CN 108052451A
Authority
CN
China
Prior art keywords
test
server
operation data
transfer server
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711428359.9A
Other languages
English (en)
Inventor
周鹏
游致远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201711428359.9A priority Critical patent/CN108052451A/zh
Publication of CN108052451A publication Critical patent/CN108052451A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种测试方法、系统、测试服务器、测试终端及存储介质。所述方法包括如下步骤：根据待执行的测试脚本生成测试任务；将所述测试任务发送至对应的测试终端；其中，所述测试任务用于触发所述测试终端根据所述测试脚本运行待测试程序，并将运行所述待测试程序过程中生成的运行数据发布至对应的主题；通过订阅者对象获取订阅的主题接收到的运行数据；将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。基于本发明，可实现可视化的自动回归测试，提高测试的效率。

Description

测试方法、系统、测试服务器、测试终端及存储介质
技术领域
本发明涉及软件测试领域，尤其涉及一种测试方法、系统、测试服务器、测试终端及存储介质。
背景技术
设备功能测试是根据预设的功能，对设备运行过程中的功能交互进行验证的测试过程，是用来鉴定设备功能的正确性、完整性、安全性和质量的过程。在软件测试过程中，主要是指根据设计文档对软件运行过程中的交互逻辑进行验证的测试，是软件测试中最基本的测试内容之一。
游戏中有一些常见的功能、系统和玩法，它们在游戏的早期就已经存在，在开发过程中功能很少发生大的改变，但是由于它们是如此的常规，以至于一旦有一些修改，将带来非常大的回归量，而一旦发生错误，将会造成很大的影响。为了提高测试的效率和方便游戏迭代后的回归测试，自动化测试被引入。通过调用游戏代码接口，从而将人为驱动的测试转化为机器执行，可以减少大量的回归工作，也减少了很多基础玩法出错的风险。自动化测试脚本是由相关的测试人员进行编写和维护，定期执行并将运行结果和期望结果进行对比，从而形成测试报告。游戏功能测试直接关系到游戏内容的正确性和玩家行为的可控性。
现有手游自动化回归测试的方案主要步骤如下：
1.在移动设备上对测试环境进行部署；
2.启动游戏客户端，利用自动化测试脚本控制游戏角色进行一系列操作，并在测试过程中根据测试用例，将相关的数据进行实时收集和对比；
3.重复步骤2，完成所有测试用例的测试，此步骤根据测试脚本的初始参数和调用客户端接口脚本的模块来区分不同的测试用例；
4.收集测试数据，并根据测试结果完成测试报告。
发明内容
本发明人在实施本发明的过程中发现，现有技术中存在以下技术问题：
测试过程中无法实时监控游戏客户端的性能数据，日志信息、程序异常等，无法直观地看到测试数据的变化，不能清楚地了解到测试的游戏内容的正确性和玩家行为的可控性，不便于后期的对手游自动化测试的改进，缺少测试数据的一种实时监控包括性能数据、日志信息、程序异常等，不便于后期游戏的改进，不能方便管理回归测试结果，无法查看对比历史测试结果，尤其是长时间整体测试结果走向。
有鉴于此，本发明实施例的目的在于提供一种测试方法、系统、测试服务器、测试终端及存储介质，其可实现可视化的自动测试，并可查看对比历史测试结果。
本发明实施例提供了一种测试方法，包括如下步骤：
根据待执行的测试脚本生成测试任务；
将所述测试任务发送至对应的测试终端；其中，所述测试任务用于触发所述测试终端根据所述测试脚本运行待测试程序，并将运行所述待测试程序过程中生成的运行数据发布至对应的主题；
通过订阅者对象获取订阅的主题接收到的运行数据；
将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。
优选地，所述将所述测试任务发送至对应的测试终端，具体为：
将所述测试任务通过中转服务器发送至对应的测试终端；其中，所述中转服务器保存有与其连接的测试终端的信息。
优选地，还包括：
接收前端用户端发送的登陆信息；
根据所述登陆信息获取当前登录账户的用户的权限信息；
根据所述权限信息生成发送至前端用户端的项目选择界面；
获取用户基于所述项目选择界面选择的项目信息，并向中转服务器发送签名认证；其中，所述签名认证用于触发中转服务器在认证通过时，返回与所述项目信息对应的可选择测试终端列表；
将所述可选择测试终端列表发送给前端用户端；
接收所述前端用户端基于所述可选择测试终端列表选择的测试终端信息；
根据选择的测试终端信息向中转服务器发送签名认证；
在中转服务器认证成功后，建立与中转服务器之间的连接。
优选地，还包括：
向权限管理服务器发起请求以获得当前的权限信息；其中，所述权限信息包括每个项目组的合法成员列表以及每个项目组所允许使用的测试终端列表。
本发明实施例还提供了一种测试方法，包括如下步骤：
接收测试任务；其中，所述测试任务包括测试脚本；
根据所述测试脚本运行待测试程序；
获取运行过程中生成的预定的运行数据；
将所述运行数据发布至对应的主题；其中，在所述主题接收到所述运行数据后触发生成发送至订阅者对象的状态变化通知；所述状态变化通知用于触发测试服务器通过对应的订阅者对象接收所述运行数据，并将所述运行数据发送至前端用户端的相应的显示界面进行可视化显示。
优选地，所述接收测试任务具体包括：
通过所述中转服务器接收来自测试服务器发送的测试任务；其中，所述中转服务器保存有与其连接的测试终端的信息。
优选地，还包括：
在连接至中转服务器后，向所述中转服务器发送验证信息；其中所述验证信息用于触发所述中转服务器对所述验证信息进行验证，并在验证成功后，纳入其管理列表。
本发明实施例还提供了一种测试服务器，包括：
测试任务生成单元，用于根据待执行的测试脚本生成测试任务；
测试任务发送单元，用于将所述测试任务发送至对应的测试终端；其中，所述测试任务用于触发所述测试终端根据所述测试脚本运行待测试程序，并将运行所述待测试程序过程中生成的运行数据发布至对应的主题；
运行数据接收单元，用于通过订阅者对象获取订阅的主题接收到的运行数据；
运行数据发送单元，用于将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。
优选地，所述测试任务生成单元具体用于，将所述测试任务通过中转服务器发送至对应的测试终端；其中，所述中转服务器保存有与其连接的测试终端的信息。
优选地，还包括：
登录信息接收单元，用于接收前端用户端发送的登陆信息；
权限信息获取单元，用于根据所述登陆信息获取当前登录账户的用户的权限信息；
项目选择单元，用于根据所述权限信息生成发送至前端用户端的项目选择界面；
第一签名认证单元，用于获取用户基于所述项目选择界面选择的项目信息，并向中转服务器发送签名认证；其中，所述签名认证用于触发中转服务器在认证通过时，返回与所述项目信息对应的可选择测试终端列表；
测试终端列表发送单元，用于将所述可选择测试终端列表发送给前端用户端；
测试终端信息接收单元，用于接收所述前端用户端基于所述可选择测试终端列表选择的测试终端信息；
第二签名认证单元，用于根据选择的测试终端信息向中转服务器发送签名认证；
连接单元，用于在中转服务器认证成功后，建立与中转服务器之间的连接。
优选地，还包括：
权限信息请求单元，用于向权限管理服务器发起请求以获得当前的权限信息；其中，所述权限信息包括每个项目组的合法成员列表以及每个项目组所允许使用的测试终端列表。
本发明实施例还提供了一种测试终端，包括：
测试任务接收单元，用于接收测试任务；其中，所述测试任务包括测试脚本；
脚本执行单元，用于根据所述测试脚本运行待测试程序；
运行数据获取单元，用于获取运行过程中生成的预定的运行数据；
运行数据发送单元，用于将所述运行数据发布至对应的主题；其中，在所述主题接收到所述运行数据后触发生成发送至订阅者对象的状态变化通知；所述状态变化通知用于触发测试服务器通过对应的订阅者对象接收所述运行数据，并将所述运行数据发送至前端用户端的相应的显示界面进行可视化显示。
优选地，所述测试任务接收单元具体用于，通过所述中转服务器接收来自测试服务器发送的测试任务；其中，所述中转服务器保存有与其连接的测试终端的信息。
优选地，还包括：
验证信息发送单元，用于向中转服务器发送验证信息；其中所述验证信息用于触发中转服务器对所述验证信息进行验证，并在验证成功后，纳入其管理列表。
本发明实施例还提供了一种测试系统，包括测试服务器以及至少一个测试终端；其中：
所述测试服务器，用于根据待执行的测试脚本生成测试任务，并将所述测试任务发送至对应的测试终端；
所述测试终端，用于接收测试任务，根据所述测试脚本运行待测试程序，获取运行过程中生成的预定的运行数据，并将所述运行数据发布至对应的主题；
所述测试服务器，还用于通过订阅者对象获取订阅的主题接收到的运行数据，将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。
优选地，还包括中转服务器；
所述测试服务器具体用于，将所述测试任务通过所述中转服务器发送给对应的测试终端；以及，
通过所述中转服务器获取所述测试终端发送的运行数据。
优选地，所述测试服务器，还用于接收前端用户端发送的登陆信息，根据所述登陆信息获取当前登录账户的用户的权限信息，并根据所述权限信息生成发送至前端用户端的项目选择界面；
所述测试服务器，还用于获取用户基于所述项目选择界面选择的项目信息，并向中转服务器发送签名认证；
所述中转服务器，还用于在认证通过时，向测试服务器返回与所述项目信息对应的可选择测试终端列表；
所述测试服务器，还用于将所述可选择测试终端列表发送给前端用户端，并接收所述前端用户端基于所述可选择测试终端列表选择的测试终端信息；
所述测试服务器，还用于根据选择的测试终端信息向中转服务器发送签名认证；
所述中转服务器，还用于在认证成功后，建立与测试服务器的连接。
优选地，还包括权限认证服务器；
其中，所述测试服务器，还用于向所述权限认证服务器请求获取权限信息；
所述中转服务器，还用于向所述权限认证服务器请求获取权限信息。
优选地，所述测试终端，还用于在连接至中转服务器后，向所述中转服务器发送验证信息；
所述中转服务器，还用于对所述验证信息进行验证，并在验证成功后，将所述测试终端纳入其管理列表。
本发明实施例还提供了一种测试服务器，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的测试方法。
本发明实施例一种测试终端，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的嵌入有SDK的待测试程序，所述处理器能够执行所述嵌入有SDK的待测试程序以实现如上述的测试方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的自动化实时监控测试方法。
上述的一个实施例中，在测试终端上，将运行数据根据主题进行分类并发送，在测试服务器上通过相应的订阅者对象获取订阅的主题的运行数据，最终发送至前端用户端的相应显示界面上进行显示。该实施例能够实现实时可视化的监控游戏客户端的性能数据、日志信息、Traceback等，并能方便管理回归测试结果，查看对比历史测试结果，尤其是长时间整体测试结果的走向，从而及时准确的发现游戏客户端运行过程中的问题，提高了测试的效率。
附图说明
图1是本发明一实施例提供的测试系统的结构示意图。
图2是对测试用例进行解析得到树状图的示意图。
图3是SDK的模块示意图。
图4订阅发布系统的原理示意图。
图5为在前端用户端进行日志数据显示的界面示意图。
图6为在前端用户端进行性能数据显示的界面示意图。
图7为在前端用户端进行热力图显示的界面示意图。
图8为在前端用户端进行UI测试时显示的界面示意图。
图9为在前端用户端进行特效测试时显示的界面示意图。
图10是客户端代码覆盖率测试结果的一种示意图。
图11是客户端代码覆盖率测试结果的另一种示意图。
图12是本发明第二实施例提供的测试系统的示意图。
图13是中转服务器分布式设计结构图。
图14是本发明第三实施例提供的测试系统的结构示意图。
图15是本发明第三实施例提供的测试系统的工作示意图。
图16是本发明第四实施例提供的测试方法的流程示意图。
图17是本发明第五实施例提供的测试方法的流程示意图。
图18是本发明第六实施例提供的测试服务器的结构示意图。
图19是本发明第七实施例提供的测试终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种测试方法、系统、测试服务器、测试终端以及存储介质，能够实现可视化的回归测试，以下分别进行详细的描述。
为便于对本发明的理解，下面先介绍本发明实施例的测试系统。其中，在下述描述中，以待测试程序为游戏程序为例进行说明，然而应当理解的是，本发明同样适用于其他类型的程序或者软件。
请参阅图1，图1是本发明第一实施例提供的测试系统的示意图。
在本实施例中，所述测试系统包括测试服务器100以及至少一个测试终端200。其中：
所述测试服务器100，用于根据待执行的测试脚本生成测试任务，并将所述测试任务发送至对应的测试终端200。
具体地，在本实施例中，用户可通过前端用户端访问所述测试服务器100，所述测试服务器100将相关的测试界面发送至前端用户端进行显示，用户可基于所述测试界面在前端用户端提交测试请求。
需要说明的是，一般来说，测试文件包括测试用例以及测试脚本。在本实施例中，所述测试服务器100的文件管理界面可实现对测试用例和测试脚本的管理。测试用例和测试脚本可以分为公有和个人的两份，一份是以common命名的组内公用的测试用例和测试脚本，另一份是以邮箱前缀命名的自己管理的测试用例和测试脚本。
在本实施例中，用户可以在文件列表中进行单文件和多文件的上传、文件的下载、重命名、刷新和直接拖拽文件进行复制和剪切操作。测试用例和测试脚本都是用SVN(Subversion，一种版本控制系统)进行管理，用户可以在上传、在线编辑、还可以进行更新、批注等一些SVN的操作。
此外，对于用户上传的xmind格式的测试用例，还可以用树状图的形式在前端用户端显示，具体的实现过程如图2所示，首先提取测试用例中的xml文件，然后通过脚本提取xml文件中关键的结构信息形成json格式的文件，最后使用Java Script的类库3D.js在前端读取json文件最终形成SVG标记语言的树状图。形成树状图后，用户通过拖拽，能够将数状图中的节点与测试脚本进行关联，将关联信息存储到后台数据库。因此能够实现在线打开对应的测试脚本进行在线编辑，显示节点是否被自动化测试覆盖以及整个模块的自动化测试覆盖率。其中，当用户右键点击前端界面上的树状图节点执行测试用例进行测试时，会先判断是单个用例还是整个测试用例模块执行，如果是整个模块，会先对模块进行解析成单个用例，之后会判断此时是否已有测试用例在执行，若有，则加入待执行队列，若没有，则会根据测试用例的绑定信息，找到相关测试脚本，使用上文介绍的自动化测试框架，发送测试脚本到测试终端。每执行完一个用例，测试服务器的后台会访问执行队列，若执行队列不为空，则会依次取出测试用例执行，若为空，后台后整理接收到的运行数据，生成测试报告。
在本实施例中，根据测试脚本生成测试任务具体是根据当前登录账户的相关信息以及所述测试脚本来生成测试任务。其中，用户通过前端用户端登录至测试服务器，测试服务器会验证当前登录账户的权限，并返回与权限对应的允许使用的测试终端列表，用户基于所述测试终端列表选择所要使用的测试终端信息，测试服务器记录所述测试终端信息，并在接收到测试脚本后，根据所述测试终端信息以及所述测试脚本生成测试任务。
所述测试终端200，用于接收测试任务，根据所述测试脚本运行待测试程序，获取运行过程中生成的预定的运行数据，并将所述运行数据发布至对应的主题。
其中，所述测试终端200可为智能移动设备，特别为智能手机，通常为了测试待测试程序的兼容性，不同的测试终端可能具有不同的系统(如IOS系统、安卓系统)、相同系统的不同版本、不同型号等等。
在本实施例中，所述测试终端200可通过嵌入在待测试程序中的SDK来实现上述的功能。SDK是一种微框架，SDK核心模块非常简洁，具体的功能由大量插件和指令来实现。用户可以选择或者开发不同的插件和指令来满足特定的需求。整个SDK都放一个叫extensions的文件夹。若想接入SDK，只需将extensions整个文件夹复制到待测试程序的脚本根目录下。
如图3所示，在本实施例中，SDK主要由指令系统、订阅发布系统和插件系统几个核心模块构成。
在本实施例中，SDK的指令系统可以实现普通的函数以及协程的功能，用户可以方便的新增、加载、调用各个指令，可以在GM指令，RPC，测试用例中应用。用户可以通过该测试框架的指令模块中的coroutine_cmd修饰器来新增一条指令。coroutine_cmd是一个修饰器，可选参数如下：
·name_or_func:指令名或者指令，默认值以指令的函数名来当指令名；
·tag:指令标签，默认是指令所在模块名；
·arg_type:参数类型列表，用来从字符串中转换参数，列表中每一个元素必须是callable对象，默认是空tuple，不存在的指令按；
·ban_list:执行者黑名单，黑名单中的执行者没有权限执行该指令；
·allow_replace：是否允许替换指令，如果allow_replace＝False，替换同名指令前必须先删除原指令。
指令系统具体有如下几个特点：
·指令是以协程的方式运行，可以并行执行，不会造成阻塞；
·指令系统中的逻辑触发与序列化是分离的，不存在耦合性；
·可以做成通用的接口，例如封装成一些通用的RPC等；
·可以完全的替代GM指令系统；
在本实施例中，在接收到测试任务后，所述测试终端200可对所述测试任务进行解析以获得其中的测试脚本，然后通过指令系统来执行测试脚本。例如，可通过指令系统的run_coroutine指令来执行测试脚本，该指令可以运行任意协程代码。协程非常适合写异步逻辑，可以避免一系列的函数回调。协程库已经是Python3的标准了，但是如果对于待测试程序为游戏程序的情况，目前游戏引擎用的是python 2.7.3版本，并不能原生支持协程，所以SDK直接使用Tornado来支持。Tornado是一个异步的Web框架，自带协程模块非常适用于实时应用和长连接。而且，Tornado自身的实现很简洁，不需引入其他第三方的库文件。
在执行测试脚本后，待测试程序即可根据测试脚本自动运行，其中，在运行过程中，会产生各种运行数据(如日志数据、UI测试数据、场景数据等)，此时，可通过插件系统来获取这些运行数据。其中，各个插件可通过调用游戏引擎的相关接口来获取对应的运行数据。
具体地，SDK集成了多个基于游戏引擎的插件系统，可以通过这些插件来拓展该测试框架的功能，主要的插件包括：
·文件管理插件：可以方便各种结果文件的管理，多个游戏客户端生成的结果文件不冲突；
·日志插件：能够实时查看游戏脚本层的日志；
·Profiler插件：能够实时查看游戏运行过程中的性能数据，包括：帧率、内存占用、面数等；
·UI自动化插件：通过点击游戏上的UI控件，即可识别出控件名称；
下面以个简单的文件插件(plugin/file.py)为例，来说明如何写一个插件。file插件的功能是每次动能自动生成一个临时的目录为其他插件提供结果文件存放的地方，可以方便各种结果文件的管理和多开客户端结果文件不冲突。
在SDK中的plugin目录下新建文件file.py，写一个FileUtil类来实现上述功能。此时file.py只是一个python模块，不是一个插件。为了能让该测试框架正确地加载file插件，file模块需要定义一个函数setup，该测试框架会通过setup来初始化FileUtil，并将初始化好的实例保存在插件列表里。如果setup没有返回，插件列表里将直接保存file模块。SDK在初始化的时候会加载各种插件，此时只需在配置文件里加一条file插件的信息即可。注意配置文件中的位置决定该测试框架加载插件的顺序
在本实施例中，在获取所述运行数据后，所述测试终端200可通过订阅发布系统将所述运行数据发送至对应的主题。订阅发布系统是基于订阅发布模式开发的系统，订阅发布模式的结构可参考图4，该模式定义了一种一对多的依赖关系，让多个订阅者对象同时监听某一个主题对象。这个主题对象在自身状态变化时，会通知所有订阅者对象，使它们能够自动更新自己的状态。订阅发布系统具有低耦合和可拓展两个显著的优点。低耦合指的是数据的产生和处理分离。SDK只需要关心如何收集和发送数据，展示系统只负责处理和展示数据即可；可扩展指的是如果需要增加数据的显示，只需要额外多订阅某个主题就可以了。
所述测试服务器100，还用于通过订阅者对象获取订阅的主题接收到的运行数据，将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。
在本实施例中，所述测试服务器100可以定义多个订阅者对象，每个订阅者对象可以订阅一个主题，当主题接收到运行数据时，会发送状态变化通知给订阅的订阅者对象，订阅者对象即可根据所述状态变化通知来获取相应的运行数据。
在本实施例中，所述测试服务器100在通过订阅者对象接收到所述运行数据后，将运行数据发送至前端用户端，其中，前端用户端显示有与各个订阅者对象对应的显示界面，各个显示界面会根据接收到的运行数据进行动态可视化的显示。
以下以若干个例子来说明本实施例的执行过程。
1、日志数据显示：
请参阅图5，图5为在前端用户端进行日志数据显示的界面示意图。其中，首先在插件系统增加一个日志监控插件，该日志监控插件可以收集待测试程序在运行过程中的日志数据，所述日志数据通过订阅发布系统发布到“日志数据”这个主题。在测试服务器100中，订阅这个主题的订阅者对象可以接收到日志数据，并将日志数据发送给前端用户端。其中，前端用户端设置有与每个订阅者对象对应的显示界面，该显示界面在接收到来自订阅者对象发送的日志数据后，会进行界面更新，将日志数据进行可视化的显示。
2、性能数据显示：
请参阅图6，图6为在前端用户端进行性能数据显示的界面示意图。其中，性能数据通过嵌入在游戏客户端中的SDK来获取，SDK中通过调用游戏引擎的接口函数获取游戏客户端运行过程中的性能数据，并将数据发布到“性能”这个主题，测试服务器100的后台通过订阅者对象订阅该主题的数据，实时获取游戏运行过程中的性能数据，并将性能数据发送到前端用户端，前端用户端在与性能数据相应的显示界面上显示性能数据的变化情况。
3、热力图显示：
请参阅图7，图7为在前端用户端进行热力图显示的界面示意图。主要是监控游戏场景中的面数、dp数等信息(通过增加相关插件)，方便美术和程序定位到具体的某个点进行优化。用户可以直接输入某个场景编号，启动运行(场景编号会作为参数传递给测试脚本)，游戏在测试脚本的控制下会跳转至这个场景，然后会遍历跳转到这个场景中的每个合法位置，将这个位置上的性能数据(dp数、面数等)发布到“热力图”这个主题。测试服务器的后台通过订阅者对象订阅该主题的数据，实时获取游戏运行过程中的性能数据，并将性能数据发送到前端用户端，前端用户端在与热力图相应的显示界面上显示数据的变化情况。在本实施例中，还可设置高配、中配、低配三种选项，比如高配就是面数7万，dp数50，中配就是面数5万、dp数30等等。用户可以在任意选择某个配置进行测试(用户选择的配置同样作为参数传递给测试脚本)，热力图的显示就会根据选中的这个标准来设置每个点的颜色深浅，颜色越深表示超出标准越多。
4、UI测试：
请参阅图8，图8为在前端用户端进行UI测试时显示的界面示意图。考虑到游戏中经常会出现打开UI存在内存泄露、以及打开某个UI特别耗时的现象，通过这个界面可以监控常用UI具体的性能数据。横坐标是每个UI的名称，纵坐标显示的是每个UI打开关闭多次后帧率、内存的平均变化，以及打开每个UI的的具体耗时。具体实施时，同样是通过UI测试插件来获取相应的数据，并通过订阅发布系统发布至相应主题(如UI测试主题)，测试服务器通过订阅该主题的订阅者对象获取数据，并发送至前端用户端的显示界面进行显示。
5、特效测试：
请参阅图9，图9为在前端用户端进行特效测试时显示的界面示意图。启动特效测试时，通过测试脚本会直接将游戏人物拉到一个空场景，然后不断放特效，这个界面显示的是释放每个特效时的性能数据，包括dp数、面数、帧率等等。
6、客户端代码覆盖率测试：
客户端代码覆盖率插件基于coverage库二次开发，主要有如下特点：
·支持pyc文件(python代码编译后的文件)的覆盖率，适用于没有代码权限的同学使用；
·跨平台的覆盖率测试；
·内置覆盖率的展示的服务端，无需另外搭建服务器显示结果；
·可以手动刷新结果，也可以定时刷新；
·可以方便选择要忽略和要包含的代码文件；
启动客户端代码覆盖率测试非常简单，只需用一个指令启动覆盖率测试即可。测试完成之后就会生成一个覆盖率测试报告文件。
同时为了解决在测试终端中不能方便查看生成文件的问题，可以在SDK中开启一个Web服务器，那么就可以在网页上查看代码覆盖率的检查结果，如图10和图11所示。
综上所述，本实施例提供的测试系统，在测试终端200上，将运行数据根据主题进行分类并发送，在测试服务器100上通过相应的订阅者对象获取订阅的主题的运行数据，最终发送至前端用户端的相应显示界面上进行显示。本实施例能够实现实时可视化的监控游戏客户端的性能数据、日志信息、Traceback等，并能方便管理回归测试结果，查看对比历史测试结果，尤其是长时间整体测试结果的走向，从而及时准确的发现游戏客户端运行过程中的问题，提高了测试的效率。
请参阅图12，图12是本发明第二实施例提供的测试系统的示意图。与第一实施例相比，本实施例还进一步包括了中转服务器300。
其中，所述中转服务器300设置于所述测试终端200与所述测试服务器100之间，用于作为一个信息中转站来实现所述测试终端200与所述测试服务器100之间的数据传输。
具体地，所述中转服务器300可为HUB服务器，其是与SDK的webosocket客户端插件(在插件系统增加的插件)配合的通用中转服务端。主要作用是连接所有嵌入了SDK并启用客户端插件的测试终端200，方便来获取和操作测试终端200。所述中转服务器300采用简单的分布式设计(负载小时完全可以用单服务器，负载大时可以轻松的加入多服务器，而不需要修改SDK)。如图13所示，是中转服务器300的分布式设计，采用一个哈希环，需要拓展的时候可以快速水平拓展。当只有一个进程时，整个哈希环退化成单点，所有的测试终端200都会只连接到一个节点上。当一个节点的处理速度跟不上时，可以快速的将一个节点拓展成多个。此时若有测试终端进行连接，所述中转服务器300会根据哈希算法把该测试终端连接到相应的节点上去。HUB服务器具体有如下几个特点：
·能够方便管理各种测试终端；
·作为中转服务器，可以稳定、有效的转发各种消息；
·采用分布式设计；
·可以进行鉴权管理，管理不同项目组的测试终端。
在本实施例中，测试终端200在连接至中转服务器300后，通过SDK的webosocket客户端插件实现与中转服务器的连接。在连接时，测试终端200向所述中转服务器300发送验证信息(如项目组秘钥、设备相关信息等)，中转服务器300根据验证信息进行验证，并在验证通过后，将所述测试终端200纳入其管理列表。
在通过测试服务器100进行测试前，所述测试服务器100先接收前端用户端发送的登陆信息，根据所述登陆信息获取当前登录账户的用户的权限信息，并根据所述权限信息生成发送至前端用户端的项目选择界面。接着，所述测试服务器100获取用户基于所述项目选择界面选择的项目信息，并向中转服务器300发送签名认证；中转服务器300在认证通过时，向测试服务器100返回与所述项目信息对应的可选择测试终端列表；所述测试服务器100将所述可选择测试终端列表发送给前端用户端，并接收所述前端用户端基于所述可选择测试终端列表选择的测试终端信息；所述测试服务器100根据选择的测试终端信息向中转服务器300发送签名认证；所述中转服务器300在认证成功后，建立与测试服务器100的连接。
本实施例中，通过中转服务器300实现测试服务器100与测试终端之间的连接和通信，可以非常方便、稳定、有效的管理测试终端200，同时，基于所述中转服务器300，还可以进行鉴权管理，管理不同项目组的测试终端，保证不同项目组之间不会出现测试终端混用或者误用的现象。
请参阅图14，图14是本发明第三实施例提供的测试系统的结构示意图。在第二实施例的基础上，本实施例还进一步包括权限管理服务器400。
其中，如图15所示，所述权限管理服务器400将用户分为：产品管理员、项目管理员和资源使用者。产品管理员可以直接通过权限管理服务器获得产品秘钥(App SecretKey)，并将其应用于该产品。资源使用者可以直接通过权限管理服务器400获得项目秘钥(Project SecretKey)，并将应用于测试终端200的SDK。中转服务器300和测试服务器100可以使用App SecretKey定时向权限管理服务器400获取基于该产品的项目组秘钥和项目组的合法成员。当游戏客户端装有SDK的测试终端连接所述中转服务器300时，中转服务器300会验证其传来的Project SecretKey签名的消息是否正确，若正确，即将其纳入管理列表(即实施例二的测试终端与中转服务器的连接验证)。资源使用者登录测试服务器100，测试服务器100可通过获得的项目组成员列表向其展示与其项目组对应的允许使用的测试终端，从而良好地控制不同项目组的不同资源和用户的配对使用。
请参阅图16，图16是本发明第四实施例提供的测试方法的流程示意图。其从测试服务器一侧触发进行描述，并包括如下步骤：
S401，根据待执行的测试脚本生成测试任务；
S402，将所述测试任务发送至对应的测试终端；其中，所述测试任务用于触发所述测试终端根据所述测试脚本运行待测试程序，并将运行所述待测试程序过程中生成的运行数据发布至对应的主题；
S403，通过订阅者对象获取订阅的主题接收到的运行数据；
S404，将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。
优选地，所述将所述测试任务发送至对应的测试终端，具体为：
将所述测试任务通过中转服务器发送至对应的测试终端；其中，所述中转服务器保存有与其连接的测试终端的信息。
优选地，还包括：
接收前端用户端发送的登陆信息；
根据所述登陆信息获取当前登录账户的用户的权限信息；
根据所述权限信息生成发送至前端用户端的项目选择界面；
获取用户基于所述项目选择界面选择的项目信息，并向中转服务器发送签名认证；其中，所述签名认证用于触发中转服务器在认证通过时，返回与所述项目信息对应的可选择测试终端列表；
将所述可选择测试终端列表发送给前端用户端；
接收所述前端用户端基于所述可选择测试终端列表选择的测试终端信息；
根据选择的测试终端信息向中转服务器发送签名认证；
在中转服务器认证成功后，建立与中转服务器之间的连接。
优选地，还包括：
向权限管理服务器发起请求以获得当前的权限信息；其中，所述权限信息包括每个项目组的合法成员列表以及每个项目组所允许使用的测试终端列表。
本实施例提供的测试方法，测试服务器通过相应的订阅者对象获取来自测试终端生成的发送至对应主题的运行数据，最终发送至前端用户端的相应显示界面上进行显示。本实施例能够实现实时可视化的监控游戏客户端的性能数据、日志信息、Traceback等，并能方便管理回归测试结果，查看对比历史测试结果，尤其是长时间整体测试结果的走向，从而及时准确的发现游戏客户端运行过程中的问题，提高了测试的效率。
请参阅图17，图17是本发明第五实施例提供的测试方法的流程示意图。其从测试终端一侧初稿，并包括如下步骤：
S501，接收测试任务；其中，所述测试任务包括测试脚本；
S502，根据所述测试脚本运行待测试程序；
S503，获取运行过程中生成的预定的运行数据；
S504，将所述运行数据发布至对应的主题；其中，在所述主题接收到所述运行数据后触发生成发送至订阅者对象的状态变化通知；所述状态变化通知用于触发测试服务器通过对应的订阅者对象接收所述运行数据，并将所述运行数据发送至前端用户端的相应的显示界面进行可视化显示。
优选地，所述接收测试任务具体包括：
通过所述中转服务器接收来自测试服务器发送的测试任务；其中，所述中转服务器保存有与其连接的测试终端的信息。
优选地，还包括：
在连接至中转服务器后，向所述中转服务器发送验证信息；其中所述验证信息用于触发所述中转服务器对所述验证信息进行验证，并在验证成功后，纳入其管理列表。
本实施例提供的测试方法，在测试终端将运行数据根据主题进行分类并发送给测试服务器，由测试服务器通过相应的订阅者对象获取订阅的主题的运行数据，最终发送至前端用户端的相应显示界面上进行显示。本实施例能够实现实时可视化的监控游戏客户端的性能数据、日志信息、Traceback等，并能方便管理回归测试结果，查看对比历史测试结果，尤其是长时间整体测试结果的走向，从而及时准确的发现游戏客户端运行过程中的问题，提高了测试的效率。
请参阅图18，本发明第六实施例还提供一种测试服务器，包括：
测试任务生成单元610，用于根据待执行的测试脚本生成测试任务；
测试任务发送单元620，用于将所述测试任务发送至对应的测试终端；其中，所述测试任务用于触发所述测试终端根据所述测试脚本运行待测试程序，并将运行所述待测试程序过程中生成的运行数据发布至对应的主题；
运行数据接收单元630，用于通过订阅者对象获取订阅的主题接收到的运行数据；
运行数据发送单元640，用于将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。
优选地，所述测试任务生成单元610具体用于，将所述测试任务通过中转服务器发送至对应的测试终端；其中，所述中转服务器保存有与其连接的测试终端的信息。
优选地，还包括：
登录信息接收单元，用于接收前端用户端发送的登陆信息；
权限信息获取单元，用于根据所述登陆信息获取当前登录账户的用户的权限信息；
项目选择单元，用于根据所述权限信息生成发送至前端用户端的项目选择界面；
第一签名认证单元，用于获取用户基于所述项目选择界面选择的项目信息，并向中转服务器发送签名认证；其中，所述签名认证用于触发中转服务器在认证通过时，返回与所述项目信息对应的可选择测试终端列表；
测试终端列表发送单元，用于将所述可选择测试终端列表发送给前端用户端；
测试终端信息接收单元，用于接收所述前端用户端基于所述可选择测试终端列表选择的测试终端信息；
第二签名认证单元，用于根据选择的测试终端信息向中转服务器发送签名认证；
连接单元，用于在中转服务器认证成功后，建立与中转服务器之间的连接。
优选地，还包括：
权限信息请求单元，用于向权限管理服务器发起请求以获得当前的权限信息；其中，所述权限信息包括每个项目组的合法成员列表以及每个项目组所允许使用的测试终端列表。
请参阅图19，本发明第七实施例还提供了一种测试终端，包括：
测试任务接收单元710，用于接收测试任务；其中，所述测试任务包括测试脚本；
脚本执行单元720，用于根据所述测试脚本运行待测试程序；
运行数据获取单元730，用于获取运行过程中生成的预定的运行数据；
运行数据发送单元740，用于将所述运行数据发布至对应的主题；其中，在所述主题接收到所述运行数据后触发生成发送至订阅者对象的状态变化通知；所述状态变化通知用于触发测试服务器通过对应的订阅者对象接收所述运行数据，并将所述运行数据发送至前端用户端的相应的显示界面进行可视化显示。
优选地，所述测试任务接收单元710具体用于，通过所述中转服务器接收来自测试服务器发送的测试任务；其中，所述中转服务器保存有与其连接的测试终端的信息。
优选地，还包括：
验证信息发送单元，用于向中转服务器发送验证信息；其中所述验证信息用于触发中转服务器对所述验证信息进行验证，并在验证成功后，纳入其管理列表。
本发明第八实施例还提供了一种测试服务器，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述第四实施例所述的测试方法。
本发明第八实施例还提供了一种测试终端，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的嵌入有SDK的待测试程序，所述处理器能够执行所述嵌入有SDK的待测试程序以实现第六实施例所述的测试方法。
本发明第九实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一实施例所述的自动化实时监控测试方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (22)

1.一种测试方法，其特征在于，包括如下步骤：
根据待执行的测试脚本生成测试任务；
将所述测试任务发送至对应的测试终端；其中，所述测试任务用于触发所述测试终端根据所述测试脚本运行待测试程序，并将运行所述待测试程序过程中生成的运行数据发布至对应的主题；
通过订阅者对象获取订阅的主题接收到的运行数据；
将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。
2.根据权利要求1所述的测试方法，其特征在于，
所述将所述测试任务发送至对应的测试终端，具体为：
将所述测试任务通过中转服务器发送至对应的测试终端；其中，所述中转服务器保存有与其连接的测试终端的信息。
3.根据权利要求1所述的测试方法，其特征在于，还包括：
接收前端用户端发送的登录信息；
根据所述登录信息获取当前登录账户的用户的权限信息；
根据所述权限信息生成发送至前端用户端的项目选择界面；
获取用户基于所述项目选择界面选择的项目信息，并向中转服务器发送签名认证；其中，所述签名认证用于触发中转服务器在认证通过时，返回与所述项目信息对应的可选择测试终端列表；
将所述可选择测试终端列表发送给前端用户端；
接收所述前端用户端基于所述可选择测试终端列表选择的测试终端信息；
根据选择的测试终端信息向中转服务器发送签名认证；
在中转服务器认证成功后，建立与中转服务器之间的连接。
4.根据权利要求3所述的测试方法，其特征在于，还包括：
向权限管理服务器发起请求以获得当前的权限信息；其中，所述权限信息包括每个项目组的合法成员列表以及每个项目组所允许使用的测试终端列表。
5.一种测试方法，其特征在于，包括如下步骤：
接收测试任务；其中，所述测试任务包括测试脚本；
根据所述测试脚本运行待测试程序；
获取运行过程中生成的预定的运行数据；
将所述运行数据发布至对应的主题；其中，在所述主题接收到所述运行数据后触发生成发送至订阅者对象的状态变化通知；所述状态变化通知用于触发测试服务器通过对应的订阅者对象接收所述运行数据，并将所述运行数据发送至前端用户端的相应的显示界面进行可视化显示。
6.根据权利要求5所述的测试方法，其特征在于，所述接收测试任务具体包括：
通过所述中转服务器接收来自测试服务器发送的测试任务；其中，所述中转服务器保存有与其连接的测试终端的信息。
7.根据权利要求6所述的测试方法，其特征在于，还包括：
在连接至中转服务器后，向所述中转服务器发送验证信息；其中所述验证信息用于触发所述中转服务器对所述验证信息进行验证，并在验证成功后，纳入其管理列表。
8.一种测试服务器，其特征在于，包括：
测试任务生成单元，用于根据待执行的测试脚本生成测试任务；
测试任务发送单元，用于将所述测试任务发送至对应的测试终端；其中，所述测试任务用于触发所述测试终端根据所述测试脚本运行待测试程序，并将运行所述待测试程序过程中生成的运行数据发布至对应的主题；
运行数据接收单元，用于通过订阅者对象获取订阅的主题接收到的运行数据；
运行数据发送单元，用于将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。
9.根据权利要求8所述的测试服务器，其特征在于，
所述测试任务生成单元具体用于，将所述测试任务通过中转服务器发送至对应的测试终端；其中，所述中转服务器保存有与其连接的测试终端的信息。
10.根据权利要求9所述的测试服务器，其特征在于，还包括：
登录信息接收单元，用于接收前端用户端发送的登录信息；
权限信息获取单元，用于根据所述登录信息获取当前登录账户的用户的权限信息；
项目选择单元，用于根据所述权限信息生成发送至前端用户端的项目选择界面；
第一签名认证单元，用于获取用户基于所述项目选择界面选择的项目信息，并向中转服务器发送签名认证；其中，所述签名认证用于触发中转服务器在认证通过时，返回与所述项目信息对应的可选择测试终端列表；
测试终端列表发送单元，用于将所述可选择测试终端列表发送给前端用户端；
测试终端信息接收单元，用于接收所述前端用户端基于所述可选择测试终端列表选择的测试终端信息；
第二签名认证单元，用于根据选择的测试终端信息向中转服务器发送签名认证；
连接单元，用于在中转服务器认证成功后，建立与中转服务器之间的连接。
11.根据权利要求10所述的测试服务器，其特征在于，还包括：
权限信息请求单元，用于向权限管理服务器发起请求以获得当前的权限信息；其中，所述权限信息包括每个项目组的合法成员列表以及每个项目组所允许使用的测试终端列表。
12.一种测试终端，其特征在于，包括：
测试任务接收单元，用于接收测试任务；其中，所述测试任务包括测试脚本；
脚本执行单元，用于根据所述测试脚本运行待测试程序；
运行数据获取单元，用于获取运行过程中生成的预定的运行数据；
运行数据发送单元，用于将所述运行数据发布至对应的主题；其中，在所述主题接收到所述运行数据后触发生成发送至订阅者对象的状态变化通知；所述状态变化通知用于触发测试服务器通过对应的订阅者对象接收所述运行数据，并将所述运行数据发送至前端用户端的相应的显示界面进行可视化显示。
13.根据权利要求12所述的测试终端，其特征在于，所述测试任务接收单元具体用于，通过所述中转服务器接收来自测试服务器发送的测试任务；其中，所述中转服务器保存有与其连接的测试终端的信息。
14.根据权利要求12所述的测试终端，其特征在于，其特征在于，还包括：
验证信息发送单元，用于向中转服务器发送验证信息；其中所述验证信息用于触发中转服务器对所述验证信息进行验证，并在验证成功后，纳入其管理列表。
15.一种测试系统，其特征在于，包括测试服务器以及至少一个测试终端；其中：
所述测试服务器，用于根据待执行的测试脚本生成测试任务，并将所述测试任务发送至对应的测试终端；
所述测试终端，用于接收测试任务，根据所述测试脚本运行待测试程序，获取运行过程中生成的预定的运行数据，并将所述运行数据发布至对应的主题；
所述测试服务器，还用于通过订阅者对象获取订阅的主题接收到的运行数据，将接收到的运行数据发送至前端用户端；其中，所述运行数据用于触发所述前端用户端在与所述运行数据对应的主题的显示界面上显示所述运行数据。
16.根据权利要求15所述的测试系统，其特征在于，还包括中转服务器；
所述测试服务器具体用于，将所述测试任务通过所述中转服务器发送给对应的测试终端；以及，
通过所述中转服务器获取所述测试终端发送的运行数据。
17.根据权利要求16所述的测试系统，其特征在于，
所述测试服务器，还用于接收前端用户端发送的登录信息，根据所述登录信息获取当前登录账户的用户的权限信息，并根据所述权限信息生成发送至前端用户端的项目选择界面；
所述测试服务器，还用于获取用户基于所述项目选择界面选择的项目信息，并向中转服务器发送签名认证；
所述中转服务器，还用于在认证通过时，向测试服务器返回与所述项目信息对应的可选择测试终端列表；
所述测试服务器，还用于将所述可选择测试终端列表发送给前端用户端，并接收所述前端用户端基于所述可选择测试终端列表选择的测试终端信息；
所述测试服务器，还用于根据选择的测试终端信息向中转服务器发送签名认证；
所述中转服务器，还用于在认证成功后，建立与测试服务器的连接。
18.根据权利要求16所述的测试系统，其特征在于，还包括权限认证服务器；
其中，所述测试服务器，还用于向所述权限认证服务器请求获取权限信息；
所述中转服务器，还用于向所述权限认证服务器请求获取权限信息。
19.根据权利要求16所述的测试系统，其特征在于，
所述测试终端，还用于在连接至中转服务器后，向所述中转服务器发送验证信息；
所述中转服务器，还用于对所述验证信息进行验证，并在验证成功后，将所述测试终端纳入其管理列表。
20.一种测试服务器，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的测试方法。
21.一种测试终端，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的嵌入有SDK的待测试程序，所述处理器能够执行所述嵌入有SDK的待测试程序以实现如权利要求5-7任意一项所述的测试方法。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的测试方法。
CN201711428359.9A 2017-12-26 2017-12-26 测试方法、系统、测试服务器、测试终端及存储介质 Pending CN108052451A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711428359.9A CN108052451A (zh) 2017-12-26 2017-12-26 测试方法、系统、测试服务器、测试终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711428359.9A CN108052451A (zh) 2017-12-26 2017-12-26 测试方法、系统、测试服务器、测试终端及存储介质

Publications (1)

Publication Number Publication Date
CN108052451A true CN108052451A (zh) 2018-05-18

Family

ID=62131522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711428359.9A Pending CN108052451A (zh) 2017-12-26 2017-12-26 测试方法、系统、测试服务器、测试终端及存储介质

Country Status (1)

Country Link
CN (1) CN108052451A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932193A (zh) * 2018-06-01 2018-12-04 四川斐讯全智信息技术有限公司 一种mqtt服务器接口测试方法及系统
CN108984380A (zh) * 2018-07-12 2018-12-11 郑州云海信息技术有限公司 一种基于Linux系统的服务器测试方法、装置及介质
CN109376088A (zh) * 2018-10-24 2019-02-22 网宿科技股份有限公司 一种自动化测试系统及自动化测试方法
CN109491911A (zh) * 2018-11-08 2019-03-19 火烈鸟网络(广州)股份有限公司 游戏测试方法、装置以及存储介质
CN109559013A (zh) * 2018-10-18 2019-04-02 深圳壹账通智能科技有限公司 基于小游戏的风险测试方法及装置、电子设备及可读存储介质
CN109669867A (zh) * 2018-12-11 2019-04-23 平安科技（深圳）有限公司 测试装置、自动化测试方法和计算机可读存储介质
CN109697168A (zh) * 2019-01-11 2019-04-30 网易（杭州）网络有限公司 耗电量测试方法及装置、电子设备、存储介质
CN110851359A (zh) * 2019-11-07 2020-02-28 网易（杭州）网络有限公司 应用程序测试方法、装置及服务器
CN110874274A (zh) * 2018-08-31 2020-03-10 广州虎牙信息科技有限公司 一种界面组件的通信管理方法、装置、设备和存储介质
CN111008135A (zh) * 2019-12-02 2020-04-14 北京博睿宏远数据科技股份有限公司 App测试方法、装置、设备及存储介质
CN111104274A (zh) * 2019-12-19 2020-05-05 广东浪潮大数据研究有限公司 Ssd硬盘自动化测试方法、装置、设备及可读存储介质
CN111290951A (zh) * 2020-01-22 2020-06-16 京东数字科技控股有限公司 测试方法、终端、服务器、系统及存储介质
CN111400198A (zh) * 2020-06-03 2020-07-10 中邮消费金融有限公司 一种自适应的软件测试系统
CN111813687A (zh) * 2020-07-20 2020-10-23 网易（杭州）网络有限公司 测试方法、装置、控制终端、测试设备及存储介质
CN111858336A (zh) * 2020-07-20 2020-10-30 深圳市筑泰防务智能科技有限公司 一种软件自动化测试方法以及系统
CN112181802A (zh) * 2020-08-21 2021-01-05 长沙市到家悠享网络科技有限公司 测试方法及装置
CN112286829A (zh) * 2020-12-29 2021-01-29 卡斯柯信号(北京)有限公司 测试脚本生成方法及装置
CN112395187A (zh) * 2020-11-05 2021-02-23 华人运通(江苏)技术有限公司 测试方法、系统、计算机设备及存储介质
CN112433953A (zh) * 2020-12-11 2021-03-02 杭州电魂网络科技股份有限公司 基于网络游戏客户端的嵌入式自动化测试方法、装置、设备及介质
CN112765039A (zh) * 2021-02-03 2021-05-07 上海复深蓝软件股份有限公司 测试数据消费染色方法、装置、计算机设备及存储介质
CN112783767A (zh) * 2021-01-18 2021-05-11 深圳市泛海检测认证有限公司 测试用例管理实现控制方法、装置、设备及存储介质
CN112925713A (zh) * 2021-03-03 2021-06-08 展讯通信(天津)有限公司 业务测试方法、装置、系统、存储介质和计算机设备
CN114584500A (zh) * 2022-02-25 2022-06-03 网易（杭州）网络有限公司 异步通信的测试方法、装置及电子设备
CN114637660A (zh) * 2022-02-25 2022-06-17 北京鉴智科技有限公司 应用性能评测方法、装置、系统及电子设备
CN115379038A (zh) * 2022-07-12 2022-11-22 深圳优美创新科技有限公司 模拟测试方法、系统、设备及计算机可读存储介质
CN115842763A (zh) * 2021-09-17 2023-03-24 青岛海信智慧生活科技股份有限公司 性能检测方法及设备、通信系统
CN116828347A (zh) * 2023-08-31 2023-09-29 北京智芯微电子科技有限公司 芯片可靠性试验远程监控装置、测试系统及方法
TWI832514B (zh) * 2022-10-25 2024-02-11 英業達股份有限公司 選擇性調整伺服器測試項目之方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1825826A (zh) * 2006-04-05 2006-08-30 中国科学院研究生院 基于互联网的访问和共享远程设备的系统和方法
CN104834595A (zh) * 2015-02-15 2015-08-12 网易（杭州）网络有限公司 一种可视化自动测试方法及系统
CN105635188A (zh) * 2016-03-31 2016-06-01 深圳市矽伟智科技有限公司 一种可视化内容分发方法及系统
WO2017067441A1 (zh) * 2015-10-19 2017-04-27 广州爱九游信息技术有限公司 一种应用的测试方法、装置、系统以及非暂时性机器可读存储介质
CN107113341A (zh) * 2015-01-16 2017-08-29 华为技术有限公司 用于数据划分的分布式关系数据库管理系统中事务的高吞吐量处理的系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1825826A (zh) * 2006-04-05 2006-08-30 中国科学院研究生院 基于互联网的访问和共享远程设备的系统和方法
CN107113341A (zh) * 2015-01-16 2017-08-29 华为技术有限公司 用于数据划分的分布式关系数据库管理系统中事务的高吞吐量处理的系统
CN104834595A (zh) * 2015-02-15 2015-08-12 网易（杭州）网络有限公司 一种可视化自动测试方法及系统
WO2017067441A1 (zh) * 2015-10-19 2017-04-27 广州爱九游信息技术有限公司 一种应用的测试方法、装置、系统以及非暂时性机器可读存储介质
CN105635188A (zh) * 2016-03-31 2016-06-01 深圳市矽伟智科技有限公司 一种可视化内容分发方法及系统

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932193A (zh) * 2018-06-01 2018-12-04 四川斐讯全智信息技术有限公司 一种mqtt服务器接口测试方法及系统
CN108984380A (zh) * 2018-07-12 2018-12-11 郑州云海信息技术有限公司 一种基于Linux系统的服务器测试方法、装置及介质
CN110874274A (zh) * 2018-08-31 2020-03-10 广州虎牙信息科技有限公司 一种界面组件的通信管理方法、装置、设备和存储介质
CN109559013A (zh) * 2018-10-18 2019-04-02 深圳壹账通智能科技有限公司 基于小游戏的风险测试方法及装置、电子设备及可读存储介质
CN109376088A (zh) * 2018-10-24 2019-02-22 网宿科技股份有限公司 一种自动化测试系统及自动化测试方法
CN109491911A (zh) * 2018-11-08 2019-03-19 火烈鸟网络(广州)股份有限公司 游戏测试方法、装置以及存储介质
CN109669867A (zh) * 2018-12-11 2019-04-23 平安科技（深圳）有限公司 测试装置、自动化测试方法和计算机可读存储介质
CN109669867B (zh) * 2018-12-11 2024-03-12 平安科技（深圳）有限公司 测试装置、自动化测试方法和计算机可读存储介质
CN109697168A (zh) * 2019-01-11 2019-04-30 网易（杭州）网络有限公司 耗电量测试方法及装置、电子设备、存储介质
CN110851359B (zh) * 2019-11-07 2023-10-27 网易（杭州）网络有限公司 应用程序测试方法、装置及服务器
CN110851359A (zh) * 2019-11-07 2020-02-28 网易（杭州）网络有限公司 应用程序测试方法、装置及服务器
CN111008135A (zh) * 2019-12-02 2020-04-14 北京博睿宏远数据科技股份有限公司 App测试方法、装置、设备及存储介质
CN111008135B (zh) * 2019-12-02 2024-01-23 北京博睿宏远数据科技股份有限公司 App测试方法、装置、设备及存储介质
CN111104274A (zh) * 2019-12-19 2020-05-05 广东浪潮大数据研究有限公司 Ssd硬盘自动化测试方法、装置、设备及可读存储介质
CN111104274B (zh) * 2019-12-19 2023-07-14 广东浪潮大数据研究有限公司 Ssd硬盘自动化测试方法、装置、设备及可读存储介质
CN111290951A (zh) * 2020-01-22 2020-06-16 京东数字科技控股有限公司 测试方法、终端、服务器、系统及存储介质
CN111290951B (zh) * 2020-01-22 2023-09-26 京东科技控股股份有限公司 测试方法、终端、服务器、系统及存储介质
CN111400198B (zh) * 2020-06-03 2020-08-28 中邮消费金融有限公司 一种自适应的软件测试系统
CN111400198A (zh) * 2020-06-03 2020-07-10 中邮消费金融有限公司 一种自适应的软件测试系统
CN111813687A (zh) * 2020-07-20 2020-10-23 网易（杭州）网络有限公司 测试方法、装置、控制终端、测试设备及存储介质
CN111858336A (zh) * 2020-07-20 2020-10-30 深圳市筑泰防务智能科技有限公司 一种软件自动化测试方法以及系统
CN111858336B (zh) * 2020-07-20 2024-03-15 深圳市筑泰防务智能科技有限公司 一种软件自动化测试方法以及系统
CN112181802A (zh) * 2020-08-21 2021-01-05 长沙市到家悠享网络科技有限公司 测试方法及装置
CN112395187A (zh) * 2020-11-05 2021-02-23 华人运通(江苏)技术有限公司 测试方法、系统、计算机设备及存储介质
CN112433953A (zh) * 2020-12-11 2021-03-02 杭州电魂网络科技股份有限公司 基于网络游戏客户端的嵌入式自动化测试方法、装置、设备及介质
CN112286829B (zh) * 2020-12-29 2021-04-13 卡斯柯信号(北京)有限公司 测试脚本生成方法及装置
CN112286829A (zh) * 2020-12-29 2021-01-29 卡斯柯信号(北京)有限公司 测试脚本生成方法及装置
CN112783767A (zh) * 2021-01-18 2021-05-11 深圳市泛海检测认证有限公司 测试用例管理实现控制方法、装置、设备及存储介质
CN112765039A (zh) * 2021-02-03 2021-05-07 上海复深蓝软件股份有限公司 测试数据消费染色方法、装置、计算机设备及存储介质
CN112925713A (zh) * 2021-03-03 2021-06-08 展讯通信(天津)有限公司 业务测试方法、装置、系统、存储介质和计算机设备
CN112925713B (zh) * 2021-03-03 2023-03-10 展讯通信(天津)有限公司 业务测试方法、装置、系统、存储介质和计算机设备
CN115842763A (zh) * 2021-09-17 2023-03-24 青岛海信智慧生活科技股份有限公司 性能检测方法及设备、通信系统
CN114584500A (zh) * 2022-02-25 2022-06-03 网易（杭州）网络有限公司 异步通信的测试方法、装置及电子设备
CN114637660A (zh) * 2022-02-25 2022-06-17 北京鉴智科技有限公司 应用性能评测方法、装置、系统及电子设备
CN114584500B (zh) * 2022-02-25 2024-03-22 网易（杭州）网络有限公司 异步通信的测试方法、装置及电子设备
CN115379038A (zh) * 2022-07-12 2022-11-22 深圳优美创新科技有限公司 模拟测试方法、系统、设备及计算机可读存储介质
TWI832514B (zh) * 2022-10-25 2024-02-11 英業達股份有限公司 選擇性調整伺服器測試項目之方法
CN116828347A (zh) * 2023-08-31 2023-09-29 北京智芯微电子科技有限公司 芯片可靠性试验远程监控装置、测试系统及方法

Similar Documents

Publication Publication Date Title
CN108052451A (zh) 测试方法、系统、测试服务器、测试终端及存储介质
US11042472B2 (en) Authoring automated test suites using artificial intelligence
Joorabchi et al. Real challenges in mobile app development
CN103927253B (zh) 多浏览器兼容性测试方法及系统
US11176030B2 (en) Conducting automated software testing using centralized controller and distributed test host servers
CN107402880A (zh) 一种测试方法及电子设备
Bellomo et al. Toward design decisions to enable deployability: Empirical study of three projects reaching for the continuous delivery holy grail
CN112463580B (zh) 基于虚拟化装置的测试系统及其方法
US10223248B2 (en) Conducting automated software testing using centralized controller and distributed test host servers
US7559001B2 (en) Method and apparatus for executing commands and generation of automation scripts and test cases
CN106484622A (zh) 测试方法、装置及系统
CN107943707B (zh) 行为树的测试方法、装置和存储介质以及终端
CN105095059B (zh) 一种自动化测试的方法和装置
KR101637371B1 (ko) 스마트기기용 어플리케이션의 테스트 시스템 및 그 방법
CN104598380A (zh) 一种基于控件的自动化测试方法及系统
CN107465572A (zh) 智能终端测试方法、装置及系统
CN106075911B (zh) 一种网页游戏微端的生成方法及装置
US10079738B1 (en) Using a network crawler to test objects of a network document
Xu et al. Guider: Gui structure and vision co-guided test script repair for android apps
CN107896173A (zh) 自动化测试方法、测试设备、自动化测试系统及存储介质
WO2021061185A1 (en) Test automation of application
CN104536745B (zh) 任务修改方法和任务修改装置
CN109242561B (zh) 抽奖模型构建方法、抽奖活动管理方法、装置和计算设备
CN107273112A (zh) 一种礼物榜单信息显示方法及装置
CN102819486A (zh) 一种网络产品自动化测试系统和测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication