CN111008135A - App测试方法、装置、设备及存储介质 - Google Patents
App测试方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111008135A CN111008135A CN201911216085.6A CN201911216085A CN111008135A CN 111008135 A CN111008135 A CN 111008135A CN 201911216085 A CN201911216085 A CN 201911216085A CN 111008135 A CN111008135 A CN 111008135A
- Authority
- CN
- China
- Prior art keywords
- test
- app
- target
- tested
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010998 test method Methods 0.000 title claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 547
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000009434 installation Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011056 performance test Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011900 installation process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种APP测试方法、装置、设备及存储介质。所述方法包括：从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，所述测试任务信息包括待测试应用程序APP的相关信息以及目标测试脚本；向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；将所述测试数据通过测试平台进行汇总展示。本发明实施例的技术方案，实现了无需APP签名，即可在指定城市运营商下对待测试APP进行多方面的全自动化性能测试。
Description
技术领域
本发明实施例涉及测试技术领域，尤其涉及一种APP测试方法、装置、设备及存储介质。
背景技术
随着移动互联网的高速发展，移动应用程序(Application，APP)快速迭代，对APP测试质量及效率的要求越来越高。
目前，为了获取APP的运行性能情况，可以通过使用秒表工具手动操作录屏分析来采集APP测试数据，或者，通过抓包或者虚拟私人网络(Virtual Private Network，VPN)代理方式采集网络数据，但这两种方法皆无法对APP实现全自动化测试，部分性能数据仍然需要人工进行采集，可能还存在测试性能单一的问题；若使用自动化测试框架对APP进行测试，则需要提供APP签名等安全信息，存在安全隐患。
发明内容
本发明实施例提供一种APP测试方法、装置、设备及存储介质，以实现无需APP签名，即可在指定城市运营商下对待测试APP进行多方面的全自动化性能测试。
第一方面，本发明实施例提供了一种APP测试方法，包括：
从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，测试任务信息包括待测试APP的相关信息以及目标测试脚本；
向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；
将测试数据通过测试平台进行汇总展示。
可选的，待测试APP的相关信息包括APP名称和版本信息；
在从服务器获取与目标城市运营商的目标测试机对应的测试任务信息之后，还包括：
检测本地是否存在与APP名称和版本信息都匹配的待测试APP；
如果不存在，则下载并存储与APP名称和版本信息都匹配的待测试APP；
将待测试APP发送至目标测试机，控制目标测试机安装待测试APP并采集安装体验数据；
下载与测试任务信息匹配的目标测试脚本。
可选的，在下载与测试任务信息匹配的目标测试脚本之后，还包括：
控制目标测试机启动测试辅助程序，以在测试待测试APP过程中通过测试辅助程序与目标测试机中的待测试APP进行信息交互。
可选的，在控制目标测试机启动测试辅助程序之后，还包括：
控制目标测试机开启日志抓取功能、屏幕录制功能以及抓包功能。
第二方面，本发明实施例还提供了一种APP测试方法，包括：
接收个人计算机(Personal Computer，PC)终端发送的与目标测试脚本对应的测试操作指令；所述目标测试脚本包括于目标城市运营商的目标测试机的测试任务信息中；
根据测试操作指令对待测试APP执行相应的测试操作，并采集与测试操作对应的测试数据；所述待测试APP与所述目标测试脚本相对应；
将测试数据发送至PC终端。
可选的，在接收PC终端发送的与目标测试脚本对应的测试操作指令之前，还包括：
接收PC终端发送的APP启动指令；
根据APP启动指令，启动待测试APP的测试进程、采集网络数据的接口监听服务、采集流媒体体验数据的接口监听服务以及UI界面，并采集启动性能数据；
将启动性能数据以及启动成功消息通过测试辅助程序发送至PC终端。
第三方面，本发明实施例还提供了一种APP测试装置，包括：
信息获取模块，用于从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，测试任务信息包括待测试APP的相关信息以及目标测试脚本；
指令发送模块，用于向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；
数据汇总模块，用于将测试数据通过测试平台进行汇总展示。
第四方面，本发明实施例还提供了一种APP测试装置，包括：
指令接收模块，用于接收PC终端发送的与目标测试脚本对应的测试操作指令；所述目标测试脚本包括于目标城市运营商的目标测试机的测试任务信息中；
测试模块，用于根据测试操作指令对待测试APP执行相应的测试操作，并采集与测试操作对应的测试数据；所述待测试APP与所述目标测试脚本相对应；
数据发送模块，用于将测试数据发送至PC终端。
第五方面，本发明实施例还提供了一种终端设备，终端设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例的APP测试方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例的APP测试方法。
本发明实施例的技术方案，通过从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，测试任务信息包括待测试APP的相关信息以及目标测试脚本；向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；将测试数据通过测试平台进行汇总展示，解决了现有技术中无法对APP实现全自动化测试，或者需要APP签名才能进行自动化测试的问题，实现了无需APP签名，即可在指定城市运营商下对待测试APP进行多方面的全自动化性能测试。
附图说明
图1是本发明实施例一中的一种APP测试方法的流程图；
图2是本发明实施例二中的另一种APP测试方法的流程图；
图3a是本发明实施例适应的一种应用场景的实现流程图；
图3b是本发明实施例适应的一种测试系统的结构示意图；
图4是本发明实施例四中的一种APP测试装置的结构示意图；
图5是本发明实施例五中的另一种APP测试装置的结构示意图；
图6是本发明实施例六中的一种终端设备的结构示意图；
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的一种APP测试方法的流程图，本实施例可适用于通过指定测试机对待测试APP进行全自动化性能测试的情况，该方法可以由APP测试装置来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在提供APP测试服务的终端设备中，例如PC终端中，与目标测试机配合使用。
如图1所示，该方法包括：
步骤110、从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，测试任务信息包括待测试APP的相关信息以及目标测试脚本。
本实施例中，PC终端可以包括台式机、笔记本电脑以及超级本等，目标测试机可以包括手机和平板电脑等，一个PC终端可以管理多个测试机进行APP测试。为了能够在全国或者全球各地的任意运营商下对待测试APP进行性能测试，预先在全国或者全球各城市的各个运营商下部署相应的测试机，PC终端可以根据各测试机所在的城市以及所属运营商，为其选择合适的测试任务。
其中，测试任务是由监测平台创建并存储在任务数据中心中，由服务器定时从任务数据中心中获取的，PC终端根据其所管理的各测试机的配置参数，向服务器获取与各测试机分别对应的测试任务。目标测试脚本用于规定对待测试APP进行性能测试的具体流程。
可选的，待测试APP的相关信息包括APP名称和版本信息；在从服务器获取与目标城市运营商的目标测试机对应的测试任务信息之后，还可以包括：检测本地是否存在与APP名称和版本信息都匹配的待测试APP；如果不存在，则下载并存储与APP名称和版本信息都匹配的待测试APP；将待测试APP发送至目标测试机，控制目标测试机安装待测试APP并采集安装体验数据；下载与测试任务信息匹配的目标测试脚本。
示例性的，假设测试任务信息中包括的本次测试任务的测试对象名称和版本为“爱奇艺7.1.99”，则在获取测试任务信息之后，先检测本地是否已经有“爱奇艺”APP，若有，则判断其版本是否是“7.1.99”，若是，则将该待测试的“爱奇艺”APP发送至目标测试机，控制目标测试机安装该APP并采集安装过程中产生的安装体验数据，例如安装时间；若本地没有版本为“7.1.99”的“爱奇艺”APP，则下载并存储版本为“7.1.99”的“爱奇艺”APP，然后将新下载的APP发送至目标测试机，控制目标测试机安装该APP并采集安装过程中产生的安装体验数据。在待测试APP安装完成之后，还需要从服务器下载用于测试该APP的目标测试脚本。
可选的，在下载与测试任务信息匹配的目标测试脚本之后，还可以包括：控制目标测试机启动测试辅助程序，以在测试待测试APP过程中通过测试辅助程序与目标测试机中的待测试APP进行信息交互。
本实施例中，为了避免PC终端与目标测试机之间的信息交互，或者说，与目标测试机中的待测试APP之间的信息交互，对测试数据产生影响，例如，增大内存的占用量、增加数据发送量或者增加数据接收数量等，在目标测试机中设置了测试辅助程序，通过测试辅助程序实现PC终端与目标测试机中的待测试APP之间的消息中转。
可选的，在控制目标测试机启动测试辅助程序之后，还可以包括：控制目标测试机开启日志抓取功能、屏幕录制功能以及抓包功能。
本实施例中，为了从更多方面获取测试数据，可以控制目标测试机开启日志抓取功能，以获取在待测试APP测试过程中产生的日志文件，进而通过对日志文件进行分析得到所需的测试数据；也可以控制目标测试机开启屏幕录制功能，以对测试过程中的操作进行记录；还可以控制目标测试机开启抓包功能，以拦截查看网络传输发送与接收的数据包内容。
本发明实施例，通过PC终端执行从服务器获取测试任务信息、下载待测试APP等操作，可以减少目标测试机的流量消耗，通过测试辅助程序与目标测试机中的待测试APP进行通信，可以减少两者之间的信息交互对待测试APP的测试数据的影响，提高测试的准确性。
步骤120、向目标测试机发送与目标测试脚本对应的测试操作指令，并获取目标测试机返回的与各测试操作指令分别对应的测试数据。
本实施例中，在完成测试所需的各种配置后，通过测试辅助程序启动目标测试机中的待测试APP，然后执行目标测试脚本，生成与目标测试脚本中的各测试操作对应的测试操作指令，例如，账号登录操作指令、音频播放操作指令等，然后依次将各测试操作指令发送给目标测试机，并获取目标测试机返回的与各测试操作指令分别对应的测试数据，例如，登录用时、交互用时、音频资源地址、首次缓冲时间以及首帧用时等。
步骤130、将测试数据通过测试平台进行汇总展示。
本实施例中，在获取到各测试数据之后，对各类测试数据分别进行汇总，并在测试平台中进行展示，展示方式可以包括表格、图表、图片或者视频等形式，便于用户分析待测试APP在各方面的运行性能。
本发明实施例的技术方案，通过从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，测试任务信息包括待测试应用程序APP以及目标测试脚本；向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；将测试数据通过测试平台进行汇总展示，解决了现有技术中无法对APP实现全自动化测试，或者需要APP签名才能进行自动化测试的问题，实现了无需APP签名，即可在指定城市运营商下对待测试APP进行多方面的全自动化性能测试。
实施例二
图2是本发明实施例二中的另一种APP测试方法的流程图，本实施例可适用于通过指定测试机对待测试APP进行全自动化性能测试的情况，该方法可以由APP测试装置来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在提供APP测试服务的终端设备中，例如目标测试机中，与PC终端配合使用。
如图2所示，该方法包括：
步骤210、接收PC终端发送的与目标测试脚本对应的测试操作指令。
本实施例中，目标测试脚本包括于目标城市运营商的目标测试机的测试任务信息中，目标测试机通过测试辅助程序接收PC终端发送的与目标测试脚本对应的多个测试操作指令，以便于后续依次根据各测试操作指令对待测试APP进行测试。
可选的，在接收PC终端发送的与目标测试脚本对应的测试操作指令之前，还可以包括：接收PC终端发送的APP启动指令；根据APP启动指令，启动待测试APP的测试进程、采集网络数据的接口监听服务、采集流媒体体验数据的接口监听服务以及UI界面，并采集启动性能数据；将启动性能数据以及启动成功消息通过测试辅助程序发送至PC终端。
本实施例中，在对待测试APP进行测试之前，先通过测试辅助程序接收PC终端发送的APP启动指令，并根据该指令启动待测试的APP，具体的，需要启动待测试APP的测试进程、采集网络数据的接口监听服务、采集流媒体体验数据的接口监听服务以及APP的UI界面，同时采集与启动操作对应的启动性能数据，例如，启动时间、占用内存、最大线程数、动作次数等，并将采集的数据以及启动成功消息通过测试辅助程序发送至PC终端。
步骤220、根据测试操作指令对待测试APP执行相应的测试操作，并采集与测试操作对应的测试数据。
其中，待测试APP与目标测试脚本相对应，目标测试机根据与目标测试脚本对应的测试操作指令对待测试APP进行相应的测试操作，即可得到所需的APP性能测试数据。
示例性的，若目标测试机通过测试辅助程序依次获取到账号登录操作指令和音频播放操作指令，则先根据PC终端发送的根据登录账号登录待测试APP，并采集登录用时和交互用时等登录体验数据以及登录操作截图；然后对待测试APP执行指定音频播放操作，并采集音频资源地址、首次缓冲时间以及首帧用时等流媒体体验数据。
步骤230、将测试数据发送至PC终端。
本实施例中，为了让用户可以直观的对比或者分析出待测试APP的运行性能，将采集的测试数据发送至PC终端，通过PC终端将该测试数据显示在测试平台中。
本发明实施例的技术方案，通过接收PC终端发送的与目标测试脚本对应的测试操作指令，根据所述测试操作指令对待测试APP执行相应的测试操作，并采集与所述测试操作对应的测试数据，将所述测试数据发送至所述PC终端，以通过PC终端将该测试数据汇总显示在测试平台中，解决了现有技术中无法对APP实现全自动化测试，或者需要APP签名才能进行自动化测试的问题，实现了无需APP签名，即可在指定城市运营商下对待测试APP进行多方面的全自动化性能测试。
实施例三
图3a是本发明实施例适应的一种应用场景的实现流程图，本实施例可以与上述实施例中各个可选方案结合。具体的，参考图3a，该方法可以包括如下步骤：
1)PC终端从服务器获取与目标城市运营商的目标测试机对应的测试任务信息。
其中，测试任务信息包括待测试APP的相关信息以及目标测试脚本，待测试APP的相关信息包括APP名称和版本信息。
2)PC终端检测本地是否存在与APP名称和版本信息都匹配的待测试APP。
本实施例中，如果PC终端本地不存在与测试任务匹配的待测试APP，则下载并存储与APP名称和版本信息都匹配的待测试APP，如果存在，则继续判断目标测试机中是否存在与APP名称和版本信息都匹配的待测试APP，若不存在，则将待测试APP发送至目标测试机，控制目标测试机安装待测试APP并采集安装体验数据，若存在，则不需要向目标测试机发送待测试APP。
3)PC终端下载与测试任务信息匹配的目标测试脚本。
4)PC终端控制目标测试机启动测试辅助程序，并开启日志抓取功能、屏幕录制功能以及抓包功能。
5)PC终端通过测试辅助程序向目标测试机发送APP启动指令。
6)目标测试机根据接收的APP启动指令，依次启动待测试APP的测试进程、采集网络数据的接口监听服务、采集流媒体体验数据的接口监听服务以及APP的UI界面，同时采集对应的启动性能数据，并通过测试辅助程序向PC终端发送采集的启动性能数据以及启动成功消息。
本实施例中，待测试APP的测试进程启动后，后台一直采集待测试APP的网络通信数据，直到目标测试脚本的流程结束。
7)PC终端执行目标测试脚本，生成与目标测试脚本中的各测试操作对应的测试操作指令，并通过测试辅助程序依次将各测试操作指令发送给目标测试机。
8)目标测试机根据测试操作指令对待测试APP执行相应的测试操作，并采集与测试操作对应的测试数据，通过测试辅助程序将测试数据发送至PC终端。
本实施例中，目标测试机根据目标测试脚本的流程，依次顺序执行相关测试操作，包括账号登录、短信验证码输入等功能，并采集每个测试操作的测试数据，记录每次测试操作的截图信息，如果有流媒体播放相关的测试操作，则等待流媒体播放结束后再采集与音视频播放对应的测试数据。
9)PC终端控制目标测试机停止测试辅助程序、抓取日志、录屏、抓包等功能，并生成相应的资源文件。
10)PC终端根据测试任务信息确定是否卸载待测试APP，若是，则卸载待测试APP，并记录卸载性能数据，否则执行步骤11)。
11)PC终端将获取的各种测试数据以及日志、录屏、抓包、操作截图等资源文件上传至测试平台进行汇总展示。
在上述实施例的基础上，根据图3b所示的测试系统进一步说明。如图3b所示，测试系统包括测试平台、任务/结果数据中心、服务器、PC终端以及测试机。
本实施例中，测试平台用于创建测试任务，并将创建的测试任务存储于任务/结果数据中心中，还用于从任务/结果数据中心中获取测试数据进行汇总展示；服务器用于定时从任务/结果数据中心中获取测试任务，并根据PC终端上报的各测试机的配置信息为各测试机分配合适的测试任务，PC终端用于控制测试机对待测试APP进行性能测试，获取测数据，并将测试数据上传至任务/结果数据中心进行存储。
本实施例中，预先在全国或全球各城市运营商下部署相应的测试机，当在测试平台上创建一个测试任务时，需要选择待测试APP、目标测试脚本、测试的城市运营商以及测试周期频率，如果要测试多账号登录或者短信验证码登录，还需要配置多个登录账号信息或者打开短信验证码功能。各地部署的测试机通过与之关联的PC终端，定期与下发测试任务的服务器通信，以使服务器根据测试任务的配置向PC终端下发合适的测试任务，以及对应的登录账号或者手机号码。PC终端得到测试任务信息后，按照目标测试脚本控制目标测试机对待测试APP执行相应的测试操作，并采集产生的测试数据，PC端将测试数据上传至任务/结果数据中心进行存储。
在本实施例中，在一个测试周期内，同一个城市运营商对同一个测试任务通常只分配一次，若要对待测试APP进行多账号登录测试，则可以按照任务申请时间的先后顺序，将该测试任务以及各登录账号分别分配给不同的测试机，当然，本实施例也可以实现通过不同城市运营商对同一个待测试APP进行多账号登录测试。
实施例四
图4是本发明实施例四中的一种APP测试装置的结构示意图。本实施例可适用于通过指定测试机对待测试APP进行全自动化性能测试的情况。如图4所示，该APP测试装置应用于PC终端，包括：
信息获取模块410，用于从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，测试任务信息包括待测试APP的相关信息以及目标测试脚本；
指令发送模块420，用于向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；
数据汇总模块430，用于将测试数据通过测试平台进行汇总展示。
本发明实施例的技术方案，通过从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，测试任务信息包括待测试应用程序APP以及目标测试脚本；向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；将测试数据通过测试平台进行汇总展示，解决了现有技术中无法对APP实现全自动化测试，或者需要APP签名才能进行自动化测试的问题，实现了无需APP签名，即可在指定城市运营商下对待测试APP进行多方面的全自动化性能测试。
可选的，待测试APP的相关信息包括APP名称和版本信息；
还包括：下载模块，用于在从服务器获取与目标城市运营商的目标测试机对应的测试任务信息之后，检测本地是否存在与APP名称和版本信息都匹配的待测试APP；如果不存在，则下载并存储与APP名称和版本信息都匹配的待测试APP；将待测试APP发送至目标测试机，控制目标测试机安装待测试APP并采集安装体验数据；下载与测试任务信息匹配的目标测试脚本。
可选的，还包括：程序启动模块，用于在下载与测试任务信息匹配的目标测试脚本之后，控制目标测试机启动测试辅助程序，以在测试待测试APP过程中通过测试辅助程序与目标测试机中的待测试APP进行信息交互。
可选的，还包括：功能开启模块，用于在控制目标测试机启动测试辅助程序之后，控制目标测试机开启日志抓取功能、屏幕录制功能以及抓包功能。
上述APP测试装置可执行本发明任意实施例所提供的应用于PC终端的APP测试方法，具备执行APP测试方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五中的另一种APP测试装置的结构示意图。本实施例可适用于通过指定测试机对待测试APP进行全自动化性能测试的情况。如图5所示，该APP测试装置应用于目标测试机，包括：
指令接收模块510，用于接收PC终端发送的与目标测试脚本对应的测试操作指令；所述目标测试脚本包括于目标城市运营商的目标测试机的测试任务信息中；
测试模块520，用于根据测试操作指令对待测试APP执行相应的测试操作，并采集与测试操作对应的测试数据；所述待测试APP与所述目标测试脚本相对应；
数据发送模块530，用于将测试数据发送至PC终端。
本发明实施例的技术方案，通过接收PC终端发送的与目标测试脚本对应的测试操作指令，根据所述测试操作指令对待测试APP执行相应的测试操作，并采集与所述测试操作对应的测试数据，将所述测试数据发送至所述PC终端，以通过PC终端将该测试数据汇总显示在测试平台中，解决了现有技术中无法对APP实现全自动化测试，或者需要APP签名才能进行自动化测试的问题，实现了无需APP签名，即可在指定城市运营商下对待测试APP进行多方面的全自动化性能测试。
可选的，还包括：APP启动模块，用于在接收PC终端发送的与目标测试脚本对应的测试操作指令之前，接收PC终端发送的APP启动指令；根据APP启动指令，启动待测试APP的测试进程、采集网络数据的接口监听服务、采集流媒体体验数据的接口监听服务以及UI界面，并采集启动性能数据；将启动性能数据以及启动成功消息通过测试辅助程序发送至PC终端。
上述APP测试装置可执行本发明任意实施例所提供的应用于目标测试机的APP测试方法，具备执行APP测试方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六公开的一种终端设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性终端设备12的框图。图6显示的终端设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，终端设备12以通用计算设备的形式表现，可以是PC终端或者目标测试机。终端设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
终端设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被终端设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。终端设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
终端设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该终端设备12交互的设备通信，和/或与使得该终端设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，终端设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与终端设备12的其它模块通信。应当明白，尽管图中未示出，可以结合终端设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的APP测试方法。
也即：实现一种APP测试方法，包括：
从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，测试任务信息包括待测试应用程序APP以及目标测试脚本；
向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；
将测试数据通过测试平台进行汇总展示。
或者，实现另一种APP测试方法，包括：
接收PC终端发送的与目标测试脚本对应的测试操作指令；所述目标测试脚本包括于目标城市运营商的目标测试机的测试任务信息中；
根据测试操作指令对待测试APP执行相应的测试操作，并采集与测试操作对应的测试数据；所述待测试APP与所述目标测试脚本相对应；
将测试数据发送至PC终端。
实施例七
本发明实施例七还提供一种计算机可读存储介质，其上存储有计算机程序，程序在被计算机处理器执行时用于执行上述实施例提供的任一种APP测试方法，其中，一种APP测试方法包括：
从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，测试任务信息包括待测试应用程序APP以及目标测试脚本；
向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；
将测试数据通过测试平台进行汇总展示。
或者，另一种APP测试方法，包括：
接收PC终端发送的与目标测试脚本对应的测试操作指令；所述目标测试脚本包括于目标城市运营商的目标测试机的测试任务信息中；
根据测试操作指令对待测试APP执行相应的测试操作，并采集与测试操作对应的测试数据；所述待测试APP与所述目标测试脚本相对应；
将测试数据发送至PC终端。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种APP测试方法，其特征在于，包括：
从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，所述测试任务信息包括待测试应用程序APP的相关信息以及目标测试脚本；
向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；
将所述测试数据通过测试平台进行汇总展示。
2.根据权利要求1所述的方法，其特征在于，所述待测试APP的相关信息包括APP名称和版本信息；
在从服务器获取与目标城市运营商的目标测试机对应的测试任务信息之后，还包括：
检测本地是否存在与所述APP名称和版本信息都匹配的待测试APP；
如果不存在，则下载并存储与所述APP名称和版本信息都匹配的待测试APP；
将所述待测试APP发送至目标测试机，控制目标测试机安装所述待测试APP并采集安装体验数据；
下载与所述测试任务信息匹配的目标测试脚本。
3.根据权利要求2所述的方法，其特征在于，在下载与所述测试任务信息匹配的目标测试脚本之后，还包括：
控制目标测试机启动测试辅助程序，以在测试待测试APP过程中通过所述测试辅助程序与目标测试机中的待测试APP进行信息交互。
4.根据权利要求3所述的方法，其特征在于，在控制目标测试机启动测试辅助程序之后，还包括：
控制目标测试机开启日志抓取功能、屏幕录制功能以及抓包功能。
5.一种APP测试方法，其特征在于，包括：
接收PC终端发送的与目标测试脚本对应的测试操作指令；所述目标测试脚本包括于目标城市运营商的目标测试机的测试任务信息中；
根据所述测试操作指令对待测试APP执行相应的测试操作，并采集与所述测试操作对应的测试数据；所述待测试APP与所述目标测试脚本相对应；
将所述测试数据发送至所述PC终端。
6.根据权利要求5所述的方法，其特征在于，在接收PC终端发送的与目标测试脚本对应的测试操作指令之前，还包括：
接收PC终端发送的APP启动指令；
根据所述APP启动指令，启动待测试APP的测试进程、采集网络数据的接口监听服务、采集流媒体体验数据的接口监听服务以及UI界面，并采集启动性能数据；
将所述启动性能数据以及启动成功消息通过测试辅助程序发送至PC终端。
7.一种APP测试装置，其特征在于，包括：
信息获取模块，用于从服务器获取与目标城市运营商的目标测试机对应的测试任务信息，所述测试任务信息包括待测试APP的相关信息以及目标测试脚本；
指令发送模块，用于向所述目标测试机发送与目标测试脚本对应的测试操作指令，并获取所述目标测试机返回的与各测试操作指令分别对应的测试数据；
数据汇总模块，用于将所述测试数据通过测试平台进行汇总展示。
8.一种APP测试装置，其特征在于，包括：
指令接收模块，用于接收PC终端发送的与目标测试脚本对应的测试操作指令；所述目标测试脚本包括于目标城市运营商的目标测试机的测试任务信息中；
测试模块，用于根据所述测试操作指令对待测试APP执行相应的测试操作，并采集与所述测试操作对应的测试数据；所述待测试APP与所述目标测试脚本相对应；
数据发送模块，用于将所述测试数据发送至所述PC终端。
9.一种终端设备，其特征在于，所述终端设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的APP测试方法，或者，实现如权利要求5-6中任一所述的APP测试方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的APP测试方法，或者，实现如权利要求5-6中任一所述的APP测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911216085.6A CN111008135B (zh) | 2019-12-02 | 2019-12-02 | App测试方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911216085.6A CN111008135B (zh) | 2019-12-02 | 2019-12-02 | App测试方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111008135A true CN111008135A (zh) | 2020-04-14 |
| CN111008135B CN111008135B (zh) | 2024-01-23 |
Family
ID=70112738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911216085.6A Active CN111008135B (zh) | 2019-12-02 | 2019-12-02 | App测试方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111008135B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111913886A (zh) * | 2020-08-07 | 2020-11-10 | 平安科技（深圳）有限公司 | 手机app自动化测试方法、装置、设备及存储介质 |
| CN112445707A (zh) * | 2020-11-30 | 2021-03-05 | 昆山丘钛微电子科技有限公司 | 一种数据存储方法、装置、设备及介质 |
| CN112527616A (zh) * | 2020-12-14 | 2021-03-19 | 北京达佳互联信息技术有限公司 | 数据处理方法及其装置 |
| CN112953791A (zh) * | 2021-01-29 | 2021-06-11 | 北京字节跳动网络技术有限公司 | 网络探测方法、装置、电子设备及计算机可读存储介质 |
| CN113821438A (zh) * | 2021-09-23 | 2021-12-21 | 统信软件技术有限公司 | 一种应用响应性能测试方法、系统及计算设备 |
| CN114398270A (zh) * | 2021-12-31 | 2022-04-26 | 广东辰奕智能科技股份有限公司 | 一种电子产品的样品测试系统及其测试方法 |
| CN116166554A (zh) * | 2023-02-24 | 2023-05-26 | 上海硬通网络科技有限公司 | 自动化测试系统、方法及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101042673A (zh) * | 2007-04-20 | 2007-09-26 | 北京航空航天大学 | 软件测试系统及测试方法 |
| CN101483562A (zh) * | 2009-02-19 | 2009-07-15 | 中兴通讯股份有限公司 | 一种例行测试的方法、系统及相关设备 |
| CN103425574A (zh) * | 2012-05-25 | 2013-12-04 | 腾讯科技（深圳）有限公司 | 一种测试应用程序的方法及装置 |
| CN104978263A (zh) * | 2014-04-09 | 2015-10-14 | 腾讯科技（深圳）有限公司 | 一种移动端应用程序测试方法及系统 |
| CN106484622A (zh) * | 2016-10-18 | 2017-03-08 | 网易（杭州）网络有限公司 | 测试方法、装置及系统 |
| US20170104645A1 (en) * | 2015-10-08 | 2017-04-13 | Fluke Corporation | Cloud based system and method for managing messages regarding cable test device operation |
| CN107643981A (zh) * | 2017-08-29 | 2018-01-30 | 顺丰科技有限公司 | 一种多元业务流程的自动化测试平台及运行方法 |
| CN108052451A (zh) * | 2017-12-26 | 2018-05-18 | 网易（杭州）网络有限公司 | 测试方法、系统、测试服务器、测试终端及存储介质 |
| CN108228438A (zh) * | 2017-12-29 | 2018-06-29 | 广州品唯软件有限公司 | 一种移动终端的性能测试方法及装置 |
| CN109144857A (zh) * | 2018-08-01 | 2019-01-04 | 武汉普利商用机器有限公司 | 跨平台的算法测试方法及系统 |
| CN109726100A (zh) * | 2018-04-19 | 2019-05-07 | 平安普惠企业管理有限公司 | 应用性能测试方法、装置、设备及计算机可读存储介质 |
| WO2019218458A1 (zh) * | 2018-05-16 | 2019-11-21 | 平安科技（深圳）有限公司 | 一种应用程序测试方法、装置、移动终端及介质 |
-
2019
- 2019-12-02 CN CN201911216085.6A patent/CN111008135B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101042673A (zh) * | 2007-04-20 | 2007-09-26 | 北京航空航天大学 | 软件测试系统及测试方法 |
| CN101483562A (zh) * | 2009-02-19 | 2009-07-15 | 中兴通讯股份有限公司 | 一种例行测试的方法、系统及相关设备 |
| CN103425574A (zh) * | 2012-05-25 | 2013-12-04 | 腾讯科技（深圳）有限公司 | 一种测试应用程序的方法及装置 |
| CN104978263A (zh) * | 2014-04-09 | 2015-10-14 | 腾讯科技（深圳）有限公司 | 一种移动端应用程序测试方法及系统 |
| US20170104645A1 (en) * | 2015-10-08 | 2017-04-13 | Fluke Corporation | Cloud based system and method for managing messages regarding cable test device operation |
| CN106484622A (zh) * | 2016-10-18 | 2017-03-08 | 网易（杭州）网络有限公司 | 测试方法、装置及系统 |
| CN107643981A (zh) * | 2017-08-29 | 2018-01-30 | 顺丰科技有限公司 | 一种多元业务流程的自动化测试平台及运行方法 |
| CN108052451A (zh) * | 2017-12-26 | 2018-05-18 | 网易（杭州）网络有限公司 | 测试方法、系统、测试服务器、测试终端及存储介质 |
| CN108228438A (zh) * | 2017-12-29 | 2018-06-29 | 广州品唯软件有限公司 | 一种移动终端的性能测试方法及装置 |
| CN109726100A (zh) * | 2018-04-19 | 2019-05-07 | 平安普惠企业管理有限公司 | 应用性能测试方法、装置、设备及计算机可读存储介质 |
| WO2019218458A1 (zh) * | 2018-05-16 | 2019-11-21 | 平安科技（深圳）有限公司 | 一种应用程序测试方法、装置、移动终端及介质 |
| CN109144857A (zh) * | 2018-08-01 | 2019-01-04 | 武汉普利商用机器有限公司 | 跨平台的算法测试方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| SHIKAI GUO 等: "A Real-Time Collaborative Testing Approach for Web Application: Via Multi-tasks Matching", 《2016 IEEE INTERNATIONAL CONFERENCE ON SOFTWARE QUALITY, RELIABILITY AND SECURITY COMPANION (QRS-C)》, pages 61 - 68 * |
| 张鹏: "基于消息转发软件的自动化测试研究", 《电子制作》, no. 310, pages 41 * |
| 王亢: "基于ATF的高端路由器测试平台的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 338 * |
| 钟书成: "基于录制回放的Android GUI自动化测试工具的设计与实现", pages 138 - 2707 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111913886A (zh) * | 2020-08-07 | 2020-11-10 | 平安科技（深圳）有限公司 | 手机app自动化测试方法、装置、设备及存储介质 |
| CN112445707A (zh) * | 2020-11-30 | 2021-03-05 | 昆山丘钛微电子科技有限公司 | 一种数据存储方法、装置、设备及介质 |
| CN112527616A (zh) * | 2020-12-14 | 2021-03-19 | 北京达佳互联信息技术有限公司 | 数据处理方法及其装置 |
| CN112953791A (zh) * | 2021-01-29 | 2021-06-11 | 北京字节跳动网络技术有限公司 | 网络探测方法、装置、电子设备及计算机可读存储介质 |
| CN112953791B (zh) * | 2021-01-29 | 2023-02-24 | 北京字节跳动网络技术有限公司 | 网络探测方法、装置、电子设备及计算机可读存储介质 |
| CN113821438A (zh) * | 2021-09-23 | 2021-12-21 | 统信软件技术有限公司 | 一种应用响应性能测试方法、系统及计算设备 |
| CN113821438B (zh) * | 2021-09-23 | 2024-06-14 | 统信软件技术有限公司 | 一种应用响应性能测试方法、系统及计算设备 |
| CN114398270A (zh) * | 2021-12-31 | 2022-04-26 | 广东辰奕智能科技股份有限公司 | 一种电子产品的样品测试系统及其测试方法 |
| CN116166554A (zh) * | 2023-02-24 | 2023-05-26 | 上海硬通网络科技有限公司 | 自动化测试系统、方法及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111008135B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111008135B (zh) | App测试方法、装置、设备及存储介质 | |
| CN109302522B (zh) | 测试方法、装置以及计算机系统和介质 | |
| CN110083543B (zh) | 回归测试方法、装置、电子设备及存储介质 | |
| US9135150B2 (en) | Automated execution of functional test scripts on a remote system within a unit testing framework | |
| CN104063305B (zh) | 智能终端软件的压力测试方法、装置和系统 | |
| CN108874268B (zh) | 用户行为数据的采集方法及装置 | |
| US20150370691A1 (en) | System testing of software programs executing on modular frameworks | |
| WO2022127196A1 (zh) | 应用识别方法、装置、设备及存储介质 | |
| CN113806212A (zh) | 应用程序异常定位方法、装置以及电子设备 | |
| CN111949509A (zh) | 应用软件的响应时间测试方法、装置、设备及存储介质 | |
| CN110677307B (zh) | 一种服务监测方法、装置、设备和存储介质 | |
| CN110597704A (zh) | 应用程序的压力测试方法、装置、服务器和介质 | |
| CN111274130A (zh) | 一种自动化测试方法、装置、设备及存储介质 | |
| CN113312036B (zh) | Web页面的大屏显示方法、装置、设备及存储介质 | |
| CN111475423A (zh) | 数据录入方法、装置、电子设备及可读存储介质 | |
| CN116756016A (zh) | 多浏览器测试方法、装置、设备、介质及程序产品 | |
| CN113641575B (zh) | 一种测试方法、装置、设备及存储介质 | |
| CN112769627B (zh) | 网络环境模拟方法、系统及计算机程序产品 | |
| CN110602162B (zh) | 终端取证方法、装置、设备和存储介质 | |
| CN110806981B (zh) | 一种应用程序测试方法、装置、设备和存储介质 | |
| CN114490337A (zh) | 调测方法、调测平台、设备及存储介质 | |
| CN115484200B (zh) | 一种埋点测试方法、装置、服务器、存储介质和系统 | |
| CN113282483A (zh) | 测试方法、相关装置、以及计算机介质 | |
| US9661362B1 (en) | Testing set top appliance boxes | |
| CN110022244B (zh) | 用于发送信息的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |