CN113806156A

CN113806156A - 测试方法、系统、设备以及存储介质

Info

Publication number: CN113806156A
Application number: CN202111109180.3A
Authority: CN
Inventors: 李宏铭; 常全福; 奚磊
Original assignee: Shenzhen TetrasAI Technology Co Ltd
Current assignee: Shenzhen TetrasAI Technology Co Ltd
Priority date: 2021-09-22
Filing date: 2021-09-22
Publication date: 2021-12-17

Abstract

本申请提出一种测试方法、系统、设备以及存储介质。其中，所述方法可应用于测试服务端。所述测试服务端与消息队列遥测传输MQTT服务端连接，所述MQTT服务端与多台终端无线连接。所述方法包括：获取待测程序以及待测终端的属性信息；调用所述MQTT服务端，将所述待测程序以及所述属性信息发送至所述多台终端，其中，所述多台终端用于根据所述属性信息判断自身是否为待测终端，并在确定自身为待测终端的情形下，基于所述待测程序执行测试任务。由此无需中间PC硬件，从而简化测试系统并降低硬件投入。可以通过低功耗的IOT协议，降低测试服务端资源消耗，以及利用MQ实现信息异步传输，减轻测试服务端高并发的压力，提升测试效率。

Description

测试方法、系统、设备以及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种测试方法、系统、设备以及存储介质。

背景技术

完成程序开发后，需要将程序部署于多台终端(例如，手机)进行测试。所述测试可以包括功能测试，兼容性测试，稳定性测试等。

目前采用的测试系统包括两级拓扑。其中第一级拓扑：多台PC(personnelcomputer，个人计算机)分别作为信息中转节点，通过有线连接的方式与多个终端连接；第二级拓扑：将所述多台终端与测试服务端连接。

在所述测试系统中，所述测试服务端可以通过多台PC向多台终端发送程序测试任务(包括待测程序等信息)以完成测试。

不难发现，这样的测试系统由于包括两级拓扑而存在结构繁琐，硬件投入大，测试效率低，测试服务端压力大的缺陷。

发明内容

有鉴于此，本申请公开一种测试方法，应用于测试服务端。所述测试服务端与消息队列遥测传输MQTT服务端连接，所述MQTT服务端与多台终端无线连接。所述方法包括：获取待测程序以及待测终端的属性信息；调用所述MQTT服务端，将所述待测程序以及所述属性信息发送至所述多台终端，其中，所述多台终端用于根据所述属性信息判断自身是否为待测终端，并在确定自身为待测终端的情形下，基于所述待测程序执行测试任务。

该方法中，测试服务端通过MQTT服务端与测试终端无线连接，与有线连接的两级拓扑相比，无需中间PC硬件，从而简化测试系统并降低硬件投入。该方法还采用MQTT机制进行待测程序与属性信息传输，从而可以通过低功耗的IOT协议，降低测试服务端资源消耗，并利用MQ实现信息异步传输，减轻测试服务端高并发的压力，提升测试效率。

此外，前述方案中还可以通过属性信息从多台终端中选择待测终端，提升待测终端选择的便捷性并且实现特定属性下的程序测试，提升测试灵活性。

在一些实施例中，所述调用所述MQTT服务端，将所述待测程序以及所述属性信息发送至所述多台终端，包括：将所述待测程序以及待测终端的属性信息发送至所述MQTT服务端，用于所述MQTT服务端将所述待测程序以及待测终端的属性信息发送至所述多台终端。

由此对于测试服务端只需将信息法中至MQTT服务端，由MQTT服务端负责将消息发送至多台终端，从而可以降低测试服务端高并发的压力。

在一些实施例中，所述多台终端预先在所述MQTT服务端订阅与预设主题相关的消息；所述将所述待测程序以及待测终端的属性信息发送至所述MQTT服务端，包括：基于所述待测程序以及待测终端的属性信息，生成所述预设主题的消息；将所述预设主题的消息发布至所述MQTT服务端；所述MQTT服务端将所述待测程序以及待测终端的属性信息发送至所述多台终端，包括：所述MQTT服务端将所述预设主题的消息发送至所述多台终端。

由于MQTT机制一方面遵循低功耗的IOT协议，因而可以降低测试服务端资源消耗；另一方面，该机制可以通过MQ(Message Queue，消息队列)方式实现消息的上传与下载实现异步，从而可以降低测试服务端高并发的压力。

在一些实施例中，在获取待测程序以及待测终端的属性信息之前，所述方法还包括：在配置测试任务的情况下，输出测试界面；所述测试界面包括测试选项；其中，配置所述测试任务所需的所述待测程序以及所述待测终端的属性信息由所述测试选项触发。

由此通过触发界面提供的测试选项进行测试任务配置，可以简便配置测试任务流程，提升任务配置效率。

在一些实施例中，所述测试选项包括上传选项，以及与多种属性信息分别对应的属性选项；所述获取待测程序以及待测终端的属性信息，包括：响应于用户触发所述上传选项，获取所述用户上传的待测程序；响应于用户触发任意属性选项，将所述任意属性选项对应的属性信息确定为待测终端的属性信息。

由此通过为用户提供支持待测程序一键上传，属性信息一键选择的测试平台，可以方便用户进行测试任务配置(包括上传待测程序与选择待测终端属性信息)，从而提升测试效率。

在一些实施例中，所述测试服务端包括测试类型与待测终端的属性信息之间的对应关系；所述测试选项还包括与多种测试类型分别对应的测试类型选项；所述获取待测终端的属性信息的方法，包括：响应于所述用户触发任意测试类型选项，将与所述任意测试类型选项指示的测试类型对应的属性信息确定为待测终端的属性信息。

由此可以无需用户选择属性信息，减少用户繁琐操作便于用户高效完成测试任务的配置。

在一些实施例中，所述属性信息包括多种维度下的属性信息；所述测试界面包括与所述多种维度分别对应的区域；其中，同一维度的属性信息对应的属性选项聚集在同一区域。

由此可以将同种维度的属性信息对应的属性选项聚集在同一区域，不同维度的属性信息对应的属性选项聚集在不同区域，从而方便用户对不同维度的属性进行区分，便于用户选择属性选项，提升测试效率。

在一些实施例中，所述方法还包括：接收所述多台终端中的待测终端发送的运行数据；所述运行数据包括所述待测终端在运行所述待测程序过程中生成的数据；通过所述测试界面展示所述运行数据，所述运行数据用于实时监控待测程序在待测终端中的运行状况。

由此可以在测试界面展示待测终端在测试过程中的运行状况，便于进行测试监控。

在一些实施例中，所述测试服务端存储所述多台终端分别对应的工作状态；所述工作状态包括繁忙状态与空闲状态；所述方法还包括：响应于接收到所述运行数据，将所述待测终端对应的工作状态置为繁忙状态；和/或，周期性筛选出所述多台终端中处于空闲状态的目标终端；通过所述测试界面展示所述目标终端的工作状态与属性信息，根据所述目标终端的工作状态与属性信息，在所述目标终端中选择待测终端。

由此便于在测试界面展示空闲的终端，隐藏繁忙的终端，便于进行待测终端的选择。

在一些实施例中，所述测试服务端包括与故障类型对应的存储空间；所述方法还包括：接收所述多台终端中的待测终端发送的测试报告；若所述测试报告指示测试失败，将所述测试报告的向量化处理结果输入故障分析模型，得到针对所述测试报告的故障类型；其中，所述故障分析模型包括基于标注故障类型信息的测试报告样本训练得到的神经网络模型；将所述测试报告存储至与所述故障类型对应的存储空间。

由此可以根据测试故障类型对测试报告进行分类存储，便于分类查阅以及故障分析。

本申请还提出一种测试方法，应用于终端；所述终端与MQTT服务端无线连接，所述MQTT服务端与所述测试服务端连接；所述方法包括：接收所述MQTT服务端发送的待测程序以及待测终端的属性信息，其中，所述待测程序以及所述属性信息是所述测试服务端发送给所述MQTT服务器的；

根据所述属性信息，判断所述终端是否为待测终端；在所述终端为待测终端的情形下，基于所述待测程序执行测试任务。

在前述方案中，测试服务端通过MQTT服务端与测试终端无线连接，与有线连接的两级拓扑相比，无需中间PC硬件，从而简化测试系统并降低硬件投入。该方法还采用MQTT机制进行待测程序与属性信息传输，从而可以通过低功耗的IOT协议，降低测试服务端资源消耗，并利用MQ实现信息异步传输，减轻测试服务端高并发的压力，提升测试效率。

在一些实施例中，所述方法还包括：针对所述待测程序的运行过程，生成运行数据；将所述运行数据发生至所述测试服务端，其中，所述测试服务端通过输出的测试界面展示所述运行数据，所述运行数据用于实时监控待测程序在待测终端中的运行状况。

在一些实施例中，所述方法还包括：基于测试结果生成测试报告；将所述测试报告发送至所述测试服务端，其中，若所述测试报告指示测试失败，由所述测试服务端将所述测试报告的向量化处理结果输入故障分析模型，得到针对所述测试报告的故障类型，其中，所述故障分析模型包括基于标注故障类型信息的测试报告样本训练得到的神经网络模型，并将所述测试报告存储至与所述故障类型对应的存储空间。

本申请还提出一种测试系统，包括测试服务端，与所述测试服务端连接的MQTT服务端，与所述MQTT服务端无线连接的多台终端；其中，所述测试服务端，用于获取待测程序以及待测终端的属性信息，以及，将所述待测程序以及所述属性信息发送至所述MQTT服务端；所述MQTT服务端，用于将所述待测程序以及所述属性信息发送至所述多台终端；所述多台终端中的任意终端，用于接收所述待测程序以及所述属性信息，根据所述属性信息，判断所述任意终端是否为待测终端，以及在所述任意终端为待测终端的情形下，基于所述待测程序执行测试任务。

本申请还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如前述任一实施例示出的测试方法。

本申请还提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如前述任一实施例示出的测试方法。

在关于前述系统、电子设备与可读存介质记载的相关方案中，测试服务端通过MQTT服务端与测试终端无线连接，与有线连接的两级拓扑相比，无需中间PC硬件，从而简化测试系统并降低硬件投入。该方法还采用MQTT机制进行待测程序与属性信息传输，从而可以通过低功耗的IOT协议，降低测试服务端资源消耗，并利用MQ实现信息异步传输，减轻测试服务端高并发的压力，提升测试效率。此外还可以通过属性信息从多台终端中选择待测终端，提升待测终端选择的便捷性并且实现特定属性下的程序测试，提升测试灵活性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请示出的一种测试方法的方法流程示意图；

图2为本申请示出的一种测试报告存储流程示意图；

图3为本申请示出的一种测试报告存储方法的流程示意图；

图4为本申请示出的一种运行状况监控方法的流程示意图；

图5为本申请示出的一种测试方法的方法流程示意图；

图6为本申请示出的一种测试系统的结构示意图；

图7为本申请示出的一种数据交互示意图；

图8为本申请示出的一种数据处理装置的结构示意图；

图9为本申请示出的一种电子设备的硬件结构示意图。

具体实施方式

下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请提出一种测试方法。该方法中，测试服务端通过MQTT服务端与测试终端无线连接，与有线连接的两级拓扑相比，无需中间PC硬件，从而简化测试系统并降低硬件投入。该方法还采用MQTT机制进行待测程序与属性信息传输，从而可以通过低功耗的IOT协议，降低测试服务端资源消耗，并利用MQ实现信息异步传输，减轻测试服务端高并发的压力，提升测试效率。

所述测试服务端与可以与MQTT(Message Queuing Telemetry Transport，消息队列遥测传输)服务端连接，所述MQTT服务端与多台终端无线连接。

所述测试服务端与所述MQTT服务端可以分别集成在两个不同的服务器或服务器集群中，或者集成在相同的服务器或服务器集群中。所述测试服务端与所述MQTT服务端可以通过有线或无线的方式连接。所述有线连接可以包括USB(Universal Serial Bus,通用串行总线)、COM(cluster communication port，串行通信端口)等连接方式。所述无线连接可以包括蓝牙，Wi-fi等方式。

所述测试服务端，可以用于基于待测程序分配测试任务。所述终端可以依据待测程序执行测试任务。

该方法可以通过所述测试服务端与所述终端之间的配合完成待测程序的测试。所述服务端可以是由服务器、服务器集群或分布式服务器集群构建的物理服务端或云端。所述终端可以是任意类型的终端。例如，可以是笔记本电脑，计算机，服务器，手机，PDA(Personal Digital Assistant，掌上电脑)等。

以下以执行主体分别为所述测试服务端与终端时，对该测试方法进行说明。

以下以执行主体为测试服务端进行说明。

请参见图1，图1为本申请示出的一种测试方法的方法流程示意图。该方法可以应用于测试服务端。所述终端与MQTT服务端无线连接，所述MQTT服务端与所述测试服务端无线连接。如图1所示，所述方法可以包括S102-S104。

S102，获取待测程序以及待测终端的属性信息。

所述待测程序是指需要进行测试的程序。例如，所述待测程序可以是由开发人员开发完成待测的程序。

所述待测终端是指从与所述多台终端中挑选出的需要运行所述待测程序以进行程序测试的终端。

所述待测终端的属性信息，是指待测终端包括的至少一个维度的属性信息。通过该属性信息，可以将所述多台终端中具备该属性信息的终端挑选出作为待测终端。

在一些实施例中，根据不同的测试需求可以选择不同的属性信息，将待测程序在具备该属性信息的待测终端中运行，实现测试。例如，在兼容性测试中，可以选择某几类操作系统(比如，安卓系统，苹果系统，塞班系统等)，即测试待测程序在不同操作系统中的兼容性。再例如，在功能性测试中，可以选择某一品牌(比如，苹果)的终端，测试待测程序的功能。

在一些实施例中，所述属性信息可以包括以下中至少一种维度：操作系统；品牌；分辨率；型号。在进行程序测试时，通过指定至少一个维度下的属性信息，可以从所述多台终端中挑选出至少一台终端作为待测终端参与测试。由此通过多种维度的属性信息挑选待测终端，可以使待测程序在具备各种属性的待测终端中进行测试，满足多种测试需求提升测试灵活性。

在一些实施例中，用户可以上传待测程序以及根据测试需求确定的待测终端的属性信息。在执行S102时，所述测试服务端可以获取用户上传的所述待测程序与待测终端的属性信息。

S104，调用所述MQTT服务端，将所述待测程序以及所述属性信息发送至所述多台终端，其中，所述多台终端用于根据所述属性信息判断自身是否为待测终端，并在确定自身为待测终端的情形下，基于所述待测程序执行测试任务。

在一些实施例中，在执行S104时，所述测试服务端可以将所述待测程序以及待测终端的属性信息发送至所述MQTT服务端，用于所述MQTT服务端将所述待测程序以及待测终端的属性信息发送至所述多台终端。

在一些实施例中，所述MQTT服务端中搭载了MQTT机制；所述多台终端预先在所述MQTT服务端订阅与预设主题相关的消息。

所述测试服务端可以基于所述待测程序以及待测终端的属性信息，生成所述预设主题的消息；然后将所述预设主题的消息发布至所述MQTT服务端。所述MQTT服务端可以将所述预设主题的消息发送至所述多台终端。

举例来说，与所述MQTT服务端连接的多台终端可以在该服务器中订阅与测试主题相关的主题。当所述MQTT服务端接收到所述测试服务端发生的测试主题的消息后，即可将该消息发送至订阅该主题的多台终端中。

所述多台终端在接收到该测试主题的消息后，可以获取其中的属性信息，并将获取的属性信息与自身的属性信息进行匹配。如果未匹配中，则可以判断自身并非待测终端，即可不对该消息做出响应。如果匹配中，则可以确定自身为待测终端，然后获取待测程序，并运行该程序以执行测试任务。

在一些实施例中，所述测试服务端存储测试终端生成的测试报告，以便于后续查阅。

请参见图2，图2为本申请示出的一种测试报告存储流程示意图。待测终端在完成测试后可以向所述测试服务端发送测试报告。如图2所示，所述测试服务端可以执行S202-S204。

其中，S202，接收所述多台终端中的待测终端发送的测试报告。

所述测试报告可以用于指示待测终端针对待测程序的运行结果。所述测试报告可以包括测试是否成功，测试时长，待测终端型号等与测试相关的信息。

在一些实施例中，待测终端可以通过调用所述测试服务端提供的报告上传接口，将该测试报告作为参数传递给测试服务端。所述测试服务端可以通过该接口接收该测试报告。

S204，存储所述测试报告。

在一些实施例中，所述测试服务端本地或与所述测试服务端对应的存储服务端可以维护数据库和/或文件库。该数据库可以key-value的形式对测试报告内容进行存储。该文件库可以将测试报告以文件形式存储。所述存储服务端可以是云端。

由此可以便于后续对测试报告进行查阅。

在一些实施例中，可以根据测试故障类型对测试报告进行分类存储，便于分类查阅以及故障分析。所述测试服务端包括与故障类型对应的存储空间。

请参见图3，图3为本申请实施例示出的一种测试报告存储方法的流程示意图。如图3所示，该方法可以包括S302-S306。

其中，S302，接收所述多台终端中的待测终端发送的测试报告。

关于获取测试报告的说明可以参照前述S202，在此不做详述。

S304，若所述测试报告指示测试失败，将所述测试报告的向量化处理结果输入故障分析模型，得到针对所述测试报告的故障类型；其中，所述故障分析模型包括基于标注故障类型信息的测试报告样本训练得到的神经网络模型。

所示故障分析模型，包括基于神经网络生成的模型。该模型用于对测试报告的故障类型进行分类。

在一些实施例中，可以先获取标注故障类型信息的测试报告样本，所述测试报告样本可以包括对测试报告样例进行向量化处理(例如，利用单词到序列词袋模型进行文本向量化处理)得到的文本向量。将测试报告样本包括的文本向量输入所述故障分析模型，得到测试报告样本的预测故障类型，然后基于标注的故障类型与预测的故障类型，调整所述故障分析模型的参数，直至该模型收敛。

完成模型训练后，该故障分析模型即可用于进行测试报告的故障类型分类。

S306，将所述测试报告存储至与所述故障类型对应的存储空间。

可以预先在所述测试服务端中分配与故障类型对应的存储空间，然后将测试报告存储至对应的存储空间。由此可以根据测试故障类型对测试报告进行分类存储，便于分类查阅以及故障分析。

在一些实施例中，所述测试服务端还可以在配置测试任务的情况下，输出测试界面；所述测试界面包括测试选项；其中，配置所述测试任务所需的所述待测程序以及所述待测终端的属性信息由所述测试选项触发。

在一些实施例中，所述测试选项可以包括上传选项，以及与多种属性信息分别对应的属性选项。

在一些实施例中，所述测试服务端可以通过页面或者应用程序的方式向用户展示该测试界面。该界面中可以包括所述上传选项以及与多种属性信息分别对应的属性选项。

在一些实施例中，供用户选择的属性信息可以包括多种维度下的属性信息；所述测试平台对应的界面可以包括与所述多种维度分别对应的区域；其中，同一维度的属性信息对应的属性选项聚集在同一区域。由此可以将同种维度的属性信息对应的属性选项聚集在同一区域，不同维度的属性信息对应的属性选项聚集在不同区域，从而方便用户对不同维度的属性进行区分，便于用户选择属性选项，提升测试效率。

所述测试服务端在执行S102时，可以响应于用户触发所述上传选项，获取所述用户上传的待测程序。

例如，用户可以在所述测试平台对应的界面中触发上传选项，即将待测程序上传至测试服务端。所述测试服务端可以在接收到上传选项的触发操作后，接收待测程序。

所述测试服务端在执行S102时，可以响应于用户触发任意属性选项，将所述任意属性选项对应的属性信息确定为待测终端的属性信息。

例如，用户可以在所述界面中触发本次测试所需的待测终端的属性信息对应的属性选项。所述测试服务端可以在接收到针对属性选项的触发操作后，可以将与触发的属性选项对应的属性信息作为待测终端的属性信息。

在一些实施例中，所述测试服务端包括测试类型与待测终端的属性信息之间的对应关系；所述测试选项还包括与多种测试类型分别对应的测试类型选项；所述获取待测终端的属性信息的方法，包括：

响应于所述用户触发任意测试类型选项，将与所述任意测试类型选项指示的测试类型对应的属性信息确定为待测终端的属性信息。

在一些实施例中，可以预先在所述测试服务端中维护测试类型与可选的待测终端的属性信息的对应关系。例如，功能性测试与终端品牌属性信息对应。再例如，兼容性测试与系统版本属性信息对应。

所述界面可以向用户提供与多种测试类型分别对应的测试类型选项。用户可以根据业务需求选择相应的测试类型选项。所述测试服务端以在感知用户触发任意测试类型选项后，可以获知用户将进行该类型的测试，即可通过查询维护的所述对应关系，将与用户选择的测试类型对应的属性信息，作为待测终端的属性信息。由此可以无需用户选择属性信息，减少用户繁琐操作便于用户高效完成测试任务的配置。

在一些实施例中，可以在测试界面展示待测终端在测试过程中的运行状况，便于进行测试监控。

请参见图4，图4为本申请示出的一种运行状况监控方法的流程示意图。如图4所示，所述方法可以包括S402-S404。

其中，S402，接收所述多台终端中的待测终端发送的运行数据；所述运行数据包括所述待测终端在运行所述待测程序过程中生成的数据。

本例中，待测终端可以在运行程序过程中生成运行数据(例如测试日志)，然后将所述运行数据通过接口调用的方式发送至测试服务端。该测试服务端可以通过被调用的接口接收所述运行数据。在一些实施例中，为了保证数据安全性，可以通过非对称加密方式对所述运行数据进行加密，通过安全通道发送该运行数据。

S404，通过所述测试界面展示所述运行数据，所述运行数据用于实时监控待测程序在待测终端中的运行状况。

所述测试界面可以预先分配与运行数据对应的窗口，可以将全部的运行数据，或对所述运行数据中的关键数据进行优化处理后得到数据，在所述窗口展示所述运行数据。

在一些实施例中，可以在测试界面展示空闲的终端，隐藏繁忙的终端，便于进行待测终端的选择。

所述测试服务端可以存储所述多台终端分别对应的工作状态；所述工作状态包括繁忙状态与空闲状态。

所述测试服务端响应于接收到所述运行数据，将所述待测终端对应的工作状态置为繁忙状态。

所述运行数据可以指示对应的终端ID。接收到该终端的运行数据，即说明该终端处于繁忙状态，可以将该终端对应的工作状态置为繁忙。由此可以实现准确维护终端工作状态。

所述测试服务端可以周期性筛选出所述多台终端中处于空闲状态的目标终端；然后通过所述测试界面展示所述目标终端的工作状态与属性信息；之后可以根据所述目标终端的工作状态与属性信息，在所述目标终端中选择待测终端。

所述测试界面可以包括预先分配的用于展示空闲状态的终端信息的窗口。所述测试服务端可以将空闲状态的目标终端的终端信息(包括工作状态与属性信息)展示在该窗口。

在一些实施例中，用户可以从展示的处于空闲状态的目标终端中，通过点击的方式选择待测终端。所述测试服务端可以基于用户的点击操作，获取用户点击的目标终端的工作状态与属性信息，并在验证用户点击的目标终端的工作状态确实为空闲状态的情形下，将用户点击的目标终端确定为待测终端，并将用户点击的目标终端的属性信息确定为待测终端的属性信息。

在一些实施例中，可以预先在所述测试服务端中维护测试类型与可选的待测终端的属性信息的对应关系。例如，功能性测试与终端品牌属性信息对应。再例如，兼容性测试与系统版本属性信息对应。所述测试服务端可以基于用户选择的测试类型，通过查询所述对应关系，得到用于测试的待选终端集合。之后可以确定待选终端集合与确定的空闲状态的目标终端集合的交集，得到处于空闲状态的待选终端，以得到待测终端。还可以将这些空闲状态的待选终端的属性信息，作为待测终端的属性信息。

本例中可以将空闲的目标终端的工作状态与属性信息通过该窗口进行展示。由此便于在测试界面展示空闲的终端，隐藏繁忙的终端，便于进行待测终端的选择。

以下执行主体为终端进行说明。所述终端为测试系统中的多台终端中的任意终端。

请参见图5，图5为本申请示出的一种测试方法的方法流程示意图。该方法可以应用于终端。所述终端与MQTT服务端无线连接，所述MQTT服务端与所述测试服务端连接。如图5所示，所述方法可以包括S502-S506。

S502，接收所述MQTT服务端发送的待测程序以及待测终端的属性信息，其中，所述待测程序以及所述属性信息是所述测试服务端发送给所述MQTT服务器的。

所述测试服务端在获取待测程序以及待测终端的属性信息之后，可以生成测试主题的消息并将该消息发送指MQTT服务端。

所述终端可以预先在所述MQTT服务端中订阅测试主题的消息。该MQTT服务端在接收到测试主题的消息后，可以将该消息发送至订阅该主题的终端。

所述终端可以接收该消息。

S504，根据所述属性信息，判断所述终端是否为待测终端。

所述终端可以获取自身属性信息，并从接收的消息中解析出待测终端的属性信息。然后可以对二者进行匹配。如果二者匹配，则可以判断自身为待测终端。在一些实施例中，所述自身属性信息可能包括多种维度，在进行前述匹配时，可以筛选出与解析出的属性信息维度相同的自身属性信息，完成匹配。

S506，在判断自身为待测终端的情形下，基于所述待测程序执行测试任务。

在一些实施例中，完成测试任务后，终端还可以基于测试结果生成测试报告；然后将所述测试报告发送至所述测试服务端，以使所述测试服务端接收所述测试报告，并存储所述测试报告。其具体说明可以参照前述S202-S204，在此不坐下讲述。由此便于后续查询测试报告。

在一些实施例中，所述终端针对所述待测程序的运行过程，生成运行数据。然后可以将所述运行数据发生至所述测试服务端，其中，所述测试服务端通过输出的测试界面展示所述运行数据，所述运行数据用于实时监控待测程序在待测终端中的运行状况。由此可以在测试界面展示待测终端在测试过程中的运行状况，便于进行测试监控。

在一些实施例中，所述终端可以基于测试结果生成测试报告。然后可以将所述测试报告发送至所述测试服务端，其中，若所述测试报告指示测试失败，由所述测试服务端将所述测试报告的向量化处理结果输入故障分析模型，得到针对所述测试报告的故障类型，其中，所述故障分析模型包括基于标注故障类型信息的测试报告样本训练得到的神经网络模型，并将所述测试报告存储至与所述故障类型对应的存储空间。由此可以根据测试故障类型对测试报告进行分类存储，便于分类查阅以及故障分析。

以下通过兼容性测试场景为例进行实施例说明。

所述兼容性测试，需要测试待测程序在安卓11.0版本的手机中的兼容性。

请参见图6，图6为本申请示出的一种测试系统的结构示意图。图6仅为示意性说明，与图6示出的架构相似的架构均是本申请公开的范围。

该架构包括测试服务端601，MQTT(Message Queuing Telemetry Transport，消息队列遥测传输)602以及多台手机603(包括手机6031，手机6032，手机603n等等)。其中，所述测试服务端601与所述MQTT服务端602连接，所述MQTT服务端602与多台手机无线连接。

所述测试服务端601通过页面的形式向用户展示测试平台的界面。所述界面中包括上传选项，以及与多种属性信息分别对应的属性选项。所述多种属性信息可以包括多种手机品牌信息，多种系统版本信息，多种分辨率信息，多种手机型号信息。其中，同种维度的属性信息处于界面的同一区域。由此便于用户进行属性选项的选择，提升测试效率。

请参见图7，图7为本申请示出的一种数据交互示意图。如图5所示，所述交互包括S71-S78。

其中，S71，用户可以在该界面中选择上传选项以及与安卓11.0版本对应的属性选项。

S72，所述测试服务端601可以响应于用户的触发操作，接收待测程序，以及将用户触发的安卓11.0版本对应的属性选项作为待测手机的属性信息。

S73，所述测试服务端601可以基于待测程序与所述属性信息生成测试主题的消息，并将该消息发送至MQTT服务端602。

S74，所述MQTT服务端602可以接收该消息，并将该消息发送至订阅测试主题消息的手机中。

S75，所述手机可以解析出该消息中的属性信息，获取自身系统版本信息，如果自身系统为安卓11.0版本，则可以将自身确定为待测手机。

S76，所述手机获取该消息中的属性信息，进行测试，得到测试结果。其中，在进行执行测试任务的中间过程，也可以发送至所述测试服务端。所述测试服务端可以通过提供测试过程监控窗口，便于用户实时监控待测程序的测试过程。

S77，所述手机基于该测试结果生成测试报告，并通过测试服务端601提供的接口，将该测试报告发送至测试服务端601。

S78，所述测试服务端601将该测试报告存储在数据库中，便于后续查询。

在一些实施例中，所述测试服务端601可以通过所述测试平台提供测试报告查询选项。通过该查询选项可以便于测试报告的查询。

在前述方案中，测试服务端601通过MQTT服务端602与测试手机无线连接，与有线连接的两级拓扑相比，无需中间PC硬件，从而简化测试系统并降低硬件投入。该方法还采用MQTT机制进行待测程序与属性信息传输，从而可以通过低功耗的IOT协议，降低测试服务端601资源消耗，并利用MQ实现信息异步传输，减轻测试服务端601高并发的压力，提升测试效率。

此外，前述方案中还可以通过属性信息从多台手机中选择安卓11.0版本的待测手机，提升待测手机选择的便捷性并且实现特定属性下的程序测试，提升测试灵活性。

本申请还提出一种测试系统。该系统可以包括测试服务端，与所述测试服务端连接的MQTT服务端，与所述MQTT服务端无线连接的多台终端。其中，所述测试服务端，所述MQTT服务端以及所述多台终端中的任意终端执行的步骤可以参照执行前述实施例，在此不做详述。

该系统中，测试服务端通过MQTT服务端与测试终端无线连接，与有线连接的两级拓扑相比，无需中间PC硬件，从而简化测试系统并降低硬件投入。该方法还采用MQTT机制进行待测程序与属性信息传输，从而可以通过低功耗的IOT协议，降低测试服务端资源消耗，并利用MQ实现信息异步传输，减轻测试服务端高并发的压力，提升测试效率。

与前述实施例相应的，本申请提出一种测试装置80。该装置应用于测试服务端；所述测试服务端与消息队列遥测传输MQTT服务端连接，所述MQTT服务端与多台终端无线连接。

请参见图8，图8为本申请示出的一种数据处理装置的结构示意图。

如图8所示，所述装置80可以包括：

获取模块81，用于获取待测程序以及待测终端的属性信息；

调用模块82，用于调用所述MQTT服务端，将所述待测程序以及所述属性信息发送至所述多台终端，其中，所述多台终端用于根据所述属性信息判断自身是否为待测终端，并在确定自身为待测终端的情形下，基于所述待测程序执行测试任务。

在一些实施例中，所述调用模块82，具体用于：

将所述待测程序以及待测终端的属性信息发送至所述MQTT服务端，用于所述MQTT服务端将所述待测程序以及待测终端的属性信息发送至所述多台终端。

在一些实施例中，所述多台终端预先在所述MQTT服务端订阅与预设主题相关的消息；

所述调用模块82，具体用于：

基于所述待测程序以及待测终端的属性信息，生成所述预设主题的消息；

将所述预设主题的消息发布至所述MQTT服务端；

所述MQTT服务端将所述待测程序以及待测终端的属性信息发送至所述多台终端，包括：

所述MQTT服务端将所述预设主题的消息发送至所述多台终端。

在一些实施例中，所述装置80还包括：

提供模块，用于在配置测试任务的情况下，输出测试界面；所述测试界面包括测试选项；其中，配置所述测试任务所需的所述待测程序以及所述待测终端的属性信息由所述测试选项触发。

在一些实施例中，所述测试选项包括上传选项，以及与多种属性信息分别对应的属性选项；所述获取模块81，具体用于：

响应于所述用户触发所述上传选项，获取用户上传的待测程序；

响应于用户触发任意属性选项，将所述任意属性选项对应的属性信息确定为待测终端的属性信息。

在一些实施例中，所述测试服务端包括测试类型与待测终端的属性信息之间的对应关系；所述测试选项还包括与多种测试类型分别对应的测试类型选项；所述获取模块81，具体用于：

在一些实施例中，所述属性信息包括多种维度下的属性信息；

所述测试界面包括与所述多种维度分别对应的区域；其中，同一维度的属性信息对应的属性选项聚集在同一区域。

在一些实施例中，所述装置80还包括：

第一接收模块，用于接收所述多台终端中的待测终端发送的运行数据；所述运行数据包括所述待测终端在运行所述待测程序过程中生成的数据；

第一展示模块，用于通过所述测试界面展示所述运行数据，所述运行数据用于实时监控待测程序在待测终端中的运行状况。

在一些实施例中，所述测试服务端存储所述多台终端分别对应的工作状态；所述工作状态包括繁忙状态与空闲状态；所述装置80还包括：

设置模块，用于响应于接收到所述运行数据，将所述待测终端对应的工作状态置为繁忙状态；和/或，

第二展示模块，用于周期性筛选出所述多台终端中处于空闲状态的目标终端；

通过所述测试界面展示所述目标终端的工作状态与属性信息，根据所述目标终端的工作状态与属性信息，在所述目标终端中选择待测终端。

在一些实施例中，所述测试服务端包括与故障类型对应的存储空间；所述装置80还包括：

第二接收模块，用于接收所述多台终端中的待测终端发送的测试报告；

故障分类模块，用于若所述测试报告指示测试失败，将所述测试报告的向量化处理结果输入故障分析模型，得到针对所述测试报告的故障类型；其中，所述故障分析模型包括基于标注故障类型信息的测试报告样本训练得到的神经网络模型；

存储模块，用于将所述测试报告存储至与所述故障类型对应的存储空间。

本申请还提出一种测试装置。应用于终端。所述终端与MQTT服务端无线连接，所述MQTT服务端与所述测试服务端连接。

所述装置包括：

接收模块，用于接收所述MQTT服务端发送的待测程序以及待测终端的属性信息，其中，所述待测程序以及所述属性信息是所述测试服务端发送给所述MQTT服务器的；

判断模块，根据所述属性信息，判断所述终端是否为待测终端；

执行模块，用于在判断自身为待测终端的情形下，基于所述待测程序执行测试任务。

在一些实施例中，所述装置还包括：

第一生成模块，用于针对所述待测程序的运行过程，生成运行数据；

第一发送模块，用于所述运行数据发生至所述测试服务端，其中，所述测试服务端通过输出的测试界面展示所述运行数据，所述运行数据用于实时监控待测程序在待测终端中的运行状况。

在一些实施例中，所述装置还包括：

第二生成模块，用于基于测试结果生成测试报告；

第二发送模块，用于将所述测试报告发送至所述测试服务端，其中，若所述测试报告指示测试失败，由所述测试服务端将所述测试报告的向量化处理结果输入故障分析模型，得到针对所述测试报告的故障类型，其中，所述故障分析模型包括基于标注故障类型信息的测试报告样本训练得到的神经网络模型，并将所述测试报告存储至与所述故障类型对应的存储空间。本申请示出的测试装置的实施例可以应用于电子设备上。所述电子设备可以是前述测试系统中的测试服务端，MQTT服务端或终端。相应地，本申请公开了一种电子设备，该设备可以包括：处理器。

用于存储处理器可执行指令的存储器。

其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现前述任一实施例示出的测试方法。

请参见图9，图9为本申请示出的一种电子设备的硬件结构示意图。

如图9所示，该电子设备可以包括用于执行指令的处理器，用于进行网络连接的网络接口，用于为处理器存储运行数据的内存，以及用于存储状态切换装置对应指令的非易失性存储器。

其中，所述装置的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图9所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

可以理解的是，为了提升处理速度，所述测试装置对应指令也可以直接存储于内存中，在此不作限定。

本申请提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可以用于使处理器执行前述任一实施例示出的测试方法。

本领域技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。

本申请中记载的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”包括三种方案：A、B、以及“A和B”。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

所述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本申请中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本申请中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本申请中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理系统。通常，中央处理系统将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理系统以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及0xCD_00ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本申请包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本申请内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，所述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请一个或多个实施例的较佳实施例而已，并不用以限制本申请一个或多个实施例，凡在本申请一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请一个或多个实施例保护的范围之内。

Claims

1.一种测试方法，应用于测试服务端；其特征在于，所述测试服务端与消息队列遥测传输MQTT服务端连接，所述MQTT服务端与多台终端无线连接；所述方法包括：

获取待测程序以及待测终端的属性信息；

调用所述MQTT服务端，将所述待测程序以及所述属性信息发送至所述多台终端，其中，所述多台终端用于根据所述属性信息判断自身是否为待测终端，并在确定自身为待测终端的情形下，基于所述待测程序执行测试任务。

2.根据权利要求1所述的方法，其特征在于，所述调用所述MQTT服务端，将所述待测程序以及所述属性信息发送至所述多台终端，包括：

将所述待测程序以及所述属性信息发送至所述MQTT服务端，其中，由所述MQTT服务端将所述待测程序以及所述属性信息发送至所述多台终端。

3.根据权利要求2所述的方法，其特征在于，所述将所述待测程序以及所述属性信息发送至所述MQTT服务端，包括：

基于所述待测程序以及所述属性信息，生成预设主题的消息；

将所述预设主题的消息发布至所述MQTT服务端；

所述由所述MQTT服务端将所述待测程序以及所述属性信息发送至所述多台终端，包括：

由所述MQTT服务端将所述预设主题的消息发送至预先订阅所述预设主题相关信息的所述多台终端。

4.根据权利要求1-3任一所述的方法，其特征在于，在获取待测程序以及待测终端的属性信息之前，所述方法还包括：

在配置测试任务的情况下，输出测试界面；所述测试界面包括测试选项；其中，配置所述测试任务所需的所述待测程序以及所述待测终端的属性信息由所述测试选项触发。

5.根据权利要求4所述的方法，其特征在于，所述测试选项包括上传选项，以及与多种属性信息分别对应的属性选项；

所述获取待测程序以及待测终端的属性信息，包括：

响应于用户触发所述上传选项，获取所述用户上传的待测程序；

6.根据权利要求5所述的方法，其特征在于，所述测试服务端包括测试类型与待测终端的属性信息之间的对应关系；所述测试选项还包括与多种测试类型分别对应的测试类型选项；

所述获取待测终端的属性信息的方法，包括：

7.根据权利要求5或6所述的方法，其特征在于，所述属性信息包括多种维度下的属性信息；

8.根据权利要求4-7任一所述的方法，其特征在于，所述方法还包括：

接收所述多台终端中的待测终端发送的运行数据；所述运行数据包括所述待测终端在运行所述待测程序过程中生成的数据；

通过所述测试界面展示所述运行数据，所述运行数据用于实时监控待测程序在待测终端中的运行状况。

9.根据权利要求4-8任一所述的方法，其特征在于，所述测试服务端存储所述多台终端分别对应的工作状态；所述工作状态包括繁忙状态与空闲状态；所述方法还包括：

响应于接收到所述运行数据，将所述待测终端对应的工作状态置为繁忙状态；和/或，

周期性筛选出所述多台终端中处于空闲状态的目标终端；

通过所述测试界面展示所述目标终端的工作状态与属性信息；

根据所述目标终端的工作状态与属性信息，在所述目标终端中选择待测终端。

10.根据权利要求1-9任一所述的方法，其特征在于，所述测试服务端包括与故障类型对应的存储空间；所述方法还包括：

接收所述多台终端中的待测终端发送的测试报告；

若所述测试报告指示测试失败，将所述测试报告的向量化处理结果输入故障分析模型，得到针对所述测试报告的故障类型；其中，所述故障分析模型包括基于标注故障类型信息的测试报告样本训练得到的神经网络模型；

将所述测试报告存储至与所述故障类型对应的存储空间。

11.一种测试方法，应用于终端；其特征在于，所述终端与消息队列遥测传输MQTT服务端无线连接，所述MQTT服务端与测试服务端连接；

所述方法包括：

接收所述MQTT服务端发送的待测程序以及待测终端的属性信息，其中，所述待测程序以及所述属性信息是所述测试服务端发送给所述MQTT服务器的；

根据所述属性信息，判断所述终端是否为待测终端；

在所述终端为待测终端的情形下，基于所述待测程序执行测试任务。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

针对所述待测程序的运行过程，生成运行数据；

将所述运行数据发生至所述测试服务端，其中，所述测试服务端通过输出的测试界面展示所述运行数据，所述运行数据用于实时监控待测程序在待测终端中的运行状况。

13.根据权利要求11或12所述的方法，其特征在于，所述方法还包括：

基于测试结果生成测试报告；

将所述测试报告发送至所述测试服务端，其中，若所述测试报告指示测试失败，由所述测试服务端将所述测试报告的向量化处理结果输入故障分析模型，得到针对所述测试报告的故障类型，其中，所述故障分析模型包括基于标注故障类型信息的测试报告样本训练得到的神经网络模型，并将所述测试报告存储至与所述故障类型对应的存储空间。

14.一种测试系统，其特征在于，包括测试服务端，与所述测试服务端连接的消息队列遥测传输MQTT服务端，以及与所述MQTT服务端无线连接的多台终端；其中，

所述测试服务端，用于获取待测程序以及待测终端的属性信息，以及，将所述待测程序以及所述属性信息发送至所述MQTT服务端；

所述MQTT服务端，用于将所述待测程序以及所述属性信息发送至所述多台终端；

所述多台终端中的任意终端，用于接收所述待测程序以及所述属性信息，根据所述属性信息，判断所述任意终端是否为待测终端，以及在所述任意终端为待测终端的情形下，基于所述待测程序执行测试任务。

15.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-12任一所述的测试方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如权利要求1-12任一所述的测试方法。