CN108696404B

CN108696404B - 经由协作平台实现受测试设备会议

Info

Publication number: CN108696404B
Application number: CN201810269720.6A
Authority: CN
Inventors: S·克勒蒙特
Original assignee: Accenture Global Solutions Ltd
Current assignee: Accenture Global Solutions Ltd
Priority date: 2017-03-29
Filing date: 2018-03-29
Publication date: 2022-03-11
Anticipated expiration: 2038-03-29
Also published as: DK3382549T3; AU2018202020A1; EP3382549A1; EP3382549B1; US20180287906A1; US10938687B2; CN108696404A

Abstract

一种设备可以对受测试设备执行测试操作。该设备可以基于对受测试设备执行测试操作来获取测试结果数据。该设备可以标识将要经由网络从该设备接收与受测试设备相关联的测试结果数据的用户设备。该设备可以经由网络与一组用户设备通信。该组用户设备可以包括用户设备。用户设备可以控制该设备的操作。该设备可以确定与用户设备和网络相关联的网络状况信息。该设备可以使用基于网络状况信息的技术来向用户设备提供测试结果数据。用户设备可以基于控制上述设备的操作来接收测试结果数据。

Description

经由协作平台实现受测试设备会议

技术领域

本公开的实施例涉及经由协作平台实现受测试设备会议。

背景技术

受测试设备（device）（DUT）（也称为受测试设备（equipment）（EUT）、受测试应用（AUT）和/或受测试单元（UUT））是一种用于指代正在进行测试的制造的产品的术语，无论是在首次制造时还是作为正在进行的功能测试和校准检查的一部分在DUT生命周期的后期阶段。

发明内容

在一些可能的实现中，一种设备可以包括用于对受测试设备执行测试操作的一个或多个处理器。一个或多个处理器可以基于对受测试设备执行测试操作来获取测试结果数据。一个或多个处理器可以标识将要经由网络从该设备接收与受测试设备相关联的测试结果数据的用户设备。该设备可以经由网络与一组用户设备通信。该组用户设备可以包括用户设备。用户设备可以控制该设备的操作。一个或多个处理器可以确定与用户设备和网络相关联的网络状况信息。一个或多个处理器可以使用基于网络状况信息的技术来向用户设备提供测试结果数据。用户设备可以基于控制上述设备的操作来接收测试结果数据。

在一些可能的实现中，一种方法可以包括由设备对受测试设备执行测试操作。用户设备可以控制该设备的操作。该方法可以包括由该设备基于测试操作来获取测试结果数据。该方法可以包括由该设备标识要经由网络从该设备接收与受测试设备相关联的测试结果数据的用户设备。该设备可以经由网络与一组用户设备通信。该组用户设备可以包括上述用户设备。该方法可以包括由该设备确定与用户设备和网络相关联的网络状况信息。该方法可以包括由该设备基于网络状况信息来执行技术。该方法可以包括由该设备基于执行该技术来向用户设备提供与受测试设备相关联的测试结果数据。

在一些可能的实现中，一种非暂态计算机可读介质可以存储一个或多个指令，一个或多个指令在由设备的一个或多个处理器执行时使得一个或多个处理器从受测试设备接收与受测试设备相关联的测试结果数据。一个或多个指令可以使得一个或多个处理器从一组用户设备中标识将要接收与受测试设备相关联的测试结果数据的用户设备。该设备可以经由网络与该组用户设备通信。用户设备可以控制该设备的操作。一个或多个指令可以使得一个或多个处理器确定与用户设备和网络相关联的网络状况信息。一个或多个指令可以使得一个或多个处理器基于网络状况信息来向用户设备提供与受测试设备相关联的测试结果数据，以允许用户设备经由输出组件提供与受测试设备相关联的测试结果数据。

附图说明

图1是本文中描述的示例实现的概述的示图；

图2是其中可以实现本文中描述的系统和/或方法的示例环境的示图；

图3是图2的一个或多个设备的示例组件的示图；

图4是用于经由协作平台来实现受测试设备会议的示例过程的流程图；

图5是与图4所示的示例过程相关的示例实现的示图；

图6是与图4所示的示例过程相关的示例实现的另一示图；

图7是与图4所示的示例过程相关的示例实现的另一示图；以及

图8是与图4所示的示例过程相关的示例实现的另一示图。

具体实施方式

示例实现的以下详细描述参考附图。不同附图中的相同附图标记可以标识相同或相似的元素。

用户可能期望使用用户设备（例如，膝上型计算机、移动电话等）来远程（例如，经由网络）测试DUT（例如，机顶盒、台式计算机、物联网（IoT）设备、自动售货机等）、与DUT交互、监测DUT等。在这种情况下，DUT可以向用户设备提供测试结果数据，用户设备可以经由输出组件（例如，显示器、扬声器等）提供该测试结果数据，以使得用户能够执行测试和/或监测。这样，用户设备实时地（例如，与DUT生成信息基本上并行地）接收并且经由输出组件提供与DUT相关联的测试结果数据的能力可能是必要的，以便实现对DUT的适当的测试。然而，在一些情况下，与网络相关联的通信问题（诸如高等待时间、低吞吐量、分组丢失等）可能会抑制DUT的这种远程测试的可扩展性、可行性和/或功效。

本文中描述的实现经由协作平台（例如，执行协作服务的一组云服务器、使得用户设备能够诸如经由网络来远程地控制和对DUT执行测试操作的设备等）来提供一组DUT和一组用户设备的连接（例如，会议）。协作平台可以从DUT接收将要被提供给一个或多个用户设备的测试结果数据，使得一个或多个用户设备可以经由输出组件提供测试结果数据以用于诊断目的和/或其他目的。协作平台可以标识将要接收测试结果数据的用户设备（例如，基于来自用户设备的请求、基于配置、基于事件、基于存储的信息等），并且可以确定与协作平台和用户设备之间的连接相关联的网络状况信息（例如，等待时间值、带宽值、吞吐量值、抖动值、分组丢失量等）。

协作平台可以基于网络状况信息向用户设备提供测试结果数据。例如，协作平台可以执行技术（例如，编码技术、缩放技术、转码技术、压缩技术等）以减少通信问题并且改善测试结果数据到用户设备的传输，使得测试功效不受当前网络状况的影响。以这种方式，本文中描述的一些实现降低了等待时间、减少了分组丢失量等，由此节省了用户设备的处理器和/或存储器资源，并且由此实现经由网络对DUT的远程测试。

图1是本文中描述的示例实现100的概述的示图。如图1所示，示例实现100可以包括一组用户设备、一组DUT以及能够在用户设备与DUT之间实现会议的协作平台。如附图标记110所示，协作平台可以从DUT 1（例如，机顶盒、执行网络应用的设备、执行移动应用的设备等）接收测试结果数据。例如，协作平台可以实时地接收由DUT 1生成的测试结果数据。在一些实现中，DUT 1可以基于执行测试用例、基于从用户设备接收输入、基于检测事件等来生成测试结果数据。

如附图标记120所示，协作平台可以确定与用户设备和网络相关联的网络状况信息。例如，协作平台可以确定网络状况信息，诸如带宽值、吞吐量值、实际吞吐量值、抖动值、等待时间值、分组丢失量等。基于网络状况信息，协作平台可以执行技术（例如，编码技术、缩放技术、转码技术、压缩技术、将测试结果数据标记为高优先级的技术等）以减少通信问题和/或改进测试结果数据到用户设备的传输。

在一些实现中，协作平台可以标识将要接收测试结果数据的用户设备，并且确定与用户设备相关联的网络状况信息。例如，用户设备可以经由网络来建立与协作平台的连接，并且协作平台可以基于连接来确定网络状况信息（例如，可以测量带宽值、等待时间值等）。

如附图标记130所示，协作平台可以提供测试结果数据。例如，协作平台可以基于执行该技术来向用户设备1提供测试结果数据。另外，用户设备1可以从协作平台接收测试结果数据，并且经由一个或多个输出组件提供测试结果数据。

以这种方式，协作平台可以基于网络状况并且基于执行用于减少通信问题和/或改善测试结果数据到用户设备的传输的技术来从DUT向用户设备提供信息，由此减少等待时间、增加吞吐量、减少分组丢失等。

如上所述，图1仅作为示例提供。其他示例是可能的并且可以与关于图1描述的示例不同。尽管在图1中示出了特定数目的DUT和/或用户设备，但是其他实现包括其他数目的DUT和/或用户设备。

图2是其中可以实现本文中描述的系统和/或方法的示例环境200的示图。如图2所示，环境200可以包括一组用户设备210、协作平台220、一组DUT 230和网络240。环境200的设备可以经由有线连接、无线连接或者有线和无线连接的组合来互连。

用户设备210包括能够接收、生成、存储、处理和/或提供与协作平台220相关联的信息的一个或多个设备。例如，用户设备210可以包括通信和/或计算设备，诸如移动电话（例如，智能手机、无线电话等）、膝上型计算机、平板计算机、手持式计算机、游戏设备、可穿戴通信设备（例如，智能手表、智能眼镜等）或类似类型的设备。

协作平台220包括能够实现用户设备210与DUT 230之间的会议的一个或多个设备。在一些实现中，协作平台220可以被设计为是模块化的，使得某些软件组件可以取决于特定需要而被换入或换出。这样，协作平台220可以容易地和/或快速地被重新配置用于不同的用途。

在一些实现中，如图所示，协作平台220可以被托管在云计算环境222中。值得注意的是，尽管本文中描述的实现将协作平台220描述为被托管在云计算环境222中，但是在一些实现中，协作平台220可以不是基于云的（即，可以在云计算环境之外被实现）或者可以是部分基于云的。

云计算环境222包括托管协作平台220的环境。云计算环境222可以提供不需要终端用户（例如，用户设备210）知道托管协作平台220的系统和/或设备的物理位置和配置的计算、软件、数据访问、存储等服务。如图所示，云计算环境222可以包括一组计算资源224（统称为“计算资源224”并且单独地称为“计算资源224”）。

计算资源224包括一个或多个个人计算机、工作站计算机、服务器设备或其他类型的计算和/或通信设备。在一些实现中，计算资源224可以托管协作平台220。云资源可以包括在计算资源224中执行的计算实例、在计算资源224中提供的存储设备、由计算资源224提供的数据传输设备等。在一些实现中，计算资源224可以经由有线连接、无线连接或者有线和无线连接的组合与其他计算资源224通信。

如图2进一步所示，计算资源224包括一组云资源，诸如一个或多个应用（“APP”）224-1、一个或多个虚拟机（“VM”）224-2、虚拟化存储装置（“VS”）224-3、一个或多个管理程序（“HYP”）224-4等。

应用224-1包括可以被提供给用户设备210或由用户设备210访问的一个或多个软件应用。应用224-1可以消除在用户设备210上安装和执行软件应用的需要。例如，应用224-1可以包括与协作平台220相关联的软件和/或能够经由云计算环境222提供的任何其他软件。在一些实现中，一个应用224-1可以经由虚拟机224-2向一个或多个其他应用224-1发送信息或者从其接收信息。

虚拟机224-2包括像物理机器一样执行程序的机器（例如，计算机）的软件实现。虚拟机224-2可以是系统虚拟机或过程虚拟机，这取决于虚拟机224-2的使用和虚拟机224-2与任何真实机器的对应程度。系统虚拟机可以提供支持完整操作系统（“OS”）的执行的完整系统平台。过程虚拟机可以执行单个程序，并且可以支持单个过程。在一些实现中，虚拟机224-2可以代表用户（例如，用户设备210）执行，并且可以管理云计算环境222的基础设施，诸如数据管理、同步或长持续时间的数据传输。

虚拟化存储装置224-3包括在计算资源224的存储系统或设备内使用虚拟化技术的一个或多个存储系统和/或一个或多个设备。在一些实现中，在存储系统的上下文中，虚拟化类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指代逻辑存储从物理存储的抽象（或分离），使得可以访问存储系统而不考虑物理存储或异构结构。分离可以允许存储系统的管理员在管理员如何为终端用户管理存储中的灵活性。文件虚拟化可以消除在文件级别访问的数据与文件被物理存储的位置之间的依赖关系。这可以实现对存储使用、服务器整合和/或无中断文件迁移的性能的优化。

管理程序224-4可以提供允许多个操作系统（例如，“客户操作系统”）在诸如计算资源224的主机上并行执行的硬件虚拟化技术。管理程序224-4可以向客户操作系统呈现虚拟操作平台，并且可以管理客户操作系统的执行。各种操作系统的多个实例可以共享虚拟化硬件资源。

DUT 230包括能够接收、生成、存储、处理和/或提供测试结果数据的一个或多个设备。例如，DUT 230可以包括机顶盒、移动电话、膝上型计算机、平板计算机、手持式计算机、游戏设备、可佩戴的通信设备、计算机、便携式电子设备、IoT设备、自动售货机或类似类型的设备。

网络240可以包括一个或多个有线和/或无线网络。例如，网络240可以包括蜂窝网络（例如，第五代（5G）网络、长期演进（LTE）网络、第三代（3G）网络、码分多址（CDMA）网络等）、公共陆地移动网（PLMN）、局域网（LAN）、广域网（WAN）、城域网（MAN）、电话网络（例如，公共交换电话网络（PSTN））、专用网络、自组织网络、内联网、因特网、基于光纤的网络等、和/或这些或其他类型的网络的组合。

图2所示的设备和网络的数目和布置作为示例来提供。实际上，可以存在与图2所示的那些相比附加的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或者不同地布置的设备和/或网络。此外，图2所示的两个或更多个设备可以在单个设备内实现，或者图2所示的单个设备可以实现为多个分布式设备。附加地或备选地，环境200的一组设备（例如，一个或多个设备）可以执行被描述为由环境200的另一组设备执行的一个或多个功能。

图3是设备300的示例组件的示图。设备300可以对应于用户设备210、协作平台220和/或DUT 230。在一些实现中，用户设备210、协作平台220和/或DUT 230可以包括一个或多个设备300和/或设备300的一个或多个组件。如图3所示，设备300可以包括总线310、处理器320、存储器330、存储组件340、输入组件350、输出组件360和通信接口370。

总线310包括允许设备300的组件之间的通信的组件。处理器320以硬件、固件或硬件和软件的组合来实现。处理器320是中央处理单元（CPU）、图形处理单元（GPU）、加速处理单元（APU）、微处理器、微控制器、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）或其他类型的处理组件。在一些实现中，处理器320包括能够被编程为执行功能的一个或多个处理器。存储器330包括随机存取存储器（RAM）、只读存储器（ROM）、和/或存储用于由处理器320使用的信息和/或指令的另一类型的动态或静态存储设备（例如，闪速存储器、磁存储器和/或光存储器）。

存储组件340存储与设备300的操作和使用相关的信息和/或软件。例如，存储组件340可以包括硬盘（例如，磁盘、光盘、磁光盘、和/或固态盘）、光盘（CD）、数字多功能盘（DVD）、软盘、盒、磁带和/或另一类型的非暂态计算机可读介质连同相应的驱动器。

输入组件350包括允许设备300接收信息的组件，诸如经由用户输入（例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风）。附加地或备选地，输入组件350可以包括用于感测信息的传感器（例如，全球定位系统（GPS）组件、加速度计、陀螺仪和/或致动器）。输出组件360包括提供来自设备300的输出信息的组件（例如，显示器、扬声器和/或一个或多个发光二极管（LED））。

通信接口370包括使得设备300能够诸如经由有线连接、无线连接或者有线和无线连接的组合与其他设备通信的类似收发器的组件（例如，收发器和/或单独的接收器和发射器）。通信接口370可以允许设备300从另一设备接收信息和/或向另一设备提供信息。例如，通信接口370可以包括以太网接口、光学接口、同轴接口、红外接口、射频（RF）接口、通用串行总线（USB）接口、Wi-Fi接口、蜂窝网络接口等。

设备300可以执行本文中描述的一个或多个过程。设备300可以响应于处理器320执行由诸如存储器330和/或存储组件340的非暂态计算机可读介质存储的软件指令来执行这些过程。计算机可读介质在本文中被定义为非暂态存储器设备。存储器设备包括在单个物理存储设备内的存储器空间或遍及多个物理存储设备的存储器空间。

软件指令可以经由通信接口370从另一计算机可读介质或者从另一设备读取到存储器330和/或存储组件340中。当被执行时，存储在存储器330和/或存储组件340中的软件指令可以使得处理器320执行本文中描述的一个或多个过程。附加地或备选地，可以使用硬连线电路来代替软件指令或与软件指令相结合来执行本文中描述的一个或多个过程。因此，本文中描述的实现不限于硬件电路和软件的任何特定组合。

图3所示的组件的数目和布置作为示例提供。实际上，设备300可以包括与图3所示的那些相比附加的组件、更少的组件、不同的组件或者不同地布置的组件。附加地或备选地，设备300的一组组件（例如，一个或多个组件）可以执行被描述为由设备300的另一组组件执行的一个或多个功能。

图4是用于经由协作平台来实现受测试设备会议的示例过程400的流程图。在一些实现中，图4的一个或多个过程块可以由协作平台220执行。在一些实现中，图4的一个或多个过程块可以由与协作平台220分离或包括协作平台220的另一设备或一组设备来执行，诸如用户设备210、和/或DUT 230。

如图4所示，过程400可以包括从受测试设备接收将要经由网络提供给一组用户设备的测试结果数据（块410）。例如，协作平台220可以从DUT 230接收将要提供给一组用户设备210的、与DUT 230相关联的测试结果数据。在一些实现中，协作平台220可以经由网络240实现一组DUT 230与一组用户设备210之间的连接。例如，用户设备210和/或DUT 230可以执行客户端应用，这些客户端应用实现协作平台220的使用和/或实现用户设备210与DUT 230之间的通信（例如，以建立用户设备210与DUT 230之间的会议、以建立另一类型的通信会话等）。

在一些实现中，协作平台220可以对DUT 230执行测试操作。例如，协作平台220可以向DUT 230提供输入，该输入使得DUT 230生成输出。附加地或备选地，协作平台220可以向DUT 230提供与测试套件相关联的信息，并且DUT 230可以执行与测试套件相关联的一组测试用例。附加地或备选地，DUT 230可以生成测试结果数据，并且将测试结果数据提供给协作平台220。以这种方式，协作平台220可以基于对DUT 230执行测试操作来获取测试结果数据。

在一些实现中，用户设备210可以控制协作平台220的操作，其可以使得协作平台220对DUT 230执行测试操作。在一些实现中，用户设备210可以被定位为远离协作平台220和/或DUT 230（例如，阈值地理距离等）。附加地或备选地，用户设备210可以经由网络240与协作平台220和/或DUT 230通信。

在一些实现中，协作平台220可以实现一组用户设备210与DUT 230之间的各种类型的通信会话，这些通信会话使得各种类型的信息（例如，测试结果数据，诸如多媒体信息、视频信息、音频信息、文本信息等）能够在设备之间被交换。在一些实现中，协作平台220可以从一个或多个DUT 230接收信息，并且可以经由网络240向一个或多个用户设备210提供信息。以这种方式，并且如本文中其他地方描述的，协作平台220实现DUT 230的远程测试、监测等。

在一些实现中，与DUT 230相关联的信息可以包括状态信息。例如，状态信息可以包括标识DUT 230的状态的信息。在一些实现中，状态信息可以标识DUT 230的可用性（例如，可用、不可用、预期的可用时间、可用时间的时间表等）。附加地或备选地，状态信息可以标识正与DUT 230交互的用户设备210。在一些实现中，每个DUT 230和用户设备210可以向协作平台220提供状态信息。附加地或备选地，用户设备210可以提供与协作平台220通信的其他用户设备210和/或DUT 230的相应状态以用于显示。

在一些实现中，与DUT 230相关联的信息可以包括测试信息（例如，测试结果数据等）。例如，测试信息可以标识由DUT 230正在执行的当前测试套件（例如，一组测试用例、测试脚本等）。附加地或备选地，该信息可以标识与测试套件中的测试用例的总数相比已经执行的测试用例的数目（例如，已经执行的测试套件的百分比等）。附加地或备选地，测试信息可以标识各种测试用例的相应状态（例如，通过、失败、错误、不确定等）。附加地或备选地，该信息可以标识测试套件的执行的经过时间、预期的剩余持续时间等。

在一些实现中，与DUT 230相关联的信息可以包括文本信息。在一些实现中，协作平台220可以在用户设备210与DUT 230之间建立文本通信信道（例如，或即时消息传递信道）。例如，用户设备210可以向DUT 230提供文本信息，诸如命令、查询、请求、指令等。作为特定示例，用户设备210可以提供诸如“按下按钮‘ TV指南’”的命令，并且DUT 230可以执行该命令，和/或可以向用户设备210提供响应（例如，基于DUT 230执行命令的DUT的输出230）。作为另一示例，用户设备210可以向DUT 230提供诸如“获得状态”的命令，并且DUT230可以提供诸如测试状态、存储器使用状态、处理器使用状态等响应。

在一些实现中，与DUT 230相关联的信息可以包括资源信息。例如，DUT 230可以向用户设备210提供诸如文件（例如，与屏幕捕获相关联的图像文件、日志文件、和/或由DUT230生成的任何其他类型的文件）的资源。附加地或备选地，DUT 230可以向用户设备210提供资源数据，诸如组件列表（例如，存储器、处理器等）和/或组件数据列表（例如，存储器类型、可用存储器容量、处理器类型、处理器能力等）。

在一些实现中，与DUT 230相关联的信息可以包括音频和/或视频信息。例如，DUT230可以经由协作平台220向用户设备210提供由DUT 230生成的音频和/或视频信息（例如，基于DUT 230执行测试套件、基于从用户设备210接收到的输入等而生成的）。在一些实现中，DUT 230可以经由协作平台220实时地（诸如与DUT 230生成信息基本上并行地）向用户设备210提供音频和/或视频信息。

在一些实现中，第一用户设备210可以与DUT 230交互（例如，提供一组输入），并且协作平台220可以向一组其他用户设备210提供与DUT 230相关联的信息（例如，生成的输出）。以这种方式，多个用户设备210可以经由输出组件提供与特定DUT 230相关联的信息，由此使得多个用户能够测试和/或监测DUT 230。

在一些实现中，用户设备210可以接收信息并且记录信息。例如，用户设备210可以记录信息以用于回放，使得用户稍后可以查看信息。在一些实现中，协作平台220可以从DUT230接收测试结果数据，记录测试结果数据，和/或保存测试结果数据。例如，协作平台220可以记录与（例如，用户设备210和DUT 230之间的）会话相关联的信息，并且向用户设备210和/或另一用户设备210提供记录的信息以用于回放。附加地或备选地，协作平台220可以对特定的DUT 230执行测试操作，并且记录测试操作的结果。在一些实现中，用户设备210可以向协作平台220提供请求协作平台220记录用户设备210、DUT 230和/或其他用户设备210之间的会话（例如，会议）的信息。以这种方式，与另一用户设备210相关联的用户和/或另一用户可以查看记录的信息，共享记录的信息等。

在一些实现中，协作平台220可以如本文中其他地方描述的基于技术并实时地从DUT 230接收测试结果数据，确定与网络240和/或用户设备210相关联的网络状况，以及向用户设备210提供多媒体信息。

如图4进一步所示，过程400可以包括标识一组用户设备中将要经由网络接收与受测试设备相关联的测试结果数据的用户设备（块420）。例如，协作平台220可以标识一组用户设备210中将要经由网络240接收与DUT 230相关联的测试结果数据的用户设备210。

在一些实现中，协作平台220可以基于请求来标识用户设备210。例如，用户设备210可以向协作平台220提供请求与DUT 230相关联的测试结果数据的信息，并且协作平台220可以基于该请求来标识用户设备210。作为特定示例，用户可以与用户设备210交互以选择特定DUT 230。例如，用户可能期望与特定DUT 230交互和/或接收与特定DUT 230相关联的测试结果数据。在这种情况下，用户设备210可以向协作平台220提供标识对特定DUT 230的选择的信息。

在一些实现中，协作平台220可以向用户设备210提供标识可用于通信会话的DUT230和/或其他用户设备210的列表的信息（例如，用户目录、设备目录等）。作为示例，用户设备210可以提供标识DUT 230和/或其他用户设备210的列表的信息以用于经由用户界面来显示。在一些实现中，用户设备210的用户可以与用户设备210交互以搜索DUT 230和/或其他用户设备210的列表（例如，按照设备标识符和/或网络地址、按照用户名、按照设备名称等），选择特定的DUT 230和/或用户设备210（例如，以与之交互、以举行会议等），注册DUT230以提供测试结果数据，允许其他用户设备210加入会议等。

在一些实现中，用户设备210可以向DUT 230提供请求DUT 230执行动作的信息。例如，用户设备210可以控制协作平台220的操作，使得协作平台220执行对DUT 230的测试。作为示例，用户设备210可以提供一组资源（例如，与用于DUT 230执行的测试套件相关联的文件）或提供标识该组资源的信息（例如，可以检索到资源的网络地址和/或存储器位置）。在这种情况下，协作平台220可以基于用户设备210提供该组资源来标识用户设备210将要接收与测试套件的执行相关联的测试结果数据。

在一些实现中，协作平台220可以基于事件来标识用户设备210。例如，用户设备210可以基于事件的发生来向协作平台220提供标识用户设备210将要接收与DUT 230相关联的测试结果数据的信息。在一些实现中，事件可以与DUT 230的测试相关联。例如，事件可以对应于测试套件或测试套件的一部分的执行的完成、与测试套件的执行相关联的错误等。附加地或备选地，事件可以对应于DUT 230的操作。例如，事件可以对应于硬件错误、软件错误、满足阈值的资源利用等。在一些实现中，协作平台220可以从DUT 230接收标识事件的信息，并且可以基于配置（诸如映射用户设备210和事件的所存储的信息）来标识用户设备210。

在一些实现中，如下所述，协作平台220可以标识将要接收与DUT 230相关联的测试结果数据的特定用户设备210，并且确定与网络240和/或所标识的用户设备210相关联的网络状况。

如图4进一步所示，过程400可以包括确定与用户设备和网络相关联的网络状况信息，并且基于网络状况来执行技术（块430）。例如，协作平台220可以确定与用户设备210和网络240相关联的网络状况信息。在一些实现中，协作平台220可以确定网络状况信息，诸如标识带宽值、吞吐量值、实际吞吐量值、抖动值、等待时间值、分组丢失量、延迟值、往返时间值、重传次数等信息。

在一些实现中，协作平台220可以基于协作平台220与用户设备210之间的会话（诸如与连接相关联的分组序列）来确定网络状况信息。例如，协作平台220可以基于会话来测量与网络状况信息相关联的上述值中的一个或多个值。

在一些实现中，协作平台220可以基于网络状况信息来执行技术。例如，协作平台220可以基于网络状况信息来执行编码技术、重新编码技术、再编码技术、转码技术、转换技术、自适应比特率流传输技术、缩放技术、压缩技术等。在一些实现中，协作平台220可以基于网络状况信息来确定满足阈值的值（例如，等待时间值、带宽值、吞吐量值等），并且可以基于该值满足阈值来执行技术。

在一些实现中，协作平台220可以基于网络状况信息（例如，等待时间值、带宽值和吞吐量值）来确定与一组参数相对应的一组值。附加地或备选地，协作平台220可以基于该组值来生成得分。在一些实现中，协作平台220可以将权重值应用于该组值，并且基于应用权重值来确定得分。附加地或备选地，协作平台220可以基于得分和/或该组值来确定要执行的技术或一组技术。也就是说，协作平台220可以基于第一得分来执行第一技术、基于第二得分来执行第二技术等。以这种方式，协作平台220可以在选择和/或执行技术时考虑各种参数。

在一些实现中，协作平台220可以包括协作平台220在提供测试结果数据时可以使用的一组编解码器，并且基于网络状况信息来选择要使用的特定编解码器。例如，第一编解码器可以以与第二网络状况（例如，由第二网络状况信息标识）相比而言改进的方式（例如，实现较低等待时间、较高音频和/或视频质量等）与第一网络状况（例如，由第一网络状况信息标识）相关联地操作，而第二编解码器可以以与第一网络状况相比而言改进的方式与第二网络状况相关联地操作。也就是说，各种编解码器可以与不同网络状况（例如，由各种网络状况信息标识）相关联地实现较低等待时间、较高吞吐量、较高音频和/或视频质量等。

在一些实现中，协作平台220可以包括一组编解码器，并且可以基于网络状况信息来选择特定的编解码器，使得与没有选择特定的编解码器的情况相比通信问题（例如，高等待时间、低吞吐量、分组丢失等）被减少。在一些实现中，协作平台220可以基于第一网络状况信息来选择特定的编解码器，并且可以基于第二网络状况信息来选择另一编解码器。例如，协作平台220可以在数据结构中存储映射特定编解码器和特定网络状况信息的信息。另外，协作平台220可以确定网络状况信息，并且基于网络状况信息来标识特定的编解码器。

在一些实现中，协作平台220可以基于用户设备210包括特定编解码器和/或基于用户设备210能够解码由协作平台220编码的信息来选择特定的编解码器。附加地或备选地，协作平台220可以基于网络状况信息来向用户设备210和/或DUT 230提供指令用户设备210和/或DUT 230使用特定编解码器的信息。

在一些实现中，协作平台220可以基于网络状况信息来选择特定的编解码器，并且可以基于网络状况信息中的变化、基于值满足阈值等来选择另一编解码器。作为示例，在等待时间值满足阈值的情况下，协作平台220可以使用压缩与DUT 230相关联的信息的特定编解码器，从而通信问题被减少（例如，由此实现用户设备210与DUT 230之间的较低等待时间）。

以这种方式，协作平台220可以执行技术，使得与其中该技术未被执行的情况相比能够通信问题被减少，由此节约网络资源和/或节约用户设备210资源。

如图4进一步所示，过程400可以包括基于执行该技术来向用户设备提供与受测试设备相关联的测试结果数据（块440）。例如，协作平台220可以基于执行该技术来向用户设备210提供与DUT 230相关联的测试结果数据。以这种方式，用户设备210可以从协作平台220接收与DUT 230相关联的测试结果数据，并且可以经由输出组件来提供与DUT 230相关联的信息。

另外，以这种方式，用户设备210可以实时地接收测试结果数据，由此与该技术未被执行的情况（例如，与更高等待时间、更大分组丢失等相关联的情况）相比实现对DUT 230的更准确的测试。例如，用户设备210的用户可以能够基于测试结果数据被实时地提供来在DUT 230上更准确地辨别用户发起的动作（例如，由用户设备210向DUT 230提供的输入）的效果。

在一些实现中，使用用户设备210的用户可以监测和/或诊断与DUT 230的潜在问题。附加地或备选地，用户设备210（例如，基于用户输入）向DUT 230提供基于测试结果数据的信息。例如，用户设备210可以提供包括用于DUT 230的指令的信息（例如，以停止测试套件的执行、以调节参数、以重新配置设置等）。

尽管图4示出了过程400的示例块，但是在一些实现中，过程400可以包括与图4中描绘的那些相比较的附加的块、较少的块、不同的块或不同地布置的块。附加地或备选地，过程400的块中的两个或更多个块可以并行执行。

图5是与图4所示的示例过程相关的示例实现500的示图。图5示出了经由协作平台实现受测试设备会议的示例。

如图5所示，特定用户设备210（例如，用户设备A）的用户可能期望与特定DUT 230交互和/或控制特定DUT 230以观察特定DUT 230（例如，DUT 1）的输出。在这种情况下，如图所示，用户设备210可以提供标识与一组用户设备210和DUT 230（例如，与协作平台220通信的用户设备210和DUT 230）相关联的状态信息的信息以用于显示。

如附图标记510所示，用户可以与用户设备210交互以选择特定的DUT 230（例如，DUT 1）。如附图标记520所示，用户设备210可以向协作平台220提供信息（例如，以标识DUT230、以发起与DUT 230的会话、以从DUT 230请求测试结果数据等）。

如在图5中通过附图标记540进一步所示，协作平台220可以基于从用户设备210接收到的信息来向DUT 230提供请求。如附图标记540所示，DUT 230可以基于请求向协作平台220提供测试结果数据。如附图标记550所示，协作平台220可以向用户设备210实时地提供来自DUT 230的测试结果数据，由此使得用户设备210能够经由输出组件提供测试结果数据以使得用户能够执行DUT 230的测试。

如上所述，图5仅作为示例来提供。其他示例是可能的并且可以与关于图5描述的示例不同。

图6是与图4所示的示例过程相关的示例实现600的示图。图6示出了经由协作平台实现受测试设备会议的示例。

如图6所示，特定的DUT 230（例如，DUT 1）可以用于自动化测试（例如，功能测试、监控服务等）。作为示例，假设DUT 230正在执行测试套件的测试用例。如附图标记610所示，DUT 230可以检测事件并且暂停测试用例执行。例如，DUT 230可以确定与测试用例的执行相关联的错误。另外，DUT 230可以向协作平台220提供标识事件的信息。

如附图标记620所示，协作平台220可以确定特定用户设备210（例如，用户设备6）以通知事件。例如，协作平台220可以基于所存储的映射事件和特定用户设备210的信息来标识用户设备210，以通知事件的发生。另外，协作平台220可以向用户设备210提供标识事件的信息。

如图6进一步所示，用户设备210可以提供标识事件的信息以用于显示。另外，用户可以向用户设备210提供输入（例如，通过选择“查看”按钮）以使得用户设备210请求DUT230共享与测试用例执行相关联的测试结果数据，由此使得用户能够评估事件。在备选实现中，DUT 230可以向多个用户设备210通知事件（例如，发起与用户设备210的列表的会话、自动安排会议以及等待用户设备210加入会议等）。在这种情况下，协作平台220可以向多个用户设备210通知并且与多个用户设备210共享信息，从而允许多个用户评估事件。

如上所述，图6仅作为示例来提供。其他示例是可能的并且可以与关于图6描述的示例不同。

图7是与图4所示的示例过程相关的示例实现700的示图。图7示出了经由协作平台实现受测试设备会议的示例。

如图7所示，DUT 230可以允许多个用户设备210的用户观察DUT 230的测试。如附图标记710所示，DUT 230可以向协作平台220提供与测试套件的执行相关联的信息。例如，假设DUT 230正在执行测试套件的测试用例。

如附图标记720所示，协作平台220可以基于会议信息来标识用户设备210。例如，会议信息可以包括标识已经请求从DUT 230接收测试结果数据的一组用户设备210的信息。

如附图标记730和740所示，协作平台220可以向用户设备210提供由DUT 230生成的测试结果数据。在一些实现中，测试结果数据可以包括由DUT 230基于DUT 230执行测试用例而生成的音频和/或视频信息。备选的，如图所示，测试结果数据可以包括标识测试用例的执行的状态的信息。例如，协作平台220可以经由即时消息传递信道向特定用户设备210（例如，用户设备1）提供标识由DUT 230执行的测试用例的状态（例如，用例1完成）的信息。

如上所述，图7仅作为示例来提供。其他示例是可能的并且可以与关于图7描述的示例不同。

图8是与图4所示的示例过程相关的示例实现800的示图。图8示出了经由协作平台实现受测试设备会议的示例。

如图8所示，用户设备210的用户可以使用文件传输来发起对DUT 230的按需测试。如附图标记810所示，用户设备210的用户可以经由协作平台220向DUT 230（例如，DUT 3，其可以自动接受会话请求）发送会话请求，并且可以经由协作平台220通过文件传输来向DUT3上传一系列测试用例。如附图标记820所示，DUT 230可以自动执行测试用例的系列。在这种情况下，一旦到DUT 230的文件传输完成，用户就可以终止会话，并且DUT 230可以执行测试用例而不需要用户设备210在DUT 230继续执行测试用例的一些或全部时间期间与DUT230交互。之后，在执行测试用例之后，DUT 230可以向协作平台220和/或用户设备210提供结果，和/或在执行测试用例时发生问题的情况下，DUT 230可以经由协作平台220建立与用户设备210的会话。

如上所述，图8仅作为示例来提供。其他示例是可能的并且可以与关于图8描述的示例不同。

本文中描述的实现经由协作平台（例如，执行协作服务的一组云端服务器、用于实现对DUT的远程测试的一组设备等）来提供一组DUT和一组用户设备的连接。协作平台可以从DUT接收要提供给一个或多个用户设备的测试结果数据，使得一个或多个用户设备可以经由一个或多个输出组件提供信息用于诊断目的和/或其他目的。

协作平台可以标识将要接收测试结果数据的用户设备（例如，基于来自用户设备的请求、基于配置、基于事件等），并且可以基于协作平台与用户设备之间的连接来确定网络状况信息（例如，等待时间值、带宽值、吞吐量值、抖动值等）。

协作平台可以基于网络状况信息来向用户设备提供信息。例如，协作平台可以执行技术（例如，编码技术、缩放技术、转码技术等）以减少通信问题并且改进到用户设备的测试结果数据的传输，使得测试功效不受当前网络状况的影响。以这种方式，本文中描述的一些实现降低了等待时间、减少了分组丢失等，由此节省了用户设备的处理器和/或存储器资源，并且由此实现经由网络对DUT的远程测试。

前述公开内容提供了说明和描述，但是不旨在穷举或将实现限于所公开的精确形式。修改和变化鉴于上述公开内容是可能的，或者可以从实现的实践中获取。

如本文中使用的，术语“组件”旨在被广义地解释为硬件、固件和/或硬件和软件的组合。

本文中结合阈值描述了一些实现。如本文中使用的，满足阈值可以指代值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、等于阈值等。

已经在本文中描述和/或在附图中示出了某些用户界面。用户界面可以包括图形用户界面、非图形用户界面、基于文本的用户界面等。用户界面可以提供信息以用于显示。在一些实现中，用户可以诸如通过经由设备的输入组件提供输入来与信息交互，该设备提供用户界面以用于显示。在一些实现中，用户界面可以是由设备和/或用户可配置的（例如，用户可以改变用户界面的大小、经由用户界面提供的信息、经由用户界面提供的信息的位置等）。附加地或备选地，可以将用户界面预配置为标准配置、基于在其上显示用户界面的设备的类型的特定配置、和/或基于与在其上显示用户界面的设备相关联的能力和/或规格的一组配置。

将是明显的，本文中描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专门的控制硬件或软件代码不是对实现的限制。因此，本文中描述了系统和/或方法的操作和行为而没有参考具体的软件代码——应当理解，软件和硬件可以被设计为基于本文中的描述来实现系统和/或方法。

尽管特定的特征组合在权利要求中被记载和/或在说明书中被公开，但是这些组合不旨在限制可能实现的公开内容。事实上，这些特征中的很多特征可以以未在权利要求中具体记载和/或在说明书中公开的方式进行组合。尽管下面列出的每个从属权利要求可以仅直接依赖于一项权利要求，但是可能的实现的公开内容包括每个从属权利要求与权利要求集合中的每个其他权利要求的组合。

除非明确地如此描述，否则本文中使用的任何元素、动作或指令都不应当被解释为是关键的或必要的。而且，如本文中使用的，冠词“一个（a）”和“一个（an）”旨在包括一个或多个项目，并且可以与“一个或多个”可互换地使用。此外，如本文中使用的，术语“集合”旨在包括一个或多个项目（例如，相关项目、不相关项目、相关项目和不相关项目的组合等），并且可以与“一个或多个”可互换地使用。在意指仅一个项目的情况下，术语“一个（one）”或类似的语言可以被使用。而且，如本文中使用的，术语“具有（has）”、“具有（have）”、“具有（having）”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”旨在表示“至少部分基于”。

Claims

1.一种用于处理测试结果数据的协作设备，包括：

存储器，以及

一个或多个处理器，用于：

向与所述协作设备通信的一组用户设备中的第一用户设备提供信息，该信息标识用于在所述第一用户设备上显示的受测试设备的列表、所述受测试设备中的每个受测试设备的状态以及所述一组用户设备中的每个用户设备的状态，

所述受测试设备的所述列表指定了第一受测试设备，所述第一受测试设备是以下中的一项：

机顶盒、计算机、台式计算机、膝上型计算机、平板计算机、手持计算机、物联网IoT设备、自动售货机、执行Web应用的设备、执行移动应用的设备、移动电话、游戏设备或可穿戴通信设备，以及

所述受测试设备中的每个受测试设备的所述状态包括标识所述第一受测试设备的可用性的信息，以及针对所述受测试设备中的一个受测试设备，标识所述一组用户设备中的哪个用户设备正在与所述受测试设备中的所述一个受测试设备交互的信息；

从所述第一用户设备并且基于提供标识所述受测试设备的所述列表的所述信息，来接收所述受测试设备中的每个受测试设备的所述状态以及所述一组用户设备中的每个用户设备的所述状态、标识要在所述第一受测试设备上被执行的测试操作的数据，

标识所述测试操作的所述数据包括指定用于所述第一受测试设备的要执行的命令的文本信息；

基于接收到标识所述测试操作的所述数据，通过向所述第一受测试设备提供输入使所述测试操作在所述第一受测试设备上被执行，所述输入使所述第一受测试设备生成测试结果数据作为输出；

基于在所述第一受测试设备上执行所述测试操作，接收由所述第一受测试设备生成的所述测试结果数据；

从所述第一用户设备接收用于记录所述第一用户设备和所述第一受测试设备之间的会话的请求；

基于所述请求，记录所述会话以用于第二用户设备审查和共享所记录的所述会话；

将所述第一用户设备标识为接收方以经由网络从所述协作设备接收所述测试结果数据，

所述第一用户设备是以下中的一项：

通信设备、计算设备、移动电话、膝上型计算机、平板计算机、手持计算机、游戏设备或可穿戴通信设备，以及

所述第一用户设备控制所述协作设备的操作并且经由所述协作设备控制所述第一受测试设备的操作，

其中所述第一用户设备使所述协作设备引起在所述第一受测试设备上由所述第一用户设备执行的所述测试操作，所述第一用户设备提供所述文本信息；

确定与所述第一用户设备和所述网络之间的连接相关联的网络状况信息，

所述网络状况信息包括以下中的一项：延迟值、带宽值、吞吐量值、抖动值、或者分组丢失量；以及

使用基于所述网络状况信息的技术，来向所述第一用户设备提供所述测试结果数据，

其中所述测试结果数据包括音频信息和视频信息中的至少一项，所述音频信息和所述视频信息中的至少一项是由所述第一受测试设备基于从所述第一用户设备接收的所述输入而生成的，

针对所述第一受测试设备生成所述音频信息或所述视频信息中的所述至少一项，所述音频信息和所述视频信息中的所述至少一项被实时提供给所述第一用户设备；

其中所述技术包括以下中的至少一项：

编码技术；

自适应比特率流传输技术；

缩放技术；

转码技术、

压缩技术。

2.根据权利要求1所述的协作设备，其中所述一个或多个处理器还用于：

基于所述网络状况信息，从一组编解码器中选择特定的编解码器；并且

其中所述一个或多个处理器在提供所述测试结果数据时，用于：

基于选择所述特定的编解码器来提供所述测试结果数据。

3.根据权利要求1所述的协作设备，其中所述一个或多个处理器还用于：

基于所述网络状况信息，来确定与所述网络状况信息相关联的第一值满足阈值；

基于所述第一值满足所述阈值来执行所述技术；并且

基于执行所述技术来提供所述测试结果数据。

4.根据权利要求1所述的协作设备，其中所述第一用户设备被定位为远离所述协作设备。

5.根据权利要求1所述的协作设备，其中所述一个或多个处理器还用于：

保存所述测试结果数据。

6.根据权利要求1所述的协作设备，其中所述一个或多个处理器在提供标识所述受测试设备的所述列表、所述受测试设备中的每个受测试设备的所述状态以及所述一组用户设备中的每个用户设备的所述状态的信息时，用于

向所述第一用户设备提供使所述受测试的所述列表能够被搜索的指令。

7.一种处理测试结果数据的方法，包括：

由协作设备向与所述协作设备通信的一组用户设备中的第一用户设备提供信息，该信息标识用于在所述第一用户设备上显示的受测试设备的列表、所述受测试设备中的每个受测试设备的状态以及所述一组用户设备中的每个用户设备的状态，

由所述协作设备从所述第一用户设备并且基于提供标识所述受测试设备的所述列表的所述信息、接收所述受测试设备中的每个受测试设备的所述状态以及所述一组用户设备中的每个用户设备的所述状态、标识要在所述第一受测试设备上被执行的测试操作的数据，

由所述协作设备并且基于接收到标识所述测试操作的所述数据，通过向所述第一受测试设备提供输入使所述测试操作要在所述第一受测试设备上被执行，所述输入使所述第一受测试设备生成测试结果数据作为输出；

基于所述测试操作，由所述协作设备来接收由所述第一受测试设备生成的所述测试结果数据；

由所述协作设备从所述第一用户设备接收用于记录所述第一用户设备和所述第一受测试设备之间的会话的请求；

由所述协作设备基于所述请求，记录所述会话以用于第二用户设备审查和共享所记录的所述会话；

由所述协作设备将所述第一用户设备标识为接收方以经由网络从所述协作设备接收所述测试结果数据，

所述第一用户设备是以下中的一项：

通信设备、计算设备、移动电话、膝上型计算机、平板计算机、手持计算机、游戏设备或可穿戴通信设备；以及

由所述协作设备确定与所述第一用户设备和所述网络之间的连接相关联的网络状况信息，所述网络状况信息包括以下中的一项：延迟值、带宽值、吞吐量值、抖动值、或者分组丢失量；以及

由所述协作设备使用基于所述网络状况信息的技术来向所述第一用户设备提供所述测试结果数据，其中所述测试结果数据包括音频信息和视频信息中的至少一项，所述音频信息和所述视频信息中的至少一项是由所述第一受测试设备基于所述输入而被生成的，

针对所述第一受测试设备生成所述音频信息或所述视频信息中的至少一项，所述音频信息和所述视频信息中的所述至少一项被实时提供给所述第一用户设备；

其中所述技术包括以下中的至少一项：

编码技术；

自适应比特率流传输技术；

缩放技术；

转码技术、

压缩技术。

8.根据权利要求7所述的方法，还包括：

从一组编解码器中选择要与提供所述测试结果数据相关联地使用的编解码器；并且

其中提供所述测试结果数据包括：

基于选择所述编解码器来提供所述测试结果数据。

9.根据权利要求7所述的方法，还包括：

与所述第一用户设备建立所述连接，

所述连接与所述会话相关联；并且

其中确定所述网络状况信息包括：

基于所述会话来确定所述网络状况信息。

10.根据权利要求7所述的方法，还包括：

基于所述网络状况信息，来确定与所述网络状况信息相关联的第一值满足阈值；并且

其中提供所述测试结果数据包括：

基于所述第一值满足所述阈值来提供所述测试结果数据。

11.根据权利要求7所述的方法，还包括：

从所述第一用户设备接收标识所述输入的信息；并且

其中使所述测试操作被执行包括：

使所述测试操作被执行还基于标识所述输入的所述信息。

12.根据权利要求7所述的方法，其中所述第一用户设备被定位为远离所述协作设备。

13.一种存储指令的非暂态计算机可读介质，所述指令包括：

一个或多个指令，所述一个或多个指令在由协作设备的一个或多个处理器执行时使得所述一个或多个处理器：

从所述第一用户设备并且基于提供标识所述受测试设备的所述列表的所述信息，接收所述受测试设备中的每个受测试设备的所述状态以及所述一组用户设备中的每个用户设备的所述状态、标识要在所述第一受测试设备上被执行的测试操作的数据，

基于执行所述测试操作，接收由所述第一受测试设备生成的所述测试结果数据；

所述第一用户设备是以下中的一项：

确定与所述第一用户设备和所述网络之间的连接相关联的网络状况信息，所述网络状况信息包括以下中的一项：延迟值、带宽值、吞吐量值、抖动值、或者分组丢失量；以及

使用基于所述网络状况信息的技术，来向所述第一用户设备提供所述测试结果数据，其中所述测试结果数据包括音频信息和视频信息中的至少一项，所述音频信息和所述视频信息中的至少一项是由所述第一受测试设备基于从所述第一用户设备接收的所述输入而生成的，

其中所述技术包括以下中的至少一项：

编码技术；

自适应比特率流传输技术；

缩放技术；

转码技术、

压缩技术。

14.根据权利要求13所述的非暂态计算机可读介质，其中所述一个或多个指令在由所述一个或多个处理器执行时还使得所述一个或多个处理器：

基于所述网络状况信息来执行编码技术；并且

其中使得所述一个或多个处理器提供所述测试结果数据的所述一个或多个指令使得所述一个或多个处理器：

基于执行所述编码技术来提供所述测试结果数据。

15.根据权利要求13所述的非暂态计算机可读介质，其中所述一个或多个指令在由所述一个或多个处理器执行时还使得所述一个或多个处理器：

基于所述网络状况信息来选择编解码器；并且

使用所述编解码器来提供所述测试结果数据。

16.根据权利要求13所述的非暂态计算机可读介质，其中所述协作设备被定位为远离所述第一用户设备。

17.根据权利要求13所述的非暂态计算机可读介质，其中所述一个或多个指令在由所述一个或多个处理器执行时还使得所述一个或多个处理器：

向所述第一受测试设备提供一组测试用例；并且

其中使得所述一个或多个处理器接收所述测试结果数据的所述一个或多个指令使得所述一个或多个处理器：

基于向所述第一受测试设备提供所述一组测试用例，来接收所述测试结果数据。