CN110366858A - 用于评估无线装置和/或无线网络性能的系统和方法 - Google Patents

Abstract

提供了一种在无线电子装置上评估无线装置性能和/或无线网络性能和/或无线网络使用趋势的方法，该方法包括：在无线电子装置上提供无线装置软件，该软件被嵌入在无线电子装置的应用或存储器中，并且能够操作以执行与装置的特性和/或位置以及/或者装置和/或网络的性能以及/或者用户对装置的使用关联的至少一个测试；与i)无线电子装置的操作系统和ii)外部测试服务器中的至少一者通信以执行至少一个测试，其中，至少一个测试根据配置和/或无线装置软件中提供的至少一个测试参数来执行，至少一个测试参数包括控制测试对无线电子装置的操作的影响的至少一个行为标准；收集由所述至少一个测试的执行产生的测试数据；以及将测试数据提供给收集服务器。

Description

用于评估无线装置和/或无线网络性能的系统和方法

相关申请的交叉引用

本申请要求2017年1月17日提交的美国临时专利申请No.62/447,255的优先权，其内容通过引用并入本文。

技术领域

以下内容涉及用于评估无线装置和/或无线网络性能和无线网络使用趋势的系统和方法。

背景技术

访问无线通信网络的无线装置的数量不断增长。这些装置可经由蜂窝、WiFi和其它接入点访问各种网络。随着装置的数量增长，这些网络上的压力增长，从而影响网络和装置二者的性能。

为了解决无线装置和无线网络的性能，网络服务提供商、装置制造商、应用开发商以及与影响这样的性能有利害关系的其它实体需要性能和使用数据。存在各种技术用于收集和评估性能和使用数据，例如，执行周期性测试的独立装置上应用或模块。无线运营商还可具有能够访问可评估的某些性能数据的本地应用。

然而，这些技术可对装置和那些装置的用户是侵入性的，从而限制部署应用或模块的网络的类型和/或装置的类型和/或用户的类型，或者这些技术何时以及如何实现是死板的。

发明内容

以下提供一种系统和方法，其将软件功能嵌入或以其它方式部署到无线电子装置上(例如，嵌入到应用、存储器、操作系统(OS)或其它地方)以收集关于装置、应用、OS、网络等的使用和性能的数据。为了平衡与装置交互以便收集数据和对装置的应用和操作的影响最小的竞争目标，以灵活和透明的方式集成软件功能。

通过将该软件功能部署在众多网络上的众多装置中，可收集横跨不同应用、装置、网络等的大而有意义的数据集，而不会在装置的正常使用过程中对装置的可操作性有不利影响。

在一方面，提供了一种在无线电子装置上评估无线装置性能和/或无线网络性能和/或无线网络使用趋势的方法，该方法包括：在无线电子装置上提供无线装置软件，该无线装置软件被嵌入在无线电子装置的应用或存储器中，并且能够操作以执行与装置的特性和/或位置、以及/或者装置和/或网络的性能、以及/或者用户对装置的使用关联的至少一个测试；与i)无线电子装置的操作系统和ii)外部测试服务器中的至少一者通信以执行所述至少一个测试，其中，所述至少一个测试根据配置和/或无线装置软件中提供的至少一个测试参数来执行，所述至少一个测试参数包括控制测试对无线电子装置的操作的影响的至少一个行为标准；收集由所述至少一个测试的执行产生的测试数据；以及将测试数据提供给收集服务器。

在其它方面，提供了被配置为或能够操作以执行所述方法的系统和计算机可读介质。

附图说明

现在将参照附图作为示例描述实施方式，附图中：

图1是包括大量电子通信装置的无线通信环境的示意性框图；

图2A是无线装置的配置的框图；

图2B是无线装置的另一配置的框图；

图2C是包括媒体评估工具包(MAT)的无线装置的另一配置的框图；

图3是使用无线装置软件(WDS)从移动装置收集数据的配置的框图；

图4是使用具有数据处理、数据分发和装置软件支持的WDS从移动装置收集数据的配置的框图；

图5是示出用于多个装置和多个第三方系统的图4所示的配置的框图；

图6是示出包括WDS和/或MAT-WDS的游戏或应用的配置的示意图；

图7是示出用于集中管理装置上的多个WDS的配置的示意图；

图8是示出图4所示的配置的附加细节的框图；

图9是示出反馈和配置服务器被用来使用多个移动装置中的无线装置软件来通信和/或控制应用的配置的框图；以及

图10是示出执行以收集装置上的性能和/或使用数据的计算机可执行指令的流程图。

具体实施方式

以下提供一种系统，其允许收集并分析横跨众多应用、网络和环境来自众多装置的众包数据，使得允许获得更有意义且完整的数据而不会以不利的方式过度影响装置以及系统在其内操作的网络。

如本文将描述的，对在部署有软件功能的装置上运行的应用和进程的影响最小应该考虑各种因素。

例如，软件功能不应使用过多电池电力、CPU处理能力、网络带宽或内存。数据收集率还应该是可调的，使得其可减小以适应用户动作、网络密集动作，并且根据装置电池电量、装置的位置和应用内活动可调。为了更广泛地部署软件功能以获得更广的数据集，软件功能依赖于与广泛分发和使用的应用、游戏、操作系统、工具/实用程序等的集成。因此，软件功能不应干扰例如给应用/游戏伙伴带来收益的广告的性能。例如，软件功能不应在正经由网络加载广告的同时执行吞吐量测试。

本文所描述的软件功能还被配置为对就应该何时和何地执行测试、应该执行什么测试以及数量是多少设定规则的配置服务器作出响应。这使得软件功能能够“调整”以适应不同的网络/位置、不同的应用/游戏、不同的用户等。例如，软件功能在将收集的数据日志上传到服务器/系统之前应该等待直至装置连接到WiFi，以使对用户的数据计划的影响最小化(和/或对在特定装置或账户上进行的任何测试设定每月使用限制)。这样，软件功能可防止希望使用本系统的攻击者影响装置和应用。

如本文将描述的，软件功能可执行主动测试，所述主动测试生成网络业务以测量网络性能。这可涉及对测试服务器进行ping以测试网络延迟，或从这样的服务器下载预定大小的文件以确定下载速度和吞吐量。还执行被动测试，其中软件功能不生成附加业务，而是监测由用户、应用、网络基础设施等生成的现有业务。例如，软件功能可监测广告下载的速度和该广告的大小以估计速度和吞吐量。软件功能还可被配置为嵌入在应用和OS内或在应用和OS之间具有接口，以便访问已经被跟踪或以其它方式经由OS可用的信息。利用这些不同的技术，软件功能可适应性改变和调整其操作以便在考虑装置、应用和网络性能的同时为系统收集有意义且完整的数据。

现在转向附图，图1示出可包括一个或更多个无线网络14的无线环境10的示例。网络14可为不同的类型，例如不同的蜂窝网络类型(2G、3G、4G等)。不同的网络类型还可包括其它类型的无线网络14，例如可通过可用WiFi接入点访问的WiFi网络。在无线网络环境10内，具有无线能力的各种电子通信装置12通过连接到一个或更多个不同网络/网络类型14和/或经由对等或网状连接彼此直接连接来操作。

为了从环境10获得众包数据16，各个装置12包括软件功能，其能够执行测试，监测现有装置操作和使用，以及以其它方式收集关于该装置12上的一个或更多个应用的数据。该软件功能在本文中被称为无线装置软件(WDS)40，并且在图1所示的示例中，WDS 40被嵌入在装置12上的至少一个应用38中。然而，如下面将示出的，WDS 40可按照与图1所示不同的配置部署在装置12上。通过与各种移动应用(例如，游戏)或操作系统或工具/实用程序的发布者合作，WDS 40可被分发给数以百万计的移动装置12以匿名收集QoS、网络使用趋势、装置和应用使用数据等。可理解，WDS 40也可与要在大量移动装置12上使用的运营商应用或其它定制应用集成。WDS 40可被嵌入在诸如Android、iOS、Windows等的各种移动平台/OS以及诸如用于可穿戴设备、游戏、车辆系统、无线传感器等的其它移动平台上运行的应用和游戏中。即，具有位置跟踪能力(例如，GPS、基于网络的定位等)的任何其它装置/平台以及具有运行本文所描述的软件功能的能力的网络(例如，互联网)连接适用于本文所描述的数据收集、分析和反馈/报告机制。在一些实现方式中，仅具有网络连接而没有基于位置的能力的装置也可被并入系统中。

收集的数据16优选与位置相联系或以其它方式被认为“基于位置的”，使得数据16或从数据16推导的信息可被置于地图上。数据16还优选以匿名方式收集，使得系统18不收集和/或存储个人可标识信息。例如，系统18应该被配置为不收集装置的广告商ID、装置ID或可结合另一数据集标识装置12的用户的其它信息。在一个实现方式中，本文所描述的软件功能可被配置为生成并附加特定安装所特定的唯一随机数，其周期性地(例如，每天)重置(例如，重新生成)。这样做可确保攻击者无法在几天的过程中观察到从一个装置报告的数据以确定该装置可能属于谁。

数据16可包括(但不限于)：装置位置、装置制造商名称、装置型号、OS名称和版本、网络运营商ID、内存空闲％、CPU利用率、电池消耗率、存储利用率(即，装置度量)、应用名称、下载字节、上传字节、首次安装时间、最后更新时间(即，移动应用度量)、上传吞吐量、下载吞吐量、延迟、链接速度、信号强度、抖动、分组丢弃率、分组丢失、射频冲突数(即，网络QoS度量)、BSSID、SSID、信号强度(即，Wi-Fi扫描度量)、连接开始/结束时间、连接类型、技术、服务提供商、小区ID、LAC、MCC、MNC、DHCP响应时间(即，连接度量)等。

收集的数据16被馈送到中央系统18，中央系统18包括用于收集数据16、处理和分析数据16、生成对WDS 40和装置12的反馈、以及准备用户界面和报告的模块和进程。可理解，可使用多个“中央”系统18，以例如符合要求来自特定管辖区的数据被存储在该管辖区中等的处理法律。数据16可被安全地存储在基于云的数据库中并经由安全连接(例如，HTTPS)安全地发送。数据库可分散于全球并且可被配置为向系统18的客户端提供直接访问。

生成报告和用户界面并提供给一个或更多个第三方22，特别是游戏或应用开发商、装置制造商、网络运营商等。可使用诸如图形报告、交互式控制面板、web工具等的数据可视化工具来提供报告和用户界面。报告可周期性地传送，或者实时传送，使得控制面板在需要时在线随时可用。

诸如自组织网络(SON)的其它第三方22也可受益于由系统18众包化的数据16。SON响应于网络质量动态地调节网络、天线或波形成特性。想法在于，网络是自愈的，使得如果存在问题，则网络将调节以自行消除该问题。SON通常需要访问大量的现场数据以操作，这可通过可使用系统18获得的大数据集来满足。系统18以及可选地第三方22也可与媒体评估系统28通信，如下面说明的，媒体评估系统28是利用WDS 40的定制版本的专用数据收集系统的示例。

如下面更详细说明的，系统18可具有配置服务器或以其它方式控制或操作配置服务器，配置服务器通常表示可由或通过系统18控制以用于与部署在装置12上的WDS 40交互的任何实体或服务。这样，WDS 40的行为或对应用38的影响和/或应用38的行为可由系统18或甚至由第三方22直接修改(如果由系统18注册或以其它方式许可)。这允许需要时由系统18向每一个装置12中的WDS 40提供命令或反馈20。在一个示例中，配置服务器可用于提供“切断开关(kill switch)”或其它功能，其可指示WDS 40和/或应用38自己终止或停止操作(例如，在安全漏洞的情况下或避免潜在应用或服务器故障)。可理解，切断开关模块126也可被集成到配置服务器124和/或应用38或WDS 40中。

现在转向图2A，示出电子装置12的配置的示例，其具有WDS 40的至少一个实例。装置12包括处理器30、存储器32和操作系统42。在此示例中装置12还能够操作以经由显示器34向用户提供图形用户界面。例如，可直接在装置12上提供视觉组件以用于如果用户期望，将所收集的信息的一部分显示给用户。装置12还包括一个或更多个通信接口36，其能够操作以将装置12连接到一个或更多个网络14。还如图2A所示，装置12可包括如上所述不同类型的多个应用38。为了横跨多个应用38和应用类型收集和发送相关的数据16，各个应用38(或任一个或更多个应用38)可被嵌入上述WDS 40中(嵌入并在应用38的后台中运行)以收集特定数据，执行测试等。WDS 40不仅能够访问装置12上的组件，例如处理器30、电池(图2A中未示出)和OS 42，WDS 40可被配置为直接或经由其驻留在其上的应用38通过与一个或更多个通信接口36接口在一个或更多个网络14上通信。可理解，WDS 40可对在一段时间内可执行的测试数量具有硬编码限制，这些限制是配置服务器无法更改的。WDS 40还可操作以识别在相同电子装置上的不同应用中运行的其自己的代码，并且通过使无线装置软件的仅一个实例同时操作来响应识别在不同应用中运行的其自己的代码。

WDS 40可如图2A所示被实现为嵌入在移动装置应用中的软件库，并且被设计为如下面举例说明那样报告并与系统18集成。WDS 40是为一个或更多个OS类型配置的移动库，例如iOS、Android、Windows、BlackBerry等。该库被配置为容易地添加到现有应用以收集装置、连接、网络QoS、Wi-Fi和应用关键性能指标(KPI)。使用这种过顶(over the top)方法要求WDS 40具有经由网络连接(在Wi-Fi上或移动(例如，蜂窝))与系统18通信的能力。这允许灵活地在世界各地通过云基础设施在任何地方部署。WDS 40在其操作期间与各种服务器集合交互，下面提供其细节，即：认证服务器、配置服务器、测试服务器和报告服务器。许可服务器决定允许哪些API密钥和应用通过WDS 40操作并收集数据。配置服务器为WDS 40的操作设定特定规则和参数。WDS 40可使用测试服务器来在连接的网络上执行主动测试。WDS40可内置有智能，其对确定与哪一测试服务器交互以进行主动测试的配置服务器作出响应。全球存在许多服务器可用于这些测试，系统每次应该动态地为WDS 40选择正确的一个。例如，系统可选择总是针对地理上最近的测试服务器进行测试。

报告服务器用于将来自WDS 40的数据有效载荷上传到系统中以用于后续分析、报告、反馈等。

可理解，优选不记录或发送个人可标识信息，包括按键信息、联系信息等。

以下KPI的非穷尽列表可由WDS 40收集并本地存储在数据库(例如，SQLite)中：

对于网络QoS→装置制造商名称、装置型号、OS名称和版本、装置屏幕分辨率宽度、装置屏幕分辨率高度、总装置内存、总装置盘存储、语言、连接类型、移动技术、服务提供商、开始连接时间戳、结束连接时间戳、小区ID、位置区域代码(LAC)、基本服务集标识(BSSID)、服务集标识符(SSID)、移动国家代码(MCC)、移动网络代码(MNC)、时区、物理小区ID(PCI)、QoS收集时间戳、上传吞吐量、下载吞吐量、延迟、链接速度、信号强度、纬度、经度、高度、水平精度、垂直精度、抖动、分组丢失、速度、方位、装置空闲内存、装置CPU、装置电池电量、装置电池状态、装置空闲存储、Delta发送字节、Delta接收字节、参考信号接收功率(RSRP)、参考信号接收质量(RSRQ)、参考信号信噪比(RSSNR)、信道质量指示符(CQI)、定时提前(TA)、系统运行时间、国家、地区、城市、Geohash等。

对于应用数据使用→装置制造商名称、装置型号、OS名称和版本、装置屏幕分辨率宽度、装置屏幕分辨率高度、总装置内存、总装置盘存储、语言、连接类型、移动技术、服务提供商、开始连接时间戳、结束连接时间戳、小区ID、LAC、BSSID、SSID、MCC、MNC、时区、PCI、应用名称、应用包名称、应用Delta发送字节、应用Delta接收字节、应用Delta应用运行时间、应用首次安装时间、应用最后更新时间、国家、地区、城市、平均纬度、平均经度、Geohash等。

对于WDS数据库→主密钥(装置)、标识符、装置制造商名称、装置型号、OS名称和版本、装置屏幕分辨率宽度、装置屏幕分辨率高度、总装置内存、总装置盘存储、语言、WDS版本，数据库版本、上传时间、创建日期时间、主机应用包名称、主机应用版本、连接ID(连接)、连接类型、移动技术、服务提供商、开始连接时间戳、结束连接时间戳、小区ID、LAC、BSSID(连接)、SSID(连接)、响应时间、认证时间、MCC、MNC、时区、PCI、主密钥(QoS)、连接ID(QoS)、QoS收集时间戳、上传吞吐量、下载吞吐量、平均延迟、最大延迟、最小延迟、链接速度、信号强度、纬度、经度、高度、水平精度、垂直精度、平均抖动、最大抖动、最小抖动、服务器响应发送分组、服务器响应丢弃分组、服务器响应丢弃百分比、发送字节、发送分组、接收字节、接收分组、服务器响应发送分组、服务器响应丢失分组、服务器响应丢失百分比、速度、方位、装置空闲内存、装置CPU、装置电池电量、装置电池状态、装置空闲存储、Delta发送字节、Delta接收字节、RSRP、RSRQ、RSSNR、CQI、TA、系统运行时间、下载吞吐量测试大小、上传吞吐量测试大小、QoS测试触发、下载吞吐量测试服务器DNS、下载吞吐量测试服务器IP、上传吞吐量测试服务器DNS、上传吞吐量测试服务器IP、服务器响应测试服务器DNS、服务器响应测试服务器IP、主密钥、Wi-Fi扫描时间戳、BSSID(WiFi扫描)、SSID(WiFi扫描)、信号强度、频率、纬度(WiFi扫描)、经度(WiFi扫描)、高度(WiFi扫描)、水平精度(WiFi扫描)、垂直精度(WiFi扫描)、接入点能力、主密钥(WiFi扫描)、连接ID(WiFi扫描)、ADU时间戳、应用名称、应用包名称、Delta应用发送字节、Delta应用接收字节、应用发送字节、应用接收字节、Delta应用运行时间、应用运行时间、应用首次安装时间、应用最后更新时间等。

对于配置服务器参数(DSC＝动态服务器配置)→DSC配置UNIX时间戳、DSC配置版本、DSC JSON模式版本、拉取DSC配置的频率、允许装置连接性改变的测试的Boolean、允许装置位置改变的测试的Boolean、在位置将更新之前装置必须行进的最小水平距离、在位置将更新之前装置必须行进的最小时间、在位置将更新之前装置必须改变的最小方位、限定装置的位置精度和功耗的位置更新的服务质量、位置界限(限定在所述界限内执行测试的特定位置)列表、位置界限的西南纬度、位置界限的东南经度、位置界限的东北纬度、位置界限的西北经度、仅允许被动测试的Boolean、在被动测试之间必须经过的最小时间、允许周期性服务器响应测试的Boolean、将执行服务器响应测试的频率、允许经由移动的服务器响应测试的Boolean、服务器响应测试之间的最小位置改变次数、服务器响应测试之间必须经过的最小时间、字符串(限定在其上执行测试的特定网络)列表、Wi-Fi网络SSID或移动服务提供商名称、允许周期性吞吐量测试的Boolean、将执行吞吐量测试的频率、允许经由移动的吞吐量测试的Boolean、吞吐量测试之间的最小位置改变次数、吞吐量测试之间必须经过的最小时间、允许移动连接的Boolean、允许Wi-Fi连接的Boolean、将导出数据库的频率、允许利用数据库导出来导出SDK错误日志的Boolean、SDK将尝试强制导出数据库之前的最大数据库文件大小、SDK将尝试强制导出数据库并且如果不成功则停止数据收集之前的最大数据库文件大小、收集Wi-Fi接入点扫描的Boolean、收集应用数据使用信息的Boolean、针对应用数据使用信息跟踪的最大应用数量、收集Android系统应用的Boolean、包括在ADU报告中的系统应用包字符串列表、系统应用包名称、执行服务器响应测试的服务器URL、执行服务器响应测试时要发送的分组数量、执行服务器响应测试时要发送的分组大小、执行服务器响应测试时的超时延迟、执行下载吞吐量测试的服务器URL、执行上传吞吐量测试的服务器URL、执行吞吐量测试时使用的测试文件大小、执行下载吞吐量测试时的超时延迟、执行上传吞吐量测试时的超时延迟、基于装置位置执行网络测试的QoS测试服务器列表、QoS测试服务器纬度、QoS测试服务器经度、执行服务器响应测试的QoS测试服务器URL、执行下载响应测试的QoS测试服务器URL、执行上传响应测试的QoS测试服务器URL、注册应用并且如果提供有效API密钥则接收有效部署密钥的服务器URL、检查特定应用包名称的部署密钥有效的服务器URL、装置UID刷新频率、导出DB日志文件的服务器URL、导出日志记录文件的服务器URL、在SDK关断之前24小时内每日SDK错误的最大数量、最大允许每月移动数据配额、报告Wi-Fi连接改变信息的Boolean、报告Wi-Fi连接改变信息的服务器URL、报告具有Wi-Fi连接改变信息的装置UID的Boolean、允许填充器向SDK提供附加位置信息的Boolean、填充器得到给SDK的附加位置信息的服务器URL、检查外部IP地址的Boolean、确定外部IP地址的服务器URL等。

因此，WDS 40被配置为进行测试并收集广泛的变化量的数据16，这些数据16可被存储、上传并由系统18使用，如本文所描述的。

通常，存在可由WDS 40捕获的两种类型的KPI，即如下表1所示：

表1：KPI类型总结

如上所述，KPI的收集率优选由首次初始化时提供给WDS 40的配置确定。可通过配置服务器调节主动测试的频率。被动测试可在没有执行主动测试时运行，以避免测试彼此影响并确保所使用的CPU的量最小化。然而，适当时被动测试和主动测试可同时运行，以例如在已经运行主动测试的同时被动地收集附加信息。可理解，WDS 40可被配置为仅收集被动测量。也如上所述，优选不记录或发送个人可标识信息。

网络上的主动测试通过与外部测试服务器通信来执行。这些测试服务器可托管不同大小的各种文件以用于执行下载吞吐量测试。对于上传吞吐量测试，测试服务器可提供不限制的存储桶以上传任何大小的文件。此外，测试服务器还可将发送自WDS 40的UDP分组回送以进行服务器响应测试。

可理解，尽管在图2A中各个应用38包括WDS 40的嵌入式实例以用于监测和测试应用38和/或装置12，但WDS 40可按照各种其它配置来部署。例如，图2B示出WDS 40可改为(或除此之外)驻留在OS 42中并集中地与若干应用38交互。WDS 40也可作为独立应用驻留或驻留在装置12的另一位置或组件中(如虚线所示)，具有与若干(或所有)应用38交互的功能。类似地，一个或更多个应用38可另外驻留有WDS 40(也以虚线示出)，例如，需要内部控制这些操作而非向外部程序、模块或例程开放的应用38。因此，WDS 40可被安装在多个不同的应用中(即，在天气应用中，然后是完全不同的游戏中)，这些不同的应用可能安装在同一电话上或众多不同的电话上。这允许WDS 40被多次安装在同一电话上的场景(例如，如所示的)，在这种情况下，WDS 40应该识别出它正在从同一装置12得到数据。

现在转向图2C，也可针对特定应用或媒体类型定制WDS 40。在图2C所示的示例中，示出媒体评估工具包(MAT)WDS 44，其被配置为监测并报告特定媒体类型(例如，视频)，特别是体验质量(QoE)。MAT WDS 44实现直接从移动装置12收集视频、用户交互和装置度量的能力。

在图2C所示的配置中，MAT WDS软件库充当端点中间件。该软件库可被容易地并入服务提供商的视频应用38中。其目的在于监测视频QoE并将该信息报告给视频QoE服务器48以便于系统18进行数据存储和处理。在此示例中经由视频内容服务器46提供视频内容。MATWDS 44可包括多个不同的库以用于特定使用情况和分析。例如，视频资产分析允许详细了解视频资产和用于观看视频的装置，提供与视频资产和装置信息有关的度量，例如：来自清单的比特率列表、每比特率的ABR改变请求计数、每比特率的接收片段的持续时间、每比特率的片段数量、重新缓冲时间、装置序列号、装置制造商/型号、OS和版本、装置MAC地址、装置IP地址、网络运营商ID、装置位置、装置内存空闲百分比、装置CPU利用率、软件(库)版本、时间戳(观看时间段的开始/结束时间)、视频资产名称、视频资产URL、流类型(HLS、MSS、HDS、MPEG-DASH等)、装置连接性类型(WiFi对移动)、接入点标识符(CID、BSSID等)。

用户交互分析允许详细查看视频体验和用户交互，以更好地了解用户参与视频应用。用于这种类型的分析的特征集可包括：平均会话持续时间、缓冲欠载计数、服务器响应时间、资产播放开始时间、播放结束时间、暂停开始时间、暂停结束时间、FFwd开始时间、FFwd结束时间、倒回开始时间、倒回结束时间等。

还可执行扩展视频分析以允许更好地查看用户的网络性能和装置影响，以提供装置经历的网络性能的更好画面。用于这种类型的分析的特征集可包括：装置电池消耗率、装置存储利用率、客户ID、事件日志(清单下载-请求的时间戳、URL、下载时间)、应用运行时间(视频应用运行了多久)、上传吞吐量、下载吞吐量、延迟、分组丢失、抖动、数据使用、信号强度、射频冲突数、网络连接时间、网络认证时间、事件日志(播出时间的初始请求-加入时间(ms))等。

作为视频应用38内部的软件库执行视频资产的监测，因此当用户打开应用38时，特征需要库适当地初始化。特征可能需要将参考传递给媒体播放器，例如，对于由视频应用38初始化的各个媒体播放器。特征还可能需要将参考传递给URI或URL，可能需要API向关联的时间戳开放，还可能需要将参考传递给适当的点击侦听器、将参考传递给应用的创建和销毁功能、API向关联的信息开放等。

MAT WDS软件库固有地使用装置资源来收集数据。进行关于在十分钟时段内记录的内存和CPU使用的测试：

1.基础测试：此测试表示在没有流化任何视频的情况下运行视频流化应用。这提供了显示应用的用户界面和后台进程的占用空间的基线。

2.视频测试：此测试表示在还流化视频的同时运行视频流化应用。在此测试中，收集并监测视频QoE度量。

3.QoS测试：此测试以网络特定度量的收集扩展视频测试。每三十秒进行下载吞吐量、上传吞吐量、延迟、抖动和分组丢失测试。高于视频测试的占用空间增量表示网络性能测试对装置的影响。

对于内存使用，发现三种测试之间的百分比差异相当小，其中由于添加了每三十秒执行的网络评估测试，QoS测试需要比视频或基础测试更多的内存。发现在任何给定时间基础测试与QoS测试之间的内存使用的差异最大为大约4.5％。要注意的是，移动装置12上的任何应用的内存使用可影响装置的性能和电池消耗。

对于CPU使用，还使用具有两个核的装置来执行这三种测试。发现视频测试与QoS测试之间的百分比差异相当小，并且在基础测试中，CPU使用随着装置移至睡眠状态而下降。发现在任何给定处理器核上在任何给定时间视频测试与QoS测试之间的CPU使用最大为大约1.0％。观察到视频测试和QoS测试二者与基础测试之间的差异大，特别是随着时间推移。这是因为随着用户不再与应用38交互，装置12进入睡眠或低迷状态。类似于内存使用，移动装置12上的任何应用的CPU使用可影响装置的性能和电池消耗。

在图3中以高级别示出数据收集配置。被配置为操作WDS 40(使用一个或更多个应用38)的各个移动装置12向作为系统18的一部分部署的收集服务器50提供数据。收集的数据16连同从其它装置12获得的数据16一起如本文所述被处理，以生成用于第三方系统22的信息和数据。图4提供了图3所示的配置的进一步的细节，其中收集服务器50收集数据16并且通过数据处理级52来处理收集的数据。如此处理的数据然后被提供给数据分发级54以用于分发给第三方系统22。图4还示出数据分发级54可使得系统18能够通过与可连接到WDS40的装置软件支持功能56通信来向移动装置12提供反馈，以完成反馈回路。装置软件支持功能56可包括图1中总体上示出的配置服务器124，如下面更详细讨论的。

通过将WDS 40部署在利用多个不同的网络类型操作的多个不同的装置类型上的多个不同的应用类型中，不仅可从更广泛的源收集数据以提供更有意义且完整的数据集；可因此建立更综合的反馈网络，从而提供到达更广泛的装置12的能力。这种反馈网络可用于各种目的，包括修改WDS 40的行为。除了修改WDS 40的行为之外，还可利用反馈网络来创建第三方22与装置12、应用38以及甚至网络40(例如，网络装置和基础设施)之间的双向信道。

图5示出类似于图4所示的配置，但示出经由多个WDS 40从多个装置12收集数据16。如图5所示，所示的多个移动装置12可由公共装置软件支持实体56服务并且可向公共收集服务器50提供数据16。系统18可根据需要采用多个区域收集服务器50和装置软件支持实体56，因此图5所示的示例仅是例示性的。

图6提供了游戏/应用38的示意性框图，以示出可配置WDS 40(或MAT-WDS 44)以便收集期望的数据集并监测期望的KPI的灵活性。在此示例中，应用38包括应用调度模块50，其可包括应用38中负责与WDS 40、44接口以调度应用38的操作(例如，何时传送广告、何时播放某些类型的媒体等)的任何软件代码或功能。即，除了WDS 40被配置为最低程度地侵入应用38之外，应用38也可是被动的，以便允许某些测试被执行并且/或者使用WDS 40所收集的信息(例如，网络质量)来主动地调节应用内动作以改进用户体验。图6还示出WDS 40、44可与装置处理器30、装置存储器32和装置电池33通信或从其接收信息。如上所述，该信息还可通过与OS 42通信来获得。

作为示例，图6中举例说明了各种WDS模块，包括：数据收集调整模块52，用于存储决定如何/何时执行某些测试的参数(例如，来自配置服务器的配置)；被动测试参数模块54，用于存储某些被动测试方法；以及主动测试参数模块56，用于存储某些主动测试方法。

如上所述，被动测试方法包括从装置的组件(例如，OS 42)拉取数据，而不使用网络业务。

主动测试使用网络业务来测量网络连接的质量。这些测试需要WDS 40与测试服务器交互。以下针对三个示例主动测试描述测试方法。

下载吞吐量测试

通过测量经由HTTPS TCP连接从测试服务器下载例如2MB文件所花费的持续时间来计算下载吞吐量测试。WDS 40建立与测试服务器的连接，其使用例如亚马逊的CloudFront服务以利用最快响应到达该服务。WDS 40开始下载定义大小的文件以测量吞吐量。WDS 40通过将测试文件大小(字节)除以完全下载文件所花费的时间来计算吞吐量。该方法可用于所有测试，除了连续吞吐量测试(其中不断地确定吞吐量直至传送到达稳定速度)之外。该速度然后可被记录为吞吐量。

可调节下载吞吐量测试的频率以及使用什么服务器来从其下载文件。可使用配置服务器124根据下表2调节下载吞吐量测试的大小：

测试大小	描述
		微	250kB
小	500kB
		中等	1MB
中大	2MB
		大	5MB
巨大	10MB
		连续	下载直至实现稳定速率

表2：下载吞吐量测试大小

下载吞吐量测试并非被设计为测量当前连接的最大吞吐量，而是选择中大测试(2MB文件)以模拟在移动装置上加载网页或开始视频会话。连续测试可用于测量连接的最大下载吞吐量。

上传吞吐量测试

通过测量经由HTTPS TCP连接将例如随机字节的1MB文件上传到测试服务器所花费的持续时间来计算上传吞吐量测试。WDS 40开始上传定义大小的文件以测量吞吐量。WDS40通过将测试文件大小(字节)除以完成文件上传所花费的时间来计算吞吐量。

可调节上传吞吐量测试的频率以及使用什么服务器来向其上传文件。可使用DSC根据下表3调节上传吞吐量测试的大小：

测试大小	描述
		微	250kB
小	250kB
		中等	500kB
中大	1MB
		大	1MB
巨大	5MB
		连续	上传直至实现稳定速率

表3：上传吞吐量测试大小

上传吞吐量测试并非被设计为测量当前连接的最大吞吐量，而是选择中大测试(1MB文件)以模拟向社交媒体上传中等清晰度图像。连续测试可用于测量连接的最大上传吞吐量。

服务器响应测试

服务器响应测试包括一个连接中的延迟、抖动和分组丢失测试。通过测量经由协议(例如，UDP)连接向测试服务器发送设定数量的协议(例如，UDP)分组的往返持续时间来计算服务响应测试。从WDS 40以规定的顺序在精确的定时发送分组。分组被测试服务器接收并立即回送给WDS 40。WDS 40基于分组被WDS 40发送和接收所花费的总时间来计算延迟。通过测量有序分组被接收的时间差或偏差来计算抖动。分组丢失基于未按顺序返回或从序列失踪的分组。

可使用配置服务器124来调节发送的分组的数量、分组的大小和目的地服务器。通常，使用各自为1字节的20个分组来执行服务器响应测试。针对被发送并接收回到WDS 40的各个分组测量延迟。从各个分组的该延迟测量集合，计算并存储最大、最小和平均延迟。类似地，针对接收回到WDS 40的各个分组集合测量抖动。从该抖动测量集合，计算并存储最大、最小和平均抖动。基于未按照与发送相同的顺序返回到WDS 40的分组的数量来计算分组丢失。不管接收顺序如何，基于未返回到WDS 40的分组的数量来计算分组丢弃率。

在本文所描述的示例中，选择UDP分组来模拟诸如视频和VoIP呼叫的延迟敏感应用。高抖动指示差的用户体验，并且可最明显地影响视频和语音传送。高分组丢失通常指示网络拥塞，但是也可由弱无线电信号或者联网硬件或驱动器故障导致。在流化应用和在线游戏中高分组丢失常常最影响用户体验。

WDS 40应该被实现为使电池使用最小化。在默认配置下，WDS 40监测可使电池使用增加大约1％。然而，由于系统18不太可能能够一天24小时地主动监测QoE，所以平均一天的消耗可大大小于1％。可通过增加或减小QoE测试的频率来修改该数。

以下提供与将WDS监测能力嵌入到应用38中关联的增量电池使用的估计。在多于10个装置类型上执行了四种单独的测试，本文中概述平均结果。

基线测试：基线测试旨在表示在不执行任何QoE测试的情况下运行的平均应用。

每15分钟：此测试表示在WDS每15分钟收集QoE度量一次的同时运行的应用的电池使用。

每5分钟：此测试表示在WDS每5分钟收集QoE度量一次的同时运行的应用的电池使用。

每2分钟：此测试表示在WDS每2分钟收集QoE度量一次的同时运行的应用的电池使用。

数据收集间隔	结果
		15分钟	在30分钟会话内，你将失去23秒的电池使用
5分钟	在30分钟会话内，你将失去1.1分钟的电池使用
		2分钟	在30分钟会话内，你将失去2.6分钟的电池使用

表4：电池使用测试结果WDS 40还应该被配置为使数据使用最小化。在默认配置下，WDS 40可被配置为每装置12每月仅使用25MB的移动数据，其中大多数数据使用与在网络14上执行主动测试以及将数据库导出到报告服务器关联。下面总结了使用网络数据的KPI：

数据类型类别	KPI	数据使用
			QoS	上传吞吐量	1MB
QoS	下载吞吐量	2MB
			QoS	延迟	1KB*
QoS	抖动	1KB*
			QoS	服务器响应分组丢失	1KB*

*1KB用于作为服务器响应测试的一部分获得延迟、抖动和分组丢失KPI

表5：使用网络数据的KPI

根据监测的网络和客户，WDS的不同行为是适当的。以下配置概述了在31天时段内使用的数据量。

表6：数据使用配置

关于CPU，WDS 40不应该对装置CPU使用具有明显影响并且不应该减缓无线装置12的性能。

关于数据存储和报告频率，WDS监测结果被本地存储在装置12上直至被报告给服务器。然后应该从无线装置的存储清除所有报告的数据。可使用WDS 40来配置报告的频率，然而，作为示例，默认可被设定为在连接到WiFi的同时每天(例如，24小时)一次。

WDS 40可在端口443上使用HTTPS POST报告数据作为SQLite文件。一旦在服务器侧存储，可通过特定数据仓库的防火墙和防盗机制来加密和保护信息。用户可识别数据的收集是WDS 40的可选特征。当收集时，系统18可对所有装置标识符信息进行散列化以使信息匿名。

WDS 40可监测无线装置12所使用的任何IP连接。这包括(但不限于)任何Wi-Fi、2G、3G和4G连接。此外，由于所有监测和报告以过顶(OTT)方式执行，所以WDS 40的功能独立于服务提供商对这种监测的同意，这对于竞争网络分析特别有利。

在一个实现方式中，只有当无线装置12本地启用时才使用GPS数据。由于许多用户为了省电而选择禁用GPS，当GPS不可用时，WDS 40仍可访问由装置本地基于网络的定位系统(例如，蜂窝塔和Wi-Fi接入点三角测量)收集的位置信息。

如图2A所示，装置12可具有多个应用38，各个应用38嵌入有WDS 40。图7示出装置WDS管理器60包括在装置12中以用于管理可由不同WDS执行的测试操作的另选配置。这可避免WDS执行重复测试并允许共享数据，特别是用于被动测试的数据。此外，可提供到其它装置上的其它WDS 40或WDS管理器60的外部连接62以允许例如在同一网络14上或与同一测试服务器通信的装置之间的对等协调，以实现更好的测试效率。因此，WDS 40的一个实例可与同一装置12或附近装置12或碰巧在同一网络上的装置12上的WDS 40的另一实例通信。

现在在图8中提供关于图4和图5所示的功能块的进一步的细节。以移动装置12开始，在此示例中WDS 40被嵌入在移动应用38中并包括用于在应用38和软件控制器86之间接口以用于控制WDS 40的测试和其它操作的软件接口84。WDS 40还包括：测试数据存储88，用于存储在测试期间获取的数据；测试SDK90，用于经由装置OS 42执行涉及应用38和/或装置本身的操作的一个或更多个特定测试。WDS 40还包括实用程序SDK 92，其包括可用于从装置OS 42拉取数据和信息的方法、功能和API。这些方法可用于将数据导出到收集服务器50。

实用程序SDK 92还能够操作以与收集服务器50通信。收集服务器50包括：报告服务器96，用于接收WDS 40所报告的测试和任何其它数据；以及报告数据库98，用于存储测试数据以便于数据处理模块52使用。

数据处理模块52包括中央数据服务(CDS)服务器100，其提供用于不同的第三方数据源的数据源API和元数据。CDS服务器100还可为数据聚合操作的快速响应提供本地存储。CDS服务器100还外部与一个或更多个第三方数据源64并且内部与上述数据聚合模块60接口。数据聚合模块60获得(即，拉取、请求或以其它方式接收)收集服务器50所收集的数据。数据聚合模块60还执行各种数据和数据类型的聚合并将聚合的数据存储在报告数据库104中以由报告生成模块106访问以用于生成各种类型的报告、控制面板等。可理解，也可从第三方数据源，而不仅是收集服务器，拉入数据。例如，可拉入外部数据库，其帮助将纬度和经度转换为收集数据的城市名称。

报告生成模块106可生成各种类型的数据以用于分发给第三方22，如图8所示。例如，报告生成模块106可生成报告110和/或控制面板112，并且可准备原始数据114以在别处分析。报告生成模块106还可准备反馈数据116以发送给装置支持软件56(在此示例配置中，作为这种装置支持软件56的一部分的反馈服务器126)。

装置支持软件56可包括各种服务器，其可与各种装置12中的WDS 40通信并控制、监测、更新、修复、切断或以其它方式与各种装置12中的WDS 40交互。在此示例中，装置支持软件56包括上述反馈服务器126以及用于管理WDS 40的配置的配置服务器124和用于认证WDS 40以确保其来自适当的应用和应用开发商的认证服务器122。装置支持软件56还包括测试服务器120，其用于与测试SDK 90交互以用于提供和更新/配置要由WDS 40执行的测试和测试集合。

WDS 40可被配置成软件库，其被嵌入在移动装置应用38中以便报告并与收集服务器50和数据处理模块52集成。WDS 40的库可被添加到现有应用以收集装置、连接、网络QoS、Wi-Fi和KPI。如图8所示，WDS 40与装置软件支持实体56交互，装置软件支持实体56可包括不同的服务器，WDS 40可在其操作期间与这些服务器通信。图8所示的示例配置包括与WDS40通信的负责认证和发起(认证服务器122)、配置(配置服务器124)、测试(测试服务器120)和报告(报告服务器96)的服务器。认证服务器122可用于决定哪些应用编程接口(API)密钥和应用38被允许通过WDS 40操作和收集数据。配置服务器124可用于为WDS 40的操作设定特定规则和参数。WDS 40还可使用测试服务器120来在连接的网络14上执行主动测试。报告服务器96用于将数据有效载荷从WDS 40上传到系统18。

如上所述，认证服务器122可用于针对各个开发商验证应用38正在使用正确API密钥并向各个应用提供唯一部署密钥。各个应用开发商可被指派API密钥，其用于为各个应用38生成唯一部署密钥。该部署密钥用于控制WDS 40的配置以及跟踪各个应用38所收集的数据。

认证服务器122还可检查应用38先前未向系统18注册。这确保了通过WDS 40收集的数据返回与正确的应用38和开发商关联(例如，考虑到收益共享)。认证服务器122还允许控制随时关断特定应用或开发商以不再收集数据(例如，为了实现“切断开关”)。

WDS 40可被配置为在WDS 40首次初始化时以及在初始化之后周期性地(例如，每几天)由认证服务器122检查。这允许认证服务器122关断任何应用38以不再收集数据16。在WDS 40和认证服务器122之间传送的所有通信和数据优选被保护并加密。例如，WDS 40可在装置12上本地高速缓存三天以防止WDS 40每一次初始化时由认证服务器122检查以防止经由网络14的额外业务或干扰，并充当装置12上的本地高速缓存。

如上面更一般地讨论的，测试服务器120用于通过与WDS 40的交互在网络14上执行主动测试。测试服务器120可托管不同大小的各种文件以用于执行下载吞吐量测试。对于上传吞吐量测试，测试服务器120可提供不限制的存储桶以上传任何大小的文件。此外，测试服务器120还可回送发送自WDS 40的对应协议的分组(例如，UDP分组)以用于服务器响应测试。可在世界各地根据需要设置多个测试服务器120。测试服务器120可在云或本地托管环境上部署。WDS 40通过基于装置的地理位置选择最适当的服务器120来确定哪一服务器120用于执行主动测试。例如，最近路线可能需要使用海底线缆，而略远一些的服务器可能能够使用更快速的陆基线缆(即，不仅仅考虑地理接近)。WDS 40所使用的测试服务器120可通过配置服务器124来配置。在WDS 40和测试服务器120之间传送的所有通信和数据优选被保护和加密。

配置服务器124被设计为允许对WDS 40的完全控制。配置服务器124允许系统18调节数据收集频率、数据报告频率以及针对域中的装置12收集的数据的类型。各个WDS部署可被指派唯一部署密钥，WDS 40使用其来周期性地检查WDS 40应该遵守哪些数据收集/报告行为。这允许动态调节WDS 40性能以精调电池消耗、网络干扰以及其它参数。

配置服务器124所保持的配置文件在WDS 40初始化时下载到WDS 40。例如，配置服务器124可保持“在国家X中不收集数据”的新策略。该新策略或用于数据收集的该新配置文件将由WDS 40下载并执行。新配置文件按照指定的频率被拉取到WDS 40。WDS 40还可在装置12上本地高速缓存配置服务器124(例如，三天)，以防止WDS 40太频繁地从配置服务器124拉取配置。在WDS 40和配置服务器124之间传送的所有通信和数据优选被保护和加密。

配置文件/数据可由服务以已知的可信安全证书签名。该签名与配置服务器的配置一起向下传递，在所述配置中，该签名在装置12上的WDS 40中被验证。WDS 40然后可尝试将服务器配置上的签名与装置12上使用与服务器侧相同的证书本地生成的签名进行匹配。如果WDS 40上生成的签名不与配置服务器124所提供的签名匹配，则WDS 40可被配置为拒绝该配置并继续使用先前配置或默认。服务器124和WDS 40之间的这种共同签名验证确保了配置不受损害。损害供应给WDS 40的配置可对用户装置、所使用的数据量、电池冲击(battery impact)等具有不同程度的影响。

利用图8所示的配置，可实现以下处理流程。WDS 40可通过由认证服务器122检查是否要运行来初始化。WDS 40然后从配置服务器124拉取配置文件以指示WDS 40的操作。然后WDS 40通过与装置OS交互来收集数据以捕获关于装置、网络连接、网络QoS、WiFi扫描信息和应用数据使用等的各种KP，如本文所讨论。WDS 40还可针对测试服务器120执行网络性能测试。

在特定时间段(例如，24小时时段)内由WDS 40收集数据并存储在数据库(例如，SQLite)中。数据库然后被导出到报告服务器96。报告服务器96可解析数据库以将数据分成不同的表(例如，BigQuery内)。在此示例中，根据数据的类型将数据存储在各种BigQuery报告表中。基于周期性(例如，每小时)，可运行数据流作业以将附加元数据添加到从WDS 40上传的原始数据。该元数据包括以国家、地区和城市元数据等标记原始数据。一旦通过数据流作业处理了数据，就使数据在各种表和视图中可用。这些表和视图允许原始数据导出或利用如本文所述的其它工具构建可视化和标准报告。可理解，可通过自定义报告和控制面板的组合或通过来自表(例如，来自BigQuery)的不同视图和导出使标准报告、自定义报告、自定义控制面板和原始数据全部可用。

如图9所示，收集服务器50被配置为通过使报告服务器96与多个装置12中的每一个中的WDS 40接口或以其它方式通信来从多个移动装置12收集数据。可理解，尽管收集服务器50可与多个装置12通信，更广泛的系统可包括多个收集服务器50(例如，区域性放置)，各个收集服务器50能够与数据处理模块52通信。图9还示出由报告生成模块106生成的反馈数据116可被提供给配置服务器124以使得配置服务器124能够控制各个装置12中的WDS 40的行为。

配置服务器124还可利用第三方数据源64和人输入82以便控制任一个或更多个装置12上的WDS 40的操作。第三方数据源64和人输入82可由授权控制配置服务器124的任何方出于特定目的提供。例如，系统18的管理员或第三方22(例如，游戏/应用开发商)可访问使用和性能数据形式的反馈数据116并直接对配置服务器124施加人输入82以用于修改目标应用38的行为(使用WDS 40或其它功能)。

图10示出如本文所述从移动装置12收集、聚合和分析数据时的数据流。在步骤200，包含WDS 40的移动应用(或操作系统等)启动WDS 40开始收集移动装置12上的测试数据集合。可理解，如图2所示，装置12的OS 42或其它组件可用于启动WDS 40开始数据收集。在此示例中WDS 40的操作由控制器202控制，控制器202协调在步骤206的WDS 40的认证和在步骤204获得适当配置。控制器202还可协调在步骤208从OS 42获得信息，例如用于在步骤210收集数据以用于被动测试。步骤210的数据收集还基于在步骤212结合装置支持软件56执行的网络测试来执行。

收集的数据在步骤214被存储并在步骤216被上传到系统18。上传的数据在步骤218被收集以用于后续聚合、分析、处理、报告等。

可通过将上传的数据添加到大的表集合(例如，按天划分)来聚合数据。然后可根据某些变量来查询大的表集合。在一个配置中，所有应用38、装置12和网络14的数据可被置于同一数据存储中，并且可根据报告、控制面板等中意在要显示什么按照各种方式分组。

由系统18和/或第三方22按照各种方式分析数据。例如，数据16可按国家、地区、城市等；以及按时间段(例如，月)划分。也可按网络类型(2G对3G对4G)以及为那些分组确定和显示的统计数据来执行自定义分组。还可执行自定义分组以确定应用包名称、应用名称。可理解，确定应用包名称并非微不足道的，因为单个应用可具有多个包作为其安装的一部分，并且还有不同语言的不同名称。系统18被配置为合并包以获得应用名称及其关联的包名称的单一语言列表(因为包名称是全局唯一的)。也可基于MCC和MNC为服务提供商准备自定义分组。这允许品牌与给定网络14的运营商匹配，而非仅仅依赖于装置12所报告的网络14(例如，因为可存在漫游情况或者装置12所列出的提供商可能不一致的其它场景)。

因此，系统18可将来自众多不同移动应用38的上传数据和来自各种网络、区域等中的众多装置的部署组合。系统18还能够通过相应地解析或打包该综合数据集来获得特定游戏/应用开发商、网络运营商、装置制造商等所特定且相关的数据16。系统18还能够从多个其它第三方和开放数据源82拉取附加元数据。系统18可输出原始数据文件以及使得数据可用于通过用户界面(例如，控制面板)可视化。

例如，可使用数据流作业集合来将附加元数据添加到从WDS 40上传的原始数据。这些数据流作业可周期性地执行，例如，每小时对WDS 40的数据上传的最后一小时执行。然后可在特定时间(例如，GMT午夜)将结果分组到每日表中，以用于查询。

以下是贯穿数据流作业可发生的处理的总结：

1.对于许多领域，为了简单以及减少上传的数据量，可在WDS 40中使用枚举器。数据流作业可用于替换人可读字符串的枚举。

2.可基于所报告的纬度和经度向数据添加国家、地区和城市标签。

3.可针对所报告的纬度和经度计算geohash。

4.可计算剩余装置存储和剩余装置内存。

5.可添加从MCC和MNC到服务提供商品牌化的映射。

6.还可添加从应用包名称到应用名称的映射。

可理解，可使用多个开放和付费的第三方源来补充由WDS 40收集的原始数据。

因此，所生成的数据报告可按照各种方式构造，并且如果需要，可并入附加第三方数据源82。由于从在各种类型的OS 42和装置类型(全部在各种网络类型14和区域内、横跨各种网络类型14和区域之间和/或与各种网络类型14和区域交互)上运行的各种类型的应用内部署的众多WDS 40收集数据，可更全面评估网络、装置、应用、操作系统或电子环境。可出于许多目的按照许多方式查询收集和存储的数据以适应想要访问这样更广更完整的数据集的不同第三方22的需要。由于WDS 40可被部署在各种类型的应用38(例如享受大量流转并跨越多个平台、区域的游戏)内，所以部署不显眼的工具并且可利用其周期性地和持续地收集这些期望的数据而不会不利地影响装置12或应用38的性能。

除了如上所述提供一种能够收集并分析来自横跨众多应用、网络和环境的众多装置的众包数据，使得允许获得更有意义且完整的数据而不会以不利方式过度影响系统在其内操作的装置和网络的系统之外；现在将描述利用或配置基础系统18的各种其它应用、配置和使用情况。

用户通知测试

上述系统18考虑测试网络14并按照一些不同的方式生成测试数据，即：

a)向移动装置OS 42请求信息(即，装置API调用)。

b)创建网络业务并运行“主动测试”。例如，通过从受控的测试服务器120下载文件，然后观察该拥有的受控下载的性能来确定网络的吞吐量。在这种情况下，所分析的网络业务是为了执行测试的明确目的创建的。

c)观察由用户或一些其它移动装置服务发起的还没有为了执行测试的特定目的而生成的网络业务，即，“被动测试”。例如，网络测试服务可检查用户能够多快在Facebook上上传照片或下载YouTube视频，然后通过被动地观察那些非受控操作的性能来确定吞吐量。

认识到访问更多用户信息可增强这三种类型的测试。例如，用户(或移动服务)的动作、行为或位置可决定执行三种类型的测试中的哪一种。这些相同的动作、行为或位置也可提供附加信息，所述附加信息可通知测试方法或者应该如何解释结果以生成更有价值和准确的见解。

传统上，已发现被动测试不如主动测试准确。这是因为关于所分析的业务所知较少，即，被动测试较少受控。本文所描述的系统18可被配置为执行由用户动作发起或由用户动作通知的网络测试。这可通过被给予或以其它方式得以访问附加用户或移动服务信息来实现，这可极大地增强被动测试(以及一般测试)。这是因为移动应用38可跟踪用户动作，例如用户点击按钮以上传照片。当移动应用38看到用户点击了按钮“上传照片”时，其可在知道：1)这是照片；2)上传的照片的大小；以及3)目的地服务器地址的同时在该数据上传上运行被动网络测试。换言之，移动应用38和WDS 40能够利用对文件传送性质的增加的理解来执行更有效和准确的被动吞吐量测试。这可例如通过使WDS 40利用API从移动应用38摄取信息来实现。这样，移动应用38将信息传递给WDS 40，例如“用户刚刚点击上传大小x的照片的按钮”。访问该信息提供了先前对被动测试可能不可用(例如，当文件已被上传，但不知道它是照片、照片的分辨率或大小、或目的地服务器和路由细节)的上下文。

因此，系统18可被调整，使得用户与移动服务的交互将决定执行什么类型的被动网络测试以及如何解释结果。例如，如果用户在特定移动服务(例如，Instagram)上上传照片，则系统18可使用该附加信息来执行被设计为监测网络处理照片上传的能力的被动网络测试。该附加信息可由移动应用38提供并且通常由包含网络测试代码的移动应用38提供，然而该附加信息的其它源也是可能的。在这种情况下，系统的被动测试将得以访问附加信息，例如：1)用户正在尝试上传照片；2)该照片的大小；以及3)目的地服务器等。

可理解，用户通知测试不需要限于被动网络测试。移动用户的行为、特性、位置等可决定基于系统的控制器所期望的测试类型应该运行的特定主动测试。用户通知测试还允许系统考虑主动测试或被动测试将何时最适合。例如，当用户正在利用对网络性能敏感的用户装置12观看视频或做某些事时，仅运行不会创建更多新网络业务的被动测试可能是最佳的。换言之，该“附加信息”和用户通知测试可帮助决定应该何时何地执行测试以：1)不干扰用户体验，或2)提供系统最需要的信息。

此外，随着无线网络越来越走向虚拟化或软件定义，用户通知测试结果可用于通过基于用户所使用的服务和应用38以及他们采取的动作而通知网络的要求来修改或决定网络14本身的硬件、软件或实现方式。

因此，本文所描述的系统18可用于执行用户通知/决定的测试，即，用户没有特别地选择运行网络测试。在这种情况下，基于包含网络测试软件的移动装置12的用户所执行的动作(例如，下载照片)来选择并开始网络测试。用户所执行的那些动作的细节可用作结果分析的输入(例如，网络服务照片的能力)。用户所执行的动作是非用户选择运行网络测试的某些动作。

可理解，尽管上述示例的背景是更了解用户并且用户将选择的应用内按钮，但其同样可以是提供附加信息的非人服务。

装置流失跟踪和广告

上述系统和方法考虑在移动装置12访问并利用无线网络14时跟踪它们。这些移动装置12及其用户可按照各种方式逐天识别和跟踪，包括：

a)移动装置ID：例如移动装置的MAC地址、IMEI或IMSI。

b)装置的广告ID：广告商ID或IDFA是用于服务定向移动广告的移动装置12的非持久ID。

c)Cookies：在装置访问和使用网络和网络服务时安装在装置上的ID。

d)移动软件ID(或WDS ID)：由移动装置软件生成以标识软件的特定安装的唯一ID。

e)用于登入移动软件的ID：例如，用户用来登入移动应用38的Facebook ID、Netflix ID或Gmail ID。

f)行为特性集合：例如，可基于若干因素定义的特性集合，所述因素可包括装置的位置、装置所使用的IP地址或用户通常使用的WiFi/蜂窝接入点。

各个装置跟踪方法具有其自己的隐私含义，这通常需要考虑和管理。即，所选择的跟踪方法通常将需要是移动装置用户和某些法律要求二者均可接受的。

通过跟踪这些ID如何在网络14中流动，系统18可用于向无线服务提供商通知用户流失。例如，如果一天使用应用ID在第一网络14a上登入电话，然后稍晚使用相同的应用ID在第二网络14b上登入电话，则可报告该用户可能流失。即，在这种情况下可预期该用户离开第一网络14a并成为第二网络14b上的客户。这种流失报告本身向无线提供商提供有价值的服务。然而，该报告与其它数据集组合时变得甚至更强大以实现预测能力，该预测能力创建了广告影响流失的可能性。

例如，该历史网络流失信息与其它信息集合组合(例如，无线网络覆盖、无线网络性能、网站cookies、最近搜索、移动装置硬件/软件、用户网络订阅计划、哪些人在社交媒体上提及无线网络运营商以及其它信息集合)时可用于对各个用户或对群体的大聚合部分执行流失预测。

这允许无线运营商向作为：1)离开其网络14的高概率候选，或2)离开其竞争者的网络14的高概率候选，的用户的增强定向广告。相同的移动ID可用来以适当广告瞄准特定用户或ID。

作为示例，系统的无线网络性能测试可用于比较网络并通知定向广告活动。如果第二网络提供商发现他们是特定城市中的最佳无线网络，则他们可调节其投向该城市中的装置的广告以作为表现最优异者推广其网络。然后移动应用38和服务可向其用户建议无线运营商。用户可选择允许诸如Facebook的无线服务来跟踪网络性能、其使用模式和位置，然后向其建议对于其要求的最佳无线网络14。

作为跟踪用户流失的另选方法，系统18可跟踪移动装置12的哪些分组趋向于出现在特定网络14上。例如，如果相同的四个移动装置一致地访问同一WiFi接入点或经由相同的IP地址访问网络，则有理由假设这是家庭单位或关联的组。如果那些装置12中的一个突然离开该分组并且利用不同蜂窝无线网络14认证的新装置12出现，则可合理地假设存在该新出现的装置的用户的网络流失事件。

因此，跟踪与用户或装置12关联的一个或更多个ID，并且得以访问或以其它方式跟踪用户相关事件(例如，社交媒体帖子)可增强流失标识和流失报告和/或定向广告。通过在用户使用其社交媒体登入ID横跨网络14以及横跨移动装置12移动时跟踪用户，使得可执行网络/装置流失的分析，系统18可针对这种流失预测进行调整。

网络中立和服务级别协议跟踪

可如上所述通过从移动端点的众包由系统18执行的无线网络性能跟踪也可用于确定哪些区域、用户或服务被限制；以及哪些区域、用户或服务被提供增强服务级别。

识别并比较低性能和高性能情况可按照各种方式使用，例如：

a)通知城市和政府哪些区域由无线服务提供商恰当地服务。无线监管机构常常要求运营商向农村和/或弱势地区提供某些级别的服务，可使用测试数据来识别并惩罚违反者。

b)通知移动虚拟网络运营商(MVNO)归属网络是否提供足够级别的服务或者归属网络运营商是否向MVNO的订户提供与其自己相比较差的服务。这允许MVNO确定其归属运营商是否违反服务级别协议(SLA)规则。

c)通知无线网络14应该使其订户向哪一网络14漫游以及那些漫游网络14是否遵守或违反SLA以及其漫游订户的漫游质量体验与网络归属订户所接收的质量相比如何。

d)是否遵守或违反网络中立法规。例如，可看到网络运营商是否限制第三方流化服务并推广其自己的流化服务以及程度如何。

因此，可调整系统18，使得网络测试结果或服务质量与无线监管机构或归属网络提供商所决定的质量阈值进行比较，以查看是否满足要求。

事件驱动测试-自驾驶车辆/信息物理

对于某些新兴的信息物理域(例如，自驾驶车辆和电子健康)，网络质量和覆盖常常被认为至关重要。在这些情况下，终端移动装置12具有对网络敏感的核心目的。重要的是，这些装置12维持对足够好以满足其核心目的要求的网络质量的访问。例如，被设计为通知医院心脏病发作的电子健康装置应该能够在检测到心脏病发作时向医院或紧急调度员发送消息。

然后，这些装置12的网络测试能力可被认为对其性能至关重要，其中通过装置的核心目的所固有的事件来触发测试。

在一个示例中，每当车辆需要执行紧急操纵(例如，避开道路上的动物或其它障碍物)，自驾驶车辆或车辆网络可选择运行测试以跟踪这些操纵的性能。另选地，车辆分组可仅在知道存在缺少网络性能信息的道路或路线部分的情况下运行测试。在这些情况下，网络测试系统可使其测试通过外部事件来触发。所得网络数据集可与关于信息物理装置的操作和要求的信息组合以确定网络14是否足以满足该信息物理装置的要求。

在另一示例中，电子健康装置12可在网络14上执行事件驱动测试以确保网络14表现足够好以处理紧急情况的网络要求(并且装置连接到适当的服务器)。在这种情况下示例事件可以是：1)用户正在睡觉或者用户处于非立即的健康危险中；2)用户健康读数正在达到危险级别，并且可能会变得更糟；3)用户处于危险中。

可理解，在诸如自驾驶车辆的应用中，装置12非常有能力横跨巨大的区域映射网络质量，因此可在未来的网络测试中被依赖或以其它方式起到增加的作用。还可理解，车辆不仅限于汽车，可包括无人机或其它自主装置。

移动装置测试中的隐私

用于执行网络测试的移动装置12通常需要具有保护用户隐私达到用户自己通知的程度的能力。例如，如果用户输入他们选择加入或选择退出服务或者部分服务，则总系统应该对该输入作出响应并相应地调节收集的内容。该数据的分析和处理也应该通过那些相同用户输入来通知。

系统18还可调整以确保其能够消费关于隐私规则中的管辖区域和地理差异的信息并对那些规则作出响应。例如，根据两个区域中的当前政府隐私立法，全球测试系统在俄罗斯中可与在欧盟中不同地执行。

还可重要的是，系统18安排在整个网络的测试端点当中执行的测试以保护用户的隐私。例如，系统18可选择在移动装置12之间分配测试，使得跟踪特定装置12的移动或特性变得更加困难。或者，例如，如果已知特定区域是私人财产并且具有非常低的人口密度，则系统18可被配置为能够不同地处理该数据，或者不从该区域收集数据，因为将在该低人口区域中进行的测试与已知住在该区域或访问该区域的人关联将比正常更容易。还可能存在运行测试或测量位置变得不合法的特定地理区域，系统18可能需要相应地调整。

MIMO/SON-干扰抑制和波束成形

多输入多输出(MIMO)和SON系统22b可具有大量可用的信道，评估各个信道。另外，MIMO和SON系统22b可使用波束成形来向特定移动装置12广播特定信道和网络资源，即，基于其独特要求。结果，网络14中的各个用户的体验可完全不同，使得众包网络质量的重要性增加。

从移动装置12本身众包的信息可最终用来通知网络14需要向各个移动装置12广播的网络特性以及该波束成形需要如何进行(通常基于所使用的应用或用户的订阅等级)。随着波成形和波束成形进行，可在反馈回路中使用移动装置的应用和网络体验信息(经由系统18众包)以通知波成形和波束成形处理。

换言之，波束成形允许每一个用户得以访问不同的网络特性。然而，为了了解这是否运行良好，需要如本文所述存在通过网络众包通知的反馈回路。

安全

异常移动装置行为：网络测试/监测代理(例如，WDS 40)可用于检测/识别受损移动装置12。例如，如果WDS 40正常地看到移动装置12或IoT装置12仅正常地使用2MB/天的数据，然后突然跳到100MB，则系统18可用于识别该异常网络行为并将装置12标记为可能受损。

异常接入点行为：已认识到攻击者开始使用欺骗接入点和假蜂窝塔来引诱移动装置12连接。然后他们可监测经由网络14的业务或使用这些恶意连接来安装恶意软件。系统18也可用于识别异常接入点行为。例如，如果用户正在从多个位置访问同一接入点，则该接入点可能是围绕引诱连接驱动的欺骗接入点。另选地，如果蜂窝塔ID或蜂窝塔的一些其它标识符或者蜂窝塔的特性突然改变，则其可被标记为可能是看起来与非恶意接入点相似的假塔。

因此，系统18可调整，使得移动装置12和网络接入点的性能和细节与预期细节/性能进行比较以搜索网络问题和受损系统。

私有网络泄漏：某些网络不应该在特定地理区域和某些设施之外看到。系统18可报告是否在不应该看到的地方看到某些网络14。

可使系统18更安全的附加特征包括：

a)移动装置12的网络可由多个网络控制器控制，而非仅一个网络控制器(即，系统碎片化)。例如，移动装置12可使用不同的配置服务器24。可理解，要求装置12的子集群使用全部不同的服务器(即，不同的测试服务器120、不同的认证服务器122和不同的配置服务器24)的碎片化也可能是有益处的。这样如果控制器之一受损，则整个系统18不会一下子受损。在上述原理的范围内，网络控制器通常用于控制哪些装置12在什么条件下运行哪些测试。网络控制器还用于控制哪些服务器用于那些测试。如果那些服务器受损，则整个系统可用于运行DDOS攻击。

b)执行测试的移动装置代理(例如，WDS 40)可设置为使得它们经常重新认证或者以其它方式进入休眠。此特性可被硬编码到WDS 40中以使得如果WDS 40变得受损(例如，运行DDOS攻击)，则在特定时间段之后，WDS 40关断，因为它停止能够重新认证。

示例使用情况

应用监测：上述网络测试可用于报告诸如Skype、YouTube、Netflix等的网络应用38的性能或可能性能，而无需与那些应用所使用的专有服务器直接交互。相反，了解那些应用38的网络要求并与通过网络测试代理(例如，WDS 40)观察并收集的网络特性进行比较，以便报告应用性能。因此，系统18可被配置为使得结果用于报告网络应用38的性能或可能性能。

网络运营：上述众包可向网络运营商提供警报，该警报指示提供低于最优的性能的特定区域或网络接入点。这些警报和该信息可用于通知网络维护或指示网络14的哪些区域需要通过其它方法进行附加测试。因此，系统18可被配置为使得移动装置12和网络接入点的性能和细节与预期细节/性能进行比较以搜索网络问题和受损系统。

网络规划：系统18可精确定位具有大的客流量或人口密度且无线服务提供商服务不足的区域。这些是期望网络改进以提供对总订户基数的最大增益的区域。通过将该性能与竞争者进行比较，系统18可建议如下的区域，即，在该区域中，网络运营商应该关注以更具竞争性并执行更好的客户获取。因此，系统18可被配置为使得结果与从系统18或外部源收集的用户密度信息结合使用以通知网络运营商网络维护、扩展和升级的最有益位置。

竞争者跟踪：系统18可用于通知网络运营商：1)竞争者正在实现哪些新塔或技术；2)哪些网络运营商获得最多的订户以及在何处；3)竞争网络正在运行哪些类型的应用/服务以及随时间如何变化；以及4)竞争网络的性能以及随时间如何演变。因此，系统18可被配置为使得结果用于通知无线运营商其竞争者向其竞争者的订户传送的性能并且记录、预测并报告竞争者的新网络实现/改变。

连接管理平台交互

此外，系统18还可被配置为与装置连接管理平台(未示出)交互，其可由移动电话操作系统提供，或者可由网络运营商控制，以帮助移动装置12选择适当网络14或接入点连接。在这种情况下，由WDS 40收集的数据以其原始形式或在数据分析之后经由API发送到连接管理平台以用于网络或接入点选择处理。

人工智能和机器学习

此外，除了数据分析之外，系统还可受益于人工智能(AI)和机器学习(ML)的使用。由WDS 40报告的数据可被输入到AI和ML平台(未示出)以用于处理成增强信息以由网络运营商用于诸如网络规划、网络维护、客户关怀、客户广告和运营商之类的目的。另外，该增强信息可被输入到SON、软件定义网络(SDN)、网络功能虚拟化(NFV)或MIMO系统，使得网络14可响应由在WDS 40所供应的数据上运行的AI和ML处理生成的该增强信息。网络运营商以外的组织可类似地受益于通过对WDS测试数据应用AI和ML而生成的增强信息。

为了简单和例示清晰，在认为适当的情况下，标号可在附图之间重复以指示对应或类似元件。另外，阐述了众多具体细节以便提供本文所描述的示例的彻底理解。然而，本领域普通技术人员将理解，本文所描述的示例可在没有这些具体细节的情况下实践。在其它情况下，没有详细描述熟知方法、过程和组件以免模糊本文所描述的示例。另外，该描述不应被视为限制本文所描述的示例的范围。

将理解，本文所使用的示例和对应的图仅是为了例示性目的。在不脱离本文所表达的原理的情况下，可使用不同的配置和术语。例如，在不脱离这些原理的情况下，可添加、删除、修改或以不同的连接布置组件和模块。

还将理解，本文中举例说明的执行指令的任何模块或组件可包括或以其它方式得以访问诸如存储介质、计算机存储介质或数据存储装置(可移除和/或不可移除)的计算机可读介质，例如磁盘、光盘或磁带。计算机存储介质可包括以任何方法或技术实现以用于存储信息(例如，计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性、可移除和不可移除介质。计算机存储介质的示例包括RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储、磁带盒、磁带、磁盘存储或其它磁存储装置、或者可用于存储期望的信息并且可由应用、模块或二者访问的任何其它介质。任何这样的计算机存储介质可以是系统18的一部分、系统18的任何组件或与系统18有关的任何组件等，或者可访问或连接到系统18。本文所描述的任何应用或模块可使用可由这样的计算机可读介质存储或以其它方式保持的计算机可读/可执行指令来实现。

本文所描述的流程图和图中的步骤或操作仅是示例。在不脱离上述原理的情况下，可对这些步骤或操作有许多变化。例如，步骤可按照不同的顺序执行，或者可添加、删除或修改步骤。

尽管参照某些具体示例描述了上述原理，但如所附权利要求中概述的，对于本领域技术人员而言其各种修改将是显而易见的。

Claims (30)

1.一种在无线电子装置上评估无线装置性能和/或无线网络性能和/或无线网络使用趋势的方法，该方法包括以下步骤：

在所述无线电子装置上提供无线装置软件，该无线装置软件被嵌入在所述无线电子装置的应用或存储器中，并且能够操作以执行与所述装置的特性和/或位置以及/或者所述装置和/或所述网络的性能以及/或者用户对所述装置的使用关联的至少一个测试；

与i)所述无线电子装置的操作系统和ii)外部测试服务器中的至少一者通信以执行所述至少一个测试，其中，所述至少一个测试根据配置和/或所述无线装置软件中提供的至少一个测试参数来执行，所述至少一个测试参数包括至少一个行为标准，所述至少一个行为标准控制所述测试对所述无线电子装置的操作的影响；

收集由所述至少一个测试的执行产生的测试数据；以及

将所述测试数据提供给收集服务器。

2.根据权利要求1所述的方法，其中，从在不使用网络业务的情况下执行的至少一个被动测试收集所述测试数据。

3.根据权利要求1所述的方法，其中，从通过与所述测试服务器通信使用网络业务执行的至少一个主动测试收集所述测试数据。

4.根据权利要求3所述的方法，其中，所述至少一个主动测试对应于下载吞吐量测试、上传吞吐量测试或服务器响应测试。

5.根据权利要求4所述的方法，其中，所述至少一个主动测试包括通过从视频内容服务器获得视频内容并将所述测试数据报告给视频体验质量服务器来监测视频资产。

6.根据权利要求2所述的方法，其中，所述至少一个被动测试对应于装置信息、连接信息、数据使用和/或位置、WiFi扫描信息或应用数据使用信息。

7.根据权利要求1所述的方法，该方法还包括与配置服务器通信以获得所述配置，其中，所述配置服务器能够操作以控制并修改所述无线装置软件的测试行为。

8.根据权利要求7所述的方法，其中，所述测试行为能够被修改以增加或减小测试频率，确定何时和/或在何处执行测试，和/或打开或关闭测试。

9.根据权利要求8所述的方法，其中，所述配置能够至少部分地通过来自外部实体或系统的输入来控制以根据期望的行为定制所述测试行为。

10.根据权利要求1所述的方法，其中，所述至少一个行为标准在所述装置上确定。

11.根据权利要求10所述的方法，其中，所述装置上的应用调度模块被配置为提供所述至少一个行为标准。

12.根据权利要求1所述的方法，其中，所述无线装置软件与装置管理器通信以用于与对应至少一个其它应用上的至少一个附加无线装置软件协调测试。

13.根据权利要求1所述的方法，该方法还包括与认证服务器通信以用于注册所述无线装置软件并且批准在所述电子装置内使用所述无线装置软件。

14.根据权利要求7所述的方法，该方法还包括经由所述配置服务器从第三方接收修改所述测试行为的请求。

15.根据权利要求7所述的方法，该方法还包括经由所述配置服务器接收终止所述应用的操作的命令。

16.根据权利要求1所述的方法，该方法还包括从至少一个第三方数据源获得元数据并将所述元数据并入所述测试数据中。

17.根据权利要求1所述的方法，该方法还包括等待将所述测试数据提供给所述收集服务器，直至所述无线装置软件检测到WiFi连接。

18.根据权利要求1所述的方法，该方法还包括监测数据使用上限以强制在所述至少一个测试期间能够使用的最大数据量。

19.根据权利要求1所述的方法，该方法还包括根据预定频率、行进预定距离或建立新连接中的任一者或更多者重复所述至少一个测试。

20.根据权利要求1所述的方法，该方法还包括将收集的数据匿名以防止存储用户可标识信息。

21.根据权利要求1所述的方法，其中，所述无线装置软件向所述应用公开一个或更多个API以允许所述应用直接访问和响应所述测试数据。

22.根据权利要求1所述的方法，其中，所述无线装置软件被配置为能够在所述应用在前台使用的同时或者当所述应用处于所述装置的后台时运行。

23.根据权利要求7所述的方法，其中，所述无线装置软件生成随机标识符，并且其中，所述配置服务器能够经由测试行为确定所述随机标识符的使用频率以及用新随机标识符替换所述随机标识符的频率。

24.根据权利要求1所述的方法，其中，所述无线装置软件包括在一段时间内能够生成的错误代码数的硬编码限制，在所述一段时间后，所述无线装置软件停止操作。

25.根据权利要求1所述的方法，其中，所述无线装置软件在所述应用或存储器的高网络使用时段期间限制或停止活动。

26.根据权利要求1所述的方法，其中，所述无线装置软件根据接收的许可操作。

27.根据权利要求1所述的方法，其中，所述无线装置包括顺序队列以避免同时测试。

28.根据权利要求1所述的方法，该方法还包括以下步骤：

基于所述无线电子装置检测到的一个或更多个用户动作选择并开始至少一个测试；以及

提供与所述一个或更多个用户动作关联的细节作为用于分析所述测试数据的结果的输入；

其中，所述一个或更多个用户动作不是用户明确地选择运行网络测试。

29.一种计算机可读介质，该计算机可读介质包括用于执行根据权利要求1至28中的任一项所述的方法的计算机可执行指令。

30.一种包括处理器和存储器的系统，该存储器包括根据权利要求29所述的计算机可读介质。