CN114600433A - 用于使用机器学习和部分路径测量来估计网络性能的方法和系统 - Google Patents

Abstract

所公开技术的实施例包括用于估计终端装置和应用服务器之间通过核心网络的路径的网络性能的方法。在一个实施例中，所述方法包括：测量所述核心网络内的所述路径的部分的网络性能以获得第一时段中的一个或多个部分网络性能测量；获得所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；以及在所述第一时段之后的第二时段中使用所述第二时段中的部分网络性能测量和机器学习函数来估计所述端到端性能指示符的一个或多个值。

Description

用于使用机器学习和部分路径测量来估计网络性能的方法和 系统

相关申请的交叉引用

本申请是2019年10月18日提交的申请No.EP19382912.4的延续，其特此通过引用而被合并。

技术领域

本发明的实施例涉及联网领域；并且更具体地，涉及使用机器学习和部分路径测量来估计网络性能。

背景技术

通常，本文使用的所有术语将根据它们在相关技术领域中的普通含义来解释，除非从上下文（在其中使用不同含义）明确地给出和/或暗示了不同含义。除非另有清楚地说明，否则对一（a/an）/该元件、设备、组件、部件、步骤等的所有引用都将被开放地解释为是指该元件、设备、组件、部件、步骤等的至少一个实例。除非步骤被清楚地描述为在另一步骤之后或之前和/或在暗示步骤必须在另一步骤之后或之前的情况下，否则本文公开的任何方法的步骤不必以公开的精确顺序执行。在适当的任何情况下，本文所公开实施例中的任一项的任何特征可被应用于任何其它实施例。同样，所述实施例中的任一项的任何优点可应用于任何其它实施例，且反之亦然。从以下描述中，所附实施例的其它目的、特征和优点将是明白的。

未来的第五代（5G）网络被设计用于满足由5G公共私有合作伙伴（5GPP）所定义的一组技术关键性能指示符（KPI）。另外，新的虚拟化技术允许定义网络切片的概念，其中电信/网络运营商将能够向其商业客户提供逻辑网络以满足特定要求，例如超可靠性低时延通信（URLLC）服务。所有这些新特征在一些垂直行业中正产生巨大的期望，这些垂直行业在未来的5G中看到改变其商业的机会。典型的5G使用情况是通过核心网络（例如，5G网络）在终端装置（例如，用户设备（UE））和服务提供商（例如，服务/应用服务器）之间建立路径，并且利用核心网络中的承诺的低时延和边缘/服务器计算环境处的精通计算/带宽资源。对于这些应用，关键是测量网络时延和网络可靠性，并且对于电信/网络运营商，关键是保证承诺的网络性能。然而，虽然电信/网络运营商可以测量其控制下（例如，核心网络）的网络性能，但是网络性能通常对边缘和服务器计算环境不具有可见性，因为它们通常由第三方管理。确定在这些应用中端到端的网络性能是有挑战性的。

发明内容

所公开技术的实施例可以使用机器学习（ML）方法来估计不同级别的时延关键性能指示符（KPI）：ICMP ping、TCP RTT、超文本传输协议（HTTP）响应时间、和服务响应时间。对于ICMP和ping，我们引入单向延迟（OWD）的估计。另外，在HTTP和服务响应时间测量中，我们引入最终用户正在使用的应用种类，以便更好地估计由用户所经历的时延。

通过在核心网络中采集的信息来训练机器学习（ML）模型。虽然核心网络中的测量仅针对部分路径，但是所公开技术的实施例基于已知的部分路径信息来估计端到端网络性能的值。可以使用以下项来训练ML模型：（1）监督式算法，其中我们从网络采集所需信息（特征）以及从外部系统获得的时延测量；和/或（2）用于在实时网络中训练模型的深度强化学习代理。

所公开技术的实施例包括用于估计终端装置和应用服务器之间通过核心网络的路径的网络性能的方法。在一个实施例中，所述方法包括：测量所述核心网络内的所述路径的部分的网络性能以获得第一时段中的一个或多个部分网络性能测量；获得所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；以及在所述第一时段之后的第二时段中使用所述第二时段中的部分网络性能测量和机器学习函数来估计所述端到端性能指示符的一个或多个值。

所公开技术的实施例包括用于估计终端装置和应用服务器之间通过核心网络的路径的网络性能的电子装置。在一个实施例中，一种电子装置包括处理器和存储指令的非暂态机器可读存储介质，所述指令在由所述处理器执行时能够使所述电子装置执行以下操作：测量所述核心网络内的所述路径的部分的网络性能以获得第一时段中的一个或多个部分网络性能测量；获得所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；以及在所述第一时段之后的第二时段中使用所述第二时段中的部分网络性能测量和机器学习函数来估计所述端到端性能指示符的一个或多个值。

所公开技术的实施例包括用于估计终端装置和应用服务器之间通过核心网络的路径的网络性能的非暂态机器可读存储介质。在一个实施例中，存储指令的非暂态机器可读存储介质，所述指令在由所述处理器执行时能够使所述电子装置执行以下操作：测量所述核心网络内的所述路径的部分的网络性能以获得第一时段中的一个或多个部分网络性能测量；获得所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；以及在所述第一时段之后的第二时段中使用所述第二时段中的部分网络性能测量和机器学习函数来估计所述端到端性能指示符的一个或多个值。

附图说明

通过参考用于示出本发明实施例的以下描述和附图，可以最好地理解本发明。在附图中：

图1示出了根据一些实施例的网络环境。

图2示出了根据一些实施例的网络性能协调器的操作。

图3示出了根据一些实施例的往返程时间（RTT）的估计。

图4示出了根据一些实施例的网络时延的估计。

图5A-图5B示出了根据一些实施例的HTTP响应时间的估计。

图6A-图6B示出了根据一些实施例的服务响应时间的估计。

图7示出了根据一些实施例的网络性能协调器的操作。

图8示出了根据一些实施例的网络装置。

图9示出了根据一些实施例的无线网络。

图10示出了根据一些实施例的用户设备（UE）。

图11是示出虚拟化环境的示意性框图，在所述虚拟化环境中可以虚拟化由一些实施例实现的功能。

图12是根据一些实施例的经由中间网络连接到主机计算机的电信网络。

图13示出了根据一些实施例的经由基站通过部分无线连接与用户设备通信的主机计算机。

图14是示出根据一些实施例的在包括主机计算机、基站和用户设备的通信系统中实现的操作的流程图。

图15是示出根据其它实施例的在包括主机计算机、基站和用户设备的通信系统中实现的操作的流程图。

图16是示出根据另外实施例的在包括主机计算机、基站和用户设备的通信系统中实现的操作的流程图。

图17是示出根据另外实施例的在包括主机计算机、基站和用户设备的通信系统中实现的操作的流程图。

具体实施方式

以下描述描述了用于在通信网络中使用机器学习和部分路径测量来估计网络性能的方法和系统。在以下描述中，阐述了诸如逻辑实现、操作码、用于规定操作数的部件、资源划分/共享/复制实现、系统组件的类型和相互关系、以及逻辑划分/集成选择之类的众多具体细节，以便提供对本发明的更透彻理解。然而，本领域技术人员将理解，可以在没有此类具体细节的情况下实践本发明。在其它实例中，没有详细示出控制结构、门级电路、和完整的软件指令序列，以免模糊本发明。通过所包括的描述，本领域普通技术人员将能够实现适当的功能性而无需过度实验。

当前，用于测量网络时延的所有成果可以分类为两种方法：（1）在5GPP中定义的方法，其中在隔离实验室测试中使用因特网控制消息分组（ICMP）分组来测量时延，以及（2）基于ICMP消息或基于计算传输控制协议（TCP）往返程时间（RTT）执行从最终用户设备（UE）的时延的测量。

估计TCP RTT在TCP协议中是重要的，因为该估计直接影响TCP定时器的设置，并且因此影响协议在吞吐量、分组丢失、和重传数量（效率）方面的性能。用于估计RTT的当前标准算法（称为Jacobson-Karels算法）使用TCP RTT的测量和所测量的RTT的标准偏差作为用于估计流RTT的输入，并设置重传超时（RTO）。该算法是已知的并用于TCP实现中。

本公开的实施例通过使用机器学习技术来改进RTT的估计，具有TCP协议效率的相关改进。另外，TCP RTT可用作其它特征的指示符（例如，用于预测链路利用）。

机器学习（ML）是一种科学学科，其探索可以从数据中学习的算法的研究和应用。此类算法通过基于输入来构建模型并使用该模型进行估计、预测或决策而不是仅遵循显式编程的指令来操作。

用于关键性能指示符（KPI）估计的机器学习技术可基于来自协议和流的行为特性，诸如TCP窗口大小、端口、因特网协议（IP）地址、分组大小分布、分组之间的时间、有效负载位级统计等。机器学习模型的监督式训练允许实施例基于先前测量来训练模型，以便增加估计的准确性。深度强化学习是用于使用由ML代理所获得的实时信息来创建机器学习模型的技术。

当前存在某个（某些）挑战。我们遇到了关于现有解决方案的几个问题。例如，用于测量时延的当前解决方案是基于端到端的，从用户设备（UE）到应用服务器。然而，端到端测量通常不在网络运营商的范围内，因为第三方常常控制UE和/或应用服务器。另外，时延通常基于ping的测量。此类测量是针对因特网控制消息分组（ICMP）业务的，并且它们不考虑TCP缓冲时间，并且测量分组具有小的分组大小（32字节），并且它测量双向时延。不可能区分上行链路时延与下行链路时延。此外，用于从网络测量该KPI的技术仅部分地计算双向时延。例如，TCP RTT允许我们知道接入网络的下行链路时延和数据网络侧的上行链路时延。最后，没有当前解决方案能够测量服务响应时间。

本公开的某些方面及其实施例可提供对这些或其它挑战的解决方案。例如，一个实施例使用机器学习方法在网络中测量作为最终用户服务的时延、可靠性、和响应时间的5G关键性能指示符。

在一个实施例中，在核心中进行性能指示符（例如，延迟、响应时间、和符合延迟/响应时间要求的业务的百分比/比率）的部分测量，并且还从终端装置进行性能指示符的端到端测量。性能指示符的部分测量和端到端测量被馈送到机器学习模型以训练机器学习模型的系数。然后使用所述系数来估计性能指示符的未来端到端值。在一个实施例中，使用多个性能指示符来训练机器学习模型。性能指示符的测量可以在不同的网络条件（例如，拥塞、正常操作）下执行。

某些实施例可以提供（一个或多个）以下技术优点中的一个或多个。所建议的解决方案的主要优点在于，它提供了从5G核心网络的端到端单向时延的测量。这允许网络运营商具有网络切片KPI，其可用于实时检查网络运营商与最终用户的服务级别协定（SLA）。

通过引入响应时间测量，所公开技术的实施例报告由最终用户所体验的时延的更准确估计。所公开技术的实施例给予网络运营商在服务/应用自身不具有端到端网络性能的可见性时确定服务/应用的端到端网络性能的能力。通过机器学习，网络运营商可以估计端到端网络性能。网络运营商还可以通过更新机器学习函数的系数来调整其估计。该调整允许估计保持准确，从而维持与顾客/客户/应用开发者/服务提供商的达成一致的SLA。

1.网络环境

本发明的实施例在网络环境（诸如图1中所示的网络环境）中操作。

网络100包括终端装置102（例如，网络100的顾客），并且终端装置可以是UE。终端装置102可以是本文下面讨论的无线装置（例如，与图9相关的无线装置）。网络100包括应用/服务（其可以通过应用服务器/计算装置来提供，所述应用服务器/计算装置可以是网络装置）106，其可以由网络100的网络运营商或使用网络100的第三方（因此是网络的另一顾客）来提供。网络100包括核心网络（也称为网络云），其包括多个网络装置142和144（例如，路由器和交换机）。在一些实施例中，网络装置142和144是与图9相关的网络节点或图8的网络装置802。

网络性能协调器120可用于基于SLA来监测和维护网络性能。网络性能协调器120可在网络控制器（例如，SDN控制器）或核心网络104内的另一网络装置内实现。网络性能协调器120可以被托管在专用物理硬件（例如，网络装置）中，或者在与网络装置相关联的虚拟机（VM）中。

网络装置142和144或网络性能协调器120可以执行诸如内容过滤、深度分组检查（DPI）、记录/计量/计费/高级计费、防火墙（FW）、病毒扫描（VS）、入侵检测和阻止（IDP）、网络地址转换（NAT）等操作。

2.网络性能协调器

图2示出了根据一些实施例的网络性能协调器。网络性能协调器120包括端到端性能测量收集单元202、网络性能预测单元212、核心网络部分性能收集单元204、和机器学习模型单元206。所述单元中的一些或所有可以采用硬件（例如，诸如处理器、ASIC和/或FPGA之类的电路）、软件、或其组合来实现。

外部系统可以向端到端性能测量收集单元202提供端到端性能测量。外部系统可以是在终端装置102或服务/应用106处部署的工具，并且它可以获得一个或多个性能指示符（例如，KPI，其包括分组延迟、分组丢失、和分组抖动的值，响应时间，以及符合延迟/抖动/丢失/响应时间要求的业务的百分比/比率）的端到端性能测量。性能指示符可以包括各种网络条件下的测量。基于所获得的端到端性能测量，网络性能协调器120知道当前端到端网络性能。

核心网络部分参数收集单元204获得核心网络部分性能测量的值。这些测量是核心网络可以在没有外部系统帮助的情况下执行的测量，并且其可以在核心网络运行时被收集。由端到端测量收集单元202收集的值和核心网络部分性能测量可以通过拉（由网络性能协调器120所请求）或推（由外部系统和/或核心网络内的网络装置所发起）来获得。所收集的值可以被存储在数据库中，该数据库被存储在网络装置的存储器中。所收集的值被提供给机器学习模型206。

在一个实施例中，核心网络部分性能测量收集单元204获得对应于在端到端性能测量收集单元202处获得的端到端性能测量的部分性能测量的值。例如，如果核心网络部分参数收集单元204在一种网络条件（例如，50％的工作负载/带宽使用）下收集核心网络内的部分分组延迟测量，则端到端性能测量收集单元202将在相同网络条件下收集对应的端到端分组延迟。又例如，如果核心网络部分参数收集单元204在一个时间（例如，9：00 AM）收集核心网络内的部分分组延迟，则端到端性能测量收集单元202将在相同时间（例如，9：00AM）收集对应的端到端分组延迟。基本上相同的网络条件和/或时间（例如，在2％偏差内）意味着由单元202和204所进行的测量是针对相同网络环境的，因此它们是相关的。

机器学习模型206从端到端性能测量收集单元202和核心网络部分参数收集单元204获得测量，使得机器学习模型206可以为其（一个或多个）机器学习函数确定合适的值。机器学习模型206可以使用各种模型，诸如线性回归、逻辑回归、决策树、神经网络、支持向量机（SVM）、k最近邻（kNN）、k-均值、随机森林、降维算法、梯度增强算法、贝叶斯网络、遗传算法、和联合学习。对于网络性能估计，机器学习模型206可以产生用于预测网络性能指示符的多个系数222。然后可以将所述多个系数222应用于后续核心网络部分性能测量（核心网络可以自己执行）以在后续时间在网络性能预测单元212处估计网络性能指示符的值（核心网络不能自己执行并且必须依赖于外部系统来提供）。

机器学习模型206可以使用来自端到端性能测量收集单元202和核心网络部分参数收集204的训练数据。例如，训练数据可以是数据向量集合[e0（TCP中的部分上行链路延迟）；e1（TCP中的部分下行链路）；e2（部分上行链路ICMP ping延迟）；e3（部分下行链路ICMPping延迟）；e4（部分上行链路HTTP响应时间）；e5（部分下行链路HTTP响应时间）]。这组训练数据可用于与由外部系统所测量的端到端延迟进行比较并确定一个或多个机器学习函数的参数。例如，我们可以标识将使一个或多个机器学习函数接近由外部装置测量的所测量端到端延迟的系数集合。例如，对于线性回归，我们旨在找到用于估计所测量端到端延迟

的多个系数，使得下式为真：

可以在相当大的训练数据（包括数据向量集合和所测量端到端延迟）之后获得系数。一旦获得了所述多个系数，就可以将所述多个系数应用于网络性能预测单元212处的后续估计。可以通过来自端到端性能测量收集单元202和核心网络部分参数收集单元204的值的附加训练数据来细化所述多个系数。在一个实施例中，所述多个系数的细化使用滑动窗口，其中保留来自端到端性能测量收集单元202和核心网络部分参数收集单元204的最近值，同时由于较早的数据较不相关而从模型中移除较早的数据，并且移除较早的数据使得机器学习模型的计算强度较低。

机器学习的另一示例是使用神经网络，其中机器学习函数为下式：

在公式（2）中，a是第1层中第j个神经元的激活函数，σ是所应用的函数，并且系数是w（权重）和b（偏置）。训练是为了获得神经网络的最佳系数。

3.1机器学习估计

用于通过机器学习来估计5G KPI的方法包括两个主要过程：A-训练和验证模型；以及B-在线估计。这两个独立序列可以在以下步骤中描述：

A-训练和验证机器学习（ML）模型：

1. 将被用作算法的输入的数据需要在训练阶段内被收集。其涉及在3.2节描述的在UE上和在核心网络上对不同协议分组交换的测量。

2. 上述数据需要被预处理并标记以使从UE和核心网络进行的测量相关。

3. 机器学习（ML）算法由估计器组成，该估计器将使用上述数据作为用于训练的输入以便给出移动网络的真实时延的输出。

4. 一旦算法被训练，ML模型就能够处理在核心网络上进行的测量，以给出具有某一精度百分比的实时的最终结果。这些结果通过实际测试测量来测试，以验证模型。

B-在线估计：

5. 模型已经被验证并部署在核心网络上以用于在线时延计算。

6. 通过在线时延计算，核心网络还可以测量网络上的变化。

3.2时延和响应时间计算

有两种已知的方法来标识移动网络的时延：TCP RTT和ICMP ping，前者使用面向连接的协议，并且后者使用无连接协议。本发明的实施例包括从核心网络（使用核心中可用的部分信息）计算时延以及从相同角度计算HTTP响应时间和服务响应时间。

5GPP定义了如何测量网络时延，包括从UE到接入网络出口接口的ICMP ping分组的RTT的测量。其还建议在理想条件下进行测试，所述理想条件没有错误并且只有一个UE消耗来自接入网络的所有资源。如所定义的，该网络时延是指由（无线电）接入网络所引入的时延。

1.TCP RTT

使用TCP往返程时间（RTT）的机制被广泛用于测量作为3GPP网络中的时延和网络异常的KPI。当我们从核心网络测量TCP RTT时，我们获得两个部分RTT：从核心网络到UE（客户端）的下行链路RTT和从核心网络到服务（服务器）的上行链路RTT。

本发明的实施例引入了一种借助于机器学习来计算/估计真实RTT的新方法。一些实施例考虑RTT测量（如果存在的话）和网络的条件两者。例如，机器学习模型可以用于估计上行链路或下行链路RTT和单向延迟：

A）上行链路RTT和下行链路RTT两者都可以从核心网络测量，并且整个RTT用估计ML模型来计算，如图3中所示。使用TCP数据分组来测量RTT，TCP数据分组包括要从终端装置102通过核心网络104发送到由服务/应用提供商（在一些实施例中实现服务器）提供的应用/服务106的一个TCP数据分组352，以及相反方向上的另一个TCP数据分组356，每个TCP数据分组使接收方发送确认分组（分别为TCP ACK 354和358）。核心网络测量部分上行链路/下行链路RTT 322和324，并且它获得（例如，通过外部系统）端到端上行链路/下行链路RTT312和314。这些数据用于训练ML模型（例如，确定ML函数的系数），并且然后可使用ML模型和核心网络处的所测量的部分上行链路/下行链路RTT来估计未来时间中的上行链路RTT和下行链路RTT。

B）使用先前的测量、TCP RTT估计和网络条件（分组丢失、分组大小、抖动、TCP窗口大小和拥塞感知（无线电和TCP拥塞窗口估计））来估计单向延迟。所估计的单向延迟可以是上行链路延迟（从终端装置102到应用/服务106的端到端路径）或下行链路延迟（从应用/服务106到终端装置102的端到端路径）。

为了遵循如3.1节中的步骤，训练、验证、和在线估计如下所述：

1. 对于训练阶段，收集整个RTT、上行链路RTT、下行链路RTT、和网络条件的测量，以将它们用作两种情况（离线或在线收集）的训练数据。

2. 一旦ML模型被训练，它就被验证以确定它是否在几种网络条件下按预期工作。

3. 最后步骤是在最终产品上部署所训练和验证的ML模型，并且模型的输出是真实RTT的估计。

2.ICMP Ping

在ping中使用的ICMP回送答复消息具有有助于标识请求的响应的报头字段。在一些实施例中，估计时延的方法类似于TCP RTT单向延迟估计中的解决方案，并且在图4中示出，通过从核心网络304测量部分时延，即，从核心网络104到应用/服务106的上行链路的部分时延（如附图标记422处所示）和从终端装置102到核心网络104的下行链路的部分时延（如附图标记424处所示）。这两个测量和收集的端到端上行链路和下行链路时延（如附图标记412和414处所示）将被用于训练机器学习模型，如3.1节中所述。在其被部署之后，它将能够输出从核心网络104测量的ping的真实测量。

3.HTTP响应时间

为了提供由最终用户所经历的时延的更准确测量，我们建议从核心网络估计HTTP响应时间。该挑战类似于先前的挑战，因为我们必须基于部分信息来估计响应时间。另外，我们必须考虑大多数时间使用HTTPS变体来加密HTTP分组，并且由于这个原因，我们不能将DPI用于对分组进行分类。

HTTP响应时间在图5A和图5B中示出。对于HTTP响应时间的估计，一个实施例使用块检测，其能够检测在一个方向上发送的HTTPS消息的集合。使用该技术，根据一个实施例，过程如下：

1. 通过使用现有DPI技术来检测客户端-服务器消息是基于HTTP协议的。

2. 检测第一请求块（块可以包括分组的集合，例如HTTP请求分组552）。

3. 此后，如果检测到响应块（例如，HTTP响应分组554-558），则部分HTTP响应时间被计算为第一请求分组和最后响应分组之间的间隔。图5A分别示出了附图标记522和524处的部分和端到端响应时间。备选地，如果如图5B处所示没有响应块，则当来自终端装置102的分组是推分组（如附图标记572和574处所示）时，部分HTTP响应时间是请求块的第一分组572和来自服务器的最后确认TCP分组558之间的间隔，如附图标记584处所示。

4. 使用部分HTTP响应时间和请求的类型两者，连同网络条件（分组丢失、分组大小、抖动、TCP窗口大小和拥塞感知（无线电和TCP拥塞窗口估计）），使用机器学习模型来估计真实HTTP响应时间。注意，可以使用所测量的部分HTTP响应时间和（例如，由外部系统）所测量的端到端HTTP响应时间来训练和/或更新机器学习模型。

4.服务响应时间

在所公开的技术中建议的另一种测量是服务响应时间。该测量的合理性是提供对由最终用户所体验的通信网络的端到端双向时延的最佳近似。

该过程类似于HTTP响应时间估计，但是在这种情况下：

• 所使用的协议在每个方向上可以不同；

• 可以是任何协议，不仅仅是TCP（面向连接的协议）之上的HTTP（无连接协议）；以及

• 可以是无连接（也称为非面向连接）协议（例如UDP）。

该建议假设代理被训练用于每对上行链路-下行链路协议。注意，面向连接的协议和无连接协议包括UDP的变体，诸如UDP-Lite、QUIC（快速UDP因特网连接）和其它传输协议（OSI第4层）（诸如多用途事务协议（MTP）、数据报拥塞控制协议（DCCP）和流控制传输协议（SCTP））。

服务响应时间在图6A-图6B中示出。对于其估计，我们使用块检测，其能够检测在一个方向上发送的协议消息的集合。使用该技术，过程如下：

1. 通过使用现有DPI技术来检测客户端-服务器消息是基于所支持的协议的。

2. 检测第一服务请求块（一个或多个分组，诸如服务请求分组652）。

3. 检测下行链路协议的响应块（一个或多个分组，诸如服务响应分组654）。

4. 部分服务响应时间被计算如下：a）针对下行链路非面向连接的协议的第一请求分组和最后响应分组之间的间隔，如图6A处所示；或b）针对下行链路面向连接的协议的第一请求分组和最后确认响应分组之间的间隔，如图6B处所示。

5. 使用部分服务响应时间和请求的类型两者，连同网络条件（分组丢失、分组大小、抖动、TCP窗口大小、和拥塞感知（无线电和TCP拥塞窗口估计）），使用机器学习模型来估计真实服务响应时间。

注意，除了响应时间和分组延迟的值之外，其它服务质量测量也可被用作网络性能指示符（KPI），例如，符合延迟/响应时间要求的业务的百分比/比率、达成一致的分组延迟/响应时间的偏差）。

图7示出了根据一些实施例的网络性能协调器的操作。方法被实现以用于估计端到端网络性能。端到端网络性能测量从终端装置（例如终端装置102）到应用服务器（其提供一个或多个应用/服务，例如应用/服务106）的路径的端到端性能指示符，其中终端装置被耦合到核心网络（例如核心网络104），其中核心网络测量路径的部分的网络性能。

该方法包括在附图标记702处测量路径的部分的网络性能以获得第一时段中的部分网络性能测量。该方法还包括获得第一时段中的路径的端到端测量，其中端到端测量是附图标记704处的端到端性能指示符的值。该方法还包括在附图标记706处使用部分网络性能测量来确定机器学习函数的系数集合，以近似端到端测量；以及708，在第一时段之后的第二时段中使用第二时段中的部分网络性能测量和机器学习函数来估计端到端性能指示符的一个或多个值。在一些实施例中，通过将第二时段中的部分网络性能测量应用于具有在步骤706所确定的系数值的机器学习函数来估计一个或多个值。

在一个实施例中，端到端性能指示符是分组端到端延迟、端到端网络响应时间、或分组端到端延迟和/或端到端网络响应时间的服务质量测量。在一个实施例中，部分网络性能测量是一种或多种类型的部分上行链路/下行链路往返程时间（RTT）、部分上行链路/下行链路时延、拉或推分组的部分HTTP响应时间、以及部分服务响应时间。在一个实施例中，在不同网络条件下测量部分网络性能测量，所述不同网络条件是诸如不同分组丢失、分组大小、抖动、TCP窗口大小、和拥塞感知（无线电和TCP拥塞窗口估计）。

在一个实施例中，第一时段中的部分网络性能测量包括路径的上行链路中的一种类型的部分网络性能测量和路径的下行链路中的另一不同类型的部分网络性能测量。在一个实施例中，部分网络性能测量和端到端测量针对第一时段中的相同网络条件。

在一个实施例中，部分网络性能测量针对终端装置和应用服务器之间的双向路径，其中端到端性能指示符的估计值针对终端装置和应用服务器之间的单向路径，如关于图3单向延迟估计所解释的。

在一些实施例中，部分网络性能测量和端到端测量在无连接网络协议（例如，ICMP、HTTP或UDP）的第一请求分组和最后响应分组之间。在一些实施例中，部分网络性能测量和端到端测量在面向连接的网络协议（例如TCP）的第一请求分组和最后确认分组之间。

在一个实施例中，该方法还包括在附图标记710处将估计值与第二时段中的端到端测量进行比较，以及在附图标记712处基于所述比较来更新机器学习函数的参数集合。在所述更新之后，机器学习函数可以用于以后的估计。

图8示出了根据一些实施例的网络装置。网络装置802可以使用定制专用集成电路（ASIC）作为处理器和专用操作系统（OS），或使用通用现成（COTS）处理器和标准OS来实现。

网络装置802包括硬件840，硬件840包括一个或多个处理器842（其通常是COTS处理器或处理器核或ASIC）的集合和物理NI 846，以及其中存储有软件850的非暂态机器可读存储介质849。在操作期间，一个或多个处理器842可以执行软件850以实例化一个或多个应用864A-R的一个或多个集合。虽然一个实施例不实现虚拟化，但是备选实施例可以使用不同形式的虚拟化。例如，在一个此类备选实施例中，虚拟化层854表示允许创建多个实例862A-R的操作系统（或在基本操作系统上执行的垫片（shim））的内核，所述多个实例862A-R被称为软件容器，每个软件容器可用于执行应用864A-R的集合中的一个（或多个）。多个软件容器（也称为虚拟化引擎、虚拟私有服务器、或监狱（jail））是彼此分离并且与运行操作系统的内核空间分离的用户空间（通常是虚拟存储器空间）。除非明确允许，否则在给定用户空间中运行的应用的集合不能访问其它进程的存储器。在另一此类备选实施例中，虚拟化层854表示管理程序（有时称为虚拟机监测器（VMM））或在主机操作系统之上执行的管理程序，并且应用864A-R的集合中的每个应用在被称为虚拟机（在一些情况下可以被认为是软件容器的紧密隔离形式）的实例862A-R内的访客操作系统之上运行——所述虚拟机在管理程序之上运行——访客操作系统和应用可能不知道它们正在虚拟机上运行而不是正在“裸机（bare metal）”主机电子装置上运行，或者通过超虚拟化，操作系统和/或应用可以处于优化目的而知道虚拟化的存在。在又一备选实施例中，一个、一些、或所有应用被实现为（一个或多个）单内核，其可以通过直接将应用仅编译有提供应用所需的特定OS服务的库的有限集合（例如，来自包括OS服务的驱动程序/库的库操作系统（LibOS））来生成。由于单内核可被实现为直接在硬件840上运行、直接在管理程序上运行（在这种情况下，单内核有时被描述为在LibOS虚拟机内运行）、或在软件容器中运行，因此实施例可完全用直接在由虚拟化层854表示的管理程序上运行的单内核、在由实例862A-R表示的软件容器内运行的单内核、或作为单内核和上述技术的组合来实现（例如，都直接在管理程序上运行的单内核和虚拟机、单内核、以及在不同软件容器中运行的应用的集合）。

软件850包含网络性能协调器120。干扰协调器120可执行参照先前附图所描述的一个或多个示例性方法/操作中的操作。一个或多个应用864A-R的一个或多个集合的实例化以及虚拟化（如果实现的话）统称为（一个或多个）软件实例852。应用864A-R的每个集合、对应的虚拟化构造（例如，实例862A-R）（如果实现的话）、以及执行它们的硬件840的那部分（其是专用于该执行的硬件和/或硬件在时间上共享的时间切片）形成单独的虚拟网络装置860A-R。

网络接口（NI）可以是物理的或虚拟的。在IP的上下文中，接口地址是指配给NI的IP地址，无论其是物理NI还是虚拟NI。虚拟NI可以与物理NI相关联、与另一虚拟接口相关联、或者独立于其自身（例如，环回接口、点对点协议接口）。NI（物理的或虚拟的）可以被编号（具有IP地址的NI）或不被编号（没有IP地址的NI）。物理网络接口846可以包括网络装置802的一个或多个天线。天线端口可以对应于或可以不对应于物理天线。

图9：根据一些实施例的无线网络。

尽管可以在使用任何适合的组件的任何适合类型的系统中实现本文中描述的主题，但关于无线网络（诸如图9中图示的示例无线网络）描述本文中公开的实施例。为了简单起见，图9的无线网络只描绘网络906、网络节点960和960b以及WD 910、910b和910c。实际上，无线网络可以进一步包括适合支持无线装置之间或无线装置与另一通信装置（诸如固定电话、服务提供商或任何其它网络节点或终端装置）之间的通信的任何附加元件。在图示的组件中，通过附加细节描绘了网络节点960和无线装置（WD）910。无线网络可以向一个或多个无线装置提供通信和其它类型的服务以促进无线装置接入和/或使用由无线网络或经由无线网络提供的服务。

无线网络可以包括任何类型的通信、电信、数据、蜂窝和/或无线电网络或其它相似类型的系统和/或与任何类型的通信、电信、数据、蜂窝和/或无线电网络或其它相似类型的系统通过接口连接。在一些实施例中，无线网络可以配置成根据特定标准或其它类型的预定义规则或过程来操作。因此，无线网络的特定实施例可以实现通信标准，诸如全球移动通信系统（GSM）、通用移动电信系统（UMTS）、长期演进（LTE）、和/或其它适合的2G、3G、4G或5G标准；无线局域网（WLAN）标准，诸如IEEE 802.11标准；和/或任何其它适合的无线通信标准，诸如全球微波接入互操作性（WiMax）、蓝牙、Z-Wave和/或ZigBee标准。

网络906可以包括一个或多个回程网络、核心网络、IP网络、公共交换电话网（PSTN）、分组数据网络、光网络、广域网（WAN）、局域网（LAN）、无线局域网（WLAN）、有线网络、无线网络、城域网和在装置之间实现通信的其它网络。

网络节点960和WD 910包括下面更详细描述的各种组件。这些组件一起工作以便提供网络节点和/或无线装置功能性，诸如在无线网络中提供无线连接。在不同的实施例中，无线网络可以包括任意数量的有线或无线网络、网络节点、基站、控制器、无线装置、中继站和/或可以促进或参与数据和/或信号的通信（无论经由有线还是无线连接）的任何其它组件或系统。

如本文中使用的，网络节点是指能够、配置成、布置成和/或可操作以与无线装置和/或与无线网络中的其它网络节点或设备直接或间接通信以对无线装置实现和/或提供无线接入和/或执行无线网络中的其它功能（例如，管理）的设备。网络节点的示例包括但不限于接入点（AP）（例如，无线电接入点）、基站（BS）（例如，无线电基站、节点B、演进节点B（eNB）和NR NodeB（gNB））。基站可以基于它们提供的覆盖的量（或者，换句话说，它们的传送功率水平）来被归类并且于是可以还被称为毫微微基站、微微基站、微基站或宏基站。基站可以是中继节点或控制中继的中继施主节点。网络节点还可以包括分布式无线电基站的一个或多个（或所有）部分，诸如集中式数字单元和/或远程无线电单元（RRU），其有时被称为远程无线电头端（RRH）。这样的远程无线电单元可以与或可以不与天线集成为天线集成无线电设备。分布式无线电基站的部分也可以被称为分布式天线系统（DAS）中的节点。

网络节点的又一进一步示例包括多标准无线电（MSR）设备（诸如MSR BS）、网络控制器（诸如无线电网络控制器（RNC）或基站控制器（BSC））、基站收发信台（BTS）、传输点、传输节点、多小区/多播协调实体（MCE）、核心网络节点（例如，MSC、MME）、O&M节点、OSS节点、SON节点、定位节点（例如，E-SMLC）和/或MDT。作为另一示例，网络节点可以是虚拟网络节点，如下面更详细描述的。然而，更一般地，网络节点可以表示能够、配置成、布置成和/或可操作来为无线装置实现和/或提供对无线网络的接入或向已接入无线网络的无线装置提供某种服务的任何适合的装置（或装置的群组）。

在图9中，网络节点960包括处理电路970、装置可读介质980、接口990、辅助设备984、电源986、电源电路987和天线962。尽管图9的示例无线网络中图示的网络节点960可以表示包括所图示的硬件组件组合的装置，但其它实施例可以包括具有不同组件组合的网络节点。要理解网络节点包括执行本文中公开的任务、特征、功能和方法所需要的硬件和/或软件的任何适合的组合。此外，尽管网络节点960的组件被描绘为嵌套在多个框内或位于较大框内的单个框，但实际上，网络节点可以包括组成单个图示的组件的多个不同的物理组件（例如，装置可读介质980可以包括多个单独的硬盘驱动器以及多个RAM模块）。

相似地，网络节点960可以由多个物理上分离的组件（例如，NodeB组件和RNC组件，或BTS组件和BSC组件等）组成，所述多个物理上分离的组件可以各自具有它们自己的相应组件。在其中网络节点960包括多个单独组件（例如，BTS和BSC组件）的某些场景中，单独组件中的一个或多个可以在若干网络节点之间共享。例如，单个RNC可以控制多个NodeB。在这样的场景中，每个唯一的NodeB和RNC对在一些实例中可以视为单个单独的网络节点。在一些实施例中，网络节点960可以配置成支持多个无线电接入技术（RAT）。在这样的实施例中，一些组件可以是重复的（例如，用于不同RAT的单独的装置可读介质980）并且一些组件可以是重用的（例如，相同的天线962可以被RAT共享）。网络节点960还可以包括用于集成到网络节点960中的不同无线技术（诸如例如GSM、WCDMA、LTE、NR、WiFi或蓝牙无线技术）的各种图示的组件的多个集合。这些无线技术可以集成到网络节点960内的相同或不同的芯片或芯片集以及其它组件中。

处理电路970配置成执行在本文中被描述为由网络节点提供的任何确定、计算或相似操作（例如，某些获得操作）。由处理电路970执行的这些操作可以包括通过例如将获得的信息转换成其它信息、将获得的信息或经转换的信息与网络节点中存储的信息进行比较和/或基于获得的信息或经转换的信息来执行一个或多个操作从而处理由处理电路970获得的信息，并且作为所述处理的结果做出确定。

处理电路970可以包括以下中的一个或多个的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列或任何其它适合的计算装置、资源，或者可操作以单独或连同其它网络节点960组件（诸如装置可读介质980）一起提供网络节点960功能性的硬件、软件和/或编码逻辑的组合。例如，处理电路970可以执行存储在装置可读介质980中或处理电路970内的存储器中的指令。这样的功能性可以包括提供本文中论述的各种无线特征、功能或益处中的任何无线特征、功能或益处。在一些实施例中，处理电路970可以包括片上系统（SOC）。

在一些实施例中，处理电路970可以包括射频（RF）收发器电路972和基带处理电路974中的一个或多个。在一些实施例中，射频（RF）收发器电路972和基带处理电路974可以在单独的芯片（或芯片集）、板或单元（诸如无线电单元和数字单元）上。在备选实施例中，RF收发器电路972和基带处理电路974中的部分或全部可以在相同的芯片或芯片集、板或单元上。

在某些实施例中，本文中描述为由网络节点、基站、eNB或其它这样的网络装置提供的功能性中的一些或全部可以由处理电路970执行，所述处理电路970执行存储在装置可读介质980或处理电路970内的存储器上的指令。在备选实施例中，功能性中的一些或全部可以由处理电路970在不执行存储在单独或分立的装置可读介质上的指令的情况下（诸如以硬接线方式）提供。在那些实施例中的任何实施例中，无论是否执行存储在装置可读存储介质上的指令，处理电路970都可配置成执行所描述的功能性。由这样的功能性提供的益处不限于仅处理电路970或网络节点960的其它组件，而是由网络节点960作为整体和/或由最终用户和无线网络一般地享有。

装置可读介质980可以包括任何形式的易失性或非易失性计算机可读存储器，其没有限制地包括：永久性存储装置、固态存储器、远程安装存储器、磁介质、光介质、随机存取存储器（RAM）、只读存储器（ROM）、大容量存储介质（例如，硬盘）、可移动存储介质（例如，闪速驱动器、致密盘（CD）或数字视频盘（DVD）），和/或存储可以由处理电路970使用的信息、数据和/或指令的任何其它易失性或非易失性、非暂态装置可读和/或计算机可执行存储器装置。装置可读介质980可以存储任何适合的指令、数据或信息，包括计算机程序、软件、应用（包括逻辑、规则、代码、表等中的一个或多个）和/或能够由处理电路970执行并且由网络节点960利用的其它指令。装置可读介质980可以用于存储由处理电路970进行的任何计算和/或经由接口990接收的任何数据。在一些实施例中，处理电路970和装置可读介质980可以视为是集成的。

接口990用于网络节点960、网络906和/或WD 910之间的信令和/或数据的有线或无线通信中。如图示的，接口990包括用于通过有线连接例如向网络906发送数据和从网络906接收数据的（一个或多个）端口/（一个或多个）终端994。接口990还包括无线电前端电路992，其可以耦合到天线962或在某些实施例中是天线962的一部分。无线电前端电路992包括滤波器998和放大器996。无线电前端电路992可以连接到天线962和处理电路970。无线电前端电路可以配置成调节在天线962与处理电路970之间传递的信号。无线电前端电路992可以接收要经由无线连接发出到其它网络节点或WD的数字数据。无线电前端电路992可以使用滤波器998和/或放大器996的组合将该数字数据转换成具有合适信道和带宽参数的无线电信号。然后可以经由天线962传送该无线电信号。相似地，在接收数据时，天线962可以收集无线电信号，该无线电信号然后被无线电前端电路992转换成数字数据。该数字数据可以被传递给处理电路970。在其它实施例中，接口可以包括不同组件和/或组件的不同组合。

在某些备选实施例中，网络节点960可以不包括单独的无线电前端电路992，而是处理电路970可以包括无线电前端电路并且可以连接到天线962而没有单独的无线电前端电路992。相似地，在一些实施例中，RF收发器电路972中的全部或一些可以视为接口990的一部分。在又一些其它实施例中，接口990可以包括一个或多个端口或终端994、无线电前端电路992和RF收发器电路972，作为无线电单元（未示出）的一部分，并且接口990可以与基带处理电路974通信，该基带处理电路974是数字单元（未示出）的一部分。

天线962可以包括一个或多个天线或天线阵列，其配置成发送和/或接收无线信号。天线962可以耦合到无线电前端电路990并且可以是能够无线传送和接收数据和/或信号的任何类型的天线。在一些实施例中，天线962可以包括一个或多个全向、扇形或平板天线，其可操作以传送/接收在例如2GHz与66GHz之间的无线电信号。全向天线可以用于在任何方向上传送/接收无线电信号，扇形天线可以用于在特定区域内从装置传送/接收无线电信号，并且平板天线可以是用于在相对直的线上传送/接收无线电信号的视线天线。在一些实例中，多于一个天线的使用可以称为MIMO。在某些实施例中，天线962可以与网络节点960分离并且可以通过接口或端口可连接到网络节点960。

天线962、接口990和/或处理电路970可以配置成执行在本文中描述为由网络节点执行的任何接收操作和/或某些获得操作。可以从无线装置、另一网络节点和/或任何其它网络设备接收任何信息、数据和/或信号。相似地，天线962、接口990和/或处理电路970可以配置成执行在本文中描述为由网络节点执行的任何传送操作。可以将任何信息、数据和/或信号传送给无线装置、另一网络节点和/或任何其它网络设备。

电源电路987可以包括或耦合到电源管理电路并且配置成向网络节点960的组件供应电力以用于执行本文中描述的功能性。电源电路987可以从电源986接收电力。电源986和/或电源电路987可以配置成以适合于相应组件的形式（例如，以每个相应组件所需要的电压和电流水平）向网络节点960的各种组件提供电力。电源986可以被包括在电源电路987和/或网络节点960中或在电源电路987和/或网络节点960外部。例如，网络节点960可以经由诸如电缆之类的输入电路或接口而可连接到外部电源（例如，电插座），由此外部电源向电源电路987供应电力。作为另外的示例，电源986可以包括连接到电源电路987或集成在电源电路987中的采用电池或电池组的形式的电源。如果外部电源失效，电池可以提供备用电力。还可以使用其它类型的电源，诸如光伏装置。

网络节点960的备选实施例可以包括图9中示出的那些组件以外的附加组件，所述附加组件可以负责提供网络节点的功能性的某些方面，包括本文中描述的功能性中的任何功能性和/或支持本文中描述的主题所必需的任何功能性。例如，网络节点960可以包括用户接口设备以允许将信息输入网络节点960中并且允许从网络节点960输出信息。这可以允许用户对网络节点960执行诊断、维护、修理和其它管理功能。

如本文中使用的，无线装置（WD）是指能够、配置成、布置成和/或可操作以与网络节点和/或其它无线装置无线通信的装置。除非另有指出，否则术语WD可以在本文中与用户设备（UE）可互换地使用。无线通信可以涉及使用电磁波、无线电波、红外波和/或适合于通过空气传达信息的其它类型的信号来传送和/或接收无线信号。在一些实施例中，WD可以配置成在没有直接人类交互的情况下传送和/或接收信息。例如，WD可以设计成按照预定调度、在被内部或外部事件触发时或响应于来自网络的请求而向网络传送信息。WD的示例包括但不限于智能电话、移动电话、蜂窝电话、IP上语音（VoIP）电话、无线本地环路电话、台式计算机、个人数字助理（PDA）、无线拍摄装置（camera）、游戏控制台或装置、音乐存储装置、重放设备、可穿戴终端装置、无线端点、移动站、平板电脑、膝上型电脑、膝上型嵌入式设备（LEE）、膝上型安装式设备（LME）、智能装置、无线客户驻地设备（CPE）、交通工具安装式无线终端装置等。

WD可以例如通过实现用于侧链路通信、交通工具对交通工具（V2V）、交通工具对基础设施（V2I），交通工具对一切（V2X）的3GPP标准来支持装置到装置（D2D）通信，并且在该情况下可以被称为D2D通信装置。作为又一特定示例，在物联网（IoT）场景中，WD可以表示执行监测和/或测量并且向另一WD和/或网络节点传送这样的监测和/或测量的结果的机器或其它装置。WD在该情况下可以是机器到机器（M2M）装置，其在3GPP上下文中可以被称为MTC装置。作为一个特定示例，WD可以是实现3GPP窄带物联网（NB-IoT）标准的UE。这样的机器或装置的特定示例是传感器、计量装置（诸如功率计）、工业机械、或者家庭或个人设备（例如，冰箱、电视等）、或个人可穿戴设备（例如，手表、健身跟踪器等）。在其它场景中，WD可以表示能够对它的操作状态或与它的操作相关联的其它功能进行监测和/或报告的交通工具或其它设备。如上文描述的WD可以表示无线连接的端点，在该情况下装置可以被称为无线终端。此外，如上文描述的WD可以是移动的，在该情况下它还可以被称为移动装置或移动终端。

如图示的，无线装置910包括天线911、接口914、处理电路920、装置可读介质930、用户接口设备932、辅助设备934、电源936和电源电路937。WD 910可以包括用于由WD 910支持的不同无线技术（仅举几例，诸如，例如GSM、WCDMA、LTE、NR、WiFi、WiMAX、或蓝牙无线技术）的所图示组件中的一个或多个组件的多个集合。这些无线技术可以集成到与WD 910内的其它组件相同或不同的芯片或芯片集内。

天线911可以包括配置成发送和/或接收无线信号的一个或多个天线或天线阵列，并且连接到接口914。在某些备选实施例中，天线911可以与WD 910分离并且通过接口或端口而可连接到WD 910。天线911、接口914和/或处理电路920可以配置成执行在本文中描述为由WD执行的任何接收或传送操作。可以从网络节点和/或另一WD接收任何信息、数据和/或信号。在一些实施例中，无线电前端电路和/或天线911可以被视为接口。

如图示的，接口914包括无线电前端电路912和天线911。无线电前端电路912包括一个或多个滤波器918和放大器916。无线电前端电路914连接到天线911和处理电路920，并且配置成调节在天线911与处理电路920之间传递的信号。无线电前端电路912可以耦合到天线911或是天线911的一部分。在一些实施例中，WD 910可以不包括单独的无线电前端电路912；相反，处理电路920可以包括无线电前端电路并且可以连接到天线911。相似地，在一些实施例中，RF收发器电路922中的一些或全部可以视为接口914的一部分。无线电前端电路912可以接收要经由无线连接发出到其它网络节点或WD的数字数据。无线电前端电路912可以使用滤波器918和/或放大器916的组合将该数字数据转换成具有合适信道和带宽参数的无线电信号。然后可以经由天线911传送该无线电信号。相似地，在接收数据时，天线911可以收集无线电信号，该无线电信号然后被无线电前端电路912转换成数字数据。该数字数据可以被传递给处理电路920。在其它实施例中，接口可以包括不同组件和/或组件的不同组合。

处理电路920可以包括以下中的一个或多个的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列或任何其它适合的计算装置、资源，或者可操作以单独或连同其它WD 910组件（诸如装置可读介质930）一起提供WD910功能性的硬件、软件和/或编码逻辑的组合。这样的功能性可以包括提供本文中论述的各种无线特征或益处中的任何无线特征或益处。例如，处理电路920可以执行存储在装置可读介质930中或处理电路920内的存储器中的指令来提供本文中公开的功能性。

如图示的，处理电路920包括RF收发器电路922、基带处理电路924和应用处理电路926中的一个或多个。在其它实施例中，处理电路可以包括不同组件和/或组件的不同组合。在某些实施例中，WD 910的处理电路920可以包括SOC。在一些实施例中，RF收发器电路922、基带处理电路924和应用处理电路926可以在单独的芯片或芯片集上。在备选实施例中，基带处理电路924和应用处理电路926中的部分或全部可以组合到一个芯片或芯片集中，并且RF收发器电路922可以在单独的芯片或芯片集上。在又一些备选实施例中，RF收发器电路922和基带处理电路924中的部分或全部可以在相同芯片或芯片集上，并且应用处理电路926可以在单独的芯片或芯片集上。在又一些其它备选实施例中，RF收发器电路922、基带处理电路924和应用处理电路926中的部分或全部可以组合在相同芯片或芯片集中。在一些实施例中，RF收发器电路922可以是接口914的一部分。RF收发器电路922可以为处理电路920调节RF信号。

在某些实施例中，在本文中描述为由WD执行的功能性中的一些或全部可以由执行存储在装置可读介质930上的指令的处理电路920提供，该装置可读介质930在某些实施例中可以是计算机可读存储介质。在备选实施例中，可以由处理电路920在不执行存储在单独或分立的装置可读存储介质上的指令的情况下（诸如以硬接线方式）提供功能性中的一些或全部。在那些特定实施例中的任何实施例中，无论是否执行存储在装置可读存储介质上的指令，处理电路920都可配置成执行所描述的功能性。由这样的功能性提供的益处不限于仅处理电路920或WD 910的其它组件，而是由WD 910作为整体和/或由最终用户和无线网络一般地享有。

处理电路920可以配置成执行在本文中描述为由WD执行的任何确定、计算或相似操作（例如，某些获得操作）。如由处理电路920执行的这些操作可以包括通过例如将获得的信息转换成其它信息、将获得的信息或经转换的信息与由WD 910存储的信息进行比较和/或基于获得的信息或经转换的信息来执行一个或多个操作从而处理由处理电路920获得的信息，并且作为所述处理的结果做出确定。

装置可读介质930可以可操作以存储计算机程序、软件、应用（包括逻辑、规则、代码、表等中的一个或多个），和/或能够被处理电路920执行的其它指令。装置可读介质930可以包括计算机存储器（例如，随机存取存储器（RAM）或只读存储器（ROM））、大容量存储介质（例如，硬盘）、可移动存储介质（例如，致密盘（CD）或数字视频盘（DVD））和/或存储可以由处理电路920使用的信息、数据和/或指令的任何其它易失性或非易失性、非暂态装置可读和/或计算机可执行存储器装置。在一些实施例中，处理电路920和装置可读介质930可以视为是集成的。用户接口设备932可以提供允许人类用户与WD 910交互的组件。这样的交互可以具有许多形式，诸如视觉、听觉、触觉等。用户接口设备932可以可操作以向用户产生输出并且允许用户向WD 910提供输入。交互的类型可以取决于WD 910中安装的用户接口设备932的类型而变化。例如，如果WD 910是智能电话，则交互可以经由触摸屏；如果WD 910是智能仪表，则交互可以通过提供使用量（例如，所使用的加仑数）的屏幕或提供听觉报警（例如，如果检测到烟雾）的扬声器。用户接口设备932可以包括输入接口、装置和电路、以及输出接口、装置和电路。用户接口设备932配置成允许将信息输入到WD 910中，并且连接到处理电路920以允许处理电路920处理输入信息。用户接口设备932可以包括例如麦克风、接近或其它传感器、按键/按钮、触摸显示器、一个或多个拍摄装置、USB端口或其它输入电路。用户接口设备932还配置成允许从WD 910输出信息，并且允许处理电路920从WD 910输出信息。用户接口设备932可以包括例如扬声器、显示器、振动电路、USB端口、耳机接口或其它输出电路。使用用户接口设备932的一个或多个输入和输出接口、装置和电路，WD 910可以与最终用户和/或无线网络通信，并且允许它们从本文中描述的功能性获益。

辅助设备934可操作以提供可以一般不由WD执行的更特定的功能性。这可以包括用于为了各种目的进行测量的专用传感器、用于附加类型的通信（诸如有线通信）的接口等。辅助设备934的组件的内含物以及类型可以取决于实施例和/或场景而变化。

电源936在一些实施例中可以采用电池或电池组的形式。还可以使用其它类型的电源，诸如外部电源（例如，电插座）、光伏装置或动力电池。WD 910可以进一步包括电源电路937以用于从电源936向WD 910的各种部分输送电力，所述WD 910的各种部分需要来自电源936的电力来执行本文中描述或指示的任何功能性。电源电路937在某些实施例中可以包括电源管理电路。电源电路937可以另外或备选地可操作以从外部电源接收电力；在该情况下WD 910可以经由输入电路或接口（诸如电力电缆）而可连接到外部电源（诸如电插座）。电源电路937在某些实施例中还可以可操作以从外部电源向电源936输送电力。这可以例如用于电源936的充电。电源电路937可以对来自电源936的电力执行任何格式化、转换或其它修改以使所述电力适合于电力被供应到的WD 910的相应组件。

图10：根据一些实施例的用户设备

图10图示根据本文中描述的各种方面的UE的一个实施例。如本文中使用的，用户设备或UE可以不一定具有在拥有和/或操作相关装置的人类用户的意义上的用户。替代地，UE可以表示打算用于销售给人类用户或由人类用户操作但可能不与或可能最初不与特定人类用户相关联的装置（例如，智能喷淋器控制器）。备选地，UE可以代表不打算出售给最终用户或由最终用户操作，但可以与用户的利益相关联或为用户的利益而操作的装置（例如，智能功率计）。UE 1000可以是由第三代合作伙伴计划（3GPP）标识的任何UE，包括NB-IoTUE、机器类型通信（MTC）UE和/或增强MTC（eMTC）UE。如在图10中图示的UE 1000是配置用于根据由第三代合作伙伴计划（3GPP）颁布的一个或多个通信标准进行通信的WD的一个示例，所述通信标准诸如3GPP的GSM、UMTS、LTE和/或5G标准。如之前提到的，可以可互换地使用术语WD和UE。因此，尽管图10是UE，但本文中论述的组件同样能适用于WD，并且反之亦然。

在图10中，UE 1000包括处理电路1001，所述处理电路1001操作地耦合到输入/输出接口1005、射频（RF）接口1009、网络连接接口1011、存储器1015（包括随机存取存储器（RAM）1017、只读存储器（ROM）1019和存储介质1021等）、通信子系统1031、电源1013和/或任何其它组件或其任何组合。存储介质1021包括操作系统1023、应用程序1025和数据1027。在其它实施例中，存储介质1021可以包括其它相似类型的信息。某些UE可以利用图10中示出的全部组件，或仅利用组件的子集。组件之间的集成水平可以从一个UE到另一UE而变化。此外，某些UE可以包含组件的多个实例，诸如多个处理器、存储器、收发器、传送器、接收器等。

在图10中，处理电路1001可以配置成处理计算机指令和数据。处理电路1001可以配置成实现任何顺序状态机，所述顺序状态机操作以执行在存储器中作为机器可读计算机程序存储的机器指令，诸如一个或多个硬件实现的状态机（例如，在分立逻辑、FPGA、ASIC等中）；可编程逻辑连同合适的固件；一个或多个存储的程序、通用处理器（诸如微处理器或数字信号处理器（DSP））连同合适的软件；或以上各项的任何组合。例如，处理电路1001可以包括两个中央处理单元（CPU）。数据可以是采用适合供计算机使用的形式的信息。

在所描绘的实施例中，输入/输出接口1005可以配置成提供到输入装置、输出装置或输入和输出装置的通信接口。UE 1000可以配置成经由输入/输出接口1005使用输出装置。输出装置可以使用与输入装置相同类型的接口端口。例如，USB端口可以用于提供到UE1000的输入以及从UE 1000的输出。输出装置可以是扬声器、声卡、视频卡、显示器、监视器、打印机、致动器、发射器、智能卡、另一输出装置或其任何组合。UE 1000可以配置成经由输入/输出接口1005使用输入装置以允许用户将信息捕捉到UE 1000中。输入装置可以包括触敏或存在敏感显示器、拍摄装置（例如，数字拍摄装置、数字视频拍摄装置、web拍摄装置等）、麦克风、传感器、鼠标、轨迹球、方向板、轨迹板、滚轮、智能卡等。存在敏感显示器可以包括电容或电阻触摸传感器以感测来自用户的输入。传感器可以是例如加速度计、陀螺仪、倾斜传感器、力传感器、磁力计、光传感器、接近传感器、另一类似的传感器或其任何组合。例如，输入装置可以是加速度计、磁力计、数字拍摄装置、麦克风和光传感器。

在图10中，RF接口1009可以配置成提供到诸如传送器、接收器和天线之类的RF组件的通信接口。网络连接接口1011可以配置成提供到网络1043a的通信接口。网络1043a可以包含有线和/或无线网络，诸如局域网（LAN）、广域网（WAN）、计算机网络、无线网络、电信网络、另一类似网络或其任何组合。例如，网络1043a可以包括Wi-Fi网络。网络连接接口1011可以配置成包括用于根据一个或多个通信协议（诸如以太网、TCP/IP、SONET、ATM等）通过通信网络与一个或多个其它装置通信的接收器和传送器接口。网络连接接口1011可以实现适合于通信网络链路（例如，光、电等）的接收器和传送器功能性。传送器和接收器功能可以共享电路组件、软件或固件，或备选地可以单独地被实现。

RAM 1017可以配置成经由总线1002通过接口连接到处理电路1001以在诸如操作系统、应用程序和装置驱动程序之类的软件程序的执行期间提供数据或计算机指令的存储或高速缓存。ROM 1019可以配置成向处理电路1001提供计算机指令或数据。例如，ROM 1019可以配置成存储用于基本系统功能（诸如基本输入和输出（I/O）、启动或从键盘接收键击）的不变低级系统代码或数据，其存储在非易失性存储器中。存储介质1021可以配置成包括存储器，诸如RAM、ROM、可编程只读存储器（PROM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、磁盘、光盘、软盘、硬盘、可移动盒式磁盘或闪速驱动器。在一个示例中，存储介质1021可以配置成包括操作系统1023、应用程序1025（诸如web浏览器应用、小部件或小工具引擎或另一应用）以及数据文件1027。存储介质1021可以存储供UE1000使用的多样的各种操作系统或操作系统的组合中的任何操作系统或操作系统的组合。

存储介质1021可以配置成包括许多物理驱动单元，诸如独立盘冗余阵列（RAID）、软盘驱动器、闪速存储器、USB闪速驱动器、外部硬盘驱动器、指状驱动器、笔式驱动器、键驱动器、高密度数字多功能盘（HD-DVD）光盘驱动器、内部硬盘驱动器、蓝光光盘驱动器、全息数字数据存储（HDDS）光盘驱动器、外部迷你型双列直插存储器模块（DIMM）、同步动态随机存取存储器（SDRAM）、外部微型DIMM SDRAM、智能卡存储器（诸如订户身份模块或可移动用户身份（SIM/RUIM））模块、其它存储器或其任何组合。存储介质1021可以允许UE 1000访问存储在暂态或非暂态存储器介质上的计算机可执行指令、应用程序等，以卸载数据或上载数据。制品（诸如利用通信系统的制品）可以有形地体现在存储介质1021中，所述存储介质1021可以包括装置可读介质。

在图10中，处理电路1001可以配置成使用通信子系统1031与网络1043b通信。网络1043a和网络1043b可以是相同的一个或多个网络或者不同的一个或多个网络。通信子系统1031可以配置成包括用于与网络1043b通信的一个或多个收发器。例如，通信子系统1031可以配置成包括一个或多个收发器，所述一个或多个收发器用于根据一个或多个通信协议（诸如IEEE 802.11、CDMA、WCDMA、GSM、LTE、UTRAN、WiMax等）与能够进行无线通信的另一装置（诸如另一WD、UE或无线电接入网络（RAN）的基站）的一个或多个远程收发器进行通信。每个收发器可以包括传送器1033和/或接收器1035以分别实现适合于RAN链路的传送器或接收器功能性（例如，频率分配等）。此外，每个收发器的传送器1033和接收器1035可以共享电路组件、软件或固件，或备选地可以单独地被实现。

在图示的实施例中，通信子系统1031的通信功能可以包括数据通信、语音通信、多媒体通信、短程通信（诸如蓝牙、近场通信）、基于位置的通信（诸如使用全球定位系统（GPS）来确定位置）、另一类似的通信功能或其任何组合。例如，通信子系统1031可以包括蜂窝通信、Wi-Fi通信、蓝牙通信和GPS通信。网络1043b可以包含有线和/或无线网络，诸如局域网（LAN）、广域网（WAN）、计算机网络、无线网络、电信网络、另一类似的网络或其任何组合。例如，网络1043b可以是蜂窝网络、Wi-Fi网络和/或近场网络。电源1013可以配置成向UE 1000的组件提供交流（AC）或直流（DC）电力。

本文中描述的特征、益处和/或功能可以在UE 1000的组件之一中被实现，或者跨UE 1000的多个组件来被划分。此外，本文中描述的特征、益处和/或功能可以在硬件、软件或固件的任何组合中被实现。在一个示例中，通信子系统1031可以配置成包括本文中描述的组件中的任何组件。此外，处理电路1001可以配置成通过总线1002与这样的组件中的任何组件通信。在另一示例中，这样的组件中的任何组件可以由存储器中存储的程序指令表示，所述程序指令在被处理电路1001执行时执行本文中描述的对应功能。在另一示例中，这样的组件中的任何组件的功能性可以在处理电路1001与通信子系统1031之间被划分。在另一示例中，这样的组件中的任何组件的非计算密集型功能可以在软件或固件中被实现并且计算密集型功能可以在硬件中被实现。

图11：根据一些实施例的虚拟化环境

图11是图示虚拟化环境1100的示意框图，在该虚拟化环境1100中由一些实施例实现的功能可以被虚拟化。在本上下文中，虚拟化意指创建设备或装置的虚拟版本，其可以包括虚拟化硬件平台、存储装置和联网资源。如本文中使用的，虚拟化可应用于节点（例如，虚拟化的基站或虚拟化的无线电接入节点）或应用于装置（例如，UE、无线装置或任何其它类型的通信装置）或其组件，并且涉及其中功能性的至少一部分被实现为一个或多个虚拟组件（例如，经由在一个或多个网络中的一个或多个物理处理节点上执行的一个或多个应用、组件、功能、虚拟机或容器）的实现。

在一些实施例中，本文中描述的功能中的一些或全部可以被实现为由硬件节点1130中的一个或多个硬件节点所托管的一个或多个虚拟环境1100中实现的一个或多个虚拟机执行的虚拟组件。此外，在其中虚拟节点不是无线电接入节点或不要求无线电连接性（例如，核心网络节点）的实施例中，则网络节点可以被完全虚拟化。

功能可以由一个或多个应用1120（其可以备选地被称为软件实例、虚拟设备、网络功能、虚拟节点、虚拟网络功能等）实现，所述一个或多个应用1120操作以实现本文中公开的实施例中的一些实施例的特征、功能和/或益处中的一些特征、功能和/或益处。应用1120在虚拟化环境1100中运行，该虚拟化环境1100提供包括处理电路1160和存储器1190的硬件1130。存储器1190包含由处理电路1160可执行的指令1195，由此应用1120操作以提供本文中公开的特征、益处和/或功能中的一个或多个。

虚拟化环境1100包括通用或专用网络硬件装置1130，该通用或专用网络硬件装置1130包括一组一个或多个处理器或处理电路1160，其可以是商用现货（COTS）处理器、专门的专用集成电路（ASIC）或任何其它类型的处理电路，包括数字或模拟硬件组件或专用处理器。每个硬件装置可以包括存储器1190-1，其可以是用于暂时存储由处理电路1160执行的指令1195或软件的非永久性存储器。每个硬件装置可以包括一个或多个网络接口控制器（NIC）1170（也称为网络接口卡），其包括物理网络接口1180。每个硬件装置还可以包括其中存储有由处理电路1160可执行的软件1195和/或指令的非暂态、永久性机器可读存储介质1190-2。软件1195可以包括任何类型的软件，包括用于实例化一个或多个虚拟化层1150（也称为管理程序（hypervisor））的软件、用以执行虚拟机1140的软件以及允许它执行关于本文中描述的一些实施例来描述的功能、特征和/或益处的软件。

虚拟机1140包括虚拟处理、虚拟存储器、虚拟联网或接口以及虚拟存储装置，并且可以由对应的虚拟化层1150或管理程序运行。虚拟设备1120的实例的不同实施例可以在虚拟机1140中的一个或多个上被实现，并且可以以不同方式进行实现。

在操作期间，处理电路1160执行软件1195来实例化管理程序或虚拟化层1150，其有时可以被称为虚拟机监视器（VMM）。虚拟化层1150可以向虚拟机1140呈现看起来像联网硬件的虚拟操作平台。

如在图11中示出的，硬件1130可以是具有通用或特定组件的独立网络节点。硬件1130可以包括天线11225并且可以经由虚拟化实现一些功能。备选地，硬件1130可以是更大硬件集群（例如，诸如在数据中心或客户驻地设备（CPE）中）的一部分，其中许多硬件节点一起工作并且经由管理和编排（MANO）11100来被管理，该管理和编排（MANO）11100除其它外还监督应用1120的寿命周期管理。

硬件的虚拟化在一些上下文中被称为网络功能虚拟化（NFV）。NFV可以用于将许多网络设备类型整合到行业标准高容量服务器硬件、物理交换机和物理存储装置（其可位于数据中心和客户驻地设备中）上。

在NFV的上下文中，虚拟机1140可以是物理机的软件实现，其运行程序就好像它们在物理的、非虚拟机上执行一样。虚拟机1140中的每个以及执行该虚拟机的硬件1130的该部分（无论它是专用于该虚拟机的硬件和/或由该虚拟机与其它虚拟机1140共享的硬件）形成单独的虚拟网络元件（VNE）。

仍然在NFV的上下文中，虚拟网络功能（VNF）负责处理在硬件联网基础设施1130的顶部上的一个或多个虚拟机1140中运行的特定网络功能并且对应于图11中的应用1120。

在一些实施例中，一个或多个无线电单元11200（其各自包括一个或多个传送器11220和一个或多个接收器11210）可以耦合到一个或多个天线11225。无线电单元11200可以经由一个或多个合适的网络接口直接与硬件节点1130通信并且可以与虚拟组件结合使用来提供具有无线电能力的虚拟节点，诸如无线电接入节点或基站。

在一些实施例中，可借助于控制系统11230实现一些信令，该控制系统11230可以备选地用于硬件节点1130与无线电单元11200之间的通信。

图12：根据一些实施例的经由中间网络而被连接到主机计算机的电信网络。

参考图12，根据实施例，通信系统包括电信网络1210，诸如3GPP型蜂窝网络，该电信网络1210包括接入网络1211（诸如无线电接入网络）和核心网络1214。接入网络1211包括各自定义对应的覆盖区域1213a、1213b、1213c的多个基站1212a、1212b、1212c，诸如NB、eNB、gNB或其它类型的无线接入点。每个基站1212a、1212b、1212c通过有线或无线连接1215可连接到核心网络1214。位于覆盖区域1213c中的第一UE 1291配置成无线连接到对应基站1212c或被对应基站1212c寻呼。覆盖区域1213a中的第二UE 1292可无线连接到对应的基站1212a。尽管在该示例中图示多个UE 1291、1292，但所公开的实施例同样能适用于其中唯一UE在覆盖区域中或其中唯一UE连接到对应基站1212的情形。

电信网络1210自身连接到主机计算机1230，该主机计算机1230可以体现在独立服务器、云实现的服务器、分布式服务器的硬件和/或软件中或体现为服务器场中的处理资源。主机计算机1230可以在服务提供商的所有权或控制下，或可以被服务提供商操作或代表服务提供商被操作。电信网络1210与主机计算机1230之间的连接1221和1222可以直接从核心网络1214扩展到主机计算机1230或可以经由可选的中间网络1220。中间网络1220可以是公共、私有或托管网络之一或者公共、私有或托管网络中的多于一个的组合；中间网络1220（如有的话）可以是骨干网络或因特网；特别地，中间网络1220可以包括两个或更多个子网络（未示出）。

图12的通信系统作为整体实现连接的UE 1291、1292与主机计算机1230之间的连接性。连接性可以描述为过顶（OTT）连接1250。主机计算机1230和连接的UE 1291、1292配置成经由OTT连接1250使用接入网络1211、核心网络1214、任何中间网络1220以及可能的另外的基础设施（未示出）作为中介来传递数据和/或信令。OTT连接1250在OTT连接1250所经过的参与通信装置不知道上行链路和下行链路通信的路由的意义上可以是透明的。例如，可以不或不需要通知基站1212关于传入下行链路通信的过去路由，所述传入下行链路通信具有源于主机计算机1230的要转发（例如，移交）到连接的UE 1291的数据。相似地，基站1212不需要知道源于UE 1291朝向主机计算机1230的传出上行链路通信的未来路由。

图13：根据一些实施例的通过部分无线连接经由基站与用户设备通信的主机计算机

根据实施例，现在将参考图13描述在前面的段落中论述的UE、基站和主机计算机的示例实现。在通信系统1300中，主机计算机1310包括硬件1315，该硬件1315包括通信接口1316，该通信接口1316配置成设置和维持与通信系统1300的不同通信装置的接口的有线或无线连接。主机计算机1310进一步包括处理电路1318，该处理电路1318可以具有存储和/或处理能力。特别地，处理电路1318可以包括适于执行指令的一个或多个可编程处理器、专用集成电路、现场可编程门阵列或这些的组合（未示出）。主机计算机1310进一步包括软件1311，该软件1311存储在主机计算机1310中或可由主机计算机1310访问并且可由处理电路1318执行。软件1311包括主机应用1312。主机应用1312可以可操作以向远程用户（诸如UE1330）提供服务，该UE 1330经由端接在UE 1330和主机计算机1310处的OTT连接1350而进行连接。在向远程用户提供服务时，主机应用1312可以提供使用OTT连接1350来传送的用户数据。

通信系统1300还包括基站1320，该基站1320被提供在电信系统中并且包括使得其能够与主机计算机1310和UE 1330通信的硬件1325。硬件1325可以包括用于设置和维持与通信系统1300的不同通信装置的接口的有线或无线连接的通信接口1326，以及用于设置和维持与位于由基站1320服务的覆盖区域（在图13中未示出）中的UE 1330的至少无线连接1370的无线电接口1327。通信接口1326可以配置成促进到主机计算机1310的连接1360。连接1360可以是直接的或它可以经过电信系统的核心网络（在图13中未示出）和/或经过电信系统外部的一个或多个中间网络。在示出的实施例中，基站1320的硬件1325还包括处理电路1328，其可以包括适于执行指令的一个或多个可编程处理器、专用集成电路、现场可编程门阵列或这些的组合（未示出）。基站1320进一步具有内部存储的或经由外部连接可访问的软件1321。

通信系统1300还包括已经提到的UE 1330。它的硬件1335可以包括无线电接口1337，该无线电接口1337配置成设置和维持与服务于UE 1330当前位于的覆盖区域的基站的无线连接1370。UE 1330的硬件1335还包括处理电路1338，其可以包括适于执行指令的一个或多个可编程处理器、专用集成电路、现场可编程门阵列或这些的组合（未示出）。UE1330进一步包括软件1331，该软件1331被存储在UE 1330中或可由UE 1330访问并且可由处理电路1338执行。软件1331包括客户端应用1332。客户端应用1332可以可操作以在主机计算机1310的支持下经由UE 1330向人类或非人类用户提供服务。在主机计算机1310中，执行的主机应用1312可以经由端接在UE 1330和主机计算机1310处的OTT连接1350而与执行的客户端应用1332通信。在向用户提供服务时，客户端应用1332可以从主机应用1312接收请求数据并且响应于该请求数据来提供用户数据。OTT连接1350可以传输请求数据和用户数据两者。客户端应用1332可以与用户交互来生成它提供的用户数据。

注意图13中图示的主机计算机1310、基站1320和UE 1330可以分别与图12的主机计算机1230、基站1212a、1212b、1212c中的一个以及UE 1291、1292中的一个相似或相同。也就是说，这些实体的内部工作可以如在图13中示出的那样，并且独立地，周围网络拓扑可以是图12的周围网络拓扑。

在图13中，已经抽象绘制了OTT连接1350来图示主机计算机1310与UE 1330之间经由基站1320的通信，而没有明确提到任何中间装置和消息经由这些装置的精确路由。网络基础设施可以确定路由，它可以配置成对UE 1330或对操作主机计算机1310的服务提供商或对两者隐藏所述路由。尽管OTT连接1350是活动的，但网络基础设施可以进一步做出决定，由此它动态地改变路由（例如，在网络的重新配置或负载平衡考虑的基础上）。

UE 1330与基站1320之间的无线连接1370根据在该公开通篇中描述的实施例的教导。各种实施例中的一个或多个实施例提高使用OTT连接1350来提供给UE 1330的OTT服务的性能，在所述OTT连接1350中无线连接1370形成最后的段。更精确地，这些实施例的教导可以改进网络运营商测量与顾客的SLA的能力，并由此提供诸如更好的顾客满意度和网络资源的更高效使用之类的益处，因为运营商可以基于部分网络性能数据和一个或多个机器学习函数来估计端到端网络性能。

可以提供测量过程以用于监测一个或多个实施例改进的数据速率、时延和其它因素的目的。可以进一步存在用于响应于测量结果的变化而重新配置主机计算机1310与UE1330之间的OTT连接1350的可选网络功能性。用于重新配置OTT连接1350的测量过程和/或网络功能性可以在主机计算机1310的软件1311和硬件1315中或在UE 1330的软件1331和硬件1335或两者中实现。在实施例中，可以在OTT连接1350经过的通信装置中或与OTT连接1350经过的通信装置相关联地部署传感器（未示出）；传感器可以通过供应上文例示的监测量的值或供应软件1311、1331可以根据其计算或估计监测量的其它物理量的值来参与测量过程。OTT连接1350的重新配置可以包括消息格式、重传设定、优选的路由等；重新配置不需要影响基站1320，并且它可能对于基站1320是未知的或觉察不到的。这样的过程和功能性可以是本领域中已知的和经实践的。在某些实施例中，测量可以涉及促进主机计算机1310的吞吐量、传播时间、时延等的测量的专用UE信令。可以实现测量是因为软件1311和1331在其监测传播时间、误差等时促使使用OTT连接1350来传送消息，特别是空的或“虚设（dummy）”消息。

图14：根据一些实施例的在包括主机计算机、基站和用户设备的通信系统中实现的方法。

图14是图示根据一个实施例的通信系统中实现的方法的流程图。通信系统包括主机计算机、基站和UE，它们可以是参考图12和图13描述的那些。为了简化本公开，在此节中将只包括对图14的附图参考。在步骤1410中，主机计算机提供用户数据。在步骤1410的子步骤1411（其可以是可选的）中，主机计算机通过执行主机应用来提供用户数据。在步骤1419中，主机计算机发起到UE的携带用户数据的传输。在步骤1430（其可以是可选的）中，根据本公开通篇描述的实施例的教导，基站向UE传送在主机计算机发起的传输中携带的用户数据。在步骤1440（其也可以是可选的）中，UE执行与由主机计算机执行的主机应用相关联的客户端应用。

图15：根据一些实施例的在包括主机计算机、基站和用户设备的通信系统中实现的方法。

图15是图示根据一个实施例的通信系统中实现的方法的流程图。通信系统包括主机计算机、基站和UE，它们可以是参考图12和图13描述的那些。为了简化本公开，在此节中将只包括对图15的附图参考。在方法的步骤1510中，主机计算机提供用户数据。在可选子步骤（未示出）中，主机计算机通过执行主机应用来提供用户数据。在步骤1520中，主机计算机发起到UE的携带用户数据的传输。根据本公开通篇描述的实施例的教导，传输可以经由基站来传递。在步骤1530（其可以是可选的）中，UE接收在传输中携带的用户数据。

图16：根据一些实施例的在包括主机计算机、基站和用户设备的通信系统中实现的方法。

图16是图示根据一个实施例的通信系统中实现的方法的流程图。通信系统包括主机计算机、基站和UE，它们可以是参考图12和图13描述的那些。为了简化本公开，在此节中将只包括对图16的附图参考。在步骤1610（其可以是可选的）中，UE接收由主机计算机提供的输入数据。另外或备选地，在步骤1620中，UE提供用户数据。在步骤1620的子步骤1621（其可以是可选的）中，UE通过执行客户端应用来提供用户数据。在步骤1610的子步骤1611（其可以是可选的）中，UE执行客户端应用，该客户端应用提供用户数据作为对由主机计算机提供的所接收输入数据的反应。在提供用户数据时，所执行的客户端应用可以进一步考虑从用户接收的用户输入。不管提供用户数据所采用的特定方式如何，UE在子步骤1630（其可以是可选的）中发起用户数据到主机计算机的传输。在方法的步骤1640中，根据本公开通篇描述的实施例的教导，主机计算机接收从UE传送的用户数据。

图17：根据一些实施例的在包括主机计算机、基站和用户设备的通信系统中实现的方法。

图17是图示根据一个实施例的通信系统中实现的方法的流程图。通信系统包括主机计算机、基站和UE，它们可以是参考图12和图13描述的那些。为了简化本公开，在此节中将只包括对图17的附图参考。在步骤1710（其可以是可选的）中，根据本公开通篇描述的实施例的教导，基站从UE接收用户数据。在步骤1720（其可以是可选的）中，基站发起所接收的数据到主机计算机的传输。在步骤1730（其可以是可选的）中，主机计算机接收在由基站发起的传输中携带的用户数据。

术语单元可具有电子设备、电气装置和/或电子装置领域中的常规含义并且可包括例如电气和/或电子电路，装置，模块，处理器，存储器，逻辑固态和/或分立装置，用于执行相应任务、过程、计算、输出和/或显示功能的计算机程序或指令等，诸如本文中所描述的那些。

实施例

A组实施例

1. 一种在网络装置中实现的用于估计端到端网络性能的方法，其中所述端到端网络性能测量从终端装置到应用/服务的路径的端到端性能指示符，其中所述终端装置被耦合到核心网络，其中所述核心网络测量所述路径的部分的网络性能，所述方法包括：

测量所述路径的所述部分的所述网络性能以获得第一时段中的部分网络性能测量；

获得所述第一时段中的所述路径的端到端测量，其中所述端到端测量是所述端到端性能指示符的值；

使用所述部分网络性能测量来确定机器学习函数的参数集合以近似所述端到端测量；以及

在所述第一时段之后的第二时段中使用部分网络性能测量来估计所述端到端性能指示符的一个或多个值。

2. 如实施例1所述的方法，其中，所述端到端性能指示符是分组端到端延迟、端到端网络响应时间、或所述分组端到端延迟和/或端到端网络响应时间的服务质量测量。

3. 如实施例1所述的方法，其中，所述部分网络性能测量是一种或多种类型的以下项：部分上行链路/下行链路往返程时间（RTT）、部分上行链路/下行链路时延、用于拉或推分组的部分HTTP响应时间、以及部分服务响应时间。

4. 如实施例1所述的方法，其中，在不同网络条件下测量所述部分网络性能测量。

5. 如实施例1所述的方法，其中，所述第一时段中的所述部分网络性能测量包括所述路径的上行链路中的一种类型的部分网络性能测量以及所述路径的下行链路中的另一不同类型的部分网络性能测量。

6. 如实施例1所述的方法，进一步包括：

将所估计的值与所述第二时段中的端到端测量进行比较；以及

基于所述比较来更新所述机器学习函数的所述参数集合。

B组实施例

7. 一种用于估计端到端网络性能的网络装置，其中所述端到端网络性能测量从终端装置到应用/服务的路径的端到端性能指示符，其中所述终端装置被耦合到核心网络，其中所述核心网络测量所述路径的部分的网络性能，所述网络装置包括：

处理电路，所述处理电路被配置成执行A组实施例中任一项的步骤中的任一项；以及

电源电路，所述电源电路被配置成向所述网络装置供电。

8. 一种包括主机计算机的通信系统，包括：

处理电路，所述处理电路被配置成提供用户数据；以及

通信接口，所述通信接口被配置成将所述用户数据转发到蜂窝网络以用于传输到用户设备（UE），

其中，所述蜂窝网络包括具有无线电接口和处理电路的基站，所述基站的处理电路被配置成执行A组实施例中任一项的步骤中的任一项。

9. 根据前一实施例所述的通信系统还包括所述基站。

10. 根据前2个实施例所述的通信系统，还包括所述UE，其中所述UE被配置成与所述基站通信。

11. 根据前3个实施例所述的通信系统，其中：

所述主机计算机的所述处理电路被配置成执行主机应用，从而提供所述用户数据；以及

所述UE包括处理电路，所述处理电路被配置成执行与所述主机应用相关联的客户端应用。

12. 一种在包括主机计算机、基站和用户设备（UE）的通信系统中实现的方法，所述方法包括：

在所述主机计算机处，提供用户数据；以及

在所述主机计算机处，发起经由包括所述基站的蜂窝网络的、到所述UE的携带所述用户数据的传输，其中，所述基站执行A组实施例中任一项的步骤中的任一项。

13. 根据前一实施例所述的方法，还包括在所述基站处传送所述用户数据。

14. 根据前2个实施例所述的方法，其中，通过执行主机应用而在所述主机计算机处提供所述用户数据，所述方法还包括在所述UE处执行与所述主机应用相关联的客户端应用。

15. 根据前一实施例所述的通信系统，其中，所述蜂窝网络还包括被配置成与所述UE进行通信的基站。

16. 根据前2个实施例所述的通信系统，其中：

所述主机计算机的所述处理电路被配置成执行主机应用，从而提供所述用户数据；以及

所述UE的处理电路被配置成执行与所述主机应用相关联的客户端应用。

17. 根据前2个实施例所述的通信系统，还包括所述基站，其中，所述基站包括被配置成与所述UE通信的无线电接口和被配置成将由从所述UE到所述基站的传输所携带的所述用户数据转发到所述主机计算机的通信接口。

18. 根据前3个实施例所述的通信系统，其中：

所述主机计算机的所述处理电路被配置成执行主机应用；以及

所述UE的处理电路被配置成执行与所述主机应用相关联的客户端应用，从而提供所述用户数据。

19. 根据前4个实施例所述的通信系统，其中：

所述主机计算机的所述处理电路被配置成执行主机应用，从而提供请求数据；以及

所述UE的处理电路被配置成执行与所述主机应用相关联的客户端应用，从而响应于所述请求数据而提供所述用户数据。

20. 一种在包括主机计算机、基站和用户设备（UE）的通信系统中实现的方法，所述方法包括：

在所述主机计算机处，接收从所述UE传送到所述基站的用户数据，其中，所述UE执行A组实施例中任一项的步骤中的任一项。

21. 根据前一实施例所述的方法，还包括在所述UE处向所述基站提供所述用户数据。

22. 根据前2个实施例所述的方法，还包括：

在所述UE处，执行客户端应用，从而提供要传送的所述用户数据；以及

在所述主机计算机处，执行与所述客户端应用相关联的主机应用。

23. 根据前3个实施例所述的方法，还包括：

在所述UE处，执行客户端应用；以及

在所述UE处，接收对所述客户端应用的输入数据，所述输入数据通过执行与所述客户端应用相关联的主机应用而在所述主机计算机处提供，

其中，要传送的所述用户数据由所述客户端应用响应于所述输入数据而提供。

24. 一种通信系统，包括主机计算机，所述主机计算机包括通信接口，所述通信接口被配置成接收源自从用户设备（UE）到基站的传输的用户数据，其中，所述基站包括无线电接口和处理电路，所述基站的处理电路被配置成执行A组实施例中任一项的步骤中的任一项。

25. 根据前一实施例所述的通信系统还包括所述基站。

26. 根据前2个实施例所述的通信系统，还包括所述UE，其中所述UE被配置成与所述基站进行通信。

27. 根据前3个实施例所述的通信系统，其中：

所述主机计算机的所述处理电路被配置成执行主机应用；

所述UE被配置成执行与所述主机应用相关联的客户端应用，从而提供要由所述主机计算机接收的所述用户数据。

28. 一种在包括主机计算机、基站和用户设备（UE）的通信系统中实现的方法，所述方法包括：

在所述主机计算机处，从所述基站接收源自所述基站已从所述UE接收到的传输的用户数据，其中，所述UE执行A组实施例中任一项的步骤中的任一项。

29. 根据前一实施例所述的方法，还包括在所述基站处从所述UE接收所述用户数据。

30. 根据前2个实施例所述的方法，还包括在所述基站处，发起所接收的用户数据到所述主机计算机的传输。

权利要求书(按照条约第19条的修改)

1.一种在网络装置中实现的用于估计终端装置和应用服务器之间通过核心网络的路径的网络性能的方法，所述方法包括：

测量（702）所述核心网络内的所述路径的部分的网络性能以获得第一时段中的所述路径的所述部分的一个或多个部分网络性能测量；

获得（704）所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；

使用所述部分网络性能测量来确定（706）机器学习函数的系数集合以近似所述一个或多个端到端测量；以及

在所述第一时段之后的第二时段中通过将所述第二时段中的部分网络性能测量应用于所述机器学习函数来估计（708）所述端到端性能指示符的一个或多个值。

2.如权利要求1所述的方法，其中，所述端到端性能指示符是以下项中的一项或多项：分组端到端延迟、端到端网络响应时间、所述分组端到端延迟以及端到端网络响应时间的服务质量测量。

3.如权利要求1或2所述的方法，其中，所述部分网络性能测量是一种或多种类型的以下项：部分上行链路/下行链路往返程时间（RTT）、部分上行链路/下行链路时延、用于拉或推分组的部分超文本传输协议（HTTP）响应时间、以及部分服务响应时间。

4.如权利要求1或2所述的方法，其中，在不同网络条件下测量所述部分网络性能测量。

5.如权利要求1或2所述的方法，其中，所述第一时段中的所述部分网络性能测量包括所述路径的上行链路中的一种类型的部分网络性能测量以及所述路径的下行链路中的另一不同类型的部分网络性能测量。

6.如权利要求1或2所述的方法，其中，所述部分网络性能测量和端到端测量针对所述第一时段中的相同网络条件。

7.如权利要求1或2所述的方法，其中，所述部分网络性能测量针对所述终端装置和应用服务器之间的双向路径，并且其中所述端到端性能指示符的所估计的值针对所述终端装置和应用服务器之间的单向路径。

8.如权利要求1或2所述的方法，其中，所述部分网络性能测量和端到端测量在无连接网络协议的第一请求分组和最后响应分组之间。

9.如权利要求1或2所述的方法，其中，所述部分网络性能测量和端到端测量在面向连接的网络协议的第一请求分组和最后确认分组之间。

10. 如权利要求1或2所述的方法，进一步包括：

将所估计的值与所述第二时段中的端到端测量进行比较（710）；以及

基于所述比较来更新（712）所述机器学习函数的所述系数集合。

11.一种电子装置（802），包括：

处理器（842）和存储指令的非暂态机器可读存储介质（849），所述指令在由所述处理器执行时能够使所述电子装置执行：

测量（702）核心网络内的路径的部分的网络性能以获得第一时段中的所述路径的所述部分的一个或多个部分网络性能测量，其中所述路径通过所述核心网络在终端装置和应用服务器之间；

获得（704）所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；

使用所述部分网络性能测量来确定（706）机器学习函数的系数集合以近似所述一个或多个端到端测量；以及

通过将所述第一时段之后的第二时段中的部分网络性能测量应用于所述机器学习函数来估计（708）所述端到端性能指示符的一个或多个值。

12.如权利要求11所述的电子装置，其中，所述端到端性能指示符是以下项中的一项或多项：分组端到端延迟、端到端网络响应时间、所述分组端到端延迟以及端到端网络响应时间的服务质量测量。

13.如权利要求11或12所述的电子装置，其中，所述部分网络性能测量是一种或多种类型的以下项：部分上行链路/下行链路往返程时间（RTT）、部分上行链路/下行链路时延、用于拉或推分组的部分超文本传输协议（HTTP）响应时间、以及部分服务响应时间。

14.如权利要求11或12所述的电子装置，其中，在不同网络条件下测量所述部分网络性能测量。

15.如权利要求11或12所述的电子装置，其中，所述第一时段中的所述部分网络性能测量包括所述路径的上行链路中的一种类型的部分网络性能测量以及所述路径的下行链路中的另一不同类型的部分网络性能测量。

16.一种提供指令的非暂态计算机可读存储介质（849），所述指令在由电子装置（802）的处理器（842）执行时使所述电子装置（802）执行：

测量（702）核心网络内的路径的部分的网络性能以获得第一时段中的所述路径的所述部分的一个或多个部分网络性能测量，其中所述路径通过所述核心网络在终端装置和应用服务器之间；

获得（704）所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；

使用所述部分网络性能测量来确定（706）机器学习函数的系数集合以近似所述一个或多个端到端测量；以及

通过将所述第一时段之后的第二时段中的部分网络性能测量应用于所述机器学习函数来估计（708）所述端到端性能指示符的一个或多个值。

17.如权利要求16所述的非暂态计算机可读存储介质，其中，所述部分网络性能测量针对所述终端装置和应用服务器之间的双向路径，并且其中所述端到端性能指示符的所估计的值针对所述终端装置和应用服务器之间的单向路径。

18.如权利要求16或17所述的非暂态计算机可读存储介质，其中，所述部分网络性能测量和端到端测量在无连接网络协议的第一请求分组和最后响应分组之间。

19.如权利要求16或17所述的非暂态计算机可读存储介质，其中，所述部分网络性能测量和端到端测量在面向连接的网络协议的第一请求分组和最后确认分组之间。

20. 如权利要求16或17所述的非暂态计算机可读存储介质，其中，所述电子装置能够使得执行：

将所估计的值与所述第二时段中的端到端测量进行比较（710）；以及

基于所述比较来更新（712）所述机器学习函数的所述系数集合。

Claims (20)

1.一种在网络装置中实现的用于估计终端装置和应用服务器之间通过核心网络的路径的网络性能的方法，所述方法包括：

测量（702）所述核心网络内的所述路径的部分的网络性能以获得第一时段中的一个或多个部分网络性能测量；

获得（704）所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；

使用所述部分网络性能测量来确定（706）机器学习函数的系数集合以近似所述端到端测量；以及

在所述第一时段之后的第二时段中使用所述第二时段中的部分网络性能测量和所述机器学习函数来估计（708）所述端到端性能指示符的一个或多个值。

2.如权利要求1所述的方法，其中，所述端到端性能指示符是以下项中的一项或多项：分组端到端延迟、端到端网络响应时间、所述分组端到端延迟以及端到端网络响应时间的服务质量测量。

3.如权利要求1或2所述的方法，其中，所述部分网络性能测量是一种或多种类型的以下项：部分上行链路/下行链路往返程时间（RTT）、部分上行链路/下行链路时延、用于拉或推分组的部分超文本传输协议（HTTP）响应时间、以及部分服务响应时间。

4.如权利要求1或2所述的方法，其中，在不同网络条件下测量所述部分网络性能测量。

5.如权利要求1或2所述的方法，其中，所述第一时段中的所述部分网络性能测量包括所述路径的上行链路中的一种类型的部分网络性能测量以及所述路径的下行链路中的另一不同类型的部分网络性能测量。

6.如权利要求1或2所述的方法，其中，所述部分网络性能测量和端到端测量针对所述第一时段中的相同网络条件。

7.如权利要求1或2所述的方法，其中，所述部分网络性能测量针对所述终端装置和应用服务器之间的双向路径，并且其中所述端到端性能指示符的所估计的值针对所述终端装置和应用服务器之间的单向路径。

8.如权利要求1或2所述的方法，其中，所述部分网络性能测量和端到端测量在无连接网络协议的第一请求分组和最后响应分组之间。

9.如权利要求1或2所述的方法，其中，所述部分网络性能测量和端到端测量在面向连接的网络协议的第一请求分组和最后确认分组之间。

10. 如权利要求1或2所述的方法，进一步包括：

将所估计的值与所述第二时段中的端到端测量进行比较（710）；以及

基于所述比较来更新（712）所述机器学习函数的所述系数集合。

11.一种电子装置（802），包括：

处理器（842）和存储指令的非暂态机器可读存储介质（849），所述指令在由所述处理器执行时能够使所述电子装置执行：

测量（702）核心网络内的路径的部分的网络性能以获得第一时段中的一个或多个部分网络性能测量，其中所述路径通过所述核心网络在终端装置和应用服务器之间；

获得（704）所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；

使用所述部分网络性能测量来确定（706）机器学习函数的系数集合以近似所述端到端测量；以及

在所述第一时段之后的第二时段中使用部分网络性能测量和所述机器学习函数来估计（708）所述端到端性能指示符的一个或多个值。

12.如权利要求11所述的电子装置，其中，所述端到端性能指示符是以下项中的一项或多项：分组端到端延迟、端到端网络响应时间、所述分组端到端延迟以及端到端网络响应时间的服务质量测量。

13.如权利要求11或12所述的电子装置，其中，所述部分网络性能测量是一种或多种类型的以下项：部分上行链路/下行链路往返程时间（RTT）、部分上行链路/下行链路时延、用于拉或推分组的部分超文本传输协议（HTTP）响应时间、以及部分服务响应时间。

14.如权利要求11或12所述的电子装置，其中，在不同网络条件下测量所述部分网络性能测量。

15.如权利要求11或12所述的电子装置，其中，所述第一时段中的所述部分网络性能测量包括所述路径的上行链路中的一种类型的部分网络性能测量以及所述路径的下行链路中的另一不同类型的部分网络性能测量。

16.一种提供指令的非暂态计算机可读存储介质（849），所述指令在由电子装置（802）的处理器（842）执行时使所述电子装置（802）执行：

测量（702）核心网络内的路径的部分的网络性能以获得第一时段中的一个或多个部分网络性能测量，其中所述路径通过所述核心网络在终端装置和应用服务器之间；

获得（704）所述第一时段中的所述路径的一个或多个端到端测量，其中所述端到端测量是端到端性能指示符的值；

使用所述部分网络性能测量来确定（706）机器学习函数的系数集合以近似所述端到端测量；以及

在所述第一时段之后的第二时段中使用部分网络性能测量和所述机器学习函数来估计（708）所述端到端性能指示符的一个或多个值。

17.如权利要求16所述的非暂态计算机可读存储介质，其中，所述部分网络性能测量针对所述终端装置和应用服务器之间的双向路径，并且其中所述端到端性能指示符的所估计的值针对所述终端装置和应用服务器之间的单向路径。

18.如权利要求16或17所述的非暂态计算机可读存储介质，其中，所述部分网络性能测量和端到端测量在无连接网络协议的第一请求分组和最后响应分组之间。

19.如权利要求16或17所述的非暂态计算机可读存储介质，其中，所述部分网络性能测量和端到端测量在面向连接的网络协议的第一请求分组和最后确认分组之间。

20. 如权利要求16或17所述的非暂态计算机可读存储介质，其中，所述电子装置能够使得执行：

将所估计的值与所述第二时段中的端到端测量进行比较（710）；以及

基于所述比较来更新（712）所述机器学习函数的所述系数集合。

Images