CN108702302A - 计算服务性能指标 - Google Patents

Abstract

提供了一种计算性能指标的方法，该性能指标指示连接到所述网络的多个移动终端之一处的服务的性能，该方法包括以下步骤：接收一组基础设施性能指标，每个基础设施性能指标的针对网络的一部分确定否，该网络的一部分向连接到网络的所述移动终端中的一个或多个传送数据；接收一组本地性能指标，每个本地性能指标的在连接到网络的多个移动终端的子集中的一个移动终端处本地确定的；确定该组基础设施性能指标和该组本地性能指标之间的相关性；以及使用所述相关性和所述一组基础设施性能指标中的一个或多个基础设施性能指标来计算指示一个或多个移动终端处的服务的性能的所述性能指标。

Description

计算服务性能指标

技术领域

本发明涉及计算性能指标的方法，所述性能指标指示在连接到所述网络的多个移动终端之一处的服务的性能。本发明还涉及计算这种性能指标的系统，以及被配置为确定本地性能指标的移动终端。更具体地，本发明涉及在确定与由相应的移动终端处的用户感知的体验质量(QoE)有关信息的上下文中对服务性能指标进行相关。本发明还涉及相应的计算机程序和计算机程序产品。

背景技术

确定网络和相关实体(例如电信网络、互联网链路和提供商)或通常经由网络提供的服务的性能对于利用网络提供给定目标质量会是重要的，因为网络和其他地方内的问题和议题可以迅速得到认可和解决。例如，指示所谓的体验质量(QoE)的服务性能指标可以向网络运营商传达关于服务的性能是否令人满意的有用信息。

在此背景下，通常特别注意在给定移动终端的站点上的服务的性能，因为它通常是服务(例如，浏览网页、观看视频、收听流等)的“消费”点。已知有若干性能指标能够在多个移动终端之一处指示服务的性能。这种性能指标的一个示例被称为体验质量QoE、体验质量度量或体验质量值，其通常是对用户关于服务的体验的测量。当然，这种体验取决于服务的性能，因此，如果例如服务性能不足，则用户会经历延迟和丢包。

体验通常是主观测量，并且可能因用户而异。然而，QoE包括针对特定服务的若干客观测量，即语音的可听性、可用性、视频损伤等。QoE度量的具体示例是平均意见得分MOS，其从用户的角度提供所感知的服务质量的数字指示。在语音电话服务内对语音进行编码和传输后，这种MOS可以表示接收到的语音的语音质量。因此，总有一种客观的方法来自动确定和评估这些体验值。因此，借助于采用特定软件配置的特定用户设备(移动终端)，可以针对给定网络获得性能指标(例如QoE度量)。

在此上下文中，应当注意，根据定义，直接来自用户的反馈是主观的，并且可能在用户之间大不相同。此外，这种用户反馈并不总是可行的，因为它取决于用户的协作意愿，并且由此，这样的数据源变得不可靠。因此，已经考虑使用其他方法来获得性能指标，例如在自动的、机器实现的且因此可靠的基础上针对给定服务的QoE度量。

传统方法基于从配对的比较情况中对质量进行测量。这提供了一种质量估计，所述质量估计例如基于对源语音信号与通过网络接收到的语音信号的比较。从两个信号确定差异，然后可以对这两个信号进行时间平均并将其映射到诸如MOS的质量估计上。

结果，传统的性能监控包括针对互联网电视(Over The Top)OTT网络服务(例如，视频服务、web服务等)采用的QoE度量。这种监控由当今大多数网络运营商执行，以便确定实际提供的网络质量是否符合承诺的质量或目标质量。过去，相关的监控解决方案基于执行数据业务的协议解析的网络探测(例如，深度分组检测DPI)。这些解析器的维护既困难又昂贵，因为OTT可以随时更改协议和内容交付机制，而无需事先通知。此外，由于通常不可能根据网络业务重构所有终端状态，度量是不准确的。此外，随着越来越多的服务使用加密，该方法几乎不能用于OTT。

然而，同时，也可以在移动终端的站点本地准确地测量服务性能指标。然而，已知方法取决于特定服务并且根据服务而变化。非常大量的应用和服务提供商使移动终端处的通用性能指标测量变得非常困难。此外，这种解决方案在很大程度上取决于广大用户将相应的探测或监控软件安装在其终端上的意愿。

尽管有许多不同的解决方案可用于测量移动终端处的服务性能、网络质量或体验质量，但仍需要改进的测量技术和概念来确定服务性能指标，同时尽可能准确并尽可能独立于用户的意愿。

换言之，一个目的可以是提供一服务性能监控解决方案，所述服务性能监控解决方案：1)可以应用于网络中的所有用户；2)是适用于大多数OTT服务提供商的通用解决方案，即使他们的业务是加密的；3)提供服务性能指标的可靠估计。

发明内容

上述传统方法的问题和缺点通过独立权利要求的主旨来解决。在从属权利要求中描述其他优选的实施例。

根据本发明的一个方面，提供了一种计算性能指标的方法，所述性能指标指示连接到所述网络的多个移动终端之一处的服务的性能，所述方法包括以下步骤：在网络实体中接收一组基础设施性能指标，每个基础设施性能指标是针对网络的一部分确定的，所述网络的一部分向连接到网络的所述移动终端中的一个或多个传送数据；在网络实体中接收一组本地性能指标，每个本地性能指标是在连接到网络的多个移动终端的子集中的一个移动终端处本地确定的；确定该组基础设施性能指标和该组本地性能指标之间的相关性；以及使用所述相关性和所述一组基础设施性能指标中的一个或多个基础设施性能指标来计算指示一个或多个移动终端处的服务的性能的所述性能指标。

根据本发明的另一方面，提供了一种提供有本地性能指标确定单元的移动终端，所述本地性能指标确定单元用于确定针对连接到网络的移动终端的本地性能指标，包括：获取单元，被配置为获取显示在所述移动终端的子集中的一个移动终端上的屏幕截图数据；处理单元，被配置为对所获取的屏幕截图数据进行处理，以确定指示所述一个移动终端处的服务的性能的屏幕显示元素的存在；以及分析单元，被配置为使用所述屏幕显示元素来确定该组本地性能指标中的至少一个本地性能指标。

根据本发明的另一方面，提供了一种用于计算指示连接到所述网络的多个移动终端之一处的服务的性能的性能指标的网络实体，所述网络实体包括：第一接收模块，被配置为接收一组基础设施性能指标，每个基础设施性能指标是针对网络的一部分确定的，所述网络的一部分向连接到网络的所述移动终端中的一个或多个传送数据；第二接收模块，被配置为接收一组本地性能指标，每个本地性能指标是在连接到网络的多个移动终端的子集中的一个移动终端处本地确定的；相关模块，被配置为确定该组基础设施性能指标与该组本地性能指标之间的相关性，以及计算模块，被配置为使用所述相关性和所述一组基础设施性能指标中的一个或多个基础设施性能指标来计算指示一个或多个移动终端处的服务的性能的所述性能指标。

根据本发明的另一方面，提供了一种包括代码的计算机程序，所述代码在处理资源上执行时指示处理资源执行本发明的方法实施例。

根据本发明的又一方面，提供了一种存储代码的计算机程序产品，所述代码在处理资源上执行时指示处理资源执行本发明的方法实施例。

附图说明

现在将参考附图描述本发明的实施例，所述实施例提供用于更好理解本发明的概念，而不是被看作限制本发明，在附图中：

图1示出了根据本发明的实施例的计算性能指标的示例性网络环境的示意图；

图2示出了用于计算服务性能指标的本发明的一般实体实施例；

图3示出了本发明的一般方法实施例的流程图。

图4示出了根据本发明的另一实施例的用于计算性能指标的系统的示意图；

图5示出了根据本发明的另一实施例的对一组本地性能指标之一进行确定的示意图；

图6A示出了根据本发明的另一实施例的提供有本地性能指标确定单元的移动终端的示例性实施例；以及

图6B示出了根据本发明的又一实施例的显示在移动终端上的示例性显示元素。

具体实施方式

图1示出了根据本发明的实施例的计算性能指标的示例性网络环境的示意图。网络100(例如移动通信网络)包括多个网元101-106，例如网络节点、路由器、网关、交换机、交换中心、基站、无线或有线链路等。通常，网络100的目的是向多个移动终端10、11提供网络服务，其中通常的服务包括电话、视频电话、聊天、互联网浏览、电子邮件访问等。为此，网元101-103将经由基站105、106向多个移动终端10、11发送数据和从多个移动终端10、11接收数据。基站105、106可以经由通常的无线电链路连接到各个移动终端10a、10b，用于向移动终端10a、10b发送数据和从移动终端10a、10b接收数据。网络100还可以具有到某种网络实体110(例如服务器或数据中心中的资源)的连接。

为了允许在连接到网络100的多个移动终端10a、10b之一处计算指示服务(例如，视频服务、web服务等)的性能的性能指标，本实施例提供被配置为使得可以确定一组基础设施性能指标IPI和一组本地性能指标LPI的网络环境，如在下面更详细地解释。

通常，在本发明的一个实施例中，多个移动终端10a、10b、......、11a、......可以以通常的方式连接到不同的网元和基站。在网络中的某点或某些点处，确定所谓的基础设施性能指标IPI(例如，节点101处的浅分组检测，使得例如将通过这种浅分组检测或通过任何其他合适的其他分组检测技术获得该组基础设施性能指标中的一个作为低层传输层度量)。例如，如果一组移动终端经由这种网元之一接收数据，则相应的基础设施性能指标与移动终端处实际感知的本地性能指标之间的相关性可能很强。

在本发明的一个实施例中，该组基础设施性能指标可以包括数据业务度量中的一个或多个，例如传输层度量和较低层度量，例如，传输控制协议TCP度量、快速用户数据报协议(UDP)Internet连接(QUIC)度量。可以在诸如节点、基站、交换中心、网关，路由器等的网元处确定该组基础设施性能指标之一。可以在相同的网元101或其他网元102......处同样地确定其他基础设施性能指标。

在本发明的本实施例中，网络环境被配置为确定并接收所谓的一组本地性能指标LPI，其中，例如，可以在所选择的移动终端11a和11b上本地确定各个本地性能指标LPI。在某种程度上，这些移动终端代表由网络服务的多个移动终端的子集11。在一个实施例中，可以向移动终端11的该子集11；11a、11b提供本地性能指标确定单元，例如应用(“app”)，其被配置为在相应的移动终端处本地确定用于建立相应的一组本地性能指标的本地性能指标LPI。该应用可以实现为由网络运营商、设备制造商或另一方分发的应用或操作系统模块。

例如，在本发明的一个实施例中，与多个移动终端10的总数相比，提供有对本地性能指标LPI进行确定的能力的移动终端的子集11可以相对较小。换言之，只有多个移动终端10的百分之几可以具有确定一个或多个本地性能指标LPI的能力。然而，自然地，要注意的是，越多的移动终端具有对本地性能指标LPI进行确定的能力，则该组本地性能指标与该组基础设施性能指标之间的相关性越好，并且因此，网络的性能指标将越好且越准确。然而，应该清楚，本公开不建议为所有或大多数移动终端提供这种本地探测，因为这将意味着用户和移动终端所有者在广泛的基础上的合作。然而，本公开实施例的一个目的正是最小化对本地性能指标的依赖性。

因此，本公开的实施例提出移动终端的子集11包括多个移动终端11；11a、11b，其足以建立或确定给定的一组基础设施性能指标IPI与一组本地性能指标LPI之间的相关性。该组本地性能指标LPI之一可以例如是指示在给定移动终端11；11a、11b处的用户的体验质量QoE的度量。

在本发明的一个实施例中，所计算的性能指标是针对移动终端10；10a、10b、10c计算的，实际在移动终端本地确定的本地性能指标针对这些移动终端是不可用的。也就是说，计算指示在移动终端的子集中的另一个处服务的性能的用户感知的性能指标。

以这种方式，本发明的实施例允许获得针对未配备任何专用探测、测量或指标确定功能的特定移动终端的服务性能指标(例如，QoE度量)。结果，本发明的实施例允许获得针对任意移动终端的服务性能指标，而仅向移动终端的子集提供探测功能(确定单元)。基本上，无论指标是在移动终端处实际测量得到还是根据本发明的实施例计算得到，性能指标中的分析和评估可能没有差异。

接收到的和获得的指标的实际处理可以在特定位置实现，例如在专用服务器或数据中心的相应处理资源实现。通常，在本公开的上下文中，这些处理和存储器资源被称为所谓的网络实体。在网络环境中，因此可以由网络实体110来计算服务性能指标，网络实体110可以具有到网络100的直接连接，并且在下面更详细地解释。

图2示出了这种网络实体110的示意图。具体地，实体被配置为执行根据本发明的一个或多个实施例的性能指标的计算。实体110通常包括处理装置130、存储器装置120和通信装置140。如已经提到的，实体可以通过通信装置140连接到网络100，并且可以实现为例如由数据中心或任何合适的网元提供的服务器、计算机或处理资源。同样地，实体110可以位于网络100的外部或内部，其中，在后一种情况下，可以向任何网络节点或元件提供相应的功能。

通常，所提到的处理装置130可以是处理单元、处理单元集合、CPU、数据/处理中心的共享等。处理装置130能够执行对一组基础设施性能指标和一组本地性能指标之间的相关性的确定，以及使用该相关性和一个或多个基础设施性能指标来计算指示在一个或多个移动终端处的服务的性能的性能指标。这里，应当注意，一般而言，实施例设想在计算服务性能指标之前确定相关性，这反过来意味着用于确定相关性的基础设施性能指标可以不同于用于计算服务性能指标的基础设施性能指标。同样地，与用于计算服务性能指标的基础设施性能指标相比，因此，可以在时间上更早地确定并接收用于确定相关性的基础设施性能指标。

存储器装置120可以具体地存储在操作期间指示处理装置130实现本发明的任何方法实施例的代码。具体地，存储器装置120可以存储在操作期间指示处理装置130接收一组基础设施性能指标的代码，每个基础设施性能指标是针对网络的一部分确定的，该网络的一部分向连接到网络的所述移动终端中的一个或多个传送数据；接收一组本地性能指标，每个本地性能指标是在连接到网络的多个移动终端的子集中的一个移动终端处本地确定的；确定该组基础设施性能指标和该组本地性能指标之间的相关性；以及使用所述相关性和所述一组基础设施性能指标中的一个或多个基础设施性能指标来计算指示一个或多个移动终端处的服务的性能的所述性能指标。

例如，在本发明的一个实施例中，通信装置140可以连接到网络100。通过通信装置140，实体110可以接收该组基础设施性能指标IPI和该组本地性能指标LPI。然而，可以有多于一个的通信装置分别接收该组基础设施性能指标和该组本地性能指标，例如，可以提供几个和/或单独的端口用于在通信装置处接收该组基础设施性能指标和该组本地性能指标。

此外，在本发明的一个实施例中，通信装置140可以连接到网络100之外的若干实体，以接收该组基础设施性能指标和/或该组本地性能指标。例如，可以有存储该组基础设施性能指标的数据收集中心，并且可以有用于存储该组本地性能指标的单独的第二数据中心，该第二数据中心可以通过通信装置140连接到实体110。通常，实体110因此可以被提供有用于执行根据本发明实施例的方法的装置。

图3示出了本发明的一般方法实施例的计算性能指标的方法的流程图。在步骤S110中，该实施例涉及接收一组基础设施性能指标，其中，可以针对网络的一部分来确定每个基础设施性能指标，该网络的一部分将数据传送到连接到网络的移动终端中的一个或多个。向移动终端中的至少一个传送数据的网络的一部分可以例如是单个网元、几个网元(例如，覆盖某些区域的网元)、或所有网元(即，整个网络100)。这样，可以对网络的某些区域进行探测，以确定特定于网络100的该区域的性能指标。

在步骤S120中(在步骤S110之前、之后或与步骤S110同时)，接收一组本地性能指标，其中，可以在连接到网络的多个移动终端的子集中的一个移动终端处本地确定每个性能指标。在本发明的一个实施例中，多个移动终端的子集包括移动终端，每个移动终端提供有对一组本地性能指标进行确定的装置，例如，本地性能指标确定单元。本地性能指标确定单元可以是软件程序，例如，运行在移动终端上的应用。在本发明的一个实施例中，该组本地性能指标至少包括由体验质量QoE的值或度量表示的本地性能指标。

在本发明的另一实施例中，当可以获取屏幕截图数据时，确定该组本地性能指标中的至少一个本地性能指标可以由显示在移动终端上的应用进行确定。这可以具体地涉及替换和/或补充步骤S120的可选步骤S121至S123，如下面更详细描述的。因此，可以在移动终端本地确定本地性能指标。在本发明的一个实施例中，可以针对特定用户会话来确定该组基础设施性能指标。

该方法还可以包括确定步骤S130，确定该组基础设施性能指标与一组本地性能指标之间的相关性。可以假设在该组基础设施性能指标中的至少一个与该组本地性能指标中的至少一个之间通常存在良好的相关性。然而，如果相关性可能不足以导出针对性能指标的精确度量(例如，精确的QoE度量)，例如，在网页下载时间或视频初始缓冲时，可以假设相关性可以适合于基于具有高可靠性的基础设施性能指标来确定好的或坏的本地性能指标，即区分好的和坏的QoE值。该组基础设施性能指标与该组本地性能指标之间的相关性可以存储在相应的存储装置上以供后续处理。

该方法还可以包括计算步骤S140，计算指示一个或多个移动终端处的服务的性能的性能指标。可以在计算步骤S140中使用相关性以及该组基础设施性能指标中的一个或多个。可以通过适合的处理装置从用于存储相关性的存储装置中请求相关性。

在本发明的一个实施例中，该方法还可以包括用于确定该组本地性能指标之一的可选步骤。该方法然后可以包括获取在所述移动终端的子集11的一个移动终端上显示的屏幕截图数据的步骤S121。也就是说，移动终端可以显示表示用户的实际使用的屏幕截图数据。这种使用可以例如是加载视频、请求网站等。可以通过拍摄屏幕截图或快照(即，在移动终端上显示的屏幕截图数据的屏幕(即，移动终端的显示器)上显示的内容的图像)来获取屏幕截图数据。屏幕截图数据可以临时存储在适合的存储装置上以供进一步处理。

该方法还可以包括处理步骤S122，该处理步骤对所获取的屏幕截图数据进行处理，以确定指示在所述移动终端处的服务的性能的屏幕显示元素的存在。为了处理屏幕截图数据，可以通过适合的处理装置请求屏幕截图数据，如下所述。在处理步骤S122中，可以确定所获取的屏幕截图数据中屏幕显示元素的存在。可以由诸如运行在移动终端的屏幕的前台中的视频流应用或网页浏览器之类的应用来确定这种屏幕显示元素，使得屏幕截图将包含与应用相关的屏幕截图数据。可以随时间跟踪屏幕显示元素，以足够地指示服务的性能。也就是说，屏幕显示元素可以随时间快速改变，以指示例如网络的高数据业务速度。

该方法还可以包括确定步骤S123，使用屏幕显示元素来确定该组本地性能指标中的至少一个本地性能指标。也就是说，可以使用诸如旋转符、进度条等的屏幕显示元素来确定一个本地性能指标(例如，体验质量的值或度量)。

为了确定该组基础设施性能指标与该组本地性能指标之间的相关性，可以使用不同的模型来测量来自配对比较情况的质量。这种模型通常可以使用算法来建立相关性。可以例如通过单步调试(step through)与被建模的基础设施性能指标之一相对应的数据阵列并观察该数据阵列中的变化，为该组基础设施性能指标中的每一个和该组本地性能指标中的每一个生成这样的模型。在这种数据阵列中，可以对该组基础设施性能指标之一的时间变化以及该组本地性能指标之一中的变化一起进行监控。该数据阵列可以存储在相应的存储装置上。

在本发明的另一实施例中，可以根据该组基础设施性能指标与该组本地性能指标之间的相关性生成相关性图或相关性数据或相关性数据阵列，并且可以在学习机中输入相关性图，以连续地或以预定的时间间隔或根据请求更新和/或维护和/或验证相关性图。

在本发明的又一实施例中，可以通过从多个移动终端的子集中计算针对至少一个基础设施性能指标的至少一个本地性能指标并将所计算的本地性能指标与接收到的多个移动终端的子集的本地性能指标进行比较，来验证相关性图的准确性。

本地性能指标可以是延迟度量，指示当访问给定服务时移动终端经历的延迟。

图4示出了根据本发明的另一实施例的用于计算性能指标的系统的示意图。具体地，示出了根据本发明的一个实施例的对一组基础设施性能指标和一组本地性能指标之间的相关性进行更新和/或维护和/或验证。在本实施例中，子集11的移动终端(即移动终端或移动设备)可以被提供有本地性能指标确定单元，即终端代理app或终端代理应用。终端代理app可以向相关器(即相关单元)提供该组本地性能指标(即QoE度量)，以将QoE度量与诸如传输层和较低层度量的一组基础设施性能指标中的至少一个相关联。通过网络探测提供传输层和较低层度量。调度器将从探测中接收到的传输层和较低层度量分为至少两个组，并将一组转发到相关器，将另一组转发到学习机或监督学习机。

在本实施例中，相关器可以将接收到的相关QoE度量和传输层和较低层度量分开以验证和训练为例如相关数据。相关数据可以存储在相应的验证数据中心和训练数据中心中。

训练数据中心可以向学习机提供相关的基础设施性能指标和本地性能指标。然后，学习机计算针对从调度器接收的传输层和较低层度量以及从训练数据中心接收的相关性的性能指标。可以将性能指标(即QoE估计)转发到验证单元，以验证学习机正确地计算了QoE估计。

如果基础设施性能指标和从验证数据中心接收到的传输层和较低层度量度量及从学习机接收到的本地性能指标之间存在任何差异，则可以将相应的反馈给予相关器，以调整该组基础设施性能指标与一组本地性能指标之间的相关性。

换言之，可以由调度器根据用户是否安装了终端代理应用来对来自探测的传输层数据进行路由。对于安装了终端代理应用的用户，来自探测的传输层度量将被路由到相关器单元并与QoE度量相关联。

换言之，通过将来自报告终端代理应用的QoE值与来自网络探测的传输层度量组合，可以构建和维护针对传输层度量的模型，并且可以获得进一步的QoE估计映射。该方法的优点可以如下。可以仅在整个移动终端10a、10b的百分之几中安装QoE值报告终端代理应用。这样，可以连续地获得大量最新且准确的训练数据，这会是学习机的重要先决条件，尤其是当数据模式可能从一天改变到另一天而没有任何通知时。

在一个实施例中，该组基础设施性能指标的基础设施性能指标是无线电接入网络RAN度量，其指示针对数据业务的RAN级别性能。

在一个实施例中，包括该组基础设施性能指标和一组本地性能指标之间的相关性的相关数据可以仅用作来自子集的一部分的训练数据，例如，安装了QoE报告代理以能够连续监控QoE估算的准确性的用户的50％。来自用户的剩余终端代理应用的数据，例如另外50％可以同时在两个单独的路径上路由，即相关数据被馈送到验证单元并且探测数据被馈送到监督学习单元，并且导出的QoE估计被路由到验证单元以进行比较。然后可以将QoE估计转发到网络的操作支持系统或业务支持系统，以进行进一步的分析和动作，例如识别网络问题或提供用户支持。

图5示出了根据本发明的另一实施例的对一组本地性能指标之一进行确定的示意图。在本实施例中，移动终端(例如，图1的11a)被提供有运行在移动终端上的一个或多个应用的操作系统应用程序接口API。可以获取显示在移动终端上的屏幕截图数据，即，可以执行屏幕捕获。可以将所获取的屏幕截图数据转发到多个图像处理单元，以确定屏幕显示元素的存在。可以将屏幕显示元素上的信息转发到规则引擎，以基于QoE规则来确定该组本地性能指标中的一个，例如基于移动终端的前台中的给定应用来确定QoE估计。换言之，诸如终端代理应用的“屏幕到QoE”应用可以安装在已经选择提供QoE报告(例如，所确定的一组本地性能指标之一)的用户的移动设备上。

在本发明的又一实施例中，处理所获取的用于确定屏幕显示元素的存在的屏幕截图数据可以是识别显示元素中的图案的图案识别方法，并且其中该组本地性能指标中的至少一个本地性能指标表示图案变化。图案变化可以是后续屏幕截图之间的像素差异。

在一个实施例中，当可以获取屏幕截图数据时，可以通过描述屏幕的屏幕相关信息和屏幕的操作来确定该组本地性能指标中的至少一个本地性能指标。

换句话说，“屏幕到QoE”应用可以具有使用移动设备上的标准操作系统API的两个数据收集模块：第一个是获取单元，其被配置为获取在移动终端的所述子集中的一个移动终端上显示的屏幕截图数据，或者换言之，获取原始屏幕内容的周期性快照的屏幕捕获模块；第二个是屏幕相关信息获取单元，或者换言之，屏幕上下文信息收集模块，其获取诸如屏幕上下文信息的屏幕相关信息，例如屏幕开/关事件、方向改变和应用在给定时间点处于前台。

在本发明的另一实施例中，屏幕相关信息可以是屏幕开/关事件、屏幕方向改变或关于应用在给定时间点处于终端的前台的信息中的至少一个。

在本发明的另一实施例中，并行确定该组基础设施性能指标中的一个或多个。

也就是说，诸如屏幕截图数据的原始屏幕内容可以由专注于通用用户界面构建块(例如，进度或失速指示符)的不同图像处理模块并行地分析。可以将来自图像处理模块和屏幕上下文信息收集模块的输出馈送到规则引擎模块。预定义的QoE规则可以针对运行在移动终端上的每个应用指定当该应用处于前台时如何将图像处理模块输出映射到QoE报告。例如，包括经确定的性能指标或QoE估计的QoE报告可以例如经由移动网络发送到例如移动网络的网络管理系统。

在另一实施例中，可以由不同的图像处理模块并行地分析周期性获得的原始屏幕内容，不同的图像处理模块包括但不限于在原始屏幕内容中寻找加载指示符图案的加载指示符搜索模块、用于识别触发新内容的加载的用户交互的超链接选择搜索、空白屏幕检测器、错误信息检测器、屏幕变化率检测器、视频分辨率检测器。

随后，可以将来自多个图像处理模块和屏幕上下文信息收集模块的输出馈送到规则引擎模块。预定义的QoE规则可以针对每个应用指定当该应用处于前台时如何将图像处理模块输出映射到QoE报告。QoE报告的内容取决于前台应用的功能，例如：针对视频应用的视频分辨率估计以及播放和失速时段；和针对Web应用的页面加载时间。

屏幕上下文数据可以向图像处理模块和规则引擎模块提供重要的控制信息，例如，如下所述：当屏幕关闭时，可以关闭所有图像处理模块以节省CPU和电池资源。当屏幕方向改变时，图像处理模块可能需要知道这是可能需要从图像变化分析中跳过的临时转换时段。

此外，规则引擎可能需要知道在方向改变之后在屏幕的不同部分处预期一些屏幕图案。知道哪个应用处于前台可以是规则引擎模块根据各个图像处理模块的输出构建QoE度量的重要信息，例如，针对视频应用，可以根据屏幕变化率检测器和加载指示符模块的输出导出视频冻结长度估计。相反，针对浏览器，可以组合来自例如超链接选择搜索、空白屏幕检测器和屏幕变化率检测器模块的输出以估计页面呈现时间。

QoE报告可以经由网络100发送到移动网络的网络管理系统，并且可以用于许多不同的用例，包括但不限于业务优先级、客户关怀支持、网络优化、网络故障排除。

对于移动资源使用，当关闭设备的屏幕时，可以完全关闭图像处理模块。这意味着空闲时根本没有资源使用。屏幕捕获本身不会消耗额外的资源，因为它是使用共享存储器实现的。一些图像处理算法可能消耗更多资源，然而，这可以通过像素采样来减少。

对于隐私，原始屏幕内容可能包括敏感信息。然而，信息可能仅在本地处理，并且可能永远不会离开设备。也就是说，可以仅向网络管理系统发送精简的QoE报告，包含用于前台应用的用户ID、时间戳和QoE度量。此外，可以以选择加入的方式安装和使用屏幕到QoE应用，其中用户主动决定允许这种数据处理。

在本发明的又一实施例中，其中屏幕截图数据可以被发送到网络客户端，该网络客户端至少处理所获取的屏幕截图数据并确定本地性能指标。

在本发明的另一实施例中，可以连续地或以预定间隔执行屏幕截图数据的获取。

图6A示出了根据本发明一个实施例的提供有本地性能指标确定单元的移动终端11’的示例性实施例。可以在移动终端111’中提供本地性能指标确定单元，该移动终端111’通常包括显示器111、处理装置、存储器装置和通信装置。

显示器111可以显示包括屏幕截图数据的内容。可以由运行在终端10b的显示器111的前台中的应用来确定内容。处理装置可以是处理单元、CPU等。处理装置因此可以实现获取单元111-1，用于获取屏幕截图数据并进一步处理屏幕截图数据以确定屏幕显示元素的存在。在处理装置对所获取的屏幕截图数据进行处理之前，屏幕截图数据可以存储在存储器装置上。此外，可以存储经确定的屏幕显示元素的存在。处理装置还可以实现处理单元111-2，用于处理所获取的屏幕截图数据，以确定指示在所述一个移动终端处的服务的性能的屏幕显示元素的存在。处理装置还可以实现确定单元111-3，用于使用经存储的屏幕显示来确定该组本地性能指标的至少一个本地性能指标。

图6B示出了根据本发明一个实施例的显示在移动终端上的示例性显示元素。图6B中所示的图像可以是显示在图6A中所示的终端11’的显示器111上的内容。在移动终端11’的使用和操作期间，各种屏幕显示元素通常显示在显示器111上，而仅一些元素适合用于指示移动终端处的服务的本地性能。通常，显示元素20a-20f可以是通常用于在移动终端11′的显示器111上显示内容的用户界面构建块。这些包括但不限于：进度条20a，即，进展条，指示操作的进展，例如下载、文件传输或安装；旋转轮20b，即，等待光标或活动指示器或任何其他图形控制元素，指示程序在后台执行动作，例如下载内容、进行密集计算或与外部设备进行通信；以及内容相关元素，例如图像构建20c、用户输入请求20d、或显示的文本或超链接20e、20f。

如前所述，由于诸如加密、客户端设置和网络未知的行为等多种原因，网络业务分析可能无法准确衡量服务性能或体验质量。它可以仅在移动设备上准确地测量。然而，大量的应用和OTT服务提供商使得通用QoE测量在移动设备上非常具有挑战性。然而，本实施例利用以下事实：针对移动服务的体验质量可能几乎总是从屏幕上对用户可见，并且最近启动的移动操作系统暴露API以访问该原始屏幕内容。例如，处理单元111-2可以确定旋转符20b在所捕获的显示内容中存在一段时间，并且因此可以确定非常具体的本地性能指标(即，长旋转、低性能)。进度条20a的分析甚至可以提供关于实际过程的更详细的信息。此外，文本、图形和视频元素20f、20e、20d、20c的出现和/或变化可用于确定足够好的本地性能指标。应该清楚的是，所提出的实施例独立于解析和加密，因为它采用用户体验到的相同数据内容，即视觉和/或声音体验。对于后者，在移动终端处还可以存在探测装置，用于感测终端上的音频回放的开始和/或行为，当然，所述音频回放的开始和/或行为通常不会被显示器111上的显示元素所反映。

在原始屏幕内容上定义少量图像处理原语，从中可以高精度地创建QoE估计，以代替与许多OTT服务提供商合作并将监控解决方案集成到更多的应用中。这些图像处理原语可以是与应用无关的构建块。为了计算给定应用的QoE关键性能指标KPI，要定义的唯一应用特定部分可以是描述如何将图像处理原语输出映射到给定应用的QoE度量的一组规则。

本发明还可以为没有安装性能指标确定单元的移动终端传递性能指标。本发明还能够动态地适应内容传递机制和协议的最终变化。本发明还会能够在后台自动评估性能指标，并且不需要任何用户交互。因此，性能指标不受到用户主观性的偏见。本发明还会能够为移动终端上的性能指标监控提供通用解决方法，该移动终端例如是独立于运行在移动设备上的操作系统的移动设备，其中诸如原始屏幕内容的屏幕截图数据可以经由API向应用公开。本发明可以应用于移动设备上的任何用户活动，而不管涉及哪些应用、OTT和协议。由于本发明专注于屏幕显示元素(例如在不同应用中共同的通用用户界面构建块)，与应用或OTT特定方法相比，本发明还能够容易维护。为了支持新应用或新版本的应用，只需要添加或更新相关性。

根据本发明的另一实施例，提供了一种确定单元或一种用于确定本地性能指标的方法，包括：获取显示在移动终端的一个移动终端上的屏幕截图数据；对所述所获取的屏幕截图数据进行处理，以确定指示所述一个移动终端处的服务的性能的屏幕显示元素的存在；以及使用所述屏幕显示元素来确定该组本地性能指标中的至少一个本地性能指标。

根据本发明的另一实施例，提供了一种本地性能指标确定单元，用于确定针对连接到网络的移动终端的本地性能指标，包括：获取单元，被配置为获取显示在所述移动终端的子集中的一个移动终端上的屏幕截图数据；处理单元，被配置为对所获取的屏幕截图数据进行处理，以确定指示所述一个移动终端处的服务的性能的屏幕显示元素的存在；以及分析单元，被配置为使用所述屏幕显示元素来确定该组本地性能指标中的至少一个本地性能指标。

根据本发明的另一实施例，提供了一种提供有本地性能指标确定单元的移动终端，所述本地性能指标确定单元用于确定针对连接到网络的移动终端的本地性能指标，包括：获取单元，被配置为获取显示在所述移动终端的子集中的一个移动终端上的屏幕截图数据；处理单元，被配置为对所获取的屏幕截图数据进行处理，以确定指示所述一个移动终端处的服务的性能的屏幕显示元素的存在；以及分析单元，被配置为使用所述屏幕显示元素来确定该组本地性能指标中的至少一个本地性能指标。

尽管已经描述了详细实施例，但是它们仅用于提供对由独立权利要求所定义的本发明的更好理解，而不应视为限制性的。

Claims (21)

1.一种计算性能指标的方法，所述性能指标指示连接到网络(100)的多个移动终端(10；10a、10b、10c)之一处的服务的性能，所述方法包括以下步骤：

-在网络实体(110)中接收(S110)一组基础设施性能指标，每个基础设施性能指标是针对网络(100)的一部分确定的，所述网络(100)的一部分向连接到网络(100)的所述移动终端(10；10a、10b、10c；11：11a、11b)中的一个或多个传送数据；

-在网络实体(110)中接收(S120)一组本地性能指标，每个本地性能指标是在连接到网络(100)的多个移动终端(11：11a、11b)的子集中的一个移动终端处本地确定的；

-确定(S130)所述一组基础设施性能指标与所述一组本地性能指标之间的相关性；以及

-使用所述相关性和所述一组基础设施性能指标中的一个或多个基础设施性能指标来计算(S140)指示一个或多个移动终端(10；10a、10b、10c)处的服务的性能的所述性能指标。

2.根据权利要求1所述的方法，还包括确定所述本地性能指标之一的步骤，所述步骤包括以下步骤：

-获取(S121)显示在所述移动终端的子集中的一个移动终端(11：11a、11b)上的屏幕截图数据；

-处理(S122)所获取的屏幕截图数据，以确定指示所述一个移动终端处的服务的性能的屏幕显示元素(20a、20b、20c、20d、20e、20f)的存在；

-使用所述屏幕显示元素(20a、20b、20c、20d、20e、20f)来确定(S123)所述一组本地性能指标中的至少一个本地性能指标。

3.根据权利要求1或2所述的方法，其中，所计算的性能指标是针对在移动终端本地确定的本地性能指标不可用的移动终端(10；10a、10b、10c)计算的。

4.根据权利要求1-3中任一项所述的方法，其中，针对特定用户会话确定所述一组基础设施性能指标。

5.根据权利要求1-4中任一项所述的方法，其中，并行确定所述一组基础设施性能指标中的一个或多个。

6.根据权利要求1-5中任一项所述的方法，其中，所述一组基础设施性能指标中的至少一个基础设施性能指标是指示针对数据业务的传输层性能的传输层度量值。

7.根据权利要求1-6中任一项所述的方法，其中，所述一组基础设施性能指标中的至少一个基础设施性能指标是指示针对数据业务的无线电接入网RAN级别性能的RAN度量。

8.根据权利要求1-7中任一项所述的方法，其中，所述一组本地性能指标中的至少一个本地性能指标是指示移动终端处的性能的体验质量QoE值。

9.根据权利要求1-8中任一项所述的方法，其中，所述一组本地性能指标中的至少一个本地性能指标是延迟度量，用于指示当移动终端(11；11a、11b)访问给定服务时遭遇的延迟。

10.根据权利要求1-9中任一项所述的方法，其中，确定所述一组本地性能指标中的至少一个本地性能指标是经由所获取的屏幕截图数据，针对显示在移动终端上的应用来确定的。

11.根据权利要求1-10中任一项所述的方法，其中，确定所述一组本地性能指标中的至少一个本地性能指标受描述屏幕(111)的操作的屏幕相关信息的影响。

12.根据权利要求1-11中任一项所述的方法，其中，屏幕相关信息是屏幕开/关事件、屏幕朝向改变或与在给定时间点处于终端的前台的应用有关的信息中的至少一个。

13.根据权利要求1-12中任一项所述的方法，其中，处理所获取的屏幕截图数据以确定屏幕显示元素(20a、20b、20c、20d、20、20f)的存在是识别显示元素中的图案或一个或多个图案变化的图案识别方法。

14.根据权利要求13所述的方法，其中，图案变化是后续屏幕截图之间的像素差异。

15.根据权利要求2-14中任一项所述的方法，其中：

连续地或以预定间隔执行对屏幕截图数据的获取和处理。

16.根据权利要求1-15中任一项所述的方法，其中，显示元素是用户界面构建块。

17.根据权利要求1-16中任一项所述的方法，其中，通过从多个移动终端的子集中计算针对至少一个基础设施性能指标的至少一个性能指标并将所计算的性能指标与接收到的多个移动终端的子集的本地性能指标进行比较，来对确定所述一组基础设施性能指标和所述一组本地性能指标之间的相关性的准确性进行验证。

18.一种连接到网络的移动终端(11；11a、11b)，包括：

-获取单元(111-1)，被配置为获取显示在所述移动终端的子集中的一个移动终端上的屏幕截图数据；

-处理单元(111-2)，被配置为对所获取的屏幕截图数据进行处理，以确定指示所述移动终端处的服务的性能的屏幕显示元素的存在；以及

-分析单元(111-3)，被配置为使用所述屏幕显示元素来确定至少一个本地性能指标。

19.一种用于计算指示连接到网络(100)的多个移动终端(10；10a、10b、10c)之一处的服务的性能的性能指标的网络实体(110)，所述网络实体(110)包括：

-第一接收模块，被配置为接收一组基础设施性能指标，每个基础设施性能指标是针对网络(100)的一部分确定的，所述网络(100)的一部分向连接到网络的所述移动终端中的一个或多个传送数据，

-第二接收模块，被配置为接收一组本地性能指标，每个本地性能指标是在连接到网络(100)的多个移动终端的子集中的一个移动终端(11；11a、11b)处本地确定的，

-相关模块，被配置为确定所述一组基础设施性能指标与所述一组本地性能指标之间的相关性，以及

-计算模块，被配置为使用所述相关性和所述一组基础设施性能指标中的一个或多个基础设施性能指标来计算指示一个或多个移动终端(10；10a、10b、10c)处的服务的性能的所述性能指标。

20.一种包括代码的计算机程序，其中，所述代码在处理资源上执行时指示所述处理资源执行根据权利要求1-17中任一项所述的方法。

21.一种存储代码的计算机程序产品，其中，所述代码在处理资源上执行时指示所述处理资源执行根据权利要求1-17中任一项所述的方法。