CN108075925B - 基于端到端性能观察与评估来改进通信网络的性能 - Google Patents

基于端到端性能观察与评估来改进通信网络的性能 Download PDF

Info

Publication number
CN108075925B
CN108075925B CN201711091385.7A CN201711091385A CN108075925B CN 108075925 B CN108075925 B CN 108075925B CN 201711091385 A CN201711091385 A CN 201711091385A CN 108075925 B CN108075925 B CN 108075925B
Authority
CN
China
Prior art keywords
key performance
performance indicator
communication network
key
indicators
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711091385.7A
Other languages
English (en)
Other versions
CN108075925A (zh
Inventor
A·里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Solutions Ltd
Original Assignee
Accenture Global Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Solutions Ltd filed Critical Accenture Global Solutions Ltd
Publication of CN108075925A publication Critical patent/CN108075925A/zh
Application granted granted Critical
Publication of CN108075925B publication Critical patent/CN108075925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0886—Fully automatic configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5061—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
    • H04L41/5067—Customer-centric QoS measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephonic Communication Services (AREA)
  • Debugging And Monitoring (AREA)

Abstract

方法、系统和装置，包括在计算机存储介质上被编码的计算机程序，用于观察、评估和改进一个或多个通信网络的性能。接收所生成的针对通信网络的性能指标，接收针对通信网络的外部性能指标，以及响应于确定所生成的性能指标与外部性能指标之间的差异，评估与通信网络相关联的关键性能指示符。性能指标至少部分地基于关键性能指示符集合和对应的阈值来生成。外部性能指标表示通信网络的用户体验。响应于确定给定关键性能指示符的值未能通过与其一个或多个相应阈值进行的阈值比较，自动修改针对通信网络的一个或多个设置。

Description

基于端到端性能观察与评估来改进通信网络的性能
背景技术
通信网络(例如，蜂窝网络)是为通信设备(例如，电话、移动电话、智能电话、平板电脑、膝上型计算机、个人数字助理、车辆计算机设备、游戏设备等)提供有线链路和无线链路的网络。网络可以分布在广泛的地理区域上，由提供被用于传送话音和数据的覆盖的多个节点(例如，用于无线网络的基站)服务。可以连接节点，从而使得通信设备能够与节点以及在网络中的任何地方彼此进行通信。通信网络可以维护与由网络处理的通信相关联的数据(例如，日志数据、指示符、警报等)。
发明内容
本公开的实现方式包括用于评估和改进一个或多个通信网络的性能的计算机实现的方法。在一些实现方式中，动作包括：接收所生成的针对通信网络的性能指标，接收针对通信网络的外部性能指标，以及响应于确定所生成的性能指标与外部性能指标之间的差异，评估与通信网络相关联的一个或多个关键性能指示符。性能指标至少部分地基于关键性能指示符的集合以及对应的阈值来生成。外部性能指标表示通信网络的用户体验。评估一个或多个关键性能指示符包括：对于每个关键性能指示符，接收与关键性能指示符相关联的数据；至少部分地基于所接收的数据，确定关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及将关键性能指示符值与对应的一个或多个阈值进行比较。响应于确定给定关键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，则自动修改通信网络的一个或多个设置。这些方面的其他实现方式包括对应的系统、装置和计算机程序，其被配置成执行被编码在计算机存储设备上的方法的动作。
这些和其他实现方式可以各自可选地包括以下一个或多个特征。通信网络可以是移动通信网络和/或固定通信网络。响应于确定给定键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，可以更新关键性能指示符集合以包括给定关键性能指示符及其一个或多个对应的阈值。与关键性能指示符相关联的数据可以是从通信网络接收的通信事件数据。与关键性能指示符相关联的数据可以包括从通信网络的一个或多个业务支持系统接收的数据。评估中的一个或多个关键性能指示符可以包括至少一个关键性能指示符，其被包括在所生成的针对通信网络的性能指标所基于的关键性能指示符集合中。评估中的一个或多个关键性能指示符可以包括至少一个关键性能指示符，其没有被包括在所生成的针对通信网络的性能指标所基于的关键性能指示符集合中。确定关键性能指示符值可以包括：标识关键性能指示符的多个分量，标识针对多个分量中的每个分量的分量值，以及使用相应的分量值执行计算。评估与通信网络相关联的一个或多个关键性能指示符可以包括：针对两个或多个不同维度中的每个维度过滤所接收到的数据；以及针对两个或多个不同维度的每个给定维度，确定给定维度中的针对关键性能指示符的关键性能指示符值和一个或多个对应的阈值，以及将关键性能指示符值与给定维度中对应的一个或多个阈值进行比较。两个或多个不同的维度可以包括以下各项中的两项或多项：指示由通信网络提供的服务类型的服务维度，指示由通信网络服务的位置的位置维度，指示由通信网络服务的设备类型的设备维度，以及指示由通信网络提供的网络类型的网络维度。可以存储与将每个关键性能指示符值与其一个或多个对应的阈值进行比较相关联的一系列比较结果。响应于两次或多次连续出现的给定关键性能指示符未能通过与其一个或多个对应的阈值进行的阈值比较，可以基于所存储的一系列比较结果来更新关键性能指示符集合以包括给定关键性能指示符及其一个或多个对应的阈值。响应于在预先确定的观察窗口中，以预先确定的百分比出现给定关键指示符指标未能通过与其一个或多个对应的阈值进行的阈值比较，可以基于所存储的一系列比较结果来更新关键性能指示符集合以包括给定关键性能指示符及其一个或多个对应的阈值。
本公开的实现方式提供了以下优点中的一个或多个优点。可以针对多个不同的通信网络维护关键性能指示符、相关联的阈值和相关联的权重的列表，从而便于使用不同准则来评估不同网络。随着网络的性能(即，健康状况)和能力随着时间的推移而改变，以及随着评价网络的标准随着时间的推移而改变，可以评估通信网络的性能。可能的关键性能指示符的子集可以用于生成性能指标，从而节省处理资源并且改善处理时间。可以确定一个或多个维度的极化，其可能有助于标识和排除可能在通信网络中发生的具体类型的问题。通信网络可以手动或自动重新配置，并且可以提高性能。通常不会与差网络性能相关联的网络性能因子可以被发现，并且当评估通信网络的性能时可以被考虑。
本公开还提供了一种耦合至一个或多个处理器并且具有存储在其上的指令的计算机可读存储介质，该指令当被一个或多个处理器执行时，使得一个或多个处理器按照本文中所提供的方法的实现方式来执行操作。
本公开还提供了一种用于实现本文中所提供的方法的系统。该系统包括一个或多个处理器，以及耦合至一个或多个处理器的、具有存储在其上的指令的计算机可读存储介质，该指令当由一个或多个处理器执行时，其使得一个或多个处理器按照本文中所提供的方法的实现方式来执行操作。
应当领会，按照本公开的方法可以包括本文中所描述的方面和特征的任何组合。也就是说，按照本公开的方法不限于本文中特定描述的方面和特征的组合，而且还包括所提供的方面和特征的任何组合。
在附图和下文的描述中阐述了本公开的一个或多个实现方式的细节。本公开的其他特征和优点将根据描述和附图以及权利要求书而变得明显。
附图说明
图1至图5描绘了可以执行本公开的实现方式的示例系统。
图6描绘了可以在本公开的实现方式中执行的示例过程。
具体实施方式
本公开的实现方式通常涉及观察、评估和改进一个或多个通信网络的性能。一般而言，可以观察和评估通信网络的端到端性能，并且可以将所生成的通信网络的性能指标与表示通信网络的用户体验的外部性能指标进行比较。响应于确定所生成的性能指标和外部性能指标之间的差异，可以评估与通信网络相关联的一个或多个关键性能指示符。为了评估每个关键性能指示符，例如，接收与关键性能指示符相关联的数据，确定关键性能指示符的关键性能指示符值和一个或多个对应的阈值，并且将关键性能指示符值与对应的一个或多个阈值进行比较。响应于确定给定关键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，可以动态地更新用于生成性能指标的关键性能指示符集合，以包括给定关键性能指示符和其一个或多个对应的阈值。在一些实现方式中，可以自动修改通信网络设置的设置以解决所标识的网络问题。
图1描绘了可以执行本公开的实现方式的示例系统100。在所描绘的示例中，系统100包括网络系统102(例如，移动通信网络和/或固定通信网络)、网络数据分析系统104以及网络自动化系统106。系统102、104和106中的每个系统例如可以包括一个或多个服务器，包括但不限于web服务器、应用服务器、网络服务器和/或服务器群。在一些示例中，系统102、104和106中的两个或更多个系统可以组合成单个系统。在一些实现方式中，以下示例阶段可以用于分析与通信网络相关联的数据，评估通信网络的性能，以及自动重新配置通信网络以改善网络性能。
在阶段“A”，与网络系统102有关的网络数据110可以被收集和存储(例如，通过大数据系统，或用于收集、维护和提供对大数据集的访问的另一合适系统)。例如，在网络系统102向用户设备(例如，电话、移动电话、智能电话、平板电脑、膝上型计算机、个人数字助理、车辆计算机设备、游戏设备或其他合适设备)提供服务时，与网络的使用和性能有关的通信事件数据可以被收集和存储，诸如与由网络丢弃的连接相关的事件、用户所终止的连接的事件、重拨的事件、呼叫持续时间、数据吞吐量、用户时延有关的数据，以及其他合适数据。在一些实现方式中，与网络的使用和性能有关的通信事件数据可以与设备数据相关联，诸如设备的类型(例如，智能电话的型号)、设备的位置(例如，地理坐标)、正在使用的服务的类型(例如，话音、数据、多媒体消息服务(MMS)、短消息服务(SMS))、正在使用的网络的类型(例如，2G、3G、4G、5G、WiFi等)，以及其他适当的匿名数据。在一些实现方式中，通信事件数据可以包括来自无线电网络控制器(RNC)、基站收发信台(BTS)、移动管理实体(MME)或网络系统102的另一部件的日志数据和计数器。在一些实现方式中，网络数据110可以包括与网络系统102的用户体验有关的调查数据(例如，营销信息、用户行为信息、人口统计信息、计费信息等)。在一些实现方式中，网络数据110可以包括由网络系统102的一个或多个业务系统提供的业务支持系统数据(例如，流失风险指示符、收入变化指示符、新报价指示符、重复动作指示符)。在一些实现方式中，网络数据110可以包括与网络系统102的用户体验有关的客户支持数据(例如，事件报告、故障单)。
在阶段“B”，网络数据分析系统104接收网络数据110的至少一部分。例如，网络数据分析系统104可以使用数据提取器120(例如，基于硬件和/或软件的部件)与网络数据110的源通信(例如，使用网络通信协议、应用编程接口和/或其他合适技术)，并且可以向数据分析器122(例如，基于硬件和/或软件的部件)提供从网络数据110的源接收的数据用于分析。由数据分析器122执行的分析可以包括：将各种网络性能因子(例如，由网络丢弃的连接、由用户终止的连接、重拨、呼叫持续时间、数据吞吐量、用户时延和其他合适因子)与对应的阈值进行比较来标识超出预期范围的一个或多个网络性能因子。如参考图2进一步详细描述的，当外部性能指标得分(例如，基于调查数据和/或其他用户体验数据)较差和/或没有反映预期得分时，可能发生各种网络性能因子的分析。因此，可能发现通常不能与差网络性能相关联的网络性能因子(例如，由用户终止的连接)，并且可以在对移动通信网络和/或固定通信网络的进一步性能评估期间被考虑。
在阶段“C”，网络数据分析系统104可以向网络自动化系统106提供一个或多个网络性能因子与超出预期范围的值相关联的通知。例如，在“D”阶段，在接收到该通知时，例如，网络自动化系统106可以执行用于修改网络系统102的一个或多个动作。例如，网络自动化系统106可以修改网络系统102的一个或多个配置和/或通信设置，可以将一个或多个软件更新部署到网络系统102和/或通过网络进行通信的设备(例如，移动设备)，可以增加和/或减少网络系统102的基站收发信台的传输功率，或执行其他适当的动作。
图2描绘了可以执行本公开的实现方式的示例系统200。在本示例中，系统200包括多个硬件和/或软件部件(例如，模块、对象、服务)，其包括性能指标生成器202和性能指标分析器204。部件202和204中的两个或多个部件可以在相同的设备(例如，相同的计算设备)上实现，或者在诸如被包括在计算机网络中或者对等网络中的设备的不同设备上实现。例如，部件202和204可以由网络数据分析系统104(图1所示)来实现。在本示例中，部件202和204中的每个部件包括各种子部件。性能指标生成器202例如包括数据归一化器210和权重施加器212。性能指标分析器204例如包括性能指标组合器220、关键性能指示符(KPI)分析器222和相关KPI和阈值分析器224。
如图2所示，例如，性能指标生成器202可以可选地接收关键性能指示符(KPI)230、相关联的外部关键性能指标阈值232以及相关联的外部关键性能指标权重234的外部列表，其可以用于补充用于评估通信网络的性能的关键性能指示符、阈值和权重236的内部列表。例如，关键性能指示符可以包括通信网络的性能的各种可测量方面，并且可以包括通信网络上的用户活动的各种可测量方面。例如，外部关键性能指示符可以包括话音质量感知指示符，其可以由具体通信网络测量和提供，但是也可以由所有通信网络提供或可以不由其提供。通常由通信网络提供并且被包括在内部列表236中的关键性能指示符例如可以包括一个或多个丢弃率指示符、一个或多个访问率指示符、一个或多个连接时间指示符、一个或多个呼叫持续时间指示符、一个或多个用户数据吞吐量指示符(例如，严重和正常)、一个或多个用户时延指示符(例如，严重和正常)以及其他合适指示符。通常由通信网络的业务支持系统提供并且被包括在内部列表236中的关键性能指示符可以包括流失风险指示符(例如，通信网络用户取消订阅的风险的指示)、每个用户变化指示符的平均收入(例如，针对通信网络的每用户平均收入是否增加，减少或保持不变的指示)、新报价指示符(例如，在诸如一个月之类的预先确定的时间段内是否接受新报价的指示)、相同的动作重复指示符(例如，在预先确定的时间段内(例如，两分钟)是否执行了具有相同目的地号码和/或发起号码的话音呼叫(或具有相同URL请求的数据呼叫))以及其他合适指示符。
每个关键性能指示符可以与一个或多个阈值相关联，其可以被用于基于对关键性能指示符的测量值执行阈值检查来向关键性能指示符指派评级。例如，如果具体关键性能指示符的测量值不能达到关键性能指示符的阈值，则关键性能指示符可能与失败的阈值比较(例如，不良评级)相关联。作为另一示例，如果具体关键性能指示符的测量值达到或超过关键性能指示符的阈值，则关键性能指示符可以与通过的阈值比较(例如，良好评级)相关联。可替代地，小于或达到阈值的关键性能指示符的测量值可以与通过的阈值比较(例如，良好评级)相关联，并且超过阈值的关键性能指示符的测量值可以与失败的阈值比较(例如，不良评级)相关联。作为示例，丢弃率指示符的阈值可以与1％的值相关联。例如，如果具体通信网络的丢弃率被确定为小于或等于1％，则丢失率指示符可能与良好评级相关联，而如果丢弃率被确定为超过1％，则丢弃率指示符可能与不良评级相关联。
在一些实现方式中，关键性能指示符可以与最小阈值和最大阈值相关联。例如，如果具体关键性能指示符的测量值不能达到关键性能指示符的最小阈值，则关键性能指示符可能与失败的阈值比较(例如，不良评级)相关联。作为另一示例，如果具体关键性能指示符的测量值达到或超过关键性能指示符的最大阈值，则指示符可以与通过的阈值比较(例如，良好评级)相关联。可替代地，小于或达到最小阈值的关键性能指示符的测量值可以与通过的阈值比较(例如，良好评级)相关联，并且超过最大阈值的关键性能指示符的测量值可能与失败的阈值比较(例如，不良评级)相关联。例如，在最小阈值和最大阈值之间的关键性能指示符的测量值可能与中等评级相关联。作为示例，用户时延指示符的最小阈值可以与五十毫秒的值相关联，并且用户时延指示符的最大阈值可以与八百零五毫秒的值相关联。如果具体通信网络的用户时延小于或等于五十毫秒，则用户时延指示符可以与良好评级相关联，而如果确定用户时延超过八百五十毫秒，则用户时延指示符可能与不良评级相关联。例如，如果用户时延被确定为在五十毫秒到八百五十毫秒之间，用户时延指示符可以与中间(例如，一般)评级相关联。
如下文进一步所详细描述的，每个关键性能指示符可以与对应的权重值相关联，该权重值可以用于确定关键性能指示符对具体通信网络的总体性能指标得分(即，指示整个系统健康状况的得分)的贡献。例如，丢弃率指示符可以与不同于(例如，高于或低于)与用户时延指示符相关联的权重值的、对应的权重值相关联。
一般而言，在内部列表236中被维护并且被用于评估通信网络的性能的关键性能指示符可以表示可以被用于评估网络性能的所有可能的关键性能指示符的子集。用于评估通信网络的附加关键性能可以由一个或多个外部源提供，和/或可以通过分析被发现并且添加到内部列表236。关键性能指示符(KPI)230、相关联的外部KPI阈值232以及相关联的外部KPI权重234的外部列表例如可以在不同的通信网络之间变化，并且可以由通信网络提供。例如，具体的通信网络可以测量某些性能指示符(例如，话音质量感知指示符)的值，其可以由或不由其他通信网络测量。例如，关于阈值232，具体通信网络的指示某一性能水平(例如，良好、一般、不良)的阈值可以指示不同通信网络的不同的性能水平。例如，关于权重234，对于具体通信网络而言重要的关键性能指示符可能对于不同的通信网络更为重要或不那么重要，并且可以与不同的通信网络的不同的权重相关联。当性能指标生成器202被配置成接收和处理关键性能指示符、相关联的外部阈值以及相关联的外部权重的外部列表，并且接收和处理通过进一步分析发现的关键性能指示符和相关联的阈值的列表，例如，随着网络的能力随着时间的推移而改变并且用于评价网络的标准随着时间的推移而改变，性能指标生成器202具有继续评价多个不同通信网络的性能(即，系统健康状况)的灵活性。
性能指标生成器202可以基于关键性能指示符、相关联的关键性能指标阈值以及相关联的关键性能指标权重来生成针对正在经受评估的通信网络的总体性能指标得分240(即，总体系统健康评分)。例如，关键性能指示符、阈值和/或权重可以包括外部、动态和/或静态(例如，经硬编码的)值。例如，为了生成总体性能指标得分240，可以访问与关键性能指示符(例如，图1所示的网络数据110)中的每个关键性能指示符相关的数据，并且可以将其与对应的阈值进行比较。例如，性能指标生成器202可以解析关键性能指示符的一个或多个列表(例如，关键性能指示符230的外部列表和关键性能指示符236的内部列表)。例如，对于关键性能指示符中的每个关键性能指示符，性能指标生成器202可以访问与关键性能指示符相关的通信网络数据(例如，相关的通信事件数据)，并且可以确定针对关键性能指示符的对应值(例如，通过在预先确定的时间量内聚合相关事件数据)。例如，性能指标生成器202然后可以将针对关键性能指示符的值与一个或多个对应的阈值(例如，外部KPI阈值232和内部KPI阈值236)进行比较。
在一些实现方式中，将关键性能指示符的值与一个或多个对应的阈值进行比较可以包括：应用归一化函数。例如，性能指标生成器202可以使用数据归一化器210来应用阶跃函数，其中关键性能指示符基于关键性能指示符相对于一个或多个对应的阈值的值，来与指示不良评级的第一常数值(例如，一或零)、指示良好评级的第二常数值(例如，零或一)、或介于第一常数值和第二常数值之间的第三变量值相关联。例如，小于最小阈值的关键性能指示符值可以与第一常数值相关联，而大于最大阈值的关键性能指示符值可以与第二常数值相关联。落在最小阈值和最大阈值之间的关键性能指示符值可以与介于第一常数值和第二常数值之间的值相关联，例如，通过将关键性能指示符值与最小阈值之间的差除以最大阈值和最小阈值之间的差。例如，通过应用归一化函数，使用不同量表和/或测量单位(例如，Likert量表、百分比、持续时间、数据速率或另一量表和/或测量单位)测量的关键性能指示符可以直接进行比较，并且可以被聚合以生成针对通信网络的总体性能指标得分(即，总体系统健康得分)。
在一些实现方式中，生成总体性能指标得分可以包括：将权重函数应用于归一化的关键性能指示符值中的每个归一化的关键性能指示符值。例如，性能指标生成器202可以使用权重施加器212将适当的权重值(例如，来自外部KPI权重234和内部KPI权重236)应用于针对对应的关键性能指示符的归一化的值中的每个归一化的值，并且可以计算归一化的值的加权平均值，其可以作为总体性能指标得分240提供给性能指标分析器204。在一些实现方式中，生成总体性能指标得分可以包括：重新缩放归一化的值的加权平均值。例如，在计算归一化的值的加权平均值之后，如果加权平均值落在第一值范围内(例如，0.8<X<＝1.0)，则总体性能指标得分可以与第一常数值(例如，一)相关联；如果加权平均值落在第二值范围内(例如，0.6<＝X<0.8)，则与第二值(例如，二)相关联；如果加权平均值落在第三值范围(例如，0.4<＝X<0.6)内，则与第三值(例如，三)相关联；如果加权平均值落在第四值范围内(例如，0.2<＝X<0.4)，则与第四值(例如，四)相关联；或如果加权平均值落在第五值范围内(例如，0.0<＝X<0.2)，则与第五值(例如，五)相关联。例如，由于总体性能指标得分240可以基于可能的关键性能指示符的子集而非所有关键性能指示符，所以可以节省处理资源，并且改善处理时间。
性能指标分析器204可以接收所生成的性能指标得分240，可以将得分240与外部性能指标得分242组合，并且可以提供组合的性能指标得分244。外部性能指标得分242例如可以基于来自通信网络的用户或来自另一自动系统收集的调查数据。例如，关于与使用网络系统有关的用户体验的各个方面，可以轮询网络系统102的用户(如图1所示)，或者用户可以提供其他反馈。性能指标组合器220可以例如通过聚合得分、平均得分、执行得分的加权平均值或使用另一适合的组合技术来组合所生成的性能指标得分240和外部性能指标得分242。
在一些实现方式中，可以执行所生成的性能指标得分的分量分析。例如，关键性能指示符分析器222可以周期地或连续地分析所生成的性能指标得分240的分量，和/或尚未被用于生成得分240的附加关键性能指示符(例如，选自所有可能的关键性能指示符的超集的一个或多个关键性能指示符)。作为另一示例，性能指标组合器220可以将所生成的性能指标得分240与外部性能指标得分242进行比较，并且响应于得分之间的差异(例如，得分之间的绝对或相对差异，诸如10％差异、20％差异或另一适当差异)，可以通过关键性能指示符分析器222来执行所生成的性能指标得分240的分量和/或附加关键性能指示符的分量的分析。例如，如果外部性能指标得分242被标识为低于所生成的性能指标得分240，则通信网络(例如，图1所示的网络系统102)的性能可能不能由其对应的所生成的性能指标得分240准确反映。可以分析所生成的性能指标得分240的分量(例如，个体关键性能指示符)和/或附加关键性能指示符的分量，以标识差异的来源，其随后可以被用于(例如，由如图1所示的网络自动化系统)对网络系统102进行故障排除和/或修改。例如，通过对所生成的性能指标得分240的分量和/或附加关键性能指示符的分量进行分析，性能指标分析器204可以生成与受影响的关键性能指示符246相关联的数据，其还可以被提供作为关键性能指示符和对应的阈值的更新列表248。例如，关键性能指示符和对应的阈值的更新列表248可以被用于调节由性能指标生成器202采用的数据和处理(例如，通过调整和/或添加到关键性能指示符、一个或多个相关联的阈值、和/或一个或多个相关联的权重的外部列表和/或内部列表)。
参考图3，描绘了示例系统300，其更详细地示出了关键性能指示符分析器222的操作(也在图2中示出)。例如，关键性能指示符分析器222可以从网络数据源310(例如，如图1所示，可以提供网络数据110的数据源)接收与各种关键性能指示符相关的数据。网络数据源310例如可以包括网络数据、业务支持系统数据以及与通信网络提供商(例如，移动通信网络提供商和/或固定通信网络提供商)有关和/或由其维护的其他数据。例如，为了接收数据，关键性能指示符分析器222可以使用数据提取器320(例如，类似于如图1所示的数据提取器120)来使用网络通信协议、应用编程接口和/或其他合适技术与网络数据源310通信。例如，数据提取器320可以提取与要分析的关键性能指示符有关的数据(例如，外部KPI 230列表中的关键性能指示符、内部KPI 236列表中的关键性能指示符以及附加关键性能指示符)。如参考图4所讨论的，关键性能指示符计算器330例如可以接收与关键性能指示符有关的所提取的数据，并且可以分析多个维度中针对每个关键性能指示符的数据。
参考图4，描绘了示例系统400，其更详细地示出了关键性能指示符计算器330(如图3所示)的操作。如图4所示，例如，接收与具体关键性能指示符有关的一个或多个数据值410。一般而言，可以使用合适的分量数据值和对应的公式来计算针对每个关键性能指示符的值。例如，对于与失败的移动通信网络附着事件(例如，AttachFail)有关的访问率关键性能指示符，数据值410可以包括用于计算AttachFail关键性能指示符值的各种值，其包括AttachFailNetwork值、AttachFailUsers值、AttachSuccess值和AttachAttempt值。为了计算本示例中的AttachFail关键性能指示符，可以将AttachFailNetwork值加到AttachFailUsers值，并且所得总和可以除以AttachSuccess值和AttachAttempt值之和。
一般而言，可以在多个不同维度的每个维度中分析正在经历分析的每个关键性能指示符。例如，在接收到用于计算AttachFail关键性能指示符(KPI)的一个或多个数据值410之后，可以针对具体关键性能指示符执行多维计算430。在本示例中，可以针对服务维度432a、位置维度432b、设备维度432c、网络维度432d以及其他合适维度(例如，维度K 432k)来计算AttachFail KPI值。为了计算多个不同维度中的AttachFail KPI值，例如，可以在针对不同维度中的每个维度执行计算之前，针对该维度过滤所接收到的数据值410(例如，用于计算AttachFail值的分量数据值)。例如，为了计算服务维度432a中的AttachFail KPI值，可以由通信网络提供的每种类型的服务(例如，话音、数据、多媒体消息服务(MMS)、短消息服务(SMS)和其他适当的服务)来过滤关键性能指示符(例如，AttachFailNetwork、AttachFailUsers、AttachSuccess和AttachAttempt)的分量数据值，并且可以针对每种不同类型的服务计算不同的KPI值。作为另一示例，为了计算位置维度432b中的AttachFailKPI值，可以针对由移动通信网络服务的每个位置(例如，GPS坐标、小区站点、邮政编码、城市、州或另一合适位置等)过滤关键性能指示符的分量数据值，并且可以针对每个不同位置计算不同的KPI值。作为另一示例，为了计算设备维度432c中的AttachFail KPI值，可以针对由移动通信网络服务的每种类型的设备(例如，移动电话模型、智能电话机模型、平板电脑模型或其他合适的设备类型)过滤关键性能指示符的分量数据值，并且可以针对每种不同类型的设备计算不同的KPI值。作为另一示例，为了计算网络维度432d中的AttachFailKPI值，可以针对由移动通信网络(例如，2G、3G、4G、5G、WiFi)提供的每种类型的网络来过滤关键性能指示符的分量数据值，并且可以针对每种不同类型的网络计算不同的KPI值。
在一些实现方式中，可以为正经历分析的每个关键性能指示符(KPI)生成关键性能指示符向量，该关键性能指示符向量包括针对多个不同维度中的每个维度的一个或多个值。在基于被用于计算关键性能指示符(例如，AttachFail KPI)的数据值410来执行多维计算430之后，例如，可以为关键性能指示符生成关键性能指示符向量440a(例如，“向量KPI1”)，其包括服务维度的一个或多个KPI值、位置维度的一个或多个KPI值、设备维度的一个或多个KPI值、网络维度的一个或多个KPI值以及各种其他维度的一个或多个KPI值。类似地，可以为另一不同的关键性能指示符生成向量440n(例如，“向量KPIn”)，其包括服务维度、位置维度、设备维度、网络维度以及各种其他维度的一个或多个KPI值。
一般而言，一些通信网络提供商可以仅在一个维度中跟踪关键性能指示符值。例如，通过进一步分析多个不同维度中的每个关键性能指示符，可以确定不同维度中的极化，其可能有助于标识和排除可能在通信网络中发生的具体类型的问题。例如，相对于由移动通信网络服务的其他区域，在一个或多个区域，掉话可能更频繁地发生，和/或相对于其他类型的设备，针对一个或多个类型的设备(例如，移动电话模型)，掉话可能更频繁地出现。
再次参考图3，例如，关键性能指示符计算器330可以向阈值标识符340和数据分析器350提供正经历分析的每个关键性能指示符(KPI)的关键性能指示符向量(例如，类似于如图4中所示的KPI向量440a、440n的KPI向量332)。例如，关键性能指示符向量332可以包括用于多个不同维度中的每个维度的一个或多个经计算的关键性能指示符值，其包括服务维度、位置维度、设备维度、网络维度和其他合适维度。例如，经计算的针对服务维度的关键性能指示符值可以包括话音、数据、多媒体消息服务(MMS)、短消息服务(SMS)以及由移动通信网络提供的其他服务中的每个的KPI值。例如，经计算的针对位置维度的关键性能指示符值可以包括由移动通信网络服务的每个位置(例如，GPS坐标、小区站点、邮政编码、城市、州或另一合适位置)的KPI值。例如，经计算的针对设备维度的关键性能指示符值可以包括移动通信网络所服务的不同手机模型、智能手机模型、平板电脑模型和其他设备类型中的每个的KPI值。例如，经计算的针对网络维度的关键性能指示符值可以包括针对从移动通信网络可用的2G、3G、4G、5G和WiFi网络中的每个网络的KPI值。例如，可以类似地提供用于固定通信网络的关键性能指示符向量。
例如，如参考图5所讨论的，阈值标识符340可以接收关键性能指示符向量332，并且可以在多个维度中确定每个维度的用于关键性能指示符的适当阈值。例如，各种机器学习途径(例如，线性回归、神经网络、统计途径等)可以被用于确定每个维度的适当阈值。在一些实现方式中，阈值标识符340可以接收一个或多个阈值参数342，并且可以至少部分地基于所接收的参数来确定一个或多个关键性能指示符阈值。例如，可以从通信网络提供商接收阈值参数342，并且可以由阈值标识符340使用以应用关键性能指示符值的适当阈值范围(即，最小阈值和最大阈值)。在一些实现方式中，阈值标识符340可以与本地数据源344进行通信，该本地数据源344可以提供数据缓冲，以便在确定一个或多个关键性能指示符阈值的一部分的各种时间范围内执行关键性能指示符的数据分析。
现在参考图5，描绘了示例系统500，其更详细地示出了阈值标识符340的操作(如图3所示)。如图5所示，例如，接收多个不同的关键性能指示符(KPI)向量(例如，KPI向量502a、KPI向量502b、KPI向量502c和KPI向量502n)。例如，KPI向量502a至502n可以类似于KPI向量440a至440n(如图4所示)和KPI向量332(如图3所示)。
一般而言，每个关键性能指示符向量可以包括针对多个不同维度中的每个维度的一个或多个值，并且可以针对每个维度的每个关键性能指示符向量确定适当的阈值。例如，在接收到关键性能指示符向量502a之后，可以在多个不同维度(例如，服务维度512a、位置维度512b、设备维度512c、网络维度512d和其他合适维度，诸如“维度K”512k)中的每个维度中，针对KPI向量执行阈值确定操作510，以确定每个维度中针对关键性能指示符的适当阈值。在一些实现方式中，关键性能指示符阈值可以根据维度而改变。例如，阈值确定操作510可以在预先确定的时间范围(例如，一天、一周、一月)内确定针对特定维度中的关键性能指示符的平均值，并且可以指定具体维度中的关键性能指示符的阈值或阈值范围(即，最小阈值和最大阈值)。在一些实现方式中，关键性能指示符阈值对于每个维度可以是相同的。例如，阈值确定操作510可以在预先确定的时间范围内确定关键性能指示符的平均值，并且可以在维度中的每个维度中指定关键性能指示符的指定阈值或阈值范围。例如，作为对每个关键性能指示符向量执行阈值确定操作510的结果，可以为关键性能指示符向量生成对应的关键性能指示符阈值向量。例如，可以生成与关键性能指示符向量502a相对应的关键性能指示符阈值向量520a，与关键性能指示符向量502n相对应的关键性能指示符阈值向量520n等。关键性能指示符阈值向量520a、520n中的每个关键性能指示符向量例如可以包括每个维度(例如，服务、位置、设备、网络等)的一个或多个阈值。
再次参考图3，例如，阈值标识符340可以向数据分析器350提供关键性能指示符阈值向量342(例如，类似于图5所示的关键性能指示符阈值向量520a、520n)。一般而言，可以针对正经历分析的每个关键性能指示符接收关键性能指示符向量和关键性能指示符阈值向量，并且可以生成判决向量，其指示关于关键性能指示符是否自动执行一个或多个动作。例如，数据分析器350可以接收关键性能指示符向量332和对应的关键性能指示符阈值向量342，可以在多个维度中确定关键性能指示符是否通过或未能通过与阈值的比较(例如，达到或超过阈值，或落在阈值范围内)，并且可以基于该确定来生成判决向量352。
一般而言，每个关键性能指示符向量可以包括用于多个不同维度中的每个维度的一个或多个值，并且可以将关键性能指示符值中的每个关键性能指示符值与被包括在对应的关键性能指示符阈值向量中的一个或多个对应的阈值进行比较，以标识一个或多个维度，对于该维度，关键性能指示符值未能通过与对应的阈值进行的阈值比较。例如，在接收到关键性能指示符向量332(例如，DroppedCall KPI向量)和对应的关键性能指示符阈值向量342之后，数据分析器350可以在多个不同维度中的每个维度中，将KPI向量332与KPI阈值向量342进行比较。在本示例中，可以将DroppedCall KPI向量与服务维度、位置维度、设备维度、网络维度和其他合适维度(例如“维度K”)中的一个或多个对应的DroppedCall KPI阈值进行比较。例如，考虑DroppedCall KPI阈值的示例(所有维度为2％、一个或多个维度为1％以及其他维度为2％，或其他合适阈值)，DroppedCall KPI向量的值可以与维度中的每个维度中的对应的DroppedCall KPI阈值进行比较。例如，基于该比较，可以生成对应的判决向量352，以针对维度中的每个维度，包括指示DroppedCall KPI向量值是否达到DroppedCall KPI阈值的一个或多个比较结果。例如，如果具体类型的设备的DroppedCallKPI向量值未能达到DroppedCall KPI阈值(例如，超过阈值、小于阈值、不在值的范围内，或者其他合适的比较)，对应的判决向量352可以包括指示阈值比较对于这种类型的设备失败(例如，未能达到阈值)的二进制值(例如，真/假、通过/失败、1/0或另一合适值)。
在一些实现方式中，未达到阈值的确定(例如，具体维度的关键性能指示符值达到或未能达到对应的阈值)可以基于随时间的多个比较。例如，响应于预先确定的数目(例如，两个、三个或另一合适值)的、连续出现的关键性能指示符值未能通过阈值比较，本地数据344可以存储(例如，缓冲，缓存)针对一个或多个先前的比较事件(例如，每五分钟、十五分钟、一小时或另一合适时间间隔发生的)的比较结果，并且可以生成判决向量352以包括指示具体维度中的关键性能指示符值已经达到或未能达到阈值的比较结果。例如，如果具体类型的设备的DroppedCall KPI向量值在两个连续的比较事件中未能达到DroppedCallKPI阈值，则对应的判决向量352可以包括二进制值，其指示那种类型的设备的阈值未能被达到。作为另一示例，响应于在预先确定的观察窗口(例如，五个、十个、二十个或另外合适数目个比较事件)中，以预先确定的百分比(例如，50％、80％、90％或任何合适百分比)出现关键性能指示符值未能通过阈值比较，可以生成判决向量352以包括指示在具体维度中关键性能指示符值未能达到阈值的比较结果。例如，如果具体类型的设备的DroppedCall KPI向量值在十个连续比较事件中至少百分之五十的次数没有达到DroppedCall KPI阈值，则对应的判决向量352可以包括二进制值，其指示该类型的设备的阈值未能被达到。
一般而言，响应于失败的阈值比较(例如，具体维度的对应的关键性能指示符值未能达到阈值)，可以提供数据以细化用于生成性能指标的技术，和/或可以自动执行一个或多个动作。例如，如果判决向量352指示具体维度的对应的关键性能指示符值已经达到或未能达到阈值(例如，针对具体类型的设备的DroppedCall KPI向量值未能达到其对应的阈值)，则关键性能指示符(KPI)分析器222可以确定关键性能指示符与性能指标相关。例如，响应于该确定，关键性能指示符(KPI)分析器222可以在关键性能指示符的动态列表360和对应阈值的动态列表362中包括与关键性能指示符有关的信息。在一些实现方式中，与关键性能指示符有关并且被包括在动态列表中的信息可以包括与已经出现的、失败的阈值比较的一个或多个维度有关的维度信息。例如，动态列表360可以包括指示具体关键性能指示符的具体维度与生成性能指标(例如，针对具体类型的设备的DroppedCall)相关的信息，和/或针对该维度的关键性能指示符所确定的对应阈值可以被包括在动态列表362中的信息。
在一些实现方式中，可以至少部分地基于确定失败的阈值比较已经发生(例如，针对具体维度的对应的关键性能指示符值已经达到或未能达到阈值)来执行一个或多个动作用于解决与关键性能指示符和具体维度相联系的问题。例如，如果针对具体类型的设备的DroppedCall KPI向量值未能达到其对应的阈值，则可以向网络自动化系统106(如图1所示)提供通知，并且与该类型的设备有关的配置设置可以被修改和/或设备软件可以被网络系统102修改和分发。作为另一示例，如果针对具体位置的DroppedCall KPI向量值未能达到其对应的阈值，则可以向网络自动化系统106提供通知，并且系统可以自动修改通信设置和/或自动增加该位置中的网络系统102的功率。
例如，再次参考图2，性能指标生成器202可以接收关键性能指示符和对应阈值的更新列表248(例如，包括关键性能指示符的动态列表360和对应阈值的动态列表362，如图3所示)。例如，关键性能指示符和对应阈值的更新列表248可以用于调节由性能指标生成器202采用的数据和过程。例如，性能指标生成器202可以调整关键性能指示符、阈值和权重236的内部列表以包括来自关键性能指示符和对应阈值的更新列表248的数据。因此，由性能指标生成器202引用以生成性能指标得分240的关键性能指示符、阈值和权重236的内部列表可以被自动地和动态地更新以反映通信网络的改变的条件。例如，可能与生成针对一个或多个通信网络的性能指标得分240相关的具体关键性能指示符可能与其他具体关键性能指示符相关或无关，和/或可能适用于针对一个或多个通信网络的关键性能指示符阈值可能与其他关键性能指示符阈值相关或无关。例如，通过周期性地比较所生成的性能指标得分240与外部性能指标得分242并且通过评估当差异发生时的通信网络数据(例如，如图1所示的网络数据310)，关键性能指示符和对应阈值可以被发现(和/或可以被分割成多个维度)，并且可以被选择以提高性能指标生成器202生成精确性能指标得分240的能力。
图6描绘了可以在本公开的实现方式中执行的示例过程600。例如，过程600可以由上文参考图1至图5所描述的示例系统执行。
针对通信网络，接收所生成的性能指标(602)。可以至少部分地基于关键性能指示符集合和对应的阈值来生成性能指标。例如，参考图2，性能指标分析器204可以基于关键性能指示符、阈值和权重236的内部列表、关键性能指示符(KPI)230、相关联的外部KPI阈值232和相关联的外部KPI权重234的外部列表来接收由性能指标生成器202生成的性能指标得分240。
接收针对通信网络(604)的外部性能指标。外部性能指标可以表示通信网络的用户体验。例如，性能指标分析器204(如图2所示)可以接收表示网络系统102(如图1所示)的用户体验的外部性能指标得分242。
响应于确定所生成的性能指标和外部性能指标之间的差异，评估与通信网络相关联的一个或多个关键性能指示符(606)。例如，性能指标分析器204(如图2所示)可以评估与网络系统102(如图1所示)相关联的一个或多个关键性能指示符。一般而言，评估可以包括：对于每个关键性能指示符，接收与关键性能指示符相关联的数据，确定针对关键性能指示符的关键性能指示符值和一个或多个对应阈值(例如，至少部分地基于所接收的数据)，以及将关键性能指示符值与对应的一个或多个阈值进行比较。在一些实现方式中，与关键性能指示符相关联的数据可以是从通信网络接收的通信事件数据。例如，关键性能指示符分析器222(如图2所示以及如图3中进一步详细所示)可以使用数据提取器320从网络数据源310提取数据。
在一些实现方式中，正经历评估的一个或多个关键性能指示符可以包括至少一个关键性能指示符，其被包括在所生成的通信网络的性能指标所基于的关键性能指示符集合中。例如，由关键性能指示符分析器222评估的一个或多个关键性能指示符可以被包括在关键性能指示符236的内部列表中，或者可以被包括在被用于生成性能指标得分240的关键性能指示符230的外部列表中(如图2所示)。
在一些实现方式中，正在经历评估的一个或多个关键性能指示符可以包括至少一个关键性能指示符，其没有被包括在所生成的通信网络的性能指标所基于的关键性能指示符集合中。例如，由关键性能指示符分析器222评估的一个或多个关键性能指示符可能最初没有被包括在关键性能指示符236的内部列表中，也没有被包括在被用于生成性能指标得分240的关键性能指示符230的外部列表中(如图2所示)。
在一些实现方式中，确定关键性能指示符值可以包括：标识关键性能指示符的多个分量，标识多个分量中的每个分量的分量值，以及使用相应的分量值执行计算。例如，关键性能指示符分析器222可以标识正在经历评估的针对每个关键性能的分量。
在一些实现方式中，评估与通信网络相关联的一个或多个关键性能指示符可以在多个维度中执行。例如，参考图4和图5，示出了各种关键性能指示符的多维分析。例如，维度可以包括以下各项中的两项或多项：指示由通信网络提供的服务类型的服务维度，指示由通信网络所服务的位置的位置维度，指示由通信网络所服务的设备类型的设备维度，以及指示由通信网络所提供的网络类型的网络维度。一般而言，可以针对两个或多个不同维度中的每个维度过滤所接收到的数据，以及对于两个或多个不同维度中的每个给定维度，可以确定给定维度中的关键性能指示符的关键性能指示符值和一个或多个对应阈值。关键性能指示符值可以与给定维度中对应的一个或多个阈值进行比较。
在一些实现方式中，可以存储与比较每个关键性能指示符值与其一个或多个对应阈值相关联的一系列比较结果，并且可以基于所存储的一系列比较结果来更新关键性能指示符集合。例如，再次参考图3，关键性能指示符分析器222可以将先前比较结果存储(例如，缓冲、缓存)在本地数据存储装置344中。例如，响应于两次或多次连续出现的给定关键性能指示符未能通过与其一个或多个对应的阈值的阈值比较，可以更新关键性能指示符集合，以包括给定关键性能指示符以及其一个或多个对应的阈值。作为另一示例，响应于预先确定的观察窗口中，以预先确定的百分比出现给定关键性能指示符未能通过与其一个或多个对应的阈值的阈值比较，可以更新关键性能指示符集合，以包括给定关键性能指示符及其一个或多个对应的阈值。
响应于确定给定关键性能指示符的值未能通过与其一个或多个对应阈值的阈值比较，可以更新关键性能指示符集合，以包括给定关键性能指示符及其一个或多个对应的阈值(608)。再次参考图2，例如，性能指标分析器204可以向性能指标生成器202提供关键性能指示符和对应阈值的更新列表248，该性能指标生成器202可以使用用于更新关键性能指示符、阈值和权重236的内部列表的数据。
响应于确定给定关键性能指标的值未能通过与其一个或多个对应的阈值的阈值比较，可以自动修改通信网络的一个或多个设置(610)。例如，再次参考图1，基于由网络数据分析系统104提供的通知，网络自动化系统106可以修改网络系统102。
在本说明书中描述的实现方式和所有功能操作可以在数字电子电路中或在计算机软件、固件或硬件中实现，该计算机软件、固件或硬件包括本说明书中公开的结构及其等同结构、或是它们的一个或多个的组合。实现方式可以被实现为一个或多个计算机程序产品，即，在计算机可读介质上被编码的、供数据处理装置执行或控制该数据处理装置的操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成、或它们中的一个或多个的组合。术语“计算系统”涵盖用于处理数据的所有装置、设备和机器，其包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括创建所讨论的计算机程序的执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。所传播的信号是人为生成的信号，例如，机器生成电信号、光学信号或电磁信号，其被生成以编码用于传输到合适的接收器设备的信息。
计算机程序(还被称为程序、软件、软件应用、脚本或代码)可以以包括已编译语言或解释语言的任何适当形式的编程语言来编写，并且可以以任何适当的形式部署，这些形式包括作为独立程序或作为适于在计算环境中使用的模块、部件、子例程或其他单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件(例如，存储一个或多个模块、子程序或代码的各部分的文件)中。计算机程序可以被部署成在一个计算机上执行，或在位于一个站点上或者分布在多个站点上并且由通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并且生成输出来执行功能。过程和逻辑流程还可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置还可以被实现为专用逻辑电路。
适于执行计算机程序的处理器例如包括通用微处理器和专用微处理器，以及任何适当种类的数字计算机的任一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的元件可以包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合以从用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)接收数据或向该大容量存储设备传送数据或两者。然而，计算机不需要这样的设备。而且，计算机可以嵌入在另一设备中，例如，仅举几个示例，移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，其包括例如半导体存储器设备，例如，EPROM、EEPROM和闪存存储器设备；磁盘，例如，内部硬盘或可移除盘；磁光盘；以及CD ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入其中。
为了提供与用户的交互，实现方式可以在计算机上实现，该计算机具有向用户显示信息的显示设备，例如，CRT(电子射线管)或LCD(液晶显示器)监控器；以及键盘和指向设备，例如，鼠标或跟踪球，用户可以通过该键盘和指向设备向计算机提供输入。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何适当形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何适当的形式接收来自用户的输入，其包括声学输入、语音输入或触觉输入。
实现方式可以在计算系统中实现，该计算系统包括后端部件，例如，作为数据服务器；或者包括中间件部件，例如，应用服务器；或者包括前端部件，例如，具有图形用户接口或网络浏览器的客户端计算机，用户可以通过该图形用户接口或网络浏览器与实现方式交互；或者一个或多个这样的后端部件、中间件部件或前端部件的任何适当的组合。系统的部件可以通过任何适当数字数据通信形式或介质(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如，因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系借助于在相应计算机上运行并且彼此之间具有客户端-服务器关系的计算机程序来产生。
虽然本说明书包含许多细节，但是不应将这些理解为是对本发明的范围或者所要求保护内容的限制，而应当理解为是本发明具体实现方式的特定特征的描述。在本说明书中在不同的实现方式的上下文中描述的某些特征还可以在单个实现方式中组合地实现。相反，在单个实现方式的上下文中描述的各种特征还可以单独地或以任何合适的子组合在多个实现方式中来实现。而且，尽管上文可能将特征描述为在某些组合中动作，甚至初始也是这样要求保护的，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以针对子组合或子组合的变形。
类似地，虽然在附图中以具体顺序描绘了操作，但是这不应被理解为要求以所示的具体顺序或按顺序次序执行此类操作，或者执行所有所图示的操作以实现所需的结果。在某些情形下，多任务和并行处理可能是有利的。而且，在上文所描述的实现方式中的各种系统部件的分离不应被理解为在所有实现方式中需要这样的分离，并且应当理解，所描述的程序部件和系统通常可以集成在单个软件产品中或打包成多个软件产品。
已经描述了若干个实现方式。然而，应当理解，在不背离本公开的精神和范围的情况下，可以做出各种修改。例如，可以使用上文所示的各种形式的流程，其中步骤被重新排序、添加或移除。因而，其他实现方式在所附权利要求的范围内。

Claims (16)

1.一种用于评估一个或多个通信网络的性能的计算机实现的方法，所述方法由一个或多个处理器执行并且包括：
接收所生成的针对通信网络的性能指标，其中所述性能指标至少部分地基于关键性能指示符的集合和对应的阈值而被生成，所述关键性能指示符是所述通信网络的性能的可测量方面；
接收针对所述通信网络的外部性能指标，其中所述外部性能指标是基于从所述通信网络的一个或多个用户收集的数据的并且表示所述通信网络的用户体验；
响应于确定所生成的性能指标和所述外部性能指标之间的差异，评估与所述通信网络相关联的一个或多个关键性能指示符，其中被评估的所述一个或多个关键性能指示符包括至少一个关键性能指示符，所述至少一个关键性能指示符没有被包括在所生成的所述通信网络的性能指标所基于的所述关键性能指示符的集合中，所述评估包括，针对被评估的每个关键性能指示符：
(i)接收与所述关键性能指示符相关联的数据；
(ii)至少部分地基于所接收的所述数据，确定针对所述关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及
(iii)将所述关键性能指示符值与所述一个或多个对应的阈值进行比较；以及
响应于确定给定关键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，(i)更新所述关键性能指示符的集合，以包括所述给定关键性能指示符及其一个或多个对应的阈值，以及(ii)自动修改用于所述通信网络的一个或多个设置。
2.根据权利要求1所述的计算机实现的方法，其中与所述关键性能指示符相关联的所述数据是从所述通信网络接收到的通信事件数据。
3.根据权利要求1所述的计算机实现的方法，其中与所述关键性能指示符相关联的所述数据包括从所述通信网络的一个或多个业务支持系统接收到的数据。
4.根据权利要求1所述的计算机实现的方法，其中被评估的所述一个或多个关键性能指示符包括至少一个关键性能指示符，所述至少一个关键性能指示符被包括在所生成的所述通信网络的性能指标所基于的所述关键性能指示符的集合中。
5.根据权利要求1所述的计算机实现的方法，其中确定所述关键性能指示符值包括：标识所述关键性能指示符的多个分量，标识针对所述多个分量中的每个分量的分量值，以及使用相应的分量值执行计算。
6.根据权利要求1所述的计算机实现的方法，其中所述评估还包括：
针对两个或更多个不同维度中的每个维度，过滤所接收的数据，以及针对所述两个或更多个不同维度中的每个给定维度：
确定所述给定维度中的针对所述关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及
在所述给定维度中将所述关键性能指示符值与一个或多个对应的阈值进行比较。
7.根据权利要求6所述的计算机实现的方法，其中所述两个或多个不同维度包括以下各项中的两项或更多项：指示由所述通信网络所提供的服务类型的服务维度，指示由所述通信网络所服务的位置的位置维度，指示由所述通信网络所服务的设备类型的设备维度，以及指示由所述通信网络所提供的网络类型的网络维度。
8.根据权利要求1所述的计算机实现的方法，还包括：存储一系列比较结果，所述一系列比较结果与将每个关键性能指示符值与其一个或多个对应的阈值进行比较相关联。
9.根据权利要求8所述的计算机实现的方法，其中响应于两次或多次连续出现的所述给定关键性能指示符未能通过与其一个或多个对应的阈值的所述阈值比较，所述关键性能指示符的集合基于所述一系列比较结果而被更新，以包括所述给定关键性能指示符及其一个或多个对应的阈值。
10.根据权利要求1所述的计算机实现的方法，其中响应于在预先确定的观察窗口中以预先确定的百分比出现所述给定关键性能指示符未能通过与其一个或多个对应的阈值的所述阈值比较，所述关键性能指示符的集合基于所存储的一系列比较结果而被更新，以包括所述给定关键性能指示符及其一个或多个对应的阈值。
11.一种非暂态计算机可读存储介质，其耦合至一个或多个处理器并且具有被存储在其上的指令，所述指令当被所述一个或多个处理器执行时，使得所述一个或多个处理器执行用于评估一个或多个通信网络的性能的操作，所述操作包括：
接收所生成的针对通信网络的性能指标，其中所述性能指标至少部分地基于关键性能指示符的集合和对应的阈值而被生成，所述关键性能指示符是所述通信网络的性能的可测量方面；
接收针对所述通信网络的外部性能指标，其中所述外部性能指标是基于从所述通信网络的一个或多个用户收集的数据的并且表示所述通信网络的用户体验；
响应于确定所生成的性能指标和所述外部性能指标之间的差异，评估与所述通信网络相关联的一个或多个关键性能指示符，其中被评估的所述一个或多个关键性能指示符包括至少一个关键性能指示符，所述至少一个关键性能指示符没有被包括在所生成的所述通信网络的性能指标所基于的所述关键性能指示符的集合中，所述评估包括，针对被评估的每个关键性能指示符：
(i)接收与所述关键性能指示符相关联的数据；
(ii)至少部分地基于所接收的所述数据，确定针对所述关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及
(iii)将所述关键性能指示符值与所述一个或多个对应的阈值进行比较；以及
响应于确定给定关键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，(i)更新所述关键性能指示符的集合，以包括所述给定关键性能指示符及其一个或多个对应的阈值，以及(ii)自动修改用于所述通信网络的一个或多个设置。
12.根据权利要求11所述的非暂态计算机可读存储介质，其中所述评估还包括：
针对两个或更多个不同维度中的每个维度，过滤所接收的数据，以及针对所述两个或更多个不同维度中的每个给定维度：
确定所述给定维度中的针对所述关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及
在所述给定维度中将所述关键性能指示符值与一个或多个对应的阈值进行比较。
13.根据权利要求11所述的非暂态计算机可读存储介质，所述操作还包括存储一系列比较结果，所述一系列比较结果与将每个关键性能指示符值与其一个或多个对应的阈值进行比较相关联。
14.一种用于评估一个或多个通信网络的性能的系统，包括：
一个或多个处理器；以及
计算机可读存储设备，所述计算机可读存储设备被耦合至所述一个或多个处理器并且具有存储在其上的指令，所述指令当由所述一个或多个处理器执行时，使得所述一个或多个处理器执行用于评估一个或多个通信网络的性能的操作，所述操作包括：
接收所生成的针对通信网络的性能指标，其中所述性能指标至少部分地基于关键性能指示符的集合和对应的阈值而被生成，所述关键性能指示符是所述通信网络的性能的可测量方面；
接收针对所述通信网络的外部性能指标，其中所述外部性能指标是基于从所述通信网络的一个或多个用户收集的数据的并且表示所述通信网络的用户体验；
响应于确定所生成的性能指标和所述外部性能指标之间的差异，评估与所述通信网络相关联的一个或多个关键性能指示符，其中被评估的所述一个或多个关键性能指示符包括至少一个关键性能指示符，所述至少一个关键性能指示符没有被包括在所生成的所述通信网络的性能指标所基于的所述关键性能指示符的集合中，所述评估包括，针对每个关键性能指示符：
(i)接收与所述关键性能指示符相关联的数据；
(ii)至少部分地基于所接收的所述数据，确定针对所述关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及
(iii)将所述关键性能指示符值与所述一个或多个对应的阈值进行比较；以及
响应于确定给定关键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，(i)更新所述关键性能指示符的集合，以包括所述给定关键性能指示符及其一个或多个对应的阈值，以及(ii)自动修改用于所述通信网络的一个或多个设置。
15.根据权利要求14所述的系统，其中所述评估还包括：
针对两个或更多个不同维度中的每个维度，过滤所接收的数据，以及针对所述两个或更多个不同维度中的每个给定维度：
确定所述给定维度中的针对所述关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及
在所述给定维度中将所述关键性能指示符值与一个或多个对应的阈值进行比较。
16.根据权利要求14所述的系统，所述操作还包括存储一系列比较结果，所述一系列比较结果与将每个关键性能指示符值与其一个或多个对应的阈值进行比较相关联。
CN201711091385.7A 2016-11-14 2017-11-08 基于端到端性能观察与评估来改进通信网络的性能 Active CN108075925B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/350,635 2016-11-14
US15/350,635 US10511510B2 (en) 2016-11-14 2016-11-14 Performance of communication network based on end to end performance observation and evaluation

Publications (2)

Publication Number Publication Date
CN108075925A CN108075925A (zh) 2018-05-25
CN108075925B true CN108075925B (zh) 2021-09-10

Family

ID=60051354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711091385.7A Active CN108075925B (zh) 2016-11-14 2017-11-08 基于端到端性能观察与评估来改进通信网络的性能

Country Status (5)

Country Link
US (1) US10511510B2 (zh)
EP (1) EP3322126B1 (zh)
CN (1) CN108075925B (zh)
AU (1) AU2017235914B2 (zh)
CA (1) CA2983495C (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511510B2 (en) 2016-11-14 2019-12-17 Accenture Global Solutions Limited Performance of communication network based on end to end performance observation and evaluation
US20180192264A1 (en) * 2016-12-30 2018-07-05 T-Mobile Usa, Inc. Open Access Points for Emergency Calls
US20190089611A1 (en) * 2017-09-20 2019-03-21 Cisco Technology, Inc. Switch health index for network devices
US10778522B2 (en) * 2017-12-13 2020-09-15 Salesforce.Com, Inc. Endpoint-based mechanism to apply network optimization
US10721142B1 (en) * 2018-03-08 2020-07-21 Palantir Technologies Inc. Computer network troubleshooting
US10706308B2 (en) * 2018-08-07 2020-07-07 Accenture Global Solutions Limited Image processing for automated object identification
CN112534963A (zh) * 2018-08-09 2021-03-19 苹果公司 Ran条件和小区复合负载指示符
US10637753B1 (en) * 2019-04-09 2020-04-28 Verizon Patent And Licensing Inc. Managing a 5G network using extension information
CN110719604A (zh) * 2019-10-14 2020-01-21 中兴通讯股份有限公司 系统性能参数的发送方法、装置、管理设备和存储介质
US10708122B1 (en) 2019-10-30 2020-07-07 T-Mobile Usa, Inc. Network fault detection and quality of service improvement systems and methods
US11121805B2 (en) * 2019-10-31 2021-09-14 Verizon Patent And Licensing Inc. Systems and methods for determining initial channel quality conditions of a channel for provision of content
CN111913852B (zh) * 2020-08-11 2023-08-22 中国工商银行股份有限公司 存储系统的健康管理方法和装置
US11683331B2 (en) * 2020-11-23 2023-06-20 Juniper Networks, Inc. Trust scoring of network entities in networks
US11501225B2 (en) * 2021-01-07 2022-11-15 International Business Machines Corporation Intelligent method to identify complexity of work artifacts
WO2022253404A1 (en) * 2021-05-31 2022-12-08 Telefonaktiebolaget Lm Ericsson (Publ) Generating and aggregating data for network monitoring
US11985048B2 (en) * 2021-06-29 2024-05-14 Verizon Patent And Licensing Inc. Computerized system and method for an improved self organizing network
US11652699B2 (en) * 2021-06-29 2023-05-16 Verizon Patent And Licensing Inc. Computerized system and method for an improved self organizing network
US20230246901A1 (en) * 2022-01-31 2023-08-03 Rakuten Mobile, Inc. Key performance indicator monitoring, predicting and anomaly detection system system and method

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030126255A1 (en) 2001-11-26 2003-07-03 Rice Daniel J. Network performance parameterizing
US20060023642A1 (en) * 2004-07-08 2006-02-02 Steve Roskowski Data collection associated with components and services of a wireless communication network
WO2009089374A1 (en) * 2008-01-09 2009-07-16 T-Mobile Usa, Inc. Mobile application monitoring system
US8719398B2 (en) 2008-02-29 2014-05-06 Microsoft Corporation Network performance monitor
WO2011026525A1 (en) * 2009-09-07 2011-03-10 Nokia Siemens Networks Oy Analysis of connection errors and initiation of connection signaling minitoring between an user equipment and the communication network
US9913158B2 (en) 2009-10-29 2018-03-06 Nokia Solutions And Networks Oy Enhanced network performance monitoring
US8666355B2 (en) * 2010-01-15 2014-03-04 Landis+Gyr Technologies, Llc Network event detection
CN102143507B (zh) * 2010-11-23 2015-04-15 北京中创信测科技股份有限公司 一种业务质量监测方法、系统、以及分析方法和系统
CN102098686A (zh) * 2011-01-17 2011-06-15 中国移动通信集团山西有限公司 移动通信网络优化“三层一体”评估模型
US8880022B2 (en) * 2011-11-10 2014-11-04 Microsoft Corporation Providing per-application resource usage information
US9130825B2 (en) 2011-12-27 2015-09-08 Tektronix, Inc. Confidence intervals for key performance indicators in communication networks
CN103312531B (zh) 2012-03-15 2017-02-22 华为技术有限公司 一种获取qoe的方法、装置及保证qoe的方法、装置
US9379949B2 (en) 2012-03-30 2016-06-28 Wlpro Limited System and method for improved end-user experience by proactive management of an enterprise network
US10313905B2 (en) 2012-10-29 2019-06-04 T-Mobile Usa, Inc. Contextual quality of user experience analysis using equipment dynamics
US9538409B2 (en) 2012-10-29 2017-01-03 T-Mobile Usa, Inc. Quality of user experience analysis
US9432865B1 (en) * 2013-12-19 2016-08-30 Sprint Communications Company L.P. Wireless cell tower performance analysis system and method
US10225365B1 (en) * 2014-12-19 2019-03-05 Amazon Technologies, Inc. Machine learning based content delivery
US10511510B2 (en) 2016-11-14 2019-12-17 Accenture Global Solutions Limited Performance of communication network based on end to end performance observation and evaluation

Also Published As

Publication number Publication date
EP3322126B1 (en) 2019-08-14
EP3322126A1 (en) 2018-05-16
US10511510B2 (en) 2019-12-17
AU2017235914A1 (en) 2018-05-31
CN108075925A (zh) 2018-05-25
AU2017235914B2 (en) 2019-04-11
CA2983495A1 (en) 2018-05-14
US20180139116A1 (en) 2018-05-17
CA2983495C (en) 2020-08-25

Similar Documents

Publication Publication Date Title
CN108075925B (zh) 基于端到端性能观察与评估来改进通信网络的性能
US11983730B2 (en) Methods and apparatus to correct for deterioration of a demographic model to associate demographic information with media impression information
US11621903B2 (en) Combining measurements based on beacon data
CN109921941B (zh) 网络业务质量评估和优化方法、装置、介质及电子设备
US20230113822A1 (en) Detecting Communication Network Insights of Alerts
EP3539316B1 (en) Prediction of performance indicators in cellular networks
US9119086B1 (en) Evaluating 3G and voice over long term evolution voice quality
CN109803295B (zh) 一种通信小区整改优先级的评价方法和装置
US9380122B1 (en) Multi-platform overlap estimation
US20210319375A1 (en) Churn prediction in a broadband network
CN107026750B (zh) 一种用户上网QoE评价方法及装置
US20140122594A1 (en) Method and apparatus for determining user satisfaction with services provided in a communication network
US20150371163A1 (en) Churn prediction in a broadband network
US9448906B2 (en) Service quality evaluator having adaptive evaluation criteria
US11887132B2 (en) Processor systems to estimate audience sizes and impression counts for different frequency intervals
US10282746B2 (en) Marketing campaign management system
CN111294730B (zh) 一种网络问题投诉信息处理的方法及装置
US20160117389A1 (en) Automatic Identification of Sources of Web Metric Changes
CN104937613A (zh) 量化数据质量的探试
US10237767B2 (en) Method and score management node for supporting evaluation of a delivered service
US20170034035A1 (en) Real time event monitoring and analysis system
CN114938339A (zh) 一种数据处理方法和相关装置
CN109981327B (zh) 一种业务量的预测方法及系统
Tsolakis Forecasting Traffic Algorithms in Telecommunications
KR102663453B1 (ko) 데이터베이스 사업자에 의한 기인오류 및/또는 논-커버리지에 대해 노출 데이터를 보상하기 위한 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant