CN108780418A - 用于使用流分析实时测量网络问题的有效客户影响的系统和方法 - Google Patents

用于使用流分析实时测量网络问题的有效客户影响的系统和方法 Download PDF

Info

Publication number
CN108780418A
CN108780418A CN201780015521.6A CN201780015521A CN108780418A CN 108780418 A CN108780418 A CN 108780418A CN 201780015521 A CN201780015521 A CN 201780015521A CN 108780418 A CN108780418 A CN 108780418A
Authority
CN
China
Prior art keywords
data
kpi
case report
real
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780015521.6A
Other languages
English (en)
Inventor
C·梅达斯
D·莫塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anritsu Co
Original Assignee
Anritsu Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anritsu Co filed Critical Anritsu Co
Publication of CN108780418A publication Critical patent/CN108780418A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0681—Configuration of triggering conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0686—Additional information in the notification, e.g. enhancement of specific meta-data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0847—Transmission error
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H04L41/5012—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF] determining service availability, e.g. which services are available at a certain point in time
    • H04L41/5016—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF] determining service availability, e.g. which services are available at a certain point in time based on statistics of service availability, e.g. in percentage or over a given time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/11—Identifying congestion
    • H04L47/115—Identifying congestion using a dedicated packet

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种用于识别电信网络内的系统。从包括探测器和网络元件的源获取数据。识别用于实时流聚合的KPI。聚合与这些KPI有关的流数据并且计算去重的订户和量计数的近似，以及按照每个识别的KPI聚合的去重的订户的近似。基于该计算识别在所聚合的数据中发现的钻取对象，并且通过使用指数移动平均数为每个钻取对象生成并存储实时趋势记录。基于该实时趋势记录生成基线平均数。然后可以基于该基线平均数和附加地聚合的实时流数据来检测错误的增加。然后分析每个钻取对象中对所检测到的错误的增加有贡献的偏差，并基于这些偏差的细节生成完整案例报告。

Description

用于使用流分析实时测量网络问题的有效客户影响的系统和 方法
优先权要求
本申请要求2016年3月29日提交的Carlo Medas等人的题为“SYSTEMS ANDMETHODS FOR MEASURING EFFECTIVE CUSTOMER IMPACT OF NETWORK PROBLEMS IN REAL-TIME USING STREAMING ANALYTICS”的美国临时专利申请No.62/314806的优先权的权益，该申请通过引用并入本文中。
技术领域
本发明一般涉及用于测量由电信网络中的问题导致的潜在和/或实际客户影响的系统和方法。
背景技术
电信网络运营商面临着广泛的挑战，以确保持续的相关性和盈利能力。核心收入受到过顶内容(Over the top,OTT)提供商的威胁，伴随着爆炸性的数据使用和基于视频的繁重的网络使用。订户在种类、容量和商业产品方面不断要求更多服务。电信技术的复杂性也在持续加快，导致需要新的硬件投资。饱和市场中的订户群扩张受到创新和卓越的客户体验的推动。
诸如长期演进(LTE)无线标准、融合异构网络、下一代网络(NGN)和网络功能虚拟化(NFV)之类的当前现有技术水平的电信技术有助于降低运营成本，但在竞争市场中了解客户体验可以为网络运营商提供竞争优势。无论网络运营商使用何种技术，客户满意度都可取决于向多样化和分散的客户群提供所期望的服务水平的能力。从住宅客户到跨国公司，客户希望在任何地方、任何时候并以尽可能最好的价格来访问服务。
服务正常运行时间与网络运营商的收入流直接相链接。如果没有服务，则不可能有可收费的事件。但是，体验质量(QoE)可能同样相关。QoE与收入相链接，尽管以较不直接的方式。QoE的恶化最终导致流失，而高QoE恶化可能会阻碍服务的使用。
发明内容
系统和方法可以被用来识别电信(telecom)网络内的问题。从包括探测器和网络元件的许多源获取数据。识别用于实时流聚合的一个或多个关键性能指标(KPI)。对与所识别的一个或多个KPI相关的流数据进行实时聚合，并且计算去重(count-distinct)的订户和量计数的近似，以及按照每个识别的KPI而聚合的去重的订户的近似。
基于该计算识别在所聚合的数据中发现的一个或多个钻取对象(drill object)，并且通过使用指数移动平均数为所识别的一个或多个钻取对象中的每一个生成并存储实时趋势记录。基于该实时趋势记录生成基线平均数。然后可以基于该基线平均数和附加地聚合的实时流数据来检测错误的增加。
然后分析每个钻取对象中对所检测到的错误的增加有贡献的偏差，并基于这些偏差的细节生成完整案例报告。该完整案例报告被显示在用户界面中，并且传播与这些偏差有关的一个或多个报警。通过检查该一个或多个KPI的后续值来更新完整案例报告，直到不再检测到错误的增加为止。然后，对与针对其生成了和更新了完整病例报告的一个或多个KPI有关的数据，执行重现检测和自动案例相关。
附图说明
图1示出了可以应用根据实施例的系统和方法的示例性网络架构。
图2是根据实施例的用于通过使用由系统获得的数据来识别系统使用的问题的方法的流程图。
图3是根据实施例的用于识别用于实时流聚合的关键过程指标(KPI)的流程图。
图4和图5是根据实施例的由系统和方法生成的输出的示例。
图6是根据实施例的由系统和方法生成的案例报告概要的示例。
图7是根据实施例的由系统和方法生成的案例报告分析的示例。
具体实施方式
以下描述是目前考虑的用于实践本发明的各种实施例的最佳模式。该描述不应被理解为是限制性的意义，而是仅仅是为了描述本发明的一般原理的目的而做出的。应参考权利要求确定本发明的范围。在随后的本发明的描述中，相同的标号或参考标记将始终用来指代相同的部件或元件。另外，参考标号的第一位标识部件或元件在其中首次被讨论的图。
在以下描述中，阐述了许多具体细节以提供对本发明的详尽描述。然而，对于本领域技术人员将清楚的是，可以在没有这些具体细节的情况下实践本发明。在其他实例中，没有详细描述众所周知的特征，以免模糊本发明。
图1是示出了示例性电信网络架构100的简化图，本发明的系统和方法的实施例可以被应用于该电信网络架构100以识别影响订户的问题并识别所识别的问题的潜在共性。如图所示，该架构基于作为3GPP的LTE无线通信标准的核心网络架构的系统架构演进(SAE)。然而，应注意，本发明的系统和方法的实施例也可以被应用于包括下一代架构的其他架构。
SAE架构是基于分组的网络架构，具有单独的控制平面和用户平面流量。用户可以经由诸如蜂窝电话或其他无线设备之类的用户设备(UE)102通过连接到SAE架构的称为演进节点B(eNodeB)110的元件来连接到网络。eNodeB的示例是GSM网络中的基站收发信台(BTS)。eNodeB将从UE接收的分组提供给SAE架构的主要组件——演进分组核心(EPC)。UE还可以经由诸如Wi-Fi接入点112之类的某些其他接入点与网络交互。
EPC包括几个子组件，其中一些子组件如图1所示。移动性管理实体(MME)120子组件负责为UE选择服务网关(SGW)122。MME负责经由归属订户服务器(HSS)124来认证用户，归属订户服务器(HSS)124是包含与用户相关和与订阅相关的信息的中央数据库。MME也是负责包括重传的空闲模式UE寻呼和标记(tagging)过程的关键控制节点，并且还提供用于LTE和2G/3G接入之间的移动性的控制平面功能。
SGW路由并转发用户数据分组，同时还在eNodeB间切换期间充当用户平面的移动性锚点，并且充当LTE和其他3GPP技术之间的移动性的锚点。
分组数据网络网关(PGW)123、127通过作为用于UE的流量的出口和入口点来提供从UE到外部分组数据网络(PDN)130、132的连接性。PGW执行用于每个用户的分组过滤和计费支持，并且可以充当3GPP和非3GPP技术之间的移动性的锚点。
其他子组件包括支持服务数据流检测、策略实施和基于流的计费的策略和计费规则功能(PCRF)模块129、确保与通过不受信的非3GPP接入(例如，Wi-Fi接入点)连接到EPC的UE的数据传输的演进的分组数据网关(ePDG)128、以及用于智能地控制对计算机资源的访问、强制实施策略、对使用进行审计以及提供为服务付费所必要的信息的认证、授权和计费(AAA)模块126。
将理解的是，网络的每个模块和子组件可能是故障和其他性能问题的潜在源。针对网络的服务保证需要许多任务，包括故障管理、根本原因分析、性能监控和报警、流量趋势和拥塞控制。这些任务旨在改进服务可用性和所感知到的质量，以便提高所交付的服务的客户体验。
可以从包括诸如图1中上述的网络元件、探测器、传感器、日志文件的各种源甚至从社交网络提取于网络性能相关的数据。当前，可以使用可从获得的诸如eoLive之类的工具从所收集的数据生成关键性能指标(KPI)，并经由计算机界面向用户呈现这些KPI，以向与界面交互的个体提供服务的客户体验的实时视图。网络运营商可以通过使用这样的工具维护服务来保证服务性能，及时响应并解决客户或网络触发的问题，以及跟踪、报告、管理并采取措动作以改进服务的各个方面的性能。
诸如eoLive之类的工具可以被应用于通过识别问题和对问题进行分类来检测网络问题。例如，这样的工具可以将问题分类为互连、拥塞、逻辑错误或物理错误，以便将它们传递给正确的部门并提供平均修复时间(MTTR)的整体缩短，平均修复时间(MTTR)即修复可能导致服务停机或服务降级的网络问题所需的时间。花费太长时间来解决问题可削弱来自服务的收入，并且从长远来看，可能增加由于服务不可用而造成的客户不满意度。
但是，当前正被收集和累积的数据在数量上的增长速度超过了其可被分析的速度。对当今电信网络运营商最大的挑战之一是利用可用于管理、运营、营销、工程和客户关怀的大量数据，以理解针对订户的QoE。在短时间段内识别大量可用数据中的问题可能是困难的。
电信网络中的大数据的特征在于大量数据(通常每天生成数十亿个事件记录)和多种数据(例如，被监控的不同接口、网络和应用技术)。由于数据量如此之大——并且由于数据内容的复杂性——分析已是困难且昂贵的，从而导致网络运营商想要用数据实现的内容与介于网络运营商和目标间的工具和技术之间的令人沮丧的执行差距。
先前开发的用来分析所收集的数据的系统的尝试涉及采集源数据、提取源数据、丰富所提取的数据、将所丰富的数据加载到数据库(即，提取、转换和加载(ETL))中并且然后在顶层处以某种形式的报告工具呈现此信息的复杂且繁琐的过程。专业人员会使用此套工具来得出见解。这通常会导致数据仓库被用于数量非常有限的功能，并且通常只服务组织中的数量有限的用户，即由有限组的专家代表的那些用户，他们理解并能够访问顶层处的报告工具。数据通常处于休眠，从而丢失用于改进服务、成本和客户保持的机会。
根据本发明的系统和方法的实施例可用来提供数据流内的见解，以识别影响客户的问题，并且还对针对服务交付的威胁和机会做出响应。这样的实施例可以利用用于改进服务、成本和客户保持的机会。
根据实施例，根据本发明的系统和方法可以应用连续的信息提取过程，以最大化对数据源的投资，从而改进订户QoE和网络健壮性。这样的实施例对于需要分析来自他们的网络的大量数据的网络运营商是有用的。例如，运营主管可以从影响网络性能和订户体验的关键见解中受益，策略人员可以从在无专业人员涉及的情况下识别问题和可能原因的能力中受益，并且财务主管可以从实时分析中受益——该实时分析利用可以比以前分析数据的技术更快地提供结果的流分析技术。
根据实施例，系统和方法可以在基础设施内应用设备和工具并且应用用于处理从这样的设备和工具获取的数据的技术，这样的技术在本文中统称为受影响的订户和根本原因分析(“SIRCA”)。SIRCA可用来获取数据、生成关键过程指标(KPI)并应用数据科学和机器学习调查模式，以改进对即时的和持续的问题和故障的识别和解决。
系统和方法可以应用SIRCA来提供实时分类，该实时分类旨在识别影响订户的问题突发(flare-up)并尝试识别这些问题之间的共性的。SIRCA依赖于受问题影响的不同订户的实时流聚合，并通过离群值检测来提供由自学习阈值驱动的警报。除了数据采集基础设施之外，SIRCA还可以向网络运营商组织内的个体提供可访问的界面。在一个实施例中，该界面可以是例如可以利用用户订阅和可以显示帖子、新闻馈送、评论等的墙的社交网络风格的用户界面(UI)。SIRCA可以利用实时趋势、重现检测和交叉接口案例相关来提供根本原因分析。
图2是根据系统和方法的实施例的用于识别通过使用SIRCA的系统获取的数据内的问题的方法的流程图。该方法包括识别用于实时流聚合的KPI(步骤200)。所识别的KPI在分析流数据记录期间被应用。该方法可以利用大数据流分析引擎(例如，Apache Storm事件处理器)通过仅存储器内的聚合和分析在实时数据处理中提供完全水平的可伸缩性，而不需要存储原始记录。原始数据不被存储，而是可以在从数据源读取时被即时分析。
图3是根据实施例的用于识别用于实时流聚合的KPI流程图。通过输入过滤步骤来识别(或定义)KPI，在输入过滤步骤中过滤掉所有成功并且仅错误记录被处理(步骤300)。然后通过识别字段来生成聚合公式以对不同数量的订户进行计数(步骤302)。通过利用近似的去重技术(例如像线性插值或HyperLogLog)，订户的数量是去重的。然后通过识别数据量(计数)生成量聚合公式(步骤304)。然后通过识别字段来生成聚合键，以对KPI进行子分区以进行分发和趋势分析(步骤306)。最后，通过指定聚合时间窗口的时间跨度(例如，1分钟、15秒)以确定聚合粒度(步骤308)。
再次参考图2，去重的订户和量计数是近似的(步骤202)。通过按照每个识别的KPI进行聚合，去重的订户也被近似(步骤204)。
根据实施例，通过可伸缩的有向无环图(DAG)在存储器中实时聚合数据记录。需要时，可以通过利用分布式同步和组服务软件(例如Apache ZooKeeper)来实现流水线反馈。然后在每次窗口关闭时分析聚合输出(即，KPI数据)。
对于在数据记录中发现的每个钻取对象，实时趋势记录被保存在存储器中，使得基线平均值是始终知晓的。如果发现相关的错误增加，则有可能分析对该增加有过贡献的每个单个钻取对象的偏差。通过指数移动平均数(EMA)来实现实时趋势。通过利用标准指数加权移动平均数(EWMA)离群值检测，自学习阈值针对每个KPI分析主要错误计数(步骤206)。
如果当前值在允许范围内(即，没有阈值违规(步骤208))，则基本KPI数据(即，在该时间帧中经历该问题的订户的去重数量)被转发到KPI存储组件以用于随后使用(步骤210)。SIRCA将完整时间序列用于UI并且也用于数据科学特征，例如重现检测、自相关和长期趋势分析。UI可以显示示出一个时间范围内的KPI值的完整时间序列的图，其不只是包括错误的时间范围。
相反，如果当前值被识别为离群值(即，为阈值违规(步骤208))，则打开状态案例报告。实时分析针对于每个钻取对象利用保存在存储器中的实时趋势记录，从而不仅可以立即了解最有贡献的对象，而且还可以评估带来了停机的这些个体的偏差(步骤212)。还计算钻取影响分数。影响分数是每个钻取维度对具体问题有多大影响的标量概要度量(例如，在0-5范围内)。通过停机时刻处的钻取错误偏差/整体错误偏差的加权的和趋势化的比率来计算影响分数。
完整案例报告细节可以被转发到后端和存储组件以被存储并显示在主UI中并作为报警而被传播(如果被配置为这样做)(步骤214)。然后，聚合分析组件持续检查KPI的后续值，以保持状态案例报告最新。只要离群值检测报告错误，就更新案例报告(步骤216)。当离群值检测结束时，案例报告被视为关闭，并且关于关闭的信息再次被传播到UI和后端以用于存储(步骤218)。
重现检测和自动案例相关是在案例关闭时被执行的分析任务。重现检测利用后端KPI和案例报告存储来向用户提供有关以下问题的信息：在过去24小时内发生了多少次此种问题？这是每天发生的吗？这是每周发生的吗？
通过在与主案例相同的时间间隔内分析所有可用的SIRCA案例并在最相关的钻取中查找共同对象，自动案例相关可以被应用来查找具体案例的相关案例。相关案例报告可以在UI中以专用图或表显示，以便向用户提供在其系统中的并发的相关问题的概览。
每秒故障(FPS)也可以在专用于案例报告分析的UI中被报告和趋势化。将每个订户的失败尝试量的平均数量与先前值进行比较，以评估由活动订户执行的错误重试的数量是否增加或减少。
根据本发明的系统和方法的实施例寻找负面事件云——影响一定量用户的问题——然后试图在源数据中寻找共同的“共现(co-occurrence)”特征。当检测到在其中发生问题的用户群时，实施例尝试自动识别事件中的共同因素。这样的分析通常可以在适当强大的业务智能工具中对个体采取15分钟的数量级的切片和切块。可以在所有数据源上连续执行此类分析。
根据实施例，UI是类似社交网络的、移动就绪的web界面，其中每个用户具有用来登录软件的私人账户。用户可以定制他或她感兴趣的频道，以接收来自例如在属于频道的具体协议或订户组(例如，VIP组)上运行的每个SIRCA实例的帖子和通知。
根据实施例，主窗口可以显示以下各项中的一项或多项：有关关于案例报告的统计数据的滚动新闻条、随时间推移案例报告的每月/每周概览、以及帖子列表。用户可以在Web UI主窗口中接收类似帖子的案例报告。每个帖子都可以显示为案例报告的概要文本，描述什么时间发生以及发生了什么、影响了/影响多少订户以及可视化地示出突显违规期的时间序列的迷你图。
每个帖子都可以被消除使得用户将不再收到有关相同案例报告的通知。每个帖子都可以被“打星号”使得其他用户可以查看谁对帖子“打星号”。每个帖子都可以被评论，并且所有用户都能够访问以阅读其他用户对帖子的评论。此外，发布并广播特征不仅可用于添加评论，还可以用于向所有用户广播该帖子，即使那些用户没有订阅该频道。
图4和图5示出了根据实施例的由系统和方法生成的输出的示例。这样的输出可以出现在帖子上，并且完全是人可读的，使得用户能够立即了解正在被传达的问题，然后决定例如你是否喜欢该帖子并想采取进一步行动，或者你是否想抑制它(即不关注该线索)。
图4示出了被发布到用户墙的两个发现。第一个发现示出了MAP(漫游)互连记录的问题，其中1148个个体订户的峰值受到漫游错误的影响。图5示出了由系统和方法识别的共同共现特征，以及系统认为可能的根本原因。对于每种可能原因显示趋势以及它们的列表。通过观察帖子，用户可以快速辨别什么可能与问题原因有关。
根据实施例，在UI的主窗口中，有可能查看SIRCA案例的概览。图6是对于发现的每个案例在主UI中示出的案例报告概要视图的示例。在实施例中，专用的“分析”按钮可用于打开专用分析页面，在该页面关于案例的所有细节和信息可以被检查和分析。图7是案例报告分析的示例，其中UI提供专用页面/视图，该专用页面/视图提供单个案例报告的完整分析。这些细节和信息可包括案例报告描述和信息、示出受影响订户数量随时间推移的时间序列的完整图表、显示最相关的钻取分析结果、重现分析结果的气泡图或饼图和、表以及相关案例图和表。
此外，有可能通过向电子邮件地址发送web链接来共享案例报告。还允许用户将受影响订户的时间序列导出为用于传送以供分析的数据的格式，诸如逗号分隔值(CSV)文件格式。还有可能打开外部数据发现工具(例如Tableau)，以跟进对问题的切片和切块调查。
在一些实施例中，本发明包括计算机程序产品，该计算机程序产品是存储介质或计算机可读介质(媒介)，其上/其中存储有指令，该指令可用于对计算机进行编程以执行本发明的任何过程。存储介质可以包括但不限于任何类型的磁盘，包括软盘、光盘、DVD、CD-ROMs、驱动器和磁光盘、ROMs、RAMs、EPROMs、EEPROMs、DRAMs、VRAMs、闪存设备、磁或光卡，纳米系统(包括分子存储器IC)，或适用于存储指令和/或数据的任何类型的介质或设备。
提供对优选实施例的先前描述是为了使本领域任何技术人员能够制作或使用本发明的实施例。尽管已经参考本发明的优选实施例特定示出和描述了本发明，但是本领域技术人员将理解，在不脱离本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (16)

1.一种用于识别电信(telecom)网络内的问题系统，包括：
安装在所述电信网络内的多个探测器，所述多个探测器生成与性能有关的数据；
数据挖掘工具，适于从一个或多个社交网络捕获表示与所述电信网络有关的客户输入的数据；
用于经由可伸缩的有向无环图(DAG)实时聚合数据的存储器；
分析工具，包括非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括其上的指令，所述指令当在被执行时使所述分析工具执行以下步骤：
识别用于实时流聚合的一个或多个关键性能指标(KPI)；
对与所识别的一个或多个KPI有关的流数据进行实时聚合；
使用所聚合的数据，计算去重的订户和量计数的近似；
使用所聚合的数据，计算按照每个识别的KPI进行聚合的去重的订户的近似；
基于所述计算，识别在所聚合的数据中发现的一个或多个钻取对象；
使用指数移动平均数，为所识别的一个或多个钻取对象中的每一个生成并存储实时趋势记录；
基于所述实时趋势记录，生成基线平均数；
基于所述基线平均数和附加地聚合的实时流数据，检测错误的增加；
分析每个钻取对象中对所检测到的错误的增加有贡献的偏差；
基于所述偏差的细节生成完整案例报告，所述完整案例报告被显示在用户界面中；
传播与所述偏差有关的一个或多个报警；
通过检查所述一个或多个KPI的后续值来更新所述完整案例报告，直到不再检测到错误的增加为止；以及
对与针对其生成并且更新了所述完整案例报告的所述一个或多个KPI有关的数据，执行重现检测和自动案例相关。
2.如权利要求1所述的系统，
其中，经由通过指数加权移动平均值离群值检测设置的自学习阈值来检测所述错误的增加；
其中，针对所述一个或多个KPI中的每一个的主要错误计数，分析所述自学习阈值；
其中，如果当前值超过所述自学习阈值，则打开状态案例报告，并基于停机时刻处的钻取错误偏差和/或整体错误偏差的加权的和趋势化的比率，来计算每个钻取对象的影响分数。
3.如权利要求1所述的系统，其中识别用于实时流聚合的一个或多个关键性能指标(KPI)包括：
过滤掉成功的记录，使得仅错误的记录被处理；
识别字段以对不同数量的订户进行计数；
识别数据量；
识别字段以对所述一个或多个KPI进行子分区以进行分发和趋势分析；以及
指定聚合时间窗口的时间跨度以确定聚合粒度。
4.如权利要求1所述的系统，还包括：
用户能够访问的用户界面；以及
发布所述完整案例报告，使得用户能够经由所述用户界面访问所述完整案例报告。
5.如权利要求4所述的系统，其中所述完整案例报告被发布到订阅与所述完整案例报告相关联的案例报告类型的用户能够访问的墙上。
6.如权利要求5所述的系统，进一步包括用于推送所述完整案例报告的工具，使得所述完整案例报告被发布到作为所述案例报告类型的非订户的用户的墙上以及作为所述案例报告类型的订户的用户的墙上。
7.一种用于识别电信(telecom)网络内的问题方法，包括：
使用安装在所述电信网络内的多个探测器，所述多个探测器生成与性能有关的数据；
使用数据挖掘工具，所述数据挖掘工具适于从一个或多个社交网络捕获表示与所述电信网络有关的客户输入的数据；
识别用于实时流聚合的一个或多个关键性能指标(KPI)；
对与所识别的一个或多个KPI有关的流数据进行实时聚合；
使用所聚合的数据，计算去重的订户和量计数的近似；
使用所聚合的数据，计算按照每个识别的KPI进行聚合的去重的订户的近似；
基于所述计算，识别在所聚合的数据中发现的一个或多个钻取对象；
使用指数移动平均数，为所识别的一个或多个钻取对象中的每一个生成并存储实时趋势记录；
基于所述实时趋势记录，生成基线平均数；
基于所述基线平均数和附加地聚合的实时流数据，检测错误的增加；
分析每个钻取对象中对所检测到的错误的增加有贡献的偏差；
基于所述偏差的细节生成完整案例报告，所述完整案例报告被显示在用户界面中；
传播与所述偏差有关的一个或多个报警；
通过检查所述一个或多个KPI的后续值来更新所述完整案例报告，直到不再检测到错误的增加为止；以及
对与针对其生成并且更新了所述完整案例报告的所述一个或多个KPI有关的数据，执行重现检测和自动案例相关。
8.如权利要求7所述的方法，
其中，经由通过指数加权移动平均值离群值检测设置的自学习阈值，来检测所述错误的增加；
其中，针对所述一个或多个KPI中的每一个的主要错误计数，分析所述自学习阈值；
其中，如果当前值超过所述自学习阈值，则打开状态案例报告，并基于停机时刻处的钻取错误偏差和/或整体错误偏差的加权的和趋势化的比率，来计算每个钻取对象的影响分数。
9.如权利要求7所述的方法，其中识别用于实时流聚合的一个或多个关键性能指标(KPI)包括：
过滤掉成功的记录，使得仅错误的记录被处理；
识别字段以对不同数量的订户进行计数；
识别数据量；
识别字段以对所述一个或多个KPI进行子分区以进行分发和趋势分析；以及
指定聚合时间窗口的时间跨度以确定聚合粒度。
10.如权利要求7所述的方法，还包括：
发布所述完整案例报告，使得用户能够经由用户界面访问所述完整案例报告。
11.如权利要求10所述的方法，其中所述完整案例报告被发布到订阅与所述完整案例报告相关联的案例报告类型的用户能够访问的墙上。
12.一种包括存储其上的指令的非暂态计算机可读介质，所述指令用于识别电信(telecom)网络内的问题，所述指令在被计算机执行时，使所述计算机执行包括以下各项的步骤：
使用安装在所述电信网络内的多个探测器，所述多个探测器生成与性能有关的数据；
使用数据挖掘工具，所述数据挖掘工具适于从一个或多个社交网络捕获表示与所述电信网络有关的客户输入的数据；
识别用于实时流聚合的一个或多个关键性能指标(KPI)；
对与所识别的一个或多个KPI有关的流数据进行实时聚合；
使用所聚合的数据，计算去重的订户和量计数的近似；
使用所聚合的数据，计算按照每个识别的KPI进行聚合的去重的订户的近似；
基于所述计算，识别在所聚合的数据中发现的一个或多个钻取对象；
使用指数移动平均数，为所识别的一个或多个钻取对象中的每一个生成并存储实时趋势记录；
基于所述实时趋势记录，生成基线平均数；
基于所述基线平均数和附加地聚合的实时流数据，检测错误的增加；
分析每个钻取对象中对所检测到的错误的增加有贡献的偏差；
基于所述偏差的细节生成完整案例报告，所述完整案例报告被显示在用户界面中；
传播与所述偏差有关的一个或多个报警；
通过检查所述一个或多个KPI的后续值来更新所述完整案例报告，直到不再检测到错误的增加为止；以及
对与针对其生成并且更新了所述完整案例报告的所述一个或多个KPI有关的数据，执行重现检测和自动案例相关。
13.如权利要求12所述的非暂态计算机可读介质，还包括存储在其上的指令，该指令在被计算机执行时使所述计算机执行还包括以下各项的步骤：
其中，经由通过指数加权移动平均值离群值检测设置的自学习阈值，来检测所述错误的增加；
其中，针对所述一个或多个KPI中的每一个的主要错误计数，分析所述自学习阈值；
其中，如果当前值超过所述自学习阈值，则打开状态案例报告，并基于停机时刻处的钻取错误偏差和/或整体错误偏差的加权的和趋势化的比率，来计算每个钻取对象的影响分数。
14.如权利要求12所述的非暂态计算机可读介质，还包括存储在其上的指令，该指令在被计算机执行时使所述计算机执行还包括以下各项的步骤：
过滤掉成功的记录，使得仅错误的记录被处理；
识别字段以对不同数量的订户进行计数；
识别数据量；
识别字段以对所述一个或多个KPI进行子分区以进行分发和趋势分析；以及
指定聚合时间窗口的时间跨度以确定聚合粒度。
15.如权利要求12所述的非暂态计算机可读介质，还包括存储在其上的指令，该指令在被计算机执行时使所述计算机执行还包括以下各项的步骤：
发布所述完整案例报告，使得用户能够经由用户界面访问所述完整案例报告。
16.如权利要求15所述的非暂态计算机可读介质，其中所述完整案例报告被发布到订阅与所述完整案例报告相关联的案例报告类型的用户能够访问的墙上。
CN201780015521.6A 2016-03-29 2017-03-24 用于使用流分析实时测量网络问题的有效客户影响的系统和方法 Pending CN108780418A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662314806P 2016-03-29 2016-03-29
US62/314,806 2016-03-29
PCT/US2017/024158 WO2017172541A1 (en) 2016-03-29 2017-03-24 Systems and methods for measuring effective customer impact of network problems in real-time using streaming analytics

Publications (1)

Publication Number Publication Date
CN108780418A true CN108780418A (zh) 2018-11-09

Family

ID=59966352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780015521.6A Pending CN108780418A (zh) 2016-03-29 2017-03-24 用于使用流分析实时测量网络问题的有效客户影响的系统和方法

Country Status (5)

Country Link
US (1) US10686681B2 (zh)
EP (1) EP3436951B1 (zh)
JP (1) JP6690011B2 (zh)
CN (1) CN108780418A (zh)
WO (1) WO2017172541A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641628A (zh) * 2021-08-13 2021-11-12 中国联合网络通信集团有限公司 数据质量检测方法、装置、设备及存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368372B2 (en) * 2016-06-03 2022-06-21 Nutanix, Inc. Detection of outlier nodes in a cluster
US10530666B2 (en) 2016-10-28 2020-01-07 Carrier Corporation Method and system for managing performance indicators for addressing goals of enterprise facility operations management
US10567992B2 (en) * 2018-01-25 2020-02-18 Hewlett Packard Enterprise Development Lp Network device KPI monitors based on bitmaps
US10972588B2 (en) 2018-06-27 2021-04-06 T-Mobile Usa, Inc. Micro-level network node failover system
US10860712B2 (en) 2018-07-11 2020-12-08 Vmware, Inc. Entropy based security detection system
US10897389B2 (en) * 2018-09-14 2021-01-19 Cisco Technology, Inc. Threshold selection for KPI candidacy in root cause analysis of network issues
US11388040B2 (en) 2018-10-31 2022-07-12 EXFO Solutions SAS Automatic root cause diagnosis in networks
US11620180B2 (en) 2018-11-29 2023-04-04 Vmware, Inc. Holo-entropy adaptive boosting based anomaly detection
US11258655B2 (en) * 2018-12-06 2022-02-22 Vmware, Inc. Holo-entropy based alarm scoring approach
US11645293B2 (en) 2018-12-11 2023-05-09 EXFO Solutions SAS Anomaly detection in big data time series analysis
EP3748562A1 (en) 2019-05-08 2020-12-09 EXFO Solutions SAS Timeline visualization & investigation systems and methods for time lasting events
US11138163B2 (en) 2019-07-11 2021-10-05 EXFO Solutions SAS Automatic root cause diagnosis in networks based on hypothesis testing
ZA202100191B (en) 2020-01-20 2023-12-20 EXFO Solutions SAS Method and device for estimating a number of distinct subscribers of a telecommunication network impacted by network issues
US11416504B2 (en) 2020-02-12 2022-08-16 EXFO Solutions SAS Detection, characterization, and prediction of real-time events occurring approximately periodically
EP3866395B1 (en) 2020-02-12 2024-05-22 EXFO Solutions SAS Method and system for determining root-cause diagnosis of events occurring during the operation of a communication network
US11281564B2 (en) 2020-06-22 2022-03-22 HCL Technologies Italy S.p.A. Method and system for generating key performance indicators (KPIs) for software based on debugging information
US20220091873A1 (en) 2020-09-24 2022-03-24 Google Llc Systems and methods for cross media reporting by fast merging of data sources
US11936542B2 (en) 2021-04-02 2024-03-19 Samsung Electronics Co., Ltd. Method of solving problem of network and apparatus for performing the same
CN115333922B (zh) * 2022-10-13 2023-01-06 广州极能信息技术有限公司 运维支撑网告警数据挖掘方法、系统及存储介质

Family Cites Families (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5909192A (en) 1988-03-31 1999-06-01 Wiltron Company Method of displaying graphs with markers
US6049212A (en) 1995-07-20 2000-04-11 Wiltron Company Connector saving adapters and SWR bridge configuration allowing multiple connector types to be used with a single SWR bridge
US5742814A (en) * 1995-11-01 1998-04-21 Imec Vzw Background memory allocation for multi-dimensional signal processing
US5801525A (en) 1996-06-12 1998-09-01 Wiltron Company Frequency discriminating power sensor
US5812039A (en) 1997-02-18 1998-09-22 Oldfield; William Apparatus for providing a ground for circuits on carriers
US5977779A (en) 1997-10-24 1999-11-02 Anritsu Company Handheld vecor network analyzer (VNA) operating at a high frequency by mixing LO and RF signals having offset odd harmonics
US6509821B2 (en) 1998-02-20 2003-01-21 Anritsu Company Lumped element microwave inductor with windings around tapered poly-iron core
US6529844B1 (en) 1998-09-02 2003-03-04 Anritsu Company Vector network measurement system
US6714898B1 (en) 1998-09-02 2004-03-30 Anritsu Company Flexible noise figure measurement apparatus
US6316945B1 (en) 1998-09-02 2001-11-13 Anritsu Company Process for harmonic measurement accuracy enhancement
US6331769B1 (en) 1999-06-18 2001-12-18 Anritsu Company RMS power sensor with 84 dB dynamic range
US6291984B1 (en) 1999-06-18 2001-09-18 Anritsu Company Dual mode diode power sensor with square law and linear operating regions
US6504449B2 (en) 2000-02-07 2003-01-07 Anritsu Company Phase compensated switched attenuation pad
US6888342B2 (en) 2000-09-01 2005-05-03 Anritsu Company Spectrum analyzer and vector network analyzer combined into a single handheld unit
US20050266494A1 (en) * 2000-09-06 2005-12-01 Hodge Timothy A System and method for computer network ordering of biological testing
US6943563B2 (en) 2001-05-02 2005-09-13 Anritsu Company Probe tone S-parameter measurements
US6525631B1 (en) 2001-09-21 2003-02-25 Anritsu Company System and method for improved microstrip termination
US6650123B2 (en) 2002-01-15 2003-11-18 Anritsu Company Methods for determining characteristics of interface devices used with vector network analyzers
US6665628B2 (en) 2002-01-15 2003-12-16 Anritsu Company Methods for embedding and de-embedding balanced networks
US6496353B1 (en) 2002-01-30 2002-12-17 Anritsu Company Capacitive structure for use with coaxial transmission cables
US6700366B2 (en) 2002-02-05 2004-03-02 Anritsu Company Very fast swept spectrum analyzer
US6680679B2 (en) 2002-03-01 2004-01-20 Anritsu Company Method and apparatus for electrical conversion of non-return to zero encoded signal to return to zero encoded signal
US20040126840A1 (en) * 2002-12-23 2004-07-01 Affymetrix, Inc. Method, system and computer software for providing genomic ontological data
US6832170B2 (en) 2002-05-02 2004-12-14 Anritsu Company Methods for embedding and de-embedding using a circulator
US6670796B2 (en) 2002-05-24 2003-12-30 Anritsu Company Ultra fast and high efficiency inductive coil driver
US6766262B2 (en) 2002-05-29 2004-07-20 Anritsu Company Methods for determining corrected intermodulation distortion (IMD) product measurements for a device under test (DUT)
US6700531B2 (en) 2002-07-17 2004-03-02 Anritsu Company Integrated multiple-up/down conversion radar test system
US6917892B2 (en) 2002-09-16 2005-07-12 Anritsu Company Single port single connection VNA calibration apparatus
US6928373B2 (en) 2003-01-30 2005-08-09 Anritsu Company Flexible vector network analyzer measurements and calibrations
US7088111B2 (en) 2003-05-09 2006-08-08 Anritsu Company Enhanced isolation level between sampling channels in a vector network analyzer
US6839030B2 (en) 2003-05-15 2005-01-04 Anritsu Company Leaky wave microstrip antenna with a prescribable pattern
US6894581B2 (en) 2003-05-16 2005-05-17 Anritsu Company Monolithic nonlinear transmission lines and sampling circuits with reduced shock-wave-to-surface-wave coupling
US6882160B2 (en) 2003-06-12 2005-04-19 Anritsu Company Methods and computer program products for full N-port vector network analyzer calibrations
US7002517B2 (en) 2003-06-20 2006-02-21 Anritsu Company Fixed-frequency beam-steerable leaky-wave microstrip antenna
US20050287575A1 (en) * 2003-09-08 2005-12-29 Affymetrix, Inc. System and method for improved genotype calls using microarrays
US7108527B2 (en) 2003-11-12 2006-09-19 Anritsu Company Sex changeable adapter for coaxial connectors
US7284141B2 (en) 2004-02-05 2007-10-16 Anritsu Company Method of and apparatus for measuring jitter and generating an eye diagram of a high speed data signal
US7011529B2 (en) 2004-03-01 2006-03-14 Anritsu Company Hermetic glass bead assembly having high frequency compensation
US7016024B2 (en) 2004-05-18 2006-03-21 Net Test (New York) Inc. Accuracy automated optical time domain reflectometry optical return loss measurements using a “Smart” Test Fiber Module
US7307493B2 (en) 2004-10-29 2007-12-11 Anritsu Company Broadband 180° degree hybrid microwave planar transformer
US7068046B2 (en) 2004-11-18 2006-06-27 Anritsu Company Calibration techniques for simplified high-frequency multiport differential measurements
US7019510B1 (en) 2004-12-14 2006-03-28 Anritsu Company Portable ultra wide band handheld VNA
US7509107B2 (en) 2005-01-05 2009-03-24 Anritsu Company Method and apparatus for extending the lower frequency operation of a sampler based VNA
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
US7173423B2 (en) 2005-05-06 2007-02-06 General Electric Company System and methods for testing operation of a radio frequency device
US7521939B2 (en) 2005-12-22 2009-04-21 Anritsu Company Circuits to increase VNA measurement bandwidth
US7126347B1 (en) 2005-12-30 2006-10-24 Anritsu Company Precision wideband 50 Ohm input and 50 Ohm output or 100 Ohm output differential reflection bridge
US7304469B1 (en) 2006-05-18 2007-12-04 Anritsu Company Adaptive method used to overcome channel to channel isolation
US7764141B2 (en) 2006-10-19 2010-07-27 Anritsu Company Interleaved non-linear transmission lines for simultaneous rise and fall time compression
US7683633B2 (en) 2006-10-19 2010-03-23 Anritsu Company Apparatus for extending the bandwidth of vector network analyzer receivers
US7511577B2 (en) 2006-10-20 2009-03-31 Anritsu Company DC coupled microwave amplifier with adjustable offsets
US7924024B2 (en) 2007-02-20 2011-04-12 Anritsu Company Automatic calibration techniques with improved accuracy and lower complexity for high frequency vector network analyzers
US7705582B2 (en) 2007-04-16 2010-04-27 Anritsu Company Broadband micro-machined thermal power sensor
US7545151B2 (en) 2007-04-20 2009-06-09 Anritsu Company Characterizing test fixtures
US8156167B2 (en) 2007-05-23 2012-04-10 Anritsu Company Analog pseudo random bit sequence generator
US7983668B2 (en) 2007-08-30 2011-07-19 Anritsu Company System and method for collecting, archiving, and accessing data on base transceiver station performance
US7683602B2 (en) 2007-09-17 2010-03-23 Anritsu Company Miniature RF calibrator utilizing multiple power levels
US7746052B2 (en) 2007-10-16 2010-06-29 Anritsu Company Apparatus for extending the bandwidth of a spectrum analyzer
US8159208B2 (en) 2007-12-20 2012-04-17 Anritsu Company Hand-held microwave spectrum analyzer with operation range from 9 KHz to over 20 GHz
US8145166B2 (en) 2007-12-20 2012-03-27 Anritsu Company Enhanced programmable automatic level control
US7957462B2 (en) 2007-12-21 2011-06-07 Anritsu Company Integrated compact eye pattern analyzer for next generation networks
PL2272189T3 (pl) 2008-03-31 2017-08-31 Nokia Technologies Oy Układ antenowy i sposób testowania
US8169993B2 (en) 2008-04-16 2012-05-01 Anritsu Company Method and apparatus to estimate wireless base station signal quality over the air
US8027390B2 (en) 2008-06-03 2011-09-27 Anritsu Company Method and system to extend a useable bandwidth of a signal generator
US8294469B2 (en) 2008-10-06 2012-10-23 Anritsu Company Passive intermodulation (PIM) distance to fault analyzer with selectable harmonic level
US8410786B1 (en) 2008-10-06 2013-04-02 Anritsu Company Passive intermodulation (PIM) distance to fault analyzer with selectable harmonic level
US8058880B2 (en) 2008-10-06 2011-11-15 Anritsu Company Calibrated two port passive intermodulation (PIM) distance to fault analyzer
US9571142B2 (en) 2008-10-24 2017-02-14 Anritsu Company Apparatus to detect interference in wireless signals
US8718586B2 (en) 2009-06-30 2014-05-06 Anritsu Company Apparatus for enhancing the dynamic range of shockline-based sampling receivers
US8306134B2 (en) 2009-07-17 2012-11-06 Anritsu Company Variable gain control for high speed receivers
US8185078B2 (en) 2009-10-22 2012-05-22 Anritsu Company Dynamic spur avoidance for high speed receivers
US8305115B2 (en) 2010-05-28 2012-11-06 Anritsu Company Elimination of fractional N boundary spurs in a signal synthesizer
US8417189B2 (en) 2010-06-10 2013-04-09 Anritsu Company Frequency-scalable shockline-based VNA
US8760148B1 (en) 2010-07-21 2014-06-24 Anritsu Company Pulse modulated PIM measurement instrument
US8278944B1 (en) 2010-07-30 2012-10-02 Anritsu Company Vector network analyzer having multiplexed reflectometers for improved directivity
US8498582B1 (en) 2010-08-26 2013-07-30 Anritsu Company Optimized multi frequency PIM tester topology
US9594370B1 (en) 2010-12-29 2017-03-14 Anritsu Company Portable user interface for test instrumentation
US8816672B1 (en) 2011-04-27 2014-08-26 Anritsu Company Systems and methods for accounting for residual passive intermodulation in passive intermodulation measuring instruments
US8629671B1 (en) 2011-05-20 2014-01-14 Anritsu Company Method and device for calibrating a passive intermodulation (PIM) measuring instrument
US8816673B1 (en) 2011-05-24 2014-08-26 Anritsu Company Frequency extension module for microwave and millimeter wave spectrum analyzers
WO2013016245A1 (en) * 2011-07-22 2013-01-31 Anne-Marie Turgeon Systems and methods for network monitoring and testing using intelligent sequencing
US8493111B1 (en) 2011-07-27 2013-07-23 Anritsu Company Ultra high frequency resolution fractional N synthesizer
US8630591B1 (en) 2011-07-28 2014-01-14 Anritsu Company Calibration methods for RF receiver gain ranging systems
GB2498513A (en) * 2011-12-14 2013-07-24 Actix Ltd Mobile phone network management and optimisation
US8666322B1 (en) 2012-01-27 2014-03-04 Anritsu Company System and method for measuring and locating passive intermodulation (PIM) sources in a network and/or device
JP6277137B2 (ja) * 2012-02-17 2018-02-07 ヴェンコア ラブズ、インク．Ｖｅｎｃｏｒｅ Ｌａｂｓ， Ｉｎｃ． フィールド・エリア・ネットワークにおけるパケット取得、解析及び侵入検出の方法及びシステム
US9685717B2 (en) 2012-03-14 2017-06-20 R+D Sockets, Inc. Apparatus and method for a conductive elastomer on a coaxial cable or a microcable to improve signal integrity probing
US9153890B2 (en) 2012-04-18 2015-10-06 R+DCircuits, Inc. Singulated elastomer electrical contactor for high performance interconnect systems and method for the same
US8942109B2 (en) 2012-04-25 2015-01-27 Anritsu Company Impairment simulation for network communication to enable voice quality degradation estimation
US9287604B1 (en) 2012-06-15 2016-03-15 Anritsu Company Frequency-scalable transition for dissimilar media
US9696403B1 (en) 2012-06-21 2017-07-04 Anritsu Company Replaceable internal open-short-load (OSL) calibrator and power monitor
US9026851B2 (en) * 2012-09-05 2015-05-05 Wipro Limited System and method for intelligent troubleshooting of in-service customer experience issues in communication networks
US8903324B1 (en) 2012-09-24 2014-12-02 Anritsu Company Passive intermodulation (PIM) distance-to-fault analyzer and method to resolve distance-to-fault within a constrained receive band
US8903149B1 (en) 2013-01-18 2014-12-02 Anritsu Company System and method of communicating information about an object concealed by a scanned surface
US9103873B1 (en) 2013-03-01 2015-08-11 Anritsu Company Systems and methods for improved power control in millimeter wave transceivers
US9210598B1 (en) 2013-03-14 2015-12-08 Anritsu Company Systems and methods for measuring passive intermodulation (PIM) and return loss
US8884664B1 (en) 2013-03-15 2014-11-11 Anritsu Company Systems and methods for generating low band frequency sine waves
US9176174B1 (en) 2013-03-15 2015-11-03 Anritsu Company Systems and methods for simultaneously measuring forward and reverse scattering parameters
US9753071B1 (en) 2013-03-15 2017-09-05 Anritsu Company System and method for improved resolution pulsed radio frequency (RF) measurements with phase coherence
US9606212B1 (en) 2013-03-15 2017-03-28 Anritsu Company Systems and methods for time/frequency indexed pulse calibrations for vector network analyzers
US9331633B1 (en) 2013-03-15 2016-05-03 Anritsu Company System and method for eliminating intermodulation
US9733289B1 (en) 2013-08-02 2017-08-15 Anritsu Company Devices, systems, and methods for sychronizing a remote receiver to a master signal for measuring scattering parameters
US9366707B1 (en) 2013-08-02 2016-06-14 Anritsu Company Devices, systems, and methods for sychronizing a remote receiver to a master signal for measuring scattering parameters
US9588212B1 (en) 2013-09-10 2017-03-07 Anritsu Company Method of calibrating a measurement instrument for determining direction and distance to a source of passive intermodulation (PIM)
US9239371B1 (en) 2013-10-28 2016-01-19 Anritsu Company High power input protection for signal measurement devices
US20150149609A1 (en) * 2013-11-22 2015-05-28 Microsoft Corporation Performance monitoring to provide real or near real time remediation feedback
US20150248680A1 (en) * 2014-02-28 2015-09-03 Alcatel-Lucent Usa Inc. Multilayer dynamic model of customer experience
US20150248462A1 (en) * 2014-02-28 2015-09-03 Alcatel Lucent Dynamically improving streaming query performance based on collected measurement data
US10346785B2 (en) * 2014-05-27 2019-07-09 Genesys Telecommunications Laboratories, Inc. Multi-tenant based analytics for contact centers
US9337941B2 (en) 2014-06-20 2016-05-10 The United States Of America As Represented By The Secretary Of The Navy Antenna systems and methods for over-the-air transmitter signal measurement
US9560537B1 (en) 2014-10-17 2017-01-31 Anritsu Company Systems and methods for determining a location of a signal emitter based on signal power
US10517011B2 (en) * 2014-11-13 2019-12-24 Telefonaktiebolaget Lm Ericsson (Publ) Automated measurement and analysis of end-to-end performance of VoLTE service
US20160171414A1 (en) * 2014-12-11 2016-06-16 Saudi Arabian Oil Company Method for Creating an Intelligent Energy KPI System
US9455792B1 (en) 2015-01-21 2016-09-27 Anritsu Company System and method for measuring passive intermodulation (PIM) in a device under test (DUT)
US9534938B1 (en) * 2015-01-30 2017-01-03 Squadle, Inc. System and method for automatic measurement and recording
US20160294658A1 (en) * 2015-03-30 2016-10-06 Ca, Inc. Discovering and aggregating data from hubs
US9768892B1 (en) 2015-03-30 2017-09-19 Anritsu Company Pulse modulated passive intermodulation (PIM) measuring instrument with reduced noise floor
US9853867B2 (en) 2015-05-19 2017-12-26 Empirix, Inc. Method and apparatus to determine network quality
US9977068B1 (en) 2015-07-22 2018-05-22 Anritsu Company Frequency multiplexer for use with instruments for measuring passive intermodulation (PIM)
US10064317B1 (en) 2015-10-27 2018-08-28 Anritsu Company High isolation shield gasket and method of providing a high isolation shield gasket
US9964585B1 (en) 2015-11-13 2018-05-08 Anritsu Company Exact phase synchronization of a remote receiver with a measurement instrument
US10003453B1 (en) 2015-11-13 2018-06-19 Anritsu Company Phase synchronization of measuring instruments using free space transmission
US9929930B2 (en) * 2016-01-19 2018-03-27 Netscout Systems Texas, Llc Reducing an amount of captured network traffic data to analyze
US10006952B1 (en) 2016-01-26 2018-06-26 Anritsu Company System and method for reducing the effects of spurs on measurements using averaging with specific null selection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641628A (zh) * 2021-08-13 2021-11-12 中国联合网络通信集团有限公司 数据质量检测方法、装置、设备及存储介质
CN113641628B (zh) * 2021-08-13 2023-06-16 中国联合网络通信集团有限公司 数据质量检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3436951A4 (en) 2019-11-20
JP2019511787A (ja) 2019-04-25
JP6690011B2 (ja) 2020-04-28
WO2017172541A1 (en) 2017-10-05
EP3436951A1 (en) 2019-02-06
US20170295078A1 (en) 2017-10-12
EP3436951B1 (en) 2024-03-20
US10686681B2 (en) 2020-06-16
EP3436951C0 (en) 2024-03-20

Similar Documents

Publication Publication Date Title
CN108780418A (zh) 用于使用流分析实时测量网络问题的有效客户影响的系统和方法
CN109005556B (zh) 一种基于用户话单的4g网络质量优化方法与系统
US10674388B2 (en) Wireless communication data analysis and reporting
US11018958B2 (en) Communication network quality of experience extrapolation and diagnosis
Parwez et al. Big data analytics for user-activity analysis and user-anomaly detection in mobile wireless network
Trinh et al. Detecting mobile traffic anomalies through physical control channel fingerprinting: A deep semi-supervised approach
AU2019201687B2 (en) Network device vulnerability prediction
EP3866395B1 (en) Method and system for determining root-cause diagnosis of events occurring during the operation of a communication network
CN102143507B (zh) 一种业务质量监测方法、系统、以及分析方法和系统
US20170187581A1 (en) Dynamic Monitoring and Visualization for Network Health Characteristics
US20150039749A1 (en) Detecting traffic anomalies based on application-aware rolling baseline aggregates
US9774506B2 (en) Method and apparatus for analysis of the operation of a communication system using events
CN103220164A (zh) 数据完整性计分和网络可视化及用户体验监控
US10708155B2 (en) Systems and methods for managing network operations
US20110208827A1 (en) Data transfer for network interaction fraudulence detection
Garcia et al. Big data analytics for automated QoE management in mobile networks
Yusuf-Asaju et al. Framework for modelling mobile network quality of experience through big data analytics approach
US20070004399A1 (en) Quality assessment for telecommunications network
Jin et al. Making sense of customer tickets in cellular networks
Šipuš Big data analytics for communication service providers
Chakraborty et al. System Failure Prediction within Software 5G Core Networks using Time Series Forecasting
Gokcesu et al. Qoe evaluation in adaptive streaming: Enhanced mdt with deep learning
CN106817710A (zh) 一种网络问题的定位方法及装置
Yusuf-Asaju et al. Mobile network quality of experience using big data analytics approach
KR101469283B1 (ko) 기업 네트워크 분석 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181109

WD01 Invention patent application deemed withdrawn after publication