CN103220164B - 数据完整性计分和网络可视化及用户体验监控 - Google Patents

数据完整性计分和网络可视化及用户体验监控 Download PDF

Info

Publication number
CN103220164B
CN103220164B CN201210599162.2A CN201210599162A CN103220164B CN 103220164 B CN103220164 B CN 103220164B CN 201210599162 A CN201210599162 A CN 201210599162A CN 103220164 B CN103220164 B CN 103220164B
Authority
CN
China
Prior art keywords
vector
network
dimension
score
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210599162.2A
Other languages
English (en)
Other versions
CN103220164A (zh
Inventor
R·T·威尔金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Turcotte Rangnick Dirk Sass LLC
Original Assignee
Network Search System Texas Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Network Search System Texas Co Ltd filed Critical Network Search System Texas Co Ltd
Publication of CN103220164A publication Critical patent/CN103220164A/zh
Application granted granted Critical
Publication of CN103220164B publication Critical patent/CN103220164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

数据完整性计分和网络可视化及用户体验监控。描述了用于数据完整性计分和网络可视化及用户体验监控的系统和方法。在一些实施例中，一种方法可以包括接收第一向量集，每个向量代表由网络测试系统生成的网络事件，每个向量包括多个维度和第一多个值，每个值与所述维度中的相应的一个维度相关联。该方法还可以包括识别第二向量集，其代表由网络监控系统观测的网络事件中的至少一部分，第二向量集中的每个向量包括多个维度和第二多个值。该方法可以进一步包括计算存在分数作为第二向量集中的向量数与第一向量集中的向量数之间的比率，和/或计算准确性分数作为相应值之间的差异的测量。

Description

数据完整性计分和网络可视化及用户体验监控
相关申请的交叉引用
本申请要求于2011年12月27日提交的、题为“Automated Data IntegrityScoring and/or Visualization For Network and/or Customer ExperienceMonitoring”的美国临时专利申请No.61/580487的申请日的权益，由此该美国临时专利申请的全部公开内容通过引用被并入本文。
技术领域
该说明书总体上涉及网络监控，更具体地说，涉及用于数据完整性计分和网络可视化及用户体验监控的方法和系统。
背景技术
网络和用户体验监控方案是被广泛接受的标准，用于载波业务提供者网络跨越固定网络(如，Cable/MSO，IP宽带，如DSL，FTTH等)和移动网络(如，2.5G，3G， LTE等)两者的操作。这些系统通过探测设备监控网络业务量，然后通过多个阶段来处理该业务量以得到可行性信息，因为其与用户体验(业务质量，体验质量)，用户行为(应用程序使用，业务使用等)，用户位置等有关。实际上，可行性信息可以涉及从由探测设备处理的源数据计算的统计指标(典型地被称为关键性能指标或KPI)，并且然后为了驱动用户的业务处理的目的，可用于载波处的大量不同的用户构成。
几个KPI的例子包括切换成功(通过节点，位置等)，掉话率(通过节点，手提电话等)，应用程序使用(通过节点，用户等)，用户量(通过位置，人口统计等)，等等。
如本发明人已经认识到的，目前在市场中存在大量宏指令级驱动，其以可以影响载波业务提供者(CSP)的监控系统与KPI的调配和使用的方式来冲击载波业务提供者。例如，由于用户增长的下行压力、每用户的用户平均收入(ARPU)、发展网络复杂度等，CSP必须持续提高操作效率。CSP提高效率的主要方式是通过提高对直接嵌入到业务程序和自动化中的KPI的依赖。即，CSP日益依赖于精确数据以在网络上作出关于行为的实时操作决定。而且，给CSP一个增长的推动来平衡在它们的网络上出现的数据，以能够实现新的收入流。几个例子包括使用用户行为数据来改善目标额外CSP业务提供，包装关于用户兴趣和行为的聚合数据到第三方广告商等。
一并考虑，这些驱动意味着下述：KPI的有效性和准确性比其他的都重要，因为从监控系统获取的KPI日益进入影响决定的触发网络、业务和潜在收入。这样，本发明人认识到需要提供向当今用户呈现用于给定的KPI的置信区间的能力的系统和方法，使得用户可以更充分理解他们采取影响行为的网络或业务之前测量的重要性。然而，如本发明人进一步认识到的，大多数KPI估计方法依赖于相对人工行为来关联在载波处可用的大批不同系统(激活测试，单元管理系统等)之间的信息。例如，不存在这样的方案：提供将KPI直接嵌入到完整性测量的完全自动过程，使得在任何情况下它们对任何用户都容易地可用。
发明内容
以下描述了用于数据完整性计分和网络可视化以及用户体验监控的系统和方法的实施例。在说明性的、非限制性的实施例中，一种方法可以包括：接收第一向量集，第一向量集中的每个向量代表至少部分地由电信网络测试系统生成的网络事件，第一向量集中的每个向量包括多个维度和第一多个值，第一多个值中的每个值与该多个维度中的相应的一个维度相关联。该方法还可以包括识别第二向量集，其代表由不同于该电信网络测试系统的电信网络监控系统观测的网络事件中的至少一部分，第二向量集中的每个向量包括多个维度和第二多个值，第二多个值中的每个值与该多个维度中的相应的一个维度相关联，第二向量集中的每个向量与第一向量集中的相应向量对应和/或关联。该方法可以进一步包括计算存在分数作为第二向量集中的向量数与第一向量集中的向量数之间的比率。
在一些实施例中，该多个维度可以包括下述中的至少一个：国际移动设备识别(IMEI)，国际移动用户识别(IMSI)，移动台综合业务数字网(MSISDN)，用户代理(UA)设置文件，用户代理，手机制造商，手机型号，软件版本，统一资源定位器(URL)，业务，应用，位置，移动国家代码(MCC)，或移动网络编码(MNC)。此外，与该多个维度相关联的值可以包括下述中的至少一个：会话长度，上行字节数，下行字节数，尝试次数，失败次数，或等待时间。
在一些实施方式中，该存在分数可以与其中设置了电信网络测试系统的地理区域相关联，和/或与至少部分地由该电信网络测试系统生成的网络事件的传输和/或接收中所涉及的网元的子集相关联。
该方法也可以包括：至少部分地基于与第二向量集中选出的维度对应的值，为该多个维度中选出的一个维度计算关键性能指标(KPI)；以及至少部分地基于存在分数，计算与该KPI相关联的完整性。对于该多个维度中选出的那个维度，在第一向量集中的第一向量的第一值可以不同于第二向量集中的第二向量的第二值，该第一和第二向量与相同的网络事件对应。
该方法可以进一步包括：为该多个维度中给定的那个维度，计算准确性分数作为第一和第二值之间的差异的测量。例如，基于该多个值中相应的值，该准确性分数可以被计算为均方根误差(RSME)。该方法然后可以包括：以图形或文本的形式向用户显示存在分数或准确性分数中的至少一个。例如，存在分数和/或准确性分数的指示可以与相应的地理区域和/或网元的子集相关联地被显示。
在一些实施例中，可以采用一个或多个计算机系统来执行这里描述的一个或多个技术。在其他实施例中，有形的计算机可读存储介质可以具有存储在其上的程序指令，当所述程序指令由一个或多个计算机或网络监控系统执行时，所述程序指令使得该一个或多个计算机系统执行这里公开的一个或多个操作。在其他实施例中，一种系统可以包括至少一个处理器和耦合到该至少一个处理器的存储器，该存储器被配置为存储可由该至少一个处理器执行的程序指令以便执行这里公开的一个或多个操作。
附图说明
现在将对附图进行参考，其中：
图1是根据一些实施例的网络监控系统的框图；
图2是根据一些实施例的网络监控软件程序的框图；
图3是根据一些实施例的计算机系统的框图，该计算机系统被配置为实施此处描述的多种系统和方法；
图4是根据一些实施例的执行存在分析的方法的流程图；
图5是根据一些实施例的为关键性能指标(KPI)计算置信度或完整度因子的方法的流程图；
图6是根据一些实施例的执行准确度分析的方法的流程图；
尽管该说明书提供了几个实施例并说明了附图，但是本领域技术人员将意识到本说明书不仅仅限于所描述的实施例或附图。应当理解，附图和详细的描述并不旨在将说明书限制为所公开的具体形式，而是相反地，意图是覆盖落入权利要求的精神和范围之内的所有的修改、等效和替换。而且，这里使用的任何标题只是为了组织的目的，并且不旨在限制描述的范围。如这里使用的，词语“可以”意欲表达允许的意思(即，表示“具有...的可能性”)，而不是强制的意思(即，表示“必须”)。类似地，词语“包括”、“包含”和“含有”表示“包括，但不限于”。
具体实施方式
图1示出了网络监控系统的框图。如所示，移动设备105和110可以能够通过网络115彼此之间发射和接收数据(如，网页，音频，视频等)。而且，网络服务器120可以被配置为通过网络115向客户端设备125提供一个或多个网页。在不同的实施例中，网络115可以包括任何合适的有线或无线/移动计算机或数据网络，包括，例如，第三代(3G)，第四代(4G)，或3GPP长期演进(LTE)无线网络，IP语音(VoIP)网络，IP多媒体子系统(IMS)网络，因特网等。
移动设备105和110之间的通信，以及网络服务器120和客户端设备125之间的通信，可以由电信网络监控系统100来监控，因为包括那些通信的数据分组经过网络115。这样，网络监控系统100可以包括耦合到网络115的网络监控器或分析器，分组嗅探器，探测设备等。可以例如根据正在被传送的内容的类型、网络115的类型和/或设备105，110和/或125的能力来选择用于实现在图1中发生的通信的协议。可以使用的协议的类型的例子包括，但不限于，超文本传输协议(HTTP)，实时消息传送协议(RTMP)和实时传输协议(RTP)。
各种不同设备105，110和/或125的每个通信会话可以具有不同的开始和停止时间，并且可能经历不同的网络业务量约束。在每个会话期间，该会话可用的带宽可以改变多次。而且，在给定的会话期间，数据流可以开始和停止。
相应地，网络监控系统100可以配置成对通信会话的相关数据分组进行采样(如，不引人注意地)，以便为每个会话和每个客户端跟踪相同的用户体验信息集，而不考虑支持会话的协议(如，HTTP，RTMP，RTP等)。例如，通过计算和/或呈现关键性能指示(KPI)，以及对于这种KPI的完整度分数，监控系统100可以能够识别关于每个用户的体验的特定信息，如下面更详细描述的。服务提供者可以使用该信息，例如，来调整可用于客户端设备105，110和/或125的网络业务，如分配给每个用户的带宽，和通过网络115对数据分组的路由。
一般而言，客户端设备105，110和125可以包括任何计算机系统或设备，例如，诸如个人计算机，膝上型计算机，平板电脑，移动设备，智能电话，网络功能的设备，网络电视等。客户端设备105，110和125可以允许用户执行语音通信，使用网页浏览器应用等通过图形用户接口(GUI)等导航因特网或其他数据网络。另外或可替换地，客户端设备125可以通过独立的或基于网页的客户端应用访问通过网络服务器120可用的内容目录。网络服务器120可以包括能够传递内容到设备125的任何服务器或计算机系统。
在一些情况中，设备105，110和125中的一个或多个可以包括电信网络测试系统。这样的网络测试系统可以是，诸如，被配置为产生能够遍历网络115内的节点和其他元素的实时业务量会话的有效测试系统。在一些实施例中，这样的测试系统可以包括移动手持设备，便携式电脑等，其执行被配置为生成业务量以及跨过各种不同的维度收集测试结果的测试软件。该测试系统还可以能够发射或以其他方式提供其测试数据(如，事件向量的形式等等)到监控系统100。一般而言，有效网络测试系统在商业上可用于不同的结构，并且这里描述的很多技术与使用哪个特定测试系统无关。
而且，尽管图1中只示出了设备105，110，120和125，但将理解的是，网络115可以包括任何数量的节点和端点。例如，在一些实施方式中，网络115可以包括节点或端点，它们可以是在3G或4G无线网络中的部件，如GPRS服务支持节点(SGSN)，GPRS网关支持节点(GGSN)或通用分组无线业务(GPRS)中的边界网关，CDMA2000网络中的分组数据业务节点(PDSN)，长期演进/业务结构演进(LTE/SAE)网络中的移动管理实体(MME)或其他核心网络节点或在端点之间传输数据分组或消息的路由器。而且，将理解的是，这类节点和端点可以以任何适当的方式互连，包括耦合到一个或多个其他这类节点和/或端点。
如上所述，很多分组遍历端点之间的网络115。这些分组可以代表很多不同会话和协议。例如，如果移动设备105(例如网络测试系统或手机)被用于语音或视频电话，随后它可以使用使用实时传输协议(RTP)与SIP/VoIP服务器(未示出)交换网络协议语音(VoIP)或会话启动协议(SIP)数据分组。如果移动设备105被用于发送或获取邮件，它可以与邮件服务器(没有示出)交换因特网消息访问协议(IMAP)、邮局协议3协议(POP3)、或简单邮件传输协议(SMTP)消息。如果客户端设备105被用于下载或流出视频，它可以使用实时流协议(RTSP)建立和控制与网络服务器120的媒体会话。可替换地，移动设备105和110或客户端设备125处的用户可以使用超文本传输协议(HTTP)访问多个网站，以便与网络服务器120交换数据分组。应当理解的是，设备端点之间被交换的分组可以遵守多个其他的现在已知或以后开发的协议。
在典型的情况下，遍历网络115的分组的大约百分之一携带控制数据，诸如用于设置、管理或拆开呼叫、或端点间的会话的信息。另外百分之九十九的分组携带来往于连接设备的用户数据，如实时语音，视频，邮件或信息内容。
在不同的实施例中，网络监控系统100可以被用于监控网络115的性能。为该目的，监控系统100可以被配置为捕获从实时网络用户(如，客户)和网络测试系统跨越网络115被传输的分组。在一些实施例中，分组捕获设备可以非侵入性地耦合到网络链路来捕获基本上所有的跨越所述链路被传送的分组。应当理解的是，在实际网络中，在节点之间可以存在数十或数百的物理、逻辑或虚拟连接和链路。在一些情况下，网络监控系统100可以被耦合到所有这些链路或高百分比的这些链路上。在其他实施例中，监控系统100可以仅耦合到网络115的一部分，如仅耦合到与特定载波或业务提供者相关的链路。分组捕获设备可以是网络监控系统100的一部分，如线路接口卡，或可以是从不同的位置与网络监控系统100远程耦合的独立部件。
监控系统100可以包括一个或多个处理器，其运行一个或多个软件应用程序，所述应用程序收集、关联和/或分析来自网络115的媒体和信令数据分组。监控系统100可以并入协议分析仪、会话分析仪、和/或业务量分析仪功能，其通过用网络115上的链路、节点、应用程序和服务器表征IP业务量来提供OSI(开放式系统互连)层2到层7故障排除。在一些实施例中，可以例如由可从Tektronix Inc.获得的工具箱来提供这些操作，但也可存在或以后开发其他合适的工具。将网络监控系统100耦合到网络115的分组捕获设备可以是被优化以处理高带宽IP业务量的高速、高密度探测设备，诸如也可从Tektronix Inc.获得的 G10，但也可存在或以后开发其他合适的工具。业务提供者或网络操作者可以从监控系统100通过具有显示或图形用户接口的用户接口站来访问数据，如IRISVIEW可配置软件框架，其为几个应用程序提供单独的，集成的平台，包括给客户体验管理系统和操作支持系统(OSS)和业务支持系统(BSS)应用的供给，其也可从Tektronix Inc.获得，但也可存在或以后开发其他合适的工具。
监控系统100可以进一步包括内部或外部存储器，用于存储捕获的数据分组，用户会话数据和配置信息。监控系统100可以捕获和关联与特定数据会话相关联的分组。在一些实施例中，相关的分组可以被关联和组合为在网络115上的特殊流、会话或呼叫的记录。可以在捕获文件中捕获这些数据分组或消息。呼叫跟踪应用程序可以被用于将消息分类为呼叫并创建呼叫详细记录(CDR)。这些呼叫可以属于基于或由基础网络定义的情景。在示例性的、非限制性的例子中，可以使用5-元组关联机制来关联相关的分组。这样的5-元组关联过程可以使用IP关联密钥，该密钥包括5部分：服务器IP地址，客户端IP地址，源端口，目的地端口和层4协议(传输控制协议(TCP)，用户数据包协议(UDP)或流控制传输协议(SCTP))。
相应地，网络监控系统100可以配置成对通信会话的相关数据分组进行采样(如，不引人注意地)，以便为每个会话和每个客户端跟踪相同的用户体验信息集，而不考虑支持会话的协议(如，HTTP，RTMP，RTP等)。例如，监控系统100可以能够识别关于每个用户的体验的特定信息，如下面更详细描述的。服务提供者可以使用该信息，例如，来调整可用于客户端设备105，110，120和/或125的网络业务，如分配给每个用户的带宽，和通过网络115对数据分组的路由。
网络监控系统100也可以被配置为观察由有效测试系统(如，设备105)产生的网络事件。从该测试系统得到的网络事件可以与监控系统100所观察的相应网络事件相关联，并且然后被用于，例如，生成数据完整性分数，如结合图4-6更详细描述的。
现在转向图2，描述了网络监控软件程序的框图。在一些实施例中，网络监控软件200可以是图1中的由监控系统100可执行的软件应用程序。如上所述，多个通信会话或数据流可以被跨越网络115在设备105，110，120和/或125之间传送，其一个或多个可以是网络测试系统等。这样的通信可以在HTTP，RTMP，RTP或其他合适的协议上被流传输。
监控探测设备205可以被配置为捕获来自网络115的数据分组，包括，例如，来自一个或多个HTTP请求或会话的数据。这样，监控探测设备205可以确定捕获的数据分组的识别信息，并可以将相关数据组合到会话或请求记录中。监控探测设备205接着可以将会话记录和捕获的分组数据提供给监控引擎210。在一些情况下，会话记录可以包括多个部分，当相关的会话有效时，周期性地将该多个部分提供给监控引擎210。监控引擎210又可以被配置为从每个会话记录中提取会话数据，并识别每个会话记录的协议。
会话数据可以被提供作为到会话监控模块215的监控供给和/或可以被存储到数据库220。数据库220也可以存储用户信息和客户端设备信息。
网络监控软件200可以允许业务提供者为了网络115并发地或同时地收集来自不同HTTP请求或会话的数据。多个请求或会话的数据被存储在数据库220中，其允许业务提供者跟踪每个会话或提取系统范围参数。例如，监控探测设备205和/或监控引擎210可以通过分析该会话的一个或多个数据分组的报头，识别用于每个会话的协议的类型。另外，监控软件200也可以从网络测试系统(如，设备105)接收测试数据并存储那些结果到数据库220中。
监控探测设备205和/或监控引擎210也可以跟踪每个VoIP会话可用的带宽，并可以识别实时发生的带宽变化。而且，监控探测设备205和/或监控引擎210可以检测在任何请求或会话的数据分组流中何时出现间隙或丢失的碎片。请求或会话参数，带宽信息，和间隙数据可以被收集到数据库200和/或呈现给业务提供者。
可以由业务提供者例如在每个会话，每个用户，每个设备或每个协议的基础上对存储在数据库220中的数据询问。会话监控模块210可以使用收集的信息来生成每个会话和整个网络的体验质量(QoE)和关键质量指标(KQI)。QoE和KQI可以基于例如多久检测到重新缓冲、屏幕分辨率改变、间隙和/或丢失的碎片。在会话期间的过度缓冲(即，重新缓冲)，大量的屏幕分辨率改变和VoIP流中的间隙可能会降低用户的QoE。
返回参照图1和2，网络监控系统100，在软件200的控制之下，也可以被配置为聚集数据来启动回程，以生成网络流和基本的KPI计算、数据的时戳、数据的端口戳、滤出不想要的数据、协议分类、和深分组检查(DPI)分析。KPI的例子包括，但并不限于，业务性能指标，网络拥塞指标，连接维持指标，业务质量指标，和/或网络可用性指标。另外地，网络监控系统100，可以进一步被配置为执行数据的状态分析，呼叫关联的关键参数的提取和呼叫数据记录(CDR)的生成、应用特定处理等。
网络监控系统100的实施例可以由一个或多个计算机系统来实施或执行。图3中示出了一个这样的计算机系统。在不同实施例中，计算机系统300可以是服务器，主计算机系统，工作站，网络计算机，台式计算机，便携式电脑等等。例如，在一些情况下，图1中示出的网络监控系统100可以被实施为计算机系统300。而且，流传输服务器120或设备105，110和125中的一个或多个可以包括计算机系统300的形式的一个或多个计算机。如上所述，在不同实施例中，这些不同的计算机系统可以被配置为以任何合适的方式彼此通信，例如，诸如，通过网络115。
如所示，计算机系统300包括通过输入/输出(I/O)接口330耦合到系统存储器320的一个或多个处理器310。计算机系统300进一步包括耦合到I/O接口330的网络接口340，以及一个或多个输入/输出设备350，如指针控制设备360，键盘370，和显示器380。在一些实施例中，可以使用计算机系统300的单个实例来实施给定的实体(如，网络监控系统110)，而在其他实施例中构成计算机系统300的多个这类系统或多个节点可以被配置为主持实施例的不同部分或实例。例如，在一个实施例中，可以通过计算机系统300的一个或多个节点实施一些单元，所述节点不同于实施其他单元的那些节点(如，第一计算机系统可以实施监控探测设备205，而另一个计算机系统可以实施监控引擎210)。
在不同实施例中，计算机系统300可以是包括一个处理器310的单个处理器系统，或者是包括两个或更多个处理器310(如，两个，四个，八个，或其他合适的数量)的多处理器系统。处理器310可以是任何能执行程序指令的处理器。例如，在不同实施例中，处理器310可以是实施多种指令集架构(ISA)中的任何一个的通用处理器或嵌入式处理器，如x86， 或者或任何其他合适的ISA。在多处理器系统中，每个处理器310可以通常，但不一定，实施相同的ISA。而且，在一些实施例中，至少一个处理器310可以是图形处理单元(GPU)或其他专用的图形绘制设备。
系统存储器320可以被配置为存储程序指令和/或由处理器310可访问的数据。在不同的实施例中，可以使用任何合适的存储技术来实施系统存储器320，如静态随机存取存储器(SRAM)，同步动态RAM(SDRAM)，非易失性/闪存型存储器，或任何其他类型的存储器。如所示，实施如这里描述的特定操作的程序指令和数据可以被存储在系统存储器320中，分别作为程序指令325和数据存储335。
在其他实施例中，程序指令和/或数据可以被接收，发送或存储到与系统存储器320或计算机系统300分开的不同类型的计算机可访问的介质上或相似的介质上。一般而言，计算机可访问的介质可以包括任何有形存储介质或如磁性介质或光学介质这样的存储介质，如，通过I/O接口330耦合到计算机系统300的盘或CD/DVD-ROM。通过传输介质或如电信号，电磁信号，或数字信号的信号可以进一步传送非暂时形式的存储在有形计算机可访问的介质上的程序指令和数据，其可以通过通信介质被传达，如网络和/或无线链路，如可以通过网络接口340被实施。
在一个实施例中，I/O接口330可以被配置为协调处理器310，系统存储器320和设备中的任何外围设备之间的I/O业务量，包括网络接口340或其他外围接口，如输入/输出设备350。在一些实施例中，I/O接口330可以执行任何所需协议，定时或其他数据变换来将数据信号从一个部件(如，系统存储器320)转变为适用于由另一个部件(如，处理器310)使用的格式。在一些实施例中，例如，I/O接口330可以包括对于通过不同类型的外围总线附着的设备的支持，如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型。在一些实施例中，例如，I/O接口330的功能可以被分到两个或更多个独立部件中，如北桥和南桥。另外地，在一些实施例中，I/O接口330的一些或所有功能，如到系统存储器320的接口，可以被直接并入处理器310中。
网络接口340可以被配置为允许数据在计算机系统300和其他附着到网络115的设备之间被交换，如其他计算机系统，或者在计算机系统300的节点之间被交换。在不同实施例中，例如，网络接口340可以通过有线或无线通用数据网络，如任何合适类型的以太网网络；通过电信/电话的网络，如模拟语音网络或数字光纤通信网络；通过存储区域的网络，如光纤信道SAN，或通过任何其他合适类型的网络和/或协议，来支持通信。
在一些实施例中，输入/输出设备350可以包括一个或多个显示终端，键盘，小键盘，触摸屏，扫描设备，语音或光学识别设备，或任何其他适于通过一个或多个计算机系统300进入或恢复数据的设备。多输入/输出设备350可以出现在计算机系统300中或可以被分布在计算机系统300的不同节点上。在一些实施例中，类似的输入/输出设备可以与计算机系统300分开，并可以通过有线或无线连接，如通过网络的接口340，与计算机系统300的一个或多个节点进行交互。
如图3所示，存储器320可以包括程序指令325，其被配置为实施这里描述的特定实施例；以及数据存储335，其包括由程序指令325可访问的不同数据。在一个实施例中，程序指令325可以包括图2中示出的实施例的软件元素。例如，可以采用任何所需的程序语言、脚本语言，或程序语言和/或脚本语言的组合(如，C，C++，C#，等)在不同实施例中实施程序指令325。数据存储335可以包括在这些实施例中可以使用的数据。在其他实施例中，可以包括其他或不同的软件元素和数据。
本领域技术人员将认识到，该计算机系统300仅仅是示例性的，并不旨在限制这里描述的公开的范围。尤其地，计算机系统和设备可以包括能执行所指示的操作的硬件或软件的任何组合。另外，在一些实施例中，由所示部件执行的操作可以由较少部件执行或被跨越另外的部件分配。类似地，在其他实施例中，所示部件中的一些的操作可以不被执行和/或其他的附加操作可以是可用的。相应地，可以利用其他计算机系统配置来实施或执行这里描述的系统和方法。
在一些实施例中，以上描述的系统可以配置为执行数据完整性计分和网络可视化和用户体验监控。例如，假设在网络监控系统100中的监控探测设备205为每个观测到的网络事件(“事件”)生成以下的网络事件向量(“事件向量”或“向量”)：
(T，D1，D2，...，Dn，V0＝1，V1，V2，...，Vn)
其中T是事件时间，Dx是维度，以及Vx是值。具体地，维度是存在的、通过其KPI可以被聚集或观看的场。“维度”的例子可以包括，但不限于，用户(如，由国际移动用户识别或IMSI，国际移动设备识别或IMEI，移动用户集成业务数字网络编号或MSISDN等)，小区，节点，手机，用户代理(UA)，UA设置文件，释放代码，统一资源定位器(URL)，移动国家代码(MCC)，移动网络代码(MNC)等。同时，“值”可以包括任何可以被操作，聚集等以创建KPI的适合数值。值的例子可以包括：等待时间，字节计算(上行链路和/或下行链路)，吞吐量，会话长度，尝试次数(如，连接尝试)，失败次数(如，连接失败)等。在以上示出的例子中，V0＝1可以作为计数器使用，即，为了简单计数KPI的目的，它代表事件本身的发生(如，释放事件的计数使得X可以被表示为总和(V0)，其中DRC＝X)。
在不同实施例中，至少部分地由网络测试系统(如，设备105)在其正常操作期间，生成相似的向量。在一些时间周期内，这样的测试系统一般被配置为生成相对小(与总业务量成比例)的测试呼叫集，测试会话集等。进一步，这些测试系统也具有生成事件向量的能力，如以上含有每个呼叫/会话结果的向量。然而，在测试系统生成的事件向量中，维度可以是不同的，因为有效测试系统易于将该网络看作“黑盒子”，并且因此可能不具有网络节点层也没有被提供给该网络监控系统的低层协议栈可见度。然而，可以存在常用维度，特定定时，用户ID(即，IMSI)，和其他的，其能够实现有效测试事件向量和由该监控系统生成的事件之间的关联。
在这方面，对于给定的时间周期，使“Aevents”为来自网络测试系统的事件向量集，并且对于给定的时间周期，使“Mevents”代表该网络监控系统观测的事件向量。在没有丢失事件的完美执行的监控系统中，Aevents可以是Mevents的严格子集(即，应当存在针对Mevents的Aevents的每个事件的一个或多个相应事件)。而且，当期望值的一些改变时，在两个不同事件向量中的可比值应该就统计显著性而言是高度相关的。例如，诸如等待时间的测量的有效测试代理感知可以不同于监控系统，因为该监控系统是网络中的不同点处的观测业务量(如，该监控系统可以被耦合到网络核心处的接口，而该测试系统可以位于网络的边缘)。
在一些实施例中，可以执行事件的存在的评估，例如，以确定在Aevents中但不在Mevents中的事件的程度，该评估可以指示在监控设备中的错误。该类型的存在分析可以涉及计算丢失事件比率和/或存在分数，其又可以用于基于从Aevents，Mevents或其组合(或子集)获得的值为KPI计算完整性或置信因子。换言之，存在分析可以估计在该监控系统的输出中可观测到的实际数据的比例。阻拦任何灾难性的低值，在CSP网络中监控系统的该数据集是典型地充分足够大，使得大部分不可数的KPI仍然很可能是非常高度地统计准确的。然而，基于计数的KPI，可能经受a％的差异，其大致对应于丢失事件比率。
现在转向图4，示出了一种执行存在分析的方法的流程图。在一些实施例中，可以至少部分地由网络监控系统100来执行方法400。在块405，监控系统100可以接收第一向量集(如，Aevents)，每个向量代表电信网络测试系统(如，设备105)生成的网络事件。在块410，监控系统100可以接收第二向量集(Mevents)，每个向量代表监控系统100观测到的网络事件。
在块415，监控系统100可以识别在代表相应的或匹配的网络事件的第一和第二集之中的相应的或匹配的向量。例如，监控系统100可以使用时间戳(T)或其他维度，例如，诸如IMEI，IMSI等来关联Aevents和Mevents的向量。接着，在块420，监控系统100可以计算丢失事件比率。在一些实施例中，该丢失事件比率可以与测试系统产生的匹配事件数量和事件总数(即，Aevents中的向量总数)的比率成比例。出于示例的目的，如果测试系统生成100个向量，但那些向量中只有95个可以与Mevents中的向量关联，则该丢失事件比率为5％。反之，在该实例中“存在分数”将是95％。
一旦计算了该丢失事件比率或存在分数，其可以基于Aevents和/或Mevents来计算KPI的因子的完整性或置信值。例如，该监控系统可以产生假设这些事件向量中的一个或多个维度已经以等于存在分数的采样比被采样。在一些实施例中，KPI聚集引擎(如，在监控引擎210内)可以使用丢失事件比率和/或存在分数来正确地计算KPI。假设KPI的通用表示为：
(△T，D1，D2，....Dn，K)
相比于事件向量或描述符，替代时间值，可以针对特定时间范围△T计算KPI。而且，可以每一维度集地计算KPI，如，存在于事件记录中的维度的子集。并且，KPI计算典型地产生单独的值或结果K，尽管其在对于相同的维度和时间范围计算KPI集的实施方式中是非常常见的。如上所证实的，均为了正确地计算K，可以使用附加信息。尤其地，用于自适应的采样系统的KPI可以表示为：
(△T，D1，D2，...，Dn，K，KN，Kn，Kσ)
其中K代表计算的KPI值(普通情况下其是采样平均值)，KN表示如果没有事件被丢失(即，如果存在分数为100％)时总集合中的事件的数量，其与Aevents中的向量数相等，Kn表示针对该KPI计算存在的采样的数量，其在一些情况下可以是与在Aenerts和Mevents中的相同网络事件相应的匹配向量的数量。同时，Kσ表示观测值的标准偏差。
在一些情况中，由于与KPI一起存储的附加计算，该系统具有足够的信息来报告给定目标置信因子的置信区间(即，+/-X)，或使用以下公式为给定的区间范围报告置信因子(即，95％)：
其中X表示该KPI结果(K)或在事件向量中相应值的采样平均值，tn-1是从标准统计或分布表中获取的“t”值，S是采样标准偏差(Kσ)，n是采样维度(Kn)，以及N是集合大小(KN)。注意包括有限集合校正(fcp)因子的变量(即，根号内的分数)被用在“非采样”情况中(即，停止采样白名单采样等)。现在，使得：
在一些实施例中，用户可以设置置信水平(即，95％)，其确定t值并按序确定置信空间等于：+/-tn-1A。另外地或可替换地，该用户可以设置区间(X)，以及置信水平是针对X/A的相关联的t值。
总之，一旦在它们的相应的向量中识别了特定事件被观测或被检测到的采样情况，就有可能计算置信因子或从这些向量中得到的与KPI相关的值。图5示出了采用丢失事件或存在分数来为KPI计算置信值的方法的流程图。在一些实施例中，至少部分地由网络监控系统100来执行方法500。在块505，监控系统100可以识别代表被观测，检测或采样的网络事件的多个向量，每个向量包括一个或多个维度，以及与每个维度相关的值。
在块510，监控系统100可以计算与所述维度中的给定的一个相关的KPI。例如，可以基于针对在向量中报告的值执行的操作(如，平均值，均值，最小值，最大值等)来计算该KPI。在块515，监控系统100可以确定或以另外的方式估计网络事件的数量(KN)，其在不存在丢失事件(如，Aevents中的向量数量)时会被观测到。在块420，监控系统100可以确定在Aevents和Mevents之间关联的匹配网络事件的数量(Kn)。在块525，监控系统100可以计算值的标准偏差(Kσ)。在块530，监控系统100可以至少部分地基于KN，Kn和Kσ计算与KPI相关的置信值。
完整性因子(如，置信区间和/或水平)可以被显示给用户来使得KPI值可视化。在一些实施例中，这样的可视化可以是在电脑屏幕上被以图形的方式显示。例如，阴影条可以向上和向下扩大KPI曲线上的值。该可视化也可以是文本的(如，代表与该KPI值相邻的+/-值等)。然而，应当理解，这里描述的系统和方法不限于任何一种特定类型的可视化，并且根据该公开其他变型也可以出现。
这样，此处描述的系统和方法可以出于数据完整性评估等的目的而提出了完整的(和正确地计算的)置信区间。而且，此处描述的系统和方法可以处理核心用户业务问题和多用户满意度问题，给定它们的广泛应用(产品/系统水平)。该评估的输出可以包括置信区间集和/或使用统计技术得到的置信值。
一旦得到，该系统为用户观看KPI的范围提供可用的适当置信区间信息。例如，如果用户正在观看特定网关GPRS支持节点(GGSN)的KPI，则该系统可以报告从GGSN的相应准确评估(这些可以在每天进行或可以选择合适的其他时段)或监控的区域/设备中得到的置信区间。在一些实施例中，这里描述的系统和方法不限于任何一种类型的可视化。例如，可视化可以是图形的，向上和向下扩大KPI曲线上的值的阴影条，和/或可以是文本的；代表与KPI值相邻的a+/-值，等等。
在一些实施例中，准确的分析可以估计该监控系统如何准确反映实时用户/设备体验，而不用考虑所有事件是否存在或不存在。尤其地，尽管存在分析被很好地匹配了，可能仍然存在数据的显著不准确，其指示在监控系统上的不同的错误类型，其也是数据完整性问题。因此，图6是执行准确性分析的方法的流程图。在一些实施例中，可以至少部分地由网络监控系统100执行方法600。在块605，网络监控系统100可以接收第一向量集(如，Aevents)，第一向量集中的每个向量表示至少部分地由电信网络测试系统生成的网络事件，在第一向量集中的每个向量包括多个维度和第一多个值，该第一多个值中的每一个与该多个维度中的相应的一个维度相关联。
在块610，网络监控系统100可以接收第二向量集(如，与相同网络事件相应的Aevents和Mevents之间的匹配或关联的向量)，该第二向量集表示如由电信网络监控系统观测的网络事件的至少一部分，第二向量集中的每个向量包括多个维度和第二多个值，该第二多个值的每一个与该多个维度中的相应的一个维度相关联。接着，在块615，网络监测系统100可以为在该多个维度中选择的一个准确性分数作为第一和第二多个值中的相应的值之间的差异的测量。例如，在一些实施例中，可以基于该多个值中的相应的值，将该差异计算为均方根误差(RSME)，即RSME可以被用于计算实际的和监控的事件集之间的平均误差。然而，在其他实施例中，可以由其他合适的数学操作给出准确性分数。
在不同实施例中，这里提到的存在和/或准确性评估将被执行到地理学场所的不同层，并且不是只全局地执行。这是因为数据的准确性和可用性一般与涉及生成和监控事件的网络设备和监控设备的功能状态高度相关，其在地理上是分散的。实质上，由于处于该位置的不同配置，业务量，状态等，在相同的网络中一个监控设备与另一个监控设备非常不同地操作是经常发生的。
相应地，存在和准确性分数可以被映射到例如其中设置了网络测试系统的地理区域，和/或在由网络测试系统产生的网络事件中涉及的网元的子集。在一些实施例中，该测试系统(如，设备105)可以被物理地移动到不同地理区域或网络中的点，并且以上描述的技术可以被重复以生成存在和/或准确性分数的映射。
这里描述的不同技术可以用软件、硬件或它们的组合来实现。执行给定方法的每个操作的顺序可以被改变，并且这里所示的系统的不同单元可以被添加，重新排序，组合，省略，修改等。可以进行各种修改和改变，这对于得到该说明书的好处的本领域技术人员而言是明显的。这里描述的(多个)发明旨在涵盖所有这些修改和改变，并且相应地，以上描述应当以说明性的意义而不是限制性的意义来看待。

Claims (18)

1.一种用于数据完整性计分的方法，包括：
使用一个或多个计算机系统来执行：
接收第一向量集，该第一向量集中的每个向量代表至少部分地由电信网络测试系统生成的网络事件，该第一向量集中的每个向量包括多个维度和第一多个值，该第一多个值中的每个值与该多个维度中的相应的一个维度相关联；
识别第二向量集，该第二向量集代表由电信网络监控系统观测的网络事件中的至少一部分，该电信网络监控系统不同于该电信网络测试系统，第二向量集中的每个向量包括多个维度和第二多个值，该第二多个值中的每个值与该多个维度中的相应的一个维度相关联，以及第二向量集中的每个向量与第一向量集中的向量相关；
计算存在分数作为第二向量集中的向量数与第一向量集中的向量数之间的比率；
至少部分地基于与第二向量集中选出的维度对应的值来计算指示所述多个维度中的选出的维度的用户体验质量的关键性能指标（KPI）；
至少部分地基于存在分数，计算与该KPI相关联的完整性。
2.根据权利要求1的方法，其中该多个维度包括下述中的至少一个：国际移动设备识别(IMEI)，国际移动用户识别(IMSI)，移动台综合业务数字网(MSISDN)，用户代理(UA)设置文件，用户代理，手机制造商，手机型号，软件版本，统一资源定位器(URL)，业务，应用，位置，移动国家代码(MCC)，或移动网络编码(MNC)。
3.根据权利要求1的方法，其中与该多个维度相关联的值包括下述中的至少一个：会话长度，上行字节数，下行字节数，尝试次数，失败次数，或等待时间。
4.根据权利要求1的方法，其中该存在分数与其中设置了电信网络测试系统的地理区域相关联。
5.根据权利要求1的方法，其中该存在分数与至少部分地由该电信网络测试系统生成的网络事件中所涉及的网元的子集相关联。
6.根据权利要求1的方法，其中对于该多个维度中选出的那个维度，在第一向量集中的第一向量的第一值不同于第二向量集中的第二向量的第二值，该第一和第二向量与相同的网络事件对应。
7.根据权利要求1的方法，其中计算完整性进一步包括：
使用该一个或多个计算机系统执行：
并且为该多个维度中给定的那个维度，计算准确性分数作为第一和第二值之间的差异的测量。
8.根据权利要求7的方法，进一步包括：
使用该一个或多个计算机系统执行：
并且基于第一和第二多个值中相应的值，计算均方根误差(RSME)。
9.根据权利要求7的方法，进一步包括：
使用该一个或多个计算机系统执行：
以图形或文本的形式向用户显示存在分数或准确性分数中的至少一个。
10.一种用于数据完整性计分的系统，包括：
处理器，以及
存储器，其耦合到该处理器，该存储器被配置为存储可由处理器执行的程序指令以使得该系统：
接收第一向量集，该第一向量集中的每个向量代表至少部分地由电信网络测试系统生成的网络事件，该第一向量集中的每个向量包括多个维度和第一多个值，该第一多个值中的每个值与该多个维度中的相应的一个维度相关联；
识别第二向量集，该第二向量集代表由电信网络监控系统观测的网络事件中的至少一部分，该电信网络监控系统不同于该电信网络测试系统，第二向量集中的每个向量包括多个维度和第二多个值，该第二多个值中的每个值与该多个维度中的相应的一个维度相关联，以及第二向量集中的每个向量与第一向量集中的向量相关；
计算存在分数作为第二向量集中的向量数与第一向量集中的向量数之间的比率；
至少部分地基于与第二向量集中选出的维度对应的值来计算指示所述多个维度中的选出的维度的用户体验质量的关键性能指标（KPI）；以及
至少部分地基于存在分数，计算与该KPI相关联的完整性。
11.根据权利要求10的系统，其中为了计算完整性，程序指令进一步可由处理器执行以使得该系统：
为该多个维度中给定的那个维度，计算准确性分数作为第一和第二值之间的差异的测量。
12.根据权利要求11的系统，其中该准确性分数与包含由电信网络测试系统生成的网络事件中所涉及的网元的子集的地理区域相关联。
13.根据权利要求11的系统，其中程序指令进一步可由处理器执行以使得该系统：
显示其中设置了电信网络测试系统的地理区域的指示，或者显示至少部分地由电信网络测试系统生成的网络事件中所涉及的网元的子集的指示；以及
显示该地理区域中的该准确性分数或针对所述网元的子集的指示。
14.一种非临时性有形电子存储介质，其具有存储在其上的程序指令，当所述程序指令由计算机系统内的处理器执行时，所述程序指令执行使得该计算机系统：
接收第一向量集，该第一向量集中的每个向量代表至少部分地由电信网络测试系统生成的网络事件，该第一向量集中的每个向量包括多个维度和第一多个值，该第一多个值中的每个值与该多个维度中的相应的一个维度相关联；
识别第二向量集，该第二向量集代表由电信网络监控系统观测的网络事件中的至少一部分，该电信网络监控系统不同于该电信网络测试系统，第二向量集中的每个向量包括多个维度和第二多个值，该第二多个值中的每个值与该多个维度中的相应的一个维度相关联，以及第二向量集中的每个向量与第一向量集中的向量相关；
计算存在分数作为第二向量集中的向量数与第一向量集中的向量数之间的比率；以及
至少部分地基于与第二向量集中选出的维度对应的值来计算指示所述多个维度中的选出的维度的用户体验质量的关键性能指标（KPI）；
至少部分地基于存在分数，计算与该KPI相关联的完整性。
15.根据权利要求14的非临时性有形电子存储介质，其中为了计算完整性，当由处理器执行时所述程序指令进一步使得该计算机系统：
为该多个维度中给定的那个维度，计算准确性分数作为第一和第二值之间的差异的测量。
16.根据权利要求15的非临时性有形电子存储介质，其中当由处理器执行时所述程序指令进一步使得该计算机系统：
从用户接收对KPI的请求；
向用户显示该请求的KPI；以及
以图形或文本的形式向用户显示存在分数或准确性分数中的至少一个。
17.根据权利要求16的非临时性有形电子存储介质，其中当由处理器执行时所述程序指令进一步使得该计算机系统：
显示其中设置了电信网络测试系统的地理区域的指示；以及
显示与该地理区域相关联的存在分数或准确性分数中的至少一个。
18.根据权利要求17的非临时性有形电子存储介质，其中当由处理器执行时所述程序指令进一步使得该计算机系统：
显示至少部分地由电信网络测试系统生成的网络事件中所涉及的网元的子集；以及
显示与该地理区域相关联的存在分数或准确性分数中的至少一个。
CN201210599162.2A 2011-12-27 2012-12-26 数据完整性计分和网络可视化及用户体验监控 Active CN103220164B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201161580487P 2011-12-27 2011-12-27
US61/580,487 2011-12-27
US61/580487 2011-12-27
US13/461,467 US8964582B2 (en) 2011-12-27 2012-05-01 Data integrity scoring and visualization for network and customer experience monitoring
US13/461467 2012-05-01
US13/461,467 2012-05-01

Publications (2)

Publication Number Publication Date
CN103220164A CN103220164A (zh) 2013-07-24
CN103220164B true CN103220164B (zh) 2018-10-26

Family

ID=47603125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210599162.2A Active CN103220164B (zh) 2011-12-27 2012-12-26 数据完整性计分和网络可视化及用户体验监控

Country Status (3)

Country Link
US (1) US8964582B2 (zh)
EP (1) EP2611084B1 (zh)
CN (1) CN103220164B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8214494B1 (en) 2009-05-18 2012-07-03 Alarm.Com Incorporated Network device management technology
US20130290439A1 (en) * 2012-04-27 2013-10-31 Nokia Corporation Method and apparatus for notification and posting at social networks
US8971199B2 (en) * 2012-05-11 2015-03-03 Alcatel Lucent Apparatus and method for selecting service quality metrics for managed services quality assurance
US9069763B2 (en) * 2012-07-02 2015-06-30 International Business Machines Corporation Services management application integrating social media and automated infrastructure monitoring
US20140280904A1 (en) * 2013-03-14 2014-09-18 Centurylink Intellectual Property Llc Session initiation protocol testing control
EP2854341B1 (en) * 2013-09-26 2020-02-26 Viavi Solutions Inc. Techniques for providing visualization and analysis of performance data
WO2015062109A1 (zh) * 2013-11-04 2015-05-07 华为技术有限公司 一种网络关键性绩效指标的评估方法及装置
US20150134419A1 (en) * 2013-11-11 2015-05-14 At&T Intellectual Property I, L.P. Customer experience management (cem) metrics and operational correlation techniques
US20150229518A1 (en) * 2014-02-13 2015-08-13 Monolith Technology Services, Inc. Systems and methods for providing rapid product development for service assurance
US8990637B1 (en) 2014-03-17 2015-03-24 Splunk Inc. Computing and accessing quality indicators of computer applications
US11695657B2 (en) * 2014-09-29 2023-07-04 Cisco Technology, Inc. Network embedded framework for distributed network analytics
US10735293B2 (en) * 2014-11-27 2020-08-04 Cellos Software Ltd Method and network monitoring device for estimating web page download time on a user device
US10305759B2 (en) 2015-01-05 2019-05-28 Cisco Technology, Inc. Distributed and adaptive computer network analytics
US10140328B2 (en) * 2015-12-08 2018-11-27 Globestar Systems, Inc Detecting data integrity errors in information comprising similar data element types maintained by dissimilar information systems
CN106941690B (zh) * 2016-01-04 2020-11-10 中国移动通信集团公司 一种数据质量确定方法和装置
US9942780B2 (en) 2016-08-25 2018-04-10 Ibasis, Inc. Automated action based on roaming satisfaction indicator
CN108282269B (zh) * 2017-01-05 2019-07-05 中国移动通信有限公司研究院 一种数据分发重组的方法、装置和协议栈设备
US10063431B1 (en) * 2017-03-31 2018-08-28 Netscout Systems, Inc. Detecting and reporting the impact of handovers on subscriber quality of experience
US10719521B2 (en) * 2017-09-18 2020-07-21 Google Llc Evaluating models that rely on aggregate historical data
US10528403B2 (en) * 2017-10-30 2020-01-07 MuleSoft, Inc. Adaptive event aggregation
US10887778B2 (en) 2017-12-22 2021-01-05 At&T Intellectual Property I, L.P. Proactively adjusting network infrastructure in response to reporting of real-time network performance
US10924567B2 (en) 2018-08-28 2021-02-16 Cujo LLC Determining active application usage through a network traffic hub
US10915420B2 (en) 2018-12-03 2021-02-09 At&T Intellectual Property I, L.P. Events data structure for real time network diagnosis
CN110719604A (zh) 2019-10-14 2020-01-21 中兴通讯股份有限公司 系统性能参数的发送方法、装置、管理设备和存储介质
US11197266B1 (en) 2020-07-01 2021-12-07 T-Mobile Usa, Inc. Telecommunications network coverage
US11470490B1 (en) 2021-05-17 2022-10-11 T-Mobile Usa, Inc. Determining performance of a wireless telecommunication network
WO2023084282A1 (en) * 2021-11-11 2023-05-19 Telefonaktiebolaget Lm Ericsson (Publ) Network analytics system with data loss detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001035609A1 (en) * 1999-11-11 2001-05-17 Voyan Technology Method and apparatus for impairment diagnosis in communication systems
US6826513B1 (en) * 2002-11-29 2004-11-30 Council Of Scientific & Industrial Research Method and apparatus for online identification of safe operation and advance detection of unsafe operation of a system or process
WO2008148819A2 (en) * 2007-06-06 2008-12-11 Crisp Thinking Ltd. Method and apparatus for the monitoring of relationships between two parties
CN102150450A (zh) * 2008-03-05 2011-08-10 华为技术有限公司 用于自动监测和管理无线网络性能的系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE383039T1 (de) * 2004-01-30 2008-01-15 Ericsson Telefon Ab L M Verfahren zur bestimmung der leistungsfähigkeit von mobilfunkendgeräten in einem im betrieb befindlichen mobilfunknetz
US7900152B2 (en) * 2005-03-03 2011-03-01 Microsoft Corporation Adaptable user interface for business software
US8140383B2 (en) * 2007-12-17 2012-03-20 Sap Ag Derived and automated key performance indicator reports
WO2013016245A1 (en) * 2011-07-22 2013-01-31 Anne-Marie Turgeon Systems and methods for network monitoring and testing using intelligent sequencing
GB2498513A (en) * 2011-12-14 2013-07-24 Actix Ltd Mobile phone network management and optimisation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001035609A1 (en) * 1999-11-11 2001-05-17 Voyan Technology Method and apparatus for impairment diagnosis in communication systems
US6826513B1 (en) * 2002-11-29 2004-11-30 Council Of Scientific & Industrial Research Method and apparatus for online identification of safe operation and advance detection of unsafe operation of a system or process
WO2008148819A2 (en) * 2007-06-06 2008-12-11 Crisp Thinking Ltd. Method and apparatus for the monitoring of relationships between two parties
CN102150450A (zh) * 2008-03-05 2011-08-10 华为技术有限公司 用于自动监测和管理无线网络性能的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Flexible Approach to Mobile Telephone Traffic Mass Measurements and Analysis;Peter Tatai等;《IEEE Instrumentation and Measurement Technology Conference》;20010523;全文 *

Also Published As

Publication number Publication date
EP2611084B1 (en) 2014-12-24
EP2611084A1 (en) 2013-07-03
US20130163438A1 (en) 2013-06-27
US8964582B2 (en) 2015-02-24
CN103220164A (zh) 2013-07-24

Similar Documents

Publication Publication Date Title
CN103220164B (zh) 数据完整性计分和网络可视化及用户体验监控
EP2611074B1 (en) Confidence intervals for key performance indicators in communication networks
EP3197097B1 (en) Multi kpi correlation in wireless protocols
CN103379002B (zh) 电信网络的自适应监测
JP6690011B2 (ja) ストリーミング分析法を用いてネットワーク問題の実効顧客影響度をリアルタイムで測定するためのシステム及び方法
Orsolic et al. A framework for in-network QoE monitoring of encrypted video streaming
CN104410516B (zh) 一种用户业务感知度评估方法和装置
Mangla et al. VideoNOC: Assessing video QoE for network operators using passive measurements
CN108768702A (zh) 网络分析方法及设备
WO2012055023A1 (en) System for monitoring a video network and methods for use therewith
US20130066875A1 (en) Method for Segmenting Users of Mobile Internet
US10601639B2 (en) Multi cause correlation in wireless protocols
US20130215748A1 (en) Intelligent and Scalable Network Monitoring Utilizing a Hierarchy of Devices
CN103945219A (zh) 一种网络侧视频质量监测系统
JP2010130616A (ja) パケットロス率計測方法、パケットロス率計測装置、およびコンピュータプログラム
US10230590B2 (en) Performance metric of a system conveying web content
Midoglu et al. MONROE-Nettest: A configurable tool for dissecting speed measurements in mobile broadband networks
Oršolić et al. In-network qoe and kpi monitoring of mobile youtube traffic: Insights for encrypted ios flows
US9749840B1 (en) Generating and analyzing call detail records for various uses of mobile network resources
WO2020079986A1 (ja) 推定装置、システム及び方法及びコンピュータ可読媒体並びに学習装置及び方法及びコンピュータ可読媒体
US20130064108A1 (en) System and Method for Relating Internet Usage with Mobile Equipment
Isah et al. State of Internet measurement in Africa-A survey
AT&T
Suznjevic et al. User behavior detection based on statistical traffic analysis for thin client services
CN104753731B (zh) 一种监测在线计费系统的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
CB02 Change of applicant information

Address after: Texas, USA

Applicant after: Tektronic, Inc.

Address before: Massachusetts, USA

Applicant before: Turcotte Rangnick Dirk Sass LLC

COR Change of bibliographic data
TA01 Transfer of patent application right

Effective date of registration: 20161206

Address after: Massachusetts, USA

Applicant after: Turcotte Rangnick Dirk Sass LLC

Address before: oregon

Applicant before: Tektronix, Inc.

GR01 Patent grant
GR01 Patent grant