CN108432184A - 使用假设检验分析异常行为根本原因的系统和方法 - Google Patents

使用假设检验分析异常行为根本原因的系统和方法 Download PDF

Info

Publication number
CN108432184A
CN108432184A CN201780005633.3A CN201780005633A CN108432184A CN 108432184 A CN108432184 A CN 108432184A CN 201780005633 A CN201780005633 A CN 201780005633A CN 108432184 A CN108432184 A CN 108432184A
Authority
CN
China
Prior art keywords
source
kqi
degradation
subset
abnormal behaviour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780005633.3A
Other languages
English (en)
Inventor
杨凯
刘思佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108432184A publication Critical patent/CN108432184A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开涉及用于识别通信网络中的异常行为的根本原因的技术。在通信网络中接收指示与源相关联的性能水平的关键质量指标(KQI)。所述KQI包括性能测量值以识别具有异常行为的源的性能水平。通过将KQI恢复到历史值，基于源处的异常行为来计算指示降级水平的改进KQI。基于计算的KQI改进，根据降级水平将异常行为的源聚类为子集。使用假设检验确定具有严重降级水平的子集中的根本原因源的全局或部分降级类型，并为接受的降级类型提供置信度值。

Description

使用假设检验分析异常行为根本原因的系统和方法
相关申请的交叉引用
本申请要求2016年1月8日提交的、申请号为14/991，685、名称为“使用假设检验分析异常行为根本原因的系统和方法”的美国正式专利申请的优先权，该申请的内容通过引用并入本文，如同全文再现。
背景技术
客户感受到的服务质量是电信行业的一个重要方面。为了成功保持和提高客户服务质量，需要测量和分析网络行为。但是，测量和改善客户的服务体验质量仍然是一项艰巨的任务，需要考虑响应时间和吞吐量等技术问题，以及客户期望、价格和客户支持等非技术问题。测量这些问题的一种机制是通过在通信网络的网络故障检测中使用根本原因分析。例如，可以使用客户服务保证平台来分析来自诸如内容服务器和用户设备之类的各种网络服务的性能和质量降级，以确保客户服务质量与通信服务提供商期望一致。
通信网络故障检测的另一机制涉及使用关键性能指标(Key PerformanceIndicators，KPI)和关键质量指标(Key Quality Indicators，KQI)。KQI和KPI通常被测量以确定网络服务的各种性能水平，使得运营商可以检测到服务水平的任何恶化(降级)以及识别与服务水平恶化相关联的原因。例如，用户的设备可能由于基站故障而出现覆盖不良或切换失败，或者内容服务器可能遭受导致性能降低的硬件问题。然而，这种检测和分析并不能一致地定义网络异常与客户感受之间的相关性。例如，网络KPI可能受到少数降级样本，例如少数网络设备或服务器，的影响，只因为这些样本在各种KPI计算中用于分析。因此，有时网络性能水平可能被认为是有问题的，而实际上这些问题可能仅仅涉及相对少数的降级样本，并不能反映整个网络。
发明内容
根据一个方面，提供了一种用于识别通信网络中异常行为的根本原因的方法，包括：接收指示与所述通信网络中的源相关联的性能水平的关键质量指标(KQI)，所述KQI包括识别具有所述异常行为的源的性能水平的性能测量值；通过将所述源的当前性能测量值恢复到所述源的基准性能测量值，计算指示由所述源的所述异常行为导致的降级水平的改进KQI；根据基于所计算的所述改进KQI而得的所述源的降级水平，将所述源至少分组成源的第一子集和源的第二子集；以及基于统计假设检验的执行来确定分组在所述第二子集中的源的降级类型，并且计算指示若接受所述降级类型作为所述统计假设检验结果将具有的置信度水平的置信度值。
在一个实施方式中，计算所述改进KQI还包括：测量源的异常行为的结果值；以及响应于具有的降级水平满足阈值的源的当前性能测量值被恢复到所述基准性能测量值，提供所述改进KQI。
在一个实施方式中，该方法还包括根据检测到所述异常行为时的KQI的当前性能测量值与基于统计性能测量值的KQI的基准性能测量值之间的差，计算所述源的降级水平；比较所计算的所述源的降级水平，以确定将所述源识别为检测到的所述异常行为的根本原因的概率；以及通过将所述KQI的当前性能测量值还原到所述KQI的基准性能测量值来恢复所述源的KQI以消除检测到的所述异常行为。
在一个实施例中，第i个源的改进KQI根据来计算，其中RAN为无线电接入网络，并且RNC为无线电网络控制器。
在一个实施例中，所述分组还包括：响应于将所述改进KQI识别为满足阈值，聚类源的第一子集；以及响应于将所述改进KQI识别为未能满足所述阈值，聚类源的第二子集。
在一个实施例中，所述聚类根据学习过程确定，所述学习过程根据下式执行：对于Cj＝2，在满足Sj≥αj的前提下，有其中Ci∈{1，2}是所述第i个源所属的第一和第二子集中的一个的索引，μj是第j个第一和第二子集中的一个的形心，并且α是指示降级水平的严重程度的阈值。
在一个实施例中，所述聚类还包括在在定义有下限lb和上限up的区域上按步长Δ计算阈值，其中所述阈值由下式确定：Υ＝lb+(i-1)Δ，i＝1，2，...，floor((up-lb)/Δ)；响应于所述源的降级分数小于所述阈值，将所述源聚类到所述源的第一子集，以及响应于所述源的降级分数大于或等于所述阈值，将所述源聚类到所述第二子集；以及确定可解下式的的阈值：
在一个实施例中，统计假设检验的执行包括构建用于所述统计假设检验的数据集；以及使用T检验来求解使用所述数据集构建的所述统计假设检验，其中所述假设检验被构造为确定源处的降级类型为全局降级和部分降级之一。
在一个实施例中，所述假设检验根据构造，其中和被定义为平均数据集{xi}和{yi}，并且ε为阈值。
在一个实施例中，统计假设检验的执行包括：响应于源的第二子集中的源的当前性能测量值被恢复到平均基准性能测量值来计算KQI；以及应用决策规则来确定所述源的第二子集的降级类型为全局降级和部分降级之一。
在一个实施例中，所述源是无线电接入网络(RAN)、服务器和云计算系统中服务器之一。
根据另一方面，提供了一种用于识别通信网络中的异常行为的根本原因的装置，该装置包括：接收器，接收指示与所述通信网络中的源相关联的性能水平的关键质量指标KQI，所述KQI包括识别具有所述异常行为的源的性能水平的性能测量值；以及处理器，用于：通过将所述源的当前性能测量值恢复到所述源的基准性能测量值，计算指示由所述源的所述异常行为导致的降级水平的改进KQI；根据基于所计算的所述改进KQI而得的所述源的降级水平，将所述源至少分组成源的第一子集和源的第二子集；以及基于统计假设检验的执行来确定分组在所述第二子集中的源的降级类型，并且计算指示若接受所述降级类型作为所述统计假设检验结果将具有的置信度水平的置信度值。
根据另一方面，提供了一种计算机可读存储设备，包括使一个或多个处理器执行识别通信网络中的异常行为的根本原因的方法的指令，所述方法包括：接收指示与所述通信网络中的源相关联的性能水平的关键质量指标(KQI)，所述KQI包括识别具有所述异常行为的源的性能水平的性能测量值；通过将所述源的当前性能测量值恢复到所述源的基准性能测量值，计算指示由所述源的所述异常行为导致的降级水平的改进KQI；根据基于所计算的所述改进KQI而得的所述源的降级水平，将所述源至少分组成源的第一子集和源的第二子集；以及基于统计假设检验的执行来确定分组在所述第二子集中的源的降级类型，并且计算指示若接受所述降级类型作为所述统计假设检验结果将具有的置信度水平的置信度值。
本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念中所挑选出的一部分。本发明内容并不旨在确定要求保护的主题的关键特征或必要特征，也不旨在用作确定所要求保护的主题的范围的辅助手段。要求保护的主题不限于解决背景技术中提到的任何或全部缺点的实施方式。
附图说明
通过示例的方式来说明本公开的各方面，且并不仅限于附图，附图中相同的附图标记表示相同的元件。
图1示出了根据一个实施例的通信系统。
图2示出了根据图1的系统实现根本原因分析的流程图。
图3示出了根据图1和2在无线电网络控制器界定根本原因的流程图。
图4示出了根据图3所示计算降级水平的流程图。
图5示出了根据图3的降级原因分析的流程图。
图6示出了使用根据图5的学习过程将源聚类的流程图。
图7示出了根据图2实施的假设检验的流程图。
图8示出了根据图2实施的假设检验的另一流程图。
图9示出了数据恢复的源的改进KQI的计算结果的示意图。
图10示出了从图6中的流程图确定的聚类结果的示意图。
图11图示了根据图10的恢复KQI数据的示意图。
图12示出了可以用来实现各种实施例的网络系统的框图。
具体实施方式
本公开涉及用于使用假设检验来识别通信网络中的异常行为的根本原因的技术。当异常行为影响网络的性能水平时，系统会识别引起异常行为的来源，以及该来源确为根本原因的概率(置信度)。利用从源级到无线电网络控制器(RNC)级的KQI投影来识别在源处的异常行为，其中利用性能度量(称为KQI改进或改进KQI)来测量对每个源的异常效应。当降级源(具有异常行为的源)的KQI值恢复到历史(基准)KQI值时，改进KQI提供了对系统改进的测量。在这方面，使用学习而得的处理机制来识别源中具有严重的KQI降级的子集，并且制定假设检验问题，用于确定源上降级的类型，并且使用启发式方法或T检验(Student’sT-test)来求解。
应该理解的是，本发明可以以许多不同的形式来实施，并且不应该被解释为限于在此阐述的实施例。相反，提供这些实施例是为了使本公开内容透彻和完整，并将本发明充分传达给本领域技术人员。实际上，本发明旨在覆盖这些实施例的替换、修改和等同，这些实施例被包括在由所附权利要求限定的本发明的范围和精神内。此外，在本发明的以下详细描述中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，本领域的普通技术人员应当清楚，可以在没有这些具体细节的情况下实践本发明。
图1示出了可以实施所公开的实施例的通信系统。通信系统100可以是蜂窝移动通信系统(或蜂窝无线电通信网络)，其中包括：无线电接入网络(Radio Access Network，RAN)101，诸如根据LTE(Long Term Evolution，长期演进)的演进的UMTS陆地无线电接入网络的E-UTRAN；核心网络102，诸如基于LTE的EPC；检测和分析系统104；以及网络106，诸如因特网。RAN 101可以包括基站103，诸如基站收发台、eNodeB、eNB、家庭基站、家庭eNodeB、根据LTE或LTE-Advanced的HeNB。每个基站103可以为无线电接入网络101的一个或多个移动无线电小区提供无线电覆盖。因此，无线电接入网络101的基站103可以跨越不同类型的小区，例如根据LTE或LTE-Advanced，诸如宏小区、毫微微小区、微微小区、小小区、开放小区、封闭用户组小区、混合小区。另外，RAN 101包括管理RAN 101中的元件并且负责控制与其连接的基站103的RNC 105。
诸如移动终端之类的用户设备(User Equipment，UE)连接到RAN 101，并且可以经由基站103与核心网102和其他用户设备UE进行通信，以在网络中提供覆盖。例如，在用户设备UE所在的特定无线电小区(未示出)中操作的基站103可以向用户设备UE提供包括分组数据汇聚协议(Packet Data Convergence Protocol，PDCP)层、无线电链路控制(Radio LinkControl，RLC))层和介质访问控制(Medium Access Control，MAC)层的E-UTRA用户面终端，以及包括无线电资源控制(Radio Resource Control，RRC)层的控制面终端。
基站103可以使用诸如X2接口的接口(未示出)彼此连接，并且经由诸如S1接口的另一接口(未示出)连接至核心网络102、到移动性管理实体(Mobility ManagementEntity，MME)107和服务网关(Serving Gateway，S-GW)109。还可以理解，基站103可以连接到多于一个MME/S-GW107、109，并且MME/S-GW107、109可以是连接到多于一个基站103以实现例如LTE中的网络共享。此外，MME 107可负责控制位于E-UTRAN的覆盖区域中的用户设备UE的移动性，而S-GW 109可负责处理用户设备UE与核心网络102之间的用户数据传输。
通信系统100的每个基站103可以控制其地理覆盖区域(或划定该地理覆盖区域的小区)内的通信。当用户设备UE位于其地理覆盖区域内时，用户设备UE与控制该地理覆盖区域的基站103进行通信。当用户设备UE的用户发起呼叫时或者有呼叫发送给用户设备UE时，在用户设备UE与控制用户设备UE所在的地理覆盖区域的基站103之间建立无线电信道。如果用户设备UE远离建立呼叫的地理覆盖区域且在地理覆盖区域中建立的无线电信道的信号强度减弱，则通信系统可以启动将呼叫转移到用户设备UE移入的另一个地理覆盖区域的无线电信道。当用户设备UE继续在通信系统100的整个覆盖区域中移动时，可以在相邻的地理覆盖区域或小区之间转移对呼叫的控制。
可以理解的是，所公开的通信系统是非限制性示例，并且可以使用任何数量的不同的网络组件、服务和设备，这在本领域中也是可以理解的。例如，图示通信系统不限于两个RAN，并且RAN不限于两个基站和单个RNC。可以使用任何数量的RAN、基站和RNC。类似地，根据网络的类型，可以使用任何数量的不同类型的RAN、核心网络和网络。
通信系统100还包括检测和分析系统104，检测和分析系统104包括测量和收集模块104a、KQI分析和聚类模块104b以及降级分析模块104c。尽管检测和分析系统104被图示为与RAN 101和核心网络102分离，但是其也可以部分地或全部地包括在RAN 101(或基站103或RNC 105)或核心网络102内。例如，RNC 105可以提供测量和收集KQI数据、分析和聚类KQI数据和/或执行降级分析的功能。
使用测量和收集模块104a，可以从RAN 101收集网络统计。所述网络统计可以从RAN 101的操作和支持系统或者从任何存储有请求数据、性能统计或配置参数的其他网元(诸如服务器)或任何中间元件获取。RAN 101的关键质量指标(KQI)可以在预定义的测量周期内被测量和收集，并且多个测量周期可以被聚合以检测覆盖和呼叫质量问题(即，异常行为)。
例如，要收集的KQI可能与服务覆盖有关。例如可以使用用于无线条件下降到特定质量阈值以下的事件数目的统计来测量覆盖水平KQI。例如，某些无线资源管理(radioresource management，RRM)程序可能由于某些无线条件的质量阈值下降而触发。要收集的KQI的另一个例子包括可能使用传播延迟计数器测量的过度传播延迟。可以理解的是，可以测量和收集许多其他的KQI，并且上述实施例中详述的是非限制性的。
KQI分析和聚类模块104b可以负责分析所收集的KQI数据并将数据分组为各种信息聚类或子集。例如，所述分析可以包括计算KQI值之间的差异和降级水平，或使用恢复技术来消除系统中的异常行为。如下所述，可以采用各种度量来计算这些值。此外，如下所述，KQI分析和聚类模块104b可以基于学习处理机制将分析的数据分组为聚类或子集。
降级分析模块104c可以用于使用假设检验来检测异常行为的根本原因，下面详细描述假设检验的特征。
图2示出了根据图1的系统实现的根本原因分析的流程图。根据下面的实施例，RNC105负责管理网元之间的信息流。然而，可以理解的是，信息流的管理并不限于RNC 105，并且可以使用本领域技术人员所知的任何机制。
当在通信网络中(例如由RNC 105)检测到异常行为时，重要的是确定网络的哪个部分(例如，服务器或RAN)引起了异常，以及确定异常的降级类型(例如，部分或全局降级)。在202，RNC 105接收包括关于通信网络100中的特定源的性能水平的信息的KQI数据。源可以是限定用户设备UE或用户设备UE所接入的服务器(例如，是通信网络100的一部分的内容服务器)的地理覆盖区域的小区(例如，宏小区，毫微微小区，微微小区)。可以例如使用以下方程来计算从源级(例如，小区或服务器级)到RNC级的投影：
其中可以使用以下度量来计算KQI值：
可以理解，所述方程和度量是非限制性的例子，也可以使用其他公知的技术和其他度量。
在204，使用改进KQI来测量在每个源的异常效应(降级水平)，其在降级的源的KQI值被恢复到历史(基准)值时提供的改进性能度量(即，改善的测量)值。第i个源的KQI改进被定义为：
下面参照图3和图4来就得出该改进KQI的机制进一步讨论。
在完成改进KQI的计算之后，在206将所确定的源的降级水平与阈值(后文有详细解释)进行比较。如果所确定的降级水平满足阈值，则在210将所述源分组为源的第一子集(聚类)。另一方面，如果所确定的降级水平未能满足阈值(即，降级水平被确定为严重)，则在208将所述源分组为第二子集(聚类)。如下面进一步解释的，阈值是自适应配置的阈值，其使用本文中参照学习处理机制描述的技术来计算。
在将源分组为子集之后，RNC 105在212基于假设检验的执行来确定源(针对被分组到第二子集中的源)的降级类型。如下所述，降级类型的确定是以假设检验为基础的，结果确定所述源为全局降级或部分降级。此外，所述检验提供了一个置信度值，表明执行和接受的假设检验具有这样的置信度。
图3是示出根据图1和2的无线电网络控制器处的根本原因界定(demarcation)的示例流程图。为了在RNC 105确定根本原因界定，提供KQI数据(302)作为输入源。在306，根据在检测到异常行为(KQI异常值数据)时的RNC 105的KQI(KQIRNC)和由事前记录的历史(基准)数据(KQI非异常值数据))确定的RNC 105的KQI之间的差异来计算所述源的降级水平。下面参考图4讨论关于计算的附加细节。
在308，RNC 105通过比较源的降级水平来计算异常行为应归属于特定源的概率。例如，RNC 105将计算用户设备UE使用的小区是异常行为的根本原因的概率。类似地，RNC105可以计算用户设备UE正在使用的服务器是异常行为的根本原因的概率。一旦计算出来，RNC 105就可以利用这些概率来确定哪个源是可能的降级原因。可以将每个来源(RAN和服务器)的比较构造如下所示：
其中
对降级水平进行比较以确定概率之后，在310，恢复源的KQI测量值以消除异常行为。这可以通过应用下面的公式来实现，其中一个源(例如RAN或服务器)的异常效应被消除：
其中第i个源的当前KQI数据重置为从历史(基准)数据而得的KQI值。可以理解的是，尽管方程中的源是RAN，但是可以使用类似的方程来计算另一源(例如服务器)的KQI。
然后在312，响应于当前KQI被恢复成历史(基准)KQI，使用上面详述的公式(参见图2的204)来计算改进KQI。然后在314，将结果用作降级分析的一部分(后文参照图5进行讨论)。
图4示出了根据图3计算降级水平的实施例。为了让RNC 105计算源的降级水平，使用以下公式计算在异常行为(即，异常事件的时间)时的KQIRNC和来自历史(基准)数据的KQIRNC之间的差异：
如上表所示，就当前KQI(KQI异常值)和历史(基准)KQI(KQI非异常值)两者，针对源(例如，RAN和服务器)计算KQI。也就是说，在402、404、408和410求解这四个方程。一旦方程已经求解，并且在406和412进行了比较，则输出数据，用于降级水平的比较(如根据图3中的308所述)。
图5示出了根据图3的降级原因分析的流程图。在502，确定异常行为源，并且RNC105计算每个源的改进KQI。然后如上面参照图3和4所解释的，移除KQI异常值。因此，这里不再重复该过程。一旦完成改进KQI的计算，则在504基于对每个源计算的降级水平，将每个源分组为源的子集(聚类)。对源的分组通过执行学习处理机制来实现，其在求解后，识别出具有严重降级的源的子集(聚类)(即，如以上参考图2-4讨论的处理的一部分所计算的严重的KQI降级)。也就是说，当源恢复到基准值时仍具有较大值的改进KQI被认为是严重降级的。而且，学习处理机制可以被边界约束，并且可以利用自适应阈值来执行处理。聚类源和学习处理机制的详细讨论可以在下面参照图6处找到。
在506，被分组到具有严重降级的子集的源由RNC 105分析，以确定异常行为的根本原因。将降级根本原因的确定构造成假设检验以确定源(例如，RAN或服务器)处的降级类型(例如，全局降级或部分降级)，随后使用T检验或通过使用具有预定义的历史数据的决策规则来求解。下面参照图7和图8更详细地讨论假设检验。
图6示出了使用根据图5的学习过程的将源聚类的示例流程图。由RNC 105执行将源分组成子集或聚类以提取具有严重的KQI降级的源。因此，为了计算源{si}i＝1，2，...的改进KQI值，将KQI数据分组成两个子集(聚类)，其中源的第一子集被定义为具有“最佳”KQI数据的源，而源的第二子集被定义为具有降级KQI数据的源。
在602定义用于聚类的数据，该数据包括定义在其上搜索聚类阈值的约束的区域(即，下限(1b)和上限(up))。也就是说，区域的下限和上限定义了RNC 105可以搜索和定位最佳阈值的区域。除了该区域之外，Δ可以被设置为步长。在定义了区域和步长的情况下，分组过程504可以开始。
在604，RNC 105在具有被设置为步长Δ的区域上计算阈值。所述阈值根据以下公式计算：
Υ＝1b+(i-1)Δ，i＝1，2，...，floor((up-lb)/Δ)。
一旦计算了阈值Υ，RNC 105就在606确定降级分数Si(先前计算的)是否小于阈值。根据降级分数Si将所述源分组到第一和第二子集(聚类)，其中如果Si＜Υ，则在608将所述源分组到第一子集(聚类1)，并且如果Si≥Υ，则在610将源分组到第二子集(聚类2)。
在612处，解决以下最优问题，确定阈值Υopt(其是最优阈值)：
并且在614，基于作为受到上述约束的学习处理机制的一部分计算的最佳阈值Υopt来对所述源进行分组。所述学习处理机制表示为：
对于sj≥α且cj＝2，取
其中ci∈{1，2}是第i个源属第一还是第二子集的索引，μj是第j个第一和第二子集之一的形心(centroid)，并且α是指示降级水平严重程度的阈值。
图7示出了根据图2实现假设检验的流程图。公开的实施例中的统计假设检验被实现，以确定源(诸如RAN 101或服务器)的降级类型(例如，全局或部分降级)。在702，当源的第二子集(聚类)(使用学习处理机制确定的严重降级的源)的KQI值被恢复到平均的历史(基准)KQI值时，RNC 105计算RNC 105的KQI值。用来执行这种计算的度量是根据：
其中在计算中应用的源是RAN和服务器(例如，RAN/服务器)之一，并且加权KQI和使用计数是根据图2的过程来确定的。
在704，由RNC 105应用决策规则来将源的第二子集的降级类型确定为全局降级和部分降级之一。所述决策规则可以表述为：
其中β是指示部分降级的阈值。在该实施例中，使用启发式方法计算阈值β，例如使用预定义数据和历史数据来计算阈值。此外，除了提供降级类型之外，假设检验还提供关于确定的降级类型的置信度。
图8是根据图2实现假设检验的另一个流程图。统计假设检验是另一个可以被实施以确定源(诸如RAN 101或服务器)的降级类型(例如，全局或部分降级)的实施例。与上述假设检验中应用的启发式方法相反，本实施例采用T检验进行假设检验。
在802，RNC 105构建用于假设检验的数据集{xi}和{yi}。数据集根据以下公式构建：
一旦构建了数据集{xi}和{yi}，就可以实施T-检验用于假设检验以求解公式：
其中，和被定义为平均数据集{xi}和{yi}，ε是阈值，其中H0＜ε确定降级类型为全局降级，H1≥ε确定降级类型为部分降级。
虽然上述实施例涉及两个假设检验，但是可以理解，这些实施例是非限制性的。可以使用任何数量的假设检验来确定降级类型。
图9示出了数据恢复后的源的改进KQI计算结果的图。如图所示，左侧图示出了根据图3和图4中详述的过程(306)处理的数据集，右侧图示出了通过根据图3的过程(310)消除源的异常行为而恢复的数据集。。
图10示出了将从图6中的流程图确定的结果进行聚类的示意图。如图所示，展示了针对数据集的根本原因分析，其中沿x轴绘制每个源(在本示例中为每个服务器)的降级分数si，并且沿y轴绘制源索引(第i个源)。阈值Υopt将源“划分”成每个源的降级水平满足阈值Υopt的第一子集(子集1)和每个源的降级水平未能满足阈值Υopt的第二子集(子集2)。也就是说，第二子集示出了了基于改进KQI计算，服务器降级程度严重的异常值来源。
在该实施例中，RNC 105例如在指定的时间周期对KQI应用响应延迟度量。当计算源(例如，RAN和Sever)的RN界定值时，例如，根据图3中示出的过程(308)，RNC 105针对提供的数据集(未示出)计算概率：
RNC界定概率
RAN 0.151748
服务器 0.848252
其中服务器处的较高概率值指示服务器降级是异常行为的根本原因。如根据图5进行的降级分析，可得该图中的第一和第二子集的聚类。
在聚类结果之后，进行假设检验(在本例中使用T检验)，其返回以下结果：
服务器
降级类型 部分
第二子集百分比 2.45％
KQI改进 154.68％
P值 0.265895
基于这些结果，接受H1假设检验(图8，部分降级)具有73.4％的置信度(p值)。
图11示出了根据图10恢复的KQI数据的示意图。如图所示，该图绘制了具有严重降级的KQI数据(KQI异常值数据)、KQI历史(基准)数据和恢复的KQI数据(当KQI异常值数据被恢复到KQI历史数据时)。如图所示，沿x轴为恢复的源(在本示例中为服务器)的数量，并且沿y轴为KQI数据度量(响应延迟)。因此，对于恢复的KQI数据，KQI改进计算(如图3和5中所确定的)显示180.86％的改进。
图12是可以用来实现各种实施例的网络系统的框图。特定设备可以利用所示的所有组件，或者仅利用组件的子集，并且集成度的级别可以随着设备不同而变化。此外，设备可以包含组件的多个实例，诸如多个处理单元、处理器、存储器、发射器、接收器等。所述网络系统可以包括处理单元1201，配备有一个或多个输入/输出设备，诸如网络接口、存储接口等。处理单元1201可以包括连接到总线的中央处理单元(central processing unit，CPU)1210、存储器1220、大容量存储设备1230和I/O接口1260。所述总线可以是包括存储器总线或存储器控制器、外围总线等的任何类型的几种总线架构中的一种或多种。
CPU 1210可以包括任何类型的电子数据处理器。存储器1220可以包括诸如静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamicrandom access memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、只读存储器(read-onlymemory，ROM)或其组合等的任何类型的系统存储器。在一个实施例中，存储器1220可以包括在启动时使用的ROM，以及用于在执行程序时用于程序和数据存储的DRAM。在一个实施例中，存储器1220是非暂时性的。大容量存储设备1230可以包括被配置为存储数据、程序和其他信息并且使这些数据、程序和其他信息可经由总线访问的任何类型的存储设备。大容量存储设备1230可以包括例如固态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器等中的一个或多个。
处理单元1201还包括一个或多个网络接口1250，网络接口1250可以包括诸如以太网电缆等的有线链路和/或到接入节点或一个或多个网络1280的无线链路。网络接口1250允许处理单元1201经由网络1280与远程单元进行通信。例如，网络接口1250可以经由一个或多个发射器/发射天线以及一个或多个接收器/接收天线来提供无线通信。在一个实施例中，处理单元1201耦合到局域网或广域网，用于与诸如其他处理单元、互联网、远程存储设施等的远程设备进行数据处理和通信。
作为上面讨论的异常行为检测的结果，提供了几个优点。所提出的学习处理机制不仅提供RNC异常的根本原因，而且还提供这些原因的置信度。此外，还研究了流量变化对KQI异常根本原因分析的影响，并且所述学习处理机制计算简单，易于实现，所需内存小，可以纳入实时操作。
根据本公开的各种实施例，可以使用执行软件程序的硬件计算机系统来实现在此描述的方法。此外，在非限制性实施例中，实施方式可以包括分布式处理、组件/对象分布式处理和并行处理。可以构建虚拟计算机系统处理来实现这里描述的一个或多个方法或功能，并且可以使用此处描述的处理器来支持虚拟处理环境。
在此参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本公开的各方面。可以理解的是，流程图和/或框图中的每个方框以及流程图和/或框图中方框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程指令执行装置的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的机制。
这里使用的术语仅用于描述特定方面的目的，而不用于限制本公开。在本文中，除非上下文另有明确规定，否则单数形式“一”、“一个”和“所述”也旨在包括复数形式。将进一步理解的是，当在本说明书中使用术语“包括”和/或“包含”时，指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合。
已经出于说明和描述的目的呈现了本公开的描述，但是并非旨在穷举或限制本公开。在不脱离本公开的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员而言是显而易见的。之所以选择和描述本文公开的这些方面，是为了最好地解释本公开的原理和实际应用，并且使本领域的其他普通技术人员能够理解适合于预期的特定用途的本公开的各种修改。
为了本文的目的，与所公开的技术相关联的每个过程可以连续地并且通过一个或多个计算设备来执行。过程中的每个步骤可以由与在其他步骤中使用的相同或不同的计算设备来执行，并且每个步骤不一定需要由单个计算设备来执行。
虽然已经用结构特征和/或方法动作专用的语言描述了本主题，但是应该理解的是，所附权利要求中限定的主题不一定限于上面描述的特定特征或动作。相反，上面描述的具体特征和动作被公开为实施权利要求的示例形式。

Claims (25)

1.一种用于识别通信网络中异常行为的根本原因的方法，包括：
接收指示与所述通信网络中的源相关联的性能水平的关键质量指标KQI，所述KQI包括识别具有所述异常行为的源的性能水平的性能测量值；
通过将所述源的当前性能测量值恢复到所述源的基准性能测量值，计算指示由所述源的所述异常行为导致的降级水平的改进KQI；
根据基于所计算的所述改进KQI而得的所述源的降级水平，将所述源至少分组成源的第一子集和源的第二子集；以及
基于统计假设检验的执行来确定分组在所述第二子集中的源的降级类型，并且计算指示若接受所述降级类型作为所述统计假设检验结果将具有的置信度水平的置信度值。
2.根据权利要求1所述的方法，其中计算所述改进KQI还包括：
测量源的异常行为的结果值；以及
响应于具有的降级水平满足阈值的源的当前性能测量值被恢复到所述基准性能测量值，提供所述改进KQI。
3.根据权利要求1或2所述的方法，还包括：
根据检测到所述异常行为时的KQI的当前性能测量值与基于统计性能测量值的KQI的基准性能测量值之间的差，计算所述源的降级水平；
比较所计算的所述源的降级水平，以确定将所述源识别为检测到的所述异常行为的根本原因的概率；以及
通过将所述KQI的当前性能测量值还原到所述KQI的基准性能测量值来恢复所述源的KQI以消除检测到的所述异常行为。
4.根据权利要求3所述的方法，其中第i个源的所述改进KQI根据下式计算：
其中RAN为无线电接入网络，并且RNC为无线电网络控制器。
5.根据权利要求1-4中任一项所述的方法，其中所述分组还包括：
响应于将所述改进KQI识别为满足阈值，聚类源的第一子集；以及
响应于将所述改进KQI识别为未能满足所述阈值，聚类源的第二子集。
6.根据权利要求5所述的方法，其中所述聚类根据学习过程确定，所述学习过程根据下式执行：
对于Cj＝2，在满足Sj≥αj的前提下，有
其中Ci∈{1，2}是所述第i个源所属的第一和第二子集中的一个的索引，μj是第j个第一和第二子集中的一个的形心，并且α是指示降级水平的严重程度的阈值。
7.根据权利要求5或6所述的方法，其中所述聚类还包括：
在定义有下限lb和上限up的区域上按步长Δ计算阈值，其中所述阈值由下式确定：
γ＝lb+(i-1)Δ，i＝1，2，...，floor((up-lb)/Δ；
响应于所述源的降级分数小于所述阈值，将所述源聚类到所述源的第一子集，以及响应于所述源的降级分数大于或等于所述阈值，将所述源聚类到所述第二子集；以及
确定可解下式的阈值
8.根据权利要求1-7中任一项所述的方法，其中统计假设检验的执行包括：
构建用于所述统计假设检验的数据集；以及
使用T检验来求解使用所述数据集构建的所述统计假设检验，其中所述假设检验被构造为确定源处的降级类型为全局降级和部分降级之一。
9.根据权利要求8所述的方法，其中所述假设检验构造如下：
其中和被定义为平均数据集{xi}和{yi}，并且ε为阈值。
10.根据权利要求1-9中任一项所述的方法，其中所述统计假设检验的执行包括：
响应于源的第二子集中的源的当前性能测量值被恢复到平均基准性能测量值来计算KQI；以及
应用决策规则来确定所述源的第二子集的降级类型为全局降级和部分降级之一。
11.根据权利要求1-10中任一项所述的方法，其中所述源是无线电接入网络RAN、服务器和云计算系统中服务器之一。
12.一种用于识别通信网络中的异常行为的根本原因的装置，包括：
接收器，接收指示与所述通信网络中的源相关联的性能水平的关键质量指标KQI，所述KQI包括识别具有所述异常行为的源的性能水平的性能测量值；以及
处理器，用于：
通过将所述源的当前性能测量值恢复到所述源的基准性能测量值，计算指示由所述源的所述异常行为导致的降级水平的改进KQI；
根据基于所计算的所述改进KQI而得的所述源的降级水平，将所述源至少分组成源的第一子集和源的第二子集；以及
基于统计假设检验的执行来确定分组在所述第二子集中的源的降级类型，并且计算指示若接受所述降级类型作为所述统计假设检验结果将具有的置信度水平的置信度值。
13.根据权利要求12所述的装置，其中所述处理器还用于：
测量源的异常行为的结果值；以及
响应于具有的降级水平满足阈值的源的当前性能测量值被恢复到所述基准性能测量值，提供所述改进KQI。
14.根据权利要求12或13所述的装置，其中所述接收器还用于：
根据检测到所述异常行为时的KQI的当前性能测量值与基于统计性能测量值的KQI的基准性能测量值之间的差，计算所述源的降级水平；
比较所计算的所述源的所述降级水平，以确定将所述源识别为检测到的所述异常行为的根本原因的概率；以及
通过将所述KQI的当前性能测量值还原到所述KQI的基准性能测量值来恢复所述源的KQI以消除检测到的所述异常行为。
15.根据权利要求14所述的装置，其中第i个源的所述改进KQI根据下式计算：
其中RAN为无线电接入网络，并且RNC为无线电网络控制器。
16.根据权利要求12-15中任一项所述的装置，其中所述处理器还用于：
响应于将所述改进KQI识别为满足阈值，聚类源的第一子集；以及
响应于将所述改进KQI识别为未能满足所述阈值，聚类源的第二子集。
17.根据权利要求16所述的装置，其中所述处理器用于根据按下式执行的学习过程来确定将所述源聚类到第一和第二子集：
对于Cj＝2，在满足Sj≥α的前提下，
其中Ci∈{1，2}是所述第i个源所属的第一和第二子集中的一个的索引，μj是第j个第一和第二子集中的一个的形心，并且α是指示降级水平的严重程度的阈值。
18.根据权利要求16或17所述的装置，其中所述处理器还用于：
在定义有下限lb和上限up的区域上按步长Δ计算阈值，其中所述阈值由下式确定：
γ＝lb+(i-1)Δ，i＝1，2，...，floor((up-lb)/Δ；
响应于所述源的降级分数小于所述阈值，将所述源聚类到所述源的第一子集，以及响应于所述源的降级分数大于或等于所述阈值，将所述源聚类到所述第二子集；以及
确定可解下式的阈值
19.根据权利要求12-18中任一项所述的装置，其中所述处理器还用于通过如下方式执行统计假设检验：
构建用于所述统计假设检验的数据集；以及
使用T检验来求解使用所述数据集构建的所述统计假设检验，其中所述假设检验被构造为确定源处的降级类型为全局降级和部分降级之一。
20.根据权利要求19所述的装置，其中所述假设检验构造如下：
其中和被定义为平均数据集{xi}和{yi}，并且ε为阈值。
21.根据权利要求12-20中任一项所述的装置，其中所述处理器用于通过如下方式执行统计假设检验：
响应于源的第二子集中的源的当前性能测量值被恢复到平均基准性能测量值来计算KQI；以及
应用决策规则来确定所述源的第二子集的降级类型为全局降级和部分降级之一。
22.根据权利要求12-21中任一项所述的装置，其中所述源是无线电接入网络RAN、服务器和云计算系统中服务器之一。
23.一种非暂时性计算机可读存储介质，存储用于识别通信网络中的异常行为的根本原因的指令，当所述指令被一个或多个处理器执行时，执行以下步骤：
接收指示与所述通信网络中的源相关联的性能水平的关键质量指标KQI，所述KQI包括识别具有所述异常行为的源的性能水平的性能测量值；
通过将所述源的当前性能测量值恢复到所述源的基准性能测量值，计算指示由所述源的所述异常行为导致的降级水平的改进KQI；
根据基于所计算的所述改进KQI而得的所述源的降级水平，将所述源至少分组成源的第一子集和源的第二子集；以及
基于统计假设检验的执行来确定分组在所述第二子集中的源的降级类型，并且计算指示若接受所述降级类型作为所述统计假设检验结果将具有的置信度水平的置信度值。
24.根据权利要求23所述的非暂时性计算机可读存储介质，还包括用于以下步骤的计算机指令：
根据检测到所述异常行为时的KQI的当前性能测量值与基于统计性能测量值的KQI的基准性能测量值之间的差，计算所述源的降级水平；
比较所计算的所述源的降级水平，以确定将所述源识别为检测到的所述异常行为的根本原因的概率；以及
通过将所述KQI的当前性能测量值还原到所述KQI的基准性能测量值来恢复所述源的KQI以消除检测到的所述异常行为。
25.根据权利要求24所述的非暂时性计算机可读存储介质，其中第i个源的所述改进KQI根据下式计算：
其中RAN为无线电接入网络，并且RNC为无线电网络控制器。
CN201780005633.3A 2016-01-08 2017-01-05 使用假设检验分析异常行为根本原因的系统和方法 Pending CN108432184A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/991,685 US10546241B2 (en) 2016-01-08 2016-01-08 System and method for analyzing a root cause of anomalous behavior using hypothesis testing
US14/991,685 2016-01-08
PCT/CN2017/070301 WO2017118400A1 (en) 2016-01-08 2017-01-05 System and method for analyzing a root cause of anomalous behavior using hypothesis testing

Publications (1)

Publication Number Publication Date
CN108432184A true CN108432184A (zh) 2018-08-21

Family

ID=59273304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780005633.3A Pending CN108432184A (zh) 2016-01-08 2017-01-05 使用假设检验分析异常行为根本原因的系统和方法

Country Status (4)

Country Link
US (1) US10546241B2 (zh)
EP (1) EP3391591B1 (zh)
CN (1) CN108432184A (zh)
WO (1) WO2017118400A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955554A (zh) * 2019-12-13 2020-04-03 潍柴动力股份有限公司 故障的处理方法、装置、设备及存储介质
CN112583631A (zh) * 2019-09-30 2021-03-30 瞻博网络公司 确定计算机系统事件的依赖原因

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3823242A1 (en) * 2016-04-06 2021-05-19 Karamba Security Centralized controller management and anomaly detection
WO2017216097A1 (en) * 2016-06-16 2017-12-21 Telefonaktiebolaget Lm Ericsson (Publ) Method for volte voice quality fault localization
US10694487B2 (en) * 2016-09-15 2020-06-23 Cisco Technology, Inc. Distributed network black box using crowd-based cooperation and attestation
CN107342918B (zh) * 2017-07-27 2019-11-15 奇安信科技集团股份有限公司 一种基于区域覆盖的网络设备性能评估方法及装置
US10394643B2 (en) * 2017-08-16 2019-08-27 National Instruments Corporation Distributed run-time auto-calculation of measurement uncertainty
CN108923952B (zh) * 2018-05-31 2021-11-30 北京百度网讯科技有限公司 基于服务监控指标的故障诊断方法、设备及存储介质
US10924330B2 (en) * 2018-09-07 2021-02-16 Vmware, Inc. Intelligent anomaly detection and root cause analysis in mobile networks
US11284284B2 (en) 2019-08-13 2022-03-22 T-Mobile Usa, Inc. Analysis of anomalies using ranking algorithm
US11561960B2 (en) 2019-08-13 2023-01-24 T-Mobile Usa, Inc. Key performance indicator-based anomaly detection
CN112543465B (zh) * 2019-09-23 2022-04-29 中兴通讯股份有限公司 一种异常检测方法、装置、终端及存储介质
US11443205B2 (en) * 2019-12-13 2022-09-13 Salesforce.Com, Inc. Self-managing database system using machine learning
US11146978B2 (en) * 2020-02-05 2021-10-12 T-Mobile Usa, Inc. KPI anomaly detection for radio access networks
US11470490B1 (en) 2021-05-17 2022-10-11 T-Mobile Usa, Inc. Determining performance of a wireless telecommunication network
US20230020899A1 (en) * 2021-06-30 2023-01-19 Juniper Networks, Inc. Virtual network assistant with location input
US11770290B2 (en) 2021-08-13 2023-09-26 Juniper Networks, Inc. Network management actions based on access point classification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060242035A1 (en) * 2005-04-20 2006-10-26 Oracle International Corporation Data analysis method and system
CN101189895A (zh) * 2005-06-02 2008-05-28 日本电气株式会社 异常检测方法和系统以及维护方法和系统
CN103945442A (zh) * 2014-05-07 2014-07-23 东南大学 移动通信系统中基于线性预测原理的系统异常检测方法
US20150004964A1 (en) * 2009-07-15 2015-01-01 Rockstar Consortium Us Lp Method and apparatus for telecommunications network performance anomaly events detection and notification
US20150033086A1 (en) * 2013-07-28 2015-01-29 OpsClarity Inc. Organizing network performance metrics into historical anomaly dependency data

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6393386B1 (en) 1998-03-26 2002-05-21 Visual Networks Technologies, Inc. Dynamic modeling of complex networks and prediction of impacts of faults therein
US6278997B1 (en) 1999-02-05 2001-08-21 International Business Machines Corporation System and method for constraint-based rule mining in large, dense data-sets
US6651049B1 (en) 1999-10-22 2003-11-18 International Business Machines Corporation Interactive mining of most interesting rules
US20030130991A1 (en) 2001-03-28 2003-07-10 Fidel Reijerse Knowledge discovery from data sets
US20070263539A1 (en) 2004-09-10 2007-11-15 Telefonaktiebolaget Lm Ericsson (Publ) Method For Monitoring Service Performance And Quality Level In A Telecommunications Network
US8401987B2 (en) 2007-07-17 2013-03-19 International Business Machines Corporation Managing validation models and rules to apply to data sets
US20090165078A1 (en) 2007-12-20 2009-06-25 Motorola, Inc. Managing policy rules and associated policy components
US10095990B2 (en) 2008-01-24 2018-10-09 International Business Machines Corporation Developing, implementing, transforming and governing a business model of an enterprise
CN101527895B (zh) 2009-04-08 2012-05-23 华为技术有限公司 业务状态信息获取方法及装置
CN102081623B (zh) 2009-11-30 2012-10-03 中国移动通信集团浙江有限公司 一种数据库异常检测方法和系统
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN102143507B (zh) 2010-11-23 2015-04-15 北京中创信测科技股份有限公司 一种业务质量监测方法、系统、以及分析方法和系统
CN103024793B (zh) 2011-09-23 2017-10-20 中兴通讯股份有限公司 通信业务质量评估体系的构建方法及系统
US9542532B1 (en) 2011-10-07 2017-01-10 Cerner Corporation Decision support recommendation optimization
US9152918B1 (en) 2012-01-10 2015-10-06 Cerner Innovation, Inc. Resource forecasting using Bayesian model reduction
US9917739B2 (en) 2012-02-20 2018-03-13 Aptima, Inc. Systems and methods for network pattern matching
CN103312531B (zh) 2012-03-15 2017-02-22 华为技术有限公司 一种获取qoe的方法、装置及保证qoe的方法、装置
CN103812671B (zh) 2012-11-06 2016-12-21 中兴通讯股份有限公司 一种通信业务用户感知度评估方法及系统
IN2013CH03925A (zh) 2013-09-02 2015-09-11 Appnomic Systems Private Ltd
US10860570B2 (en) 2013-11-06 2020-12-08 Teoco Ltd. System, method and computer program product for identification of anomalies in performance indicators of telecom systems
US20160105801A1 (en) 2014-10-09 2016-04-14 Microsoft Corporation Geo-based analysis for detecting abnormal logins
US11087263B2 (en) 2014-10-09 2021-08-10 Splunk Inc. System monitoring with key performance indicators from shared base search of machine data
US9424121B2 (en) 2014-12-08 2016-08-23 Alcatel Lucent Root cause analysis for service degradation in computer networks
WO2016093836A1 (en) 2014-12-11 2016-06-16 Hewlett Packard Enterprise Development Lp Interactive detection of system anomalies
CN104571099B (zh) 2015-01-26 2017-05-24 北京国能日新系统控制技术有限公司 基于理论计算和数据分析的光伏故障诊断系统和诊断方法
US9853867B2 (en) 2015-05-19 2017-12-26 Empirix, Inc. Method and apparatus to determine network quality
US10042697B2 (en) 2015-05-28 2018-08-07 Oracle International Corporation Automatic anomaly detection and resolution system
CN105050125B (zh) 2015-06-23 2019-01-29 武汉虹信通信技术有限责任公司 一种面向用户体验的移动数据业务质量评测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060242035A1 (en) * 2005-04-20 2006-10-26 Oracle International Corporation Data analysis method and system
CN101189895A (zh) * 2005-06-02 2008-05-28 日本电气株式会社 异常检测方法和系统以及维护方法和系统
US20150004964A1 (en) * 2009-07-15 2015-01-01 Rockstar Consortium Us Lp Method and apparatus for telecommunications network performance anomaly events detection and notification
US20150033086A1 (en) * 2013-07-28 2015-01-29 OpsClarity Inc. Organizing network performance metrics into historical anomaly dependency data
CN103945442A (zh) * 2014-05-07 2014-07-23 东南大学 移动通信系统中基于线性预测原理的系统异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GABRIELA F. CIOCARLIE ET.AL: "Detecting Anomalies in Cellular Networks Using an Ensemble Method", 《PROCEEDINGS OF THE 9TH INTERNATIONAL CONFERENCE ON NETWORK AND SERVICE MANAGEMENT (CNSM 2013)》 *
于艳华等: "网络异常点检测中性能指标阈值的动态确定方法", 《北京邮电大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112583631A (zh) * 2019-09-30 2021-03-30 瞻博网络公司 确定计算机系统事件的依赖原因
US11900273B2 (en) 2019-09-30 2024-02-13 Juniper Networks, Inc. Determining dependent causes of a computer system event
CN110955554A (zh) * 2019-12-13 2020-04-03 潍柴动力股份有限公司 故障的处理方法、装置、设备及存储介质
CN110955554B (zh) * 2019-12-13 2023-08-18 潍柴动力股份有限公司 故障的处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2017118400A1 (en) 2017-07-13
EP3391591A4 (en) 2018-10-24
EP3391591A1 (en) 2018-10-24
US10546241B2 (en) 2020-01-28
US20170200088A1 (en) 2017-07-13
EP3391591B1 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
CN108432184A (zh) 使用假设检验分析异常行为根本原因的系统和方法
US10332056B2 (en) Features selection and pattern mining for KQI prediction and cause analysis
US10743187B2 (en) Facilitation of self-adjusting network uplink noise balancing
CN108028776B (zh) 用于多视图学习式异常检测及根本原因分析的系统和方法
US10374882B2 (en) Systems and methods for identifying causes of quality degradation in wireless networks
US10326640B2 (en) Knowledge base radio and core network prescriptive root cause analysis
WO2017215647A1 (en) Root cause analysis in a communication network via probabilistic network structure
US11122467B2 (en) Service aware load imbalance detection and root cause identification
CN112740746A (zh) 检测警报的通信网络洞察力
JP5612696B2 (ja) 通信ネットワーク内のサービス品質結果の特定及びアクセスのためのネットワーク管理システム及び方法
US9730098B2 (en) Knowledge discovery and data mining-assisted multi-radio access technology control
US20170041817A1 (en) Communication management apparatus, wireless terminal, and non-transitory machine-readable storage medium
WO2020121020A1 (en) Method and system to predict network performance of a fixed wireless network
EP4046334B1 (en) Method and system for estimating network performance using machine learning and partial path measurements
US9369916B2 (en) Congestion and analytics based access selection control
US11425635B2 (en) Small cell identification using machine learning
US9609533B2 (en) Method and device for optimizing a handover parameter
CN108134703B (zh) 网络小区隐患故障预测分析方法及装置
US20220386159A1 (en) Determining a parameter characteristic of a state of a user equipment via autonomous scaling of input data resolution and aggregation
CN111246515A (zh) 确定干扰源小区的上行干扰贡献度的方法和装置
TWI784713B (zh) 網路品質的管理系統和管理方法
EP4207857A1 (en) Data transmission method and communication apparatus
EP3270541B1 (en) Method, computer program product and system for network analysis
Fan et al. OSS Data Based LTE Wireless Coverage Efficiency Analysis Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180821

WD01 Invention patent application deemed withdrawn after publication