CN106464526B - 检测异常的系统与方法 - Google Patents
检测异常的系统与方法 Download PDFInfo
- Publication number
- CN106464526B CN106464526B CN201580024407.0A CN201580024407A CN106464526B CN 106464526 B CN106464526 B CN 106464526B CN 201580024407 A CN201580024407 A CN 201580024407A CN 106464526 B CN106464526 B CN 106464526B
- Authority
- CN
- China
- Prior art keywords
- determining
- data point
- anomaly
- threshold
- metric value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/0636—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis based on a decision tree analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
在一实施例中,检测异常的方法包括:接收数据点并根据所述数据点和中心值确定度量值。所述方法还包括:确定所述度量值是否低于下限阈值、在下限阈值和上限阈值之间或高于上限阈值;以及当所述度量值低于下限阈值时,确定所述数据点不为异常。此外,所述方法包括:当所述度量值高于上限阈值时,确定所述数据点为异常;以及当所述度量值在下限阈值和上限阈值之间时,确定所述数据点可能为异常。
Description
本发明要求享有于2014年5月15日提交的申请号为14/278,854、发明名称为“检测异常的系统与方法”的美国非临时专利申请的优先权,其全部内容通过引用结合于此。
技术领域
本发明涉及用于无线通信的系统与方法,并且尤其涉及一种检测异常的系统与方法。
背景技术
在无线接入网的网络元件中,比如蜂窝系统的基站(或NodeBs或eNodeBs或小区)或无线网络控制器(RNCs),常常发生异常。异常示例包括小区中断(例如,休眠小区),其可以由通常具有较差(低或高)值的关键性能指标(KPI)来表示。异常也可以以变量集合之间观察到的异常或破损关系或相关性的形式发生。期望异常可以被迅速检测到,同时减少错误警报。
异常是有根源的,比如故障用户设备(UE)或网络元件、干扰、流量较大导致的资源拥塞,具体地,瓶颈(bottleneck)可以是下行链路带宽、上行链路接收总带宽功率、下行链路带宽(代码或资源块)、上行链路带宽(资源块)、回程带宽、信道单元(CE)、控制信道资源等。需要确定异常的根源。
发明内容
检测异常的方法的实施例包括:接收数据点并根据所述数据点和中心值确定度量值。所述方法还包括:确定所述度量值是否低于下限阈值、在下限阈值和上限阈值之间或高于上限阈值;以及当所述度量值低于下限阈值时,确定所述数据点不为异常。此外,所述方法包括:当所述度量值高于上限阈值时,确定所述数据点为异常;以及当所述度量值在下限阈值和上限阈值之间时,确定所述数据点可能为异常。
根源分析方法的实施例包括遍历软决策树,其中,所述软决策树包括多个决策节点和多个根源节点。所述遍历软决策树包括:确定所述多个决策节点指示事件为异常的第一多个概率;以及根据所述第一多个概率确定所述多个根源的第二多个概率。
检测异常的计算机的实施例包括:处理器;和计算机可读存储介质,其存储由所述处理器执行的编程。所述编程包括用以接收数据点并根据所述数据点和中心值确定度量值的指示。所述编程还包括用以执行以下操作的指示:确定所述度量值是否小于下限阈值、在下限阈值和上限阈值之间或大于上限阈值;以及当所述度量值小于下限阈值时,确定所述数据点不为异常。此外,所述编程包括用以执行以下操作的指示:当所述度量值大于上限阈值时,确定所述数据点为异常;以及当所述度量值在下限阈值和上限阈值之间时,确定所述数据点可能为异常。
检测异常的系统的实施例包括:接收装置,用于接收数据点;和确定装置,用于:根据所述数据点和中心值确定度量值;确定所述度量值是否低于下限阈值、在下限阈值和上限阈值之间或高于上限阈值;当所述度量值低于下限阈值时,确定所述数据点不为异常;当所述度量值高于上限阈值时,确定所述数据点为异常;以及当所述度量值在下限阈值和上限阈值之间时,确定所述数据点可能为异常。
为了可以更好地理解以下本发明的详细描述,前述内容已相当广泛地概述了本发明实施例的特征。以下将对本发明实施例的附加特征和优点进行描述,其形成本发明权利要求的主题。本领域技术人员应理解,可以轻而易举地将所公开的概念和具体实施例用作修改或设计其它结构或过程以便执行本发明相同目的的基础。本领域技术人员还应理解,这种等效构造并不脱离如所附权利要求中阐述的本发明的精神和范围。
附图说明
为了更全面的理解本发明及其优点,现结合说明书附图参见以下描述,其中:
图1示出了用于传送数据的无线网络的实施例;
图2示出了检测异常的方法一实施例的流程图;
图3A-B示出了示例性概率密度函数;
图4示出了具有示例性数据点的概率密度函数;
图5示出了检测异常的方法的另一实施例的流程图;
图6A-B示出了示例性概率密度函数;
图7示出了示例性数据;
图8示出了具有内带、中间带和外带的示例性直方图;
图9示出了内带、中间带和外带的实施例;
图10示出了随时间变化的示例性数据样本的图表;
图11示出了检测异常的方法的又一实施例的流程图;
图12示出了硬决策树的示例;
图13示出了软决策树的示例;
图14示出了示例性概率函数;
图15示出了根源分析方法的一实施例的流程图;以及
图16示出了通用计算机系统的一实施例的框图。
除非另有说明,不同附图中的相应数字和符号通常指代相应的部件。对附图进行绘制以清楚说明各实施例的相关方面,并且不一定按比例进行绘制。
具体实施方式
从一开始就应当理解,尽管下文中提供了一个或多个实施例的示意性实现方式,但是所公开的系统和/或方法可以采用许多技术来实现,这些技术可以为目前已知或存在的技术。本发明并不应限于以下示出的示意性实现方式、附图以及技术,包括本文中示意并描述的示例设计和实现方式,而是可以在所附权利要求的范围及其等同物的全部范围内进行修改。
一方法实施例检测异常及异常的根源。异常的根源的示例包括故障用户设备(UE)或网络元件、干扰、较大流量导致的资源拥塞。具体地,瓶颈可以是下行链路功率、接收到的上行链路总宽带功率、下行链路带宽(代码或资源块)、上行链路带宽(资源块)、回程带宽、信道单元(CE)、控制信道资源等。需要检测并确定异常的根源。
一些检测异常的方法选择变量或距离度量的阈值,从而产生基于训练数据结构的决策边界,以便确定离群值代表异常。然而,阈值的选择通常以误报警为交换,使得异常和检测时间遭到遗漏。一方法实施例采用两个阈值水平来检测异常。当数据点低于下限阈值时,则确定没有指示异常。当数据点高于较高阈值时,则确定指示异常。当数据点在阈值之间时,采用历史数据来确定数据点是否指示异常。
在一方法实施例中确定检测到的异常的根源。可以使用硬决策树。所述决策树可以由专家创建或从数据得知。然而,硬决策树可能导致根源诊断不明或误诊。通过经由逻辑函数将度量映射成概率,一方法实施例对异常的一个或多个可能的根源采用软决策树。然后,将概率相乘,造成独立属性的朴素贝叶斯假设(naive Bayes assumption)。因此,确定出最可能的根源或前几个可能的根源以及每个原因的概率或置信度量。
图1示出了用于无线通信的无线网络100。网络100包括无线网络控制器(RNCs)108,其彼此通信。RNCs 108与通信控制器102耦合。多个用户设备(UEs)104与通信控制器102耦合。通信控制器102可以是任何能够通过,特别是,与UEs 104建立上行链路和/或下行链路连接来提供无线接入的的组件,比如基站、增强型基站(eNBs)、接入点、微微蜂窝基站(picocells)、毫微微蜂窝基站(femtocells)以及其它无线功能设备。UEs 104可以是任何能够与通信控制器102建立无线连接的组件,比如移动电话、智能电话、平板电脑、传感器等。在一些实施例中,网络100可以包括各种其它无线设备,比如继电器、毫微微蜂窝基站等。实施例可以在诸如网络100等网络上检测异常。此外,网络可以确定检测到的异常的根源。
图2示出了检测异常的方法的流程图110。训练数据存储在块112中。所述训练数据为历史数据。在块114中,对各个特点进行建模。例如,检测每个特征的关键性能指标(KPI)。
概率密度函数可用来确定数据点是否有可能为异常。靠近中心的数据点有可能不指示异常,而在尾部的数据点有可能指示异常。中心可以是均值、中位数或指示预期值中心的另一个值。图3A-B分别示出了概率密度函数120和130。概率密度函数120具有窄峰和低方差,而概率密度函数130具有更宽的峰和较大的方差。概率密度函数的均值由下式给出:
方差由下式给出:
在块116中,检测算法采用建模数据基于新观察118检测异常。图4示出了概率密度函142,其中数据点144在概率密度函数142的正常范围内,而数据点146在概率密度函数142的尾部,其可能为异常。确定新观察不为异常的概率由下式给出:
异常验证数据点确定数据是正常的概率。如果下式成立,则预计新的输入xi为异常:
p(xi)<ε,
其中ε为,例如,从历史数据中获得的阈值。
图5示出了用于检测具有多个变量的异常的方法的流程图160。采用块162中的训练数据在块164中同时建模多个KPI行为。图6A-B示出了二维概率密度函数的图表170和180。变量x1和x2为独立变量。获得KPIs之间的关系。均值由下式给出:
另外,方差由下式给出:
块166中的检测算法采用建模数据检测来自块168中新观察的异常。图7示出了现有数据点192和新数据点xA、xB、xC和xD的图表。这些新数据点位于训练数据的外围,并有可能为异常,尤其是x1。在该示例中,一个变量是中央处理器(CPU)负载,而另一个变量是内存使用量。计算马氏距离和概率。确定新观察不为异常的概率由下式给出:
使用了协方差矩阵和角度形状。异常验证数据集用于确定阈值ε。当下式条件成立时,预计新输入xi为异常:
p(xi)<ε。
一实施例使用概率密度函数的内带、中间带和外带来检测异常。图8示出了一维概率密度的图表200,其中概率密度直方图202具有内带206、中间带208和外带210。曲线204示出了可以用于检测异常的单个阈值的示例。确定高于所述阈值的频率所对应的数据点不为异常,确定低于所述阈值的值为异常。确定内带中的数据点不为异常,而确定外带中的数据点为异常。确定中间带中的数据点可以是或可以不为异常。内带和中间带之间存在下限阈值,中间带和外带之间存在上限阈值。
图9示出了针对二元二维度量空间高斯示例的具有内带226、中间带或环状带224和外带222的图表220。可以采用三维或n维示例。因为在一维情况下,内带和中间带之间存在下限阈值,中间带和外带之间存在上限阈值。内阈值和外阈值为等距离椭圆轮廓构成的点。马氏距离(Mahalanobis distance)可以用作多维情况下的度量。当数据被构造为混合高斯聚类时,可以使用现有的加权平均马氏距离。获得每个聚类模式的参数。
从历史或训练数据中导出KPI集的下限阈值和上限阈值。高度波动的KPIs,例如,诸如分组交换(PS)吞吐量等高方差或重尾KPIs在下限阈值和上限阈值之间具有更宽的距离。对于更稳定的KPIs,下限阈值和上限阈值更接近,比如安全模式命令故障。在一示例中,用户选择灵敏度。当用户增加灵敏度时,在损害更多错误判断的情况下会检测到更多的异常。随着灵敏度变高,环状区域缩小。用户也可以选择不可侵犯的KPI期望。不考虑从正常偏差的程度,当KPI超过这个绝对阈值时,发出警报。因此,用户选择上限阈值。
当度量值,比如度量向量的马氏距离越过上限阈值至外带时,发出警报。当度量值经过下限阈值内至内带时,不发出警报,并且如果警报之前处于打开状态则进行关闭。另外,复位延迟窗口定时器。当所观察到的度量值进入下限阈值和上限阈值之间的中间带或环状区域时,设置延迟窗口定时器。如果所观察到的度量值在延迟窗口计时器到期时仍然位于中间带,发出警报。在一示例中,延迟窗口为固定值。可选地,延迟窗口取决于所观察到的度量值的趋势。如果该值继续恶化,则较早发出警报。
图10示出了随时间变化的度量值232的图表230。最初,度量值232在内带中,并且异常概率很低。度量值232进入环状区域,设置延迟窗口定时器234。度量值没有达到上限阈值。但是,因为度量值在延迟窗口计时器到期时仍处于环状带中,不发出警报。如果度量值在延迟窗口定时器到期之前返回到内带,不发出警报,并且复位延迟窗口定时器。如果度量值从内带再次进入环状带,重新设置延迟窗口计时器。对于两个或多个变量来说操作类似。
为了减少误报警和异常检测遗漏,可以在下限阈值和上限阈值之间采用产生更大中间带的更广范围。观察更有可能留在这些边界之间,作为安全防护。可以基于延迟窗口上的一致性和趋势触发警报。这需要更多的时间,但产生较少的误报警。警报可以,例如,在小区级比RNC级更明显。在RNC级,小区集群更稳定。
图11示出了检测异常的方法的流程图240。首先,在步骤242中,确定上限阈值和下限阈值。基于历史或训练数据完成此。正常区域内的值低于下限阈值,正常区域之外的值在上限阈值之外,中间值在下限阈值和上限阈值之间。在一示例中,用户难以设置上限阈值。设置下限阈值和上限阈值之间的范围以用检测时间折衷灵敏度和误报警比率。以牺牲检测时间为代价,下限阈值和上限阈值之间较大的距离增加了灵敏度并降低了误报警比率。也可以在步骤242中设置延迟窗口的尺寸。在一示例中,在接收数据之前,首先对这些值进行设置。在另一示例中,这些值基于性能周期性进行更新。
接下来,在步骤244中,接收数据点。所述数据点可以是蜂窝系统或另一系统中的值。
然后,在步骤246中,系统判断数据点是否在内带、中间带或外带中。当数据点处于外带时,系统执行步骤246并且发出警报。警报可能触发根源分析。系统也可以返回到步骤244以接收下一数据点。
当数据点处于内带时,则系统执行步骤250。不发出警报,并且如果先前发出过警报,则进行复位。此外,如果先前设置了延迟窗口计时器,则进行复位。系统此时执行步骤244以接收下一数据点。
当数据点处于中间带时,系统执行步骤254。在步骤254中,系统判断是否先前已设置了延迟窗口计时器。当先前没有设置延迟窗口计时器时,系统恰巧进入中间带,并执行步骤256。
在步骤256中,系统设置延迟窗口定时器。然后,其执行步骤244以接收下一数据点。
当先前已设置了延迟窗口计时器时,则系统执行步骤258,其中系统确定延迟窗口计时器是否已到期。当延迟窗口计时器尚未到期时,系统执行步骤244以接收下一数据点。当延迟窗口定时器已经到期,系统执行步骤246以发出警报。系统在决定设置警报时也可以考虑其它因素,如趋势。当数据点趋向于更接近上限阈值时,可以更早发出警报。
在检测到异常后,需要确定异常的根源。图12示出了用于确定异常的根源的决策树290。根源的一些示例在于,UE处于覆盖盲区中,UE存在大面积阻塞覆盖,或者UE操作系统或蜂窝网络中存在软件错误。决策树从工程经验中产生或从标记的历史数据中挖掘出,并在检测到新的异常原因时可能进行修改。决策树290为硬决策树,其中在每个节点上选择路径。此外,决策树290为层级式,由特殊的度量集和/或网络节点向下深入到较低层级。决策树290有三个决策层:第一RNC级400,根级;第二RNC级402;和小区级404。原因级406包含叶子。事件Eij的树节点通过对习得的非线性函数,如马氏距离,进行计算作用于一组测试度量值Sij。树节点将函数的输出与阈值进行比较来确定肯定或否定硬决策。
首先,在节点292中,系统判断是否发生异常事件E1。确定通用度量值集合S1,并与阈值进行比较。例如,当度量值大于阈值时,发生异常事件E1,并且系统进行到节点296,而当度量值小于或等于阈值τ1时,不发生异常事件E1,并且系统进行到节点294。
在节点296中,系统判断是否发生异常事件E22。确定特定度量值S22。然后,将特定度量值S22与阈值τ22进行比较。当度量值小于阈值时,不发生异常事件E22,并且系统进行到节点302,其中系统确定异常为未知问题。这种情况可能发生在,例如,这种异常第一次发生时。当度量值大于阈值时,发生异常事件E22,并且系统进行到节点304。
在节点304中,系统判断是否发生异常事件E33。确定度量值S33,并与阈值τ33进行比较。当度量值小于阈值时,未发生异常事件E33,系统在节点314中查找其它异常事件以确定根源。另一方面,当度量值大于阈值时,则确定已经发生异常事件E33。此时,在节点316中,确定根源为RNC和小区问题类型Z。
在节点294中,系统判断是否发生异常事件E21。确定度量值S21,并与阈值τ21进行比较。当度量值S21小于阈值时,则确定不发生异常事件E21,并且系统进行到节点298。另一方面,当度量值S21大于或等于阈值时,系统进行到节点300,确定的确发生了异常事件E21。
在节点298中,系统判断是否发生异常事件E31。确定度量值S31,并与阈值τ31进行比较。当度量值S31小于阈值时,则确定不发生异常事件E31,并且异常在节点306中不是X型问题。当度量值S31大于或等于阈值时,则在节点308中确定问题是纯小区X型问题。
在节点300中,系统判断是否发生异常事件E32。确定度量值S32,并与阈值τ32进行比较。当度量值S32小于阈值时,则确定不发生异常事件E32,并且在节点310中,确定为根源查找其它异常事件。当度量值S32大于或等于阈值时,则在节点312中确定问题是RNC和小区Y型问题。
决策树290为二进制树,但也可以采用非二进制树。例如,可以对两个具有四个互斥叶子的事件A和B进行联合分析:A和B、A和非B、非A和B、非A和非B。如果A和B由不同组件引起,则各个概率相乘。同样地,三个潜在事件可能存在八个叶子,等等。
图13示出了软决策树320,其用于确定异常的原因。使用软决策树,可以确定特定问题引起异常的概率。可以确定一个或多个可能的根源。给定节点为肯定的概率,即Pij,是针对异常事件Eij输出概率的习得函数值阈值差上运作的逻辑函数。概率由均值距离进行确定。概率由下式给出:
其中,f(xij)为习得函数,例如马氏距离,其自变量x为测试向量,并且τij为阈值。图14示出了图表360,示例性逻辑函数。否定的概率为1-Pij。这是由于事件及其组件在树的节点上的相互排斥性,这意味着叶子或根源集合是互斥的。
假设节点ij和kl分别对应于事件Eij和Ekl,如果决策树上存在边缘加权值,则节点之间的边缘加权值由(ij,kl)表示。通过变换将概率转换为距离,使得当(ij,kl)存在于肯定分支上时,边缘加权值由下式给出:
Dij,kl=ln(Pij)
当(ij,kl)存在于否定分支上时,通过下式给出:
Dij,kl=ln(1-Pij)
否则边缘加权值∞。肯定边缘的Pij增加并且否定边缘的(1-Pij)增加时,Dij,kl减小。为了最终能在节点中找到根源,从根级到叶子对Dij,kl沿路径进行相加。从根节点到叶节点中其中一个的最短距离路径最有可能是根源。可以考虑几个可能的根源及其可能性。例如,可以考虑距离低于阈值的所有根源。可选地,考虑最小边缘距离中的两个、三个或更多个。最有可能的路径或事件集合为从根级到叶子的最小路径(arg min)的自变量,即:
Σ(ij,kl)∈pathDij,kl。
在朴素贝叶斯假设中,沿候选路径边缘的相加距离导致沿路径的独立事件Eij的概率相乘。
软决策树320具有:根级,第一RNC级346;两个中间级,第二RNC级348和小区级350;以及根源级,叶子352。首先,在节点322中,系统确定异常事件E11发生的概率P11。该概率由下式给出:
其中,f(x11)为用于测量异常事件E11的习得函数,τ11为事件E11的阈值。不发生异常事件E11的概率由(1-P11)给出。
然后,确定第二RNC级348的概率。在节点324中确定发生异常事件E21的概率P21。该概率由下式给出:
其中,f(x21)为用于测量异常事件E21的习得函数,τ21为事件E21的阈值。不发生异常事件E21的概率由(1-P21)给出。同样地,在节点326中,发生异常事件E22的概率P22由下式进行确定:
其中,f(x22)为用于测量异常事件E22的习得函数,τ22为事件E22的阈值。不发生异常事件E22的概率由(1-P22)给出。
同样地,确定小区级异常的概率。在节点328中确定发生异常事件E31的概率P31。该概率由下式给出:
其中,f(x31)为用于测量异常事件E31的习得函数,τ31为事件E31的阈值。不发生异常事件E31的概率由(1-P31)给出。此外,在节点330中,发生异常事件E32的概率P32由下式进行确定:
其中,f(x32)为用于测量异常事件E32的习得函数,τ32为事件E32的阈值。不发生异常事件E32的概率由(1-P32)给出。另外,在节点334中,发生异常事件E33的概率P33由下式进行确定:
其中,f(x33)为用于测量异常事件E33的习得函数,τ33为事件E33的阈值。不发生异常事件E33的概率由(1-P33)给出。
当计算出概率时,确定叶子的边缘加权距离。例如,节点336的边缘加权距离,即,不是X型问题,由下式给出:
-ln(1-P11)-ln(1-P21)-ln(1-P31)。
另外,节点338的边缘加权距离,即,纯小区X型问题,由下式给出:
-ln(1-P11)-ln(1-P21)-ln(P31)。
同样,节点340的边缘加权距离,即,为根源查找其它异常事件,由下式给出:
-ln(1-P11)-ln(P21)-ln(1-P32)。
另外,节点342的边缘加权距离,即,RNC和小区Y型问题,由下式给出:
-ln(1-P11)-ln(P21)-ln(P32)。
节点332的边缘加权距离,即,未知问题,由下式给出:
-ln(P11)-ln(1-P22)。
此外,节点344的边缘加权距离,即,为根源查找其它异常事件,由下式给出:
-ln(P11)-ln(P22)-ln(1-P33)。
节点344的边缘加权距离,即,RNC和小区Z型问题,由下式给出:
-ln(P11)-ln(P22)-ln(P33)
当采用条件概率时,沿路径的相关事件可以通过加强相关事件并抑制反相关事件来说明路径发现。这无异于联合分析。当边缘增强,并且概率接近于1时,其互补边缘减弱,概率接近于零。路径边缘概率相乘导致边缘较弱的路径迅速消失。仍然有可能存在杂散的路径结果,其中具有噪声信号。为了防止这种情况,可以提前删除对检测异常无用的叶子。可以保留少数最短路径或者所有足够短的路径以便进行报告和分析。树上的不明确原型中有可能存在几个根源。
图15示出了异常根源的确定方法的流程图370。首先,在步骤372中,创建软决策树。在一示例中,基于工程经验和先前的异常创建软决策。观察到异常的新根源时,可以对软决策树进行修改。这可以自动完成或基于用户输入完成。
接着,在步骤374中,检测异常。例如,可以使用下限阈值和上限阈值来检测异常。当度量值高于上限阈值时,检测到异常。此外,当度量值在下限阈值和上限阈值之间保持延迟时间长度时,检测到异常。
然后,在步骤376中,确定异常发生的概率。首先,确定根级异常发生的概率。异常Eij发生的概率由下式给出:
接下来,在步骤378中,系统执行下一级。检查下一级上的节点。
在步骤380中,系统判断第一节点是否为叶子。当第一节点不是叶子时,系统执行步骤382,当第一节点不是叶子时,系统执行步骤386。此外,当第一节点不是叶子时,系统执行步骤376以确定第一节点的概率。
在步骤386中,系统判断第二节点是否是叶子。当第二节点是叶子时,系统执行步骤376以确定第二节点的概率。当第二节点是叶子时,在步骤384中确定根源的边缘距离。
在步骤382中,系统判断第二节点是否是叶子。当第二节点不是叶子时,系统执行步骤376以确定第二节点的概率。当第二分支是叶子时,系统在步骤384中确定叶的边缘距离。在步骤384中计算根源的边缘距离。表示根源的节点的边缘距离通过对沿该条路径的概率对数进行求和来给出。计算所有路径的边缘距离。可以选择具有最短边缘距离的根源或多个根源用于进一步检查。
图16示出了可用于实现本文中所公开的设备与方法的处理系统270的框图。具体设备可以利用所有示出的组件或仅仅这些组件的子集,设备到设备间的集成度可以有所不同。此外,设备可包括组件的多个实例,例如,多个处理单元、处理器、存储器、发送器、接收器等。处理系统可以包括配备有一个或多个诸如麦克风、鼠标、触摸屏、小键盘、键盘等输入设备的处理单元。此外,处理系统270可配备有一个或多个输出设备,比如扬声器、打印机、显示器等。处理单元可以包括中央处理器(CPU)274、存储器276、大容量存储设备278、视频适配器280以及与总线连接的I/O接口288。
总线可以是任何类型的多个总线结构中的一个或多个,包括存储器总线或存储器控制器、外围总线、视频总线等。CPU 274可以包括任何类型的电子数据处理器。存储器276可以包括任何类型的系统存储器,比如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、只读存储器(ROM)及其组合,等等。在一实施例中,存储器可以包括启动时使用的ROM以及执行程序时所使用的存储程序和数据的DRAM。
大容量存储设备278可以包括用于存储数据、程序以及其它信息并用于使数据、程序以及其它信息通过总线能够访问的任何类型的存储设备。大容量存储设备278可以包括,例如,一个或多个固态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器等。
视频适配器280和I/O接口288提供用以将外部输入和输出设备与处理单元耦合的接口。如图所示,输入和输出设备的示例包括与视频适配器耦合的显示器以及与I/O接口耦合的鼠标/键盘/打印机。可以将其它设备与处理单元耦合,并且可以使用更多或更少的接口卡。例如,可以使用串行接口卡(未示出)来为打印机提供串行接口。
处理单元还包括一个或多个网络接口284,其可以包括诸如以太网电缆等有线链路和/或用以访问节点或不同网络的无线链路。网络接口284允许处理单元通过网络与远程单元进行通信。例如,网络接口可以通过一个或多个发送器/发射天线和一个或多个接收器/接收天线提供无线通信。在实施例中,处理单元与局域网或广域网耦合以便处理数据并与诸如其它处理单元、互联网、远程存储设备等远程设备通信。
虽然本发明中已提供了几个实施例,但是应当理解,所公开的系统和方法在不脱离本发明精神或范围的前提下可以以许多其它特定形式进行体现。本发明实施例应被认为是说明性而不是限制性的,其意图并不限于本文中所给出的细节。例如,可以将各元件或组件组合或集成在另一系统中,或者可以忽略或不实施某些特定特征。
此外,在不脱离本发明范围的前提下,可以将各实施例中描述并示意为分离或单独的技术、系统、子系统和方法与其它系统、模块、技术或方法进行组合或结合。所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、设备或中间组件的间接耦合或通信连接,可以是电性、机械或其它的形式。在不脱离本文中所公开的精神和范围的前提下,本领域技术人员可以确定并对其它实施例进行改变、替换和修改。
Claims (11)
1.一种检测异常的方法,其特征在于,所述方法包括:
接收数据点;
根据所述数据点和中心值确定度量值;
确定所述度量值是否低于下限阈值、在下限阈值和上限阈值之间、或高于上限阈值;
当所述度量值低于下限阈值时,确定所述数据点不为所述异常;
当所述度量值高于上限阈值时,确定所述数据点为所述异常;以及
当所述度量值在下限阈值和上限阈值之间时,确定所述数据点可能为所述异常;
其中,所述确定所述数据点可能为所述异常包括:
确定包括所述数据点的多个数据点已经在下限阈值和上限阈值之间的第一时间长度;
将所述第一时间长度与延迟窗口的第二时间长度进行比较;以及
当所述第一时间长度大于或等于所述延迟窗口的第二时间长度时,确定所述数据点为所述异常。
2.根据权利要求1所述的方法,其特征在于,所述确定所述数据点可能为所述异常还包括:
确定是否已经设置了延迟窗口计时器;以及
当尚未设置所述延迟窗口计时器时,设置所述延迟窗口计时器。
3.根据权利要求1所述的方法,其特征在于,还包括:当所述度量值小于所述下限阈值时,释放延迟窗口计时器。
4.根据权利要求1所述的方法,其特征在于,所述确定所述度量值包括:确定所述数据点和所述中心值之间的马氏距离。
5.根据权利要求1所述的方法,其特征在于,还包括:
确定所述下限阈值;以及
确定所述上限阈值。
6.根据权利要求5所述的方法,其特征在于,还包括:接收灵敏度级别;所述确定所述下限阈值包括根据所述灵敏度级别确定所述下限阈值;所述确定所述上限阈值包括根据所述灵敏度级别确定所述上限阈值。
7.根据权利要求5所述的方法,其特征在于,所述确定所述上限阈值包括:
接收用户输入;以及
为所述用户输入设置所述上限阈值。
8.根据权利要求1所述的方法,其特征在于,还包括:当所述数据点被确定为所述异常时,确定概率性的所述异常的根源。
9.根据权利要求8所述的方法,其特征在于,所述确定所述异常的根源包括:遍历软决策树。
10.一种检测异常的计算机,其特征在于,包括:
处理器;和
计算机可读存储介质,其存储由所述处理器执行的编程,其中所述编程包括用以执行以下操作的指示:
接收数据点;
根据所述数据点和中心值确定度量值;
确定所述度量值是否小于下限阈值、在下限阈值和上限阈值之间或大于上限阈值;
当所述度量值小于下限阈值时,确定所述数据点不为所述异常;
当所述度量值大于上限阈值时,确定所述数据点为所述异常;以及
当所述度量值在下限阈值和上限阈值之间时,确定所述数据点可能为所述异常;
其中,所述确定所述数据点可能为所述异常包括:
确定包括所述数据点的多个数据点已经在下限阈值和上限阈值之间的第一时间长度;
将所述第一时间长度与延迟窗口的第二时间长度进行比较;以及
当所述第一时间长度大于或等于所述延迟窗口的第二时间长度时,确定所述数据点为所述异常。
11.一种检测异常的系统,其特征在于,包括:
接收装置,用于接收数据点;和
确定装置,用于:
根据所述数据点和中心值确定度量值;
确定所述度量值是否低于下限阈值、在下限阈值和上限阈值之间或高于上限阈值;
当所述度量值低于下限阈值时,确定所述数据点不为所述异常;
当所述度量值高于上限阈值时,确定所述数据点为所述异常;以及
当所述度量值在下限阈值和上限阈值之间时,确定所述数据点可能为所述异常;
所述确定装置,还用于:
确定包括所述数据点的多个数据点已经在下限阈值和上限阈值之间的第一时间长度;
将所述第一时间长度与延迟窗口的第二时间长度进行比较;以及
当所述第一时间长度大于或等于所述延迟窗口的第二时间长度时,确定所述数据点为所述异常。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/278,854 | 2014-05-15 | ||
US14/278,854 US20150333998A1 (en) | 2014-05-15 | 2014-05-15 | System and Method for Anomaly Detection |
PCT/CN2015/077810 WO2015172657A1 (en) | 2014-05-15 | 2015-04-29 | System and method for anomaly detection |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106464526A CN106464526A (zh) | 2017-02-22 |
CN106464526B true CN106464526B (zh) | 2020-02-14 |
Family
ID=54479312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580024407.0A Active CN106464526B (zh) | 2014-05-15 | 2015-04-29 | 检测异常的系统与方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150333998A1 (zh) |
EP (1) | EP3138238B1 (zh) |
CN (1) | CN106464526B (zh) |
WO (1) | WO2015172657A1 (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9779361B2 (en) * | 2014-06-05 | 2017-10-03 | Mitsubishi Electric Research Laboratories, Inc. | Method for learning exemplars for anomaly detection |
US10055275B2 (en) * | 2015-07-14 | 2018-08-21 | Sios Technology Corporation | Apparatus and method of leveraging semi-supervised machine learning principals to perform root cause analysis and derivation for remediation of issues in a computer environment |
US10397810B2 (en) | 2016-01-08 | 2019-08-27 | Futurewei Technologies, Inc. | Fingerprinting root cause analysis in cellular systems |
WO2018009643A1 (en) * | 2016-07-07 | 2018-01-11 | Aspen Technology, Inc. | Computer systems and methods for performing root cause analysis and building a predictive model for rare event occurrences in plant-wide operations |
EP3313114B1 (en) * | 2016-10-18 | 2021-06-09 | Nokia Solutions and Networks Oy | Detection and mitigation of signalling anomalies in wireless network |
EP3586240A1 (en) * | 2016-11-01 | 2020-01-01 | SIOS Technology Corporation | Apparatus and method of adjusting a sensitivity buffer of semi-supervised machine learning principals for remediation of issues |
US10545811B2 (en) | 2017-01-11 | 2020-01-28 | International Business Machines Corporation | Automatic root cause analysis for web applications |
US11816586B2 (en) * | 2017-11-13 | 2023-11-14 | International Business Machines Corporation | Event identification through machine learning |
US11805003B2 (en) * | 2018-05-18 | 2023-10-31 | Cisco Technology, Inc. | Anomaly detection with root cause learning in a network assurance service |
CN111327435B (zh) * | 2018-12-13 | 2022-07-05 | 中兴通讯股份有限公司 | 一种根因定位方法、服务器和存储介质 |
EP3939206A1 (en) * | 2019-03-12 | 2022-01-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and system for root cause analysis across multiple network systems |
CN114731524A (zh) * | 2019-10-03 | 2022-07-08 | 瑞典爱立信有限公司 | 监测多个网络节点的性能 |
EP4189544A1 (en) * | 2020-09-01 | 2023-06-07 | Google LLC | Systems and methods of anomaly detection |
CN112187762A (zh) * | 2020-09-22 | 2021-01-05 | 国网湖南省电力有限公司 | 基于聚类算法的异常网络接入监测方法及其监测装置 |
KR102480277B1 (ko) * | 2020-11-20 | 2022-12-22 | 두산에너빌리티 주식회사 | 관리 한계를 이용한 센서 유효성 검증 시스템 및 그 방법 |
JP7357659B2 (ja) * | 2021-06-30 | 2023-10-06 | 本田技研工業株式会社 | データ異常判定装置及び内部状態予測システム |
US11353840B1 (en) * | 2021-08-04 | 2022-06-07 | Watsco Ventures Llc | Actionable alerting and diagnostic system for electromechanical devices |
US11803778B2 (en) | 2021-08-04 | 2023-10-31 | Watsco Ventures Llc | Actionable alerting and diagnostic system for water metering systems |
US20240056346A1 (en) * | 2022-07-18 | 2024-02-15 | EXFO Solutions SAS | Mobile network synchronization domain anomaly identification and correlation |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103455639A (zh) * | 2013-09-27 | 2013-12-18 | 清华大学 | 一种识别微博突发热点事件的方法及装置 |
CN103513983A (zh) * | 2012-06-25 | 2014-01-15 | 国际商业机器公司 | 用于预测性警报阈值确定工具的方法和系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7444263B2 (en) * | 2002-07-01 | 2008-10-28 | Opnet Technologies, Inc. | Performance metric collection and automated analysis |
CN100525481C (zh) * | 2004-11-02 | 2009-08-05 | 华为技术有限公司 | 移动通信系统小区上行拥塞的处理方法 |
CN100486179C (zh) * | 2006-12-15 | 2009-05-06 | 华为技术有限公司 | 一种网络流量异常的检测方法及检测装置 |
US8407080B2 (en) * | 2010-08-23 | 2013-03-26 | International Business Machines Corporation | Managing and monitoring continuous improvement in information technology services |
US9049034B2 (en) * | 2010-12-20 | 2015-06-02 | Hewlett-Packard Development Company, L.P. | Multicast flow monitoring |
WO2012117549A1 (ja) * | 2011-03-03 | 2012-09-07 | 株式会社日立製作所 | 障害解析装置、そのシステム、およびその方法 |
WO2012140601A1 (en) * | 2011-04-13 | 2012-10-18 | Bar-Ilan University | Anomaly detection methods, devices and systems |
US9712415B2 (en) * | 2011-09-30 | 2017-07-18 | Telefonaktiebolaget Lm Ericsson (Publ) | Method, apparatus and communication network for root cause analysis |
US20130339515A1 (en) * | 2012-06-13 | 2013-12-19 | International Business Machines Corporation | Network service functionality monitor and controller |
US9414244B2 (en) * | 2013-07-22 | 2016-08-09 | Motorola Solutions, Inc. | Apparatus and method for determining context-aware and adaptive thresholds in a communications system |
-
2014
- 2014-05-15 US US14/278,854 patent/US20150333998A1/en not_active Abandoned
-
2015
- 2015-04-29 WO PCT/CN2015/077810 patent/WO2015172657A1/en active Application Filing
- 2015-04-29 CN CN201580024407.0A patent/CN106464526B/zh active Active
- 2015-04-29 EP EP15792304.6A patent/EP3138238B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103513983A (zh) * | 2012-06-25 | 2014-01-15 | 国际商业机器公司 | 用于预测性警报阈值确定工具的方法和系统 |
CN103455639A (zh) * | 2013-09-27 | 2013-12-18 | 清华大学 | 一种识别微博突发热点事件的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20150333998A1 (en) | 2015-11-19 |
EP3138238A4 (en) | 2017-08-16 |
CN106464526A (zh) | 2017-02-22 |
WO2015172657A1 (en) | 2015-11-19 |
EP3138238B1 (en) | 2020-06-03 |
EP3138238A1 (en) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106464526B (zh) | 检测异常的系统与方法 | |
CN108475250B (zh) | 用于异常根本原因分析的系统和方法 | |
US11800360B2 (en) | Cooperative security in wireless sensor networks | |
Asghar et al. | Self-healing in emerging cellular networks: Review, challenges, and research directions | |
CN107409075B (zh) | 用于网络时间序列数据的自适应的基于异常检测的预测器 | |
Lo et al. | Reinforcement learning for cooperative sensing gain in cognitive radio ad hoc networks | |
Khan et al. | A Genetic Algorithm‐Based Soft Decision Fusion Scheme in Cognitive IoT Networks with Malicious Users | |
Kalinin et al. | Security evaluation of a wireless ad-hoc network with dynamic topology | |
CN103957547B (zh) | 无线传感器网络的节点信誉评测方法及系统 | |
Manco‐Vásquez et al. | Kernel canonical correlation analysis for robust cooperative spectrum sensing in cognitive radio networks | |
Almazrouei et al. | What can machine learning do for radio spectrum management? | |
Cheng et al. | Distributed detection and decision fusion with applications to wireless sensor networks | |
Rajasegarar et al. | Pattern based anomalous user detection in cognitive radio networks | |
WO2023041992A1 (en) | Systems and methods for performing root cause analysis | |
Balaji et al. | Cooperative Spectrum sensing in cognitive radio: an archetypal clustering approach | |
Quan et al. | Distributed Quantized Detection of Sparse Signals Under Byzantine Attacks | |
Shakir et al. | Collaborative spectrum sensing based on the ratio between largest eigenvalue and geometric mean of eigenvalues | |
Ganguly et al. | A new algorithm for distributed nonparametric sequential detection | |
Hlophe et al. | Distributed spectrum sensing for cognitive radio systems using graph theory | |
Cui et al. | Throughput analysis in cooperative sensing networks over imperfect reporting channel | |
Lehtomäki et al. | Selection of cognitive radios for cooperative sensing | |
Zhao et al. | AoA based sensing and performance analysis in cognitive radio networks | |
Li et al. | Privacy-concerned parallel distributed Bayesian sequential detection | |
Du et al. | Counteracting malicious users in cognitive radio networks over imperfect reporting channels | |
Simpson et al. | A Kosambi-Karhunen–Loève Learning Approach to Cooperative Spectrum Sensing in Cognitive Radio Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |