CN112087316A - 基于异常数据分析的网络异常根源定位方法 - Google Patents

基于异常数据分析的网络异常根源定位方法 Download PDF

Info

Publication number
CN112087316A
CN112087316A CN202010751407.3A CN202010751407A CN112087316A CN 112087316 A CN112087316 A CN 112087316A CN 202010751407 A CN202010751407 A CN 202010751407A CN 112087316 A CN112087316 A CN 112087316A
Authority
CN
China
Prior art keywords
abnormal
real
network
anomaly
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010751407.3A
Other languages
English (en)
Other versions
CN112087316B (zh
Inventor
许刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN202010751407.3A priority Critical patent/CN112087316B/zh
Publication of CN112087316A publication Critical patent/CN112087316A/zh
Application granted granted Critical
Publication of CN112087316B publication Critical patent/CN112087316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于异常数据分析的网络异常根源定位方法，包括：基于历史数据的离线分析步骤：对历史异常数据进行数据清洗和过滤；将异常元划分到若干子网中；通过网络拓扑算法生成有向的异常网络拓扑图；计算每个异常元的静态权值和异常元之间的相对位置关系矩阵；基于实时数据的异常根源在线分析步骤：判断实时异常元所属的异常网络拓扑图；读取实时异常元的静态权值，并计算实时异常元的动态权值，以判断实时异常元在异常网络拓扑图中的位置，以此定位并标记异常根源。通过本发明的技术方案，实现了快速并且精准的网络异常定位，具有较高的分析准确性，开发、维护成本低，实现IT资源的价值最大化。

Description

基于异常数据分析的网络异常根源定位方法
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种基于异常数据分析的网络异常根源定位方法。
背景技术
现有的网络故障定位技术主要包括以下三个方面。第一，基于网络运维实践中抽象出的专家经验，采用规则推理、神经网络、决策树等人工智能技术进行故障定位；第二，基于网络硬件的拓扑结构信息，采用依赖图、贝叶斯网络等图论技术进行故障溯源；第三，基于网络组件间的调用关系，采用模型追溯技术进行网络故障根源分析。相关技术均或多或少依赖于既有的网络硬件连接关系或业务逻辑关联信息。
在现有技术解决方案下，在大规模网络系统中，网络硬件间的物理连接关系以及应用间的逻辑依赖关系极其复杂。这些关联关系还会随着业务更新和系统升级而动态变化，因此难以建立和维护准确而全面的网络拓扑关系。另一方面，即使能够建立庞大的应用拓扑关系，在异常根源分析中真实使用的信息量往往也较小。例如，当某些及极其杂的应用调用路径仅偶尔被访问或者运行十分稳定时，相应的网络拓扑信息在异常根源分析中的利用率较低。因此，长期维护网络组件或应用调用等拓扑关系还面临成本收益问题。此外，从异常根源分析的角度，尽管异常传播方向与网络的物理拓扑以及应用调用关系密切相关，这些先验的静态信息也并不能直接反映实际系统中网络故障发生的概率与分布情况。
发明内容
针对上述问题，本发明提供了一种基于异常数据分析的网络异常根源定位方法，包括基于异常历史数据的建模离线分析步骤以及基于实时数据的异常根源在线定位步骤；首先，通过对历史异常数据样本进行分析，挖掘网络异常元之间的时序关联关系，从而建立异常元间的异常网络拓扑图；在此基础上，将实时异常元映射到所建立的异常网络拓扑图中，基于当前异常对应的异常元在异常网络拓扑图中的相对位置推断异常根源。本方法不需要使用网络硬件连接关系、业务逻辑依赖关系以及其他专家经验知识，开发、维护成本低；同时，本方法能够充分利用真实系统中异常发生的概率与分布特征，具有较高的分析准确性。
为实现上述目的，本发明提供了一种基于异常数据分析的网络异常根源定位方法，包括：
基于历史数据的离线分析步骤：对历史异常数据进行数据清洗，并采用异常过滤算法对清洗后的所述历史异常数据进行过滤；通过子网划分算法将异常元划分到若干子网中；通过网络拓扑算法将所述子网建立生成有向的异常网络拓扑图；采用静态权重算法计算所述异常网络拓扑图中每个异常元的静态权值，采用动态权重算法计算所述异常元之间的相对位置关系矩阵；
基于实时数据的异常根源在线分析步骤：在检测到实时异常元数据时，判断所述实时异常元所属的异常网络拓扑图；读取所述实时异常元的静态权值，并计算所述实时异常元的动态权值，以判断所述实时异常元在所述异常网络拓扑图中的位置；根据所述实时异常元在所述异常网络拓扑图中的位置定位并标记异常根源。
在上述技术方案中，优选地，所述子网划分算法为community函数、communitydetection函数、Fast-Unfolding算法或K-Means算法。
在上述技术方案中，优选地，所述通过网络拓扑算法将所述子网建立生成有向的异常网络拓扑图的具体过程包括：依次计算每一异常元引发其他任一异常元发生异常的条件概率；将所有异常元引发其他异常元发生异常的条件概率组织形成条件概率矩阵；将所述条件概率矩阵根据预设的置信度阈值生成邻接矩阵；根据所述邻接矩阵生成所述异常元之间有向的异常网络拓扑图；检测所述邻接矩阵中构成环路的异常元数量大于预设环路规模阈值的环路，将构成环路的边按照条件概率值从小到大顺序依次置零直至环路消除。
在上述技术方案中，优选地，基于异常数据分析的网络异常根源定位方法还包括：采用异常预测算法针对生成的所述异常网络拓扑图进行异常预测，并对所述异常网络拓扑图中的边权重进行修正。
在上述技术方案中，优选地，采用线性加权算法作为所述静态权重算法计算所述异常网络拓扑图中每个异常元的静态权值，采用动态权重算法的离线计算部分计算得到所述异常元之间的相对位置关系矩阵。
在上述技术方案中，优选地，在检测到实时异常元数据时，通过读取所述异常过滤算法中的过滤参数，将符合过滤参数条件的所述实时异常元隐藏，对于未隐藏的所述实时异常元映射至所述离线分析步骤生成的对应所述异常网络拓扑图中。
在上述技术方案中，优选地，所述读取所述实时异常元的静态权值，并计算所述实时异常元的动态权值以判断所述实时异常元在所述异常网络拓扑图中的位置具体包括：由所述异常网络拓扑图中读取在离线分析步骤中计算得到的对应所述实时异常元的静态权值；采用动态权重算法的在线计算部分计算所述异常元的动态权值，并根据离线分析步骤中计算得到的相对位置关系矩阵，判断所述实时异常元在所述一场网络拓扑图中的位置。
在上述技术方案中，优选地，所述根据所述实时异常元在所述异常网络拓扑图中的位置定位并标记异常根源具体包括：判断所述实时异常元在邻接矩阵中是否存在该实时异常元到其他任意异常元的边且不存在其他任意异常元到该实时异常元的边；若判定为是，则进一步判断该实时异常元是否为环路合并而成的逻辑异常元，若判定为是，则判断该环路上发生异常的异常元，并将该环路上发生异常的异常元标记为异常根源，若该实时异常元不是环路合并而成的逻辑异常元，则判定并标记该实时异常元为异常根源；若判定为否，则判定该实时异常元不是异常根源。
在上述技术方案中，优选地，判断该实时异常元是否为环路合并而成的逻辑异常元具体包括：当构成环路的异常元数量小于或等于预设的环路规模阈值时，标记环路中的异常元并将其合并为一个逻辑异常元。
在上述技术方案中，优选地，采用基于DFS的环路检测算法检测异常网络拓扑图中的环路。
与现有技术相比，本发明的有益效果为：通过对历史异常数据样本进行分析，挖掘网络异常元之间的时序关联关系，从而建立异常元间的异常网络拓扑图；在此基础上，将实时异常元映射到所建立的异常网络拓扑图中，基于当前异常对应的异常元在异常网络拓扑图中的相对位置推断异常根源，从而实现快速并且精准的网络异常定位。本方法不需要使用网络硬件连接关系、业务逻辑依赖关系以及其他专家经验知识，开发、维护成本低；同时，本方法能够充分利用真实系统中异常发生的概率与分布特征，具有较高的分析准确性。并且，在更大规模的网络系统下，当网络中的异常元数量特别庞大时，建立全局拓扑网络需要的时间开销较大，且全局噪音也更加严重，针对这种情况，本方法提供历史异常数据样本进行子网划分，然后在各个子网中建立异常网络拓扑图并进行后续分析异常，提高异常分析效率及快速定位，实现开发维护成本降低，资源按需分配、按最大价值分配，实现IT资源的价值最大化。
附图说明
图1为本发明一种实施例公开的基于异常数据分析的网络异常根源定位方法的数据分析流程示意图；
图2为本发明一种实施例公开的基于异常数据分析的网络异常根源定位方法的离线分析步骤流程示意图；
图3为本发明一种实施例公开的基于异常数据分析的网络异常根源定位方法的异常根源在线分析步骤流程示意图；
图4为本发明一种实施例公开的异常根源定位方法的流程示意图；
图5为本发明一种实施例公开的生成异常网络拓扑图的示意图；
图6为本发明一种实施例公开的异常主干路径的提取方式示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1至图4所示，根据本发明提供的一种基于异常数据分析的网络异常根源定位方法，包括：
基于历史数据的离线分析步骤：对历史异常数据进行数据清洗，并采用异常过滤算法对清洗后的历史异常数据进行过滤；通过子网划分算法将异常元划分到若干子网中；通过网络拓扑算法将子网建立生成有向的异常网络拓扑图；采用静态权重算法计算异常网络拓扑图中每个异常元的静态权值，采用动态权重算法计算异常元之间的相对位置关系矩阵；
基于实时数据的异常根源在线分析步骤：在检测到实时异常元数据时，判断实时异常元所属的异常网络拓扑图；读取实时异常元的静态权值，并计算实时异常元的动态权值，以判断实时异常元在异常网络拓扑图中的位置；根据实时异常元在异常网络拓扑图中的位置定位并标记异常根源。
在该实施例中，通过对历史异常数据样本进行分析，挖掘网络异常元之间的时序关联关系，从而建立异常元间的异常网络拓扑图；在此基础上，将实时异常元映射到所建立的异常网络拓扑图中，基于当前异常对应的异常元在异常网络拓扑图中的相对位置推断异常根源，从而实现快速并且精准的网络异常定位。本方法不需要使用网络硬件连接关系、业务逻辑依赖关系以及其他专家经验知识，开发、维护成本低；同时，本方法能够充分利用真实系统中异常发生的概率与分布特征，具有较高的分析准确性。并且，在更大规模的网络系统下，当网络中的异常元数量特别庞大时，建立全局拓扑网络需要的时间开销较大，且全局噪音也更加严重，针对这种情况，本方法提供历史异常数据样本进行子网划分，然后在各个子网中建立异常网络拓扑图并进行后续分析异常，提高异常分析效率及快速定位，实现开发维护成本降低，资源按需分配、按最大价值分配，实现IT资源的价值最大化。
具体地，在上述实施例中，优选地，子网划分算法为community函数、communitydetection函数、Fast-Unfolding算法或K-Means算法。
其中，community函数是整理数据结构，并且调用Fast-Unfolding算法函数，输入过滤后的历史异常数据，按照固定时间窗口切分过滤后的历史数据，同一个时间窗口内的网元任意两两组合，形成边，调用子网划分函数Fast-Unfolding进行子网划分，按照子网划分结果，切分过滤后的历史异常数据。
其中，community detection函数是整理数据结构，并且调用Fast-Unfolding算法函数，输入条件概率矩阵和结点列表，调用子网划分函数，把社团划分的结果转换成字典，将存储为字典的子网输出。
其中，Fast-Unfolding算法中，输入边数据集DataSet S，输出聚类结果category_list，具体算法包括：
Figure BDA0002610164630000061
其中，K-Means算法中，输入数据集DataSet S以及聚类的个数k；输出聚类结果category_list，具体算法包括：
List K_means(DataSet S,int k)
{
List new_centrio_list＝Select_init_centriole(S,k)；//选取初始的k个中心点
do{
centrio_list＝new_centrio_list；
foreach(s in S){
best_centri->distance＝MAX；
best_centri->class＝Undefine；
foreach(centri in centrio_list){
double distance＝Calculate_distance(s,centri)；//计算两样本点之间距离
if(best_centri->distance>distance){
best_centri->distance＝distance；
best_centri->class＝centri->tag；
}
}
category_list[best_centri->class].Add(s)；//将数据点分配到距其最近的簇
}
new_centrio_list＝Relocate_centriole(category_list,centrio_list,k)；//对每一个簇，计算簇中所有点的均值并将均值作为质心
}while(！Is_centrio_stable(new_centrio_list,centrio_list))；//聚类结果是否还继续变化
return category_list；
}
其中，Select_init_centriole(S,k)函数是初始种子的选择，传统的K-means算法采用的爬山法，初始种子的选择决定了最后收敛的效果；
Calculate_distance(s,centri)函数用于计算两个样本点之间的距离。距离的计算方法有很多种，最常用的距离计算公式是用阿几里德距离。
Relocate_centriole(category_list,centrio_list,k)函数用于重置中心点。重置的方法主要有两种：k均值和k中心点。前者是将划归的各个类属样本的均值作为新的中心点，而后者是选择各个类簇的中心样本作为新的中心点。后者一般情况下具有更高的容错能力，对于噪点和离群点有更好的容错力。
如图5和图6在上述实施例中，优选地，通过网络拓扑算法将子网建立生成有向的异常网络拓扑图的具体过程包括：依次计算每一异常元引发其他任一异常元发生异常的条件概率；将所有异常元引发其他异常元发生异常的条件概率组织形成条件概率矩阵；将条件概率矩阵根据预设的置信度阈值生成邻接矩阵；根据邻接矩阵生成异常元之间有向的异常网络拓扑图；检测邻接矩阵中构成环路的异常元数量大于预设环路规模阈值的环路，将构成环路的边按照条件概率值从小到大顺序依次置零直至环路消除。
具体包括以下步骤：
S11：对于每一个异常元A，统计异常数据样本中异常元A的异常实例数量，同时获取其每个异常实例A.a的关联异常集合ΨA.a，以及与异常元A对应的所有关联异常集合ΨA＝∪ΨA.a；其中，所述的异常实例指异常元产生的一条异常数据，异常实例A.a的关联异常集合为异常实例A.a发生期间，发生过异常的其他异常元集合。
S12：依次计算每一个异常元A引发其他各个任意异常元B发生异常的条件概率P(B|A)，公式如下：
Figure BDA0002610164630000081
式中，SB|A为异常元A的所有异常实例的关联异常集合中包含异常元B的关联异常集合数；SA为异常元A的异常实例数；α为条件阈值；而SB|A的计算方法如下：
SB|A＝|ΨB|A|，
ΨB|A＝{ΨA.x|异常元B∈ΨA.x}；
S13：将所有异常元引发其他异常元发生异常的条件概率组织成一个条件概率矩阵：
Figure BDA0002610164630000082
对于条件概率矩阵中的元素P(B|A)，若其对应的元素在邻接矩阵中的数值为1，则认为异常元A可能引发异常元B发生异常。
S14：根据步骤S13生成的条件概率矩阵生成邻接矩阵，具体如下：
对于条件概率矩阵中的任意元素P(B|A)，若P(B|A)大于置信度阈值，则将邻接矩阵中P(B|A)对应的元素置为1，否则置为0；此外，对所有异常元A，将邻接矩阵中P(A|A)对应的元素置为0。
S15：根据上述邻接矩阵获得异常元间的网络拓扑关系。
S16：进行环路检测，并消除网络中的环路。
设置环路规模阈值，当构成环的异常元数小于等于该阈值时，对环路中的异常元进行标记，将其合并为一个逻辑异常元；否则，结合条件概率矩阵，将邻接矩阵中构成环路的边按相应的条件概率值从小到大的顺序依次置0，直至环路消除。
具体地，上述网络拓扑算法中，各部分算法伪代码如下：
1.根据关联规则建立临界概率矩阵算法如下：
Figure BDA0002610164630000083
Figure BDA0002610164630000091
2.基于DFS的环检测算法
Figure BDA0002610164630000092
Figure BDA0002610164630000101
3.将邻接矩阵对应元素置零的方式删除边的算法
输入：有向无环图邻接矩阵M
输出：仅含主干路径的邻接矩阵T
edgeValueAssignment(M){
T＝M
FOR each A in M:
NeighborSet[i]＝{与此节点相邻的顶点}//从图中建立每个节点的相邻节点集
END FOR
VertexList＝[sorted vertexes in M]//将所有节点按照出度值非增顺序排列
FOR each A in VertexList:
FOR each B in NeighborSet[A]:
IF C in NeighborSet[B]and C in NeighborSet[A]:
Set_value(A,C,T)＝0//将T中A所在行与C所在列元素置0
END IF
END FOR
END FOR
return T(新增)
}
4.网络拓扑优化
Figure BDA0002610164630000111
在上述实施例中，优选地，基于异常数据分析的网络异常根源定位方法还包括：采用异常预测算法针对生成的异常网络拓扑图进行异常预测，并对异常网络拓扑图中的边权重进行修正，使得拓扑结构更加准确。
在上述实施例中，优选地，采用线性加权算法作为静态权重算法计算异常网络拓扑图中每个异常元的静态权值，采用动态权重算法的离线计算部分计算得到异常元之间的相对位置关系矩阵。
在上述实施例中，优选地，在检测到实时异常元数据时，通过读取异常过滤算法中的过滤参数，将符合过滤参数条件的实时异常元隐藏，对于未隐藏的实时异常元映射至离线分析步骤生成的对应异常网络拓扑图中。
其中，具体地，收集当前发生的所有异常元数据，将这些异常元数据对应的异常元组成集合M，将集合M中的异常元投影到离线分析步骤中所建立的异常网络拓扑图中。
如图3所示，在上述实施例中，优选地，读取实时异常元的静态权值，并计算实时异常元的动态权值以判断实时异常元在异常网络拓扑图中的位置具体包括：由异常网络拓扑图中读取在离线分析步骤中计算得到的对应实时异常元的静态权值；采用动态权重算法的在线计算部分计算异常元的动态权值，并根据离线分析步骤中计算得到的相对位置关系矩阵，判断实时异常元在一场网络拓扑图中的位置。
如图4所示，在上述实施例中，优选地，根据实时异常元在异常网络拓扑图中的位置定位并标记异常根源具体包括：判断实时异常元在邻接矩阵中是否存在该实时异常元到其他任意异常元的边且不存在其他任意异常元到该实时异常元的边；若判定为是，则进一步判断该实时异常元是否为环路合并而成的逻辑异常元，若判定为是，则判断该环路上发生异常的异常元，并将该环路上发生异常的异常元标记为异常根源，若该实时异常元不是环路合并而成的逻辑异常元，则判定并标记该实时异常元为异常根源；若判定为否，则判定该实时异常元不是异常根源。
具体地，结合异常网络拓扑结构，通过分析当前异常所对应的异常元在网络中的位置，以定位异常根源的具体步骤包括：
S21：对于集合M中的所有异常元，依次作以下判断：对于集合M中的异常元A，若在邻接矩阵中存在从异常元A到集合M中其他任意异常元的边，且不存在从集合M中其他任意异常元到异常元A的边，则进一步执行S22；否则，继续对集合M中的下一个异常元进行分析，直到集合M中所有异常元均分析完毕；
S22：若S21所述满足条件的异常元A为环路合并而成的逻辑异常元，则继续执行步骤S23，否则判定异常元A所对应的异常为当前的异常根源；
S23：若该环路上所有异常元均发生异常，则判定该环路上所有异常元对应的异常均为异常根源，否则，将满足以下条件的异常元X所对应的异常作为当前的异常根源：对于异常元X，不存在从集合M中其他任何异常元到异常元X的边。
在上述实施例中，优选地，判断该实时异常元是否为环路合并而成的逻辑异常元具体包括：当构成环路的异常元数量小于或等于预设的环路规模阈值时，标记环路中的异常元并将其合并为一个逻辑异常元。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于异常数据分析的网络异常根源定位方法，其特征在于，包括：基于历史数据的离线分析步骤：
对历史异常数据进行数据清洗，并采用异常过滤算法对清洗后的所述历史异常数据进行过滤；
通过子网划分算法将异常元划分到若干子网中；
通过网络拓扑算法将所述子网建立生成有向的异常网络拓扑图；
采用静态权重算法计算所述异常网络拓扑图中每个异常元的静态权值，采用动态权重算法计算所述异常元之间的相对位置关系矩阵；
基于实时数据的异常根源在线分析步骤：
在检测到实时异常元数据时，判断所述实时异常元所属的异常网络拓扑图；
读取所述实时异常元的静态权值，并计算所述实时异常元的动态权值，以判断所述实时异常元在所述异常网络拓扑图中的位置；
根据所述实时异常元在所述异常网络拓扑图中的位置定位并标记异常根源。
2.根据权利要求1所述的基于异常数据分析的网络异常根源定位方法，其特征在于，所述子网划分算法为community函数、community detection函数、Fast-Unfolding算法或K-Means算法。
3.根据权利要求1所述的基于异常数据分析的网络异常根源定位方法，其特征在于，所述通过网络拓扑算法将所述子网建立生成有向的异常网络拓扑图的具体过程包括：
依次计算每一异常元引发其他任一异常元发生异常的条件概率；
将所有异常元引发其他异常元发生异常的条件概率组织形成条件概率矩阵；
将所述条件概率矩阵根据预设的置信度阈值生成邻接矩阵；
根据所述邻接矩阵生成所述异常元之间有向的异常网络拓扑图；
检测所述邻接矩阵中构成环路的异常元数量大于预设环路规模阈值的环路，将构成环路的边按照条件概率值从小到大顺序依次置零直至环路消除。
4.根据权利要求3所述的基于异常数据分析的网络异常根源定位方法，其特征在于，还包括：采用异常预测算法针对生成的所述异常网络拓扑图进行异常预测，并对所述异常网络拓扑图中的边权重进行修正。
5.根据权利要求4所述的基于异常数据分析的网络异常根源定位方法，其特征在于，采用线性加权算法作为所述静态权重算法计算所述异常网络拓扑图中每个异常元的静态权值，采用动态权重算法的离线计算部分计算得到所述异常元之间的相对位置关系矩阵。
6.根据权利要求5所述的基于异常数据分析的网络异常根源定位方法，其特征在于，在检测到实时异常元数据时，通过读取所述异常过滤算法中的过滤参数，将符合过滤参数条件的所述实时异常元隐藏，对于未隐藏的所述实时异常元映射至所述离线分析步骤生成的对应所述异常网络拓扑图中。
7.根据权利要求6所述的基于异常数据分析的网络异常根源定位方法，其特征在于，所述读取所述实时异常元的静态权值，并计算所述实时异常元的动态权值以判断所述实时异常元在所述异常网络拓扑图中的位置具体包括：
由所述异常网络拓扑图中读取在离线分析步骤中计算得到的对应所述实时异常元的静态权值；
采用动态权重算法的在线计算部分计算所述异常元的动态权值，并根据离线分析步骤中计算得到的相对位置关系矩阵，判断所述实时异常元在所述一场网络拓扑图中的位置。
8.根据权利要求7所述的基于异常数据分析的网络异常根源定位方法，其特征在于，所述根据所述实时异常元在所述异常网络拓扑图中的位置定位并标记异常根源具体包括：
判断所述实时异常元在邻接矩阵中是否存在该实时异常元到其他任意异常元的边且不存在其他任意异常元到该实时异常元的边；
若判定为是，则进一步判断该实时异常元是否为环路合并而成的逻辑异常元，若判定为是，则判断该环路上发生异常的异常元，并将该环路上发生异常的异常元标记为异常根源，若该实时异常元不是环路合并而成的逻辑异常元，则判定并标记该实时异常元为异常根源；
若判定为否，则判定该实时异常元不是异常根源。
9.根据权利要求8所述的基于异常数据分析的网络异常根源定位方法，其特征在于，判断该实时异常元是否为环路合并而成的逻辑异常元具体包括：
当构成环路的异常元数量小于或等于预设的环路规模阈值时，标记环路中的异常元并将其合并为一个逻辑异常元。
10.根据权利要求8所述的基于异常数据分析的网络异常根源定位方法，其特征在于，采用基于DFS的环路检测算法检测异常网络拓扑图中的环路。
CN202010751407.3A 2020-07-30 2020-07-30 基于异常数据分析的网络异常根源定位方法 Active CN112087316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010751407.3A CN112087316B (zh) 2020-07-30 2020-07-30 基于异常数据分析的网络异常根源定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010751407.3A CN112087316B (zh) 2020-07-30 2020-07-30 基于异常数据分析的网络异常根源定位方法

Publications (2)

Publication Number Publication Date
CN112087316A true CN112087316A (zh) 2020-12-15
CN112087316B CN112087316B (zh) 2022-08-05

Family

ID=73735783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010751407.3A Active CN112087316B (zh) 2020-07-30 2020-07-30 基于异常数据分析的网络异常根源定位方法

Country Status (1)

Country Link
CN (1) CN112087316B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785142A (zh) * 2021-01-19 2021-05-11 翰克偲诺水务集团有限公司 物联网污水处理设备预警智慧工单方法及其系统
CN113032227A (zh) * 2021-05-31 2021-06-25 北京宝兰德软件股份有限公司 一种异常网元检测方法、装置、电子设备及存储介质
CN113327071A (zh) * 2021-08-04 2021-08-31 深圳市深水水务咨询有限公司 基于5g的环境管理方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060109793A1 (en) * 2004-11-25 2006-05-25 Kim Hwan K Network simulation apparatus and method for analyzing abnormal network
CN105721194A (zh) * 2016-01-13 2016-06-29 广州衡昊数据科技有限公司 移动网故障隐患智能定位系统
CN106506242A (zh) * 2016-12-14 2017-03-15 北京东方棱镜科技有限公司 一种网络异常行为和流量监测的精确定位方法与系统
CN108306748A (zh) * 2017-01-12 2018-07-20 阿里巴巴集团控股有限公司 网络故障定位方法、装置及交互装置
CN108449210A (zh) * 2018-03-21 2018-08-24 中国人民解放军陆军炮兵防空兵学院郑州校区 一种eigrp路由网路故障监测系统
CN108600009A (zh) * 2018-04-25 2018-09-28 北京思特奇信息技术股份有限公司 一种基于告警数据分析的网络告警根源定位方法
CN110430224A (zh) * 2019-09-12 2019-11-08 贵州电网有限责任公司 一种基于随机块模型的通信网络异常行为检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060109793A1 (en) * 2004-11-25 2006-05-25 Kim Hwan K Network simulation apparatus and method for analyzing abnormal network
CN105721194A (zh) * 2016-01-13 2016-06-29 广州衡昊数据科技有限公司 移动网故障隐患智能定位系统
CN106506242A (zh) * 2016-12-14 2017-03-15 北京东方棱镜科技有限公司 一种网络异常行为和流量监测的精确定位方法与系统
CN108306748A (zh) * 2017-01-12 2018-07-20 阿里巴巴集团控股有限公司 网络故障定位方法、装置及交互装置
CN108449210A (zh) * 2018-03-21 2018-08-24 中国人民解放军陆军炮兵防空兵学院郑州校区 一种eigrp路由网路故障监测系统
CN108600009A (zh) * 2018-04-25 2018-09-28 北京思特奇信息技术股份有限公司 一种基于告警数据分析的网络告警根源定位方法
CN110430224A (zh) * 2019-09-12 2019-11-08 贵州电网有限责任公司 一种基于随机块模型的通信网络异常行为检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785142A (zh) * 2021-01-19 2021-05-11 翰克偲诺水务集团有限公司 物联网污水处理设备预警智慧工单方法及其系统
CN112785142B (zh) * 2021-01-19 2023-11-24 翰克偲诺水务集团有限公司 物联网污水处理设备预警智慧工单方法及其系统
CN113032227A (zh) * 2021-05-31 2021-06-25 北京宝兰德软件股份有限公司 一种异常网元检测方法、装置、电子设备及存储介质
CN113327071A (zh) * 2021-08-04 2021-08-31 深圳市深水水务咨询有限公司 基于5g的环境管理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112087316B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN112087316B (zh) 基于异常数据分析的网络异常根源定位方法
CN108600009B (zh) 一种基于告警数据分析的网络告警根源定位方法
CN106919957B (zh) 处理数据的方法及装置
CN107256237A (zh) 基于动态网格优化的lof聚类数据异常点检测方法和检测系统
CN110008259A (zh) 可视化数据分析的方法及终端设备
CN105205052B (zh) 一种数据挖掘方法及装置
CN107679734A (zh) 一种用于无标签数据分类预测的方法和系统
CN109086291B (zh) 一种基于MapReduce的并行异常检测方法及系统
CN110599200B (zh) Ota酒店的虚假地址的检测方法、系统、介质及设备
CN112783938B (zh) 一种水文遥测实时数据异常检测方法
CN110414627A (zh) 一种模型的训练方法及相关设备
CN110493221A (zh) 一种基于聚簇轮廓的网络异常检测方法
CN113052225A (zh) 基于聚类算法和时序关联规则的报警收敛方法及装置
CN110458096A (zh) 一种基于深度学习的大规模商品识别方法
CN109257383A (zh) 一种bgp异常检测方法及系统
CN112800115A (zh) 数据处理方法及数据处理装置
CN109977131A (zh) 一种房型匹配系统
Shuai et al. Integrated parallel forecasting model based on modified fuzzy time series and SVM
CN108133234B (zh) 基于稀疏子集选择算法的社区检测方法、装置及设备
Hamidzadeh et al. Clustering data stream with uncertainty using belief function theory and fading function
CN108874974A (zh) 基于频繁词集的并行化话题跟踪方法
CN114662116A (zh) 基于大数据的业务运行漏洞查找方法及云端深度学习系统
CN115408189A (zh) 人工智能与大数据结合的异常检测方法及服务系统
Morichetta et al. Demystifying deep learning in predictive monitoring for cloud-native SLOs
CN115018124A (zh) 数据预测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant