CN105871879B - 网元异常行为自动检测方法及装置 - Google Patents
网元异常行为自动检测方法及装置 Download PDFInfo
- Publication number
- CN105871879B CN105871879B CN201610299154.4A CN201610299154A CN105871879B CN 105871879 B CN105871879 B CN 105871879B CN 201610299154 A CN201610299154 A CN 201610299154A CN 105871879 B CN105871879 B CN 105871879B
- Authority
- CN
- China
- Prior art keywords
- multidimensional
- data set
- history data
- dimensional
- comparison result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 43
- 238000012360 testing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 63
- 230000002159 abnormal effect Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 32
- 241001269238 Data Species 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004088 simulation Methods 0.000 claims description 8
- 239000012141 concentrate Substances 0.000 claims description 6
- 235000013399 edible fruits Nutrition 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Abstract
本发明实施例提供一种网元异常行为自动检测方法及装置。该方法包括：获取通信网络的关键性能指标对应的历史数据集；对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，对特征模式库进行分类处理获得特征分类模型；依据所述多维历史数据集预测下一时刻所述关键性能指标对应的多维预测值；依据所述特征分类模型判别所述多维预测值所属的预测特征模式，判别下一时刻关键性能指标对应的多维观测值所属的观测特征模式；比较预测特征模式和观测特征模式判断网元行为是否异常。本发明实施例实现了对网元异常行为自动进行有效检测。
Description
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种网元异常行为自动检测方法及装置。
背景技术
随着移动通信技术的发展，移动通信网络的结构越来越复杂，移动通信网络中网元数目不断增加，网元的多态性不断增加。
如果网元发生异常需要对网元进行诊断或维修，因此，需要时刻检测网元行为，以及时发现网元异常行为，同时减少人工网络异常监控的工作量。但是，现有技术中缺少对网元异常行为进行自动有效检测的方法。
发明内容
本发明实施例提供一种网元异常行为自动检测方法及装置，以对网元的异常行为进行有效检测。
本发明实施例的一个方面是提供一种网元异常行为自动检测方法，包括：
获取通信网络的关键性能指标对应的历史数据集，所述历史数据集包括多维历史数据集和一维历史数据集；
对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，对所述特征模式库进行分类处理获得分类结果，依据所述分类结果和所述特征模式库构建分类模型获得特征分类模型；
依据所述多维历史数据集预测下一时刻所述关键性能指标对应的多维预测值，依据所述一维历史数据集预测下一时刻所述关键性能指标对应的一维预测值；
依据所述特征分类模型判别所述多维预测值所属的预测特征模式，以及依据所述特征分类模型判别下一时刻所述关键性能指标对应的多维观测值所属的观测特征模式；
比较所述预测特征模式和所述观测特征模式获得第一比较结果，比较所述一维预测值和下一时刻所述关键性能指标对应的一维观测值获得第二比较结果，依据所述第一比较结果和所述第二比较结果判断网元行为是否异常。
本发明实施例的另一个方面是提供一种网元异常行为自动检测装置，包括：
获取模块，用于获取通信网络的关键性能指标对应的历史数据集，所述历史数据集包括多维历史数据集和一维历史数据集；
处理模块，用于对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，对所述特征模式库进行分类处理获得分类结果，依据所述分类结果和所述特征模式库构建分类模型获得特征分类模型；
预测模块，用于依据所述多维历史数据集预测下一时刻所述关键性能指标对应的多维预测值，依据所述一维历史数据集预测下一时刻所述关键性能指标对应的一维预测值；
判别模块，用于依据所述特征分类模型判别所述多维预测值所属的预测特征模式，以及依据所述特征分类模型判别下一时刻所述关键性能指标对应的多维观测值所属的观测特征模式；
比较判断模块，用于比较所述预测特征模式和所述观测特征模式获得第一比较结果，比较所述一维预测值和下一时刻所述关键性能指标对应的一维观测值获得第二比较结果，依据所述第一比较结果和所述第二比较结果判断网元行为是否异常。
本发明实施例提供的网元异常行为自动检测方法及装置，通过对通信网络的关键性能指标的多维历史数据集进行聚类处理获得特征模式库，并对特征模式库进行分类处理获得分类结果，依据分类结果和特征模式库构建分类模型获得特征分类模型，另外，对多维历史数据集进行预测获得多维预测值，对关键性能指标的一维历史数据集进行预测获得一维预测值，通过判别比较预测值和观测值分析网元行为是否异常，实现了对网元异常行为进行有效检测。
附图说明
图1为本发明实施例提供的网元异常行为自动检测方法流程图；
图2为本发明另一实施例提供的网元异常行为自动检测方法流程图；
图3为本发明实施例提供的网元异常行为自动检测方法流程图；
图4为本发明实施例提供的特征模式库的结构图；
图5为本发明实施例提供的特征模式库的结构图；
图6为本发明实施例提供的网元历史性能数据按网元进行降维后的数据集合示意图；
图7为本发明实施例提供的网元的建模结果示意图；
图8为本发明实施例提供的预测值的示意图；
图9为本发明实施例提供的模式识别的结果示意图；
图10为本发明实施例提供的网元异常行为自动检测装置的结构图；
图11为本发明另一实施例提供的网元异常行为自动检测装置的结构图。
具体实施方式
图1为本发明实施例提供的网元异常行为自动检测方法流程图。本发明实施例针对现有技术中缺少对网元异常行为进行有效检测的方法，提供了网元异常行为自动检测方法，该方法具体步骤如下：
步骤S101、获取通信网络的关键性能指标对应的历史数据集，所述历史数据集包括多维历史数据集和一维历史数据集；
获取通信网络的关键性能指标(Key Performance Indicator，简称KPI)对应的历史数据集，该关键性能指标包括多维历史数据集和一维历史数据集，依据KPI历史数据集中每个历史数据的维度确定出该历史数据集中的多维历史数据集和一维历史数据集。
例如，信道质量指示(Channel Quality Indicator,简称CQI)为多维历史数据，该历史数据集可以为720小时内CQI的统计数据。
步骤S102、对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，对所述特征模式库进行分类处理获得分类结果，依据所述分类结果和所述特征模式库构建分类模型获得特征分类模型；
所述对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，包括：采用多个聚类算法分别对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理，并计算每个聚类算法的有效性指标；依据有效性指标最高的聚类算法对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，所述特征模式库用于指示所述多维历史数据集中每个多维历史数据所属的聚类，以及每个聚类的聚类中心。
在本发明实施例中，具体采用多个聚类算法和预定的聚类数目分别对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理，并计算依据每种聚类算法、每个目标聚类数目对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理的有效性指标，通过有效性指标比较可获得有效性指标最高的聚类算法和目标聚类数目，依据有效性指标最高的聚类算法和目标聚类数目对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，所述特征模式库用于指示所述多维历史数据集中每个多维历史数据所属的聚类，以及每个聚类的聚类中心。例如，多维历史数据集为10个数组，该10个数组标记为数组1-10，每个数组为16维数据，采用本步骤的方法将该10个数组分成3个聚类：聚类1、聚类2和聚类3，其中，聚类1包括数组1-3，聚类2包括数组4-6，聚类3包括数组7-10。
所述对所述特征模式库进行分类处理获得分类结果，依据所述分类结果和所述特征模式库构建分类模型获得特征分类模型，包括：采用多个分类算法分别对所述特征模式库进行分类处理获得分类结果，所述分类结果包括多个分类，以及每个分类包括的多维历史数据；依据每个多维历史数据所属的聚类和分类计算所述分类算法的精准性；选择精准性最高的分类算法构建分类模型获得所述特征分类模型。
另外，采用多个分类算法分别对所述特征模式库进行分类处理获得分类结果，所述分类结果包括多个分类，以及每个分类包括的多维历史数据；依据每个多维历史数据所属的聚类和分类计算所述分类算法的精准性；例如，多个分类算法包括分类算法A、分类算法B和分类算法C，采用分类算法A将所述多维历史数据集例如上述的10个数组分为3个分类，具体为分类1、分类2和分类3，分类1包括数组1-3，分类2包括数组4-6，分类3包括数组7-10。
同理，采用分类算法B将所述多维历史数据集例如上述的10个数组分为3个分类，具体为分类1、分类2和分类3，分类1包括数组2-4，分类2包括数组5-7，分类3包括数组1、8-10。
同理，采用分类算法C将所述多维历史数据集例如上述的10个数组分为3个分类，具体为分类1、分类2和分类3，分类1包括数组1-2，分类2包括数组3-6，分类3包括数组7-10。
依据该分类1、分类2和分类3，以及每个分类包括的数组，可判断分类算法A对应的分类结果与前述聚类结果一致，则说明分类算法A的精准性最高。选用分类算法A构建分类模型获得所述特征分类模型。
步骤S103、依据所述多维历史数据集预测下一时刻所述关键性能指标对应的多维预测值，依据所述一维历史数据集预测下一时刻所述关键性能指标对应的一维预测值；
具体地，依据时间序列模型对所述多维历史数据集进行建模预测下一时刻所述关键性能指标对应的多维预测值，依据时间序列模型对所述一维历史数据集进行建模预测下一时刻所述关键性能指标对应的一维预测值，具体预测过程将在下面实施中进行介绍。
步骤S104、依据所述特征分类模型判别所述多维预测值所属的预测特征模式，以及依据所述特征分类模型判别下一时刻所述关键性能指标对应的多维观测值所属的观测特征模式；
通过步骤S102获得的特征分类模型对步骤S103预测出的所述多维预测值进行判别，具体判别所述多维预测值所属的预测特征模式，另外，下一时刻所述关键性能指标对应的值可通过观测技术获取到实际的多维观测值，通过步骤S102获得的特征分类模型对该实际的多维观测值进行判别，具体判别该实际的多维观测值所属的观测特征模式。
步骤S105、比较所述预测特征模式和所述观测特征模式获得第一比较结果，比较所述一维预测值和下一时刻所述关键性能指标对应的一维观测值获得第二比较结果，依据所述第一比较结果和所述第二比较结果判断网元行为是否异常。
若所述预测特征模式和所述观测特征模式一致，则标记所述第一比较结果为正常；若所述预测特征模式和所述观测特征模式不一致，则标记所述第一比较结果为异常。
判断所述一维观测值是否在置信区间内，若在，则标记所述第二比较结果为正常；若不在，则标记所述第二比较结果为异常。
若所述第一比较结果和所述第二比较结果中有一个比较结果为异常，则判断网元行为异常；若所述第一比较结果和所述第二比较结果均为正常，则判断网元行为正常。
本发明实施例通过对通信网络的关键性能指标的多维历史数据集进行聚类处理获得特征模式库，并对特征模式库进行分类处理获得分类结果，依据分类结果和特征模式库构建分类模型获得特征分类模型，另外，对多维历史数据集进行预测获得多维预测值，对关键性能指标的一维历史数据集进行预测获得一维预测值，通过判别比较预测值和观测值分析网元行为是否异常，实现了对网元异常行为进行有效检测。
图2为本发明另一实施例提供的网元异常行为自动检测方法流程图。本发明实施例具体解释依据所述多维历史数据集预测下一时刻所述关键性能指标对应的多维预测值的方法，该方法具体步骤如下：
步骤S201、依据维度将所述多维历史数据集进行分割获得多个一维历史数据集；
例如历史数据集为该历史数据集为6行5列的数组，按照维度即列将该历史数据集分割为5列，每一列作为一个一维历史数据集，分割后的5个一维历史数据集分别为
步骤S202、按照时间先后顺序对每个一维历史数据集中的多个一维历史数据进行排序获得一维时间序列；
优选的，该5个一维历史数据集均已按照时间先后顺序进行排序，从上到下的顺序即为时间的先后顺序。
步骤S203、采用多个时间序列模型分别对所述一维时间序列建模并计算拟合度；
对于5个一维历史数据集中的每一个一维历史数据集均采用多个时间序列模型进行建模并计算拟合度，例如，多个时间序列模型包括时间序列模型a、时间序列模型b、时间序列模型c，以一维历史数据集为例，分别采用时间序列模型a、时间序列模型b、时间序列模型c对一维历史数据集进行建模，并计算每一个时间序列模型的拟合度，假设时间序列模型a的拟合度最高。
步骤S204、采用拟合度最高的时间序列模型预测下一时刻所述关键性能指标在所述维度对应的预测值；
采用时间序列模型a对一维历史数据集进行建模并预测该一维历史数据集的下一个元素值即61之后的值，假设预测出的值为71；同理，预测出的下一个元素值为72，的下一个元素值为73，的下一个元素值为74，的下一个元素值为75。
步骤S205、合并所述关键性能指标在各个维度对应的预测值构成所述关键性能指标对应的多维预测值。
将上述步骤预测出的每个一维历史数据集的下一个元素值合并为一组5维数据即[71 72 73 74 75]作为下一时刻所述关键性能指标对应的多维预测值。
本发明实施例通过将多维历史数据集分割为多个一维历史数据集，采用多个时间序列模型分别对每个一维时间序列建模并计算拟合度，采用拟合度最高的时间序列模型预测下一时刻关键性能指标在所述维度对应的预测值，合并关键性能指标在各个维度对应的预测值构成所述关键性能指标对应的多维预测值，提供了对多维数据的有效预测方法。
图3为本发明实施例提供的网元异常行为自动检测方法流程图。该方法具体步骤如下：
步骤S301、获取关键性能指标对应的历史数据集；
步骤S302、对历史数据集进行分割获得多维历史数据集和一维历史数据集；
步骤S303、对多维历史数据集进行聚类处理和分类处理获得特征分类模型；
步骤S304、对于多维历史数据集，依据时间序列模型预测下一时刻关键性能指标对应的多维预测值；
步骤S305、对于一维历史数据集，依据时间序列模型预测下一时刻关键性能指标对应的一维预测值；
步骤S306、获取关键性能指标对应的观测值；
步骤S307、对观测数据集进行分割获得多维观测值和一维观测值；
步骤S308、依据特征分类模型判别多维预测值所属的预测特征模式，判别多维观测值所属的观测特征模式；
步骤S309、依据一维历史数据集预测下一时刻关键性能指标对应的一维预测值；
步骤S310、比较预测特征模式和观测特征模式获得第一比较结果；
步骤S311、比较一维预测值和一维观测值获得第二比较结果；
步骤S312、依据第一比较结果和第二比较结果判断网元行为是否异常。
本发明实施例所述的方法与上述实施例一致，此处不再赘述。
本发明实施例通过对通信网络的关键性能指标的多维历史数据集进行聚类处理获得特征模式库，并对特征模式库进行分类处理获得分类结果，依据分类结果和特征模式库构建分类模型获得特征分类模型，另外，对多维历史数据集进行预测获得多维预测值，对关键性能指标的一维历史数据集进行预测获得一维预测值，通过判别比较预测值和观测值分析网元行为是否异常，实现了对网元异常行为进行有效检测。
为了清除说明上述实施例的方法，本发明实施例以某一实际运营的长期演进技术(Long Term Evolution，简称LTE)移动通信网为例，网元选取LTE基站小区，KPI选取基站小区每小时的无线信道指示(CQI)，CQI属于多维KPI，由16维数组构成反映无线网络质量。本例中采用连续720小时KPI数据作为历史数据集，对该历史数据集的处理过程具体如下：
1)建立特征模式库
首先判定采样点总数为零的样本为网元丧失服务能力，剔除这部分数据后，再根据每个样本的采样点总数使用两步聚类算法将历史网元行为数据分为两类：分区1和分区2，分区1的总采样点数量较分区2要少。接着对分区1和分区2分别进行K均值聚类，分别得到5类共10类特征模式，形成特征模式库，该特征模式库用于指示所述多维历史数据集中每个多维历史数据所属的聚类，以及每个聚类的聚类中心，具体的，每个聚类的聚类中心如图4所示，多维历史数据集中每个多维历史数据所属的聚类的对应关系如图5所示。
2)时间序列预测
将1个月30天共720小时的历史网元行为数据按网元进行降维，以CQI-0为例，CQI-0的数据集合如图6所示。
使用降维后单维数据对每个网元进行时间序列建模和预测，网元的建模结果示例如图7所示。
再将各维预测值合并后得到网元行为预测，合并后的预测值如图8所示。
3)模式识别
将预测和观测得到的统计数据在模式识别模块进行分类。通过计算分类算法的整体精准性选择C&R决策树做为分区判别算法，采用Logistic回归模型做为特征模式判别算法，得到的结果如图9所示。
4)异常检测
检测结果如表1所示：
表1
| 基站小区 | 开始时间 | 检测结果 |
| 0001-1 | 第721期 | 正常 |
| 0001-2 | 第721期 | 异常 |
| 0001-3 | 第721期 | 异常 |
| 0002-1 | 第721期 | 正常 |
| 0002-2 | 第721期 | 异常 |
| 0002-3 | 第721期 | 异常 |
| 0003-1 | 第721期 | 异常 |
| 0003-2 | 第721期 | 异常 |
| 0003-3 | 第721期 | 正常 |
| 0004-1 | 第721期 | 正常 |
| 0004-2 | 第721期 | 异常 |
| 0004-3 | 第721期 | 正常 |
本发明实施例所述的方法与上述实施例一致，此处不再赘述。
本发明实施例通过对通信网络的关键性能指标的多维历史数据集进行聚类处理获得特征模式库，并对特征模式库进行分类处理获得分类结果，依据分类结果和特征模式库构建分类模型获得特征分类模型，另外，对多维历史数据集进行预测获得多维预测值，对关键性能指标的一维历史数据集进行预测获得一维预测值，通过判别比较预测值和观测值分析网元行为是否异常，实现了对网元异常行为进行有效检测。
图10为本发明实施例提供的网元异常行为自动检测装置的结构图。本发明实施例提供的网元异常行为自动检测装置可以执行网元异常行为自动检测方法实施例提供的处理流程，如图10所示，网元异常行为自动检测装置100包括：获取模块101、处理模块102、预测模块103、判别模块104、比较判断模块105，其中，获取模块101用于获取通信网络的关键性能指标对应的历史数据集，所述历史数据集包括多维历史数据集和一维历史数据集；处理模块102用于对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，对所述特征模式库进行分类处理获得分类结果，依据所述分类结果和所述特征模式库构建分类模型获得特征分类模型；预测模块103用于依据所述多维历史数据集预测下一时刻所述关键性能指标对应的多维预测值，依据所述一维历史数据集预测下一时刻所述关键性能指标对应的一维预测值；判别模块104用于依据所述特征分类模型判别所述多维预测值所属的预测特征模式，以及依据所述特征分类模型判别下一时刻所述关键性能指标对应的多维观测值所属的观测特征模式；比较判断模块105用于比较所述预测特征模式和所述观测特征模式获得第一比较结果，比较所述一维预测值和下一时刻所述关键性能指标对应的一维观测值获得第二比较结果，依据所述第一比较结果和所述第二比较结果判断网元行为是否异常。
本发明实施例通过对通信网络的关键性能指标的多维历史数据集进行聚类处理获得特征模式库，并对特征模式库进行分类处理获得分类结果，依据分类结果和特征模式库构建分类模型获得特征分类模型，另外，对多维历史数据集进行预测获得多维预测值，对关键性能指标的一维历史数据集进行预测获得一维预测值，通过判别比较预测值和观测值分析网元行为是否异常，实现了对网元异常行为进行有效检测。
图11为本发明另一实施例提供的网元异常行为自动检测装置的结构图。在上述实施例的基础上，处理模块102包括聚类处理单元1021，聚类处理单元1021用于采用多个聚类算法分别对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理，并计算每个聚类算法的有效性指标；依据有效性指标最高的聚类算法对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，所述特征模式库用于指示所述多维历史数据集中每个多维历史数据所属的聚类，以及每个聚类的聚类中心。
处理模块102还包括分类处理单元1022，分类处理单元1022用于采用多个分类算法分别对所述特征模式库进行分类处理获得分类结果，所述分类结果包括多个分类，以及每个分类包括的多维历史数据；依据每个多维历史数据所属的聚类和分类计算所述分类算法的精准性；选择精准性最高的分类算法构建分类模型获得所述特征分类模型。
预测模块103包括：分割单元1031、排序单元1032、计算单元1033、建模单元1034和合并单元1035，其中，分割单元1031用于依据维度将所述多维历史数据集进行分割获得多个一维历史数据集；排序单元1032用于按照时间先后顺序对每个一维历史数据集中的多个一维历史数据进行排序获得一维时间序列；计算单元1033用于采用多个时间序列模型分别对所述一维时间序列建模并计算拟合度；建模单元1034用于采用拟合度最高的时间序列模型预测下一时刻所述关键性能指标在所述维度对应的预测值；合并单元1035用于合并所述关键性能指标在各个维度对应的预测值构成所述关键性能指标对应的多维预测值。
比较判断模块105包括：标记单元1051和判断单元1052，其中，标记单元1051用于若所述预测特征模式和所述观测特征模式一致，则标记所述第一比较结果为正常；若所述预测特征模式和所述观测特征模式不一致，则标记所述第一比较结果为异常；判断单元1052用于判断所述一维观测值是否在置信区间内；标记单元1051还用于若所述一维观测值在置信区间内，则标记所述第二比较结果为正常；若所述一维观测值不在置信区间内，则标记所述第二比较结果为异常；判断单元1052还用于若所述第一比较结果和所述第二比较结果中有一个比较结果为异常，则判断网元行为异常；若所述第一比较结果和所述第二比较结果均为正常，则判断网元行为正常。
本发明实施例提供的网元异常行为自动检测装置可以具体用于执行上述图1所提供的方法实施例，具体功能此处不再赘述。
本发明实施例通过将多维历史数据集分割为多个一维历史数据集，采用多个时间序列模型分别对每个一维时间序列建模并计算拟合度，采用拟合度最高的时间序列模型预测下一时刻关键性能指标在所述维度对应的预测值，合并关键性能指标在各个维度对应的预测值构成所述关键性能指标对应的多维预测值，提供了对多维数据的有效预测方法。
综上所述，本发明实施例通过对通信网络的关键性能指标的多维历史数据集进行聚类处理获得特征模式库，并对特征模式库进行分类处理获得分类结果，依据分类结果和特征模式库构建分类模型获得特征分类模型，另外，对多维历史数据集进行预测获得多维预测值，对关键性能指标的一维历史数据集进行预测获得一维预测值，通过判别比较预测值和观测值分析网元行为是否异常，实现了对网元异常行为进行有效检测；通过将多维历史数据集分割为多个一维历史数据集，采用多个时间序列模型分别对每个一维时间序列建模并计算拟合度，采用拟合度最高的时间序列模型预测下一时刻关键性能指标在所述维度对应的预测值，合并关键性能指标在各个维度对应的预测值构成所述关键性能指标对应的多维预测值，提供了对多维数据的有效预测方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种网元异常行为自动检测方法，其特征在于，包括：
获取通信网络的关键性能指标对应的历史数据集，所述历史数据集包括多维历史数据集和一维历史数据集；
对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，对所述特征模式库进行分类处理获得分类结果，依据所述分类结果和所述特征模式库构建分类模型获得特征分类模型；
依据所述多维历史数据集预测下一时刻所述关键性能指标对应的多维预测值，依据所述一维历史数据集预测下一时刻所述关键性能指标对应的一维预测值；
依据所述特征分类模型判别所述多维预测值所属的预测特征模式，以及依据所述特征分类模型判别下一时刻所述关键性能指标对应的多维观测值所属的观测特征模式；
比较所述预测特征模式和所述观测特征模式获得第一比较结果，比较所述一维预测值和下一时刻所述关键性能指标对应的一维观测值获得第二比较结果，依据所述第一比较结果和所述第二比较结果判断网元行为是否异常；
所述依据所述第一比较结果和所述第二比较结果判断网元行为是否异常，包括：
若所述第一比较结果和所述第二比较结果中有一个比较结果为异常，则判断网元行为异常；
若所述第一比较结果和所述第二比较结果均为正常，则判断网元行为正常。
2.根据权利要求1所述的方法，其特征在于，所述对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，包括：
采用多个聚类算法分别对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理，并计算每个聚类算法的有效性指标；
依据有效性指标最高的聚类算法对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，所述特征模式库用于指示所述多维历史数据集中每个多维历史数据所属的聚类，以及每个聚类的聚类中心。
3.根据权利要求2所述的方法，其特征在于，所述对所述特征模式库进行分类处理获得分类结果，依据所述分类结果和所述特征模式库构建分类模型获得特征分类模型，包括：
采用多个分类算法分别对所述特征模式库进行分类处理获得分类结果，所述分类结果包括多个分类，以及每个分类包括的多维历史数据；
依据每个多维历史数据所属的聚类和分类计算所述分类算法的精准性；
选择精准性最高的分类算法构建分类模型获得所述特征分类模型。
4.根据权利要求3所述的方法，其特征在于，所述依据所述多维历史数据集预测下一时刻所述关键性能指标对应的多维预测值，包括：
依据维度将所述多维历史数据集进行分割获得多个一维历史数据集；
按照时间先后顺序对每个一维历史数据集中的多个一维历史数据进行排序获得一维时间序列；
采用多个时间序列模型分别对所述一维时间序列建模并计算拟合度；
采用拟合度最高的时间序列模型预测下一时刻所述关键性能指标在所述维度对应的预测值；
合并所述关键性能指标在各个维度对应的预测值构成所述关键性能指标对应的多维预测值。
5.根据权利要求4所述的方法，其特征在于，所述比较所述预测特征模式和所述观测特征模式获得第一比较结果，包括：
若所述预测特征模式和所述观测特征模式一致，则标记所述第一比较结果为正常；
若所述预测特征模式和所述观测特征模式不一致，则标记所述第一比较结果为异常；
所述比较所述一维预测值和下一时刻所述关键性能指标对应的一维观测值获得第二比较结果，包括：
判断所述一维观测值是否在置信水平90％的置信区间内；
若在，则标记所述第二比较结果为正常；
若不在，则标记所述第二比较结果为异常。
6.一种网元异常行为自动检测装置，其特征在于，包括：
获取模块，用于获取通信网络的关键性能指标对应的历史数据集，所述历史数据集包括多维历史数据集和一维历史数据集；
处理模块，用于对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，对所述特征模式库进行分类处理获得分类结果，依据所述分类结果和所述特征模式库构建分类模型获得特征分类模型；
预测模块，用于依据所述多维历史数据集预测下一时刻所述关键性能指标对应的多维预测值，依据所述一维历史数据集预测下一时刻所述关键性能指标对应的一维预测值；
判别模块，用于依据所述特征分类模型判别所述多维预测值所属的预测特征模式，以及依据所述特征分类模型判别下一时刻所述关键性能指标对应的多维观测值所属的观测特征模式；
比较判断模块，用于比较所述预测特征模式和所述观测特征模式获得第一比较结果，比较所述一维预测值和下一时刻所述关键性能指标对应的一维观测值获得第二比较结果，依据所述第一比较结果和所述第二比较结果判断网元行为是否异常；
所述比较判断模块包括：
判断单元，用于若所述第一比较结果和所述第二比较结果中有一个比较结果为异常，则判断网元行为异常；若所述第一比较结果和所述第二比较结果均为正常，则判断网元行为正常。
7.根据权利要求6所述的网元异常行为自动检测装置，其特征在于，所述处理模块包括聚类处理单元，所述聚类处理单元用于采用多个聚类算法分别对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理，并计算每个聚类算法的有效性指标；依据有效性指标最高的聚类算法对所述多维历史数据集或由多个一维历史数据组合成的多维历史数据集进行聚类处理获得特征模式库，所述特征模式库用于指示所述多维历史数据集中每个多维历史数据所属的聚类，以及每个聚类的聚类中心。
8.根据权利要求7所述的网元异常行为自动检测装置，其特征在于，所述处理模块还包括分类处理单元，所述分类处理单元用于采用多个分类算法分别对所述特征模式库进行分类处理获得分类结果，所述分类结果包括多个分类，以及每个分类包括的多维历史数据；依据每个多维历史数据所属的聚类和分类计算所述分类算法的精准性；选择精准性最高的分类算法构建分类模型获得所述特征分类模型。
9.根据权利要求8所述的网元异常行为自动检测装置，其特征在于，所述预测模块包括：
分割单元，用于依据维度将所述多维历史数据集进行分割获得多个一维历史数据集；
排序单元，用于按照时间先后顺序对每个一维历史数据集中的多个一维历史数据进行排序获得一维时间序列；
计算单元，用于采用多个时间序列模型分别对所述一维时间序列建模并计算拟合度；
建模单元，用于采用拟合度最高的时间序列模型预测下一时刻所述关键性能指标在所述维度对应的预测值；
合并单元，用于合并所述关键性能指标在各个维度对应的预测值构成所述关键性能指标对应的多维预测值。
10.根据权利要求9所述的网元异常行为自动检测装置，其特征在于，所述比较判断模块包括：
标记单元，用于若所述预测特征模式和所述观测特征模式一致，则标记所述第一比较结果为正常；若所述预测特征模式和所述观测特征模式不一致，则标记所述第一比较结果为异常；
所述判断单元，还用于判断所述一维观测值是否在置信区间内；
所述标记单元还用于若所述一维观测值在置信区间内，则标记所述第二比较结果为正常；若所述一维观测值不在置信区间内，则标记所述第二比较结果为异常。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610299154.4A CN105871879B (zh) | 2016-05-06 | 2016-05-06 | 网元异常行为自动检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610299154.4A CN105871879B (zh) | 2016-05-06 | 2016-05-06 | 网元异常行为自动检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105871879A CN105871879A (zh) | 2016-08-17 |
| CN105871879B true CN105871879B (zh) | 2019-03-05 |
Family
ID=56631367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610299154.4A Active CN105871879B (zh) | 2016-05-06 | 2016-05-06 | 网元异常行为自动检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105871879B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110160B (zh) | 2017-12-29 | 2020-04-14 | 阿里巴巴集团控股有限公司 | 确定数据异常的方法及装置 |
| CN108234524B (zh) * | 2018-04-02 | 2020-08-21 | 广州广电研究院有限公司 | 网络数据异常检测的方法、装置、设备及存储介质 |
| CN110945484B (zh) * | 2018-06-08 | 2024-01-19 | 北京嘀嘀无限科技发展有限公司 | 数据存储中异常检测的系统和方法 |
| CN109327844B (zh) * | 2018-11-27 | 2021-09-14 | 中国联合网络通信集团有限公司 | 一种小区扩容方法及装置 |
| JP7135969B2 (ja) * | 2019-03-27 | 2022-09-13 | 富士通株式会社 | 情報処理方法及び情報処理装置 |
| CN110209560B (zh) * | 2019-05-09 | 2023-05-12 | 北京百度网讯科技有限公司 | 数据异常检测方法及检测装置 |
| CN110491090B (zh) * | 2019-09-20 | 2021-07-09 | 苏州智博汇能电子科技股份有限公司 | 基于手机终端的中老年人群监护方法 |
| CN111107102A (zh) * | 2019-12-31 | 2020-05-05 | 上海海事大学 | 基于大数据实时网络流量异常检测方法 |
| CN113098888A (zh) * | 2021-04-15 | 2021-07-09 | 恒安嘉新（北京）科技股份公司 | 异常行为预测方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101795215A (zh) * | 2010-01-28 | 2010-08-04 | 哈尔滨工程大学 | 网络流量异常检测方法及检测装置 |
| CN103377223A (zh) * | 2012-04-24 | 2013-10-30 | 深圳信息职业技术学院 | 学校信息库的管理方法及系统 |
| CN104063747A (zh) * | 2014-06-26 | 2014-09-24 | 上海交通大学 | 一种分布式系统中的性能异常预测方法及系统 |
| CN104156615A (zh) * | 2014-08-25 | 2014-11-19 | 哈尔滨工业大学 | 基于ls-svm的传感器检测数据点异常检测方法 |
| CN104579823A (zh) * | 2014-12-12 | 2015-04-29 | 国家电网公司 | 一种基于大数据流的网络流量异常检测系统及方法 |
| WO2015154484A1 (zh) * | 2014-09-11 | 2015-10-15 | 中兴通讯股份有限公司 | 流量数据分类方法及装置 |
| CN105553998A (zh) * | 2015-12-23 | 2016-05-04 | 中国电子科技集团公司第三十研究所 | 一种网络攻击异常检测方法 |
-
2016
- 2016-05-06 CN CN201610299154.4A patent/CN105871879B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101795215A (zh) * | 2010-01-28 | 2010-08-04 | 哈尔滨工程大学 | 网络流量异常检测方法及检测装置 |
| CN103377223A (zh) * | 2012-04-24 | 2013-10-30 | 深圳信息职业技术学院 | 学校信息库的管理方法及系统 |
| CN104063747A (zh) * | 2014-06-26 | 2014-09-24 | 上海交通大学 | 一种分布式系统中的性能异常预测方法及系统 |
| CN104156615A (zh) * | 2014-08-25 | 2014-11-19 | 哈尔滨工业大学 | 基于ls-svm的传感器检测数据点异常检测方法 |
| WO2015154484A1 (zh) * | 2014-09-11 | 2015-10-15 | 中兴通讯股份有限公司 | 流量数据分类方法及装置 |
| CN104579823A (zh) * | 2014-12-12 | 2015-04-29 | 国家电网公司 | 一种基于大数据流的网络流量异常检测系统及方法 |
| CN105553998A (zh) * | 2015-12-23 | 2016-05-04 | 中国电子科技集团公司第三十研究所 | 一种网络攻击异常检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105871879A (zh) | 2016-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105871879B (zh) | 网元异常行为自动检测方法及装置 | |
| CN105873105B (zh) | 一种基于网络体验质量的移动通信网异常检测和定位方法 | |
| CN105577440B (zh) | 一种网络故障时间定位方法和分析设备 | |
| CN108345544B (zh) | 一种基于复杂网络的软件缺陷分布影响因素分析方法 | |
| CN109871401A (zh) | 一种时间序列异常检测方法及装置 | |
| CN105069470A (zh) | 分类模型训练方法及装置 | |
| CN106355030A (zh) | 一种基于层次分析法和加权投票决策融合的故障检测方法 | |
| WO2002080458A1 (en) | Method for configuring a network by defining clusters | |
| CN109118119A (zh) | 风控模型生成方法及装置 | |
| CN106021771A (zh) | 一种故障诊断方法及装置 | |
| CN105260738A (zh) | 基于主动学习的高分辨率遥感影像变化检测方法及系统 | |
| CN110503245A (zh) | 一种机场航班大面积延误风险的预测方法 | |
| CN111614491A (zh) | 一种面向电力监控系统安全态势评估指标选取方法及系统 | |
| CN103208039A (zh) | 软件项目风险评价方法及装置 | |
| CN110348490A (zh) | 一种基于支持向量机算法的土壤质量预测方法及装置 | |
| CN106681305A (zh) | 一种Fast RVM污水处理在线故障诊断方法 | |
| CN109508733A (zh) | 一种基于分布概率相似度度量的异常检测方法 | |
| CN108491302A (zh) | 一种检测spark集群节点状态的方法 | |
| CN108595884A (zh) | 电力系统暂态稳定性评估方法及装置 | |
| CN116108758A (zh) | 滑坡易发性评价方法 | |
| CN105990170A (zh) | 晶圆良率分析方法和装置 | |
| CN106569030A (zh) | 一种电能计量异常诊断中的告警阈值寻优方法及装置 | |
| CN111126820A (zh) | 反窃电方法及系统 | |
| CN105930900A (zh) | 一种混合风力发电的预测方法及系统 | |
| CN111294841A (zh) | 一种无线网络问题的处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |