CN112637132A - 一种网络异常检测方法、装置、电子设备和存储介质 - Google Patents

一种网络异常检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112637132A
CN112637132A CN202011388343.1A CN202011388343A CN112637132A CN 112637132 A CN112637132 A CN 112637132A CN 202011388343 A CN202011388343 A CN 202011388343A CN 112637132 A CN112637132 A CN 112637132A
Authority
CN
China
Prior art keywords
network
abnormal
index data
correlation
transmission quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011388343.1A
Other languages
English (en)
Other versions
CN112637132B (zh
Inventor
杨辉
李雪婷
管琳
姚秋彦
包博文
李超
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011388343.1A priority Critical patent/CN112637132B/zh
Publication of CN112637132A publication Critical patent/CN112637132A/zh
Application granted granted Critical
Publication of CN112637132B publication Critical patent/CN112637132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本说明书一个或多个实施例提供一种网络异常检测方法、装置、电子设备和存储介质;所述方法包括:获取一组网络指标,包括:时延,抖动和丢包率;计算所述网络指标间的相关性,得到关联指标数据集;将所述关联指标数据集输入预先训练的传输质量预测模型,得到传输质量预测值;所述传输质量预测模型由历史关联指标数据集训练得到;将所述传输质量预测值输入预先训练的异常标注模型,得到异常数据,所述异常数据用于对网络进行管理;所述异常标注模型由异常样本集训练得到;所述异常样本集由密度聚类算法对所述历史关联指标数据集进行异常标注后得到。

Description

一种网络异常检测方法、装置、电子设备和存储介质
技术领域
本说明书一个或多个实施例涉及人工智能技术领域,尤其涉及一种网络异常检测方法、装置、电子设备和存储介质。
背景技术
随着信息技术飞速发展,网络规模日益增大,网络异常发生的几率也大大增高。为确保网络正常运行,网络异常检测在实际的网络管理中具有很重要的意义。
在众多在线网络异常检测方法中,基于预测的异常检测方法在实时性、速度方面更优,但其对异常的判别方法通常是仅通过比较实际值和预测值,在网络指标关系复杂、带异常标注数据少的情况下网络异常检测准确率低。
发明内容
有鉴于此,本说明书一个或多个实施例的目的在于提出一种网络异常检测方法、装置、电子设备和存储介质,以解决在网络指标关系复杂、带异常标注数据少的情况下网络异常检测准确率低的问题。
基于上述目的,本说明书一个或多个实施例提供了一种网络异常检测方法,包括:
获取一组网络指标,包括:时延,抖动和丢包率;
计算所述网络指标间的相关性,得到关联指标数据集;
将所述关联指标数据集输入预先训练的传输质量预测模型,得到传输质量预测值;所述传输质量预测模型由历史关联指标数据集训练得到;
将所述传输质量预测值输入预先训练的异常标注模型,得到异常数据,所述异常数据用于对网络进行管理;所述异常标注模型由异常样本集训练得到;所述异常样本集由密度聚类算法对所述历史关联指标数据集进行异常标注后得到。
在一些实施方式中,所述计算所述网络指标间的相关性,得到关联指标数据集,具体包括:
首先,将所述网络指标根据所述时延进行升序排序,排序后的位置表示为秩次rt,根据所述抖动进行升序排序,排序后的位置表示为秩次rj,根据如下公式计算等级差R:
Figure BDA0002810473670000021
然后,根据所述等级差R和如下公式,计算相关性ρ:
Figure BDA0002810473670000022
其中,K表示所述网络指标的维度;
最后,根据所述相关性ρ得到与提前设定的指标数据集强相关的关联指标数据集。
在一些实施方式中,所述传输质量预测模型分为两层,每一层都接受四十九个输入数据作为特征,得到一个输出特征,再通过一个线性层输出回归到具体数值。
在一些实施方式中,所述密度聚类算法,具体包括:
使用欧几里得距离来测量关联指标数据之间的距离,具体计算公式如下
Figure BDA0002810473670000023
其中,S′为所述关联指标数据集,si∈S′,sj∈S′,di,j即表示关联指标数据si和关联指标数据sj之间的距离,si,k是si的第k维,sj,k是sj的第k维。
在一些实施方式中,所述密度聚类算法,还包括:
定义δi表示在所述关联指标si邻域Ei内的关联指标数据的密度,ε表示与所述关联指标si的距离在ε之内:
Figure BDA0002810473670000024
MinPts为算法的预设参数,如果δi≥MinPts,那么称从所述关联指标数据sj至所述关联指标数据si密度可达。
基于同一发明构思,本说明书一个或多个实施例还提供了一种网络异常检测装置,包括:
网络指标获取模块,被配置为,获取一组网络指标,包括:时延,抖动,丢包率;
网络指标计算模块,被配置为,计算所述网络指标间的相关性,得到关联指标数据集;
传输质量预测模块,被配置为,将所述关联指标数据集输入预先训练的传输质量预测模型,得到传输质量预测值;所述传输质量预测模型由历史关联指标数据集训练得到;
异常数据检测模块,被配置为,将所述传输质量预测值输入预先训练的异常标注模型,得到异常数据,所述异常数据用于对网络进行管理;所述异常标注模型由异常样本集训练得到;所述异常样本集由密度聚类算法对所述历史关联指标数据集进行异常标注后得到。
在一些实施方式中,所述网络指标计算模块,具体被配置为:
首先,将所述网络指标根据所述时延进行升序排序,排序后的位置表示为秩次rt,根据所述抖动进行升序排序,排序后的位置表示为秩次rj,根据如下公式计算等级差R:
Figure BDA0002810473670000031
然后,根据所述等级差R和如下公式,计算相关性ρ:
Figure BDA0002810473670000032
其中,K表示所述网络指标的维度;
最后,根据所述相关性ρ找到与提前设定的指标数据集强相关的关联指标数据集。
在一些实施方式中,所述传输质量预测模型分为两层,每一层都接受四十九个输入数据作为特征,得到一个输出特征,再通过一个线性层将所述循环神经网络的输出回归到具体数值。
基于同一发明构思,本说明书一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上任一项所述的方法。
基于同一发明构思,本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一项所述的方法。
从上面所述可以看出,本说明书一个或多个实施例提供的,一种网络异常检测方法、装置、电子设备和存储介质为此,充分利用无监督学习的标注结果,依据分类系统给出的信息给训练样本加入特征和标签信息,不断调整网络参数,更细致地分析了网络异常与监测指标信息的对应关系,最终判别出相应的网络异常数据,从而实现对网络异常情况的快速反应,解决了在网络指标关系复杂、带异常标注数据少的情况下网络异常检测准确率低的问题,提升了网络安全性和网络服务质量。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例的模型架构图;
图2为本说明书一个或多个实施例的方法流程图;
图3为本说明书一个或多个实施例的工作流程图;
图4为本说明书一个或多个实施例聚类原理示意图;
图5为本说明书一个或多个实施例的电子设备硬件结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
当下,信息技术正处于一个迅速发展的时代,随着互联网技术的飞速发展,网络的规模日益增大,其结构愈加复杂,在网络中故障与异常的发生几率大大增高,网络攻击行为更是屡见不鲜。为确保网络正常运行,提高网络的可用性,及时发现网络异常和故障,保障用户服务质量,需要对网络中存在的异常进行检测。在网络中,网络设备和业务数据是体现网络状态的重要数据之一,对网络指标数据的统计分析能够帮助对网络进行有效的管理。网络指标是指网络正常运行时的性能表现,而网络异常指标是指当网络不正常运行或存在网络入侵行为时的性能表现。网络指标的异常值通常代表着整个网络中存在着异常情况,包括网络攻击、设备故障等,这类异常需要尽快进行处理,否则将对整个网络造成不良影响。由此可见,网络指标异常检测在实际的网络管理中具有很重要的意义。
在线网络异常检测方法种类多样,国内外常用的网络异常检测方法主要包括以下几种:基于统计分析的方法、基于分类的统计方法以及基于聚类的统计方法。目前的优化检测技术有针对这其中某一类方法进行改进,也有结合两种或以上方法进行联合检测的方法。目前也有一些基于网络指标预测的异常检测技术研究。网络指标预测技术是预测网络指标未来的变化趋势,它对于网络攻击检测、资源分配、路由选择等种种重要的网络管理功能都能提供巨大帮助。根据指标预测得到的预测值,可以用于异常值检测,相比于其他一些异常检测方法,基于预测的异常检测方法在实时性、速度方面更优。但其对异常的判别方法通常是仅通过比较实际值和预测值,结合阈值方式对网络指标数据进行判别,这种基于预测的方法对于异常的检测在准确率上还存在不足。但由于其具有快速筛选明显异常点的能力,可以为基于聚类的异常检测方法提供可保障的前提。此外,由于指标预测结果通常是由时序数据训练得到,可以认为预测结果包含了以往指标的序列信息。将其添加到聚类检测的样本输入中,可以为聚类样本增加时序特征,实现更精确的检测。基于指标预测的异常检测方法其结果十分依赖于预测的准确度,当预测结果准确度不高时,异常检测的结果也会出现较大偏差。而当预测结果准确,符合实际情况时,检测出的异常可信度也更高。因此,基于指标预测的异常检测通常核心就是研究一种准确度高的预测算法。
如背景技术部分所述,现有在线网络异常检测方法还难以满足当前的网络服务质量要求,申请人在实现本公开的过程中发现,现有在线网络异常检测方法对异常的判别方法通常是仅通过比较实际值和预测值,在网络指标关系复杂、带异常标注数据少的情况下网络异常检测准确率低。
有鉴于此,本发明提出了一种基于神经网络的自学习在线异常检测方法。该方法框架采用无监督和监督机器学习的混合方案。首先,采用无监督数据聚类模型(DCM)来分析监测数据的模式。DCM提供了一种自学习能力,这种能力消除了对异常网络行为的先验知识的需求,因此可以潜在地检测未预见的异常。在基于密度聚类的指标异常检测方法中,如果仅对网络指标数据值这单一数据特征进行聚类,没有考虑网络指标在时序上的相关性,将导致异常检测的准确率降低、无法识别出一些与上下文相关的网络异常。因此,针对上述问题,本发明进一步提出基于预测与密度聚类的级联检测方法,在预测的基础上,引入预测误差作为密度聚类时的异常标注集的结果补充。本发明提出的这种基于指标预测与密度聚类的级联检测算法,将隐含了指标时序关系的预测结果增加到样本中,有助于提升异常检测的准确性。在实际应用中,通过第一步的预测模型还可快速得到初步的异常判断,可以满足一些要求对异常迅速反应,而对准确性要求不高的特殊场景,提高异常检测方法的通用性。同时通过这一步的初步判断,可以筛选排除一些较明显的异常点,将异常数据在整体样本中的占比降低,为基于聚类的异常检测前提提供保障。
参考图1为本说明书一个或多个实施例的模型架构图,本发明提出的基于指标预测与密度聚类的级联检测方法思想如下:
第一步,多维指标如业务质量、光功率、丢包率等网络指标数据集经过关联性分析得到关联指标数据集输入到由训练好的循环神经网络RNN构成的传输质量预测模型,得到传输质量预测值。在神经网络中,循环神经网络RNN是考虑了数据在时序上前后关系的一种神经网络,由于其隐藏层是一种类似于循环链式的结构,它的每个输出除了受当前输入的影响,还受到之前输入的影响,使得数据可以持久化的在网络中传播,因此对于时序相关的数据处理具有很好的优势。
第二步,利用所述关联指标数据集训练出异常标注模型。以无监督聚类算法得到的异常数据集作为深度神经网络DNN的训练标注数据集,其中包括不同网络指标,例如业务质量、光功率、丢包率等与其异常值的对应关系,训练确定DNN连接权值,得到一个最优训练模型,为网络异常的精确检测奠定基础。异常检测过程中,将实时采集的网络状态数据信息作为输入,采用监督学习训练得到的DNN模型分析典型指标具备的不同特征,基于预先训练得到的网络指标与异常的对应关系,精确识别出当前网络数据中的异常数据。
最后,将得到的传输质量值输入到已经过学习训练过的异常标注模型中输出异常结果。为进一步提高训练模型的准确率,避免局部最优对异常检测结果的干扰,每经过一段时间,将监督学习得到的分类异常数据作为补充输入加入到无监督学习模型再次进行聚类,并将聚类的结果重新作为新的DNN训练模型的标注空间,实现无监督学习与监督学习模型间的协同训练,逐步得到更加准确的监督学习模型,以适应时变的网络环境并提升异常检测的准确率,实现在线的网络异常检测。
可见,本说明书一个或多个实施例的业务对象的展示方案,充分利用无监督学习的标注结果,依据分类系统给出的信息给训练样本加入特征和标签信息,不断调整网络参数,更细致地分析了网络异常与监测指标信息的对应关系,最终判别出相应的网络异常数据,从而实现对网络异常情况的快速反应,解决了在网络指标关系复杂、带异常标注数据少的情况下网络异常检测准确率低的问题,提升了网络安全性和网络服务质量。
以下,通过具体的实施例进一步详细说明本公开的一个或多个实施例的技术方案。
参考图2为本说明书一个或多个实施例的方法流程图和参考图3为本说明书一个或多个实施例的工作流程图,本说明书一个实施例的一种网络异常检测方法,包括以下步骤:
步骤S1:获取一组网络指标,包括:时延,抖动和丢包率;
获取并输入一组网络指标,分别有时延(delay time)记作T={t1,t2…tk},抖动(jitter)记作J={j1,j2…jk},丢包率(packet loss rate)记作P={p1,p2,p3…pk},以上网络指标组合构成网络指标集合S={s1,s2…sk},即sk={tk,jk,pk};
步骤S2:计算所述网络指标间的相关性,得到关联指标数据集;
表1网络指标排序示例
Figure BDA0002810473670000081
采用斯皮尔曼相关系数计算所述网络指标间的相关性ρ,首先,将所述网络指标根据所述时延T进行升序排序,排序后的位置表示为秩次rt,根据所述抖动J进行升序排序,排序后的位置表示为秩次rj,根据如下公式计算等级差R:
Figure BDA0002810473670000091
具体如表1为网络指标排序示例所示,si根据所述时延T升序排序后的秩次rt分别为{4,1,5,2,3},si根据所述抖动J升序排序后的秩次rj分别为{3,1,2,4,5},等级差R的计算公式即为:
R=|4-3|2+|1-1|2+|5-2|2+|2-4|2+|3-5|2
然后,根据所述等级差R和如下公式,计算相关性ρ:
Figure BDA0002810473670000092
其中,K表示所述网络指标的维度;
最后,根据所述相关性ρ得到与提前设定的指标数据集具有强相关的关联指标数据集S′={s1,s2…sn}。
步骤S3:将所述关联指标数据集输入预先训练的传输质量预测模型,得到传输质量预测值;所述传输质量预测模型由历史关联指标数据集训练得到;
将所述关联指标数据集S′输入到循环神经网络RNN中,之后用长度为10的滑动窗口去切割不同时序阶段的si,k(即第k维的si)和sj,k(即第k维的sj),然后将数据si,k作为训练集,sj,k数据作为测试集,关联指标数据集S′中训练集和测试集的比例为8:2,即80%作为训练集,剩下的百分之二十作为测试集;
具体的比如第1-50分钟的s1,k数据(第k维s1数据)和50-60分钟的s2,k数据(第k维s2数据),把数据s1,k作为训练集,s2,k数据作为测试集;
循环神经网络RNN读入数据维度是(seq,batch,feature),本说明书一个或多个实施例所使用的循环神经网络RNN分为两层,batch=1,feature=49,即每一层都接受四十九个输入数据作为特征,得到一个输出特征,再通过一个线性层输出回归到具体数值;
训练所述循环神经网络RNN,训练完成后得到传输质量预测模型,用所述传输质量预测模型预测传输质量值,得到传输质量预测值
Figure BDA0002810473670000093
步骤S4:将所述传输质量预测值输入预先训练的异常标注模型,得到异常数据,所述异常数据用于对网络进行管理;所述异常标注模型由异常样本集训练得到;所述异常样本集由密度聚类算法对所述历史关联指标数据集进行异常标注后得到。
参考图4为本说明书一个或多个实施例聚类原理示意图,使用基于密度的聚类算法设计无监督数据聚类模型DCM来做异常标注工作,它能够识别任何形状的簇。
所述密度聚类算法,具体包括:
由于欧几里得距离具有显示正常值与异常值之间明显差异的能力,因此被广泛应用于异常检测领域,本说明书的一个实施例使用欧几里得距离来测量关联指标数据之间的距离,具体计算公式如下
Figure BDA0002810473670000101
其中,S′为所述关联指标数据集,(si,sj∈S′),di,j即表示关联指标数据si和关联指标数据sj之间的距离,si,k是si的第k维,sj,k是sj的第k维。
定义δi表示在所述关联指标si邻域Ei内的关联指标数据的密度,ε表示与所述关联指标si的距离在ε之内,即,定义si的ε-邻域(Eps)作为与si的距离在ε之内的实例集,图3中的虚线圆表示相应中心节点的ε-邻域(Eps):
Figure BDA0002810473670000102
每个si的核心节点条件定义为:
δi≥MinPts
MinPts为算法的预设参数,如果sj∈S′且δi≥MinPts,那么称从所述关联指标数据sj至所述关联指标数据si密度可达。
表2:不同MinPts和ε设置的无监督数据聚类模型DCM的假阴性率(表示为fn)和假阳性率(表示为fp)
Figure BDA0002810473670000111
表2展示了使用不同MinPts和ε设置的无监督数据聚类模型DCM的假阴性率(表示为fn)和假阳性率(表示为fp)的结果。对于ε和MinPts的取值,首先,基于异常数量远小于正常实例的假设,将MinPts设置为一个小数,即假设不存在MinPts个相同类型的同时异常。根据经验将MinPts设置为4,对于具有足够数量的正常数据的大规模数据集,可以应用更大的MinPts值以提高异常检测率。然后,确定ε的值,通过从一个很小的值逐渐增加ε并观察检测到的异常数量|U|的变化。开始时|U|急剧减小,因为较大的ε促使簇形成。由于与正常实例相比,真正的异常现象离邻近节点更远,当大多数正常实例已聚类时,|U|的下降率在某个点(例如ε*)将变得非常低。为了使算法进一步包括正常聚类中的异常,需要ε增加更大,因此将ε设为ε*
定义高低密度点,对高密度点和边界点进行串联画出相关数据簇,不在任何簇内的数据点标记为异常点,并标签1,正常数据点则为0,如图4所示;
表3:异常样本
Figure BDA0002810473670000121
重复上述工作,输出异常样本集合|U|={u1,u2…u7},如表3所示;
将异常数据集|U|输入到深度神经网络DNN中作为训练标注数据集,将u1=(t1,j2,p3,1)输入到DNN分类模型中,输出1,代表此为异常数据,重复上述步骤,得到异常标注模型;
将传输质量预测值
Figure BDA0002810473670000122
输入到异常标注模型中,即得到
Figure BDA0002810473670000123
为正常数据,
Figure BDA0002810473670000124
为异常数据。
基于同一发明构思,本说明书一个或多个实施例还提供了一种网络异常检测装置,包括:
网络指标获取模块,被配置为,获取一组网络指标,包括:时延,抖动,丢包率;
网络指标计算模块,被配置为,计算所述网络指标间的相关性,得到关联指标数据集;
传输质量预测模块,被配置为,将所述关联指标数据集输入预先训练的传输质量预测模型,得到传输质量预测值;所述传输质量预测模型由历史关联指标数据集训练得到;
异常数据检测模块,被配置为,将所述传输质量预测值输入预先训练的异常标注模型,得到异常数据,所述异常数据用于对网络进行管理;所述异常标注模型由异常样本集训练得到;所述异常样本集由密度聚类算法对所述历史关联指标数据集进行异常标注后得到。
在一些实施方式中,所述网络指标计算模块,具体被配置为:
首先,将所述网络指标根据所述时延进行升序排序,排序后的位置表示为秩次rt,根据所述抖动进行升序排序,排序后的位置表示为秩次rj,根据如下公式计算等级差R:
Figure BDA0002810473670000131
然后,根据所述等级差R和如下公式,计算相关性ρ:
Figure BDA0002810473670000132
其中,K表示所述网络指标的维度;
最后,根据所述相关性ρ找到与提前设定的指标数据集强相关的关联指标数据集。
在一些实施方式中,所述传输质量预测模型分为两层,每一层都接受四十九个输入数据作为特征,得到一个输出特征,再通过一个线性层将所述循环神经网络的输出回归到具体数值。
基于同一发明构思,本说明书一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上任一项实施例所述的方法。
基于同一发明构思,本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一项实施例所述的方法。
可见,在本实施例中,本发明提出了一种基于神经网络的在线异常检测方法,首先针对基于指标预测的异常检测方法,提出一种基于RNN改进的指标预测方法,来对异常值进行快速初步的判断;然后又提出了一种基于密度聚类改进的异常检测方法,以无监督聚类得到的异常数据集作为深度神经网络(DNN)的训练标注数据集,经过训练,得到异常数据标注模型;最后将监督学习得到的分类异常数据作为补充输入加入到无监督学习模型再次进行聚类,并将聚类的结果重新作为新的DNN训练模型的标注空间,实现无监督学习与监督学习模型间的协同训练;本实施例简单实用,在经过学习训练后提高了网络异常检测的准确性;精度高,通过数据集不断地进行自学习,训练确定DNN连接权值,得到一个最优训练模型,为网络异常的精确检测奠定基础;自适应性强,实现了无监督学习与监督学习模型间的协同训练,具有更大的自由度和灵活度,能适应大型网络;有效地提高了异常值检测的准确率,减少了检测时长,提高了网络服务质量和效率。
可以理解,该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。
需要说明的是,本说明书一个或多个实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本说明书一个或多个实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本说明书一个或多个实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (10)

1.一种网络异常检测方法,其特征在于,包括:
获取一组网络指标,包括:时延,抖动和丢包率;
计算所述网络指标间的相关性,得到关联指标数据集;
将所述关联指标数据集输入预先训练的传输质量预测模型,得到传输质量预测值;所述传输质量预测模型由历史关联指标数据集训练得到;
将所述传输质量预测值输入预先训练的异常标注模型,得到异常数据,所述异常数据用于对网络进行管理;所述异常标注模型由异常样本集训练得到;所述异常样本集由密度聚类算法对所述历史关联指标数据集进行异常标注后得到。
2.根据权利要求1所述的一种网络异常检测方法,其特征在于,所述计算所述网络指标间的相关性,得到关联指标数据集,具体包括:
首先,将所述网络指标根据所述时延进行升序排序,排序后的位置表示为秩次rt,根据所述抖动进行升序排序,排序后的位置表示为秩次rj,根据如下公式计算等级差R:
Figure FDA0002810473660000011
然后,根据所述等级差R和如下公式,计算相关性ρ:
Figure FDA0002810473660000012
其中,K表示所述网络指标的维度;
最后,根据所述相关性ρ得到与提前设定的指标数据集强相关的关联指标数据集。
3.根据权利要求1所述的一种网络异常检测方法,其特征在于,所述传输质量预测模型分为两层,每一层都接受四十九个输入数据作为特征,得到一个输出特征,再通过一个线性层输出回归到具体数值。
4.根据权利要求1所述的一种网络异常检测方法,其特征在于,所述密度聚类算法,具体包括:
使用欧几里得距离来测量关联指标数据之间的距离,具体计算公式如下
Figure FDA0002810473660000021
其中,S′为所述关联指标数据集,si∈S′,sj∈S′,di,j即表示关联指标数据si和关联指标数据sj之间的距离,si,k是si的第k维,sj,k是sj的第k维。
5.根据权利要求4所述的一种网络异常检测方法,其特征在于,所述密度聚类算法,还包括:
定义δi表示在所述关联指标si邻域Ei内的关联指标数据的密度,ε表示与所述关联指标si的距离在ε之内:
Figure FDA0002810473660000022
MinPts为算法的预设参数,如果δi≥MinPts,那么称从所述关联指标数据sj至所述关联指标数据si密度可达。
6.一种网络异常检测装置,其特征在于,包括:
网络指标获取模块,被配置为,获取一组网络指标,包括:时延,抖动,丢包率;
网络指标计算模块,被配置为,计算所述网络指标间的相关性,得到关联指标数据集;
传输质量预测模块,被配置为,将所述关联指标数据集输入预先训练的传输质量预测模型,得到传输质量预测值;所述传输质量预测模型由历史关联指标数据集训练得到;
异常数据检测模块,被配置为,将所述传输质量预测值输入预先训练的异常标注模型,得到异常数据,所述异常数据用于对网络进行管理;所述异常标注模型由异常样本集训练得到;所述异常样本集由密度聚类算法对所述历史关联指标数据集进行异常标注后得到。
7.根据权利要求6所述的一种网络异常检测装置,其特征在于,所述网络指标计算模块,具体被配置为:
首先,将所述网络指标根据所述时延进行升序排序,排序后的位置表示为秩次rt,根据所述抖动进行升序排序,排序后的位置表示为秩次rj,根据如下公式计算等级差R:
Figure FDA0002810473660000031
然后,根据所述等级差R和如下公式,计算相关性ρ:
Figure FDA0002810473660000032
其中,K表示所述网络指标的维度;
最后,根据所述相关性ρ找到与提前设定的指标数据集强相关的关联指标数据集。
8.根据权利要求6所述的一种网络异常检测装置,其特征在于,所述传输质量预测模型分为两层,每一层都接受四十九个输入数据作为特征,得到一个输出特征,再通过一个线性层将所述循环神经网络的输出回归到具体数值。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任意一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至5任一所述方法。
CN202011388343.1A 2020-12-01 2020-12-01 一种网络异常检测方法、装置、电子设备和存储介质 Active CN112637132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011388343.1A CN112637132B (zh) 2020-12-01 2020-12-01 一种网络异常检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011388343.1A CN112637132B (zh) 2020-12-01 2020-12-01 一种网络异常检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112637132A true CN112637132A (zh) 2021-04-09
CN112637132B CN112637132B (zh) 2022-03-11

Family

ID=75307535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011388343.1A Active CN112637132B (zh) 2020-12-01 2020-12-01 一种网络异常检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112637132B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239075A (zh) * 2021-05-13 2021-08-10 中国公路工程咨询集团有限公司 一种施工数据自检方法及系统
CN113656287A (zh) * 2021-07-28 2021-11-16 北京宝兰德软件股份有限公司 软件实例故障的预测方法、装置、电子设备及存储介质
CN114039889A (zh) * 2021-09-27 2022-02-11 北京邮电大学 基于往返时延的时间序列的网络异常检测方法及相关装置
CN114071233A (zh) * 2021-11-04 2022-02-18 广州华多网络科技有限公司 音视频质量评价方法及其装置、设备、介质、产品
CN114301803A (zh) * 2021-12-24 2022-04-08 北京百度网讯科技有限公司 网络质量检测方法、装置、电子设备及存储介质
CN116074215A (zh) * 2022-12-30 2023-05-05 中国联合网络通信集团有限公司 网络质量检测方法、装置、设备及存储介质
CN116132330A (zh) * 2022-07-12 2023-05-16 马上消费金融股份有限公司 网络检测方法、网络检测模型训练方法及装置
CN116962272A (zh) * 2023-08-02 2023-10-27 北京优特捷信息技术有限公司 一种网络指标的异常检测方法、装置、设备及存储介质
CN117880055B (zh) * 2024-03-12 2024-05-31 灵长智能科技(杭州)有限公司 基于传输层指标的网络故障诊断方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180006900A1 (en) * 2016-06-29 2018-01-04 Microsoft Technology Licensing, Llc Predictive anomaly detection in communication systems
US20180159895A1 (en) * 2015-08-03 2018-06-07 Alibaba Group Holding Limited Method, Apparatus and System for Quantifying Defense Result
US20190182351A1 (en) * 2017-02-21 2019-06-13 Wangsu Science & Technology Co., Ltd. Route selection method and system, network acceleration node, and network acceleration system
US20190334786A1 (en) * 2018-04-30 2019-10-31 Hewlett Packard Enterprise Development Lp Predicting Workload Patterns in a Data Storage Network
CN110519802A (zh) * 2018-05-21 2019-11-29 华为技术有限公司 一种数据处理方法、发送方法及装置
CN110912768A (zh) * 2019-11-01 2020-03-24 海南大学 多路径传输网络性能的灰色关联与模糊评估方法和系统
CN111953504A (zh) * 2019-05-15 2020-11-17 中国电信股份有限公司 异常流量检测方法和装置、计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180159895A1 (en) * 2015-08-03 2018-06-07 Alibaba Group Holding Limited Method, Apparatus and System for Quantifying Defense Result
US20180006900A1 (en) * 2016-06-29 2018-01-04 Microsoft Technology Licensing, Llc Predictive anomaly detection in communication systems
US20190182351A1 (en) * 2017-02-21 2019-06-13 Wangsu Science & Technology Co., Ltd. Route selection method and system, network acceleration node, and network acceleration system
US20190334786A1 (en) * 2018-04-30 2019-10-31 Hewlett Packard Enterprise Development Lp Predicting Workload Patterns in a Data Storage Network
CN110519802A (zh) * 2018-05-21 2019-11-29 华为技术有限公司 一种数据处理方法、发送方法及装置
CN111953504A (zh) * 2019-05-15 2020-11-17 中国电信股份有限公司 异常流量检测方法和装置、计算机可读存储介质
CN110912768A (zh) * 2019-11-01 2020-03-24 海南大学 多路径传输网络性能的灰色关联与模糊评估方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AO YU: "Scheduling with Flow Prediction based on Time and Frequency 2D Classification for Hybrid Electrical/Optical Intra-datacenter Networks", 《2019 OPTICAL FIBER COMMUNICATIONS CONFERENCE AND EXHIBITION(OFC)》 *
李冬云: "基于AHP的电力信息系统健康度评估模型", 《计算机科学》 *
王捷等: "基于多元高斯分布的数据质量波动监测模型研究", 《电信工程技术与标准化》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239075A (zh) * 2021-05-13 2021-08-10 中国公路工程咨询集团有限公司 一种施工数据自检方法及系统
CN113656287A (zh) * 2021-07-28 2021-11-16 北京宝兰德软件股份有限公司 软件实例故障的预测方法、装置、电子设备及存储介质
CN114039889A (zh) * 2021-09-27 2022-02-11 北京邮电大学 基于往返时延的时间序列的网络异常检测方法及相关装置
CN114039889B (zh) * 2021-09-27 2023-06-16 北京邮电大学 基于往返时延的时间序列的网络异常检测方法及相关装置
CN114071233A (zh) * 2021-11-04 2022-02-18 广州华多网络科技有限公司 音视频质量评价方法及其装置、设备、介质、产品
CN114071233B (zh) * 2021-11-04 2023-04-25 广州华多网络科技有限公司 音视频质量评价方法及其装置、设备、介质、产品
CN114301803B (zh) * 2021-12-24 2024-03-08 北京百度网讯科技有限公司 网络质量检测方法、装置、电子设备及存储介质
CN114301803A (zh) * 2021-12-24 2022-04-08 北京百度网讯科技有限公司 网络质量检测方法、装置、电子设备及存储介质
CN116132330A (zh) * 2022-07-12 2023-05-16 马上消费金融股份有限公司 网络检测方法、网络检测模型训练方法及装置
CN116074215A (zh) * 2022-12-30 2023-05-05 中国联合网络通信集团有限公司 网络质量检测方法、装置、设备及存储介质
CN116074215B (zh) * 2022-12-30 2024-04-19 中国联合网络通信集团有限公司 网络质量检测方法、装置、设备及存储介质
CN116962272B (zh) * 2023-08-02 2024-02-20 北京优特捷信息技术有限公司 一种网络指标的异常检测方法、装置、设备及存储介质
CN116962272A (zh) * 2023-08-02 2023-10-27 北京优特捷信息技术有限公司 一种网络指标的异常检测方法、装置、设备及存储介质
CN117880055B (zh) * 2024-03-12 2024-05-31 灵长智能科技(杭州)有限公司 基于传输层指标的网络故障诊断方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112637132B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN112637132B (zh) 一种网络异常检测方法、装置、电子设备和存储介质
US20170140273A1 (en) System and method for automatic selection of deep learning architecture
CN112131575B (zh) 一种基于分类错误率和一致性预测的概念漂移检测方法
Kamat et al. Deep learning-based anomaly-onset aware remaining useful life estimation of bearings
TW201717057A (zh) 製程異因分析方法與製程異因分析系統
CN111767162B (zh) 一种面向不同型号硬盘的故障预测方法及电子装置
CN116257663A (zh) 面向无人地面车辆的异常检测与关联分析方法及相关设备
Ren et al. Predicting software defects using self-organizing data mining
CN115438897A (zh) 一种基于blstm神经网络的工业过程产品质量预测方法
CN116433050B (zh) 应用于农业大数据管理系统的异常报警方法及系统
CN116451081A (zh) 数据漂移的检测方法、装置、终端及存储介质
CN111614504A (zh) 基于时间序列和故障树分析的电网调控数据中心业务特性故障定位方法及系统
Hao et al. A new method for noise data detection based on DBSCAN and SVDD
US20230237371A1 (en) Systems and methods for providing predictions with supervised and unsupervised data in industrial systems
CN115730152A (zh) 基于用户画像分析的大数据处理方法及大数据处理系统
CN115905990A (zh) 一种基于密度聚集算法的变压器油温异常监测方法
CN112765219B (zh) 一种跳过平稳区域的流数据异常检测方法
CN113553319A (zh) 基于信息熵加权的lof离群点检测清洗方法、装置、设备及存储介质
CN113535527A (zh) 一种面向实时流数据预测性分析的降载方法及系统
CN113377630A (zh) 一种通用的kpi异常检测框架实现方法
US10546243B1 (en) Predicting particle size distribution and particle morphology
CN116661954B (zh) 虚拟机异常预测方法、装置、通信设备及存储介质
Zhai et al. Adaptive Modelling for Anomaly Detection and Defect Diagnosis in Semiconductor Smart Manufacturing: A Domain-specific AutoML
CN117194963B (zh) 工业fdc质量根因分析方法、设备及存储介质
CN112882822B (zh) 生成负载预测模型的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant