CN113852603B - 网络流量的异常检测方法、装置、电子设备和可读介质 - Google Patents

网络流量的异常检测方法、装置、电子设备和可读介质 Download PDF

Info

Publication number
CN113852603B
CN113852603B CN202110930678.XA CN202110930678A CN113852603B CN 113852603 B CN113852603 B CN 113852603B CN 202110930678 A CN202110930678 A CN 202110930678A CN 113852603 B CN113852603 B CN 113852603B
Authority
CN
China
Prior art keywords
network traffic
time sequence
determining
period type
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110930678.XA
Other languages
English (en)
Other versions
CN113852603A (zh
Inventor
张静
张宪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202110930678.XA priority Critical patent/CN113852603B/zh
Publication of CN113852603A publication Critical patent/CN113852603A/zh
Application granted granted Critical
Publication of CN113852603B publication Critical patent/CN113852603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques

Abstract

本公开提供一种网络流量的异常检测方法、装置、电子设备和可读介质,其中,网络流量的异常检测方法包括:确定网络流量样本的时间序列特征;采用第一预设算法对时间序列特征进行相似度计算,并根据相似度计算的结果确定网络流量样本所属的时序周期类型;采用第二预设算法对时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签;基于指标聚类标签确定检测基线与异常检测模型的编排方案之间的对应关系,异常检测模型被配置为根据检测基线对网络流量进行异常检测。通过本公开实施例,提高了网络流量异常检测的准确性和可靠性。

Description

网络流量的异常检测方法、装置、电子设备和可读介质
技术领域
本公开涉及网络安全技术领域,具体而言,涉及一种网络流量的异常检测方法、装置、电子设备和可读介质。
背景技术
目前,在网络流量的异常检测方案包括镜头阈值、同比环比检验策略和通用化的异常检测模型等主流方案。
在相关技术中,静态阈值和同比环比检验策略依赖于运维人员经验,因此,更多地采用通用化的异常检测模型进行异常检测。
但是,通用化的异常检测模型无法自动学习指标的周期性特点,比如指标的有些异常表现是周期性的异常,在实际问题中,此种周期性的异常是可以过滤掉的,而通用异常检测模型会识别出每一次周期性异常,会产生大量由于趋势起伏导致的异常误报,极大地降低了无阈值监控的准确性。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种网络流量的异常检测方法、装置、电子设备和可读介质,用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的网络流量的异常检测的准确性差的问题。
根据本公开实施例的第一方面,提供一种网络流量的异常检测方法,包括:确定网络流量样本的时间序列特征;采用第一预设算法对所述时间序列特征进行相似度计算,并根据相似度计算的结果确定所述网络流量样本所属的时序周期类型;采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签;基于所述指标聚类标签确定检测基线与异常检测模型的编排方案之间的对应关系,所述异常检测模型被配置为根据所述检测基线对网络流量进行异常检测。
在本公开的一种示例性实施例中,采用第一预设算法对所述时间序列特征进行相似度计算,并根据相似度计算的结果确定所述网络流量样本所属的时序周期类型包括:采用所述第一预设算法计算任两个所述时间序列特征之间的形状相似度系数;确定所述相似度系数的最大值且使所述检测基线的预测模型的均方根误差的最优切分长度的时间序列特征;根据所述最优切分长度的时间序列特征对应的相似度系数确定所述网络流量样本所属的时序周期类型为强周期类型或弱周期类型或无对应周期类型;根据所述最优切分长度的时间序列特征的特征值确定所述网络流量样本所属的时序周期类型为长周期类型或短周期类型或无对应周期类型。
在本公开的一种示例性实施例中,采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签包括:确定所述第二预设算法的目标函数为CH值,所述CH值为通过计算类中各点与类中心的距离平方和来度量类内的紧密度;根据所述CH值确定最优聚类半径;根据所述最优聚类半径确定所述时序周期类型中的时间特征序列对应的指标聚类标签。
在本公开的一种示例性实施例中,还包括:接入待进行异常检测的网络流量,并计算所述网络流量的时间序列特征;根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型;根据所述网络流量的时序周期类型确定对应所述网络流量的指标聚类标签;根据所述网络流量对应的指标聚类标签和所述对应关系确定对所述网络流量进行异常检测的检测基线与异常检测模型的编排方案;根据确定的所述检测基线和所述异常检测模型对所述网络流量进行异常检测。
在本公开的一种示例性实施例中,还包括:若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则确定对所述网络流量进行无阈值异常检测。
在本公开的一种示例性实施例中,若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则确定对所述网络流量进行无阈值异常检测包括:若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则对所述网络流量进行加权投票;根据所述加权投票的结果确定所述网络浏览量的无阈值异常检测结果。
在本公开的一种示例性实施例中,确定网络流量样本的时间序列特征包括:将所述网络流量样本切分为子序列;确定所述子序列的时间序列指标,所述时间序列指标包括波动性指标、周期性指标、量纲指标和形状角度指标中的至少一种;对所述子序列的时间序列指标进行统计汇总,以确定所述时间序列特征。
根据本公开实施例的第二方面,提供一种网络流量的异常检测装置,包括:确定模块,用于确定网络流量样本的时间序列特征;计算模块,用于采用第一预设算法对所述时间序列特征进行相似度计算,并根据相似度计算的结果确定所述网络流量样本所属的时序周期类型;聚类模块,用于采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签;检测模块,用于基于所述指标聚类标签确定检测基线与异常检测模型的编排方案之间的对应关系,所述异常检测模型被配置为根据所述检测基线对网络流量进行异常检测。
根据本公开的第三方面,提供一种电子设备,包括:存储器;以及耦合到所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上述任意一项所述的方法。
根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上述任意一项所述的网络流量的异常检测方法。
本公开实施例,通过确定网络流量样本的时间序列特征,并采用第一预设算法对所述时间序列特征进行相似度计算,并根据相似度计算的结果确定所述网络流量样本所属的时序周期类型,继而采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签,最后基于所述指标聚类标签确定检测基线与异常检测模型的编排方案之间的对应关系,所述异常检测模型被配置为根据所述检测基线对网络流量进行异常检测,确定的检测基线和异常检测模型能够更准确地实现对网络流量的周期性异常的检测,降低了异常的网络流量的误报率,提升了网络流量的异常检测的准确性和可靠性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开的一个示例性实施例中网络流量的异常检测方法的流程图;
图2是本公开的另一个示例性实施例中网络流量的异常检测方法的流程图;
图3是本公开的另一个示例性实施例中网络流量的异常检测方法的流程图;
图4是本公开的另一个示例性实施例中网络流量的异常检测方法的流程图;
图5是本公开的另一个示例性实施例中网络流量的异常检测方法的流程图;
图6是本公开的另一个示例性实施例中网络流量的异常检测方法的流程图;
图7是本公开的另一个示例性实施例中网络流量的异常检测方法的流程图;
图8是本公开的一个示例性实施例中网络流量的异常检测方法的流程图;
图9是本公开示例性实施例中一种网络流量的异常检测装置的方框图;
图10是本公开示例性实施例中一种电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例实施方式进行详细说明。
图1是本公开示例性实施例中网络流量的异常检测方法的流程图。
参考图1,网络流量的异常检测方法可以包括:
步骤S102,确定网络流量样本的时间序列特征。
步骤S104,采用第一预设算法对所述时间序列特征进行相似度计算,并根据相似度计算的结果确定所述网络流量样本所属的时序周期类型。
步骤S106,采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签。
步骤S108,基于所述指标聚类标签确定检测基线与异常检测模型的编排方案之间的对应关系,所述异常检测模型被配置为根据所述检测基线对网络流量进行异常检测。
本公开实施例,通过确定网络流量样本的时间序列特征,并采用第一预设算法对所述时间序列特征进行相似度计算,并根据相似度计算的结果确定所述网络流量样本所属的时序周期类型,继而采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签,最后基于所述指标聚类标签确定检测基线与异常检测模型的编排方案之间的对应关系,所述异常检测模型被配置为根据所述检测基线对网络流量进行异常检测,确定的检测基线和异常检测模型能够更准确地实现对各种周期性的网络流量的异常的检测,降低了异常的网络流量的误报率,提升了网络流量的异常检测的准确性和可靠性。
下面,对网络流量的异常检测方法的各步骤进行详细说明。
如图2所示,采用第一预设算法对所述时间序列特征进行相似度计算,并根据相似度计算的结果确定所述网络流量样本所属的时序周期类型包括:
步骤S202,采用所述第一预设算法计算任两个所述时间序列特征之间的形状相似度系数。
在本公开的一种示例性实施例中,第一预设算法为SBD算法,SBD算法即对于时间序列X(x1,x2,……xn)及时间序列Y(y1,y2,……yn)的相似度进行计算,两个时间序列之间的存在时延为s的关系,计算两条曲线相似度的SBD距离算法如下公式(1)、公式(2)和公式(3)所示:
SBD(X,Y)=1-NCC(X,Y), 公式(3)
其中,NCC为序列X和序列Y的标准化互相关系数,NCC的取值范围在-1到1之间,与皮尔森相关系数类似。所以最终计算的SBD算法结果在0到2之间,越靠近0时,两组数据相关性越强。当SBD为0时,说明序列X和序列Y波动曲线一致,可能为同一序列。
步骤S204,确定所述相似度系数的最大值且使所述检测基线的预测模型的均方根误差的最优切分长度的时间序列特征。
在本公开的一种示例性实施例中,通过最大相似度系数确定的最优切分长度的时间序列特征最能反映网络流量样本的形状特征,并且通过检测基线的预测模型的均方根误差来确定一个最可靠的预测模型,这个最可靠的预测模型即对应于最优切分长度的时间序列特征。
步骤S206,根据所述最优切分长度的时间序列特征对应的相似度系数确定所述网络流量样本所属的时序周期类型为强周期类型或弱周期类型或无对应周期类型。
在本公开的一种示例性实施例中,通过确定最优切分长度的时间序列特征来确定网络流量样本的时序周期类型,不仅能最大程度体现网络流量样本的非异常特征,也能体现网络流量样本的周期性异常特征,另外,也能确定网络流量样本是否属于无对应周期类型或强周期类型或弱周期类型,可以确定周期性异常特征的网络流量为正常的网络流量,也可以确定无对应周期类型的网络流量采用无阈值检测方法来检测异常流量。
步骤S208,根据所述最优切分长度的时间序列特征的特征值确定所述网络流量样本所属的时序周期类型为长周期类型或短周期类型或无对应周期类型。
在本公开的一种示例性实施例中,通过网络流量样本的特征值确定所述网络流量样本所属的时序周期类型为长周期类型或短周期类型或无对应周期类型,可以确定周期性异常特征的网络流量为正常的网络流量,也可以确定无对应周期类型的网络流量采用无阈值检测方法来检测异常流量。
如图3所示,采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签包括:
步骤S302,确定所述第二预设算法的目标函数为CH值,所述CH值为通过计算类中各点与类中心的距离平方和来度量类内的紧密度。
步骤S304,根据所述CH值确定最优聚类半径。
步骤S306,根据所述最优聚类半径确定所述时序周期类型中的时间特征序列对应的指标聚类标签。
在本公开的一种示例性实施例中,第二预设算法包括Kernal_PCA和/或DBSCAN,其中,Kernal_PCA(核主成分分析)可实现数据的非线性降维,用于处理线性不可分的数据集,DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法,DBSCAN将簇定义为密度相连的点的最大集合,能够把具有足够高密度的区域划分为簇,并可在噪声的空间数据库中发现任意形状的聚类。
在本公开的一种示例性实施例中,CH值是通过计算类中各点与类中心的距离平方和来度量类内的紧密度,通过计算各类中心点与数据集中心点距离平方和来度量数据集的分离度,CH值由分离度与紧密度的比值得到。因此,CH值越大代表着类自身越紧密,类与类之间越分散,即更优的聚类结果。
如图4所示,网络流量的异常检测方法还包括:
步骤S402,接入待进行异常检测的网络流量,并计算所述网络流量的时间序列特征。
步骤S404,根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型。
步骤S406,根据所述网络流量的时序周期类型确定对应所述网络流量的指标聚类标签。
步骤S408,根据所述网络流量对应的指标聚类标签和所述对应关系确定对所述网络流量进行异常检测的检测基线与异常检测模型的编排方案。
步骤S410,根据确定的所述检测基线和所述异常检测模型对所述网络流量进行异常检测。
在本公开的一种示例性实施例中,基于训练后的基线预测模型、检测基线和异常检测模型,在获取线上接入新的网络流量的指标时,计算网络流量的时间时序特征,加载已存储的特征文件和分类模型,对新的网络流量的指标做分类标签预测,基于预测标签结果映射对应的异常检测模型的编排方案。另外对于无对应周期类型的网络流量的指标,或者未知分类(训练集中不存在此类指标)的网络流量的指标,进行无阈值异常检测。
如图5所示,网络流量的异常检测方法还包括:
步骤S502,若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则确定对所述网络流量进行无阈值异常检测。
在本公开的一种示例性实施例中,若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则确定对所述网络流量进行无阈值异常检测,也即对于网络流量的非周期性异常进行无阈值异常检测,提高了异常检测的实时性、可靠性和准确性,综合提升了网络安全。
如图6所示,若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则确定对所述网络流量进行无阈值异常检测包括:
步骤S602,若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则对所述网络流量进行加权投票。
步骤S604,根据所述加权投票的结果确定所述网络浏览量的无阈值异常检测结果。
在本公开的一种示例性实施例中,通过加权投票得到无对应周期类型的网络流量的最终检测结果,投票数可以在模型训练过程中自动学习获得,按网络流量的指标类别确定对应的训练集和测试集,且在f1-score值达到最优时得到最优多层异常检测算法加权的投票数。
其中,f1-score作为模型训练的最终测评的方法,是精确率和召回率的调和平均数,最大值为1,最小值为0。
如图7所示,确定网络流量样本的时间序列特征包括:
步骤S702,将所述网络流量样本切分为子序列。
步骤S704,确定所述子序列的时间序列指标,所述时间序列指标包括波动性指标、周期性指标、量纲指标和形状角度指标中的至少一种。
步骤S706,对所述子序列的时间序列指标进行统计汇总,以确定所述时间序列特征。
在本公开的一种示例性实施例中,对于强周期类型和弱周期类型的网络流量样本的指标,从指标的波动性、周期性、量纲、形状角度构造统计类特征、分类特征、拟合类特征来确实时间序列特征,通过时间序列特征来确定周期性异常和非周期性异常,提高了网络流量检测的可靠性和准确性。
如图8所示,根据本公开的实施例所述的网络流量的异常检测方案,在接收到批量时序监控指标时,可以按照以下步骤实现网络流量的异常检测:
步骤S802,数据预处理,即对网络流量的各种指标进行数据预处理。
步骤S804,周期性检测,即确定网络流量属于强周期类型、弱周期类型或无对应周期类型。
步骤S806,强周期类型的网络流量的时序指标形状特征计算。
步骤S808,弱周期类型的网络流量的时序指标形状特征计算。
步骤S810,无对应周期类型的网络流量,通过第七异常检测模型编排方案进行异常检测,即无阈值检测。
步骤S812,通过时序指标形状特征计算结果进行聚类,以确定形状类别,并根据形状类别确定对应的智能基线与异常检测模型编排方案。
如图8所示,基于强周期类型的网络流量的时序指标形状特征计算结果,第一形状类别确定对应的第一智能基线与第一异常检测模型编排方案,第二形状类别确定对应的第二智能基线与第二异常检测模型编排方案,第三形状类别确定对应的第三智能基线与第三异常检测模型编排方案。
如图8所示,基于弱周期类型的网络流量的时序指标形状特征计算结果,第一形状类别确定对应的第四智能基线与第四异常检测模型编排方案,第二形状类别确定对应的第五智能基线与第五异常检测模型编排方案,第三形状类别确定对应的第六智能基线与第六异常检测模型编排方案。
步骤S814,针对检测到的异常的网络流量进行异常告警。
在图8所示的实施例总,检测(智能)基线与异常检测之间的关系逻辑有两种:and和or,基线的入参数据为历史7个周期,学习指标数据的历史表现较充分,异常检测的模型入参为当前检测点往前半小时的点+昨天前后半小时+上周前后半小时,学习数据的实时表现较强,用户在前端可以根据指标敏感度对and和or关系更改。
如果默认检测(智能)基线与异常检测之间的关系逻辑为or关系,若智能基线和异常检测只要一层检测结果为异常,则最终检测结果即为异常,从全局和局部两个角度发现网络流量的指标异常,保证了异常流量的召回率。
如果检测(智能)基线与异常检测之间的关系逻辑为and关系,若智能基线和异常检测的检测结果均为异常,则最终检测结果即为异常,否则认为网络流量无异常,降低了网络流量的异常检测的误检率。
对应于上述方法实施例,本公开还提供一种网络流量的异常检测装置,可以用于执行上述方法实施例。
图9是本公开示例性实施例中一种网络流量的异常检测装置的方框图。
参考图9,网络流量的异常检测装置900可以包括:
确定模块902,用于确定网络流量样本的时间序列特征。
计算模块904,用于采用第一预设算法对所述时间序列特征进行相似度计算,并根据相似度计算的结果确定所述网络流量样本所属的时序周期类型。
聚类模块906,用于采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签。
检测模块908,用于基于所述指标聚类标签确定检测基线与异常检测模型的编排方案之间的对应关系,所述异常检测模型被配置为根据所述检测基线对网络流量进行异常检测。
在本公开的一种示例性实施例中,计算模块904还用于:采用所述第一预设算法计算任两个所述时间序列特征之间的形状相似度系数;确定所述相似度系数的最大值且使所述检测基线的预测模型的均方根误差的最优切分长度的时间序列特征;根据所述最优切分长度的时间序列特征对应的相似度系数确定所述网络流量样本所属的时序周期类型为强周期类型或弱周期类型或无对应周期类型;根据所述最优切分长度的时间序列特征的特征值确定所述网络流量样本所属的时序周期类型为长周期类型或短周期类型或无对应周期类型。
在本公开的一种示例性实施例中,聚类模块906还用于:确定所述第二预设算法的目标函数为CH值,所述CH值为通过计算类中各点与类中心的距离平方和来度量类内的紧密度;根据所述CH值确定最优聚类半径;根据所述最优聚类半径确定所述时序周期类型中的时间特征序列对应的指标聚类标签。
在本公开的一种示例性实施例中,检测模块908还用于:接入待进行异常检测的网络流量,并计算所述网络流量的时间序列特征;根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型;根据所述网络流量的时序周期类型确定对应所述网络流量的指标聚类标签;根据所述网络流量对应的指标聚类标签和所述对应关系确定对所述网络流量进行异常检测的检测基线与异常检测模型的编排方案;根据确定的所述检测基线和所述异常检测模型对所述网络流量进行异常检测。
在本公开的一种示例性实施例中,确定模块902还用于:若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则确定对所述网络流量进行无阈值异常检测。
在本公开的一种示例性实施例中,确定模块902还用于:若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则对所述网络流量进行加权投票;根据所述加权投票的结果确定所述网络浏览量的无阈值异常检测结果。
在本公开的一种示例性实施例中,确定模块902还用于:将所述网络流量样本切分为子序列;确定所述子序列的时间序列指标,所述时间序列指标包括波动性指标、周期性指标、量纲指标和形状角度指标中的至少一种;对所述子序列的时间序列指标进行统计汇总,以确定所述时间序列特征。
由于装置900的各功能已在其对应的方法实施例中予以详细说明,本公开于此不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于:上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1010执行,使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元1010可以执行如本公开实施例所示的方法。
存储单元1020可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202,还可以进一步包括只读存储单元(ROM)10203。
存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204,这样的程序模块10205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1030可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1000也可以与一个或多个外部设备1040(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1000交互的设备通信,和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且,电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1000使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和构思由权利要求指出。

Claims (10)

1.一种网络流量的异常检测方法,其特征在于,包括:
确定网络流量样本的时间序列特征;
采用第一预设算法对所述时间序列特征进行相似度计算包括:
所述第一预设算法为SBD算法,所述SBD算法即对于时间序列X及时间序列Y的相似度进行计算,两个所述时间序列之间存在时延为s的关系,计算两条曲线相似度的SBD距离算法如下所示:
SBD(X,Y)=1-NCC(X,Y),
其中,所述CCs(X,Y)为所述时间序列X和所述时间序列Y的互相关系数,所述NCC(X,Y)为所述时间序列X和所述时间序列Y的标准化互相关系数,所述SBD(X,Y)为所述相似度,所述xi表征所述时间序列X中第i个元素,所述yi表征所述时间序列Y中第i个元素,所述n表征所述时间序列中的元素的个数;
根据所述相似度计算的结果确定所述网络流量样本所属的时序周期类型;
采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签;
基于所述指标聚类标签确定检测基线与异常检测模型的编排方案之间的对应关系,所述检测基线与所述异常检测模型的编排方案之间的对应关系为and或or,所述异常检测模型被配置为根据所述检测基线对网络流量进行异常检测。
2.如权利要求1所述的网络流量的异常检测方法,其特征在于,采用第一预设算法对所述时间序列特征进行相似度计算,并根据相似度计算的结果确定所述网络流量样本所属的时序周期类型包括:
采用所述第一预设算法计算任两个所述时间序列特征之间的形状相似度系数;
确定所述相似度系数的最大值且使所述检测基线的预测模型的均方根误差的最优切分长度的时间序列特征;
根据所述最优切分长度的时间序列特征对应的相似度系数确定所述网络流量样本所属的时序周期类型为强周期类型或弱周期类型或无对应周期类型;
根据所述最优切分长度的时间序列特征的特征值确定所述网络流量样本所属的时序周期类型为长周期类型或短周期类型或无对应周期类型。
3.如权利要求1所述的网络流量的异常检测方法,其特征在于,采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签包括:
确定所述第二预设算法的目标函数为CH值,所述CH值为通过计算类中各点与类中心的距离平方和来度量类内的紧密度;
根据所述CH值确定最优聚类半径;
根据所述最优聚类半径确定所述时序周期类型中的时间特征序列对应的指标聚类标签。
4.如权利要求1-3中任一项所述的网络流量的异常检测方法,其特征在于,还包括:
接入待进行异常检测的网络流量,并计算所述网络流量的时间序列特征;
根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型;
根据所述网络流量的时序周期类型确定对应所述网络流量的指标聚类标签;
根据所述网络流量对应的指标聚类标签和所述对应关系确定对所述网络流量进行异常检测的检测基线与异常检测模型的编排方案;
根据确定的所述检测基线和所述异常检测模型对所述网络流量进行异常检测。
5.如权利要求4所述的网络流量的异常检测方法,其特征在于,还包括:
若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则确定对所述网络流量进行无阈值异常检测。
6.如权利要求5所述的网络流量的异常检测方法,其特征在于,若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则确定对所述网络流量进行无阈值异常检测包括:
若根据所述网络流量的时间序列特征确定所述网络流量所属的时序周期类型为无对应周期类型,则对所述网络流量进行加权投票;
根据所述加权投票的结果确定所述网络流量的无阈值异常检测结果。
7.如权利要求1-3中任一项所述的网络流量的异常检测方法,其特征在于,确定网络流量样本的时间序列特征包括:
将所述网络流量样本切分为子序列;
确定所述子序列的时间序列指标,所述时间序列指标包括波动性指标、周期性指标、量纲指标和形状角度指标中的至少一种;
对所述子序列的时间序列指标进行统计汇总,以确定所述时间序列特征。
8.一种网络流量的异常检测装置,其特征在于,包括:
确定模块,用于确定网络流量样本的时间序列特征;
计算模块,用于采用第一预设算法对所述时间序列特征进行相似度计算包括:
所述第一预设算法为SBD算法,所述SBD算法即对于时间序列X及时间序列Y的相似度进行计算,两个所述时间序列之间存在时延为s的关系,计算两条曲线相似度的SBD距离算法如下所示:
SBD(X,Y)=1-NCC(X,Y),
其中,所述CCs(X,Y)为所述时间序列X和所述时间序列Y的互相关系数,所述NCC(X,Y)为所述时间序列X和所述时间序列Y的标准化互相关系数,所述SBD(X,Y)为所述相似度,所述xi表征所述时间序列X中第i个元素,所述yi表征所述时间序列Y中第i个元素,所述n表征所述时间序列中的元素的个数;
根据所述相似度计算的结果确定所述网络流量样本所属的时序周期类型;
聚类模块,用于采用第二预设算法对所述时序周期类型中的时间特征序列进行聚类处理,以获得指标聚类标签;
检测模块,用于基于所述指标聚类标签确定检测基线与异常检测模型的编排方案之间的对应关系,所述检测基线与所述异常检测模型的编排方案之间的对应关系为and或or,所述异常检测模型被配置为根据所述检测基线对网络流量进行异常检测。
9.一种电子设备,其特征在于,包括:
存储器;以及
耦合到所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1-7中任一项所述的网络流量的异常检测方法。
10.一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如权利要求1-7中任一项所述的网络流量的异常检测方法。
CN202110930678.XA 2021-08-13 2021-08-13 网络流量的异常检测方法、装置、电子设备和可读介质 Active CN113852603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110930678.XA CN113852603B (zh) 2021-08-13 2021-08-13 网络流量的异常检测方法、装置、电子设备和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110930678.XA CN113852603B (zh) 2021-08-13 2021-08-13 网络流量的异常检测方法、装置、电子设备和可读介质

Publications (2)

Publication Number Publication Date
CN113852603A CN113852603A (zh) 2021-12-28
CN113852603B true CN113852603B (zh) 2023-11-07

Family

ID=78975471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110930678.XA Active CN113852603B (zh) 2021-08-13 2021-08-13 网络流量的异常检测方法、装置、电子设备和可读介质

Country Status (1)

Country Link
CN (1) CN113852603B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565226A (zh) * 2022-01-27 2022-05-31 阿里云计算有限公司 一种指标处理方法、服务器及存储介质
CN114726749B (zh) * 2022-03-02 2023-10-31 阿里巴巴(中国)有限公司 数据异常检测模型获取方法、装置、设备及介质
CN114422267B (zh) * 2022-03-03 2024-02-06 北京天融信网络安全技术有限公司 流量检测方法、装置、设备及介质
CN115150159B (zh) * 2022-06-30 2023-11-10 深信服科技股份有限公司 一种流量检测方法、装置、设备及可读存储介质
CN115514620B (zh) * 2022-11-15 2023-03-10 阿里云计算有限公司 一种异常检测的方法和云网络平台

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271091A (zh) * 2011-09-06 2011-12-07 电子科技大学 一种网络异常事件分类方法
CN103441982A (zh) * 2013-06-24 2013-12-11 杭州师范大学 一种基于相对熵的入侵报警分析方法
CN107070943A (zh) * 2017-05-05 2017-08-18 兰州理工大学 基于流量特征图和感知哈希的工业互联网入侵检测方法
EP3355547A1 (en) * 2017-01-27 2018-08-01 Vectra Networks, Inc. Method and system for learning representations of network flow traffic
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN109743187A (zh) * 2018-11-23 2019-05-10 北京奇安信科技有限公司 工控网络异常检测方法及装置
CN109871401A (zh) * 2018-12-26 2019-06-11 北京奇安信科技有限公司 一种时间序列异常检测方法及装置
CN109922082A (zh) * 2019-04-10 2019-06-21 杭州数梦工场科技有限公司 流量异常的检测方法及装置和计算机可读存储介质
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统
CN110266552A (zh) * 2019-08-15 2019-09-20 华为技术有限公司 流量异常检测的方法、模型训练方法和装置
CN111092891A (zh) * 2019-12-20 2020-05-01 杭州安恒信息技术股份有限公司 一种网络中异常点的检测方法、检测系统及相关装置
CN111245793A (zh) * 2019-12-31 2020-06-05 西安交大捷普网络科技有限公司 网络数据的异常分析方法及装置
CN111556057A (zh) * 2020-04-29 2020-08-18 绿盟科技集团股份有限公司 一种流量异常检测方法、装置、电子设备及存储介质
CN112436968A (zh) * 2020-11-23 2021-03-02 恒安嘉新(北京)科技股份公司 一种网络流量的监测方法、装置、设备及存储介质
CN112685273A (zh) * 2020-12-29 2021-04-20 京东数字科技控股股份有限公司 异常检测方法、装置、计算机设备和存储介质
CN112905412A (zh) * 2021-01-29 2021-06-04 清华大学 关键性能指标数据的异常检测方法及装置
CN113132392A (zh) * 2021-04-22 2021-07-16 苏州联电能源发展有限公司 工控网络流量异常检测方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591007B2 (en) * 2014-11-06 2017-03-07 International Business Machines Corporation Detection of beaconing behavior in network traffic
US10261851B2 (en) * 2015-01-23 2019-04-16 Lightbend, Inc. Anomaly detection using circumstance-specific detectors
US11323465B2 (en) * 2018-09-19 2022-05-03 Nec Corporation Temporal behavior analysis of network traffic

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271091A (zh) * 2011-09-06 2011-12-07 电子科技大学 一种网络异常事件分类方法
CN103441982A (zh) * 2013-06-24 2013-12-11 杭州师范大学 一种基于相对熵的入侵报警分析方法
EP3355547A1 (en) * 2017-01-27 2018-08-01 Vectra Networks, Inc. Method and system for learning representations of network flow traffic
CN107070943A (zh) * 2017-05-05 2017-08-18 兰州理工大学 基于流量特征图和感知哈希的工业互联网入侵检测方法
CN108900546A (zh) * 2018-08-13 2018-11-27 杭州安恒信息技术股份有限公司 基于lstm的时间序列网络异常检测的方法与装置
CN109743187A (zh) * 2018-11-23 2019-05-10 北京奇安信科技有限公司 工控网络异常检测方法及装置
CN109871401A (zh) * 2018-12-26 2019-06-11 北京奇安信科技有限公司 一种时间序列异常检测方法及装置
CN109922082A (zh) * 2019-04-10 2019-06-21 杭州数梦工场科技有限公司 流量异常的检测方法及装置和计算机可读存储介质
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统
CN110266552A (zh) * 2019-08-15 2019-09-20 华为技术有限公司 流量异常检测的方法、模型训练方法和装置
CN112398677A (zh) * 2019-08-15 2021-02-23 华为技术有限公司 流量异常检测的方法、模型训练方法和装置
CN111092891A (zh) * 2019-12-20 2020-05-01 杭州安恒信息技术股份有限公司 一种网络中异常点的检测方法、检测系统及相关装置
CN111245793A (zh) * 2019-12-31 2020-06-05 西安交大捷普网络科技有限公司 网络数据的异常分析方法及装置
CN111556057A (zh) * 2020-04-29 2020-08-18 绿盟科技集团股份有限公司 一种流量异常检测方法、装置、电子设备及存储介质
CN112436968A (zh) * 2020-11-23 2021-03-02 恒安嘉新(北京)科技股份公司 一种网络流量的监测方法、装置、设备及存储介质
CN112685273A (zh) * 2020-12-29 2021-04-20 京东数字科技控股股份有限公司 异常检测方法、装置、计算机设备和存储介质
CN112905412A (zh) * 2021-01-29 2021-06-04 清华大学 关键性能指标数据的异常检测方法及装置
CN113132392A (zh) * 2021-04-22 2021-07-16 苏州联电能源发展有限公司 工控网络流量异常检测方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
X. Xu等."LSTM-GAN-XGBOOST Based Anomaly Detection Algorithm for Time Series Data".《2020 11th International Conference on Prognostics and System Health Management (PHM-2020 Jinan)》.2020,全文. *
段淼等."序列模式匹配在大数据流频繁序列异常检测中的应用".《现代电子技术》.2021,全文. *

Also Published As

Publication number Publication date
CN113852603A (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN113852603B (zh) 网络流量的异常检测方法、装置、电子设备和可读介质
US11860971B2 (en) Anomaly detection
CN107633265B (zh) 用于优化信用评估模型的数据处理方法及装置
US9245235B2 (en) Integrated approach to model time series dynamics in complex physical systems
CN112436968B (zh) 一种网络流量的监测方法、装置、设备及存储介质
CN111612039B (zh) 异常用户识别的方法及装置、存储介质、电子设备
US8078913B2 (en) Automated identification of performance crisis
US20180082215A1 (en) Information processing apparatus and information processing method
CN114218403A (zh) 基于知识图谱的故障根因定位方法、装置、设备及介质
CN110008247B (zh) 异常来源确定方法、装置、设备及计算机可读存储介质
CN111709765A (zh) 一种用户画像评分方法、装置和存储介质
CN113837596B (zh) 一种故障确定方法、装置、电子设备及存储介质
CN111612037A (zh) 异常用户检测方法、装置、介质及电子设备
CN111222981A (zh) 可信度确定方法、装置、设备和存储介质
CN111242387A (zh) 一种人才离职预测方法、装置、电子设备及存储介质
CN114356734A (zh) 服务异常检测方法和装置、设备、存储介质
CN113986674A (zh) 时序数据的异常检测方法、装置和电子设备
CN115081673A (zh) 一种油气管道的异常预测方法、装置、电子设备及介质
CN112882898B (zh) 基于大数据日志分析的异常检测方法、系统、设备及介质
CN114117418B (zh) 基于社群检测异常账户的方法、系统、设备及存储介质
CN115659411A (zh) 数据分析的方法和装置
CN114418189A (zh) 水质等级预测方法、系统、终端设备及存储介质
Febriansyah et al. Outlier detection and decision tree for wireless sensor network fault diagnosis
CN110826616A (zh) 信息处理方法及装置、电子设备、存储介质
CN111612038B (zh) 异常用户检测方法及装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant