CN115277464A - 基于多维时间序列分析的云网络变更流量异常检测方法 - Google Patents

基于多维时间序列分析的云网络变更流量异常检测方法 Download PDF

Info

Publication number
CN115277464A
CN115277464A CN202210520263.XA CN202210520263A CN115277464A CN 115277464 A CN115277464 A CN 115277464A CN 202210520263 A CN202210520263 A CN 202210520263A CN 115277464 A CN115277464 A CN 115277464A
Authority
CN
China
Prior art keywords
data
dimension
time sequence
abnormal
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210520263.XA
Other languages
English (en)
Other versions
CN115277464B (zh
Inventor
杨家海
祝顺民
贺鑫
张世泽
吕彪
王之梁
董恩焕
杨帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Alibaba Cloud Computing Ltd
Original Assignee
Tsinghua University
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Alibaba Cloud Computing Ltd filed Critical Tsinghua University
Priority to CN202210520263.XA priority Critical patent/CN115277464B/zh
Publication of CN115277464A publication Critical patent/CN115277464A/zh
Application granted granted Critical
Publication of CN115277464B publication Critical patent/CN115277464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提出了一种基于多维时间序列分析的云网络变更流量异常检测方法，涉及数据分析技术领域，其中，该方法包括：将云网络变更流量处理为多维时间序列，并检测所述多维时间序列的每个时间维度中包含的突刺点；根据序列的每个时间维度中包含的突刺点对多维时间序列进行突刺平滑处理，得到目标时间序列；对目标时间序列的每个维度的数据进行异常检测，得到异常检测结果；对多维时间序列中的所有时间维度进行分类，根据分类结果对异常检测结果进行汇总，得到变更异常判别结果。采用上述方案的本申请能够提高异常检测准确率，进而更好地保证大规模云网络的稳定运行、提高云网络的服务质量。

Description

基于多维时间序列分析的云网络变更流量异常检测方法
技术领域
本申请涉及数据分析技术领域，尤其涉及基于多维时间序列分析的云网络变更流量异常检测方法和装置。
背景技术
在大规模云网络场景下，由于监控实例的数量庞大，对于误报率提出了极高的要求，目前现有技术进行异常检测的方法原理主要有以下几种：基于规则：即根据经验设定监控数据的幅度阈值，若超过阈值则发出告警。基于统计：即事先假设某种数据分布，然后用实际数据拟合参数，根据拟合误差发出报警。基于自编码器：自编码器的目标是学习正常数据分布，并在压缩部分数据的情况下，仍能较好的重建出输入序列。当数据发生异常时，自编码器重建误差也将增大，若误差大于阈值即发生告警。基于神经网络预测：通过使用循环神经网络、长短时记忆网络等模型，学习数据特征，预测下一时刻的幅值，若输入数据发生异常，则预测误差增大，若大于阈值则发出告警。
现有基于规则、基于统计的异常检测方法存在很多参数，这些参数需要经验丰富的工程师进行设定，这会消耗大量的人力来对算法进行维护，若参数设定不当，则会产生大量误报，这不利于工程师进行故障分析。现有基于自编码器、基于神经网络预测的方法的计算开销较大，不利于大规模场景下的实时部署。现有基于规则、统计、预测的方法的研究对象仅局限于单维度数据，缺乏对多维度数据的关联分析，这会降低告警准确率。基于自编码器的方法虽然可以适用于多维度数据，但这类方法对于多维度数据中每个维度的异常贡献程度的解释性较差，不利于故障排查。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于多维时间序列分析的云网络变更流量异常检测方法，实现了对多维度数据进行关联分析，提高告警准确率。
本申请的第二个目的在于提出一种基于多维时间序列分析的云网络变更流量异常检测装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种基于多维时间序列分析的云网络变更流量异常检测方法，包括：将云网络变更流量处理为多维时间序列，并检测多维时间序列的每个时间维度中包含的突刺点，其中，突刺点为幅值明显不同于相邻时刻幅值的点；根据序列的每个时间维度中包含的突刺点对多维时间序列进行突刺平滑处理，得到目标时间序列；对目标时间序列的每个维度的数据进行异常检测，得到异常检测结果；对多维时间序列中的所有时间维度进行分类，根据分类结果对异常检测结果进行汇总，得到变更异常判别结果。
本申请实施例的基于多维时间序列分析的云网络变更流量异常检测方法，通过将网络流量转化为多维度时间序列，分析各维度时间序列中表现出的异常特征并进行多维度关联分析，以识别网络在变更时发生的故障，为后续的故障诊断和修复提供先决条件。本申请可用于判断云网络在变更时是否存在异常现象，可应用在包括但不限于云网络变更异常检测、云网络故障诊断及修复等。
可选地，在本申请的一个实施例中，在检测多维时间序列的每个时间维度中包含的突刺点之前，还包括：
判断多维时间序列的每个维度的数据中是否存在缺失值；
若存在缺失值，则对多维时间序列进行数据填充。
可选地，在本申请的一个实施例中，检测多维时间序列的每个时间维度中包含的突刺点，包括：
将多维时间序列中的变更前的数据输入到COPOD算法计算异常点；
对每个异常点，都将周围至少两个点的均值作为该异常点的替代值，完成变更前数据的校准；
将经过校准的变更前数据输入到SPOT算法中学习异常分布比例；
使用学习后的SPOT算法对多维时间序列中的变更后的数据进行突刺定位，获取序列的每个维度中包含的突刺点。
可选地，在本申请的一个实施例中，对目标时间序列的每个维度的数据进行异常检测，包括：
使用Bayesian Online Change Point Detection算法、Level Shift AD算法和Mask Level Shift AD算法对多维时间序列进行异常检测；
若三种方法同时判定第i个维度的时间序列数据在变更时刻c存在异常，则将第i个维度的变更异常标签设置为存在异常；
其中，Mask Level Shift AD算法，包括：根据Level Shift AD算法，基于两个滑动窗口生成差分平均序列，之后使用COPOD算法识别差分平均序列中的异常点。
可选地，在本申请的一个实施例中，对多维时间序列中的所有时间维度进行分类，之后根据分类结果对异常检测结果进行汇总，得到变更异常判别结果，包括：
对多维时间序列进行维度间的相似性分析，将数据中的n个维度汇聚成C个类别；
对属于同一类别的多维度数据，若存在其中一个维度的变更异常标签为存在异常，则对此类别赋予一个异常标签；
获取现有的类别的权重以及偏置值，其中，类别的权重表示各个类别之间的异常重要程度，偏置值表示偏好告警的程度；
对于异常检测结果，根据类别、类别的权重、偏置值进行计算得到最终的变更异常判别结果，若变更异常判别结果大于阈值，发出告警。
可选地，在本申请的一个实施例中，在生成变更异常判别结果之后，还包括：
获取人工标注过的历史数据；
对历史数据进行基于多维时间序列分析的云网络变更流量异常检测，得到异常判别结果；
之后将变更异常判别结果与人工标注相比较，若出现偏差，则更新权重和偏置值。
为达上述目的，本发明第二方面实施例提出了一种基于多维时间序列分析的云网络变更流量异常检测装置，包括突刺定位模块、突刺平滑模块、异常定位模块、异常决策模块，其中：
突刺定位模块，用于将云网络变更流量处理为多维时间序列，并检测多维时间序列的每个时间维度中包含的突刺点，其中，突刺点为幅值明显不同于相邻时刻幅值的点；
突刺平滑模块，用于根据序列的每个时间维度中包含的突刺点对多维时间序列进行突刺平滑处理，得到目标时间序列；
异常定位模块，用于对目标时间序列的每个维度的数据进行异常检测，得到异常检测结果；
异常决策模块，用于对多维时间序列中的所有时间维度进行分类，根据分类结果对异常检测结果进行汇总，得到变更异常判别结果。
可选地，在本申请的一个实施例中，还包括数据预处理模块，用于：
判断多维时间序列的每个维度的数据中是否存在缺失值；
若存在缺失值，则使用插值算法对多维时间序列进行数据填充。
可选地，在本申请的一个实施例中，还包括反馈调节模块，用于：
获取人工标注过的历史数据；
对历史数据进行基于多维时间序列分析的云网络变更流量异常检测，得到异常判别结果；
之后将变更异常判别结果与人工标注相比较，若出现偏差，则更新权重和偏置值。
为了实现上述目的，本发明第三方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行上述基于多维时间序列分析的云网络变更流量异常检测方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种基于多维时间序列分析的云网络变更流量异常检测方法的流程示意图；
图2为本申请实施例的变更异常检测系统流程图；
图3为本申请实施例的变更异常检测系统模块功能图；
图4为本申请实施例的单维度流量时间序列突刺点示例图；
图5为本申请实施例提供的一种基于多维时间序列分析的云网络变更流量异常检测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于多维时间序列分析的云网络变更流量异常检测方法和装置。
图1为本申请实施例一所提供的一种基于多维时间序列分析的云网络变更流量异常检测方法的流程示意图。
如图1所示，该基于多维时间序列分析的云网络变更流量异常检测方法包括以下步骤：
步骤101，将云网络变更流量处理为多维时间序列，并检测多维时间序列的每个时间维度中包含的突刺点，其中，突刺点为幅值明显不同于相邻时刻幅值的点；
步骤102，根据序列的每个时间维度中包含的突刺点对多维时间序列进行突刺平滑处理，得到目标时间序列；
步骤103，对目标时间序列的每个维度的数据进行异常检测，得到异常检测结果；
步骤104，对多维时间序列中的所有时间维度进行分类，根据分类结果对异常检测结果进行汇总，得到变更异常判别结果。
本申请实施例的基于多维时间序列分析的云网络变更流量异常检测方法，通过将网络流量转化为多维度时间序列，分析各维度时间序列中表现出的异常特征并进行多维度关联分析，以识别网络在变更时发生的故障，为后续的故障诊断和修复提供先决条件。本申请可用于判断云网络在变更时是否存在异常现象，可应用在包括但不限于云网络变更异常检测、云网络故障诊断及修复等。
可选地，在本申请的一个实施例中，在检测多维时间序列的每个时间维度中包含的突刺点之前，还包括：
判断多维时间序列的每个维度的数据中是否存在缺失值；
若存在缺失值，则对多维时间序列进行数据填充。
可选地，在本申请的一个实施例中，检测多维时间序列的每个时间维度中包含的突刺点，包括：
将多维时间序列中的变更前的数据输入到COPOD算法计算异常点；
对每个异常点，都将周围至少两个点的均值作为该异常点的替代值，完成变更前数据的校准；
将经过校准的变更前数据输入到SPOT算法中学习异常分布比例；
使用学习后的SPOT算法对多维时间序列中的变更后的数据进行突刺定位，获取序列的每个维度中包含的突刺点。
可选地，在本申请的一个实施例中，对目标时间序列的每个维度的数据进行异常检测，包括：
使用Bayesian Online Change Point Detection算法、Level Shift AD算法和Mask Level Shift AD算法对多维时间序列进行异常检测；
若三种方法同时判定第i个维度的时间序列数据在变更时刻c存在异常，则将第i个维度的变更异常标签设置为存在异常；
其中，Mask Level Shift AD算法，包括：根据Level Shift AD算法，基于两个滑动窗口生成差分平均序列，之后使用COPOD算法识别差分平均序列中的异常点。
可选地，在本申请的一个实施例中，对多维时间序列中的所有时间维度进行分类，之后根据分类结果对异常检测结果进行汇总，得到变更异常判别结果，包括：
对多维时间序列进行维度间的相似性分析，将数据中的n个维度汇聚成C个类别；
对属于同一类别的多维度数据，若存在其中一个维度的变更异常标签为存在异常，则对此类别赋予一个异常标签；
获取现有的类别的权重以及偏置值，其中，类别的权重表示各个类别之间的异常重要程度，偏置值表示偏好告警的程度；
对于异常检测结果，根据类别、类别的权重、偏置值进行计算得到最终的变更异常判别结果，若变更异常判别结果大于阈值，发出告警。
可选地，在本申请的一个实施例中，在生成变更异常判别结果之后，还包括：
获取人工标注过的历史数据；
对历史数据进行基于多维时间序列分析的云网络变更流量异常检测，得到异常判别结果；
之后将变更异常判别结果与人工标注相比较，若出现偏差，则更新权重和偏置值。
下面以一种变更异常检测系统为例详细介绍本申请提出的基于多维时间序列分析的云网络变更流量异常检测方法。
本实施例提供的变更异常检测系统，会将网络流量处理成多维度的时间序列数据Xit,i＝1,2,3,...,n,t＝1,2,3,...,T，n为维度数，T为总时间点数。本文设置n＝4，每个维度都从不同层面反映了设备的状态信息，详细描述请见表一。在变更场景中，定义系统在c时刻对网络设备进行变更，那么可将时间序列分割为两部分，即变更前的数据Xi1,Xi2,...,XiC(记为Xi[1,c])和变更后的数据XiC，XiC+1,...,XiT(记为Xi[c,T])，本系统的设计目标是，通过分析变更前后时间序列数据的差异，来判断是否发生了变更异常。如表一所示，为网络流量中的多维度时间序列数据描述。
维度英文名 中文含义
bps 每分钟传输的比特数
pps 每分钟传输的数据包数量
loss_rate 按分钟统计的数据包发送失败的比例
rtt 按分钟统计的往返时延
表一
图2为本系统的流程图，如图2所示，本系统具体由六个模块组成，分别为(1)、数据预处理模块(2)、突刺定位模块(3)突刺平滑模块(4)、异常定位模块(5)、异常决策模块(6)、反馈调节模块。
图3为本实施例的变更异常检测系统的每个模块的功能，如图3所示，本实施例的变更异常检测运行流程具体为：
系统首先将多维时间序列Xit输入给系统的第一模块，即数据预处理模块，此模块的功能是检查每个维度的数据中是否存在缺失值，若存在缺失值，则可采用多种插值算法中的任意一种(前值插值、均值插值、样条插值、众数插值、中位数插值)进行数据填充。
然后，将第一模块处理过的数据输入给第二模块，即突刺定位模块，此模块的功能是分别检测每个维度中蕴含的突刺点，其中，突刺点为幅值明显不同于相邻时刻幅值的点，如图4所示，以圆圈标记的点均为突刺点。对于每个维度的数据，可使用多种算法中的任意一种(COPOD、SPOT、CDSPOT)进行突刺检测。其中CDSPOT算法是本发明提出的创新方法，将COPOD和SPOT算法相结合使用，改进了单独使用SPOT算法的缺点，即SPOT算法需要事先准备一段正常的序列来拟合异常分布比例，才可以进行异常检测。虽然一般来说变更前数据可以认为是正常的，但是变更前数据中可能会出现伪异常噪声，以至于SPOT算法在使用未经校准的变更前数据时会导致异常检测效果较差，本发明提出的CDSPOT算法可以解决此问题，即使用COPOD算法完成变更前数据的校准，具体通过将变更前的数据Xi1,Xi2,...,XiC输入到COPOD算法计算异常点，然后对每个异常点，都将周围4个点的均值作为该异常点的替代值，这样便完成了变更前数据的校准。再将经过校准的变更前数据Xi1,Xi2,...,XiC输入到SPOT算法学习到更精确的异常分布比例，这样可以更好地检测变更后序列XiC，XiC+1,...,XiT中的异常点。因为COPOD算法不需要训练即可使用，因此可以用于提供SPOT算法的校准数据。这样CDSPOT算法结合两个算法的优点，既克服了单独使用SPOT算法需要校准数据来学习参数的缺点。而且相比于单独使用COPOD算法，结合SPOT算法能够更好地适应数据的概念漂移,即能够适应数据分布随时间的变化。
然后，将第二模块处理过的数据输入给第三模块，即突刺平滑模块，此模块的功能是最大程度地过滤向上突刺，同时保持向下变化形状不变，以免漏筛异常，此模块可使用最小值滤波算法完成突刺平滑，也可使用均值滤波、中位数滤波、众数滤波等算法进行突刺平滑，具体采取哪种算法取决于应用场景。
然后，将第三模块处理过的多维数据输入给第四模块，即异常定位模块，此模块的功能是分别识别出每个维度中持续时间较长的异常，对于每个维度的数据，可同时采用以下三种方法进行异常定位，分别是Bayesian Online Change Point Detection算法、LevelShift AD算法和Mask Level Shift AD算法,其中Mask Level Shift AD算法是本发明提出的创新方法，是Level Shift AD算法和COPOD算法二者的结合使用，即首先借鉴LevelShift AD算法的思想，基于两个滑动窗口生成差分平均序列，然后使用COPOD算法来识别差分平均序列中的异常点,这样既能克服Level Shift AD算法使用固定阈值来判定异常带来高误报率的缺点，也能改进COPOD算法，通过将差分平均序列作为输入，而不是将原始序列作为输入，使其具备识别长持续时间异常的能力。
若以上提到的三种异常定位算法都同时判定第i个维度的时间序列数据在变更时刻c存在异常，则会赋予这个维度以变更异常标签
Figure BDA0003643049480000081
然后第三模块会把异常检测结果输入到第四模块，即异常决策模块。
第四模块的作用是对同一监控对象的多维度的异常判决结果进行汇总。在汇总结果之前，此模块首先对多维数据(bps、pps、loss_rate、rtt)进行维度间的相似性分析，具体采用了Dynamic Time Warping算法计算每个维度数据相对于其他维度数据的相似度分数，若两维度间的相似度分数小于某个阈值，则认为是同一个类别。如此可将数据中的n个维度汇聚成C个类别。经过对真实数据的分析，可实际将多维数据分为3类，即将bps和pps数据合并为一类，而将loss_rate和rtt分别归为两类。在汇总多维度的变更异常判别结果时，对于属于同一类别的多维度数据，只要存在其中一个维度识别出了异常，即对此类别j赋予一个异常标签yj＝1。为了平衡各个类别之间的异常重要程度，系统会设置一组权重Wj(j＝1,…,C)进行权衡。综合类别判别结果Y可由每个类别的判别结果yj乘以对应权重Wj的和加以一个偏置值b得出，其中，偏置值b表示偏好告警的程度、用于调节告警频率，根据下述公式一可知，偏置值b越大、意味着变更异常判别结果越容易超过阈值，也就越容易发出告警。若综合结果大于0，则发出告警；反之，若小于等于0则不告警，Y的具体计算方式如公式1所示。(其中sign为符号函数，如公式二所示)
公式一：
Figure BDA0003643049480000082
公式二：
Figure BDA0003643049480000083
其中第五模块的权重和偏置值是根据历史告警数据学习到的，这种能够学习权重和偏置值的模块即为第六模块，称为反馈调节模块。
第六模块的工作流程为，首先获取人工标注过的历史数据Xi，然后调用此系统的第一模块到第五模块，对历史数据重新进行分析，得到每个类别的判别结果yj，然后根据现有权重w和偏置b计算综合判别结果Y。再将综合判别结果Y与人工标注L相比较，若出现偏差，则更新权重和偏置。
为了实现上述实施例，本申请还提出一种基于多维时间序列分析的云网络变更流量异常检测装置。
图5为本申请实施例提供的一种基于多维时间序列分析的云网络变更流量异常检测装置的结构示意图。
如图5所示，该基于多维时间序列分析的云网络变更流量异常检测装置包括突刺定位模块、突刺平滑模块、异常定位模块、异常决策模块，其中：
突刺定位模块，用于将云网络变更流量处理为多维时间序列，并检测多维时间序列的每个时间维度中包含的突刺点，其中，突刺点为幅值明显不同于相邻时刻幅值的点；
突刺平滑模块，用于根据序列的每个时间维度中包含的突刺点对多维时间序列进行突刺平滑处理，得到目标时间序列；
异常定位模块，用于对目标时间序列的每个维度的数据进行异常检测，得到异常检测结果；
异常决策模块，用于对多维时间序列中的所有时间维度进行分类，根据分类结果对异常检测结果进行汇总，得到变更异常判别结果。
可选地，在本申请的一个实施例中，还包括数据预处理模块，用于：
判断多维时间序列的每个维度的数据中是否存在缺失值；
若存在缺失值，则使用插值算法对多维时间序列进行数据填充。
可选地，在本申请的一个实施例中，还包括反馈调节模块，用于：
获取人工标注过的历史数据；
对历史数据进行基于多维时间序列分析的云网络变更流量异常检测，得到异常判别结果；
之后将变更异常判别结果与人工标注相比较，若出现偏差，则更新权重和偏置值。
需要说明的是，前述对基于多维时间序列分析的云网络变更流量异常检测方法实施例的解释说明也适用于该实施例的基于多维时间序列分析的云网络变更流量异常检测装置，此处不再赘述。
为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多维时间序列分析的云网络变更流量异常检测方法，其特征在于，包括以下步骤：
将云网络变更流量处理为多维时间序列，并检测所述多维时间序列的每个时间维度中包含的突刺点，其中，所述突刺点为幅值明显不同于相邻时刻幅值的点；
根据序列的每个时间维度中包含的突刺点对所述多维时间序列进行突刺平滑处理，得到目标时间序列；
对所述目标时间序列的每个维度的数据进行异常检测，得到异常检测结果；
对所述多维时间序列中的所有时间维度进行分类，根据分类结果对所述异常检测结果进行汇总，得到变更异常判别结果。
2.如权利要求1所述的方法，其特征在于，在检测所述多维时间序列的每个时间维度中包含的突刺点之前，还包括：
判断所述多维时间序列的每个维度的数据中是否存在缺失值；
若存在缺失值，则对所述多维时间序列进行数据填充。
3.如权利要求1所述的方法，其特征在于，所述检测所述多维时间序列的每个时间维度中包含的突刺点，包括：
将所述多维时间序列中的变更前的数据输入到COPOD算法计算异常点；
对每个异常点，都将周围至少两个点的均值作为该异常点的替代值，完成变更前数据的校准；
将经过校准的变更前数据输入到SPOT算法中学习异常分布比例；
使用学习后的SPOT算法对所述多维时间序列中的变更后的数据进行突刺定位，获取序列的每个维度中包含的突刺点。
4.如权利要求1所述的方法，其特征在于，所述对所述目标时间序列的每个维度的数据进行异常检测，包括：
使用Bayesian Online Change Point Detection算法、Level Shift AD算法和MaskLevel Shift AD算法对所述多维时间序列进行异常检测；
若三种方法同时判定第i个维度的时间序列数据在变更时刻c存在异常，则将所述第i个维度的变更异常标签设置为存在异常；
其中，所述Mask Level Shift AD算法，包括：根据Level Shift AD算法，基于两个滑动窗口生成差分平均序列，之后使用COPOD算法识别差分平均序列中的异常点。
5.如权利要求4所述的方法，其特征在于，所述对所述多维时间序列中的所有时间维度进行分类，之后根据分类结果对所述异常检测结果进行汇总，得到变更异常判别结果，包括：
对所述多维时间序列进行维度间的相似性分析，将数据中的n个维度汇聚成C个类别；
对属于同一类别的多维度数据，若存在其中一个维度的变更异常标签为存在异常，则对此类别赋予一个异常标签；
获取现有的类别的权重以及偏置值，其中，所述类别的权重表示各个类别之间的异常重要程度，所述偏置值表示偏好告警的程度；
对于所述异常检测结果，根据类别、类别的权重、偏置值进行计算得到最终的变更异常判别结果，若变更异常判别结果大于阈值，发出告警。
6.如权利要求5所述的方法，其特征在于，在生成所述变更异常判别结果之后，还包括：
获取人工标注过的历史数据；
对所述历史数据进行所述基于多维时间序列分析的云网络变更流量异常检测，得到异常判别结果；
之后将变更异常判别结果与人工标注相比较，若出现偏差，则更新权重和偏置值。
7.一种基于多维时间序列分析的云网络变更流量异常检测装置，其特征在于，包括突刺定位模块、突刺平滑模块、异常定位模块、异常决策模块，其中：
所述突刺定位模块，用于将云网络变更流量处理为多维时间序列，并检测所述多维时间序列的每个时间维度中包含的突刺点，其中，所述突刺点为幅值明显不同于相邻时刻幅值的点；
所述突刺平滑模块，用于根据序列的每个时间维度中包含的突刺点对所述多维时间序列进行突刺平滑处理，得到目标时间序列；
所述异常定位模块，用于对所述目标时间序列的每个维度的数据进行异常检测，得到异常检测结果；
所述异常决策模块，用于对所述多维时间序列中的所有时间维度进行分类，根据分类结果对所述异常检测结果进行汇总，得到变更异常判别结果。
8.如权利要求7所述的装置，其特征在于，还包括数据预处理模块，用于：
判断所述多维时间序列的每个维度的数据中是否存在缺失值；
若存在缺失值，则使用插值算法对所述多维时间序列进行数据填充。
9.如权利要求7所述的装置，其特征在于，还包括反馈调节模块，用于：
获取人工标注过的历史数据；
对所述历史数据进行所述基于多维时间序列分析的云网络变更流量异常检测，得到异常判别结果；
之后将变更异常判别结果与人工标注相比较，若出现偏差，则更新权重和偏置值。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202210520263.XA 2022-05-13 2022-05-13 基于多维时间序列分析的云网络变更流量异常检测方法、装置及存储介质 Active CN115277464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210520263.XA CN115277464B (zh) 2022-05-13 2022-05-13 基于多维时间序列分析的云网络变更流量异常检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210520263.XA CN115277464B (zh) 2022-05-13 2022-05-13 基于多维时间序列分析的云网络变更流量异常检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115277464A true CN115277464A (zh) 2022-11-01
CN115277464B CN115277464B (zh) 2023-06-02

Family

ID=83759773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210520263.XA Active CN115277464B (zh) 2022-05-13 2022-05-13 基于多维时间序列分析的云网络变更流量异常检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115277464B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115514620A (zh) * 2022-11-15 2022-12-23 阿里云计算有限公司 一种异常检测的方法和云网络平台
CN115514614A (zh) * 2022-11-15 2022-12-23 阿里云计算有限公司 基于强化学习的云网络异常检测模型训练方法及存储介质
CN115599657A (zh) * 2022-12-15 2023-01-13 浪潮通信信息系统有限公司（Cn） 软件设施异常判断方法
CN116662828A (zh) * 2023-06-14 2023-08-29 浙江大学 云网络多阶段异常检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106506556A (zh) * 2016-12-29 2017-03-15 北京神州绿盟信息安全科技股份有限公司 一种网络流量异常检测方法及装置
US20180324199A1 (en) * 2017-05-05 2018-11-08 Servicenow, Inc. Systems and methods for anomaly detection
US20200097775A1 (en) * 2018-09-20 2020-03-26 Cable Television Laboratories, Inc. Systems and methods for detecting and classifying anomalous features in one-dimensional data
CN111178456A (zh) * 2020-01-15 2020-05-19 腾讯科技（深圳）有限公司 异常指标检测方法、装置、计算机设备和存储介质
CN113596579A (zh) * 2021-07-29 2021-11-02 北京字节跳动网络技术有限公司 视频生成方法、装置、介质及电子设备
CN113746798A (zh) * 2021-07-14 2021-12-03 清华大学 基于多维度分析的云网络共享资源异常根因定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106506556A (zh) * 2016-12-29 2017-03-15 北京神州绿盟信息安全科技股份有限公司 一种网络流量异常检测方法及装置
US20180324199A1 (en) * 2017-05-05 2018-11-08 Servicenow, Inc. Systems and methods for anomaly detection
US20200097775A1 (en) * 2018-09-20 2020-03-26 Cable Television Laboratories, Inc. Systems and methods for detecting and classifying anomalous features in one-dimensional data
CN111178456A (zh) * 2020-01-15 2020-05-19 腾讯科技（深圳）有限公司 异常指标检测方法、装置、计算机设备和存储介质
CN113746798A (zh) * 2021-07-14 2021-12-03 清华大学 基于多维度分析的云网络共享资源异常根因定位方法
CN113596579A (zh) * 2021-07-29 2021-11-02 北京字节跳动网络技术有限公司 视频生成方法、装置、介质及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115514620A (zh) * 2022-11-15 2022-12-23 阿里云计算有限公司 一种异常检测的方法和云网络平台
CN115514614A (zh) * 2022-11-15 2022-12-23 阿里云计算有限公司 基于强化学习的云网络异常检测模型训练方法及存储介质
CN115514614B (zh) * 2022-11-15 2023-02-24 阿里云计算有限公司 基于强化学习的云网络异常检测模型训练方法及存储介质
CN115599657A (zh) * 2022-12-15 2023-01-13 浪潮通信信息系统有限公司（Cn） 软件设施异常判断方法
CN115599657B (zh) * 2022-12-15 2023-03-17 浪潮通信信息系统有限公司 软件设施异常判断方法
CN116662828A (zh) * 2023-06-14 2023-08-29 浙江大学 云网络多阶段异常检测方法及系统
CN116662828B (zh) * 2023-06-14 2023-12-29 浙江大学 云网络多阶段异常检测方法及系统

Also Published As

Publication number Publication date
CN115277464B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN115277464A (zh) 基于多维时间序列分析的云网络变更流量异常检测方法
CN110046453B (zh) 一种激光雷达的寿命预测方法
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
CN104035431B (zh) 用于非线性过程监控的核函数参数的获取方法和系统
CN112416643A (zh) 无监督异常检测方法与装置
CN112416662A (zh) 多时间序列数据异常检测方法与装置
US20210374634A1 (en) Work efficiency evaluation method, work efficiency evaluation apparatus, and program
CN113902710A (zh) 基于异常检测算法进行工业零件表面缺陷检测方法及系统
CN109255201B (zh) 一种基于som-mqe的滚珠丝杠副健康评估方法
CN113554645B (zh) 基于wgan的工业异常检测方法和装置
CN112380206B (zh) 一种交通时序数据的诊断和修复方法
US11663815B2 (en) System and method for inspection of heat recovery steam generator
CN111079348B (zh) 一种缓变信号检测方法和装置
CN110956112B (zh) 一种新的高可靠性回转支承寿命评估方法
CN110057588B (zh) 基于奇异值与图论特征融合的轴承早期故障检测与诊断方法及系统
KR20220135246A (ko) 에러 요인의 추정 장치 및 추정 방법
US20220269904A1 (en) Network status classification
CN113569491B (zh) 一种轮对尺寸检测数据的分析和校正方法及装置
WO2020204043A1 (ja) 高炉の異常判定装置、高炉の異常判定方法、及び高炉の操業方法
CN106547690A (zh) 基于新拟合判定标准下的软件可靠性建模方法及装置
CN111695634A (zh) 一种基于有限陪审团机制的数据异常突变点检测算法
JP2003076976A (ja) パターンマッチング方法
CN111160454B (zh) 一种速变信号检测方法和装置
CN117740082B (zh) 一种电力设备故障风险预警方法及系统
US20220122445A1 (en) Alert similarity and label transfer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant