CN113746798B - 基于多维度分析的云网络共享资源异常根因定位方法 - Google Patents

基于多维度分析的云网络共享资源异常根因定位方法 Download PDF

Info

Publication number
CN113746798B
CN113746798B CN202110796338.2A CN202110796338A CN113746798B CN 113746798 B CN113746798 B CN 113746798B CN 202110796338 A CN202110796338 A CN 202110796338A CN 113746798 B CN113746798 B CN 113746798B
Authority
CN
China
Prior art keywords
abnormal
shared resource
flow data
data
root cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110796338.2A
Other languages
English (en)
Other versions
CN113746798A (zh
Inventor
杨家海
张世泽
赵鋆峰
王之梁
何林
吴建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110796338.2A priority Critical patent/CN113746798B/zh
Publication of CN113746798A publication Critical patent/CN113746798A/zh
Application granted granted Critical
Publication of CN113746798B publication Critical patent/CN113746798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0272—Virtual private networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提出了一种基于多维度分析的云网络共享资源异常根因定位方法，涉及云网络流量异常根因定位技术领域，其中，该方法包括：根据异常信息从数据存储集群中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；对三个维度计算结果进行整合，得到根因列表。采用上述方案的本申请提出基于多维度分析的通用云网络共享资源异常根因定位框架，通过对预测偏差、异常幅度、形状相似度三个维度的分析，提出了一种综合的排序算法，来实现快速、准确、通用的异常定位。

Description

基于多维度分析的云网络共享资源异常根因定位方法
技术领域
本申请涉及云网络流量异常根因定位技术领域，尤其涉及一种基于多维度分析的云网络共享资源异常根因定位方法和装置。
背景技术
随着云技术的不断发展，目前大量的企业与个人用户选择将业务放在云网络中。随着云网络规模的不断扩大，云网络的运维与管理逐渐成为新的技术挑战。共享资源型的服务在云网络中普遍存在，例如用户购买的NAT服务、共享带宽、共享流量包、专线业务等。这种共享资源型的服务在给用户带来低成本和高效的管理服务的同时，也给网络运维带来新的挑战，尤其当共享资源存在异常时，如何快速准确的定位产生异常的虚拟机主机是一个难以解决的问题。
现有的技术实现方案：
目前的解决方案主要有三种：基于流量Top N的统计、基于Session数据的聚合分析以及基于机器学习的分析方法。
基于流量Top N的统计方法：
流量Top N的统计方法是目前常用的方法，是指在出口流量产生异常时，通过统计流量排名靠前的N个虚拟机来作为可能的异常根因。这种方法仅适用于流量平稳，且异常类型属于明显的尖峰型异常的情况。但实际的网络流量时间序列往往具有较高的复杂性与不确定性，并且异常类型还包括骤降、高频抖动等其他类型，因此这种方法适用范围有限。
基于Session数据聚合的分析方法：
网络流量出口NAT网关上有相比单一流量统计信息更加细粒度的会话(Session)统计信息，通过对每个虚拟机的流信息统计，可以更加精准的汇聚虚拟机的流量变化情况，进而分析出可能的异常根因虚拟机。然而，Session数据规模巨大，如果基于Session数据进行根因分析，相比于基于虚拟机的出口流量统计分析的方法，需要多花费更大的存储空间，且随着云网络规模的不断扩张，难以进行有效的扩展。
基于机器学习的分析方法：
目前针对类似的根因分析问题，业界多采用基于预测算法与聚类分析的方法，即先对每个可能的根因节点曲线进行预测，得到偏差曲线，进而在对偏差曲线进行聚类分析。这种方法只适用于小规模的根因分析问题，多用于微服务、小型分布式软件系统、物联网系统等。在云网络这种大规模的网络环境中，很难实现对所用用户的虚拟机采取精准预测的方法来构建每台主机的精准偏差。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于多维度分析的云网络共享资源异常根因定位方法，解决了现有方法难以满足大规模、异常类型多样性、实时性、以及动态性的问题，还解决了现有方法需要多花费更大的存储空间，且难以进行有效扩展的问题，通过对预测偏差、异常幅度、形状相似度三个维度的分析，提出了一种综合的排序算法，来实现快速、准确、通用的异常定位。
本申请的第二个目的在于提出一种基于多维度分析的云网络共享资源异常根因定位装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种基于多维度分析的云网络共享资源异常根因定位方法，包括：根据异常信息从数据存储集群中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；对三个维度计算结果进行整合，得到根因列表。
可选地，在本申请的一个实施例中，预测偏差维度采用移动平均方法计算，异常幅度使用极值理论方法，形状相似度采用集合相似度计算方法。
可选地，在本申请的一个实施例中，移动平均方法包括以下步骤：
维护一个滑动窗口；
截取异常开始时间前的数据点作为训练数据，数据点的个数与滑动窗口长度一致；
求取训练数据的平均值作为预测偏差维度。
可选地，在本申请的一个实施例中，异常幅度为每台虚拟主机在异常时刻的流量与自身正常时刻相比的异常大小，使用极值理论方法计算每台虚拟主机的上界阈值和下界阈值，进而定义每台虚拟机的相对异常幅度为：
Figure BDA0003162903630000021
其中，θh为上界阈值，θl为下界阈值，αh(tc)和αl(tc)分别表示tc时刻流量曲线x(t)的峰值异常幅度和波谷异常幅度，
由于异常时间从ts持续到te，定义(ts，te)时间范围内的异常幅度分别为时间范围的最大值。
可选地，在本申请的一个实施例中，集合相似度计算方法包括以下步骤：
使用z-normalization对共享资源和虚拟主机的流量数据进行标准化；
将平面坐标割成预定个数的网格；
对网格进行顺序编号；
将共享资源和虚拟主机的流量数据中的每条序列经过的网格序号所组成的集合作为序列的离散表征；
利用jaccard metric来计算离散表征的相似度。
可选地，在本申请的一个实施例中，对三个维度计算结果进行整合，表示为：
In(x(t))＝d(x(t))*(ωα*α(x(t))+ωs*S(x(t)))
其中，In(x(t))表示最终的结果，d、α、S分别表示预测偏差、异常幅度以及形状相似度的结果，ωα和ωs表示异常幅度与形状相似度的权重，默认ωα＝ωs＝0.5。
为达上述目的，本申请第二方面实施例提出了一种基于多维度分析的云网络共享资源异常根因定位装置，包括：数据采集模块、维度计算模块、整合模块，其中，
数据采集模块，用于根据异常信息从数据存储集中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；
维度计算模块，用于分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；
整合模块，用于对三个维度计算结果进行整合，得到根因列表。
可选地，在本申请的一个实施例中，维度计算模块，具体用于使用移动平均方法计算预测偏差维度，使用极值理论方法计算异常幅度，采用集合相似度计算方法计算形状相似度。
为了实现上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行一种基于多维度分析的云网络共享资源异常根因定位方法和装置。
本申请实施例的基于多维度分析的云网络共享资源异常根因定位方法、基于多维度分析的云网络共享资源异常根因定位装置和非临时性计算机可读存储介质，解决了现有方法难以满足大规模、异常类型多样性、实时性、以及动态性的问题，还解决了现有方法需要多花费更大的存储空间，且难以进行有效扩展的问题，通过对预测偏差、异常幅度、形状相似度三个维度的分析，提出了一种综合的排序算法，来实现快速、准确、通用的异常定位。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种基于多维度分析的云网络共享资源异常根因定位方法的流程图；
图2为本申请实施例的基于多维度分析的云网络共享资源异常根因定位方法的系统架构图；
图3为本申请实施例二所提供的一种基于多维度分析的云网络共享资源异常根因定位装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于多维度分析的云网络共享资源异常根因定位方法和装置。
图1为本申请实施例一所提供的一种基于多维度分析的云网络共享资源异常根因定位方法的流程图。
如图1所示，该基于多维度分析的云网络共享资源异常根因定位方法包括以下步骤：
步骤101，根据异常信息从数据存储集群中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；
步骤102，分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；
步骤103，对三个维度计算结果进行整合，得到根因列表。
本申请实施例的基于多维度分析的云网络共享资源异常根因定位方法，通过根据异常信息从数据存储集群中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；对三个维度计算结果进行整合，得到根因列表。由此，能够解决现有方法难以满足大规模、异常类型多样性、实时性、以及动态性的问题，还可以解决现有方法需要多花费更大的存储空间，且难以进行有效扩展的问题，通过对预测偏差、异常幅度、形状相似度三个维度的分析，提出了一种综合的排序算法，来实现快速、准确、通用的异常定位。
云网络中共享资源异常根因定位问题，可以用数学描述形式定义为如下形式:
云网络共享资源流量时间序列：y(t)，共享资源内的虚拟机流量：x(t)，网关内全部的虚拟机流量集合X＝{x1(t),x2(t),...,xn(t)}，其中n为虚拟机的数量。由于共享资源流量由所有虚拟机流量组成，因此y(t)＝x1(t)+x2(t)+…+xn(t)。当给定异常产生时间(ts,te),共享资源流量y(t)产生异常变化Δy(t)，需要在虚拟机流量集合X中找出可能是根因元素子集Xs＝{x′1,x′2,...x′m}，其中m表示根因节点的数量。
进一步地，在本申请实施例中，预测偏差维度采用移动平均方法计算，异常幅度使用极值理论方法，形状相似度采用集合相似度计算方法。
进一步地，在本申请实施例中，移动平均方法包括以下步骤：
维护一个滑动窗口；
截取异常开始时间前的数据点作为训练数据，数据点的个数与滑动窗口长度一致；
求取训练数据的平均值作为预测偏差维度。
例如对于流量曲线y(t)，预测值为F(y(ts))＝mean(M)，移动窗口M分别求取(ts,te)中每个时刻的预测值，从而获得累积的偏差。
进一步地，在本申请实施例中，异常幅度为每台虚拟主机在异常时刻的流量与自身正常时刻相比的异常大小，使用极值理论方法计算每台虚拟主机的上界阈值和下界阈值，进而定义每台虚拟机的相对异常幅度为：
Figure BDA0003162903630000051
其中，θh为上界阈值，θl为下界阈值，αh(tc)和αl(tc)分别表示tc时刻流量曲线x(t)的峰值异常幅度和波谷异常幅度，
由于异常时间从ts持续到te，定义(ts，te)时间范围内的异常幅度分别为时间范围的最大值。
进一步地，在本申请实施例中，集合相似度计算方法包括以下步骤：
使用z-normalization对共享资源和虚拟主机的流量数据进行标准化；
将平面坐标割成预定个数的网格；
对网格进行顺序编号；
将共享资源和虚拟主机的流量数据中的每条序列经过的网格序号所组成的集合作为序列的离散表征；
利用jaccard metric来计算离散表征的相似度。
基于集合相似度算法的核心思想是把连续曲线相似度计算问题转换为离散集合相似度计算问题。首先，由于y(t)与x(t)可能存在度量量级上的差距，先对y(t)和x(t)进行标准化。
进一步地，在本申请实施例中，对三个维度计算结果进行整合，表示为：
In(x(t))＝d(x(t))*(ωα*α(x(t))+ωs*S(x(t)))
其中，In(x(t))表示最终的结果，d、α、S分别表示预测偏差、异常幅度以及形状相似度的结果，ωα和ωs表示异常幅度与形状相似度的权重，默认ωα＝ωs＝0.5。
在阿里云网络的实际生产环境中，获取实际的用户流量数据进行效果测试。采集了三个数据中心总共183个异常的案例，算法的评估结果如表一所示。从表一中可以看出，本申请提出的算法框架的性能优于其他的基线算法，在排名第一的精确率可以达到97.8％，平均精确率可以达到91.5％。
Figure BDA0003162903630000061
表一
图2为本申请实施例的基于多维度分析的云网络共享资源异常根因定位方法的系统架构图。
如图2所示，该基于多维度分析的云网络共享资源异常根因定位方法包括数据采集、绝对偏差计算、相对偏差计算、综合排序等4个模块，当用户上报异常信息后，首先从数据存储集群分别获取共享资源流量数据与使用这个共享资源的所有虚拟主机的流量数据。再获取到流量数据后，分别对共享资源与虚拟主机的流量进行三个维度的计算。在预测偏差维度中，采用基于移动平均算法的计算模型。在异常幅度的计算中，采用基于极值理论的算法改进模型。在形状相似度的计算中，采用基于集合相似度的计算模型。在三个维度的计算后，设计了一个排序算法，对三个维度的结果进行整合，并产生最终的排序列表。
图3为本申请实施例二所提供的一种基于多维度分析的云网络共享资源异常根因定位装置的结构示意图。
如图3所示，该基于多维度分析的云网络共享资源异常根因定位装置，包括：数据采集模块、维度计算模块、整合模块，其中，
数据采集模块10，用于根据异常信息从数据存储集中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；
维度计算模块20，用于分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；
整合模块30，用于对三个维度计算结果进行整合，得到根因列表。
进一步地，在本申请实施例中，维度计算模块，具体用于使用移动平均方法计算预测偏差维度，使用极值理论方法计算异常幅度，采用集合相似度计算方法计算形状相似度。
本申请实施例的基于多维度分析的云网络共享资源异常根因定位装置，包括：数据采集模块、维度计算模块、整合模块，其中，数据采集模块，用于根据异常信息从数据存储集中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；维度计算模块，用于分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；整合模块，用于对三个维度计算结果进行整合，得到根因列表。由此，能够解决现有方法难以满足大规模、异常类型多样性、实时性、以及动态性的问题，还可以解决现有方法需要多花费更大的存储空间，且难以进行有效扩展的问题，通过对预测偏差、异常幅度、形状相似度三个维度的分析，提出了一种综合的排序算法，来实现快速、准确、通用的异常定位。
为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于多维度分析的云网络共享资源异常根因定位方法和装置。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于多维度分析的云网络共享资源异常根因定位方法，其特征在于，包括以下步骤：
根据异常信息从数据存储集群中分别获取共享资源流量数据和使用所述共享资源流量数据的所有虚拟主机的流量数据；
分别对所述共享资源和所述虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，所述三个维度包括预测偏差维度、异常幅度、形状相似度；
对所述三个维度计算结果进行整合，得到根因列表；
其中，所述形状相似度采用集合相似度计算方法，所述集合相似度计算方法包括以下步骤：
使用z-normalization对所述共享资源和所述虚拟主机的流量数据进行标准化；
将平面坐标割成预定个数的网格；
对所述网格进行顺序编号；
将所述共享资源和所述虚拟主机的流量数据中的每条序列经过的网格序号所组成的集合作为序列的离散表征；
利用jaccard metric来计算所述离散表征的相似度。
2.如权利要求1所述的方法，其特征在于，所述预测偏差维度采用移动平均方法计算，所述异常幅度使用极值理论方法。
3.如权利要求2所述的方法，其特征在于，所述移动平均方法包括以下步骤：
维护一个滑动窗口；
截取异常开始时间前的数据点作为训练数据，所述数据点的个数与所述滑动窗口长度一致；
求取所述训练数据的平均值作为所述预测偏差维度。
4.如权利要求2所述的方法，其特征在于，所述异常幅度为每台虚拟主机在异常时刻的流量与自身正常时刻相比的异常大小，使用所述极值理论方法计算每台虚拟主机的上界阈值和下界阈值，进而定义每台虚拟机的相对异常幅度为：
Figure FDA0003559476220000011
其中，θh为上界阈值，θl为下界阈值，αh(tc)和αl(tc)分别表示tc时刻流量曲线x(t)的峰值异常幅度和波谷异常幅度，
由于异常时间从ts持续到te，定义(ts，te)时间范围内的异常幅度分别为时间范围的最大值。
5.如权利要求1所述的方法，其特征在于，所述对所述三个维度计算结果进行整合，表示为：
In(x(t))＝d(x(t))*(ωα*α(x(t))+ωs*S(x(t)))
其中，In(x(t))表示最终的结果，d、α、S分别表示预测偏差、异常幅度以及形状相似度的结果，ωα和ωs表示异常幅度与形状相似度的权重，默认ωα＝ωs＝0.5。
6.一种基于多维度分析的云网络共享资源异常根因定位装置，其特征在于，包括数据采集模块、维度计算模块、整合模块，其中，
所述数据采集模块，用于根据异常信息从数据存储集中分别获取共享资源流量数据和使用所述共享资源流量数据的所有虚拟主机的流量数据；
所述维度计算模块，用于分别对所述共享资源和所述虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，所述三个维度包括预测偏差维度、异常幅度、形状相似度；
所述整合模块，用于对所述三个维度计算结果进行整合，得到根因列表；
其中，所述形状相似度采用集合相似度计算方法，所述集合相似度计算方法包括以下步骤：
使用z-normalization对所述共享资源和所述虚拟主机的流量数据进行标准化；
将平面坐标割成预定个数的网格；
对所述网格进行顺序编号；
将所述共享资源和所述虚拟主机的流量数据中的每条序列经过的网格序号所组成的集合作为序列的离散表征；
利用jaccard metric来计算所述离散表征的相似度。
7.如权利要求6所述的装置，其特征在于，所述维度计算模块，具体用于使用移动平均方法计算所述预测偏差维度，使用极值理论方法计算所述异常幅度。
8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202110796338.2A 2021-07-14 2021-07-14 基于多维度分析的云网络共享资源异常根因定位方法 Active CN113746798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110796338.2A CN113746798B (zh) 2021-07-14 2021-07-14 基于多维度分析的云网络共享资源异常根因定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110796338.2A CN113746798B (zh) 2021-07-14 2021-07-14 基于多维度分析的云网络共享资源异常根因定位方法

Publications (2)

Publication Number Publication Date
CN113746798A CN113746798A (zh) 2021-12-03
CN113746798B true CN113746798B (zh) 2022-05-06

Family

ID=78728657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110796338.2A Active CN113746798B (zh) 2021-07-14 2021-07-14 基于多维度分析的云网络共享资源异常根因定位方法

Country Status (1)

Country Link
CN (1) CN113746798B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277464B (zh) * 2022-05-13 2023-06-02 清华大学 基于多维时间序列分析的云网络变更流量异常检测方法、装置及存储介质
CN115277491B (zh) * 2022-06-15 2023-06-06 中国联合网络通信集团有限公司 异常数据的确定方法、装置及计算机可读存储介质
CN115576732B (zh) * 2022-11-15 2023-03-10 阿里云计算有限公司 根因定位方法以及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800290A (zh) * 2020-05-25 2020-10-20 华为技术有限公司 一种确定根因的方法，系统以及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030097439A1 (en) * 2000-10-23 2003-05-22 Strayer William Timothy Systems and methods for identifying anomalies in network data streams
CN102957579B (zh) * 2012-09-29 2015-09-16 北京邮电大学 一种网络异常流量监测方法及装置
CN106209404B (zh) * 2015-04-30 2019-05-03 华为技术有限公司 网络异常流量分析方法及系统
US10333958B2 (en) * 2016-07-19 2019-06-25 Cisco Technology, Inc. Multi-dimensional system anomaly detection
CN108683530B (zh) * 2018-04-28 2021-06-01 北京百度网讯科技有限公司 多维度数据的数据分析方法、装置及存储介质
CN108667856B (zh) * 2018-08-10 2021-01-26 广东电网有限责任公司 一种网络异常检测方法、装置、设备及存储介质
CN111641519B (zh) * 2020-04-30 2022-10-11 平安科技（深圳）有限公司 异常根因定位方法、装置及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800290A (zh) * 2020-05-25 2020-10-20 华为技术有限公司 一种确定根因的方法，系统以及设备

Also Published As

Publication number Publication date
CN113746798A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN113746798B (zh) 基于多维度分析的云网络共享资源异常根因定位方法
Eyada et al. Performance evaluation of IoT data management using MongoDB versus MySQL databases in different cloud environments
US10909018B2 (en) System and method for end-to-end application root cause recommendation
US10354201B1 (en) Scalable clustering for mixed machine learning data
CN108683530B (zh) 多维度数据的数据分析方法、装置及存储介质
CN109710612B (zh) 向量索引的召回方法、装置、电子设备和存储介质
US10394821B2 (en) Providing reconstructed data based on stored aggregate data in response to queries for unavailable data
CN113454600A (zh) 使用跟踪数据在分布式系统中进行自动根因分析
CN103838803A (zh) 一种基于节点Jaccard相似度的社交网络社团发现方法
CN106708989A (zh) 基于空间时序数据流应用的Skyline查询方法
CN107483292B (zh) 用于云平台的动态监控方法
CN106612511B (zh) 一种基于支持向量机的无线网络吞吐量的评估方法及装置
CN111753875A (zh) 一种电力信息系统运行趋势分析方法、装置及存储介质
CN117290719B (zh) 基于数据分析的巡检管理方法、装置及存储介质
CN113158435B (zh) 基于集成学习的复杂系统仿真运行时间预测方法与设备
CN108463813B (zh) 一种进行数据处理的方法和装置
CN107357714B (zh) 一种基于监控平台的故障分析方法和装置
CN113850346B (zh) Mec环境下多维属性感知的边缘服务二次聚类方法及系统
CN111277427A (zh) 一种数据中心网络设备的巡检方法及系统
CN109450672A (zh) 一种识别带宽需求突发的方法和装置
CN111598390B (zh) 服务器高可用性评估方法、装置、设备和可读存储介质
Kuehn et al. Monitoring data streams at process level in scientific big data batch clusters
CN109271303B (zh) 一种软件配置推荐方法
CN111628901B (zh) 一种指标异常检测方法以及相关装置
CN112235152B (zh) 流量大小估算方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant