CN113191432B - 基于离群因子的虚拟机集群的异常检测方法、设备及介质 - Google Patents

基于离群因子的虚拟机集群的异常检测方法、设备及介质 Download PDF

Info

Publication number
CN113191432B
CN113191432B CN202110489890.7A CN202110489890A CN113191432B CN 113191432 B CN113191432 B CN 113191432B CN 202110489890 A CN202110489890 A CN 202110489890A CN 113191432 B CN113191432 B CN 113191432B
Authority
CN
China
Prior art keywords
virtual machine
abnormal
virtual
virtual machines
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110489890.7A
Other languages
English (en)
Other versions
CN113191432A (zh
Inventor
程筱彪
徐雷
贾宝军
杨双仕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202110489890.7A priority Critical patent/CN113191432B/zh
Publication of CN113191432A publication Critical patent/CN113191432A/zh
Application granted granted Critical
Publication of CN113191432B publication Critical patent/CN113191432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供一种基于离群因子的虚拟机集群的异常检测方法、终端设备及计算机可读存储介质，其中，所述方法包括：建立用于检测虚拟机集群异常情况的检测模型；基于所述检测模型计算待检测虚拟机集群中任一虚拟机的局部离群因子值；判断所述任一虚拟机的局部离群因子值是否大于第一预设阈值，若是，则判定其为异常虚拟机，否则，判定其为正常虚拟机，并得到判定结果；以及，基于所述任一虚拟机的判定结果继续判断所述待检测虚拟机集群中所有其它虚拟机是否为异常虚拟机。本公开实施例通过检测模型计算虚拟机集群中某一虚拟机的局部离群因子，检测其异常情况，进而判断虚拟机集群中其他虚拟机的异常情况，有效提升了虚拟机异常检测效率。

Description

基于离群因子的虚拟机集群的异常检测方法、设备及介质
技术领域
本公开涉及云计算领域，尤其涉及一种基于离群因子的虚拟机集群的异常检测方法、一种终端设备以及一种计算机可读存储介质。
背景技术
随着云计算技术的兴起，虚拟机异常检测已成为各大云厂商重点研究的问题，基于离群因子进行异常情况判断是其中一大方向。相关技术中，通过计算虚拟机集群中所有虚拟机的局部离群因子，并将这些局部离群因子跟预设的阈值进行比较，以此判断各个虚拟机是否有异常，上述方式需要对每个虚拟机进行计算，其计算量巨大，且效率较低，将可能导致不能及时发现异常等情况。
发明内容
本公开提供了一种基于离群因子的虚拟机集群的异常检测方法、终端设备及计算机可读存储介质，以至少解决上述问题。
根据本公开实施例的一方面，提供一种基于离群因子的虚拟机集群的异常检测方法，包括：
建立用于检测虚拟机集群异常情况的检测模型；
基于所述检测模型计算待检测虚拟机集群中任一虚拟机的局部离群因子值；
判断所述任一虚拟机的局部离群因子值是否大于第一预设阈值，若是，则判定其为异常虚拟机，否则，判定其为正常虚拟机，并得到判定结果；以及，
基于所述任一虚拟机的判定结果继续判断所述待检测虚拟机集群中所有其它虚拟机是否为异常虚拟机，直至判断出所述待检测虚拟机集群中每个虚拟机是否为异常虚拟机。
在一种实施方式中，所述建立用于检测虚拟机集群异常情况的检测模型，包括：
创建初始检测模型；
获取历史虚拟机集群数据；以及，
基于所述历史虚拟机集群数据对所述初始检测模型进行训练，得到用于检测虚拟机集群异常情况的检测模型。
在一种实施方式中，所述历史虚拟机集群数据包括正常虚拟机数据和异常虚拟机数据。
在一种实施方式中，所述创建初始检测模型，包括：
确定模型的初始邻域数和初始第一预设阈值；以及，
基于所述初始邻域数和初始第一预设阈值建立初始检测模型。
在一种实施方式中，所述基于所述初始邻域数和初始第一预设阈值建立初始检测模型，根据以下公式得到：
Figure BDA0003051621560000021
Figure BDA0003051621560000022
Figure BDA0003051621560000023
式中，LOFk(O)表示任一虚拟机的局部离群因子值，α表示初始第一预设阈值，K表示初始邻域数，0表示判定结果为异常虚拟机，1表示判定结果为正常虚拟机；Nk(O)表示任一虚拟机第K邻域内所有虚拟机集合，fk(x)表示任一虚拟机第K邻域内第x个虚拟机的局部可达密度，
Figure BDA0003051621560000024
表示任一虚拟机第K邻域内所有虚拟机的局部可达密度之和，fk(O)表示任一虚拟机的局部可达密度；dist(O,x)表示任一虚拟机与第K邻域内的第x个虚拟机之间的欧式距离，/>
Figure BDA0003051621560000025
表示任一虚拟机分别与第k邻域内的所有其它虚拟机之间的欧式距离之和。
在一种实施方式中，基于所述历史虚拟机集群数据对所述初始检测模型进行训练，得到用于检测虚拟机集群异常情况的检测模型，包括：
基于所述初始检测模型计算出所述历史虚拟机集群数据中存在的异常虚拟机比例；
判断计算得到的异常虚拟机比例与所述历史虚拟机集群数据中实际的异常虚拟机比例之间的差值是否小于第二预设阈值；
若小于第二预设阈值，则将所述初始邻域数确定为邻域数以及将所述初始第一预设阈值确定为第一预设阈值，并基于已确定的邻域数和第一预设阈值得到用于检测虚拟机集群异常情况的检测模型；
若不小于第二预设阈值，则调整所述初始邻域数和初始第一预设阈值，并得到调整后的初始检测模型，返回执行基于调整后的初始检测模型计算出所述历史虚拟机集群数据中存在的异常虚拟机比例的步骤，直到计算得到的异常虚拟机比例与所述实际的异常虚拟机比例之间的差值小于第二预设阈值。
在一种实施方式中，所述方法还包括：
基于所述检测模型分别计算出所述任一虚拟机第K邻域内所有其它虚拟机各自的局部可达密度；
所述基于所述任一虚拟机的判定结果继续判断所述待检测虚拟机集群中其它虚拟机是否为异常虚拟机，包括：
若所述任一虚拟机的判定结果为正常虚拟机，则从所述待检测虚拟机集群中所有其它虚拟机中筛选出局部可达密度大于所述任一虚拟机的局部可达密度的虚拟机，并将其判定为正常虚拟机。
在一种实施方式中，所述基于所述任一虚拟机的判定结果继续判断所述待检测虚拟机集群中其它虚拟机是否为异常虚拟机，还包括：
若所述任一虚拟机的判定结果为异常虚拟机，则从所述待检测虚拟机集群中所有其它虚拟机中筛选出局部可达密度小于所述任一虚拟机的局部可达密度的虚拟机，并将其判定为异常虚拟机。
根据本公开实施例的另一方面，提供一种终端设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求所述的基于离群因子的虚拟机集群的异常检测方法。
根据本公开实施例的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的基于离群因子的虚拟机集群的异常检测方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的基于离群因子的虚拟机集群的异常检测方法，通过建立用于检测虚拟机集群异常情况的检测模型；基于所述检测模型计算待检测虚拟机集群中任一虚拟机的局部离群因子值；判断所述任一虚拟机的局部离群因子值是否大于第一预设阈值，若是，则判定其为异常虚拟机，否则，判定其为正常虚拟机，并得到判定结果；以及，基于所述任一虚拟机的判定结果继续判断所述待检测虚拟机集群中所有其它虚拟机是否为异常虚拟机，直至判断出所述待检测虚拟机集群中每个虚拟机是否为异常虚拟机。本公开实施例通过检测模型计算虚拟机集群中某一虚拟机的局部离群因子，检测其异常情况，进而判断虚拟机集群中其他虚拟机的异常情况，有效提升了虚拟机异常检测效率。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1为本公开实施例提供的一种基于离群因子的虚拟机集群的异常检测方法的流程示意图；
图2为图1中步骤S101的流程示意图；
图3为本公开另一实施例提供的一种基于离群因子的虚拟机集群的异常检测方法的流程示意图；
图4为本公开实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序；并且，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互任意组合。
其中，在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本公开的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
为解决上述问题，本公开实施例提出一种基于离群因子的同类虚拟机集群异常检测方法，仅需计算少部分虚拟机的局部离群因子即可以判断多台云虚拟机的状态，并且在这个过程中不需要计算这些虚拟机的局部离群因子，大大减少了计算量，提高了虚拟机的异常检测效率。
请参照图1，图1为本公开实施例提供的一种基于离群因子的虚拟机集群的异常检测方法的流程示意图，所述方法包括步骤S101-S104。
在步骤S101中，建立用于检测虚拟机集群异常情况的检测模型。
具体地，本申请将虚拟机集群中所有虚拟机作为若干数据点，所创建的检测模型用于计算虚拟机数据点的局部离群因子，通过计算某一虚拟机数据点，计算其局部离群因子进而判断其异常情况，再根据该某一虚拟机数据点的异常情况依次判断其它虚拟机的异常情况。
可以理解的是，本实施例中的虚拟机集群为支撑同类应用的虚拟机集群，其中第一预设阈值用于判断虚拟机数据点的局部离群因子是否达到异常程度。
在步骤S102中，基于所述检测模型计算待检测虚拟机集群中任一虚拟机的局部离群因子值。
相较于相关技术中，需要对虚拟机集群中所有虚拟机数据点进行局部离群因子的计算，本实施例仅需利用检测模型，对虚拟机集群中的某一虚拟机数据点进行计算，即可高效检测出所有虚拟机的异常情况，大大减少了计算量，提高检测效率，从而避免不能及时发现虚拟机异常等问题。
可以理解的是，计算局部离群因子，为基于密度的离群因子检测方法(LocalOutlier Factor,LOF)，具体地，针对给定的数据集，对其中的任意一个数据点，如果在其局部邻域内的点都很密集，即，局部离群因子越小，小于一定值(本实施例为第一预设阈值)，那么认为此数据点为正常数据点；而离群点则是距离正常数据点最近邻的点都比较远的数据点。
在一些实施例中，通过对该任一虚拟机进行标记，便于后续对其它虚拟机的异常情况进行进一步判断。
在步骤S103中，判断所述任一虚拟机的局部离群因子值是否大于第一预设阈值，若是，则判定其为异常虚拟机，否则，判定其为正常虚拟机，并得到判定结果。
本实施例中，对于待检测虚拟机集合，首先从中随机选取一台虚拟机，通过检测该虚拟机的局部离群因子与第一预设阈值的关系判断其是否为异常：1)如果其局部离群因子小于或者等于第一预设阈值，说明该虚拟机数据点与邻域数据的密度差不多或者密度相较邻域数据点更高，该虚拟机与邻域虚拟机可能为相似点或者为密集点，判定该虚拟机为正常虚拟机，为了便于识别可以同时将其属性标记为正常虚拟机；2)如果该虚拟机数据点局部离群因子大于第一预设阈值，说明该虚拟机小于邻域数据点密度，判定为异常虚拟机，同时将其标记为异常虚拟机。
在步骤S104中，基于所述任一虚拟机的判定结果继续判断所述待检测虚拟机集群中所有其它虚拟机是否为异常虚拟机，直至判断出所述待检测虚拟机集群中每个虚拟机是否为异常虚拟机。
本实施例中，针对已判定的任一虚拟机的异常情况，进一步判断虚拟机集群中除该任一虚拟机之外的其它虚拟机的异常情况判断。
在一些实施例中，通过虚拟机之间的局部可达密度进一步进行异常检测，具体地，分别计算任一虚拟机第K邻域内其他虚拟机的局部可达密度，若任一虚拟机为正常虚拟机，其K邻域内的其他虚拟机，如果其局部可达密度大于该任一虚拟机的局部可达密度，则也为正常的虚拟机，将其标记为正常虚拟机，并对该其他虚拟机的K领域内的虚拟机继续通过上述方式进行判断；若该任一虚拟机为异常虚拟机，其K领域内的其他虚拟机如果满足局部可达密度小于该任一虚拟机的局部可达密度时，则该其他虚拟机也为异常的虚拟机，将其标记为异常虚拟机，并对该异常的其它虚拟机的K领域内的虚拟机继续通过上述方式的规则进行判断，直到虚拟机集群中所有虚拟机的异常情况均检测完成。
上述所有虚拟机的异常情况均检测完成过程，首先确定所有已有标记的虚拟机的K领域内的其他可标记虚拟机均标记完成，若剩余虚拟机为未能标记的虚拟机，则随机选择一台虚拟机，计算其局部离群因子，并重复步骤上述的判断过程，直到所有虚拟机均已完成标记确定整个集群是否存在异常虚拟机。需要说明的是，K邻域内的所有虚拟机的异常情况检测可以同时进行。
在一种实施方式中，所述建立用于检测虚拟机集群异常情况的检测模型(即，步骤S101)，如图2所示，包括步骤S101a-S101c：
步骤S101a、创建初始检测模型。
在一种实施方式中，所述创建初始检测模型，包括以下步骤：
确定模型的初始邻域数和初始第一预设阈值；以及，基于所述初始邻域数和初始第一预设阈值建立初始检测模型。
步骤S101b、获取历史虚拟机集群数据；其中，所述历史虚拟机集群数据包括正常虚拟机数据和异常虚拟机数据。
步骤S101c、基于所述历史虚拟机集群数据对所述初始检测模型进行训练，得到用于检测虚拟机集群异常情况的检测模型。
具体地，首先建立初始检测模型，并利用历史数据进行模型训练，历史数据包括正常虚拟机和少量异常虚拟机。可以理解的，首先对包含异常数据的历史虚拟机集群数据进行特征提取，得到特征向量集合，利用该特征向量集合进行初始检测模型的训练，每个虚拟机特征向量作为一个数据点(即，虚拟机基于其特征向量作为数据点表示)，其中，检测模型所需数据包括数据点的K邻域数、第K可达距离、局部可达密度、第一预设阈值α等信息。
上述特征提取过程中，首先提取虚拟机集群的各项特征数据，在提出不符合要求的数据(重复、空白数据)后进一步进行特征提取，例如，虚拟机包括CPU、网络特征、流量等特征，以CPU特征为例：CPU特征值＝1-CPU已用量/(CPU总量-CPU预留量)。在实际应用中，可根据实际情况，自行确定所参考的特征数量及具体特征，对集群中所有虚拟机各项特征数据进行特征提取后，得到各虚拟机的特征向量(C1,C2,…,Cn)其中Cn表示虚拟机第n个特征的特征值。
在一种实施方式中，所述基于所述初始邻域数和初始第一预设阈值建立初始检测模型(即，步骤S101a)，根据以下公式得到：
Figure BDA0003051621560000081
Figure BDA0003051621560000082
Figure BDA0003051621560000083
式中，LOFk(O)表示任一虚拟机的局部离群因子值，α表示初始第一预设阈值，K表示初始邻域数，0表示判定结果为异常虚拟机，1表示判定结果为正常虚拟机；Nk(O)表示任一虚拟机第K邻域内所有虚拟机集合，fk(x)表示任一虚拟机第K邻域内第x个虚拟机的局部可达密度，
Figure BDA0003051621560000084
表示任一虚拟机第K邻域内所有虚拟机的局部可达密度之和，fk(O)表示任一虚拟机的局部可达密度；dist(O,x)表示任一虚拟机与第K邻域内的第x个虚拟机之间的欧式距离，/>
Figure BDA0003051621560000085
表示任一虚拟机分别与第k邻域内的所有其它虚拟机之间的欧式距离之和。
具体地，根据预先确定的初始K值，计算历史数据集中任一虚拟机数据点O的第K距离，即距离O点第K远的P点到O点的距离，距离指两个点的特征向量间的欧式距离dk(O)，具体计算方法如下：dk(O)＝dist(O点的特征向量，P点的特征向量)。其中P点需满足两个条件：(1)在所有点中，存在至少K个点到O点的距离小于等于P点到O点的距离；(2)在所有点中，存在至多K-1个点到O点的距离小于P点到O点的距离；
这些到O点距离小于等于dk(O)的点构成了O点的第K距离邻域Nk(O)；通过第K距离邻域计算该点的局部可达密度；
Figure BDA0003051621560000091
即为点O的第k邻域Nk(O)内所有数据点到点O的距离除以K值的倒数，如果O点和周围邻域点是相似点，那么距离就越小的，导致距离之和越小，局部可达密度越大。如果O点和周围邻域点较远，那么距离可能会取较大值，导致可达距离之和越大，局部可达密度越小。然后通过局部可达密度计算局部离群因子，
Figure BDA0003051621560000092
即为O的所有邻域点Nk(O)的局部可达密度与点O的局部可达密度之比的平均数。例如，如果这个比值越接近1，说明O点的邻域点密度差不多，O点可能和邻域是相似点；如果这个比值小于1，说明O点的密度高于其邻域点密度，O点为密集点；如果这个比值大于1，说明O点的密度小于其邻域点密度，O点可能是异常点。
可以理解的是，对初始检测模型进行训练之后得到的检测模型，与初始检测模型公式中K和α可能不同，对于待检测的虚拟机集群的异常检测方式，仅需要将待检测虚拟机集群中相应虚拟机的特征向量输入至该检测模型中，即可快速判断出虚拟机集群是否出现异常。
在一种实施方式中，所述方法还包括以下步骤：
基于所述检测模型分别计算出所述任一虚拟机第K邻域内所有其它虚拟机各自的局部可达密度；
所述基于所述判定结果继续判断所述待检测虚拟机集群中其它虚拟机是否为异常虚拟机，包括：
若所述任一虚拟机为正常虚拟机，则筛选出所述所有其它虚拟机中局部可达密度大于所述任一虚拟机的局部可达密度的其它虚拟机，并将其判定为正常虚拟机；
若所述任一虚拟机为异常虚拟机，则筛选出所述所有其它虚拟机中局部可达密度小于所述任一虚拟机的局部可达密度的其它虚拟机，并将其判定为异常虚拟机。
具体地，对于待检测虚拟机集群，首先随机选取一台虚拟机VMi并对其进行标记，通过其异常检测判定结果，对于有标记的虚拟机VMi其第K领域内的其他虚拟机进行判断：1)若VMi为正常虚拟机，其K领域内的其他虚拟机(VMi)如果满足局部密度fk(VMj)>fk(VMi)，则VMj也为正常的虚拟机，将其标记为正常虚拟机，并对VMj的K领域内的虚拟机继续通过本步骤的规则进行判断；2)若VMi为异常虚拟机，其K领域内的其他虚拟机(VMi)如果满足局部密度fk(VMj)<fk(VMi)则VMj也为异常的虚拟机，将其标记为异常虚拟机，并对VMj的K领域内的虚拟机继续通过本步骤的规则进行判断；循环进行步骤1)和2)，直到所有已有标记的虚拟机的K领域内的其他可标记虚拟机均标记完成，若剩余虚拟机为未能标记的虚拟机，随机选择一台虚拟机，计算其局部离群因子，并重复上述的判断过程，直到所有虚拟机均已完成标记确定整个集群是否存在异常虚拟机。
基于上述虚拟机异常检测方式，仅需计算少部分虚拟机的局部离群因子即可以判断多台云虚拟机的状态，并且在这个过程中不需要计算这些虚拟机的局部离群因子，大量减少了计算量。
请参照图3，图3为本公开另一实施例提供的一种基于离群因子的虚拟机集群的异常检测方法的流程示意图，相较于上一实施例，本实施例利用包含异常数据的历史数据对初始模型进行训练，确定邻域数和第一预设阈值的值，提高模型的准确度，进而提高虚拟机集群的异常检测效率，在上一实施例的基础上，本实施将步骤S101c进一步划分为步骤S301-S304。
在步骤S301中，基于所述初始检测模型计算出所述历史虚拟机集群数据中存在的异常虚拟机比例；
在步骤S302中，判断计算得到的异常虚拟机比例与所述历史虚拟机集群数据中实际的异常虚拟机比例之间的差值是否小于第二预设阈值，若小于第二预设阈值，则执行步骤S303，否则，执行步骤S304；
在步骤S303中，将所述初始邻域数确定为邻域数以及将所述初始第一预设阈值确定为第一预设阈值，并基于已确定的邻域数和第一预设阈值得到用于检测虚拟机集群异常情况的检测模型；
在步骤S304中，调整所述初始邻域数和初始第一预设阈值，并得到调整后的初始检测模型，返回执行基于调整后的初始检测模型计算出所述历史虚拟机集群数据中存在的异常虚拟机比例的步骤，直到计算得到的异常虚拟机比例与所述实际的异常虚拟机比例之间的差值小于第二预设阈值。
需要说明的是，本领域技术人员可以结合现有技术和实际应用对其数值进行适应性设定。
在一些实施例中，系统通过定期查询新的待检测虚拟机集群，并提取新的待检测特征向量输入检测模型，来判断虚拟机集群是否出现异常，实现虚拟机集群的高效异常检测
基于相同的技术构思，本公开实施例相应还提供一种终端设备，如图4所示，所述终端设备包括存储器41和处理器42，所述存储器41中存储有计算机程序，当所述处理器42运行所述存储器41存储的计算机程序时，所述处理器42执行根据权利要求所述的基于离群因子的虚拟机集群的异常检测方法。
基于相同的技术构思，本公开实施例相应还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的基于离群因子的虚拟机集群的异常检测方法。
综上，本公开实施例对包含异常数据的历史数据进行特征提取得到特征向量集合，结合该特征向量集合进行检测模型的训练，确定检测模型的参数K和α,利用检测模型来判断虚拟机集群是否出现异常，具体是指利用某点的局部离群因子和该点邻域内其他点的局部密度，判断这些点是否出现异常情况，并重复该过程。在此过程中，能够实现仅需计算少部分虚拟机的局部离群因子即可以判断多台云虚拟机的状态，并且在这个过程中不需要计算这些虚拟机的局部离群因子,大量减少了计算量。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (7)

1.一种基于离群因子的虚拟机集群的异常检测方法，其特征在于，包括：
建立用于检测虚拟机集群异常情况的检测模型；
基于所述检测模型计算待检测虚拟机集群中任一虚拟机的局部离群因子值；
判断所述任一虚拟机的局部离群因子值是否大于第一预设阈值，若是，则判定其为异常虚拟机，否则，判定其为正常虚拟机，并得到判定结果；以及，
基于所述任一虚拟机的判定结果继续判断所述待检测虚拟机集群中所有其它虚拟机是否为异常虚拟机，直至判断出所述待检测虚拟机集群中每个虚拟机是否为异常虚拟机；
所述建立用于检测虚拟机集群异常情况的检测模型，包括：
确定模型的初始邻域数和初始第一预设阈值；
基于所述初始邻域数和初始第一预设阈值建立初始检测模型；
获取历史虚拟机集群数据；
基于所述初始检测模型计算出所述历史虚拟机集群数据中存在的异常虚拟机比例；
判断计算得到的异常虚拟机比例与所述历史虚拟机集群数据中实际的异常虚拟机比例之间的差值是否小于第二预设阈值；
若小于第二预设阈值，则将所述初始邻域数确定为邻域数以及将所述初始第一预设阈值确定为第一预设阈值，并基于已确定的邻域数和第一预设阈值得到用于检测虚拟机集群异常情况的检测模型；
若不小于第二预设阈值，则调整所述初始邻域数和初始第一预设阈值，并得到调整后的初始检测模型，返回执行基于调整后的初始检测模型计算出所述历史虚拟机集群数据中存在的异常虚拟机比例的步骤，直到计算得到的异常虚拟机比例与所述实际的异常虚拟机比例之间的差值小于第二预设阈值。
2.根据权利要求1所述的方法，其特征在于，所述历史虚拟机集群数据包括正常虚拟机数据和异常虚拟机数据。
3.根据权利要求1所述的方法，其特征在于，所述基于所述初始邻域数和初始第一预设阈值建立初始检测模型，根据以下公式得到：
Figure FDA0004246893770000021
Figure FDA0004246893770000022
Figure FDA0004246893770000023
式中，LOFk(O)表示任一虚拟机的局部离群因子值，α表示初始第一预设阈值，K表示初始邻域数，0表示判定结果为异常虚拟机，1表示判定结果为正常虚拟机；Nk(O)表示任一虚拟机第K邻域内所有虚拟机集合，fk(x)表示任一虚拟机第K邻域内第x个虚拟机的局部可达密度，
Figure FDA0004246893770000024
表示任一虚拟机第K邻域内所有虚拟机的局部可达密度之和，fk(O)表示任一虚拟机的局部可达密度；dist(O,x)表示任一虚拟机与第K邻域内的第x个虚拟机之间的欧式距离，/>
Figure FDA0004246893770000025
表示任一虚拟机分别与第k邻域内的所有其它虚拟机之间的欧式距离之和。
4.根据权利要求1所述的方法，其特征在于，还包括：
基于所述检测模型分别计算出所述任一虚拟机第K邻域内所有其它虚拟机各自的局部可达密度；
所述基于所述任一虚拟机的判定结果继续判断所述待检测虚拟机集群中其它虚拟机是否为异常虚拟机，包括：
若所述任一虚拟机的判定结果为正常虚拟机，则从所述待检测虚拟机集群中所有其它虚拟机中筛选出局部可达密度大于所述任一虚拟机的局部可达密度的虚拟机，并将其判定为正常虚拟机。
5.根据权利要求4所述的方法，其特征在于，所述基于所述任一虚拟机的判定结果继续判断所述待检测虚拟机集群中其它虚拟机是否为异常虚拟机，还包括：
若所述任一虚拟机的判定结果为异常虚拟机，则从所述待检测虚拟机集群中所有其它虚拟机中筛选出局部可达密度小于所述任一虚拟机的局部可达密度的虚拟机，并将其判定为异常虚拟机。
6.一种终端设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1至5中任一项所述的基于离群因子的虚拟机集群的异常检测方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，所述处理器执行根据权利要求1至5中任一项所述的基于离群因子的虚拟机集群的异常检测方法。
CN202110489890.7A 2021-05-06 2021-05-06 基于离群因子的虚拟机集群的异常检测方法、设备及介质 Active CN113191432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110489890.7A CN113191432B (zh) 2021-05-06 2021-05-06 基于离群因子的虚拟机集群的异常检测方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110489890.7A CN113191432B (zh) 2021-05-06 2021-05-06 基于离群因子的虚拟机集群的异常检测方法、设备及介质

Publications (2)

Publication Number Publication Date
CN113191432A CN113191432A (zh) 2021-07-30
CN113191432B true CN113191432B (zh) 2023-07-07

Family

ID=76984288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110489890.7A Active CN113191432B (zh) 2021-05-06 2021-05-06 基于离群因子的虚拟机集群的异常检测方法、设备及介质

Country Status (1)

Country Link
CN (1) CN113191432B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117827568A (zh) * 2022-09-27 2024-04-05 中兴通讯股份有限公司 测试设备稳定性的监控方法、装置、电子设备和存储介质
CN117255088B (zh) * 2023-09-13 2024-04-09 广州鲁邦通物联网科技股份有限公司 基于奇异值检测的网关边缘计算方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986625A (zh) * 2014-05-29 2014-08-13 中国科学院软件研究所 一种基于统计监测的云应用故障诊断系统
CN105677538A (zh) * 2016-01-11 2016-06-15 中国科学院软件研究所 一种基于故障预测的云计算系统自适应监测方法
CN106681791A (zh) * 2016-11-09 2017-05-17 重庆邮电大学 一种基于对称邻居关系的增量式虚拟机异常检测方法
CN107545273A (zh) * 2017-07-06 2018-01-05 北京航空航天大学 一种基于密度的局部离群点检测方法
CN109471698A (zh) * 2018-10-19 2019-03-15 中国电子科技集团公司第二十八研究所 云环境下虚拟机异常行为检测系统和方法
CN110046054A (zh) * 2018-01-17 2019-07-23 中兴通讯股份有限公司 虚拟机异常检测方法、装置、设备及计算机可读存储介质
US10509847B1 (en) * 2019-02-11 2019-12-17 Sas Institute Inc. Local outlier factor hyperparameter tuning for data outlier detection
CN111159001A (zh) * 2019-12-31 2020-05-15 青岛海尔科技有限公司 用于操作系统的检测方法及装置、服务器
CN111598165A (zh) * 2020-05-15 2020-08-28 杭州电子科技大学 一种基于极限学习机的密度聚类离群点检测方法
CN112328425A (zh) * 2020-12-04 2021-02-05 杭州谐云科技有限公司 一种基于机器学习的异常检测方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986625A (zh) * 2014-05-29 2014-08-13 中国科学院软件研究所 一种基于统计监测的云应用故障诊断系统
CN105677538A (zh) * 2016-01-11 2016-06-15 中国科学院软件研究所 一种基于故障预测的云计算系统自适应监测方法
CN106681791A (zh) * 2016-11-09 2017-05-17 重庆邮电大学 一种基于对称邻居关系的增量式虚拟机异常检测方法
CN107545273A (zh) * 2017-07-06 2018-01-05 北京航空航天大学 一种基于密度的局部离群点检测方法
CN110046054A (zh) * 2018-01-17 2019-07-23 中兴通讯股份有限公司 虚拟机异常检测方法、装置、设备及计算机可读存储介质
CN109471698A (zh) * 2018-10-19 2019-03-15 中国电子科技集团公司第二十八研究所 云环境下虚拟机异常行为检测系统和方法
US10509847B1 (en) * 2019-02-11 2019-12-17 Sas Institute Inc. Local outlier factor hyperparameter tuning for data outlier detection
CN111159001A (zh) * 2019-12-31 2020-05-15 青岛海尔科技有限公司 用于操作系统的检测方法及装置、服务器
CN111598165A (zh) * 2020-05-15 2020-08-28 杭州电子科技大学 一种基于极限学习机的密度聚类离群点检测方法
CN112328425A (zh) * 2020-12-04 2021-02-05 杭州谐云科技有限公司 一种基于机器学习的异常检测方法和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Application of Local Outlier FactorAlgorithm to DetectAnomalies in Computer Network;Juozas Auskalnis 等;ELEKTRONIKAIR ELEKTROTECHNIKA;第24卷(第3期);96-99 *
Outlier Detection using Isolation Forest and Local Outlier Factor;Zhangyu Cheng 等;RACS ’19;161-168 *
云虚拟机异常检测场景下改进的LOF算法;贺寰烨 等;计算机工程与应用;第56卷(第23期);80-86 *
基于动态多向局部离群因子的在线故障检测;李元 等;计算机应用研究;第34卷(第11期);3259-3261、3266 *
基于时空近邻标准化和局部离群因子的复杂过程故障检测;冯立伟 等;控制理论与应用;第37卷(第3期);651-657 *

Also Published As

Publication number Publication date
CN113191432A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN113191432B (zh) 基于离群因子的虚拟机集群的异常检测方法、设备及介质
CN112637132B (zh) 一种网络异常检测方法、装置、电子设备和存储介质
CN106919957B (zh) 处理数据的方法及装置
JP6299759B2 (ja) 予測関数作成装置、予測関数作成方法、及びプログラム
CN108804383B (zh) 基于度量空间的支撑点并行枚举方法及装置
CN109086291B (zh) 一种基于MapReduce的并行异常检测方法及系统
WO2016095068A1 (en) Pedestrian detection apparatus and method
CN111783982A (zh) 攻击样本的获取方法、装置、设备及介质
CN114169389A (zh) 一种类别扩增的目标检测模型训练方法和存储设备
CN112328880A (zh) 地理区域聚类方法、装置、存储介质和电子设备
JP6201556B2 (ja) 予測モデル学習装置、予測モデル学習方法およびコンピュータプログラム
CN114463603A (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
CN116523908B (zh) 基于卷料涂布生产线的安全生产方法、系统、设备及介质
CN111695820A (zh) 工程车辆电子联单管理方法、装置、终端及存储介质
CN116468967A (zh) 样本图像筛选方法、装置、电子设备及存储介质
CN107517474B (zh) 一种网络分析优化方法及装置
CN115861769A (zh) 塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置
CN115292303A (zh) 数据处理方法及装置
CN114330090A (zh) 一种缺陷检测方法、装置、计算机设备和存储介质
CN111722977A (zh) 系统巡检方法、装置及电子设备
CN116541252B (zh) 一种机房故障日志数据处理方法及装置
CN111199357A (zh) 一种快递点电子围栏诊断方法及装置
CN112235152B (zh) 流量大小估算方法和装置
CN115865740B (zh) 一种基于网络结构的关键链路识别方法及装置
CN110323743B (zh) 一种暂态功角稳定评估历史数据的聚类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant