CN114764598A - 一种事件聚类方法、装置、电子设备及存储介质 - Google Patents
一种事件聚类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114764598A CN114764598A CN202210440252.0A CN202210440252A CN114764598A CN 114764598 A CN114764598 A CN 114764598A CN 202210440252 A CN202210440252 A CN 202210440252A CN 114764598 A CN114764598 A CN 114764598A
- Authority
- CN
- China
- Prior art keywords
- target
- value
- event
- clustering
- singular value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种事件聚类方法、装置、电子设备及存储介质,包括:获取监控系统在预设时间段内产生的多个目标事件,将预设时间段划分成多个连续的时间桶;统计各目标事件在连续的时间桶内分别发生的目标次数,根据各目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值;采用Kmeans聚类算法,按照目标K值对多个目标事件进行聚类。本发明实施例的技术方案可以提高事件的聚类效率以及聚类结果的有效性。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种事件聚类方法、装置、电子设备及存储介质。
背景技术
目前,诸如告警、通知、警报等一系列由后台运维监控系统产生的用于告知用户关于系统当前性能指标、故障、异常状态等的系统信息统称为事件。故障是接收到一个事件的结果,一个故障可以包含一个或多个事件,事件数量一般是故障数量的几十倍以上。
为了确定事件属于的具体故障,可以采用K均值(Kmeans)聚类算法对多个事件进行聚类。在使用Kmeans聚类算法对事件进行聚类之前,需要先确定Kmeans聚类算法对应的K值。现有技术中在确定K值时,通常由用户根据实际经验或者根据事件个数等方式来确定聚类中心点的K值。
但是,现有技术中确定K值的方法存在以下缺陷:根据人工经验确定K值导致聚类效率低下,聚类方法灵活性较差且不适用于自动化运维系统;根据事件个数来确定K值的方式对事件信息利用不充分,导致聚类效果不理想。
发明内容
本发明实施例提供一种事件聚类方法、装置、电子设备及存储介质,可以提高事件的聚类效率以及聚类结果的有效性。
第一方面,本发明实施例提供了一种事件聚类方法,该方法包括:
获取监控系统在预设时间段内产生的多个目标事件,将所述预设时间段划分成多个连续的时间桶;
统计各所述目标事件在连续的时间桶内分别发生的目标次数,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值;
采用所述Kmeans聚类算法,按照所述目标K值对多个目标事件进行聚类。
可选的,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值,包括:
根据各所述目标事件对应的目标次数,构建与所述多个目标事件对应的目标数据矩阵;
对所述目标数据矩阵进行奇异值分解,得到与所述目标数据矩阵对应的多个奇异值;
根据所述多个奇异值,确定Kmeans聚类算法中聚类中心点对应的目标K值。
可选的,根据所述多个奇异值,确定Kmeans聚类算法中聚类中心点对应的目标K值,包括:
将所述多个奇异值按照数值由大到小的顺序进行排列,得到奇异值数据集;
在所述奇异值数据集中依次获取一个奇异值作为当前奇异值;
对当前奇异值进行逐个累加得到当前累加值,根据所述当前累加值,以及当前奇异值在所述奇异值数据集中的排列次序,判断当前奇异值是否满足预设条件;
若是,则根据当前奇异值在所述奇异值数据集中的排列次序,确定Kmeans聚类算法中聚类中心点对应的目标K值;
若否,则返回执行在所述奇异值数据集中依次获取一个奇异值作为当前奇异值的操作,直至当前奇异值满足预设条件为止。
可选的,根据所述当前累加值,以及当前奇异值在所述奇异值数据集中的排列次序,判断当前奇异值是否满足预设条件,包括:
判断所述当前奇异值在所述奇异值数据集中的排列次序,是否小于或等于K值上限值;
若是,则计算当前累加值与全部奇异值累加值之间的比值,如果所述比值大于预设能量阈值,则确定当前奇异值满足预设条件;
若否,则确定当前奇异值满足预设条件。
可选的,根据当前奇异值在所述奇异值数据集中的排列次序,确定Kmeans聚类算法中聚类中心点对应的目标K值,包括:
如果当前奇异值在所述奇异值数据集中的排列次序,小于或等于K值上限值,则将当前奇异值在所述奇异值数据集中的排列次序,作为Kmeans聚类算法中聚类中心点对应的目标K值;
如果当前奇异值在所述奇异值数据集中的排列次序,大于K值上限值,则将所述K值上限值,作为Kmeans聚类算法中聚类中心点对应的目标K值。
可选的,获取监控系统在预设时间段内产生的多个目标事件,包括:
获取所述监控系统在预设时间段内产生的多个原始事件,在各原始事件对应的多个事件属性中筛选目标属性;
将各所述原始事件对应的目标属性进行对比,根据对比结果将多个原始事件划分为多个目标事件。
第二方面,本发明实施例还提供了一种事件聚类装置,该装置包括:
事件获取模块,用于获取监控系统在预设时间段内产生的多个目标事件,将所述预设时间段划分成多个连续的时间桶;
次数统计模块,用于统计各所述目标事件在连续的时间桶内分别发生的目标次数,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值;
聚类模块,用于统计各所述目标事件在连续的时间桶内分别发生的目标次数,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值。
第三方面,本发明实施例还提供了一种电子设备,该电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器执行所述程序时实现本发明任意实施例提供的事件聚类方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,该程序被处理器执行时实现本发明任意实施例提供的事件聚类方法。
第五方面,本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现本发明任意实施例提供的事件聚类方法。
本发明实施例的技术方案通过获取监控系统在预设时间段内产生的多个目标事件,将预设时间段划分成多个连续的时间桶,统计各目标事件在连续的时间桶内分别发生的目标次数,根据各目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值,采用Kmeans聚类算法按照目标K值对多个目标事件进行聚类的技术手段,可以提高事件的聚类效率以及聚类结果的有效性。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种事件聚类方法的流程图;
图2是根据本发明实施例二提供的一种事件聚类方法的流程图;
图3是根据本发明实施例三提供的一种事件聚类方法的流程图;
图4是根据本发明实施例四提供的一种事件聚类装置的结构示意图;
图5是实现本发明实施例的事件聚类方法的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种事件聚类方法的流程图,本实施例可适用于对监控系统产生的事件进行聚类的情况,该方法可以由事件聚类装置来执行。所述事件聚类装置可以由软件和/或硬件来实现,一般可以集成在具有数据处理功能的电子设备(例如终端或者服务器)中,具体包括如下步骤:
步骤110、获取监控系统在预设时间段内产生的多个目标事件,将所述预设时间段划分成多个连续的时间桶。
在本实施例中,所述监控系统可以为计算机设备对应的后台运维监控系统,所述目标事件可以为等待进行聚类的事件。可选的,获取到监控系统在预设时间段内产生的多个目标事件后,可以按照预设的时间桶长度,将所述时间段划分成多个连续的时间桶。
步骤120、统计各所述目标事件在连续的时间桶内分别发生的目标次数,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值。
在本实施例中,可以根据各目标事件对应的时间戳,对各目标事件在连续的时间桶内分别发生的目标次数进行统计,然后根据目标次数的统计结果,确定各所述目标事件之间的相关程度,并根据各所述目标事件之间的相关程度,确定Kmeans聚类算法中聚类中心点对应的目标K值。
在一个具体的实施例中,可选的,假设事件A在连续的时间桶内分别发生的目标次数,与事件B在连续的时间桶内分别发生的目标次数相近,则可以认为事件A与事件B之间的相关程度较强。假设监控系统在预设时间段内产生4个目标事件,分别为事件A、事件B、事件C与事件D,根据目标次数的统计结果确定事件A与事件B之间的相关程度较强,事件C与事件D之间的相关程度较强,则可以认为上述目标事件可以分为两类,也即目标K值可以设置为2。
步骤130、采用所述Kmeans聚类算法,按照所述目标K值对多个目标事件进行聚类。
在本实施例中,通过利用目标事件的时间戳信息,可以自动计算聚类中心点的K值,一方面可以避免现有技术中人工确定K值导致聚类效率低下,聚类方法灵活性较差的问题;另一方面通过利用事件的时间序列信息,可以提高事件聚类结果的有效性。
本发明实施例的技术方案通过获取监控系统在预设时间段内产生的多个目标事件,将预设时间段划分成多个连续的时间桶,统计各目标事件在连续的时间桶内分别发生的目标次数,根据各目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值,采用Kmeans聚类算法按照目标K值对多个目标事件进行聚类的技术手段,可以提高事件的聚类效率以及聚类结果的有效性。
实施例二
本实施例是对上述实施例的进一步细化,与上述实施例相同或相应的术语解释,本实施例不再赘述。图2为本实施例二提供的一种事件聚类方法的流程图,在本实施例中,本实施例的技术方案可以与上述实施例的方案中的一种或者多种方法进行组合,如图2所示,本实施例提供的方法还可以包括:
步骤210、获取所述监控系统在预设时间段内产生的多个原始事件,在各原始事件对应的多个事件属性中筛选目标属性。
在本实施例中,所述原始事件可以为监控系统在预设时间段内产生的、未经处理的事件。在获取到多个原始事件后,可以根据预先制定的属性规则,在原始事件对应的多个事件属性中筛选目标属性。
在一个具体的实施例中,所述原始事件可以对应多个事件属性,例如时间戳、告警严重级别、事件类型以及标签等。可选的,可以将事件属性中除了时间戳和告警严重级别以外的其他属性作为目标属性。
步骤220、将各所述原始事件对应的目标属性进行对比,根据对比结果将多个原始事件划分为多个目标事件。
在本实施例中,可选的,可以将目标属性一致的多个原始事件标记为一个唯一的目标事件。具体的,如果两个原始事件对应的事件属性中,除了时间戳和告警严重级别以外的其他属性均相同,则可以将这两个原始事件标记为同一个目标事件。
这样设置的好处在于,通过按照目标属性将大量原始事件进行划分,可以减少后期事件聚类过程的工作量,由此可以提高事件的聚类效率。
步骤230、将所述预设时间段划分成多个连续的时间桶。
步骤240、统计各所述目标事件在连续的时间桶内分别发生的目标次数。
步骤250、根据各所述目标事件对应的目标次数,构建与所述多个目标事件对应的目标数据矩阵。
在一个具体的实施例中,假设获取到监控系统在1个小时内发生的4个目标事件,分别为事件1、事件2、事件3和事件4。预设的时间桶长度为12分钟,则可以将1小时划分成5个连续的时间桶。其中,如果事件1出现的时间点为第3、8、14、18、21、27、37、41、49、53分钟;事件2出现的时间点为第2、5、9、13、15、19、39、41、52分钟;事件3出现的时间点为第14、25、27、28、33、39、44、54分钟;事件4出现的时间点为第7、17、21、51、56分钟,则上述4个目标事件在5个连续的时间桶内分别发生的目标次数可以如表1所示:
表1
时间桶1 | 时间桶2 | 时间桶3 | 时间桶4 | 时间桶5 | |
事件1 | 2 | 3 | 1 | 2 | 2 |
事件2 | 3 | 3 | 0 | 2 | 1 |
事件3 | 0 | 1 | 4 | 2 | 1 |
事件4 | 1 | 2 | 0 | 0 | 2 |
根据表1可以构建与上述4个目标事件对应的目标数据矩阵M,其中:
步骤260、对所述目标数据矩阵进行奇异值分解,得到与所述目标数据矩阵对应的多个奇异值。
在本实施例中,具体的,可以根据下述公式对目标数据矩阵M进行奇异值分解:
M=U∑V
其中,假设目标数据矩阵M的行数为m,列数为n,U为m×m阶酉矩阵,∑为半正定m×n阶对角矩阵,V是n×n阶酉矩阵。∑矩阵对角线上的元素∑i即为目标数据矩阵的奇异值。
步骤270、根据所述多个奇异值,确定Kmeans聚类算法中聚类中心点对应的目标K值。
在本实施例中,可选的,可以对目标数据矩阵对应的多个奇异值进行线性处理,然后根据处理结果确定Kmeans聚类算法中聚类中心点对应的目标K值。
这样设置的好处在于,通过对目标数据矩阵进行奇异值分解,可以在低维空间中寻找最接近目标数据矩阵的数据特征,由此可以保证K值计算结果的可靠性,提高事件聚类的效果。
步骤280、采用所述Kmeans聚类算法,按照所述目标K值对多个目标事件进行聚类。
本发明实施例的技术方案通过获取监控系统在预设时间段内产生的多个原始事件,在各原始事件对应的多个事件属性中筛选目标属性,将各原始事件对应的目标属性进行对比,根据对比结果将多个原始事件划分为多个目标事件,将预设时间段划分成多个连续的时间桶,统计各目标事件在连续的时间桶内分别发生的目标次数,根据各目标事件对应的目标次数构建目标数据矩阵,对目标数据矩阵进行奇异值分解得到多个奇异值,根据多个奇异值确定目标K值,采用Kmeans聚类算法,按照目标K值对多个目标事件进行聚类的技术手段,可以提高事件的聚类效率以及聚类结果的有效性。
实施例三
本实施例是对上述实施例的进一步细化,与上述实施例相同或相应的术语解释,本实施例不再赘述。图3为本实施例三提供的一种事件聚类方法的流程图,在本实施例中,本实施例的技术方案可以与上述实施例的方案中的一种或者多种方法进行组合,如图3所示,本实施例提供的方法还可以包括:
步骤310、获取监控系统在预设时间段内产生的多个目标事件,将所述预设时间段划分成多个连续的时间桶。
步骤320、统计各所述目标事件在连续的时间桶内分别发生的目标次数。
步骤330、根据各所述目标事件对应的目标次数,构建与所述多个目标事件对应的目标数据矩阵。
步骤340、对所述目标数据矩阵进行奇异值分解,得到与所述目标数据矩阵对应的多个奇异值。
步骤350、将所述多个奇异值按照数值由大到小的顺序进行排列,得到奇异值数据集。
在此步骤中,可以将多个奇异值按照数值由大到小的顺序进行排列,并将排列后的多个奇异值作为奇异值数据集。
步骤360、在所述奇异值数据集中依次获取一个奇异值作为当前奇异值。
步骤370、对当前奇异值进行逐个累加得到当前累加值,根据所述当前累加值,以及当前奇异值在所述奇异值数据集中的排列次序,判断当前奇异值是否满足预设条件,若是,执行步骤380,若否,返回执行步骤360中在奇异值数据集中依次获取一个奇异值作为当前奇异值的操作,直至当前奇异值满足预设条件为止。
在本实施例中,可选的,可以将当前累加值,以及当前奇异值在奇异值数据集中的排列次序,分别与预设的阈值进行比较,根据比较结果判断当前奇异值是否满足预设条件。
在本实施例的一个实施方式中,根据所述当前累加值,以及当前奇异值在所述奇异值数据集中的排列次序,判断当前奇异值是否满足预设条件,包括:判断当前奇异值在所述奇异值数据集中的排列次序,是否小于或等于K值上限值;若是,则计算当前累加值与全部奇异值累加值之间的比值,如果所述比值大于预设能量阈值,则确定当前奇异值满足预设条件;若否,则确定当前奇异值满足预设条件。其中,所述全部奇异值累加值可以为全部奇异值的总和。
在一个具体的实施例中,用户可以预先设定Kmeans聚类算法中K值的上限值Kmax和能量阈值threshold。如果当前奇异值的排列次序小于或等于Kmax,并且当前累加值与全部奇异值累加值之间的比值大于threshold,则确定当前奇异值满足预设条件;如果当前奇异值的排列次序小于或等于Kmax,但是当前累加值与全部奇异值累加值之间的比值小于或等于threshold,则确定当前奇异值不满足预设条件。
在另一个具体的实施例中,如果当前奇异值的排列次序大于Kmax,则确定当前奇异值满足预设条件。
步骤380、根据当前奇异值在所述奇异值数据集中的排列次序,确定Kmeans聚类算法中聚类中心点对应的目标K值。
在本实施例的一个实施方式中,根据当前奇异值在所述奇异值数据集中的排列次序,确定Kmeans聚类算法中聚类中心点对应的目标K值,包括:
如果当前奇异值在所述奇异值数据集中的排列次序,小于或等于K值上限值,则将当前奇异值在所述奇异值数据集中的排列次序,作为Kmeans聚类算法中聚类中心点对应的目标K值;
如果当前奇异值在所述奇异值数据集中的排列次序,大于K值上限值,则将所述K值上限值,作为Kmeans聚类算法中聚类中心点对应的目标K值。
这样设置的好处在于,通过预先设置能量阈值threshold和Kmax,可以有效避免聚类中心点个数过多导致聚类效果不理想的问题,由此可以提高聚类结果的有效性。
在一个具体的实施例中,假设能量阈值threshold为0.95,Kmax为200,目标数据矩阵M经过奇异值分解后得到的奇异值为7.5314、4.0209、1.7345和0.3162。其中,全部奇异值累加值S为13.603,由于:
(7.5314+4.0209+1.7345)/13.603>0.95
因此,通过上述方法确定的目标K值可以为3。
步骤390、采用所述Kmeans聚类算法,按照所述目标K值对多个目标事件进行聚类。
本发明实施例的技术方案通过获取监控系统在预设时间段内产生的多个目标事件,统计各目标事件在连续的时间桶内分别发生的目标次数,根据各目标事件对应的目标次数构建目标数据矩阵,对目标数据矩阵进行奇异值分解得到多个奇异值,将多个奇异值按照数值由大到小的顺序进行排列得到奇异值数据集,在奇异值数据集中依次获取一个奇异值作为当前奇异值,对当前奇异值进行逐个累加得到当前累加值,根据当前累加值以及当前奇异值的排列次序,判断当前奇异值是否满足预设条件,若是,则根据当前奇异值的排列次序确定目标K值,采用Kmeans聚类算法按照目标K值对多个目标事件进行聚类的技术手段,可以提高事件的聚类效率以及聚类结果的有效性。
实施例四
图4为本发明实施例四提供的一种事件聚类装置的结构示意图,如图4所示,该装置包括:事件获取模块410、次数统计模块420和聚类模块430。
其中,事件获取模块410,用于获取监控系统在预设时间段内产生的多个目标事件,将所述预设时间段划分成多个连续的时间桶;
次数统计模块420,用于统计各所述目标事件在连续的时间桶内分别发生的目标次数,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值;
聚类模块430,用于统计各所述目标事件在连续的时间桶内分别发生的目标次数,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值。
本发明实施例提供的技术方案,通过获取监控系统在预设时间段内产生的多个目标事件,将预设时间段划分成多个连续的时间桶,统计各目标事件在连续的时间桶内分别发生的目标次数,根据各目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值,采用Kmeans聚类算法按照目标K值对多个目标事件进行聚类的技术手段,可以提高事件的聚类效率以及聚类结果的有效性。
在上述实施例的基础上,所述事件获取模块410包括:
属性筛选单元,用于获取所述监控系统在预设时间段内产生的多个原始事件,在各原始事件对应的多个事件属性中筛选目标属性;
属性对比单元,用于将各所述原始事件对应的目标属性进行对比,根据对比结果将多个原始事件划分为多个目标事件。
所述次数统计模块420包括:
矩阵构建单元,用于根据各所述目标事件对应的目标次数,构建与所述多个目标事件对应的目标数据矩阵;
矩阵处理单元,用于对所述目标数据矩阵进行奇异值分解,得到与所述目标数据矩阵对应的多个奇异值;
奇异值处理单元,用于根据所述多个奇异值,确定Kmeans聚类算法中聚类中心点对应的目标K值;
奇异值排列单元,用于将所述多个奇异值按照数值由大到小的顺序进行排列,得到奇异值数据集;
奇异值获取单元,用于在所述奇异值数据集中依次获取一个奇异值作为当前奇异值;
奇异值累加单元,用于对当前奇异值进行逐个累加得到当前累加值,根据所述当前累加值,以及当前奇异值在所述奇异值数据集中的排列次序,判断当前奇异值是否满足预设条件;
K值确定单元,用于当前奇异值满足预设条件时,根据当前奇异值在所述奇异值数据集中的排列次序,确定Kmeans聚类算法中聚类中心点对应的目标K值;
返回执行单元,用于当前奇异值不满足预设条件时,返回执行在所述奇异值数据集中依次获取一个奇异值作为当前奇异值的操作,直至当前奇异值满足预设条件为止;
次序判断单元,用于判断所述当前奇异值在所述奇异值数据集中的排列次序,是否小于或等于K值上限值;
比值计算单元,用于当前奇异值在所述奇异值数据集中的排列次序小于或等于K值上限值时,计算当前累加值与全部奇异值累加值之间的比值,如果所述比值大于预设能量阈值,则确定当前奇异值满足预设条件;
条件确定单元,用于当前奇异值在所述奇异值数据集中的排列次序大于K值上限值时,则确定当前奇异值满足预设条件;
次序处理单元,用于如果当前奇异值在所述奇异值数据集中的排列次序,小于或等于K值上限值,则将当前奇异值在所述奇异值数据集中的排列次序,作为Kmeans聚类算法中聚类中心点对应的目标K值;
上限值处理单元,用于如果当前奇异值在所述奇异值数据集中的排列次序,大于K值上限值,则将所述K值上限值,作为Kmeans聚类算法中聚类中心点对应的目标K值。
上述装置可执行本发明前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本发明实施例中详尽描述的技术细节,可参见本发明前述所有实施例所提供的方法。
实施例五
图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如事件聚类方法。
在一些实施例中,事件聚类方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的事件聚类方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行事件聚类方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种事件聚类方法,其特征在于,所述方法包括:
获取监控系统在预设时间段内产生的多个目标事件,将所述预设时间段划分成多个连续的时间桶;
统计各所述目标事件在连续的时间桶内分别发生的目标次数,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值;
采用所述Kmeans聚类算法,按照所述目标K值对多个目标事件进行聚类。
2.根据权利要求1所述方法,其特征在于,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值,包括:
根据各所述目标事件对应的目标次数,构建与所述多个目标事件对应的目标数据矩阵;
对所述目标数据矩阵进行奇异值分解,得到与所述目标数据矩阵对应的多个奇异值;
根据所述多个奇异值,确定Kmeans聚类算法中聚类中心点对应的目标K值。
3.根据权利要求2所述的方法,其特征在于,根据所述多个奇异值,确定Kmeans聚类算法中聚类中心点对应的目标K值,包括:
将所述多个奇异值按照数值由大到小的顺序进行排列,得到奇异值数据集;
在所述奇异值数据集中依次获取一个奇异值作为当前奇异值;
对当前奇异值进行逐个累加得到当前累加值,根据所述当前累加值,以及当前奇异值在所述奇异值数据集中的排列次序,判断当前奇异值是否满足预设条件;
若是,则根据当前奇异值在所述奇异值数据集中的排列次序,确定Kmeans聚类算法中聚类中心点对应的目标K值;
若否,则返回执行在所述奇异值数据集中依次获取一个奇异值作为当前奇异值的操作,直至当前奇异值满足预设条件为止。
4.根据权利要求3所述的方法,其特征在于,根据所述当前累加值,以及当前奇异值在所述奇异值数据集中的排列次序,判断当前奇异值是否满足预设条件,包括:
判断所述当前奇异值在所述奇异值数据集中的排列次序,是否小于或等于K值上限值;
若是,则计算当前累加值与全部奇异值累加值之间的比值,如果所述比值大于预设能量阈值,则确定当前奇异值满足预设条件;
若否,则确定当前奇异值满足预设条件。
5.根据权利要求3所述方法,其特征在于,根据当前奇异值在所述奇异值数据集中的排列次序,确定Kmeans聚类算法中聚类中心点对应的目标K值,包括:
如果当前奇异值在所述奇异值数据集中的排列次序,小于或等于K值上限值,则将当前奇异值在所述奇异值数据集中的排列次序,作为Kmeans聚类算法中聚类中心点对应的目标K值;
如果当前奇异值在所述奇异值数据集中的排列次序,大于K值上限值,则将所述K值上限值,作为Kmeans聚类算法中聚类中心点对应的目标K值。
6.根据权利要求1所述的方法,其特征在于,获取监控系统在预设时间段内产生的多个目标事件,包括:
获取所述监控系统在预设时间段内产生的多个原始事件,在各原始事件对应的多个事件属性中筛选目标属性;
将各所述原始事件对应的目标属性进行对比,根据对比结果将多个原始事件划分为多个目标事件。
7.一种事件聚类装置,其特征在于,所述装置包括:
事件获取模块,用于获取监控系统在预设时间段内产生的多个目标事件,将所述预设时间段划分成多个连续的时间桶;
次数统计模块,用于统计各所述目标事件在连续的时间桶内分别发生的目标次数,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值;
聚类模块,用于统计各所述目标事件在连续的时间桶内分别发生的目标次数,根据各所述目标事件对应的目标次数,确定Kmeans聚类算法中聚类中心点对应的目标K值。
8.一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器执行所述程序时实现如权利要求1-6中任一所述的事件聚类方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的事件聚类方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的事件聚类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210440252.0A CN114764598A (zh) | 2022-04-25 | 2022-04-25 | 一种事件聚类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210440252.0A CN114764598A (zh) | 2022-04-25 | 2022-04-25 | 一种事件聚类方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114764598A true CN114764598A (zh) | 2022-07-19 |
Family
ID=82364831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210440252.0A Pending CN114764598A (zh) | 2022-04-25 | 2022-04-25 | 一种事件聚类方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114764598A (zh) |
-
2022
- 2022-04-25 CN CN202210440252.0A patent/CN114764598A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110708204B (zh) | 一种基于运维知识库的异常处理方法、系统、终端及介质 | |
CN116049146B (zh) | 一种数据库故障处理方法、装置、设备及存储介质 | |
CN115794578A (zh) | 一种电力系统的数据管理方法、装置、设备及介质 | |
CN115328733A (zh) | 应用于业务系统的告警方法、装置、电子设备及存储介质 | |
CN115033463A (zh) | 一种系统异常类型确定方法、装置、设备和存储介质 | |
CN114416685A (zh) | 日志处理方法、系统和存储介质 | |
CN113592337A (zh) | 故障处理方法、装置、电子设备及存储介质 | |
CN115686910A (zh) | 一种故障分析方法、装置、电子设备及介质 | |
CN114547069A (zh) | 数据查询方法、装置、电子设备以及存储介质 | |
CN116668264A (zh) | 一种告警聚类的根因分析方法、装置、设备及存储介质 | |
CN114764598A (zh) | 一种事件聚类方法、装置、电子设备及存储介质 | |
CN116303524A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN115146986A (zh) | 一种数据中心设备维护方法、装置、设备和存储介质 | |
CN115129538A (zh) | 一种事件处理方法、装置、设备及介质 | |
CN116185765B (zh) | 一种告警处理方法、装置、电子设备及存储介质 | |
CN114513441B (zh) | 基于区块链的系统维护方法、装置、设备及存储介质 | |
CN117608896A (zh) | 交易数据处理方法、装置、电子设备及存储介质 | |
CN117670363A (zh) | 一种预警方法、装置、设备及存储介质 | |
CN117690277A (zh) | 阈值确定方法、装置、设备及存储介质 | |
CN117033148A (zh) | 风险业务接口的告警方法、装置、电子设备和介质 | |
CN118170606A (zh) | 一种日志数据检测方法、装置、电子设备及存储介质 | |
CN115840645A (zh) | 预测负载指标的方法、装置、存储介质以及电子设备 | |
CN117217599A (zh) | 配电网设备的评价方法、装置、电子设备及存储介质 | |
CN117632617A (zh) | 确定混沌实验处置方式的方法、装置、设备及介质 | |
CN116304796A (zh) | 一种数据分类方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |