CN113673573A - 一种基于自适应集成随机模糊分类的异常检测方法 - Google Patents

Abstract

本发明公开了一种基于自适应集成随机模糊分类的异常检测方法。所述方法包括以下步骤：采用平衡下采样方法，对数据块进行多次随机下采样，生成多个随机采样子集；采用基于规则的自组织模糊逻辑分类方法，通过对随机采样子集进行学习，建立起模糊逻辑规则以形成多个随机模糊分类组件，并采样加权投票机制进行输出；采用动态加权算法与随机模糊分类组件结合，根据随机模糊分类组件的分类性能赋予权重，并实现组件权重的迭代更新；通过事先设定的阈值，来动态的实现随机模糊分类组件的增减，最终形成自适应的集成随机模糊分类模型；集成随机模糊分类模型采用加权投票机制将最终的预测结果进行输出。本发明提升了模型在处理异常检测问题的效率。

Description

一种基于自适应集成随机模糊分类的异常检测方法

技术领域

本发明属于计算机云计算领域，具体涉及一种基于自适应集成随机模糊分类的异常检测方法。

背景技术

随着5G、物联网以及人工智能技术的不断发展，信息工业正在深刻地影响社会的各个方面。云计算作为现代信息工业的重要基础措施，已经被广泛应用于科学研究、医疗健康、金融创新等前沿发展领域。云计算是现代信息工业的重要基础措施。为了能够更好地满足用户对稳定计算资源的需求，高可用性和高可靠性成为云计算系统的必然要求。然而，由于业务场景的多样性，复杂的系统架构等一系列因素导致出现故障。同时，还会造成云服务厂商和用户的巨大经济损失。因此，面向云计算的异常检测不仅能帮助运维人员及时发现异常并采取合适的恢复处理措施，而且对于实现云计算系统的容错具有至关重要的作用(P.Zhang,S.Shu,and M.Zhou,“Adaptive and dynamic adjustment of fault detectioncycles in cloud computing,”IEEE Transactions on Industrial Informatics,vol.17,no.1,pp.20–30,2019.)。

在云计算场景中，异常可以定义为：由故障所造成的一种偏离正常系统运行的状态。异常是系统故障的一种具体表现，通常被视为系统危险运行的预警。根据异常发生的位置，又分为与系统硬件关联的异常(如磁盘损坏、网络中断、内存泄漏等)和与系统软件关联的异常(如软件错误、配置错误等)。云计算系统中的数据主要具有以下的特征：1)数据样本量大且样本具有多个特征维度；2)数据具有连续性，且不能被一次性获取；3)数据的分布会发生变化，呈现动态性；4)数据中异常样本的数量很少，使得样本类别严重不平衡。因此，对云计算系统下的数据进行异常检测是富有挑战性的工作。尽管已有一些研究人员提出了云计算环境中的一些异常检测模型，但是他们没有考虑到云计算环境中数据特征的连续性、动态性和不平衡性，而且模型在数据分布发生变化时，不能自适应地调整，导致异常检测的准确性和及时性低(W.Haider,J.Hu,Y.Xie,X.Yu,and Q.Wu,“Detecting anomalousbehavior in cloud servers by nested-arc hidden semi-markov model with statesummarization,”IEEE Transactions on Big Data,vol.5,no.3,pp.305–316,2017.)。此外，为了提高检测的精度，减少检测的时间，因此需要在异常检测过程中对模型进行优化。

发明内容

本发明的目的在于提供一种基于自适应集成随机模糊分类的异常检测方法。

本发明的目的至少通过如下技术方案之一实现。

一种基于自适应集成随机模糊分类的异常检测方法，包括以下步骤：

S1、采用平衡下采样方法，对数据块进行多次随机下采样，生成多个随机采样子集；

S2、采用基于规则的自组织模糊逻辑分类方法，通过对随机采样子集进行学习，建立起模糊逻辑规则以形成多个随机模糊分类组件，并采样加权投票机制进行输出；

S3、采用动态加权算法与随机模糊分类组件结合，根据随机模糊分类组件的分类性能赋予权重，并实现组件权重的迭代更新；通过事先设定的阈值，来动态的实现随机模糊分类组件的增减，最终形成自适应的集成随机模糊分类模型；

S4、集成随机模糊分类模型采用加权投票机制将最终的预测结果进行输出。

进一步地，步骤S1具体包括如下步骤：

首先在训练阶段，对数据集进行分块，分成M个数据块，然后将每个数据块中的数据分为两类，样本数目多的类别为多数类，样本数量少的类别为少数类，分别计算多数类和少数类中样本的数量；然后从多数类的样本中进行T次随机采样，每次采样的多数类的样本数量与少数类的样本数量相等；将随机采样T次后多数类的样本分别与少数类的样本相结合，生成T个随机采样子集；随机采样T次后如果当前数据块中多数类的样本数少于3，则将当前数据块添加到下一个数据块中。

进一步地，步骤S2中，基于规则的自组织模糊逻辑分类是一种基于经验数据分析计算框架和自主数据驱动的聚类技术的分类方法，通过学习数据特征，从每个类别的数据样本中确定数据原型，从而建立0-order AnYa型模糊规则系统，最终使用规则对输入的样本数据输出分类结果；

0-order AnYa型模糊规则系统具体如下：

IF(x～p₁)OR(x～p₂)OR…OR(x～p_N)THEN(class)； (1)

x为随机采样子集中的样本；～表示相似性；p_j′表示为样本x所属类别的第j′个数据原型(Prototype)，j′＝1,2,…,N，N为样本x所属类别中数据原型的数目。

进一步地，数据原型的确定过程如下：

首先，计算数据样本的累积邻近度，具体如下：

其中，x_i表示为第i个数据样本；x_j表示为第j个数据样本；d(x_i,x_j)表示为数据样本x_i和数据样本x_j之间的欧式距离；π_K(x_i)表示为数据样本x_i的累积邻近度；K为正整数，表示为数据样本的个数；

计算数据样本的单峰密度，具体如下：

其中，D_K(x_i)表示为数据样本x_i的单峰密度；x_j表示为第j个数据样本；x_l表示为第l个数据样本；

当一个数据样本多次出现时的密度为多峰密度，表达式如下所示：

其中，

表示为样本u_i′的多峰密度；u_i′表示为第i′个不同的数据样本，f_i′表示为不同的数据样本u_i′出现的次数；U_K为正整数，表示为不同数据样本的个数；

然后，按照多峰密度的大小进行排序，通过与前后数据样本的多峰密度的大小进行比较，确定局部多峰密度最大的数据样本r_i′，然后根据局部多峰密度最大的数据样本r_i′来确定数据原型，具体方法如下：

r_i′表示为多峰密度最大的数据样本；

表示为r_i′的多峰密度；{p}₀为数据原型，即为多峰密度的局部最大值序列。

进一步地，对于测试数据样本x′，每个AnYa类型的模糊规则将具有由本地决策者给出的触发强度，触发强度以λ^c(x′)表示，c＝1,2,…,C，其确定如下：

其中，p为数据原型；c为测试数据样本x′所属的类别；C为正整数，表示为类别c的数目；{p}^c为测试数据样本x′所属类别c中的数据原型；

基于模糊规则对应的触发强度(每个规则对应一个触发强度)，测试数据样本x′的标签确定原则如下所示：

通过对随机采样子集进行特征学习，找到随机采样子集中的数据样本对应类别的数据原型，建立基于规则的模糊系统，使得每个数据块都生成T个自组织的基于规则模糊子分类器h_t；最终，通过公式(8)采用多数投票的机制输出多个子分类器决策的结果：

其中，H(x′)表示为测试数据样本x′的输出类别。

进一步地，步骤S3中，在时间戳为t′时，当前的集成随机模糊分类模型H^(t′)包括m个由基于规则的自组织模糊逻辑分类方法在时间戳为1到t′的数据块上训练而成的基于规则模糊子分类器，每一个基于规则模糊子分类器的初始权重设置为1；

根据在每个时间戳对应的数据块上的分类性能进行迭代更新基于规则模糊子分类器的权重，具体如下所示：

表示在时间戳t′时第s个基于规则模糊子分类器的权重，s＝1,2,…,m；

表示第s个基于规则模糊子分类器在时间戳t时的数据块上的测试误差；当基于规则模糊子分类器的权重小于阈值θ时，将从集成随机模糊分类模型H^(t′)里移除该基于规则模糊子分类器，最终形成自适应的集成随机模糊分类模型。

进一步地，步骤S4中，集成随机模糊分类模型通过公式(10)采用加权投票机制将最终的预测结果进行输出：

其中，

表示时间戳t′对应的训练数据x′所对应的第s个基于规则模糊子分类器，

表示为加权投票后最大权重值所对应的分类结果。

与现有技术相比，本发明具有如下的优点与技术效果：

1.提出了一种基于模糊规则的随机模糊分类方法，通过使用平衡下采样的方法生成随机模糊分类组件，解决了云计算环境中异常样本少导致的异常检测困难的问题。而传统的异常检测方法往往是采用静态的异常检测模型，并且忽略了云计算环境中数据的不平衡问题。

2.提出的基于自适应的集成随机模糊分类模型，通过将可理解的自组织非参数模糊逻辑与动态加权算法相结合，这可以让基础学习器的解决方案更加多样化，从而克服了传统异常检测算法在性能上的局限性，并提升了整个模型的泛化能力。

3.所提出的基于自适应的集成随机模糊分类模型，该方法从数据流不平衡分类的角度出发，采用基于数据块的训练方式，降低了模型的训练时间，提升了模型在处理异常检测问题的效率。

附图说明

图1为本发明方法的具体实施例中基于自适应集成随机模糊分类的异常检测方法的框架示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图，进行对本发明的具体实施进行详细说明，但本发明的实施和保护不限于此。

实施例：

一种基于自适应集成随机模糊分类的异常检测方法，如图1所示，包括以下步骤：

S1、采用平衡下采样方法，对数据块进行多次随机下采样，生成多个随机采样子集，具体包括如下步骤：

首先在训练阶段，对数据集进行分块，分成M个数据块，本实施例中，M设置为50；然后将每个数据块中的数据分为两类，样本数目多的类别为多数类，样本数量少的类别为少数类，分别计算多数类和少数类中样本的数量；然后从多数类的样本中进行T次随机采样，每次采样的多数类的样本数量与少数类的样本数量相等；将随机采样T次后多数类的样本分别与少数类的样本相结合，生成T个随机采样子集；随机采样T次后如果当前数据块中多数类的样本数少于3，则将当前数据块添加到下一个数据块中。

S2、采用基于规则的自组织模糊逻辑分类方法，通过对随机采样子集进行学习，建立起模糊逻辑规则以形成多个随机模糊分类组件，并采样加权投票机制进行输出；

基于规则的自组织模糊逻辑分类是一种基于经验数据分析计算框架和自主数据驱动的聚类技术的分类方法，通过学习数据特征，从每个类别的数据样本中确定数据原型，从而建立0-order AnYa型模糊规则系统，最终使用规则对输入的样本数据输出分类结果；

0-order AnYa型模糊规则系统具体如下：

IF(x～p₁)OR(x～p₂)OR…OR(x～p_N)THEN(class)； (1)

x为随机采样子集中的样本；～表示相似性；p_j′表示为样本x所属类别的第j′个数据原型(Prototype)，j′＝1,2,…,N，N为样本x所属类别中数据原型的数目。

数据原型的确定过程如下：

首先，计算数据样本的累积邻近度，具体如下：

其中，x_i表示为第i个数据样本；x_j表示为第j个数据样本；d(x_i,x_j)表示为数据样本x_i和数据样本x_j之间的欧式距离；π_K(x_i)表示为数据样本x_i的累积邻近度；K为正整数，表示为数据样本的个数；

计算数据样本的单峰密度，具体如下：

其中，D_K(x_i)表示为数据样本x_i的单峰密度；x_l表示为第l个数据样本；

当一个数据样本多次出现时的密度为多峰密度，表达式如下所示：

其中，

表示为样本u_i′的多峰密度；u_i′表示为第i′个不同的数据样本，f_i′表示为不同的数据样本u_i′出现的次数；U_K为正整数，表示为不同数据样本的个数；然后，按照多峰密度的大小进行排序，通过与前后数据样本的多峰密度的大小进行比较，确定局部多峰密度最大的数据样本r_i′，然后根据局部多峰密度最大的数据样本r_i′来确定数据原型，具体方法如下：

r_i′表示为多峰密度最大的数据样本；

表示为r_i′的多峰密度；{p}₀为数据原型，即为多峰密度的局部最大值序列。

对于测试数据样本x′，每个AnYa类型的模糊规则将具有由本地决策者给出的触发强度，触发强度以λ^c(x′)表示，c＝1,2,…,C，其确定如下：

其中，p为数据原型；c为测试数据样本x′所属的类别；C为正整数，表示为类别c的数目；{p}^c为测试数据样本x′所属类别c中的数据原型；

基于模糊规则对应的触发强度，测试数据样本x′的标签确定原则如下所示：

通过对随机采样子集进行特征学习，找到随机采样子集中的数据样本对应类别的数据原型，建立基于规则的模糊系统，使得每个数据块都生成T个自组织的基于规则模糊子分类器h_t，本实施例中，T设置为10；最终，通过公式(8)采用多数投票的机制输出多个子分类器决策的结果：

其中，H(x′)表示为测试数据样本x′的输出类别；

S3、采用动态加权算法与随机模糊分类组件结合，根据随机模糊分类组件的分类性能赋予权重，并实现组件权重的迭代更新；通过事先设定的阈值，来动态的实现随机模糊分类组件的增减，最终形成自适应的集成随机模糊分类模型；

在时间戳为t′时，当前的集成随机模糊分类模型H^(t′)包括m个由基于规则的自组织模糊逻辑分类方法在时间戳为1到t′的数据块上训练而成的基于规则模糊子分类器，每一个基于规则模糊子分类器的初始权重设置为1；

由于数据环境的动态性，为了更好的衡量每个基于规则模糊子分类器与当前数据环境的相关性以及在集成框架中的重要性，根据在每个时间戳对应的数据块上的分类性能进行迭代更新基于规则模糊子分类器的权重，具体如下所示：

表示在时间戳t′时第s个基于规则模糊子分类器的权重，s＝1,2,…,m，本实施例中，m设置为50；

表示第s个基于规则模糊子分类器在时间戳t时的数据块上的测试误差；当基于规则模糊子分类器的权重小于阈值θ时，将从集成随机模糊分类模型H^(t′)里移除该基于规则模糊子分类器，本实施例中，阈值θ设为0.001；最终形成自适应的集成随机模糊分类模型。

S4、集成随机模糊分类模型通过公式(10)采用加权投票机制将最终的预测结果进行输出：

其中，

表示时间戳t′对应的训练数据x′所对应的第s个基于规则模糊子分类器，

表示为加权投票后最大权重值所对应的分类结果。

上述流程为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于自适应集成随机模糊分类的异常检测方法，其特征在于，包括以下步骤：

S1、采用平衡下采样方法，对数据块进行多次随机下采样，生成多个随机采样子集；

S2、采用基于规则的自组织模糊逻辑分类方法，通过对随机采样子集进行学习，建立起模糊逻辑规则以形成多个随机模糊分类组件，并采样加权投票机制进行输出；

S3、采用动态加权算法与随机模糊分类组件结合，根据随机模糊分类组件的分类性能赋予权重，并实现组件权重的迭代更新；通过事先设定的阈值，来动态的实现随机模糊分类组件的增减，最终形成自适应的集成随机模糊分类模型；

S4、集成随机模糊分类模型采用加权投票机制将最终的预测结果进行输出。

2.根据权利要求1所述的一种基于自适应集成随机模糊分类的方法，其特征在于，步骤S1具体包括如下步骤：

首先在训练阶段，对数据集进行分块，分成M个数据块，然后将每个数据块中的数据分为两类，样本数目多的类别为多数类，样本数量少的类别为少数类，分别计算多数类和少数类中样本的数量；然后从多数类的样本中进行T次随机采样，每次采样的多数类的样本数量与少数类的样本数量相等；将随机采样T次后多数类的样本分别与少数类的样本相结合，生成T个随机采样子集；随机采样T次后如果当前数据块中多数类的样本数少于3，则将当前数据块添加到下一个数据块中。

3.根据权利要求2所述的一种基于自适应集成随机模糊分类的方法，其特征在于，步骤S2中，基于规则的自组织模糊逻辑分类是一种基于经验数据分析计算框架和自主数据驱动的聚类技术的分类方法，通过学习数据特征，从每个类别的数据样本中确定数据原型，从而建立0-order AnYa型模糊规则系统，最终使用规则对输入的样本数据输出分类结果。

4.根据权利要求3所述的一种基于自适应集成随机模糊分类的方法，其特征在于，0-order AnYa型模糊规则系统具体如下：

IF(x～p₁)OR(x～p₂)OR…OR(x～p_N)THEN(class)； (1)

x为随机采样子集中的样本；～表示相似性；p_j′表示为样本x所属类别的第j′个数据原型(Prototype)，j′＝1,2,…,N，N为样本x所属类别中数据原型的数目。

5.根据权利要求4所述的一种基于自适应集成随机模糊分类的方法，其特征在于，数据原型的确定过程如下：

首先，计算数据样本的累积邻近度，具体如下：

其中，x_i表示为第i个数据样本；x_j表示为第j个数据样本；d(x_i,x_j)表示为数据样本x_i和数据样本x_j之间的欧式距离；π_K(x_i)表示为数据样本x_i的累积邻近度；K为正整数，表示为数据样本的个数；

计算数据样本的单峰密度，具体如下：

其中，D_K(x_i)表示为数据样本x_i的单峰密度；x_j表示为第j个数据样本；x_l表示为第l个数据样本；

当一个数据样本多次出现时的密度为多峰密度，表达式如下所示：

其中，

表示为样本u_i′的多峰密度；u_i′表示为第i′个不同的数据样本，f_i′表示为不同的数据样本u_i′出现的次数；U_K为正整数，表示为不同数据样本的个数。

6.根据权利要求5所述的一种基于自适应集成随机模糊分类的方法，其特征在于，按照多峰密度的大小进行排序，通过与前后数据样本的多峰密度的大小进行比较，确定局部多峰密度最大的数据样本r_i′，然后根据局部多峰密度最大的数据样本r_i′来确定数据原型，具体方法如下：

r_i′表示为多峰密度最大的数据样本；

表示为r_i′的多峰密度；{p}₀为数据原型，即为多峰密度的局部最大值序列。

7.根据权利要求6所述的一种基于自适应集成随机模糊分类的方法，其特征在于，对于测试数据样本x′，每个AnYa类型的模糊规则将具有由本地决策者给出的触发强度，触发强度以λ^c(x′)表示，c＝1,2,…,C，其确定如下：

其中，p为数据原型；c为测试数据样本x′所属的类别；C为正整数，表示为类别c的数目；{p}^c为测试数据样本x′所属类别c中的数据原型；

基于模糊规则对应的触发强度，测试数据样本x′的标签确定原则如下所示：

通过对随机采样子集进行特征学习，找到随机采样子集中的数据样本对应类别的数据原型，建立基于规则的模糊系统，使得每个数据块都生成T个自组织的基于规则模糊子分类器h_t；最终，通过公式(8)采用多数投票的机制输出多个子分类器决策的结果：

其中，H(x′)表示为测试数据样本x′的输出类别。

8.根据权利要求7所述的一种基于自适应集成随机模糊分类的方法，其特征在于，步骤S3中，在时间戳为t′时，当前的集成随机模糊分类模型H^(t′)包括m个由基于规则的自组织模糊逻辑分类方法在时间戳为1到t′的数据块上训练而成的基于规则模糊子分类器，每一个基于规则模糊子分类器的初始权重设置为1。

9.根据权利要求8所述的一种基于自适应集成随机模糊分类的方法，其特征在于，根据在每个时间戳对应的数据块上的分类性能进行迭代更新基于规则模糊子分类器的权重，具体如下所示：

表示在时间戳t′时第s个基于规则模糊子分类器的权重，s＝1,2,…,m；

表示第s个基于规则模糊子分类器在时间戳t时的数据块上的测试误差；当基于规则模糊子分类器的权重小于阈值θ时，将从集成随机模糊分类模型H^(t′)里移除该基于规则模糊子分类器，最终形成自适应的集成随机模糊分类模型。

10.根据权利要求1～9任一项所述的一种基于自适应集成随机模糊分类的方法，其特征在于，步骤S4中，集成随机模糊分类模型通过公式(10)采用加权投票机制将最终的预测结果进行输出：

其中，

表示时间戳t′对应的训练数据x′所对应的第s个基于规则模糊子分类器，

表示为加权投票后最大权重值所对应的分类结果。

Images