CN110515796B

CN110515796B - 一种基于皮质学习的异常检测方法、装置及终端设备

Info

Publication number: CN110515796B
Application number: CN201910696486.XA
Authority: CN
Inventors: 马文佳
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2019-07-30
Filing date: 2019-07-30
Publication date: 2022-07-01
Anticipated expiration: 2039-07-30
Also published as: CN110515796A; WO2021017284A1

Abstract

本发明适用于计算机运维技术领域，提供了一种基于皮质学习的异常检测方法、装置及终端设备，方法包括：获取服务集群的服务数据；建立基于皮质学习的数据模型；通过数据模型学习服务数据的变化模式；根据服务数据的变化模式将服务数据重新排布，输出特征排布数据，其中，服务数据变化模式包括数据变化模式和时间变化模式；设置经验阈值；将特征排布数据输出至Q函数，根据经验阈值判断服务数据的异常情况，其中，服务数据的异常情况包括极端数值异常和数据波动异常。通过本发明可以从特征排布数据判断服务数据的变化是否符合数据既往模式，从而准确判断服务数据的异常情况，提高异常检测的准确率。

Description

一种基于皮质学习的异常检测方法、装置及终端设备

技术领域

本发明涉及计算机运维技术领域，尤其涉及一种基于皮质学习的异常检测方法、装置及终端设备。

背景技术

随着信息化建设的射入发展，IT系统日益成为核心业务处理的关键基础设施，为了保证网络、服务器、数据库等IT资源的正常运行，需要对服务集群进行维护，而在服务集群的运维过程中，会对各种指标进行检测，在数据发生异常时能够及时产生警告，通知相关技术人员及时完成相对应的维护工作，目前，针对某一指标所采用的异常检测方法中，通常会使用固定的检测阈值和动态基线。

然而，上述检测方法难以适应数据的各种变化，且会对于过去的异常十分敏感，从而影响当前数据的异常检测结果，例如，对于当前数据的一些细小波动，将难以察觉。那么在对数据变化敏感的指标进行检测时，势必降低检测效果，无法有效的协助服务集群的运维。

发明内容

本发明的主要目的在于提出一种基于皮质学习的异常检测方法、装置及终端设备，以解决现有技术中针对服务集群的某一指标所采用的异常检测方法，难以适应数据的各种变化，且会对于过去的异常十分敏感，影响当前数据的异常检测效果，无法有效的协助服务集群的运维的问题。

为实现上述目的，本发明实施例第一方面提供一种基于皮质学习的异常检测方法，包括：

获取服务集群的服务数据；

建立基于皮质学习的数据模型；

通过所述数据模型学习所述服务数据的变化模式；

根据所述服务数据的变化模式将所述服务数据重新排布，输出特征排布数据，其中，所述服务数据变化模式包括数据变化模式和时间变化模式；

设置经验阈值；

将所述特征排布数据输出至Q函数，根据所述经验阈值判断所述服务数据的异常情况，其中，所述服务数据的异常情况包括极端数值异常和数据波动异常。

结合本发明第一方面，本发明第一实施方式中，根据每个所述服务数据的变化模式将所述服务数据重新排布，输出特征排布数据，包括：

根据每个所述服务数据变化模式，获取每个所述服务数据的向量表示；

根据每个所述服务数据的向量表示，按照预设的特征排布方式将所述服务数据整理为一组或多组特征排布数据。

结合本发明第一方面，本发明第二实施方式中，所述设置经验阈值包括：

获取所述服务数据的过往异常率，设置置信水平；

通过所述置信水平产生所述经验阈值。

结合本发明第一方面，本发明第三实施方式中，将所述特征排布数据输出至Q函数，根据所述经验阈值判断所述服务数据的异常情况，包括：

将所述特征排布数据输出至Q函数，选择任一数据作为目标数据，计算所述目标数据的异常概率，公式为：

其中，Pr是目标数据x0的异常概率，p(x)是正态分布函数，σ为标准差，μ为期望值；

根据所述目标数据的异常概率，计算所述目标数据的非异常概率，公式为：

P＝1-Pr；

将所述目标数据的非异常概率与所述经验阈值比较，若所述目标数据的非异常概率大于所述经验阈值，则所述目标数据为异常的服务数据。

结合本发明第一方面，本发明第四实施方式中，基于皮质学习的异常检测方法还包括：

获取所述服务集群的运维数据；

使用所述运维数据实时优化所述数据模型，调整所述数据模型的参数；

根据优化后的数据模型学习新的服务数据变化模式，并设置新的经验阈值。

结合本发明第一方面第四实施方式，本发明第五实施方式中，使用所述运维数据实时优化所述数据模型，调整所述数据模型的参数之前，还包括：

开启异常数据回滚；

在所述运维数据中识别到异常数据时，暂停所述数据模型的优化任务，并进行提示，直至进入所述数据模型中的运维数据为非异常数据为止。

本发明第二方面提供一种基于皮质学习的异常检测装置，包括：

服务数据获取模块，用于获取服务集群的服务数据；

模型构建模块，用于建立基于皮质学习的数据模型；

模式学习模块，用于通过所述数据模型学习所述服务数据的变化模式；

特征排布模块，用于根据所述服务数据的变化模式将所述服务数据重新排布，输出特征排布数据，其中，所述服务数据变化模式包括数据变化模式和时间变化模式；

经验阈值设置模块，用于设置经验阈值；

异常分析模块，用于将所述特征排布数据输出至Q函数，根据所述经验阈值判断所述服务数据的异常情况，其中，所述服务数据的异常情况包括极端数值异常和数据波动异常。

结合本发明第二方面，本发明第二方面的第一实施方式中，所述特征排布模块包括：

向量表示单元，用于根据每个所述服务数据变化模式，获取每个所述服务数据的向量表示；

特征排布数据输出单元，用于根据每个所述服务数据的向量表示，按照预设的特征排布方式将所述服务数据整理为一组或多组特征排布数据。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。

本发明实施例提出一种基于皮质学习的异常检测方法，使用历史记录的服务数据，在基于皮质学习的数据模型中学习服务数据的变化模式，在学习了服务数据的变化模式的基础上，将服务数据重新排布，输出特征排布数据，然后在Q函数中代入特征排布数据，使用经验阈值判断特征排布数据是否符合规律，是否超过所设置的经验阈值，从而判断服务数据是否存在如极端数值异常或数据波动异常的异常情况。由于皮质学习(Hierarchical Temporal Memeory，HTM)强大的记忆模式与学习模式可以学习到数据微妙的变化，因此当服务数据出现细小不明显的变化时，可以从特征排布数据判断服务数据的变化是否符合数据既往模式，从而准确判断服务数据的异常情况，提高异常检测的准确率，有效的协助服务集群的运维。

附图说明

图1为本发明实施例一提供的基于皮质学习的异常检测方法的实现流程示意图；

图2为本发明实施例二提供的基于皮质学习的异常检测方法的实现流程示意图；

图3为发明实施例三提供的基于皮质学习的异常检测装置的组成结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

在后续的描述中，发明实施例序号仅仅为了描述，不代表实施例的优劣。

实施例一

如图1所示，本发明实施例提供一种基于皮质学习的异常检测方法，通过基于皮质学习所建立数据模型来学习数据的微小变化，从而提高数据的异常检测准确率，方法包括但不限于以下步骤：

S101、获取服务集群的服务数据；

在上述步骤S101中，服务数据为服务集群中记录的数据，其时间跨度可以为一天、一周或一个月等，根据运维的周期而定。

S102、建立基于皮质学习的数据模型。

上述步骤S102中，皮质学习是较新一种学习模式，对生物神经元的模拟相比现在主流的神经网络更加彻底，主要表现为其拥有巨大的记忆模块，且不需要反向传播。

S103、通过所述数据模型学习所述服务数据的变化模式，其中，所述服务数据变化模式包括数据变化模式和时间变化模式。

上述步骤S103中，数据的变化与时间相关，皮质学习的层级学习机制可以实现数据变化维度和时间变化维度的学习和训练，因此，基于皮质学习的模型为能够同时学习数据变化和时间变化的神经网络模型，其分析记录服务数据变化模式，整理服务数据。

S104、根据所述服务数据的变化模式将所述服务数据重新排布，输出特征排布数据。

在上述步骤S104中，每个服务数据具有一个变化趋势，从而形成服务数据的变化模式，将其按照特征变化的曲线重新排布，即获得特征排布数据。

在具体应用中，上述步骤S104可以包括：

S1041、根据每个所述服务数据变化模式，获取每个所述服务数据的向量表示；

S1042、根据每个所述服务数据的向量表示，按照预设的特征排布方式将所述服务数据整理为一组或多组特征排布数据。

在具体应用中，工业中的数据具有特定模式，比如银行的交易数据，是典型的双峰型，其在上午时段，10点左右的交易量呈峰值，下午时段，3点左午的交易量呈小峰状态，每个峰值的数据指标都是不同的。

另外，工作日与周末的数据模式也不相同。

以银行的交易数据为例，说明基于银行服务数据，模型所学习到的服务数据变化模式：

首先，其服务数据变化模式包括数据变化模式和时间变化模式，数据变化模式具体为银行的交易数据，时间变化模式具体为每天营业时间的顺序变化，但时间变化模式中的时间具有标签，如工作日、节假日、上旬、中旬、下旬等。基于银行服务集群所得出的服务数据变化模式为:时间-交易数据的变化，可以由序列来表达，下面为在工作日的服务数据变化模式：

{(9.00,2),(10.00,5),(11.00,4),(12.00,1),(13.00,2),(14.00,3),(15.00,4),(16.00,3),(17.00,1)}。

上述服务数据变化中，上午10点左右的交易数据为高峰值，下午3点左右的交易数据为高峰值，其中，上午的高峰值为5，下午的高峰值为4；中午12点左右的交易数据为低峰值，下午5点左右的交易数据为低峰值，其中，中午的低峰值和下午的低峰值均为1。

下面为在周末的服务数据变化模式：

{(9.00,1),(10.00,2),(11.00,5),(12.00,2),(13.00,3),(14.00,4),(15.00,4),(16.00,3),(17.00,1)}。

上述服务数据变化中，上午11点左右的交易数据为高峰值，下午3至4点左右的交易数据为高峰值，其中，上午的高峰值为5，下午的高峰值为4；早上9点左右的交易数据为低峰值，下午5点左右的交易数据为低峰值，其中，中午的低峰值和下午的低峰值均为1。

下面为在月初的服务数据变化模式：

{(9.00,3),(10.00,5),(11.00,4),(12.00,2),(13.00,3),(14.00,4),(15.00,5),(16.00,5),(17.00,4)}。

上述服务数据变化中，上午10点左右的交易数据为高峰值，下午3至4点左右的交易数据为高峰值，其中，上午的高峰值为5，下午的高峰值为5；中午12点左右的交易数据为低峰值，下午1点左右的交易数据为低峰值，其中，中午的低峰值为2，下午的低峰值均3。

可见，银行的服务数据变化模式中，交易数据随时间不断变化，月初的交易数据始终处于较高水平，高峰值与低峰值相近，周末的交易数据高于工作日的交易数据，月初的交易数据高于周末的交易数据，但变化幅度低于周末的交易数据，因此，上述的银行的交易数据变化模式根据时间维度的不同，可以衍生多种服务数据变化模式，本实施例仅列出其中一二，如果要获得服务数据变化模式，学习其细微的数据变化，则需要HTM强大的记忆模式与学习模式，用向量来表示每个服务数据的变化，将每个向量表示的服务数据按特征排布，形成整个数据的特征排布，或几个时间段的服务数据特征排布。

例如，将工作日每天的服务数据整理为正态分布，则模型的输出表示为：

{(12.00,1),(9.00,2),(14.00,3),(11.00,4),(10.00,5),(15.00,4),(16.00,3),(13.00,2),(17.00,1)}。

S105、设置经验阈值。

上述步骤S105中，以时间变化模式为基础，可以设置任意时间段中经验阈值，用以表示数据的变化阈值、异常阈值、异常率等。

在具体应用中，上述步骤S105可以包括：

S1051、获取所述服务数据的过往异常率，设置置信水平；

S1052、通过所述置信水平产生所述经验阈值。

其中，数据异常率是估测值，可以由历史的运维过程中，所检测到的异常率获得。

在实际应用中，若银行从业人员知道自己的交易数据每月的异常情况大约的比例是1％，那么根据这个值，设置置信水平为99％，从而产生的经验阈值为99％。

在具体应用中，置信水平是指总体参数值落在样本统计值某一区内的概率。

而经验阈值根据置信区间产生，其中，置信区间是指在某一置信水平下，样本统计值与总体参数值间误差范围。如银行的每个周末的交易数据在1至5之间，则误差范围应为0.01至0.05，则交易数据在0.99至5.05之间为正常数据，则银行每个周末的交易数据的经验阈值即为1的99％以及5的101％，表现为0.99至5.05，误差范围为0.01至0.05。

S106、将所述特征排布数据输出至Q函数，根据所述经验阈值判断所述服务数据的异常情况，其中，所述服务数据的异常情况包括极端数值异常和数据波动异常。

在上述步骤S106中，极端数值异常由经验阈值直接得出，如上述实例中，交易数据在0.99至5.05之间为正常数据，若数据超过5.05或低于0.99均为表示服务数据异常，且为极端数值异常。

在本发明实施例中，数据波动异常由基于特征排布数据的分析获得，其中，服务数据呈特征排布是由于上述步骤S101至步骤S104中皮质学习模型的训练效果，其中，特征排布可以为正态分布、α函数分布等。

在具体应用中，以正态分布为例，上述步骤S106可以包括：

S1061、将所述特征排布数据输出至Q函数，选择任一数据作为目标数据，计算所述目标数据的异常概率，公式为：

S1062、根据所述目标数据的异常概率，计算所述目标数据的非异常概率，公式为：

P＝1-Pr；

S1063、将所述目标数据的非异常概率与所述经验阈值比较，若所述目标数据的非异常概率大于所述经验阈值，则所述目标数据为异常的服务数据。

在实际应用中，若经验阈值为99％，所计算的目标数据的异常概率为1％，那么目标服务数据的非异常概率为99.9％，大于经验阈值，则目标数据为异常数据。

下面结合实际的数据进行说明，如银行某天的交易数据，按正态分布特征排布后，通过矩阵表示为：

{(12.00,1),(9.00,2),(14.00,3),(11.00,4),(10.00,5),(15.00,4),(16.00,3),(13.00,2),(17.00,1)}；

其中，交易数据每月的异常情况大约的比例是1％，经验阈值为99％，此时将(9.00,2)作为目标数据：

通过计算获得目标服务数据的异常概率为11％，则非异常概率为89％，又，经验阈值为99％，因此非异常概率小于经验阈值，得出目标服务数据不为异常数据。

本发明实施例提供的基于皮质学习的异常检测方法，使用历史记录的服务数据，在基于皮质学习的数据模型中学习服务数据的变化模式，在学习了服务数据的变化模式的基础上，将服务数据重新排布，输出特征排布数据，然后在Q函数中代入特征排布数据，使用经验阈值判断特征排布数据是否符合规律，是否超过所设置的经验阈值，从而判断服务数据是否存在如极端数值异常或数据波动异常的异常情况。由于皮质学习(HierarchicalTemporal Memeory，HTM)强大的记忆模式与学习模式可以学习到数据微妙的变化，因此当服务数据出现细小不明显的变化时，可以从特征排布数据判断服务数据的变化是否符合数据既往模式，从而准确判断服务数据的异常情况，提高异常检测的准确率，有效的协助服务集群的运维。

实施例二

如图2所示，本发明实施例提供一种基于皮质学习的异常检测方法，在实施例一的基础上增加模型优化，包括但不限于以下步骤：

S201、获取所述服务集群的运维数据。

在上述步骤S201中，运维数据是进行异常检测时所输入的数据，与实施例一中的服务数据不同，可以认为是新的服务数据。

S202、使用所述运维数据实时优化所述数据模型，调整所述数据模型的参数。

在具体应用中，模型是实时学习的模式，因此当遇到被判定为异常数据时，模型参数将受到异常数据的影响，造成模型污染。因此，在本发明实施例中，上述步骤S202之前，还包括：

开启异常数据回滚；

在上述的步骤中，当异常数据进入到模型记忆体后，将模型回滚并将跳出现异常数据的输入，从而保证正常数据模式的纯洁性。

S203、根据优化后的数据模型学习新的服务数据变化模式，并设置新的经验阈值。

在上述步骤S201至步骤S203中，实时优化数据模型，调整数据模型的参数，增加异常检测的准确性。

实施例三

如图3所示，本发明实施例提供了一种基于皮质学习的异常检测装置30，包括：

服务数据获取模块31，用于获取服务集群的服务数据；

模型构建模块32，用于建立基于皮质学习的数据模型；

模式学习模块33，用于通过数据模型学习服务数据的变化模式；

特征排布模块34，用于根据服务数据的变化模式将服务数据重新排布，输出特征排布数据，其中，服务数据变化模式包括数据变化模式和时间变化模式；

经验阈值设置模块35，用于设置经验阈值；

异常分析模块36，用于将特征排布数据输出至Q函数，根据经验阈值判断服务数据的异常情况，其中，服务数据的异常情况包括极端数值异常和数据波动异常。

在一个实施例中，特征排布模块34包括：

向量表示单元，用于根据每个服务数据变化模式，获取每个服务数据的向量表示；

特征排布数据输出单元，用于根据每个服务数据的向量表示，按照预设的特征排布方式将服务数据整理为一组或多组特征排布数据。

在上述的特征排布数据输出单元中，在学习了服务数据的变化模式的基础上，将服务数据重新排布，输出特征排布数据，以使得在异常分析模块中，可以使用Q函数及经验阈值分析特征排布数据，如通过经验阈值判断特征排布数据是否符合规律，是否超过所设置的经验阈值等，从而判断服务数据是否存在如极端数值异常或数据波动异常的异常情况。

本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如实施例一中所述的基于皮质学习的异常检测方法中的各个步骤。

本发明实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如实施例一中所述的基于皮质学习的异常检测方法中的各个步骤。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims

1.一种基于皮质学习的异常检测方法，其特征在于，包括：

获取服务集群的服务数据；

建立基于皮质学习的数据模型；

通过所述数据模型学习所述服务数据的变化模式；

根据每个所述服务数据的向量表示，按照预设的特征排布方式将所述服务数据整理为一组或多组特征排布数据，其中，所述服务数据变化模式包括数据变化模式和时间变化模式；

设置经验阈值；

将所述特征排布数据输出至Q函数，根据所述Q函数计算所述特征排布数据的异常概率，将所述异常概率对应的非异常概率与所述经验阈值进行比对，根据比对结果判断所述服务数据的异常情况，其中，所述服务数据的异常情况包括极端数值异常和数据波动异常。

2.如权利要求1所述的基于皮质学习的异常检测方法，其特征在于，所述设置经验阈值包括：

获取所述服务数据的过往异常率，设置置信水平；

通过所述置信水平产生所述经验阈值。

3.如权利要求1所述的基于皮质学习的异常检测方法，其特征在于，将所述特征排布数据输出至Q函数，根据所述Q函数计算所述特征排布数据的异常概率，将所述异常概率对应的非异常概率与预设经验阈值进行比对，根据比对结果判断所述服务数据的异常情况，包括：

其中，Pr是目标数据x₀的异常概率，p(x)是正态分布函数，σ为标准差，u为期望值；

P＝1-Pr；

4.如权利要求1所述的基于皮质学习的异常检测方法，其特征在于，还包括：

获取所述服务集群的运维数据；

5.如权利要求4所述的基于皮质学习的异常检测方法，其特征在于，使用所述运维数据实时优化所述数据模型，调整所述数据模型的参数之前，还包括：

开启异常数据回滚；

6.一种基于皮质学习的异常检测装置，其特征在于，包括：

服务数据获取模块，用于获取服务集群的服务数据；

模型构建模块，用于建立基于皮质学习的数据模型；

特征排布模块，用于根据每个所述服务数据变化模式，获取每个所述服务数据的向量表示；

经验阈值设置模块，用于设置经验阈值；

异常分析模块，用于将所述特征排布数据输出至Q函数，根据所述Q函数计算所述特征排布数据的异常概率，将所述异常概率对应的非异常概率与所述经验阈值进行比对，根据比对结果判断所述服务数据的异常情况，其中，所述服务数据的异常情况包括极端数值异常和数据波动异常。

7.如权利要求6所述的基于皮质学习的异常检测装置，其特征在于，所述特征排布模块包括：

8.一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至5任一项所述的基于皮质学习的异常检测方法中的各个步骤。

9.一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至5任一项所述的基于皮质学习的异常检测方法中的各个步骤。