CN111447217A - 一种稀疏编码下的基于htm的流数据异常检测方法及系统 - Google Patents

Abstract

本发明提供一种稀疏编码下的基于HTM的流数据异常检测方法及系统，所述方法包括：获取数据源，其中数据源包括用户产生的各种域和应用程序的数据；将获取的实时数据源输入编码器，将数据转换为二进制矢量；将已转换的数据进行稀疏化处理，获取数据的稀疏分布式代表元；将数据输入标准的HTM网络，依据上一时刻输入数据获得对本时刻输入数据的预测值；将本时刻的实际输入值和上一时刻生成的预测值进行比较，获取异常分数；使用HTM模型并依据异常分数的分布建模，计算异常似然值；判断异常似然值是否大于预设的异常阈值，决定是否声明异常。本发明解决了流式传输数据固有地表现出概念漂移，需要不断学习算法改进的问题，提高了流应用程序的安全性。

Description

一种稀疏编码下的基于HTM的流数据异常检测方法及系统

技术领域

本发明主要涉及入侵检测、数据处理相关技术领域，具体是一种稀疏编码下的基于HTM的流数据异常检测方法。

背景技术

对流式数据在时间序列中的异常检测，最早可以追溯到对于两个模型的异常值以及其在时间序列影响的考虑。而采用基于传统分析的技术，机器学习和基于预测的异常检测模型是对抗目前网络中已有和未知攻击的有效手段。基于统计的异常检测技术其通常做法是将入侵检测问题视为一个假设检验问题，它的关键在于从描述系统或网络的行为和状态的属性中选择一组统计度量，并根据历史数据建立其正常的变化范围，其主要通过马尔可夫模型和支持向量机模型的方法来实现，其他的还有基于模糊数学理论、K-最近邻、格贴近度等方法。而基于预测的异常检测模型的前提是事件序列不是随机发生的而是服从某种可辨别的模式，其特点是考虑了事件序列之间的相互联系。其通用的方法通常有基于tcp状态转换的异常检测技术。在把机器学习方法应用于异常检测技术方面，综合利用了统计学、证据理论、神经网络、模糊集、粗糙集、进化计算等领域的方法，以达完成数据总结、概念描述、分类规则提取、数据聚类、相关性分析、偏差分析、序列模式发现等任务。

对于异常检测技术的研究，国内外的科研机构给予了高度的重视，已经进行了大量的研究和探讨。综合国内外的研究现状，传统方法和机器学习的各种算法在异常检测领域的研究受到国内外学者的广泛关注，但是，由于流式传输数据固有地表现出概念漂移，需要不断学习的算法。此外，事件中大量独立流要求异常检测器是完全自动化的，所以对流数据的无监督实时异常检测问题始终没有得到很好的解决。

把经过稀疏编码的HTM算法用于流数据的无监督实时异常检测的优势在于利用其持续学习的性质，HTM算法对基础统计数据更改会自动处理，能够检测可预测和嘈杂域中的空间和时间异常且具备实时、连续、在线检测的要求，且无需事先监督。但异常检测中数据量往往相关性大、训练重复样本多，导致了训练的时间较长，异常检测中的冗余性和噪声鲁棒性问题没有得到很好的解决。

发明内容

为解决目前技术的不足，本发明结合现有技术，从实际应用出发，提供一种稀疏编码下的基于HTM的流数据异常检测方法及系统，旨在解决现有机器学习的各种方法和传统方法对于实时流数据的异常检测中面对数据实时性强、数据相关性大、重复性多、动态环境变化大、概念漂移严重而难以达到较为准确结果且训练时间长的问题。

本发明的技术方案如下：

根据本发明的一个方面，提供一种稀疏编码下的基于HTM的流数据异常检测方法，所述方法包括以下步骤：

步骤一，获取数据源，其中数据源包括用户产生的各种域和应用程序的数据；

步骤二，将获取的实时数据源输入编码器，将数据转换为二进制矢量；

步骤三，将已转换的数据进行稀疏化处理，获取数据的稀疏分布式代表元；

步骤四，将数据输入标准的HTM网络，依据上一时刻输入数据获得对本时刻输入数据的预测值；

步骤五，将本时刻的实际输入值和上一时刻生成的预测值进行比较，获取异常分数；

步骤六，使用HTM模型并依据异常分数的分布建模，计算异常似然值；

步骤七，判断异常似然值是否大于预设的异常阈值，决定是否声明异常。

进一步，步骤一中，获取的数据集必须是来自于应用过程中产生的现实流数据。

进一步，步骤二中，将获取到的数据源经编码器实时生成二进制矢量；编码需满足语义相似数据应生成有重叠的激活位点，相同输入总产生固定长度的二进制向量；其次，输出的二进制向量应有相同维度，即位点总数应相同。

进一步，步骤三中，将通过编码器编码的数据进行稀疏化，提取数据的空间特征，其具体包括：确定标准感受野，即确保HTM模型使用时每个单元柱只读取一部分数据，确定标准感受野后确定可与单元柱进行连接的数据，最后进行局部抑制与参数更新，维持数据稀疏的活性。

进一步，步骤四中，在上一时刻即需生成对本时刻输入的预测，其具体包括：调用层级时序记忆算法，设定模型参数，生成预测数据。

进一步，步骤五中，调用异常分数函数得到异常分数；

步骤六中，根据异常分数分布，调用异常似然值计算模块，获取异常似然值；

步骤七中，根据得到的异常似然值，调用异常判断模块，判断当前系统是否处于异常状态，若异常似然值大于预设异常阈值则判断为发生异常；若小于，则判断为未发生异常。

根据本发明的另一方面，提供一种应用上述稀疏编码下的基于HTM的流数据异常检测方法的检测系统，所述检测系统包括：

数据采集及预处理单元，用于采集各种域和应用的流数据并进行预处理；

稀疏编码单元，用于将预处理后的数据进行稀疏化，使得HTM模型可以在几乎无干扰的情况下同时表示不同项目，同时仍然保持相应的信息保持能力；

异常判断单元，用于使用HTM算法对采集的数据实时处理，判断是否发生异常。

进一步，所述数据采集及预处理单元进一步包括：

数据采集模块，用于采集用户在各个域和应用中产生的实时流数据；

数据预处理模块，用于将获取到的数据转换为二进制向量，为异常判断单元提供条件。

进一步，所述的稀疏编码单元进一步包括：

标准感受野模块，用于确定HTM模型中活性单元柱需要确定读取输入数据的范围；

局部抑制模块，用于选取被HTM模型中被激活的单元柱，以及该单元柱相邻单元柱活性的抑制，进一步提升输入数据稀疏性；

参数更新模块，用于加强活性更高的已读取数据的单元柱，惩罚活性低的单元柱，确保数据实时稀疏性表示。

进一步，所述异常判断单元进一步包括：

输入数据构建模块，用于设定构建HTM算法与计算异常似然值中的参数值，构建HTM算法模型；

异常分数计算模块，用于计算预测输入值与实际输入数据之间的异常分数；

异常判断模块，用于调用异常似然值函数，计算异常似然值，并判断是否出现异常；

预测值生成模块，用于生成对下一时刻输入数据的预测值；

数据对比模块，用于对比本时刻的真实输入值和对本时刻的预测输入值。

本发明的有益效果：

本发明所提供的检测方法及检测系统，对输入数据进行稀疏编码，降低数据检测维度的同时保持较高信息表达能力，提高异常检测中处理信息容量，利用HTM模型不断学习和建模的时空特征，便于处理实时数据的时间和空间异常。

附图说明

图1是本发明实施例提供的一种稀疏编码下的基于HTM算法的流数据异常检测方法实现流程图；

图2是本发明实例提供的稀疏编码流程图；

图3是本法明实例提供的异常检测算法流程图；

图4是本发明实施例提供的一种稀疏编码下的基于HTM算法的流数据异常检测系统的流程结构框图；

图5是本发明实施例提供的一种稀疏编码下的基于HTM算法的流数据异常检测系统的工作原理流程图。

图中：1、数据采集及预处理单元；11、数据采集模块；12、数据预处理模块；2、稀疏编码单元；21、标准感受野模块；22、局部抑制模块；23、参数更新模块；3、异常判断单元；31、输入数据构建模块；32、异常分数计算模块；33、预测值生成模块；34、数据对比模块；35、异常判断模块。

具体实施方式

结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

图1示出了本发明实施例提供的一种稀疏编码下的基于HTM算法的流数据异常检测方法实现流程图。

在步骤S101中，采集用户产生的各种域和应用的流数据并进行预处理，获取时间t时刻的输入数据I_t，对采集到的t时刻的数据I_t进行编码得到其二进制向量表示x_t。

在步骤S102中，将预处理后的数据进行稀疏化，使得HTM模型可以在几乎无干扰的情况下同时表示不同项目，同时仍然保持较大的信息保持能力，获取数据的稀疏分布代表元。

在步骤S103中，设定HTM模型参数，将已经稀疏化后的数据输入HTM模型，生成预测值，调用异常检测函数进行异常检测，根据异常分数的分布建模获取异常似然值，设定异常参数，对比异常似然值和异常参数大小决定是否声明异常。

图2示出了本发明实例提供的稀疏编码流程图。

在步骤S201中，首先确定每个单元柱可读取的数据范围，根据数据所在的位置信息和单元柱的位置信息进行匹配，同一段数据可能被多个单元柱读取。用于选取标准感受野和位置信息匹配的方法表示为：

其中，x_j是步骤S1处理后的数据，j为其位置信息。单元柱表示为

其中i为其位置信息，c用于确定标准感受野的定位。γ为单元柱的感受野范围的边长。Z_ij～U(0,1)是一个均匀随机分布。I为指标函数，用于判断输入数据是否落在感受野内，p为设定的潜在连通值阈值。即当输入数据落在单元柱标准感受野内切小于潜在连通阈值时，数据可被该单元柱匹配。

在步骤S202中，设置连通阈值，选择通过潜在连通数据进行筛选，确定最终将被选择的信息：

其中W_ij是一个二元矩阵，用于保存通过连接阈值的数据。D_ij赋予通过潜在连接阈值的数据一个新的连接值，这有助于进一步稀疏数据，其取值也服从(0，1)的均匀随机分布。当数据于单元柱之间的连通值大于预设的连通阈值θc时候，则认为该数据与单元柱形成连接。

在步骤S203中，主要对单元柱的活性进行调节，并不是每个单元柱都可以被选定为活性单元柱。只有最活跃的单元柱将会成为有效的单元柱，这对数据的稀疏进一步做了提升，该操作遵从“赢家通吃”原则：

其中a_i是表示第i个单元柱的激活状态。Z为分位函数，Vi是第i个单元柱与其周围相邻单元柱的重合度集合，s为目标激活密度，θstim为设置的单元柱激活阈值。主要用途为判断选定的第i个单元柱体激活度是否大于其周围单元柱，且是否大于预设激活阈值，当两者都成立时，该单元柱被激活。

其中相邻单元柱的定义为：

N_i＝{j|||y_i-y_j||＜φ,j≠i} (5)

式中y_i表示第i个单元柱的位置，y_j为其周围单元柱的位置，φ为抑制半径，取值为所有单元柱连接平均值与每个输入神经元的连接单元柱数量乘积。当y_i和y_j的欧几里得距离小于抑制半径时，将其定义为第i个单元柱的相邻单元柱。

其中第i个单元柱与其相邻单元柱的重合度集合Vi表示为：

V_i＝{o_j|j∈N_i} (6)

其中o_i为第i个单元柱对应的输入数据的活性，表示为：

其中z_j为感受野内的输入数据，当o_i大于预设的激活阈值时将单元柱的激活度置为1。b_i为第i个单元柱的提升值，由单元柱在t时刻的活性决定，其表示为：

在步骤S204中，实时计算已被激活的单元柱的活性和它相邻单元柱的活性，为更新激活单元柱做准备，第i个单元柱t时刻的近期活性可以表示为：

其中a_i(t)为单元柱i在t时刻的活性。参数T控制提升值bi的趋势惯性。其相邻单元柱在t时刻的近期活性可以表示为：

在步骤S205中，通过更新提升值b_i达到Hebbian rule的效果，即对激活的单元柱所加强其活跃的输入数据的连接值，惩罚不活跃的连接。但增强的达到的数值不能超过1，惩罚减小的数值不能小于0，如果超过1则按1处理，小于0则按0处理，即遵从截尾效应。提升值b_i表示为：

其中β是一个积极因子参数，控制了提升值得强度。

图3示出了本发明实施例提供的异常检测算法流程图。

该异常检测方法包括以下步骤：

在步骤S301中，设置HTM模型的参数。

在步骤S302中，经过空间池化算法学习数据的空间模式得到输入数据的稀疏分布式代表元a(xt)。将稀疏分布式代表元a(xt)输入时间沉积池，时间池化算法会学习输入数据基于时间的上下文信息，并生成对下一时刻输入数据的预测稀疏分布代表元π(xt)。

在步骤S303中，将本时的实际输入数据和上一时刻生成的预测值进行比较，获取异常分数，根据异常分数判断HTM模型预测和实际输入之间的误差。计算方法为根据稀疏分布代表元a(xt)与预测稀疏分布代表元π(xt-1)得到t时刻的异常分数St。

步骤S303中，在t时刻的异常分时S_t表示为：

其中S_t的值域为[0,1]，当异常分数为0时则表示对输入数据的预测完全正确；当异常分数为1时则表示对输入数据的预测与实际值完全不符合；当异常分数属于(0,1)之间时则表示了预测的则很难确程度，异常分数越小则预测越准确。

由于HTM算法模型会不断更新突触，不断建模和学习其输入的时空特征，可以很好的适应概念漂移问题，当系统发生异常时，该时刻的异常分数将会突增，而当HTM模型适应新环境更新之后，异常分数将自动减少。但在底层系统十分嘈杂、且不可预测的情况下，直接对预测值进行处理会导致许多错误。因此，需要对异常分数的分布进行建模。

在步骤S304中，使用一个包括最后W个异常分数的窗口，对异常分数的分布建模为一个滚动的正态分布，其样本均值μ_t和方差σ_t会根据之前的异常分数不断更新，其中μ_t和σ_t的计算方式为：

之后我们计算最近的预测误差短期平均值，并将阈值应用到高斯尾部概率(Q函数)来判断是否出现异常，异常似然值定义为高斯尾概率的补数：

其中,W’是一个用于短期平均移动的窗口，用于计算预测误差的分布持续时间。

在步骤S305中，计算异常似然值是否大于设定阈值，若大于则声明异常。

异常检测≡Lt≥1-ε (16)

其中当1-ε接近1，则说明系统受到攻击性的可能大，则声明异常。

本实例提供的基于HTM算法的流数据无监督实时异常检测方法，该方法针对流数据的异常检测，基于HTM算法，该方法能够检测可预测和嘈杂域中的空间和时间异常。满足了实时、连续、在线检测的要求，且无需事先监督。解决了流式传输数据固有地表现出概念漂移，需要不断学习算法改进的问题，提高了流应用程序的安全性。

本实例还提供了一种稀疏编码下的基于HTM算法的流数据异常检测系统。如图4所示为系统结构图，图5所示，为系统工作原理流程图。该系统包括：

数据采集及预处理单元1，用于采集各种域和应用的流数据并进行预处理；

稀疏编码单元2，用于对已经预处理后的数据进行稀疏化处理。

异常判断单元3，用于使用HTM算法对采集的数据实时处理，判断是否发生异常。

作为本发明实例中的再一个可选方式，数据采集及预处理单元1包括：

数据采集模块11，用于采集各个域和应用产生的实时流数据；

数据预处理模块12，用于将获取到的数据转换为二进制向量，为异常判断单元提供的条件。

作为本发明实例中的一个可选方式，稀疏编码单元2包括：

标准感受野模块21，用于确定HTM模型中活性单元柱需要确定读取输入数据的范围。

局部抑制模块22，用于选取被HTM模型中被激活的单元柱，以及该单元柱相邻单元柱活性的抑制，进一步提升输入数据稀疏性。

参数更新模块23，用于加强活性更高的已读取数据的单元柱，惩罚活性低的单元柱，确保数据实时稀疏性表示。

作为本发明实例中的一个可选方式，异常判断单元3包括：

输入数据构建模块31，用于设定构建HTM算法与计算异常似然值中的参数值，构建HTM算法模型。

异常分数计算模块32，用于计算预测输入值与实际输入数据之间的异常分数。

异常判断模块35，用于调用异常似然值函数，计算异常似然值，并判断是否出现异常。

作为本发明实例中的一个可选方式，异常判断单元2还包括：

预测值生成模块33，用于生成对下一时刻输入数据的预测值；

数据对比模块34，用于对比本时刻的真实输入值和对本时刻的预测输入值。

本实例提供的基于HTM算法的流数据无监督实时异常检测系统，该系统针对流数据的异常检测，基于HTM算法，该系统能够检测可预测和嘈杂域中的空间和时间异常。满足了实时、连续、在线检测的要求，且无需事先监督。解决了流式传输数据固有地表现出概念漂移，需要不断学习算法改进的问题，提高了流应用程序的安全性。

Claims (10)

1.一种稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，包括以下步骤：

步骤一，获取数据源，其中数据源包括用户产生的各种域和应用程序的数据；

步骤二，将获取的实时数据源输入编码器，将数据转换为二进制矢量；

步骤三，将已转换的数据进行稀疏化处理，获取数据的稀疏分布式代表元；

步骤四，将数据输入标准的HTM网络，依据上一时刻输入数据获得对本时刻输入数据的预测值；

步骤五，将本时刻的实际输入值和上一时刻生成的预测值进行比较，获取异常分数；

步骤六，使用HTM模型并依据异常分数的分布建模，计算异常似然值；

步骤七，判断异常似然值是否大于预设的异常阈值，决定是否声明异常。

2.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤一中，获取的数据集必须是来自于应用过程中产生的现实流数据。

3.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤二中，将获取到的数据源经编码器实时生成二进制矢量；编码需满足语义相似数据应生成有重叠的激活位点，相同输入总产生固定长度的二进制向量；其次，输出的二进制向量应有相同维度，即位点总数应相同。

4.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤三中，将通过编码器编码的数据进行稀疏化，提取数据的空间特征，其具体包括：确定标准感受野，即确保HTM模型使用时每个单元柱只读取一部分数据，确定标准感受野后确定可与单元柱进行连接的数据，最后进行局部抑制与参数更新，维持数据稀疏的活性。

5.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤四中，在上一时刻即需生成对本时刻输入的预测，其具体包括：调用层级时序记忆算法，设定模型参数，生成预测数据。

6.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤五中，调用异常分数函数得到异常分数；

步骤六中，根据异常分数分布，调用异常似然值计算模块，获取异常似然值；

步骤七中，根据得到的异常似然值，调用异常判断模块，判断当前系统是否处于异常状态，若异常似然值大于预设异常阈值则判断为发生异常；若小于，则判断为未发生异常。

7.一种应用权利要求1～6任一项所述稀疏编码下的基于HTM的流数据异常检测方法的检测系统，其特征在于，所述检测系统包括：

数据采集及预处理单元，用于采集各种域和应用的流数据并进行预处理；

稀疏编码单元，用于将预处理后的数据进行稀疏化，使得HTM模型可以在几乎无干扰的情况下同时表示不同项目，同时仍然保持相应的信息保持能力；

异常判断单元，用于使用HTM算法对采集的数据实时处理，判断是否发生异常。

8.根据权利要求7所述的检测系统，其特征在于，所述数据采集及预处理单元进一步包括：

数据采集模块，用于采集用户在各个域和应用中产生的实时流数据；

数据预处理模块，用于将获取到的数据转换为二进制向量，为异常判断单元提供条件。

9.根据权利要求7所述的检测系统，其特征在于，所述的稀疏编码单元进一步包括：

标准感受野模块，用于确定HTM模型中活性单元柱需要确定读取输入数据的范围；

局部抑制模块，用于选取被HTM模型中被激活的单元柱，以及该单元柱相邻单元柱活性的抑制，进一步提升输入数据稀疏性；

参数更新模块，用于加强活性更高的已读取数据的单元柱，惩罚活性低的单元柱，确保数据实时稀疏性表示。

10.根据权利要求7所述的检测系统，其特征在于，所述异常判断单元进一步包括：

输入数据构建模块，用于设定构建HTM算法与计算异常似然值中的参数值，构建HTM算法模型；

异常分数计算模块，用于计算预测输入值与实际输入数据之间的异常分数；

异常判断模块，用于调用异常似然值函数，计算异常似然值，并判断是否出现异常；

预测值生成模块，用于生成对下一时刻输入数据的预测值；

数据对比模块，用于对比本时刻的真实输入值和对本时刻的预测输入值。

Images