CN111951957A - 基于注意力机制与层次时间记忆的糖尿病数据异常检测方法 - Google Patents

Abstract

本发明提供一种基于注意力机制与层次时间记忆的糖尿病数据异常检测方法，对高速传输来的糖尿病数据进行预处理，把预处理过后的糖尿病数据输入到注意力模型(Attention model)当中去，通过注意力模型后过滤出糖尿病流数据当中的重要数据信息。紧接着把过滤出来的数据信息输入到层次时间记忆网络模型(HTM)中，进行实时的糖尿病流数据异常检测。并且实时计算出每个糖尿病流点数据的异常可能性，和最初设定的阈值进行比较，决定该数据点是否处于异常状态。把检测出来的异常点数据实时保存在数据库当中，并输出预警报告。速度更快，效率更高。

Description

基于注意力机制与层次时间记忆的糖尿病数据异常检测方法

技术领域

本发明涉及深度学习异常检测领域和系统健康管理领域，尤其涉及一种基于注意力机制与层次时间记忆的糖尿病数据异常检测方法。

背景技术

随着物联网技术在糖尿病领域的广泛应用，产生了大量的高速实时数据流，糖尿病流数据数量巨大且生成迅速，并且数据会随着时间的推移而发生变化。在对糖尿病流数据的分析处理当中，异常检测一直是数据分析人员和医疗人员重点关注的领域。在对糖尿病流数据的异常检测当中，发现任何异常都是非常有价值和参考性的。对糖尿病患者而言，提前几分钟或者几十秒发现自身的异常情况要比提前几秒钟发现好的多。

在异常检测的众多方法中，主要包含两种方法，一种是有监督的(如决策树和支持向量机)，另一种是无监督的(如聚类)。它们都是传统的异常检测方法，这些方法在处理批量糖尿病数据时表现出良好性能，但是不适合处理血糖仪高速传输的实时糖尿病数据。因为我们想要的是找出糖尿病流数据当中的异常点，并且为每个数据点分配一个异常分数来展示其为异常的可能性。近年来也提出了一些针对流数据的在线异常检测，包括基于分布式匹配的分组算法(DMGA)、数据流多类学习算法以及漂移检测算法(OLINDDA，这些算法在对流数据进行异常检测时也能表现出不错的性能，但是在针对糖尿病流数据这一特殊的人体流数据不在适用。处理糖尿病流数据需要实时在线检测，并且处理速度要求快，准确率要求高。在传统的异常检测方法当中，普遍都是收集完需要检测的全部数据以后才进行批量检测，检测的效率很低，并且传统方法针对糖尿病流数据的异常检测实用价值较低。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于注意力机制与层次时间记忆的糖尿病数据异常检测方法，通过使用层次时间记忆(HTM)，旨在模拟新大脑皮层的工作原理，将复杂的问题转化为模式匹配与预测。是一种对新大脑皮层结构与功能运作进行人工模拟的算法，通过对空间模式与时间模式的提取，以及稀疏离散表征等处理。它的核心是建立一种时间和空间的框架，它具有层级结构，通过记忆模式与序列进行建模，并且各个层级之间的信息可以互相传递。以期能从高速传输的糖尿病数据当中快速检测到其中的异常点，精确的检测出其中的异常信息，从而为患者提供准确的糖尿病数据信息，也为患者后续的医疗诊断提供科学有效的依据。

本发明提供一种基于注意力机制与层次时间记忆(HTM)的糖尿病数据异常检测方法，对高速传输来的糖尿病数据进行预处理，把预处理过后的糖尿病数据输入到注意力模型(Attention model)当中去，通过注意力模型后过滤出糖尿病流数据当中的重要数据信息。紧接着把过滤出来的数据信息输入到层次时间记忆网络模型(HTM)中，进行实时的糖尿病流数据异常检测。并且实时计算出每个糖尿病流点数据的异常可能性，和最初设定的阈值进行比较，决定该数据点是否处于异常状态。把检测出来的异常点数据实时保存在数据库当中，并输出预警报告。

进一步改进：其数据处理流程具体如下：

步骤1：数据预处理阶段，从物联网接收到的糖尿病流数据，首先需要进行预处理，这是糖尿病流数据异常检测最为重要的一个步骤。具体包括：

1)对传输过来的糖尿病数据进行数据清洗。

2)对清洗过后的数据进行数据转换。

3)对上面处理过后的数据进行数据校验。

4)紧接着对上述数据进行数据描述。

步骤2：数据过滤阶段，经过预处理过后的糖尿病流数据，实时地把数据输入到注意力模型(Attention model)当中，赋予各个属性信息权值，逐步筛选出糖尿病数据当中最为重要的属性数据信息。具体包括：

1)把预处理数据输入注意力模型的编码器(Encode)当中。

2)在注意力模型当中，进过编码器(Encode)处理过后的数据，会生成不同的中间数据表示(D_i)。

3)结合中间数据表示(D_i)和以往的糖尿病数据信息筛选出重要的属性信息，并进行输出。

步骤3：异常检测阶段，把原始的糖尿病流数据经过预处理以及数据信息过滤后，利用层次时间记忆网络模型(HTM)进行糖尿病流数据的实时异常检测。

1)HTM网络可以连续的学习输入的糖尿病流数据的时空特性。

2)在HTM网络中，当前输入数据X_t会被送入一个编码器(Encoder)，然后是一个空间池(Spatial pooler)。

3)经过上述两个操作后，会生成向量A_xt(代表当前输入的二进制向量)和向量π_xt(代表对当前输入A_xt预测的二进制向量)

4)利用生成的向量A_xt和π_xt计算出对该数据点异常检测的准确率和该数据点为异常点的可能性大小。

步骤4：数据存储阶段，经过上述三个阶段以后可以检测到实时糖尿病流数据当中的异常点，并标记出每个数据点的异常可能性，然后和设定的阈值进行比较，标记出大于阈值的数据点为异常点，进行实时保存并及时报告给患者。

进一步改进在于：所述步骤2中的糖尿病重要数据信息过滤的过程包括如下步骤：

步骤2.1：令输入的糖尿病序列数据…X_(t-2)，X_(t-1)，X_t，X_(t+1)，X_(t+2)…，经过编码器处理过后的输入数据变成不同的中间数据表示D_i，其中D_i等于Di＝F(X1，X2，...，Xm-1，Xm)；

步骤2.2：F是编码器当中的非线性变换函数，将输入数据转化成中间数据表示D_i，中间数据表示D_i根据当前的输入输出数据动态的调整大小；

步骤2.3：中间数据表示D_i对应着不同输入数据的注意力分配概率，对持续输入的糖尿病数据分配不同的权值p，并且结合之前已经生成的历史数据Y₁,Y₂…Y_m-1，生成该时刻的输出数据Y_i：Yi＝G(Di，Y1，Y2...Ym-1)；

步骤2.4：G是解码器当中的非线性变换函数，在输出目标糖尿病属性数据时，使用不同的中间数据表示D_i逐步的强化其中重要属性数据信息，逐步弱化其中对糖尿病数据异常检测关联不大的数据信息。

进一步改进在于：所述步骤3中的糖尿病数据异常检测的过程包括以下步骤：

步骤3.1：处理过后得到的糖尿病数据Y₁,Y₂,…Y_m输入到层次时间记忆当中，经过HTM当中的编码器进行编码，以及空间池的空间合用过程,生成代表输入的稀疏二进制向量A_(Yi)；层次时间记忆核心的算法组件是序列内存,生成代表对当前输入预测的下一个稀疏二进制向量π_(Yi)；

步骤3.2：输入数据Y被分别输入到多个层次时间记忆网络当中进行误差分析，进过层次时间记忆网络处理后，生成代表当前数据实际值的稀疏二进制向量A_(Yi)以及代表下一个输入预测值的稀疏二进制向量π_(Yi)；

步骤3.3在上述生成向量A_(Yi)和π_(Yi)之后，随着下一时刻糖尿病数据的持续输入；用当前的实际值和上一次生成预测值的稀疏二进制向量π_(Yi)，开始计算实时的预测误差S_t；

步骤3.4：预测误差S_t作为当前输入糖尿病数据的一个瞬时度量，每个数据的预测误差S_t变化较大，采用预测误差进行分布建模，求其均值μ和方差σ²，进行异常可能性的计算；

步骤3.5：利用预测误差的均值μ和方差σ²，结合Q函数计算异常可能性L_t，来声名该数据点是否异常，异常则进行实时标记保存，反之则继续往下进行实时的糖尿病数据异常检测。

本发明的有益效果是：实现实时在线糖尿病流数据的异常检测，采用层次时间记忆(HTM)可以实现糖尿病数据的实时在线异常检测，并且速度更快，效率更高。实现糖尿病流数据异常检测当中的连续学习。采用层次时间记忆(HTM)最大的优势就是可以连续的学习流数据的特征，采用HTM对糖尿病流数据进行异常检测，可以实时的学习其数据特征。结合了注意力模型(Attention)和层次时间记忆(HTM)模型，在针对糖尿病流数据的异常检测中，可以有效的避免一些不是很重要的数据信息的对实时糖尿病数据异常检测产生干扰，可以快速的针对糖尿病数据当中的重要信息进行异常检测，进一步提高了异常检测的准确率和效率。在无人监管的情况下自动的对糖尿病数据进行异常检测。结合了注意力模型(Attention model)和层次时间记忆(HTM)模型，在保证最有效的糖尿病数据输入的同时，可以保证在无人监管的情况自动的调节参数进行糖尿病数据异常检测。自主的适应糖尿病流数据随着时间和外部环境变化而发生的概念漂移问题，准确的进行糖尿病数据的异常检测。

附图说明

图1是本发明的系统架构图。

图2是本发明的注意力机制模型(Attention model)图。

图3是本发明的层次时间记忆(HTM)模型图。

图4是本发明的层次时间记忆(HTM)模型的核心组件图。

图5是本发明的数据处理流程图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明作进一步的详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。如图1所示，本实施例提供了一种基于注意力机制与层次时间记忆(HTM)的糖尿病数据异常检测方法，能够从实时高速传输的糖尿病流数据当中检测出异常点，并且具有实现检测出的异常数据具有准确性、高效性和实时性的优点。本方法按照以下的步骤进行：

步骤1：首先，在患者身上的无创血糖仪能够实时的产生糖尿病的流数据，记t时刻的数据为X_t，则产生的序列数据为…X_(t-2)，X_(t-1)，X_t，X_(t+1)，X_(t+2)…，产生的序列糖尿病流数据输入到本发明提出的异常检测模型当中。

步骤2：本发明的模型如图1所示，糖尿病数据在此模型主要进行下列操作的处理。具体包括：

步骤2.1：糖尿病流数据首先进行数据预处理操作，包括数据清洗、数据转换、数据校验和数据描述等操作，判断数据是否出现错误和数据是否丢失。把糖尿病数据全部进行归一化和数字化，方便后续的数据分析与处理。

步骤2.2：经过预处理过后的糖尿病数据，如图1所示，首先输入到办发明中采用的注意力模型(Attention model)当中，逐步剔除对异常检测不是很重要的数据，如病人的姓名、联系方式等。

步骤2.2.1：本发明的糖尿病注意力模型(Attention model)如图2所示。令输入的糖尿病序列数据…X_(t-2)，X_(t-1)，X_t，X_(t+1)，X_(t+2)…，经过编码器处理过后的输入数据变成不同的中间数据表示D_i，其中D_i等于：Di＝F(X1，X2，...，Xm-1，Xm)；

步骤2.2.2：中间数据表示D_i给输入的糖尿病数据分配不同的权值p，然后结合以往生成的历史数据Y₁,Y₂…Y_m-1，生成本次的输出数据Y_i。Yi＝G(Di，Y1，Y2...Ym-1)；

步骤2.3：如图3所示，经过预处理和注意力机制模型(Attention model)处理过后的糖尿病流数据，在这环节当中输入到采用的层次时间记忆(HTM)模型当中，HTM的核心算法组件如图4所示。主要包含编码器、空间池和序列内存三个组件。

步骤2.3.1：如图3所示，进过上述步骤处理过后的糖尿病数据Y₁,Y₂,…Y_m首先输入到层次时间记忆(HTM)当中，经过HTM当中的编码器进行编码，以及空间池的空间合用过程，核心的算法组件是序列内存。生成代表输入的稀疏二进制向量A_(Yi)和代表对当前输入预测的下一个稀疏二进制向量π_(Yi)。

步骤2.3.2：生成实际值A_(Yi)和同步的预测值π_(Yi)后，如图3所示，开始计算预测误差S_t。计算如下所示：

步骤2.3.3：预测误差S_t在这里作为一个间接的度量，采用预测误差进行分布建模，求其均值μ和方差σ²，进行异常可能性的计算。如图3所示：

其中，W指的是短期移动平均线的窗口大小。

步骤2.3.4：利用预测误差的均值μ和方差σ²，结合Q函数计算异常可能性L_t，用它来声名该数据点是否异常,其中W′<<W。

步骤3：异常点判断，在本发明中用上述计算出的异常可能性和提前设定好的阈值进行比较，大于阈值时，判断该数据点为异常。反之则继续往下进行实时的糖尿病数据异常检测。

步骤4：数据判断为异常点以后，把该数据点及时保存在数据库当中，并且实时的向患者和医生报告异常情况。数据处理流程图如图5所示。综上所述，糖尿病数据异常检测方法能够结合注意力模型(Attention model)和层次时间记忆(HTM)模型，快速、准确和高效的从实时传输的糖尿病数据当中检测到其中的异常数据。

Claims (4)

1.一种基于注意力机制与层次时间记忆的糖尿病数据异常检测方法，其特征在于：所述方法包括以下步骤：

步骤一：接收从物联网高速传输来的糖尿病数据并进行预处理，把预处理过后的糖尿病数据输入到注意力模型当中，通过注意力模型筛选出糖尿病流数据当中的重要数据信息；

步骤二：对于筛选过后的数据信息实时的输入到层次时间记忆网络模型中，进行实时糖尿病流数据的异常检测；

步骤三：实时计算出每个糖尿病数据点的异常可能性，和最初计算设定的阈值进行比较，决定该数据点是否处于异常状态；

步骤四：同时把检测出来的异常点数据实时保存在数据库当中，并输出预警报告。

2.如权利要求1所述的基于注意力机制与层次时间记忆的糖尿病数据异常检测方法，其特征在于：处理数据的具体流程包括以下步骤：

步骤1：数据预处理阶段，从物联网接收到的糖尿病流数据，首先需要进行预处理，具体为对传输过来的糖尿病数据进行数据清洗，对清洗划分过后的数据进行数据转换，对上面处理过后的数据进行数据校验，紧接着对上述数据进行数据描述；

步骤2：数据过滤阶段，经过预处理过后的糖尿病流数据，实时地把数据输入到注意力模型当中，赋予各个属性信息权值，逐步筛选出糖尿病数据当中最为重要的属性数据信息，具体为把预处理过后的数据输入到注意力模型的编码器当中，在注意力模型当中，经过编码器处理过后的数据，会生成不同的中间数据表示Di，结合中间数据表示Di和以往的糖尿病数据信息逐步的筛选出重要的属性信息，并进行输出；

步骤3：异常检测阶段，把原始的糖尿病流数据经过预处理以及数据信息过滤后，利用层次时间记忆网络模型进行糖尿病流数据的实时异常检测，HTM网络连续的学习输入的糖尿病流数据的时空特性，在HTM网络中，当前输入数据X_t会被送入一个编码器，然后是一个空间池，经过上述两个操作后，会生成向量A_xt和向量π_xt，A_xt代表当前输入的二进制向量，向量π_xt代表对当前输入A_xt预测的二进制向量，利用生成的向量A_xt和π_xt计算出对数据点异常检测的准确率和数据点为异常点的可能性大小；

步骤4：数据存储阶段，经过上述三个阶段以后检测到实时糖尿病流数据当中的异常点，并标记出每个数据点的异常可能性，然后和设定的阈值进行比较，标记出大于阈值的数据点为异常点，进行实时保存并及时报告给患者。

3.如权利要求2所述的基于注意力机制与层次时间记忆的糖尿病数据异常检测方法，其特征在于：所述步骤2中的糖尿病重要数据信息过滤的过程包括如下步骤：

步骤2.1：令输入的糖尿病序列数据…X_(t-2)，X_(t-1)，X_t，X_(t+1)，X_(t+2)…，经过编码器处理过后的输入数据变成不同的中间数据表示D_i，其中D_i等于Di＝F(X1，X2，...，Xm-1，Xm)；

步骤2.2：F是编码器当中的非线性变换函数，将输入数据转化成中间数据表示D_i，中间数据表示D_i根据当前的输入输出数据动态的调整大小；

步骤2.3：中间数据表示D_i对应着不同输入数据的注意力分配概率，对持续输入的糖尿病数据分配不同的权值p，并且结合之前已经生成的历史数据Y₁,Y₂…Y_m-1，生成该时刻的输出数据Y_i：Y_i＝G(Di，Y1，Y2...Ym-1)；

步骤2.4：G是解码器当中的非线性变换函数，在输出目标糖尿病属性数据时，使用不同的中间数据表示D_i逐步的强化其中重要属性数据信息，逐步弱化其中对糖尿病数据异常检测关联不大的数据信息。

4.如权利要求2所述的基于注意力机制与层次时间记忆的糖尿病数据异常检测方法，其特征在于：所述步骤3中的糖尿病数据异常检测的过程包括以下步骤：

步骤3.1：处理过后得到的糖尿病数据Y₁,Y₂,…Y_m输入到层次时间记忆当中，经过HTM当中的编码器进行编码，以及空间池的空间合用过程,生成代表输入的稀疏二进制向量A_(Yi)；层次时间记忆核心的算法组件是序列内存,生成代表对当前输入预测的下一个稀疏二进制向量π_(Yi)；

步骤3.2：输入数据Y被分别输入到多个层次时间记忆网络当中进行误差分析，进过层次时间记忆网络处理后，生成代表当前数据实际值的稀疏二进制向量A_(Yi)以及代表下一个输入预测值的稀疏二进制向量π_(Yi)；

步骤3.3在上述生成向量A_(Yi)和π_(Yi)之后，随着下一时刻糖尿病数据的持续输入；用当前的实际值和上一次生成预测值的稀疏二进制向量π_(Yi)，开始计算实时的预测误差S_t；

步骤3.4：预测误差S_t作为当前输入糖尿病数据的一个瞬时度量，每个数据的预测误差S_t变化较大，采用预测误差进行分布建模，求其均值μ和方差σ²，进行异常可能性的计算；

步骤3.5：利用预测误差的均值μ和方差σ²，结合Q函数计算异常可能性L_t，来声名该数据点是否异常，异常则进行实时标记保存，反之则继续往下进行实时的糖尿病数据异常检测。

Images