CN108776694A - 一种时间序列异常点检测方法及装置 - Google Patents

Abstract

本发明涉及数据处理技术领域，提供了一种时间序列异常点检测方法及装置，该方法包括：通过训练集训练时间序列的回归模型；根据训练得到的回归模型及输入的当前时刻前一段的时间序列预测当前时刻序列值，并根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测；根据异常检测的结果，在观测得到当前时刻序列值被认为是异常时，使用预测得到的当前时刻序列值替换观测得到的当前时刻序列值，并继续对时间序列的下一时刻进行异常点检测。本发明在时间序列点异常的检测任务中，采用回归预测的方法，利用预测值替换异常值，尽可能地降低预测的偏差，提高检测的准确率。

Description

一种时间序列异常点检测方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种时间序列异常点检测方法及装置。

背景技术

时间序列是按时间先后顺序收集的数值型数据序列，它广泛存在于金融、工业、商业、医疗、气象等领域中。股票交易所中随时间变化的股票价格、工厂中各种传感器采集的数据、商店每个月的商品销售量、患者的心电图、某地区的降水量等数据都是时间序列。

传统的数据挖掘中，异常值可能会被当作噪声剔除掉，以免影响数据挖掘的结果。然而在某些情形中，异常值包含了重要的信息，挖掘和分析异常值，能得到很多有用的知识。如地震数据中，异常值可能是一次地震的前兆；工厂中传感器数据的异常，可能表示着系统中某个部分出现了故障，及时发现异常并对系统故障进行维修，减少损失；生产线中零件进行一系列加工步骤时的检测值构成时间序列，检测其中的异常，可以判断每个步骤是否合格、最终加工的零件是否合格，进而指导生产，提高合格率。因此，时间序列中的异常检测具有重要的研究意义。

目前，对于时间序列异常值检测的方法大致分为以下几种：

(1)采用统计模型，估计模型参数的预测方法；该方法假设时间序列具有平稳性，这种假设很强，大多数的时间序列都不符合这种假设；而且参数估计的过程也较为复杂。

(2)k-邻近方法；该方法难以定义时间序列中的“距离”概念，导致效果较差。

(3)滑动窗口统计值方法；该方法较为简单，通过滑动窗口内的统计信息，如平均数、中位数等，对下一个点做出预测，但是不适合变化幅度较大、有趋势或周期的数据。

(4)边界矩形方法；该方法以时间序列关键点进行分割，计算分割后矩形的信息，如长度、高度变化值等，判断此矩形是否异常。但是对点异常的检测效果不好。

(5)指数平滑方法；该方法利用之前的观测值进行加权计算，利用到了之前所有的数据。但是预测值有滞后性，无法及时反应出变化。

(6)回归预测方法。该方法是较为流行的策略，它使用已有数据产生预测值，与观测值比较，若相差大于阈值则为异常值。这种方法适用于周期性强、趋势变化不大的数据。

然而，在实际的分析中，会存在这种情况。在有变化趋势和周期性的数据中，观测到了连续的异常值，此时回归方法将通过计算异常值来产生预测值。异常值参与预测，会导致预测值出现更大的偏差，导致产生更多的误报。

发明内容

本发明要解决的技术问题在于，针对现有技术的方法中会有异常值参与预测进而导致预测偏差大的缺陷，提供了一种时间序列异常点检测方法及装置，可以利用替换策略，对预测为异常的值进行替换，替换为模型预测值，以尽可能地降低预测的偏差。

为了解决上述技术问题，本发明提供了时间序列异常点检测方法，包括：

1)通过训练集训练时间序列的回归模型；

2)根据训练得到的回归模型及输入的当前时刻前一段的时间序列预测当前时刻序列值，并根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测；

3)根据异常检测的结果，在观测得到当前时刻序列值被认为是异常时，使用预测得到的当前时刻序列值替换观测得到的当前时刻序列值，并转步骤2)继续对时间序列的下一时刻进行异常点检测。

可选地，所述根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测，包括：

判断预测得到的当前时刻序列值与观测得到的当前时刻序列值之间的差值是否大于预设阈值，是则认为观测得到的当前时刻序列值异常，否则认为观测得到的当前时刻序列值正常。

可选地，所述步骤1)中还包括：计算训练集的标准差σ；

所述步骤2)中使用的预设阈值通过以下公式确定：

D＝3σ；

其中D为所述预设阈值，σ为训练集的标准差。

可选地，所述步骤3)中在观测得到的当前时刻序列值被认为是正常时，不更改时间序列中观测得到的当前时刻序列值。

可选地，所述步骤2)中输入的当前时刻前一段的时间序列通过以下方式确定：

设当前时刻为t＝index，则当前时刻前一段的时间序列为[S_index-k-1,…,S_index-1]，其中S_index-k-1为第_index-k-1时刻序列值，S_index-1为第_index-1时刻序列值，k为回归模型输入长度。

本发明还提供了一种时间序列异常点检测装置，至少包括：模型训练单元、异常检测单元和异常替换单元；

所述模型训练单元，用于利用训练集训练时间序列的回归模型；

所述异常检测单元，用于根据训练得到的回归模型及输入的当前时刻前一段的时间序列预测当前时刻序列值，并根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测；

所述异常替换单元，用于根据异常检测的结果，在观测得到当前时刻序列值被认为是异常时，使用预测得到的当前时刻序列值替换观测得到的当前时刻序列值，并启动异常检测单元继续对时间序列的下一时刻进行异常点检测。

可选地，所述异常检测单元判断预测得到的当前时刻序列值与观测得到的当前时刻序列值之间的差值是否大于预设阈值，是则认为观测得到的当前时刻序列值异常，否则认为观测得到的当前时刻序列值正常。

可选地，所述模型训练单元还用于计算训练集的标准差σ；所述异常检测单元中使用的预设阈值通过以下公式确定：

D＝3σ；

其中D为所述预设阈值，σ为训练集的标准差。

可选地，所述异常替换单元在观测得到的当前时刻序列值被认为是正常时，不更改时间序列中观测得到的当前时刻序列值。

可选地，所述异常检测单元输入的当前时刻前一段的时间序列通过以下方式确定：

设当前时刻为t＝index，则当前时刻前一段的时间序列为[S_index-k-1,…,S_index-1]，其中S_index-k-1为第_index-k-1时刻序列值，S_index-1为第_index-1时刻序列值，k为回归模型输入长度。

实施本发明实施例提供的时间序列异常点检测方法及装置，至少具有如下有益效果：

本发明在时间序列点异常的检测任务中，采用回归预测的方法，预测过程中利用预测值替换异常值，尽可能地降低预测的偏差；在具有周期性、固定变化趋势的数据上，降低异常值对后续检测的影响，以降低误报率，尽可能提高检测的准确率。

进一步地，本发明采用3σ准则，将训练数据中的3倍标准差作为阈值，可以较好地判断异常值，在该阈值选择下，可以很好地识别异常点，并对异常值进行替换。

附图说明

图1是本发明实施例一所提供时间序列异常点检测方法的流程图；

图2是本发明实施例三所提供时间序列异常点检测方法的流程图；

图3是本发明实施例四所提供时间序列异常点检测装置的示意图。

图中：301：模型训练单元；302：异常检测单元；303：异常替换单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，本发明实施例提供的时间序列异常点检测方法，可以包括以下步骤：

步骤S101：利用训练集T训练时间序列的回归模型；

步骤S102：根据训练得到的回归模型及输入的当前时刻前一段的时间序列预测当前时刻序列值，并根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测。优选地，该步骤S102中判断预测得到的当前时刻序列值与观测得到的当前时刻序列值之间的差值是否大于预设阈值，是则认为观测得到的当前时刻序列值异常，否则认为观测得到的当前时刻序列值正常。

步骤S103：根据异常检测的结果，在观测得到当前时刻序列值被认为是异常时，使用预测得到的当前时刻序列值替换观测得到的当前时刻序列值，并转步骤S102继续对时间序列的下一时刻进行异常点检测。优选地，该步骤S103中在观测得到当前时刻序列值被认为是正常时，不更改时间序列中观测得到的当前时刻序列值。更优选地，该步骤中还存储被认为是异常的当前时刻序列值及当前的异常时刻。并在该时间序列全部进行异常点检测之后，将所有检测出的异常时刻及异常时刻序列值输出。

在避免异常值产生影响的前提下，本发明聚焦于对异常值进行检测和替换。对于每条时间序列，都可以建立回归模型，利用序列的部分数据训练模型，然后应用于后续的预测与检测中。回归模型利用一段时间序列作为输入，回归下一时刻的值。显然，输入的时间序列会对输出值产生巨大影响。如果输入值包含了异常，那么输出值很容易出现较大的偏差。于是，对于回归模型中输入时间序列的数据质量有要求。为了使得输入的时间序列具有更高的质量，本发明对时间序列中的异常值进行了替换，使用预测值替换异常值，使得输出的预测值更接近正常值。

本发明共分为三个阶段，模型训练、异常检测和异常替换。首先将时间序列的一段数据用来训练模型。建立回归模型后，便可以对后续的时间序列进行异常检测。异常检测阶段首先输入一段时间序列，模型预测下一个时刻的值。得到预测值和观测值，比较两者之差和预设阈值的关系，以判断下个时刻的观测值是否为异常值。若大于预设阈值，则认为下一个时刻的观测值是异常的。第三阶段进行异常替换，若认为观测值是异常的，则利用预测值替换观测值。然后继续检测下下个时刻的值，直到整条时间序列检测完成。

本发明的关键点在于避免异常值参与后续的预测。通过将异常值替换为模型预测值，可以近似地认为预测值为该时刻的正确的值。替换后，异常值便不会参与到后续的计算中，使得预测近似地建立在正常值的基础上，模型预测的效果就会更好。

实施例二

在实施例一所提供时间序列异常点检测方法的基础上，对异常点的判别阈值进行了优化，其中：

步骤S101中还包括：计算训练集的标准差σ；

步骤S102中使用的预设阈值通过以下公式确定：

D＝3σ；

其中D为所述预设阈值，σ为训练集的标准差。

在异常检测阶段，阈值的选择对异常值的确定有重要的影响。阈值选择过大，漏报率上升；阈值选择过小，会出现很多误报。合理地选择阈值，才可以正确判断异常点，使得后续的替换策略更加成功。在阈值选择上，本方法采用了3σ准则。当样本足够大时，可以近似认为是正态分布，数值分布在(μ-3σ,μ+3σ)区间内的概率为99.74％。所以将3σ作为阈值，与预测值之差超过这个阈值的点被认为是异常点。

本发明采用3σ准则，将训练数据中的3倍标准差作为阈值，可以较好地判断异常值。本发明在该阈值选择下，可以很好地识别异常点，并对异常值进行替换。它能较好地预测下一个时刻的值，即使出现连续的异常，也可以保持预测数据的趋势和周期性，使得检测准确率较高。

实施例三

本发明结合前述实施例一和二，提供了实施例三的时间序列异常点检测方法，具体实现流程如下：

步骤S201：流程开始；

步骤S202：建立回归模型Regressor，用训练集T训练回归模型；

步骤S203：计算训练集的标准差σ；

步骤S204：令异常点集合P为空集；

步骤S205：令时间序号标识index＝k+1；k为回归模型输入长度。

步骤S206：判断时间序号标识index是否小于等于时间序列S的总长度，是则转步骤S207，否则转步骤S212；

步骤S207：将时间序列T中的一段时间序列[S_index-k-1,…,S_index-1]输入回归模型Regressor，并预测当前时刻序列值predict；其中S_index-k-1为时间序列T中第_index-k-1时刻序列值，S_index-1为时间序列T中第_index-1时刻序列值；

步骤S208：判断预测得到的当前时刻序列值predict与观测得到的当前时刻序列值S_index之间的差值是否大于预设阈值3σ，即|predict-S_index|≥3*σ，是则认为观测得到的当前时刻序列值S_index异常，转步骤S210，否则认为观测得到的当前时刻序列值S_index正常，转步骤S209；

步骤S209：令时间序号标识自增，即index＝index+1；

步骤S210：将(index,S_index)并入异常点集合P；

步骤S211：使用预测得到的当前时刻序列值predict替换观测得到的当前时刻序列值S_index，即令S_index＝predict；

步骤S212：流程结束，输出异常点集合P，其中包括时间序列T中的异常时刻及其对应的异常值。

该算法的伪代码如下：

该算法首先通过训练集建立预测模型，并计算训练集的标准差σ。接下来，第5行通过用时间序列S中的每一段[S_index-k-1,…,S_index-1]预测index时刻的时间序列值，预测值为predict。第6行将预测得到的当前时刻序列值predict与观测得到的当前时刻序列值S_index比较，看两者之差是否大于3σ。第7-9行若两者之差大于3倍阈值则被认定为异常值，加入异常值序列中，并用predict值取代S_index的值，直到时间序列检测完成，算法结束，第12行返回异常时刻及其对应的异常值集合P。

与现有技术相比，本发明避免了异常值对后续预测及检测产生的影响，降低了误检率，提高了检测异常值的准确率。同时，从数据中获取阈值，避免了人工选择不合适的阈值。同时，也为阈值选择提供了建议，可以结合领域知识人工选择阈值，达到漏检和误检的更好平衡。

实施例四

如图3所示，本发明实施例提供的时间序列异常点检测装置，可以包括：模型训练单元301、异常检测单元302和异常替换单元303；

模型训练单元301，用于利用训练集T训练时间序列的回归模型。该模型训练单元301执行的操作与前述步骤S101相同；

异常检测单元302，用于根据训练得到的回归模型及输入的当前时刻前一段的时间序列预测当前时刻序列值，并根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测。该异常检测单元302执行的操作与前述步骤S102相同；

异常替换单元303，用于根据异常检测的结果，在观测得到当前时刻序列值被认为是异常时，使用预测得到的当前时刻序列值替换观测得到的当前时刻序列值，并转步骤S102继续对时间序列的下一时刻进行异常点检测。该异常替换单元303执行的操作与前述步骤S103相同。

优选地，异常检测单元302判断预测得到的当前时刻序列值与观测得到的当前时刻序列值之间的差值是否大于预设阈值，是则认为观测得到的当前时刻序列值异常，否则认为观测得到的当前时刻序列值正常。

优选地，模型训练单元301还用于计算训练集的标准差σ；异常检测单元302中使用的预设阈值通过以下公式确定：

D＝3σ；

其中D为所述预设阈值，σ为训练集的标准差。

优选地，异常替换单元303在观测得到的当前时刻序列值被认为是正常时，不更改时间序列中观测得到的当前时刻序列值。

优选地，异常检测单元302输入的当前时刻前一段的时间序列通过以下方式确定：

设当前时刻为t＝index，则当前时刻前一段的时间序列为[S_index-k-1,…,S_index-1]，其中S_index-k-1为第_index-k-1时刻序列值，S_index-1为第_index-1时刻序列值，k为回归模型输入长度，，一般情况下，k越大，预测的越精确，但花费的时间也更多。实验表明，k≥4时即可取得较好的预测结果，k＝32时，预测已经非常精确。所以兼顾计算速度与精确性，k的取值范围通常是4≤k≤32。

另外需要说明的是，本发明实施例提供的时间序列异常点检测装置，可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，如图3所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种时间序列异常点检测方法，其特征在于，包括：

1)通过训练集训练时间序列的回归模型；

2)根据训练得到的回归模型及输入的当前时刻前一段的时间序列预测当前时刻序列值，并根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测；

3)根据异常检测的结果，在观测得到当前时刻序列值被认为是异常时，使用预测得到的当前时刻序列值替换观测得到的当前时刻序列值，并转步骤2)继续对时间序列的下一时刻进行异常点检测。

2.根据权利要求1所述的方法，其特征在于，所述根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测，包括：

判断预测得到的当前时刻序列值与观测得到的当前时刻序列值之间的差值是否大于预设阈值，是则认为观测得到的当前时刻序列值异常，否则认为观测得到的当前时刻序列值正常。

3.根据权利要求2所述的方法，其特征在于：

所述步骤1)中还包括：计算训练集的标准差σ；

所述步骤2)中使用的预设阈值通过以下公式确定：

D＝3σ；

其中D为所述预设阈值，σ为训练集的标准差。

4.根据权利要求2所述的方法，其特征在于，所述步骤3)中在观测得到的当前时刻序列值被认为是正常时，不更改时间序列中观测得到的当前时刻序列值。

5.根据权利要求1所述的方法，其特征在于，所述步骤2)中输入的当前时刻前一段的时间序列通过以下方式确定：

设当前时刻为t＝index，则当前时刻前一段的时间序列为[S_index-k-1,…,S_index-1]，其中S_index-k-1为第_index-k-1时刻序列值，S_index-1为第_index-1时刻序列值，k为回归模型输入长度。

6.一种时间序列异常点检测装置，其特征在于，至少包括：模型训练单元、异常检测单元和异常替换单元；

所述模型训练单元，用于利用训练集训练时间序列的回归模型；

所述异常检测单元，用于根据训练得到的回归模型及输入的当前时刻前一段的时间序列预测当前时刻序列值，并根据预测得到的当前时刻序列值对观测得到的当前时刻序列值进行异常检测；

所述异常替换单元，用于根据异常检测的结果，在观测得到当前时刻序列值被认为是异常时，使用预测得到的当前时刻序列值替换观测得到的当前时刻序列值，并启动异常检测单元继续对时间序列的下一时刻进行异常点检测。

7.根据权利要求6所述的装置，其特征在于，所述异常检测单元判断预测得到的当前时刻序列值与观测得到的当前时刻序列值之间的差值是否大于预设阈值，是则认为观测得到的当前时刻序列值异常，否则认为观测得到的当前时刻序列值正常。

8.根据权利要求7所述的装置，其特征在于，所述模型训练单元还用于计算训练集的标准差σ；所述异常检测单元中使用的预设阈值通过以下公式确定：

D＝3σ；

其中D为所述预设阈值，σ为训练集的标准差。

9.根据权利要求7所述的装置，其特征在于，所述异常替换单元在观测得到的当前时刻序列值被认为是正常时，不更改时间序列中观测得到的当前时刻序列值。

10.根据权利要求6所述的装置，其特征在于，所述异常检测单元输入的当前时刻前一段的时间序列通过以下方式确定：

设当前时刻为t＝index，则当前时刻前一段的时间序列为[S_index-k-1,…,S_index-1]，其中S_index-k-1为第_index-k-1时刻序列值，S_index-1为第_index-1时刻序列值，k为回归模型输入长度。