CN108319981A

CN108319981A - 一种基于密度的时序数据异常检测方法及装置

Info

Publication number: CN108319981A
Application number: CN201810114278.XA
Authority: CN
Inventors: 王建民; 宋韶旭; 张奥千; 王昳晗
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2018-02-05
Filing date: 2018-02-05
Publication date: 2018-07-24

Abstract

本发明提供一种基于密度的时序数据异常检测方法及装置，所述方法包括将待检测时序数据分成多段，每段为一个子序列；计算每个子序列对应的特征向量；基于预先获取的训练数据特征向量集，计算所述特征向量的局部异常因子，若所述局部异常因子大于预设阈值，则所述特征向量对应的子序列为异常数据。本发明提供的基于密度的时序数据异常检测方法及装置，首先进行数据分段，然后进行特征提取，最后根据基于密度的局部异常因子判断数据段是否为异常数据段；本发明不依赖于领域知识，通用性好，并且只根据数据本身的分布特点进行异常数据的检测，提高了检测结果的准确性。

Description

一种基于密度的时序数据异常检测方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于密度的时序数据异常检测方法及装置。

背景技术

在工业领域中，无时无刻不在产生新的数据，例如设备运行指标数据、物理量检测数据等。这些数据通常是每隔一段时间进行一次采集，采集的数据值可以和采集时间一一对应，我们称这样的数据为时序数据，即按时间顺序记录的数据列。随着信息技术的不断发展，数据在工业领域中的应用价值逐渐受到人们的重视，例如从时序数据中我们可以分析设备运行状态、气候变化趋势等。随着对数据利用的增多，数据质量问题逐渐受到人们的重视。数据质量问题即数据在其生命周期(产生、储存、加工、使用)中由于某些原因产生偏差，导致最终数据的不一致、不精确、不完整等问题。造成数据质量问题的原因很多，如数据源故障、人为失误、储存介质受损等，诸多的因素导致数据质量在生产生活中普遍存在。异常数据会对分析、挖掘等实际任务造成巨大影响，因此如何能够准确的检测出时序数据中的异常数据显得尤为重要。

现有技术中，针对时序数据的异常检测方法大多基于领域专家给定的规则，例如规定某一指标的正常范围，在正常范围中的数据判定为正常数据，不在正常范围中的数据判定为异常数据。

这样的方法灵活性及准确性都不能得到保障，如果范围规定过大，可能无法检测到所有异常数据，如果范围规定过小，可能有很多正常数据被检测为异常。并且，时序数据中的异常数据通常成段出现、同一指标数据分布通常相似，造成采用现有技术中的方法对异常数据进行检测的结果，不确定性较大，检测结果不准确。

发明内容

本发明的目的是提供一种基于密度的时序数据异常检测方法及装置，解决了现有技术中时序数据异常检测结果不准确的技术问题。

为了解决上述技术问题，一方面，本发明提供一种基于密度的时序数据异常检测方法，包括：

将待检测时序数据分成多段，每段为一个子序列；

计算每个子序列对应的特征向量；

基于预先获取的训练数据特征向量集，计算所述特征向量的局部异常因子，若判断获知所述局部异常因子大于预设阈值，则所述特征向量对应的子序列为异常数据。

进一步地，所述计算每个子序列对应的特征向量，具体为：

计算每个子序列的特征值，所述特征值包括每个子序列中所有数据点的数据值的平均值、标准差、最大值和最小值；

以所述特征值为向量元素构建每个子序列对应的特征向量。

进一步地，所述将待检测时序数据分成多个子序列，具体为：

计算所述待检测时序数据中每个数据点的速度，其中，当前数据点的速度为当前数据点和前一个数据点的数据值之差，与当前数据点和前一个数据点的时间戳之差的比值；

基于每个数据点的速度和预先获取的分段阈值，将所述待检测时序数据分成多个子序列。

进一步地，获取所述训练数据特征向量集的具体步骤如下：

将获取的样本时序数据分成多个样本子序列，所述样本时序数据中不包含异常数据；

计算每个样本子序列对应的特征向量，将所有样本子序列对应的特征向量的集合作为训练数据特征向量集。

另一方面，本发明提供一种基于密度的时序数据异常检测装置，包括：

分段模块，用于将待检测时序数据分成多段，每段为一个子序列；

计算模块，用于计算每个子序列对应的特征向量；

检测模块，用于基于预先获取的训练数据特征向量集，计算所述特征向量的局部异常因子，若判断获知所述局部异常因子大于预设阈值，则所述特征向量对应的子序列为异常数据。

再一方面，本发明提供一种用于检测时序数据中的异常数据的电子设备，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。

又一方面，本发明提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的方法。

又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明提供的基于密度的时序数据异常检测方法及装置，首先进行数据分段，然后进行特征提取，最后根据基于密度的局部异常因子判断数据段是否为异常数据段；本发明不依赖于领域知识，通用性好，并且只根据数据本身的分布特点进行异常数据的检测，提高了检测结果的准确性。

附图说明

图1为依照本发明实施例的基于密度的时序数据异常检测方法示意图；

图2为依照本发明实施例的基于密度的时序数据异常检测装置示意图；

图3为本发明实施例提供的用于检测时序数据中的异常数据的电子设备的结构示意图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为依照本发明实施例的基于密度的时序数据异常检测方法示意图，如图1所示，本发明实施例提供一种基于密度的时序数据异常检测方法，包括：

步骤S10、将待检测时序数据分成多段，每段为一个子序列；

步骤S20、计算每个子序列对应的特征向量；

步骤S30、基于预先获取的训练数据特征向量集，计算所述特征向量的局部异常因子，若判断获知所述局部异常因子大于预设阈值，则所述特征向量对应的子序列为异常数据。

具体的，首先，给定一条待测时序数据S_o，其部分或全部数据可能存在异常。为了检测出其中存在异常的数据段，将一条待检测时序数据(序列)分为多个子序列。定义一条待检测时序数据为S_o＝{(t₁,d₁),(t₂,d₂),…,(t_n,d_n)}，其中p_i＝(t_i,d_i)是一个数据点，由时间戳t_i及数值d_i组成。序列分段就是将序列S_o划分为多个子序列{S_o1,S_o2,…,S_om'}。

然后，对每个子序列进行特征提取，计算每个子序列对应的特征向量。对序列分段结果中的每一个子序列，通过抽取统计特征的方式，可以将其转化为一个多维向量，称其为特征向量。即，将待检测时序数据转化为多维度的特征向量集合此时每一个特征向量对应待测序列S_o的一个子序列S_oi。

最后，以预先获取的训练数据特征向量集为基准，计算每个特征向量的局部异常因子，根据所述局部异常因子判断所述特征向量对应的子序列是否为异常数据，即，将待测序列的每个子序列的特征向量放入训练数据特征向量集合中计算其周围密度，较稀疏的待测数据特征向量对应的子序列即为异常数据段。计算每一待测序列特征向量的局部异常因子(Local Outlier Factor，LOF)。以预先获取的训练数据特征向量集为基准，对待测数据特征向量集合中的每一个特征向量计算的局部异常因子LOF_oi，该因子反映了该特征向量附近的密度信息，如果该特征向量周围存在较多其他特征向量，即密度较高，则LOF_oi数值接近1，反之则LOF_oi数值越大。

得到待检测时序数据中的每个子序列对应的每个特征向量的局部异常因子LOF_oi之后。根据实际情况，设定一个局部异常因子LOF的检测阈值ε_LOF，对于待测数据特征向量集合中的每一个特征向量如果其局部异常因子LOF_oi>ε_LOF，则判定其对应子序列S_oi中的数据为异常数据。如果其局部异常因子LOF_oi≤ε_LOF，则判定其对应子序列S_oi中的数据为非异常数据。

本发明提供的基于密度的时序数据异常检测方法，首先进行数据分段，然后进行特征提取，最后根据基于密度的局部异常因子判断数据段是否为异常数据段；本发明不依赖于领域知识，通用性好，并且只根据数据本身的分布特点进行异常数据的检测，提高了检测结果的准确性。

在上述实施例的基础上，进一步地，所述计算每个子序列对应的特征向量，具体为：

以所述特征值为向量元素构建每个子序列对应的特征向量。

具体的，每个子序列对应的特征向量反映了该序列的数据特征。给定一个待测时序数据中的子序列S_ok,1≤k≤m'，计算该子序列特征值，即，计算该子序列所有数值d_i的平均值μ_k、标准差σ_k、最大值max_k、最小值min_k。指标结果可以写成高维向量的形式，记为以特征值为向量元素构建每个子序列对应的特征向量，即构建出了该子序列对应的特征向量。

对待测时序数据中的所有子序列计算完成后，即可得到特征向量集合

在以上各实施例的基础上，进一步地，所述将待检测时序数据分成多个子序列，具体为：

具体的，将待检测时序数据分成多个子序列可以采用平均分段的方法，即分成的每个子序列中的数据点的个数相等。

为了得到更精确的检测结果，也可以采用基于速度的序列分段方法，其分段过程如下：

首先，针对待测时序数据S_o，从第二个数据点开始可以计算每一个点的数据变化速度v_i，当前数据点的速度为当前数据点和前一个数据点的数据值之差，与当前数据点和前一个数据点的时间戳之差的比值，即，v_i＝(d_i-d_i-1)/(t_i-t_i-1),2≤i≤n。

然后，获取预先计算得到的分段阈值v_l和v_u。

根据分段阈值进行分段。首先将待测时序数据S_o的第一个数据点作为第一个分段的起始点，从第二个数据点开始对待测时序数据S_o从前向后遍历，如果第i个数据点的变化速度v_i<v_l或v_i>v_u，则将该点的前一点p_i-1作为当前分段的结束点，将该点p_i作为下一分段的起始点。由此可以得到待测时序数据S_o的分段结果，即子序列集合{S_o1,S_o2,…,S_om'}。

在以上各实施例的基础上，进一步地，获取所述训练数据特征向量集的具体步骤如下：

具体的，在计算待检测时序数据中的每个子序列对应的特征向量的局部异常因子时，需要以预先获取的训练数据特征向量集为基准，获取所述训练数据特征向量集的具体步骤如下：

首先获取样本时序数据，该样本时序数据经过人工标注，该样本时序数据中不包含异常数据点。并将样本时序数据分成多个样本子序列。采用基于速度的分段方法对样本时序数据进行分段，具体方法如下：

针对样本时序数据S_t，从第二个数据点开始可以计算每一个点的数据变化速度v_i，当前数据点的速度为当前数据点和前一个数据点的数据值之差，与当前数据点和前一个数据点的时间戳之差的比值即，v_i＝(d_i-d_i-1)/(t_i-t_i-1),2≤i≤n。为所有的n-1个数据点计算出速度后，可以统计出该序列变化速度的平均值μ_v及标准差σ_v。由此确定的速度分段阈值为v_l＝μ_v-k·σ_v及v_u＝μ_v+k·σ_v，其中k为一个正实数(一般选k为正整数)。将该速度分段阈值作为待测时序数据分段的依据。

然后，获取预先计算得到的分段阈值v_l和v_u。

根据分段阈值进行分段。首先将样本时序数据S_t的第一个数据点作为第一个分段的起始点，从第二个数据点开始对待测时序数据S_t从前向后遍历，如果第i个数据点的变化速度v_i<v_l或v_i>v_u，则将该点的前一点p_i-1作为当前分段的结束点，将该点p_i作为下一分段的起始点。由此可以得到样本时序数据S_t的分段结果，即子序列集合{S_t1,S_t2,…,S_tm}。

然后，计算每个样本子序列的特征向量。计算每个样本子序列的特征向量的方法，与上述实施例中计算待检测时序数据中的每个子序列对应的特征向量的方法相同，此处不再赘述。

最后，将所有样本子序列对应的特征向量的集合作为训练数据特征向量集

图2为依照本发明实施例的基于密度的时序数据异常检测装置示意图，如图2所示，本发明实施例提供一种基于密度的时序数据异常检测装置，包括分段模块10、计算模块20和检测模块30，其中，分段模块10用于将待检测时序数据分成多段，每段为一个子序列；

计算模块20用于计算每个子序列对应的特征向量；

检测模块30用于基于预先获取的训练数据特征向量集，计算所述特征向量的局部异常因子，若判断获知所述局部异常因子大于预设阈值，则所述特征向量对应的子序列为异常数据。

具体的，本发明实施例提供一种基于密度的时序数据异常检测装置，用于完成上述各实施例中所述的方法，通过本实施例提供的检测装置完成上述实施例中所述的方法的具体步骤与上述实施例相同，此处不再赘述。

本发明提供的基于密度的时序数据异常检测装置，首先进行数据分段，然后进行特征提取，最后根据基于密度的局部异常因子判断数据段是否为异常数据段；本发明不依赖于领域知识，通用性好，并且只根据数据本身的分布特点进行异常数据的检测，提高了检测结果的准确性。

图3为本发明实施例提供的用于检测时序数据中的异常数据的电子设备的结构示意图，如图3所示，所述设备包括：处理器801、存储器802和总线803；

其中，处理器801和存储器802通过所述总线803完成相互间的通信；

处理器801用于调用存储器802中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：

将待检测时序数据分成多段，每段为一个子序列；

计算每个子序列对应的特征向量；

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

将待检测时序数据分成多段，每段为一个子序列；

计算每个子序列对应的特征向量；

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：

将待检测时序数据分成多段，每段为一个子序列；

计算每个子序列对应的特征向量；

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于密度的时序数据异常检测方法，其特征在于，包括：

将待检测时序数据分成多段，每段为一个子序列；

计算每个子序列对应的特征向量；

2.根据权利要求1所述的方法，其特征在于，所述计算每个子序列对应的特征向量，具体为：

以所述特征值为向量元素构建每个子序列对应的特征向量。

3.根据权利要求1所述的方法，其特征在于，所述将待检测时序数据分成多个子序列，具体为：

4.根据权利要求1所述的方法，其特征在于，获取所述训练数据特征向量集的具体步骤如下：

5.一种基于密度的时序数据异常检测装置，其特征在于，包括：

计算模块，用于计算每个子序列对应的特征向量；

6.一种用于检测时序数据中的异常数据的电子设备，其特征在于，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一所述的方法。