CN111143413A - 基于数据流概念漂移的异常检测方法 - Google Patents

Abstract

本发明提供一种基于数据流概念漂移的异常检测方法，属于数据挖掘与异常检测领域，以提供一种能够及时对概念漂移进行检测的基于数据流概念漂移的异常检测方法。包括S1，获取待检测系统当前在不同时刻采集的真实数据形成真实数据流，根据真实数据流建立待检测系统当前的预测模型；S2，通过预测模型对后一时段的数据进行预测得到预测数据流；S3，计算真实数据流与预测数据流间的相似度数据集；S4，根据相似度数据集及待检测系统当前的概念漂移阈值判断是否出现概念漂移；S5，如果否，则重复S2至S4；S6，如果是，则更新预测模型、概念漂移阈值和异常检测阈值，根据更新后的预测模型和概念漂移阈值重复S2至S6。

Description

基于数据流概念漂移的异常检测方法

技术领域

本发明涉及数据挖掘与异常检测技术领域，尤其涉及一种基于数据流概念漂移的异常检测方法。

背景技术

在实际的生产等按时间进行数据采集的系统中，经常会出现与正常数据或现有数据变化规律不相符合的数据，这些数据就是所谓的异常数据。目前的异常数据检测方法有很多种，但都很少考虑数据流出现概念漂移的现象。概念漂移是数据流所包含的概念发生了改变，例如随工艺流程的改进、机器的老化、设备的更新和未知工况出现等所体现出来的数据流的目标概念发生了变化，使旧数据与新数据所含的概念不再保持一致。数据流一旦发生了概念漂移，将导致根据旧概念生成的原有异常诊断模型对新数据下的诊断性能下降，从而易出现异常数据的误判，影响用户的正常使用，因而需对概念是否漂移作出及时检测，以便对新概念下的异常检测模型进行调整。为此有必要提供一种基于数据流概念漂移的异常检测方法，确保可以对概念是否漂移作出及时检测，以对新概念下的异常检测模型进行调整。

发明内容

本发明的目的是提供一种能够及时对概念漂移进行检测的基于数据流概念漂移的异常检测方法。

为解决上述技术问题，本发明采用的技术方案是：

一种基于数据流概念漂移的异常检测方法，其包括如下步骤：

S1，获取待检测系统当前在不同时刻采集的真实数据，形成真实数据流X＝{x₁，x₂，...，x_t，x_t+1，...，x_N}，并根据真实数据流建立待检测系统当前的预测模型M，其中，x_t表示待检测系统在t时刻下的真实数据；

S2，通过预测模型M对待检测系统后一时段的数据进行预测，得到预测数据流Y＝{y₁，y₂，...，y_t，y_t+1，...，y_N}，其中，y_t表示待检测系统在t时刻下的预测数据；

S3，计算真实数据流X＝{x₁，x₂，...，x_t，x_t+1，...，x_N}与预测数据流Y＝{y₁，y₂，...，y_t，y_t+1，...，y_N}之间的相似度，得到相似度数据集D_u；

S4，根据相似度数据集D_u及待检测系统当前的概念漂移阈值判断待检测系统是否出现概念漂移；

S5，如果待检测系统未出现概念漂移，则重复S2至S4；

S6，如果待检测系统出现了概念漂移，则更新预测模型M、待检测系统的概念漂移阈值和待检测系统的异常检测阈值δ，并根据更新后的预测模型M和概念漂移阈值重复S2至S6。

可选地，所述S1在根据真实数据流建立待检测系统当前的预测模型M时，是采用滑动窗口机制对真实数据流X＝{x₁，x₂，...，x_t，x_t+1，...，x_N}建立预测模型M，该步骤中滑动窗口的大小W₁＝n，n＜＜N；所述S3在计算真实数据流X＝{x₁，x₂，...，x_t，x_t+1，...，x_N}与预测数据流Y＝{y₁，y₂，...，y_t，y_t+1，...，y_N}之间的相似度以得到相似度数据集Du时，是采用滑动窗口机制计算真实数据与对应的预测数据之间的时间动态规整来获得它们之间的相似度，具体为：采用大小为W₂＝m，W₂＜＜W₁＜＜N的滑动窗口分别对真实数据与对应的预测数据进行遍历，得到真实序列q_u＝{x_u，x_u+1，...，x_u+m-1}和预测序列Q_u＝{y_u，y_u+1，...，y_u+m-1}，其中，u∈(1，N)；依次计算真实序列q_u与预测序列Q_u之间的时间动态规整来判断预测数据与真实数据之间的相似性而得到相似度数据集D_u。

可选地，所述S3在依次计算真实序列q_u与预测序列Q_u之间的时间动态规整来判断预测数据与真实数据之间的相似性而得到相似度数据集D_u时，对于真实序列q_u＝{x_u，x_u+1，...，x_u+m-1}和预测序列Q_u＝{y_u，y_u+1，...，y_u+m-1}，先构造一个m×m的矩阵网格，m×m的(i，j)处的元素为x_i和y_j这两个点之间的的欧式距离d(x_i，y_j)＝(x_i-y_j)²，将这两个点之间的欧式距离作为预测数据与真实数据之间的的相似度，距离越小，相似度越高；然后，寻找一条路径D_u：D_u＝d₁+d₂+...+d_k+...+d_K，其中，u∈(1，N)，m≤K＜2m-1，该路径D_u满足以下约束：

(1)边界约束：

d₁＝(1，1)，dK(m，m)，所选路径必须是左下角出发，右上角结束；

(2)连续性：

若d_k-1＝(a’，b’)，则下一个路径点d_k＝(a，b)满足：(a-a’)≤1，(b-b’)≤1；路径上每个点不能跨过某个点去匹配，只能选择和自己相邻的点对齐，这样可以保证q_u和Q_u中的每一个坐标都出现在D_u中；

(3)单调性：

若d_k-1＝(a’，b’)，则下一个路径点d_k＝(a，b)满足：0≤(a-a’)，0≤(b-b’)，这限制d点必须是随时间单调进行；

(4)综合连续性与单调性：

每一个点的路径只有三个方向，对于点(i，j)，下一个点只有三个可能：(i+1，j)，(i，j+1)，(i+1，j+1)；

最后，在满足上述约束的所有路径中选择D_u的最小路径：

D_u＝d₁+d₂+...+d_k+...+d_K，其中，u∈(1，N)，m≤K＜2m-1。

可选地，所述S4在根据相似度数据集D_u及待检测系统当前的概念漂移阈值判断待检测系统是否出现概念漂移时，先对相似度数据集D_u进行归一化得到D’，

然后将D’与待检测系统当前的概念漂移阈值β进行比较，0＜β＜1；若D’＜β，则表示当前预测数据与真实数据相似，数据流未发生概念漂移；若D’＞β，则表示当前预测数据与真实数据不相似，数据流发生概念漂移。

可选地，所述S6在更新待检测系统的异常检测阈值δ时，异常检测阈值δ＝3M_std，M_std为建立预测模型M时的真实数据的标准差。

本发明的有益效果是：

通过设置建立待检测系统当前的预测模型，通过预测模型对后一时段的数据进行预测得到预测数据流以及计算真实数据流与预测数据流间的相似度数据集，并根据相似度数据集及待检测系统当前的概念漂移阈值判断是否出现概念漂移，提供了一种能够及时对待检测系统是否出现概念漂移进行检测的方法，通过该方法能够及时发现待检测系统的漂移现象，可以针对新旧概念的转换及时作出异常诊断，从而能够对异常数据与异常情况做出及时的判断与处理，进而确保能够对待检测系统及时作出调整。

附图说明

图1是本发明的流程图。

图2是本发明实施例中一个实例的真实数据流的示意图。

图3中的a图和b图是适用于本发明实例的数据的预测曲线。

图4中的a图和b图是本发明中没有检测概念漂移时的预测曲线、异常数据以及计算的数据相似度曲线的示意图。

图5中的a图和b图是本发明中检测概念漂移时的预测曲线、异常数据以及计算的数据相似度曲线的示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步地详细描述。

如图1所示，本实施例中的基于数据流概念漂移的异常检测方法，其包括如下步骤：

S1，获取待检测系统当前在不同时刻采集的真实数据，形成真实数据流X＝{x₁，x₂，...，x_t，x_t+1，...，x_N}，并根据真实数据流建立待检测系统当前的预测模型M，其中，xt表示待检测系统在t时刻下的真实数据。

S2，通过预测模型M对待检测系统后一时段的数据进行预测，得到预测数据流Y＝{y₁，y₂，…，y_t，y_t+1，...，y_N}，其中，y_t表示待检测系统在t时刻下的预测数据。

S3，计算真实数据流X＝{x₁，x₂，...，x_t，x_t+1，...，x_N}与预测数据流Y＝{y₁，y₂，...，y_t，y_t+1，...y_N}之间的相似度，得到相似度数据集D_u。

S4，根据相似度数据集D_u及待检测系统当前的概念漂移阈值判断待检测系统是否出现概念漂移。

S5，如果待检测系统未出现概念漂移，则重复S2至S4。

S6，如果待检测系统出现了概念漂移，则更新预测模型M、待检测系统的概念漂移阈值和待检测系统的异常检测阈值δ，并根据更新后的预测模型M和概念漂移阈值重复S2至S6。

可选地，所述S1在根据真实数据流建立待检测系统当前的预测模型M时，是采用滑动窗口机制对真实数据流X＝{x₁，x₂，...，x_t，x_t+1，...，x_N}建立预测模型M，该步骤中滑动窗口的大小W₁＝n，n＜＜N；所述S3在计算真实数据流X＝{x₁，x₂，...，x_t，x_t+1，...，x_N}与预测数据流Y＝{y₁，y₂，...，y_t，y_t+1，...y_N}之间的相似度以得到相似度数据集D_u时，是采用滑动窗口机制计算真实数据与对应的预测数据之间的时间动态规整来获得它们之间的相似度，具体为：采用大小为W₂＝m，W₂＜＜W₁＜＜N的滑动窗口分别对真实数据与对应的预测数据进行遍历，得到真实序列q_u＝{x_u，x_u+1，...，x_u+m-1}和预测序列Q_u＝{y_u，y_u+1，...，y_u+m-1}，其中，u∈(1，N)；依次计算真实序列q_u与预测序列Q_u之间的时间动态规整来判断预测数据与真实数据之间的相似性而得到相似度数据集D_u。

可选地，所述S3在依次计算真实序列q_u与预测序列Q_u之间的时间动态规整来判断预测数据与真实数据之间的相似性而得到相似度数据集D_u时，对于真实序列q_u＝{x_u，x_u+1，...，x_u+m-1}和预测序列Q_u＝{y_u，y_u+1，...，y_u+m-1}，先构造一个m×m的矩阵网格，m×m的(i，j)处的元素为x_i和y_j这两个点之间的的欧式距离d(x_i，y_j)＝(x_i-y_j)²，将这两个点之间的欧式距离作为预测数据与真实数据之间的的相似度，距离越小，相似度越高；然后，寻找一条路径D_u：

D_u＝d₁+d₂+...+d_k+...+d_K，其中，u∈(1，N)，m≤K＜2m-1，该路径D_u满足以下约束：

(1)边界约束：

d₁＝(1，1)，d_K＝(m，m)，所选路径必须是左下角出发，右上角结束；

(2)连续性：

若d_k-1＝(a’，b’)，则下一个路径点d_k＝(a，b)满足：(a-a’)≤1，(b-b’)≤1；路径上每个点不能跨过某个点去匹配，只能选择和自己相邻的点对齐，这样可以保证q_u和Q_u中的每一个坐标都出现在D_u中；

(3)单调性：

若d_k-1＝(a’，b’)，则下一个路径点d_k＝(a，b)满足：0≤(a-a’)，0≤(b-b’)，这限制d点必须是随时间单调进行；

(4)综合连续性与单调性：

每一个点的路径只有三个方向，对于点(i，j)，下一个点只有三个可能：(i+1，j)，(i，j+1)，(i+1，j+1)；

最后，在满足上述约束的所有路径中选择D_u的最小路径：

D_u＝d₁+d₂+...+d_k+...+d_K，其中，u∈(1，N)，m≤K＜2m-1。

进一步地，所述S4在根据相似度数据集D_u及待检测系统当前的概念漂移阈值判断待检测系统是否出现概念漂移时，先对相似度数据集D_u进行归一化得到D’，

然后将D’与待检测系统当前的概念漂移阈值β进行比较，0＜β＜1；若D’＞β，则表示当前预测数据与真实数据相似，数据流未发生概念漂移；若D’＞β，则表示当前预测数据与真实数据不相似，数据流发生概念漂移。

其中，在将D’与待检测系统当前的概念漂移阈值β进行比较时，需要先确定待检测系统当前的概念漂移阈值β。具体在确定待检测系统当前的概念漂移阈值β时，基于Hoeffding不等式来实现，具体如下：

Hoeffding不等式表示为如下公式(1)

设建立预测模型M时采用的真实数据为X₁，其平均值为λ₁；建立预测模型时所预测出来的数据为X₂，其平均值为λ₂；假设：

E(λ₁)＝E(λ₂)

D(λ₁)＝D(λ₂)

根据以上假设，两组数据分布相同且没有发生概念漂移，为判断真实数据X₁与数据X₂是否有显著性差异，构造检验统计量：λ₁-λ₂，置信度为α，所以有：

P[(λ₁-λ₂)-E(λ₁-λ₂)≥p]≤α (2)

进行中心标准化得：

化简得：

由Hoeffding的一般不等式，将式(1)带入式(4)，得：

所得：

待检测系统当前的概念漂移阈值β＝p/100。

其中，D_trianmean为建立预测模型M时计算的X₁与X₂的相似度的平均值，置信度α＝10×D_trianmean；X₁与X₂取值范围[a_i：b_i]，i＝1，2；n＝2为数据组数，n₁和n₂分别为X₁与X₂中的数据个数，D(X₁)与D(X₂)为数据X₁与X₂的方差。

可选地，所述S6在更新待检测系统的异常检测阈值δ时，异常检测阈值δ＝3M_std，M_std为建立预测模型M时的真实数据的标准差。对于任一真实数据，如果|x_t-M_mean|≥δ，则x_t为异常数据，M_mean为建立预测模型M时的真实数据的平均值。

为便于理解，下面以一个实例对本发明实施例进行举例说明：

本实例数据分别为机械加工时，由主轴转速为400r/min，切深为1.1mm，进给量为0.5mm/r(0-1800)切换为主轴转速为450r/min，切深为0.8mm，进给量为0.1mm/r(1800-2921)时采集的刀具的温度数据。该过程中，待检测系统为机械加工系统，所涉及的数据为温度数据。如图2所示，其为机械加工过程中采集的真实数据流。本发明提供的方法在具体实施时，在获取到温度数据的真实数据流以后，还包括如下步骤：

第一步：建立真实数据流的预测模型进行数据预测，得到预测数据流。

该步骤中采用滑动窗口机制对真实数据流X＝{x₁，x₂，...，x_t，x_t+1，...，x_N}通过LSTM(长短期记忆)神经网络预测算法建立预测模型M，并对后一时段的数据进行预测，得到预测数据流Y＝{y₁，y₂，...，y_t，y_t+1，...，y_N}。

如图3所示，本实例中采用LSTM对将近600个温度数据进行预测模型的建立，图3的a图中的实线曲线为真实数据，点化线曲线为建立预测模型时进行的预测值，虚线曲线为进行预测时通过预测模型获得的预测值。图3的b图为对图3的a图每十个点求平均进行简化得到的图，以确保能够直观地看出图3中的a图中的数据之间的关系。

第二步：计算真实数据流与预测数据流之间的相似度。

具体地，采用滑动窗口机制计算真实数据与对应的预测数据之间的时间动态规整来判断其相似度。采用W₂＝m，W₂＜＜W₁＜＜N的滑动窗口分别对真实数据与对应的预测数据进行遍历，得到真实序列q_u＝{x_u，x_u+1，...，x_u+m-1}和预测序列Q_u＝{y_u，y_u+1，...，y_u+m-1}，其中，u∈(1，N)。依次计算真实序列q_u与预测序列Q_u之间的时间动态规整(DWT)来判断预测数据与真实数据之间的相似性得到相似度数据集D_u。

本实例中该步骤中滑动窗口大小m为5来计算真实数据流与预测数据流之间的相似度数据集D_u，如图5中a图下半部分曲线所示。图5的b图为对图5的a图每十个点求平均进行简化得到的图，以确保能够直观地看出图5中的a图中的数据之间的关系。

第三步：根据相似度数据集D_u及待检测系统当前的概念漂移阈值判断待检测系统是否出现概念漂移。

具体地，对相似度数据集D_u进行归一化

将归一化后的D’与当前的概念漂移阈值进行比较。根据上述的真实数据及计算概念漂移阈值的方法，本实例中的α＝0.35，X₁∈[174.3：215.9]，X₂∈[180.6：205.7]，D(X₁)＝40.6，D(X₂)＝14.7，n₁＝n₂＝585，n＝2，计算得到β＝0.73。

(1)若D’＜β，则表示当前预测数据与真实数据相似，确定数据流未发生概念漂移；则不更新预测模型M、当前的概念漂移阈值和异常检测阈值δ，而继续重复第二、三步继续进行异常检测。

(2)若D’＞β，则表示当前预测数据与真实数据不相似，确定数据流发生概念漂移；此时，更新预测模型M、概念漂移阈值和异常检测阈值δ，其中，δ＝3M_std，M_std为建立预测模型M时的真实数据的标准差，并重复第二、三步进行异常检测。

本实例中，如图5中的a图或b图下半部分1800与1850之间处，检测到发生了概念漂移。本实例中，如图3中a图中的1812处开始点化线曲线为检测到概念漂移后建立预测模型M时的预测数据，2500处开始虚线曲线为检测概念漂移后进行的数据预测。如图5中的a图中不在实线曲线和点化线曲线上的点为检测到的异常数据。

如图4是没有进行判断发生概念漂移的情况，实线曲线为真实数据，点化线曲线为预测数据如图4中的a图中不在实线曲线和点化线曲线上的点为检测到的异常数据，图4中的a图或b图下半部分的曲线为数据的相似度(越大越不相似)。比较图4和图5可得，数据发生概念漂移时，预测数据与真实数据差别很大。如果不更新异常检测阈值时，正常数据将被判断为异常数据。如图5是进行判断发生概念漂移的情况，实线曲线为真实数据，点化线曲线为预测数据不在实线曲线和点化线曲线上的点为检测到的异常数据，相比图4可以观察到通过本发明实施例提供的方法提高了异常数据检测的准确率。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (5)

1.一种基于数据流概念漂移的异常检测方法，其特征在于，包括如下步骤：

S1，获取待检测系统当前在不同时刻采集的真实数据，形成真实数据流X＝{x₁，x₂，…，x_t，x_t+1，..，x_N}，并根据真实数据流建立待检测系统当前的预测模型M，其中，x_t表示待检测系统在t时刻下的真实数据；

S2，通过预测模型M对待检测系统后一时段的数据进行预测，得到预测数据流Y＝{y₁，y₂，…，y_t，y_t+1，…y_N}，其中，y_t表示待检测系统在t时刻下的预测数据；

S3，计算真实数据流X＝{x₁，x₂，…，x_t，x_t+1，...，x_N}与预测数据流Y＝{y₁，y₂，…，y_t，y_t+1，…y_N}之间的相似度，得到相似度数据集Du；

S4，根据相似度数据集D_u及待检测系统当前的概念漂移阈值判断待检测系统是否出现概念漂移；

S5，如果待检测系统未出现概念漂移，则重复S2至S4；

S6，如果待检测系统出现了概念漂移，则更新预测模型M、待检测系统的概念漂移阈值和待检测系统的异常检测阈值δ，并根据更新后的预测模型M和概念漂移阈值重复S2至S6。

2.根据权利要求1所述的基于数据流概念漂移的异常检测方法，其特征在于，

所述S1在根据真实数据流建立待检测系统当前的预测模型M时，是采用滑动窗口机制对真实数据流X＝{x₁，x₂，…，x_t，x_t+1，…，x_N}建立预测模型M，该步骤中滑动窗口的大小W₁＝n，n＜＜N；

所述S3在计算真实数据流X＝{x₁，x₂，…，x_t，x_t+1，..，x_N}与预测数据流Y＝{y₁，y₂，…，y_t，y_t+1，...y_N}之间的相似度以得到相似度数据集D_u时，是采用滑动窗口机制计算真实数据与对应的预测数据之间的时间动态规整来获得它们之间的相似度，具体为：采用大小为W₂＝m，W₂＜＜W₁＜＜N的滑动窗口分别对真实数据与对应的预测数据进行遍历，得到真实序列q_u＝{x_u，x_u+1，…，x_u+m-1}和预测序列Q_u＝{y_u，y_u+1，…，y_u+m-1}，其中，u∈(1，N)；依次计算真实序列q_u与预测序列Q_u之间的时间动态规整来判断预测数据与真实数据之间的相似性而得到相似度数据集D_u。

3.根据权利要求2所述的基于数据流概念漂移的异常检测方法，其特征在于，所述S3在依次计算真实序列q_u与预测序列Q_u之间的时间动态规整来判断预测数据与真实数据之间的相似性而得到相似度数据集D_u时，对于真实序列q_u＝{x_u，x_u+1，…，x_u+m-1}和预测序列Q_u＝{y_u，y_u+1，…，y_u+m-1}，先构造一个m×m的矩阵网格，m×m的(i，j)处的元素为x_i和y_j这两个点之间的的欧式距离d(x_i，y_j)＝(x_i-y_j)²，将这两个点之间的欧式距离作为预测数据与真实数据之间的的相似度，距离越小，相似度越高；然后，寻找一条路径D_u：D_u＝d₁+d₂+…+d_k+…+d_K，其中，u∈(1，N)，m≤K＜2m-1，该路径D_u满足以下约束：

(1)边界约束：

d₁＝(1，1)，d_K＝(m，m)，所选路径必须是左下角出发，右上角结束；

(2)连续性：

若d_k-1＝(a′，b′)，则下一个路径点d_k＝(a，b)满足：(a-a’)≤1，(b-b’)≤1；路径上每个点不能跨过某个点去匹配，只能选择和自己相邻的点对齐，这样可以保证q_u和Q_u中的每一个坐标都出现在D_u中；

(3)单调性：

若d_k-1＝(a’，b’)，则下一个路径点d_k＝(a，b)满足：0≤(a-a’)，0≤(b-b’)，这限制d点必须是随时间单调进行；

(4)综合连续性与单调性：

每一个点的路径只有三个方向，对于点(i，j)，下一个点只有三个可能：(i+1，j)，(i，j+1)，(i+1，j+1)；

最后，在满足上述约束的所有路径中选择D_u的最小路径：

D_u＝d₁+d₂+…+d_k+…+d_K，其中，u∈(1，N)，m≤K＜2m-1。

4.根据权利要求3所述的基于数据流概念漂移的异常检测方法，其特征在于，所述S4在根据相似度数据集D_u及待检测系统当前的概念漂移阈值判断待检测系统是否出现概念漂移时，先对相似度数据集D_u进行归一化得到D′，

然后将D与待检测系统当前的概念漂移阈值β进行比较，0＜β＜1；若D’＜β，则表示当前预测数据与真实数据相似，数据流未发生概念漂移；若D，＞β，则表示当前预测数据与真实数据不相似，数据流发生概念漂移。

5.根据权利要求4所述的基于数据流概念漂移的异常检测方法，其特征在于，所述S6在更新待检测系统的异常检测阈值δ时，异常检测阈值δ＝3M_std，M_std为建立预测模型M时的真实数据的标准差。

Images