CN103345575B - 一种数据流概念漂移检测方法及系统 - Google Patents

Abstract

本发明公开了一种数据流概念漂移检测方法及系统，方法通过对簇中心、簇消失和簇新增这几个角度进行分析，从而检测出概念漂移的级别。系统包括：簇中心分析单元、簇消失分析单元、簇新增分析单元和概念漂移级别分析单元。本发明利用多角度识别概念漂移，实现了对待检测数据集的概念漂移评估指标的精确量化，能够较全面地对概念漂移情况进行分析，准确检测出概念漂移的级别。本发明作为一种数据流概念漂移检测方法及系统应用于数据演变的检测中。

Description

一种数据流概念漂移检测方法及系统

技术领域

本发明涉及计算机领域，尤其涉及一种数据流概念漂移检测方法及系统。

背景技术

数据的概念漂移是数据流处理的第二大研究问题。目前，数据流概念漂移检测主要有几种方案：基于统计的、基于分类器以及基于划分的。数据概念漂移根据演变过程的激烈程度分为两种：渐进型、突发型。第一种方法基于统计的是对二进制表示的数据的一种基于密度的评估技术，第二种方法基于分类器的是评估一个线性分类器的平均裕度的检测方案，第三种方法基于分类器的平均错误率的对数据概念漂移检测。

然而，对于纯基于统计的检测方案，该方法不能很好地体现聚类处理中的簇集变化的情况，可能受到一些噪声的影响，并且纯从数学的角度分析，与聚类中的簇集信息可能存在不符。比如：假设数据的簇中的数据点围绕着原来的簇中心，在其半径范围内移动时，正常而言簇集的中心位置信息是没变的，但是利用统计的检测方案就可能对检测这是已经演变了，精确性不够。

对于基于分类器的方案，该方法需要人工的参与，通过带有人工标注的标签的数据，构建相应的分类树，然后进行相应的检测。这种方法很明显会有一个缺点：需要人工的参与。在数据流环境下，数据是不断的，并且可能时刻都在变更，数据特性也在演变，意味着所谓的标签也应该随着演变，但是人工很难知道什么时候演变、什么时候添加或更新新的样本数据，准确度不高。

对基于划分的方案，如数据流中使用的方法，将空间划分成多个网格，并将新的数据映射到相应的网格，基于每个网格进行处理。这种方案的缺点是原来属于一个簇集的数据会被拆分到不同的格子中，针对每个网格进行分类，可能会导致簇集的信息的检测的不完整，不能全面地分析。

发明内容

为了解决上述技术问题，本发明的目的是提供一种准确性高，能全面进行检测的一种数据流概念漂移检测方法。

本发明的另一个目的是提供一种准确性高，能全面进行检测的一种数据流概念漂移检测系统。

本发明所采用的技术方案是：

一种数据流概念漂移检测方法，包括以下步骤：

A、根据簇集、旧数据集和待检测数据集，计算旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和；

B、根据衰退函数和待检测数据集，计算簇集中各个簇的簇演变值；

C、通过分析得到对应待检测数据集的簇不可容忍点集并对其数据点进行划分形成新簇集，进而计算新簇集中各个簇的新簇接受值；

D、根据计算得到的簇演变值、新簇接受值、旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和，计算概念漂移级别值。

作为所述的一种数据流概念漂移检测方法的进一步改进，所述的步骤A包括：

A1、根据旧数据集和簇集，计算旧数据集中数据点与簇集中各个簇之间的距离，进而得到数据点的最近簇并将数据点划分到其对应最近簇中；

A2、通过计算簇集中各个簇的簇容忍距离，得到对应旧数据集的簇集各个簇的簇容忍点集的集合；

A3、根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇容忍点集的集合；

A4、根据对应待检测数据集的簇集各个簇的簇容忍点集的集合，计算待检测数据集的过度分散值；

A5、根据对应旧数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应旧数据集的簇容忍点集距离平方总和；

A6、根据对应待检测数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应待检测数据集的簇容忍点集距离平方总和。

作为所述的一种数据流概念漂移检测方法的进一步改进，所述的步骤C包括：

C1、根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇不可容忍点集的集合；

C2、根据簇集中各个簇的簇容忍距离，对簇不可容忍点集中的数据点通过聚类处理将其划分至簇集中，形成新簇集；

C3、根据新簇集和簇新增阈值，计算新簇集中各个簇的新簇接受值。

作为所述的一种数据流概念漂移检测方法的进一步改进，所述步骤A4中所述的过度分散值，其计算公式为：

$\mathrm{DOD}=\{\begin{array}{c}1,\mathrm{if}\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}\mathrm{SIZE}\left({\mathrm{SCTD}}_i\right)<n*\mathrm{\&alpha;}\\ 0,\mathrm{otherwise}\end{array}$

其中，SCTD_i为第i个簇容忍点集，t为簇容忍点集的个数，SIZE(SCTD_i)为簇容忍点集中的元素个数，n为待检测数据集的点数量，α为过度阈值因子，DOD为过度分散值。

作为所述的一种数据流概念漂移检测方法的进一步改进，所述步骤D中所述的概念漂移级别值，其计算公式为：

$\mathrm{DEDV}=\left\{\begin{array}{c}{\mathrm{DED}}_{\max },\mathrm{if\; DOD}=1\mathrm{or}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{CEV}\left({{\mathrm{CD}}_i}^{\left(m_i\right)}\right)\&GreaterEqual;1\mathrm{or}\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}\mathrm{NCV}\left({\mathrm{CDN}}_i\right)\&GreaterEqual;1\\ \mathrm{or}\frac{\mathrm{ABS}(\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})-\mathrm{SSCT}({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{\mathrm{SCD}}^{\left(k\right)}))}{\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})}\\ \mathrm{ROUND}(\frac{\mathrm{ABS}(\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})-\mathrm{SSCT}({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{\mathrm{SCD}}^{\left(k\right)}))}{\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})}*({\mathrm{DED}}_{\max }-{\mathrm{DED}}_{\min })),\mathrm{otherwise}\end{array}\right.$

其中，CD_i为第i簇，mi为第i簇的元素个数，为第i簇的簇演变值，k为簇的个数，CDN为新簇集，p为新簇集的新簇数量，NCV(CDN_i)为第i个新簇的新簇接受值，DO⁽ⁿ⁾为旧数据集，n为旧数据集的点数量，SCD^(k)为簇集，DN^(n')为待检测数据集，n'为待检测数据集的点数量，SSCT(DO⁽ⁿ⁾,SCD^(k))为对应旧数据集的簇容忍点集距离平方总和，SSCT(DN^(n'),SCD^(k))为对应待检测数据集的簇容忍点集距离平方总和，DED_max为概念漂移级别的最大值，DED_min为概念漂移级别的最小值，DEDV为概念漂移级别值。

本发明采用的另一技术方案是：

一种数据流概念漂移检测系统，包括：

簇中心分析单元，用于根据簇集、旧数据集和待检测数据集，计算旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和；

簇消失分析单元，用于根据衰退函数和待检测数据集，计算簇集中各个簇的簇演变值；

簇新增分析单元，用于通过分析得到对应待检测数据集的簇不可容忍点集并对其数据点进行划分形成新簇集，进而计算新簇集中各个簇的新簇接受值；

概念漂移级别分析单元，用于根据计算得到的簇演变值、新簇接受值、旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和，计算概念漂移级别值。

作为所述的一种数据流概念漂移检测系统的进一步改进，所述的簇中心分析单元包括：

距离计算单元，用于根据旧数据集和簇集，计算旧数据集中数据点与簇集中各个簇之间的距离，进而得到数据点的最近簇并将数据点划分到其对应最近簇中；

旧数据集簇容忍点集计算单元，用于通过计算簇集中各个簇的簇容忍距离，得到对应旧数据集的簇集各个簇的簇容忍点集的集合；

待检测数据集簇容忍点集计算单元，用于根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇容忍点集的集合；

过度分散值计算单元，用于根据对应待检测数据集的簇集各个簇的簇容忍点集的集合，计算待检测数据集的过度分散值；

旧数据集距离簇容忍点集平方和计算单元，用于根据对应旧数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应旧数据集的簇容忍点集距离平方总和；

待检测数据集距离簇容忍点集平方和计算单元，用于根据对应待检测数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应待检测数据集的簇容忍点集距离平方总和。

作为所述的一种数据流概念漂移检测系统的进一步改进，所述的簇新增分析单元包括：

不可容忍点集计算单元，用于根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇不可容忍点集的集合；

划分单元，用于根据簇集中各个簇的簇容忍距离，对簇不可容忍点集中的数据点通过聚类处理将其划分至簇集中，形成新簇集；

新簇接受值计算单元，用于根据新簇集和簇新增阈值，计算新簇集中各个簇的新簇接受值。

本发明的有益效果是：

本发明一种数据流概念漂移检测方法通过对簇中心、簇消失和簇新增这几个角度进行分析，从而检测出概念漂移的级别。本发明利用多角度识别概念漂移，实现了对待检测数据集的概念漂移评估指标的精确量化，能够较全面地对概念漂移情况进行分析，准确检测出概念漂移的级别。

本发明的另一有益效果是：

本发明一种数据流概念漂移检测系统通过簇中心分析单元、簇消失分析单元、簇新增分析单元和概念漂移级别分析单元对簇中心、簇消失和簇新增这几个角度进行分析，从而检测出概念漂移的级别。本发明利用多角度识别概念漂移，实现了对待检测数据集的概念漂移评估指标的精确量化，能够较全面地对概念漂移情况进行分析，准确检测出概念漂移的级别。

附图说明

下面结合附图对本发明的具体实施方式作进一步说明：

图1是本发明一种数据流概念漂移检测方法的步骤流程图；

图2是本发明一种数据流概念漂移检测方法步骤A的步骤流程图；

图3是本发明一种数据流概念漂移检测方法步骤C的步骤流程图；

图4是本发明一种数据流概念漂移检测系统的模块方框图；

图5是本发明一种数据流概念漂移检测系统簇中心分析单元的子模块方框图；

图6是本发明一种数据流概念漂移检测系统簇新增分析单元的子模块方框图。

具体实施方式

图1是本发明一种数据流概念漂移检测方法的步骤流程图，本发明一种数据流概念漂移检测方法，包括以下步骤：

A、根据簇集、旧数据集和待检测数据集，计算旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和；

B、根据衰退函数和待检测数据集，计算簇集中各个簇的簇演变值；

C、通过分析得到对应待检测数据集的簇不可容忍点集并对其数据点进行划分形成新簇集，进而计算新簇集中各个簇的新簇接受值；

D、根据计算得到的簇演变值、新簇接受值、旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和，计算概念漂移级别值。

图2是本发明一种数据流概念漂移检测方法步骤A的步骤流程图，所述的步骤A包括：

A1、根据旧数据集和簇集，计算旧数据集中数据点与簇集中各个簇之间的距离，进而得到数据点的最近簇并将数据点划分到其对应最近簇中；

A2、通过计算簇集中各个簇的簇容忍距离，得到对应旧数据集的簇集各个簇的簇容忍点集的集合；

A3、根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇容忍点集的集合；

A4、根据对应待检测数据集的簇集各个簇的簇容忍点集的集合，计算待检测数据集的过度分散值；

A5、根据对应旧数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应旧数据集的簇容忍点集距离平方总和；

A6、根据对应待检测数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应待检测数据集的簇容忍点集距离平方总和。

图3是本发明一种数据流概念漂移检测方法步骤C的步骤流程图，所述的步骤C包括：

C1、根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇不可容忍点集的集合；

C2、根据簇集中各个簇的簇容忍距离，对簇不可容忍点集中的数据点通过聚类处理将其划分至簇集中，形成新簇集；

C3、根据新簇集和簇新增阈值，计算新簇集中各个簇的新簇接受值。

作为所述的一种数据流概念漂移检测方法的进一步改进，所述步骤A4中所述的过度分散值，其计算公式为：

$\mathrm{DOD}=\{\begin{array}{c}1,\mathrm{if}\underset{i=1}{\overset{t}{\mathrm{\&Sigma;}}}\mathrm{SIZE}\left({\mathrm{SCTD}}_i\right)<n*\mathrm{\&alpha;}\\ 0,\mathrm{otherwise}\end{array}$

其中，SCTD_i为第i个簇容忍点集，t为簇容忍点集的个数，SIZE(SCTD_i)为簇容忍点集中的元素个数，n为待检测数据集的点数量，α为过度阈值因子，DOD为过度分散值。

作为所述的一种数据流概念漂移检测方法的进一步改进，所述步骤D中所述的概念漂移级别值，其计算公式为：

$\mathrm{DEDV}=\left\{\begin{array}{c}{\mathrm{DED}}_{\max },\mathrm{if\; DOD}=1\mathrm{or}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{CEV}\left({{\mathrm{CD}}_i}^{\left(m_i\right)}\right)\&GreaterEqual;1\mathrm{or}\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}\mathrm{NCV}\left({\mathrm{CDN}}_i\right)\&GreaterEqual;1\\ \mathrm{or}\frac{\mathrm{ABS}(\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})-\mathrm{SSCT}({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{\mathrm{SCD}}^{\left(k\right)}))}{\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})}\\ \mathrm{ROUND}(\frac{\mathrm{ABS}(\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})-\mathrm{SSCT}({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{\mathrm{SCD}}^{\left(k\right)}))}{\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})}*({\mathrm{DED}}_{\max }-{\mathrm{DED}}_{\min })),\mathrm{otherwise}\end{array}\right.$

其中，CD_i为第i簇，mi为第i簇的元素个数，为第i簇的簇演变值，k为簇的个数，CDN为新簇集，p为新簇集的新簇数量，NCV(CDN_i)为第i个新簇的新簇接受值，DO⁽ⁿ⁾为旧数据集，n为旧数据集的点数量，SCD^(k)为簇集，DN^(n')为待检测数据集，n'为待检测数据集的点数量，SSCT(DO⁽ⁿ⁾,SCD^(k))为对应旧数据集的簇容忍点集距离平方总和，SSCT(DN^(n'),SCD^(k))为对应待检测数据集的簇容忍点集距离平方总和，DED_max为概念漂移级别的最大值，DED_min为概念漂移级别的最小值，DEDV为概念漂移级别值。

其中DIS(D₁,D₂)表示两个点之间的距离，MAX表示获取集合中的最大值，MIN表示获取集合中的最小值，ABS表示获取实数的绝对值，SIZE表示获取集合元素的个数，ROUND表示对浮点数四舍五入取整。

簇是距离相近的点组成的点集合。簇中有一个特殊点来表示簇的中心，称为簇中心点。簇中的所有点与簇中心点距离的最大值被定义为簇最大半径，记作R_max。

簇中所有点与簇中心点的距离的算数平均，即为簇平均半径。

数据点与簇的距离可以用该点与簇的中心点的距离来计算。

点的最近簇表示在一个簇集的所有簇中，与某点的距离值最小的簇。

簇容忍距离表示簇对新的数据点的可接受的距离，设簇对新数据点的可接受程度为，簇容忍距离表示为

若点D与簇C间的距离不大于簇C的簇容忍距离，则称D是簇C的簇容忍点；否则称D为簇C的簇不可容忍点。

簇集中所有的簇容忍点所构成的集合叫该簇的簇容忍点集，簇集中所有的簇都不可容忍点所构成的集合叫该簇的簇不可容忍点集。

本发明的具体处理过程为：

设旧数据集为{DO_i|i=1,2,...,n}，记作DO⁽ⁿ⁾，簇集为记作SCD^(k)，计算旧数据集中数据点与簇集中各个簇之间的距离，进而得到数据点的最近簇并将数据点划分到其对应最近簇中，通过计算簇集中各个簇的簇容忍距离，得到对应旧数据集的簇集各个簇的簇容忍点集的集合 $\left\{{{\mathrm{CTD}}_i}^{\left(s_i\right)}({\mathrm{DO}}^{\left(n\right)},{\mathrm{CD}}_i^{\left(m_i\right)})\right|i=\mathrm{1,2},...,k\},$ 记作SCTD^(k)(DO⁽ⁿ⁾)；待检测数据集为{DN_i|i=1,2,...,n'}，记作DN^(n')，得到对应待检测数据集的簇集各个簇的簇容忍点集的集合为 $\left\{{{\mathrm{CTD}}_i}^{\left(t_i\right)}({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{\mathrm{CD}}_i^{\left(m_i\right)})\right|i=\mathrm{1,2},...,k\},$ 记作SCTD^(k)(DN^(n'))；然后根据对应待检测数据集的簇集各个簇的簇容忍点集的集合SCTD^(k)(DN^(n'))，计算待检测数据集的过度分散值DOD，其中，设过度阈值因子为α，则

$\mathrm{DOD}=\{\begin{array}{c}1,\mathrm{if}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{SIZE}\left({\mathrm{SCTD}}^{\left(k\right)}\left({\mathrm{DN}}^{\left(n^{\&prime;}\right)}\right)\right)<n^{\&prime;}*\mathrm{\&alpha;}\\ 0,\mathrm{otherwise}\end{array}$

过度分散值描述的是数据集是否发生过度分散的行为，若过度分散值为1时，表示数据集过度分散；若过度分散值为0，则表示数据集并没有过度分散。

对于簇集SCD^(k)的所有元素，计算该簇的簇容忍集（取第i个为例， $\left\{{{\mathrm{CTD}}_i}^{\left(s_i\right)}({\mathrm{DO}}^{\left(n\right)},{\mathrm{CD}}_i^{\left(m_i\right)})\right|i=\mathrm{1,2},...,k\}$ ）中的各个元素与该簇的距离平方和，记作SSCT_i，那么其计算公式为

${\mathrm{SSCT}}_i=\underset{j=1}{\overset{s_i}{\mathrm{\&Sigma;}}}\mathrm{DIS}({\mathrm{DO}}_j,{{\mathrm{CD}}_i}^{\left(\mathrm{mi}\right)})*\mathrm{DIS}({\mathrm{DO}}_j,{{\mathrm{CD}}_i}^{\left(\mathrm{mi}\right)}),{\mathrm{DO}}_j\&Element;{{\mathrm{CTD}}_i}^{\left(s_i\right)}({\mathrm{DO}}^{\left(n\right)},{{\mathrm{CD}}_i}^{\left(m_i\right)})$ 对于获得的簇集中所有簇的簇容忍集的集合SCTD^(k)(DO⁽ⁿ⁾)，计算所有的簇容忍集的距离平方总和为

$\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{SSCT}}_i$

同理，对于待检测数据集DN^(n')，可以计算出对应待检测数据集的簇容忍点集距离平方总和SSCT(DN^(n'),SCD^(k))。

设簇演变值用表示，衰退因子为ε，基准阈值为x为该簇原来所包含的点数，衰变函数表示为则簇演变值为

$\mathrm{CEV}\left({{\mathrm{CD}}_i}^{\left(m_i\right)}\right)=\{\begin{array}{c}1,\mathrm{if\; SIZE}\left({{\mathrm{CTD}}_i}^{\left(s_i\right)}({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{{\mathrm{CD}}_i}^{\left(m_i\right)})\right)\&GreaterEqual;f\left(x\right)\\ 0,\mathrm{otherwise}\end{array}$

簇演变值用于判断簇集中的簇是否已经消失，若簇演变值为1时，表示该簇没有发生簇消失状况；反之若簇演变值为0，则表示该簇发生簇消失状况。

设对应待检测数据集的簇不可容忍点集的集合为CUD^(n'')(SCD^(k))，定义对簇不可容忍点集中的数据点通过聚类处理将其划分至簇集后形成的新簇集为CDN^(p)，划分的过程中，严格要求每个簇的最大簇半径必须在簇容忍距离内，簇新增阈值为θ，则新簇接受值为

$\mathrm{NCV}\left({\mathrm{CDN}}_i\right)=\{\begin{array}{c}1,\mathrm{if\; SIZE}\left({\mathrm{CDN}}_i\right)\&GreaterEqual;\mathrm{\&theta;}\\ 0,\mathrm{otherwise}\end{array}$

根据计算得到的簇演变值、新簇接受值、旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和，计算概念漂移级别，得出概念漂移级别值DEDV为

$\mathrm{DEDV}=\left\{\begin{array}{c}{\mathrm{DED}}_{\max },\mathrm{if\; DOD}=1\mathrm{or}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{CEV}\left({{\mathrm{CD}}_i}^{\left(m_i\right)}\right)\&GreaterEqual;1\mathrm{or}\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}\mathrm{NCV}\left({\mathrm{CDN}}_i\right)\&GreaterEqual;1\\ \mathrm{or}\frac{\mathrm{ABS}(\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})-\mathrm{SSCT}({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{\mathrm{SCD}}^{\left(k\right)}))}{\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})}\\ \mathrm{ROUND}(\frac{\mathrm{ABS}(\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})-\mathrm{SSCT}({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{\mathrm{SCD}}^{\left(k\right)}))}{\mathrm{SSCT}({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})}*({\mathrm{DED}}_{\max }-{\mathrm{DED}}_{\min })),\mathrm{otherwise}\end{array}\right.$ 其中，概念漂移级别从DED_min=0到DED_max=9共10个级别，随着级别数字的增加，表示数据概念漂移程度越厉害。

图4是本发明一种数据流概念漂移检测系统的模块方框图，本发明一种数据流概念漂移检测系统包括：

簇中心分析单元，用于根据簇集、旧数据集和待检测数据集，计算旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和；

簇消失分析单元，用于根据衰退函数和待检测数据集，计算簇集中各个簇的簇演变值；

簇新增分析单元，用于通过分析得到对应待检测数据集的簇不可容忍点集并对其数据点进行划分形成新簇集，进而计算新簇集中各个簇的新簇接受值；

概念漂移级别分析单元，用于根据计算得到的簇演变值、新簇接受值、旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和，计算概念漂移级别值。

图5是本发明一种数据流概念漂移检测系统簇中心分析单元的子模块方框图，所述的簇中心分析单元包括：

距离计算单元，用于根据旧数据集和簇集，计算旧数据集中数据点与簇集中各个簇之间的距离，进而得到数据点的最近簇并将数据点划分到其对应最近簇中；

旧数据集簇容忍点集计算单元，用于通过计算簇集中各个簇的簇容忍距离，得到对应旧数据集的簇集各个簇的簇容忍点集的集合；

待检测数据集簇容忍点集计算单元，用于根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇容忍点集的集合；

过度分散值计算单元，用于根据对应待检测数据集的簇集各个簇的簇容忍点集的集合，计算待检测数据集的过度分散值；

旧数据集距离簇容忍点集平方和计算单元，用于根据对应旧数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应旧数据集的簇容忍点集距离平方总和；

待检测数据集距离簇容忍点集平方和计算单元，用于根据对应待检测数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应待检测数据集的簇容忍点集距离平方总和。

图6是本发明一种数据流概念漂移检测系统簇新增分析单元的子模块方框图，所述的簇新增分析单元包括：

不可容忍点集计算单元，用于根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇不可容忍点集的集合；

划分单元，用于根据簇集中各个簇的簇容忍距离，对簇不可容忍点集中的数据点通过聚类处理将其划分至簇集中，形成新簇集；

新簇接受值计算单元，用于根据新簇集和簇新增阈值，计算新簇集中各个簇的新簇接受值。

本发明提出了一个数据流概念漂移检测方法及系统。本发明对数据的漂移检测不仅仅是关注在数据聚类结果的簇中心偏移方面，同时也关注数据的簇集的新增和消失情况。首先，通过计算最新的簇集在旧数据集上的簇可容忍点集的距离平方和与待检测数据集的簇可容忍点集的距离平方和，进而分析簇集中簇的中心偏移值。第二，分析在待检测数据集中簇集的各个簇的可容忍点集的数量衰退情况，进而判断簇集中某个簇是否会在待检测数据集中消失；第三，分析在待检测数据集中簇集的簇不可容忍点集所构成的新的潜在簇集，构造相应的簇集过滤器对新的潜在簇集进行过滤，发掘是否存在新的簇的出现。最终，综合这三个角度对数据进行的分析结果，利用数据概念漂移概念检测评估方案对数据的偏移情况进行分级。详细的检测过程的介绍如下：

首先，对数据进行划分并计算各个簇内所有点与簇中心点的距离平方和，然后统计整个簇集的距离平方和的总和。根据新旧数据集下的距离平方和总值的变化情况，评估新的数据段发生的数据概念漂移情况。由于距离平方和是描述数据集划分后的各个数据集的集中程度，那么通过数据概念漂移评估函数对距离平方和计算后，容易保证新的数据段在的簇集的中心漂移能够落在一个范围内，从而降低使用误差太大的旧簇集进行服务的可能性。但是如果单纯地将所有数据进行划分并计算距离平方和总值，那么该值会受到噪声数据的影响，噪声数据会使距离平方和偏大，从而影响数据概念漂移检测的效果，因此在噪声数据存在的场景下利用距离平方和评估的方法的效果不佳。为了解决该问题，本发明会在数据划分前做一些优化：利用旧的簇集将待检测数据集划分，首先获取数据集中数据点的最近邻近簇，然后将该数据点划分到其最近簇上，最后比较数据点与其最近簇的距离和该簇的簇容忍距离，若数据点归属与簇的簇容忍点集中的点则将其保留到该簇中，否则将该数据转移到一个临时的潜在数据集中，以便后期对该数据点进行相关处理。通过这样的方法，不仅仅将数据进行简单的划分和计算距离平方和，而是按照最近分配原则再依据某数据点是否属于所属簇的簇可容忍的点进行过滤，这样的做法保证了每个数据只被处理一次（但是不保证每个点都最终分配到某一簇上），并且也能够对离异值过滤。该方法是对数据顺序不敏感的，可以消除处理效果对数据顺序的影响。

第二，经过第一步计算后获得一个临时的潜在数据集，该数据集包含的数据是不被任何一个簇所容忍的离异点，即簇不可容忍点集。这里对该数据集应用Canopy类的快速粗略聚类方法，快速获取聚集信息。但是原生的Canopy算法存在几个缺点：1、对数据的序列敏感，聚类获得的簇集具有不稳定性；2、簇间的重叠性，由于数据点的距离落在T2和T1之间时被不同的簇重复计算，点被重复计算次数越多，其涉及的簇的中心越会往这些点靠近，其必然会影响聚类效果；3、阈值T1和T2的定义，T1相对T2的大小会影响到簇间的重叠程度。本发明对此做了相应的改进，通过将T1值和T2值设置成一样，使得不同的簇间没有交叉的数据点，并且利用旧的簇的相关信息初始化T1和T2值，以解决这些参数的设定问题。然后对快速聚类处理的结果进行合并，若它们间的距离小于一个阈值则将它们进行合并成一个新的簇。最后，通过密度方法对粗略聚类出来的簇进行筛选，判断每个簇中的数据点数是否已经达到符合条件，若数据量大于阈值，则认为这是新的簇并保留该簇，否则把该簇抛弃。这里使用Canopy方法的目的是检测新簇的情况，并不需要太严格太精确的簇信息，之后对松散型的簇执行过滤操作，进而获得可靠的新的簇集；这样既能消除Canopy不稳定的聚类的影响，又能充分利用Canopy的快速聚类的优势。

综合利用这两种快速处理方法的优点，有效地分析簇的消失、簇新增以及簇中心漂移，并综合这三方面信息对数据概念漂移进行高效、准确的检测判断。

从上述内容可以看出：

本发明一种数据流概念漂移检测方法及系统通过对簇中心、簇消失和簇新增这几个角度进行分析，从而检测出概念漂移的级别。本发明利用多角度识别概念漂移，实现了对待检测数据集的概念漂移评估指标的精确量化，能够较全面地对概念漂移情况进行分析，准确检测出概念漂移的级别。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种数据流概念漂移检测方法，其特征在于，包括以下步骤：

A、根据簇集、旧数据集和待检测数据集，计算旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和；

B、根据衰退函数和待检测数据集，计算簇集中各个簇的簇演变值；

C、通过分析得到对应待检测数据集的簇不可容忍点集并对其数据点进行划分形成新簇集，进而计算新簇集中各个簇的新簇接受值；

D、根据计算得到的簇演变值、新簇接受值、旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和，计算概念漂移级别值；

所述步骤B中簇演变值的计算方法为：

设簇演变值用表示，衰退因子为ε，基准阈值为x为该簇原来所包含的点数，衰变函数表示为则簇演变值为：

$CEV\left({{\mathrm{CD}}_i}^{\left(m_i\right)}\right)=\left\{\begin{array}{c}1,ifSIZE\left({{\mathrm{CTD}}_i}^{\left(s_i\right)}\right({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{{\mathrm{CD}}_i}^{\left(m_i\right)}\left)\right)\&GreaterEqual;f\left(x\right)\\ 0,otherwise\end{array}\right.;$

其中，DN^(n')为待检测数据集，n'为待检测数据集的点数量，CD_i为第i簇，m_i为第i簇的元素个数，表示待检测数据集的簇集各个簇的簇容忍点集，为待检测数据集的簇集各个簇的簇容忍点集中元素的个数；

簇演变值用于判断簇集中的簇是否已经消失，若簇演变值为1时，表示该簇没有发生簇消失状况；反之若簇演变值为0，则表示该簇发生簇消失状况；

其中，簇容忍距离表示簇对新的数据点的可接受的距离，设簇对新数据点的可接受程度为簇中的所有点与簇中心点距离的最大值被定义为簇最大半径，记作R_max，簇容忍距离表示为

若点D与簇C间的距离不大于簇C的簇容忍距离，则称D是簇C的簇容忍点；否则称D为簇C的簇不可容忍点；

簇集中所有的簇容忍点所构成的集合叫该簇的簇容忍点集，簇集中所有的簇都不可容忍点所构成的集合叫该簇的簇不可容忍点集。

2.根据权利要求1所述的一种数据流概念漂移检测方法，其特征在于：所述的步骤A包括：

A1、根据旧数据集和簇集，计算旧数据集中数据点与簇集中各个簇之间的距离，进而得到数据点的最近簇并将数据点划分到其对应最近簇中；

A2、通过计算簇集中各个簇的簇容忍距离，得到对应旧数据集的簇集各个簇的簇容忍点集的集合；

A3、根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇容忍点集的集合；

A4、根据对应待检测数据集的簇集各个簇的簇容忍点集的集合，计算待检测数据集的过度分散值；

A5、根据对应旧数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应旧数据集的簇容忍点集距离平方总和；

A6、根据对应待检测数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应待检测数据集的簇容忍点集距离平方总和。

3.根据权利要求2所述的一种数据流概念漂移检测方法，其特征在于：所述的步骤C包括：

C1、根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇不可容忍点集的集合；

C2、根据簇集中各个簇的簇容忍距离，对簇不可容忍点集中的数据点通过聚类处理将其划分至簇集中，形成新簇集；

C3、根据新簇集和簇新增阈值，计算新簇集中各个簇的新簇接受值。

4.根据权利要求3所述的一种数据流概念漂移检测方法，其特征在于：所述步骤A4中所述的过度分散值，其计算公式为：

$DOD=\left\{\begin{array}{c}1,if\underset{i=1}{\overset{t}{\&Sigma;}}SIZE\left({\mathrm{SCTD}}_i\right)<n*\mathrm{\&alpha;}\\ 0,otherwise\end{array}\right.$

其中，SCTD_i为第i个簇容忍点集，t为簇容忍点集的个数，SIZE(SCTD_i)为簇容忍点集中的元素个数，n为待检测数据集的点数量，α为过度阈值因子，DOD为过度分散值。

5.根据权利要求4所述的一种数据流概念漂移检测方法，其特征在于：所述步骤D中所述的概念漂移级别值，其计算公式为：

$DEDV=\left\{\begin{array}{c}{\mathrm{DED}}_{max},ifDOD=1or\underset{i=1}{\overset{k}{\&Sigma;}}CEV\left({\mathrm{CD}}_i^{\left(m_i\right)}\right)\&GreaterEqual;1or\underset{i=1}{\overset{p}{\&Sigma;}}NCV\left({\mathrm{CDN}}_i\right)\&GreaterEqual;1\\ or\frac{ABS\left(SSCT\right({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})-SSCT({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{\mathrm{SCD}}^{\left(k\right)}\left)\right)}{SSCT({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})}>1\\ ROUND(\frac{ABS\left(SSCT\right({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})-SSCT({\mathrm{DN}}^{\left(n^{\&prime;}\right)},{\mathrm{SCD}}^{\left(k\right)}\left)\right)}{SSCT({\mathrm{DO}}^{\left(n\right)},{\mathrm{SCD}}^{\left(k\right)})}*({\mathrm{DED}}_{\max }-{\mathrm{DED}}_{min}\left)\right),otherwise\end{array}\right.$

其中，CD_i为第i簇，m_i为第i簇的元素个数，为第i簇的簇演变值，k为簇的个数，CDN为新簇集，p为新簇集的新簇数量，NCV(CDN_i)为第i个新簇的新簇接受值，DO⁽ⁿ⁾为旧数据集，n为旧数据集的点数量，SCD^(k)为簇集，DN^(n')为待检测数据集，n'为待检测数据集的点数量，SSCT(DO⁽ⁿ⁾,SCD^(k))为对应旧数据集的簇容忍点集距离平方总和，SSCT(DN^(n'),SCD^(k))为对应待检测数据集的簇容忍点集距离平方总和，DED_max为概念漂移级别的最大值，DED_min为概念漂移级别的最小值，DEDV为概念漂移级别值。

6.一种数据流概念漂移检测系统，其特征在于，包括：

簇中心分析单元，用于根据簇集、旧数据集和待检测数据集，计算旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和；

簇消失分析单元，用于根据衰退函数和待检测数据集，计算簇集中各个簇的簇演变值；

簇新增分析单元，用于通过分析得到对应待检测数据集的簇不可容忍点集并对其数据点进行划分形成新簇集，进而计算新簇集中各个簇的新簇接受值；

概念漂移级别分析单元，用于根据计算得到的簇演变值、新簇接受值、旧数据集的簇容忍点集距离平方总和与待检测数据集的簇容忍点集距离平方总和，计算概念漂移级别值；

所述簇消失分析单元中簇演变值的计算方法为：

设簇演变值用表示，衰退因子为ε，基准阈值为x为该簇原来所包含的点数，衰变函数表示为则簇演变值为：

其中，DN^(n')为待检测数据集，n'为待检测数据集的点数量，CD_i为第i簇，m_i为第i簇的元素个数，表示待检测数据集的簇集各个簇的簇容忍点集，为待检测数据集的簇集各个簇的簇容忍点集中元素的个数；

簇演变值用于判断簇集中的簇是否已经消失，若簇演变值为1时，表示该簇没有发生簇消失状况；反之若簇演变值为0，则表示该簇发生簇消失状况；

其中，簇容忍距离表示簇对新的数据点的可接受的距离，设簇对新数据点的可接受程度为簇中的所有点与簇中心点距离的最大值被定义为簇最大半径，记作R_max，簇容忍距离表示为

若点D与簇C间的距离不大于簇C的簇容忍距离，则称D是簇C的簇容忍点；否则称D为簇C的簇不可容忍点；

簇集中所有的簇容忍点所构成的集合叫该簇的簇容忍点集，簇集中所有的簇都不可容忍点所构成的集合叫该簇的簇不可容忍点集。

7.根据权利要求6所述的一种数据流概念漂移检测系统，其特征在于：所述的簇中心分析单元包括：

距离计算单元，用于根据旧数据集和簇集，计算旧数据集中数据点与簇集中各个簇之间的距离，进而得到数据点的最近簇并将数据点划分到其对应最近簇中；

旧数据集簇容忍点集计算单元，用于通过计算簇集中各个簇的簇容忍距离，得到对应旧数据集的簇集各个簇的簇容忍点集的集合；

待检测数据集簇容忍点集计算单元，用于根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇容忍点集的集合；

过度分散值计算单元，用于根据对应待检测数据集的簇集各个簇的簇容忍点集的集合，计算待检测数据集的过度分散值；

旧数据集距离簇容忍点集平方和计算单元，用于根据对应旧数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应旧数据集的簇容忍点集距离平方总和；

待检测数据集距离簇容忍点集平方和计算单元，用于根据对应待检测数据集的簇集各个簇的簇容忍点集，计算各个簇容忍点集中数据点与对应簇的距离平方和，进而对得到的多个距离平方和进行总和计算，得到对应待检测数据集的簇容忍点集距离平方总和。

8.根据权利要求7所述的一种数据流概念漂移检测系统，其特征在于：所述的簇新增分析单元包括：

不可容忍点集计算单元，用于根据簇集中各个簇的簇容忍距离和待检测数据集，得到对应待检测数据集的簇集各个簇的簇不可容忍点集的集合；

划分单元，用于根据簇集中各个簇的簇容忍距离，对簇不可容忍点集中的数据点通过聚类处理将其划分至簇集中，形成新簇集；

新簇接受值计算单元，用于根据新簇集和簇新增阈值，计算新簇集中各个簇的新簇接受值。