CN107480258A - 一种基于多种支撑点的度量空间离群检测方法 - Google Patents

Abstract

本发明公开了一种基于多种支撑点的度量空间离群检测方法，包括选择距离函数步骤：根据数据集的数据类型，选择距离函数；支撑点选取步骤：读取数据集，选取不重复的密集支撑点以及边缘支撑点；建立索引步骤：计算所有对象与密集支撑点的距离，进行排序，形成一维索引，计算所有对象与边缘支撑点的距离，记为第二距离，以第一距离和第二距离作为坐标，形成支撑点空间；离群检测步骤：将一维索引划分成多个数据块，并对数据块逐块进行离群点检测。本发明通过同时选中密集支撑点和多个边缘支撑点，避免出现单支撑点导致的数据空间扭曲的技术问题，同时降低建立索引时间开销，减少距离计算次数，提高离群检测速度。本发明用于检测数据集中的离群点。

Description

一种基于多种支撑点的度量空间离群检测方法

技术领域

本发明涉及数据挖掘领域，更具体地说涉及一种基于多种支撑点的度量空间离群检测方法。

背景技术

离群点是数据集中与众不同的数据点，其表现与其它点如此不同，以至于使人怀疑这些数据并非随机的偏差，而是由另外一种完全不同的机制所产生的。离群点也称异常点或者异常对象。离群点检测也称为异常检测、偏差检测或离群点挖掘，它就是按照一定的算法把数据集中的离群点检测出来。换言之，离群点检测就是挖掘海量数据中极少数与主流数据显著不同的点。

传统的离群检测技术，大多数是面向多维空间的，仅适用于多维数据，对于图像、音频视频、蛋白质等复杂数据类型无可奈何。仅有的少数离群检测方法基于度量空间，适用于大多数数据类型，但是却存在着索引效率低下，离群检测速度较慢等问题，其中以iORCA算法以及HIOD算法最为常用。

所述iORCA算法是本领域代表性算法，该算法随即选取数据集一对象作为支撑点，然后计算所有对象与支撑点的距离，再按降序排序，从而建立简单索引，检测离群点时，便是基于该索引，相当于按照与支撑点的距离，从远到近检测。

上述iORCA算法缺点在于仅仅使用一个支撑点，在节省建立索引时间的同时却导致了数据空间的扭曲，降低了索引质量，不能很好地发挥剪枝效率，而且该算法并未提供支撑点选取算法，所选取的支撑点是随即选取的，离群检测效果部稳定，最后该算法只用一个终止规则来判断是否停止检测离群点，未能发挥度量空间三角不等性作用来进一步减少距离计算次数。

所述HIOD算法针对iORCA算法中数据扭曲和忽略稀疏区域的问题而提出的，该算法首先选取两个支撑点以减少数据扭曲，然后用Hilbert曲线降维以建立索引，同时优先检测稀疏区域，并运用基于距离三角不等性的多个剪枝规则减少距离计算次数，提高检测速度。

上述HIOD算法克服了iORCA算法的缺点，但是该算法只选取一种支撑点同时达到密集支撑点和边缘支撑点目标，建立索引时间较长。

发明内容

本发明要解决的技术问题是：提供一种快速的基于多种支撑点的度量空间离群检测方法。

本发明解决其技术问题的解决方案是：

一种基于多种支撑点的度量空间离群检测方法，所述方法包括以下步骤：

选择距离函数步骤：根据数据集的数据类型，选择相应的距离函数；

支撑点选取步骤：读取数据集，在数据集中选取密集支撑点以及边缘支撑点，所述密集支撑点与边缘支撑点不重复；

建立索引步骤：分别计算数据集中所有对象与密集支撑点的距离，记为第一距离，按第一距离从大到小顺序排序，形成一维索引，分别计算数据集中所有对象与边缘支撑点的距离，记为第二距离，以第一距离和第二距离作为坐标，形成支撑点空间；

离群检测步骤：将所述一维索引划分成多个数据块，并对所述数据块逐块进行离群点检测。

作为上述技术方案的进一步改进，所述支撑点选取步骤中选取密集支撑点包括以下步骤：

从数据集中随机选取一个对象作为第一基准点；

计算数据集中所有对象与第一基准点的距离，记为第三距离；

按照第三距离大小对数据集中的所有对象进行排序，并将所述数据集划分成多个数据段，每个数据段中对象的数量相等；

计算每个数据段的距离增量，距离增量最小的数据段记为最密集区域；

计算所述最密集区域的中点，记为密集支撑点。

作为上述技术方案的进一步改进，所述支撑点选取步骤中选取边缘支撑点包括以下步骤：

设置支撑点数量阈值，设置边缘支撑点集并初始化为空集；

在数据集中随机选取一个对象作为第二基准点；

计算数据集中除边缘支撑点集以外所有对象与边缘支撑点集的距离，记为第四距离，选取第四距离最大的对象作为下一个边缘支撑点并添加到边缘支撑点集中，判断边缘支撑点集中对象的数目是否等于支撑点数量阈值，如果是，完成边缘支撑点选取，如果不是，重复此步骤；

通过所述距离函数，计算边缘支撑点集中各个边缘支撑点与密集支撑点的距离，若边缘支撑点与密集支撑点距离为零，删除该边缘支撑点，返回上一个步骤，继续选取下一个边缘支撑点并将其添加到边缘支撑点集中，直到边缘支撑点集中对象的数目等于支撑点数量阈值且边缘支撑点集中各个边缘支撑点与密集支撑点的距离均不为零；

边缘支撑点选取完成后，将所述第二基准点从边缘支撑点集中删除。

作为上述技术方案的进一步改进，所述离群检测步骤包括以下步骤：

将所述一维索引划分成多个对象数量相同的数据块；

设置离群度阈值，并初始化为0，按顺序逐个读取每个数据块；

如果当前数据块中第一个对象不可能为离群点，结束检测，输出离群点；

如果当前数据块中存在可能为离群点的对象，按顺序逐个检测当前数据块对象，从待检测对象所在数据块的中位对象开始以螺旋顺序搜索待检测对象的k最近邻，直到覆盖整个一维索引，并将判断为不可能是离群点的对象从当前数据块中移除，直到当前数据块中的所有对象都处理完毕后更新离群点和离群度阈值，并读取下一个数据块；

当所有数据块处理完成后，输出离群点。

本发明的有益效果是：本发明通过同时选中密集支撑点和多个边缘支撑点，建立一维索引以及支撑点空间，避免出现像传统技术一般出现单支撑点导致的数据空间扭曲的技术问题，同时有利于降低建立索引时间开销，有利于减少距离计算次数，提高离群检测速度。本发明用于检测数据集中的离群点。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。

图1是本发明离群检测方法的流程图；

图2是本发明中选取密集支撑点的步骤流程图；

图3是本发明中选取边缘支撑点的步骤流程图；

图4是本发明中离群点检测步骤的具体流程图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。

为更好地说明本发明创造的技术方案，现就说明书中出现的本领域技术名词作出解释：

离群度：一个对象的离群度表示其离群的程度，常用其与k最近邻的距离的平均值作为离群度，或者其与第k个最近邻的距离值作为离群度。

TOP n离群点：整个数据集之中，离群度最大的n个对象(点)。

数据块：离群检测的一个单位，由数据集中的若干个对象组成。

螺旋顺序：例如有一个索引1，2，3，4，5，6，7，8，9，10，如果以5为起点，它的螺旋顺序是5，4，6，3，7，2，8……，或者5，6，4，7，3，8，2……，就是一前一后，以此类推的意思。

参照图1～图4，本发明创造公开了一种基于多种支撑点的度量空间离群检测方法，用于对数据集中离群点进行有效快速的检测，所述检测方法包括以下步骤：

选择距离函数步骤：根据数据集的数据类型，选择相应的距离函数，用于后续步骤中距离的计算；

支撑点选取步骤：读取数据集，在数据集中选取密集支撑点以及边缘支撑点，所述密集支撑点与边缘支撑点不重复；

建立索引步骤：分别计算数据集中所有对象与密集支撑点的距离，记为第一距离，按第一距离从大到小顺序排序，形成一维索引，分别计算数据集中所有对象与边缘支撑点的距离，记为第二距离，以第一距离和第二距离作为坐标，形成支撑点空间；

离群检测步骤：将所述一维索引划分成多个数据块，并对所述数据块逐块进行离群点检测。

此处举若干例子对所述选择距离函数步骤进行说明，如果检测到数据集中各对象的数据类型是向量类型，则距离函数设定为欧几里德距离函数；如果检测到数据集中各对象的数据类型是字符串类型，则距离函数设定为编辑距离函数；如果检测到数据集中各对象的数据类型是DNA类型，则距离函数设定为比对距离函数。

本发明通过同时选中密集支撑点和多个边缘支撑点，建立一维索引以及支撑点空间，避免出现像传统技术一般出现单支撑点导致的数据空间扭曲的技术问题，同时有利于降低建立索引时间开销，有利于减少距离计算次数，提高离群检测速度。

具体地，本发明创造中分别利用两种不同的算法进行密集支撑点以及边缘支撑点的选取。

本发明创造具体实施方式中，所述支撑点选取步骤中选取密集支撑点包括以下步骤：

从数据集中随机选取一个对象作为第一基准点；

计算数据集中所有对象与第一基准点的距离，记为第三距离；

按照第三距离大小对数据集中的所有对象进行排序，并将所述数据集划分成多个数据段，每个数据段中对象的数量相等；

计算每个数据段的距离增量，距离增量最小的数据段记为最密集区域；

计算所述最密集区域的中点，记为密集支撑点。

本发明创造具体实施方式中，所述支撑点选取步骤中选取边缘支撑点包括以下步骤：

设置支撑点数量阈值，设置边缘支撑点集并初始化为空集；

在数据集中随机选取一个对象作为第二基准点；

计算数据集中除边缘支撑点集以外所有对象与边缘支撑点集的距离，记为第四距离，选取第四距离最大的对象作为下一个边缘支撑点并添加到边缘支撑点集中，判断边缘支撑点集中对象的数目是否等于支撑点数量阈值，如果是，完成边缘支撑点选取，如果不是，重复此步骤；

通过所述距离函数，计算边缘支撑点集中各个边缘支撑点与密集支撑点的距离，若边缘支撑点与密集支撑点距离为零，删除该边缘支撑点，返回上一个步骤，继续选取下一个边缘支撑点并将其添加到边缘支撑点集中，直到边缘支撑点集中对象的数目等于支撑点数量阈值且边缘支撑点集中各个边缘支撑点与密集支撑点的距离均不为零；

边缘支撑点选取完成后，将所述第二基准点从边缘支撑点集中删除。

此处需要说明的是，一个点对象到一个点集合的距离，表示该点对象到点集合各个点的距离中，最小的那个距离。

现有技术中HIOD算法由于只选取一种支撑点同时达到密集支撑点和边缘支撑点目标，建立索引时间较长，而且出现数据空间扭曲的技术问题，而本发明创造分别通过两种不同的算法选取数据集中的密集支撑点以及边缘支撑点，解决了现有技术中存在的技术问题，同时有利于降低建立索引时间开销，有利于减少距离计算次数，提高离群检测速度。

本发明创造所述检测方法，在选取了密集支撑点和多个边缘支撑点之后，需要针对数据集中的所有对象建立索引。具体地，本实施例首先计算数据集中所有对象与密集支撑点的距离，记为第一距离，再按第一距离降压顺序对与其相对应的对象进行排序，形成一维索引；之后本实施例分别计算数据集中所有对象与边缘支撑点的距离，记为第二距离，将第二距离作为坐标，形成支撑点空间，所述支撑点空间的维数与边缘支撑点的数量一致。

进一步作为优选的实施方式，本发明创造具体实施方式中，所述离群检测步骤包括以下步骤：

将所述一维索引划分成多个对象数量相同的数据块；

设置离群度阈值，并初始化为0，按顺序逐个读取每个数据块；

如果当前数据块中第一个对象不可能为离群点，结束检测，输出离群点；

如果当前数据块中存在可能为离群点的对象，按顺序逐个检测当前数据块对象，从待检测对象所在数据块的中位对象开始以螺旋顺序搜索待检测对象的k最近邻，直到覆盖整个一维索引，并将判断为不可能是离群点的对象从当前数据块中移除，直到当前数据块中的所有对象都处理完毕后更新离群点和离群度阈值，并读取下一个数据块；

当所有数据块处理完成后，输出离群点。

具体地，本发明创造在执行所述离群检测步骤前，需要设定两个剪枝规则，现在对两个剪枝规则进行定义，首先定义所涉及到的参数，其中设数据集为D，离群度阈值为C，P＝{P1，P2i}为支撑点集，i＝0，1，2……，其中P1为密集支撑点，P2i为边缘支撑点，X为数据集中的任意对象，dist()为距离函数，nnk(P，D)表示对象P在数据集D中的第k最近邻。

剪枝规则1用于检测数据集中是否存在离群点，如果数据集D满足dist(X,P1)+dist(P1,nnk(P1,D))<C，证明数据集D中所有的对象都不可能是离群点。

剪枝规则2用于排除非k最近邻的对象，设数据集中两个对象分别为Xt，Xj，当两个对象满足公式||dist(Xt,P2i)-dist(Xj,P2i)||>dist(Xt,nnk(Xt,D))时，表示Xj不可能是Xt的k最近邻。

两个剪枝规则设定完成后，可正式执行所述离群检测步骤，具体地，本发明创造具体实施例中，首先将已经排序完成的一维索引划分成多个对象数量相同的数据块，之后再按顺序逐个检测数据块的离群点，先利用所述剪枝规则1检测数据块第一个对象是否为离群点，如果不是，就无需关注此数据块以及后续的数据块，结束检测，输出离群点，这是由于划分好的数据块是以从稀疏到密集的顺序排序的，只要按顺序检测到某一个数据块很密集，就证明了该数据块及其后续的数据块均不可能存在离群点，力群点只存在稀疏区域；如果利用剪枝规则1发现数据块存在离群点，再读取数据块中的每个对象，利用剪枝规则2寻找离群点。

具体地，当检测到某一个数据块存在离群点后，按以下步骤对数据块中的离群点进行检测：

步骤A：按顺序获取数据块的对象，记为数据b；

步骤B：以数据块中位对象为起点，按螺旋顺序依次读取数据b所在数据块的对象，当数据b所在数据块读取完毕后，再按螺旋顺序读取一维索引中的其他对象，记为数据d；

步骤C：判断数据b与数据d是否符合剪枝规则2，如果是，返回步骤B，再次读取下一个对象(数据b)；如果不是，计算数据b与数据d的距离，更新数据b的最近邻，计算数据b的离群度，判断数据b的离群度是否低于离群度阈值，如果是，将数据b从数据块中移除，返回步骤A，按顺序获取数据块的下一个对象(数据b)，如果不是，进一步判断数据块的所有对象(数据b)是否读取完成，如果还没读取完成，同样返回步骤A，按顺序获取数据块的下一个对象，如果数据块中所有对象已处理完成，更新离群点和离群点阈值。

其中需要说明的是，所谓更新数据b的最近邻，是指随着数据的不断读取更新，如果数据d与数据b的距离小于数据b与数据b的k最近邻的距离，就要把数据d插入数据b的k最近邻。相反，如果大于，则不用插入。

此处举个简单的例子进行说明，假设有数据集D＝{0，16，19，10，3，8，11，12，25}，其中密集支撑点为11，则按照数据集各对象与密集支撑点的距离从大到小进行排序，得到一维索引为{25，0，3，19，16，8，10，12，11}，再划分成3个数据块{25，0，3}{19，16，8}{10，12，11}。现检测第一个数据块{25，0，3}，假设第一个数据块不符合剪枝规则1，证明数据块存在离群点，需要对数据块每个对象逐一检测，按照上述步骤A至步骤C，按顺序读取数据块对象，记为数据b，对于此例子而言，数据b依次为25，0，3，以数据块中位对象为起点，按螺旋顺序依次读取数据块对象，记为数据d，对于此例子而言，数据d依次为0，25，3，或者是0，3，25，当数据b所在数据块读取完毕后，再按螺旋顺序读取一维索引其他对象，因此所述数据d依次为0，25，3(0，3，25)，19，16，8，10，12，11，之后继续按所述步骤C继续往下执行。假设检测到数据b＝19时，所述数据d依次为16，19，8，3，10，0，12，25，11，或16，8，19，10，3，12，0，11，25。

以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种基于多种支撑点的度量空间离群检测方法，其特征在于，所述方法包括以下步骤：

选择距离函数步骤：根据数据集的数据类型，选择相应的距离函数；

支撑点选取步骤：读取数据集，在数据集中选取密集支撑点以及边缘支撑点，所述密集支撑点与边缘支撑点不重复；

建立索引步骤：分别计算数据集中所有对象与密集支撑点的距离，记为第一距离，按第一距离从大到小顺序排序，形成一维索引，分别计算数据集中所有对象与边缘支撑点的距离，记为第二距离，以第一距离和第二距离作为坐标，形成支撑点空间；

离群检测步骤：将所述一维索引划分成多个数据块，并对所述数据块逐块进行离群点检测。

2.根据权利要求1所述的一种基于多种支撑点的度量空间离群检测方法，其特征在于，所述支撑点选取步骤中选取密集支撑点包括以下步骤：

从数据集中随机选取一个对象作为第一基准点；

计算数据集中所有对象与第一基准点的距离，记为第三距离；

按照第三距离大小对数据集中的所有对象进行排序，并将所述数据集划分成多个数据段，每个数据段中对象的数量相等；

计算每个数据段的距离增量，距离增量最小的数据段记为最密集区域；

计算所述最密集区域的中点，记为密集支撑点。

3.根据权利要求2所述的一种基于多种支撑点的度量空间离群检测方法，其特征在于，所述支撑点选取步骤中选取边缘支撑点包括以下步骤：

设置支撑点数量阈值，设置边缘支撑点集并初始化为空集；

在数据集中随机选取一个对象作为第二基准点，添加到边缘支撑点集中；

计算数据集中除边缘支撑点集以外所有对象与边缘支撑点集的距离，记为第四距离，选取第四距离最大的对象作为下一个边缘支撑点并添加到边缘支撑点集中，判断边缘支撑点集中对象的数目是否等于支撑点数量阈值，如果是，完成边缘支撑点选取，如果不是，重复此步骤；

通过所述距离函数，计算边缘支撑点集中各个边缘支撑点与密集支撑点的距离，若边缘支撑点与密集支撑点距离为零，删除该边缘支撑点，返回上一个步骤，继续选取下一个边缘支撑点并将其添加到边缘支撑点集中，直到边缘支撑点集中对象的数目等于支撑点数量阈值且边缘支撑点集中各个边缘支撑点与密集支撑点的距离均不为零；

边缘支撑点选取完成后，将所述第二基准点从边缘支撑点集中删除。

4.根据权利要求3所述的一种基于多种支撑点的度量空间离群检测方法，其特征在于，所述离群检测步骤包括以下步骤：

将所述一维索引划分成多个对象数量相同的数据块；

设置离群度阈值，并初始化为0，按顺序逐个读取每个数据块；

如果当前数据块中第一个对象不可能为离群点，结束检测，输出离群点；

如果当前数据块中存在可能为离群点的对象，按顺序逐个检测当前数据块对象，从待检测对象所在数据块的中位对象开始以螺旋顺序搜索待检测对象的k最近邻，直到覆盖整个一维索引，并将判断为不可能是离群点的对象从当前数据块中移除，直到当前数据块中的所有对象都处理完毕后更新离群点和离群度阈值，并读取下一个数据块；

当所有数据块处理完成后，输出离群点。