CN103020256A - 一种大规模数据的关联规则挖掘方法 - Google Patents

Abstract

本发明提供一种大规模数据的关联规则挖掘方法，包括以下步骤：1）对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；2）对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；3）合并所有分类的频繁项集，将大于最小置信度的频繁项集对应关联规则判定为强关联规则。本发明能够减少产生不必要的关联性小的候选项集，从而提高整体数据的关联规则挖掘效率，具有更好的扩展性。

Description

一种大规模数据的关联规则挖掘方法

技术领域

本发明涉及分布式计算与数据挖掘技术。

背景技术

海量数据管理相关研究已经不是一个新话题了，只是对于“海量”的定义随着存储设备的飞速发展，也在不断地发生变化。

对于大规模数据，数据库管理系统通过Hash,B+‘Iree等各种手段对数据进行索引，能够有效减少外存读写开销，提高数据查询效率。为了处理更大的数据量，并行数据库系统(ParallelDatabase System，简称PDBS)，分布式数据库系统(Distributed Database System，简称DDBS)相继出现，通过网络连接将多个数据处理节点组成一个整体，从而完成有效处理海量数据的任务。

关联规则由Agrawal等人于1993年在文献中提出，目的是是从大量数据（记录）中发现事物（项）的关联和相关联系。

关联规则挖掘过程主要包含两个阶段：第一阶段，将项目组集合中出现的频率（支持度）大于最小支持度的项目组判定为频繁项集（Frequent Itemsets）；第二阶段，将大于最小置信度的频繁项集对应关联规则判定为强关联规则（Association Rules）。

Apriori算法是一种最有影响的挖掘频繁项集的算法，其思想是用已知的频繁项集推导其他频繁项集（利用K-项集来产生(K+1)-项集）。先找出频繁1-项集，记为L₁,这些频繁项集出现的频率至少和预定义的最小支持度一样；然后利用L₁来挖掘L₂，使用之前找到的已发现频繁项集产生只包含该频繁项集的候选项集，只有那些大于最小支持度的候选项集才被留下来，作为频繁2-项集L₂；不断如此循环下去直到无法发现更多的频繁K-项集为止。Apriori算法的实现过程中会产生大量的候选项集，导致数据挖掘运算时间长，是基于Apriori算法的一大缺点。

发明内容

本发明所要解决的技术问题是，提供一种能更高效进行大规模数据的关联规则挖掘方法。

本发明为解决上述技术问题所采用的技术方案是，一种大规模数据的关联规则挖掘方法，包括以下步骤：

1）对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；

2）对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；

3）合并所有分类的频繁项集，将大于最小置信度的频繁项集对应关联规则判定为强关联规则。

本发明基于相似度进行分类后，将相似度小的数据分离，在频繁项集挖掘时是对每一种类型进行独立的挖掘，能够减少产生不必要的关联性小的候选项集，从而提高整体数据的关联规则挖掘效率。另外，当增加新的输入数据时，仅需对该新增加数据所在的分类中更新频繁项集，无需再对所有数据进行处理，具有更好的扩展性。

分类预处理的具体方法是：

1.1在输入数据中选择k个条记录作为分类的基准点；

1.2扫描数据，并求出每一条记录与各基准点的相似度，根据将每条记录分配至与其相似度最高的基准点所对应的分类上；扫描完全部数据后，形成各分类对应区域；与一条记录相似度最高的基准点有1个或1个以上；

1.3分别对各分类对应区域的记录进行平均，利用平均后的结果确定新的该区域的新的基准点，判断区域的基准点是否变化，如是，跳转到步骤1.2，如否，分类结束。

进一步的，为了进一步缩短关联规则挖掘时间，步骤1）与步骤2）均使用多个处理器并行处理。

本发明的有益效果是，通过基于相似度的预处理，减少产生不必要的，关联性小的候选项集，提高整体数据处理效率，进一步的，通过分布式系统并行完成频繁项集的挖掘，进一步改善了系统运行的时间，满足了处理大规模数据的用户需求。

附图说明

图1为利用相似性进行数据分块的流程图。

具体实施方式

输入的海量数据由大量记录组成，每一条记录包含有1个或1个以上的项，每一条记录也是1个或1个以上项的集合（项集合），关联规则挖掘就是找出不同记录中关联度高的项与项之间联系。本实施例方法利用Hadoop分布式文件系统和并行的Aprior算法实现大规模数据的关联规则挖掘，具体步骤为：

1）对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；

2）对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；

3）合并所有分类的频繁项集，将大于最小置信度的频繁项集对应关联规则判定为强关联规则，将强关联规则下载到客户端机器。

步骤1）中分类预处理的具体方法如图1所示：

1.1在输入数据中选择k个条记录作为分类的基准点；

1.2扫描数据，并求出每一条记录与各基准点的相似度，根据将每条记录分配至与其相似度最高的基准点所对应的分类上；扫描完全部数据后，形成各分类对应区域；与一条记录相似度最高的基准点有1个或1个以上；

1.3分别对各分类对应区域的记录进行平均，根据平均后的结果确定新的该区域的新的基准点，判断区域的基准点是否变化，如是，跳转到步骤1.2，如否，分类结束。

相似度即计算项与项之间的相似程度，与距离度量相反。相似度度量的值越小，说明项与项之间相似度越小，差异越大。

例1：

表1所示的输入数据表有9条记录（T1，T2，…，T9）以及各条记录中所包含的项（I1,I2,I3,I4,I5）：

表1记录表

记录编号	项集合
		T1	I1,I2,I5
T2	I2，I4
		T3	I2，I3
T4	I1,I2,I4
		T5	I1,I3
T6	I2，I3
		T7	I1，I3
T8	I1,I2,I3,I5
		T9	I1,I2,I3

为了方便计算数据中各项之间的相似度，将输入数据表转换为0,1状态表，如表2所示，0表示当前项没有出现在对应记录中，1表示当前项出现在对应记录中：

表20,1状态表

	I1	I2	I3	I4	I5
						T1	1	1	0	0	1
T2	0	1	0	1	0
						T3	0	1	1	0	0
T4	1	1	0	1	0
						T5	1	0	1	0	0
T6	0	1	1	0	0
						T7	1	0	1	0	0
T8	1	1	1	0	1

T9

1

1

1

0

0

分类数量（基准点的个数）可以预先设置，也可以根据数据采样情况动态调整，比如，通过设置阈值，当前需要分类的记录与其它已分类的记录的相似度没有达到该阈值时，即把它作为一个新分类的基准点。

选择基准点应该尽量选择为无公共元素的点。本例设置3个分类，需要选择3个初始基准点，分别为T1（I1,I2,I5）、T2（I2,I4）、T5（I1，I3）。

基于这三个基准点，采用欧几里得距离公式来求其他记录与当前记录的相异性，当距离值越大，相异性越高，相似度就越低。

求出的相异性如表3所示：

表3相异性表

根据相异性进行第一次分类。

分类原则：将元素分类到具有最小相异度的基准点。如果有相同的最小基准点，则分配到多个基准点（这里，T3与T6与基准点T2、T5的相似度相同）。这样分配的原因是保证以后关联规则的不遗漏。

则第一次分类结果：

分类1：T1、T8；

分类2：T2、T3、T4、T6；

分类3：T5、T3、T6、T7、T9。

再通过3个分类中对应记录在0,1状态表中的5个项值求平均得到新的基准点（1,1,0.5,0,1），（0.25,1,0.5,0.5,0），（0.6,0.6,1,0,0）。

基于新的基准点，再次求出每项与新基准点的相异度，如表4所示：

表4新基准点表

	T1	T2	T3	T4	T5	T6	T7	T8	T9
										（1,1,0.5,0,1）	0.5	1.8	1.5	1.5	1.5	1.5	1.5	0.5	1.12
（0.25,1,0.5,0.5,0）	1.44	0.75	0.75	1.0	1.44	0.75	1.44	1.43	1.0
										（0.6,0.6,1,0,0）	1.52	1.59	0.72	1.5	0.72	0.72	0.72	1.14	0.56

则第二次分类结果：

分类1：T1、T8；

分类2：T2、T4；

分类3：T3、T5、T6、T7、T9；

由上例看出，第二次分类结果与第一次分类结果基本一致的，只是去掉了重复的记录而已。

当输入的数据量大时，可采样多个并行处理器对实现对数据中各记录的分类，本领域技术人员可以根据上面的描述对输入数据进行分配并进行基于相似度的分类处理。

步骤2）中，利用hadoop的开源实现了并行Apriori算法下频繁项集的挖掘，克服了单机在存储上和计算上的限制，具体的方法是：

2.1将当前分类中的数据根据并行处理器数量N分为N个数据块Di分配至对应的处理器Pi，i=1，...,N，N为大于等于2的整数；

2.2当第k=1次扫描时，每个处理器Pi根据分配在本地数据分块Di中各记录的项，生成本地候选项集C(1,i)，之后进入步骤2.4；

2.3当第k>1次扫描时，每个处理器Pi根据第k-1次扫描生成的本地频繁项集L(k-1,i)生成本次扫描的本地候选项集C(k,i)，当生成本地候选项集C(k,i)不为空则进入步骤2.4，否则，处理器Pi挖掘频繁项集的迭代过程结束，进入步骤2.7；每个处理器Pi独立地决定需要继续下一次迭代还是结束；

第k遍的频繁项集L(k-1)，在每个处理器Pi生成完全候选项集C(k)；

2.4处理器Pi扫描完毕的本地数据分块Di并得到本地候选项集C(k,i)的支持度计数，进入步骤2.5；

2.5处理器Pi与并行的其他处理器交换本地候选项集C(k,i)的支持度计数，获得总的当前分类下第k次扫描生成的候选项集C(k)的支持度计数；

2.6处理器Pi根据候选项集C(k)的支持度计数将本地候选项集C(k,i)中支持度大于预设最小支持度的项目组作为本地频繁项集L(k,i)，更新k=k+1，进入步骤2.3；

2.7当并行的全部处理器均结束挖掘频繁项集的迭代过程，则合并各处理器Pi每次扫描得到本地频繁项集作为对当前分类的频繁项集的挖掘结果。

例2：

以对某一分类（T2、T8）进行频繁项集挖掘为例，预设最小支持度为0.22。

记录T2、T8的0,1状态表如表5所示为：

表5状态表

	I1	I2	I3	I4	I5
						T2	1	1	0	0	1

T8

0

1

0

1

0

第一次扫描时，该分类中所包含的各项（I1、I2、I4、I5）独自作为候选项集，对应的支持度如表6所示均大于最小支持度0.22：

表6第1次扫描支持度

	支持度
		I1	50%
I2	1
		I4	50%
I5	50%

第1次扫描产生的频繁1-项集为：I1、I2、I4、I5

第2次扫描时，产生包括了频繁1-项集的2项候选项集（I1,I2、I1,I4、I1,I5、I2,I4、I2,I5、I4,I5），对应的支持度如表7所示：

表7第2次扫描支持度

	支持度
		I1I2	50%
I1I4	0
		I1I5	50%
I2I4	50%
		I2I5	50%
I4I5	0

第2次扫描产生的频繁2-项集为：I1,I2，I1,I5、I2,I4、I2,I5；

第3次扫描时，产生包括了频繁2-项集的3项候选项集（I1,I2,I4、I1,I2,I5、I2,I4,I5），对应的支持度如表8所示为：

表8第3次扫描支持度

	支持度
		I1,I2,I4	0
I1,I2,I5	50%
		I2,I4,I5	0

第3次扫描产生的频繁3-项集为：I1,I2,I5；

第4次扫描时，无新的后选集产生，迭代结束。

当对频繁项集挖掘分配到多个处理器进行时，处理器在支持度的计算上需要与其它处理器进行交互，在频繁项集的最终挖掘结果也需要与其它并行处理器的挖掘结果进行合并。

Claims (4)

1.一种大规模数据的关联规则挖掘方法，其特征在于，包括以下步骤：

1）对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；

2）对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；

3）合并所有分类的频繁项集，将大于最小信赖度的频繁项集对应关联规则判定为强关联规则。

2.如权利要求1所述一种大规模数据的关联规则挖掘方法，其特征在于，分类预处理的具体方法是：

1.1在输入数据中选择k个条记录作为分类的基准点；k为大于等于2的整数；

1.2扫描数据，并求出每一条记录与各基准点的相似度，根据将每条记录分配至与其相似度最高的基准点所对应的分类上；扫描完全部数据后，形成各分类对应区域；与一条记录相似度最高的基准点有1个或1个以上；

1.3分别对各分类对应区域的记录进行平均，利用平均后的结果确定新的该区域的新的基准点，判断区域的基准点是否变化，如是，跳转到步骤1.2，如否，分类结束。

3.如权利要求2所述一种大规模数据的关联规则挖掘方法，其特征在于，使用多个处理器分别对所述步骤1）、步骤2）进行并行处理。

4.如权利要求3所述一种大规模数据的关联规则挖掘方法，其特征在于，并行Apriori算法来挖掘频繁项集，具体的方法是：

2.1将当前分类中的数据根据并行处理器数量N分为N个数据块Di分配至对应的处理器Pi，i=1，...,N，N为大于等于2的整数；

2.2当第k=1次扫描时，每个处理器Pi根据分配在本地数据分块Di中各记录的项，生成本地候选项集C(1，i)，之后进入步骤2.4；

2.3当第k>1次扫描时，每个处理器Pi根据第k-1次扫描生成的本地频繁项集L(k-1,i)生成本次扫描的本地候选项集C(k,i)，当生成本地候选项集C(k,i)不为空则进入步骤2.4，否则，处理器Pi挖掘频繁项集的迭代过程结束，进入步骤2.7；

第k遍的频繁项集L(k-1)，在每个处理器Pi生成完全候选项集C(k)；

2.4处理器Pi扫描完毕的本地数据分块Di并得到本地候选项集C(k，i)的支持度计数，进入步骤2.5；

2.5处理器Pi与并行的其他处理器交换本地候选项集C(k，i)的支持度计数，获得总的当前分类下第k次扫描生成的候选项集C(k)的支持度计数；

2.6处理器Pi根据候选项集C(k)的支持度计数将本地候选项集C(k,i)中支持度大于预设最小支持度的项目组作为本地频繁项集L(k，i)，更新k=k+1，进入步骤2.3；

2.7当并行的全部处理器均结束挖掘频繁项集的迭代过程，则合并各处理器Pi每次扫描得到本地频繁项集作为对当前分类的频繁项集的挖掘结果。

Images