CN104573080A - 一种基于事务二进制的约束频繁项集挖掘方法 - Google Patents

Abstract

本发明公开了一种基于事务二进制的约束频繁项集挖掘方法，包括步骤：约束条件C对原始事务库D进行过滤得到过滤事务库D’；为过滤事务数据库D’中的每一个项目建立事务二进制；分别计算各个项目的TB(I_x)得到频繁1项集；对每一个约束项t_j中的各个项目的事务二进制TB进行“与”运算；将LD中的每一集合的TB与F中不在t_j内的项目I_x’对应的TB两两“与”运算；设k＝LDF中约束频繁项集的最小长度为min；对LQ中存在的两个满足连接条件的项集的k项集进行两两“与”运算；判断LQ中是否存在满足连接条件的两个k项集，若存在则清空LQ并令k＝k+1，若不存在则输出得到的所有满足约束条件C的频繁项集。该挖掘方法能够有效提高数据挖掘效率，缩短数据挖掘的时间。

Description

一种基于事务二进制的约束频繁项集挖掘方法

技术领域

本发明涉及一种频繁项集挖掘方法，尤其是一种利用事务二进制的约束频繁项挖掘方法。

背景技术

关联规则是数据挖掘中一个很重要的研究方向，利用该技术可从海量的数据中发现项间的关系，找出隐含的、有价值的信息。关联规则的算法主要是基于Apriori、FP-树的改良算法，但它们存在共同的问题，就是在挖掘中没有用户的参与和控制，会产生大量的频繁项集和无价值的关联规则，使挖掘缺乏针对性。如果分析者能根据用户的信息需求，设定分析条件，然后对数据库中的数据进行分析，缩减关联规则的数量，快速挖掘出满足用户需求及有价值的信息，这一类挖掘技术就是基于项约束的关联规则挖掘。

项约束条件C为I上的一个布尔表达式，可表示为析取范式(DNF)形式，即C＝t₁∨t₂∨t₃∨……∨t_m，其中每个t_i形如：t_i＝i_j1∧i_j2∧……∧i_jm，i_jk∈I。

设I＝{i₁,i₂,i₃,…,i_n}是n个不同项目的集合，D为一个给定的事务数据库，其中的每个事务T为一个项的集合，每一个事务都有一个标识符TID，且其中，D由事务标识符TID和项集Items组成。设X为I中某些项目的集合，简称为项集。如果X中含有K个项目，即|X|＝K，则称X为K-项集。

对于一个项集X在D中的支持数是指D中包含X的事务数，记为X.sup-count_D。X在D中的支持度为其支持数与D事务总数(记为|D|)的比值，记为X.sup_D。即： $X.\mathrm{su}{p}_D=\frac{x.\sup -\mathrm{countD}}{\left|D\right|}.$

如果项集X的支持度不小于用户指定的最小支持度阀值min-sup，则称X为D中的频繁项集，项集中项目个数称为项集的维数或长度，频繁1-项集简称为频繁项，最小支持数min-supcount＝min-sup*|D|。

当一个项集X是频繁的，则X中满足约束条件C的每个子集也是频繁的。置信度的计算公式： $\mathrm{confidence}(A\⇒B)=P\left(A\right|B)=\frac{\mathrm{support}\_\mathrm{count}(A\∪B)}{\mathrm{support}\_\mathrm{count}\left(A\right)},$ 其中，support_count(A∪B)是包含项集A∪B的事务数，support_count(A)是包含项集A的事务数。如果 $\mathrm{confidence}(A\⇒B)\≥\min \_\mathrm{conf},$ 则 $A\⇒B$ 是强关联规则。

最早的约束算法是SRIKANT R等人在1997年提出的MultipleJoins、Recorder和Direct算法，后来又有研究者提出了Separate及其改良算法，他们的挖掘思想都是基于Apriori算法的，即以事务Tid为标识符，在水平方向上需反复扫描数据库，不断地由频繁K项集产生K+1候选项集，直到不再产生新的候选项集为止。又有学者提出了基于Elcat思想的约束算法，如Ecat+算法、CMFS算法、VCM算法、ACARMT算法，该类算法中较为优势的是ACARMT算法。

在现有技术中，项约束关联规则数据挖掘一般包括两个部分：

第一部分：找出所有满足约束条件C且支持度大于或等于最小支持度阀值的约束频繁项集；第二部分：由约束频繁项集生成大于或等于置信度阀值的关联规则。

上述的第一部分求约束频繁项集是相当费时的，该部分决定挖掘过程所花费时间的多少，而第二部分是在第一部分的基础上实现的，比较简单，所以项约束的关联规则的数据挖掘性能主要由第一部分决定。

在现有技术中，项约束关联规则挖掘算法较有代表性的Separate算法和ACARMT算法。Separate算法在第一部分生成K项约束候选项集时，需要扫描数据库，对各项集进行计数，所以在整个挖掘过程中，要多次扫描数据库，当数据库比较大时，要花费较长的时间。而ACARMT算法它将原始数据库转变为tid-list列表，通过求“交集”，确定频繁项集，整个过程扫描三次数据库，运行效率优于Separate算法。但求交集时需反复比较事务Tid是否相同，当数据中存在的项目较多时，也要花费较长的时间，这样就限制了数据挖掘的效率。

发明内容

本发明要解决的技术问题是现有的项约束关联规则数据挖掘效率低，耗时较长。

为了解决上述技术问题，本发明提供了一种基于事务二进制的约束频繁项集挖掘方法，包括如下步骤：

步骤1，利用约束条件C对原始事务库D进行过滤，得到过滤事务库D’；

步骤2，为过滤事务数据库D’中的每一个项目建立事务二进制：

TB(I_x)＝{h₁h₂……h_m}，

其中，I_x(x＝1,2,……,n’)为过滤事务数据库D'中的项目，n’为过滤事务数据库D'中包含的项目数，h_i(i＝1……,m)的值为0或1，m为过滤事务数据库D'中的事务数；

步骤3，计算各个项目的事务二进制TB(I_x)中值为1的个数TB(I_x).count，并将TB(I_x).count与最小支持数min_supcount作比较，若TB(I_x).count≥min_supcount，则得到频繁1项集：

F＝{TB(I_x)|I_x∈D’且TB(I_x).count≥min_supcount}；

步骤4，将约束条件C分为各个约束项t_j(j＝1，2，…，n)，n为约束项的个数，对每一个约束项t_j中的各个项目的事务二进制TB进行“与”运算，得到每一个约束项t_j的事务二进制TB(t_j)，若TB(t_j).count≥min_supcount，则将(t_j，TB(t_j))放入频繁约束项集合LD中，若t_j是k项集，则将(t_j，TB(t_j))放入约束频繁k项集L_k中；

步骤5，将LD中的每一集合的事务二进制TB与F中不在t_j内的项目I_x’对应的TB两两“与”运算，即TB(t_j∪{I_x’})＝TB(t_j)&TB(I_x’)，若TB(t_j∪{I_x’}).count≥min_supcount，则将(t_j∪{I_x’}，TB(t_j∪{I_x’}))放入到初始约束频繁项集LDF中，若t_j∪{I_x’}是k项集，则将(t_j∪{I_x’}，TB(t_j∪{I_x’}))放入约束频繁k项集L_k中；

步骤6，设LDF中约束频繁项集的最小长度为min，并令k＝min；

步骤7，令LQ＝L_k，若LQ中存在两个满足连接条件的项集，即两个项集中只有一个项目不同，则将LQ中满足连接条件的k项集p和q进行两两“与”运算，即TB(p∪q)＝TB(p)&TB(q)，若TB(p,q).count≥min_supcount，则将(p∪q,TB(p∪q))放入约束频繁k+1项集L_k+1中；若LQ中不存在满足连接条件的项集或LQ为则进入步骤9；

步骤8，循环对LQ中满足连接条件的两个项集进行“与”运算，直至LQ中不再存在满足连接条件的两个k项集为止，将LQ清空，并令k＝k+1，再回到步骤7；

步骤9，结束程序执行，并输出得到的所有满足约束条件C的频繁项集。

本发明的有益效果在于：本发明根据约束条件C对原始事务D进行过滤得到D’，然后为D’中的每个项目建立事务二进制TB，再通过事务二进制的两两“与”运算计算项目集的计数，最后采用递归方法生成k项约束频繁集，该挖掘方法通过mushroom、chess数据集上进行了实验分析表明，在数据规模和项目数量不是非常大时，该方法能够快速地生成所有的约束频繁项集，与现有技术相比，本发明的数据挖掘方法在时间的花费上比ACARMT算法减少了十到几十倍甚至百倍。

附图说明

图1为本发明的方法流程图；基于事务二进制的约束频繁项集挖掘的流程示意图；

图2为本发明的D'中各个项目的事务二进制TB(I_x)图；

图3为本发明的方法与ACARMT算法在数据集mushroom上随最小支持度变化进行数据挖掘的时间性能对比；

图4为本发明的方法与ACARMT算法在数据集chess上随最小支持度变化进行数据挖掘的时间性能对比；

图5为本发明的方法与ACARMT算法在数据集mushroom上随约束长度变化进行数据挖掘的时间性能对比；

图6为本发明的方法与ACARMT算法在数据集chess上随约束长度变化进行数据挖掘的时间性能对比。

具体实施方式

如图1所示，本发明提供的一种基于事务二进制的约束频繁项集挖掘方法，具体包括如下步骤：

步骤1，利用约束条件C对原始事务库D进行过滤，得到过滤事务库D’；本发明的实施例中假设原始事务库D中共有10条事务T1～T10，项目集为{a，b，c，d，e，f，g}，设定约束条件为C＝(a∧b)∨(c∧d∧e)，最小支持数min_supcount为2；

表1事务数据库D过滤前后对照

如表1所示，利用约束条件C对事务数据库D进行过滤后，删除了T3、T6、T8以及T10事务，得到过滤事务数据库D’，过滤事务数据库D’中有6个事务；

步骤2，为过滤事务数据库D’中的每一个项目建立事务二进制：

TB(I_x)＝{h₁h₂……h_m}，

其中，I_x(x＝1,2,……,n’)为过滤事务数据库D'中的项目，n’为过滤事务数据库D'中包含的项目数，h_i(i＝1……,m)的值为0或1，m为过滤事务数据库D'中的事务数，本发明的实施例中n’为6，m为6，过滤事务数据库D’对应的事物二进制如图2；

步骤3，分别计算各个项目的事务二进制TB(I_x)中值为1的个数TB(I_x).count，并将TB(I_x).count与最小支持数min_supcount作比较，若TB(I_x).count≥min_supcount，则得到频繁1项集：

F＝{TB(I_x)|I_x∈D’且TB(I_x).count≥min_supcount}；

由于TB(a).count＝5，大于最小支持数2，故a为频繁1项集，如图2所示，同样的方法求出：TB(b).count＝5，TB(c).count＝4，TB(d).count＝4，TB(e).count＝4，TB(f).count＝3，均是大于最小支持数2的，于是得到频繁1项集F＝{a,b,c,d,e,f}；

步骤4，将约束条件C分为各个约束项t_j(j＝1，2，…，n)，n为约束项的个数，对每一个约束项t_j中的各个项目的事务二进制TB进行“与”运算，得到每一个约束项t_j的事务二进制TB(t_j)，若TB(t_j).count≥min_supcount，则将(t_j，TB(t_j))放入频繁约束项集合LD中，若t_j是k项集，则将(t_j，TB(t_j))放入约束频繁k项集L_k中；本发明实施例中的约束条件C中有两个约束项，分别为t₁＝(a∧b)和t₂＝(c∧d∧e)，则TB(t₁)＝TB(a)&TB(b)＝110011，TB(t₁).count为4，故t₁为频繁的，同理t₂也是频繁的，且t₁是2项集，t₂是3项集，此时频繁2项集L₂＝{({a,b}，TB(ab))}，频繁3项集L₃＝{({c,d,e}，TB(cde))}，LD＝{({a,b}，TB(ab))、({c,d,e}，TB(cde))}；

步骤5，将LD中的每一集合的事务二进制TB与F中不在t_j内的项目I_x’对应的TB两两“与”运算，即TB(t_j∪{I_x’})＝TB(t_j)&TB(I_x’)，若TB(t_j∪{I_x}).count≥min_supcount，则将(t_j∪{I_x’}，TB(t_j∪{I_x’}))放入到初始约束频繁项集LDF中，若t_j∪{I_x’}是k项集，则将(t_j∪{I_x’}，TB(t_j∪{I_x’}))放入约束频繁k项集L_k中；本发明的实施例中，t₁对应的I_x’为c、d、e和f，t₂对应的I_x’为a、b和f，将LD中的每一集合的事务二进制TB与F中不在t_j内的项目I_x’对应的TB两两“与”运算得到TB(abc)、TB(abd)、TB(abe)、TB(abf)、TB(acde)、TB(bcde)和TB(cdef)，其中{a，b，c}、{a，b，d}、{a，b，e}和{a，b，f}是频繁的，则LDF＝{({a，b，c}，TB(abc))、({a，b，d}，TB(abd))、({a，b，e}，TB(abe))、({a，b，f}，TB(abf))}；此时，频繁3项集L₃＝{({a，b，c}，TB(abc))、({a，b，d}，TB(abd))、({a，b，e}，TB(abe))、({a，b，f}，TB(abf))、({c,d,e}，TB(cde))}；

步骤6，设LDF中约束频繁项集的最小长度为min，并令k＝min，本实施例中最小长度为3，令k＝3；

步骤7，令LQ＝L_k，若LQ中存在两个满足连接条件的项集，即两个项集中只有一个项目不同，则将LQ中满足连接条件的k项集p和q进行两两“与”运算，即TB(p∪q)＝TB(p)&TB(q)，若TB(p,q).count≥min_supcount，则将(p∪q,TB(p∪q))放入约束频繁k+1项集L_k+1中；若LQ中不存在满足连接条件的项集或LQ为则进入步骤9；当LQ＝L₃时，LQ中可符合连接条件的项集两两“与”运算，得到TB(abcd)、TB(abce)、TB(abcf)、TB(abde)、TB(abdf)和TB(abef)，其中{a,b,c,d}、{a,b,d,e}和{a,b,d,f}是属于频繁4项集中的；即L₄＝{({a,b,c,d}，TB(abcd))、({a,b,d,e}，TB(abde))、({a,b,d,f}，TB(abdf))}；此时，LQ中不再存在满足连接条件的两个3项集，将LQ清空；

步骤8，再令LQ＝L₄，按照同样的方法，将LQ中满足连接条件的项集两两“与”运算，得到

步骤9，结束程序执行，并将所有频繁k项集全部输出，得到的所有满足约束条件C的频繁项集为：{{a,b}，{a，b，c}，{a，b，d}，{a，b，e}，{a，b，f}，{c,d,e}，{a,b,c,d}，{a,b,d,e}，{a,b,d,f}}。

如图3-6所示，为了验证发明算法的有效性，对数据集mushroom和chess进行了实验分析，经过处理之后，mushroom有8124个事务，包括23个项目，chess中有3196个事务数，包括74个项目，而应用本发明的方法和ACARMT算法对这两个数据集进行挖掘，其时间性能对比可以看出采用本发明的方法有明显提高。

Claims (1)

1.一种基于事务二进制的约束频繁项集挖掘方法，其特征在于，包括如下步骤：

步骤1，利用约束条件C对原始事务库D进行过滤，得到过滤事务库D’；

步骤2，为过滤事务数据库D’中的每一个项目建立事务二进制：

TB(I_x)＝{h₁h₂……h_m}，

其中，I_x(x＝1,2,……,n’)为过滤事务数据库D'中的项目，n’为过滤事务数据库D'中包含的项目数，h_i(i＝1……,m)的值为0或1，m为过滤事务数据库D'中的事务数；

步骤3，计算各个项目的事务二进制TB(I_x)中值为1的个数TB(I_x).count，并将TB(I_x).count与最小支持数min_supcount作比较，若TB(I_x).count≥min_supcount，则得到频繁1项集：

F＝{TB(I_x)|I_x∈D’且TB(I_x).count≥min_supcount}；

步骤4，将约束条件C分为各个约束项t_j(j＝1，2，…，n)，n为约束项的个数，对每一个约束项t_j中的各个项目的事务二进制TB进行“与”运算，得到每一个约束项t_j的事务二进制TB(t_j)，若TB(t_j).count≥min_supcount，则将(t_j，TB(t_j))放入频繁约束项集合LD中，若t_j是k项集，则将(t_j，TB(t_j))放入约束频繁k项集L_k中；

步骤5，将LD中的每一集合的事务二进制TB与F中不在t_j内的项目I_x’对应的TB两两“与”运算，即TB(t_j∪{I_x’})＝TB(t_j)&TB(I_x’)，若TB(t_j∪{I_x’}).count≥min_supcount，则将(t_j∪{I_x’}，TB(t_j∪{I_x’}))放入到初始约束频繁项集LDF中，若t_j∪{I_x’}是k项集，则将(t_j∪{I_x’}，TB(t_j∪{I_x’}))放入约束频繁k项集L_k中；

步骤6，设LDF中约束频繁项集的最小长度为min，并令k＝min；

步骤7，令LQ＝L_k，若LQ中存在两个满足连接条件的项集，即两个项集中只有一个项目不同，则将LQ中满足连接条件的k项集p和q进行两两“与”运算，即TB(p∪q)＝TB(p)&TB(q)，若TB(p,q).count≥min_supcount，则将(p∪q,TB(p∪q))放入约束频繁k+1项集L_k+1中；若LQ中不存在满足连接条件的项集或LQ为则进入步骤9；

步骤8，循环对LQ中满足连接条件的两个项集进行“与”运算，直至LQ中不再存在满足连接条件的两个k项集为止，将LQ清空，并令k＝k+1，再回到步骤7；

步骤9，结束程序执行，并输出得到的所有满足约束条件C的频繁项集。