CN103927373A - 基于增量式关联规则技术的动态大数据模型高效建立方法 - Google Patents

Abstract

本发明公开了一种基于增量式关联规则技术的动态大数据模型高效建立方法，包括以下步骤：步骤1：利用关联规则挖掘算法为初始事务数据库创建初始增量式头表结构；步骤2：将增量式头表结构转化为基于内存的树形结构，并以XML文档形式保存在硬盘中；步骤3：扫描数据库的新增内容，建立新增数据库的增量式头表并转化为相应的XML文档，将历史XML文档与新增数据库的XML文档合并构建更新后事务数据库的XML文档，然后即可利用更新的XML文档来挖掘频繁模式。

Description

基于增量式关联规则技术的动态大数据模型高效建立方法

技术领域

本发明涉及计算机数据挖掘领域，特别是一种适用于动态数据处理的基于增量式关联规则技术的动态大数据模型高效建立方法。

背景技术

近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。数据挖掘能从大量的、不完全随机的数据中提取隐含在其中的人们事先不知道的潜在有用信息。数据挖掘主要从数据泛化的角度进行数据总结。获取的信息和知识可以广泛用于各种应用，包括商务管理、生产控制、市场分析、工程设计和科学探索等。

Internet的迅猛发展将人类带入了信息社会和网络经济时代，对企业发展和个人生活都产生了深刻的影响。云计算、物联网等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来。数据从简单的处理对象开始转变为一种基础性资源，如何更好的管理和利用大数据已经成为普遍关注的话题。面对庞大的数据库，每次扫描挖掘都要耗费很长时间，特别是当大数据时代来临，扫描代价过高，让人无法容忍。另一方面事务数据库一直在更新变化产生很多新的数据，如何在变化更新的数据库上进行数据的高效挖掘也成为如今数据挖掘领域的研究热点，因此需要高效的算法来挖掘数据关联规则对数据进行有效的更新，维护和管理。

在数据挖掘处理理论和技术方面，工业界和学术界从不同的角度对服务推荐系统进行了大量研究。例如IBM、Oracle和Microsoft等公司从90年代初就成立了从事数据挖掘和知识发现方面的研究机构，并获得了大量的研究成果。事务数据库关联规则挖掘算法大致可分为两类：采用广度遍历解空间的方法和采用深度遍历的方法。最典型的利用广度遍历的方法是R.Agrawal等在“Fast algorithms for mining associationrules”中提出的Apriori算法(Proc.20th Int.Conf.Very Large Data Bases,VLDB.1215:487-499,1994)。Apriori算法是最有影响的挖掘布尔关联规则频繁项集的算法，其核心思想是利用候选集找到频繁项集。J.Han等在“Mining frequent patterns without candidategeneration”中提出的FP_growth算法是采用深度遍历的单层关联规则挖掘算法(ACMSIGMOD Record.29(2):1-12,2000)。S.Rao等人在“Implementing Improved AlgorithmOver APRIORI Data Mining Association Rule Algorithm1”中将Apriori算法的基础上进行了改进，将Apriori算法与FP_growth算法结合起来，在数据库更新时利用FP_growth算法挖掘新增数据库，从而避免反复扫描数据库，降低了扫描代价(International Journalof Computer Science and Technology.3(1),2012)。随着大数据时代的到来，事务数据库越来越庞大，数据库也在不断变化更新，而数据库的更新意味着有新的事务添加到数据库中，在支持度和置信度阈值不变的条件下，关联规则更新问题则可以简化为寻找新的频繁项目集，为了减少处理数据时所需的代价，因此需要更高效的数据挖掘模型来进行数据处理。

发明内容

本发明旨在克服现有技术中存在的不足，提供一种基于增量式关联规则技术的动态大数据模型高效建立方法，利用增量式挖掘方法有效处理大规模数据库的更新，减少计算资源浪费。

本发明公开了一种基于增量式关联规则技术的动态大数据模型高效建立方法，包括以下步骤：

步骤1：利用关联规则挖掘算法—Apriori算法为初始事务数据库TDB创建初始增量式头表结构XH-struct。

扫描事务数据库两次即可建立增量式的头表结构XH-struct，当频繁项读入内存时，有相同首相的将通过指针域链接成一个队列，XH中的指针域指向队列的队首。在XH-struct中，项目集按照字典顺序进项排序，增量式头表结构XH-struct的头表记为XH，XH中的每一项都含有三个属性：{ID,Sup,Poi}，ID是项目编号，Sup是项目的支持度，Poi是指针域，XH中包含了所有的项，即频繁项和不频繁项，因为当数据库更新时，有新增数据库，原来的不频繁项可能变为频繁项，所以在我们的方法中将其保留在头表中。

步骤2：将增量式头表转化为基于内存的树形结构HT，再将其转化为XML文档形式，因此可将头表结构从内存转移到硬盘中。

头表XH与相应的XML文档是等价的，对它们的操作也是等价的。原有头表XH中的每一项都作为树形结构HT根节点root的子节点记为项目节点item，每个子节点有两个属性：{Na,Sup},Na是项目名，Sup是项目的支持度。每个子节点有若干个孩子节点具体的事务记为事务节点trans，事务节点的父亲节点就是它们在增量式头表结构中的首相。事务节点利用属性TID来标记是数据库中的哪个事务，最后事务节点的孩子节点即叶子节点保存了数据库中的所有事务。头表XH的前两个属性项目名Na和支持度Sup依然以属性的形式保存在XML文档中，XH中的队列首指针在XML文档中转化为了项目节点的第一个子节点。

XML文档类型定义(DTD)如下：

<！ELEMENT root(item+)>

<！ELEMENT item(trans+)>

<！ELEMENT trans(#PCDATA)>

<！ATTRILIST item Na CDATA#REQUIRED>

<！ATTRILIST item Sup CDATA#REQUIRED>

<！ATTRILIST trans id TID#REQUIRED>

步骤3：当数据库更新时，只需对新增数据库△TDB进行扫描计算，建立新增数据库的增量式头表并转化为相应的XML文档，将历史XML文档与新增数据库的XML文档合并构建更新后事务数据库的XML文档；

对新增数据库△TDB进行扫描计算，找到新增频繁集，建立△TDB的相应XML文档，然后将历史XML文档与△TDB的XML合并构建更新后事务数据库(TDB+△TDB)的XML文档，然后即可利用更新的XML文档来挖掘频繁模式。

本发明利用关联规则挖掘算法—Apriori算法为事务数据库建立增量式头表结构，将头表转化为基于内存的树形结构，再将其转化为XML文档形式保存于硬盘中，在事务数据库更新时只需对新增数据库进行扫描，建立新增数据库的增量式头表并转化为相应的XML文档，构建更新后数据库的相应XML文档，然后即可利用更新的XML文档来挖掘频繁模式。

与现有技术相比，本发明的效果体现在：

1)在一般的关联规则挖掘算法中，头表是保存在内存的，当数据库发生变化时，原有的头表就无法使用了，通过将增量式头表结构转化为XML文档保存于硬盘，即可重复利用。

2)在大数据时代，数据库庞大且不断更新，扫描代价过大，利用本文提出的方法只需对新增数据进行扫描，降低了扫描代价，提高了效率。

附图说明

图1本发明流程图。

图2为本发明实施例1中的初始数据库的增量式头表结构图。

图3为本发明实施例1中的树形结构图。

图4为本发明实施例1中的新增数据库的增量式头表结构图。

具体实施方式：

本发明提出了一种基于增量式关联规则技术的动态大数据模型高效建立方法，包括以下步骤：步骤1：利用关联规则挖掘算法—Apriori算法为初始事务数据库TDB创建初始增量式头表结构；步骤2：将增量式头表转化为基于内存的树形结构，再将其转化为XML文档形式，因此可将头表结构从内存转移到硬盘中；步骤3：当数据库更新时，只需对新增数据库进行扫描计算，建立新增数据库的增量式头表并转化为相应的XML文档，然后将历史XML文档与新增数据库的XML合并构建更新后事务数据库的XML文档，然后即可利用更新的XML文档来挖掘频繁模式。

本发明首先利用关联规则挖掘算法—Apriori算法为初始事务数据库TDB创建初始增量式头表结构。扫描事务数据库两次即可建立增量式的头表结构XH-struct，当频繁项读入内存时，有相同首相的将通过指针域链接成一个队列，XH中的指针域指向队列的队首。在XH-struct中，项目集按照字典顺序进项排序，增量式头表结构XH-struct的头表记为XH，XH中包含了所有的项，即频繁项和不频繁项，因为当数据库更新时，有新增数据库，原来的不频繁项可能变为频繁项，所以在我们的方法中将其保留在头表中。

将增量式头表转化为基于内存的树形结构HT，再将其转化为XML文档形式，因此可将头表结构从内存转移到硬盘中。头表XH与相应的XML文档是等价的，对它们的操作也是等价的。原有头表XH中的每一项都作为树形结构HT根节点root的子节点记为项目节点item，每个子节点有若干个孩子节点具体的事务记为事务节点trans，事务节点的父亲节点就是它们在增量式头表结构中的首相。事务节点利用属性TID来标记是数据库中的哪个事务，最后事务节点的孩子节点即叶子节点保存了数据库中的所有事务。头表XH的前两个属性项目名Na和支持度Sup依然以属性的形式保存在XML文档中，XH中的队列首指针在XML文档中转化为了项目节点的第一个子节点。

当数据库更新时，只需对新增数据库△TDB进行扫描计算，找到新增频繁集，建立△TDB的相应XML文档，然后将历史XML文档与△TDB的XML合并构建更新后事务数据库(TDB+△TDB)的XML文档，然后即可利用更新的XML文档来挖掘频繁模式。

实施例1

本实施例以一个事务数据库的频繁集挖掘为例，表1给出了事务数据库，先根据Apriori算法的性质，为初始事务数据库创建增量式头表XH，如图2所示。

表1.事务数据库

事务编号TID	项目	项目集
			1100	b,d,e,f,g,i	b,d,e,g
1200	a,b,d,e,m	a,b,d,e
			1300	a,c,d,e,g,k	a,d,e,g
1400	a,b,d,h	a,b,d

然后将增量式头表转化为基于内存的树形结构如图3所示，再将其转化为XML文档形式如表2所示，因此可将头表结构从内存转移到硬盘中，最小支持度min_sup＝2,此时项目的支持度为{a:3,b:3,c:1,d:4,e:3,f:1,g:2,h:1,i:1,k:1,m:1}，a,b,d,e的支持度大于2，则{a:3,b:3,d:4,e:3}是数据库的频繁项目。

表2.与头表XH对应的XML文档

当数据库更新时，只需对新增数据库△TDB进行扫描计算，新增事务数据库如表3所示，建立新增数据库对应的头表△XH如图4所示，构建与△TDB对应的XML文档如表4所示，此时新增数据库的项目支持度为{a:2,b:2,c:1,d:3,e:2,f:0,g:0,h:0,i:1,k:2,m:2}，将历史XML文档与新增数据库的XML文档合并构建更新后事务数据库的XML文档如表5所示，更新后事务数据库的项目支持度为{a:5,b:5,c:2,d:7,e:5,f:1,g:2,h:1,i:2,k:3,m:3}，然后即可利用更新的XML文档来挖掘频繁模式,最小支持度依然为2，则更新后事务数据库的频繁项目为{a:5,b:5,d:7,e:5,k:3,m:3}。

表3.新增事务数据库△TDB

事务编号TID	项目	项目集
			1500	a,c,d,e,i	a,d,e
1600	b,d,e,m	b,d,e,m
			1700	a,b,k,m	a,b,k,m
1800	d,e,k	d,e,k

表4.与新增头表△XH对应的XML文档

表5.更新后事务数据库对应的XML文档

实施例2

本实施例以飞行品质监控(FOQA)为例，飞行品质监控是利用记载设备采集和记录的飞行数据对机组操纵、发动机等进行事件探测和趋势分析。本实施例选择了1500000条飞行记录数据，每条记录有10个属性。假设每组数据更新10次，最小支持度为0.1，将本发明基于增量式关联规则技术的动态大数据模型快速建立方法与传统的非增量式的关联规则挖掘方法处理事务数据库更新的时间进行比较，实验结果如表6所示，由实验结果可以看出，数据集越大，本发明的方法效率越高。

表6.实验结果对比

本发明提供了一种基于增量式关联规则技术的动态大数据模型高效建立方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种基于增量式关联规则技术的动态大数据模型高效建立方法，其特征在于：包括以下步骤：

步骤1：利用关联规则挖掘算法为初始事务数据库TDB创建初始增量式头表结构XH-struct；

步骤2：将增量式头表转化为基于内存的树形结构HT，并以XML文档形式保存在硬盘中；

步骤3：扫描数据库的新增数据△TDB，建立新增数据库的增量式头表并转化为相应的XML文档，将历史XML文档与新增数据库的XML文档合并构建更新后事务数据库的XML文档，然后即可利用更新的XML文档来挖掘频繁模式。

2.根据权利要求1所述的基于增量式关联规则技术的动态大数据模型高效建立方法，其特征在于，步骤1中，设I＝{i₁,i₂,…i_m}是由m个不同项目组成的集合，事务数据库TDB中的每个事务T是I中一组项目的集合，则每个事务都有唯一的标识符TID。

3.根据权利要求2所述的基于增量式关联规则技术的动态大数据模型高效建立方法，其特征在于，步骤1中，利用关联规则在事务数据库中找出满足用户给定的最小支持度min_sup和最小置信度min_cof的强关联规则，项目集U在事务数据库中出现的频率是包含项目集U的事务数，记为项目集频率F(U)，即为项目集的支持度，如果F(U)＞min_sup，则U为频繁项集，若F(U)≤min_sup，则U为不频繁项集。

4.根据权利要求3所述的基于增量式关联规则技术的动态大数据模型高效建立方法，其特征在于，步骤1中，利用关联规则挖掘算法为初始事务数据库创建初始增量式头表结构XH-struct，增量式头表结构XH-struct的头表记为XH，频繁项和不频繁项都包含在头表XH中，XH中的每一项都包含三个属性：{ID,Sup,Poi}，ID是项目编号，Sup是项目的支持度，Poi是指针域。

5.根据权利要求4所述的基于增量式关联规则技术的动态大数据模型高效建立方法，其特征在于，步骤2中，将增量式头表转化为基于内存的树形结构HT，并以XML文档形式保存在硬盘中，原有头表XH中的每一项都作为树形结构HT根节点root的子节点item，每个子节点有两个属性：{Na,Sup},Na是项目名，Sup是项目的支持度，每个子节点有若干个孩子节点具体的事务记为事务节点trans，事务节点用属性标识符TID来标记数据库中的一条事务。

6.根据权利要求5所述的基于增量式关联规则技术的动态大数据模型高效建立方法，其特征在于，步骤3中，当数据库更新时，只对新增数据库△TDB进行扫描计算，建立新增数据库的增量式头表并转化为相应的XML文档，将历史XML文档与新增数据库的XML文档合并构建更新后事务数据库的XML文档，然后利用更新的XML文档来挖掘频繁模式。