CN104834734A - 一种高效数据分析处理方法 - Google Patents
一种高效数据分析处理方法 Download PDFInfo
- Publication number
- CN104834734A CN104834734A CN201510254528.6A CN201510254528A CN104834734A CN 104834734 A CN104834734 A CN 104834734A CN 201510254528 A CN201510254528 A CN 201510254528A CN 104834734 A CN104834734 A CN 104834734A
- Authority
- CN
- China
- Prior art keywords
- tdb
- data
- item sets
- key
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种高效数据分析处理方法,该方法包括:当数据集发生更新时,若数据量大于预定义阈值,则云计算平台采用MapReduce模型,将关联规则的更新在多个分布式节点中并行化处理,即执行基于云计算的关联规则更新,否则在单节点中执行关联规则的更新。本发明的方法在基于云计算的数据分析处理中,能够提高数据分析处理的执行效率,特别是在大数据集的情况下效果尤为明显。
Description
技术领域
本发明涉及大数据处理,特别涉及一种高效数据分析处理方法。
背景技术
云计算借助互联网平台,提供廉价的分布式动态可扩展的计算能力。云计算可以使实现物物相连、网网相通的理想效果。多种信息传感设备在中相互通信,产生的数据是海量的。因此如何生成的海量大数据中快速有效地提取出有用的信息是至关重要的。传统的数据处理方法存在的缺点就是在执行过程中要多次扫描整个数据库,产生庞大的候选集,造成时间和空间的浪费。
发明内容
为解决上述现有技术所存在的问题,本发明提出了一种高效数据分析处理方法,包括:
当数据集发生更新时,若数据量大于预定义阈值,则云计算平台采用MapReduce模型,将关联规则的更新在多个分布式节点中并行化处理,即执行基于云计算的关联规则更新,否则在单节点中执行关联规则的更新。
优选地,其中在基于Hadoop的平台中执行MapReduce操作包括如下步骤:
MapReduce库将输入的大数据文件分成若干独立的数据,并在不同的机器上进行程序数据的备份;主程序节点分配子事务,并将子事务递交给空闲的工作机节点中;被分配的子事务的工作节点读取输入的的文件,从中解析出key/value键值对,并调用用户编写的Map函数处理键值对,并生成中间键值对;分区函数将这些中间数据分成若干区,将各个区在磁盘中位置信息发送给主程序,然后转发给Reduce子事务节点;Reduce子事务节点获取由主程序转发的子事务后,根据位置信息调用磁盘上中间数据,并对这些中间按key值进行排序,相同key值进行合并操作;Reduce子事务节点遍历排序后的中间数据,并将数据传递给用户定义的Reduce函数,将其执行结果输出到最终的输出文件中;当所有Reduce子事务完成后,主程序节点将所有数据返回给用户程序,用户程序合并数据并输出最终数据。
优选地,所述单节点执行的关联规则更新进一步包括:
(1)获取原数据库TDB,项目集Lk,新增数据库tdb,最小支持数s,对所有的X∈Lk,扫描新增数据集tdb,得到X在TDB∪tdb中的支持数s(TDB∪tdb),若s(TDB∪tdb)<s×(TDB+tdb),则将X从Lk中进行删除;
(2)在tdb中查找所有的候选k项目集Ck,对所有的X∈Ck,扫描tdb并计算每个候选项目集的支持数,若支持数小于s×tdb,则将X从Ck中去除,得到一个精简的候选项目集的集合C′k;
(3)扫描原始数据库TDB,更新Ck中所有候选项目集的支持数,并发现TDB∪tdb中新的项目集,新的项目集与上述更新后的Lk共同组成新数据库中的项目集Lk *。
优选地,所述基于云计算的关联规则更新进一步包括:
首先由主程序对新增数据库tdb进行项目集的分析处理,得到tdb中所有的项目集L(tdb),将原有的项目集L(TDB)与L(tdb)进行对比,查找其公共部分并放入最终的项目集L*中,剩余的项目集L(TDB)与L(tdb)记为CR;然后进行Map操作和Reduce操作,其中:
Map操作包括并行扫描原始数据库与新增数据库,根据原有的项目集与CR,对数据进行格式化操作形成键值对<Tnum,Lk>,并将所有键值对作为中间数据传递给Reduce操作;
Reduce操作:扫描中间结果集,将中间键值对进行升序排序,依次扫描数据库并判断是否满足条件X∈Lk,若条件成立则删除该键值对,否则遍历tdb,计算候选项目集在tdb中的支持数,如果满足条件s(TDB∪tdb)<s×(TDB+tdb),则删除该项目集;
最后对TDB+tdb进行遍历,计算各个项目集的支持数,再判断支持数是否高于用户预设支持数阈值,新数据库中k项目集由原Lk中剩下的项目集和新产生的项目集共同组成。
本发明相比现有技术,具有以下优点:
本发明的方法在基于云计算的数据分析处理中,能够提高数据分析处理的执行效率,特别是在大数据集的情况下效果尤为明显。
附图说明
图1是根据本发明实施例的高效数据分析处理方法的流程图。
具体实施方式
下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明,但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定,并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节,并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
本发明的一方面提供了一种高效数据分析处理方法。图1是根据本发明实施例的高效数据分析处理方法流程图。基于云计算的数据分析处理系统由数据存储模块、数据分析模块和事务处理模块构成,本发明使用Hadoop平台作为计算环境,开发工具使用的是Hadoop自带的MapReduce插件。MapReduce是一种可以对大数据进行并行计算处理的分布式编程模型。对数据的操作主要分为两步:Map和Reduce,Map操作是对输入的形如(key,value)的键值对进行指定的操作,生成一组中间键值对。Reduce操作就是对Map操作输出的中间键值对进行规约合并。
本发明在云计算平台上对传统关联规则生成方法进行改进,首先通过迭代,查查找数据库中所有支持数不低于用户所设定阈值的项目集,然后利用检索得到的项目集来构造可以满足最小置信度的规则。做相应改进之后的关联规则生成方法要生成所有的项目集,只要对事务数据库进行一遍扫描就可以完成。利用云计算的分布式并行计算的属性,对改进的关联规则生成方法进行MapReduce处理,移植到云计算平台,使其能够应用于基于云计算的数据分析处理。
本发明优选的关联规则生成过程包括:
(1)为了获得较好的负载均衡,以16Mb大小的数据集为一个单位进行分配,将事务数据库D水平均匀地划分成n个子集,将其发送到m个工作节点。
(2)候选项目集X的支持数的累计值记为cs(X),设定每个cs(X)的初始值均为1,每个工作节点扫描各自分配到的子集,产生一个包含候选1项目集一直到候选K项目集的集合,记作CP。
(3)定义一个分区函数,将m个工作节点生成的候选1项目集一直到候选K项目集分成r个不同的分区,连同各自cs发送到r个节点。各节点把同一项目集的cs累加,得到各项目集的最终cs,将其与预先设定的最小支持数的累计值Smin进行比较,删除支持数小于Smin的项目集,确定一个局部的项目集集合LP。
(4)合并所有节点的结果,就生成全局的项目集集合L。
(5)根据设定的最小置信度cm遍历项目集,得到强关联规则,过程结束。
依据以上思路改进的关联规则生成方法只需要扫描一遍事务数据库就能找到所有的项目集。
本发明的数据由数据存储模块存储并转换为数据库文件,保存到HDFS中;数据分析模块利用云计算平台的分布式并行计算的属性将改进的关联规则生成方法交由MapReduce处理,运用于云计算平台,由主程序负责事务的创建、管理控制,按照用户的请求将算法传输到相应的节点进行计算;事务处理模块由主程序负责所有数据分析处理事务的调度,并将最终结果返回给用户。MapReduce编程模型只提供相关接口给上层模块而将底层繁琐的实现细节进行屏蔽,减小了编程难度。
上述改进的关联规则生成方法可以用MapReduce编程模型来实现,具体的操作过程如下:
(1)MapReduce将事务数据库D水平地划分成n块,通过参数确定每块的大小,本发明中设定每块的大小为16Mb。把n个数据子集发送到m个执行Map事务的节点。由主程序负责调度,将处理事务分配给处于空闲列表中的工作机。
(2)格式化n个数据子集,产生ID,Value对,其中ID表示D中的事务ID,Value为相应事务ID对应的列表值。
(3)Map函数对输入的每个ID,Value进行扫描,生成一个局部候选1项目集到候选k项目集的集合CP。每个候选项目集的cs初始值都设定为1。Map函数输出中间结果Itemset,1键值对,其中Itemset表示CP中的候选项目集。
(4)首先在每个执行Map函数的工作机上增加一个可选的分区函数,将Map函数产生的中间结果进行合并,输出中间键值对Itemset,s,s表示Itemset在数据子集中的cs的累加值,然后利用散列函数:
其中m1,m2,m3,…,mk为K项目集中的项在D的项目集中对应的序号,按升序排列,r为划分的不同分区的数目),将分区函数产生的Itemset,s分成r个分区,主程序负责将各分区分配到对应的Reduce函数。
(5)Reduce节点读取分区函数提交的键值对Itemset,s,对其进行排序及合并后,形成Itemset,list(s),再进行相应Reduce操作,得到各候选项目集在D中的实际支持数累计值,保留所有大于等于最小支持数累计值Smin的候选项目集,即是局部项目集的集合LP。合并r个分区中Reduce函数输出的项目集,得到最终的项目集的集合L。
(6)当完成全部的Map操作和Reduce操作后,用户程序被主程序所激活,MapReduce返回到相应的调用点。
将改进的关联规则生成方法用MapReduce编程模型来实现,只需要对事务数据库扫描一次,就可以得到完整的项目集L,加快了并行处理的速度,大大提高了执行效率。
根据本发明的另一方面,提供了一种大数据的关联规则的分析方法。分析处理关联规则的核心是通过统计数据项获得项目集,但是随着大数据的数量不断增长,数据量级别已经到达TB级甚至PB级,传统的单节点串行算法已经无法满足数据量急剧增长的需要,与此同时,随着数据集的动态增长,隐藏的关联规则也会随之发生变化。
本发明将改进串行方式关联规则分析处理效率较低、大数据更新分析处理等问题,提出一种基于云计算的关联规则更新算法,提出一种单节点环境下的关联规则更新方法,可以有效地解决规模较小的关联规则增量分析处理问题。(2)采用MapReduce函数对的设计方法,将关联规则更新方法并行化,提出基于云计算的关联规则更新算法。提出一种关联规则更新的云计算框架,并且可以扩展到其它数据类型的分析处理应用中。
云计算技术与大数据处理紧密相关,利用云计算来解决大规模树数据分析处理是一个具有发展潜力的方向。在存储能力方面,云计算平台提供的树数据存储与维护能力是传统数据库无法比拟的,海量树数据容量可能达几百GB甚至TB级别,如果用传统数据库进行存储维护成本会较大,而云计算平台则提供了分布式的存储模式,可以将大量普通计算机的存储能力和计算能力汇聚在一起,为大数据提供足够空间,同时云计算环境还提供了数据备份、并发控制、一致性维护和可靠性等策略,可以为大数据提供可靠保障。在处理能力方面,云计算平台提供了分布式处理能力,利用该特点,可以对数据分析处理过程进行并行处理,可以显著提高大数据分析处理的能力。
在灵活性与可伸缩性方面,云计算平台具备良好的灵活性与可伸缩性,非常适合对数据量弹性变化较大的海量树数据进行处理。云计算平台提供了向现有云中扩充节点的功能,以提高计算资源与存储容量。
MapReduce模型主要包括Hadoop与HOP系统,本发明将利用MapReduce模型来处理海量数据。在Hadoop平台中执行MapReduce操作的各阶段的工作流程如下:
(1)输入文件:MapReduce库将输入的大数据文件分成若干独立的数据,并在不同的机器上进行程序数据的备份。
(2)分配事务:MapReduce中主程序节点分配子事务,并将子事务递交给空闲的工作机节点中。
(3)生成键值对:被分配的子事务的工作节点读取输入的的文件,从中解析出key/value键值对,并调用用户编写的Map函数处理键值对,并生成中间键值对。
(4)发送消息:分区函数将这些中间数据分成若干区,将各个区在磁盘中位置信息发送给主程序,然后转发给Reduce子事务节点。
(5)调用中间数据:Reduce子事务节点获取由主程序转发的子事务后,根据位置信息调用磁盘上中间数据,并对这些中间按key值进行排序,相同key值进行合并操作。
(6)执行Reduce函数:Reduce子事务节点遍历排序后的中间数据,并将数据传递给用户定义的Reduce函数。其执行结果将被输出到最终的输出文件中。
(7)输出结果:等所有Reduce子事务完成后,主程序节点将所有数据返回给用户程序,用户程序合并数据并输出最终数据。
基于Hadoop平台的MapReduce算法工作流程简单,在设计时只需考虑事务的分配策略与MapReduce函数对的设计,而对于其它并行计算中的复杂问题,如工作调度、容错处理、分布式存储、网络通信等则交给Hadoop平台进行处理。因此,本发明将基于Hadoop平台设计出一种关联规则更新算法以改善大数据的更新分析处理效率。
为提高算法的执行效率,利用项目集的所有非空子集也是的这一性质,可以对候选k项目集进行剪枝操作,以提高算法运行效率。然而当数据集发生更新时,传统的关联规则生成方法已经满足新的需求,只能重新扫描数据库分析处理项目集,这样会极大地增加分析处理时间与消耗系统资源。因此本发明首先提出在单计算节点下的关联规则更新方法,算法描述如下:
(1)获取原数据库TDB,项目集Lk,新增数据库tdb,最小支持数s,对所有的X∈Lk,扫描新增数据集tdb,得到X在TDB∪tdb中的支持数s(TDB∪tdb),若s(TDB∪tdb)<s×(TDB+tdb),则将X从Lk中进行删除。
(2)在tdb中查找所有的候选k项目集Ck,对所有的X∈Ck,扫描tdb并计算每个候选项目集的支持数,若支持数小于s×tdb,则将X从Ck中去除,以此得到一个更加精简的候选项目集的集合C′k。
(3)扫描原始数据库TDB,更新Ck中所有候选项目集的支持数,并发现TDB∪tdb中新的项目集,这些新的项目集与上述更新后的Lk共同组成了新数据库中的项目集Lk *。
在关联规则更新方法的执行过程中,每次迭代只需要扫描整个数据库一次,对于新产生的项目集,首先根据候选项目集在新增数据库tdb中的支持数进行修剪,然后再判断在总数据库中是否,这样可以大大减少扫描数据库的次数,因此该方法在更新发生时的执行效率要比使用关联规则生成方法要好。
但是,当数据库较大或更新时,关联规则更新方法会因为计算量的急剧增加而导致运行效率的降低。因此,设计一个基于云计算的关联规则更新算法来解决大数据分析处理的问题。当数据集发生更新时,若数据量大于预定义阈值,则云计算平台采用MapReduce模型,将关联规则的更新在多个分布式节点中执行并行化处理,否则在单节点中执行关联规则的更新。
基于云平台的关联规则更新方法设计一个主程序,首先由主程序对新增数据库tdb进行项目集的分析处理,得到tdb中所有的项目集L(tdb),将原有的项目集L(TDB)与L(tdb)进行对比,查找其公共部分并放入最终的项目集L*中,剩余的项目集L(TDB)与L(tdb)记为CR。然后进行MapReduce操作,算法描述如下:
Map操作:并行扫描原始数据库与新增数据库,根据原有的项目集与CR,对数据进行格式化操作形成键值对<Tnum,Lk>,并将所有键值对作为中间数据传递给Reduce操作。
Reduce操作:扫描中间结果集,将中间键值对进行升序排序,依次扫描数据库并判断是否满足条件X∈Lk,若条件成立则删除该键值对,否则遍历tdb,计算候选项目集在tdb中的支持数,如果满足条件s(TDB∪tdb)<s×(TDB+tdb),则删除该项目集。最后对TDB+tdb进行遍历,计算各个项目集的支持数,再判断支持数是否高于用户预设支持数阈值,新数据库中k项目集由原Lk中剩下的项目集和新产生的项目集共同组成Lk *=(Lk-Ldelete)∪Lnew。
综上所述,本发明的方法在基于云计算的数据分析处理中,能够提高数据分析处理的执行效率,特别是在大数据集的情况下效果尤为明显。
显然,本领域的技术人员应该理解,上述的本发明的各模块或各步骤可以用通用的计算系统来实现,它们可以集中在单个的计算系统上,或者分布在多个计算系统所组成的网络上,可选地,它们可以用计算系统可执行的程序代码来实现,从而,可以将它们存储在存储系统中由计算系统来执行。这样,本发明不限制于任何特定的硬件和软件结合。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (4)
1.一种高效数据分析处理方法,用于通过基于Hadoop的云计算平台进行数据分析,其特征在于,包括:
当数据集发生更新时,若数据量大于预定义阈值,则云计算平台采用MapReduce模型,将关联规则的更新在多个分布式节点中并行化处理,即执行基于云计算的关联规则更新,否则在单节点中执行关联规则的更新。
2.根据权利要求1所述的方法,其特征在于,其中在基于Hadoop的平台中执行MapReduce操作包括如下步骤:
MapReduce库将输入的大数据文件分成若干独立的数据,并在不同的机器上进行程序数据的备份;主程序节点分配子事务,并将子事务递交给空闲的工作机节点中;被分配的子事务的工作节点读取输入的的文件,从中解析出key/value键值对,并调用用户编写的Map函数处理键值对,并生成中间键值对;分区函数将这些中间数据分成若干区,将各个区在磁盘中位置信息发送给主程序,然后转发给Reduce子事务节点;Reduce子事务节点获取由主程序转发的子事务后,根据位置信息调用磁盘上中间数据,并对这些中间按key值进行排序,相同key值进行合并操作;Reduce子事务节点遍历排序后的中间数据,并将数据传递给用户定义的Reduce函数,将其执行结果输出到最终的输出文件中;当所有Reduce子事务完成后,主程序节点将所有数据返回给用户程序,用户程序合并数据并输出最终数据。
3.根据权利要求2所述的方法,其特征在于,所述单节点执行的关联规则更新进一步包括:
(1)获取原数据库TDB,项目集Lk,新增数据库tdb,最小支持数s,对所有的X∈Lk,扫描新增数据集tdb,得到X在TDB∪tdb中的支持数s(TDB∪tdb),若s(TDB∪tdb)<s×(TDB+tdb),则将X从Lk中进行删除;
(2)在tdb中查找所有的候选k项目集Ck,对所有的X∈Ck,扫描tdb并计算每个候选项目集的支持数,若支持数小于s×tdb,则将X从Ck中去除,得到一个精简的候选项目集的集合C′k;
(3)扫描原始数据库TDB,更新Ck中所有候选项目集的支持数,并发现TDB∪tdb中新的项目集,新的项目集与上述更新后的Lk共同组成新数据库中的项目集Lk *。
4.根据权利要求3所述的方法,其特征在于,所述基于云计算的关联规则更新进一步包括:
首先由主程序对新增数据库tdb进行项目集的分析处理,得到tdb中所有的项目集L(tdb),将原有的项目集L(TDB)与L(tdb)进行对比,查找其公共部分并放入最终的项目集L*中,剩余的项目集L(TDB)与L(tdb)记为CR;然后进行Map操作和Reduce操作,其中:
Map操作包括并行扫描原始数据库与新增数据库,根据原有的项目集与CR,对数据进行格式化操作形成键值对<Tnum,Lk>,并将所有键值对作为中间数据传递给Reduce操作;
Reduce操作:扫描中间结果集,将中间键值对进行升序排序,依次扫描数据库并判断是否满足条件X∈Lk,若条件成立则删除该键值对,否则遍历tdb,计算候选项目集在tdb中的支持数,如果满足条件s(TDB∪tdb)<s×(TDB+tdb),则删除该项目集;
最后对TDB+tdb进行遍历,计算各个项目集的支持数,再判断支持数是否高于用户预设支持数阈值,新数据库中k项目集由原Lk中剩下的项目集和新产生的项目集共同组成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510254528.6A CN104834734A (zh) | 2015-05-18 | 2015-05-18 | 一种高效数据分析处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510254528.6A CN104834734A (zh) | 2015-05-18 | 2015-05-18 | 一种高效数据分析处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104834734A true CN104834734A (zh) | 2015-08-12 |
Family
ID=53812620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510254528.6A Pending CN104834734A (zh) | 2015-05-18 | 2015-05-18 | 一种高效数据分析处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104834734A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205158A (zh) * | 2015-09-29 | 2015-12-30 | 成都四象联创科技有限公司 | 基于云计算的大数据检索方法 |
CN109670932A (zh) * | 2018-09-25 | 2019-04-23 | 平安科技(深圳)有限公司 | 信贷数据核算方法、装置、系统和计算机存储介质 |
CN112532625A (zh) * | 2020-11-27 | 2021-03-19 | 杭州安恒信息安全技术有限公司 | 网络态势感知评估数据更新方法、装置及可读存储介质 |
CN114237510A (zh) * | 2021-12-17 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945240A (zh) * | 2012-09-11 | 2013-02-27 | 杭州斯凯网络科技有限公司 | 一种支持分布式计算的关联规则挖掘算法实现方法及装置 |
CN103258049A (zh) * | 2013-05-27 | 2013-08-21 | 重庆邮电大学 | 一种基于海量数据的关联规则挖掘方法 |
US20140358977A1 (en) * | 2013-06-03 | 2014-12-04 | Zettaset, Inc. | Management of Intermediate Data Spills during the Shuffle Phase of a Map-Reduce Job |
-
2015
- 2015-05-18 CN CN201510254528.6A patent/CN104834734A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945240A (zh) * | 2012-09-11 | 2013-02-27 | 杭州斯凯网络科技有限公司 | 一种支持分布式计算的关联规则挖掘算法实现方法及装置 |
CN103258049A (zh) * | 2013-05-27 | 2013-08-21 | 重庆邮电大学 | 一种基于海量数据的关联规则挖掘方法 |
US20140358977A1 (en) * | 2013-06-03 | 2014-12-04 | Zettaset, Inc. | Management of Intermediate Data Spills during the Shuffle Phase of a Map-Reduce Job |
Non-Patent Citations (11)
Title |
---|
DONALD MINER等著,徐钊等译: "《MapReduce设计模式》", 30 September 2014 * |
JEFFREY DEAN等: "MapReduce:simplified data processing on large clusters", 《PROCEEDINGS OF THE 6TH CONFERENCE ON SYMPOSIUM ON OPEARTING SYSTEMS DESIGN & IMPLEMENTATION》 * |
孙芬芬: "海量数据并行挖掘技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
朱明: "《数据挖掘导论》", 31 January 2012 * |
朱晓峰等: "基于MapReduce的关联规则增量更新算法", 《计算机技术与发展》 * |
李玲娟等: "云计算环境下关联规则挖掘算法的研究", 《计算机技术与发展》 * |
杨勇等: "基于MapReduce的关联规则并行增量更新算法", 《重庆邮电大学学报(自然科学版)》 * |
杨泽民: "云计算模型中关联规则增量更新方法", 《计算机工程与设计》 * |
范燕燕: "基于MapReduce的分布式关联规则挖掘算法研究", 《中国优秀硕士学位论文全文数据 信息科技辑》 * |
董西成: "《Hadoop技术内幕——深入解析MapReduce架构设计与实现原理》", 31 May 2013 * |
马盈: "基于MapReduce构造多维数据及关联规则挖掘算法的研究与应用", 《中国优秀硕士学位论文全文数据 信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205158A (zh) * | 2015-09-29 | 2015-12-30 | 成都四象联创科技有限公司 | 基于云计算的大数据检索方法 |
CN109670932A (zh) * | 2018-09-25 | 2019-04-23 | 平安科技(深圳)有限公司 | 信贷数据核算方法、装置、系统和计算机存储介质 |
CN109670932B (zh) * | 2018-09-25 | 2024-02-20 | 平安科技(深圳)有限公司 | 信贷数据核算方法、装置、系统和计算机存储介质 |
CN112532625A (zh) * | 2020-11-27 | 2021-03-19 | 杭州安恒信息安全技术有限公司 | 网络态势感知评估数据更新方法、装置及可读存储介质 |
CN112532625B (zh) * | 2020-11-27 | 2022-09-13 | 杭州安恒信息安全技术有限公司 | 网络态势感知评估数据更新方法、装置及可读存储介质 |
CN114237510A (zh) * | 2021-12-17 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN114237510B (zh) * | 2021-12-17 | 2024-07-12 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104834557A (zh) | 一种基于Hadoop的数据分析方法 | |
Liu et al. | A task scheduling algorithm based on classification mining in fog computing environment | |
CN102033748B (zh) | 一种数据处理流程代码的生成方法 | |
Ju et al. | iGraph: an incremental data processing system for dynamic graph | |
US20110154339A1 (en) | Incremental mapreduce-based distributed parallel processing system and method for processing stream data | |
Perez et al. | Ringo: Interactive graph analytics on big-memory machines | |
CN105468702A (zh) | 一种大规模rdf数据关联路径发现方法 | |
CN105868019A (zh) | 一种Spark平台性能自动优化方法 | |
CN101957863A (zh) | 数据并行处理方法、装置及系统 | |
CN104111958A (zh) | 一种数据查询方法及装置 | |
CN104834734A (zh) | 一种高效数据分析处理方法 | |
Liroz-Gistau et al. | FP-Hadoop: Efficient processing of skewed MapReduce jobs | |
CN104077280A (zh) | 社区发现并行化方法和系统、主节点和运算节点设备 | |
CN104572833A (zh) | 一种映射规则创建方法及装置 | |
Hu et al. | Output-optimal massively parallel algorithms for similarity joins | |
CN105760279A (zh) | 分布式数据库集群故障预警关联树生成方法及系统 | |
Zhou et al. | Research of the FP-Growth Algorithm Based on Cloud Environments. | |
CN111126852A (zh) | 一种基于大数据建模的bi应用系统 | |
CN104834733A (zh) | 一种大数据挖掘分析方法 | |
Singh et al. | Spatial data analysis with ArcGIS and MapReduce | |
CN104572832B (zh) | 一种需求元模型构建方法及装置 | |
CN104809114A (zh) | 一种面向视频大数据的并行数据挖掘方法 | |
Raouf et al. | An optimized scheme for vertical fragmentation, allocation and replication of a distributed database | |
CN108153859A (zh) | 一种基于Hadoop与Spark的效用次序并行确定方法 | |
CN105468412A (zh) | 动态打包方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150812 |
|
RJ01 | Rejection of invention patent application after publication |