CN116302574B - 一种基于MapReduce的并发处理方法 - Google Patents

Abstract

本发明提出了一种基于MapReduce的并发处理方法和系统。所述系统包括：输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块、分布式文件系统以及资源管理器；所述输入数据划分模块与资源管理器进行连接、所述Map任务模块与输入数据划分模块进行连接、所述中间结果整合模块和Map任务模块以及Reduce任务模块进行连接、所述输出模块与Reduce模块进行连接、所述输入数据划分模块、Map任务模块、中间结果整合模块、本发明采用了分布式计算的方式，可以将大规模的数据划分成多个小的数据块，在不同节点上并行处理，从而大幅度提高数据处理速度。基于MapReduce的分布式计算框架具有高可靠性和容错性。

Description

一种基于MapReduce的并发处理方法

技术领域

本发明提出了一种基于MapReduce的并发处理方法，属于分布式计算技术领域。

背景技术

MapReduce是一种分布式计算模型，用于处理和生成大规模数据集的并行计算。它由Google公司提出和实现，已经成为大数据处理领域中最为重要的分布式计算框架之一。MapReduce模型的核心思想是将一个大规模数据集划分成小的数据块，然后在多个节点（机器）上进行并行处理。

MapReduce模型包含两个阶段：Map阶段和Reduce阶段。在Map阶段中，Map函数将输入的键值对进行映射，并输出为新的键值对列表。在Reduce阶段中，Reduce函数将相同键值对应的所有值聚合起来，并输出聚合结果。通常情况下，在MapReduce中还会加入Sort和Shuffle过程，以保证处理过程中数据的有序性和正确性。

发明内容

本发明提供了一种基于MapReduce的并发处理方法和系统，用以解决现有技术数据处理效率比较低的问题：

本发明提出的一种基于MapReduce的并发处理系统，所述系统包括：输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块、分布式文件系统以及资源管理器；所述输入数据划分模块与资源管理器进行连接、所述Map任务模块与输入数据划分模块进行连接、所述中间结果整合模块和Map任务模块以及Reduce任务模块进行连接、所述输出模块与Reduce模块进行连接、所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块分别于分布式文件系统以及资源管理器进行连接。

进一步的，所述输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块。

进一步的，所述Map任务模块从输入数据划分模块获取所需的数据块，并将其转换成键值对（key-value）形式的中间结果。

进一步的，所述中间结果整合模块获取Map任务模块转换成的键对值（key-value）形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合。

进一步的，所述Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果，所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构。

进一步的，所述结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上。

进一步的，所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块以及结果输出模块通过分布式文件系统进行读写操作。

进一步的，所述分布式文件系统主要包括HDFS，所述HDFS支持集群部署。

进一步的，所述资源管理器负责协调输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块以及分布式文件系统之间的各项工作，所述各项工作包括任务分配、资源分配以及错误处理。

本发明提出一种基于MapReduce的并发处理方法，其特征在于，所述方法包括：

S1：输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块；

S2：Map任务模块从输入数据划分模块获取所需的数据块，并将所述数据块转换为键值对（key-value）形式的中间结果；

S3：中间结果整合模块获取Map任务模块转换成的键值对（key-value）形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合；

S4：Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果；所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构；

S5：结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上。

本发明有益效果：本发明采用了分布式计算的方式，可以将大规模的数据划分成多个小的数据块，在不同节点上并行处理，从而大幅度提高数据处理速度。基于MapReduce的分布式计算框架具有高可靠性和容错性，即使某个节点出现故障或者网络中断，也能够保证整个系统的稳定运行。也非常方便扩展系统资源，如果需要更高的可用性或者更快的处理速度，只需增加更多的节点即可。并且能够帮助企业实现海量数据挖掘，应用范围非常广泛，包括搜索引擎、社交媒体、金融、医疗等各行各业。同时也可以实现机器学习等其他领域。相较于传统的数据库处理方式，基于 MapReduce 的并发处理系统成本更低。因为其采用廉价硬件代替昂贵的商用服务器，从而降低了企业的运营成本。总之，基于MapReduce并发处理方法和系统是一种高效、可靠、容错性强、易于扩展且低成本的数据处理方式，可以带来多重效果和好处。

附图说明

图1为本发明所述一种基于MapReduce的并发处理方法步骤图；

图2为本发明所述一种基于MapReduce的并发处理系统结构图；

图3为本发明所述一种基于MapReduce的并发处理系统连接图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

本发明的一个实施例，一种基于MapReduce的并发处理系统，所述系统包括：输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块、分布式文件系统以及资源管理器；所述输入数据划分模块与资源管理器进行连接、所述Map任务模块与输入数据划分模块进行连接、所述中间结果整合模块和Map任务模块以及Reduce任务模块进行连接、所述输出模块与Reduce模块进行连接、所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块分别于分布式文件系统以及资源管理器进行连接。

上述技术方案的工作原理为：输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块，Map任务模块从输入数据划分模块获取所需的数据块，并将其转换成键值对（key-value）形式的中间结果；中间结果整合模块获取Map任务模块转换成的键对值（key-value）形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合；Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果，所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构；结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上；所有这些模块都需要资源管理器和分布式文件系统进行连接，以便协调它们之间的工作，并从分布式文件系统中读取或写入必要的数据。

上述技术方案的效果为：通过基于MapReduce的并发处理系统可以在短时间内处理由数百万或数十亿条数据组成的数据集，减少了处理的时间，提高了处理效率，增加了用户体验感。基于MapReduce的并发处理系统能够自动根据负载情况增加或减少节点数量，从而实现弹性伸缩。当需要更多的计算资源来处理更多的数据时，系统可以添加更多的节点；当负载下降时，则会自动减少节点数量以节省资源。在基于MapReduce的并发处理系统中，如果某个节点出现故障或崩溃，系统可以自动重新分配任务给其他节点，并在不影响整体效率的情况下继续执行任务。过将数据划分成多个块，并将它们分配给不同的节点进行处理，系统可以实现并行计算。这样做可以使得整个任务的执行速度大大加快，从而提高计算效率。

本发明的一个实施例，所述输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块。

其中所述数据块数量M的计算公式为：，数据记录数为K，平均记录大小为B，可用计算资源为Y，最大并行数为X，留出的内存量为N。

上述技术方案的工作原理为：输入数据划分模块从资源管理器获取可用的计算资源（如CPU、内存、磁盘等）以及待处理的数据。根据设定的规则，其中，设定的规则包括但不限于大小划分规则、数据局部性规则、计算复杂度规则、负载均衡规则、通信代价规则，接着将整个数据集按照大小或其他指标划分成一些小块。这些小块可以是完全相同大小的，也可以是不同大小的。将整个计算任务也按照规则划分成一个个子任务。每个子任务通常需要处理一个或多个小数据块。

上述技术方案的效果为：通过输入数据划分模块将大规模的数据和任务拆分为多个小块，可以使得计算任务更加细化和精细，从而提高并行计算的性能和效率。较小的数据块可以更快地在节点之间传输，减少大规模传输带来的通信延迟和带宽消耗，从而降低系统中的通信开销。将大规模的任务和数据进行切割后，可以使得不同节点上运行的计算任务更加平衡，在整个系统中达到良好的负载均衡状态。当系统出现部分故障时，只需要重新执行故障节点上已经完成了的子任务即可避免重复计算，大幅提高了系统运行时对于错误容忍度。通过输入数据划分模块构建分布式系统使其具有足够强大的扩展性，并能适应不断增长总体大小以及操作量。具有良好扩展性是分布式系统设计的必要条件，其能够根据业务发展进行动态调整和升级。同时，通过上述公式获取了数据记录数以及平均记录大小，结合了需要划分的数据块数量有效的提高了数据块预测的准确性与合理性；防止可用计算资源或最大并行数增加时，需要划分的数据块数量随之相应减少；导致留出的内存量增加时，需要划分的数据块数量设置不合理，导致最终的数据块数量计算不合理的问题的发生。

本发明的一个实施例，所述Map任务模块从输入数据划分模块获取所需的数据块，并将其转换成键值对（key-value）形式的中间结果。

上述技术方案的工作原理为：Map任务模块从输入数据划分模块获取所需的数据块，并将其加载到内存中进行处理。接着对每个数据块应用指定的映射函数，在处理过程中将其转换为键值对（key-value）形式的中间结果。Map函数通常是由用户自定义编写的，例如在Word Count问题中，用户会编写一个Map函数来统计文本数据中每个单词出现的次数。最后将生成的键值对（key-value）发送给Reduce任务模块，完成Map任务模块的工作。

上述技术方案的效果为：Map任务模块将输入数据划分成多个数据块后，可以并行处理每个数据块，提高计算效率和处理速度。Map函数的作用是将每个数据块转换为键值对（key-value）形式的中间结果，这些中间结果可以被Reduce任务模块直接使用或归并，以生成最终的输出结果。Map任务模块采用分布式处理方式，可以充分利用集群中多台计算机的资源进行大规模数据处理。Map任务模块将输入数据划分成多个独立的数据块进行并行计算，加快了计算速度。在Map任务模块执行完毕后，生成的中间结果可以存储到磁盘或内存中，并被后续的Reduce任务模块复用，避免重复计算和IO操作。由于Map函数通常是由用户自定义编写的，因此可以根据应用程序需求进行自由扩展和优化。

本发明的一个实施例，所述中间结果整合模块获取Map任务模块转换成的键对值（key-value）形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合。

上述技术方案的工作原理为：中间结果整合模块将Map任务模块生成的键值对按照键进行重新分配，并将具有相同键的数据分配到同一个Reduce任务模块上接着对每个Reduce任务模块上所接收到的键值对进行排序操作。排序通常是按照键值对中的键来完成，这样可以保证在后续步骤中更容易地处理具有相同键的数据。接着对已经排好序，且具有相同键的键值对进行组合，并将它们转换为最终输出结果。Reduce函数通常也是由用户自定义编写的，例如在Word Count问题中，用户会编写一个Reduce函数来统计所有输入文本数据中每个单词出现的总次数。

上述技术方案的效果为：结果整合模块将Map任务生成的中间结果按照键值对的形式进行汇总排序，并将相同键的数据进行组合，这样可以减少大量重复数据在网络上传输，从而降低了网络传输开销。Reduce任务模块所接收到的中间结果已经经过排序，可以高效的处理数据。在具有海量数据处理需求的场景下，优化后的中间结果整合模块能够极大地提高计算效率。在分布式计算框架下，Map任务和Reduce任务通常在不同的节点上执行。通过中间结果整合模块将Map任务生成的中间结果进行汇总、排序、组合等操作，在Reduce任务节点上实现数据局部性和负载均衡等优化策略。用户可以根据应用程序需求编写自定义的Reduce函数，以便对已排好序并具有相同键的键值对进行进一步处理。例如，在WordCount问题中，用户可以编写一个Reduce函数来统计所有输入文本数据中每个单词出现的总次数，从而得到最终的答案。

本发明的一个实施例，所述Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果，所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构。

上述技术方案的工作原理为：Reduce任务首先会从Map任务产生的中间结果列表中获取相同Key的所有Value。为了提高效率，相同Key的Value可能会被划分到不同的Reduce任务中处理。获取到相同Key的所有Value后，Reduce任务会对这些Value进行聚合或归并操作。具体处理方式由用户自定义实现。例如，对于Word Count任务，Reduce任务需要对每个单词出现次数进行求和。对于聚合后的结果，Reduce任务会将其写入新的数据结构中，并且输出到文件系统中。

上述技术方案的效果为： Reduce任务模块在整合时可以利用分布式计算的能力，从而可以同时处理多个中间结果。这样可以减少处理时间，提高整体处理速度。相同键的中间结果可能被分配到不同的节点上进行处理，Reduce任务模块需要从不同节点上获取这些结果进行聚合。由于数据本身已经按照键值对进行分组，因此在网络传输过程中只需要传输每个键对应的值即可。这相比直接传输原始数据大小会大大降低网络开销。Reduce任务模块的实现者可以根据具体场景和需求，自定义聚合逻辑。例如，Word Count任务需要将所有单词出现次数累加起来作为最终结果；而PageRank算法需要按照一定规则计算节点得分并将其输出作为最终结果。Reduce任务模块生成的最终结果是经过聚合、归并、汇总等多种操作得到的全新数据结构。这种数据结构通常与源数据格式不同，但更适合后续操作，例如直接写入数据库中或输出到报表中。

本发明的一个实施例，所述结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上。

上述技术方案的工作原理为：当Reduce任务模块完成对中间结果的聚合处理后，会将每个键对应的处理结果输出到结果输出模块。此时，结果输出模块就开始从Reduce任务模块中读取处理结果，由于MapReduce模块产生的数据通常较大，因此需要在分布式文件系统上为这些数据分配存储位置。结果输出模块会根据一定的策略，将处理结果分散地存储到不同的物理节点上。在确定了数据存储位置之后，结果输出模块会将每个键对应的处理结果写入到相应的数据块中，并保存到分布式文件系统上。由于HDFS采用了副本机制，即同一份数据可以复制多份存放在不同物理节点上，因此在写入数据时需要考虑副本数等问题。当所有处理结果都被保存到分布式文件系统上后，结果输出模块会通知用户任务执行完毕，并返回相应的信息。用户可以根据该信息进行进一步操作或者直接退出程序。

上述技术方案的效果为：由于MapReduce模块产生的数据通常较大，因此如果只采用单个节点进行存储，很容易出现瓶颈。而分布式文件系统具有良好的可扩展性，可以根据需要添加更多的存储节点，从而满足海量数据存储的需求。由于该系统采用了分片技术和并行处理技术，在保存处理结果时可以同时执行多个写操作，从而提高了数据写入速度和效率。所有的数据都保存在分布式文件系统上，因此可以方便地进行备份、恢复、移动、复制等操作，并能够统一管理各个存储节点上的数据。

本发明的一个实施例，所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块以及结果输出模块通过分布式文件系统进行读写操作。所述分布式文件系统主要包括HDFS，所述HDFS支持集群部署。

上述技术方案的工作原理为：首先输入数据划分模块将输入数据划分成多个小块，并根据需要将这些小块复制到不同的物理节点上进行处理。Map任务模块对每个小块进行并行处理，生成一系列键值对（key-value pairs），其中key表示数据的某个属性（如单词、日期等），value表示这个属性对应的值（如单词出现次数、日期出现次数等）。中间结果整合模块将Map任务模块产生的多个中间结果按照key进行合并和排序，以便Reduce任务模块能够高效地进行处理。Reduce任务模块对中间结果进行并行化处理，每个Reduce任务负责处理一组具有相同key值的键值对。Reduce任务根据需要可以执行聚合、过滤、排序等操作，最终生成MapReduce程序的输出结果。结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上，以便后续的数据分析和查询操作。其中，HDFS集群由一个Name Node和多个Data Node组成。Name Node负责管理文件系统的命名空间和控制客户端对文件的访问；Data Node则负责实际存储和管理数据块。文件在HDFS中被分割成固定大小的块（默认为128MB），并在集群中的多个Data Node上进行分布式存储。每个块都有其自身的多个副本，通常是3个，以保证数据的可靠性和容错能力。当客户端需要读取或写入文件时，它会向Name Node请求获取该文件所在的Data Node地址列表，并且与这些DataNode建立连接进行数据传输。

上述技术方案的效果为：分布式文件系统可以通过输入数据划分模块将数据划分为多个块，并在不同节点上并行处理，从而提高了数据的处理速度和吞吐量。由于数据被复制到多个节点上进行处理，因此即使某个节点或者某个磁盘出现故障，也不会导致整个计算过程的失败或者数据丢失。由于计算任务和数据都是分布式存储的，在需要扩展计算规模时，只需要增加计算节点或者存储设备即可，而无需对已有的系统进行大规模修改。使用分布式文件系统可以将存储和计算两部分解耦合，从而降低了运维难度和成本。通过使用共享的分布式文件系统，不同用户之间可以方便地共享、交换数据，提高了数据可重用性和价值。HDFS将数据划分成多个块，并在集群中的不同节点上进行复制，以便在节点故障时保证高可用性。

HDFS能够自动检查并修复数据块的损坏或丢失。HDFS可以通过添加新节点来扩展存储容量和处理能力。这使得它能够适应不断增长的数据量。HDFS支持并行处理大型文件，并提供高速读取和写入操作，因此适合于大规模并行处理。HDFS自带监控工具，可以方便地对集群状态、存储空间利用率等进行监测和管理，减少了运维成本。

本发明的一个实施例，所述资源管理器负责协调输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块以及分布式文件系统之间的各项工作，所述各项工作包括任务分配、资源分配以及错误处理。

上述技术方案的工作原理为：资源管理器接收到用户提交的任务后，需要将任务拆分成多个小任务（Map和Reduce任务），并为每个小任务分配相应的计算节点和存储节点。在这个过程中，资源管理器需要综合考虑各个节点的负载情况、网络延迟等因素，以最优方式完成任务分配。在进行任务分配的同时，资源管理器还需要为每个计算节点分配相应的计算资源（CPU、内存、网络带宽等）和存储资源（磁盘容量等）。对于每个节点所需的资源，资源管理器会根据当前系统状态及各项指标进行评估，在不超出总体资源限制的情况下为其提供适当数量的资源。在整个计算过程中可能会出现各种错误，如节点失效、通信失败、数据丢失等。当发生这些错误时，资源管理器需要及时识别并采取相应措施。例如，在某个计算节点失效后，资源管理器会将该节点上正在运行的任务重新分配到其他可用节点上，以确保任务能够继续运行。在Map任务完成后，资源管理器需要将各个节点产生的中间结果进行整合，并将其发送给Reduce任务所在的计算节点。为了减少通信开销和数据传输延迟，资源管理器通常会对中间结果进行合并和压缩处理，以便于网络传输和后续处理。在Reduce任务完成后，最终的计算结果需要输出到分布式文件系统中。这时资源管理器会指导输出模块将结果写入正确的存储位置，并确保结果可以被后续任务读取和使用。

上述技术方案的效果为：资源管理器能够根据MapReduce作业的具体需求，将任务分配到空闲的节点上执行，从而实现对集群资源的最大化利用。为了确保集群中每个节点都能够按照自身的资源配置执行作业任务，资源管理器会根据各个节点的硬件配置、负载情况以及优先级等因素，动态地进行资源调度和负载均衡。当出现Job Tracker或TaskTracker崩溃、网络故障、数据损坏等异常情况时，资源管理器可以自动识别并处理这些错误，并采取相应的措施，如重新分配任务、恢复系统状态等。通过合理地分配任务和资源，以及有效地处理错误和异常情况，资源管理器可以显著提高Hadoop作业的执行效率和稳定性，进一步增强Hadoop在海量数据处理方面的优势。实现了高效、稳定、可靠的大规模数据处理。

本发明的一个实施例，一种基于MapReduce的并发处理方法，所述方法包括：

S1：输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块；

S2：Map任务模块从输入数据划分模块获取所需的数据块，并将所述数据块转换为键值对（key-value）形式的中间结果；

S3：中间结果整合模块获取Map任务模块转换成的键值对（key-value）形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合；

S4：Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果；所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构；

S5：结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上。

上述技术方案的工作原理为：输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块，Map任务模块从输入数据划分模块获取所需的数据块，并将其转换成键值对（key-value）形式的中间结果；中间结果整合模块获取Map任务模块转换成的键对值（key-value）形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合；Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果，所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构；结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上；所有这些模块都需要资源管理器和分布式文件系统进行连接，以便协调它们之间的工作，并从分布式文件系统中读取或写入必要的数据。

上述技术方案的效果为：使用MapReduce可以利用分布式存储和计算优势，将大规模数据分成多个数据块并在多个节点上并行处理，从而提高数据处理速度。通过Map任务和Reduce任务的处理流程，可以实现对大规模数据集的高效处理，同时将结果保存到分布式文件系统中，方便后续使用。MapReduce是一种通用框架，在不同场景下可以灵活适应不同的需求。MapReduce采用了副本技术来保证数据的可靠性，即将数据保存在多个节点上，在某些节点失效时，还能够从副本中恢复数据。MapReduce采用了分布式计算和存储技术，可以通过增加更多节点来扩展集群规模，并提高数据处理速度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于MapReduce的并发处理系统，其特征在于，所述系统包括：输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块、分布式文件系统以及资源管理器；所述输入数据划分模块与资源管理器进行连接、所述Map任务模块与输入数据划分模块进行连接、所述中间结果整合模块和Map任务模块以及Reduce任务模块进行连接、所述输出模块与Reduce模块进行连接、所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块分别于分布式文件系统以及资源管理器进行连接；所述输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块；Map任务模块从输入数据划分模块获取所需的数据块，并将其加载到内存中进行处理；接着对每个数据块应用指定的映射函数，在处理过程中将其转换为键值对形式的中间结果；中间结果整合模块将Map任务模块生成的键值对按照键进行重新分配，并将具有相同键的数据分配到同一个Reduce任务模块上接着对每个Reduce任务模块上所接收到的键值对进行排序操作；所述结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上；所述输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块以及结果输出模块通过分布式文件系统进行读写操作。

2.根据权利要求1所述一种基于MapReduce的并发处理系统，其特征在于，所述Map任务模块从输入数据划分模块获取所需的数据块，并将其转换成键值对形式的中间结果。

3.根据权利要求1所述一种基于MapReduce的并发处理系统，其特征在于，所述中间结果整合模块获取Map任务模块转换成的键对值形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合。

4.根据权利要求1所述一种基于MapReduce的并发处理系统，其特征在于，所述Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果，所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构。

5.根据权利要求1所述一种基于MapReduce的并发处理系统，其特征在于，所述分布式文件系统主要包括HDFS，所述HDFS支持集群部署。

6.根据权利要求1所述一种基于MapReduce的并发处理系统，其特征在于，所述资源管理器负责协调输入数据划分模块、Map任务模块、中间结果整合模块、Reduce任务模块、结果输出模块以及分布式文件系统之间的各项工作，所述各项工作包括任务分配、资源分配以及错误处理。

7.一种基于MapReduce的并发处理方法，其特征在于，所述方法包括：

S1：输入数据划分模块从资源管理器获取计算资源和数据，并将所述计算资源和数据划分成多个数据块；

S2：Map任务模块从输入数据划分模块获取所需的数据块，并将所述数据块转换为键值对形式的中间结果；

S3：中间结果整合模块获取Map任务模块转换成的键值对形式的中间结果，并对所述中间结果进行汇总排序，并对相同键的中间结果进行组合；

S4：Reduce任务模块获取中间结果整合模块组合后的相同键的中间结果，并对中间结果进行处理，得到处理结果；所述处理结果包括每个键对应的聚合结果，所述聚合结果包括值、列表以及新的数据结构；

S5：结果输出模块从Reduce任务模块中读取处理结果，并将其保存到分布式文件系统上。