CN107479864B - MapReduce计算框架的平台移植方法和装置 - Google Patents

Abstract

本发明提供一种MapReduce计算框架的平台移植方法和装置。该方法包括：获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；获取与第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；采用第二代码函数替换基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架。该方法和装置解决了现有MapReduce计算框架平台依赖性过强、无法在其他平台进行直接应用的问题。

Description

MapReduce计算框架的平台移植方法和装置

技术领域

本发明涉及数据处理领域，尤其涉及一种MapReduce计算框架的平台移植方法和装置。

背景技术

映射归约计算框架(简称MapReduce计算框架)是一种编程模型，用于大规模数据集(大于1TB)的并行运算。该框架把一些数据密集型应用的数据处理过程简化抽象成映射(map)和归约(reduce)两个阶段。例如，将数据分片，任务调度，机器容错，机器间通信等数据处理过程简化抽象成map和reduce两个阶段，MapReduce框架通过将上述繁琐的数据处理细节隐藏起来，极大地简化了程序员的开发工作。程序员在使用MapReduce计算框架时，只需要为该MapReduce计算框架提供数据即可。

现有MapReduce计算框架是由斯坦福大学开发的基于X86平台的Phoenix，在执行过程中依赖X86平台的汇编语言(例如cmpxchgq等)以实现同步过程中的原子操作。当将MapReduce计算框架应用到基于无内部互锁流水级的微处理器(Microprocessor withoutinterlocked piped stages，简称MIPS)精简指令集等其他指令集的计算机平台时，由于汇编语言不同，导致原子操作无法正常执行，故而使得现有的MapReduce计算框架无法直接应用于其他平台，存在平台依赖性过强的问题。

发明内容

本发明提供一种MapReduce计算框架的平台移植方法和装置，用以解决现有MapReduce计算框架平台依赖性过强的问题。

本发明一方面提供一种MapReduce计算框架的平台移植方法，包括：

获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，所述第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；

获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；

采用所述第二代码函数替换所述基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架。

如上所述的平台移植方法，所述获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，包括：

在所述基于当前平台的MapReduce计算框架的代码中，根据代码函数的功能标识，获取所述第一代码函数。

如上所述的平台移植方法，所述获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数，包括：

在代码函数库中，根据所述第一代码函数的功能标识和待植入平台的汇编语言的类型，获取所述第二代码函数；

其中，所述代码函数库中存储有多个代码函数、各代码函数的功能标识以及各代码函数所采用的汇编语言的类型。

如上所述的平台移植方法，所述第一代码函数包括至少一个第一子代码，所述获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数，包括：

为各所述第一子代码，获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言编写的第二子代码；

根据各所述采用待植入平台的汇编语言编写的第二子代码，获取所述第二代码函数。

如上所述的平台移植方法，所述获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码，包括：

根据汇编指令对照表，获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码；

其中，所述汇编指令对照表中存储有多个子代码、各子代码的功能标识以及各子代码所采用的汇编语言的类型。

如上所述的平台移植方法，所述当前平台为X86平台，所述待植入平台为MIPS平台。

如上所述的平台移植方法，所述第一代码函数为用于实现基于线程处理的数据同步的代码函数。

本发明另一方面提供一种MapReduce计算框架的平台移植装置，包括：

第一代码函数获取模块，用于获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，所述第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；

第二代码函数获取模块，用于获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；

替换模块，用于采用所述第二代码函数替换所述基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架。

如上所述的平台移植装置，所述第一代码函数获取模块具体用于，在所述基于当前平台的MapReduce计算框架的代码中，根据代码函数的功能标识，获取所述第一代码函数。

如上所述的平台移植装置，所述第二代码函数获取模块具体用于，在代码函数库中，根据所述第一代码函数的功能标识和待植入平台的汇编语言的类型，获取所述第二代码函数；

其中，所述代码函数库中存储有多个代码函数、各代码函数的功能标识以及各代码函数所采用的汇编语言的类型。

如上所述的平台移植装置，所述第一代码函数包括至少一个第一子代码，所述第二代码函数获取模块包括：

第二子代码获取单元，用于为各所述第一子代码，获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言编写的第二子代码；

第二代码函数获取单元，用于根据所述采用待植入平台的汇编语言编写的第二子代码，获取所述第二代码函数。

如上所述的平台移植装置，所述第二子代码获取单元具体用于，根据汇编指令对照表，获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码；

其中，所述汇编指令对照表中存储有多个子代码、各子代码的功能标识以及各子代码所采用的汇编语言的类型。

如上所述的平台移植装置，所述当前平台为X86平台，所述待植入平台为MIPS平台。

如上所述的平台移植装置，所述第一代码函数为用于实现基于线程处理的数据同步的代码函数。

本发明提供的MapReduce计算框架的平台移植方法和装置，通过为MapReduce计算框架的代码中的基于平台的汇编语言的代码，确定具有相同功能的采用待植入平台的汇编语言编写的代码，并进行代码替换，从而得到基于待植入平台的MapReduce计算框架，该方法解决了现有MapReduce计算框架平台依赖性过强、无法再其他平台进行直接应用的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的MapReduce计算框架的平台移植方法实施例一的流程示意图；

图2为本发明提供的MapReduce计算框架的平台移植方法实施例二的流程示意图；

图3为本发明提供的MapReduce计算框架的平台移植装置实施例一的结构示意图；

图4为本发明提供的MapReduce计算框架的平台移植装置实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种MapReduce计算框架的平台移植方法和装置，通过获取与当前平台中的汇编语言相关的代码，采用待植入平台的汇编语言实现具有相同功能的代码并进行替换，解决了现有MapReduce计算框架存在平台依赖性过强的问题。

下面通过具体实施例对本发明提供的MapReduce计算框架的平台移植方法的进行详细说明。

图1为本发明提供的MapReduce计算框架的平台移植方法实施例一的流程示意图。该方法的执行主体为MapReduce计算框架的平台移植装置，该装置可以由软件和/或硬件实现。如图1所示，该方法包括：

步骤101、获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；

步骤102、获取与第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；

步骤103、采用第二代码函数替换基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架。

示例性的，由于MapReduce计算框架可依据功能划分为多个代码函数，不同的代码函数用于实现不同的功能，共同实现MapReduce计算框架的功能，而多个代码函数中的第一代码函数存在依赖当前平台的汇编语言，且用原子操作实现的代码。示例性的，第一代码函数可以为用于实现基于线程处理的数据同步的代码函数，数据同步过程中存在不能被打断的原子操作。原子操作是指不会被线程调度机制打断的操作，这种操作一旦开始，就一直运行到结束，中间不会有任何线程切换，为保证操作的原子性需要硬件的支持，因此原子操作的实现是和架构相关的，原子操作通常由当前平台的汇编语言编写，而不是采用程序设计语言编写。示例性的，原子操作可通过汇编语言编写同步锁实现。用于实现预设功能的代码函数中通常包括至少一个子代码，一个子代码由一个原子操作实现，示例性的，可以为加载、跳转、加和等。

具体的，在步骤101中，在具体获取第一代码函数时，可通过根据经验而预设的代码函数搜索规则进行搜索获取，也可示例性的，在基于当前平台的MapReduce计算框架的代码中，根据代码函数的功能标识，获取用于实现基于线程处理的数据同步的第一代码函数，如第一代码函数的功能标识为数据同步，其他代码函数的功能标识可示例性的为加和、相乘、筛选等。

具体的，在步骤102和步骤103中，对于依赖当前平台的汇编语言的第一代码函数，根据其所实现的功能，获取可具有相同功能的采用待植入平台的汇编语言编写的第二代码函数，通过采用该第二代码函数替换第一代码函数，即可得到基于待植入平台的MapReduce计算框架。

本发明提供的MapReduce计算框架的平台移植方法，通过为MapReduce计算框架的代码中的基于平台的汇编语言的代码，确定具有相同功能的采用待植入平台的汇编语言编写的代码，并进行代码替换，从而得到基于待植入平台的MapReduce计算框架，该方法解决了现有MapReduce计算框架平台依赖性过强、无法在其他平台进行直接应用的问题。

示例性的，在获取采用待植入平台的汇编语言编写的第二代码函数时，包括如下可行的实现方式：

一种可行的实现方式，确定具有相同功能的代码函数：

在代码函数库中，根据第一代码函数的功能标识和待植入平台的汇编语言的类型，获取第二代码函数；

其中，代码函数库中存储有多个代码函数、各代码函数的功能标识以及各代码函数所采用的汇编语言的类型。

在代码函数库中，可通过功能标识数据同步和指定的汇编语言的类型，筛选出能够在待植入平台实现数据同步功能的第二代码函数。

另一种可行的实现方式，考虑到第一代码函数包括至少一个第一子代码，为每个第一子代码确定具有相同功能的子代码：

图2为本发明提供的MapReduce计算框架的平台移植方法实施例二的流程示意图。如图2所示，该方法包括：

步骤201、为各第一子代码，获取与第一子代码具有相同功能的采用待植入平台的汇编语言编写的第二子代码；

步骤202、根据各采用待植入平台的汇编语言编写的第二子代码，获取第二代码函数。

示例性的，在获取替换第一代码函数的第二代码函数时，首先在第一代码函数的代码中获取采用当前平台的汇编语言编写的第一子代码，具体可通过根据经验而预设的子代码搜索规则进行搜索获取；然后获取与第一子代码具有相同功能的采用待植入平台的汇编语言编写的第二子代码，具体可根据汇编指令对照表，获取与第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码，其中，汇编指令对照表中存储有多个子代码、各子代码的功能标识以及各子代码所采用的汇编语言的类型，最后，根据采用待植入平台的汇编语言编写的第二子代码，获取第二代码函数，从而得到能够实现与第一代码函数具有相同功能的第二代码函数。

可选的，为提高移植速度，可在MapReduce计算框架的所有代码中，直接确定基于当前平台的汇编语言的子代码，采用具有相同功能的基于待植入平台的汇编语言的原子操作替换基于当前平台的汇编语言的子代码，得到基于待植入平台的MapReduce计算框架。

可选的，上述任一实施例中，当前平台可以为X86平台，待植入平台可以为MIPS平台。

示例性的，当MapReduce计算框架的当前平台为X86平台时，实现原子操作的汇编语言中存在大量的X86平台特有的cmpxchgq汇编指令，通过应用上述MapReduce计算框架的移植方法，可在基于X86平台的汇编语言的第一代码函数的代码中，搜索出所有cmpxchgq汇编指令，然后根据该cmpxchgq汇编指令的功能，确定出当MapReduce计算框架基于MIPS平台的汇编语言可实现相同功能的汇编指令，以替换cmpxchgq汇编指令，进一步地，采用相同的方法完成其他基于X86平台的汇编语言的用原子操作实现的子代码的替换，即可实现MapReduce计算框架的平台移植。

本发明另一方面还提供一种MapReduce计算框架的平台移植装置，用以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图3为本发明提供的MapReduce计算框架的平台移植装置实施例一的结构示意图。如图3所示，该装置包括：

第一代码函数获取模块301，用于获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；

第二代码函数获取模块302，用于获取与第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；

替换模块303，用于采用第二代码函数替换基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架。

可选的，第一代码函数获取模块301，具体用于在基于当前平台的MapReduce计算框架的代码中，根据代码函数的功能标识，获取第一代码函数。

进一步地，第二代码函数获取模块302具体用于，在代码函数库中，根据第一代码函数的功能标识和待植入平台的汇编语言的类型，获取第二代码函数；

其中，代码函数库中存储有多个代码函数、各代码函数的功能标识以及各代码函数所采用的汇编语言的类型。

可选的，图4为本发明提供的MapReduce计算框架的平台移植装置实施例二的结构示意图。如图4所示，第一代码函数包括至少一个第一子代码，第二代码函数获取模块302可包括：

第二子代码获取单元401，用于为各第一子代码，获取与第一子代码具有相同功能的采用待植入平台的汇编语言编写的第二子代码；

第二代码函数获取单元402，用于根据各采用待植入平台的汇编语言编写的第二子代码，获取第二代码函数。

进一步地，第二子代码获取单元401具体用于，根据汇编指令对照表，获取与第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码；

其中，汇编指令对照表中存储有多个子代码、各子代码的功能标识以及各子代码所采用的汇编语言的类型。

可选的，在上述任一实施例的基础上，当前平台为X86平台，待植入平台为MIPS平台。

可选的，第一代码函数为用于实现基于线程处理的数据同步的代码函数。

本发明提供的MapReduce计算框架的平台移植装置，通过为MapReduce计算框架的代码中的基于平台的汇编语言的代码，确定具有相同功能的采用待植入平台的汇编语言编写的代码，并进行代码替换，从而得到基于待植入平台的MapReduce计算框架，解决了现有MapReduce计算框架平台依赖性过强、无法再其他平台进行直接应用的问题。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种MapReduce计算框架的平台移植方法，其特征在于，包括：

获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，所述第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；

获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；

采用所述第二代码函数替换所述第一代码函数，得到基于待植入平台的MapReduce计算框架；

所述获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数，包括：

在代码函数库中，根据所述第一代码函数的功能标识和待植入平台的汇编语言的类型，获取所述第二代码函数；其中，所述代码函数库中存储有多个代码函数、各代码函数的功能标识以及各代码函数所采用的汇编语言的类型，

或者，

获取与所述第一代码函数包括的各第一子代码具有相同功能的，且采用待植入平台的汇编语言编写的第二子代码；根据各所述采用待植入平台的汇编语言编写的第二子代码，获取所述第二代码函数。

2.根据权利要求1所述的方法，其特征在于，所述获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，包括：

在所述基于当前平台的MapReduce计算框架的代码中，根据代码函数的功能标识，获取所述第一代码函数。

3.根据权利要求1所述的方法，其特征在于，所述获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码，包括：

根据汇编指令对照表，获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码；

其中，所述汇编指令对照表中存储有多个子代码、各子代码的功能标识以及各子代码所采用的汇编语言的类型。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述当前平台为X86平台，所述待植入平台为MIPS平台。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述第一代码函数为用于实现基于线程处理的数据同步的代码函数。

6.一种MapReduce计算框架的平台移植装置，其特征在于，包括：

第一代码函数获取模块，用于获取基于当前平台的MapReduce计算框架的代码中的第一代码函数，所述第一代码函数为采用当前平台的汇编语言编写的，且用原子操作实现的代码函数；

第二代码函数获取模块，用于获取与所述第一代码函数具有相同功能的采用待植入平台的汇编语言编写的第二代码函数；

替换模块，用于采用所述第二代码函数替换所述基于当前平台的MapReduce计算框架的代码中的第一代码函数，得到基于待植入平台的MapReduce计算框架；

所述第二代码函数获取模块具体用于：

在代码函数库中，根据所述第一代码函数的功能标识和待植入平台的汇编语言的类型，获取所述第二代码函数；其中，所述代码函数库中存储有多个代码函数、各代码函数的功能标识以及各代码函数所采用的汇编语言的类型，

或者，

获取与所述第一代码函数包括的各第一子代码具有相同功能的，且采用待植入平台的汇编语言编写的第二子代码；根据各所述采用待植入平台的汇编语言编写的第二子代码，获取所述第二代码函数。

7.根据权利要求6所述的装置，其特征在于，所述第一代码函数获取模块具体用于，在所述基于当前平台的MapReduce计算框架的代码中，根据代码函数的功能标识，获取所述第一代码函数。

8.根据权利要求7所述的装置，其特征在于，所述第二子代码获取单元具体用于，根据汇编指令对照表，获取与所述第一子代码具有相同功能的采用待植入平台的汇编语言的第二子代码；

其中，所述汇编指令对照表中存储有多个子代码、各子代码的功能标识以及各子代码所采用的汇编语言的类型。

9.根据权利要求6所述的装置，其特征在于，所述当前平台为X86平台，所述待植入平台为MIPS平台。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述第一代码函数为用于实现基于线程处理的数据同步的代码函数。

Images