CN108614731B - 一种运行MapReduce作业的方法、装置及系统 - Google Patents

一种运行MapReduce作业的方法、装置及系统 Download PDF

Info

Publication number
CN108614731B
CN108614731B CN201611249643.5A CN201611249643A CN108614731B CN 108614731 B CN108614731 B CN 108614731B CN 201611249643 A CN201611249643 A CN 201611249643A CN 108614731 B CN108614731 B CN 108614731B
Authority
CN
China
Prior art keywords
mapreduce
task
generating
sequence
sql
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611249643.5A
Other languages
English (en)
Other versions
CN108614731A (zh
Inventor
叶志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201611249643.5A priority Critical patent/CN108614731B/zh
Publication of CN108614731A publication Critical patent/CN108614731A/zh
Application granted granted Critical
Publication of CN108614731B publication Critical patent/CN108614731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/45—Exploiting coarse grain parallelism in compilation, i.e. parallelism between groups of instructions
    • G06F8/451—Code distribution

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种运行MapReduce作业的方法，所述方法包括：创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；根据所述MapReduce对象中指定的MapReduce数据，生成相应的结构化查询语言(SQL)序列；其中，所述SQL序列中包括至少一个MapReduce任务；根据有向无环图(DAG)将所述SQL序列进行发送。本发明还同时公开了一种运行MapReduce作业的装置及系统。

Description

一种运行MapReduce作业的方法、装置及系统
技术领域
本发明涉及运行MapReduce作业技术，具体涉及一种运行MapReduce作业的方法、装置及系统。
背景技术
目前，随着互联网以及移动互联网技术的发展，企业开始部署大数据平台。Hadoop体系的MapReduce作业很好得解决了大数据分析与处理问题。这里，Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。但传统的分布式关系型数据库只提供结构化查询语言(SQL，StructuredQuery Language)来开发作业，然而编程人员更倾向于使用MapReduce这种方式来进行作业开发。
目前，现有技术中通常通过：将常用的MapReduce函数与数据库中SQL的对应关系固定下来，作为模板来匹配用户的MapReduce作业中的函数。
但是采用这种方式存在以下问题：
1)只能匹配少量且固定的MapReduce函数；
2)只能形成单条简单的SQL而非SQL序列；
3)不支持多MapReduce任务的作业。
发明内容
为解决现有存在的技术问题，本发明实施例期望提供一种运行MapReduce作业的方法、装置及系统，能够运行自定义的MapReduce函数。
本发明实施例的技术方案是这样实现的：
根据本发明实施例的一方面，提供一种运行MapReduce作业的方法，所述方法包括：
创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；
根据所述MapReduce对象中指定的MapReduce数据，生成相应的结构化查询语言SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；
根据有向无环图DAG将所述SQL序列进行发送。
上述方案中，所述对所述MapReduce作业描述文件进行解析，并生成相应的MapReduce对象，包括：
根据解析后的所述MapReduce作业描述文件，生成与所述MapReduce作业描述文件对应的INPUT对象、OUTPUT对象、MAPPER对象、REDUCER对象、TASK对象和RUN对象；
其中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象均为一个以上。
上述方案中，所述根据所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列，包括：
根据所述INPUT对象中指定的任务输入源数据，生成第一SQL序列；
根据所述MAPPER对象中指定的映射函数，对所述任务输入源数据进行映射运算，并生成第二SQL序列；
根据所述REDUCER对象中指定的化简函数，对所述任务输入源数据进行化简运算，并生成第三SQL序列；
根据所述TASK对象中指定的子对象，确定与所述任务输入源数据对应的映射键值和化简键值，并生成第四SQL序列；
根据所述OUTPUT对象中指定的任务输出数据，生成第五SQL序列；
其中，所述第一SQL序列、所述第二SQL序列和所述第三SQL序列作为所述TASK对象中所述子对象的输入。
上述方案中，所述根据DAG将所述SQL序列进行发送，包括：
根据所述RUN对象中指定的作业调度次序，生成各任务的DAG；
根据所述DAG将所述第五SQL序列进行发送。
根据本发明实施例的另一方面，提供一种运行MapReduce作业的方法，所述方法包括：
接收根据MapReduce对象中指定的MapReduce数据生成的SQL序列，并对所述SQL序列进行解析，生成任务计划；
向各数据节点分发所述任务计划，并对所述任务计划进行执行操作。
上述方案中，在所述对所述任务计划进行执行操作之后，所述方法还包括：
返回所述任务计划的执行结果。
根据本发明实施例的再一方面，提供一种运行MapReduce的客户端服务器，所述客户端服务器包括：
数据解析模块、序列生成模块和任务调度模块；其中，
所述数据解析模块，用于创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；
所述序列生成模块，用于根据所述数据解析模块生成的所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；
所述任务调度模块，用于根据DAG将所述序列生成模块生成的所述SQL序列进行发送。
上述方案中，所述数据解析模块，具体用于根据解析后的所述MapReduce作业描述文件，生成与所述MapReduce作业描述文件对应的INPUT对象、OUTPUT对象、MAPPER对象、REDUCER对象、TASK对象和RUN对象；
其中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象均为一个以上。
上述方案中，所述序列生成模块，具体用于根据所述数据解析模块解析的所述INPUT对象中指定的任务输入源数据，生成第一SQL序列；
根据所述数据解析模块解析的所述MAPPER对象中指定的映射函数，对所述任务输入源数据进行映射运算，并生成第二SQL序列；
根据所述数据解析模块解析的所述REDUCER对象中指定的化简函数，对所述任务输入源数据进行化简运算，并生成第三SQL序列；
根据所述数据解析模块解析的所述TASK对象中指定的子对象，确定与所述任务输入源数据对应的映射键值和化简键值，并生成第四SQL序列；
根据所述数据解析模块解析的所述OUTPUT对象中指定的任务输出数据，生成第五SQL序列；
其中，所述第一SQL序列、所述第二SQL序列和所述第三SQL序列作为所述TASK对象中所述子对象的输入。
上述方案中，所述任务调度模块，具体用于根据所述数据解析模块解析的所述RUN对象中指定的作业调度次序，生成各任务的DAG；根据所述DAG将所述序列生成模块生成的所述第五SQL序列进行发送。
根据本发明实施例的再一方面，提供一种运行MapReduce作业的数据库服务器，所述数据库服务器包括：
主控节点和数据节点；其中，
所述主控节点，用于接收根据MapReduce对象中指定的MapReduce数据生成的SQL序列，并对所述SQL序列进行解析，生成任务计划；并向所述数据节点分发所述任务计划；
所述数据节点，用于对所述主控节点发送的所述任务计划进行执行操作，并返回所述任务计划的执行结果。
上述方案中，所述主控节点包括：序列解析模块和任务分发模块；其中，
所述序列解析模块，用于接收SQL序列，并对所述SQL序列进行解析，生成任务计划；
所述任务分发模块，用于向所述数据节点分发所述序列解析模块生成的所述任务计划。
上述方案中，所述数据节点包括：任务执行模块，用于对所述主控节点发送的所述任务计划进行执行操作，并返回所述任务计划的执行结果。
上述方案中，所述数据节点包括一个以上。
根据本发明实施例的再一方面，提供一种运行MapReduce作业的系统，所述系统包括：客户端服务器和数据库服务器，其中，
所述客户端服务器，用于创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；根据所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；并根据DAG将所述SQL序列向所述数据库服务器发送；
所述数据库服务器，用于接收所述客户端服务器发送的所述SQL序列，并对所述SQL序列进行解析，生成任务计划；分发并执行所述任务计划。
上述方案中，所述客户端为上述所述的客户端；
所述服务器为上述所述的服务器。
本发明实施例提供的一种运行MapReduce作业的方法、装置及系统，通过创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；根据所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；根据有向无环图(DAG，DirectedAcycline Graph)对所述SQL序列进行发送。如此，能够执行自定义的MapReduce函数，不局限于内置的映射关系。由于分布式关系型数据库服务器端支持自定义函数创建，并在执行计划自定义函数节点上能执行相应的自定义函数，从而使得本方案的技术通用性更强。另外，支持多MapReduce任务作业，使得更加符合现有的MapReduce作业的编写方式。
附图说明
图1为本发明实施例一种运行MapReduce作业的方法实现流程图；
图2为本发明实施例中MapReduce作业描述文件的结构组成示意图；
图3为本发明实施例中DAG示意图；
图4为本发明实施例的另一种运行MapReduce作业的方法实现流程图；
图5为本发明实施例中一种运行MapReduce的客户端服务器的结构示意图；
图6为本发明实施例中运行MapReduce作业的数据库服务器的结构示意图；
图7为本发明实施例中运行MapReduce作业的系统的结构示意图；
具体实施方式
下面结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
图1为本发明实施例一种运行MapReduce作业的方法实现流程图；如图1所示，该方法包括：
步骤101，创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；
这里，所述方法主要运行在客户端服务器。具体地，Mapreduce是一个计算框架，在运行所述MapReduce的计算任务时，其任务过程被分为两个阶段：map阶段和reduce阶段，且每个阶段都是用键值对(key/value)作为输入(input)和输出(output)。而这两个阶段的函数：map函数和reduce函数均是在客端端服务器定义好的。当所述客户端服务器要运行一个mapreduce计算任务时候，需要先创建一个以上通用型的MapReduce作业描述文件要，然对所述的MapReduce作业描述文件进行解析，生成相应的MapReduce对象；这里，具体的MapReduce对象如图2所示。
图2为本发明实施例中MapReduce作业描述文件的结构组成示意图；如图2所示，所述MapReduce作业描述文件中包括INPUT对象、OUTPUT对象、MAPPER对象、REDUCER对象、TASK对象和RUN对象；其中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象均为一个以上；并且每一个对象中的对象属性信息均可以由客户端进行编辑。
步骤102，根据所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；
这里，所述MapReduce数据具体是指所述MapReduce对象中具体的对象属性信息。如图2所示，所述INPUT对象中指定的对象属性信息为：NAME(名字)：input(输入)、TABLE(表)：table_input、COLUMS(列)：line(具体的列数)，则客户端服务器根据所述INPUT对象中指定的任务输入源数据，生成第一SQL序列。具体INPUT对象的示例如表1所示，其中表1右边框中为INPUT对象中的任务输入源数据，表1左边框中为根据任务输入源数据生成的第一SQL序列。
Figure BDA0001197790720000071
如图2所示，所述MAPPER对象中指定的对象属性信息为：NAME：mapper、FUNCTION：mapper.py、ARGS：line、RETURNS：key，value；则客户端服务器根据所述MAPPER对象中指定的映射函数，对所述任务输入源数据进行映射运算，并生成第二SQL序列；具体地，在Map阶段，Map任务读取一个输入(key1，value1)对，由定义的Map函数对其处理，产生一个中间(key2，value2)结果集，并保存在本地。在本发明实施例中，MAPPER对象的示例如表2所示，其中表2右边框中为MAPPER对象中的对象属性信息，表2左边框中为根据所述对象属性信息对所述任务输入源数据进行映射运算，生成的第二SQL序列。
Figure BDA0001197790720000072
如图2所示，所述REDUCER对象中指定的对象属性信息为：NAME：reducer、
FUNCTION：reducer.py、RETURNS：value，则客户端服务器根据所述REDUCER对象中指定的化简函数，对所述任务输入源数据进行化简运算，并生成第三SQL序列；具体地，在Reduce阶段，Reduce任务从所有执行Map任务的节点，读取中间关键字key2和相关的一个value2集，由定义的Reduce函数对其进行处理，并得到计算结果。MapReduce系统即可以根据输入数据的大小以及作业的配置等信息，自动将该作业初始化为多个相同的Map任务和Reduce任务、分别读取不同的输入数据块并调用Map函数和Reduce函数进行处理。在本发明实施例中，REDUCER对象的示例如表3所示，其中表3右边框中为REDUCER对象中的对象属性信息，表3左边框中为根据所述对象属性信息对所述任务输入源数据进行化简运算，生成的第三SQL序列。
Figure BDA0001197790720000081
如图2所示，所述TASK对象中指定的对象属性信息为：NAME：task、
INPUT：input、OUTPUT：output、MAPPER：mapper、RUDUCER：reducer，由于在所述MapReduce作业描述文件中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象可以有多个，所以在所述TASK对象中的每一个小写对象都是指的具体对象，例如input1、input2。然后客户端服务器根据所述TASK对象中指定的子对象，确定与所述任务输入源数据对应的映射键值和化简键值，并生成第四SQL序列；具体TASK对象的示例如表4所示，其中表4右边框中为TASK对象中的对象属性信息，由所述第一SQL序列、所述第二SQL序列和所述第三SQL序列作为其子对象的输入；表4左边框中为根据所述对象属性信息确定与所述任务输入源数据对应的映射键值和化简键值，并生成的第四SQL序列。
Figure BDA0001197790720000082
如图2所示，所述OUTPUT对象中指定的对象属性信息为：NAME：output、TABLE：table_output，客户端服务器根据所述OUTPUT对象中指定的任务输出数据，生成第五SQL序列；具体OUTPUT对象的示例如表5所示，其中表5右边框中为OUTPUT对象中的对象属性信息；表5左边框中为根据所述对象属性信息将任务输出数据生成的第五SQL序列。
Figure BDA0001197790720000091
在同一个MapReduce并行处理作业中，所有自动生成的Map任务和Reduce任务都是相同的，只是其处理的输入数据不同。
步骤103，根据有向无环图(DAG，Directed Acyclic Graph)将所述SQL序列进行发送。
这里，具体是根据MapReduce作业描述文件中RUN对象中指定的作业调度次序，生成各任务的DAG；客户端服务器再将生成的所述第五SQL序列按照所述DAG进行发送。这里，DAG是一个有向图，无定向的周期，即是由集合的顶点和有向边构成，每条边连接一个顶点到另一个，这样，在一些顶点v开始，沿着有序的边，最终循环回再次到V是不可能的。具体RUN的示意图如图3所示。
图3为本发明实施例中DAG示意图；如图3所示，所述DAG包括TASK-a、TASK-b、TASK-c和TASK-d，由于TASK-a、TASK-b、TASK-c和TASK-d之间的相互依赖的关系，所以当客户端服务器要发送TASK-c时，必须发送了TASK-a、TASK-b之后，才能发送TASK-c。
图4为本发明实施例的另一种运行MapReduce作业的方法，所述方法包括：
步骤401，接收根据MapReduce对象中指定的MapReduce数据生成的SQL序列，并对所述SQL序列进行解析，生成任务计划；
这里，所述方法主要运行于数据库服务器。具体地，由客户端服务器根据MapReduce对象中指定的MapReduce数据生成SQL序列，并发送给所述数据库服务器，当所述数据库服务器接收到所述SQL序列后，先对所述SQL序列进行解析，生成相应的任务计划。具体地，是将所述MapReduce作业放入一个内部的队列，这里可以是所述数据库服务器中的数据节点。
步骤402，向各数据节点分发所述任务计划，并对所述任务计划进行执行操作。
这里，配置好的各数据节点根据所述任务计划，调度所述MapReduce作业，并对所述执行所述任务。具体地，各数据节点会初始化所述MapReduce作业，这里所述初始化就是创建一个正在运行的所述MapReduce对象(封装任务和记录信息)，以便跟踪所述MapReduce作业的状态和进程。初始化完毕后，数据节点会根据任务计划定期发送心跳给所述数据库服务器中的主控节点，通过心跳，所述主控节点可以监控所述MapReduce作业是否存活，也可以获取各数据节点的处理状态和问题。当所述主控节点获得了最后一个完成指定任务的操作成功的通知时候，会把MapReduce作业的状态置为成功，然后向客户端服务器返回执行结果。当客户端服务器查询所述MapReduce作业运行状态时候，客户端服器会查到所述MapReduce作业己完成的通知。
图5为本发明实施例中一种运行MapReduce的客户端服务器，所述客户端服务器包括：数据解析模块501、序列生成模块502和任务调度模块503；其中，
所述数据解析模块501，用于创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；
所述序列生成模块502，用于根据所述数据解析模块501生成的所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；
所述任务调度模块503，用于根据DAG将所述序列生成模块502生成的所述SQL序列进行发送。
具体地，所述数据解析模块501用于根据解析后的所述MapReduce作业描述文件，生成与所述MapReduce作业描述文件对应的INPUT对象、OUTPUT对象、MAPPER对象、REDUCER对象、TASK对象和RUN对象；其中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象均为一个以上。
具体地，所述序列生成模块502具体用于根据所述数据解析模块501解析的所述INPUT对象中指定的任务输入源数据，生成第一SQL序列；根据所述数据解析模块解析的所述MAPPER对象中指定的映射函数，对所述任务输入源数据进行映射运算，并生成第二SQL序列；根据所述数据解析模块解析的所述REDUCER对象中指定的化简函数，对所述任务输入源数据进行化简运算，并生成第三SQL序列；根据所述数据解析模块解析的所述TASK对象中指定的子对象，确定与所述任务输入源数据对应的映射键值和化简键值，并生成第四SQL序列；根据所述数据解析模块解析的所述OUTPUT对象中指定的任务输出数据，生成第五SQL序列；其中，所述第一SQL序列、所述第二SQL序列和所述第三SQL序列作为所述TASK对象中所述子对象的输入。具体地SQL序列表参照方法实施例中的表1至表5。
具体地，所述任务调度模块503，具体用于根据所述数据解析模块501解析的所述RUN对象中指定的作业调度次序，生成各任务的DAG；根据所述DAG将所述序列生成模块502生成的所述第五SQL序列进行发送。
图6为本发明实施例中运行MapReduce作业的数据库服务器，所述数据库服务器包括：主控节点601和数据节点602，其中，所述数据节点602为一个以上。
具体地，所述主控节点601包括：序列解析模块6011和任务分发模块6012；其中，
所述序列解析模块6011，用于接收根据MapReduce对象中指定的MapReduce数据生成的SQL序列，并对所述SQL序列进行解析，生成任务计划；
所述任务分发模块6012，用于向所述数据节点602分发所述序列解析模块6011生成的所述任务计划。
所述数据节点602包括：任务执行模块6021，用于对所述主控节点601发送的所述任务计划进行执行操作，并返回所述任务计划的执行结果。
图7为本发明实施例中运行MapReduce作业的系统，所述系统包括：客户端服务器701和数据库服务器702；
其中，所述客户端服务器701，用于创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；根据所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；并根据DAG将所述SQL序列向所述数据库服务器702发送；
所述数据库服务器702，用于接收所述客户端服务器701发送的所述SQL序列，并对所述SQL序列进行解析，生成任务计划；分发并执行所述任务计划。
具体地，所述客户端服务器701通过外部网络将用户撰写的并行处理作业提交至所述数据库服务器702中的主控节点(master)，并通过所述主控节点监控MapReduce作业状态和执行结果。所述数据库服务器702中的所述主控节点用于管理所述数据库服务器702中所有的数据节点(worker)，并自动将用户的MapReduce作业分解为Map任务和Reduce任务，通过内部网络将所述MapReduce作业的任务计划分发到各数据节点。各数据节点用于向主控节点请求执行任务，同时多个数据节点组成的分布式数据库系统用于存储MapReduce作业的输入/输出数据，并在所述任务执行结束时，向所述客户端服务器701返回执行结果。
这里，所述客户端服务器701可以为如图5所描述的客户端服务器；所述数据库服务器702可以为如图6描述的数据库服务器。
本发明实施例与现有技术相比，支持自定义的MapReduce函数，不局限于内置的映射关系。另外，由于分布式关系型的所述数据库服务器支持自定义函数创建，所以在执行自定义函数节点上能执行相应的自定义函数，从而使得本发明实施例提供的技术方案的通用性更强。再者，本发明实施例中还支持多MapReduce任务，更加符合现有的MapReduce作业的编写方式。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (14)

1.一种运行MapReduce作业的方法，其特征在于，所述方法包括：
创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；其中，所述对所述MapReduce作业描述文件进行解析，并生成相应的MapReduce对象，包括：根据解析后的所述MapReduce作业描述文件，生成与所述MapReduce作业描述文件对应的INPUT对象、OUTPUT对象、MAPPER对象、REDUCER对象、TASK对象和RUN对象；其中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象均为一个以上；
根据所述MapReduce对象中指定的MapReduce数据，生成相应的结构化查询语言SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；
根据所述RUN对象中指定的作业调度次序，生成各任务的有向无环图DAG，根据有向无环图DAG将所述SQL序列进行发送。
2.根据权利要求1所述的方法，其特征在于，所述根据所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列，包括：
根据所述INPUT对象中指定的任务输入源数据，生成第一SQL序列；
根据所述MAPPER对象中指定的映射函数，对所述任务输入源数据进行映射运算，并生成第二SQL序列；
根据所述REDUCER对象中指定的化简函数，对所述任务输入源数据进行化简运算，并生成第三SQL序列；
根据所述TASK对象中指定的子对象，确定与所述任务输入源数据对应的映射键值和化简键值，并生成第四SQL序列；
根据所述OUTPUT对象中指定的任务输出数据，生成第五SQL序列；
其中，所述第一SQL序列、所述第二SQL序列和所述第三SQL序列作为所述TASK对象中所述子对象的输入。
3.根据权利要求2所述的方法，其特征在于，所述根据所述RUN对象中指定的作业调度次序，生成各任务的有向无环图DAG，根据有向无环图DAG将所述SQL序列进行发送，包括：
根据所述有向无环图DAG将所述第五SQL序列进行发送。
4.一种运行MapReduce作业的方法，其特征在于，所述方法包括：
通过主控节点接收根据MapReduce对象中指定的MapReduce数据生成的SQL序列，并对所述SQL序列进行解析，生成任务计划；其中，所述主控节点还用于获取各数据节点发送的心跳，监控所述各数据节点的状态；所述MapReduce对象为：创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成的相应的MapReduce对象；所述SQL序列中包括至少一个MapReduce任务；
向所述各数据节点分发所述任务计划，并对所述任务计划进行执行操作。
5.根据权利要求4所述的方法，其特征在于，在所述对所述任务计划进行执行操作之后，所述方法还包括：
返回所述任务计划的执行结果。
6.一种运行MapReduce的客户端，其特征在于，所述客户端包括：
数据解析模块、序列生成模块和任务调度模块；其中，
所述数据解析模块，用于创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；其中，所述数据解析模块，具体用于根据解析后的所述MapReduce作业描述文件，生成与所述MapReduce作业描述文件对应的INPUT对象、OUTPUT对象、MAPPER对象、REDUCER对象、TASK对象和RUN对象；其中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象均为一个以上；
所述序列生成模块，用于根据所述数据解析模块生成的所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；
所述任务调度模块，用于根据所述RUN对象中指定的作业调度次序，生成各任务的有向无环图DAG，根据DAG将所述序列生成模块生成的所述SQL序列进行发送。
7.根据权利要求6所述的客户端，其特征在于，所述序列生成模块，具体用于根据所述数据解析模块解析的所述INPUT对象中指定的任务输入源数据，生成第一SQL序列；
根据所述数据解析模块解析的所述MAPPER对象中指定的映射函数，对所述任务输入源数据进行映射运算，并生成第二SQL序列；
根据所述数据解析模块解析的所述REDUCER对象中指定的化简函数，对所述任务输入源数据进行化简运算，并生成第三SQL序列；
根据所述数据解析模块解析的所述TASK对象中指定的子对象，确定与所述任务输入源数据对应的映射键值和化简键值，并生成第四SQL序列；
根据所述数据解析模块解析的所述OUTPUT对象中指定的任务输出数据，生成第五SQL序列；
其中，所述第一SQL序列、所述第二SQL序列和所述第三SQL序列作为所述TASK对象中所述子对象的输入。
8.根据权利要求7所述的客户端，其特征在于，所述任务调度模块，具体用于根据所述DAG将所述序列生成模块生成的所述第五SQL序列进行发送。
9.一种运行MapReduce作业的数据库服务器，其特征在于，所述数据库服务器包括：
主控节点和数据节点；其中，
所述主控节点，用于接收根据MapReduce对象中指定的MapReduce数据生成的SQL序列，并对所述SQL序列进行解析，生成任务计划，向所述数据节点分发所述任务计划，并获取各数据节点发送的心跳，监控所述各数据节点的状态；其中，所述MapReduce对象为：创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成的相应的MapReduce对象；所述SQL序列中包括至少一个MapReduce任务；
所述数据节点，用于对所述主控节点发送的所述任务计划进行执行操作，定期向所述主控节点发送心跳并返回所述任务计划的执行结果。
10.根据权利要求9所述的服务器，其特征在于，所述主控节点包括：序列解析模块和任务分发模块；其中，
所述序列解析模块，用于接收SQL序列，并对所述SQL序列进行解析，生成任务计划；
所述任务分发模块，用于向所述数据节点分发所述序列解析模块生成的所述任务计划。
11.根据权利要求9所述的服务器，其特征在于，所述数据节点包括：任务执行模块，用于对所述主控节点发送的所述任务计划进行执行操作，并返回所述任务计划的执行结果。
12.根据权利要求9所述的服务器，其特征在于，所述数据节点包括一个以上。
13.一种运行MapReduce作业的系统，其特征在于，所述系统包括：客户端和数据库服务器，其中，
所述客户端，用于创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；其中，所述对所述MapReduce作业描述文件进行解析，并生成相应的MapReduce对象，包括：根据解析后的所述MapReduce作业描述文件，生成与所述MapReduce作业描述文件对应的INPUT对象、OUTPUT对象、MAPPER对象、REDUCER对象、TASK对象和RUN对象；其中，所述INPUT对象、所述OUTPUT对象、所述MAPPER对象、所述REDUCER对象和所述TASK对象均为一个以上；根据所述MapReduce对象中指定的MapReduce数据，生成相应的SQL序列；其中，所述SQL序列中包括至少一个MapReduce任务；根据所述RUN对象中指定的作业调度次序，生成各任务的有向无环图DAG，并根据DAG将所述SQL序列向所述数据库服务器发送；
所述数据库服务器，用于接收所述客户端发送的所述SQL序列，并对所述SQL序列进行解析，生成任务计划；所述SQL序列中包括至少一个MapReduce任务；分发并执行所述任务计划。
14.根据权利要求13所述的系统，其特征在于，所述客户端为权利要求6至8任一项所述的客户端；
所述服务器为权利要求9至12任一项所述的服务器。
CN201611249643.5A 2016-12-29 2016-12-29 一种运行MapReduce作业的方法、装置及系统 Active CN108614731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611249643.5A CN108614731B (zh) 2016-12-29 2016-12-29 一种运行MapReduce作业的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611249643.5A CN108614731B (zh) 2016-12-29 2016-12-29 一种运行MapReduce作业的方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108614731A CN108614731A (zh) 2018-10-02
CN108614731B true CN108614731B (zh) 2022-06-28

Family

ID=63658456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611249643.5A Active CN108614731B (zh) 2016-12-29 2016-12-29 一种运行MapReduce作业的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN108614731B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609451A (zh) * 2012-01-11 2012-07-25 华中科技大学 面向流式数据处理的sql查询计划生成方法
CN104951286A (zh) * 2014-03-25 2015-09-30 阿里巴巴集团控股有限公司 一种将MapReduce转换为SQL的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609451A (zh) * 2012-01-11 2012-07-25 华中科技大学 面向流式数据处理的sql查询计划生成方法
CN104951286A (zh) * 2014-03-25 2015-09-30 阿里巴巴集团控股有限公司 一种将MapReduce转换为SQL的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向流式处理的SQL查询计划生成技术研究;刘述曦;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130715;第8-28页 *

Also Published As

Publication number Publication date
CN108614731A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
Blinowski et al. Monolithic vs. microservice architecture: A performance and scalability evaluation
CN109690524B (zh) 分布式事件处理系统中的数据序列化
US9292502B2 (en) Modular platform for web applications and systems
Murray et al. {CIEL}: A universal execution engine for distributed {Data-Flow} computing
CN108243012B (zh) 在线计费系统ocs中计费应用处理系统、方法及装置
CN109117252B (zh) 基于容器的任务处理的方法、系统及容器集群管理系统
CN113220431B (zh) 跨云的分布式数据任务调度方法、设备及存储介质
CN109726004B (zh) 一种数据处理方法及装置
US10949218B2 (en) Generating an execution script for configuration of a system
CN110249312B (zh) 用于将数据集成作业从源框架转换到目标框架的方法和系统
CN110716802A (zh) 一种跨集群的任务调度系统及方法
Miller et al. Open source big data analytics frameworks written in scala
CN114265680A (zh) 一种海量数据处理方法、装置、电子设备及存储介质
CN114691050B (zh) 基于kubernetes的云原生存储方法、装置、设备及介质
CN113806429A (zh) 基于大数据流处理框架的画布式日志分析方法
CN114253798A (zh) 指标数据采集方法和装置、电子设备、存储介质
US11334461B2 (en) Distributed application resource determination based on performance metrics
CN106843822B (zh) 一种执行代码生成方法及设备
Uskenbayeva et al. Integrating of data using the Hadoop and R
CN108614731B (zh) 一种运行MapReduce作业的方法、装置及系统
US9059992B2 (en) Distributed mobile enterprise application platform
CN111597200A (zh) 数据处理方法、装置及存储介质
Diez Dolinski et al. Distributed simulation of P systems by means of map-reduce: first steps with Hadoop and P-Lingua
CN112181403B (zh) 开发运维一体化实现方法、装置、设备及可读存储介质
Al-Obeidat et al. A microservices persistence technique for cloud-based online social data analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant