CN107707582A - 一种基于Host-Device架构的MapReduce计算方法 - Google Patents

一种基于Host-Device架构的MapReduce计算方法 Download PDF

Info

Publication number
CN107707582A
CN107707582A CN201511035837.0A CN201511035837A CN107707582A CN 107707582 A CN107707582 A CN 107707582A CN 201511035837 A CN201511035837 A CN 201511035837A CN 107707582 A CN107707582 A CN 107707582A
Authority
CN
China
Prior art keywords
host
nodes
mapreduce
task
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511035837.0A
Other languages
English (en)
Inventor
张京梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dian Zan Science And Technology Ltd
Original Assignee
Beijing Dian Zan Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dian Zan Science And Technology Ltd filed Critical Beijing Dian Zan Science And Technology Ltd
Priority to CN201511035837.0A priority Critical patent/CN107707582A/zh
Publication of CN107707582A publication Critical patent/CN107707582A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开一种基于Host‑Device架构的MapReduce计算方法，高密度计算服务器的总体计算节点包含有Host节点、Device节点，Host节点为服务器的主核心，Device节点为通过高速总线与Host进行交互的计算子节点；利用PCIe总线实现MapReduce算法，在物理传输上就有限于网络传输，PCIex8基本传输速率为16Gbps远高于1Gbps的网络架构，理论速度为其16倍，利用GPU算法优化Map函数，GPU资源的使用既可以有效释放CPU，同时其高度并行的计算方式使各种数学统计类算法、多媒体处理类算法得到重大加速提高，设计新颖，是一种很好的创新方案，很有市场推广前景。

Description

一种基于Host-Device架构的MapReduce计算方法
技术领域
本发明涉计算机数据处理领域，特别是涉及一种基于Host-Device架构的MapReduce计算方法。
背景技术
基于互联网的大数据计算分析架构方案，但其中也存在一些问题。主要体现在，1)数据处理的方式主要为离线处理，数据本身与计算实体之间存在物理间隔，并以网络联系。以Hadoop为例，其内部MapReduce架构建立在HDFS分布式存储之上，分布式存储以网络交换实现，因此这种框架很大程度上受限于网络和存储的IO速度。2)不适应新型高密度计算服务器的计算环境。这里描述的新型高密度计算服务器是指当下在一个4U或2U的机柜机箱内部存在多达数十个计算处理节点，其之间的链接既有网络形式，又可以有其他高速总线方式。其最大的特点就是数据存储和处理已经可以使用高速的线和内存来解决，在这种计算环境下传统的MapReduce大数据计算架构已经不再适合了。
综上所述，针对现有技术的缺陷，特别需要一种基于Host-Device架构的MapReduce计算方法，以解决现有技术的不足。
发明内容
针对现有技术中计算机数据处理中存在的不足，影响实际的处理效果，本发明提出一种基于Host-Device架构的MapReduce计算方法，设计新颖，以提高大数据分析的实时性、数据吞吐速，解决实效性问题，已解决现有技术的缺陷。
为了实现上述目的，本发明的技术方案如下：
一种基于Host-Device架构的MapReduce计算方法，高密度计算服务器的总体计算节点包含有Host节点、Device节点，Host节点为服务器的主核心，Device节点为通过高速总线与Host进行交互的计算子节点；
Host节点的任务：
c.服务器主CPU。；
d.负责所有Task作业的调度和管理；
提供对外所有扩展接口；
Device节点的任务；
e.服务器的辅助计算CPU或者GPU；
f.负责执行计算Host节点下发的计算任务；
g.其上部署嵌入式操作系统和MapReduce运行代理；
h.每个Device节点与Host节点之间通过高速总线连接。
进一步，每个高密度服务器是由一个Host节点加多个Device节点构成。
MapReduce计算方法的主要运行步骤：
a.向Master-Host节点提交User Program作业处理任务；
b.Host节点根据现有Device资源使用情况，分配执行任务的MapNode-Device节点和PCIe总线处理时隙；
c.Device节点通过PCIe总线获取待处理数据；
d.Device节点运算处理；
e.Device节点根据任务规则向Host节点提交任务结果及状态。
本发明的有益效果是：本产品利用PCIe总线实现MapReduce算法，在物理传输上就有限于网络传输，PCIe x8基本传输速率为16Gbps远高于1Gbps的网络架构，理论速度为其16倍，利用GPU算法优化Map函数，GPU资源的使用既可以有效释放CPU，同时其高度并行的计算方式使各种数学统计类算法、多媒体处理类算法得到重大加速提高，设计新颖，是一种很好的创新方案，很有市场推广前景。
附图说明
下面结合附图和具体实施方式来详细说明本发明：
图1为本发明的高密度服务器计算模型示意图。
图2为本发明的MapReduce原理架构示意图。
图3为本发明的HD-MapReduce架构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1、一种基于Host-Device架构的MapReduce计算方法，高密度计算服务器的总体计算节点包含有Host节点、Device节点，Host节点为服务器的主核心，Device节点为通过高速总线与Host进行交互的计算子节点；
Host节点的任务：
e.服务器主CPU。；
f.负责所有Task作业的调度和管理；
提供对外所有扩展接口；
Device节点的任务；
i.服务器的辅助计算CPU或者GPU；
j.负责执行计算Host节点下发的计算任务；
k.其上部署嵌入式操作系统和MapReduce运行代理；
1.每个Device节点与Host节点之间通过高速总线连接。
另外，每个高密度服务器是由一个Host节点加多个Device节点构成。
参见图2、图3针对高密度服务器本发明主要进行了以下方面技术创新：
a.编写了全新的底层总线交互驱动，以总线交换的方式取代了原有的网络交换方式，因为Host节点和Device节点之间是采用PCIe总线方式连接，与普通的采用网络连接方式实现的MapReduce架构在任务分配、数据传递中使用的资源是不同的，PCIe具有时分专用性，所以需要时间同步和定点指向，也就是说计算架构中的每个节点是采用PCIe总线方式进行进行获取数据及交换处理结果的，所以本方法实现了通过PCIe总线加载读取、交换数据的驱动模式，这样可以使得每个Node节点可以通过PCIe总线向Master节点请求获取处理数据，以及通过PCIe总线方式向Master提交reduce处理结果。
b.编写了全新的计算资源调度管理模块，以实现配合在单一Host节点下同时运行管理多个作业任务。总体规划中Host节点只有一个，在多任务处理时候每一个任务分到的Device计算资源是不确定的，同时调度需要综合处理整个服务器的性能。
c.在MapReduce架构中增加了对GPU计算支持的加速计算模块。如基于GPU的视频处理处理算法、基于GPU的图像处理算法，基于GPU的机器学习算法等。
要计算流程及理论速度对比：
a.向Master-Host节点提交User Program作业处理任务；
b.Host节点根据现有Device资源使用情况，分配执行任务的MapNode-Device节点和PCIe总线处理时隙；
c.Device节点通过PCIe总线获取待处理数据；
d.Device节点运算处理；
e.Device节点根据任务规则向Host节点提交任务结果及状态。
本产品利用PCIe总线实现MapReduce算法，在物理传输上就有限于网络传输，PCIe x8基本传输速率为16Gbps远高于1Gbps的网络架构，理论速度为其16倍，利用GPU算法优化Map函数，GPU资源的使用既可以有效释放CPU，同时其高度并行的计算方式使各种数学统计类算法、多媒体处理类算法得到重大加速提高，设计新颖，是一种很好的创新方案，很有市场推广前景。
具有MapReduce并行计算吞吐量大，解决实时性问题，新型高密度计算服务器匹配等优点。
本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种基于Host-Device架构的MapReduce计算方法，其特征在于：高密度计算服务器的总体计算节点包含有Host节点、Device节点，Host节点为服务器的主核心，Device节点为通过高速总线与Host进行交互的计算子节点；
Host节点的任务：
a.服务器主CPU。；
b.负责所有Task作业的调度和管理；
提供对外所有扩展接口；
Device节点的任务；
a.服务器的辅助计算CPU或者GPU；
b.负责执行计算Host节点下发的计算任务；
c.其上部署嵌入式操作系统和MapReduce运行代理；
d.每个Device节点与Host节点之间通过高速总线连接。
2.根据权利要求1所述一种基于Host-Device架构的MapReduce计算方法，其特征在于：每个高密度服务器是由一个Host节点加多个Device节点构成。
3.根据权利要求1所述一种基于Host-Device架构的MapReduce计算方法，其特征在于：MapReduce计算方法的主要运行步骤：
a.向Master-Host节点提交User Program作业处理任务；
b.Host节点根据现有Device资源使用情况，分配执行任务的MapNode-Device节点和PCIe总线处理时隙；
c.Device节点通过PCIe总线获取待处理数据；
d.Device节点运算处理；
e.Device节点根据任务规则向Host节点提交任务结果及状态。
CN201511035837.0A 2015-12-30 2015-12-30 一种基于Host-Device架构的MapReduce计算方法 Pending CN107707582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511035837.0A CN107707582A (zh) 2015-12-30 2015-12-30 一种基于Host-Device架构的MapReduce计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511035837.0A CN107707582A (zh) 2015-12-30 2015-12-30 一种基于Host-Device架构的MapReduce计算方法

Publications (1)

Publication Number Publication Date
CN107707582A true CN107707582A (zh) 2018-02-16

Family

ID=61168219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511035837.0A Pending CN107707582A (zh) 2015-12-30 2015-12-30 一种基于Host-Device架构的MapReduce计算方法

Country Status (1)

Country Link
CN (1) CN107707582A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801319A (zh) * 2019-01-03 2019-05-24 杭州电子科技大学 基于Hadoop并行加速的分级图分组配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716381A (zh) * 2013-12-12 2014-04-09 华为技术有限公司 一种分布式系统的控制方法，及管理节点
US20140215178A1 (en) * 2013-01-31 2014-07-31 International Business Machines Corporation Resource management in mapreduce architecture and architectural system
US20140245298A1 (en) * 2013-02-27 2014-08-28 Vmware, Inc. Adaptive Task Scheduling of Hadoop in a Virtualized Environment
CN104123182A (zh) * 2014-07-18 2014-10-29 西安交通大学 基于主从架构的MapReduce任务跨数据中心调度系统及方法
CN104299170A (zh) * 2014-09-29 2015-01-21 华北电力大学（保定） 间歇性能源海量数据处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140215178A1 (en) * 2013-01-31 2014-07-31 International Business Machines Corporation Resource management in mapreduce architecture and architectural system
US20140245298A1 (en) * 2013-02-27 2014-08-28 Vmware, Inc. Adaptive Task Scheduling of Hadoop in a Virtualized Environment
CN103716381A (zh) * 2013-12-12 2014-04-09 华为技术有限公司 一种分布式系统的控制方法，及管理节点
CN104123182A (zh) * 2014-07-18 2014-10-29 西安交通大学 基于主从架构的MapReduce任务跨数据中心调度系统及方法
CN104299170A (zh) * 2014-09-29 2015-01-21 华北电力大学（保定） 间歇性能源海量数据处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘红梅等: "《基于Hadoop数据总线的大学英语教学应用平台研究》", 《嘉应学院学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801319A (zh) * 2019-01-03 2019-05-24 杭州电子科技大学 基于Hadoop并行加速的分级图分组配准方法

Similar Documents

Publication Publication Date Title
CN105912396B (zh) 用于动态地分配可配置计算资源的资源的技术
US10114662B2 (en) Updating processor topology information for virtual machines
Mojumder et al. Profiling dnn workloads on a volta-based dgx-1 system
CN106951926A (zh) 一种混合架构的深度学习系统方法及装置
US10061622B2 (en) Updating memory topology information for virtual machines
CN104636187B (zh) 基于负载预测的numa架构中虚拟机调度方法
CN107967180B (zh) 基于numa虚拟化环境下资源全局亲和度网络优化方法和系统
CN107003905A (zh) 针对可配置计算资源的本地服务链而动态分配资源的技术
CN103197916A (zh) 用于源操作数收集器高速缓存的方法和装置
US9378533B2 (en) Central processing unit, GPU simulation method thereof, and computing system including the same
CN107122244A (zh) 一种基于多gpu的图数据处理系统及方法
CN105260339A (zh) 一种基于Xilinx Zynq技术的大规模PLC系统
CN108021429B (zh) 一种基于numa架构的虚拟机内存及网卡资源亲和度计算方法
US10444813B2 (en) Multi-criteria power management scheme for pooled accelerator architectures
CN109739833A (zh) 一种基于fpga的国产平台数据库加速系统及方法
CN103336672B (zh) 数据读取方法、装置及计算设备
CN113766802A (zh) 用于移动数据中心的智能液体冷却计算舱
JP5307151B2 (ja) リンクに基づくシステムにおけるシステムルーティング情報の変更
CN110908929B (zh) 用于高带宽缩放的一致数据高速缓存
CN101021831A (zh) 面向科学计算的64位流处理器芯片体系结构
CN106202152A (zh) 一种云平台的数据处理方法及系统
Heldens et al. Dynamic load balancing for high-performance graph processing on hybrid cpu-gpu platforms
Geng et al. Rima: an RDMA-accelerated model-parallelized solution to large-scale matrix factorization
CN115244909A (zh) 机器学习加速器中的队列分配
CN107707582A (zh) 一种基于Host-Device架构的MapReduce计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180216

WD01 Invention patent application deemed withdrawn after publication