CN103279330A - 一种基于虚拟机GPU计算下的MapReduce并行编程模型 - Google Patents

一种基于虚拟机GPU计算下的MapReduce并行编程模型 Download PDF

Info

Publication number
CN103279330A
CN103279330A CN2013101778129A CN201310177812A CN103279330A CN 103279330 A CN103279330 A CN 103279330A CN 2013101778129 A CN2013101778129 A CN 2013101778129A CN 201310177812 A CN201310177812 A CN 201310177812A CN 103279330 A CN103279330 A CN 103279330A
Authority
CN
China
Prior art keywords
gpu
virtual machine
mapreduce
model
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101778129A
Other languages
English (en)
Inventor
秦谦
袁家斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Mingtong Tech Co Ltd
Original Assignee
Jiangsu Mingtong Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Mingtong Tech Co Ltd filed Critical Jiangsu Mingtong Tech Co Ltd
Priority to CN2013101778129A priority Critical patent/CN103279330A/zh
Publication of CN103279330A publication Critical patent/CN103279330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Generation (AREA)

Abstract

本发明公开了一种基于虚拟机GPU计算下的MapReduce并行编程模型。该模型结合CPU+GPU异构体系结构的特征，通过将任务追踪器TaskTracker计算任务模块划分成两块，一块是CPU调用模块，另一块是GPU计算模块，由GPU完成细粒度层次的大规模数据并行计算任务。该模型在虚拟机层面采用C/S模式，引入CUDA管理端，构成一个计算节点可动态加入、计算资源可动态伸缩的管理系统，实现虚拟机上多块GPU卡上的单任务并行计算。该模型将MapReduce和GPU双重并行模型以及虚拟化技术引入云平台，能够有效提高计算效率并降低能耗。

Description

一种基于虚拟机GPU计算下的MapReduce并行编程模型
技术领域
本发明涉及一种基于虚拟机GPU计算下的MapReduce并行编程模型，所属计算机软件应用领域。
背景技术
随着云计算技术的不断发展，游戏产业也正在经历一场翻天覆地的变革。通过云计算平台，游戏开发者和游戏运营商可以根据在线玩家数等运营目标来订购合适的服务器、数据库、负载均衡等服务，依据自身需求灵活调整配给资源。目前，基于GPU高性能计算技术在游戏云领域的应用在国内外尚未开创先河，GPU高度并行化计算的特点，不但满足游戏开发中的图形渲染等高性能计算任务的需求，而且还大大降低了功耗和开发成本。在游戏云平台等大规模计算场合应用基于虚拟机GPU计算下的MapReduce并行编程模型，能够有效提高计算速度，降低计算成本。
近年来在硬件技术推动下，GPU（图形处理器）的计算能力和可编程能力得到快速的发展，具有高度并行化计算的特点使得GPU不再局限于日常的图形处理任务，开始涉及更为广泛的高性能通用计算领域。云计算MapReduce模型的基本思想即将大规模计算任务分割成多个子任务进行并行处理，而GPU的并行性更适合于细粒度的并行处理，因此本发明结合二者的优势，引入了基于MapReduce和GPU双重并行的云计算模型，能够为云计算平台应对大规模数据处理提供有力支持。
目前，云平台中MapReduce海量数据处理框架能够通过廉价的普通计算机集群使我们得到过去只有昂贵大型服务器才拥有的大规模数据计算能力，而且在稳定性和扩展性等方面比后者更好，但仍然存在计算能耗较高的现象。因此本发明引入支持基于虚拟机GPU的集群管理系统，将部署在物理机上的云计算平台迁移至虚拟机，虚拟机的资源可控性使得物理资源能够得到充分利用，有效节约能耗，降低计算成本。
发明内容
发明目的：
为了提高云计算平台的计算效率并降低功耗，本发明提出一种基于虚拟机GPU计算下的MapReduce并行编程模型。
技术方案：
一种基于虚拟机GPU计算下的MapReduce并行编程模型，包括一个新型的基于MapReduce和GPU双重并行的云计算模型。基于MapReduce和GPU双重并行的云计算模型中，任务追踪器TaskTracker计算任务模块划分成两块，一块是CPU调用模块，另一块是GPU计算模块，由GPU完成细粒度层次的大规模数据并行计算任务。
有益效果：
本发明将GPU通用计算引入云计算MapReduce模型，利用GPU的高度并行化计算特性对计算量大的map和reduce过程以及MapReduce模型分割出的子任务中适于并行化处理的部分进行并行化加速，形成双重并行效果，进一步提升了云平台的计算效率，能够有效应对大规模计算任务。
附图说明
图1本发明功能模块示意图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
参见图1所示，本发明提供的基于虚拟机GPU计算下的MapReduce并行编程模型，包括一个新型的基于MapReduce和GPU双重并行的云计算模型。基于MapReduce和GPU双重并行的云计算模型中，任务追踪器TaskTracker计算任务模块划分成两块，一块是CPU调用模块，另一块是GPU计算模块，由GPU完成细粒度层次的大规模数据并行计算任务。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于虚拟机GPU计算下的MapReduce并行编程模型，其特征在于包括一个基于MapReduce和GPU双重并行的云计算模型。
2.根据权利要求1所述的基于虚拟机GPU计算下的MapReduce并行编程模型，其特征在于所述基于MapReduce和GPU双重并行的云计算模型中，任务追踪器TaskTracker计算任务模块划分成两块，一块是CPU调用模块，另一块是GPU计算模块，由GPU完成细粒度层次的大规模数据并行计算任务。
CN2013101778129A 2013-05-14 2013-05-14 一种基于虚拟机GPU计算下的MapReduce并行编程模型 Pending CN103279330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013101778129A CN103279330A (zh) 2013-05-14 2013-05-14 一种基于虚拟机GPU计算下的MapReduce并行编程模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013101778129A CN103279330A (zh) 2013-05-14 2013-05-14 一种基于虚拟机GPU计算下的MapReduce并行编程模型

Publications (1)

Publication Number Publication Date
CN103279330A true CN103279330A (zh) 2013-09-04

Family

ID=49061873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013101778129A Pending CN103279330A (zh) 2013-05-14 2013-05-14 一种基于虚拟机GPU计算下的MapReduce并行编程模型

Country Status (1)

Country Link
CN (1) CN103279330A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713938A (zh) * 2013-12-17 2014-04-09 江苏名通信息科技有限公司 虚拟化环境下基于OpenMP的多GPU协同计算方法
CN104216783A (zh) * 2014-08-20 2014-12-17 上海交通大学 云游戏中虚拟gpu资源自主管理与控制方法
US20160078069A1 (en) * 2014-09-11 2016-03-17 Infosys Limited Method for improving energy efficiency of map-reduce system and apparatus thereof
CN105959404A (zh) * 2016-06-27 2016-09-21 江苏易乐网络科技有限公司 一种基于云计算的gpu虚拟化平台
CN106446516A (zh) * 2016-08-30 2017-02-22 江苏名通信息科技有限公司 基于Map‑Reduce的大数据增量真值发现算法
WO2017113277A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 数据处理方法、装置和系统
CN107368375A (zh) * 2016-05-11 2017-11-21 华中科技大学 一种基于MapReduce的K-means聚类算法FPGA加速系统
US9891959B2 (en) 2015-10-30 2018-02-13 International Business Machines Corporation Stage-aware performance modeling for computer cluster sizing
CN107797843A (zh) * 2016-09-02 2018-03-13 华为技术有限公司 一种容器功能增强的方法和装置
CN108694151A (zh) * 2017-04-09 2018-10-23 英特尔公司 通用图形处理单元内的计算集群抢占
US10614541B2 (en) 2017-06-29 2020-04-07 Nvidia Corporation Hybrid, scalable CPU/GPU rigid body pipeline
US11445004B2 (en) 2018-12-17 2022-09-13 Petal Cloud Technology Co., Ltd. Method for processing shared data, apparatus, and server

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060876B2 (en) * 2007-08-10 2011-11-15 Intel Corporation Methods and apparatus for creating an isolated partition for a virtual trusted platform module
CN102404385A (zh) * 2011-10-25 2012-04-04 华中科技大学 面向高性能计算的虚拟集群部署系统和部署方法
CN102662639A (zh) * 2012-04-10 2012-09-12 南京航空航天大学 一种基于Mapreduce的多GPU协同计算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060876B2 (en) * 2007-08-10 2011-11-15 Intel Corporation Methods and apparatus for creating an isolated partition for a virtual trusted platform module
CN102404385A (zh) * 2011-10-25 2012-04-04 华中科技大学 面向高性能计算的虚拟集群部署系统和部署方法
CN102662639A (zh) * 2012-04-10 2012-09-12 南京航空航天大学 一种基于Mapreduce的多GPU协同计算方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713938A (zh) * 2013-12-17 2014-04-09 江苏名通信息科技有限公司 虚拟化环境下基于OpenMP的多GPU协同计算方法
CN104216783B (zh) * 2014-08-20 2017-07-11 上海交通大学 云游戏中虚拟gpu资源自主管理与控制方法
CN104216783A (zh) * 2014-08-20 2014-12-17 上海交通大学 云游戏中虚拟gpu资源自主管理与控制方法
US20160078069A1 (en) * 2014-09-11 2016-03-17 Infosys Limited Method for improving energy efficiency of map-reduce system and apparatus thereof
US10592473B2 (en) * 2014-09-11 2020-03-17 Infosys Limited Method for improving energy efficiency of map-reduce system and apparatus thereof
US9891959B2 (en) 2015-10-30 2018-02-13 International Business Machines Corporation Stage-aware performance modeling for computer cluster sizing
WO2017113277A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 数据处理方法、装置和系统
US10599436B2 (en) 2015-12-31 2020-03-24 Huawei Technologies Co., Ltd. Data processing method and apparatus, and system
CN107368375A (zh) * 2016-05-11 2017-11-21 华中科技大学 一种基于MapReduce的K-means聚类算法FPGA加速系统
CN107368375B (zh) * 2016-05-11 2019-11-12 华中科技大学 一种基于MapReduce的K-means聚类算法FPGA加速系统
CN105959404A (zh) * 2016-06-27 2016-09-21 江苏易乐网络科技有限公司 一种基于云计算的gpu虚拟化平台
CN106446516A (zh) * 2016-08-30 2017-02-22 江苏名通信息科技有限公司 基于Map‑Reduce的大数据增量真值发现算法
CN107797843A (zh) * 2016-09-02 2018-03-13 华为技术有限公司 一种容器功能增强的方法和装置
CN107797843B (zh) * 2016-09-02 2021-04-20 华为技术有限公司 一种容器功能增强的方法和装置
CN108694151A (zh) * 2017-04-09 2018-10-23 英特尔公司 通用图形处理单元内的计算集群抢占
US10614541B2 (en) 2017-06-29 2020-04-07 Nvidia Corporation Hybrid, scalable CPU/GPU rigid body pipeline
US11445004B2 (en) 2018-12-17 2022-09-13 Petal Cloud Technology Co., Ltd. Method for processing shared data, apparatus, and server

Similar Documents

Publication Publication Date Title
CN103279330A (zh) 一种基于虚拟机GPU计算下的MapReduce并行编程模型
CN102891896B (zh) 用于物联网海量存储的云计算基础架构系统
Liu et al. A PSO-based algorithm for load balancing in virtual machines of cloud computing environment
CN102611622B (zh) 一种弹性云计算平台下工作负载的调度方法
CN102567080B (zh) 一种云计算环境中的面向负载均衡的虚拟机择位系统
CN102521012A (zh) 基于虚拟机的gpu集群管理系统
CN102404412A (zh) 云计算数据中心节能方法及系统
CN103049241A (zh) 一种提高cpu+gpu异构装置计算性能的方法
CN103336672A (zh) 数据读取方法、装置及计算设备
CN103309745A (zh) 云架构的虚拟资源配置的方法及装置
CN108874508A (zh) 一种云计算虚拟服务器系统负载均衡调度方法
CN104156271B (zh) 一种协同计算集群负载均衡的方法及系统
CN102073618A (zh) 一种异构计算系统及其处理方法
CN102420850A (zh) 一种资源调度方法及系统
CN103049322A (zh) 一种针对拓扑关系并行计算的矢量目标集均衡划分方法
CN116303219A (zh) 一种网格文件的获取方法、装置及电子设备
CN202856795U (zh) 用于物联网存储的云计算基础架构系统
Kumar et al. Power and data aware best fit algorithm for energy saving in cloud computing
Khan et al. Cost Optimization Technique of Task Allocation in Heterogeneous Distributed Computing System
CN103020197B (zh) 网格仿真平台及网格仿真方法
Chen et al. Optimization of the overload detection algorithm for virtual machine consolidation
Hwang et al. Hardware Interrupt and CPU Contention aware CPU/GPU Co-Scheduling on Multi-Cluster System
CN105045768A (zh) 一种实现gmres算法的方法和系统
CN111427687A (zh) 一种人工智能云平台
Singh et al. Optimizing energy consumption for cloud computing: A cluster and migration based approach (CMBA)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130904