CN104462315A - 一种实现lustre文件系统对云渲染农场支持的方案 - Google Patents

一种实现lustre文件系统对云渲染农场支持的方案 Download PDF

Info

Publication number
CN104462315A
CN104462315A CN201410715941.3A CN201410715941A CN104462315A CN 104462315 A CN104462315 A CN 104462315A CN 201410715941 A CN201410715941 A CN 201410715941A CN 104462315 A CN104462315 A CN 104462315A
Authority
CN
China
Prior art keywords
file system
lustre
farm
cloud
scheme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410715941.3A
Other languages
English (en)
Inventor
陈哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201410715941.3A priority Critical patent/CN104462315A/zh
Publication of CN104462315A publication Critical patent/CN104462315A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种实现lustre文件系统对云渲染农场支持的方案，所述方案通过lustre文件系统应用到云渲染农场中，并且实现数据的统一存储及管理；Lustre文件系统搭建完毕后，采用linux自带的共享服务，映射lustre文件系统存储空间至云渲染；农场集群所包含的全部节点中，当有数据需要存储时，云渲染农场节点会自动写入lustre文件系统。本发明具有写入数据高并发，高带宽，海量存储，数据的统一管理；全局统一命名空间的有益效果。

Description

一种实现lustre文件系统对云渲染农场支持的方案
技术领域
本发明涉及计算机技术领域，具体涉及一种实现lustre文件系统对云渲染农场支持的方案。
背景技术
云渲染农场是一种通俗叫法，是一种分布式并行计算系统，是一种利用现有设备通过高速互联网络搭建而来的高性能计算集群。
云渲染的模式与常规的云计算类似，即将3D程序放在远程的服务器中渲染，用户终端通过Web软件并借助高速互联网接入访问资源，指令从用户终端中发出，服务器根据指令执行对应的渲染任务，而渲染结果画面则被传送回用户终端中加以显示。
云渲染农场是指客户自己动手上传递交文件和发布渲染任务，渲染全程需要客户自己操作。国外的渲染农场，在几年前就已经出现了云渲染农场这种模式。由于这种模式需要渲染农场本身具备强大的软件研发能力，技术与资金门槛比较高。
Lustre并行文件系统是有美国能源部及intel公司开发的一种linux文件系统，具备高并发、读写快等优点，全世界前500名超级计算机有90%采用此文件系统。
Lustre名字是由Linux和Clusters演化而来，是为解决海量存储问题而设计的全新文件系统。是下一代的集群文件系统，可支持10,000个节点，PB的存储量，100GB/S的传输速度，完美的安全性和可管理性。
在集群里，一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一的命名空间。厂商们也已经制造了一些软件和硬件设备，它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共享其他用户的数据，而无需考虑是什么介质或其所处的是哪台主机。
发明内容
本发明要解决的技术问题是：本发明的目的是有效解决云渲染农场集群因存储性能导致数据写入和存储时间过长问题，提供高并发、高读写方案。
本发明所采用的技术方案为：
一种实现lustre文件系统对云渲染农场支持的方案，所述方案通过lustre文件系统应用到云渲染农场中，并且实现数据的统一存储及管理；Lustre文件系统搭建完毕后，采用linux自带的共享服务，映射lustre文件系统存储空间至云渲染；农场集群所包含的全部节点中，当有数据需要存储时，云渲染农场节点会自动写入lustre文件系统。
所述方案将多个linux系统的存储服务器组件并行文件系统采用smb共享方式映射给云渲染农场集群中的各节点中。
云渲染农场使用共享目录方式进行挂载lustre并行文件系统方案如下：
     1）并行文件系统节点安装linux操作系统，升级lustre内核及安装所需rpm软件安装包；
     2）规划lustre文件系统实施方案，确定组成文件系统服务器的具体作用，规划RAID阵列模式及空间大小；
     3）搭建lustre并行文件系统；
     4）linux服务器挂载lustre文件系统，并设置系统自带的smb共享服务；
     5）云渲染农场所有机器采用共享文件夹方案进行lustre文件系统的挂载。
本发明有益效果：
1）写入数据高并发，当多节点写数据至并行文件系统，有效的提高了并发数量；
2）高带宽，经渲染后的图像文件因为精度较高故单个文件较大，而luster文件系统的主要优点就是对大文件的支持较好；
3）海量存储，luster文件系统是由多个存储服务器搭建而成，并把多个存储服务器的存储空间进行整合；
4）数据的统一管理；
5）全局统一命名空间。
附图说明
图1为lustre文件系统的组成示意图；
图2为云渲染农场集群拓扑示意图；
图3为本发明方案的各组件创建示意图。
具体实施方式
下面根据说明书附图，结合具体实施例，对本发明进一步说明：
如图1所示，lustre文件系统的组成包括一个MDS（元数据服务器Metadata Server），一个OSS，和一个Client，MDS服务于一个MDT，OSS服务于三个OST。如图2所示，所有节点通过高速网络进行互联，管理节点作用为分发任务给渲染节点进行渲染计算。
一种实现lustre文件系统对云渲染农场支持的方案，所述方案通过lustre文件系统应用到云渲染农场中，并且实现数据的统一存储及管理；Lustre文件系统搭建完毕后，采用linux自带的共享服务，映射lustre文件系统存储空间至云渲染；农场集群所包含的全部节点中，当有数据需要存储时，云渲染农场节点会自动写入lustre文件系统。
所述方案将多个linux系统的存储服务器组件并行文件系统采用smb共享方式映射给云渲染农场集群中的各节点中。
云渲染农场使用共享目录方式进行挂载lustre并行文件系统方案如下：
     1）：并行文件系统节点安装linux操作系统，升级lustre内核及安装所需rpm软件安装包；
     2）：规划lustre文件系统实施方案，确定组成文件系统服务器的具体作用，规划RAID阵列模式及空间大小；
     3）:搭建lustre并行文件系统；
     4）：linux服务器挂载lustre文件系统，并设置系统自带的smb共享服务；
     5）：云渲染农场所有机器采用共享文件夹方案进行lustre文件系统的挂载。

Claims (3)

1.一种实现lustre文件系统对云渲染农场支持的方案，其特征在于：所述方案通过lustre文件系统应用到云渲染农场中，并且实现数据的统一存储及管理；Lustre文件系统搭建完毕后，采用linux自带的共享服务，映射lustre文件系统存储空间至云渲染；农场集群所包含的全部节点中，当有数据需要存储时，云渲染农场节点会自动写入lustre文件系统。
2.根据权利要求1所述的一种实现lustre文件系统对云渲染农场支持的方案，其特征在于：所述方案将多个linux系统的存储服务器组件并行文件系统采用smb共享方式映射给云渲染农场集群中的各节点中。
3.根据权利要求1所述的一种实现lustre文件系统对云渲染农场支持的方案，其特征在于，云渲染农场使用共享目录方式进行挂载lustre并行文件系统方案如下：
     1）并行文件系统节点安装linux操作系统，升级lustre内核及安装所需rpm软件安装包；
     2）规划lustre文件系统实施方案，确定组成文件系统服务器的具体作用，规划RAID阵列模式及空间大小；
     3）搭建lustre并行文件系统；
     4）linux服务器挂载lustre文件系统，并设置系统自带的smb共享服务；
     5）云渲染农场所有机器采用共享文件夹方案进行lustre文件系统的挂载。
CN201410715941.3A 2014-12-02 2014-12-02 一种实现lustre文件系统对云渲染农场支持的方案 Pending CN104462315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410715941.3A CN104462315A (zh) 2014-12-02 2014-12-02 一种实现lustre文件系统对云渲染农场支持的方案

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410715941.3A CN104462315A (zh) 2014-12-02 2014-12-02 一种实现lustre文件系统对云渲染农场支持的方案

Publications (1)

Publication Number Publication Date
CN104462315A true CN104462315A (zh) 2015-03-25

Family

ID=52908350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410715941.3A Pending CN104462315A (zh) 2014-12-02 2014-12-02 一种实现lustre文件系统对云渲染农场支持的方案

Country Status (1)

Country Link
CN (1) CN104462315A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430096A (zh) * 2015-12-22 2016-03-23 曙光信息产业(北京)有限公司 并行文件系统的自动安装方法及装置
CN111625513A (zh) * 2020-05-11 2020-09-04 紫光云技术有限公司 一种文件存储网关的实现方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202261410U (zh) * 2011-10-18 2012-05-30 广州五舟信息科技有限公司 渲染农场高性能集群系统
CN202662000U (zh) * 2012-05-09 2013-01-09 上海幻维数码创意科技有限公司 一种渲染农场节点虚拟化部署装置
CN102932455A (zh) * 2012-11-01 2013-02-13 广州市品高软件开发有限公司 基于云计算渲染农场的构建方法
CN103258249A (zh) * 2012-02-20 2013-08-21 上海水晶石信息技术有限公司 基于项目制管理的网络渲染方法及装置
CN103389909A (zh) * 2012-05-09 2013-11-13 上海幻维数码创意科技有限公司 一种渲染农场节点虚拟化部署系统及其应用
CN103617062A (zh) * 2013-12-05 2014-03-05 山东大学 一种柔性的渲染集群动态部署系统与方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202261410U (zh) * 2011-10-18 2012-05-30 广州五舟信息科技有限公司 渲染农场高性能集群系统
CN103258249A (zh) * 2012-02-20 2013-08-21 上海水晶石信息技术有限公司 基于项目制管理的网络渲染方法及装置
CN202662000U (zh) * 2012-05-09 2013-01-09 上海幻维数码创意科技有限公司 一种渲染农场节点虚拟化部署装置
CN103389909A (zh) * 2012-05-09 2013-11-13 上海幻维数码创意科技有限公司 一种渲染农场节点虚拟化部署系统及其应用
CN102932455A (zh) * 2012-11-01 2013-02-13 广州市品高软件开发有限公司 基于云计算渲染农场的构建方法
CN103617062A (zh) * 2013-12-05 2014-03-05 山东大学 一种柔性的渲染集群动态部署系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李谦 等: "渲染农场研究进展综述", 《计算机应用研究》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430096A (zh) * 2015-12-22 2016-03-23 曙光信息产业(北京)有限公司 并行文件系统的自动安装方法及装置
CN111625513A (zh) * 2020-05-11 2020-09-04 紫光云技术有限公司 一种文件存储网关的实现方法

Similar Documents

Publication Publication Date Title
US11042311B2 (en) Cluster system with calculation and storage converged
US10432464B2 (en) Creating new cloud resource instruction set architecture
KR102457611B1 (ko) 터넌트-어웨어 스토리지 쉐어링 플랫폼을 위한 방법 및 장치
CN108885582B (zh) 存储器池结构的多租户存储器服务
CN102255962B (zh) 一种分布式存储方法、装置和系统
Feller et al. Performance and energy efficiency of big data applications in cloud environments: A Hadoop case study
US9864759B2 (en) System and method for providing scatter/gather data processing in a middleware environment
Tudoran et al. A performance evaluation of azure and nimbus clouds for scientific applications
US10528527B2 (en) File management in thin provisioning storage environments
Tarasov et al. In search of the ideal storage configuration for Docker containers
CN102467408A (zh) 一种虚拟机数据的访问方法和设备
CN103389884A (zh) 处理输入/输出请求的方法、宿主机、服务器和虚拟机
CN102664923A (zh) 一种利用Linux全局文件系统实现共享存储池的方法
CN104731907A (zh) 基于nosql的数据存储方法
CN105138281B (zh) 一种物理磁盘的共享方法及装置
CN105468296A (zh) 基于虚拟化平台的无共享存储管理方法
CN104410666A (zh) 云计算下实现异构存储资源管理的方法及系统
CN114564339A (zh) 一种磁盘镜像文件跨平台迁移方法及系统
Islam et al. Efficient data access strategies for Hadoop and Spark on HPC cluster with heterogeneous storage
US9690728B1 (en) Burst buffer appliance comprising multiple virtual machines
Al Maruf et al. Memory disaggregation: advances and open challenges
CN108234551A (zh) 一种数据处理方法及装置
Saini et al. An application-based performance evaluation of nasa's nebula cloud computing platform
CN104462315A (zh) 一种实现lustre文件系统对云渲染农场支持的方案
CN107040596A (zh) 基于大数据云计算的科技服务生态系统平台的构建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150325

RJ01 Rejection of invention patent application after publication