CN107241426A - 一种基于云计算的本地服务器硬盘的分布式存储系统 - Google Patents

一种基于云计算的本地服务器硬盘的分布式存储系统 Download PDF

Info

Publication number
CN107241426A
CN107241426A CN201710499797.8A CN201710499797A CN107241426A CN 107241426 A CN107241426 A CN 107241426A CN 201710499797 A CN201710499797 A CN 201710499797A CN 107241426 A CN107241426 A CN 107241426A
Authority
CN
China
Prior art keywords
server
storage
hard disk
virtual machine
cloud computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710499797.8A
Other languages
English (en)
Inventor
刘彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Jingwah Science Software Technology Co Ltd
Original Assignee
Xi'an Jingwah Science Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Jingwah Science Software Technology Co Ltd filed Critical Xi'an Jingwah Science Software Technology Co Ltd
Priority to CN201710499797.8A priority Critical patent/CN107241426A/zh
Publication of CN107241426A publication Critical patent/CN107241426A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于云计算的本地服务器硬盘的分布式存储系统，包括有与网络相连的服务器A、服务器B……服务器N；服务器A与虚拟机相连；服务器B与虚拟机相连；服务器N与虚拟机相连；所述的服务器A、服务器B……服务器N中都各设有一硬盘卷、由物理硬盘卷格式化成的存储服务器、存储网关集群、存储集群管理模块；所有的存储器服务器相连后再与服务器B内的存储网关集群相连；存储网关集群与虚拟机相连；每个服务器自带的硬盘，形成整个存储集群和文件系统，来支撑虚拟化平台的使用；解决了集中存储系统单点存储导致的系统瓶颈多、高并发命中率差、I/O峰值不足，价格贵的缺点；具有I/O峰值充足、高并发命中率高、系统稳定、成本低的特点。

Description

一种基于云计算的本地服务器硬盘的分布式存储系统
技术领域
本发明属于计算机技术领域，具体涉及一种基于云计算的本地服务器硬盘的分布式存储系统
背景技术
虚拟化是将所有的计算资源作为资源池的方式分配，以时分的方式进行提供，将进程互相隔离的办法提供给虚拟机进行使用。虚拟化：是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来的，打破实体框线限制的技术。虚拟机：使用虚拟化技术将服务器虚拟化后，可以对外提供服务的虚拟化的服务器。分布式存储系统：将数据分散存储在多台独立的设备上，保证数据的正确性和完整性，并不统一集中在单台存储服务器中的存储系统。
桌面虚拟化是指将计算机的终端系统(也称作桌面)进行虚拟化，以达到桌面使用的安全性和灵活性。可以通过任何设备，在任何地点，任何时间访问，通过网络访问属于我们个人的桌面系统。大部分虚拟化采用传统的网络存储系统。传统的网络存储系统采用集中的存储服务器存放所有数据，操作系统和应用系统几种读取存储中的数据，在实际应用方案中，为了保证存储服务器的可靠性，在数据网络中大都使用了热备存储、线路、交换机等节点的方案来避免单点故障(参见图1)。
在图1所示的方案中，存储1和存储2互相是热备或同时工作的状态，包括存储本身、存储到存储交换机的连接线缆、存储交换机、存储交换机到服务器的连接线缆等全都是双份的，可以保证优秀的可靠性和性能。大部分方案中，存储1和存储2不在同一个地方，更是保证了发生故障或灾难时系统服务的连续性。但是此方案在保证了可靠性，性能和稳定性的同时，价格非常昂贵，大部分企事业单位都很难有财力物力使用本套方案，所以更多的用户选择了图2所示的方案，但图2所示的方案在存储本身可靠性和稳定性存疑的星狂下，保证了存储之外没有单点故障，但是由于大量服务器使用一台存储，那么并发的数据读取对存储使用提出了很高的要求，存储也很难满足高并发读写。而集中存储也没法满足分布式IT架构的带宽要求。并且由于存储和存储交换机本身都非常的昂贵，所以在云计算这个节能减排的时代，这些都不是适合广大用户的方案。
存储或服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。特别是在虚拟化应用中，集中存储面临了I/O峰值不足、高并发命中率差、系统瓶颈多、价格贵等问题。
发明内容
为客服上述现有技术的不足，本发明的目的是提供一种基于云计算的本地服务器硬盘的分布式存储系统，具有I/O峰值充足、高并发命中率高、系统稳定、成本低的特点。
为实现上述目的，本发明采用的技术方案是：一种基于云计算的本地服务器硬盘的分布式存储系统，包括有与网络相连的服务器A、服务器B……服务器N；服务器A与虚拟机相连；服务器B与虚拟机相连；服务器N与虚拟机相连；
所述的服务器A、服务器B……服务器N中都各设有一硬盘卷、由物理硬盘卷格式化成的存储服务器、存储网关集群、存储集群管理模块；所有的存储器服务器相连后再与服务器B内的存储网关集群相连；存储网关集群与虚拟机相连。
所述的硬盘卷用于安装服务器操作系统以及存储虚拟机的系统镜像文件和数据磁盘文件。
所述的存储器服务器用于存储虚拟机的系统镜像文件和数据磁盘文件。
所述的存储网关集群用于为本地应用和远程存储提供桥梁的服务程序。
所述的存储集群管理模块用于多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。
本发明的有益效果是：
本发明的分布式存储利用了服务器本地硬盘的能力，在服务器本地硬盘大量空置，价格便宜的现状下，利用服务器本地硬盘，就能获得低成本高效益；而使用服务器本地硬盘实现分布式存储，更能实现分布式IT架构部署，在多分支机构和多区域的情况下，能大幅降低IT架构成本。而在分布式存储情况下，云计算系统直接向用户和虚拟机提供块设备(块存储)，相比与集中存储的集群文件系统效率更高。
为了解决虚拟化项目中采用集中存储模式价格贵、I/O峰值不足、高并发命中率差、系统瓶颈多等问题，本发明了基于本地服务器硬盘的分布式存储系统，每个服务器自带的硬盘，形成整个存储集群和文件系统，来支撑虚拟化平台的使用；解决了集中存储系统单点存储导致的系统瓶颈多、高并发命中率差、I/O峰值不足，价格贵的缺点，特别是在价格上，采用基于本地服务器硬盘的分布式存储系统，相比于集中存储系统至少可以下降30％的采购成本，大大的降低了虚拟化平台的采购成本。
由于分布式存储本身的特点，对于云计算大规模分布式部署，集中管理的特点天然适应。
分布式存储对于虚拟机直接提供块设备(块存储)，而不再提供集群文件系统等方式进行存储，大大提高了效率。
每一个虚拟机的计算资源依旧挂载在某个服务器下，整个架构实现了线性、横向扩展；支持超过1000个节点；数据能够自动实现负载均衡；当节点出现故障时，数据可以自动恢复的特点。
每一个服务器中都有物理硬盘卷、由物理硬盘卷格式化成的存储服务器区域、存储网关集群作为所有数据的存储区域的管理和热备、对虚拟机提供块存储区域服务和存储集群的管理，块存储提供以4M小文件为单位的存储区域。
附图说明
图1为传统的网络存储系统的存储服务器存放数据原理框图。
图2为传统的网络存储系统的存储服务器的一种替换方案框图。
图3为本发明分布式存储部署架构图。
图4为本发明分布式存储模块架构图。
图5为本发明分布式存储系统的数据块的读取和存储示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
参见图3、4，一种基于云计算的本地服务器硬盘的分布式存储系统，包括有与网络相连的服务器A、服务器B……服务器N；服务器A与虚拟机相连；服务器B与虚拟机相连；服务器N与虚拟机相连；
所述的服务器A、服务器B……服务器N中都各设有一硬盘卷、由物理硬盘卷格式化成的存储服务器、存储网关集群、存储集群管理模块；所有的存储器服务器相连后再与服务器B内的存储网关集群相连；存储网关集群与虚拟机相连。
所述的硬盘卷用于安装服务器操作系统以及存储虚拟机的系统镜像文件和数据磁盘文件。
所述的存储器服务器用于存储虚拟机的系统镜像文件和数据磁盘文件。
所述的存储网关集群用于为本地应用和远程存储提供桥梁的服务程序。
所述的存储集群管理模块用于多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。
参见图5，以VDI Object存储VM数据，向用户暴露的是一个块设备；包含4种数据对象：VDI、Data Object、属性对象和用于快照的VM实时状态数据对象；以4M的小文件方式实现OBS，但很容易基于此扩展，如使用库替代4M的小文件；这样就实现了整个数据块的读取和存储。

Claims (6)

1.一种基于云计算的本地服务器硬盘的分布式存储系统，其特征在于，包括有与网络相连的服务器A、服务器B……服务器N；服务器A与虚拟机相连；服务器B与虚拟机相连；服务器N与虚拟机相连；所述的服务器A、服务器B……服务器N中都各设有一硬盘卷、由物理硬盘卷格式化成的存储服务器、存储网关集群、存储集群管理模块；所有的存储器服务器相连后再与服务器B内的存储网关集群相连；存储网关集群与虚拟机相连。
2.根据权利要求1所述的一种基于云计算的本地服务器硬盘的分布式存储系统，其特征在于，所述的硬盘卷用于安装服务器操作系统以及存储虚拟机的系统镜像文件和数据磁盘文件。
3.根据权利要求1所述的一种基于云计算的本地服务器硬盘的分布式存储系统，其特征在于，所述的存储器服务器用于存储虚拟机的系统镜像文件和数据磁盘文件。
4.根据权利要求1所述的一种基于云计算的本地服务器硬盘的分布式存储系统，其特征在于，所述的存储网关集群用于为本地应用和远程存储提供桥梁的服务程序。
5.根据权利要求1所述的一种基于云计算的本地服务器硬盘的分布式存储系统，其特征在于，所述的存储集群管理模块用于多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。
6.根据权利要求1所述的一种基于云计算的本地服务器硬盘的分布式存储系统，其特征在于，所述的虚拟机用于提供给用户办公使用的虚拟桌面。
CN201710499797.8A 2017-06-27 2017-06-27 一种基于云计算的本地服务器硬盘的分布式存储系统 Pending CN107241426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710499797.8A CN107241426A (zh) 2017-06-27 2017-06-27 一种基于云计算的本地服务器硬盘的分布式存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710499797.8A CN107241426A (zh) 2017-06-27 2017-06-27 一种基于云计算的本地服务器硬盘的分布式存储系统

Publications (1)

Publication Number Publication Date
CN107241426A true CN107241426A (zh) 2017-10-10

Family

ID=59987278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710499797.8A Pending CN107241426A (zh) 2017-06-27 2017-06-27 一种基于云计算的本地服务器硬盘的分布式存储系统

Country Status (1)

Country Link
CN (1) CN107241426A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833155A (zh) * 2018-03-19 2018-11-16 山东超越数控电子股份有限公司 一种双机热备存储系统
CN110058813A (zh) * 2019-03-15 2019-07-26 启迪云计算有限公司 一种基于云平台块存储的本地存储管理方法
CN111443871A (zh) * 2020-03-26 2020-07-24 深信服科技股份有限公司 分布式存储系统构建方法、装置、设备、介质
CN111708601A (zh) * 2020-04-28 2020-09-25 北京联创信安科技股份有限公司 一种面向云计算的智能存储网关、系统及其控制方法
CN115426373A (zh) * 2022-08-23 2022-12-02 浪潮软件科技有限公司 私有云中部署分布式存储系统的方法及部署系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070157203A1 (en) * 2005-12-29 2007-07-05 Blue Jungle Information Management System with Two or More Interactive Enforcement Points
CN103268252A (zh) * 2013-05-12 2013-08-28 南京载玄信息科技有限公司 基于分布式存储的虚拟化平台系统及其实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070157203A1 (en) * 2005-12-29 2007-07-05 Blue Jungle Information Management System with Two or More Interactive Enforcement Points
CN103268252A (zh) * 2013-05-12 2013-08-28 南京载玄信息科技有限公司 基于分布式存储的虚拟化平台系统及其实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAZUTAKA MORITA: "Sheepdog: distributed storage system for QEMU", 《HTTPS://SHEEPDOG.GITHUB.IO/SHEEPDOG/_STATIC/KVMFORUM2010.PDF》 *
KAZUTAKA MORITA: "Sheepdog: Distributed Storage System for QEMU/KVM", 《HTTPS://SHEEPDOG.GITHUB.IO/SHEEPDOG/_STATIC/LCA2010_MINICONF.PDF》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833155A (zh) * 2018-03-19 2018-11-16 山东超越数控电子股份有限公司 一种双机热备存储系统
CN110058813A (zh) * 2019-03-15 2019-07-26 启迪云计算有限公司 一种基于云平台块存储的本地存储管理方法
CN111443871A (zh) * 2020-03-26 2020-07-24 深信服科技股份有限公司 分布式存储系统构建方法、装置、设备、介质
CN111708601A (zh) * 2020-04-28 2020-09-25 北京联创信安科技股份有限公司 一种面向云计算的智能存储网关、系统及其控制方法
CN115426373A (zh) * 2022-08-23 2022-12-02 浪潮软件科技有限公司 私有云中部署分布式存储系统的方法及部署系统

Similar Documents

Publication Publication Date Title
CN107241426A (zh) 一种基于云计算的本地服务器硬盘的分布式存储系统
CN102340530B (zh) 一种存储空间接管和数据迁移的方法和系统
CN103595799B (zh) 一种实现分布式共享数据库的方法
CN102833580B (zh) 基于infiniband的高清视频应用系统及方法
CN205490680U (zh) 基于通用服务器和通用交换机的高可用云计算系统
CN103140842A (zh) 用于提供灵活存储和检索快照档案的系统和方法
CN103455577A (zh) 云主机镜像文件的多备份就近存储和读取方法及系统
CN103124299A (zh) 一种异构环境下的分布式块级别存储系统
CN103118073B (zh) 一种云环境下虚拟机数据持久化存储系统和方法
CN102546813A (zh) 一种基于x86 PC架构的高性能集群计算系统
CN105468296B (zh) 基于虚拟化平台的无共享存储管理方法
CN102929769A (zh) 一种基于代理服务的虚拟机内部数据采集方法
CN104182306A (zh) 一种低成本的云主机智能故障瞬时切换方法
CN106446268A (zh) 一种数据库横向扩展系统及方法
CN103036952B (zh) 一种企业级异构融合存储管理系统
CN106961440B (zh) 基于企业级资源运行监控管理的云平台
US8966293B1 (en) Method and apparatus for allocation of power consumption of a computer storage system to its tenants
CN104199622A (zh) 一种基于1u节点的硬盘热插拔设计方法
CN103209218A (zh) 容灾一体机管理系统
CN109831502A (zh) 新型网站云虚拟主机架构
CN109033250A (zh) 一种支持大数据文件访问服务的高可用性对象存储方法
CN204465589U (zh) 一种具有高运算性能的云计算设备
Gray Super-servers: Commodity computer clusters pose a software challenge
CN105516274A (zh) 基于云平台实现对san通用管理的方法及系统
Zhou et al. Gis application model based on cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171010