CN107632780A - 一种基于分布式存储系统的条带卷实现方法及其存储架构 - Google Patents

一种基于分布式存储系统的条带卷实现方法及其存储架构 Download PDF

Info

Publication number
CN107632780A
CN107632780A CN201710748601.4A CN201710748601A CN107632780A CN 107632780 A CN107632780 A CN 107632780A CN 201710748601 A CN201710748601 A CN 201710748601A CN 107632780 A CN107632780 A CN 107632780A
Authority
CN
China
Prior art keywords
data
strip
roll
write
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710748601.4A
Other languages
English (en)
Inventor
张朝潞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd filed Critical SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd
Priority to CN201710748601.4A priority Critical patent/CN107632780A/zh
Publication of CN107632780A publication Critical patent/CN107632780A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分布式存储系统的条带卷实现方法及其存储架构，具体包括：预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小；当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。本发明不仅节约了系统资源与网络带宽，且由于将整块组件中连续的数据整合，使得普通磁盘在大部分情况下都是顺序读写，带来更好的系统性能。

Description

一种基于分布式存储系统的条带卷实现方法及其存储架构
技术领域
本发明涉及信息存储技术领域，尤其涉及的是一种基于分布式存储系统的条带卷实现方法及其存储架构。
背景技术
Server SAN至今并未有一个公认的定义，它是一个进化中的概念，许多人认为其将可能是未来存储的发展趋势。
VeSpace Server SAN 支持三种不同类型数据分布的卷：1.线性分布；2.条带分布；3.纠删码分布；本发明专利是针对第2中条带分布，类似于传统单机存储的RAID0。由于VeSpace Server SAN是分布式系统，条带分布卷的数据是需要通过网络传输。传统的单机的机制并未考虑网络的因素，本发明的切片与合并方法，能提升网络性能，增加系统的负载能力。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于分布式存储系统的条带卷实现方法及其存储架构，旨在提出一种适用于分布式存储系统的数据分布方式，针对基于网络的数据传输，达到节约CPU资源、网络带宽、磁盘顺序写的目标。
本发明解决技术问题所采用的技术方案如下：
一种基于分布式存储系统的条带卷实现方法，其中，
具体步骤包括：
A、预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小；
B、当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。
其中，所述分布式存储系统包括应用主机、策略主机与存储主机。
其中，所述存储块的大小为2kb的次方。
其中，所述步骤B具体为：
B1、应用主机将接收到的写入数据以条带深度为大小、切片成多个第一数据块；当所述写入数据大于条带卷时，将预存入同一组件中的多个第一数据块合并为第二数据块，并将所述第二数据块并发写入相对应的组件，所述第二数据块为N个；
B2、当应用主机接收到的读取数据请求、并且所述读取数据大于条带卷时，则将同一组件中连续的数据合并为第三数据进行读取，所述第三数据块为N个。
其中，所述应用主机与组件通过TCP连接。
其中，当读写数据请求小于条带深度时，仅需读写对应的单个组件；
当读写数据请求大于条带深度、小于等于条带卷时，则需处理单个条带内所涉及的多个组件；
当读写数据请求大于条带卷时，则需执行1个以上的满条带卷读写。
一种存储架构，包括：应用主机、策略主机、存储主机；
所述存储架构中存储有计算机程序，该计算机程序被应用主机和/或策略主机执行时实现以上所述基于分布式存储系统的条带卷实现方法的步骤。
本发明的有益效果：本发明所述一种基于分布式存储系统的条带卷实现方法及其存储架构，旨在提出一种适用于分布式存储系统的数据分布方式，针对基于网络的数据传输，通过将数据切片达到多个后端节点并行写入的效果，通过将数据合并达到多个连续位置的数据块整合仅需一次网络请求即可发送完成，达到节约CPU资源、网络带宽、磁盘顺序写的目标。
附图说明
图1是本发明一种存储架构较佳实施例的架构模块图。
图2是本发明一种基于分布式存储系统的条带卷实现方法较佳实施例的条带卷划分结构图。
图3是本发明一种基于分布式存储系统的条带卷实现方法较佳实施例的条带卷数据存放示意图。
图4是本发明一种基于分布式存储系统的条带卷实现方法较佳实施例的数据切片示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于分布式存储系统的条带卷实现方法，请参见图1-4，如图所示，其采用应用主机-策略主机-存储主机的处理架构；其中存储主机由多个物理磁盘组成。
具体包括如下步骤：
A、预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小。
进一步的，所述存储块的大小为2kb的次方。
具体实施例中，所述应用主机：管理虚拟磁盘的生命周期，完成数据接收、缓存、转发等功能。本发明主要是涉及应用主机的条带化数据的处理流程，处理流程由独立的micocontroller处理，多个虚拟磁盘之间不受影响。
所述策略主机：承担应用VeSpace Server SAN的元数据管理，资源调度，存储策略控制，完成整个分布式系统的协调与控制。
所述存储主机：VeSpace Server SAN存储系统中，存储主机用于管理物理磁盘，将物理存储资源抽象成多个组件，用于承载来至虚拟磁盘的数据。
VeSpace Server SAN存储系统生成的虚拟磁盘与真实的物理磁盘，在用户视角是完全相同的，用户无需区别二者。与物理磁盘相同，虚拟磁盘的读写请求经过操作系统的存储IO栈，最终转化为Data，Length，Offset。
其中，所述Data： 对于写请求表示需要写入的数据的缓冲区；对于读请求表示从磁盘读取数据的缓冲区；
所述Length: Data为缓冲区长度；
所述Offset：需要读写虚拟磁盘的偏移位置。
B、当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。
所述步骤B具体为：
B1、应用主机将接收到的写入数据以条带深度为大小、切片成多个第一数据块；当所述写入数据大于条带卷时，将预存入同一组件中的多个第一数据块合并为第二数据块，并将所述第二数据块并发写入相对应的组件，所述第二数据块为N个；
B2、当应用主机接收到的读取数据请求、并且所述读取数据大于条带卷时，则将同一组件中连续的数据合并为第三数据进行读取，所述第三数据块为N个。
进一步的，所述应用主机与组件通过TCP连接。
其中，当读写数据请求小于条带深度时，仅需读写对应的单个组件；
当读写数据请求大于条带深度、小于等于条带卷时，则需处理单个条带内所涉及的多个组件；
当读写数据请求大于条带卷时，则需执行1个以上的满条带卷读写。
具体实施例中，对于分布式存储系统IO请求需要经过网络，多次的网络请求会造成性能的损耗。VeSpace Server SAN的条带卷会将跨条带卷的请求IO合并，达到节约CPU资源、网络带宽、磁盘顺序写的目标。
如图3所示，假设写入80KB数据，虚拟磁盘的微控制器将其切成16KB大小的数据块ABCDE，并发通过网络将5块数据存到5个组件中，理论速度是之前的5倍。假设写入的数据是160KB，切分数据后数据块为ABCDE FGHIJ两个条带，通过两次网络请求将数据发送到组件中落盘。根据图3中展示，数据块A与数据块F在组件中是连续的，以此类推B和G，C和H，...都是连续的。于是VeSpace Server SAN条带卷微控制器将组件中连续的数据块合并成一个数据，不仅节省了网络带宽，利用了普通磁盘的顺序操作性能高的特点。对于条带越小，写入数据块越大的情况，这种条带方式性能越好。
如图4所示，为本发明的VeSpace Server SAN切片示意图；该切片方式，可以使用少量的CPU时间，完成数据切片与合并，并不会对系统性能造成影响。以条带深度为16K为例，写入一个较大的数据块，比如1MB。请求参数为：data， length，offset。假设offset是条带大小对齐的情况，length=1MB。
条带数量 = 1MB ÷ 80KB = 12.8 (需要写13个条带，满写12个条带，最后一个只需操作4个组件)
通过数据合并后，可以分成5个数据切片，分别通过一次请求，将数据发送到组件。不采用合并需要发送12.8 * 5 = 64个请求，采用合并只需要发送5个请求。大大的减少了网络开销。
综上所述，本发明公开了一种基于分布式存储系统的条带卷实现方法，具体包括：预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小；当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。本发明不仅节约了系统资源与网络带宽，且由于将整块组件中连续的数据整合，使得普通磁盘在大部分情况下都是顺序读写，带来更好的系统性能。
基于上述一种基于分布式存储系统的条带卷实现方法，本发明还公开了一种存储架构，包括：应用主机、策略主机、存储主机；
所述存储架构中存储有计算机程序，该计算机程序被应用主机和/或策略主机执行时实现以上所述基于分布式存储系统的条带卷实现方法的步骤。具体如上所述。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于分布式存储系统的条带卷实现方法，其特征在于，
具体步骤包括：
A、预先将所述存储主机抽象成N个用于承载数据的组件，并将所述组件划分成若干固定大小的存储块；所述N个组件为条带宽度，所述存储块的存储空间为条带深度，条带宽度乘以条带深度等于条带卷大小；
B、当应用主机接收到的读写请求需跨条带卷读写时，则将同一组件中连续的数据进行合并，通过一次网络请求并发读写。
2.根据权利要求1所述的条带卷实现方法，其特征在于，所述分布式存储系统包括应用主机、策略主机与存储主机。
3.根据权利要求1所述的条带卷实现方法，其特征在于，所述存储块的大小为2kb的次方。
4.根据权利要求1所述的条带卷实现方法，其特征在于，所述步骤B具体为：
B1、应用主机将接收到的写入数据以条带深度为大小、切片成多个第一数据块；当所述写入数据大于条带卷时，将预存入同一组件中的多个第一数据块合并为第二数据块，并将所述第二数据块并发写入相对应的组件，所述第二数据块为N个；
B2、当应用主机接收到的读取数据请求、并且所述读取数据大于条带卷时，则将同一组件中连续的数据合并为第三数据进行读取，所述第三数据块为N个。
5.根据权利要求1所述的条带卷实现方法，其特征在于，所述应用主机与组件通过TCP连接。
6.根据权利要求4所述的条带卷实现方法，其特征在于，
当读写数据请求小于条带深度时，仅需读写对应的单个组件；
当读写数据请求大于条带深度、小于等于条带卷时，则需处理单个条带内所涉及的多个组件；
当读写数据请求大于条带卷时，则需执行1个以上的满条带卷读写。
7.一种存储架构，其特征在于，包括：应用主机、策略主机、存储主机；
所述存储架构中存储有计算机程序，该计算机程序被应用主机和/或策略主机执行时实现权利要求1-6任一项所述基于分布式存储系统的条带卷实现方法的步骤。
CN201710748601.4A 2017-08-28 2017-08-28 一种基于分布式存储系统的条带卷实现方法及其存储架构 Pending CN107632780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710748601.4A CN107632780A (zh) 2017-08-28 2017-08-28 一种基于分布式存储系统的条带卷实现方法及其存储架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710748601.4A CN107632780A (zh) 2017-08-28 2017-08-28 一种基于分布式存储系统的条带卷实现方法及其存储架构

Publications (1)

Publication Number Publication Date
CN107632780A true CN107632780A (zh) 2018-01-26

Family

ID=61100570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710748601.4A Pending CN107632780A (zh) 2017-08-28 2017-08-28 一种基于分布式存储系统的条带卷实现方法及其存储架构

Country Status (1)

Country Link
CN (1) CN107632780A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459399A (zh) * 2019-01-22 2020-07-28 深圳市茁壮网络股份有限公司 一种数据写入方法、数据读取方法及装置
CN112732197A (zh) * 2021-01-14 2021-04-30 苏州浪潮智能科技有限公司 一种数据io的处理方法、装置、存储介质及设备
CN113312009A (zh) * 2021-07-29 2021-08-27 南京鹏云网络科技有限公司 分布式存储系统及分布式存储系统的读写方法
CN115357199A (zh) * 2022-10-19 2022-11-18 安超云软件有限公司 分布式存储系统中的数据同步方法、系统及存储介质
CN115933994A (zh) * 2023-01-09 2023-04-07 苏州浪潮智能科技有限公司 一种数据处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526885A (zh) * 2009-04-21 2009-09-09 杭州华三通信技术有限公司 一种提升独立磁盘冗余阵列性能的方法及其控制器
CN102298506A (zh) * 2010-06-24 2011-12-28 国际商业机器公司 存储系统和用于实现存储系统的方法
CN103458023A (zh) * 2013-08-30 2013-12-18 清华大学 分布式闪存存储系统
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储系统的构建方法
CN107094186A (zh) * 2017-06-15 2017-08-25 深圳市云舒网络技术有限公司 一种分布式存储系统的纠删码优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526885A (zh) * 2009-04-21 2009-09-09 杭州华三通信技术有限公司 一种提升独立磁盘冗余阵列性能的方法及其控制器
CN102298506A (zh) * 2010-06-24 2011-12-28 国际商业机器公司 存储系统和用于实现存储系统的方法
CN103458023A (zh) * 2013-08-30 2013-12-18 清华大学 分布式闪存存储系统
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储系统的构建方法
CN107094186A (zh) * 2017-06-15 2017-08-25 深圳市云舒网络技术有限公司 一种分布式存储系统的纠删码优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李超: "面向海量数字资源管理第FC-SAN性能分析与监测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
梁奋东: "《数字资源建设与服务》", 31 December 2007, 海天出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459399A (zh) * 2019-01-22 2020-07-28 深圳市茁壮网络股份有限公司 一种数据写入方法、数据读取方法及装置
CN112732197A (zh) * 2021-01-14 2021-04-30 苏州浪潮智能科技有限公司 一种数据io的处理方法、装置、存储介质及设备
CN113312009A (zh) * 2021-07-29 2021-08-27 南京鹏云网络科技有限公司 分布式存储系统及分布式存储系统的读写方法
CN115357199A (zh) * 2022-10-19 2022-11-18 安超云软件有限公司 分布式存储系统中的数据同步方法、系统及存储介质
CN115357199B (zh) * 2022-10-19 2023-02-10 安超云软件有限公司 分布式存储系统中的数据同步方法、系统及存储介质
CN115933994A (zh) * 2023-01-09 2023-04-07 苏州浪潮智能科技有限公司 一种数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN107632780A (zh) 一种基于分布式存储系统的条带卷实现方法及其存储架构
US9756128B2 (en) Switched direct attached shared storage architecture
CN103116661B (zh) 一种数据库的数据处理方法
US9569457B2 (en) Data processing method and apparatus for distributed systems
US8984085B2 (en) Apparatus and method for controlling distributed memory cluster
US9384099B2 (en) Virtual tape library device and data recovery method
US7827251B2 (en) Fast write operations to a mirrored volume in a volume manager
US20160132541A1 (en) Efficient implementations for mapreduce systems
CN102867035B (zh) 一种分布式文件系统集群高可用方法和装置
CN104735110B (zh) 元数据管理方法和系统
CN103516549B (zh) 一种基于共享对象存储的文件系统元数据日志机制
CN103873559A (zh) 一种高速存储的数据库一体机
CN103229171A (zh) 基于快照的复制
CN104111804A (zh) 一种分布式文件系统
KR102646619B1 (ko) 컴포지트 메모리 장치를 포함하는 전자 장치에 파일 시스템을 제공하는 시스템 및 방법
CN103020257A (zh) 数据操作的实现方法和装置
CN104765574A (zh) 数据云端存储方法
US7689767B2 (en) Method to detect and suggest corrective actions when performance and availability rules are violated in an environment deploying virtualization at multiple levels
CN107450856A (zh) 存储数据的写入方法、读取方法以及相应的装置、终端
CN103399823A (zh) 业务数据的存储方法、设备和系统
US20120226876A1 (en) Network efficiency for continuous remote copy
CN115408108A (zh) 一种云环境下的i/o卸载方法、设备、系统及存储介质
CN107301021B (zh) 一种利用ssd缓存对lun进行加速的方法和装置
US20160253119A1 (en) Storage system, storage method, and recording medium
CN106980618A (zh) 基于MongoDB分布式集群架构的文件存储方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180126