CN104125285A - 一种高io吞吐量的云存储读写方法 - Google Patents
一种高io吞吐量的云存储读写方法 Download PDFInfo
- Publication number
- CN104125285A CN104125285A CN201410376145.1A CN201410376145A CN104125285A CN 104125285 A CN104125285 A CN 104125285A CN 201410376145 A CN201410376145 A CN 201410376145A CN 104125285 A CN104125285 A CN 104125285A
- Authority
- CN
- China
- Prior art keywords
- data
- back end
- client
- data block
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种高IO吞吐量的云存储读写方法，解决了现有技术中整个读写请求过程中吞吐量低，所以速度慢，性能低的问题。该云存储读写方法，包括以下步骤：用户向客户端发送请求；客户端接收到上述请求后，向元数据服务器发送请求数据块；元数据服务器接收到请求数据块后，在磁盘中读出请求数据块所在的数据节点的地址信息，并将读出的请求数据块的地址信息发送回客户端；将数据块切片成为数据页；将数据条带分别发送给不同的数据节点；各数据节点接受完自己所属的数据条带后，对客户端返回写入成功；数据节点自行进行数据片的备份复制工作，其备份数量为除该数据节点以外的数据节点数量；数据节点将复制的数据片分别备份至其余数据节点。
Description
技术领域
本发明属于云存储技术领域，具体的说，是涉及一种高IO吞吐量的云存储读写方法。
背景技术
近年来，随着云计算的兴起，云存储成为信息存储领域的一个研究热点。与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统。 云存储提供的是存储服务，存储服务通过网络将本地数据存放在存储服务提供商(SSP)提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心，只需向SSP申请存储服务，从而避免了存储平台的重复建设，节约了昂贵的软硬件基础设施投资。
IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如OLTP(Online Transaction Processing)，IOPS是关键衡量指标。另一个重要指标是数据吞吐量(Throughput)，指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用，如VOD(Video On Demand)，则更关注吞吐量指标。
传统磁盘本质上一种机械装置，如FC, SAS, SATA磁盘，转速通常为5400/7200/10K/15K rpm不等。影响磁盘的关键因素是磁盘服务时间，即磁盘完成一个I/O请求所花费的时间，它由寻道时间、旋转延迟和数据传输时间三部分构成。
普通云存储中，一个数据至少有三个备份，有写入请求时，必须要完成三份数据的写入。当用户向客户端发送请求，客户端向元数据服务器发送读写请求数据块，元数据服务器接收到请求数据块，在磁盘中读出这三份请求数据块的地址信息，请求数据块所在的数据节点为：D1、D2、D3。然后将此地址信息返回给客户端，客户端收到地址信息后，直接访问数据节点中的地址，先访问D1数据节点完成写入。完成 D1中的数据写入后再去D2中写入备份数据，等D2数据节点完成写入后再去D3中写入数据。当D1、D2、D3中的数据都写入完成，返回成功。如图1所示，整个读写请求过程中， 磁盘IOPS是瓶颈，吞吐量低，所以速度慢，性能低。
发明内容
本发明的目的在于克服上述缺陷，提供一种IO吞吐量高、数据处理速度快、性能大幅度提高的高IO吞吐量的云存储读写方法。
为了实现上述目的，本发明采用了技术方案如下：
一种高IO吞吐量的云存储读写方法，包括以下步骤：
（1）用户向客户端发送请求；
（2）客户端接收到上述请求后，向元数据服务器发送请求数据块；
（3）元数据服务器接收到请求数据块后，在磁盘中读出请求数据块所在的数据节点的地址信息，并将读出的请求数据块的地址信息发送回客户端；
（4）将数据块切片成为数据页，根据数据节点数量，将数据页整列划分为多个数据条带，每个数据条带包含多个数据页；
（5）将数据条带分别发送给不同的数据节点；
（6）各数据节点接受完自己所属的数据条带后，对客户端返回写入成功；
（7）数据节点自行进行数据片的备份复制工作，其备份数量为除该数据节点以外的数据节点数量；
（8）数据节点将复制的数据片分别备份至其余数据节点。
其中，所述步骤（4）中，数据块的切片方式如下：数据存放在虚拟磁盘上，虚拟磁盘分为多块数据块，每块数据块由多片数据页组成，将数据页整列划分为多个数据条带并分散到多个不同的数据节点中。
与现有技术相比，本发明的有益效果在于：
本发明相较于现有技术而言，其数据处理性能大幅度提高、数据处理速度快、IO吞吐量高。为其大范围了推广应用，奠定了坚实的基础。
附图说明
图1为现有技术。
图2为本发明的工作原理示意图。
具体实施方式
下面结合实施例对本发明作进一步说明。本发明的实施方式包括但不限于下列实施例。
实施例
本实施例提供了一种高IO吞吐量的云存储读写方法，包括以下步骤：（1）用户向客户端发送请求；（2）客户端接收到上述请求后，向元数据服务器发送请求数据块；（3）元数据服务器接收到请求数据块后，在磁盘中读出请求数据块所在的数据节点的地址信息，并将读出的请求数据块的地址信息发送回客户端；（4）将数据块切片成为数据页，根据数据节点数量，将数据页整列划分为多个数据条带，每个数据条带包含多个数据页；（5）将数据条带分别发送给不同的数据节点；（6）各数据节点接受完自己所属的数据条带后，对客户端返回写入成功；（7）数据节点自行进行数据片的备份复制工作，其备份数量为除该数据节点以外的数据节点数量；（8）数据节点将复制的数据片分别备份至其余数据节点。
其中，所述步骤（4）中，数据块的切片方式如下：数据存放在虚拟磁盘上，虚拟磁盘分为多块数据块，每块数据块由多片数据页组成，将数据页整列划分为多个数据条带并分散到多个不同的数据节点中。
为了使得本领域技术人员对本发明有更清晰的了解和认识，下面对数据块的切片及数据片的备份进行举例说明：
元数据服务器接收到请求数据块后，在磁盘中读出请求数据块所在的数据节点的地址信息D1、D2、D3，将读出的请求数据块的地址信息发送回客户端，客户端收到地址信息后，将数据块切为三片S1、S2、S3，然后，将三片数据块切片分发给三个数据节点D1、D2、D3；D1、D2、D3接收完数据后，直接返回客户端，写入完成。其中，所述的数据块切片即构成上述的数据条带，当有若干数据页时，则根据数据节点的个数，对数据页整列划分为与数据节点个数对应的数据条带，每个数据条带内含有多个数据页，如数据节点有3个，数据页有12个，则可以将每4个数据页划分为1一个数据条带，构成3个数据条带后，再分别发送至各数据节点。
D1、D2、D3数据节点在内部自行进行后续数据页S1、S2、S3的备份复制工作：1、数据节点D1将S1切片复制两份备份至D2、D3；2、数据节点D2将 S2切片复制两份备份至D1、D3；3、数据节点D3将 S3切片复制两份备份至D1、D2。
按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述设计原理的前提下，为解决同样的技术问题，即使在本发明所公开的结构基础上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。
Claims (2)
1.一种高IO吞吐量的云存储读写方法，其特征在于，包括以下步骤：
（1）用户向客户端发送请求；
（2）客户端接收到上述请求后，向元数据服务器发送请求数据块；
（3）元数据服务器接收到请求数据块后，在磁盘中读出请求数据块所在的数据节点的地址信息，并将读出的请求数据块的地址信息发送回客户端；
（4）将数据块切片成为数据页，根据数据节点数量，将数据页整列划分为多个数据条带，每个数据条带包含多个数据页；
（5）将数据条带分别发送给不同的数据节点；
（6）各数据节点接受完自己所属的数据条带后，对客户端返回写入成功；
（7）数据节点自行进行数据片的备份复制工作，其备份数量为除该数据节点以外的数据节点数量；
（8）数据节点将复制的数据片分别备份至其余数据节点。
2.根据权利要求1所述的一种高IO吞吐量的云存储读写方法，其特征在于，所述步骤（4）中，数据块的切片方式如下：数据存放在虚拟磁盘上，虚拟磁盘分为多块数据块，每块数据块由多片数据页组成，将数据页整列划分为多个数据条带并分散到多个不同的数据节点中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410376145.1A CN104125285A (zh) | 2014-08-02 | 2014-08-02 | 一种高io吞吐量的云存储读写方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410376145.1A CN104125285A (zh) | 2014-08-02 | 2014-08-02 | 一种高io吞吐量的云存储读写方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104125285A true CN104125285A (zh) | 2014-10-29 |
Family
ID=51770549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410376145.1A Pending CN104125285A (zh) | 2014-08-02 | 2014-08-02 | 一种高io吞吐量的云存储读写方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104125285A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105939387A (zh) * | 2016-06-23 | 2016-09-14 | 中国南方电网有限责任公司 | 基于网省地统一调度的多级负载均衡及服务器角色切换方法 |
| CN108572788A (zh) * | 2017-03-13 | 2018-09-25 | 广州市动景计算机科技有限公司 | 数据存取方法、装置及系统 |
| CN111435286A (zh) * | 2019-01-14 | 2020-07-21 | 深圳市茁壮网络股份有限公司 | 一种数据存储方法、装置和系统 |
| CN112583868A (zh) * | 2019-09-27 | 2021-03-30 | 浙江宇视科技有限公司 | 云存储数据的备份方法、装置、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060107005A1 (en) * | 2004-11-18 | 2006-05-18 | Herve Gilbert Philippe Andre | Apparatus, system, and method for time sensitive copy |
| CN103237063A (zh) * | 2013-04-11 | 2013-08-07 | 安科智慧城市技术（中国）有限公司 | 一种云存储方法及其云控制服务器、云存储服务器和系统 |
| CN103530388A (zh) * | 2013-10-22 | 2014-01-22 | 浪潮电子信息产业股份有限公司 | 一种云存储系统中提升性能的数据处理方法 |
-
2014
- 2014-08-02 CN CN201410376145.1A patent/CN104125285A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060107005A1 (en) * | 2004-11-18 | 2006-05-18 | Herve Gilbert Philippe Andre | Apparatus, system, and method for time sensitive copy |
| CN1801119A (zh) * | 2004-11-18 | 2006-07-12 | 国际商业机器公司 | 用于时间敏感复制的装置、系统和方法 |
| CN103237063A (zh) * | 2013-04-11 | 2013-08-07 | 安科智慧城市技术（中国）有限公司 | 一种云存储方法及其云控制服务器、云存储服务器和系统 |
| CN103530388A (zh) * | 2013-10-22 | 2014-01-22 | 浪潮电子信息产业股份有限公司 | 一种云存储系统中提升性能的数据处理方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105939387A (zh) * | 2016-06-23 | 2016-09-14 | 中国南方电网有限责任公司 | 基于网省地统一调度的多级负载均衡及服务器角色切换方法 |
| CN108572788A (zh) * | 2017-03-13 | 2018-09-25 | 广州市动景计算机科技有限公司 | 数据存取方法、装置及系统 |
| CN111435286A (zh) * | 2019-01-14 | 2020-07-21 | 深圳市茁壮网络股份有限公司 | 一种数据存储方法、装置和系统 |
| CN111435286B (zh) * | 2019-01-14 | 2023-12-05 | 深圳市茁壮网络股份有限公司 | 一种数据存储方法、装置和系统 |
| CN112583868A (zh) * | 2019-09-27 | 2021-03-30 | 浙江宇视科技有限公司 | 云存储数据的备份方法、装置、设备和介质 |
| CN112583868B (zh) * | 2019-09-27 | 2023-04-07 | 浙江宇视科技有限公司 | 云存储数据的备份方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10698773B2 (en) | Replicating a source data set to a target data store | |
| US9798490B1 (en) | Replication optimizated IO | |
| US9552220B2 (en) | Method and apparatus of accessing data of virtual machine | |
| US9632731B2 (en) | Distributing capacity slices across storage system nodes | |
| US10089012B1 (en) | Zero on demand operations based on zeroed chunk tables of storage drive objects stored in main memory | |
| US9792344B2 (en) | Asynchronous namespace maintenance | |
| JP5343166B2 (ja) | 通信ネットワークを介してリモートのファイルサーバにファイルを転送するローカルのファイルサーバ、及び、それらのファイルサーバを有するストレージシステム | |
| CN103999058B (zh) | 带驱动器系统服务器 | |
| US9612758B1 (en) | Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data | |
| US10372371B2 (en) | Dynamic data relocation using cloud based ranks | |
| US9569311B2 (en) | Computer system for backing up data | |
| CN104267912A (zh) | 一种nas加速方法及系统 | |
| CN106855822A (zh) | 用于分布式事务处理的方法及设备 | |
| US20190079686A1 (en) | Thin provisioning using cloud based ranks | |
| US10157107B2 (en) | Data backup and progressive restoration using data chunks in cloud storage and a data cache | |
| CN104125285A (zh) | 一种高io吞吐量的云存储读写方法 | |
| US10621059B2 (en) | Site recovery solution in a multi-tier storage environment | |
| CN114442937A (zh) | 文件缓存方法、装置、计算机设备及存储介质 | |
| US8595454B1 (en) | System and method for caching mapping information for off-host backups | |
| US11010091B2 (en) | Multi-tier storage | |
| CN116339609A (zh) | 一种数据处理方法以及存储设备 | |
| KR20130074207A (ko) | 스케줄러기반 데이터 서버간 데이터 복제 방법 | |
| JP7310110B2 (ja) | ストレージ及び情報処理システム。 | |
| US11194760B1 (en) | Fast object snapshot via background processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141029 |