CN106569739A - 一种数据写入优化的方法 - Google Patents

一种数据写入优化的方法 Download PDF

Info

Publication number
CN106569739A
CN106569739A CN201610880880.5A CN201610880880A CN106569739A CN 106569739 A CN106569739 A CN 106569739A CN 201610880880 A CN201610880880 A CN 201610880880A CN 106569739 A CN106569739 A CN 106569739A
Authority
CN
China
Prior art keywords
data
write
metadata
client
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610880880.5A
Other languages
English (en)
Inventor
王东
王伟
薛坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Sinovatio Technology LLC
Original Assignee
Nanjing Sinovatio Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Sinovatio Technology LLC filed Critical Nanjing Sinovatio Technology LLC
Priority to CN201610880880.5A priority Critical patent/CN106569739A/zh
Publication of CN106569739A publication Critical patent/CN106569739A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据写入优化的方法，包括如下步骤：(1)系统初始化；(2)客户端需要写入数据时，先请求元数据管理节点获取元数据信息，元数据管理节点根据负载均衡算法，选取具体的存储节点，生成元数据信息并返回响应给客户端，客户端获取元数据信息后直接发送数据给数据存储节点；(3)数据存储节点启动，创建写数据线程，写数据线程根据负载均衡算法，选择写入的磁盘，写入成功后返回响应给客户端，同时告知元数据管理节点更新元数据信息。本发明高可靠性，数据多副本，不会因为一个数据存储节点出现故障导致整个系统奔溃；高扩展性，元数据管理节点作为中心控制组件，将所有负载动态的划分到数据存储节点，容易扩展、升级和替换。

Description

一种数据写入优化的方法
技术领域
本发明涉及磁盘技术领域，尤其是一种针对磁盘性能瓶颈的数据写入优化方法。
背景技术
现有技术中，主流硬盘的转速已经在7200RPM停留了许多年，除了磁盘容量还能不断增加外，其他各方面的性能一直无法获得有效的提高。单位时间内磁头读出的扇区越多，性能越好，磁盘性能的提高只能靠提高转速和提高盘片的磁道密度来达到目的。主流硬盘的转速在7200转几乎无法突破，如果在1万转以上，不仅硬盘成本会增加不少，且发热噪音同样会增加不少，磁道密度的提高同样非常困难。
发明内容
本发明所要解决的技术问题在于，提供一种数据写入优化的方法，可以提高数据写入能力，尽量克服硬盘的硬件设计瓶颈。
为解决上述技术问题，本发明提供一种数据写入优化的方法，包括如下步骤：(1)系统初始化，元数据管理节点管理元数据信息，数据存储节点执行数据的写入操作；
(2)客户端需要写入数据时，先请求元数据管理节点获取元数据信息，元数据管理节点根据负载均衡算法，选取具体的存储节点，生成元数据信息并返回响应给客户端，客户端获取元数据信息后直接发送数据给数据存储节点；
(3)数据存储节点启动，创建写数据线程，写数据线程根据负载均衡算法，选择写入的磁盘，写入成功后返回响应给客户端，同时告知元数据管理节点更新元数据信息。
优选的，步骤(2)和步骤(3)中的负载均衡算法具体为：根据数据存储节点的CPU处理性能、磁盘容量分别配置不同的权重，给CPU处理能力较高、磁盘容量较大的数据存储节点配置更高的权重，让其处理更多的存储请求；给CPU处理能力较低、磁盘容量较小的数据存储节点配置较低的权重，降低该节点的负载。
优选的，数据被分成若干份，被分别写在不同的磁盘上，使用元数据维护这组数据。
优选的，数据使用双副本或多副本进行备份。
本发明的有益效果为：高性能，客户端获取元数据信息后可直接与数据存储节点通信，不需要代理转发，多个数据存储节点可带来高度的并发；高可靠性，数据多副本，支持数据的强一致性，可以忍受多种故障场景，不会因为一个数据存储节点出现故障导致整个系统奔溃；高扩展性，元数据管理节点作为中心控制组件，可以将所有负载动态的划分到各个数据存储节点上，容易扩展、升级和替换。
附图说明
图1是本发明的方法流程示意图。
图2是本发明的数据写入示意图。
具体实施方式
如图1和2所示，一种数据写入优化的方法，包括如下步骤：
(1)系统初始化，元数据管理节点管理元数据信息，数据存储节点执行数据的写入操作；
(2)客户端需要写入数据时，先请求元数据管理节点获取元数据信息，元数据管理节点根据负载均衡算法，选取具体的存储节点，生成元数据信息并返回响应给客户端，客户端获取元数据信息后直接发送数据给数据存储节点；
(3)数据存储节点启动，创建写数据线程，写数据线程根据负载均衡算法，选择写入的磁盘，写入成功后返回响应给客户端，同时告知元数据管理节点更新元数据信息。
负载均衡算法的具体过程为：根据数据存储节点的CPU处理性能、磁盘容量分别配置不同的权重，给CPU处理能力较高、磁盘容量较大的数据存储节点配置更高的权重，让其处理更多的存储请求；给CPU处理能力较低、磁盘容量较小的数据存储节点配置较低的权重，降低该节点的负载。
数据被分成若干份，被分别写在不同的磁盘上，使用元数据来维护这组数据。磁盘可组件RAID 0阵列，不使用镜像备份，用副本保证数据的正确性，增大单个IO来提高数据写入的速度，使用多副本或者双副本来保证数据的正确性。提供多个磁盘给应用访问，写磁盘受限于磁盘的寻道和写数据，磁头一般是一个或者绑定的几个，不可能同时多扇区写数据。如果多线程同时写一个磁盘，频繁的移动磁头，反而降低写效率，提供多个磁盘同时写显得尤为重要。将一份数据分成不同的文件块，同时写在不同的磁盘来提高写性能。
尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (4)

1.一种数据写入优化的方法，其特征在于，包括如下步骤：
(1)系统初始化，元数据管理节点管理元数据信息，数据存储节点执行数据的写入操作；
(2)客户端需要写入数据时，先请求元数据管理节点获取元数据信息，元数据管理节点根据负载均衡算法，选取具体的存储节点，生成元数据信息并返回响应给客户端，客户端获取元数据信息后直接发送数据给数据存储节点；
(3)数据存储节点启动，创建写数据线程，写数据线程根据负载均衡算法，选择写入的磁盘，写入成功后返回响应给客户端，同时告知元数据管理节点更新元数据信息。
2.如权利要求1所述的数据写入优化的方法，其特征在于，步骤(2)和步骤(3)中的负载均衡算法具体为：根据数据存储节点的CPU处理性能、磁盘容量分别配置不同的权重，给CPU处理能力较高、磁盘容量较大的数据存储节点配置更高的权重，让其处理更多的存储请求；给CPU处理能力较低、磁盘容量较小的数据存储节点配置较低的权重，降低该节点的负载。
3.如权利要求1所述的数据写入优化的方法，其特征在于，数据被分成若干份，被分别写在不同的磁盘上，使用元数据维护这组数据。
4.如权利要求1所述的数据写入优化的方法，其特征在于，数据使用双副本或多副本进行备份。
CN201610880880.5A 2016-10-09 2016-10-09 一种数据写入优化的方法 Pending CN106569739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610880880.5A CN106569739A (zh) 2016-10-09 2016-10-09 一种数据写入优化的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610880880.5A CN106569739A (zh) 2016-10-09 2016-10-09 一种数据写入优化的方法

Publications (1)

Publication Number Publication Date
CN106569739A true CN106569739A (zh) 2017-04-19

Family

ID=58532722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610880880.5A Pending CN106569739A (zh) 2016-10-09 2016-10-09 一种数据写入优化的方法

Country Status (1)

Country Link
CN (1) CN106569739A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209263A (zh) * 2020-01-14 2020-05-29 中国建设银行股份有限公司 数据存储方法、装置、设备及存储介质
CN113014662A (zh) * 2021-03-11 2021-06-22 联想(北京)有限公司 数据处理方法及基于NVMe-oF协议的存储系统
WO2021190232A1 (zh) * 2020-03-25 2021-09-30 华为技术有限公司 存储系统、数据处理方法、装置、节点以及存储介质
CN113608681A (zh) * 2021-06-30 2021-11-05 苏州浪潮智能科技有限公司 一种数据存储方法、系统、设备以及介质
CN114979180A (zh) * 2022-05-24 2022-08-30 超聚变数字技术有限公司 数据同步方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102820998A (zh) * 2012-08-27 2012-12-12 南京云创存储科技有限公司 实现面向办公应用的双机容错服务系统及其数据存储方法
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
US8589550B1 (en) * 2006-10-23 2013-11-19 Emc Corporation Asymmetric data storage system for high performance and grid computing
CN103761059A (zh) * 2014-01-24 2014-04-30 中国科学院信息工程研究所 一种用于海量数据管理的多盘位存储方法及系统
CN103905537A (zh) * 2014-03-20 2014-07-02 冶金自动化研究设计院 分布式环境下管理工业实时数据存储的系统
CN104580439A (zh) * 2014-12-30 2015-04-29 创新科存储技术（深圳）有限公司 一种云存储系统中使数据均匀分布的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589550B1 (en) * 2006-10-23 2013-11-19 Emc Corporation Asymmetric data storage system for high performance and grid computing
CN102820998A (zh) * 2012-08-27 2012-12-12 南京云创存储科技有限公司 实现面向办公应用的双机容错服务系统及其数据存储方法
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN103761059A (zh) * 2014-01-24 2014-04-30 中国科学院信息工程研究所 一种用于海量数据管理的多盘位存储方法及系统
CN103905537A (zh) * 2014-03-20 2014-07-02 冶金自动化研究设计院 分布式环境下管理工业实时数据存储的系统
CN104580439A (zh) * 2014-12-30 2015-04-29 创新科存储技术（深圳）有限公司 一种云存储系统中使数据均匀分布的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209263A (zh) * 2020-01-14 2020-05-29 中国建设银行股份有限公司 数据存储方法、装置、设备及存储介质
WO2021190232A1 (zh) * 2020-03-25 2021-09-30 华为技术有限公司 存储系统、数据处理方法、装置、节点以及存储介质
CN113014662A (zh) * 2021-03-11 2021-06-22 联想(北京)有限公司 数据处理方法及基于NVMe-oF协议的存储系统
CN113608681A (zh) * 2021-06-30 2021-11-05 苏州浪潮智能科技有限公司 一种数据存储方法、系统、设备以及介质
CN113608681B (zh) * 2021-06-30 2023-03-21 苏州浪潮智能科技有限公司 一种数据存储方法、系统、设备以及介质
CN114979180A (zh) * 2022-05-24 2022-08-30 超聚变数字技术有限公司 数据同步方法、系统及设备
CN114979180B (zh) * 2022-05-24 2024-05-17 超聚变数字技术有限公司 数据同步方法、系统及设备

Similar Documents

Publication Publication Date Title
CN106569739A (zh) 一种数据写入优化的方法
US7076605B1 (en) Method and apparatus for writing data to a storage device
US9128855B1 (en) Flash cache partitioning
US8103825B2 (en) System and method for providing performance-enhanced rebuild of a solid-state drive (SSD) in a solid-state drive hard disk drive (SSD HDD) redundant array of inexpensive disks 1 (RAID 1) pair
JP5807458B2 (ja) ストレージシステム、ストレージ制御装置およびストレージ制御方法
CN102024044B (zh) 分布式文件系统
US8984241B2 (en) Heterogeneous redundant storage array
US20150160872A1 (en) Operation method of distributed memory disk cluster storage system
US7975168B2 (en) Storage system executing parallel correction write
CN106407040A (zh) 一种远程数据复制方法及系统
CN103763383A (zh) 一体化云存储系统及其存储方法
US9223658B2 (en) Managing errors in a raid
US10915448B2 (en) Storage device initiated copy back operation
JP2006024211A5 (zh)
JP2005276196A (ja) ドライブ故障に続いてドライブリカバリを行うためのシステムおよび方法
TW201411348A (zh) 智慧型主動－主動高可取得性直連式儲存系統
CN102033786A (zh) 一种对象存储系统中修复副本一致性的方法
CN103019622A (zh) 一种数据的存储控制方法、控制器、物理硬盘，及系统
CN102177496A (zh) 用于针对当前数据和回放数据在不同raid数据存储类型之间转移数据的系统和方法
JP3096392B2 (ja) Ｒａｉｄを使用する、フル・モーション・ビデオのネットワーク・サポートの方法および装置
JP5466650B2 (ja) ストレージ・コピー・サービス・システムを管理する装置および方法
US10572464B2 (en) Predictable allocation latency in fragmented log structured file systems
JP2014074940A (ja) 情報処理装置、情報処理装置の制御方法および情報処理装置の制御プログラム
US9348525B2 (en) Systems and methods for a storage array-managed initiator cache
US9063861B1 (en) Host based hints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170419

RJ01 Rejection of invention patent application after publication