CN111208953A - 一种分布式存储方法及其装置 - Google Patents

一种分布式存储方法及其装置 Download PDF

Info

Publication number
CN111208953A
CN111208953A CN202010301297.0A CN202010301297A CN111208953A CN 111208953 A CN111208953 A CN 111208953A CN 202010301297 A CN202010301297 A CN 202010301297A CN 111208953 A CN111208953 A CN 111208953A
Authority
CN
China
Prior art keywords
data
blocks
distributed storage
control module
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010301297.0A
Other languages
English (en)
Inventor
麦剑
史伟
闵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Eflycloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eflycloud Computing Co Ltd filed Critical Guangdong Eflycloud Computing Co Ltd
Priority to CN202010301297.0A priority Critical patent/CN111208953A/zh
Publication of CN111208953A publication Critical patent/CN111208953A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式存储方法及其装置，存储方法步骤包括：分布式存储系统将数据分成若干个子数据块，并存储于不同的存储设备；当数据客户端需要读取数据时，分布式存储系统将数据所需的子数据块从存储设备进行读取合并，然后发送给数据客户端；当分布式存储系统检测到数据客户端需要连续读取其中若干个子数据块时，数据连续性存储控制模块对这些子数据块进行缓冲保存，并将其发送给数据客户端；当数据客户端结束对数据的读取时，数据连续性存储控制模块释放并删除其内的子数据块。本发明将需要连续读取的若干个分布式数据块集中缓冲在数据连续性存储控制模块，减少了跨设备读取带来的性能消耗，并且提高了读取效率。

Description

一种分布式存储方法及其装置
技术领域
本发明涉及云计算的分布式存储技术领域，特别涉及一种分布式存储方法及其装置。
背景技术
分布式存储是一种常见的存储方法，其通常把一块数据内容分成不同的小块然后保存到多台存储设备上，跟数据的集中保存方式的明显区别就是分布式，数据是分散在不同的设备上。
目前分布式存储都是把一块数据按照固定的大小分成若干份，然后把这些小数据块分散地保存到整个集群设备之上。通常，为了降低设备故障所带来的影响，这些小数据块都采取了尽量分散分布的原则。但是这种分散的数据保存方式有个缺点就是，当需要重组一个完整的数据块的时候，需要从多个存储点获取之后汇总，效率较低。通常存储设备是无法得知需要保存数据的使用方式的，这样会导致某些场景下对连续数据读写效率较低。
在某些场景下，外部使用者需要经常获取数据某段连续的数据内容，这样就需要从若干个不同的存储单元获取然后汇总，中间有磁盘调度、网络调度等，开销较大，不能很好满足性能方面的需求。
发明内容
本发明要解决的技术问题在于，提供一种分布式存储方法及其装置，通过设置一个数据连续性存储控制模块，将需要连续读取的若干个分布式数据块集中缓冲在数据连续性存储控制模块，使得读取这些数据时，只需要从一个设备上读取即可，无需再在各个分布式存储设备上进行数据的读取，减少了跨设备读取带来的性能消耗，并且提高了读取效率。
为解决上述技术问题，本发明提供如下技术方案：一种分布式存储方法，包括以下步骤：
S1、当数据客户端需要读取数据时，数据客户端通过分布式存储系统进行子数据块读取，分布式存储系统将数据所需的子数据块从存储设备进行读取合并，然后发送给数据客户端；
S2、当分布式存储系统检测到数据客户端需要连续读取其中若干个子数据块时，数据连续性存储控制模块对这些子数据块进行缓冲保存，分布式存储系统直接在数据连续性存储控制模块上读取合并子数据块，并将其发送给数据客户端。
进一步地，所述步骤S1前还包括步骤S0、数据客户端将数据写入分布式存储系统，分布式存储系统将数据分成若干个子数据块，并分别将各个子数据块存储于不同的存储设备。
进一步地，所述步骤S2后还包括步骤S3、当分布式存储系统检测到数据客户端结束对数据的读取时，数据连续性存储控制模块释放并删除其内的子数据块。
本发明另一目的是提供一种分布式存储装置，包括相互连接的数据客户端和分布式存储系统，所述分布式存储系统包括数据连续性存储控制模块以及若干个存储设备。
所述数据客户端用于写入数据至所述分布式存储系统，或者从所述分布式存储系统上读取数据。
所述分布式存储系统用于接收数据客户端的数据，并将数据分成若干个子数据块后，分别将各个子数据块存储于不同的存储设备；所述分布式存储系统还用于将存储设备上的子数据块进行读取合并后，发送给所述数据客户端，以及所述分布式存储系统用于检测数据客户端是否需要连续读取存储设备中的子数据块。
所述数据连续性存储控制模块用于：当数据客户端需要连续读取存储设备中的子数据块时，所述数据连续性存储控制模块对这些子数据块进行缓冲保存，分布式存储系统直接在数据连续性存储控制模块上读取合并子数据块，并将其发送给数据客户端。
所述数据连续性存储控制模块还用于：当所述数据客户端停止读取数据时，所述数据连续性存储控制模块释放并删除其内的子数据块。
所述存储设备用于存储子数据块。
采用上述技术方案后，本发明至少具有如下有益效果：本发明通过增加一个额外的数据连续性存储控制模块，可以给使用者一个可控制的功能，来指定哪些数据块需要连续保存，哪些可以分散保存，既保留了分布式存储的优点，又能解决特定场景下的需求。
附图说明
图1为本发明一种分布式存储方法步骤流程图；
图2为本发明一种分布式存储装置框架图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
本发明在现有分布式存储的存储方式之上，增加了一个可控的存储方法，既可以保留分布式存储的优势，又能很好解决连续数据的读写问题，使用者可以根据自身数据内容来控制指定的数据块是分散保存还是连续保存在同一个存储设备单元上。
如图1所示，本实施例提供一种分布式存储方法，详细步骤包括。
S11、数据客户端将数据写入分布式存储系统，分布式存储系统将数据分成若干个子数据块，并分别将各个子数据块存储于不同的存储设备。
S12、当数据客户端需要读取数据时，数据客户端通过分布式存储系统进行子数据块读取，分布式存储系统将数据所需的子数据块从存储设备进行读取合并，然后发送给数据客户端。
S13、当分布式存储系统检测到数据客户端需要连续读取其中若干个子数据块时，数据连续性存储控制模块对这些子数据块进行缓冲保存，分布式存储系统直接在数据连续性存储控制模块上读取合并子数据块，并将其发送给数据客户端。
S14、当分布式存储系统检测到数据客户端结束对数据的读取时，数据连续性存储控制模块释放并删除其内的子数据块。
实施例2
本实施例在实施例1的方法基础之上提供了一种分布式存储装置，如图2所示，包括相互连接的数据客户端和分布式存储系统，所述分布式存储系统包括数据连续性存储控制模块以及若干个存储设备；存储设备包括存储设备1、存储设备2、存储设备3等等。
所述数据客户端用于写入数据至所述分布式存储系统，或者从所述分布式存储系统上读取数据。
所述分布式存储系统用于接收数据客户端的数据，并将数据分成若干个子数据块后，分别将各个子数据块存储于不同的存储设备；所述分布式存储系统还用于将存储设备上的子数据块进行读取合并后，发送给所述数据客户端，以及所述分布式存储系统用于检测数据客户端是否需要连续读取存储设备中的子数据块。
所述数据连续性存储控制模块用于：当数据客户端需要连续读取存储设备中的子数据块时，所述数据连续性存储控制模块对这些子数据块进行缓冲保存，分布式存储系统直接在数据连续性存储控制模块上读取合并子数据块，并将其发送给数据客户端。
所述数据连续性存储控制模块还用于：当所述数据客户端停止读取数据时，所述数据连续性存储控制模块释放并删除其内的子数据块。
所述存储设备用于存储子数据块。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (4)

1.一种分布式存储方法，其特征在于，包括以下步骤：
S1、当数据客户端需要读取数据时，数据客户端通过分布式存储系统进行子数据块读取，分布式存储系统将数据所需的子数据块从存储设备进行读取合并，然后发送给数据客户端；
S2、当分布式存储系统检测到数据客户端需要连续读取其中若干个子数据块时，数据连续性存储控制模块对这些子数据块进行缓冲保存，分布式存储系统直接在数据连续性存储控制模块上读取合并子数据块，并将其发送给数据客户端。
2.根据权利要求1所述的一种分布式存储方法，其特征在于，所述步骤S1前还包括步骤S0、数据客户端将数据写入分布式存储系统，分布式存储系统将数据分成若干个子数据块，并分别将各个子数据块存储于不同的存储设备。
3.根据权利要求1所述的一种分布式存储方法，其特征在于，所述步骤S2后还包括步骤S3、当分布式存储系统检测到数据客户端结束对数据的读取时，数据连续性存储控制模块释放并删除其内的子数据块。
4.一种分布式存储装置，其特征在于，包括相互连接的数据客户端和分布式存储系统，所述分布式存储系统包括数据连续性存储控制模块以及若干个存储设备；
所述数据客户端用于写入数据至所述分布式存储系统，或者从所述分布式存储系统上读取数据；
所述分布式存储系统用于接收数据客户端的数据，并将数据分成若干个子数据块后，分别将各个子数据块存储于不同的存储设备；所述分布式存储系统还用于将存储设备上的子数据块进行读取合并后，发送给所述数据客户端，以及所述分布式存储系统用于检测数据客户端是否需要连续读取存储设备中的子数据块；
所述数据连续性存储控制模块用于：当数据客户端需要连续读取存储设备中的子数据块时，所述数据连续性存储控制模块对这些子数据块进行缓冲保存，分布式存储系统直接在数据连续性存储控制模块上读取合并子数据块，并将其发送给数据客户端；
所述数据连续性存储控制模块还用于：当所述数据客户端停止读取数据时，所述数据连续性存储控制模块释放并删除其内的子数据块；
所述存储设备用于存储子数据块。
CN202010301297.0A 2020-04-16 2020-04-16 一种分布式存储方法及其装置 Pending CN111208953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010301297.0A CN111208953A (zh) 2020-04-16 2020-04-16 一种分布式存储方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010301297.0A CN111208953A (zh) 2020-04-16 2020-04-16 一种分布式存储方法及其装置

Publications (1)

Publication Number Publication Date
CN111208953A true CN111208953A (zh) 2020-05-29

Family

ID=70785974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010301297.0A Pending CN111208953A (zh) 2020-04-16 2020-04-16 一种分布式存储方法及其装置

Country Status (1)

Country Link
CN (1) CN111208953A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930320A (zh) * 2020-10-14 2020-11-13 广东睿江云计算股份有限公司 一种基于分布式存储数据的内存优化方法及其系统
WO2023165264A1 (zh) * 2022-03-02 2023-09-07 支付宝(杭州)信息技术有限公司 数据存储方法及装置、数据读取方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441655A (zh) * 2008-12-24 2009-05-27 深圳市迅雷网络技术有限公司 读取数据的方法及装置
US20130007383A1 (en) * 2010-03-11 2013-01-03 Fujitsu Limited Data block read-out control apparatus
CN103530067A (zh) * 2013-10-09 2014-01-22 华为技术有限公司 一种数据操作的方法和设备
CN104750432A (zh) * 2015-03-16 2015-07-01 华为技术有限公司 一种数据存储方法及装置
CN107015758A (zh) * 2016-01-28 2017-08-04 胡敏 一种新型分布式存储缓存加速方法
CN107340977A (zh) * 2017-07-14 2017-11-10 长沙开雅电子科技有限公司 一种存储虚拟化新型缓存预读实现方法
CN108234638A (zh) * 2017-12-29 2018-06-29 北京奇虎科技有限公司 一种基于内容分发网络cdn的数据处理方法和装置
CN109375872A (zh) * 2018-09-27 2019-02-22 腾讯科技（深圳）有限公司 数据访问请求的处理方法、装置和设备及存储介质
US20190095134A1 (en) * 2017-09-27 2019-03-28 Alibaba Group Holding Limited Performance enhancement of a storage device using an integrated controller-buffer
CN110619019A (zh) * 2019-08-07 2019-12-27 平安科技（深圳）有限公司 数据的分布式存储方法及系统
CN110647497A (zh) * 2019-07-19 2020-01-03 广东工业大学 一种基于hdfs的高性能文件存储与管理系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441655A (zh) * 2008-12-24 2009-05-27 深圳市迅雷网络技术有限公司 读取数据的方法及装置
US20130007383A1 (en) * 2010-03-11 2013-01-03 Fujitsu Limited Data block read-out control apparatus
CN103530067A (zh) * 2013-10-09 2014-01-22 华为技术有限公司 一种数据操作的方法和设备
CN104750432A (zh) * 2015-03-16 2015-07-01 华为技术有限公司 一种数据存储方法及装置
CN107015758A (zh) * 2016-01-28 2017-08-04 胡敏 一种新型分布式存储缓存加速方法
CN107340977A (zh) * 2017-07-14 2017-11-10 长沙开雅电子科技有限公司 一种存储虚拟化新型缓存预读实现方法
US20190095134A1 (en) * 2017-09-27 2019-03-28 Alibaba Group Holding Limited Performance enhancement of a storage device using an integrated controller-buffer
CN108234638A (zh) * 2017-12-29 2018-06-29 北京奇虎科技有限公司 一种基于内容分发网络cdn的数据处理方法和装置
CN109375872A (zh) * 2018-09-27 2019-02-22 腾讯科技（深圳）有限公司 数据访问请求的处理方法、装置和设备及存储介质
CN110647497A (zh) * 2019-07-19 2020-01-03 广东工业大学 一种基于hdfs的高性能文件存储与管理系统
CN110619019A (zh) * 2019-08-07 2019-12-27 平安科技（深圳）有限公司 数据的分布式存储方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930320A (zh) * 2020-10-14 2020-11-13 广东睿江云计算股份有限公司 一种基于分布式存储数据的内存优化方法及其系统
CN111930320B (zh) * 2020-10-14 2021-02-02 广东睿江云计算股份有限公司 一种基于分布式存储数据的内存优化方法及其系统
WO2023165264A1 (zh) * 2022-03-02 2023-09-07 支付宝(杭州)信息技术有限公司 数据存储方法及装置、数据读取方法及装置

Similar Documents

Publication Publication Date Title
US10606806B2 (en) Method and apparatus for storing time series data
US10929065B2 (en) Method, device and computer program product for coordinating access operations
US10649905B2 (en) Method and apparatus for storing data
US9357007B2 (en) Controlling storing of data
CN105955807B (zh) 一种任务处理系统及方法
CN112703489A (zh) 控制器、存储器件访问系统、电子设备和数据传输方法
CN111208953A (zh) 一种分布式存储方法及其装置
US20100037231A1 (en) Method for reading/writing data in a multithread system
CN1821985A (zh) 数据传输系统和数据传输方法
CN113485962B (zh) 日志文件的存储方法、装置、设备和存储介质
CN114217738A (zh) 一种动态队列式循环存储方法、装置、设备及介质
CN111416825A (zh) 线程间无锁日志管理方法和系统、终端、存储介质
JP7273975B2 (ja) データ処理の方法、装置、機器及び記憶媒体
CN109032821B (zh) 自动驾驶主题消息处理方法、装置、设备及存储介质
CN109039804B (zh) 一种文件读取方法和电子设备
CN111913807A (zh) 一种基于多个存储区域的事件处理方法、系统及装置
CN110018782B (zh) 一种数据读/写方法及相关装置
US10831561B2 (en) Method for changing allocation of data using synchronization token
CN110297811A (zh) 数据处理方法及装置、计算机系统和计算机可读存储介质
CN112965805B (zh) 基于内存映射文件的跨进程异步任务处理方法及系统
US20180307684A1 (en) Method and Device for Reading and Writing Video Data in NAS Device
CN111459653B (zh) 集群调度方法、装置和系统以及电子设备
CN111435332B (zh) 数据处理方法及设备
CN108595367B (zh) 一种基于局域网内计算机集群的服务器系统
CN111177478A (zh) 一种查询方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529