CN111046014A - 文件分布式存储系统、方法、装置及电子设备 - Google Patents
文件分布式存储系统、方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111046014A CN111046014A CN201911346503.3A CN201911346503A CN111046014A CN 111046014 A CN111046014 A CN 111046014A CN 201911346503 A CN201911346503 A CN 201911346503A CN 111046014 A CN111046014 A CN 111046014A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- storage
- data block
- complete
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013500 data storage Methods 0.000 claims abstract description 48
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了文件分布式存储方法，包括如下步骤：接收文件读取请求，所述文件读取请求包括文件的位置列表信息；根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；将每一个数据块存储至存储位置信息相应的数据存储单元。本发明提供一种弹性的分布式存储系统，将固定于某个节点的文件系统，扩展到任意多个节点，每个存储节点均可被读写，有效解决数据的存储难题。
Description
技术领域
本发明涉及数据存储技术，尤其涉及文件分布式存储系统、方法、装置及电子设备。
背景技术
随着企业系统各种数据的飞速增长以及日积月累的存量数据，单纯通过Scale Up(纵向扩展)方式利用现有的存储系统，通过不断增加存储容量来满足数据增长的需求，而带宽和计算能力并没有相应的增加。所以，整个存储系统很快就会达到性能瓶颈，需要继续扩展。
为了解决以上问题传统方式有两种方法：一是采用更强性能的存储引擎(EMC的Clarion系统和NetApp的FAS系列，采用增加控制器CPU或内存的方式来提供更强的性能)，但是这种方式问题在于价格昂贵；另外一种方法是额外购买的独立的存储系统，这样又会增加管理的复杂度且价格也比较昂贵。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供文件分布式存储系统，其能解决现有技术存储复杂、价格昂贵的问题。
本发明的目的之二在于提供文件分布式存储方法，其能解决现有技术存储复杂、价格昂贵的问题。
本发明的目的之三在于提供文件分布式存储装置，其能解决现有技术存储复杂、价格昂贵的问题。
本发明的目的之四在于提供一种电子设备，其能解决现有技术存储复杂、价格昂贵的问题。
本发明的目的之一采用以下技术方案实现：
文件分布式存储系统，包括API接口、主命名空间、副命名空间、多个数据存储单元，所述副命名空间与主命名空间连接，多个数据存储单元均与主命名空间连接，API接口与主命名空间连接；
所述AIP接口用于访问文件分布式存储系统，主命名空间用于接收并处理文件读写请求，并根据读写请求从数据存储单元读取数据块或写入数据块至数据存储单元。
本发明的目的之二采用以下技术方案实现：
文件分布式存储方法，包括如下步骤：
接收文件读取请求，所述文件读取请求包括文件的位置列表信息；
根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；
接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；
根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；
给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；
将每一个数据块存储至存储位置信息相应的数据存储单元。
优选的，“将读取的各数据块处理为完整数据”具体是对各所述数据块进行解码，并合并为完整数据。
优选的，执行完“将所述完整数据分割为至少一个数据块”后以及执行“给每一个数据块分配存储位置信息”之前，还对每一个分割后的数据块进行封包编码。
优选的，数据存储单元对接收到的数据块进行解码，并校验解码后的数据块的完整性，当判定该数据块完整后保存该数据块。
优选的，根据预设规则判断文件的大小小于阈值，则定义该文件为小文件，并分配所述小文件对应的密钥。
本发明的目的之三采用以下技术方案实现：
文件分布式存储装置，包括如下单元：
读取请求单元：被配置于接收文件读取请求，所述文件读取请求包括文件的位置列表信息；
读取处理单元：被配置为根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；
写入请求单元：被配置于接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；
数据分割单元：被配置于根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；
存储分配单元：被配置于给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；
数据存储单元：被配置于将每一个数据块存储至存储位置信息相应的数据存储单元。
本发明的目的之四采用以下技术方案实现：
一种电子设备，其上存储有处理器、存储器以及存储在存储器中并可被处理器执行的计算机可读程序，所述计算机可读程序被处理器执行时，实现如下步骤：
接收文件读取请求，所述文件读取请求包括文件的位置列表信息；
根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；
接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；
根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；
给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；
将每一个数据块存储至存储位置信息相应的数据存储单元。
相比现有技术，本发明的有益效果在于：
本发明提供一种弹性的分布式存储系统，将固定于某个节点的文件系统，扩展到任意多个节点，每个存储节点均可被读写，有效解决数据的存储难题。
附图说明
图1为本发明的文件分布式存储系统的模块结构图；
图2为本发明的文件分布式存储方法的流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述：
如图1所示，本发明提供一种文件分布式存储系统，包括文件分布式存储系统，其特征在于，包括API接口、主命名空间、副命名空间、多个数据存储单元，所述副命名空间与主命名空间连接，多个数据存储单元均与主命名空间连接，API接口与主命名空间连接；
所述AIP接口用于访问文件分布式存储系统，主命名空间用于接收并处理文件读写请求，并根据读写请求从数据存储单元读取数据块或写入数据块至数据存储单元。
本发明的四个模块之间使用高扩展性、高性能的NIO网络框架进行信息交互。主命名空间维护着整个系统目录树及目录下所有的文件，执行副本策略，监控数据存储单元的状态，接受并处理通过API接口进来的请求。副命名空间是主命名空间的冷备份，防止单点风险，当主命名空间无法正常工作，将代替主命名空间进行工作。数据存储单元根据需要存储并检索数据块，并周期性的向主命名空间发送它们的心跳信息。
如图2所示，本发明还提供一种文件分布式存储方法，包括如下步骤：
S1：接收文件读取请求，所述文件读取请求包括文件的位置列表信息；
S2：根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；
S3：接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；
S4：根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；
S5：给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；
S6：将每一个数据块存储至存储位置信息相应的数据存储单元。
进一步优选的，“将读取的各数据块处理为完整数据”具体是对各所述数据块进行解码，并合并为完整数据。
进一步优选的实施方式，执行完“将所述完整数据分割为至少一个数据块”后以及执行“给每一个数据块分配存储位置信息”之前，还对每一个分割后的数据块进行封包编码。
其中，数据存储单元对接收到的数据块进行解码，并校验解码后的数据块的完整性，当判定该数据块完整后保存该数据块。根据预设规则判断文件的大小小于阈值，则定义该文件为小文件，并分配所述小文件对应的密钥。
上述步骤流程可以划分为大文件的读取过程和写入过程，小文件的读取过程和写入过程。
具体的，针对大文件的读取过程，通过API接口向主命名空间发送文件读取请求，获取文件对应的数据块位置列表信息，根据数据块位置列表信息从各个数据存储单元读取数据块，将各数据块解码合并获得文件的完整数据。
针对大文件的写入过程，根据预设规则，也即是系统配置的数据块的大小，将大文件切割成多个数据块，切割后的数据块大小符合系统配置的数据块大小，对切割后的数据块逐个进行封包编码。向主命名空间发送写入请求，主命名空间为数据块分配存储位置信息，根据所示存储位置信息，将数据块传输到对应的数据存储单元进行保存。数据存储单元接收到数据块后，进行解码，然后校验数据块的完整性，再进行保存，并反馈保存结构给主命名空间。
针对小文件的读取过程，向主命名空间发送读取请求，获取对应的存储位置信息，根据存储位置信息从指定节点读取小文件的数据，将数据块解码获得完整数据。
针对小文件的写入过程，发送写入请求，对数据块进行封包编码，主命名空间给小文件分配密钥和存储位置信息，根据存储位置信息，将小文件的数据块传输至对应的数据存储单元进行保存。数据存储单元对数据块进行解码，然后校验完整性，确保完整后再进行保存。
本发明还提供文件分布式存储装置，包括如下单元：
读取请求单元：被配置于接收文件读取请求，所述文件读取请求包括文件的位置列表信息；
读取处理单元：被配置为根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；
写入请求单元：被配置于接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；
数据分割单元：被配置于根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；
存储分配单元：被配置于给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；
数据存储单元：被配置于将每一个数据块存储至存储位置信息相应的数据存储单元。
本发明还提供一种电子设备，其上存储有处理器、存储器以及存储在存储器中并可被处理器执行的计算机可读程序，其特征在于，所述计算机可读程序被处理器执行时，实现如下步骤：
接收文件读取请求，所述文件读取请求包括文件的位置列表信息；
根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；
接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；
根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；
给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；
将每一个数据块存储至存储位置信息相应的数据存储单元。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (8)
1.文件分布式存储系统，其特征在于，包括API接口、主命名空间、副命名空间、多个数据存储单元，所述副命名空间与主命名空间连接，多个数据存储单元均与主命名空间连接，API接口与主命名空间连接；
所述AIP接口用于访问文件分布式存储系统，主命名空间用于接收并处理文件读写请求，并根据读写请求从数据存储单元读取数据块或写入数据块至数据存储单元。
2.文件分布式存储方法，其特征在于，包括如下步骤：
接收文件读取请求，所述文件读取请求包括文件的位置列表信息；
根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；
接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；
根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；
给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；
将每一个数据块存储至存储位置信息相应的数据存储单元。
3.如权利要求2所述的文件分布式存储方法，其特征在于，“将读取的各数据块处理为完整数据”具体是对各所述数据块进行解码，并合并为完整数据。
4.如权利要求3所述的文件分布式存储方法，其特征在于，执行完“将所述完整数据分割为至少一个数据块”后以及执行“给每一个数据块分配存储位置信息”之前，还对每一个分割后的数据块进行封包编码。
5.如权利要求4所述的文件分布式存储方法，其特征在于，数据存储单元对接收到的数据块进行解码，并校验解码后的数据块的完整性，当判定该数据块完整后保存该数据块。
6.如权利要求2所述的文件分布式存储方法，其特征在于，根据预设规则判断文件的大小小于阈值，则定义该文件为小文件，并分配所述小文件对应的密钥。
7.文件分布式存储装置，其特征在于，包括如下单元：
读取请求单元：被配置于接收文件读取请求，所述文件读取请求包括文件的位置列表信息；
读取处理单元：被配置为根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；
写入请求单元：被配置于接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；
数据分割单元：被配置于根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；
存储分配单元：被配置于给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；
数据存储单元：被配置于将每一个数据块存储至存储位置信息相应的数据存储单元。
8.一种电子设备，其上存储有处理器、存储器以及存储在存储器中并可被处理器执行的计算机可读程序，其特征在于，所述计算机可读程序被处理器执行时，实现如下步骤：
接收文件读取请求，所述文件读取请求包括文件的位置列表信息；
根据所述文件的位置列表信息分别从对应的数据存储单元中读取相应的数据块，并将读取的各数据块处理为完整数据；
接收文件的写入请求，所述文件写入请求包括文件的大小以及文件的完整数据；
根据所述文件的大小以及预设规则将所述完整数据分割为至少一个数据块；
给每一个数据块分配存储位置信息，以得到所述完整数据对应的位置列表信息；
将每一个数据块存储至存储位置信息相应的数据存储单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911346503.3A CN111046014A (zh) | 2019-12-24 | 2019-12-24 | 文件分布式存储系统、方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911346503.3A CN111046014A (zh) | 2019-12-24 | 2019-12-24 | 文件分布式存储系统、方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111046014A true CN111046014A (zh) | 2020-04-21 |
Family
ID=70238895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911346503.3A Pending CN111046014A (zh) | 2019-12-24 | 2019-12-24 | 文件分布式存储系统、方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046014A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256472A (zh) * | 2020-10-20 | 2021-01-22 | 平安科技（深圳）有限公司 | 分布式数据调取方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547714A (zh) * | 2001-08-03 | 2004-11-17 | 易斯龙系统公司 | 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法 |
| WO2014026355A1 (en) * | 2012-08-16 | 2014-02-20 | Empire Technology Development Llc | Storing encoded data files on multiple file servers |
| US20160070719A1 (en) * | 2014-09-05 | 2016-03-10 | Cleversafe, Inc. | Consistency based access of data in a dispersed storage network |
| JP2017068805A (ja) * | 2015-10-02 | 2017-04-06 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、プロセッサ、および情報処理方法 |
| CN107656939A (zh) * | 2016-07-26 | 2018-02-02 | 南京中兴新软件有限责任公司 | 文件写入方法及装置 |
| CN109739435A (zh) * | 2018-12-03 | 2019-05-10 | 中科恒运股份有限公司 | 文件存储和更新方法及装置 |
-
2019
- 2019-12-24 CN CN201911346503.3A patent/CN111046014A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547714A (zh) * | 2001-08-03 | 2004-11-17 | 易斯龙系统公司 | 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法 |
| WO2014026355A1 (en) * | 2012-08-16 | 2014-02-20 | Empire Technology Development Llc | Storing encoded data files on multiple file servers |
| US20160070719A1 (en) * | 2014-09-05 | 2016-03-10 | Cleversafe, Inc. | Consistency based access of data in a dispersed storage network |
| JP2017068805A (ja) * | 2015-10-02 | 2017-04-06 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、プロセッサ、および情報処理方法 |
| CN107656939A (zh) * | 2016-07-26 | 2018-02-02 | 南京中兴新软件有限责任公司 | 文件写入方法及装置 |
| CN109739435A (zh) * | 2018-12-03 | 2019-05-10 | 中科恒运股份有限公司 | 文件存储和更新方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 付惠惠: "一种分布式存储管理原型系统客户端软件的设计与实现" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256472A (zh) * | 2020-10-20 | 2021-01-22 | 平安科技（深圳）有限公司 | 分布式数据调取方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10114749B2 (en) | Cache memory system and method for accessing cache line | |
| US9495294B2 (en) | Enhancing data processing performance by cache management of fingerprint index | |
| US10152501B2 (en) | Rollover strategies in a n-bit dictionary compressed column store | |
| US10901619B2 (en) | Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse | |
| CN107066397B (zh) | 用于管理数据迁移的方法、系统和存储介质 | |
| US20190220443A1 (en) | Method, apparatus, and computer program product for indexing a file | |
| CN107436725A (zh) | 一种数据写、读方法、装置及分布式对象存储集群 | |
| CN108829613B (zh) | 数据存储方法及存储设备 | |
| CN110134338B (zh) | 一种分布式存储系统及其数据冗余保护方法和相关设备 | |
| CN104102693A (zh) | 对象处理方法和装置 | |
| US9380127B2 (en) | Distributed caching and cache analysis | |
| US10359945B2 (en) | System and method for managing a non-volatile storage resource as a shared resource in a distributed system | |
| US9298765B2 (en) | Apparatus and method for handling partially inconsistent states among members of a cluster in an erratic storage network | |
| US9959079B2 (en) | Writing data into redundant array of independent disks (RAID) of storage system | |
| CN111061690A (zh) | 一种基于rac的数据库日志文件读取方法和装置 | |
| CN111046014A (zh) | 文件分布式存储系统、方法、装置及电子设备 | |
| US11481275B2 (en) | Managing reconstruction of a malfunctioning disk slice | |
| US20060143313A1 (en) | Method for accessing a storage device | |
| US20190155657A1 (en) | Resource assignment method using cda protocol in distributed processing environment and distributed processing device applying the same | |
| CN105574008A (zh) | 应用于分布式文件系统的任务调度方法和设备 | |
| US9858204B2 (en) | Cache device, cache system, and cache method | |
| CN113849311B (zh) | 内存空间管理方法、装置、计算机设备和存储介质 | |
| US9665585B2 (en) | Preserving high value entries in an event log | |
| US20120221802A1 (en) | Multiplex Restore Using Next Relative Addressing | |
| CN106339279B (zh) | 一种业务恢复方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |