CN107247714B - 一种基于分布式存储技术的小文件存取系统的存取方法 - Google Patents
一种基于分布式存储技术的小文件存取系统的存取方法 Download PDFInfo
- Publication number
- CN107247714B CN107247714B CN201610382292.9A CN201610382292A CN107247714B CN 107247714 B CN107247714 B CN 107247714B CN 201610382292 A CN201610382292 A CN 201610382292A CN 107247714 B CN107247714 B CN 107247714B
- Authority
- CN
- China
- Prior art keywords
- server
- small documents
- core
- network switch
- layer network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000015654 memory Effects 0.000 claims abstract description 54
- 239000012792 core layer Substances 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims abstract description 8
- 239000007787 solid Substances 0.000 claims description 12
- 239000010410 layer Substances 0.000 claims 1
- 238000007726 management method Methods 0.000 abstract description 8
- 238000013461 design Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于分布式存储技术的小文件存取系统的存取方法，属于数据存储领域，包括客户端服务器、核心服务器、核心层网络交换机和若干存储节点服务器，采用合理的硬件结构和分布式存储技术，解决了小文件存取时网络通信开销大、数据布局不合理和I/O访问模式复杂和Cache管理低效的问题。
Description
技术领域
本发明属于数据存储领域。
背景技术
目前的文件系统，包括本地文件系统、分布式文件系统和对象存储系统，都是主要针对大文件设计的，在元数据管理、数据布局、条带设计、缓存管理等实现策略上都侧重大文件，而海量小文件应用在性能和存储效率方面要大幅降低，甚至无法工作。随着分布式系统的广泛应用和海量小文件的出现,使得分布式文件系统在存储过程中小文件问题更加凸显。存储过程中小文件问题主要表现在以下几个方面：元数据管理低效、数据布局低效、I/O访问流程复杂。
发明内容
本发明的目的是提供一种基于分布式存储技术的小文件存取系统的存取方法，采用合理的硬件结构和分布式存储技术，解决了小文件存取时网络通信开销大、数据布局不合理和I/O访问模式复杂和Cache管理低效的问题。
为实现上述目的，本发明采用以下技术方案：一种基于分布式存储技术的小文件存取系统，包括客户端服务器、核心服务器、核心层网络交换机和若干存储节点服务器，核心服务器包括多核CPU、固态硬盘、万兆网卡或InfiniBand网卡、PCI多功能并口卡和64G内存，固态硬盘、万兆网卡或InfiniBand网卡、PCI多功能并口卡和64G内存均与多核CPU电连接，所述核心服务器通过万兆网卡或InfiniBand网卡与核心层网络交换机通信，客户端服务器通过互联网与核心层网络交换机通信，每一个存储节点服务器均通过互联网与核心层网络交换机通信。
所述核心服务器的多核CPU设有多路径I/O通道。
所述每一个存储节点服务器中均设一个Cache存储器，所有所述存储节点服务器构成了数据存储系统，所述数据存储系统采用分布独立式 Cache技术进行管理。
所述核心层网络交换机为万兆网网络交换机或InfiniBand网网络交换机。
所述客户端服务器通过所述核心层网络交换机与所述核心服务器和所述存储节点服务器通信。
所述核心服务器通过所述核心层网络交换机与所述存储节点服务器通信。
以及上述小文件存取系统采用的小文件存取方法，包括以下步骤：
步骤1：将储存文件的大小分类为小文件和大文件，核心服务器判断所要存储的文件的大小，如是小文件则执行步骤2；
步骤2：核心服务器将小文件的尾部追加BLOCK的尾部标识；
步骤3：核心服务器为小文件建立索引用的元数据，将元数据存储至所述固态硬盘内；
步骤4：核心服务器将小文件和所述元数据通过核心层网络交换机发送到一个存储节点服务器的Cache存储器中，当该存储节点服务器存储满后，核心服务器将小文件通过核心层网络交换机发送到另一个存储节点服务器Cache存储器中；
步骤5：存储节点服务器将自己的Cache存储器中的多个小文件合并成一个大文件后进行存储；
步骤6：每一个存储节点服务器都将自己存储的文件读取至自己的Cache存储器中；
步骤7：客户端服务器通过核心层网络交换机向核心服务器发送读取小文件请求；
步骤8：核心服务器接收所述读取小文件请求，并通过固态硬盘中的元数据查询到所要读取的小文件的元数据，并通过核心层网络交换机向客户端服务器发送元数据给客户端服务器；
步骤9：客户端服务器通过所述元数据查询到所要读取的小文件存储在哪一个存储节点服务器中，并通过核心层网络交换机与该存储节点服务器进行通信，读取小文件；
所述核心服务器在存储元数据时会将不必要的元数据信息删除，所述不必要的元数据信息包括：创建日期、访问日期和访问权限。
本发明所述的一种基于分布式存储技术的小文件存取系统的存取方法，采用合理的硬件结构和分布式存储技术，解决了小文件存取时网络通信开销大、数据布局不合理和I/O访问模式复杂和Cache管理低效的问题，本发明采用合理的硬件构架，提高了硬件的性能；采用分布式Cache管理、小文件合并存储和元数据管理的方法，多管齐下，为小文件存储提供了合理的存储构架，实现了小文件的快速存储和读取。
附图说明
图1是本发明的结构示意图；
图2是本发明的小文件存储流程图。
具体实施方式
实施例1：
如图1所述的一种基于分布式存储技术的小文件存取系统，包括客户端服务器、核心服务器、核心层网络交换机和若干存储节点服务器，核心服务器包括多核CPU、固态硬盘、万兆网卡或InfiniBand网卡、PCI多功能并口卡和64G内存，固态硬盘、万兆网卡或InfiniBand网卡、PCI多功能并口卡和64G内存均与多核CPU电连接，所述核心服务器通过万兆网卡或InfiniBand网卡与核心层网络交换机通信，客户端服务器通过互联网与核心层网络交换机通信，每一个存储节点服务器均通过互联网与核心层网络交换机通信。
所述核心服务器的多核CPU设有多路径I/O通道。
所述每一个存储节点服务器中均设一个Cache存储器，所有所述存储节点服务器构成了数据存储系统，所述数据存储系统采用分布独立式 Cache技术进行管理。
所述核心层网络交换机为万兆网网络交换机或InfiniBand网网络交换机。
所述客户端服务器通过所述核心层网络交换机与所述核心服务器和所述存储节点服务器通信。
所述核心服务器通过所述核心层网络交换机与所述存储节点服务器通信。
本发明提供了最为合理的硬件构架，按照减少数据访问时间的优化思路，采用更高性能的硬件来提高小文件存取性能。比如，使用速度更快的固体硬盘作为全部或部分存储介质，可以显著提高随机读写场景下的IOPS/OPS性能；采用处理能力更强或多核的CPU，可以提高系统的I/O处理速度和并发性；配置更大空容量的64G内存，以空间换时间，有效提高数据缓存命中率；采用的万兆网络或InfiniBand网络，延迟更小、带宽更高的网络设备优化网络传输效率；本发明采用以上硬件结构的目标是消除I/O物理通道上的瓶颈，保证理论上的性能最大化，为软件层面的优化工作做铺垫。
实施例2：
基于实施例1所述的一种基于分布式存储技术的小文件存取系统的小文件存取方法：包括以下步骤：
步骤1：将储存文件的大小分类为小文件和大文件，核心服务器判断所要存储的文件的大小，如是小文件则执行步骤2；
步骤2：核心服务器将小文件的尾部追加BLOCK的尾部标识；
步骤3：核心服务器为小文件建立索引用的元数据，将元数据存储至所述固态硬盘内；
步骤4：核心服务器将小文件和所述元数据通过核心层网络交换机发送到一个存储节点服务器的Cache存储器中，当该存储节点服务器存储满后，核心服务器将小文件通过核心层网络交换机发送到另一个存储节点服务器Cache存储器中；
步骤5：存储节点服务器将自己的Cache存储器中的多个小文件合并成一个大文件后进行存储；
步骤6：每一个存储节点服务器都将自己存储的文件读取至自己的Cache存储器中；
步骤7：客户端服务器通过核心层网络交换机向核心服务器发送读取小文件请求；
步骤8：核心服务器接收所述读取小文件请求，并通过固态硬盘中的元数据查询到所要读取的小文件的元数据，并通过核心层网络交换机向客户端服务器发送元数据给客户端服务器；
步骤9：客户端服务器通过所述元数据查询到所要读取的小文件存储在哪一个存储节点服务器中，并通过核心层网络交换机与该存储节点服务器进行通信，读取小文件；
所述核心服务器在存储元数据时会将不必要的元数据信息删除，以达到元数据的优化效果，所述不必要的元数据信息包括：创建日期、访问日期和访问权限。
本发明采用分布独立式Cache技术，每个存储节点服务器上的文件系统Cache只负责缓存本节点上的I/O数据，Cache中数据的一致性和Cache资源分配等工作由本节点服务器上的Cache管理器负责。这种Cache技术管理简单，不影响系统的整体结构，系统增删存储节点后，也不需要做额外的Cache配置和管理工作。本发明根据访问接口和语义需要，对元数据进行精简，保留足够的元数据即可，从而达到减少元数据的目的，减少元数据通信延迟，相同容量的Cache可以缓存更多的元数据，从而提高元数据的访问效率。
Claims (7)
1.一种基于分布式存储技术的小文件存取系统的存取方法，其特征在于：该小文件存取系统包括客户端服务器、核心服务器、核心层网络交换机和若干存储节点服务器，核心服务器包括多核CPU、固态硬盘、万兆网卡或InfiniBand网卡、PCI多功能并口卡和64G内存，固态硬盘、万兆网卡或Infin iBand网卡、PCI多功能并口卡和64G内存均与多核CPU电连接，所述核心服务器通过万兆网卡或InfiniBand网卡与核心层网络交换机通信，客户端服务器通过互联网与核心层网络交换机通信，每一个存储节点服务器均通过互联网与核心层网络交换机通信；
其中该方法包括：
步骤1：将储存文件的大小分类为小文件和大文件，核心服务器判断所要存储的文件的大小，如是小文件则执行步骤2；
步骤2：核心服务器将小文件的尾部追加BLOCK的尾部标识；
步骤3：核心服务器为小文件建立索引用的元数据，将元数据存储至所述固态硬盘内；
步骤4：核心服务器将小文件和所述元数据通过核心层网络交换机发送到一个存储节点服务器的Cache存储器中，当该存储节点服务器存储满后，核心服务器将小文件通过核心层网络交换机发送到另一个存储节点服务器Cache存储器中；
步骤5：存储节点服务器将自己的Cache存储器中的多个小文件合并成一个大文件后进行存储；
步骤6：每一个存储节点服务器都将自己存储的文件读取至自己的Cache存储器中；
步骤7：客户端服务器通过核心层网络交换机向核心服务器发送读取小文件请求；
步骤8：核心服务器接收所述读取小文件请求，并通过固态硬盘中的元数据查询到所要读取的小文件的元数据，并通过核心层网络交换机向客户端服务器发送元数据给客户端服务器；
步骤9：客户端服务器通过所述元数据查询到所要读取的小文件存储在哪一个存储节点服务器中，并通过核心层网络交换机与该存储节点服务器进行通信，读取小文件。
2.如权利要求1所述的一种基于分布式存储技术的小文件存取系统的存取方法，其特征在于：所述核心服务器的多核CPU设有多路径I/O通道。
3.如权利要求1所述的一种基于分布式存储技术的小文件存取系统的存取方法，其特征在于：所述每一个存储节点服务器中均设一个Cache存储器，所有所述存储节点服务器构成了数据存储系统，所述数据存储系统采用分布独立式Cache技术进行管理。
4.如权利要求1所述的一种基于分布式存储技术的小文件存取系统的存取方法，其特征在于：所述核心层网络交换机为万兆网网络交换机或InfiniBand网网络交换机。
5.如权利要求1所述的一种基于分布式存储技术的小文件存取系统的存取方法，其特征在于：所述客户端服务器通过所述核心层网络交换机与所述核心服务器和所述存储节点服务器通信。
6.如权利要求1所述的一种基于分布式存储技术的小文件存取系统的存取方法，其特征在于：所述核心服务器通过所述核心层网络交换机与所述存储节点服务器通信。
7.如权利要求1所述的一种基于分布式存储技术的小文件存取系统的存取方法，其特征在于：所述核心服务器在存储元数据时会将不必要的元数据信息删除，其中所述不必要的元数据信息包括：创建日期、访问日期和访问权限。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610382292.9A CN107247714B (zh) | 2016-06-01 | 2016-06-01 | 一种基于分布式存储技术的小文件存取系统的存取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610382292.9A CN107247714B (zh) | 2016-06-01 | 2016-06-01 | 一种基于分布式存储技术的小文件存取系统的存取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107247714A CN107247714A (zh) | 2017-10-13 |
| CN107247714B true CN107247714B (zh) | 2018-02-27 |
Family
ID=60016096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610382292.9A Active CN107247714B (zh) | 2016-06-01 | 2016-06-01 | 一种基于分布式存储技术的小文件存取系统的存取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107247714B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147203B (zh) * | 2019-05-16 | 2022-11-04 | 北京金山云网络技术有限公司 | 一种文件管理方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547714A (zh) * | 2001-08-03 | 2004-11-17 | 易斯龙系统公司 | 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法 |
| CN101854388A (zh) * | 2010-05-17 | 2010-10-06 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储中并行访问大量小文件的方法及系统 |
| CN103856567A (zh) * | 2014-03-26 | 2014-06-11 | 西安电子科技大学 | 基于Hadoop分布式文件系统的小文件存储方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567001B (zh) * | 2009-05-22 | 2012-05-16 | 清华大学 | 并行文件系统的元数据文件布局管理方法 |
| CN102143215B (zh) * | 2011-01-20 | 2013-04-10 | 中国人民解放军理工大学 | 一种基于网络的pb级云存储系统及其处理方法 |
| AU2013409624B2 (en) * | 2013-12-31 | 2016-11-17 | Huawei Technologies Co., Ltd. | Data processing method and device in distributed file storage system |
| CN104333586A (zh) * | 2014-10-31 | 2015-02-04 | 山东超越数控电子有限公司 | 一种基于光纤链路的san存储设计方法 |
-
2016
- 2016-06-01 CN CN201610382292.9A patent/CN107247714B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1547714A (zh) * | 2001-08-03 | 2004-11-17 | 易斯龙系统公司 | 提供用于在存储设备的分布式文件系统中进行信息追踪的元数据的系统和方法 |
| CN101854388A (zh) * | 2010-05-17 | 2010-10-06 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储中并行访问大量小文件的方法及系统 |
| CN103856567A (zh) * | 2014-03-26 | 2014-06-11 | 西安电子科技大学 | 基于Hadoop分布式文件系统的小文件存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107247714A (zh) | 2017-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102222085B (zh) | 一种基于相似性与局部性结合的重复数据删除方法 | |
| CN109547566B (zh) | 一种基于内存分配的多线程上传优化方法 | |
| CN103544261B (zh) | 一种海量结构化日志数据全局索引管理方法及装置 | |
| CN104407879B (zh) | 一种电网时序大数据并行加载方法 | |
| CN107832423B (zh) | 一种用于分布式文件系统的文件读写方法 | |
| CN102541985A (zh) | 一种分布式文件系统中客户端目录缓存的组织方法 | |
| CN103888499A (zh) | 一种分布式对象处理的方法及系统 | |
| Adya et al. | Fast key-value stores: An idea whose time has come and gone | |
| CN102456076A (zh) | 海量片段数据汇聚的系统和方法 | |
| CN101916289A (zh) | 支持海量小文件和动态备份数的数字图书馆存储系统的构建方法 | |
| CN107241444B (zh) | 一种分布式缓存数据管理系统、方法及装置 | |
| CN105589664A (zh) | 虚拟存储高速传输方法 | |
| CN107247714B (zh) | 一种基于分布式存储技术的小文件存取系统的存取方法 | |
| CN104580422A (zh) | 基于共享缓存的集群渲染节点数据访问方法 | |
| Zhou et al. | Hierarchical consistent hashing for heterogeneous object-based storage | |
| CN103500147A (zh) | 一种嵌入分层存储的pb级集群存储系统的方法 | |
| CN109271105A (zh) | 应用于分布式存储集群的数据存储方法及分布式存储集群 | |
| Chen et al. | Client-aware cloud storage | |
| CN102609508A (zh) | 一种面向网络存储的文件高速访问方法 | |
| CN113472864B (zh) | 高性能的区块链分布式存储系统及方法、设备、存储介质 | |
| WO2024021470A1 (zh) | 一种跨区域的数据调度方法、装置、设备及存储介质 | |
| Zhou et al. | An Efficient Data Fingerprint Query Algorithm Based on Two-Leveled Bloom Filter. | |
| CN109521957A (zh) | 一种数据处理方法和装置 | |
| CN101901273B (zh) | 一种基于内存磁盘的高性能存储方法及其装置 | |
| CN1581188A (zh) | 一种大容量电子邮件的存储管理方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Co-patentee after: INFORMATION SYSTEM INTEGRATION BRANCH OF NARI Group Corp. Patentee after: State Grid Corporation of China Co-patentee after: NARI Group Corp. Co-patentee after: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co. Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Co-patentee before: INFORMATION SYSTEM INTEGRATION BRANCH OF NARI Group Corp. Patentee before: State Grid Corporation of China Co-patentee before: NARI Group CORPORATION STATE GRID ELECTRIC POWER INSTITUTE Co-patentee before: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co. |