CN109885550B - 一种基于全联通路由层的文件存储系统 - Google Patents
一种基于全联通路由层的文件存储系统 Download PDFInfo
- Publication number
- CN109885550B CN109885550B CN201811622901.9A CN201811622901A CN109885550B CN 109885550 B CN109885550 B CN 109885550B CN 201811622901 A CN201811622901 A CN 201811622901A CN 109885550 B CN109885550 B CN 109885550B
- Authority
- CN
- China
- Prior art keywords
- layer
- routing
- server
- file
- servers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006870 function Effects 0.000 claims abstract description 7
- 230000008520 organization Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于全联通路由层的文件存储系统，包括包括接口层、路由层、元数据服务层、缓存层和文件层；所述接口层用于提供对外文件访问接口；所述路由层用于提供星型网络的拓扑结构，所有的服务器均连接路由层；本发明涉及一套分布式的,可扩展的海量文件存储系统，通过本发明的设计,可以生产一种可靠的海量文件服务集群；相对于传统的分布式文件系统比如GFS,本发明可以做到独立的接入服务器和元数据服务器，将功能解耦合，各个服务可以并行扩展；同时本发明还具备可扩展的路由层，单个路由服务器故障不会停止服务；而且星型的基于全联通路由层的网络架构，简化了网络拓扑结构，提高网络效率。
Description
技术领域
本发明属于文件存储领域，涉及一种全联通路由层技术，具体是一种基于全联通路由层的文件存储系统。
背景技术
数据存储设备在最初设计的时候,主要解决数据的三个方面的需求,即为数据存储、数据索引和数据检索；而单机的存储比较简单,在单个物理机器的情况下,数据存储主要依托本机的物理磁盘；
当数据量超过单个物理服务器的承载极限的时候,比如数据超过100TB,此时单个物理服务器无法承载,必须使用分布式文件存储系统.分布式文件系统能够处理,存储和索引检索海量的数据；
计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，可以通过增加单个计算机硬盘个数来扩展计算机文件系统的存储容量的方式，但是单个服务器容量有限,无法承载海量数据的存储
分布式文件系统可以有效解决数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。
目前已有很多成熟的分布式文件系统,包括商业级别的,以及开源免费的分布式文件系统。在现有技术过程中,文件被分为固定的块,存储在多个服务器上,服务器架构分为管理服务器和节点服务器，管理服务器负责数据的接入,文件的访问接口，节点服务器用于储存文件块；
但是在实际应用中,仍有如下缺陷：
(1)传统方案中,采用单一的管理服务器即单个物理服务器，当管理服务器发生故障的时候，整个服务将不可使用；
(2)传统方案中,客户端直接连接管理服务器,使得大容量网络吞吐的时候,管理服务器,很容易成为瓶颈；
(3)传统方案中,不支持缓存层,使得高频文件的访问始终需要访问物理磁盘,效率比较低下。
发明内容
本发明设计一种可扩展的，基于全联通路由层的分布式海量存储系统,通过分层和组件化的服务器设计,可以解决当前现有的分布式文件系统的缺点,达到高效存储海量文件的目的；本发明主要提供一种基于全联通路由层的文件存储系统。
本发明的目的可以通过以下技术方案实现：
一种基于全联通路由层的文件存储系统，包括接口层、路由层、元数据服务层、缓存层和文件层；
其中，所述接口层用于提供对外文件访问接口；所述路由层用于提供星型网络的拓扑结构，所有的服务器均连接路由层；所述元数据服务层用于分布式的存储文件系统的元数据；所述缓存层用于对高频访问文件，提供基于内存的缓存服务器；所述文件层用于提供基于节点的实际的文件存储功能，且每个节点有2到4个备份；
所述路由层采用分布式路由结构，所述路由层由若干台路由服务器构成,所有的路由服务器之间进行全连接,即每台路由服务器均和其他所有的路由服务器建立长连接；
所有的路由服务器均保存一份完整的路由表；因为所有的路由服务器都有完整的路由表；因此任何一个路由服务器都可以知道如何进行数据的传输；当故障发生时,某台路由服务器停止可用时,其他服务器会尝试连接其他正在服务的路由服务器,并且更新路由表；
所述元数据服务层包括若干分布式的元数据服务器,并且形成主要/备份关系,当单个元数据服务器的容量不够时候,可以成对增加元数据服务器；
所述元数据服务层的文件组织是以数据块为单元,把文件按固定大小,大小具体可为32MB，将文件切分为数据块节点,每个数据块节点有自己独立的Guid,并且数据块节点可以在不同的存储服务器上存放多个副本,所述存储服务器上存放副本个数可为3个；当有单个存储服务器发生故障时,因为数据块节点会存放在不同的3个存储服务器上,因此文件仍然有2个节点可以读写,文件仍然是安全的；仅有同时3个对应的存储服务器同时发生故障,才会导致文件内容的丢失。
进一步地，所述其他服务器可为接口服务器、元数据服务器、存储服务器和缓存服务器。
进一步地，所述元数据服务层的元数据格式具体为：元数据服务器存放文件的文件名、和对应的缓存服务器ID、以及所有的数据块列表、每个数据块节点对应3个或者多个数据块。
进一步地，所述路由层以星型结构,全联通网状结构为中心,所有的服务器均和路由层进行连接,形成一个星型网络；即为接口服务器、索引服务器、元数据服务器、存储服务器、管理服务器和缓存服务器与路由层进行连接。
进一步地，所述接口层包括接口服务器；所述缓存层包括缓存服务器；所述文件层包括存储服务器。
本发明的有益效果：
本发明涉及一套分布式的,可扩展的海量文件存储系统，通过本发明的设计,可以生产一种可靠的海量文件服务集群；相对于传统的分布式文件系统比如GFS,本发明可以做到独立的接入服务器和元数据服务器，将功能解耦合，各个服务可以并行扩展；同时本发明还具备可扩展的路由层，单个路由服务器故障不会停止服务；而且星型的基于全联通路由层的网络架构，简化了网络拓扑结构，提高网络效率。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明各个服务器之间的逻辑关系图；
图2为本发明路由层全联通网状结构图；
图3为本发明路由层服务器架构图；
图4为本发明路由服务器的路由表；
图5为本发明元数据服务层成对添加结构图；
图6为本发明元数据格式图。
具体实施方式
如图1所示，一种基于全联通路由层的文件存储系统，包括接口层、路由层、元数据、缓存层、文件层和客户端；
其中，所述接口层用于提供对外文件访问接口，比如NFS，FTP服务等；所述路由层用于提供星型网络的拓扑结构，所有的服务器均连接路由层；所述元数据用于分布式的存储文件系统的元数据；所述缓存层用于对高频访问文件，提供基于内存的缓存服务器；所述文件层用于提供基于节点的，实际的文件存储功能，每个节点有2到4个备份；所述客户端通过连接元数据,进行数据访问；
所述接口层包括接口服务器；所述缓存层包括缓存服务器；所述文件层包括存储服务器；如图2所示，所述路由层以星型结构,全联通网状结构为中心,所有的服务器均和路由层进行连接,形成一个星型网络；即接口服务器、索引服务器、元数据服务器、存储服务器、管理服务器和缓存服务器与路由层进行连接；
所述路由层服务器可以由单一服务器构成,也可以由多个路由服务器组成,这样就可以达到任意两台服务器之间都可以灵活通讯的效果；
传统的GFS架构因为是单个管理服务器对应多个节点服务器的结构,因此管理服务器本身就具有接入服务,和管理服务两大功能,本发明采用星型结构以后,通过路由层服务器集群,将所有的服务器有效进行连接,使得任意服务器都可以和其他任意服务器通讯,简化了拓扑结构；
在本发明的星型网络结构下,可以很方便有效的增加缓存服务器,索引服务器,以及内部管理服务器等；
路由层服务器架构因为是采用星型网络结构,所有的其他服务器均和路由层服务器进行连接；其他服务器可为接口服务器、元数据服务器、存储服务器和缓存服务器等；因此一旦路由层发生故障,会导致整个服务通讯出现问题；
如图3所示，所述路由层采用分布式路由结构，所述路由层由若干台路由服务器构成,所有的路由服务器之间进行全连接,即每台路由服务器均和其他所有的路由服务器建立长连接；
如图4所示，所有的所述路由服务器均保存一份完整的路由表；因为所有的路由器都有完整的路由表；因此任何一个路由服务器都可以知道如何进行数据的传输；当故障发生时,某台路由服务器停止可用时,其他服务器会尝试连接其他正在服务的路由服务器,并且更新路由表；根据以上的设计,单个的路由服务器故障不会导致整个服务停止；
如图5所示，所述元数据服务层以分布式服务器组成,并且形成主要/备份关系,当单个元数据服务器的容量不够时候,可以成对增加元数据服务器；
根据本发明的设计,可以按需求扩展元数据服务器的大小,解决了传统分布式文件系统例如GFS把元数据存放在单一物理机器的弊端，因此理论上可以支持无限大的文件个数；
本发明中元数据服务层的文件组织仍然是以数据块为单元,把文件按固定大小,例如32MB切分为数据块节点,每个数据块节点有自己独立的Guid,并且数据块节点可以在不同的存储服务器上存放多个副本,根据设置,本发明一般设定副本个数为3个；
当有单个存储服务器发生故障时,因为数据块节点会存放在不同的3个存储服务器上,因此文件仍然有2个节点可以读写,文件仍然是安全的；仅有同时3个对应的存储服务器同时发生故障,才会导致文件内容的丢失。
如图6所示，如果缓存服务器ID有的情况下，本发明中元数据格式为，元数据服务器存放文件的文件名,和对应的缓存服务器ID，以及所有的数据块列表，每个数据块节点对应3个或者多个数据块；如果缓存服务器ID没有，则元数据格式中就不存在缓存服务器ID。
本发明涉及一套分布式的,可扩展的海量文件存储系统，通过本发明的设计,可以生产一种可靠的海量文件服务集群；相对于传统的分布式文件系统比如GFS,本发明可以做到独立的接入服务器和元数据服务器，将功能解耦合，各个服务可以并行扩展；同时本发明还具备可扩展的路由层，单个路由服务器故障不会停止服务；而且星型的基于全联通路由层的网络架构，简化了网络拓扑结构，提高网络效率。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (5)
1.一种基于全联通路由层的文件存储系统，其特征在于，包括接口层、路由层、元数据服务层、缓存层和文件层；
其中，所述接口层用于提供对外文件访问接口；所述路由层用于提供星型网络的拓扑结构，所有的服务器均连接路由层；所述元数据服务层用于分布式的存储文件系统的元数据；所述缓存层用于对高频访问文件，提供基于内存的缓存服务器；所述文件层用于提供基于节点的实际的文件存储功能，且每个节点有2到4个备份；
所述路由层采用分布式路由结构，所述路由层由若干台路由服务器构成,所有的路由服务器之间进行全连接,即每台路由服务器均和其他所有的路由服务器建立长连接；
所有的路由服务器均保存一份完整的路由表；因为所有的路由服务器都有完整的路由表；因此任何一个路由服务器都可以知道如何进行数据的传输；当故障发生时,某台路由服务器停止可用时,其他服务器会尝试连接其他正在服务的路由服务器,并且更新路由表；
所述元数据服务层包括若干分布式的元数据服务器,并且形成主要/备份关系，当单个元数据服务器的容量不够时候，成对增加元数据服务器；
所述元数据服务层的文件组织是以数据块为单元,把文件按固定大小,大小具体为32MB，将文件切分为数据块节点,每个数据块节点有自己独立的Guid,并且数据块节点在不同的存储服务器上存放多个副本,所述存储服务器上存放副本个数为3个；当有单个存储服务器发生故障时,因为数据块节点会存放在不同的3个存储服务器上,因此文件仍然有2个节点可以读写,文件仍然是安全的；仅有同时3个对应的存储服务器同时发生故障,才会导致文件内容的丢失。
2.根据权利要求1所述的一种基于全联通路由层的文件存储系统，其特征在于，所述其他服务器为接口服务器、元数据服务器、存储服务器和缓存服务器。
3.根据权利要求1所述的一种基于全联通路由层的文件存储系统，其特征在于，所述元数据服务层的元数据格式具体为：元数据服务器存放文件的文件名、和对应的缓存服务器ID、以及所有的数据块列表，每个数据块节点对应多个数据块。
4.根据权利要求1所述的一种基于全联通路由层的文件存储系统，其特征在于，所述路由层以星型结构,全联通网状结构为中心；所有的服务器均和路由层进行连接,形成一个星型网络；即为接口服务器、索引服务器、元数据服务器、存储服务器、管理服务器和缓存服务器与路由层进行连接。
5.根据权利要求1所述的一种基于全联通路由层的文件存储系统，其特征在于，所述接口层包括接口服务器；所述缓存层包括缓存服务器；所述文件层包括存储服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811622901.9A CN109885550B (zh) | 2018-12-28 | 2018-12-28 | 一种基于全联通路由层的文件存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811622901.9A CN109885550B (zh) | 2018-12-28 | 2018-12-28 | 一种基于全联通路由层的文件存储系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109885550A CN109885550A (zh) | 2019-06-14 |
| CN109885550B true CN109885550B (zh) | 2022-09-13 |
Family
ID=66925306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811622901.9A Active CN109885550B (zh) | 2018-12-28 | 2018-12-28 | 一种基于全联通路由层的文件存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109885550B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103078898A (zh) * | 2012-12-18 | 2013-05-01 | 华为技术有限公司 | 文件系统、接口服务装置和数据存储服务提供方法 |
| CN104008152A (zh) * | 2014-05-21 | 2014-08-27 | 华南理工大学 | 支持海量数据访问的分布式文件系统的架构方法 |
| CN104303162A (zh) * | 2012-01-12 | 2015-01-21 | 才智知识产权控股公司(2) | 用于管理缓存接纳的系统和方法 |
| CN106027397A (zh) * | 2016-05-16 | 2016-10-12 | 中北大学 | 一种星型拓展的分布式测量设备网络通信方法 |
| CN107920101A (zh) * | 2016-10-10 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 一种文件访问方法、装置、系统及电子设备 |
| CN108353040A (zh) * | 2015-10-30 | 2018-07-31 | 思杰系统有限公司 | 用于分布式分组调度的系统和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112214424B (zh) * | 2015-01-20 | 2024-04-05 | 乌尔特拉塔有限责任公司 | 对象存储器结构、处理节点、存储器对象存储和管理方法 |
| CN107181686B (zh) * | 2016-03-09 | 2020-06-23 | 阿里巴巴集团控股有限公司 | 路由表的同步方法、装置及系统 |
-
2018
- 2018-12-28 CN CN201811622901.9A patent/CN109885550B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104303162A (zh) * | 2012-01-12 | 2015-01-21 | 才智知识产权控股公司(2) | 用于管理缓存接纳的系统和方法 |
| CN103078898A (zh) * | 2012-12-18 | 2013-05-01 | 华为技术有限公司 | 文件系统、接口服务装置和数据存储服务提供方法 |
| CN104008152A (zh) * | 2014-05-21 | 2014-08-27 | 华南理工大学 | 支持海量数据访问的分布式文件系统的架构方法 |
| CN108353040A (zh) * | 2015-10-30 | 2018-07-31 | 思杰系统有限公司 | 用于分布式分组调度的系统和方法 |
| CN106027397A (zh) * | 2016-05-16 | 2016-10-12 | 中北大学 | 一种星型拓展的分布式测量设备网络通信方法 |
| CN107920101A (zh) * | 2016-10-10 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 一种文件访问方法、装置、系统及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 云计算平台中数据存储与文件管理的研究;张洪娜;《中国优秀硕士学位论文全文数据库信息科技辑》;20111015;第7-43页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109885550A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6317856B2 (ja) | クラスタ間冗長構成におけるスムーズな制御部交代 | |
| CN101753617B (zh) | 一种云存储系统和方法 | |
| CN103763383B (zh) | 一体化云存储系统及其存储方法 | |
| US9231988B2 (en) | Intercluster repository synchronizer and method of synchronizing objects using a synchronization indicator and shared metadata | |
| CN106210147B (zh) | 一种基于轮询的负载均衡方法和装置 | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| CN107844269A (zh) | 一种基于一致性哈希的分层混合存储系统及方法 | |
| CN100452046C (zh) | 一种海量文件的存储方法及系统 | |
| CN104735110B (zh) | 元数据管理方法和系统 | |
| CN108763436A (zh) | 一种基于ElasticSearch与HBase的分布式数据存储系统 | |
| US11836115B2 (en) | Gransets for managing consistency groups of dispersed storage items | |
| CN101986276B (zh) | 文件存储方法、文件恢复方法、系统及服务器 | |
| CN102904948A (zh) | 一种超大规模低成本存储系统 | |
| US11755557B2 (en) | Flat object storage namespace in an object storage system | |
| CN109542861A (zh) | 一种文件管理方法、装置和系统 | |
| CN109639773A (zh) | 一种动态构建的分布式数据集群控制系统及其方法 | |
| CN107291876A (zh) | 一种分布式数据管理方法 | |
| CN101344882A (zh) | 数据查询方法、插入方法及删除方法 | |
| CN110663034B (zh) | 用于云环境中改进的数据复制的方法及其设备 | |
| CN107908713B (zh) | 一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法 | |
| CN109033250A (zh) | 一种支持大数据文件访问服务的高可用性对象存储方法 | |
| CN109885550B (zh) | 一种基于全联通路由层的文件存储系统 | |
| CN110362590A (zh) | 数据管理方法、装置、系统、电子设备及计算机可读介质 | |
| CN111381766B (zh) | 一种磁盘动态加载的方法和云存储系统 | |
| CN114925075B (zh) | 一种多源时空监测信息实时动态融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Weide Industrial Park at the intersection of Wenshan Road and Changgu Road in Feixi County Economic Development Zone, Hefei City, Anhui Province, 231200 Patentee after: Anhui Zhongke Weide Digital Technology Co.,Ltd. Address before: 231200 No. 316 Jinxiu Avenue, Peach Blossom Industrial Park, Feixi County, Hefei City, Anhui Province Patentee before: ANHUI WDT INDUSTRIAL AUTOMATION CO.,LTD. |
|
| CP03 | Change of name, title or address |