CN102546823A - 一种云存储系统的文件存储管理系统 - Google Patents

一种云存储系统的文件存储管理系统 Download PDF

Info

Publication number
CN102546823A
CN102546823A CN2012100365389A CN201210036538A CN102546823A CN 102546823 A CN102546823 A CN 102546823A CN 2012100365389 A CN2012100365389 A CN 2012100365389A CN 201210036538 A CN201210036538 A CN 201210036538A CN 102546823 A CN102546823 A CN 102546823A
Authority
CN
China
Prior art keywords
server
data
storage
memory node
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100365389A
Other languages
English (en)
Inventor
张真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd
Original Assignee
NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd filed Critical NANJING INNOVATIVE CLOUD STORAGE TECHNOLOGY Co Ltd
Priority to CN2012100365389A priority Critical patent/CN102546823A/zh
Publication of CN102546823A publication Critical patent/CN102546823A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种云存储系统的文件存储管理系统，该系统由一个或多个管理节点，一个或多个存储节点（数据节点）组成，系统在数据建立与存储时，分布式建立与存储数据在各存储节点上，数据建立与存储时，系统对外接口支持POSIX标准协议，通过主卷管理服务器控制数据分流的方式，均衡各存储服务器负载，保持性能且服务器原存储数据存放路径固定不变。

Description

一种云存储系统的文件存储管理系统
技术领域
本发明涉及电子信息技术领域，尤其涉及一种云存储系统的文件存储管理系统。
背景技术
传统的集群存储数据，其物理位置比较集中，数据存放无需考虑负载是否均衡。在实现本发明的过程中，发明人发现，云存储系统一般采用顺序存储数据的原则存储数据。但云存储系统一般由多台存储服务器组成，一台服务器满载后可能无法满足原承载用户的需求。如果单纯的采用顺序存储原则，则可能造成部分存储服务器负载过重，部分服务器负载过轻。如此则导致存负载过重的存储服务器性能下降，用户无法高效的读写数据。
为给用户提供持续高效的服务质量，有必要针对服务器的负载对存储进行数据存储优化，在海量数据存储方面做出相应的改进。
发明内容
发明目的：本发明的目的在于克服现有技术的不足，提供一种云存储系统的文件存储管理系统。通过主卷管理服务器控制数据分流的方式，使存储服务器均衡负载，性能一致且服务器原存储数据存放路径固定不变，通过本发明系统架构，可以支撑海量数据存储。
本发明提供了一种云存储系统的文件存储管理系统，为解决上述的技术问题，提供了如下解决方案。
一种云存储系统的文件存储管理系统，包括：对于存储节点服务器的负载百分比差值设置阀值，如果存储节点服务器群组中的最高负载服务器与存储节点服务器群组中的最低负载服务器负载百分比差值达到阀值，则通过主卷管理服务器控制数据对最高负载服务器存储数据进行分流。
对于存储节点服务器群组的负载百分比差值设置阀值，如果存储节点服务器集群中的最高负载服务器群组与存储节点服务器集群中的最低负载服务器群组负载百分比差值达到阀值，则通过主卷管理服务器控制数据对最高负载服务器群组新存储数据进行分流。
本发明中特有的主卷管理服务器管理着其它普通存储节点服务器，从而实现了本发明（云存储系统）的存储空间无限扩展的可能性，理论支撑容量可达到GP级，即1024*1024*1024PB。
数据分流具体方法如下：云存储系统使用初期，主卷管理服务器根据存储服务器负载百分比逐台启用存储服务器，下文设以负载百分比差值设置的阀值为10%，X个云存储系统集群，集群包括Y个服务器群组，每个群组各包含Z台存储服务器为例阐述云存储系统初期的使用情况。
主卷管理服务器随机安排第一个用户的存储空间在存储系统集群M，存储系统群组A中的存储服务器1中，若该用户的空间使用率未达到该存储服务器总容量的10%，则后续用户存储空间依然安排在该存储服务器中，直到第N个用户使用该存储服务器时，该存储服务器负载达到10%，此时存储服务器负载百分比差值达到阀值10%，主卷管理服务器开始对该存储服务器新写入数据进行分流，新写入数据分流规则如下。
为保持用户原有数据物理存储位置不变，原有目录下的新增数据依然存储在存储服务器1中，原有用户新建的任意级别的目录均映射到存储服务器2中，新增用户存储空间均安排到存储服务器2中。
存储服务器2的使用与存储服务器1相同，当储存服务器2负载百分比差值达到阀值10%，管理服务器开始对储存服务器2新写入的数据进行分流，分流规则同服务器1。
以此类推，直到储存服务器Z负载百分比差值达到阀值10%，主卷管理服务器开启存储系统群组B并开始对存储系统群组A新写入数据进行分流。
存储系统群组B使用过程同存储系统群组A，以此类推，直到Y个服务器群组负载百分比差值达到阀值10%,超级管理服务器开启存储系统集群L，存储系统集群使用过程同存储系统集群M。
优选的，所述服务器启动方法能在系统使用初期有效节约系统使用成本。
优选的，只对新建目录进行分流有如下特点：保证服务器原有存储数据的物理位置不发生改变；用户不需要向主卷管理服务器重新获取原有数据存储路径，主卷管理服务器会自动记录给用户分配的存储服务器信息；元数据内存访问，带宽饱和利用实现了快速访问和高吞吐量的优越性能；有效减少了存储服务器之间的数据流。
云存储系统正常使用阶段，由于每个存储服务器（群组、集群）承载用户活跃程度并不相同，如此便会导致每个存储服务器（群组、集群）负载不均，管理服务器会对达到阀值的存储服务器进行分流，分流规则同云存储系统使用初期。
优选的，系统均衡负载能给用户良好的使用体验。
一种云存储系统存储服务器扩容的物理方法，包括：对于存储节点服务器的负载百分比差值设置阀值，如果存储节点服务器群组中的最高负载服务器与存储节点服务器群组中的最低负载服务器负载百分比差值达到阀值，但最高负载服务器原有目录下仍有大量数据写入，则对最高负载服务器存储空间进行扩展，直到最高负载服务器与最低负载服务器负载百分比差值小于阀值。
对于存储节点服务器群组的负载百分比差值设置阀值，如果存储节点服务器集群中的最高负载服务器群组与存储节点服务器集群中的最低负载服务器群组负载百分比差值达到阀值，但最高负载服务器群组原有目录下仍有大量数据写入，则对最高负载服务器存储空间进行扩展，直到最高负载服务器与最低负载服务器负载百分比差值小于阀值。
优选的，对最高负载存储节点服务器（群组）存储空间进行扩展有如下特点：最高负载存储服务器整体性能提升；最高负载存储服务器负载百分比下降；最高负载存储服务器原存储数据物理位置不发生改变；用户不必停止服务，即可根据存储容量的需求，灵活增减存储节点。
优选的，服务器自动对用户创建的新目录进行分流，存储服务器不会因为负载不均导致部分存储服务器性能下降。
优选的，用户首次创建的目录结构永久存放的初始路径下。
优选的，用户首次读写数据时通过访问主卷管理服务器获取数据存放目录表。
优选的，用户后续读写数据时直接访问原路径获取数据。
本发明提供的一种云存储系统的文件存储管理系统，所述的负载百分比差值设置的阀值根据需要可选择为任意百分比或固定数值。
本发明提供的一种云存储系统的文件存储管理系统，设定了一种完美支持POSIX（可移植操作系统接口Portable Operating System Interface）标准协议的驱动程序，通过该驱动程序可将OS（操作系统）与本发明系统对接，如此一来，用户使用本发明系统时，就犹如操作本地存储空间（C、D盘等）一样操作。
附图说明
图1为云存储系统的文件存储管理系统结构图。
图2为云存储系统支持POSIX标准流程图。
具体实施方式
下面结合附图对本发明的实施方式作出说明。
图1为本发明的一种云存储系统的文件存储管理系统结构图。如图所示，当用户客户端初次访问本发明系统时，用户客户端首先访问主卷管理服务器，主卷管理服务器分配对应主元数据服务器，并将主元数据服务器IP地址等信息发回给客户端，客户端会在本地记录这些IP信息并保存。之后每当客户端访问本发明系统时，会直接查找本地记录中对应的主元数据服务器的IP信息并连接对应IP的主元数据服务器，主元数据服务器会自动获取其下各存储节点服务器的负载情况并根据之前设置的负载阀值选择负载最低的存储节点提供给客户端进行读写操作。在客户端进行读写操作的同时，主元数据服务器会记录客户端读写某些文件对应的存储节点的信息并保存在主元数据服务器上。之后客户端操作同样的文件时可通过主元数据服务器获取文件对应的存储节点的信息而直接访问文件对应的存储节点。
图2为本发明的一种云存储系统的文件存储管理系统支持POSIX标准流程图。如图所示，当用户通过OS（操作系统）操作文件时，支持POSIX标准的驱动程序会将OS（操作系统）与本系统进行桥接，这样使用本系统存储文件时就类似于使用本机盘符C盘一样操作。
本发明提供了一种云存储系统达到文件存储管理的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成内容和功能均可用现有技术加以实现。

Claims (16)

1.一种云存储系统的文件存储管理系统，其特征在于，由一个或多个管理节点，一个或多个存储节点（数据节点）组成，系统在数据建立与存储时，分布式建立与存储数据在各存储节点上。
2.根据权利要求1所述的一种云存储系统的文件存储管理系统，其特征在于：数据建立与存储时，系统对外接口支持POSIX标准协议。
3.根据权利要求1所述的一种云存储系统的文件存储管理系统，其特征在于：通过主卷管理服务器控制数据分流的方式，均衡各存储服务器负载，保持性能且服务器原存储数据存放路径固定不变。
4.根据权利要求3所述的一种主卷管理服务器控制数据分流的方式，其特征在于：对于存储节点服务器的负载百分比差值设置阀值，如果存储节点服务器群组中的最高负载服务器与存储节点服务器群组中的最低负载服务器负载百分比差值达到阀值，则通过主卷管理服务器控制数据对最高负载服务器存储数据进行分流。
5.根据权利要求3所述的一种主卷管理服务器控制数据分流的方式，其特征在于：对于存储节点服务器群组的负载百分比差值设置阀值，如果存储节点服务器集群中的最高负载服务器群组与存储节点服务器集群中的最低负载服务器群组负载百分比差值达到阀值，则通过主卷管理服务器控制数据对最高负载服务器群组新存储数据进行分流。
6.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：存储节点服务器中的最高负载服务器与存储节点服务器中的最低负载服务器负载百分比差值达到阀值，但最高负载服务器原有目录下仍有大量数据写入，则对最高负载服务器存储空间进行扩展。
7.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：本系统采用中心服务器模式，主卷管理服务器管理其它普通存储节点服务器，存储空间可无限扩展，理论支撑容量达到GP级（1024*1024*1024PB）。
8.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：对于存储节点服务器的负载百分比差值设置阀值，如果存储节点服务器群组中的最高负载服务器与存储节点服务器群组中的最低负载服务器负载百分比差值达到阀值，但最高负载服务器原有目录下仍有大量数据写入，则对最高负载服务器存储空间进行扩展，直到最高负载服务器与最低负载服务器负载百分比差值小于阀值。
9.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：对于存储节点服务器群组的负载百分比差值设置阀值，如果存储节点服务器集群中的最高负载服务器群组与存储节点服务器集群中的最低负载服务器群组负载百分比差值达到阀值，但最高负载服务器群组原有目录下仍有大量数据写入，则对最高负载服务器存储空间进行扩展，直到最高负载服务器与最低负载服务器负载百分比差值小于阀值。
10.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：不必停止服务，即可根据存储容量的需求，灵活增减存储节点。
11.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：服务器自动对用户创建的新目录进行分流。
12.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：用户首次创建的目录结构永久存放的初始路径下。
13.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：用户首次读写数据时通过访问主卷管理服务器获取数据存放目录表。
14.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：后续读写数据时直接访问原路径获取数据。
15.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：对于所述的负载百分比差值设置的阀值根据需要可选择为任意百分比或固定数值。
16.根据权利要求1所述的一种带有文件存储管理的云存储系统，其特征在于：本系统采用完全分布式存储，分布式入库到各个不同的数据节点上，数据在云中存在多个索引的备份，根据文件的冗余备份方式，不同的文件可能被分别指向了不同的节点存储。
CN2012100365389A 2012-02-18 2012-02-18 一种云存储系统的文件存储管理系统 Pending CN102546823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100365389A CN102546823A (zh) 2012-02-18 2012-02-18 一种云存储系统的文件存储管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100365389A CN102546823A (zh) 2012-02-18 2012-02-18 一种云存储系统的文件存储管理系统

Publications (1)

Publication Number Publication Date
CN102546823A true CN102546823A (zh) 2012-07-04

Family

ID=46352769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100365389A Pending CN102546823A (zh) 2012-02-18 2012-02-18 一种云存储系统的文件存储管理系统

Country Status (1)

Country Link
CN (1) CN102546823A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801802A (zh) * 2012-08-08 2012-11-28 浪潮集团有限公司 一种提高云存储磁盘空间使用效率的方法
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN102904948A (zh) * 2012-09-29 2013-01-30 南京云创存储科技有限公司 一种超大规模低成本存储系统
CN103024053A (zh) * 2012-12-18 2013-04-03 华为技术有限公司 云存储方法、资源调度系统、云存储节点及系统
CN105099912A (zh) * 2015-08-07 2015-11-25 浪潮电子信息产业股份有限公司 一种多路径的数据调度方法及装置
CN105490999A (zh) * 2014-12-23 2016-04-13 哈尔滨安天科技股份有限公司 一种基于xmpp协议的分布式存储系统
CN105554030A (zh) * 2016-01-30 2016-05-04 安徽欧迈特数字技术有限责任公司 一种安全云存储方法
CN106170014A (zh) * 2016-07-11 2016-11-30 安徽斗转星移信息科技有限公司 一种云存储系统和方法
CN106302607A (zh) * 2015-06-05 2017-01-04 腾讯科技（深圳）有限公司 应用于云计算的块存储系统及方法
CN106776131A (zh) * 2016-11-30 2017-05-31 杭州华为数字技术有限公司 一种数据备份方法及服务器
CN107547653A (zh) * 2017-09-11 2018-01-05 华北水利水电大学 一种分布式文件存储系统
CN108600281A (zh) * 2017-03-16 2018-09-28 杭州海康威视数字技术股份有限公司 一种云存储系统、媒体数据存储方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237413A (zh) * 2008-02-29 2008-08-06 浙江工商大学 在转发和控制分离网络件架构下实现控制件高可用性的方法
CN102281314A (zh) * 2011-01-30 2011-12-14 程旭 高效安全的数据云存储系统实现方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237413A (zh) * 2008-02-29 2008-08-06 浙江工商大学 在转发和控制分离网络件架构下实现控制件高可用性的方法
CN102281314A (zh) * 2011-01-30 2011-12-14 程旭 高效安全的数据云存储系统实现方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801802A (zh) * 2012-08-08 2012-11-28 浪潮集团有限公司 一种提高云存储磁盘空间使用效率的方法
CN102904948A (zh) * 2012-09-29 2013-01-30 南京云创存储科技有限公司 一种超大规模低成本存储系统
CN102882983A (zh) * 2012-10-22 2013-01-16 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN102882983B (zh) * 2012-10-22 2015-06-10 南京云创存储科技有限公司 一种云存储系统中提升并发访问性能的数据快速存储方法
CN103024053A (zh) * 2012-12-18 2013-04-03 华为技术有限公司 云存储方法、资源调度系统、云存储节点及系统
CN103024053B (zh) * 2012-12-18 2015-11-25 华为技术有限公司 云存储方法、资源调度系统、云存储节点及系统
CN105490999A (zh) * 2014-12-23 2016-04-13 哈尔滨安天科技股份有限公司 一种基于xmpp协议的分布式存储系统
CN106302607A (zh) * 2015-06-05 2017-01-04 腾讯科技（深圳）有限公司 应用于云计算的块存储系统及方法
CN106302607B (zh) * 2015-06-05 2019-08-16 腾讯科技（深圳）有限公司 应用于云计算的块存储系统及方法
CN105099912A (zh) * 2015-08-07 2015-11-25 浪潮电子信息产业股份有限公司 一种多路径的数据调度方法及装置
CN105554030A (zh) * 2016-01-30 2016-05-04 安徽欧迈特数字技术有限责任公司 一种安全云存储方法
CN106170014A (zh) * 2016-07-11 2016-11-30 安徽斗转星移信息科技有限公司 一种云存储系统和方法
CN106776131A (zh) * 2016-11-30 2017-05-31 杭州华为数字技术有限公司 一种数据备份方法及服务器
CN108600281A (zh) * 2017-03-16 2018-09-28 杭州海康威视数字技术股份有限公司 一种云存储系统、媒体数据存储方法及系统
CN107547653A (zh) * 2017-09-11 2018-01-05 华北水利水电大学 一种分布式文件存储系统
CN107547653B (zh) * 2017-09-11 2021-03-30 华北水利水电大学 一种分布式文件存储系统

Similar Documents

Publication Publication Date Title
CN102546823A (zh) 一种云存储系统的文件存储管理系统
CN110213352B (zh) 名字空间统一的分散自治存储资源聚合方法
CN103067433B (zh) 一种分布式存储系统的数据迁移方法、设备和系统
CN102591970B (zh) 一种分布式键-值查询方法和查询引擎系统
US10157214B1 (en) Process for data migration between document stores
CN103793534B (zh) 分布式文件系统及均衡元数据存储和访问负载的实现方法
CN102117287A (zh) 分布式文件系统访问方法、元数据服务器及客户端
CN102737130A (zh) 处理hdfs元数据的方法及系统
CN109314721B (zh) 分布式文件系统的多个集群的管理
CN101984632A (zh) 一种分布式缓存系统中负荷分配方法、装置及服务器
CN105095317A (zh) 分布式数据库服务管理系统
CN105516284B (zh) 一种集群数据库分布式存储的方法和装置
CN108183947A (zh) 分布式缓存方法及系统
CN103237046A (zh) 支持混合云存储应用的分布式文件系统及实现方法
CN102999571B (zh) 一种集群中单机多节点的实现方法
CN106775446A (zh) 基于固态硬盘加速的分布式文件系统小文件访问方法
US20130031221A1 (en) Distributed data storage system and method
CN106953910A (zh) 一种Hadoop计算存储分离方法
CN103338242A (zh) 一种基于多级缓存的混合云存储系统和方法
CN104184812A (zh) 一种基于私有云的多点数据传输方法
CN102982116A (zh) 基于云的多媒体转换方法及系统
CN104468150A (zh) 一种虚拟主机实现故障迁移的方法及虚拟主机业务装置
CN102508902A (zh) 云存储系统中可变分块大小的块数据分块方法
CN103595799A (zh) 一种实现分布式共享数据库的方法
CN103428288B (zh) 基于分区状态表和协调节点的副本同步方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120704