CN107566505A - 数据存储资源管理方法、主节点、系统、装置及存储介质 - Google Patents
数据存储资源管理方法、主节点、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN107566505A CN107566505A CN201710833993.4A CN201710833993A CN107566505A CN 107566505 A CN107566505 A CN 107566505A CN 201710833993 A CN201710833993 A CN 201710833993A CN 107566505 A CN107566505 A CN 107566505A
- Authority
- CN
- China
- Prior art keywords
- node
- storage
- host node
- memory
- storage resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据存储资源管理方法、主节点、系统、装置及存储介质,该方法包括:主节点获取客户端的存储请求,其中,所述主节点为根据协调算法,预先从多个区域的存储节点中筛选出的节点;所述主节点根据所述存储请求,为所述客户端分配相应的存储资源。由上可知,本发明利用主节点协调管理多个区域的存储节点,为客户端分配需求的存储资源。通过多个存储节点对相应区域的管理,提高了存储系统的协作性与可扩展性,而通过主节点集中管理存储节点,也保证了存储系统的稳定性。
Description
技术领域
本发明涉及数据存储领域,特别涉及一种数据存储资源管理方法、主节点、系统、装置及存储介质。
背景技术
一般地,传统的数据存储服务有集中式和分布式两种。其中,集中式存储服务有较高的可管理性和稳定性,但是多用户并发访问时会产生性能瓶颈,容易发生单点故障,易发生单点故障,扩展性较差;分布式存储服务有较高的扩展性,但是在管理和维护方面比较复杂。
发明内容
有鉴于此,本发明的目标在于提供一种数据存储资源管理方法、主节点、系统、装置及存储介质,能够提高存储系统的协作性与可扩展性,保证稳定性。其具体方案如下:
一种数据存储资源管理方法,包括:
主节点获取客户端的存储请求,其中,所述主节点为根据协调算法,预先从多个区域的存储节点中筛选出的节点;
所述主节点根据所述存储请求,为所述客户端分配相应的存储资源。
优选地,在所述获取客户端的存储请求的过程之后,进一步包括:
分析所述存储请求,得到请求数据;
将所述请求数据导入预设的序列表中,得到相应的存储序列表。
优选地,所述根据所述存储请求,为所述客户端分配相应的存储资源的过程,包括:
周期性收集所有存储节点的存储资源数据,并将存储资源数据导入预设的资源表中,得到相应的存储资源表;
根据所述存储序列表与所述存储资源表,确定所述存储请求对应的目标存储节点;
利用所述目标存储节点,为所述客户端分配相应的存储资源。
优选地,在所述主节点获取客户端的存储请求的过程之前,进一步包括:
获取所有存储节点的性能指标;
根据所有存储节点的性能指标与所述协调算法,从存储节点中筛选出性能最优的存储节点作为所述主节点。
优选地,在所述根据所有存储节点的性能指标与所述协调算法,从存储节点中筛选出性能最优的存储节点作为所述主节点的过程之后,进一步包括:
更新所述主节点。
优选地,所述更新所述主节点的过程,包括:
获取所有存储节点的性能指标;
根据所有存储节点的性能指标与所述协调算法,从存储节点中筛选出性能最优的存储节点作为新主节点;
利用所述新主节点替换旧主节点;其中,所述旧主节点为所述新主节点的前一任主节点;
激活所述新主节点的功能模块并接收所述旧主节点的分析数据。
本发明还提供一种主节点,应用于前述公开的数据存储资源管理方法,包括:
存储资源分析模块,用于周期性收集所有存储节点的存储资源数据,并将存储资源数据导入预设的资源表中,得到相应的存储资源表;
客户请求处理模块,用于获取客户端的存储请求,分析所述存储请求,得到请求数据,将所述请求数据导入预设的序列表中,得到相应的存储序列表,并根据所述存储序列表与所述存储资源表,确定所述存储请求对应的目标存储节点,利用所述目标存储节点,为所述客户端分配相应的存储资源。
优选地,进一步包括:
存储节点性能分析模块,用于获取所有存储节点的性能指标,并根据协调算法与所有存储节点的性能指标,从存储节点中筛选和更新当前主节点。
相应地,本发明提供一种数据存储资源管理系统,包括:
如前述公开的主节点与所述主节点管理的存储节点。
本发明再提供一种数据存储资源管理装置,包括:
存储器,用于存储指令;其中,所述指令为可实现如前述公开的数据存储资源管理方法的步骤的指令;
处理器,用于执行所述存储器中的指令。
本发明又提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前述公开的数据存储资源管理方法的步骤。
本发明公开的数据存储资源管理方法、主节点、系统、装置及存储介质,利用主节点协调管理多个区域的存储节点,为客户端分配需求的存储资源。通过多个存储节点对相应区域的管理,提高了存储系统的协作性与可扩展性,而通过主节点集中管理存储节点,也保证了存储系统的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种数据存储资源管理方法的流程图;
图2为本发明实施例公开的数据存储资源管理方法具体实施例的流程图;
图3为本发明实施例公开的更新主节点的流程图;
图4为本发明实施例公开的主节点的结构图;
图5为本发明实施例公开的数据存储资源管理系统的架构图;
图6为本发明实施例公开的一种数据存储资源管理装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种数据存储资源管理方法,参见图1所示,图1为本发明实施例公开的一种数据存储资源管理方法的流程图,包括以下步骤:
步骤S11:主节点获取客户端的存储请求,其中,所述主节点为根据协调算法,预先从多个区域的存储节点中筛选出的节点;
步骤S12:所述主节点根据所述存储请求,为所述客户端分配相应的存储资源。
本发明实施例中,通过主节点协调各存储节点的存储服务,根据各存储节点的功能与类型,当然也可以根据其他相关因素,重构实际的多区域子网,形成主节点协作的虚拟存储网络,主节点负责子网的元数据管理以及子网之间的协作通信,并且根据客户端的存储请求,为客户端分配相应的存储资源。
本发明实施例公开的数据存储资源管理方法,利用主节点协调管理多个区域的存储节点,为客户端分配需求的存储资源。通过多个存储节点对相应区域的管理,提高了存储系统的协作性与可扩展性,而通过主节点集中管理存储节点,也保证了存储系统的稳定性。
下面对前述实施例公开的数据存储资源管理方法的具体实施例进行说明,参见图2所示,图2为本发明实施例公开的数据存储资源管理方法具体实施例的流程图,包括以下步骤:
步骤S21:获取客户端的存储请求;
步骤S22:分析所述存储请求,得到请求数据;
其中,根据存储请求分析得到的请求数据,能够体现存储请求的具体需求,例如,请求的存储地址、存储容量以及存储类型。
步骤S23:将所述请求数据导入预设的序列表中,得到相应的存储序列表。
步骤S24:周期性收集所有存储节点的存储资源数据,并将存储资源数据导入预设的资源表中,得到相应的存储资源表;
具体地,存储资源数据包括各存储节点的存储地址、存储容量以及存储类型等,与前述实施例公开的请求数据相对应。
步骤S25:根据所述存储序列表与所述存储资源表,确定所述存储请求对应的目标存储节点;
本发明实施例中,主节点根据存储序列表中导入的客户端的请求数据,与存储资源表中导入的各存储节点的存储资源,确定能够满足客户端需求的目标存储节点。
步骤S26:利用所述目标存储节点,为所述客户端分配相应的存储资源。
具体地,主节点将存储请求转发给能够满足客户端的目标存储节点,由目标存储节点进行存储服务。
需要说明的是,当主节点还未确定时,在前述实施例公开的主节点获取客户端的存储请求的过程之前,进一步包括:
获取所有存储节点的性能指标;
根据所有存储节点的性能指标与所述协调算法,从存储节点中筛选出性能最优的存储节点作为所述主节点。
进一步地,当存储节点的性能超过当前主节点时,可以将该存储节点替换为新的主节点,即,在前述实施例公开的根据所有存储节点的性能指标与所述协调算法,从存储节点中筛选出性能最优的存储节点作为所述主节点的过程之后,进一步包括:
更新所述主节点。
具体地,参见图3所示,图3为本发明实施例公开的更新主节点的流程图,包括以下步骤:
步骤S31:获取所有存储节点的性能指标;
步骤S32:根据所有存储节点的性能指标与所述协调算法,从存储节点中筛选出性能最优的存储节点作为新主节点;
步骤S33:利用所述新主节点替换旧主节点;其中,所述旧主节点为所述新主节点的前一任主节点;
步骤S34:激活所述新主节点的功能模块并接收所述旧主节点的分析数据。
具体地,上述功能模块包括存储资源分析模块、客户请求处理模块以及存储节点性能分析模块,激活功能模块使当前性能最优的存储节点作为新主节点,能够管理其他存储节点。
本发明实施例还公开了一种主节点,应用于前述实施例公开的数据存储资源管理方法,参见图4所示,图4为本发明实施例公开的主节点的结构图,该主节点包括:
存储资源分析模块41,用于周期性收集所有存储节点的存储资源数据,并将存储资源数据导入预设的资源表中,得到相应的存储资源表;
客户请求处理模块42,用于获取客户端的存储请求,分析所述存储请求,得到请求数据,将所述请求数据导入预设的序列表中,得到相应的存储序列表,并根据所述存储序列表与所述存储资源表,确定所述存储请求对应的目标存储节点,利用所述目标存储节点,为所述客户端分配相应的存储资源。
进一步地,上述主节点还包括:
存储节点性能分析模块,用于获取所有存储节点的性能指标,并根据协调算法与所有存储节点的性能指标,从存储节点中筛选和更新当前主节点。
相应地,本发明实施例公开了一种数据存储资源管理系统,该系统包括:
如前述实施例公开的主节点与所述主节点管理的存储节点。
参见图5所示,图5为本发明实施例公开的数据存储资源管理系统的架构图,由可切换的主节点接收客户端的存储请求,主节点通过存储资源分析模块与客户请求处理模块协作分析,为客户端分配相应的存储资源,并且通过存储节点性能分析模块实现高性能存储节点切换为当前主节点。
同时,本发明实施例再公开了一种数据存储资源管理装置,参见图6所示,图6为本发明实施例公开的一种数据存储资源管理装置的结构图,该装置包括:
存储器51,用于存储指令;其中,所述指令为可实现如前述实施例公开的数据存储资源管理方法的步骤的指令;
处理器52,用于执行所述存储器中的指令。
最后,本发明实施例进一步公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施例公开的数据存储资源管理方法的步骤。
本发明实施例公开的数据存储资源管理方法、主节点、系统、装置及存储介质,利用主节点协调管理多个区域的存储节点,为客户端分配需求的存储资源。通过多个存储节点对相应区域的管理,提高了存储系统的协作性与可扩展性,而通过主节点集中管理存储节点,也保证了存储系统的稳定性。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的数据存储资源管理方法、主节点、系统、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种数据存储资源管理方法,其特征在于,包括:
主节点获取客户端的存储请求,其中,所述主节点为根据协调算法,预先从多个区域的存储节点中筛选出的节点;
所述主节点根据所述存储请求,为所述客户端分配相应的存储资源。
2.根据权利要求1所述的方法,其特征在于,在所述获取客户端的存储请求的过程之后,进一步包括:
分析所述存储请求,得到请求数据;
将所述请求数据导入预设的序列表中,得到相应的存储序列表。
3.根据权利要求2所述的方法,其特征在于,所述根据所述存储请求,为所述客户端分配相应的存储资源的过程,包括:
周期性收集所有存储节点的存储资源数据,并将存储资源数据导入预设的资源表中,得到相应的存储资源表;
根据所述存储序列表与所述存储资源表,确定所述存储请求对应的目标存储节点;
利用所述目标存储节点,为所述客户端分配相应的存储资源。
4.根据权利要求1至3中任一项所述的方法,其特征在于,在所述主节点获取客户端的存储请求的过程之前,进一步包括:
获取所有存储节点的性能指标;
根据所有存储节点的性能指标与所述协调算法,从存储节点中筛选出性能最优的存储节点作为所述主节点。
5.根据权利要求4所述的方法,其特征在于,在所述根据所有存储节点的性能指标与所述协调算法,从存储节点中筛选出性能最优的存储节点作为所述主节点的过程之后,进一步包括:
更新所述主节点。
6.根据权利要求5所述的方法,其特征在于,所述更新所述主节点的过程,包括:
获取所有存储节点的性能指标;
根据所有存储节点的性能指标与所述协调算法,从存储节点中筛选出性能最优的存储节点作为新主节点;
利用所述新主节点替换旧主节点;其中,所述旧主节点为所述新主节点的前一任主节点;
激活所述新主节点的功能模块并接收所述旧主节点的分析数据。
7.一种主节点,其特征在于,应用于权利要求1至6中任一项所述的方法,包括:
存储资源分析模块,用于周期性收集所有存储节点的存储资源数据,并将存储资源数据导入预设的资源表中,得到相应的存储资源表;
客户请求处理模块,用于获取客户端的存储请求,分析所述存储请求,得到请求数据,将所述请求数据导入预设的序列表中,得到相应的存储序列表,并根据所述存储序列表与所述存储资源表,确定所述存储请求对应的目标存储节点,利用所述目标存储节点,为所述客户端分配相应的存储资源。
8.根据权利要求7所述的主节点,其特征在于,进一步包括:
存储节点性能分析模块,用于获取所有存储节点的性能指标,并根据协调算法与所有存储节点的性能指标,从存储节点中筛选和更新当前主节点。
9.一种数据存储资源管理系统,其特征在于,包括:
如权利要求7或8所述的主节点与所述主节点管理的存储节点。
10.一种数据存储资源管理装置,其特征在于,包括:
存储器,用于存储指令;其中,所述指令为可实现如权利要求1至6中任一项所述的数据存储资源管理方法的步骤的指令;
处理器,用于执行所述存储器中的指令。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述数据存储资源管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710833993.4A CN107566505A (zh) | 2017-09-15 | 2017-09-15 | 数据存储资源管理方法、主节点、系统、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710833993.4A CN107566505A (zh) | 2017-09-15 | 2017-09-15 | 数据存储资源管理方法、主节点、系统、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107566505A true CN107566505A (zh) | 2018-01-09 |
Family
ID=60981222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710833993.4A Pending CN107566505A (zh) | 2017-09-15 | 2017-09-15 | 数据存储资源管理方法、主节点、系统、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107566505A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110347675A (zh) * | 2019-06-05 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 一种数据存储方法及装置 |
US10970309B2 (en) | 2019-06-05 | 2021-04-06 | Advanced New Technologies Co., Ltd. | Data storage method and apparatus |
CN114969149A (zh) * | 2022-05-06 | 2022-08-30 | 北京偶数科技有限公司 | 数据资源的处理方法、装置以及存储介质 |
WO2023193671A1 (zh) * | 2022-04-06 | 2023-10-12 | 阿里巴巴(中国)有限公司 | 数据传输方法以及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7206805B1 (en) * | 1999-09-09 | 2007-04-17 | Oracle International Corporation | Asynchronous transcription object management system |
CN102132540A (zh) * | 2008-07-10 | 2011-07-20 | 丛林网络公司 | 网络存储 |
US8099334B1 (en) * | 2009-03-04 | 2012-01-17 | David Elbridge Stockwell | Method for music management in a multi-user music system |
CN104754008A (zh) * | 2013-12-26 | 2015-07-01 | 伊姆西公司 | 网络存储节点、网络存储系统以及用于网络存储节点的装置和方法 |
CN106161610A (zh) * | 2016-06-29 | 2016-11-23 | 华为技术有限公司 | 一种分布式存储的方法和系统 |
CN106685724A (zh) * | 2017-01-10 | 2017-05-17 | 网宿科技股份有限公司 | 基于选举的节点服务器管理方法、装置及系统 |
-
2017
- 2017-09-15 CN CN201710833993.4A patent/CN107566505A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7206805B1 (en) * | 1999-09-09 | 2007-04-17 | Oracle International Corporation | Asynchronous transcription object management system |
CN102132540A (zh) * | 2008-07-10 | 2011-07-20 | 丛林网络公司 | 网络存储 |
US8099334B1 (en) * | 2009-03-04 | 2012-01-17 | David Elbridge Stockwell | Method for music management in a multi-user music system |
CN104754008A (zh) * | 2013-12-26 | 2015-07-01 | 伊姆西公司 | 网络存储节点、网络存储系统以及用于网络存储节点的装置和方法 |
CN106161610A (zh) * | 2016-06-29 | 2016-11-23 | 华为技术有限公司 | 一种分布式存储的方法和系统 |
CN106685724A (zh) * | 2017-01-10 | 2017-05-17 | 网宿科技股份有限公司 | 基于选举的节点服务器管理方法、装置及系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110347675A (zh) * | 2019-06-05 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 一种数据存储方法及装置 |
US10970309B2 (en) | 2019-06-05 | 2021-04-06 | Advanced New Technologies Co., Ltd. | Data storage method and apparatus |
WO2023193671A1 (zh) * | 2022-04-06 | 2023-10-12 | 阿里巴巴(中国)有限公司 | 数据传输方法以及系统 |
CN114969149A (zh) * | 2022-05-06 | 2022-08-30 | 北京偶数科技有限公司 | 数据资源的处理方法、装置以及存储介质 |
CN114969149B (zh) * | 2022-05-06 | 2024-04-30 | 北京偶数科技有限公司 | 数据资源的处理方法、装置以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107566505A (zh) | 数据存储资源管理方法、主节点、系统、装置及存储介质 | |
EP3522466B1 (en) | Dynamic scheduling and allocation method and system for network traffic | |
CN106453665B (zh) | 基于分布式缓存系统的数据缓存方法、服务器和系统 | |
CN103812849B (zh) | 一种本地缓存更新方法、系统、客户端及服务器 | |
CN106713409B (zh) | 一种基于SaaS的云灾备系统及方法 | |
CN102917025B (zh) | 一种云计算平台的业务迁移方法 | |
CN105025053A (zh) | 基于云存储技术的分布式文件的上传方法及其系统 | |
CN104731951B (zh) | 一种数据查询方法及装置 | |
CN105117171A (zh) | 一种能源scada海量数据分布式处理系统及其方法 | |
CN102567505B (zh) | 一种分布式数据库及其数据操作方法 | |
CN106021370A (zh) | 内存数据库实例的管理方法及装置 | |
CN109085999A (zh) | 数据处理方法及处理系统 | |
CN107133285A (zh) | 一种分布式主键生成方法与装置 | |
CN108920552A (zh) | 一种面向多源大数据流的分布式索引方法 | |
CN104111924A (zh) | 一种数据库系统 | |
CN103095727A (zh) | P2p资源定位方法 | |
CN106713391A (zh) | 一种session信息的共享方法和共享系统 | |
CN109684273A (zh) | 一种快照管理方法、装置、设备及可读存储介质 | |
CN109120445A (zh) | 一种网络日志数据同步系统及方法 | |
CN106899639A (zh) | 数据资源的获取方法、索引服务器和通信系统 | |
CN100396002C (zh) | 一种利用关联查询进行鉴权的系统及其方法 | |
CN104780202A (zh) | 用于端到端云服务数据库虚拟化及管理的架构和方法 | |
CN204926097U (zh) | 数据隔离存储系统 | |
CN102148696A (zh) | 对网络业务进行管理的方法和系统 | |
CN106227470A (zh) | 一种存储资源管理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |