CN102148870B - 一种云存储系统及其实现方法 - Google Patents
一种云存储系统及其实现方法 Download PDFInfo
- Publication number
- CN102148870B CN102148870B CN 201110054494 CN201110054494A CN102148870B CN 102148870 B CN102148870 B CN 102148870B CN 201110054494 CN201110054494 CN 201110054494 CN 201110054494 A CN201110054494 A CN 201110054494A CN 102148870 B CN102148870 B CN 102148870B
- Authority
- CN
- China
- Prior art keywords
- access
- data
- type
- file
- access request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000000977 initiatory effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种云存储系统及其实现方法，涉及计算机以及网络信息技术领域。本发明公开的云存储系统，包括：访问特征数据库，记录各类型的访问请求所对应的数据关联访问特征以及数据预取策略；特征分析与调度模块，接收客户端发起的访问请求，确定该访问请求的类型，从访问特征数据库中查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并向所确定的数据节点上的数据预取模块发起数据预取指令；数据预取模块，接收数据预取指令，根据数据预取指令进行预取操作。本发明的实施例有效提高存储系统性能，降低持续数据访问存在的延迟。
Description
技术领域
本发明涉及计算机以及网络信息技术领域，具体涉及一种云存储系统及其实现方法。
背景技术
云存储系统一般都基于松耦合架构，元数据与数据分开存储，元数据存放在元数据节点，数据分布存储在多个数据节点上。目前的云存储系统较多的存在IO访问延迟高的缺点，延迟的原因是多方面的，首先数据传输不少是基于通用的HTTP协议，而HTTP协议相比TCP及定制的集群通讯协议不可避免的存在高延迟的特点；其次，没有有效的数据预取机制，导致无论是在首次访问云存储数据还是持续性数据访问的时候延迟参数无任何改变。
在目前的使用中，云存储系统以及集群存储系统已能在一定程度上识别前端访问的应用类型，如分布式数据库、普通文件共享、音视频媒体播放等，也可以识别前端访问的客户端类型，如手持终端、桌面电脑、计算服务器。如果不能识别前端访问的应用类型或者客户端类型，那么云存储系统以及集群存储系统将把此访问归属于普通文件共享访问。
基于云存储系统以及集群存储系统对普通文件共享访问、应用访问、客户端访问的识别及归类，提出本发明。
发明内容
本发明所要解决的技术问题是，如何提高云存储系统的数据提取效率，因此提供一种云存储系统及其实现方法。
为了解决上述技术问题，本发明公开了一种云存储系统，该系统包括访问特征数据库、位于元数据节点的访问特征分析与调度模块以及位于各数据节点的数据预取模块，其中：
所述访问特征数据库，记录各类型的访问请求所对应的数据关联访问特征以及数据预取策略；
所述特征分析与调度模块，接收客户端发起的访问请求，确定该访问请求的类型，从所述访问特征数据库中查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并向所确定的数据节点上的数据预取模块发起数据预取指令，其中，所发起的数据预取指令中包括所查询到的数据预取策略；
所述数据预取模块，接收所述数据预取指令，根据所述数据预取指令进行预取操作。
较佳地，上述云存储系统中，所述访问特征数据库中记录访问请求的类型为普通文件访问时，所记录的对应的数据关联访问特征为，普通文件访问时被关联访问的文件的标识信息，所记录的对应的数据预取策略是，对被关联访问的文件进行数据预取。
较佳地，所述访问特征数据库中记录访问请求的类型为应用访问时，所记录的对应的数据关联访问特征为应用访问时被关联访问的文件的标识信息，所记录的对应的数据预取策略是，对应用关联访问的文件进行数据预取。
较佳地，所述访问特征数据库中记录访问请求的类型为客户端访问时，所记录的对应的数据关联访问特征为客户端访问时被关联访问的文件的标识信息，所记录的对应的数据预取策略是，对客户端关联访问的文件进行数据预取。
本发明还公开了一种云存储系统的实现方法，包括：
所述云存储系统中元数据节点接收到客户端发起的访问请求时，确定该访问请求的类型，查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并控制所确定的数据节点按照所查询到的数据预取策略进行数据预取操作。
较佳地，上述方法中，所述云存储系统的元数据节点确定所接收到的访问请求的类型为普通文件访问时，查询该类型的访问请求对应的数据关联访问特征为，普通文件访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对被关联访问的文件进行数据预取。
较佳地，所述云存储系统的元数据节点确定所接收到的访问请求的类型为应用访问时，查询该类型的访问请求对应的数据关联访问特征为应用访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对应用关联访问的文件进行数据预取。
较佳地，所述云存储系统的元数据节点确定所接收到的访问请求的类型为客户端访问时，查询该类型的访问请求对应的数据关联访问特征为客户端访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对客户端关联访问的文件进行数据预取。
与现有技术相比，本发明的实施例具有如下优越性：
适用于云存储系统及普通的集群存储，在无需增加硬件成本的前提下，有效提高存储系统性能，降低持续数据访问存在的延迟。
可根据所收到的访问请求的数据关联访问特征进行持续优化，例如，可以为特定应用(如分布式数据库、普通文件共享、音视频媒体播放)、特定客户端(如手持终端、桌面电脑、计算服务器)进行优化，有效保障特定存储服务的质量。
附图说明
图1为本发明实施例1的云存储系统结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明技术方案做进一步详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
实施例1
本申请的发明人考虑不同类型的访问请求的数据关联访问特征不同，而针对不同的数据关联访问特征可采用不同的数据预取操作，以提高云存储系统的性能。
基于上述发明人的思想，本实施例提供一种云存储系统，如图1所示，至少包括位于元数据节点上的访问特征数据库、位于元数据节点上的访问特征分析与调度模块以及位于各数据节点的数据预取模块。
访问特征数据库，记录各类型的访问请求所对应的数据关联访问特征以及数据预取策略；
具体地，访问特征数据库可以采用传统的关系型数据库，也可以采用分布式数据。除了在本实施例中访问特征数据库位于元数据节点外，在其他场景中，访问特征数据库也可以位于数据节点，也可以存储在一个独立的设备上。
其中，访问特征数据库所记录的各类访问请求包括普通文件访问(无法辨别是应用类型，也无法辨别客户端类型的访问请求即可认为是普通文件访问请求)、应用访问以及客户端访问等。
其中，不同类型的访问请求所对应的数据关联访问特征如下：
1)当访问请求的类型为普通文件访问时，假设被访问的文件是文件A，一般文件A被访问的同时，云存储系统中的其他文件可能被关联访问，而当文件A再次被访问时，这些其他文件仍可能被关联访问，这些其他文件可称为普通关联访问文件。因此，访问特征数据库中记录文件访问对应的数据关联访问特征为：普通文件被访问时被关联访问的文件的标识信息，对应的数据预取策略为：对普通文件访问关联文件进行数据预取操作；
2)当访问请求的类型为应用访问时，也可能会关联地访问一些特定的文件，这些文件也可以称为应用关联访问文件。因此，访问特征数据库中记录应用访问对应的数据关联访问特征为：应用访问时被关联访问的文件的标识信息，对应的数据预取策略为：对应用关联访问文件进行数据预取操作；
3)当访问请求的类型为客户端访问时，也可能会关联访问一些特定的文件，这些文件也可以成为客户端关联访问文件。因此，访问特征数据库中记录客户端访问对应的数据关联访问特征为：客户端访问时被关联访问的文件的标识信息，对应的数据预取策略为：对客户端关联访问文件进行数据预取操作；
特征分析与调度模块，主要负责接收客户端发起的访问请求，确定该访问请求的类型，从所述访问特征数据库中查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并向所确定的数据节点上的数据预取模块发起数据预取指令，其中，所发起的数据预取指令中包括所查询到的数据预取策略；
数据预取模块，接收所述数据预取指令，根据所述数据预取指令进行预取操作。
在上述云存储系统中，当发生数据访问的时候，将执行如下操作步骤：
特征分析与调度模块接收到访问请求时，如果首次收到该访问请求时，创建该访问请求的数据关联访问特征及预取策略。即记录该访问请求的类型，并记录该访问请求要关联访问的文件的标识信息以及对应的预取策略。如果并非首次收到该访问请求，则说明已记录该访问请求的数据关联访问特征，因此，确定该访问请求的类型，从所记录的数据关联访问特征中查询该类访问请求对应的数据关联访问特征以及预取策略。从而对所要关联访问的文件进行预取操作，以提高云存储系统的性能。
还有一些优选实施例中，如果普通文件共享/应用/客户端进行持续数据访问，云存储系统还可以记录此特征记录的关联信息，包含访问频次，访问顺序等参数。例如，某应用在单位时间内多次访问某文件(即访问频次达到一定值)，则认为此文件对用户很重要，因此将持续的提升此文件的预取等级，即访问请求关联到此文件时，一定对该文件采取预取操作，以提高应用响应性能。而访问顺序，可以理解为应用在访问系统的时候可能总是要先查看某些数据然后才进行其他操作。
实施例2
本实施例介绍实施例1中的云存储系统的实现方法，包括：
云存储系统中元数据节点接收到客户端发起的访问请求时，确定该访问请求的类型，查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并控制所确定的数据节点按照所查询到的数据预取策略进行数据预取操作。
其中，云存储系统的元数据节点确定所接收到的访问请求的类型为普通文件访问时，查询该类型的访问请求对应的数据关联访问特征为，普通文件访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对被关联访问的文件进行数据预取；
云存储系统的元数据节点确定所接收到的访问请求的类型为应用访问时，查询该类型的访问请求对应的数据关联访问特征为应用访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对应用关联访问的文件进行数据预取；
云存储系统的元数据节点确定所接收到的访问请求的类型为客户端访问时，查询该类型的访问请求对应的数据关联访问特征为客户端访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对客户端关联访问的文件进行数据预取。
从上述实施例可以看出，本发明的实施例基于不同类型的访问请求的数据关联访问特征进行相应的数据预取操作，从而在不增加硬件成本的同时，有效降低云存储系统持续数据访问延迟时间，改善云存储终端用户体验。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种云存储系统，其特征在于，该系统包括访问特征数据库、位于元数据节点的访问特征分析与调度模块以及位于各数据节点的数据预取模块，其中：
所述访问特征数据库，记录各类型的访问请求所对应的数据关联访问特征以及数据预取策略；
所述访问特征分析与调度模块，接收客户端发起的访问请求，确定该访问请求的类型，从所述访问特征数据库中查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并向所确定的数据节点上的数据预取模块发起数据预取指令，其中，所发起的数据预取指令中包括所查询到的数据预取策略；
所述数据预取模块，接收所述数据预取指令，根据所述数据预取指令进行预取操作。
2.如权利要求1所述的云存储系统，其特征在于，
所述访问特征数据库中记录访问请求的类型为普通文件访问时，所记录的对应的数据关联访问特征为，普通文件访问时被关联访问的文件的标识信息，所记录的对应的数据预取策略是，对被关联访问的文件进行数据预取。
3.如权利要求1或2所述的云存储系统，其特征在于，
所述访问特征数据库中记录访问请求的类型为应用访问时，所记录的对应的数据关联访问特征为应用访问时被关联访问的文件的标识信息，所记录的对应的数据预取策略是，对应用关联访问的文件进行数据预取。
4.如权利要求3所述的云存储系统，其特征在于，
所述访问特征数据库中记录访问请求的类型为客户端访问时，所记录的对应的数据关联访问特征为客户端访问时被关联访问的文件的标识信息，所记录的对应的数据预取策略是，对客户端关联访问的文件进行数据预取。
5.一种云存储系统的实现方法，其特征在于，该方法包括：
所述云存储系统中元数据节点接收到客户端发起的访问请求时，确定该访问请求的类型，查询该类型的访问请求所对应的数据关联访问特征以及数据预取策略，根据所查询到的数据关联访问特征，确定执行数据预取策略的数据节点，并控制所确定的数据节点按照所查询到的数据预取策略进行数据预取操作。
6.如权利要求5所述的方法，其特征在于，
所述云存储系统的元数据节点确定所接收到的访问请求的类型为普通文件访问时，查询该类型的访问请求对应的数据关联访问特征为，普通文件访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对被关联访问的文件进行数据预取。
7.如权利要求5或6所述的方法，其特征在于，
所述云存储系统的元数据节点确定所接收到的访问请求的类型为应用访问时，查询该类型的访问请求对应的数据关联访问特征为应用访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对应用关联访问的文件进行数据预取。
8.如权利要求7所述的方法，其特征在于，
所述云存储系统的元数据节点确定所接收到的访问请求的类型为客户端访问时，查询该类型的访问请求对应的数据关联访问特征为客户端访问时被关联访问的文件的标识信息，查询该类型的访问请求对应的数据预取策略是，对客户端关联访问的文件进行数据预取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110054494 CN102148870B (zh) | 2011-03-07 | 2011-03-07 | 一种云存储系统及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110054494 CN102148870B (zh) | 2011-03-07 | 2011-03-07 | 一种云存储系统及其实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102148870A CN102148870A (zh) | 2011-08-10 |
| CN102148870B true CN102148870B (zh) | 2013-07-10 |
Family
ID=44422856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110054494 Active CN102148870B (zh) | 2011-03-07 | 2011-03-07 | 一种云存储系统及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102148870B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867069A (zh) * | 2012-09-28 | 2013-01-09 | 浙江图讯科技有限公司 | 一种基于sql的数据库脚本执行方法及系统 |
| CN103037004A (zh) * | 2012-12-21 | 2013-04-10 | 曙光信息产业(北京)有限公司 | 云存储系统操作的实现方法和装置 |
| CN103916256B (zh) * | 2013-01-04 | 2017-06-20 | 中国移动通信集团公司 | 网络优化方法及装置、系统 |
| US10931776B2 (en) | 2013-12-31 | 2021-02-23 | International Business Machines Corporation | Adaptive data fetching from network storage |
| CN104778010A (zh) * | 2014-01-13 | 2015-07-15 | 内蒙古近远信息技术有限责任公司 | 基于云存储平台的媒体数据高效访问预取方法 |
| CN104933105B (zh) * | 2015-05-29 | 2019-02-12 | 北京奇虎科技有限公司 | 数据库访问请求的分析方法和装置 |
| CN104866597B (zh) * | 2015-05-29 | 2019-04-23 | 北京奇虎科技有限公司 | 数据库访问请求的分析方法和装置 |
| EP3386167B1 (en) * | 2015-12-31 | 2023-05-31 | Huawei Technologies Co., Ltd. | Cloud operation interface sharing method, related device and system |
| CN107203480B (zh) * | 2016-03-17 | 2020-11-17 | 华为技术有限公司 | 一种数据预取方法以及装置 |
| CN112272240B (zh) * | 2020-11-17 | 2022-01-04 | 珠海大横琴科技发展有限公司 | 一种数据上云的方法和装置 |
| CN112667393B (zh) * | 2020-12-19 | 2021-10-29 | 飞算数智科技(深圳)有限公司 | 分布式任务计算调度框架搭建的方法、装置及计算机设备 |
| CN115328863B (zh) * | 2022-08-11 | 2023-12-22 | 西藏梵晨文化科技有限公司 | 一种文件处理方法、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101014044A (zh) * | 2007-01-30 | 2007-08-08 | 武汉大学 | 一种网络gis系统及其数据传输方法 |
| CN101753617A (zh) * | 2009-12-11 | 2010-06-23 | 中兴通讯股份有限公司 | 一种云存储系统和方法 |
-
2011
- 2011-03-07 CN CN 201110054494 patent/CN102148870B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101014044A (zh) * | 2007-01-30 | 2007-08-08 | 武汉大学 | 一种网络gis系统及其数据传输方法 |
| CN101753617A (zh) * | 2009-12-11 | 2010-06-23 | 中兴通讯股份有限公司 | 一种云存储系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102148870A (zh) | 2011-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102148870B (zh) | 一种云存储系统及其实现方法 | |
| CN101763437B (zh) | 高速缓冲存储实现方法及装置 | |
| US10649903B2 (en) | Modifying provisioned throughput capacity for data stores according to cache performance | |
| EP2249254A2 (en) | Storage device having direct user access | |
| CN104331428B (zh) | 一种小文件和大文件的存储及访问方法 | |
| EP2618261B1 (en) | Qos control method and system for storage system | |
| CN101236569B (zh) | 一种基于ContextFS上下文文件系统的高效动态路径解析方法 | |
| CN102541990A (zh) | 利用虚拟分区的数据库重新分布方法和系统 | |
| EP2860632B1 (en) | Cloud system, control method thereof, management server and control method thereof | |
| CN103368986A (zh) | 一种信息推荐方法及信息推荐装置 | |
| CN107241444B (zh) | 一种分布式缓存数据管理系统、方法及装置 | |
| CN102307234A (zh) | 基于移动终端的资源检索方法 | |
| US20140214890A1 (en) | Database shard arbiter | |
| US10579597B1 (en) | Data-tiering service with multiple cold tier quality of service levels | |
| CN103167026A (zh) | 一种云存储环境数据处理方法、系统及设备 | |
| WO2017206754A1 (zh) | 分布式文件系统的存储方法和存储装置 | |
| CN102045399B (zh) | 云计算模式文件系统及文件读取方法 | |
| US20140219638A1 (en) | Multi-Tier Recorder to Enable Seek-Back Unique Copy Recording | |
| CN106022874A (zh) | 一种订单数据处理方法、订单系统及流量充值系统 | |
| US11444998B2 (en) | Bit rate reduction processing method for data file, and server | |
| CN103068052A (zh) | 资源动态配置方法、系统和Portal服务器 | |
| CN113553306A (zh) | 数据处理方法及数据存储管理系统 | |
| CN103412860A (zh) | 数据库扩展方法、数据库扩展装置和数据库系统 | |
| US9432238B2 (en) | Communicating large amounts of data over a network with improved efficiency | |
| CN103605795A (zh) | 一种基于元数据的文件存储方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201113 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Patentee after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 100085 Beijing, Haidian District on the road to information on the ground floor, building 2-1, No. 1, C Patentee before: Inspur (Beijing) Electronic Information Industry Co.,Ltd. |