CN102104494A - 元数据服务器、带外网络文件系统及其处理方法 - Google Patents

元数据服务器、带外网络文件系统及其处理方法 Download PDF

Info

Publication number
CN102104494A
CN102104494A CN2009102606265A CN200910260626A CN102104494A CN 102104494 A CN102104494 A CN 102104494A CN 2009102606265 A CN2009102606265 A CN 2009102606265A CN 200910260626 A CN200910260626 A CN 200910260626A CN 102104494 A CN102104494 A CN 102104494A
Authority
CN
China
Prior art keywords
metadata
data
current metadata
data block
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009102606265A
Other languages
English (en)
Other versions
CN102104494B (zh
Inventor
张辉
姜南
万嘉
崔庆明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Southwest Intellectual Property Operation Group Co.,Ltd.
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN 200910260626 priority Critical patent/CN102104494B/zh
Publication of CN102104494A publication Critical patent/CN102104494A/zh
Application granted granted Critical
Publication of CN102104494B publication Critical patent/CN102104494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种元数据服务器、带外网络文件系统及其处理方法。该方法包收集与每个客户机发送的元数据请求分别对应的当前元数据;根据所有当前元数据分别进行数据块预读,获取与所述每个客户机请求的当前元数据分别关联的预测元数据;将所述预测元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述预测元数据对应的数据块。本发明实施例可以实现基于元数据服务器的统一管理,降低开销、提高性能。

Description

元数据服务器、带外网络文件系统及其处理方法
技术领域
本发明实施例涉及网络管理技术,尤其涉及一种元数据服务器、带外网络文件系统及其处理方法。
背景技术
随着网络应用越来越流行,用户对网络访问速度的要求越来越高,普通的文件服务器已经不能满足海量用户对网络响应速度的要求,基于块的带外模式文件系统是一种数据流和控制流分开的网络文件系统,具有良好的性能及网络响应速度。带外模式文件系统包括客户机、元数据服务器和网络存储设备。客户机为应用程序提供文件系统接口,与元数据服务器交互元数据,并根据元数据向网络存储设备获取文件数据;元数据服务器中存储有元数据,元数据用于指示网络存储设备中的文件数据记录的位置信息,在基于块的访问方式中,元数据可以是网络存储设备标识或者是一个或多个块号;网络存储设备用于保存文件数据。
现有带外网络文件系统的预读是基于客户机来实现的,流程大致如下:客户机接收到用户发送的读文件请求后,判断是否需要预读,在需要预读时,根据预读的内容向元数据服务器发送元数据请求,元数据服务器得到该请求对应的元数据后,将元数据返回给客户机,之后,客户机根据该元数据向网络存储设备获取文件数据。
现有带外网络文件系统的数据块热点监控是由网络存储设备自身完成的,流程大致如下:网络存储设备中的请求监控设备对所有的客户机请求进行监控记录,之后,多个请求监控设备上的详细信息被汇总到一个全局的数据库上,通过这个全局数据库上的信息来找出热点数据页。当需要进行热点转移,例如,热点数据页在其他网络存储设备上的访问速度比本网络存储设备上要快,则可以通过网络存储设备中的数据转移设备将热点数据页从本网络存储设备转移到其他网络存储设备上,并更新所有网络存储设备上的路由表,以达到多网络存储设备之间负载均衡的目的。
在实现本发明的过程中,发明人发现现有技术至少存在如下问题:由于客户机只能对一个文件内的块进行顺序预读,因此,现有基于客户机的预读方案不能预测超过一个文件范围的读操作,不能随机预读,整体预读性能较低。
发明内容
本发明实施例是提供一种元数据服务器、带外网络文件系统及其处理方法,用以提高整体预读性能。
本发明实施例是提供一种带外网络文件系统的处理方法,包括:
收集与每个客户机发送的元数据请求分别对应的当前元数据;
根据所有当前元数据分别进行数据块预读,获取与所述每个客户机请求的当前元数据分别关联的预测元数据;
将所述预测元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述预测元数据对应的数据块。
本发明实施例是提供一种元数据服务器,包括:
元数据收集模块,用于收集与每个客户机发送的元数据请求分别对应的当前元数据;
预读模块,用于根据所有当前元数据分别进行数据块预读,获取与所述每个客户机请求的当前元数据分别关联的预测元数据;
预读元数据发送模块,用于将所述预测元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述预测元数据对应的数据块。
本发明实施例是提供一种带外网络文件系统,包括至少一个客户机、至少一个网络存储设备和上述的元数据服务器;
所述元数据服务器用于根据所述客户机请求的当前元数据进行数据块预读,获取与所述客户机请求的元数据关联的预测元数据,以便所述对应的客户机向所述网络存储设备获取与所述预测元数据对应的数据块。
由上述技术方案可知,本发明实施例通过收集与所有客户机对应的当前元数据,通过所有当前元数据进行数据块预读,可以统计所有客户机的相关信息,获取与每个客户机请求的当前元数据分别关联的预测元数据,可以掌握大量的相关信息,实现跨文件预读及随机预读,提高了整体预读性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明第一实施例的方法流程示意图;
图2为本发明第二实施例的方法流程示意图;
图3为本发明第三实施例的方法流程示意图;
图4为本发明第四实施例的方法流程示意图;
图5为本发明第五实施例的元数据服务器的结构示意图;
图6为本发明第六实施例的系统的结构示意图;
图7为本发明第一实施例的又一方法流程示意图;
图8为本发明第一实施例的另一方法流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明第一实施例的方法流程示意图,包括:
步骤11:元数据服务器收集与每个客户机发送的元数据请求分别对应的当前元数据;
步骤12:元数据服务器根据所有当前元数据分别进行数据块预读,获取与上述每个客户机请求的当前元数据分别关联的预测元数据;
在一个实施例中,元数据服务器可以通过静态配置和动态学习等方式,获取预测元数据。静态配置是指元数据服务器中保存元数据之间的关联关系,例如,在同一个目录中的文件具有关联关系,则同一目录中的文件对应的元数据互相为关联元数据;动态学习是指通过统计所有客户机的操作特性,例如,数据块的访问频率、访问顺序、访问时间点等,得到某个时期各个数据块间的关系,例如,元数据服务器通过统计分析客户机操作信息,得出各个操作之间的联系;然后根据客户机的当前操作,判断与其相关联的其它操作,即预测客户机下一步的操作。本发明并不局限上述分析方式和执行方法,例如在另外一个实施例中,还可以采取预先设置关联关系的方法获取预测元数据。
步骤13:元数据服务器将上述预测元数据分别返回给对应的客户机,以便对应的客户机向网络存储设备获取与上述预测元数据对应的数据块。
本发明实施例通过以上技术方案,在带外网络文件系统中,元数据服务器接收所有客户机发送的元数据请求,通过所有当前元数据进行数据块预读,元数据服务器可以掌握大量的相关信息,了解每个客户机的文件读取方式,有更全面的元数据信息以及更强的整体预测能力。因此,本实施例将预测功能从客户机转移到元数据服务器,可以实现跨文件及随机的读取,提高了整体预读性能。
另一方面,如图7所示,本发明实施例还可以提供一种带外网络文件系统的处理方法,包括:
步骤A1:元数据服务器收集与每个客户机发送的元数据请求分别对应的当前元数据;
步骤A2:元数据服务器根据所有当前元数据进行数据块热点监控。
现有技术中,由于数据块热点监控是由网络存储设备之间互相交互信息实现的,热点的监控、监控信息汇总、路由表的更新等操作需要大量的系统资源及网络资源,因此,现有基于网络存储设备的数据块热点监控存在开销大、性能低的问题。而本实施例将数据块热点监控从网络存储设备转移到元数据服务器,可以降低系统开销、提高系统性能。
进一步地,如图8所示,本发明实施例还可以将数据块预读和热点监控结合,即提供另一种带外网络文件系统的处理方法,包括:
步骤B1:元数据服务器收集与每个客户机发送的元数据请求分别对应的所有当前元数据;
步骤B2:元数据服务器根据所有当前元数据分别进行数据块预读,获取与每个客户机请求的当前元数据分别关联的预测元数据;
步骤B3:元数据服务器将上述预测元数据分别返回给对应的客户机,以便对应的客户机向网络存储设备获取与上述预测元数据对应的数据块;
步骤B4:元数据服务器根据所有当前元数据进行数据块热点监控。
其中,步骤B3与步骤B4无时序限制关系。
本发明实施例通过以上技术方案,在带外网络文件系统中,元数据服务器接收所有客户机发送的元数据请求,通过所有当前元数据进行数据块预读,元数据服务器可以掌握大量的相关信息,了解每个客户机的文件读取方式,有更全面的元数据信息以及更强的整体预测能力。因此,本实施例将预测功能从容户机转移到元数据服务器,可以实现跨文件及随机的读取,提高了整体预读性能。进一步地,元数据服务器根据所有当前元数据进行数据块的热点监控,可以对所有客户机进行统一管理分析,降低系统开销,提高性能。
图2为本发明第二实施例的方法流程示意图,本实施例针对预测方案且采用同步方式返回预测元数据。本实施例可以包括多个客户机,每个客户机均可以采用本实施例的流程与元数据服务器交互。参见图2,包括:
步骤201:客户机向元数据服务器发送元数据请求。
步骤202:元数据服务器,具体可以为,元数据服务器中的元数据管理模块,获取该请求对应的当前元数据。
具体地,元数据服务器可以通过查询元数据表或者使用本地文件系统接口,获取客户机请求的元数据。
其中,查询元数据表是指通过预先设置的元数据表直接获取与元数据请求对应的元数据,使用本地文件系统接口是指通过文件系统接口实时生成元数据。查询元数据表的方式效率更高,使用本地本件系统接口的方式可以节省系统资源。
步骤203:元数据管理模块将当前元数据传递给元数据服务器中的元数据收集模块。
步骤204:元数据收集模块将当前元数据传递给元数据库,以便元数据库保存该当前元数据,元数据库中保存的元数据可以供元数据分析模块进行预测分析或者进行热点分析。其中,元数据库可以设置在元数据服务器中,也可以独立元数据服务器设置。
步骤205:元数据收集模块将当前元数据传递给元数据服务器中的元数据分析模块,以便元数据分析模块进行预测分析。其中,进行预测分析的模块可以具体为元数据收集模块中的预测模块。
可以理解的是,元数据管理模块也可以直接将当前元数据直接传递给元数据库和/或元数据分析模块。通过元数据收集模块转发当前元数据可以实现元数据收集模块及时响应客户机的请求。
步骤206:元数据分析模块进行预测,获取与当前元数据关联的预测元数据。
元数据分析模块可以采用静态配置或者动态学习等方式,获取预测元数据。其中,静态配置是指元数据服务器中保存元数据之间的关联关系,例如,在同一个目录中的文件具有关联关系,则同一目录中的文件对应的元数据互相为关联元数据;动态学习是指通过统计所有客户机的操作特性,例如,数据块的访问频率、访问顺序、访问时间点等,得到某个时期各个数据块间的关系,例如,元数据服务器通过统计分析客户机操作信息,得出各个操作之间的联系;然后根据客户机的当前操作,判断与其相关联的其它操作,即预测客户机下一步的操作。
由于元数据分析模块是位于元数据服务器中,可以获知所有客户机的元数据请求及相关信息,因此,元数据分析模块在预测时可以根据系统整体情况进行分析,可以突破由单一客户机进行预测造成的文件及顺序限制问题,得到跨文件或者随机的元数据。
步骤207:元数据分析模块将预测元数据返回给元数据管理模块,具体可以为元数据管理模块中的预测元数据发送模块。
步骤208:元数据管理模块合并当前元数据和预测元数据。
步骤209:元数据管理模块将合并后的当前元数据和预测元数据返回给客户机。
步骤210:客户机缓存预测元数据。
步骤211:客户机向网络存储设备发送文件数据请求,以获取文件数据。
具体地,客户机可以根据当前系统资源利用情况,自行决定是否需要向网络存储设备预读数据,例如,当客户机的系统资源比较闲时,客户机可以根据当前元数据和预测元数据,将当前数据请求和预读数据请求合并为一个数据请求一起发送给网络存储设备,以便网络存储设备将当前数据及预测数据一起返回给客户机,此时可以减少数据请求的数量。当客户机的系统资源比较忙时,客户机也可以不进行预读操作,此时,先根据当前元数据向网络存储设备发送当前数据的请求,以便获取当前数据;之后,在真正需要该预读数据时,再根据缓存的预读元数据请求网络存储设备返回该预读数据。
本实施例通过元数据服务器进行预测分析,根据所有客户机的相关信息得到预读元数据,可以预读跨文件的元数据及随机元数据,提高预读性能;通过客户机缓存预读元数据,可以在需要预读数据时,无需再次发起元数据请求,减少元数据请求数量,降低系统间的开销。通过将当前元数据和预测元数据同时返回给客户机,可以进一步减少交互的消息个数,降低开销,提高性能。
图3为本发明第三实施例的方法流程示意图,本实施例针对预测方案且采用异步方式返回预测元数据。本实施例可以包括多个客户机,每个客户机均可以采用本实施例的流程与元数据服务器交互。参见图3,包括:
步骤301-302:与步骤201-202对应相同。
步骤303:元数据管理模块,具体可以为元数据管理模块中的当前元数据发送模块,将当前元数据返回给请求的客户机。
步骤304-308:与步骤203-207对应相同。
步骤309:元数据管理模块,具体可以为元数据管理模块中的预测元数据发送模块,将预测元数据返回给客户机。
步骤310-311:与步骤210-211对应相同。
其中,步骤303与步骤304-310无时序限制关系。
本实施例通过元数据服务器进行预测分析,根据所有客户机的相关信息得到预读元数据,可以预读跨文件的元数据及随机元数据,提高预读性能;通过客户机缓存预读元数据,可以在需要预读数据时,无需再次发起元数据请求,减少元数据请求数量,降低系统间的开销。通过将当前元数据和预测元数据异步返回给客户机,可以使客户机及时获取当前元数据,以便及时从网络存储设备获取当前文件数据,降低当前数据的获取延时,可以使当前文件数据的获取与预测元数据的获取同时进行,提高系统效率。
图4为本发明第四实施例的方法流程示意图,本实施例针对数据块热点监控方案。本实施例可以包括多个客户机,每个客户机均可以采用本实施例的流程与元数据服务器交互。参见图4,包括:
步骤401-403:与步骤201-203对应相同。
步骤404:元数据收集模块将当前元数据传递给元数据库,以便元数据库可以对应保存元数据及请求该元数据的客户机的客户机标识及其他的信息,例如,对数据块的访问顺序、数据块的访问时间点等。
步骤405:元数据分析模块,具体可以为元数据分析模块中的监控模块,定期检查元数据库,得到统计信息。
例如,统计一段时间内每个网络存储设备的IO访问量,或者每个网络存储设备的资源使用率。
其中,可以根据元数据库中保存的客户机信息及对应的元数据属于的网络存储设备,得到每个网络存储设备的IO访问量。元数据服务器能分析网络存储的硬件规格,得出网络存储的最大处理能力,然后元数据服务器根据当前网络存储的资源使用情况、最大处理能力通过一定的算法运算,就能得出网络存储的资源使用。
步骤406:元数据分析模块根据上述统计信息判断网络存储设备是否过热,若是,执行步骤407,否则重复执行步骤405。
具体地,元数据分析模块可以对应每个网络存储设备,将上述的统计信息的值与预先设定的阈值进行比较,当统计信息的值超过阈值时,表明对应的网络存储设备过热。
步骤407:当确定某网络存储设备过热后,元数据分析模块根据此网络存储设备各个数据块的访问次数,或者被访问的客户机数来确定热点数据块。热点数据块的个数可以根据实际需要设定为一个或者多个。
步骤408:元数据分析模块确定调整策略。
其中,调整策略可以是将一个或多个热点数据块迁移到不太热的一个或者多个网络存储设备上,或者将一个或者多个热点块副本拷贝到不太热的一个或者多个网络存储设备上。元数据分析模块可以根据实际情况动态确定调整策略,例如,为了降低调整前的网络存储设备上的资源,可以采用迁移的方式,对了实现数据块的备份,可以采用拷贝的方式。
步骤409:元数据分析模块向数据块调整模块发送通知消息,该通知消息中可以携带调整策略及待调整的热点数据块的信息及调整前后的网络存储设备的信息。
步骤410:数据块调整模块根据该通知消息对热点数据块进行调整,例如,进行迁移或者拷贝处理。
本实施例通过元数据服务器进行热点分析及进行热点数据块的调整,可以无需各网络存储设备对所有客户机的请求进行监控及各网络存储设备之间的热点数据块的调整,实现系统开销的降低,系统性能的提高。
图5为本发明第五实施例的元数据服务器的结构示意图,包括元数据收集模块51、预读模块52和预读元数据发送模块53;元数据收集模块51用于收集与所有客户机发送的元数据请求分别对应的所有当前元数据;预读模块52用于根据所述所有当前元数据分别进行数据块预读,获取与所述所有当前元数据分别关联的预测元数据;预读元数据发送模块53用于将所述预测元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述预测元数据对应的数据块。
其中,本实施例还可以包括当前元数据发送模块,用于将所述所有当前元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述当前元数据对应的数据块。
或者,所述预测元数据发送模块包括第一处理单元和第二处理单元;第一处理单元用于合并所述当前元数据和预测元数据;第二处理单元用于将合并后的所述当前元数据和预测元数据一起返回给所述客户机,以便所述客户机向网络存储设备获取与所述当前元数据及预测元数据分别对应的数据块。
进一步地,本实施例还可以包括监控模块54,监控模块54用于根据所述所有当前元数据进行数据块热点监控。具体地,监控模块54可以包括第三处理单元和第四处理单元,第三处理单元用于通过统计所述所有当前元数据确定热点数据块及调整策略;第四处理单元用于根据所述调整策略对所述热点数据块进行迁移或者拷贝处理。
进一步地,本实施例还可以包括元数据库55,元数据库55用于保存所述所有当前元数据,以便根据所述元数据库保存的所述所有当前元数据进行数据块预读或者数据块热点监控。
上述模块的具体功能可以参见方法实施例,不再赘述。
本发明实施例通过元数据服务器收集与所有客户机对应的当前元数据,通过所有当前元数据进行数据块预读,可以统计所有客户机的相关信息,获取与每个客户机请求的当前元数据分别关联的预测元数据,可以掌握大量的相关信息,实现跨文件预读及随机预读,提高了整体预读性能。进一步地,本实施例通过元数据服务器进行热点分析及进行热点数据块的调整,可以无需各网络存储设备对所有客户机的请求进行监控及各网络存储设备之间的热点数据块的调整,实现系统开销的降低,系统性能的提高。
本发明实施例还可以提供一种带外网络文件系统,包括图5所示的元数据服务器。图6为本发明第六实施例的系统的结构示意图,包括客户机61、元数据服务器62和网络存储设备63,为了简便起见,图6中只示出了一个客户机与一个网络存储设备的连接,可以理解的是,每个客户机均可以与一个或多个网络存储设备连接,具体地,客户机61与网络存储设备63可以通过局域网或内部存储网络通信连接。其中,客户机61用于接收用户发送的文件数据请求,根据文件数据请求向元数据服务器62发送元数据请求,以便在元数据预测时,获取当前元数据及预测元数据,之后,客户机61根据获取的元数据向网络存储设备63获取文件数据。元数据服务器62的结构和功能可以如图5对应的实施例所示,在此不再赘述。网络存储设备63用于保存文件数据。在数据块热点监控时,元数据服务器62可以确定热点网络存储设备并根据调整策略对网络存储设备63中的热点数据块进行迁移或者拷贝处理。
本发明实施例通过元数据服务器收集与所有客户机对应的当前元数据,通过所有当前元数据进行数据块预读,可以统计所有客户机的相关信息,获取与每个客户机请求的当前元数据分别关联的预测元数据,可以掌握大量的相关信息,实现跨文件预读及随机预读,提高了整体预读性能。进一步地,本实施例通过元数据服务器进行热点分析及进行热点数据块的调整,可以无需各网络存储设备对所有客户机的请求进行监控及各网络存储设备之间的热点数据块的调整,实现系统开销的降低,系统性能的提高。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种带外网络文件系统的处理方法,其特征在于,包括:
收集与每个客户机发送的元数据请求分别对应的当前元数据;
根据所有当前元数据分别进行数据块预读,获取与所述每个客户机请求的当前元数据分别关联的预测元数据;
将所述预测元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述预测元数据对应的数据块。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述所有当前元数据进行数据块热点监控。
3.根据权利要求1所述的方法,其特征在于,根据所有当前元数据分别进行数据块预读,获取与所述每个客户机请求的当前元数据分别关联的预测元数据之前,所述方法还包括:
将所述所有当前元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述当前元数据对应的数据块。
4.根据权利要求1所述的方法,其特征在于,所述将所述预测元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述预测元数据对应的数据块,包括:
合并所述当前元数据和与所述当前元数据关联的预测元数据;
将合并后的所述当前元数据和与所述当前元数据关联的预测元数据一起返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述当前元数据及预测元数据分别对应的数据块。
5.根据权利要求2所述的方法,其特征在于,根据所述所有当前元数据进行数据块热点监控,包括:
通过统计所述所有当前元数据确定热点数据块及调整策略;
根据所述调整策略对所述热点数据块进行迁移或者拷贝。
6.根据权利要求1-5任一所述的方法,其特征在于,还包括:
将所述所有当前元数据保存在元数据库,以便根据所述元数据库中保存的所述所有当前元数据进行数据块预读或者数据块热点监控。
7.一种元数据服务器,其特征在于,包括:
元数据收集模块,用于收集与每个客户机发送的元数据请求分别对应的当前元数据;
预读模块,用于根据所有当前元数据分别进行数据块预读,获取与所述每个客户机请求的当前元数据分别关联的预测元数据;
预读元数据发送模块,用于将所述预测元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述预测元数据对应的数据块。
8.根据权利要求7所述的服务器,其特征在于,还包括:
监控模块,用于根据所述所有当前元数据进行数据块热点监控。
9.根据权利要求7所述的服务器,其特征在于,还包括:
当前元数据发送模块,用于将所述所有当前元数据分别返回给对应的客户机,以便所述对应的客户机向网络存储设备获取与所述当前元数据对应的数据块。
10.根据权利要求7所述的服务器,其特征在于,所述预读元数据发送模块包括:
第一处理单元,用于合并所述当前元数据和与所述当前元数据关联的预测元数据;
第二处理单元,用于将合并后的所述当前元数据和与所述当前元数据关联的预测元数据一起返回给所述客户机,以便所述客户机向网络存储设备获取与所述当前元数据及预测元数据分别对应的数据块。
11.根据权利要求8所述的服务器,其特征在于,所述监控模块包括:
第三处理单元,用于通过统计所述所有当前元数据确定热点数据块及调整策略;
第四处理单元,用于根据所述调整策略对所述热点数据块进行迁移或者拷贝。
12.根据权利要求7-11任一所述的服务器,其特征在于,还包括:
元数据库,用于保存所述所有当前元数据,以便根据所述元数据库保存的所述所有当前元数据进行数据块预读或者数据块热点监控。
13.一种带外网络文件系统,其特征在于,包括:至少一个客户机、至少一个网络存储设备和如权利要求7-12任一项所述的元数据服务器;
所述元数据服务器用于根据所述客户机请求的当前元数据进行数据块预读,获取与所述客户机请求的元数据关联的预测元数据,以便所述对应的客户机向所述网络存储设备获取与所述预测元数据对应的数据块。
CN 200910260626 2009-12-18 2009-12-18 元数据服务器、带外网络文件系统及其处理方法 Active CN102104494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200910260626 CN102104494B (zh) 2009-12-18 2009-12-18 元数据服务器、带外网络文件系统及其处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200910260626 CN102104494B (zh) 2009-12-18 2009-12-18 元数据服务器、带外网络文件系统及其处理方法

Publications (2)

Publication Number Publication Date
CN102104494A true CN102104494A (zh) 2011-06-22
CN102104494B CN102104494B (zh) 2013-11-06

Family

ID=44157038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200910260626 Active CN102104494B (zh) 2009-12-18 2009-12-18 元数据服务器、带外网络文件系统及其处理方法

Country Status (1)

Country Link
CN (1) CN102104494B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491152A (zh) * 2013-09-17 2014-01-01 华为数字技术(苏州)有限公司 分布式文件系统中元数据获取方法、装置及系统
CN104104613A (zh) * 2014-08-08 2014-10-15 成都致云科技有限公司 云存储系统的自动重均衡方法
CN104220996A (zh) * 2012-05-24 2014-12-17 三菱电机株式会社 通信系统、客户端终端以及服务器装置
CN105069024A (zh) * 2015-07-16 2015-11-18 清华大学 面向并行数据采集的分布式文件系统写访问方法
CN107645547A (zh) * 2017-09-14 2018-01-30 郑州云海信息技术有限公司 基于存储设备的数据热度确定方法、设备以及系统
CN107783720A (zh) * 2016-08-24 2018-03-09 深圳市深信服电子科技有限公司 一种数据均衡方法及存储设备
CN107967305A (zh) * 2017-11-10 2018-04-27 平安科技(深圳)有限公司 影像文件上传方法、服务器及可读存储介质
CN108063780A (zh) * 2016-11-08 2018-05-22 中国电信股份有限公司 用于动态复制数据的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079902A (zh) * 2007-06-29 2007-11-28 清华大学 海量数据分级存储方法
EP1944940A1 (en) * 2007-01-11 2008-07-16 Samsung Electronics Co., Ltd. Meta data information providing server, client apparatus, method of providing meta data information, and method of providing content
US20080183719A1 (en) * 2007-01-30 2008-07-31 Yuichi Kageyama Metadata collection system, content management server, metadata collection apparatus, metadata collection method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1944940A1 (en) * 2007-01-11 2008-07-16 Samsung Electronics Co., Ltd. Meta data information providing server, client apparatus, method of providing meta data information, and method of providing content
US20080183719A1 (en) * 2007-01-30 2008-07-31 Yuichi Kageyama Metadata collection system, content management server, metadata collection apparatus, metadata collection method and program
CN101079902A (zh) * 2007-06-29 2007-11-28 清华大学 海量数据分级存储方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIN LI等: "《AMP: An Affinity-based Metadata Prefetching Scheme in Large-Scale Distributed Storage Systems》", 《CSE TECHNICAL REPORTS》 *
PALLAVI GALGALI等: "《IBM TotalStorage SAN File System as an Infrastructure for Multimedia Servers》", 《IBM REDBOOKS PAPER》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104220996A (zh) * 2012-05-24 2014-12-17 三菱电机株式会社 通信系统、客户端终端以及服务器装置
CN103491152A (zh) * 2013-09-17 2014-01-01 华为数字技术(苏州)有限公司 分布式文件系统中元数据获取方法、装置及系统
CN104104613A (zh) * 2014-08-08 2014-10-15 成都致云科技有限公司 云存储系统的自动重均衡方法
CN105069024A (zh) * 2015-07-16 2015-11-18 清华大学 面向并行数据采集的分布式文件系统写访问方法
CN107783720A (zh) * 2016-08-24 2018-03-09 深圳市深信服电子科技有限公司 一种数据均衡方法及存储设备
CN108063780A (zh) * 2016-11-08 2018-05-22 中国电信股份有限公司 用于动态复制数据的方法和系统
CN108063780B (zh) * 2016-11-08 2021-02-19 中国电信股份有限公司 用于动态复制数据的方法和系统
CN107645547A (zh) * 2017-09-14 2018-01-30 郑州云海信息技术有限公司 基于存储设备的数据热度确定方法、设备以及系统
CN107967305A (zh) * 2017-11-10 2018-04-27 平安科技(深圳)有限公司 影像文件上传方法、服务器及可读存储介质
CN107967305B (zh) * 2017-11-10 2022-02-01 平安科技(深圳)有限公司 影像文件上传方法、服务器及可读存储介质

Also Published As

Publication number Publication date
CN102104494B (zh) 2013-11-06

Similar Documents

Publication Publication Date Title
CN102104494B (zh) 元数据服务器、带外网络文件系统及其处理方法
CN103856567B (zh) 基于Hadoop分布式文件系统的小文件存储方法
CN103425756B (zh) 一种hdfs中数据块的副本管理策略
US8918602B2 (en) Dynamically altering time to live values in a data cache
CN103116661B (zh) 一种数据库的数据处理方法
CN103795781B (zh) 一种基于文件预测的分布式缓存方法
CN102521014B (zh) 虚拟机的部署方法及装置
CN101916289B (zh) 支持海量小文件和动态备份数的数字图书馆存储系统的构建方法
CN104081364B (zh) 合作高速缓存
CN103631894A (zh) 一种基于hdfs的动态副本管理方法
Busari et al. Simulation evaluation of a heterogeneous web proxy caching hierarchy
Yang et al. Tombolo: Performance enhancements for cloud storage gateways
CN101853218B (zh) 用于磁盘阵列的读取方法和系统
CN102609508B (zh) 一种面向网络存储的文件高速访问方法
Selvi et al. Popularity (hit rate) based replica creation for enhancing the availability in cloud storage
CN109067898A (zh) 一种通过文件散列分布降低内容分发网络边缘节点回源率的方法
CN115543989A (zh) 一种基于多源异构数据的融合处理方法
Zhao et al. A weight-based dynamic replica replacement strategy in data grids
CN103442000B (zh) Web缓存置换方法及装置、http代理服务器
CN103685359B (zh) 数据处理方法及装置
CN102193952B (zh) 元数据服务器、机群系统及机群系统中的文件创建方法
Séguéla et al. Energy and expenditure aware data replication strategy
Mengxing et al. A strategy of dynamic replica creation in cloud storage
Saleh et al. A four-phase data replication algorithm for data grid
Froese et al. Cache management for mobile file service

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20170714

Address after: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171018

Address after: 401122 No. 1, No. 2, Qilin D seat, No. 55, Mount Huangshan Road, North New District, Chongqing

Patentee after: Chongqing Intellectual Property Service Co.,Ltd. Patek labor

Address before: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230308

Address after: Floor 4, Building 2, No. 3, Chuangfu Road, Jiangbei District, Chongqing, 400000

Patentee after: Chongqing Southwest Digital Innovation Center Co.,Ltd.

Address before: 401122 No.1, Floor 3, Block D, Qilin, No. 55-2, Middle Mount Huangshan Avenue, New North Zone, Chongqing

Patentee before: Chongqing Intellectual Property Service Co.,Ltd. Patek labor

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230703

Address after: Floor 4, Building 2, No. 3, Chuangfu Road, Jiangbei District, Chongqing, 400000

Patentee after: Chongqing Southwest Intellectual Property Operation Group Co.,Ltd.

Address before: Floor 4, Building 2, No. 3, Chuangfu Road, Jiangbei District, Chongqing, 400000

Patentee before: Chongqing Southwest Digital Innovation Center Co.,Ltd.