CN103491152A - 分布式文件系统中元数据获取方法、装置及系统 - Google Patents
分布式文件系统中元数据获取方法、装置及系统 Download PDFInfo
- Publication number
- CN103491152A CN103491152A CN201310423275.1A CN201310423275A CN103491152A CN 103491152 A CN103491152 A CN 103491152A CN 201310423275 A CN201310423275 A CN 201310423275A CN 103491152 A CN103491152 A CN 103491152A
- Authority
- CN
- China
- Prior art keywords
- metadata
- information
- metadata information
- management node
- incoming end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种分布式文件系统中元数据获取方法、装置及系统,该方法包括:元数据管理节点接收接入端发送的获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问的目录或文件;元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象存在访问关联关系的目录或文件;元数据管理节点向接入端发送第一对象的元数据信息和第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存。本发明的技术方案,可以减少接入端与元数据管理节点之间的通信次数,减轻元数据管理节点的负担,进而提高分布式文件系统的响应速度。
Description
技术领域
本发明实施例涉及通信技术,尤其涉及一种分布式文件系统中元数据获取方法、装置及系统。
背景技术
分布式文件系统(Distributed File System,简称DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,分布式文件系统的设计基于客户机/服务器模式。元数据(Metadata),又称元数据、中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件纪录等功能。元数据算是一种电子式目录,为了达到编制目录的目的,必须描述并收藏数据的内容或特色,进而达到协助数据检索的目的。
现有技术中,用户通过分布式文件系统的接入端来操作元数据,接入端向元数据管理节点申请获取用户所需要的元数据信息,并将获取到的用户所需要的元数据信息在接入端的内存中进行缓存,若后续操作需要使用该元数据信息,可以直接在接入端的缓存中获取。
然而,现有技术存在接入端与元数据管理节点之间的通信过于频繁的问题,导致元数据管理节点的负担较重,进而导致分布式文件系统的响应时延较长。
发明内容
本发明实施例提供一种分布式文件系统中元数据获取方法、装置及系统,用于减少接入端与元数据管理节点之间的通信次数,减轻元数据管理节点的负担,进而提高分布式文件系统的响应速度。
本发明第一方面,提供一种分布式文件系统中元数据获取方法,包括:
元数据管理节点接收接入端发送的获取元数据请求消息,所述获取元数据请求消息包含第一对象的标识信息,所述第一对象为用户请求访问的目录或文件;
所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,所述第二对象为与所述第一对象存在访问关联关系的目录或文件;
所述元数据管理节点向所述接入端发送所述第一对象的元数据信息和所述第二对象的元数据信息,以使所述接入端将所述第一对象的元数据信息和所述第二对象的元数据信息加入所述接入端的缓存。
在第一方面的第一种可能的实现方式中,所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,包括:
所述元数据管理节点根据第一对象的元数据信息从元数据关联列表中获取所述第二对象的元数据信息,所述元数据关联列表包括第一对象的元数据信息和与第一对象的元数据信息对应的所述第二对象的元数据信息。
根据第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述元数据管理节点根据第一对象的元数据信息从元数据关联列表中获取所述第二对象的元数据信息之前,还包括:
所述元数据管理节点根据所述接入端的访问规律统计信息,建立所述元数据关联列表。
结合第一方面的第一种或第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述元数据关联列表还包括所述第一对象与所述第二对象的关联度信息,所述关联度信息用于指示所述第二对象与所述第一对象的关联程度;
所述元数据管理节点向所述接入端发送所述第一对象的元数据信息和所述第二对象的元数据信息,包括:
所述元数据管理节点向所述接入端发送所述第一对象的元数据信息和与所述第一对象的关联度大于阈值的第二对象的元数据信息。
结合第一方面的第一种至第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述元数据管理节点接收接入端发送的获取元数据请求消息之后,所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息之前,还包括:
所述元数据管理节点更新所述元数据关联列表。
本发明第二方面,提供一种分布式文件系统中元数据获取方法,包括:
接入端向元数据管理节点发送获取元数据请求消息,所述获取元数据请求消息包含第一对象的标识信息,所述第一对象为用户请求访问目录或文件,以使所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,所述第二对象为与所述第一对象关联的目录或文件;
所述接入端接收所述元数据管理节点发送的所述第一对象的元数据信息和所述第二对象的元数据信息;
所述接入端将所述第一对象的元数据信息和所述第二对象的元数据信息加入所述接入端的缓存。
本发明第三方面,提供一种元数据管理节点,包括:
接收模块,用于接收接入端发送的获取元数据请求消息,所述获取元数据请求消息包含第一对象的标识信息,所述第一对象为用户请求访问目录或文件;
确定模块,用于根据第一对象的元数据信息确定第二对象的元数据信息,所述第二对象为与所述第一对象存在访问关联关系的目录或文件;
发送模块,用于向所述接入端发送所述第一对象的元数据信息和所述第二对象的元数据信息,以使所述接入端将所述第一对象的元数据信息和所述第二对象的元数据信息加入所述接入端的缓存。
在第三方面的第一种可能的实现方式中,所述确定模块,具体用于:
根据第一对象的元数据信息从元数据关联列表中获取所述第二对象的元数据信息,所述元数据关联列表包括第一对象的元数据信息和与第一对象的元数据信息对应的所述第二对象的元数据信息。
根据第三方面的第一种可能的实现方式,在第三方面的第二种可能的实现方式中,还包括:
建立模块,用于在所述根据第一对象的元数据信息从元数据关联列表中获取所述第二对象的元数据信息之前,根据所述接入端的访问规律统计信息,建立所述元数据关联列表。
结合第三方面的第一种或第二种可能的实现方式,在第三方面的第三种可能的实现方式中,所述元数据关联列表还包括所述第一对象与所述第二对象的关联度信息,所述关联度信息用于指示所述第二对象与所述第一对象的关联程度;
所述发送模块,具体用于:
向所述接入端发送所述第一对象的元数据信息和与所述第一对象的关联度大于阈值的第二对象的元数据信息。
结合第三方面的第一种至第三种可能的实现方式,在第三方面的第四种可能的实现方式中,还包括:
更新模块,用于在接收接入端发送的获取元数据请求消息之后,根据第一对象的元数据信息确定第二对象的元数据信息之前,更新所述元数据关联列表。
本发明第四方面,提供一种接入端,包括:
发送模块,用于发送获取元数据请求消息,所述获取元数据请求消息包含第一对象的标识信息,所述第一对象为用户请求访问目录或文件,以使所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,所述第二对象为与所述第一对象关联的目录或文件;
接收模块,用于接收所述元数据管理节点发送的所述第一对象的元数据信息和所述第二对象的元数据信息;
处理模块,用于将所述第一对象的元数据信息和所述第二对象的元数据信息加入所述接入端的缓存。
本发明第五方面,提供一种系统,包括:上述第三方面或第三方面的任意一种可能的实现方式中的元数据管理节点和上述第四方面所述的接入端。
本发明实施例提供的分布式文件系统中元数据获取方法、装置及系统,通过元数据管理节点接收接入端发送的获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问的目录或文件,根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象存在访问关联关系的目录或文件,再向接入端发送第一对象的元数据信息和第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存,可以减少接入端与元数据管理节点之间的通信次数,减轻元数据管理节点的负担,进而提高分布式文件系统的响应速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为分布式文件系统的架构示意图;
图2为本发明提供的分布式文件系统中元数据获取方法实施例一的流程图;
图3为本发明提供的分布式文件系统中元数据获取方法实施例二的流程图;
图4A为本发明提供的分布式文件系统中元数据获取方法中对象之间一种关联关系的示意图;
图4B为本发明提供的分布式文件系统中元数据获取方法中对象之间另一种关联关系的示意图;
图5为本发明提供的分布式文件系统中元数据获取方法实施例三的流程图;
图6为本发明提供的分布式文件系统中元数据获取方法实施例四的流程图;
图7为本发明提供的元数据管理节点实施例一的结构示意图;
图8为本发明提供的元数据管理节点实施例二的结构示意图;
图9为本发明提供的元数据管理节点实施例三的结构示意图;
图10为本发明提供的接入端实施例一的结构示意图;
图11为本发明提供的接入端实施例二的结构示意图;
图12为本发明提供的系统实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例适用于分布式文件系统,图1为分布式文件系统的架构示意图,如图1所示,分布式文件系统包括接入端、元数据管理节点和存储节点,用户可以通过接入端进行元数据操作。
图2为本发明提供的分布式文件系统中元数据获取方法实施例一的流程图,如图2所示,本实施例的分布式文件系统中元数据获取方法包括:
S101、元数据管理节点接收接入端发送的获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问的目录或文件。
具体来说,本实施例中的第一对象为分布式文件系统中用户请求访问的目录或文件,当用户需要访问分布式文件系统时,可以通过接入端先向元数据管理节点发送获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,以获取用户所需访问的目录或文件的元数据。
S102、元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象存在访问关联关系的目录或文件。
具体来说,基于用户访问的对象之间的访问关联关系,第二对象可以是用户在访问第一对象之后可能访问的至少一个目录或文件,元数据管理节点可以根据记录的接入端的访问规律统计信息,确定用户的访问模型,再根据用户的访问模型确定第二对象,并确定第二对象的元数据信息。
S103、元数据管理节点向接入端发送第一对象的元数据信息和第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存。
具体来说,接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存之后,若后续接入端需要获取第二对象的元数据信息,则可以直接在缓存中命中,而无需再向元数据管理节点请求获取第二对象的元数据信息。
现有技术中接入端向元数据管理节点发送获取元数据请求消息之后,元数据管理节点仅向接入端发送用户所请求的元数据信息,而当用户需要访问下一个目录或文件时,则需要再次向元数据管理节点发送获取元数据请求消息,以获取用户所请求的元数据信息,往往一条路径上的数据,需要多次接入端与元数据管理节点之间的通信,导致元数据管理节点的压力较大,分布式文件系统的响应时延也较大。
本实施例由于元数据管理节点在接收到接入端发送的元数据请求消息之后,会向接入端发送第一对象的元数据信息和与第一对象存在访问关联关系的第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存,当后续接入端需要获取第二对象的元数据信息,则可以直接在缓存中命中,而无需再向元数据管理节点请求获取第二对象的元数据信息,可以减少接入端与元数据管理节点之间的通信次数,减轻元数据管理节点的负担,进而提高分布式文件系统的响应速度。
本实施例提供的分布式文件系统中元数据获取方法,通过元数据管理节点接收接入端发送的获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问的目录或文件,根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象存在访问关联关系的目录或文件,再向接入端发送第一对象的元数据信息和第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存,可以减少接入端与元数据管理节点之间的通信次数,减轻元数据管理节点的负担,进而提高分布式文件系统的响应速度。
图3为本发明提供的分布式文件系统中元数据获取方法实施例二的流程图,如图3所示,本实施例的分布式文件系统中元数据获取方法包括:
S201、元数据管理节点接收接入端发送的获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问的目录或文件。
S202、元数据管理节点根据接入端的访问规律统计信息,建立元数据关联列表,第二对象为与第一对象存在访问关联关系的目录或文件,元数据关联列表包括第一对象的元数据信息和与第一对象的元数据信息对应的第二对象的元数据信息。
举例来说,本实施例定义了一种关联性规则来定义元数据关联列表。
定义关联度的计算公式为:
关联度=两对象最短路径上衰减系数的乘积;
衰减系数=距离衰减因子×相对热度;
相对热度=m/n×100%,n为单位时间内的标准访问次数,m为单位时间内对象的访问次数。
图4A为本发明提供的分布式文件系统中元数据获取方法中对象之间一种关联关系的示意图,如图4A所示,图4A中目录A与文件1、文件2、文件3之间为父子关系,文件1、文件2和文件3之间为兄弟关系,其中,目录A、文件1、文件2、文件3四者之间的距离衰减因子均为80%,文件1的相对热度为30%,则目录A与文件1的关联度为80%×30%=24%;文件2的相对热度为10%,同理,目录A与文件2关联度为80%×10%=8%;文件3的相对热度为80%,目录A与文件3关联度为80%×80%=64%;文件1与文件3关联度为80%*80%=64%,文件3与文件1关联度为80%*30%=24%。
图4B为本发明提供的分布式文件系统中元数据获取方法中对象之间另一种关联关系的示意图,如图4B所示,目录B的相对热度为30%,文件1的相对热度为70%,文件2的相对热度为10%,文件3的相对热度为80%,图4B中目录A与文件1的关联度为目录A和目录B之间的衰减系数与目录B和文件1之间的衰减系数的乘积,具体为(80%×30%)×(80%×70%)=13.44%;文件3与文件1的关联度为文件3和目录B之间的衰减系数与目录B与文件1的衰减系数的乘积,具体为(80%×30%)×(80%×70%)=13.44%。
由于元数据管理节点可以记录接入端的访问规律统计信息,元数据管理节点可以基于上述关联度的定义,根据接入端的访问规律统计信息计算分布式文件系统中与第一对象存在关联关系的第二对象与第一对象的关联度,确定关联度高于一个阈值的第二对象的元数据信息,建立包括第一对象的元数据信息和与第一对象的元数据信息对应的第二对象的元数据信息的元数据关联列表。
可以理解的是,本发明还可以采用其他方式定义元数据关联性列表,本实施例并不对此限制。
需要说明的是,本实施例并不限定S201和S202的先后顺序。
S203、元数据管理节点更新元数据关联列表。
具体来说,若分布式文件系统中的对象之间的关联关系发生变化,或者增加了新的对象,或者删除了对象,则元数据管理节点更新元数据关联列表在S202之后,S204之前更新元数据关联列表。
可以理解的是,更新元数据关联列表的时机并不限于本实施例的情况,元数据管理节点还可以定时对元数据关联列表进行更新。
S204、元数据管理节点根据第一对象的元数据信息从元数据关联列表中获取第二对象的元数据信息。
具体来说,元数据管理节点可以根据第一对象的元数据信息在元数据关联列表中查找出第二对象的元数据信息。
S205、元数据管理节点向接入端发送第一对象的元数据信息和与第一对象的关联度大于阈值的第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存。
具体来说,元数据关联列表还包括第一对象与第二对象的关联度信息,关联度信息用于指示第二对象与第一对象的关联程度。
举例来说,以图4B中各对象之间的关联关系为例,若元数据关联列表中还记录了目录A与文件3的关联度为70%,目录A与文件2的关联度为50%,目录A与目录B的关联度为30%,目录A与文件1的关联度为24%,当用户通过接入端访问目录A时,将目录A的元数据信息、关联度大于40%的文件2的元数据信息和关联度大于40%的文件3的元数据信息发送给接入端,以使接入端将目录A的元数据信息、文件2的元数据信息和文件3的元数据信息加入接入端的缓存,之后若接入端访问文件2或者文件3,则可以直接在本地缓存命中,不需要再向元数据管理节点获取元数据请求消息。
本实施例提供的分布式文件系统中元数据获取方法,通过元数据管理节点接收接入端发送的获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问的目录或文件,根据第一对象的元数据信息从元数据关联列表中获取第二对象的元数据信息,元数据关联列表包括第一对象的元数据信息和与第一对象的元数据信息对应的第二对象的元数据信息,再向向接入端发送第一对象的元数据信息和与第一对象的关联度大于阈值的第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存,可以减少接入端与元数据管理节点之间的通信次数,减轻元数据管理节点的负担,进而提高分布式文件系统的响应速度。
图5为本发明提供的分布式文件系统中元数据获取方法实施例三的流程图,如图5所示,本实施例的分布式文件系统中元数据获取方法包括:
S301、接入端向元数据管理节点发送获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问目录或文件,以使元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象关联的目录或文件。
具体来说,当用户需要访问分布式文件系统时,可以通过接入端先向元数据管理节点发送获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,以获取用户所需访问的目录或文件的元数据。
S302、接入端接收元数据管理节点发送的第一对象的元数据信息和第二对象的元数据信息。
S303、接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存。
具体来说,接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存之后,若后续接入端需要获取第二对象的元数据信息,则可以直接在缓存中命中,而无需再向元数据管理节点请求获取第二对象的元数据信息。
本实施例提供的分布式文件系统中元数据获取方法,通过接入端向元数据管理节点发送获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问目录或文件,以使元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象关联的目录或文件,接收元数据管理节点发送的第一对象的元数据信息和第二对象的元数据信息,再将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存。,可以减少接入端与元数据管理节点之间的通信次数,减轻元数据管理节点的负担,进而提高分布式文件系统的响应速度。
以下对接入端和元数据管理节点之间的交互过程进行详细说明。
图6为本发明提供的分布式文件系统中元数据获取方法实施例四的流程图,如图6所示,本实施例的分布式文件系统中元数据获取方法包括:
S401、接入端向元数据管理节点发送获取元数据请求消息,获取元数据请求消息包含目录A的标识信息。
具体来说,本实施例中以接入端向元数据管理节点申请目录A为例进行说明,并不以此为限。
S402、元数据管理节点根据目录A的元数据信息从元数据关联列表中获取文件2的元数据信息和文件3的元数据信息。
文件2和文件3为元数据关联列表中与目录A关联度大于阈值的对象。
S403、元数据管理节点向接入端发送目录A的元数据信息、文件2的元数据信息和文件3的元数据信息。
S404、接入端将目录A的元数据信息、文件2的元数据信息和文件3的元数据信息加入接入端的缓存。
S405、若接入端需要获取文件2的元数据信息,则从缓存中命中文件2的元数据信息。
具体来说,现有技术中当接入端需要获取文件2的元数据信息时,会向元数据管理节点发送包含文件2的标识信息的获取元数据请求消息,以使元数据管理节点将文件2的元数据信息发送给接入端。
本实施例提供的分布式文件系统中元数据获取方法,通过元数据管理节点接收接入端发送的获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问的目录或文件,根据第一对象的元数据信息从元数据关联列表中获取第二对象的元数据信息,元数据关联列表包括第一对象的元数据信息和与第一对象的元数据信息对应的第二对象的元数据信息,再向向接入端发送第一对象的元数据信息和与第一对象的关联度大于阈值的第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存,可以减少接入端与元数据管理节点之间的通信次数,减轻元数据管理节点的负担,进而提高分布式文件系统的响应速度。
图7为本发明提供的元数据管理节点实施例一的结构示意图,如图7所示,本实施例的元数据管理节点,包括:接收模块71、确定模块72和发送模块73,其中,接收模块71用于接收接入端发送的获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问目录或文件;确定模块72用于根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象存在访问关联关系的目录或文件;发送模块73用于向接入端发送第一对象的元数据信息和第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存。
本实施例的元数据管理节点,可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图8为本发明提供的元数据管理节点实施例二的结构示意图,如图8所示,本实施例的元数据管理节点,在图7所示实施例的基础上,还包括:建立模块74和更新模块75,其中,确定模块72具体用于根据第一对象的元数据信息从元数据关联列表中获取第二对象的元数据信息,元数据关联列表包括第一对象的元数据信息和与第一对象的元数据信息对应的第二对象的元数据信息。
建立模块74用于在根据第一对象的元数据信息从元数据关联列表中获取第二对象的元数据信息之前,根据接入端的访问规律统计信息,建立元数据关联列表。
元数据关联列表还包括第一对象与第二对象的关联度信息,关联度信息用于指示第二对象与第一对象的关联程度;
发送模块73具体用于向接入端发送第一对象的元数据信息和与第一对象的关联度大于阈值的第二对象的元数据信息。
更新模块75用于在接收接入端发送的获取元数据请求消息之后,根据第一对象的元数据信息确定第二对象的元数据信息之前,更新元数据关联列表。
本实施例的元数据管理节点,可以用于执行图3或图6所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9为本发明提供的元数据管理节点实施例三的结构示意图,如图9所示,本实施例的元数据管理节点包括发送器91、接收器92、存储器93以及分别与发送器91、接收器92和存储器93连接的处理器94。当然,元数据管理节点还可以包括天线、基带处理部件、中射频处理部件、输入输出装置等通用部件,本发明实施例在此不再任何限制。
其中,存储器93中存储一组程序代码,且处理器94用于调用存储器93中存储的程序代码,用于执行以下操作:
接收接入端发送的获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问的目录或文件;
根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象存在访问关联关系的目录或文件;
向接入端发送第一对象的元数据信息和第二对象的元数据信息,以使接入端将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存。
本实施例的元数据管理节点,可以用于执行图3或图6所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图10为本发明提供的接入端实施例一的结构示意图,如图10所示,本实施例的接入端,包括:发送模块11、接收模块12和处理模块13,其中,发送模块11用于发送获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问目录或文件,以使元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象关联的目录或文件;
接收模块12用于接收元数据管理节点发送的第一对象的元数据信息和第二对象的元数据信息;
处理模块13用于将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存。
本实施例的元数据管理节点,可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图11为本发明提供的接入端实施例二的结构示意图,如图11所示,本实施例的接入端包括发送器111、接收器112、存储器113以及分别与发送器111、接收器112和存储器113连接的处理器114。当然,接入端还可以包括天线、基带处理部件、中射频处理部件、输入输出装置等通用部件,本发明实施例在此不再任何限制。
其中,存储器113中存储一组程序代码,且处理器114用于调用存储器13中存储的程序代码,用于执行以下操作:
向元数据管理节点发送获取元数据请求消息,获取元数据请求消息包含第一对象的标识信息,第一对象为用户请求访问目录或文件,以使元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,第二对象为与第一对象关联的目录或文件;
接收元数据管理节点发送的第一对象的元数据信息和第二对象的元数据信息;
将第一对象的元数据信息和第二对象的元数据信息加入接入端的缓存。
图12为本发明提供的系统实施例一的结构示意图,如图12所示,本实施例的系统,包括:上述元数据管理节点实施例一至三中任意一种元数据管理节点100和上述接入端实施例一或实施例二中的接入端200。
需要说明的是,上述各实施例对应的结构示意图仅为一种示意,各部分或模块的连接关系不限于图中示出的形式,可以以实际应用中的情况为准。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种分布式文件系统中元数据获取方法,其特征在于,包括:
元数据管理节点接收接入端发送的获取元数据请求消息,所述获取元数据请求消息包含第一对象的标识信息,所述第一对象为用户请求访问的目录或文件;
所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,所述第二对象为与所述第一对象存在访问关联关系的目录或文件;
所述元数据管理节点向所述接入端发送所述第一对象的元数据信息和所述第二对象的元数据信息,以使所述接入端将所述第一对象的元数据信息和所述第二对象的元数据信息加入所述接入端的缓存。
2.根据权利要求1所述的方法,其特征在于,所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,包括:
所述元数据管理节点根据第一对象的元数据信息从元数据关联列表中获取所述第二对象的元数据信息,所述元数据关联列表包括第一对象的元数据信息和与第一对象的元数据信息对应的所述第二对象的元数据信息。
3.根据权利要求2所述的方法,其特征在于,所述元数据管理节点根据第一对象的元数据信息从元数据关联列表中获取所述第二对象的元数据信息之前,还包括:
所述元数据管理节点根据所述接入端的访问规律统计信息,建立所述元数据关联列表。
4.根据权利要求2或3所述的方法,其特征在于,所述元数据关联列表还包括所述第一对象与所述第二对象的关联度信息,所述关联度信息用于指示所述第二对象与所述第一对象的关联程度;
所述元数据管理节点向所述接入端发送所述第一对象的元数据信息和所述第二对象的元数据信息,包括:
所述元数据管理节点向所述接入端发送所述第一对象的元数据信息和与所述第一对象的关联度大于阈值的第二对象的元数据信息。
5.根据权利要求2-4中任一项所述的方法,其特征在于,所述元数据管理节点接收接入端发送的获取元数据请求消息之后,所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息之前,还包括:
所述元数据管理节点更新所述元数据关联列表。
6.一种分布式文件系统中元数据获取方法,其特征在于,包括:
接入端向元数据管理节点发送获取元数据请求消息,所述获取元数据请求消息包含第一对象的标识信息,所述第一对象为用户请求访问目录或文件,以使所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,所述第二对象为与所述第一对象关联的目录或文件;
所述接入端接收所述元数据管理节点发送的所述第一对象的元数据信息和所述第二对象的元数据信息;
所述接入端将所述第一对象的元数据信息和所述第二对象的元数据信息加入所述接入端的缓存。
7.一种元数据管理节点,其特征在于,包括:
接收模块,用于接收接入端发送的获取元数据请求消息,所述获取元数据请求消息包含第一对象的标识信息,所述第一对象为用户请求访问目录或文件;
确定模块,用于根据第一对象的元数据信息确定第二对象的元数据信息,所述第二对象为与所述第一对象存在访问关联关系的目录或文件;
发送模块,用于向所述接入端发送所述第一对象的元数据信息和所述第二对象的元数据信息,以使所述接入端将所述第一对象的元数据信息和所述第二对象的元数据信息加入所述接入端的缓存。
8.根据权利要求7所述的元数据管理节点,其特征在于,所述确定模块,具体用于:
根据第一对象的元数据信息从元数据关联列表中获取所述第二对象的元数据信息,所述元数据关联列表包括第一对象的元数据信息和与第一对象的元数据信息对应的所述第二对象的元数据信息。
9.根据权利要求8所述的元数据管理节点,其特征在于,还包括:
建立模块,用于在所述根据第一对象的元数据信息从元数据关联列表中获取所述第二对象的元数据信息之前,根据所述接入端的访问规律统计信息,建立所述元数据关联列表。
10.根据权利要求8或9所述的元数据管理节点,其特征在于,所述元数据关联列表还包括所述第一对象与所述第二对象的关联度信息,所述关联度信息用于指示所述第二对象与所述第一对象的关联程度;
所述发送模块,具体用于:
向所述接入端发送所述第一对象的元数据信息和与所述第一对象的关联度大于阈值的第二对象的元数据信息。
11.根据权利要求8-10中任一项所述的元数据管理节点,其特征在于,还包括:
更新模块,用于在接收接入端发送的获取元数据请求消息之后,根据第一对象的元数据信息确定第二对象的元数据信息之前,更新所述元数据关联列表。
12.一种接入端,其特征在于,包括:
发送模块,用于发送获取元数据请求消息,所述获取元数据请求消息包含第一对象的标识信息,所述第一对象为用户请求访问目录或文件,以使所述元数据管理节点根据第一对象的元数据信息确定第二对象的元数据信息,所述第二对象为与所述第一对象关联的目录或文件;
接收模块,用于接收所述元数据管理节点发送的所述第一对象的元数据信息和所述第二对象的元数据信息;
处理模块,用于将所述第一对象的元数据信息和所述第二对象的元数据信息加入所述接入端的缓存。
13.一种系统,其特征在于,包括:如权利要求4至11任一所述的元数据管理节点和如权利要求12所述的接入端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310423275.1A CN103491152A (zh) | 2013-09-17 | 2013-09-17 | 分布式文件系统中元数据获取方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310423275.1A CN103491152A (zh) | 2013-09-17 | 2013-09-17 | 分布式文件系统中元数据获取方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103491152A true CN103491152A (zh) | 2014-01-01 |
Family
ID=49831105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310423275.1A Pending CN103491152A (zh) | 2013-09-17 | 2013-09-17 | 分布式文件系统中元数据获取方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103491152A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106170012A (zh) * | 2016-06-29 | 2016-11-30 | 上海上大海润信息系统有限公司 | 一种面向云渲染的分布式文件系统及构建和访问方法 |
CN106777047A (zh) * | 2016-12-09 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种用于分布式系统的元数据读取方法及其装置 |
CN107633102A (zh) * | 2017-10-25 | 2018-01-26 | 郑州云海信息技术有限公司 | 一种读取元数据的方法、装置、系统及设备 |
CN107665119A (zh) * | 2016-07-27 | 2018-02-06 | 北京金山云网络技术有限公司 | 一种分布式数据系统 |
CN108268207A (zh) * | 2016-12-30 | 2018-07-10 | 杭州海康威视数字技术股份有限公司 | 一种基于云存储的元数据管理方法及装置 |
CN108470054A (zh) * | 2018-03-14 | 2018-08-31 | 北京思特奇信息技术股份有限公司 | 一种数据访问方法及系统 |
CN109302448A (zh) * | 2018-08-27 | 2019-02-01 | 华为技术有限公司 | 一种数据处理方法及装置 |
CN110324366A (zh) * | 2018-03-28 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
CN110826697A (zh) * | 2019-10-31 | 2020-02-21 | 深圳市商汤科技有限公司 | 获取样本的方法及装置、电子设备和存储介质 |
CN114415971A (zh) * | 2022-03-25 | 2022-04-29 | 阿里云计算有限公司 | 数据处理方法以及装置 |
CN115391293A (zh) * | 2022-08-17 | 2022-11-25 | 昆仑数智科技有限责任公司 | 文件获取方法、装置、服务器及存储介质 |
CN116841978A (zh) * | 2023-08-31 | 2023-10-03 | 北京趋动智能科技有限公司 | 基于分布式文件系统的路径解析方法、装置及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040230618A1 (en) * | 2003-05-12 | 2004-11-18 | Wookey Michael J. | Business intelligence using intellectual capital |
WO2006089279A2 (en) * | 2005-02-18 | 2006-08-24 | Sarnoff Corporation | Method and apparatus for capture and distribution of broadband data |
CN101488924A (zh) * | 2009-02-16 | 2009-07-22 | 成都市华为赛门铁克科技有限公司 | 一种元数据的修改方法和元数据服务器 |
CN102104494A (zh) * | 2009-12-18 | 2011-06-22 | 华为技术有限公司 | 元数据服务器、带外网络文件系统及其处理方法 |
CN102117287A (zh) * | 2009-12-30 | 2011-07-06 | 成都市华为赛门铁克科技有限公司 | 分布式文件系统访问方法、元数据服务器及客户端 |
CN103020255A (zh) * | 2012-12-21 | 2013-04-03 | 华为技术有限公司 | 分级存储方法和装置 |
CN103067461A (zh) * | 2012-12-18 | 2013-04-24 | 曙光信息产业(北京)有限公司 | 一种文件的元数据管理系统以及元数据管理方法 |
-
2013
- 2013-09-17 CN CN201310423275.1A patent/CN103491152A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040230618A1 (en) * | 2003-05-12 | 2004-11-18 | Wookey Michael J. | Business intelligence using intellectual capital |
WO2006089279A2 (en) * | 2005-02-18 | 2006-08-24 | Sarnoff Corporation | Method and apparatus for capture and distribution of broadband data |
CN101488924A (zh) * | 2009-02-16 | 2009-07-22 | 成都市华为赛门铁克科技有限公司 | 一种元数据的修改方法和元数据服务器 |
CN102104494A (zh) * | 2009-12-18 | 2011-06-22 | 华为技术有限公司 | 元数据服务器、带外网络文件系统及其处理方法 |
CN102117287A (zh) * | 2009-12-30 | 2011-07-06 | 成都市华为赛门铁克科技有限公司 | 分布式文件系统访问方法、元数据服务器及客户端 |
CN103067461A (zh) * | 2012-12-18 | 2013-04-24 | 曙光信息产业(北京)有限公司 | 一种文件的元数据管理系统以及元数据管理方法 |
CN103020255A (zh) * | 2012-12-21 | 2013-04-03 | 华为技术有限公司 | 分级存储方法和装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106170012A (zh) * | 2016-06-29 | 2016-11-30 | 上海上大海润信息系统有限公司 | 一种面向云渲染的分布式文件系统及构建和访问方法 |
CN107665119B (zh) * | 2016-07-27 | 2020-06-26 | 北京金山云网络技术有限公司 | 一种分布式数据系统 |
CN107665119A (zh) * | 2016-07-27 | 2018-02-06 | 北京金山云网络技术有限公司 | 一种分布式数据系统 |
CN106777047A (zh) * | 2016-12-09 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种用于分布式系统的元数据读取方法及其装置 |
CN108268207A (zh) * | 2016-12-30 | 2018-07-10 | 杭州海康威视数字技术股份有限公司 | 一种基于云存储的元数据管理方法及装置 |
CN107633102A (zh) * | 2017-10-25 | 2018-01-26 | 郑州云海信息技术有限公司 | 一种读取元数据的方法、装置、系统及设备 |
CN108470054A (zh) * | 2018-03-14 | 2018-08-31 | 北京思特奇信息技术股份有限公司 | 一种数据访问方法及系统 |
CN110324366B (zh) * | 2018-03-28 | 2022-07-29 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
CN110324366A (zh) * | 2018-03-28 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
CN109302448B (zh) * | 2018-08-27 | 2020-10-09 | 华为技术有限公司 | 一种数据处理方法及装置 |
CN109302448A (zh) * | 2018-08-27 | 2019-02-01 | 华为技术有限公司 | 一种数据处理方法及装置 |
CN110826697A (zh) * | 2019-10-31 | 2020-02-21 | 深圳市商汤科技有限公司 | 获取样本的方法及装置、电子设备和存储介质 |
CN114415971A (zh) * | 2022-03-25 | 2022-04-29 | 阿里云计算有限公司 | 数据处理方法以及装置 |
CN115391293A (zh) * | 2022-08-17 | 2022-11-25 | 昆仑数智科技有限责任公司 | 文件获取方法、装置、服务器及存储介质 |
CN115391293B (zh) * | 2022-08-17 | 2023-09-12 | 昆仑数智科技有限责任公司 | 文件获取方法、装置、服务器及存储介质 |
CN116841978A (zh) * | 2023-08-31 | 2023-10-03 | 北京趋动智能科技有限公司 | 基于分布式文件系统的路径解析方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103491152A (zh) | 分布式文件系统中元数据获取方法、装置及系统 | |
CN103019960B (zh) | 分布式缓存方法及系统 | |
US10606806B2 (en) | Method and apparatus for storing time series data | |
CN105677580A (zh) | 访问缓存的方法和装置 | |
CN109213696B (zh) | 用于缓存管理的方法和设备 | |
CN104102693A (zh) | 对象处理方法和装置 | |
CN106649145A (zh) | 一种自适应更新缓存策略的方法及系统 | |
US20160070475A1 (en) | Memory Management Method, Apparatus, and System | |
CN109213604A (zh) | 一种数据源的管理方法和装置 | |
CN103677674A (zh) | 一种数据处理方法及装置 | |
US11455117B2 (en) | Data reading method, apparatus, and system, avoiding version rollback issues in distributed system | |
CN108304142B (zh) | 一种数据管理方法和装置 | |
US20200349081A1 (en) | Method, apparatus and computer program product for managing metadata | |
CN103927136A (zh) | 输入输出io类型的识别方法和装置 | |
CN101247405A (zh) | 计算下载时间及资源下载的方法、系统及装置 | |
CN109947667B (zh) | 数据访问预测方法和装置 | |
CN106156038B (zh) | 数据存储方法和装置 | |
CN103500108A (zh) | 系统内存访问方法、节点控制器和多处理器系统 | |
CN103412898A (zh) | 一种网页优化的方法及装置 | |
US8984252B2 (en) | Extent consolidation and storage group allocation | |
CN113742131B (zh) | 用于存储管理的方法、电子设备和计算机程序产品 | |
US20140025630A1 (en) | Data-store management apparatus, data providing system, and data providing method | |
CN111859225B (zh) | 程序文件的访问方法、装置、计算设备和介质 | |
CN112631517B (zh) | 数据存储方法、装置、电子设备和存储介质 | |
CN113272785A (zh) | 一种挂载文件系统的方法、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140101 |