CN108920616A - 一种元数据访问性能优化方法、系统、装置及存储介质 - Google Patents
一种元数据访问性能优化方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN108920616A CN108920616A CN201810689435.XA CN201810689435A CN108920616A CN 108920616 A CN108920616 A CN 108920616A CN 201810689435 A CN201810689435 A CN 201810689435A CN 108920616 A CN108920616 A CN 108920616A
- Authority
- CN
- China
- Prior art keywords
- metadata
- access
- memory
- catalogue
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种元数据访问性能优化方法:获取当前正在被访问的元数据;将与所述元数据相关联的关联元数据预先缓存至内存;当接收到所述关联元数据的访问请求时,从所述内存中查询到与所述访问请求对应的目标元数据,并直接在所述内存中访问所述目标元数据。通过将与当前正在被访问的元数据存在关联的关联元数据提前缓存至内存中,使得之后接收到该关联元数据的访问请求时,可跳过在硬盘中查找、置入内存的过程,直接就可以在内存中进行各式操作,可以显著降低访问耗时和提升访问操作性能。本申请还同时公开了一种元数据访问性能优化系统、装置及计算机可读存储介质,具有上述有益效果。
Description
技术领域
本申请涉及元数据访问技术领域,特别涉及一种元数据访问性能优化方法、系统、装置及计算机可读存储介质。
背景技术
随着数据产生量的不断增加,存储这些数据的存储空间也需要随之扩大,单节点和磁盘阵列这些传统的存储技术已经很难满足海量数据的存储需求,集群存储系统以其天然的可扩展性优势得到广泛的运用,分布式文件系统(也称网络文件系统)是其中较为常用的一种,可根据每台服务器和客户端的访问列表和容量严格地访问文件系统,通过把数据和元数据通过一定的协议和规则分散到各个服务器,并为客户端提供文件系统的标准接口。
在分布式文件系统中,数据同样可以分为文件数据和元数据两种,元数据作为描述文件数据的数据,由于仅包含对应文件数据的一些重要特征信息,因此元数据的体积较小(单个元数据的体积通常在100字节内),且在分布式文件系统中元数据的总量占系统内数据总量的比例通常不到10%,但由于元数据的特点和其包含内容的重要性,导致其却拥有系统内访问总量的50%~80%,因为无论是打开文件、创建文件还是删除文件都需要首先对元数据进行处理,因此,如何提高元数据的访问操作性能是具有重大意义的。
现有分布式文件系统中沿用了传统本地文件系统对元数据的存储机制,即首先利用硬盘存储持久化保存元数据,在接收到一个文件数据的访问请求时,还需要首先在硬盘中找到这个文件数据对应的元数据,并在将其置入内存后才能对其进行各式操作,而位于内存中的元数据通常会在访问完成后的一段时间后移出内存,每个元数据的访问过程类似,步骤繁琐、耗时较长。
因此,如何克服现有元数据访问操作机制中存在的各项技术缺陷,提供一种耗时更短、访问操作性能更高的元数据访问操作机制是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种元数据访问性能优化方法,通过将与当前正在被访问的元数据存在关联的关联元数据提前缓存至内存中,使得之后接收到该关联元数据的访问请求时,可跳过在硬盘中查找、置入内存的过程,直接就可以在内存中进行各式操作,可以显著降低访问耗时和提升访问操作性能。
本申请的另一目的在于提供了一种元数据访问性能优化系统、装置及计算机可读存储介质。
为实现上述目的,本申请提供一种元数据访问性能优化方法,包括:
获取当前正在被访问的元数据;
将与所述元数据相关联的关联元数据预先缓存至内存;
当接收到所述关联元数据的访问请求时,从所述内存中查询到与所述访问请求对应的目标元数据,并直接在所述内存中访问所述目标元数据;其中,所述目标元数据为与所述访问请求对应的关联元数据。
可选的,该元数据访问性能优化方法还包括:
按周期统计每个周期内存储于所述内存中的各元数据分别被访问的次数,得到各访问热度值;
按自上而下、从大到小的顺序排列各所述访问热度值,生成访问热度表;
当所述内存的剩余存储空间小于预设存储空间时,将位于所述访问热度表中底部预设数量的访问热度值对应的元数据从所述内存中移除。
可选的,该元数据访问性能优化方法还包括:
从接收到的访问请求中提取得到目标访问路径;其中,所述目标访问路径由预设级数的目录和位于最后一级目录中的元数据名组成,每级目录包含于上一级目录、包含下一级目录;
按照目录的级数顺序依次查询组成所述目标访问路径的每级目录是否已缓存至所述内存;
若组成所述目标访问路径的每级目录均未在所述内存中被查得,则将组成所述目标访问路径的每级目录中包含的所有元数据通过一次数据查询请求缓存至所述内存。
可选的,所述关联元数据包括:
与所述元数据在访问时间、存储位置、预设时间间隔内访问次数中至少一项相关联的元数据。
为实现上述目的,本申请还提供了一种元数据访问性能优化系统,包括:
当前被访问元数据获取单元,用于获取当前正在被访问的元数据;
关联元数据预缓存单元,用于将与所述元数据相关联的关联元数据预先缓存至内存;
预缓存关联元数据快速访问单元,用于当接收到所述关联元数据的访问请求时,从所述内存中查询到与所述访问请求对应的目标元数据,并直接在所述内存中访问所述目标元数据;其中,所述目标元数据为与所述访问请求对应的关联元数据。
可选的,该元数据访问性能优化系统还包括:
访问热度值统计单元,用于按周期统计每个周期内存储于所述内存中的各元数据分别被访问的次数,得到各访问热度值;
排列及访问热度表生成单元,用于按自上而下、从大到小的顺序排列各所述访问热度值,生成访问热度表;
低访问热度元数据移除单元,用于当所述内存的剩余存储空间小于预设存储空间时,将位于所述访问热度表中底部预设数量的访问热度值对应的元数据从所述内存中移除。
可选的,该元数据访问性能优化系统还包括:
目标访问路径提取单元,用于从接收到的访问请求中提取得到目标访问路径;其中,所述目标访问路径由预设级数的目录和位于最后一级目录中的元数据名组成,每级目录包含于上一级目录、包含下一级目录;
依次查询单元,用于按照目录的级数顺序依次查询组成所述目标访问路径的每级目录是否已缓存至所述内存;
全量元数据单次查询请求缓存单元,用于当组成所述目标访问路径的每级目录均未在所述内存中被查得时,将组成所述目标访问路径的每级目录中包含的所有元数据通过一次数据查询请求缓存至所述内存。
为实现上述目的,本申请还提供了一种元数据访问性能优化装置,该元数据访问性能优化装置包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述内容所描述的元数据访问性能优化方法的步骤。
为实现上述目的,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述内容所描述的元数据访问性能优化方法的步骤。
本申请所提供的元数据访问性能优化方法:获取当前正在被访问的元数据;将与所述元数据相关联的关联元数据预先缓存至内存;当接收到所述关联元数据的访问请求时,从所述内存中查询到与所述访问请求对应的目标元数据,并直接在所述内存中访问所述目标元数据。
显然,本申请提供的方法通过将与当前正在被访问的元数据存在关联的关联元数据提前缓存至内存中,使得之后接收到该关联元数据的访问请求时,可跳过在硬盘中查找、置入内存的过程,直接就可以在内存中进行各式操作,可以显著降低访问耗时和提升访问操作性能。本申请同时还提供了一种元数据访问性能优化系统、装置及计算机可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种元数据访问性能优化方法的流程图;
图2为本申请实施例在实施例一基础上提供的另一种元数据访问性能优化方法的流程图;
图3为本申请实施例在实施例一基础上提供的又一种元数据访问性能优化方法的流程图;
图4为本申请实施例提供的一种元数据访问性能优化系统的结构框图。
具体实施方式
本申请的核心是提供一种元数据访问性能优化方法,通过将与当前正在被访问的元数据存在关联的关联元数据提前缓存至内存中,使得之后接收到该关联元数据的访问请求时,可跳过在硬盘中查找、置入内存的过程,直接就可以在内存中进行各式操作,可以显著降低访问耗时和提升访问操作性能。本申请的另一核心是提供了一种元数据访问性能优化系统、装置及计算机可读存储介质,具有上述有益效果。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
实施例一
以下结合图1,图1为本申请实施例提供的一种元数据访问性能优化方法的流程图,其具体包括以下步骤:
S101:获取当前正在被访问的元数据;
本步骤旨在获取到分布式文件系统中当前正在为访问的元数据。具体的,可以根据从分布式文件系统中的内存中获取当前处于活跃状态的进程,进而确定哪些元数据正在处于被访问状态。
S102:将与元数据相关联的关联元数据预先缓存至内存;
在S101的基础上,本步骤旨在首先找到与当前处于被访问状态的元数据存在联系的其它元数据(在本申请中将使用关联元数据一词来指代),接下来将关联元数据预先缓存至内存中。举个例子说明,假定分布式文件系统中元数据A当前处于被访问状态,本步骤旨在将与A相关联的关联元数据A+预先缓存至内存中。
其中关键的是,哪些元数据可以作为A的关联元数据A+被预先缓存内存,即如何定义关联性这一含义,其实关联性可以在不同的理解方向中存在多种含义,例如不同元数据在访问上的先后顺序,即顺序关联性;同属一个目录下的不同元数据,即空间关联性;还包括在预设时间间隔内总是拥有相同访问量的不同元数据,即访问关联性;甚至还可以包括总是被同一用户访问的不同元数据等等,此处并不对如何确定该关联数据进行具体限定,可根据不同的实际情况、理解的不同给出合适的关联元数据确定方式,只需能够将关联元数据预置进内存中来实现提升元数据访问操作性能的目的即可。
之所以要将与当前处于被访问状态的元数据存在关联的关联元数据预先缓存至内存中,是出于考虑到当前A被访问,可能在之后不久的某一时刻与其关联的A+也会被访问,因为文件访问和执行操作时往往存在关联性,就好像我们要执行一个功能脚本,其中可能根据功能需要先后需要执行10个功能函数,当调用每个功能函数时可能就需要首先访问其对应的元数据,因此这10个元数据就会被这个脚本“串”起来,可以认为这些元数据之间存在关联性。而提前将这些关联元数据缓存至内存中,也是为了方便之后访问时可直接从内存中调用,省去在硬盘中寻找、置入内存的步骤,提升元数据访问操作性能。
S103:当接收到关联元数据的访问请求时,从内存中查询到与访问请求对应的目标元数据,并直接在内存中访问目标元数据。
在S102的基础上,本步骤旨在说明如何实现已缓存至内存中的关联元数据的快速访问:当接收到一个元数据的访问请求时,首先查询内存中是否存在,若该访问请求指向之前与S101处于被访问状态的元数据的一个关联元数据,由于S102会将其所有关联元数据都预先缓存进内存,因此肯定可以在内存中找到该关联元数据,此时就可以直接在内存中对该目标元数据进行访问,省去了在硬盘中寻找、置入内存的步骤;若该目标元数据没有经过本申请S102的处理,即不会因为与A关联而被预先缓存进内存,则绝大多数情况下无法在内存查询到(除该目标元数据在A被置入内存前已经置入内存的情况),因此还需要再去硬盘中查询该目标元数据,再将其置入内存后才能进行访问。
从本步骤中就可以明显看出本申请提供的方案区别于现有技术在元数据访问操作性能上进行改进,可明显减少查询耗时、提升元数据访问操作性能,使得用户体验更佳。
基于上述技术方案,本申请实施例提供的一种元数据访问性能优化方法,通过将与当前正在被访问的元数据存在关联的关联元数据提前缓存至内存中,使得之后接收到该关联元数据的访问请求时,可跳过在硬盘中查找、置入内存的过程,直接就可以在内存中进行各式操作,可以显著降低访问耗时和提升访问操作性能。
实施例二
以下结合图2,图2为本申请实施例在实施例一基础上提供的另一种元数据访问性能优化方法的流程图,本实施例在实施例一的基础上,针对现有分布式文件系统中对元数据访问操作性能造成影响的另一个问题给出一种解决方案,具体步骤如下:
S201:按周期统计每个周期内存储于内存中的各元数据分别被访问的次数,得到各访问热度值;
S202:按自上而下、从大到小的顺序排列各访问热度值,生成访问热度表;
S203:当内存的剩余存储空间小于预设存储空间时,将位于访问热度表中底部预设数量的访问热度值对应的元数据从内存中移除。
本实施例引入了访问热度的概念,访问热度指的是一个资源(数据)在单位时间内被访问的次数,更好似各大网站的热搜榜一样,通常在单位时间内被访问的次数越多说明这个资源越“热”、越“抢手”。且本实施例具体是根据访问热度对存储于内存中的元数据做一个筛选,以尽可能多的保留热度值较高的元数据、尽可能少的保留热度值较低的元数据,因为保留的高热度值元数据越多,说明可为分布式文件系统的元数据访问操作性能提升更多,反之则越少,尤其是在内存中的存储空间不够的时候。
当然,本实施例仅给出了一种保留较高热度值的元数据的方式,此外还可以直接根据内存存储空间要想空余出的百分比或者设置一个热度值的固定筛选限值,每个周期开始移除所有低于该筛选限值的低热度值元数据,本领域技术人员可在本实施例设计思想的指导下给出多种具体实施方案,在此不再一一赘述。
实施例三
以下结合图3,图3为本申请实施例在实施例一基础上提供的又一种元数据访问性能优化方法的流程图,本实施例在实施例一的基础上,针对现有分布式文件系统中对元数据访问操作性能造成影响的另一个问题给出一种解决方案,具体步骤如下:
S301:从接收到的访问请求中提取得到目标访问路径;
其中,该目标访问路径由预设级数的目录和位于最后一级目录中的元数据名组成,每级目录包含于上一级目录、包含下一级目录。以
S302:按照目录的级数顺序依次查询组成目标访问路径的每级目录是否已缓存至内存;
S303:若组成目标访问路径的每级目录均未在内存中被查得,则将组成目标访问路径的每级目录中包含的所有元数据通过一次数据查询请求缓存至内存。
以C:\Program Files(x86)\Common Files\Adobe\Color\Profiles\BlackWhite.txt为例,根据包含关系,依次包括C、Program Files(x86)、Common Files、Adobe、Color以及Profiles6个目录,C为一级目录,后面的目录根据包含关系依次为二级目录、三级目录……以及最后的六级目录,以及最后在六级目录中的一个名为BlackWhite.txt文件(假定该文件是一个元数据),现有分布式文件下中,在接收到一个包含C:\Program Files(x86)\Common Files\Adobe\Color\Profiles\BlackWhite.txt的目标访问路径的访问请求时,若某一级目录没有在内存中找到,假定后四级目录都没在内存中进行缓存,则需要发送四次路径查找请求至元数据服务器,依次为查找Adobe、Color、Profiles、BlackWhite.txt,之所以这样进行,是因为在缓存时通常也不是次性将完整路径上的所有目录都缓存,而是根据需要选取,比如可能出现Color不在内存中,但Profiles在内存中的情况,因此现有的方式会导致发送多次路径查找请求,而每执行一次路径查找请求就需要一定的交互时间,也就是说总延迟与路径查找请求的数量正成比,因此本实施例在组成目标访问路径的每级目录均未在内存中被查得时,将组成目标访问路径的每级目录中包含的所有元数据通过一次路径查询请求将其一次性全部缓存至内存,以通过减少与元数据服务器间的交互请求次数来进一步降低访问耗时、提升元数据访问操作性能。
实施例四
本实施例在上述实施例的基础上,结合具体实际情景给出一种具体的实现方式,大体分为三个部分,以下将分别进行阐述:
1、客户端元数据预取:预取模块按功能细分成四个部分:目录项统计、生成预取请求、定期清理统计和网络通信,在分布式文件系统原来客户端的基础上,增加四个重要的类来实现预取模块:MetaPrefetch、DentryStatus、PrefetchRequest和PrefetchReply。其中,MetaPrefetch用于管理预取模块,DentryStatus用于统计目录项信息,PrefetchRequest是元数据预取请求结构,PrefetchReply是用来存取从MDS预取回来的元数据信息。
具体为:根据客户端中元数据缓存访问增加目录项统计系统,通过统计系统筛选出较热的目录项元数据信息,并且通过目录分片技术,从元数据服务器预取出较热目录项所在的目录分片放入客户端的缓存中,使接下来的元数据操作能更多的在缓存中命中,减少客户端缓存未命中到元数据服务器取回的网络传输延时。
2、路径查找优化:在分布式文件系统原来系统的基础上,增加了两个重要的类来实现路径查找优化操作:OptPathRequest和OptPathReply。其中,OptPathRequest是路径优化请求,OptPathReply用于存放从MDS优化路径查询的结果。
具体为:基于目录项统计系统增加同名目录项队列,实现连续两级目录未命中情况下进行一次网络传输请求,来减少原系统中多次到元数据服务器进行元数据请求的网络延时。
3、MDS元数据缓存管理:MDS集群作为文件系统的第二层缓存,分布式地管理整个文件系统的命名空间。MDS集群只使用内存不使用磁盘存储元数据,如果把整个分布式文件系统环境看成一台单机,那么MDS集群相当于内存,OSD集群相当于磁盘。内存总是比较稀缺的资源,因为MDS缓存元数据,如果能有效地管理元数据,准确识别出访问频繁的元数据,在内存紧张时,删除访问比较少的元数据,释放内存空间,这样能提高命中率,有效地利用内存资源。
为了平衡元数据服务器的请求负载,还可以对于使用动态子树分区的元数据集群设置了属主元数据和副本元数据,根据此特性对目录项元数据采用分组管理,并使整个缓存分为三个优先级,又根据数据倒盘更新的特性,分别对干净目录项和脏目录项进行管理。此外,根据元数据服务器内存的使用情况,在进行淘汰时使用动态指标,以使元数据缓存的管理更高效。
因为情况复杂,无法一一列举进行阐述,本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子,在不付出足够的创造性劳动下,应均在本申请的保护范围内。
下面请参见图4,图4为本申请实施例提供的一种元数据访问性能优化系统的结构框图,该元数据访问性能优化系统可以包括:
当前被访问元数据获取单元100,用于获取当前正在被访问的元数据;
关联元数据预缓存单元200,用于将与元数据相关联的关联元数据预先缓存至内存;
预缓存关联元数据快速访问单元300,用于当接收到关联元数据的访问请求时,从内存中查询到与访问请求对应的目标元数据,并直接在内存中访问目标元数据;其中,目标元数据为与访问请求对应的关联元数据。
进一步的,该元数据访问性能优化系统还可以包括:
访问热度值统计单元,用于按周期统计每个周期内存储于内存中的各元数据分别被访问的次数,得到各访问热度值;
排列及访问热度表生成单元,用于按自上而下、从大到小的顺序排列各访问热度值,生成访问热度表;
低访问热度元数据移除单元,用于当内存的剩余存储空间小于预设存储空间时,将位于访问热度表中底部预设数量的访问热度值对应的元数据从内存中移除。
进一步的,该元数据访问性能优化系统还可以包括:
目标访问路径提取单元,用于从接收到的访问请求中提取得到目标访问路径;其中,目标访问路径由预设级数的目录和位于最后一级目录中的元数据名组成,每级目录包含于上一级目录、包含下一级目录;
依次查询单元,用于按照目录的级数顺序依次查询组成目标访问路径的每级目录是否已缓存至内存;
全量元数据单次查询请求缓存单元,用于当组成目标访问路径的每级目录均未在内存中被查得时,将组成目标访问路径的每级目录中包含的所有元数据通过一次数据查询请求缓存至内存。
基于上述实施例,本申请还提供了一种元数据访问性能优化装置,该元数据访问性能优化装置可以包括存储器和处理器,其中,该存储器中存有计算机程序,该处理器调用该存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然,该元数据访问性能优化装置还可以包括各种必要的网络接口、电源以及其它零部件等。
本申请还提供了一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行终端或处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种元数据访问性能优化方法,其特征在于,包括:
获取当前正在被访问的元数据;
将与所述元数据相关联的关联元数据预先缓存至内存;
当接收到所述关联元数据的访问请求时,从所述内存中查询到与所述访问请求对应的目标元数据,并直接在所述内存中访问所述目标元数据;其中,所述目标元数据为与所述访问请求对应的关联元数据。
2.根据权利要求1所述元数据访问性能优化方法,其特征在于,还包括:
按周期统计每个周期内存储于所述内存中的各元数据分别被访问的次数,得到各访问热度值;
按自上而下、从大到小的顺序排列各所述访问热度值,生成访问热度表;
当所述内存的剩余存储空间小于预设存储空间时,将位于所述访问热度表中底部预设数量的访问热度值对应的元数据从所述内存中移除。
3.根据权利要求1所述元数据访问性能优化方法,其特征在于,还包括:
从接收到的访问请求中提取得到目标访问路径;其中,所述目标访问路径由预设级数的目录和位于最后一级目录中的元数据名组成,每级目录包含于上一级目录、包含下一级目录;
按照目录的级数顺序依次查询组成所述目标访问路径的每级目录是否已缓存至所述内存;
若组成所述目标访问路径的每级目录均未在所述内存中被查得,则将组成所述目标访问路径的每级目录中包含的所有元数据通过一次数据查询请求缓存至所述内存。
4.根据权利要求1至3任一项所述元数据访问性能优化方法,其特征在于,所述关联元数据包括:
与所述元数据在访问时间、存储位置、预设时间间隔内访问次数中至少一项相关联的元数据。
5.一种元数据访问性能优化系统,其特征在于,包括:
当前被访问元数据获取单元,用于获取当前正在被访问的元数据;
关联元数据预缓存单元,用于将与所述元数据相关联的关联元数据预先缓存至内存;
预缓存关联元数据快速访问单元,用于当接收到所述关联元数据的访问请求时,从所述内存中查询到与所述访问请求对应的目标元数据,并直接在所述内存中访问所述目标元数据;其中,所述目标元数据为与所述访问请求对应的关联元数据。
6.根据权利要求5所述元数据访问性能优化系统,其特征在于,还包括:
访问热度值统计单元,用于按周期统计每个周期内存储于所述内存中的各元数据分别被访问的次数,得到各访问热度值;
排列及访问热度表生成单元,用于按自上而下、从大到小的顺序排列各所述访问热度值,生成访问热度表;
低访问热度元数据移除单元,用于当所述内存的剩余存储空间小于预设存储空间时,将位于所述访问热度表中底部预设数量的访问热度值对应的元数据从所述内存中移除。
7.根据权利要求5所述元数据访问性能优化系统,其特征在于,还包括:
目标访问路径提取单元,用于从接收到的访问请求中提取得到目标访问路径;其中,所述目标访问路径由预设级数的目录和位于最后一级目录中的元数据名组成,每级目录包含于上一级目录、包含下一级目录;
依次查询单元,用于按照目录的级数顺序依次查询组成所述目标访问路径的每级目录是否已缓存至所述内存;
全量元数据单次查询请求缓存单元,用于当组成所述目标访问路径的每级目录均未在所述内存中被查得时,将组成所述目标访问路径的每级目录中包含的所有元数据通过一次数据查询请求缓存至所述内存。
8.一种元数据访问性能优化装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述的元数据访问性能优化方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的元数据访问性能优化方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810689435.XA CN108920616A (zh) | 2018-06-28 | 2018-06-28 | 一种元数据访问性能优化方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810689435.XA CN108920616A (zh) | 2018-06-28 | 2018-06-28 | 一种元数据访问性能优化方法、系统、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108920616A true CN108920616A (zh) | 2018-11-30 |
Family
ID=64422010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810689435.XA Pending CN108920616A (zh) | 2018-06-28 | 2018-06-28 | 一种元数据访问性能优化方法、系统、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108920616A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111142803A (zh) * | 2019-12-29 | 2020-05-12 | 北京浪潮数据技术有限公司 | 一种元数据刷盘方法、装置、设备及介质 |
CN111190926A (zh) * | 2019-11-25 | 2020-05-22 | 腾讯云计算(北京)有限责任公司 | 资源缓存方法、装置、设备及存储介质 |
CN112559459A (zh) * | 2020-12-15 | 2021-03-26 | 跬云(上海)信息科技有限公司 | 一种基于云计算的自适应存储分层系统及方法 |
CN113742377A (zh) * | 2020-11-04 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种处理数据的方法和装置 |
CN113835624A (zh) * | 2021-08-30 | 2021-12-24 | 阿里巴巴(中国)有限公司 | 基于异构内存的数据迁移方法及装置 |
CN114356230A (zh) * | 2021-12-22 | 2022-04-15 | 天津南大通用数据技术股份有限公司 | 一种提高列存储引擎读性能的方法及系统 |
CN114428822A (zh) * | 2022-01-27 | 2022-05-03 | 云启智慧科技有限公司 | 一种数据处理的方法、装置、电子设备及存储介质 |
CN117493276A (zh) * | 2024-01-03 | 2024-02-02 | 柏科数据技术(深圳)股份有限公司 | 针对Ceph文件的读取方法、装置、服务器及存储介质 |
WO2024087736A1 (zh) * | 2022-10-25 | 2024-05-02 | 华为云计算技术有限公司 | 数据处理方法、数据处理引擎、计算设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103312776A (zh) * | 2013-05-08 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 边缘节点服务器缓存视频的内容的方法和装置 |
CN106686113A (zh) * | 2017-01-19 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种分布式文件系统智能预读实现方法 |
CN107506154A (zh) * | 2017-09-26 | 2017-12-22 | 郑州云海信息技术有限公司 | 一种元数据的读取方法、装置及计算机可读存储介质 |
-
2018
- 2018-06-28 CN CN201810689435.XA patent/CN108920616A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103312776A (zh) * | 2013-05-08 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 边缘节点服务器缓存视频的内容的方法和装置 |
CN106686113A (zh) * | 2017-01-19 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种分布式文件系统智能预读实现方法 |
CN107506154A (zh) * | 2017-09-26 | 2017-12-22 | 郑州云海信息技术有限公司 | 一种元数据的读取方法、装置及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
楼振飞: "《能源大数据》", 31 March 2016 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111190926A (zh) * | 2019-11-25 | 2020-05-22 | 腾讯云计算(北京)有限责任公司 | 资源缓存方法、装置、设备及存储介质 |
CN111190926B (zh) * | 2019-11-25 | 2023-04-07 | 腾讯云计算(北京)有限责任公司 | 资源缓存方法、装置、设备及存储介质 |
CN111142803B (zh) * | 2019-12-29 | 2022-07-08 | 北京浪潮数据技术有限公司 | 一种元数据刷盘方法、装置、设备及介质 |
CN111142803A (zh) * | 2019-12-29 | 2020-05-12 | 北京浪潮数据技术有限公司 | 一种元数据刷盘方法、装置、设备及介质 |
CN113742377A (zh) * | 2020-11-04 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种处理数据的方法和装置 |
CN112559459B (zh) * | 2020-12-15 | 2024-02-13 | 跬云(上海)信息科技有限公司 | 一种基于云计算的自适应存储分层系统及方法 |
WO2022126839A1 (zh) * | 2020-12-15 | 2022-06-23 | 跬云(上海)信息科技有限公司 | 一种基于云计算的自适应存储分层系统及方法 |
CN112559459A (zh) * | 2020-12-15 | 2021-03-26 | 跬云(上海)信息科技有限公司 | 一种基于云计算的自适应存储分层系统及方法 |
CN113835624A (zh) * | 2021-08-30 | 2021-12-24 | 阿里巴巴(中国)有限公司 | 基于异构内存的数据迁移方法及装置 |
CN114356230A (zh) * | 2021-12-22 | 2022-04-15 | 天津南大通用数据技术股份有限公司 | 一种提高列存储引擎读性能的方法及系统 |
CN114356230B (zh) * | 2021-12-22 | 2024-04-23 | 天津南大通用数据技术股份有限公司 | 一种提高列存储引擎读性能的方法及系统 |
CN114428822A (zh) * | 2022-01-27 | 2022-05-03 | 云启智慧科技有限公司 | 一种数据处理的方法、装置、电子设备及存储介质 |
CN114428822B (zh) * | 2022-01-27 | 2022-07-29 | 云启智慧科技有限公司 | 一种数据处理的方法、装置、电子设备及存储介质 |
WO2024087736A1 (zh) * | 2022-10-25 | 2024-05-02 | 华为云计算技术有限公司 | 数据处理方法、数据处理引擎、计算设备及存储介质 |
CN117493276A (zh) * | 2024-01-03 | 2024-02-02 | 柏科数据技术(深圳)股份有限公司 | 针对Ceph文件的读取方法、装置、服务器及存储介质 |
CN117493276B (zh) * | 2024-01-03 | 2024-04-09 | 柏科数据技术(深圳)股份有限公司 | 针对Ceph文件的读取方法、装置、服务器及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108920616A (zh) | 一种元数据访问性能优化方法、系统、装置及存储介质 | |
CN104935648B (zh) | 一种高性价比的cdn系统及文件预推、分片缓存的方法 | |
CN101493826B (zh) | 基于web应用的数据库系统及其数据管理方法 | |
US6598119B2 (en) | Database management system with a multiple-level cache arrangement | |
CN103440207B (zh) | 缓存方法及装置 | |
US6385699B1 (en) | Managing an object store based on object replacement penalties and reference probabilities | |
CN108763103A (zh) | 一种内存管理方法、装置、系统及计算机可读存储介质 | |
CN100543750C (zh) | 一种基于web应用的矩阵式数据缓存方法及装置 | |
US8819074B2 (en) | Replacement policy for resource container | |
US20150032967A1 (en) | Systems and methods for adaptive prefetching | |
CN105302840B (zh) | 一种缓存管理方法与设备 | |
CN102307234A (zh) | 基于移动终端的资源检索方法 | |
CN101673192B (zh) | 时序化的数据处理方法、装置及系统 | |
CN110555001B (zh) | 数据处理方法、装置、终端及介质 | |
CN104035925B (zh) | 数据存储方法、装置和存储系统 | |
CN109002503A (zh) | 一种元数据读取方法、装置、设备及可读存储介质 | |
CN107368608A (zh) | 基于arc替换算法的hdfs小文件缓存管理方法 | |
CN110119487A (zh) | 一种适用于发散数据的缓存更新方法 | |
CN109471843A (zh) | 一种元数据缓存方法、系统及相关装置 | |
CN106550408A (zh) | 一种基于自组网的数据对象整合方法 | |
CN109324761A (zh) | 一种数据缓存方法、装置、设备及存储介质 | |
CN109144431A (zh) | 数据块的缓存方法、装置、设备及存储介质 | |
CN107395443A (zh) | 一种分布式集群管理方法、装置及系统 | |
CN102833295B (zh) | 分布式缓存系统中的数据操作方法和装置 | |
CN103442000B (zh) | Web缓存置换方法及装置、http代理服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181130 |