CN111143290A - 一种内存管理方法、系统、设备及计算机可读存储介质 - Google Patents
一种内存管理方法、系统、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111143290A CN111143290A CN201911382377.7A CN201911382377A CN111143290A CN 111143290 A CN111143290 A CN 111143290A CN 201911382377 A CN201911382377 A CN 201911382377A CN 111143290 A CN111143290 A CN 111143290A
- Authority
- CN
- China
- Prior art keywords
- metadata information
- management list
- information
- management
- accessed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 277
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 42
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种内存管理方法、系统、设备及计算机可读存储介质,应用于分布式文件存储系统,判断第一管理列表的使用率是否超过预设值;若第一管理列表的使用率超过预设值,则在第一管理列表中确定出目标对象元数据信息,并在第一管理列表中删除目标对象元数据信息;将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;将第一对象元数据信息添加至第二管理列表中,并将第二对象元数据信息添加至数据库中;其中,第一管理列表和第二管理列表均为内存中管理对象元数据信息的列表。本申请减少了单个对象元数据信息对内存的占用量。本申请提供的一种内存管理系统、设备及计算机可读存储介质也解决了相应技术问题。
Description
技术领域
本申请涉及存储管理技术领域,更具体地说,涉及一种内存管理方法、系统、设备及计算机可读存储介质。
背景技术
在分布式文件存储系统中,数据在经过文件协议传输到下层时,数据以条带对象的形式进行存储,通常需要在内存和数据库中记录和管理对象的名称、对象索引位置、写入对象的区间范围、对象的属性信息等元数据信息。
现有的分布式文件存储系统中,数据经过文件层协议后,存储池层通过固定长度的LRU列表来管理对象的元数据信息,在LRU中可以记录对象的访问热度情况,超过固定长度的对象元数据将从LRU列表中剔除,从而保证内存占用在一定的范围内,而从LRU剔除后的对象元数据仅保存在数据库中,然而,当对象的元数据从LRU列表中剔除后,将不再具有热度属性,同时,对这些对象访问时都需要取数据库进行读取,从而影响对象信息的访问效率,为了在内存中保持足够多的元数据信息,需要调大LRU列表的长度,这势必会大量占用内存资源。
综上所述,如何减轻对象元数据信息对内存的占用量是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种内存管理方法,其能在一定程度上解决如何减轻对象元数据信息对内存的占用量的技术问题。本申请还提供了一种内存管理系统、设备及计算机可读存储介质。
为了实现上述目的,本申请提供如下技术方案:
一种内存管理方法,应用于分布式文件存储系统,包括:
判断第一管理列表的使用率是否超过预设值;
若所述第一管理列表的使用率超过所述预设值,则在所述第一管理列表中确定出目标对象元数据信息,并在所述第一管理列表中删除所述目标对象元数据信息;
将所述目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;
将所述第一对象元数据信息添加至第二管理列表中,并将所述第二对象元数据信息添加至数据库中;
其中,所述第一管理列表和所述第二管理列表均为内存中管理对象元数据信息的列表。
优选的,所述将所述目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息,包括:
将所述目标对象元数据信息拆分为状态信息和非状态信息;
将所述状态信息作为所述第一对象元数据信息;
将所述非状态信息作为所述第二对象元数据信息。
优选的,所述将所述第二对象元数据信息添加至数据库中之后,还包括:
接收对象访问指令;
判断所述对象访问指令中的待访问对象的元数据信息是否保存在所述第一管理列表中;
若所述待访问对象的元数据信息保存在所述第一管理列表中,则直接在所述第一管理列表中读取所述待访问对象,并在所述第一管理列表中,将所述待访问对象的对象元数据信息移至所述第一管理列表的最前端。
优选的,所述判断所述对象访问指令中的待访问对象的元数据信息是否保存在所述第一管理列表中之后,还包括:
若所述待访问对象的元数据信息未保存在所述第一管理列表中,则判断所述待访问对象的元数据信息是否保存在所述第二管理列表中;
若所述待访问对象的元数据信息保存在所述第二管理列表中,则基于所述第二管理列表中读取所述待访问对象。
优选的,所述基于所述第二管理列表中读取所述待访问对象,包括:
判断所述对象访问指令是否只获取所述待访问对象的目标状态信息;
若所述对象访问指令只获取所述待访问对象的目标状态信息,则直接在所述第二管理列表中读取所述目标状态信息,并将所述目标状态信息移至所述第二管理列表的最前端。
优选的,所述判断所述对象访问指令是否只获取所述待访问对象的目标状态信息之后,还包括:
若所述对象访问指令获取所述待访问对象的完整元数据信息,则在所述第二管理列表中读取所述目标状态信息,在所述数据库中读取所述待访问对象的目标非状态信息。
优选的,所述状态信息的类型包括:对象热度信息、对象大小、聚合结果;所述非状态信息的类型包括:已写入片段信息、对象属性信息;所述第一管理列表和所述第二管理列表的类型包括LRU列表。
一种内存管理系统,应用于分布式文件存储系统,包括:
第一判断模块,用于判断第一管理列表的使用率是否超过预设值;若所述第一管理列表的使用率超过所述预设值,则在所述第一管理列表中确定出目标对象元数据信息,并在所述第一管理列表中删除所述目标对象元数据信息;
第一拆分模块,用于将所述目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;
第一保存模块,用于将所述第一对象元数据信息添加至第二管理列表中,并将所述第二对象元数据信息添加至数据库中;
其中,所述第一管理列表和所述第二管理列表均为内存中管理对象元数据信息的列表。
一种内存管理设备,应用于分布式文件存储系统,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上任一所述内存管理方法的步骤。
一种计算机可读存储介质,应用于分布式文件存储系统,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述内存管理方法的步骤。
本申请提供的一种内存管理方法,应用于分布式文件存储系统,判断第一管理列表的使用率是否超过预设值;若第一管理列表的使用率超过预设值,则在第一管理列表中确定出目标对象元数据信息,并在第一管理列表中删除目标对象元数据信息;将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;将第一对象元数据信息添加至第二管理列表中,并将第二对象元数据信息添加至数据库中;其中,第一管理列表和第二管理列表均为内存中管理对象元数据信息的列表。本申请中,在第一管理列表的使用率超过预设值后,将第一管理列表中的目标对象元数据信息删除,并且将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息,且将第二对象元数据信息添加至数据库中,将第一对象元数据信息添加至第二管理列表中,即保证了内存中存储有对象元数据信息,又可以减少单个对象元数据信息对内存的占用量,从而使得内存中可以存放更多的对象元数据信息。本申请提供的一种内存管理系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种内存管理方法的流程图;
图2为对象元数据信息的分布图;
图3为本申请实施例提供的一种内存管理系统的结构示意图;
图4为本申请实施例提供的一种内存管理设备的结构示意图;
图5为本申请实施例提供的一种内存管理设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1为本申请实施例提供的一种内存管理方法的流程图。
本申请实施例提供的一种内存管理方法,应用于分布式文件存储系统,可以包括以下步骤:
步骤S101:判断第一管理列表的使用率是否超过预设值;若是,则执行步骤S102;若否,则执行步骤S105:继续应用第一管理列表。
步骤S102:在第一管理列表中确定出目标对象元数据信息,并在第一管理列表中删除目标对象元数据信息,执行步骤S103。
实际应用中,可以将内存中管理对象元数据信息的列表设为第一管理列表和第二管理列表。且分布式文件存储系统可以先应用第一管理列表,则分布式文件存储系统可以先判断第一管理列表的使用率是否超过预设值,若是,则可以在第一管理列表中确定出目标对象元数据信息,并在第一管理列表中删除目标对象元数据信息,以此降低第一管理列表的使用率,进而使得第一管理列表的使用率小于等于预设值。
应当指出,在第一管理列表中,往往根据对象元数据信息的热度信息来对对象元数据信息进行排序,比如热度高的对象元数据信息在第一管理列表的头部,热度低的对象元数据信息在第一管理列表的尾部,所以,在第一管理列表中确定出目标对象元数据信息的过程中,可以在第一管理列表的尾部确定出目标对象元数据信息,且确定的目标对象元数据信息的数量可以根据第一管理列表的使用率及预设值来确定,比如可以按照删除目标对象元数据信息后,第一管理列表的使用率与预设值差固定值的原则,来确定目标对象元数据信息等。
步骤S103:将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息。
实际应用中,在确定出目标对象元数据信息及在第一管理列表中删除目标对象元数据信息之后,便可以将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;具体的,可以按照第一对象元数据信息占目标对象元数据信息的5%、第二对象元数据信息占目标对象元数据信息的95%的原则,将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息等;当然,还可以按照第一对象元数据信息为目标对象元数据信息中的状态信息、第二对象元数据信息为目标对象元数据信息中的非状态信息的原则,将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息等。具体的,可以对目标对象元数据信息进行裁剪,得到第一对象元数据信息和第二对象元数据信息等。
步骤S104:将第一对象元数据信息添加至第二管理列表中,并将第二对象元数据信息添加至数据库中;其中,第一管理列表和第二管理列表均为内存中管理对象元数据信息的列表。
实际应用中,将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息之后,便可以将第一对象元数据信息添加至第二管理列表中,并将第二对象元数据信息添加至数据库中,由于第二管理列表也为内存中管理对象元数据信息的列表,所以将第一对象元数据信息添加至第二管理列表中后,内存中还会保存有目标对象元数据信息的对象元数据信息,只是,内存中不再保存有全部的目标对象元数据信息,因为,第二对象元数据信息被添加至数据库中,从而降低了单个对象元数据信息对内存的占用量,进而在内存空间一定的情况下,可以在内存中存放更多的对象元数据信息。
应当指出,本申请并不对第一管理列表和第二管理列表中各自保存的对象元数据信息的数量做限定;此外,在第二管理列表的使用率过高,或者第二管理列表已存满的情况下,可以将第二管理列表中的部分第一对象元数据信息转移至数据库中,具体的,可以将位于第二管理列表的尾部的部分第一对象元数据信息转移至数据库中等。此外,应当指出,本申请中,第一管理列表中保存的是完整的对象元数据信息,而第二管理列表中保存的是精简的对象元数据信息。
本申请提供的一种内存管理方法,应用于分布式文件存储系统,判断第一管理列表的使用率是否超过预设值;若第一管理列表的使用率超过预设值,则在第一管理列表中确定出目标对象元数据信息,并在第一管理列表中删除目标对象元数据信息;将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;将第一对象元数据信息添加至第二管理列表中,并将第二对象元数据信息添加至数据库中;其中,第一管理列表和第二管理列表均为内存中管理对象元数据信息的列表。本申请中,在第一管理列表的使用率超过预设值后,将第一管理列表中的目标对象元数据信息删除,并且将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息,且将第二对象元数据信息添加至数据库中,将第一对象元数据信息添加至第二管理列表中,即保证了内存中存储有对象元数据信息,又可以减少单个对象元数据信息对内存的占用量,从而使得内存中可以存放更多的对象元数据信息。
本申请实施例提供的一种内存管理方法,应用于分布式文件存储系统,为了尽可能的降低对象元数据信息对内存的占用量,在将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息的过程中,可以将目标对象元数据信息拆分为状态信息和非状态信息;将状态信息作为第一对象元数据信息;将非状态信息作为第二对象元数据信息。因为状态信息描述了对象元数据信息的状态,且状态信息占对象元数据信息的比例较少,所以可以保证第一对象元数据信息的数据量较少,可以降低对象元数据信息对内存的占用量。
实际应用中,状态信息的类型可以包括:对象热度信息、对象大小、聚合结果;非状态信息的类型包括:已写入片段信息、对象属性信息;第一管理列表和第二管理列表的类型包括LRU列表。
请参阅图2,图2为对象元数据信息的分布图;在图2中,Lru1表示第一管理列表,Lru2表示第二管理列表;完整元数据也即目标对象元数据,精简元数据也即第一对象元数据信息。
本申请实施例提供的一种内存管理方法,应用于分布式文件存储系统,由于对象元数据信息可能保存在第一管理列表中,也可能保存在第二管理列表和数据库中,所以在读取对象元数据时,需要分类处理,因此,本申请中,将第二对象元数据信息添加至数据库中之后,接收对象访问指令后;可以判断对象访问指令中的待访问对象的元数据信息是否保存在第一管理列表中;若待访问对象的元数据信息保存在第一管理列表中,则直接在第一管理列表中读取待访问对象,并在第一管理列表中,将待访问对象的对象元数据信息移至第一管理列表的最前端。若待访问对象的元数据信息未保存在第一管理列表中,则判断待访问对象的元数据信息是否保存在第二管理列表中;若待访问对象的元数据信息保存在第二管理列表中,则基于第二管理列表中读取待访问对象,并且还可以将待访问对象的对象元数据信息移至第二管理列表的最前端。
具体应用场景中,在基于第二管理列表中读取待访问对象的过程中,可以判断对象访问指令是否只获取待访问对象的目标状态信息;若对象访问指令只获取待访问对象的目标状态信息,则直接在第二管理列表中读取目标状态信息,并将目标状态信息移至第二管理列表的最前端等。相应的,在判断对象访问指令是否只获取待访问对象的目标状态信息之后,若对象访问指令获取待访问对象的完整元数据信息,则在第二管理列表中读取目标状态信息,在数据库中读取待访问对象的目标非状态信息。也即,当所需访问的信息只保存在第二管理列表中时,可以直接在第二管理列表中读取待访问对象,而当所需访问的信息保存在第二管理列表和数据库中时,可以在第二管理列表和数据库中读取完整的对象元数据信息。
请参阅图3,图3为本申请实施例提供的一种内存管理系统的结构示意图。
本申请实施例提供的一种内存管理系统,应用于分布式文件存储系统,可以包括:
第一判断模块101,用于判断第一管理列表的使用率是否超过预设值;若第一管理列表的使用率超过预设值,则在第一管理列表中确定出目标对象元数据信息,并在第一管理列表中删除目标对象元数据信息;
第一拆分模块102,用于将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;
第一保存模块103,用于将第一对象元数据信息添加至第二管理列表中,并将第二对象元数据信息添加至数据库中;
其中,第一管理列表和第二管理列表均为内存中管理对象元数据信息的列表。
本申请实施例提供的一种内存管理系统,应用于分布式文件存储系统,第一拆分模块可以包括:
第一拆分单元,用于将目标对象元数据信息拆分为状态信息和非状态信息;
第一设置单元,用于将状态信息作为第一对象元数据信息;
第二设置单元,用于将非状态信息作为第二对象元数据信息。
本申请实施例提供的一种内存管理系统,应用于分布式文件存储系统,还可以包括:
第一接收模块,用于第一保存模块将第二对象元数据信息添加至数据库中之后,接收对象访问指令;
第二判断模块,用于判断对象访问指令中的待访问对象的元数据信息是否保存在第一管理列表中;若待访问对象的元数据信息保存在第一管理列表中,则直接在第一管理列表中读取待访问对象,并在第一管理列表中,将待访问对象的对象元数据信息移至第一管理列表的最前端。
本申请实施例提供的一种内存管理系统,应用于分布式文件存储系统,还可以包括:
第一处理子模块,用于第二判断模块判断对象访问指令中的待访问对象的元数据信息是否保存在第一管理列表中之后,若待访问对象的元数据信息未保存在第一管理列表中,则判断待访问对象的元数据信息是否保存在第二管理列表中;若待访问对象的元数据信息保存在第二管理列表中,则基于第二管理列表中读取待访问对象。
本申请实施例提供的一种内存管理系统,应用于分布式文件存储系统,第一处理子模块可以包括:
第一判断单元,用于判断对象访问指令是否只获取待访问对象的目标状态信息;若对象访问指令只获取待访问对象的目标状态信息,则直接在第二管理列表中读取目标状态信息,并将目标状态信息移至第二管理列表的最前端。
本申请实施例提供的一种内存管理系统,应用于分布式文件存储系统,还可以包括:
第一处理单元,用于第一判断单元判断对象访问指令是否只获取待访问对象的目标状态信息之后,若对象访问指令获取待访问对象的完整元数据信息,则在第二管理列表中读取目标状态信息,在数据库中读取待访问对象的目标非状态信息。
本申请实施例提供的一种内存管理系统,应用于分布式文件存储系统,状态信息的类型可以包括:对象热度信息、对象大小、聚合结果;非状态信息的类型包括:已写入片段信息、对象属性信息;第一管理列表和第二管理列表的类型可以包括LRU列表。
本申请还提供了一种内存管理设备及计算机可读存储介质,其均具有本申请实施例提供的一种内存管理方法具有的对应效果。请参阅图4,图4为本申请实施例提供的一种内存管理设备的结构示意图。
本申请实施例提供的一种内存管理设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:
判断第一管理列表的使用率是否超过预设值;
若第一管理列表的使用率超过预设值,则在第一管理列表中确定出目标对象元数据信息,并在第一管理列表中删除目标对象元数据信息;
将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;
将第一对象元数据信息添加至第二管理列表中,并将第二对象元数据信息添加至数据库中;
其中,第一管理列表和第二管理列表均为内存中管理对象元数据信息的列表。
本申请实施例提供的一种内存管理设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:将目标对象元数据信息拆分为状态信息和非状态信息;将状态信息作为第一对象元数据信息;将非状态信息作为第二对象元数据信息。
本申请实施例提供的一种内存管理设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:将第二对象元数据信息添加至数据库中之后,接收对象访问指令;判断对象访问指令中的待访问对象的元数据信息是否保存在第一管理列表中;若待访问对象的元数据信息保存在第一管理列表中,则直接在第一管理列表中读取待访问对象,并在第一管理列表中,将待访问对象的对象元数据信息移至第一管理列表的最前端。
本申请实施例提供的一种内存管理设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:判断对象访问指令中的待访问对象的元数据信息是否保存在第一管理列表中之后,若待访问对象的元数据信息未保存在第一管理列表中,则判断待访问对象的元数据信息是否保存在第二管理列表中;若待访问对象的元数据信息保存在第二管理列表中,则基于第二管理列表中读取待访问对象。
本申请实施例提供的一种内存管理设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:判断对象访问指令是否只获取待访问对象的目标状态信息;若对象访问指令只获取待访问对象的目标状态信息,则直接在第二管理列表中读取目标状态信息,并将目标状态信息移至第二管理列表的最前端。
本申请实施例提供的一种内存管理设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:判断对象访问指令是否只获取待访问对象的目标状态信息之后,若对象访问指令获取待访问对象的完整元数据信息,则在第二管理列表中读取目标状态信息,在数据库中读取待访问对象的目标非状态信息。
本申请实施例提供的一种内存管理设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:状态信息的类型包括:对象热度信息、对象大小、聚合结果;非状态信息的类型包括:已写入片段信息、对象属性信息;第一管理列表和第二管理列表的类型包括LRU列表。
请参阅图5,本申请实施例提供的另一种内存管理设备中还可以包括:与处理器202连接的输入端口203,用于传输外界输入的命令至处理器202;与处理器202连接的显示单元204,用于显示处理器202的处理结果至外界;与处理器202连接的通信模块205,用于实现内存管理设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等;通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接:无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:
判断第一管理列表的使用率是否超过预设值;
若第一管理列表的使用率超过预设值,则在第一管理列表中确定出目标对象元数据信息,并在第一管理列表中删除目标对象元数据信息;
将目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;
将第一对象元数据信息添加至第二管理列表中,并将第二对象元数据信息添加至数据库中;
其中,第一管理列表和第二管理列表均为内存中管理对象元数据信息的列表。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:将目标对象元数据信息拆分为状态信息和非状态信息;将状态信息作为第一对象元数据信息;将非状态信息作为第二对象元数据信息。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:将第二对象元数据信息添加至数据库中之后,接收对象访问指令;判断对象访问指令中的待访问对象的元数据信息是否保存在第一管理列表中;若待访问对象的元数据信息保存在第一管理列表中,则直接在第一管理列表中读取待访问对象,并在第一管理列表中,将待访问对象的对象元数据信息移至第一管理列表的最前端。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:判断对象访问指令中的待访问对象的元数据信息是否保存在第一管理列表中之后,若待访问对象的元数据信息未保存在第一管理列表中,则判断待访问对象的元数据信息是否保存在第二管理列表中;若待访问对象的元数据信息保存在第二管理列表中,则基于第二管理列表中读取待访问对象。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:判断对象访问指令是否只获取待访问对象的目标状态信息;若对象访问指令只获取待访问对象的目标状态信息,则直接在第二管理列表中读取目标状态信息,并将目标状态信息移至第二管理列表的最前端。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:判断对象访问指令是否只获取待访问对象的目标状态信息之后,若对象访问指令获取待访问对象的完整元数据信息,则在第二管理列表中读取目标状态信息,在数据库中读取待访问对象的目标非状态信息。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:状态信息的类型包括:对象热度信息、对象大小、聚合结果;非状态信息的类型包括:已写入片段信息、对象属性信息;第一管理列表和第二管理列表的类型包括LRU列表。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的一种内存管理系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种内存管理方法中对应部分的详细说明,在此不再赘述。另外,本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种内存管理方法,其特征在于,应用于分布式文件存储系统,包括:
判断第一管理列表的使用率是否超过预设值;
若所述第一管理列表的使用率超过所述预设值,则在所述第一管理列表中确定出目标对象元数据信息,并在所述第一管理列表中删除所述目标对象元数据信息;
将所述目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;
将所述第一对象元数据信息添加至第二管理列表中,并将所述第二对象元数据信息添加至数据库中;
其中,所述第一管理列表和所述第二管理列表均为内存中管理对象元数据信息的列表。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息,包括:
将所述目标对象元数据信息拆分为状态信息和非状态信息;
将所述状态信息作为所述第一对象元数据信息;
将所述非状态信息作为所述第二对象元数据信息。
3.根据权利要求2所述的方法,其特征在于,所述将所述第二对象元数据信息添加至数据库中之后,还包括:
接收对象访问指令;
判断所述对象访问指令中的待访问对象的元数据信息是否保存在所述第一管理列表中;
若所述待访问对象的元数据信息保存在所述第一管理列表中,则直接在所述第一管理列表中读取所述待访问对象,并在所述第一管理列表中,将所述待访问对象的对象元数据信息移至所述第一管理列表的最前端。
4.根据权利要求3所述的方法,其特征在于,所述判断所述对象访问指令中的待访问对象的元数据信息是否保存在所述第一管理列表中之后,还包括:
若所述待访问对象的元数据信息未保存在所述第一管理列表中,则判断所述待访问对象的元数据信息是否保存在所述第二管理列表中;
若所述待访问对象的元数据信息保存在所述第二管理列表中,则基于所述第二管理列表中读取所述待访问对象。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第二管理列表中读取所述待访问对象,包括:
判断所述对象访问指令是否只获取所述待访问对象的目标状态信息;
若所述对象访问指令只获取所述待访问对象的目标状态信息,则直接在所述第二管理列表中读取所述目标状态信息,并将所述目标状态信息移至所述第二管理列表的最前端。
6.根据权利要求5所述的方法,其特征在于,所述判断所述对象访问指令是否只获取所述待访问对象的目标状态信息之后,还包括:
若所述对象访问指令获取所述待访问对象的完整元数据信息,则在所述第二管理列表中读取所述目标状态信息,在所述数据库中读取所述待访问对象的目标非状态信息。
7.根据权利要求2至6任一项所述的方法,其特征在于,所述状态信息的类型包括:对象热度信息、对象大小、聚合结果;所述非状态信息的类型包括:已写入片段信息、对象属性信息;所述第一管理列表和所述第二管理列表的类型包括LRU列表。
8.一种内存管理系统,其特征在于,应用于分布式文件存储系统,包括:
第一判断模块,用于判断第一管理列表的使用率是否超过预设值;若所述第一管理列表的使用率超过所述预设值,则在所述第一管理列表中确定出目标对象元数据信息,并在所述第一管理列表中删除所述目标对象元数据信息;
第一拆分模块,用于将所述目标对象元数据信息拆分为第一对象元数据信息和第二对象元数据信息;
第一保存模块,用于将所述第一对象元数据信息添加至第二管理列表中,并将所述第二对象元数据信息添加至数据库中;
其中,所述第一管理列表和所述第二管理列表均为内存中管理对象元数据信息的列表。
9.一种内存管理设备,其特征在于,应用于分布式文件存储系统,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述内存管理方法的步骤。
10.一种计算机可读存储介质,其特征在于,应用于分布式文件存储系统,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述内存管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911382377.7A CN111143290A (zh) | 2019-12-27 | 2019-12-27 | 一种内存管理方法、系统、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911382377.7A CN111143290A (zh) | 2019-12-27 | 2019-12-27 | 一种内存管理方法、系统、设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111143290A true CN111143290A (zh) | 2020-05-12 |
Family
ID=70521269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911382377.7A Pending CN111143290A (zh) | 2019-12-27 | 2019-12-27 | 一种内存管理方法、系统、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111143290A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111078593A (zh) * | 2019-12-29 | 2020-04-28 | 浪潮电子信息产业股份有限公司 | 一种对象元数据的访问方法、系统及相关装置 |
CN112416253A (zh) * | 2020-11-25 | 2021-02-26 | 新华三云计算技术有限公司 | 一种基于分布式存储的存储区域动态调整方法及装置 |
CN113392074A (zh) * | 2021-07-13 | 2021-09-14 | 山东大学 | 一种采用内存文档的物联网设备安全管理方法 |
CN113626382A (zh) * | 2021-06-30 | 2021-11-09 | 济南浪潮数据技术有限公司 | 分布式文件系统中聚合对象的索引方法、系统及相关装置 |
CN115858184A (zh) * | 2023-03-03 | 2023-03-28 | 浪潮电子信息产业股份有限公司 | 一种rdma内存管理方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491523A (zh) * | 2017-08-17 | 2017-12-19 | 三星(中国)半导体有限公司 | 存储数据对象的方法及装置 |
CN109086141A (zh) * | 2018-09-19 | 2018-12-25 | 北京京东尚科信息技术有限公司 | 内存管理方法和装置以及计算机可读存储介质 |
CN109213699A (zh) * | 2018-09-21 | 2019-01-15 | 郑州云海信息技术有限公司 | 一种元数据管理方法、系统、设备及计算机可读存储介质 |
CN109376125A (zh) * | 2018-09-25 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种元数据存储方法、装置、设备及计算机可读存储介质 |
CN109471843A (zh) * | 2018-12-24 | 2019-03-15 | 郑州云海信息技术有限公司 | 一种元数据缓存方法、系统及相关装置 |
-
2019
- 2019-12-27 CN CN201911382377.7A patent/CN111143290A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491523A (zh) * | 2017-08-17 | 2017-12-19 | 三星(中国)半导体有限公司 | 存储数据对象的方法及装置 |
CN109086141A (zh) * | 2018-09-19 | 2018-12-25 | 北京京东尚科信息技术有限公司 | 内存管理方法和装置以及计算机可读存储介质 |
CN109213699A (zh) * | 2018-09-21 | 2019-01-15 | 郑州云海信息技术有限公司 | 一种元数据管理方法、系统、设备及计算机可读存储介质 |
CN109376125A (zh) * | 2018-09-25 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种元数据存储方法、装置、设备及计算机可读存储介质 |
CN109471843A (zh) * | 2018-12-24 | 2019-03-15 | 郑州云海信息技术有限公司 | 一种元数据缓存方法、系统及相关装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111078593A (zh) * | 2019-12-29 | 2020-04-28 | 浪潮电子信息产业股份有限公司 | 一种对象元数据的访问方法、系统及相关装置 |
CN112416253A (zh) * | 2020-11-25 | 2021-02-26 | 新华三云计算技术有限公司 | 一种基于分布式存储的存储区域动态调整方法及装置 |
CN113626382A (zh) * | 2021-06-30 | 2021-11-09 | 济南浪潮数据技术有限公司 | 分布式文件系统中聚合对象的索引方法、系统及相关装置 |
CN113626382B (zh) * | 2021-06-30 | 2024-02-23 | 济南浪潮数据技术有限公司 | 分布式文件系统中聚合对象的索引方法、系统及相关装置 |
CN113392074A (zh) * | 2021-07-13 | 2021-09-14 | 山东大学 | 一种采用内存文档的物联网设备安全管理方法 |
CN113392074B (zh) * | 2021-07-13 | 2022-07-05 | 山东大学 | 一种采用内存文档的物联网设备安全管理方法 |
CN115858184A (zh) * | 2023-03-03 | 2023-03-28 | 浪潮电子信息产业股份有限公司 | 一种rdma内存管理方法、装置、设备及介质 |
CN115858184B (zh) * | 2023-03-03 | 2023-05-02 | 浪潮电子信息产业股份有限公司 | 一种rdma内存管理方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111143290A (zh) | 一种内存管理方法、系统、设备及计算机可读存储介质 | |
CN106776368B (zh) | 一种数据读取时的缓存管理方法、装置及系统 | |
CN105094695B (zh) | 一种存储方法和系统 | |
CN109189772B (zh) | 用于无文件系统存储介质的文件管理方法及系统 | |
CN111309687A (zh) | 一种对象存储小文件处理方法、装置、设备及存储介质 | |
CN107958079A (zh) | 聚合文件删除方法、系统、装置及可读存储介质 | |
EP3142014B1 (en) | Method, device and user equipment for reading/writing data in nand flash | |
CN110888844B (zh) | 一种数据删除方法、系统、设备及计算机可读存储介质 | |
CN110727403B (zh) | 元数据管理方法及装置 | |
CN109240607B (zh) | 一种文件读取方法和装置 | |
CN106469022A (zh) | 存储驱动器的存储管理方法和系统 | |
CN109542911B (zh) | 一种元数据组织方法、系统、设备及计算机可读存储介质 | |
EP3364303B1 (en) | Data arrangement method, storage apparatus, storage controller and storage array | |
CN111124280A (zh) | 一种数据追加写入方法、装置及电子设备和存储介质 | |
CN103064633B (zh) | 一种数据存储方法及装置 | |
CN103399823A (zh) | 业务数据的存储方法、设备和系统 | |
CN111399857A (zh) | 一种fru数据烧录方法、系统、设备及计算机存储介质 | |
CN105867836A (zh) | 存储管理方法、装置及流媒体系统 | |
CN114816240A (zh) | 一种数据写入方法及一种数据读取方法 | |
CN116431080B (zh) | 一种数据落盘方法、系统、设备及计算机可读存储介质 | |
CN111078593B (zh) | 一种对象元数据的访问方法、系统及相关装置 | |
CN112596949A (zh) | 一种高效率的ssd删除数据恢复方法及系统 | |
CN103177019B (zh) | Usb存储设备及其驱动方法 | |
CN113806295B (zh) | 一种文件迁移方法、系统、设备及计算机可读存储介质 | |
CN112162701B (zh) | 一种存储空间回收方法、装置、设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200512 |
|
RJ01 | Rejection of invention patent application after publication |