CN106354793B - 监控热点对象的方法及装置 - Google Patents
监控热点对象的方法及装置 Download PDFInfo
- Publication number
- CN106354793B CN106354793B CN201610725266.1A CN201610725266A CN106354793B CN 106354793 B CN106354793 B CN 106354793B CN 201610725266 A CN201610725266 A CN 201610725266A CN 106354793 B CN106354793 B CN 106354793B
- Authority
- CN
- China
- Prior art keywords
- directory
- objects
- hot
- hot spot
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明是关于一种监控热点对象的方法及装置,所述方法包括:监控多个对象的访问热度,所述对象包括文件或目录;确定所述多个对象中的一个或多个热点对象,所述热点对象是访问热度超过预设的热度阈值的对象;根据所述热点对象的数量、所述多个对象的总数量以及预设的比例阈值确定所述目录是热点目录;确定所述多个对象所在的所述目录;设置所述目录的热点标志位;根据所述目录的热点标志位监控所述目录的访问热度。本发明可以监控树形结构当前深度的文件或者目录以及当前深度减一的深度是否为热点,自动将监控深度由多个对象调整为监控对象所属的目录,经过多次循环,可以识别整个文件系统中每一深度的对象的热点分布情况。
Description
技术领域
本发明涉及存储技术领域,尤其涉及一种监控热点方法及装置。
背景技术
现在大多数的文件系统的文件或目录在存储器中的存储空间的分配都采用的是索引节点+数据块的方法,在索引节点中存储文件或目录的元数据和文件的数据块号,在对应的数据块中存放文件或目录的具体内容,每一个文件或目录都有一个索引节点,根据文件大小确定需要多少个数据块。
由于受文件或目录分布的影响,不同区域之间会存在一定的热点关联。在进行文件系统的热点数据识别时,通常以数据块为粒度统计每个数据块的热度,而无法判断文件是否为热点,也无法识别出往上一层的目录是否为热点。
发明内容
本发明实施例中提供了一种监控热点对象的方法及装置,以解决现有技术中的文件系统中只能识别数据块是否为热点而无法识别文件以及目录是否为热点的问题。
为了解决上述技术问题,本发明实施例公开了如下技术方案:
第一方面,本发明实施例提供了一种监控热点对象的方法,所述方法应用在存储系统中,所述存储系统包括处理器,所述方法由所述处理器执行,包括:首先监控多个对象的访问热度,所述多个对象同属于一个目录,每个对象具有对应的热点标志位,所述热点标志位用于表示对应的对象的访问热度,所述对象包括文件或目录;然后确定所述多个对象中的一个或多个热点对象,所述热点对象是访问热度超过预设的热度阈值的对象;根据所述热点对象的数量、所述多个对象的总数量以及预设的比例阈值确定所述目录是热点目录;确定所述多个对象所在的所述目录;再设置所述目录的热点标志位;最后根据所述目录的热点标志位监控所述目录的访问热度。
结合第一方面,在第一方面第一种可能的实现方式中,所述存储系统还包括缓存;所述缓存保存有链表,所述链表包括多个表项,每个表项对应一个对象,所述每个对象具有对象ID;所述确定所述多个对象所在的所述目录包括:首先根据所述对象ID以及预设算法确定所述对象对应的表项;然后从所述表项中获取所述对象对应的对象信息;最后根据所述对象信息确定所述对象所在的目录。
结合第一方面,在第一方面第二种可能的实现方式中,所述对象信息包括所述对象在预设树形目录结构中的深度信息、所述对象在所述预设树形目录结构中的宽度信息、属于所述对象的子目录数量和属于所述对象的子对象数量。
结合第一方面,在第一方面第三种可能的实现方式中,所述预设算法包括对所述对象ID进行取模运算,得到运算值,根据所述运算值与偏移量确定所述对象在所述链表中对应的表项。
第二方面,本发明实施例提供了一种监控热点对象的方法,所述方法应用在存储系统中,所述存储系统包括处理器,所述方法由所述处理器执行,包括:所述处理器首先监控所述存储系统中保存的对象的访问热度,所述对象包括文件或者目录,并且所述对象包括多个子对象;然后确定所述对象的访问热度未达到预设的热度阈值时,设置所述对象包括的每个子对象对应的热点标志位;最后判断每个子对象对应的热点标志位是否达到所述预设的热度阈值,以确定所述子对象是否是热点对象。
第三方面,本发明实施例提供了一种监控热点对象的装置,包括:第一监控模块、对象确定模块、第一确定模块、第二确定模块、设置模块和第二监控模块;其中,第一监控模块,用于监控多个对象的访问热度,所述多个对象同属于一个目录,每个对象具有对应的热点标志位,所述热点标志位用于表示对应的对象的访问热度,所述对象包括文件或目录;对象确定模块,用于确定所述多个对象中的一个或多个热点对象,所述热点对象是访问热度超过预设的热度阈值的对象;第一确定模块,用于根据所述热点对象的数量、所述多个对象的总数量以及预设的比例阈值确定所述目录是热点目录;第二确定模块,用于确定所述多个对象所在的所述目录;设置模块,用于设置所述目录的热点标志位;第二监控模块,用于根据所述目录的热点标志位监控所述目录的访问热度。
结合第三方面,在第三方面第一种可能的实现方式中,所述存储系统还包括缓存;所述缓存保存有链表,所述链表包括多个表项,每个表项对应一个对象,所述每个对象具有对象ID;所述第二确定模块用于:根据所述对象ID以及预设算法确定所述对象对应的表项;从所述表项中获取所述对象对应的对象信息;根据所述对象信息确定所述对象所在的目录。
结合第三方面,在第三方面第二种可能的实现方式中,所述对象信息包括所述对象在预设树形目录结构中的深度信息、所述对象在所述预设树形目录结构中的宽度信息、属于所述对象的子目录数量和属于所述对象的子对象数量。
结合第三方面,在第三方面第三种可能的实现方式中,所述预设算法包括对所述对象ID进行取模运算,得到运算值,根据所述运算值与偏移量确定所述对象在所述链表中对应的表项。
第四方面,本发明实施例提供了一种监控热点对象的装置,所述方法应用在存储系统中,所述存储系统包括处理器,所述处理器包括:热度监控模块、标识位设置模块和判断模块;其中,所述热度监控模块,用于监控所述存储系统中保存的对象的访问热度,所述对象包括文件或者目录,并且所述对象包括多个子对象;所述标识位设置模块,用于确定所述对象的访问热度未达到预设的热度阈值时,设置所述对象包括的每个子对象对应的热点标志位;所述判断模块用于判断每个子对象对应的热点标志位是否达到所述预设的热度阈值,以确定所述子对象是否是热点对象。
本发明的实施例提供的技术方案可以包括以下有益效果:本发明首先通过监控同属于一个目录的多个对象的访问热度,可以在多个对象中确定一个或多个热点对象,由于对象可以包括文件或者目录,因此可以实现监控树形结构当前深度的文件或者目录是否为热点,然后根据所述热点对象的数量、所述多个对象的总数量以及预设的比例阈值,可以确定多个对象所属的目录是热点目录;这样,可以实现监控当前深度减一的深度的目录是否为热点,最后,可以在确定对象所属的目录后,设置所述目录的热点标志位;根据所述目录的热点标志位监控所述目录的访问热度,这样,在监控对象目录是否为热点的基础上,也可根据文件系统下的树形结构,根据系统当前深度的目录或者文件的热点分布情况,自动将监控深度由多个对象调整为监控对象所属的目录,经过多次循环执行本发明实施例提供的该方法,可以实现识别整个文件系统中每一深度的对象的热点分布情况。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为发明实施例提供的一种存储系统的结构示意图;
图2为文件系统的树形目录结构及热点分布示意图;
图3为本发明实施例提供的一种监控热点对象的方法的流程示意图;
图4为本发明实施例提供的一种确定树形目录结构的流程示意图;
图5为图3中步骤S104的流程示意图;
图6为本发明实施例提供的一种监控热点对象的方法的示意图;
图7为本发明实施例提供的另一种监控热点对象的方法的流程示意图;
图8为本发明实施例提供的一种监控热点对象的装置的一种结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明实施例提供的一种监控热点对象的方法,可以应用在存储系统中,如图1所示,存储系统21可以包括当前技术已知的任何计算设备,如存储阵列的控制器、台式计算机等等。下面介绍存储系统21的硬件组成结构,请参考图1,图1是本发明实施例存储系统21的结构示意图。如图1所示存储系统21中包括:控制器30和磁盘31,所述控制器30中包括文件系统210、处理器(processor)118、缓存(cache)120以及存储器(memory)122、通信总线(简称总线)126以及通信接口(Communication Interface)128,可以用于执行文件处理请求的各种操作,例如创建文件操作、打开文件操作、读文件操作、写文件操作等等,处理器118、缓存120、存储器122以及通信接口128通过通信总线126完成相互间的通信。通信接口128,用于与磁盘31通信。
文件系统运行在控制器30中,是一种存储和组织存储设备中数据的方法,它使得对数据的访问和查找变得容易,文件系统使用文件和树形目录的抽象逻辑概念代替了磁盘等物理设备使用的数据块的概念。存储设备在使用文件系统来保存数据后,用户不必关心数据实际保存在磁盘的地址为多少的数据块上,只需要记住这个文件的所属目录和文件名。同样的,在写入新数据之前,用户不必关心磁盘上的那个块地址没有被使用,磁盘上的存储空间管理(分配和释放)功能由文件系统自动完成,用户只需要记住数据被写入到了哪个文件中。需要说明的是,虽然存储在存储设备中的数据是以文件的形式呈现给用户的,然而文件在磁盘中存储的单位仍然是数据块。因此,一个文件可以包含多个数据块。
在文件系统下的目录和文件,可以用树形结构表示,如图2所示,1级目录下,有多个2级目录,每个2级目录下,有多个3级目录,以此类推到最深一层的文件级,树形结构越深,对象的粒度越小,对象的数目越多。文件系统的访问方式为,从1级目录开始,依次打开2级目录,……最后访问D+1级的文件。
存储器122,用于存放程序124,存储器122可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可以理解的是,存储器122可以为随机存储器 (Random-Access Memory,RAM)、磁碟、硬盘、光盘、固态硬盘(Solid State Disk,SSD)或者非易失性存储器等各种可以存储程序代码的非短暂性的(non-transitory)机器可读介质。
程序124可以包括程序代码,所述程序代码包括文件系统210、操作系统以及其他程序代码。
缓存120(Cache)用于缓存从存储系统10接收的数据或从磁盘31中读取的数据。缓存120可以是RAM、ROM、闪存(Flash memory)或固态硬盘(Solid State Disk,SSD)等各种可以存储数据的非短暂性的(non-transitory)机器可读介质,在此不做限定。
另外,存储器122和缓存120可以合设或者分开设置,本发明实施例对此不做限定。
处理器118可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。在本发明实施例中,处理器118可以用于接收来自存储系统10的各种文件处理请求,并且通过文件系统210执行所述文件处理请求的各种操作,例如读文件操作、写文件操作等等。
下面以存储系统为例,对本发明实施例提供的监控热点对象的方法进行说明。图3为本发明实施例提供的一种监控热点对象的方法的流程示意图。图3所示该监控热点对象的方法可以应用于存储系统中,例如:图2中的存储系统21,并且该监控热点对象的方法由存储系统21中的处理器118执行,如图3所示,该方法可以包括以下步骤。
在步骤S101中,监控多个对象的访问热度。
在本发明实施例中,所述多个对象同属于一个目录,也就是说,在本发明实施例中,目录可以为多个对象的父节点,每个对象具有对应的热点标志位,所述热点标志位用于表示对应的对象的访问热度,所述对象包括文件或目录,文件可以指文件系统树形目录中的叶子节点等,目录可以指文件系统树形目录中除叶子节点之外的节点等。
在该步骤中,处理器可以通过监控热点标志位监控文件系统中多个对象的访问热度,例如:当某一对象被用户访问时,对该区域的热点标志位进行累加计数,处理器可以读取热点标志位计数得到该对象的访问热度,按照此种方式,可以得到多个对象的访问热度。
在步骤S102中,确定所述多个对象中的一个或多个热点对象。
在本发明实施例中,所述热点对象是访问热度超过预设的热度阈值的对象。
热度阈值的确定方式为:可以首先获取多个对象的热点标志位计数,然后计算多个对象的热点标志位计数的均值M,再将均值M*阈值Q得到热度阈值,阈值Q可以为预先设置的数值。例如:假设多个对象的热点标志位计数分别为185、21、97、65、88、177、206、32和199,则计算得到的均值M为107,假设阈值Q为1,则热度阈值为107,然后逐一将多个对象的访问热度与热度阈值比较,访问热度大于该热度阈值的对象可以确定为热点对象,例如:185、177、206和199,阈值Q的大小也可以根据实际情况进行调整,例如阈值Q也可以为0.8或者1.2等等。
在该步骤中,处理器可以将监控得到的多个对象的访问热度分别与热度阈值比较,并可以将访问热度大于热度阈值的对象确定为热点对象。
在步骤S103中,根据所述热点对象的数量、所述多个对象的总数量以及预设的比例阈值确定所述目录是热点目录。
在该步骤中,处理器可以首先统计文件系统中确定的多个热点对象的数量以及监控的多个对象的总数量,并获取预设的比例阈值,预设的比例阈值可以为根据实际需要预先设置的数值,例如50%、80%等等,然后计算热点对象的数量占多个对象的总数量的百分比,然后将计算得到的百分比与预设的比例阈值进行比较,当计算得到的百分比大于预设的比例阈值时,可以确定多个对象所属的目录为热点目录。
在步骤S104中,确定所述多个对象所在的所述目录。
在该步骤中,处理器可以在文件系统的树形目录中确定多个对象所属的目录。
在本发明实施例中,所述存储系统还包括缓存;所述缓存保存有链表,在实际应用中,链表可以指哈希链表等,所述链表包括多个表项,每个表项对应一个对象,每个表项中存储有一个对象的对象信息,对象信息可以指每个对象在文件系统树形目录中的深度信息、所述对象在所述文件系统树形目录中的宽度信息、属于所述对象的子目录数量和属于所述对象的子对象数量,所述每个对象具有对象ID,例如,文件1、文件2或者目录1等等。
由于有时用户会通过一些创建操作或者删除操作的方式创建目录或者删除目录,因此,在每个统计周期到达时,逐个根据目录ID查找链表内对应的表项中的对象信息,或者获取链表内所有表项内的对象信息,并根据链表内所有对象信息确定文件系统的树形目录结构,这里的统计周期可以为1.5小时、2小时或者3小时等等。
如图4所示,例如,假设首先获取到目录1的对象信息为{2,1,3,20},当获取到的目录2的对象信息为{1,1,2,0}、目录3的对象信息为{3,3,0,80}时,则由于目录1的深度信息为2,目录2的深度信息为1,目录3的深度信息为3,则可以确定目录2为目录1的父节点,目录3为目录1的子节点。
再例如,当获取到目录4的对象信息和目录5的对象信息,目录4的对象信息为{2,2,3,10}和目录5的对象信息为{3,1,0,80},由于目录4的深度信息为2,则可以确定目录4与目录1为相同深度,又由于目录4的宽度信息为2,目录1的宽度信息为1,假设每一深度中各个目录均按照宽度信息排列,因此目录1(宽度信息为1)位于目录4(宽度信息为2)之前;由于目录3的深度信息也是3,则可以确定目录5和目录3相同等级,且目录5位于目录3之前,且目录5和目录3之间还会存在其它目录,这里不再距离说明。
再例如,当获取到目录6的对象信息为{3,4,0,80},则可以确定目录6的与目录5和目录3的深度相同,且位于目录3之后,但是由于目录1的子目录数为3,所以目录6应为目录4的子节点,按照此种方式,可以确定整个文件系统内的树形目录结构。
如图5所示,所述步骤S104包括以下步骤。
在步骤S201中,根据所述对象ID以及预设算法确定所述对象对应的表项。
在该步骤中,所述预设算法包括对所述对象ID进行取模运算,得到运算值,处理器可以根据所述运算值与偏移量确定所述对象在所述链表中对应的表项。
在本发明实施例中,预设算法可以用如下表达式表示:f(key)=key%N+offset。
其中,key可以为对象ID,f(key)为对象在链表中所在的表项,N为链表中的N个表项,offset偏移量可以指对象在链表中的偏移值。
在步骤S202中,从所述表项中获取所述对象对应的对象信息。
在本发明实施例中,所述对象信息包括所述对象在预设树形目录结构中的深度信息、所述对象在所述预设树形目录结构中的宽度信息、属于所述对象的子目录数量和属于所述对象的子对象数量。
在该步骤中,处理器可以从根据f(key)确定的表项中获取对象对应的深度信息、宽度信息、子目录数量和子对象数量。
在步骤S203中,根据所述对象信息确定所述对象所在的目录。
在该步骤中,处理器可以根据对象信息确定对象所在的文件系统内树形结构中的目录,例如,假设对象信息为{3,1,0,80}则根据该对象信息,可以确定对象所在的目录为{2,1,3,20},相当于在预设树形目录结构中深度减小1级。
在步骤S105中,设置所述目录的热点标志位。
在该步骤中,处理器可以在存储器或者缓存中为目录设置对应的热点标志位。
在步骤S106中,根据所述目录的热点标志位监控所述目录的访问热度。
在该步骤中,处理器可以通过监控目录的热点标志位,监控该目录的访问热度。
在实际应用中,当通过监控得到目录的访问热度后(相当于执行步骤S101后),可以继续执行步骤S102确定所述多个对象中的一个或多个热点对象,步骤S103……,循环执行直至任一级的目录不是热点目录。如图6所示,假设热点对象为文件1、文件2到文件m,且热点对象的数量与所述多个对象的总数量的比值超过预设的比例阈值,则可以确定文件1、文件2到文件m所属的目录5为热点目录,假设与目录5相同深度的目录3以及目录5与目录3之间的目录均为热点目录,且热点对象的数量与所述多个对象的总数量的比值超过预设的比例阈值,则目录5至目录3所属的目录1为热点目录。
当存在任一级的目录不是热点目录时,如图7所示,本发明实施例还提供一种监控热点对象的方法,所述方法应用在存储系统中,所述存储系统包括处理器,所述方法由所述处理器执行,所述方法包括以下步骤。
在步骤S301中,监控所述存储系统中保存的对象的访问热度。
在本发明实施例中,所述对象包括文件或者目录,并且所述对象包括多个子对象。
在该步骤中,处理器可以将当前正在监控的对象确定为当前存储系统中保存的对象,并监控该对象的访问热度。
在步骤S302中,确定所述对象的访问热度未达到预设的热度阈值时,设置所述对象包括的每个子对象对应的热点标志位。
在该步骤中,如图6所示,假设目录1在某一时刻变为非热点目录,则处理器此时需要设置目录1的子对象目录5、目录3以及目录5和目录3之间的目录的热点标志位。当每次当前监控的对象不为热点对象时,处理器将当前监控的对象确定为所述对象的子对象,相当于在预设树形目录结构中深度增加1级。
在步骤S303中,判断每个子对象对应的热点标志位是否达到所述预设的热度阈值,以确定所述子对象是否是热点对象。
在该步骤中,处理器可以通过判断每个子对象的热点标志位是否达到预设的热度阈值,确定该子对象是否为热点对象,例如如图6所示,可以通过判断目录3、目录5和目录3之间的目录的热点标志位,确定目录3、目录5和目录3是否为热点对象。
在本发明实施例中,确定子对象是否为热点对象相当于执行步骤S301,然后执行步骤S302,不断循环直至任一级的子对象为热点对象。
如图8所示,在本发明的又一实施例中,提供一种监控热点对象的装置,包括:第一监控模块11、对象确定模块12、第一确定模块13、第二确定模块14、设置模块15和第二监控模块16。
第一监控模块11,用于监控多个对象的访问热度,所述多个对象同属于一个目录,每个对象具有对应的热点标志位,所述热点标志位用于表示对应的对象的访问热度,所述对象包括文件或目录。
对象确定模块12,用于确定所述多个对象中的一个或多个热点对象,所述热点对象是访问热度超过预设的热度阈值的对象。
第一确定模块13,用于根据所述热点对象的数量、所述多个对象的总数量以及预设的比例阈值确定所述目录是热点目录。
第二确定模块14,用于确定所述多个对象所在的所述目录。
设置模块15,用于设置所述目录的热点标志位。
第二监控模块16,用于根据所述目录的热点标志位监控所述目录的访问热度。
在本发明的又一实施例中,所述存储系统还包括缓存;所述缓存保存有链表,所述链表包括多个表项,每个表项对应一个对象,所述每个对象具有对象ID;
所述第二确定模块14用于:
根据所述对象ID以及预设算法确定所述对象对应的表项。
在本发明实施例中,所述预设算法包括对所述对象ID进行取模运算,得到运算值,根据所述运算值与偏移量确定所述对象在所述链表中对应的表项。
从所述表项中获取所述对象对应的对象信息。
在本发明实施例中,所述对象信息包括所述对象在预设树形目录结构中的深度信息、所述对象在所述预设树形目录结构中的宽度信息、属于所述对象的子目录数量和属于所述对象的子对象数量。
根据所述对象信息确定所述对象所在的目录。
图8中的第一监控模块11、对象确定模块12、第一确定模块13、第二确定模块14、设置模块15和第二监控模块16所要实现的功能可以由图1中的处理器118执行程序124来实现。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于无线通信设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (8)
1.一种监控热点对象的方法,其特征在于,所述方法应用在存储系统中,所述存储系统包括处理器,所述方法由所述处理器执行,包括:
监控多个对象的访问热度,所述多个对象同属于一个目录,每个对象具有对应的热点标志位,所述热点标志位用于表示对应的对象的访问热度,所述对象包括文件或目录;
确定所述多个对象中的一个或多个热点对象,所述热点对象是访问热度超过预设的热度阈值的对象,其中,所述热度阈值为所述多个对象的热点标志位计数的均值M与阈值Q的乘积;
根据所述热点对象的数量、所述多个对象的总数量以及预设的比例阈值确定所述目录是热点目录;
确定所述多个对象所在的所述目录;
设置所述目录的热点标志位;
根据所述目录的热点标志位监控所述目录的访问热度。
2.根据权利要求1所述的方法,其特征在于,所述存储系统还包括缓存;所述缓存保存有链表,所述链表包括多个表项,每个表项对应一个对象,所述每个对象具有对象ID;
所述确定所述多个对象所在的所述目录包括:
根据所述对象ID以及预设算法确定所述对象对应的表项;
从所述表项中获取所述对象对应的对象信息;
根据所述对象信息确定所述对象所在的目录。
3.根据权利要求2所述的方法,其特征在于,
所述对象信息包括所述对象在预设树形目录结构中的深度信息、所述对象在所述预设树形目录结构中的宽度信息、属于所述对象的子目录数量和属于所述对象的子对象数量。
4.根据权利要求2所述的方法,其特征在于,所述预设算法包括对所述对象ID进行取模运算,得到运算值,根据所述运算值与偏移量确定所述对象在所述链表中对应的表项。
5.一种监控热点对象的装置,其特征在于,包括:
第一监控模块,用于监控多个对象的访问热度,所述多个对象同属于一个目录,每个对象具有对应的热点标志位,所述热点标志位用于表示对应的对象的访问热度,所述对象包括文件或目录;
对象确定模块,用于确定所述多个对象中的一个或多个热点对象,所述热点对象是访问热度超过预设的热度阈值的对象,其中,所述热度阈值为所述多个对象的热点标志位计数的均值M与阈值Q的乘积;
第一确定模块,用于根据所述热点对象的数量、所述多个对象的总数量以及预设的比例阈值确定所述目录是热点目录;
第二确定模块,用于确定所述多个对象所在的所述目录;
设置模块,用于设置所述目录的热点标志位;
第二监控模块,用于根据所述目录的热点标志位监控所述目录的访问热度。
6.根据权利要求5所述的装置,其特征在于,存储系统还包括缓存;所述缓存保存有链表,所述链表包括多个表项,每个表项对应一个对象,所述每个对象具有对象ID;
所述第二确定模块用于:
根据所述对象ID以及预设算法确定所述对象对应的表项;
从所述表项中获取所述对象对应的对象信息;
根据所述对象信息确定所述对象所在的目录。
7.根据权利要求6所述的装置,其特征在于,
所述对象信息包括所述对象在预设树形目录结构中的深度信息、所述对象在所述预设树形目录结构中的宽度信息、属于所述对象的子目录数量和属于所述对象的子对象数量。
8.根据权利要求6所述的装置,其特征在于,所述预设算法包括对所述对象ID进行取模运算,得到运算值,根据所述运算值与偏移量确定所述对象在所述链表中对应的表项。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610725266.1A CN106354793B (zh) | 2016-08-25 | 2016-08-25 | 监控热点对象的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610725266.1A CN106354793B (zh) | 2016-08-25 | 2016-08-25 | 监控热点对象的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106354793A CN106354793A (zh) | 2017-01-25 |
CN106354793B true CN106354793B (zh) | 2020-03-10 |
Family
ID=57856159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610725266.1A Active CN106354793B (zh) | 2016-08-25 | 2016-08-25 | 监控热点对象的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106354793B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107679193A (zh) * | 2017-10-09 | 2018-02-09 | 郑州云海信息技术有限公司 | 一种用于分布式文件系统的热度统计方法和系统 |
CN110536103B (zh) * | 2018-05-23 | 2021-07-30 | 杭州海康威视数字技术股份有限公司 | 一种监控点管理方法、装置、设备及存储介质 |
CN110807009B (zh) * | 2019-11-06 | 2022-04-26 | 湖南快乐阳光互动娱乐传媒有限公司 | 文件处理方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104484460A (zh) * | 2014-12-29 | 2015-04-01 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件系统元数据热度统计方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9058334B2 (en) * | 2010-02-11 | 2015-06-16 | Emc Corporation | Parallel file system processing |
-
2016
- 2016-08-25 CN CN201610725266.1A patent/CN106354793B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104484460A (zh) * | 2014-12-29 | 2015-04-01 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件系统元数据热度统计方法 |
Non-Patent Citations (2)
Title |
---|
云存储网关的分布式缓存系统的研究与实现;申彤;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141215(第12期);正文第16-21页 * |
分布式文件系统元数据负载均衡技术研究与实现;肖培棕;《中国优秀硕士学位论文全文数据库 信息科技辑》;20100715(第7期);正文第19-23页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106354793A (zh) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417186B2 (en) | File migration method and apparatus, and storage device | |
US10331641B2 (en) | Hash database configuration method and apparatus | |
US9886464B2 (en) | Versioned bloom filter | |
CN108628753B (zh) | 内存空间管理方法和装置 | |
CN103020255B (zh) | 分级存储方法和装置 | |
EP2933733A1 (en) | Data processing method and device in distributed file storage system | |
US9313270B2 (en) | Adaptive asynchronous data replication in a data storage system | |
US9733833B2 (en) | Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse | |
US10013312B2 (en) | Method and system for a safe archiving of data | |
CN105468642A (zh) | 数据的存储方法及装置 | |
GB2518158A (en) | Method and system for data access in a storage infrastructure | |
US10516732B2 (en) | Disconnected ingest in a distributed storage system | |
US9430492B1 (en) | Efficient scavenging of data and metadata file system blocks | |
CN109086141B (zh) | 内存管理方法和装置以及计算机可读存储介质 | |
CN111309258B (zh) | 一种b+树的存取方法、装置和计算机可读存储介质 | |
CN106354793B (zh) | 监控热点对象的方法及装置 | |
KR20150071500A (ko) | 데이터 관리 방법 및 장치 | |
CN112416880A (zh) | 一种基于实时归并的海量小文件存储性能优化方法及装置 | |
EP3971700B1 (en) | Data processing method and device in storage system, and computer readable storage medium | |
CN111984650A (zh) | 一种树结构数据的存储方法、系统及相关装置 | |
CN104298614A (zh) | 数据块在存储设备中存储方法和存储设备 | |
KR101884726B1 (ko) | 데이터베이스 시스템에서 블록을 판독하기 위한 방법, 장치 및 컴퓨터 판독가능 매채에 저장된 컴퓨터-프로그램 | |
CN104537023A (zh) | 一种反向索引记录的存储方法及装置 | |
CN113625938A (zh) | 一种元数据存储方法及其设备 | |
CN111143288A (zh) | 一种数据存储方法、系统及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |