CN108804351A - 一种缓存置换方法以及装置 - Google Patents

一种缓存置换方法以及装置 Download PDF

Info

Publication number
CN108804351A
CN108804351A CN201810543571.8A CN201810543571A CN108804351A CN 108804351 A CN108804351 A CN 108804351A CN 201810543571 A CN201810543571 A CN 201810543571A CN 108804351 A CN108804351 A CN 108804351A
Authority
CN
China
Prior art keywords
file
temperature
user node
temperature information
local disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810543571.8A
Other languages
English (en)
Other versions
CN108804351B (zh
Inventor
戚勇
吕玉彬
李佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810543571.8A priority Critical patent/CN108804351B/zh
Publication of CN108804351A publication Critical patent/CN108804351A/zh
Application granted granted Critical
Publication of CN108804351B publication Critical patent/CN108804351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • G06F12/121Replacement control using replacement algorithms
    • G06F12/128Replacement control using replacement algorithms adapted to multidimensional cache systems, e.g. set-associative, multicache, multiset or multilevel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种缓存置换方法以及装置,用于降低云存储网关的平均响应时间。本发明方法包括:当本地磁盘的使用率大于第一预设阈值时,对本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;在文件热度排序中确定排序最后的预置数目个文件为非热度文件;将非热度文件移除本地磁盘。

Description

一种缓存置换方法以及装置
技术领域
本发明涉及软件存储领域,尤其涉及一种缓存置换方法以及装置。
背景技术
为了促使传统存储向云存储转变,整合本地存储和云存储,使用户方便透明地操作本地数据和云存储上的数据,产生了云存储网关的概念。云存储网关的功能主要是将专用云存储接口转为传统存储访问协议,使用户可以更便捷的访问云存储上的文件,其重点放在了不同文件系统的协议转换上,即云存储协议和传统文件存取协议的转换。为了提高云存储的访问速度,现有技术中,可把本地存储当做本地Cache加速设备。
然而现有技术中并没有结合云存储所特有的特点:数据体积巨大、数据数目超过十亿级别、数据类别繁多,使得在转存性能和系统资源利用上都没有达到一个很好的状态,导致最大响应时间过长和平均响应时间过长。另外,云存储网关提供协议转换服务的过程中必然导致一部分文件存储在云存储上,如果所有的文件都存储在云存储上,将导致云存储网关在实际工作过程中大部分的响应时间都消耗在等待文件下载上面。已有一部分云存储网关已经使用缓存机制将部分文件留在云存储网关本地来降低平均响应时间,但是多数云存储网关使用的缓存替换算法是常用的缓存替换算法,仍然有很大空间能够进一步降低平均响应时间。
发明内容
本发明实施例提供了一种缓存置换方法以及装置,用于降低云存储网关的平均响应时间。
本发明第一方面提供了一种缓存置换方法,其特征在于,包括:当本地磁盘的使用率大于第一预设阈值时,对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;将所述非热度文件移除所述本地磁盘。
在一种可能的设计中,在本发明实施例第一方面的第一种实现方式中,所述在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件之后,所述将所述非热度文件移除所述本地磁盘之前,所述方法还包括:判断所述非热度文件是否为大文件,所述大文件为需要分割的文件;若是,则将需要分割的所述非热度文件分割为多个文件分块。
在一种可能的设计中,在本发明实施例第一方面的第二种实现方式中,所述方法还包括:根据用户节点的网络位置确定所述用户节点的热度信息;根据所述用户节点的热度信息获得预测集合;根据所述预测集合和用户请求队列构造新缓存,所述新缓存位于所述本地磁盘。
在一种可能的设计中,在本发明实施例第一方面的第三种实现方式中,所述根据用户节点的网络位置确定所述用户节点的热度信息包括:按照以下公式计算所述用户节点的热度信息:M=N/(n-1);所述M用于表示所述用户节点的热度信息;所述N用于表示网络中与所述用户节点连接的节点的个数;所述n用于表示所述网络中节点的总数目。
在一种可能的设计中,在本发明实施例第一方面的第四种实现方式中,所述根据所述用户节点的热度信息获得预测集合包括:当所述用户节点的热度信息大于最小关联度值且所述预测集合小于第二预设阈值时,将所述用户节点对应的请求数据的hash值写入所述预测集合;或,当所述用户节点的热度信息大于最小关联度值且所述预测集合大于第二预设阈值时,清空所述预测集合并将所述用户节点对应的请求数据的hash值写入所述预测集合。
本发明第二方面提供了一种缓存置换装置,包括:排序单元,当本地磁盘的使用率大于第一预设阈值时,用于对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;第一确定单元,用于在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;移除单元,用于将所述非热度文件移除所述本地磁盘。
在一种可能的设计中,在本发明实施例第二方面的第一种实现方式中,所述缓存置换装置还包括:判断单元,用于判断所述非热度文件是否为大文件,所述大文件为需要分割的文件;分割单元,若是,则用于将需要分割的所述非热度文件分割为多个文件分块。
在一种可能的设计中,在本发明实施例第二方面的第二种实现方式中,所述缓存置换装置还包括:第二确定单元,用于根据用户节点的网络位置确定所述用户节点的热度信息;获得单元,用于根据所述用户节点的热度信息获得预测集合;构造单元,用于根据所述预测集合和用户请求队列构造新缓存,所述新缓存位于所述本地磁盘。
在一种可能的设计中,在本发明实施例第二方面的第三种实现方式中,所述第二确定单元具体用于:按照以下公式计算所述用户节点的热度信息:M=N/(n-1);所述M用于表示所述用户节点的热度信息;所述N用于表示网络中与所述用户节点连接的节点的个数;所述n用于表示所述网络中节点的总数目。
在一种可能的设计中,在本发明实施例第二方面的第四种实现方式中,所述获得单元具体用于:当所述用户节点的热度信息大于最小关联度值且所述预测集合小于第二预设阈值时,将所述用户节点对应的请求数据的hash值写入所述预测集合;或,当所述用户节点的热度信息大于最小关联度值且所述预测集合大于第二预设阈值时,清空所述预测集合并将所述用户节点对应的请求数据的hash值写入所述预测集合。
本发明第三方面提供了一种电子设备,包括存储器、处理器,其特征在于,所述处理器用于执行存储器中存储的计算机管理类程序时实现如上述任意一项所述的缓存置换方法的步骤。
本发明第四方面提供了一种计算机可读存储介质,其上存储有计算机管理类程序,其特征在于:所述计算机管理类程序被处理器执行时实现如上述任意一项所述的缓存置换方法的步骤。
从以上技术方案可以看出,本发明实施例具有以下优点:
当本地磁盘的使用率大于第一预设阈值时,对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;将所述非热度文件移除所述本地磁盘。本发明实施例中,采用根据用户网络关系度来预测文件访问热度的算法,降低云存储网关的平均响应时间,避免了云存储网关文件系统磁盘容量使用率过高,加快服务器对用户请求的响应速度,在云存储网关本地预留一定的空间,预防随时可能的文件写入请求。
附图说明
图1为本发明实施例提供的缓存置换方法的流程示意图;
图2为本发明实施例提供的缓存置换装置的一个实施例示意图;
图3为本发明实施例提供的缓存置换装置的另一个实施例示意图;
图4为本发明实施例提供的缓存置换装置的硬件结构示意图;
图5为本发明实施例提供的一种可能的电子设备的实施例示意图;
图6为本发明实施例提供的一种可能的计算机可读存储介质的实施例示意图。
具体实施方式
本发明实施例提供了一种缓存置换方法以及装置,用于降低云存储网关的平均响应时间。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
本发明实施例提供了一种缓存置换方法,针对很少有算法考虑到云存储的用户众多,用户间具有网络连接关系,系统中活跃用户所分享或者发送的文件很容易形成局部热点文件,更适合放在云存储中,使其他人可以更方便的访问到的问题设计了一种基于网关用户相互关系的缓存置换算法,并针对由于缓存效用不高导致的平均响应时间过长的问题,降低了云存储网关的平均响应时间。本发明实施例主要由磁盘占用率实时监测部分和缓存置换两部分组成,具体请参阅图1,为本发明实施例提供的一种可能的缓存置换方法的实施例示意图,包括:
101、计算每一个用户节点的节点度和相对网络中心度。
在存储网络中,构建一个包含用户节点相对中心的映射的过程,包括计算每一个用户节点的节点度和相对网络中心度,以建立一个映射表。其中,用户节点的节点度=与该用户节点连接的其他用户节点的数目,而用户节点的相对网络中心度可以通过以下公式计算:用户节点的相对网络中心度=用户节点的节点度/(所有用户总数-1)。为便于理解,例如,在一个存储网络中,一共有8个用户节点,即所有用户总数值为8。设用户节点A位于中心,与其他所有用户节点都连接,那用户节点A的节点度为7,则可以计算出用户节点A的相对网络中心度为7/(8-1)=1。
102、得到预测集合。
在得到每一个用户节点的相对网络中心度后,将每一个用户节点的热度信息与最小关联度对比,以得到预测集合。具体的,用户节点之间具有网络连接关系,用户节点的热度信息指该用户节点发到其他用户节点的累积个数,而最小关联度可以理解为预设定的热度值,例如,网络中总共有10个用户节点,则可将最小关联度值设置为3或4,具体此处不做限定。
将各用户节点的热度信息与最小关联度进行对比,若用户节点的热度信息小于最小关联度值,则确定不将该用户节点的请求数据的hash值写入预测集合;若用户节点的热度信息大于最小关联度值,且当前预测集合的大小未超过第二预设阈值时,将该用户节点的请求数据的hash值写入预测集合;若用户节点的热度信息大于最小关联度值,且当前预测集合的大小超过第二预设阈值时,则清空该预测集合,并将该用户节点的请求数据的hash值写入清空后的预测集合。通过上述方式,即可得到预测集合。
103、根据预测集合和用户请求队列构造新缓存。
在得到预测集合后,利用预测集合和用户请求队列构造新缓存。所谓用户请求队列,可以理解为依照社会化网络信息传播模型,模拟社会化网络中的用户的访问习惯,并统计总的用户请求数据,所得到的请求队列{R1,R2,…,Rn}。具体的,确定用户请求队列是否包含于该预测集合中,即用户请求队列和预测集合的交集为构造的新缓存。
需要说明的是,当新缓存不符合替换要求时,重复步骤102和步骤103,直到产生一个合适的替换对象,且在本地磁盘有足够的空间来容纳新请求,
104、替换缓存。
新缓存构造完成后,将新缓存替换掉替换对象。
105、判断本地磁盘使用率是否大于第一预设阈值。
判断本地磁盘使用率是否大于第一预设阈值;若是,执行步骤106;若否,执行步骤107。
具体的,利用守护进程实时监测本地磁盘使用率,并判断本地磁盘使用率是否大于第一预设阈值,其中,该第一预设阈值可以为90%或者85%或者其他数值,具体此处不做限定。
当本地磁盘使用率大于第一预设阈值时,执行步骤106;当本地磁盘使用率小于第一预设阈值时,执行步骤107。
106、根据新缓存中各用户节点的热度信息确定非热度文件;
当本地磁盘使用率大于第一预设阈值时,对新缓存内的文件按照该文件对应的用户节点的热度信息进行排序,例如,可以按照热度信息从低到高进行排序,并选择排序最前的预置数目个文件作为非热度文件,或者按照热度信息从高到低进行排序,并选择排序最后的预置数目个文件作为非热度文件,该非热度文件即为要移除本地磁盘的文件,以将该非热度文件移除本地磁盘并上传至云存储。
107、进行连续监测。
当本地磁盘使用率小于第一预设阈值时,进行连续监测。
108、确定需上传的非热度文件为大文件。
在确定了非热度文件后,为减小最大响应时间,可判断需上传的非热度文件是否为大文件,具体的,根据IO时延判断该非热度文件是否需要分割,若需要分割,则该非热度文件为大文件;反之,若不需要分割,则该非热度文件不是大文件。为便于理解,例如云存储网关到云存储服务之间的带宽为2Mbps,为了保证IO时延不超过5秒,则将大于1000KB的文件确定为需要分割的大文件。
109、将大文件分割为多个文件分块。
在确定了需上传的非热度文件包括大文件后,将大文件在上传之前分割为固定的多个文件分块,且上传该多个文件分块后,将每个文件分块的信息都存放在文件元数据管理模块的大文件适配表中,这样当文件分块需要下载时就能正确找到文件分块对应云存储上的位置。其中,该大文件适配表包括每个文件分块的文件大小和位置指针,需要说明的是,该大文件适配表中,每个文件分块的信息可以按照大小或者位置随意放入,也可以按照大小或者位置顺序放入,具体此处不做限定。
110、上传非热度文件。
在将非热度文件从本地磁盘上传至云存储时,检查该云存储中是否存在该非热度文件,具体的,当云存储中不存在该非热度文件,则将非热度文件上传到云存储后再清空本地磁盘中的非热度文件;当云存储中存在该非热度文件,则继续检查云存储中的非热度文件与本地磁盘中的非热度文件是否一致,若一致,则直接清空本地磁盘中的非热度文件;若不一致,则将本地磁盘中的非热度文件上传到云存储后再清空本地磁盘中的非热度文件。
本发明实施例中,采用根据用户网络关系度来预测文件访问热度的算法,降低云存储网关的平均响应时间,避免了云存储网关文件系统磁盘容量使用率过高,加快服务器对用户请求的响应速度,在云存储网关本地预留一定的空间,预防随时可能的文件写入请求。将最热门的文件缓存在云存储网关本地磁盘,将不常用的文件即非热度文件迁移到云存储,避免了大部分的请求去往云存储下载文件,这样可以极大地发挥本地文件系统空间的效用。另外,有鉴于云存储的上传下载速度受网速制约很大,当待上传的非热度文件较大,往云存储上传或者从云存储下载非热度文件的时间就线性增加,本发明实施例通过将大文件分割成文件分块的方法,以解决云存储大文件下载用时过长,导致云存储网关最大响应时间过长而无法正常工作的问题,有效减小了云存储网关的最大响应时间。
上面对本发明实施例中缓存置换方法进行了描述,下面对本发明实施例中的缓存置换装置进行描述,请参阅图2,本发明实施例中缓存置换装置的一个实施例,包括:
排序单元201,当本地磁盘的使用率大于第一预设阈值时,用于对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;
第一确定单元202,用于在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;
移除单元203,用于将所述非热度文件移除所述本地磁盘。
本发明实施例中,采用根据用户网络关系度来预测文件访问热度的算法,降低云存储网关的平均响应时间,避免了云存储网关文件系统磁盘容量使用率过高,加快服务器对用户请求的响应速度,在云存储网关本地预留一定的空间,预防随时可能的文件写入请求。
请参阅图3,本发明实施例中缓存置换装置的另一个实施例,包括:
排序单元301,当本地磁盘的使用率大于第一预设阈值时,用于对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;
第一确定单元302,用于在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;
移除单元303,用于将所述非热度文件移除所述本地磁盘。
可选的,缓存置换装置还包括:
判断单元304,用于判断所述非热度文件是否为大文件,所述大文件为需要分割的文件;
分割单元305,若是,则用于将需要分割的所述非热度文件分割为多个文件分块。
可选的,缓存置换装置还包括:
第二确定单元306,用于根据用户节点的网络位置确定所述用户节点的热度信息;
获得单元307,用于根据所述用户节点的热度信息获得预测集合;
构造单元308,用于根据所述预测集合和用户请求队列构造新缓存,所述新缓存位于所述本地磁盘。
可选的,第二确定单元306具体用于:
按照以下公式计算所述用户节点的热度信息:
M=N/(n-1);
所述M用于表示所述用户节点的热度信息;所述N用于表示网络中与所述用户节点连接的节点的个数;所述n用于表示所述网络中节点的总数目。
可选的,获得单元307具体用于:
当所述用户节点的热度信息大于最小关联度值且所述预测集合小于第二预设阈值时,将所述用户节点对应的请求数据的hash值写入所述预测集合;
或,当所述用户节点的热度信息大于最小关联度值且所述预测集合大于第二预设阈值时,清空所述预测集合并将所述用户节点对应的请求数据的hash值写入所述预测集合。
本发明实施例中,采用根据用户网络关系度来预测文件访问热度的算法,降低云存储网关的平均响应时间,避免了云存储网关文件系统磁盘容量使用率过高,加快服务器对用户请求的响应速度,在云存储网关本地预留一定的空间,预防随时可能的文件写入请求。将最热门的文件缓存在云存储网关本地磁盘,将不常用的文件即非热度文件迁移到云存储,避免了大部分的请求去往云存储下载文件,这样可以极大地发挥本地文件系统空间的效用。另外,有鉴于云存储的上传下载速度受网速制约很大,当待上传的非热度文件较大,往云存储上传或者从云存储下载非热度文件的时间就线性增加,本发明实施例通过将大文件分割成文件分块的方法,以解决云存储大文件下载用时过长,导致云存储网关最大响应时间过长而无法正常工作的问题,有效减小了云存储网关的最大响应时间。
上面图2、图3从模块化功能实体的角度对本发明实施例中的缓存置换装置进行了描述,下面从硬件处理的角度对本发明实施例中的缓存置换装置进行详细描述,请参阅图4,本发明实施例中的缓存置换装置400一个实施例,包括:
输入装置401、输出装置402、处理器403和存储器404(其中处理器403的数量可以一个或多个,图4中以一个处理器403为例)。在本发明的一些实施例中,输入装置401、输出装置402、处理器403和存储器404可通过总线或其它方式连接,其中,图4中以通过总线连接为例。
其中,通过调用存储器404存储的操作指令,处理器403,用于执行如下步骤:
当本地磁盘的使用率大于第一预设阈值时,对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;
在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;
将所述非热度文件移除所述本地磁盘。
可选的,通过调用存储器404存储的操作指令,处理器403,还用于执行如下步骤:
判断所述非热度文件是否为大文件,所述大文件为需要分割的文件;
若是,则将需要分割的所述非热度文件分割为多个文件分块。
可选的,通过调用存储器404存储的操作指令,处理器403,还用于执行如下步骤:
根据用户节点的网络位置确定所述用户节点的热度信息;
根据所述用户节点的热度信息获得预测集合;
根据所述预测集合和用户请求队列构造新缓存,所述新缓存位于所述本地磁盘。
可选的,通过调用存储器404存储的操作指令,处理器403,还用于执行如下步骤:
按照以下公式计算所述用户节点的热度信息:
M=N/(n-1);
所述M用于表示所述用户节点的热度信息;所述N用于表示网络中与所述用户节点连接的节点的个数;所述n用于表示所述网络中节点的总数目。
可选的,通过调用存储器404存储的操作指令,处理器403,还用于执行如下步骤:
当所述用户节点的热度信息大于最小关联度值且所述预测集合小于第二预设阈值时,将所述用户节点对应的请求数据的hash值写入所述预测集合;
或,当所述用户节点的热度信息大于最小关联度值且所述预测集合大于第二预设阈值时,清空所述预测集合并将所述用户节点对应的请求数据的hash值写入所述预测集合。
请参阅图5,图5为本发明实施例提供的电子设备的实施例示意图。
如图5所示,本发明实施例提供了一种电子设备500,包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511,处理器520执行计算机程序511时实现以下步骤:
当本地磁盘的使用率大于第一预设阈值时,对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;
在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;
将所述非热度文件移除所述本地磁盘。
在具体实施过程中,处理器520执行计算机程序511时,可以实现图1对应的实施例中任一实施方式。
由于本实施例所介绍的电子设备为实施本发明实施例中一种缓存置换装置所采用的设备,故而基于本发明实施例中所介绍的方法,本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式,所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍,只要本领域所属技术人员实施本发明实施例中的方法所采用的设备,都属于本发明所欲保护的范围。
请参阅图6,图6为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
如图6所示,本实施例提供了一种计算机可读存储介质600,其上存储有计算机程序611,该计算机程序611被处理器执行时实现如下步骤:
当本地磁盘的使用率大于第一预设阈值时,对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;
在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;
将所述非热度文件移除所述本地磁盘。
在具体实施过程中,该计算机程序611被处理器执行时可以实现图1对应的实施例中任一实施方式。
需要说明的是,在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其它实施例的相关描述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机软件指令,当计算机软件指令在处理设备上运行时,使得处理设备执行如图1对应实施例中的风电场数字化平台设计的方法中的流程。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修该,或者对其中部分技术特征进行等同替换;而这些修该或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种缓存置换方法,其特征在于,包括:
当本地磁盘的使用率大于第一预设阈值时,对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;
在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;
将所述非热度文件移除所述本地磁盘。
2.根据权利要求1所述的方法,其特征在于,所述在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件之后,所述将所述非热度文件移除所述本地磁盘之前,所述方法还包括:
判断所述非热度文件是否为大文件,所述大文件为需要分割的文件;
若是,则将需要分割的所述非热度文件分割为多个文件分块。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据用户节点的网络位置确定所述用户节点的热度信息;
根据所述用户节点的热度信息获得预测集合;
根据所述预测集合和用户请求队列构造新缓存,所述新缓存位于所述本地磁盘。
4.根据权利要求3所述的方法,其特征在于,所述根据用户节点的网络位置确定所述用户节点的热度信息包括:
按照以下公式计算所述用户节点的热度信息:
M=N/(n-1);
所述M用于表示所述用户节点的热度信息;所述N用于表示网络中与所述用户节点连接的节点的个数;所述n用于表示所述网络中节点的总数目。
5.根据权利要求3所述的方法,其特征在于,所述根据所述用户节点的热度信息获得预测集合包括:
当所述用户节点的热度信息大于最小关联度值且所述预测集合小于第二预设阈值时,将所述用户节点对应的请求数据的hash值写入所述预测集合;
或,当所述用户节点的热度信息大于最小关联度值且所述预测集合大于第二预设阈值时,清空所述预测集合并将所述用户节点对应的请求数据的hash值写入所述预测集合。
6.一种缓存置换装置,其特征在于,包括:
排序单元,当本地磁盘的使用率大于第一预设阈值时,用于对所述本地磁盘中的文件根据对应的用户节点的热度信息按照从高到低的顺序进行排序,得到文件热度排序;
第一确定单元,用于在所述文件热度排序中确定排序最后的预置数目个文件为非热度文件;
移除单元,用于将所述非热度文件移除所述本地磁盘。
7.根据权利要求6所述的缓存置换装置,其特征在于,所述缓存置换装置还包括:
判断单元,用于判断所述非热度文件是否为大文件,所述大文件为需要分割的文件;
分割单元,若是,则用于将需要分割的所述非热度文件分割为多个文件分块。
8.根据权利要求7所述的缓存置换装置,其特征在于,所述缓存置换装置还包括:
第二确定单元,用于根据用户节点的网络位置确定所述用户节点的热度信息;
获得单元,用于根据所述用户节点的热度信息获得预测集合;
构造单元,用于根据所述预测集合和用户请求队列构造新缓存,所述新缓存位于所述本地磁盘。
9.根据权利要求8所述的缓存置换装置,其特征在于,所述第二确定单元具体用于:
按照以下公式计算所述用户节点的热度信息:
M=N/(n-1);
所述M用于表示所述用户节点的热度信息;所述N用于表示网络中与所述用户节点连接的节点的个数;所述n用于表示所述网络中节点的总数目。
10.根据权利要求8所述的缓存置换装置,其特征在于,所述获得单元具体用于:
当所述用户节点的热度信息大于最小关联度值且所述预测集合小于第二预设阈值时,将所述用户节点对应的请求数据的hash值写入所述预测集合;
或,当所述用户节点的热度信息大于最小关联度值且所述预测集合大于第二预设阈值时,清空所述预测集合并将所述用户节点对应的请求数据的hash值写入所述预测集合。
CN201810543571.8A 2018-05-30 2018-05-30 一种缓存置换方法以及装置 Active CN108804351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810543571.8A CN108804351B (zh) 2018-05-30 2018-05-30 一种缓存置换方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810543571.8A CN108804351B (zh) 2018-05-30 2018-05-30 一种缓存置换方法以及装置

Publications (2)

Publication Number Publication Date
CN108804351A true CN108804351A (zh) 2018-11-13
CN108804351B CN108804351B (zh) 2021-10-29

Family

ID=64089475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810543571.8A Active CN108804351B (zh) 2018-05-30 2018-05-30 一种缓存置换方法以及装置

Country Status (1)

Country Link
CN (1) CN108804351B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377533A (zh) * 2019-07-10 2019-10-25 北京邮电大学 一种用于云计算及边缘计算的缓存置换方法及装置
CN112784165A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 关联关系预估模型的训练方法以及预估文件热度的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010051980A1 (en) * 2000-06-01 2001-12-13 Raciborski Nathan F. Preloading content objects on content exchanges
CN104702625A (zh) * 2015-03-31 2015-06-10 北京奇艺世纪科技有限公司 一种cdn网络中访问请求调度方法及装置
CN105574153A (zh) * 2015-12-16 2016-05-11 南京信息工程大学 一种基于文件热度分析和K-means的副本放置方法
CN105892938A (zh) * 2016-03-28 2016-08-24 乐视控股(北京)有限公司 一种磁盘缓存系统的优化方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010051980A1 (en) * 2000-06-01 2001-12-13 Raciborski Nathan F. Preloading content objects on content exchanges
CN104702625A (zh) * 2015-03-31 2015-06-10 北京奇艺世纪科技有限公司 一种cdn网络中访问请求调度方法及装置
CN105574153A (zh) * 2015-12-16 2016-05-11 南京信息工程大学 一种基于文件热度分析和K-means的副本放置方法
CN105892938A (zh) * 2016-03-28 2016-08-24 乐视控股(北京)有限公司 一种磁盘缓存系统的优化方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377533A (zh) * 2019-07-10 2019-10-25 北京邮电大学 一种用于云计算及边缘计算的缓存置换方法及装置
CN110377533B (zh) * 2019-07-10 2021-03-19 北京邮电大学 一种用于云计算及边缘计算的缓存置换方法及装置
CN112784165A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 关联关系预估模型的训练方法以及预估文件热度的方法

Also Published As

Publication number Publication date
CN108804351B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
JP7046172B2 (ja) シャード・データベースのシャード・テーブルにレコードを記憶するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、シャード・データベースのシャード・テーブルからレコードを検索するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、ならびにシャード・データベースを記憶するためのシステム
CN108431796B (zh) 分布式资源管理系统和方法
US20150127880A1 (en) Efficient implementations for mapreduce systems
CN103995855B (zh) 存储数据的方法和装置
CN108829344A (zh) 数据存储方法、装置及存储介质
KR20120102664A (ko) 미래 사용 추정에 기반한 저장 메모리 할당
CN103294609B (zh) 信息处理装置和存储器管理方法
CN107450855B (zh) 一种用于分布式存储的模型可变的数据分布方法及系统
US20220179585A1 (en) Management of Idle Time Compute Tasks in Storage Systems
JP7234479B2 (ja) ストレージアドレスの決定に関してマルチレベルハッシュ関数を用いるオブジェクトストレージシステム
CN107656807A (zh) 一种虚拟资源的自动弹性伸缩方法及装置
CN110347651A (zh) 基于云存储的数据同步方法、装置、设备及存储介质
US7792966B2 (en) Zone control weights
CN109299190A (zh) 分布式存储系统中处理对象的元数据的方法及装置
CN109582213A (zh) 数据重构方法及装置、数据存储系统
CN105446653A (zh) 一种数据合并方法和设备
CN102104494B (zh) 元数据服务器、带外网络文件系统及其处理方法
CN108874502A (zh) 云计算集群的资源管理方法、装置及设备
CN108415962A (zh) 一种云存储系统
CN107453948A (zh) 一种网络测量数据的存储方法及系统
CN110245129A (zh) 一种分布式全局数据去重方法和装置
CN108804351A (zh) 一种缓存置换方法以及装置
CN114817425A (zh) 一种冷热数据分类的方法、装置、设备及可读存储介质
CN108304142A (zh) 一种数据管理方法和装置
CN117235088B (zh) 一种存储系统的缓存更新方法、装置、设备、介质及平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant