CN112527749B - 缓存策略确定方法、装置、计算机设备及可读存储介质 - Google Patents

缓存策略确定方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN112527749B
CN112527749B CN202011461839.7A CN202011461839A CN112527749B CN 112527749 B CN112527749 B CN 112527749B CN 202011461839 A CN202011461839 A CN 202011461839A CN 112527749 B CN112527749 B CN 112527749B
Authority
CN
China
Prior art keywords
strategy
cache
learning
policy
caching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011461839.7A
Other languages
English (en)
Other versions
CN112527749A (zh
Inventor
张安发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011461839.7A priority Critical patent/CN112527749B/zh
Publication of CN112527749A publication Critical patent/CN112527749A/zh
Application granted granted Critical
Publication of CN112527749B publication Critical patent/CN112527749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了缓存策略确定方法、装置、计算机设备及可读存储介质,数据存储技术领域,包括接收缓存请求,根据所述缓存请求获取待缓存文件集合;对所述待缓存文件集合中各个待缓存文件进行随机的个体状态标记,生成多条缓存策略;对各个缓存策略进行评估并根据评估结果对各个缓存策略迭代优化,获得目标缓存策略,解决现有内存资源有限,缓存分配不合理会导致用户缓存命中率下降或者访问质量变差问题。

Description

缓存策略确定方法、装置、计算机设备及可读存储介质
技术领域
本发明涉及数据存储技术领域,尤其涉及一种缓存策略确定方法、装置、计算机设备及可读存储介质。
背景技术
缓存系统作为现代大型互联网系统中的核心部分,在内容分发网络(CDN)系统中,缓存系统一般分为两大块,即内存缓存和磁盘缓存,通常来说,希望把所有的互联网内容都搬进内存缓存,以达到极致的互联网内容访问体验,虽然互联网上的内容是无限的,但是服务器资源却是有限的,尤其是价格昂贵的内存资源,因此如何设计出一款性能优异,成本低廉的缓存系统用以高效缓存互联网资源一直是各大CDN厂商的研究焦点。
现有的CDN缓存系统中,一般是缓存在磁盘中,然后根据访问频次或者最新访问时间把部分内容缓存的内存中,但是现有的根据访问频次或者访问时间并不能很好的反应一个内容需要被缓存的程度,无法较好的全局统筹各个内容的缓存策略,因此在内存资源有限的情况下,由于缓存分配不合理,会导致用户缓存命中率下降或者访问质量变差。
发明内容
本发明的目的是提供一种缓存策略确定方法、装置、计算机设备及可读存储介质,用于解决现有内存资源有限,缓存分配不合理会导致用户缓存命中率下降或者访问质量变差问题。
为实现上述目的,本发明提供一种缓存策略确定方法,包括以下:
接收缓存请求,根据所述缓存请求获取待缓存文件集合;
对所述待缓存文件集合中各个待缓存文件进行随机的个体状态标记,生成多条缓存策略;
对各个缓存策略进行评估并根据评估结果对各个缓存策略迭代优化,获得目标缓存策略。
进一步的,所述对各个缓存策略进行评估并根据评估结果对各个缓存策略迭代优化,获得目标缓存策略,包括以下步骤:
对各个缓存策略进行第一预处理,并对各个经过第一预处理后的缓存策略进行评估,获得各个缓存策略对应的评估结果;
根据所述各个缓存策略对应的评估结果生成第一学习策略和第二学习策略;
其中,所述第一学习策略为评估结果最佳的缓存策略,所述第二学习策略为历史评估结果最佳的个体组成的缓存策略;
根据所述第一学习策略和第二学习策略对各个缓存策略进行优化并迭代,获得全局最优的缓存策略作为目标缓存策略。
进一步的,所述对各个缓存策略进行第一预处理,包括以下:
获取各个缓存策略的缓存命中率和内存空间;
根据预设第一标准命中率和第一标准空间对各个缓存策略进行调整。
进一步的,对各个经过第一预处理后的缓存策略进行评估,获得各个缓存策略对应的评估结果,包括以下:
对于每一缓存策略,根据下述公式计算获得评估结果:
其中,F(x)为评估结果;为缓存命中率指标;/>为空间占用率指标;a和b为常亮系数。
进一步的,所述根据所述第一学习策略和第二学习策略对各个缓存策略进行优化并迭代,获得全局最优的缓存策略作为目标缓存策略,对于每一次迭代过程,包括以下:
根据随机概率生成缓存策略设为参考结果;
各个缓存策略基于所述第一学习策略、所述第二学习策略和所述参考结果学习,获得各个缓存策略对应的第一策略;
对各个所述第一策略进行第二预处理,并对各个经过第二预处理的第一策略进行评估,获得各个第一策略对应的评估结果;
基于各个第一策略对应的评估结果更新所述第一学习策略和所述第二学习策略;
根据预设条件控制迭代过程停止,并获得迭代过程停止后的第一学习策略作为目标缓存策略。
进一步的,对各个所述第一策略进行第二预处理,包括以下:
获取各个第一策略的缓存命中率和内存空间;
根据预设第二标准命中率和第二标准空间对各个缓存策略进行调整。
进一步的,根据预设条件控制迭代过程停止,并获得迭代过程停止后的第一学习策略作为目标缓存策略,包括以下:
判断更新后的第一学习策略和第二学习策略与更新前的第一学习策略和第二学习策略是否一致;
若是,则停止迭代,且获得更新后的第一学习策略作为目标缓存策略;
若否,则继续判断迭代次数是否超出预设次数;
若是,则停止迭代,且获得更新后的第一学习策略作为目标缓存策略;
若否,则继续迭代。
为实现上述目的,本发明还提供一种缓存策略确定装置,包括:
获取模块,用于接收缓存请求,根据所述缓存请求获取待缓存文件集合;
生成模块,用于对所述待缓存文件集合中各个待缓存文件进行随机的个体状态标记,生成多条缓存策略;
调整模块,用于采用人类优化学习算法对各个缓存策略进行调整,获得全局最优的缓存策略作为目标缓存策略。
为实现上述目的,本发明还提供一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述缓存策略确定方法的步骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,其包括多个存储介质,各存储介质上存储有计算机程序,所述多个存储介质存储的所述计算机程序被处理器执行时共同实现上述缓存策略确定方法的步骤。
本发明提供的缓存策略确定方法、装置、计算机设备及可读存储介质,通过在接收缓存请求后获取待缓存文件集合,对各个待缓存文件进行随机个体状态标记,生成多条缓存策略,而后对各个缓存策略进行多次迭代优化,以获得全局最优的缓存策略作为目标缓存策略,解决现有内存资源有限,缓存分配不合理会导致用户缓存命中率下降或者访问质量变差问题。
附图说明
图1为本发明所述缓存策略确定方法实施例一的流程图;
图2为本发明所述缓存策略确定方法实施例一中采用人类优化学习算法对各个缓存策略进行迭代优化,获得全局最优的缓存策略作为目标缓存策略的流程图;
图3为本发明所述缓存策略确定方法实施例一中所述对各个缓存策略进行第一预处理的流程图;
图4为本发明所述缓存策略确定方法实施例一中所述根据所述第一学习策略和第二学习策略对各个缓存策略进行优化并迭代,获得全局最优的缓存策略作为目标缓存策略,对于每一次迭代过程的流程图;
图5为本发明所述缓存策略确定方法实施例一中对各个所述第一策略进行第二预处理的流程图;
图6为本发明所述缓存策略确定方法实施例一中控制迭代过程停止需要考虑学习后的策略是否为最佳策略,因此上述根据预设条件控制迭代过程停止,并获得迭代过程停止后的第一学习策略作为目标缓存策略的流程图;
图7为本发明所述缓存策略确定装置实施例二的程序模块示意图;
图8为本发明计算机设备实施例三中计算机设备的硬件结构示意图。
附图标记:
4、缓存策略确定装置 41、获取模块42、生成模块
43、调整模块431、评估子模块 432、确定子模块
433、优化子模块5、计算机设备 51、存储器
52、处理器 53、网络接口
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
本发明提供的缓存策略确定方法、装置、计算机设备及可读存储介质,适用于领域,为提供一种基于获取模块、生成模块、调整模块的缓存策略确定方法。本发明通过获取模块在接收缓存请求后获取待缓存文件集合,然后采用生成模块对各个待缓存文件进行随机个体状态标记,生成多条缓存策略,最后采用调整模块对各个缓存策略评估后获得第一学习策略和第二学习策略,其中,所述第一学习策略为评估结果最佳的缓存策略,所述第二学习策略为历史评估结果最佳的个体组成的缓存策略,基于第一学习策略和第二学习策略对各个缓存策略中各个个体状态进行优化,同时不断迭代更新第一学习策略和第二学习策略,直至获得全局最优的缓存策略作为目标缓存策略,解决现有内存资源有限,缓存分配不合理会导致用户缓存命中率下降或者访问质量变差问题。
实施例一
请参阅图1,本实施例的一种缓存策略确定方法,应用于服务器端,在本方案主要用于克服现有缓存分配不合理会导致用户缓存命中率下降或者访问质量变差的问题。具体的,包括以下步骤:
S100:接收缓存请求,根据所述缓存请求获取待缓存文件集合;
其中,所述待缓存文件集合为接收的文件集合,根据本方案中生成的缓存策略对该文件集合中部分文件进行缓存,提高缓存分配的合理性。
S200:对所述待缓存文件集合中各个待缓存文件进行随机的个体状态标记,生成多条缓存策略;
具体的,本方案中各个待缓存文件对应的个体状态包括待缓存和不缓存,预设对待缓存的文件标记“1”,对不缓存的文件标记“0”,每一文件对应两种状态发生的可能性一致,因此随机标记时,可产生多个由“1”和“0”组成的数组即为多条缓存策略。作为举例而非限定的,待缓存集合中包含ABCDE5个文件,随机生成最初始的状态是标记是(11111),即5个文件均缓存,也可以是(00001),即只有文件F缓存,每一文件均有0和1的可能,因此至少产生32中可能的缓存策略,根据后续S300中的自主调整选择出32种可能的缓存策略中最佳的策略。
S300:对各个缓存策略进行评估并根据评估结果对各个缓存策略迭代优化,获得目标缓存策略。
本方案采用人类优化算法实现各个缓存策略的迭代优化,人类优化学习算法包括个体学习、社会学习和随机学习,具体的,采用人类优化学习算法对各个缓存策略进行迭代优化,获得全局最优的缓存策略作为目标缓存策略,参阅图2,包括以下步骤:
S310:对各个缓存策略进行第一预处理,并对各个经过第一预处理后的缓存策略进行评估,获得各个缓存策略对应的评估结果。
上述对于缓存侧策略进行第一预处理主要包括非法缓存策略剪裁,具体的是对缓存命中率、超出内存空间大小的的不合理的缓存策略进行惩罚,具体的,所述对各个缓存策略进行第一预处理,参阅图3,包括以下:
S311:获取各个缓存策略的缓存命中率和内存空间。
在上述步骤中,缓存的命中率越高则表示使用缓存的收益越高,应用的性能越好(响应时间越短、吞吐量越高),抗并发的能力越强,具体的,监控缓存命中率可以在memcached中,运行state命令可以查看memcached服务的状态信息,其中cmd_get表示总get次数,get_hits表示get的总命中次数,命中率=get_hits/cmd_get,也可以通过一些开源的第三方工具对整个memcached集群进行监控。
S312:根据预设第一标准命中率和第一标准空间对各个缓存策略进行调整。
在上述步骤中,预设第一标准命中率和第一标准空间为命中率较高且内存空间比较适合的参数,用于作为参考对超出该参数的缓存策略进行惩罚(调整),所述惩罚包括使超出的缓存策略基于第一标准命中率和第一标准空间学习以调整该缓存策略中各个个体状态。
在完成上述第一预处理后,对各个经过第一预处理后的缓存策略进行评估,获得各个缓存策略对应的评估结果,以便于后续根据评估结果选择最佳策略,具体的评估包括以下:
对于每一缓存策略,均根据下述公式计算获得评估结果:
其中,F(x)为评估结果;为缓存命中率指标;/>为空间占用率指标;a和b为常亮系数。需要说明的是,F(x)的值越小表征缓存策略越好。
S320:根据所述各个缓存策略对应的评估结果生成第一学习策略和第二学习策略;
其中,所述第一学习策略为评估结果最佳的缓存策略,所述第二学习策略为历史评估结果最佳的个体组成的缓存策略,在上述步骤中,第一学习策略为所有缓存策略在历史多次迭代中最好的一次策略所组成的一个最优策略(即所有缓存策略F(x)的值最小,每次迭代记入社会最优知识库SKD,用于作为社会学习中最佳结果),所述第二学习策略为各组个体缓存策略在历史多次迭代中最好的一次策略所组成的个体最优集(即个体中最佳结果,对于每一个缓存策略,其历史评估结果中F(x)的值最小,每次迭代记入个体最优知识库IKD,用于个体学习)。
S330:根据所述第一学习策略和第二学习策略对各个缓存策略进行优化并迭代,获得全局最优的缓存策略作为目标缓存策略。
具体的,上述步骤中所述根据所述第一学习策略和第二学习策略对各个缓存策略进行优化并迭代,获得全局最优的缓存策略作为目标缓存策略,对于每一次迭代过程,参阅图4,包括以下:
S331:根据随机概率生成缓存策略设为参考结果;
上述步骤中,采用随机概率生成用于作为随机学习的学习对象,如上所述,人类优化学习算法包括个体学习、社会学习和随机学习。
S332:各个缓存策略基于所述第一学习策略、所述第二学习策略和所述参考结果学习,获得各个缓存策略对应的第一策略;
上述学习为将各个策略中个体状态向所述第一学习策略、所述第二学习策略和所述参考结果中的个体状态靠近,为具体说明上述学习过程,作为举例的,设生成缓存策略ABC,A{1,1,1,1,1},B{0,1,0,1,0},C{0,0,0,1,0},经过上述步骤S312的公式计算获得各个策略对应的评估结果,设获得策略C的F(x)的值最小,则记入SKD,则策略AB均基于策略C学习,即策略AB每个个体状态向策略C中个体状态靠近。经过多次迭代后,A{1,1,1,1,1},B{0,1,0,1,0},C{0,0,0,1,0}中每一个体状态最佳策略记入IKD,策略ABC中分别基于IKD中的最佳策略学习。
S333:对各个所述第一策略进行第二预处理,并对各个经过第二预处理的第一策略进行评估,获得各个第一策略对应的评估结果;
上述步骤中,第一预处理和第二预处理的处理过程类型,也包括对缓存策略进行预处理包括非法缓存策略剪裁,即对缓存命中率、超出内存空间大小的的不合理的缓存策略进行惩罚。具体的,对各个所述第一策略进行第二预处理,参阅图5,包括以下:
S333-1:获取各个第一策略的缓存命中率和内存空间;
在上述步骤中,获取缓存命中率可参考步骤S311。
S333-2:根据预设第二标准命中率和第二标准空间对各个缓存策略进行调整。
上述预设第二标准命中率和第二标准空间可以与上述预设第一标准命中率和第一标准空间一致,也可不一致,具体可根据实际试用场景进行调整,以满足使用需求,进一步提高缓存分配合理性。
S334:基于各个第一策略对应的评估结果更新所述第一学习策略和所述第二学习策略;
在上述步骤中,第一策略相对于步骤S00生成的多条缓存策略已经经过学习,相对于步骤S200生成的多条缓存策略来说,第一策略对应的缓存资源分配相对较合理,还需要通过评估结果来确定目前的策略是否为最合理的状态。具体的评估结果的获得可参考上述S312中的评估计算公式。
S335:根据预设条件控制迭代过程停止,并获得迭代过程停止后的第一学习策略作为目标缓存策略。
在上述步骤中,控制迭代过程停止需要考虑学习后的策略是否为最佳策略,因此上述根据预设条件控制迭代过程停止,并获得迭代过程停止后的第一学习策略作为目标缓存策略,参阅图6,包括以下:
S335-1:判断更新后的第一学习策略和第二学习策略与更新前的第一学习策略和第二学习策略是否一致;
在上述步骤中,若更新前后的第一学习策略和第二学习策略分别一致,则说明通过多次迭代后获得最佳策略,若更新前后的第一学习策略和第二学习策略不一致,则需要继续迭代。
S335-2:若是,则停止迭代,且获得更新后的第一学习策略作为目标缓存策略。
S335-3:若否,则继续判断迭代次数是否超出预设次数;
在上述步骤中,当更新前后的第一学习策略和第二学习策略不一致,可一直迭代,为了避免无限迭代的情况,可以预设迭代次数,可根据实际场景进行调整。
S335-4:若是,则进入步骤S335-2;
S335-5:若否,则继续返回步骤S331。
在上述方案中,每一次迭代优化的过程中,均包括对非法缓存策略裁剪,缓存策略评估,生成第一学习策略和第二学习策略,根据最新一次迭代过程中生成的结果更新第一学习策略和第二学习策略,根据三组学习策略生成新的缓存策略并迭代优化,最终优化得到全局最优缓存策略作为最终的缓存策略,最终缓存策略实现在不同的文件内容进行差异化缓存方式。
上述待处理文本和对应的目标数据可上传至区块链以便于后续作为参考样本或训练样本,上传至区块链可保证其安全性和对用户的公正透明性,用户设备可以从区块链中下载得该摘要信息,以便查证优先级列表是否被篡改,后续也可以从区块链中下载获得对应金额数据的语音文件用于语音播报,无需生成过程,有效提高语音处理效率。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本方案中根据待缓存的文件随机生成一组缓存策略,然后基于人类优化算法对各个缓存策略进行迭代优化,从个体学习、社会学习以及随机学习三个学习方向对缓存策略中各个个体的缓存状态进行优化,最终优化得到全局最优缓存策略作为最终的缓存策略,区别于现有的根据访问频次或者最新访问时间把部分内容缓存的内存,提高缓存资源分配的合理性。
实施例二:
请参阅图7,本实施例的一种缓存策略确定装置4,包括:获取模块41、生成模块42以及调整模块43。
获取模块41,用于接收缓存请求,根据所述缓存请求获取待缓存文件集合;
生成模块42,用于对所述待缓存文件集合中各个待缓存文件进行随机的个体状态标记,生成多条缓存策略;
调整模块43,用于采用人类优化学习算法对各个缓存策略进行调整,获得全局最优的缓存策略作为目标缓存策略。
上述调整模块43还包括评估子模块431、确定子模块432、优化子模块433。
评估子模块431,用于对各个缓存策略进行第一预处理,并对各个经过第一预处理后的缓存策略进行评估,获得各个缓存策略对应的评估结果;
确定子模块432,用于根据所述各个缓存策略对应的评估结果生成第一学习策略和第二学习策略;
其中,所述第一学习策略为评估结果最佳的缓存策略,所述第二学习策略为历史评估结果最佳的个体组成的缓存策略;
优化子模块433,用于根据所述第一学习策略和第二学习策略对各个缓存策略进行优化并迭代,获得全局最优的缓存策略作为目标缓存策略。
本技术方案基于缓存数据中缓存数据分配,通过获取模块在接收缓存请求后获取待缓存文件集合,然后采用生成模块对各个待缓存文件进行随机个体状态标记,生成多条缓存策略,最后采用调整模块采用人类优化学习算法对各个缓存策略进行迭代优化,获得目标缓存策略,通过前述方式获得全局最优的缓存策略,解决现有内存资源有限,缓存分配不合理会导致用户缓存命中率下降或者访问质量变差问题。
具体的,调整模块在获得目标缓存策略过程中,先采用评估子模块对各个缓存策略进行评估,评估后利用确定子模块确定第一学习策略和第二学习策略,而后再利用优化子模块基于确定子模块确定的第一学习策略和第二学习策略优化,且通过多次迭代更新第一学习策略和第二学习策略优化,从个体学习、社会学习以及随机学习三个学习方向对缓存策略中各个个体的缓存状态进行优化,以获得全局最优策略,即目标缓存策略。提高缓存资源分配的合理性,进一步减少由于资源分配不合理造成的质量或速度下降的情况。
实施例三:
为实现上述目的,本发明还提供一种计算机设备5,该计算机设备可包括多个计算机设备,实施例二的缓存策略确定装置1的组成部分可分散于不同的计算机设备5中,计算机设备5可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于:可通过系统总线相互通信连接的存储器51、处理器52、网络接口53以及缓存策略确定装置4,如图8所示。需要指出的是,图8仅示出了具有组件-的计算机设备,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器51至少包括一种类型的计算机可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器51可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,存储器51也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器51还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,存储器51通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例一的缓存策略确定装置4的程序代码等。此外,存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器52在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器52通常用于控制计算机设备的总体操作。本实施例中,处理器52用于运行存储器51中存储的程序代码或者处理数据,例如运行缓存策略确定装置,以实现实施例一的缓存策略确定方法。
所述网络接口53可包括无线网络接口或有线网络接口,该网络接口53通常用于在所述计算机设备5与其他计算机设备5之间建立通信连接。例如,所述网络接口53用于通过网络将所述计算机设备5与外部终端相连,在所述计算机设备5与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,GSM)、宽带码分多址(WidebandCode Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图8仅示出了具有部件51-53的计算机设备5,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器51中的所述缓存策略确定装置4还可以被分割为一个或者多个程序模块,所述一个或者多个程序模块被存储于存储器51中,并由一个或多个处理器(本实施例为处理器52)所执行,以完成本发明。
实施例四:
为实现上述目的,本发明还提供一种计算机可读存储介质,其包括多个存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器53执行时实现相应功能。本实施例的计算机可读存储介质用于存储缓存策略确定装置1,被处理器53执行时实现实施例一的缓存策略确定方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种缓存策略确定方法,其特征在于,包括以下:
接收缓存请求,根据所述缓存请求获取待缓存文件集合;
对所述待缓存文件集合中各个待缓存文件进行随机的个体状态标记,生成多条缓存策略;
对各个缓存策略进行评估并根据评估结果对各个缓存策略迭代优化,获得目标缓存策略;
所述对各个缓存策略进行评估并根据评估结果对各个缓存策略迭代优化,获得目标缓存策略,包括以下步骤:
对各个缓存策略进行第一预处理,并对各个经过第一预处理后的缓存策略进行评估,获得各个缓存策略对应的评估结果;
根据所述各个缓存策略对应的评估结果生成第一学习策略和第二学习策略;
其中,所述第一学习策略为评估结果最佳的缓存策略,所述第二学习策略为历史评估结果最佳的个体组成的缓存策略;
根据所述第一学习策略和第二学习策略对各个缓存策略进行优化并迭代,获得目标缓存策略;
所述对各个经过第一预处理后的缓存策略进行评估,获得各个缓存策略对应的评估结果,包括以下:
对于每一缓存策略,根据下述公式计算获得评估结果:
其中,F(x)为评估结果;为缓存命中率指标;/>为空间占用率指标;a和b为常亮系数。
2.根据权利要求1所述的缓存策略确定方法,其特征在于,所述对各个缓存策略进行第一预处理,包括以下:
获取各个缓存策略的缓存命中率和内存空间;
根据预设第一标准命中率和第一标准空间对各个缓存策略进行调整。
3.根据权利要求1所述的缓存策略确定方法,其特征在于,所述根据所述第一学习策略和第二学习策略对各个缓存策略进行优化并迭代,获得全局最优的缓存策略作为目标缓存策略,对于每一次迭代过程,包括以下:
根据随机概率生成缓存策略设为参考结果;
各个缓存策略基于所述第一学习策略、所述第二学习策略和所述参考结果学习,获得各个缓存策略对应的第一策略;
对各个所述第一策略进行第二预处理,并对各个经过第二预处理的第一策略进行评估,获得各个第一策略对应的评估结果;
基于各个第一策略对应的评估结果更新所述第一学习策略和所述第二学习策略;
根据预设条件控制迭代过程停止,并获得迭代过程停止后的第一学习策略作为目标缓存策略。
4.根据权利要求3所述的缓存策略确定方法,其特征在于,对各个所述第一策略进行第二预处理,包括以下:
获取各个第一策略的缓存命中率和内存空间;
根据预设第二标准命中率和第二标准空间对各个缓存策略进行调整。
5.根据权利要求3所述的缓存策略确定方法,其特征在于,根据预设条件控制迭代过程停止,并获得迭代过程停止后的第一学习策略作为目标缓存策略,包括以下:
判断更新后的第一学习策略和第二学习策略与更新前的第一学习策略和第二学习策略是否一致;
若是,则停止迭代,且获得更新后的第一学习策略作为目标缓存策略;
若否,则继续判断迭代次数是否超出预设次数;
若是,则停止迭代,且获得更新后的第一学习策略作为目标缓存策略;
若否,则继续迭代。
6.一种缓存策略确定装置,其特征在于,包括:
获取模块,用于接收缓存请求,根据所述缓存请求获取待缓存文件集合;
生成模块,用于对所述待缓存文件集合中各个待缓存文件进行随机的个体状态标记,生成多条缓存策略;
调整模块,用于采用人类优化学习算法对各个缓存策略进行调整,获得全局最优的缓存策略作为目标缓存策略;所述对各个缓存策略进行评估并根据评估结果对各个缓存策略迭代优化,获得目标缓存策略,包括以下步骤:对各个缓存策略进行第一预处理,并对各个经过第一预处理后的缓存策略进行评估,获得各个缓存策略对应的评估结果;根据所述各个缓存策略对应的评估结果生成第一学习策略和第二学习策略;其中,所述第一学习策略为评估结果最佳的缓存策略,所述第二学习策略为历史评估结果最佳的个体组成的缓存策略;根据所述第一学习策略和第二学习策略对各个缓存策略进行优化并迭代,获得目标缓存策略;所述对各个经过第一预处理后的缓存策略进行评估,获得各个缓存策略对应的评估结果,包括以下:对于每一缓存策略,根据下述公式计算获得评估结果:其中,F(x)为评估结果;/>为缓存命中率指标;/>为空间占用率指标;a和b为常亮系数。
7.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述缓存策略确定方法的步骤。
8.一种计算机可读存储介质,其包括多个存储介质,各存储介质上存储有计算机程序,其特征在于,所述多个存储介质存储的所述计算机程序被处理器执行时共同实现权利要求1至5任一项所述缓存策略确定方法的步骤。
CN202011461839.7A 2020-12-11 2020-12-11 缓存策略确定方法、装置、计算机设备及可读存储介质 Active CN112527749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011461839.7A CN112527749B (zh) 2020-12-11 2020-12-11 缓存策略确定方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011461839.7A CN112527749B (zh) 2020-12-11 2020-12-11 缓存策略确定方法、装置、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112527749A CN112527749A (zh) 2021-03-19
CN112527749B true CN112527749B (zh) 2023-07-18

Family

ID=74999330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011461839.7A Active CN112527749B (zh) 2020-12-11 2020-12-11 缓存策略确定方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112527749B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115687184A (zh) * 2021-07-23 2023-02-03 华为技术有限公司 一种资源分配方法及装置
CN113778330B (zh) * 2021-08-05 2023-04-25 无锡融卡科技有限公司 一种基于Flash存储器的事务处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227121A (zh) * 2011-06-21 2011-10-26 中国科学院软件研究所 基于机器学习的分布式缓存策略自适应切换方法及系统
CN112015706A (zh) * 2019-05-31 2020-12-01 深圳市茁壮网络股份有限公司 一种文件缓存方法、系统及缓存系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10725922B2 (en) * 2015-06-25 2020-07-28 Intel Corporation Technologies for predictive file caching and synchronization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227121A (zh) * 2011-06-21 2011-10-26 中国科学院软件研究所 基于机器学习的分布式缓存策略自适应切换方法及系统
CN112015706A (zh) * 2019-05-31 2020-12-01 深圳市茁壮网络股份有限公司 一种文件缓存方法、系统及缓存系统

Also Published As

Publication number Publication date
CN112527749A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN110110229B (zh) 一种信息推荐方法及装置
CN111091199B (zh) 一种基于差分隐私的联邦学习方法、装置及存储介质
CN112527749B (zh) 缓存策略确定方法、装置、计算机设备及可读存储介质
CN110060144B (zh) 额度模型训练方法、额度评估方法、装置、设备及介质
DE112021004908T5 (de) Computerbasierte systeme, rechenkomponenten und rechenobjekte, die eingerichtet sind, dynamische ausreisser-verzerrungs-verringerung bei maschinenlernmodellen zu implementieren
CN110929840A (zh) 使用滚动窗口的连续学习神经网络系统
CA3028291A1 (en) Systems and methods for determining an optimal strategy
CN110956263A (zh) 一种二值化神经网络的构建方法、存储介质及终端设备
CN107909486A (zh) 佣金管理方法、应用服务器及计算机可读存储介质
CN111582341B (zh) 用户异常操作预测方法及装置
CN110134665B (zh) 基于流量镜像的数据库自学习优化方法及装置
CN112995414B (zh) 基于语音通话的行为质检方法、装置、设备及存储介质
EP3832452A1 (en) Log printing method and system, server
CN112288025A (zh) 基于树结构的异常案件识别方法、装置、设备及存储介质
CN113657993A (zh) 信用风险识别方法、装置、设备及存储介质
CN112597745A (zh) 一种智能图表的生成方法、装置、计算机系统及可读存储介质
CN111310918B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112036488A (zh) 基于图像识别的事件识别方法、装置、设备及存储介质
CN110717405B (zh) 人脸特征点定位方法、装置、介质及电子设备
CN117273165A (zh) 一种适应社区场景的网络模型微调方法、系统及设备
CN107395663A (zh) 数据获取方法及装置
CN116957043A (zh) 模型量化方法、装置、设备及介质
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN113674072B (zh) 基于金融大数据的企业财务管理风险识别方法
CN112559221B (zh) 智能名单处理方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant