CN114201708A - 一种资源处理方法、装置、电子设备和存储介质 - Google Patents

一种资源处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114201708A
CN114201708A CN202111521780.0A CN202111521780A CN114201708A CN 114201708 A CN114201708 A CN 114201708A CN 202111521780 A CN202111521780 A CN 202111521780A CN 114201708 A CN114201708 A CN 114201708A
Authority
CN
China
Prior art keywords
resources
resource
target
historical
cached
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111521780.0A
Other languages
English (en)
Inventor
汪洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111521780.0A priority Critical patent/CN114201708A/zh
Publication of CN114201708A publication Critical patent/CN114201708A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种资源处理方法、装置、电子设备和存储介质,涉及互联网领域,尤其涉及数据处理技术。具体实现方案包括:获取目标区域的历史查询数据;根据历史查询数据,预测目标区域待缓存的目标资源数量;根据目标资源数量,从全局资源池中获取资源,并将获取的资源存储到目标区域的区域资源池中。本公开方案通过将全局资源池中部分资源预先缓存在不同地域的本地缓存中,实现了资源预缓存,使得后续处理资源获取请求时直接从本地缓存中获取资源,可保证资源获取的效率。

Description

一种资源处理方法、装置、电子设备和存储介质
技术领域
本公开涉及互联网领域,尤其涉及数据处理技术,具体涉及一种资源处理方法、装置、电子设备、存储介质和计算机程序产品。
背景技术
随着科技的快速发展及人们生活水平的提高,手机、电脑、智能电视等各种智能终端设备普遍地应用在人们的日常生活中。用户可以通过智能终端设备从内容分发网络系统中获取视频文件、音频文件等数据资源,通过获取数据资源满足用户的工作和生活需求。
发明内容
本公开提供了一种资源处理方法、装置、电子设备、存储介质和计算机程序产品。
根据本公开的一方面,提供了一种资源处理方法,包括:
获取目标区域的历史查询数据;
根据历史查询数据,预测目标区域待缓存的目标资源数量;
根据目标资源数量,从全局资源池中获取资源,并将获取的资源存储到目标区域的区域资源池中。
根据本公开的一方面,一种资源处理装置,包括:
历史数据获取模块,用于获取目标区域的历史查询数据;
预测模块,用于根据历史查询数据,预测目标区域待缓存的目标资源数量;
资源填充模块,用于根据目标资源数量,从全局资源池中获取资源,并将获取的资源存储到目标区域的区域资源池中。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开任意实施例的资源处理方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行本公开任意实施例的资源处理方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本公开任意实施例的资源处理方法。
根据本公开的技术,通过将全局资源池中部分资源预先缓存在不同地域的本地缓存中,实现的资源预缓存,使得处理资源获取请求时直接从本地缓存中获取资源,可保证资源获取的效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例提供的一种资源处理方法的流程示意图;
图2是根据本公开实施例提供的又一种资源处理方法的流程示意图;
图3是根据本公开实施例提供的又一种资源处理方法的流程示意图;
图4是根据本公开实施例提供的又一种资源处理方法的流程示意图;
图5是根据本公开实施例提供的一种资源处理装置的结构示意图;
图6是用来实现本公开实施例的资源处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
互联网应用中,部分资源获取是集中化的服务,例如需要保持趋势递增的全局ID分配器。而分布式系统架构中,由于存在多个不同地域的机房,不同地域的机房基于接收的资源获取请求,直接跨地域从集中资源中获取需要的资源,如此实时集中的资源获取将带来跨地域的时延,这对于高性能系统是不可接接受的。同理,对于资源获取耗时较高的场景,同样存在相同的性能问题。基于此,提出一种适用于互联网大规模分布式系统,对于跨地域获取资源、资源获取成本较高的场景的资源处理方法,针对任一地域的机房,预先将集中资源中的部分资源缓存在该机房本地,使得该地域机房在接收到资源获取请求时直接从本地缓存中获取资源,以此避免跨地域获取资源。具体的资源处理流程参见如下实施例。
图1为本公开实施例的一种资源处理方法的流程示意图,本实施例可适用于互联网大规模分布式系统,对于跨地域获取资源、资源获取成本较高的场景。该方法可由一种资源处理装置来执行,该装置采用软件和/或硬件的方式实现,并集成在电子设备上,例如集成在分布式系统中不同地域机房的服务器中。
具体的,参见图1,资源处理方法如下:
S101、获取目标区域的历史查询数据。
本公开实施例中,目标区域可选的是分布式系统中任一地域机房所属的区域;历史查询数据可选的是目标区域的用户请求获取资源的QPS(Query Per Second,每秒查询率)数据。在一种可选的实施方式中,目标区域的历史查询数据是以环形队列的方式记录并保存的,需要说明的是,通过环形队列记录并保存历史查询数据,可以保证快速存储数据。
通过环形队列记录历史查询数据(例如请求资源的QPS)的过程如下:首先以数组形式构造多个桶;记录每个桶表示的时间间隔,其中时间间隔表示每个桶能够接收多大时长内的请求,例如每个桶的时间间隔为1s;记录当前桶所处位置的位置游标及当前桶时间戳。进一步的,当接收到资源获取请求时,判断接收资源获取请求的时间和当前桶时间戳之间的时长是否超过当前桶的时间间隔,若否,则将资源获取请求添加在当前桶中,也即将当前桶中资源获取请求数量加1;若是,则将资源获取请求添加下一个桶中,并将下一个桶作为当前桶。如此,如果每个桶的时间间隔为1s,则每个桶中记录的资源获取请求数量即为QPS。
本公开实施例中,可在监听到资源预获取的通知消息后,触发获取目标区域的历史查询数据的操作,以此从环形队列中获取记录的QPS数据。需要说明的是,资源预获取的通知消息可选的是在接收到目标区域用户新发送的资源获取请求后产生的,并保存在预设的任一存储队列中,因此只要监听存储队列是否有消息存在,即可确定是否执行获取目标区域历史查询数据的过程。
S102、根据历史查询数据,预测目标区域待缓存的目标资源数量。
其中,待缓存的目标资源数量是指要到达目标区域的用户可以在目标区域的区域资源池获取所需资源的目的,目标区域的区域资源池还需要的缓的资源的数量。可选的,可根据记录的历史QPS数据,预估目标区域缓存多少资源可以满足目标区域用户的需求。例如,可以按照QPS的最大值确定目标区域每秒请求的最大资源数,进而只要保证目标区域缓存的资源数始终大于或等于最大资源数即可,如此可根据最大资源数预测待缓存的目标资源数量。需要说明的是,也可以通过其他方式确定,在此不做具体限定。
S103、根据目标资源数量,从全局资源池中获取资源,并将获取的资源存储到目标区域的区域资源池中。
其中,全局资源池为分布式系统里集中保存资源的资源库,区域资源池为目标区域用于预缓存资源的资源库。在得到目标资源数量后,直接从全局资源池获取相同数量的资源,并将获取的资源添加到目标区域的区域资源池中,由此实现了资源的预获取的效果,使得在接收到目标区域用户的资源获取请求时,直接从区域资源池中获取资源并反馈给目标区域的用户,而无需根据请求跨地域的从全局资源池获取资源再反馈给用户,可避免因跨地域获取资源产生的延时。
本公开实施例实现了根据历史QPS预测目标区域待缓存的资源数,而且预先将全局资源池的部分资源缓存在目标区域的区域资源池中,实现了资源的预获取,使得目标区域用户获取资源时,可直接从本地获取,避免了跨地域获取资源产生的延时,保证了资源获取的效率。
图2是根据本公开实施例的又一资源处理方法的流程示意图,本实施例在上述实施例的基础上,对根据历史查询数据,预测目标区域待缓存的目标资源数量的过程进行细化,参见图2,资源处理方法具体如下:
S201、获取目标区域的历史查询数据。
S202、根据历史查询数据,确定目标区域的预测查询率。
本公开实施例中,为了保证预测的目标资源数量的准确性,并不直接使用历史查询数据,而是根据历史查询数据,结合预设的预测算法,确定目标区域的预测查询率,其中,预测查询率也即是预测的QPS。在一种可选的实施方式中,可基于统计学方法从历史查询数据中,确定历史最大查询率、历史最小查询率和历史平均查询率,也即是确定环形队列中记录的QPS的最大值、最小值和均值;根据历史最大查询率、历史最小查询率和历史平均查询率,确定目标区域的预测查询率,可选的,通过对历史最大查询率、历史最小查询率和历史平均查询率进行加权计算的方式,确定目标区域的预测查询率,示例性的,历史最大查询率、历史最小查询率和历史平均查询的权重分别为0.25、0.25、0.5。需要说明的是,在确定预测查询率时,除了使用历史平均查询率,还考虑了历史最大查询率和历史最小查询率,也即是考虑了资源获取请求的查询率突变的情况,由此可保证预测查询率的准确性。
S203、根据预测查询率,预测目标区域待缓存的目标资源数量。
在一种可选的实施方式中,可根据预测查询率、预设的时间参数和资源数控制参数,预测目标区域需要缓存的总资源数量。例如将预测查询率、预设的时间参数和资源数控制参数的乘积作为目标区域需要缓存的总资源数量;其中,时间参数可以是预先设定的时长,单位为秒,资源数控制参数是根据实际业务需要确定的,而且资源数控制参数还可以动态调整,例如,目标区域的区域资源池中长时间没有出现空的情况,可认为区域资源池中缓存的总资源数较大,可将资源数控制参数调小一些。如此,通过引入资源数控制参数,增强了对资源预获取的控制。进一步的,在得到目标区域需要缓存的总资源数量后,可扫描区域资源池中当前已缓存的实际资源数量(也即是区域资源池中剩余的实际资源数量),进而根据总资源数量和区域资源池中已缓存的实际资源数量,确定目标区域待缓存的目标资源数量。具体的,如果预测的总资源数量大于区域资源池中已缓存的实际资源数量,则将总资源数量和区域资源池中已缓存的实际资源数量的差值作为目标资源数量;如果预测的总资源数量小于或等于区域资源池中已缓存的实际资源数量,则目标资源数量为零。需要说明的是,根据预测的总资源数量和区域资源池中已缓存的实际资源数量,预测目标资源数量,可以保证预测的目标资源数的准确性。
S204、根据目标资源数量,从全局资源池中获取资源,并将获取的资源存储到目标区域的区域资源池中。
本公开实施例中,通过历史查询数据,确定目标区域的预测查询率,进而基于预测查询率,预测目标区域待缓存的目标资源数量,可以保证预测的目标资源数量的准确性。而且对于时效要求较高的资源,通过历史查询数据实现了动态确定预获取的目标资源数量,相比于采用固定值进行资源预获取,可避免出现资源浪费的情况。
图3是根据本公开实施例的又一资源处理方法的流程示意图,本实施例在上述实施例的基础上进行优化,参见图3,资源处理方法具体如下:
S301、获取目标区域的历史查询数据。
本公开实施例中,除了在监听到资源预获取的通知消息时,获取目标区域的历史查询数据之外;如果超过预设时长没有监听到资源预获取的通知消息,则主动检测是否需要对区域资源池中预获取资源,例如检测区域资源池的各资源的时效性,如果失效资源数超过第一阈值,或者未失效资源数量小于第二阈值,则执行获取目标区域的历史查询数据,以启动资源预获取的流程。
S302、根据历史查询数据,确定目标区域的预测查询率。
S303、根据预测查询率、预设的时间参数和资源数控制参数,预测目标区域需要缓存的总资源数量。
本公开实施例中,在计算目标资源数量之前,可通过S304-S306的步骤将区域资源池失效资源剔除,以保证区域资源池中缓存的资源的时效性。
S304、对区域资源池中已缓存的实际资源进行时效性检测,得到时效检测结果。
可选的,遍历区域资源池中每个资源的获取时间,然后根据当前时间和区域资源池中每个资源的获取时间,确定每个资源在区域资源池中的存储时长,进而根据每个资源的存储时长,结合预设的资源失效时长,判断每个资源是否失效,并为每个资源添加是否失效的标签,得到时效检测结果。
S305、根据时效检测结果,从实际资源中选择失效资源。
可选的,根据时效检测结果中记录的每个资源的标签,从实际资源中选择失效资源。
S306、将失效资源从区域资源池中剔除。
S307、根据总资源数量和区域资源池中已缓存的实际资源数量,确定目标区域待缓存的目标资源数量。
其中,区域资源池中已缓存的实际资源数量可选的是区域资源池中剩余的未失效资源的数量。
S308、根据目标资源数量,从全局资源池中获取资源,并将获取的资源存储到目标区域的区域资源池中。
本公开实施例中,通过剔除区域资源池中失效资源,提高了确定目标资源数量的准确性,同时保证区域资源池中预获取的资源的时效性。
图4是根据本公开实施例的又一资源处理方法的流程示意图,本实施例在上述实施例的基础上进行优化,参见图4,资源处理方法具体如下:
S401、获取目标区域的历史查询数据。
S402、根据历史查询数据,预测目标区域待缓存的目标资源数量。
S403、根据目标资源数量,从全局资源池中获取资源,并将获取的资源存储到目标区域的区域资源池中。
S404、响应于资源获取请求,从区域资源池中获取资源,并将获取的资源反馈到请求端。
在一种可选的方式中,从区域资源池中获取资源后,还可对从区域资源池中获取到的资源的时效性进行检测,若获取到的资源已失效,则重新在区域资源池获取资源。并将新获取的未失效的资源反馈给请求端。以此保证反馈给请求端的资源是有效资源。
进一步的,在接收到资源获取请求时,区域资源池中没有有效资源,则从全局资源池获取资源,并反馈给请求端,以保证请求端能够获取到有效资源。
本公开实施例中实现了根据历史QPS预测目标区域待缓存的资源数,而且预先将全局资源池的部分资源缓存在目标区域的区域资源池中,实现了资源的预获取,使得目标区域用户获取资源时,可直接从本地获取,避免了跨地域获取资源产生的延时,保证了资源获取的效率;而且通过对从区域资源池中获取的资源的时效性进行检测,可以保证反馈给请求端的资源的时效性。
图5是根据本公开实施例的资源处理装置的结构示意图,本实施例可适用于互联网大规模分布式系统,对于跨地域获取资源、资源获取成本较高的场景。如图5所示,该装置具体包括:
历史数据获取模块501,用于获取目标区域的历史查询数据;
预测模块502,用于根据历史查询数据,预测目标区域待缓存的目标资源数量;
资源填充模块503,用于根据目标资源数量,从全局资源池中获取资源,并将获取的资源存储到目标区域的区域资源池中。
在上述实施例的基础上,可选的,预测模块包括:
预测查询率确定单元,用于根据历史查询数据,确定目标区域的预测查询率;
目标资源数预测单元,根据预测查询率,预测目标区域待缓存的目标资源数量。
在上述实施例的基础上,可选的,预测查询率确定单元包括:
统计子单元,用于从历史查询数据中,确定历史最大查询率、历史最小查询率和历史平均查询率;
预测子单元,用于根据历史最大查询率、历史最小查询率和历史平均查询率,确定目标区域的预测查询率。
在上述实施例的基础上,可选的,目标资源数预测单元包括:
总资源数量预测子单元,用于根据预测查询率、预设的时间参数和资源数控制参数,预测目标区域需要缓存的总资源数量;
目标资源数量预测子单元,用于根据总资源数量和区域资源池中已缓存的实际资源数量,确定目标区域待缓存的目标资源数量。
在上述实施例的基础上,可选的,还包括:
第一时效性检测模块,用于对区域资源池中已缓存的实际资源进行时效性检测,得到时效检测结果;
筛选模块,用于根据时效检测结果,从实际资源中选择失效资源;
剔除模块,用于将失效资源从区域资源池中剔除。
在上述实施例的基础上,可选的,目标区域的历史查询数据是以环形队列的方式记录并保存的。
在上述实施例的基础上,可选的,还包括:
资源获取模块,用于响应于资源获取请求,从区域资源池中获取资源,并将获取的资源反馈到请求端。
在上述实施例的基础上,可选的,还包括:
时效检测与资源重获取模块,用于对从区域资源池中获取到的资源的时效性进行检测,若获取到的资源已失效,则重新在区域资源池获取资源。
本公开实施例提供的资源处理装置可执行本公开任意实施例提供的资源处理方法,具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如资源处理方法。例如,在一些实施例中,资源处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM603并由计算单元601执行时,可以执行上文描述的资源处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行资源处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (19)

1.一种资源处理方法,包括:
获取目标区域的历史查询数据;
根据所述历史查询数据,预测所述目标区域待缓存的目标资源数量;
根据所述目标资源数量,从全局资源池中获取资源,并将获取的资源存储到所述目标区域的区域资源池中。
2.根据权利要求1所述的方法,其中,所述根据所述历史查询数据,预测所述目标区域待缓存的目标资源数量,包括:
根据所述历史查询数据,确定所述目标区域的预测查询率;
根据所述预测查询率,预测所述目标区域待缓存的目标资源数量。
3.根据权利要求2所述的方法,其中,所述根据所述历史查询数据,确定所述目标区域的预测查询率,包括:
从所述历史查询数据中,确定历史最大查询率、历史最小查询率和历史平均查询率;
根据所述历史最大查询率、历史最小查询率和历史平均查询率,确定所述目标区域的预测查询率。
4.根据权利要求2所述的方法,其中,所述根据所述预测查询率,预测所述目标区域待缓存的目标资源数量,包括:
根据所述预测查询率、预设的时间参数和资源数控制参数,预测所述目标区域需要缓存的总资源数量;
根据所述总资源数量和区域资源池中已缓存的实际资源数量,确定所述目标区域待缓存的目标资源数量。
5.根据权利要求4所述的方法,还包括:
对所述区域资源池中已缓存的实际资源进行时效性检测,得到时效检测结果;
根据所述时效检测结果,从所述实际资源中选择失效资源;
将所述失效资源从所述区域资源池中剔除。
6.根据权利要求1所述的方法,其中,所述目标区域的历史查询数据是以环形队列的方式记录并保存的。
7.根据权利要求1所述的方法,还包括:
响应于资源获取请求,从所述区域资源池中获取资源,并将获取的资源反馈到请求端。
8.根据权利要求7所述的方法,还包括:
对从所述区域资源池中获取到的资源的时效性进行检测,若获取到的资源已失效,则重新在所述区域资源池获取资源。
9.一种资源处理装置,包括:
历史数据获取模块,用于获取目标区域的历史查询数据;
预测模块,用于根据所述历史查询数据,预测所述目标区域待缓存的目标资源数量;
资源填充模块,用于根据所述目标资源数量,从全局资源池中获取资源,并将获取的资源存储到所述目标区域的区域资源池中。
10.根据权利要求9所述的装置,其中,所述预测模块包括:
预测查询率确定单元,用于根据所述历史查询数据,确定所述目标区域的预测查询率;
目标资源数预测单元,根据所述预测查询率,预测所述目标区域待缓存的目标资源数量。
11.根据权利要求10所述的装置,其中,所述预测查询率确定单元包括:
统计子单元,用于从所述历史查询数据中,确定历史最大查询率、历史最小查询率和历史平均查询率;
预测子单元,用于根据所述历史最大查询率、历史最小查询率和历史平均查询率,确定所述目标区域的预测查询率。
12.根据权利要求10所述的装置,其中,所述目标资源数预测单元包括:
总资源数量预测子单元,用于根据所述预测查询率、预设的时间参数和资源数控制参数,预测所述目标区域需要缓存的总资源数量;
目标资源数量预测子单元,用于根据所述总资源数量和区域资源池中已缓存的实际资源数量,确定所述目标区域待缓存的目标资源数量。
13.根据权利要求12所述的装置,还包括:
第一时效性检测模块,用于对所述区域资源池中已缓存的实际资源进行时效性检测,得到时效检测结果;
筛选模块,用于根据所述时效检测结果,从所述实际资源中选择失效资源;
剔除模块,用于将所述失效资源从所述区域资源池中剔除。
14.根据权利要求9所述的装置,其中,所述目标区域的历史查询数据是以环形队列的方式记录并保存的。
15.根据权利要求9所述的装置,还包括:
资源获取模块,用于响应于资源获取请求,从所述区域资源池中获取资源,并将获取的资源反馈到请求端。
16.根据权利要求15所述的装置,还包括:
时效检测与资源重获取模块,用于对从所述区域资源池中获取到的资源的时效性进行检测,若获取到的资源已失效,则重新在所述区域资源池获取资源。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202111521780.0A 2021-12-13 2021-12-13 一种资源处理方法、装置、电子设备和存储介质 Pending CN114201708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111521780.0A CN114201708A (zh) 2021-12-13 2021-12-13 一种资源处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111521780.0A CN114201708A (zh) 2021-12-13 2021-12-13 一种资源处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114201708A true CN114201708A (zh) 2022-03-18

Family

ID=80653249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111521780.0A Pending CN114201708A (zh) 2021-12-13 2021-12-13 一种资源处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114201708A (zh)

Similar Documents

Publication Publication Date Title
CN112559182B (zh) 资源分配方法、装置、设备及存储介质
CN114500339B (zh) 一种节点带宽监测方法、装置、电子设备及存储介质
CN112860974A (zh) 计算资源的调度方法、装置、电子设备和存储介质
CN109428926B (zh) 一种调度任务节点的方法和装置
CN114155026A (zh) 一种资源分配方法、装置、服务器及存储介质
CN112615795A (zh) 流量控制方法、装置、电子设备、存储介质及产品
CN113760982A (zh) 一种数据处理方法和装置
CN114327918B (zh) 调整资源量的方法、装置、电子设备和存储介质
CN116661960A (zh) 一种批量任务处理方法、装置、设备以及存储介质
CN116594563A (zh) 分布式存储扩容方法、装置、电子设备和存储介质
CN112817687A (zh) 一种数据同步方法和装置
CN116185578A (zh) 计算任务的调度方法和计算任务的执行方法
CN114201708A (zh) 一种资源处理方法、装置、电子设备和存储介质
CN115567602A (zh) Cdn节点回源方法、设备及计算机可读存储介质
CN112994934B (zh) 数据交互方法、装置及系统
CN114374657A (zh) 一种数据处理方法和装置
CN114051057A (zh) 云设备排队时长的确定方法、装置、电子设备和介质
CN113778645A (zh) 基于边缘计算的任务调度方法、装置、设备及存储介质
CN115442432B (zh) 一种控制方法、装置、设备及存储介质
CN113835733B (zh) 云应用更新方法、装置、电子设备以及存储介质
CN113946414A (zh) 一种任务处理方法、装置及电子设备
CN116233010A (zh) 流量控制方法、装置、设备及存储介质
CN115495012A (zh) 资源处理方法、装置、平台、设备及存储介质
CN117149563A (zh) 微服务监控方法、装置、设备及存储介质
CN117082083A (zh) 一种基于分布式物联网架构的数据存储方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination