CN111124952A - 一种数据管理方法、装置、电子设备及可读存储介质 - Google Patents

一种数据管理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111124952A
CN111124952A CN201911229131.6A CN201911229131A CN111124952A CN 111124952 A CN111124952 A CN 111124952A CN 201911229131 A CN201911229131 A CN 201911229131A CN 111124952 A CN111124952 A CN 111124952A
Authority
CN
China
Prior art keywords
preset
frequency
requested
target data
requested frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911229131.6A
Other languages
English (en)
Other versions
CN111124952B (zh
Inventor
王晨
皮基庆
林默
张德阳
于敬延
王兆仲
牟晋勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911229131.6A priority Critical patent/CN111124952B/zh
Publication of CN111124952A publication Critical patent/CN111124952A/zh
Application granted granted Critical
Publication of CN111124952B publication Critical patent/CN111124952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明实施例提供了一种数据管理方法、装置、电子设备及可读存储介质，通过针对缓存区域内的目标数据，统计目标数据在预设统计时长内的被请求频率；如果被请求频率满足预设的高频请求条件，则按照第一预设调整规则延长目标数据的过期时长；如果被请求频率满足预设的低频请求条件，则按照第二预设调整规则缩短目标数据的过期时长。可以对缓存区域内的缓存数据的过期时长进行动态调整，为请求频率不同的数据调整不同的过期时长，提高缓存区域存储空间的利用率。

Description

一种数据管理方法、装置、电子设备及可读存储介质
技术领域
本发明涉及数据缓存技术领域，特别是涉及一种数据管理方法、装置、电子设备及可读存储介质。
背景技术
缓存技术在互联网服务系统中已经普遍应用，对获取耗时较长的热点数据进行缓存，可以使得程序执行中直接从缓存中获取这些热点数据，从而大大提高系统的执行效率。
目前现有的做法是将同源数据(数据源一致或者获取逻辑一致的数据)统一在缓存区域进行缓存，并对该缓存区域设置对应的过期时长。同源数据在达到过期时长后失效并从缓存区域中移除。
然而，由于缓存区域的存储空间有限，对缓存区域设置对应的过期时长，将导致缓存区域的存储空间得不到充分的利用。
发明内容
本发明实施例的目的在于提供一种数据管理方法、装置、电子设备及可读存储介质，以实现提高缓存区域的存储空间利用率。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种数据管理方法，所述方法包括：
针对缓存区域内的目标数据，统计所述目标数据在预设统计时长内的被请求频率；
如果所述被请求频率满足预设的高频请求条件，则按照第一预设调整规则延长所述目标数据的过期时长；
如果所述被请求频率满足预设的低频请求条件，则按照第二预设调整规则缩短所述目标数据的过期时长。
可选地，所述方法还包括：
计算所述被请求频率与预设参考频率之间的差异度；
如果所述差异度大于第一预设阈值，则确定所述被请求频率满足预设的高频请求条件；
如果所述差异度小于第二预设阈值，则确定所述被请求频率满足预设的低频请求条件，第一预设阈值大于或等于第二预设阈值。
可选地，所述计算所述被请求频率与预设参考频率之间的差异度包括：
计算所述被请求频率与预设参考频率的比值，作为所述被请求频率与所述预设参考频率之间的差异度；或者计算所述被请求频率与预设参考频率的差值，并以所述差值与所述预设参考频率的比值作为所述被请求频率与所述预设参考频率之间的差异度。
可选地，所述方法还包括：
计算在预设统计时长内缓存区域中的所有缓存数据的平均被请求频率，作为预设参考频率。
可选地，所述如果确定所述被请求频率满足预设的高频请求条件，则按照第一预设调整规则延长所述目标数据的过期时长，包括：
若所述被请求频率满足预设的高频请求条件，则将目标数据的当前过期时长按照第一预设调整比例增大，得到调整后的过期时长；
所述如果确定所述被请求频率满足预设的低频请求条件，则按照第二预设调整规则缩短所述目标数据的过期时长，包括：
若所述被请求频率满足预设的低频请求条件，则将所述目标数据的当前过期时长按照第二预设调整比例减小，得到调整后的过期时长。
可选地，所述方法还包括：
当所述被请求频率满足预设的高频请求条件时，判断所述延长后的过期时长是否大于预设过期上限时长；
若大于，则将所述预设过期上限时长确定为所述目标数据的过期时长。
在本发明实施的第二方面，还提供了一种数据管理装置，包括：
统计单元，用于针对缓存区域内的目标数据，统计所述目标数据在预设统计时长内的被请求频率；
第一调整单元，用于在所述被请求频率满足预设的高频请求条件时，则按照第一预设调整规则延长所述目标数据的过期时长；
第二调整单元，用于在所述被请求频率满足预设的低频请求条件时，则按照第二预设调整规则缩短所述目标数据的过期时长。
可选地，所述装置还包括：
第一计算单元，用于计算所述被请求频率与预设参考频率之间的差异度；
第一确定单元，用于在所述差异度大于第一预设阈值时，则确定所述被请求频率满足预设的高频请求条件；
第二确定单元，用于在所述差异度小于第二预设阈值时，则确定所述被请求频率满足预设的低频请求条件，所述第一预设阈值大于或等于所述第二预设阈值。
在本发明实施的第二方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的数据管理方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据管理方法。
本发明实施例提供的一种数据管理方法，通过针对缓存区域内的目标数据，统计目标数据在预设统计时长内的被请求频率；如果被请求频率满足预设的高频请求条件，则按照第一预设调整规则延长目标数据的过期时长；如果被请求频率满足预设的低频请求条件，则按照第二预设调整规则缩短目标数据的过期时长。可以对缓存区域内的缓存数据的过期时长进行动态调整，为请求频率不同的数据调整不同的过期时长，提高缓存区域存储空间的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的数据管理系统的结构示意图；
图2为本发明实施例提供的一种数据管理方法的流程示意图；
图3为本发明实施例提供的一种数据管理方法示例的示意图；
图4为本发明实施例提供的一种数据管理装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
本发明实施例提供了一种数据管理方法，可以应用于数据管理系统。如图1所示，该系统可以包括缓存单元、统计模块、调用方和过期时长管理模块。缓存单元用于存储缓存数据。统计模块用于周期性统计缓存单元内的每条缓存数据在预设统计时长内的被请求频率，同时还可以统计出在预设统计时长内所有缓存数据的平均请求频率。统计模块还用于将每条数据的被请求频率和平均请求频率发送给过期时长管理模块。过期时长管理模块用于根据预设调整规则调整每条数据的过期时长。调用方用于从缓存单元请求使用缓存数据。
本发明实施例提供了一种数据管理方法，如图2所示，具体可以包括如下步骤：
步骤S201：针对缓存区域内的目标数据，统计目标数据在预设统计时长内的被请求频率。
在本申请实施例中，当有缓存数据进入到缓存区域时，该缓存数据被确定为目标数据。针对新进入缓存区域的目标数据，首先为该数据分配一个初始过期时长。统计模块统计该新进入的缓存数据在预设统计时长内的被请求频率。并且统计模块是周期性统计目标数据的被请求频率。
在一个示例中，预设统计时长是10分钟，每隔1分钟统计一次，那么在目标数据刚进入缓存区域时，开始计时，并且同时开始统计目标数据的被请求次数，计时达到10分钟时，结束计时。然后利用这十分钟内统计的被请求次数除以计时时长10分钟，就得到该目标数据的被请求频率。1分钟后，重新开始计时并统计被请求次数，计时再次达到10分钟时，再次按照上述计算方法统计目标数据的被请求频率，按照上述的统计时长和间隔时长，不断重复统计，直到该目标数据被剔除缓存区域内。
需要说明的是，统计模块也可以统计目标数据在预设统计时长内的被请求次数等能够表征被请求频率的参数，凡是能够表征被请求频率，与被请求频率具有相同意义的参数均在本发明的保护范围之内。
步骤S202：如果被请求频率满足预设的高频请求条件，则按照第一预设调整规则延长目标数据的过期时长。
在本申请实施例中，过期时长管理模块接收到统计模块发送的目标数据的被请求频率，确定该被请求频率是否满足高频请求条件。在一个示例中，可以将被请求频率与预设参考频率进行比较，如果被请求频率大于预设参考频率，说明该目标数据是热门数据。对于热门数据，需求量大，需要延长其过期时长。例如，将目标数据的当前过期时长加上一个预设的固定时长。
可选地，在得到目标数据的被请求频率后，要判断该被请求频率是否满足高频请求条件或者低频请求条件，具体过程可以为：计算被请求频率与预设参考频率之间的差异度；如果差异度大于第一预设阈值，则确定被请求频率满足预设的高频请求条件；如果差异度小于第二预设阈值，则确定被请求频率满足预设的低频请求条件，第一预设阈值大于或等于第二预设阈值。
在本申请实施例中，统计模块将统计的目标数据的被请求频率发送给过期时长管理模块。过期时长管理模块则可以计算目标数据的被请求频率与预设参考频率之间的差异度，并将差异度分别与第一预设阈值和第二预设阈值进行比较，如果差异度大于第一预设阈值，那么说明该目标数据属于热门高频数据；如果差异度小于第一预设阈值，说明该目标属于冷门低频数据，如果介于第一预设阈值与第二预设阈值之间，那么就将目标数据的过期时长保持初始过期时长。第一预设阈值和第二预设阈值也可以为同一个阈值。
在一个示例中，第一预设阈值和第二预设阈值均为10％，如果统计模块计算得到差异度为11％，那么被请求频率满足高频请求条件。如果统计模块计算得到差异度为1％，那么被请求频率满足低频请求条件。
本步骤中，预设参考频率可以是根据经验设定的一个固定频率范围或者具体的频率数值。例如，根据大部分高频数据的被请求频率和大部分低频数据的被请求频率，设定一个中间频率值或频率范围，低于该中间频率值或频率范围的下限就是冷门数据，高于该中间频率值或频率范围的上限就是热门数据。
可选地，在另一个实施例中，可以计算在预设统计时长内缓存区域中的所有缓存数据的平均被请求频率，作为预设参考频率。
在本申请实施例中，将缓存区域内所有数据在预设统计时长内的平均被请求频率作为预设参考频率。具体的，统计模块首先统计缓存区域内每条缓存数据在该预设统计时长内的被请求频率，然后将每条缓存数据的被请求频率相加，得到总的被请求频率之和，利用该被请求频率之和除以缓存区域内缓存数据的数量，就得到了平均被请求频率。
需要说明的是，在计算平均被请求频率时，是统计缓存区域内所有的缓存数据，包括目标数据。
统计模块将统计的平均被请求频率发送给过期时长管理模块，由过期时长管理模块计算目标数据的被请求频率与平均被请求频率的差异度。
本步骤中，由于缓存区域内的缓存数据是动态的，一直在进行更新，所以以缓存区域内的所有缓存数据的平均被请求频率作为参考频率，该参考频率也是一个动态参考值，该动态参考值相对于静态的参考频率更加精确，参考意义更大。
在本步骤中，差异度可以是用于反映目标数据的被请求频率与预设参考频率之间的偏差的数值。差异度的计算方式有多种，可选地，计算被请求频率与预设参考频率之间的差异度可以包括：计算被请求频率与预设参考频率的比值，作为被请求频率与预设参考频率之间的差异度；或者计算被请求频率与预设参考频率的差值，并以差值与预设参考频率的比值作为被请求频率与预设参考频率之间的差异度。
在另一个实施例中，还可以将被请求频率与预设参考频率之间的差值作为两者之间的差异度。
在一个示例中，将被请求频率与预设参考频率之间的比值作为差异度，例如被请求频率是0.001次/秒，参考频率是0.005次/秒，那么差异度就是0.2，如果被请求频率是1次/秒，参考频率是5次/秒，那么差异度也是0.2，那么可以将第一预设阈值和第二预设阈值均设置为0-1之间任一的一个数值，而不需要根据请求频率和参考频率的数量级来不断调整第一预设阈值和第二预设阈值。
可选地，如果确定被请求频率满足预设的高频请求条件，则按照预设调整规则延长目标数据的过期时长，具体过程为：若被请求频率满足预设的高频请求条件，则将目标数据的当前过期时长按照第一预设调整比例增大，得到调整后的过期时长。
在本申请实施例中，如果确定被请求频率满足预设的高频请求条件，说明目标数据的被请求频率大于预设参考频率，且差异度大于第一预设阈值，目标数据属于热门数据。对于热门的数据，由于其需求大于冷门数据，所以需要延长其过期时长，那么将该目标数据的当前过期时长按照第一预设比例增大。具体的，可以将目标数据的当前过期时长乘以该第一预设调整比例，得到需要增加的过期时长，将该增加的过期时长与当前过期时长相加即得到调整后的新的过期时长。
步骤S203：如果被请求频率满足预设的低频请求条件，则按照第二预设调整规则缩短目标数据的过期时长。
在本申请实施例中，过期时长管理模块接收到统计模块发送的目标数据的被请求频率，确定该被请求频率是否满足低频请求条件。在一个示例中，可以将被请求频率与预设参考频率进行比较，如果被请求频率小于预设参考频率，说明该目标数据是冷门数据。对于冷门数据，需求量小，需要缩短其过期时长，尽快清出缓存区域。例如，将目标数据的当前过期时长减去一个预设的固定时长。
需要说明的是，第二预设调整规则与第一预设调整规则可以相同，也可以不同。
可选地，如果确定被请求频率满足预设的低频请求条件，则按照预设调整规则缩短目标数据的过期时长，具体过程为：若被请求频率满足预设的低频请求条件，则将目标数据的当前过期时长按照第二预设调整比例减小，得到调整后的过期时长。
在本申请实施例中，如果确定被请求频率满足预设的低频请求条件，说明目标数据的被请求频率小于参考频率，且差异度小于第二预设阈值，目标数据属于冷门数据。对于冷门数据，由于其需要小，为了减小其占用在缓存区域内的时长，那么需要将其尽快移出缓存区域。所以需要将该目标数据的过期时长缩短。具体的，将目标数据的当前过期时长乘以第二预设调整比例，得到需要减少的过期时长。目标数据的当前过期时长减去该需要减少的过期时长就是调整后的过期时长。
本步骤中，第二预设调整比例和第一预设调整比例可以相同，也可以不同。
本步骤中，如果是对于目标数据第一次进行统计，调整其过期时长，那么其当前的过期时长就是在其进入缓存区域时，为期分配的初始过期时长，如果是第二次以上进行统计，那么就是目标数据的当前过期时长就是上一次调整得到的过期时长。
可选地，为了防止目标数据的过期时长会一直无限延长的情况，还可以包括：当被请求频率满足预设的高频请求条件时，判断延长后的过期时长是否大于预设过期上限时长；若大于，则将预设过期上限时长确定为目标数据的过期时长。
同样，当被请求频率满足预设的低频请求条件时，还可以为目标数据设置一个预设过期下限时长；判断缩短后的过期时长是否小于预设过期下限时长；若小于，则将预设过期下限时长确定为目标数据的过期时长。
本申请实施例还提供了一种数据管理方法的示例。如图3所示，具体包括如下过程：
S301：当由新数据进入缓存区域时，缓存区域将其作为目标数据，并为其分配初始过期时长Texp，并发送请求信号给统计模块，统计模块开始计时。
S302：经过预设统计时长Tstatistics后，统计模块统计出目标数据在预设统计时长Tstatistics内的被请求频率，以每秒被请求次数来表示，记为Nk，同时，统计模块还统计出在预设统计时长Tstatistics内缓存区域内所有数据的平均被请求频率，记为Navg。
其中K为目标数据的唯一标识。
S303：统计模块将目标数据的被请求频率Nk和平均被请求频率Navg发送给过期时间管理模块。
S304：过期时间管理模块按照如下预设调整规则，调整目标数据的过期时长：
若被请求频率Nk大于平均被请求频率Navg，并且将被请求频率Nk与平均被请求频率Navg的差值作为被除数，将平均被请求频率Navg作为除数，计算两者的比值，将该比值作为差异度。若比值大于第一预设阈值Y，例如Y＝10％，即Nk>Navg且(Nk-Navg)/Navg>Y。
说明该条缓存数据是相对较“热”的数据，则将该条缓存数据的过期时长Texp(K)按设定的调整比例Pa增大，例如调整比例Pa＝5％，但不能超过预设过期上限时长Texp_max，即T’ exp(K)＝min(Texp(K)*(1+Pa),Texp_max)。
若被请求频率Nk小于平均被请求频率Navg，并且将平均被请求频率Navg与被请求频率Nk的差值作为被除数，将平均被请求频率Navg作为除数，计算两者的比值，将该比值的绝对值作为差异度。若比值的绝对值小于第二预设阈值Y，例如Y＝10％，即Nk<Navg且|(Nk-Navg)/Navg|<Y。
说明该条缓存数据是相对较“冷”的数据，则将该条缓存数据的过期时长Texp(K)按设定的调整比例Pa减小，例如调整比例Pa＝5％，即Texp(K)＝Texp(K)*(1-Pa)。
依此方法，经过数次统计后，被请求频率较高的数据，过期时长会增长，而被请求频率较低的数据，过期时长会被动态调整得越来越短，最终这类数据会在更短的时间被移出缓存区域，释放了存储空间。
基于同样的发明构思，本申请实施例还提供了一种数据管理装置，如图4所示，包括：
统计单元410，用于针对缓存区域内的目标数据，统计所述目标数据在预设统计时长内的被请求频率；
第一调整单元420，用于在所述被请求频率满足预设的高频请求条件时，则按照第一预设调整规则延长所述目标数据的过期时长；
第二调整单元430，用于在所述被请求频率满足预设的低频请求条件时，则按照第二预设调整规则缩短所述目标数据的过期时长。
可选地，所述装置还包括：
第一计算单元，用于计算所述被请求频率与预设参考频率之间的差异度；
第一确定单元，用于在所述差异度大于第一预设阈值时，则确定所述被请求频率满足预设的高频请求条件；
第二确定单元，用于在所述差异度小于第二预设阈值时，则确定所述被请求频率满足预设的低频请求条件，所述第一预设阈值大于或等于所述第二预设阈值。
可选地，所述第一计算单元包括：
第一计算子单元，用于计算所述被请求频率与预设参考频率的比值，作为所述被请求频率与所述预设参考频率之间的差异度；或者，
第二计算子单元，用于计算所述被请求频率与预设参考频率的差值，并以所述差值与所述预设参考频率的比值作为所述被请求频率与所述预设参考频率之间的差异度。
可选地，所述装置还包括：
第二计算单元，用于计算在预设统计时长内缓存区域中的所有缓存数据的平均被请求频率，作为预设参考频率。
可选地，所述第一调整单元还可以包括：
第一调整子单元，用于若所述被请求频率满足预设的高频请求条件，则将所述目标数据的当前过期时长按照第一预设调整比例增大，得到调整后的过期时长；
所述第二调整单元还可以包括：
第二调整子单元，用于若所述被请求频率满足预设的低频请求条件，则将所述目标数据的当前过期时长按照第二预设调整比例减小，得到调整后的过期时长。
可选地，所述装置还可以包括：
判断单元，用于当所述被请求频率满足预设的高频请求条件时，判断所述延长后的过期时长是否大于预设过期上限时长；
第三确定单元，用于在延长后的过期时长大于预设过期上限时长时，将所述预设过期上限时长确定为所述目标数据的过期时长。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现数据管理方法的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据管理方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据管理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据管理方法，其特征在于，所述方法包括：
针对缓存区域内的目标数据，统计所述目标数据在预设统计时长内的被请求频率；
如果所述被请求频率满足预设的高频请求条件，则按照第一预设调整规则延长所述目标数据的过期时长；
如果所述被请求频率满足预设的低频请求条件，则按照第二预设调整规则缩短所述目标数据的过期时长。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
计算所述被请求频率与预设参考频率之间的差异度；
如果所述差异度大于第一预设阈值，则确定所述被请求频率满足预设的高频请求条件；
如果所述差异度小于第二预设阈值，则确定所述被请求频率满足预设的低频请求条件，所述第一预设阈值大于或等于所述第二预设阈值。
3.根据权利要求2所述的方法，其特征在于，所述计算所述被请求频率与预设参考频率之间的差异度包括：
计算所述被请求频率与预设参考频率的比值，作为所述被请求频率与所述预设参考频率之间的差异度；或者，
计算所述被请求频率与预设参考频率的差值，并以所述差值与所述预设参考频率的比值作为所述被请求频率与所述预设参考频率之间的差异度。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
计算在预设统计时长内缓存区域中的所有缓存数据的平均被请求频率，作为预设参考频率。
5.根据权利要求1所述的方法，其特征在于，所述如果确定所述被请求频率满足预设的高频请求条件，则按照第一预设调整规则延长所述目标数据的过期时长，包括：
若所述被请求频率满足预设的高频请求条件，则将所述目标数据的当前过期时长按照第一预设调整比例增大，得到调整后的过期时长；
所述如果确定所述被请求频率满足预设的低频请求条件，则按照第二预设调整规则缩短所述目标数据的过期时长，包括：
若所述被请求频率满足预设的低频请求条件，则将所述目标数据的当前过期时长按照第二预设调整比例减小，得到调整后的过期时长。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述被请求频率满足预设的高频请求条件时，判断所述延长后的过期时长是否大于预设过期上限时长；
若大于，则将所述预设过期上限时长确定为所述目标数据的过期时长。
7.一种数据管理装置，其特征在于，包括：
统计单元，用于针对缓存区域内的目标数据，统计所述目标数据在预设统计时长内的被请求频率；
第一调整单元，用于在所述被请求频率满足预设的高频请求条件时，则按照第一预设调整规则延长所述目标数据的过期时长；
第二调整单元，用于在所述被请求频率满足预设的低频请求条件时，则按照第二预设调整规则缩短所述目标数据的过期时长。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第一计算单元，用于计算所述被请求频率与预设参考频率之间的差异度；
第一确定单元，用于在所述差异度大于第一预设阈值时，则确定所述被请求频率满足预设的高频请求条件；
第二确定单元，用于在所述差异度小于第二预设阈值时，则确定所述被请求频率满足预设的低频请求条件，所述第一预设阈值大于或等于所述第二预设阈值。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201911229131.6A 2019-12-04 2019-12-04 一种数据管理方法、装置、电子设备及可读存储介质 Active CN111124952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911229131.6A CN111124952B (zh) 2019-12-04 2019-12-04 一种数据管理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911229131.6A CN111124952B (zh) 2019-12-04 2019-12-04 一种数据管理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111124952A true CN111124952A (zh) 2020-05-08
CN111124952B CN111124952B (zh) 2022-09-30

Family

ID=70497345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911229131.6A Active CN111124952B (zh) 2019-12-04 2019-12-04 一种数据管理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111124952B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611283A (zh) * 2020-05-27 2020-09-01 贝壳技术有限公司 数据缓存方法、装置、计算机可读存储介质及电子设备
CN112035496A (zh) * 2020-08-28 2020-12-04 平安科技（深圳）有限公司 一种数据处理方法、相关设备及计算机可读存储介质
CN112650695A (zh) * 2020-12-30 2021-04-13 北京奇艺世纪科技有限公司 一种应用服务器的缓存管理方法及装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090013320A1 (en) * 2007-07-05 2009-01-08 Peterson Robert R Runtime Machine Analysis of Applications to Select Methods Suitable for Method Level Caching
US20100242050A1 (en) * 2005-03-08 2010-09-23 Wilson Chan Method and system for deadlock detection in a distributed environment
CN104571954A (zh) * 2014-12-26 2015-04-29 杭州华为数字技术有限公司 一种数据存储方法及装置
CN105681465A (zh) * 2010-12-08 2016-06-15 高通股份有限公司 在通信网络中交换存在信息
US20180006886A1 (en) * 2016-06-29 2018-01-04 International Business Machines Corporation Automatically tuning middleware in a mobilefirst platform running in a docker container infrastructure
CN108153783A (zh) * 2016-12-06 2018-06-12 腾讯科技（北京）有限公司 一种数据缓存的方法和装置
CN108446148A (zh) * 2018-01-29 2018-08-24 北京奇艺世纪科技有限公司 一种规则管理的方法、装置及电子设备
CN108804707A (zh) * 2018-06-21 2018-11-13 腾讯科技（深圳）有限公司 一种页面处理方法、装置以及相关设备
CN109379395A (zh) * 2018-08-22 2019-02-22 中国平安人寿保险股份有限公司 一种接口数据缓存设置方法及终端设备
CN109597915A (zh) * 2018-09-18 2019-04-09 北京微播视界科技有限公司 访问请求处理方法和装置
CN109992431A (zh) * 2019-03-05 2019-07-09 福建天泉教育科技有限公司 一种实现重试的方法及终端
CN110083485A (zh) * 2019-03-15 2019-08-02 咪咕文化科技有限公司 分流方法、数据服务系统及其前端、存储介质
CN110187840A (zh) * 2019-05-30 2019-08-30 北京奇艺世纪科技有限公司 一种数据迁移方法、装置、服务器及存储介质
CN110321298A (zh) * 2019-06-21 2019-10-11 北京奇艺世纪科技有限公司 一种时间间隔确定方法、装置、电子设备及介质
CN110334735A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 多任务网络生成方法、装置、计算机设备和存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100242050A1 (en) * 2005-03-08 2010-09-23 Wilson Chan Method and system for deadlock detection in a distributed environment
US20090013320A1 (en) * 2007-07-05 2009-01-08 Peterson Robert R Runtime Machine Analysis of Applications to Select Methods Suitable for Method Level Caching
CN105681465A (zh) * 2010-12-08 2016-06-15 高通股份有限公司 在通信网络中交换存在信息
CN104571954A (zh) * 2014-12-26 2015-04-29 杭州华为数字技术有限公司 一种数据存储方法及装置
US20180006886A1 (en) * 2016-06-29 2018-01-04 International Business Machines Corporation Automatically tuning middleware in a mobilefirst platform running in a docker container infrastructure
CN108153783A (zh) * 2016-12-06 2018-06-12 腾讯科技（北京）有限公司 一种数据缓存的方法和装置
CN108446148A (zh) * 2018-01-29 2018-08-24 北京奇艺世纪科技有限公司 一种规则管理的方法、装置及电子设备
CN108804707A (zh) * 2018-06-21 2018-11-13 腾讯科技（深圳）有限公司 一种页面处理方法、装置以及相关设备
CN109379395A (zh) * 2018-08-22 2019-02-22 中国平安人寿保险股份有限公司 一种接口数据缓存设置方法及终端设备
CN109597915A (zh) * 2018-09-18 2019-04-09 北京微播视界科技有限公司 访问请求处理方法和装置
CN109992431A (zh) * 2019-03-05 2019-07-09 福建天泉教育科技有限公司 一种实现重试的方法及终端
CN110083485A (zh) * 2019-03-15 2019-08-02 咪咕文化科技有限公司 分流方法、数据服务系统及其前端、存储介质
CN110187840A (zh) * 2019-05-30 2019-08-30 北京奇艺世纪科技有限公司 一种数据迁移方法、装置、服务器及存储介质
CN110334735A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 多任务网络生成方法、装置、计算机设备和存储介质
CN110321298A (zh) * 2019-06-21 2019-10-11 北京奇艺世纪科技有限公司 一种时间间隔确定方法、装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡涛等: "面向云应用的存储缓存子系统", 《计算机科学》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611283A (zh) * 2020-05-27 2020-09-01 贝壳技术有限公司 数据缓存方法、装置、计算机可读存储介质及电子设备
CN112035496A (zh) * 2020-08-28 2020-12-04 平安科技（深圳）有限公司 一种数据处理方法、相关设备及计算机可读存储介质
CN112650695A (zh) * 2020-12-30 2021-04-13 北京奇艺世纪科技有限公司 一种应用服务器的缓存管理方法及装置
CN112650695B (zh) * 2020-12-30 2023-09-05 北京奇艺世纪科技有限公司 一种应用服务器的缓存管理方法及装置

Also Published As

Publication number Publication date
CN111124952B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN111124952B (zh) 一种数据管理方法、装置、电子设备及可读存储介质
CN109190070B (zh) 一种数据处理方法、装置、系统及应用服务器
CN109299144B (zh) 一种数据处理方法、装置、系统及应用服务器
CN109379395B (zh) 一种接口数据缓存设置方法及终端设备
US9405597B1 (en) Centralized throttling service
CN111131856B (zh) 一种缓存过期时间调整方法、装置、电子设备及存储介质
CN109982159B (zh) 在线播放流媒体的方法和终端
CN107301215B (zh) 一种搜索结果缓存方法及装置、搜索方法及装置
CN111049756B (zh) 请求响应方法、装置、电子设备及计算机可读存储介质
CN106713028B (zh) 业务降级方法、装置和分布式任务调度系统
CN111597213B (zh) 一种缓存方法、软件服务器及存储介质
CN108647240B (zh) 一种统计访问量的方法、装置、电子设备及存储介质
EP4020153A1 (en) Cache space management method and device
US10574730B2 (en) Streaming media resource downloading method and apparatus, and terminal device
CN111367672A (zh) 数据缓存方法、装置、电子设备及计算机存储介质
CN110321298B (zh) 一种时间间隔确定方法、装置、电子设备及介质
CN111291252A (zh) 一种每秒查询率的调整方法、装置、电子设备及存储介质
CN111381988A (zh) 一种请求限速方法、装置、电子设备及存储介质
CN111159160B (zh) 一种版本回滚方法、装置、电子设备及存储介质
CN113094392A (zh) 数据缓存的方法和装置
CN111562884A (zh) 一种数据存储方法、装置及电子设备
CN112631963B (zh) 缓存数据管理方法、装置、设备及存储介质
CN106612329B (zh) 一种缓存方法及装置
CN113949741A (zh) 一种调度方法、调度装置、电子设备及存储介质
CN109992216B (zh) 一种数据组分配方法、系统及电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant