CN113849532A - 缓存预热方法、装置、计算机设备和存储介质 - Google Patents

缓存预热方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113849532A
CN113849532A CN202111121831.0A CN202111121831A CN113849532A CN 113849532 A CN113849532 A CN 113849532A CN 202111121831 A CN202111121831 A CN 202111121831A CN 113849532 A CN113849532 A CN 113849532A
Authority
CN
China
Prior art keywords
data
access information
service
model
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111121831.0A
Other languages
English (en)
Inventor
谢磊
王相玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202111121831.0A priority Critical patent/CN113849532A/zh
Publication of CN113849532A publication Critical patent/CN113849532A/zh
Priority to PCT/CN2022/120815 priority patent/WO2023046059A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种缓存预热方法、装置、计算机设备和存储介质。缓存预热方法包括：获取历史时间段的业务采集访问信息；将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息；根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值；根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。本发明实施例实现提高缓存预热的准确率和降低人工成本。

Description

缓存预热方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及计算机技术，尤其涉及一种缓存预热方法、装置、计算机设备和存储介质。
背景技术
在大型网站或高并发处理系统中对于缓存的应用必不可少，缓存预热是提升数据查询性能的重要举措之一。
现有技术中，主要通过根据访问量排序固定初始化某一业务全部数据实现缓存预热，或通过人工根据业务特性选择数据的方式实现缓存预热。
但是，现有缓存预热方法存在缓存命中率低、预热范围大和缓存无用数据占用多的准确率低的问题，和人工成本高的问题。
发明内容
本发明实施例提供一种缓存预热方法、装置、计算机设备和存储介质，以实现预测缓存数据，并提高缓存预热的准确率和降低人工成本。
第一方面，本发明实施例提供了一种缓存预热方法，包括：
获取历史时间段的业务采集访问信息；
将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息；
根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值；
根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。
第二方面，本发明实施例还提供了一种缓存预热装置，包括：
业务采集访问信息获取模块，用于获取历史时间段的业务采集访问信息；
业务预测访问信息获取模块，用于将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息；
预测热点评价值获取模块，用于根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值；
缓存预热模块，用于根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例提供的缓存预热方法。
第四方面，本发明实施例还提供了一种包括计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例提供的缓存预热方法。
本发明实施例通过业务预测模型根据历史时间段的业务采集访问信息预测目标时间段的业务预测访问信息，进一步通过数据预测模型预测数据库中数据的热点评价值，根据预测热点评价值筛选出热点数据进行缓存预热，解决了现有技术中固定初始化某一业务全部数或通过人工根据业务特性选择数据准确率低和人工成本高的问题，实现根据历史时间段的业务采集访问信息，预测热点数据，根据两个模型分别预测业务预测访问信息和热点评价值，细化预测过程，提高预测的准确率和降低人工成本。
附图说明
图1是本发明实施例一中的一种缓存预热方法的流程图；
图2是本发明实施例二中的一种缓存预热方法的流程图；
图3是本发明实施例三中的一种缓存预热方法的流程图；
图4是本发明实施例四中的一种预热缓存方法应用场景的示意图；
图5是本发明实施例五中的一种缓存预热装置的结构示意图；
图6是本发明实施例六中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种缓存预热方法的流程图，本实施例可适用于对缓存预热的情况，该方法可以由缓存预热装置来执行，该装置可以由软件和/或硬件来实现，具体配置于计算机设备中，计算机设备可以是服务端设备和客户端设备，例如，客户端设备是可以是手机、平板电脑、车载终端或台式计算机等。具体包括如下步骤：
S110，获取历史时间段的业务采集访问信息。
历史时间段是指当前时间前的某一时间段，示例性的，可以是前8小时、前一天或前一周等。业务采集访问信息指在历史时间段内采集到的访问信息的业务类型和访问量，业务类型可以是下单、退货和退款等，其中，下单业务类型中包括，商品信息、商品图像和相关推荐商品列表等业务数据。访问量指数据的访问次数，示例性的，当用户打开某一商品详细内容的网页时，该网页中展示的商品信息、商品图像和相关推荐商品列表等数据的访问量增加。需要说明的是，业务类型也可以进行更详细的划分，例如，下单业务类型可以细化为食品、服饰和日用品等业务类型，划分的详细程度可以根据实际需求设定，本发明对此不做限定。
S120，将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息。
目标时间段为需要预测的时间段，即当前时间段之后的一段时间，示例性的，可以为当前时间之后的8小时、一天或一周等。业务预测访问信息是指预测在未来时间段内被访问的业务的访问量。业务预测模型是指输入为历史时间段的业务采集访问信息，输出为目标时间段的业务预测访问信息的模型，示例性的，业务预测模型可以为卷积神经网络模型、时间序列神经网络模型、极限学习机模型或自编码神经网络模型等。预先训练的业务预测模型是指在预先通过样本数据训练模型，得到的符合预设的预测准确率条件的模型，其中，符合预测准确率条件是指业务预测模型的预测准确率大于等于预设准确率阈值，预设准确率阈值为人工预设的数值。
S130，根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值。
数据预测模型是指输入为目标时间段的业务预测访问信息，输出为目标时间段的数据库中数据的预测热点评价值的模型，示例性的，预测模型可以为卷积神经网络模型、时间序列神经网络模型、极限学习机模型或自编码神经网络模型等。数据库指与业务关联的数据集合。热点评价值表示对数据关注的程度，示例性的，热点评价值可以是数据访问的概率值，具体的，热点评价值计算方法可以人为设定，例如，在某一时间段内用某一数据的访问量除以该数据对应业务的总的数据访问量作为热点评价值。
S140，根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。
热点数据是指预测的访问概率高的数据。缓存预热是指在预先将数据库中数据加载到缓存。在得到预测热点评价值后，确定一个预测热点评价值的数值范围区间，并将该范围区间作为筛选热点数据的条件。从数据库中数据筛选出热点数据指在数据库中筛选出预测热点评价值在预测热点评价值的数值范围区间内的数据，筛选出的数据为热点数据。
在一个可选实施例中，所述根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热，包括：在所述数据库中筛选出所述预测热点评价值大于等于预设评价值阈值的数据，并确定为热点数据；将所述热点数据存入缓存中。
根据得到的预测热点评价值，将预测热点评价值大于等于某一预设评价值阈值的预测热点评价值对应的数据作为热点数据。其中，评价值阈值是指预先人为设定的数值，用于筛选热点数据，即当数据的预测热点评价值大于等于评价值阈值时，确定该数据为热点数据。在数据库中筛选出所有预测热点评价值大于等于预测热点评价值的数据，将这些数据加载到缓存中。
通过根据预测热点评价值筛选出热点数据，减少无效数据占用缓存空间的情况，可以提高热点数据筛选的准确率，提高缓存空间利用率。通过缓存预热，在用户请求时，直接读取的就是缓存的数据，而无需去读取数据库重建缓存数据，减小数据库的压力，节约系统的性能开销。
本发明实施例通过业务预测模型根据历史时间段的业务采集访问信息预测目标时间段的业务预测访问信息，进一步通过数据预测模型预测数据库中数据的热点评价值，根据预测热点评价值筛选出热点数据进行缓存预热，解决了现有技术中固定初始化某一业务全部数或通过人工根据业务特性选择数据准确率低和人工成本高的问题，实现根据历史时间段的业务采集访问信息，预测热点数据，根据两个模型分别预测业务预测访问信息和热点评价值，细化预测过程，提高预测的准确率和降低人工成本。
实施例二
图2为本发明实施例二提供的一种缓存预热方法的流程图，本实施例的技术方案在上述技术方案的基础上进一步细化，具体的，在根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值之前，还包括：获取数据训练样本，所述数据训练样本包括数据库访问信息、业务访问信息和所述数据库中数据的检测热点评价值；根据所述数据训练样本对第一模型进行训练；在所述第一模型训练完成时，将当前时刻的第一模型确定为数据预测模型。该方法包括：
S210，获取历史时间段的业务采集访问信息。
S220，将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息。
S230，获取数据训练样本，所述数据训练样本包括数据库访问信息、业务访问信息和所述数据库中数据的检测热点评价值。
数据训练样本用于训练数据预测模型，具体的，数据训练样本为某一时间段内的数据库访问信息、业务访问信息和数据库中数据的检测热点评价值。数据库访问信息指数据库中的数据的访问量，示例性的，数据库中的数据包括商品信息、商品图像和相关推荐商品列表等；数据库中数据的检测热点评价值可以通过人工标注的方式得到。业务访问信息指各业务下的每个数据的访问量。
在一个可选实施例中，所述数据训练样本还包括缓存访问信息。
缓存访问信息是缓存中的数据的访问量，缓存中数据是用户在访问网站时的信息来源。
通过将缓存访问信息作为数据训练样本，可以丰富数据训练样本的内容，增加数据训练样本的代表性，提高数据预测模型预测的准确率。
在一个可选实施例中，所述获取数据训练样本，包括：获取采样时间段的缓存访问信息、数据库访问信息和业务访问信息，并确定所述数据库中数据的检测热点评价值；根据所述采样时间段的缓存访问信息、数据访问信息、业务访问信息和所述数据库中数据的检测热点评价值，形成数据训练样本。
根据采样时间段的缓存访问信息、数据库访问信息和业务访问信息，可以计算数据库中数据的检测热点评价值。示例性的，可以根据业务访问信息关联数据的访问量、缓存访问信息关联的数据访问量和数据访问信息关联的数据访问量，统计数据库中各数据访问量，并进行归一化处理，得到数据库中各数据的检测热点评价值。
将缓存访问信息、数据访问信息、业务访问信息和预先为所述数据库中数据标注的检测热点评价值作为训练样本，增大数据训练样本数据覆盖范围，增加数据训练样本数据的代表性，可以提高训练得到的数据预测模型的准确率。
在一个可选实施例中，所述确定所述数据库中数据的检测热点评价值，包括：将所述采样时间段的数据访问信息和业务访问信息输入至所述第一模型中，确定所述数据库中数据的检测热点评价值。
在确定数据库中数据的检测热点评价值前，首先构建一个模型并对模型进行训练得到第一模型，示例性的构建的模型可以包括线性模型、决策树模型或深度学习模型等。通过人工方式构建训练样本，训练样本用于训练构建的模型，训练样本中的中的检测热点评价值通过人工方式进行标记，训练样本分为训练集和验证集，示例性的，可以将训练样本中80％的样本作为训练集，20％样本作为验证集。训练样本用于训练构建的模型，验证集用于验证构建的模型输出准确率是否达到预期效果，示例性的，可以预设模型输出准确率阈值，用于衡量构建的模型是否完成训练，当模型的输出准确率大于等于预设模型输出准确率阈值时，模型训练完成得到第一模型；当数据预测模型的输出准确率小于预设模型输出准确率阈值时，继续对模型进行训练，直到模型的输出准确率大于等于预设模型输出准确率阈值时，结束训练，得到第一模型。得到第一模型后，将采样时间段的数据访问信息和业务访问信息作为训练数据输入到第一模型对模型进行进一步训练，具体的，可以设置模型训练轮次，当完成设定轮次训练时，将第一模型输出作为数据库中数据的检测热点评价值。
通过将采样时间段的数据访问信息和业务访问信息作为输入，输入到第一模型中，可以进一步训练第一模型，同时确定数据库中数据的检测热点评价值，通过第一模型得到数据库中数据的检测热点评价值，提高数据库中数据的检测热点评价值的准确性，进而提高热点评价值预测的准确性。
S240，根据所述数据训练样本对第一模型进行训练。
第一模型为智能算法模型，示例性的，第一模型可以包括线性模型、决策树模型或深度学习模型等。将数据训练样本作为输入数据训练第一模型，训练即第一模型根据训练结果调不断整第一模型参数的过程。
S250，在所述第一模型训练完成时，将当前时刻的第一模型确定为数据预测模型。
第一模型训练完成指第一模型的预测准确率大于等于预设准确率阈值或完成设定轮次训练。其中，准确率阈值可以是人工设置的数值，设定轮次指人工设定的次数。当前时刻指第一模型的完成训练的时刻，保存当前时刻的模型并确定为数据预测模型。
S260，根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值；
S270，根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。
本发明实施例通过获取数据库访问信息、业务访问信息和所述数据库中数据的检测热点评价值数据训练样本，对第一模型进行训练，确定数据预测模型，数据训练样本包含了多种信息，增大数据训练样本数据覆盖范围，增加数据训练样本代表性，提高数据预测模型预测的准确率，提高缓存数据预测的准确性并节约人工成本。
实施例三
图3为本发明实施例三提供的一种缓存预热方法的流程图，本实施例的技术方案在上述技术方案的基础上进一步细化，具体的，在将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息之前，还包括：获取第一天的业务采集访问信息，和第二天的业务采集访问信息，并生成业务训练样本；根据所述业务训练样本对第二模型进行训练；在所述第二模型训练完成时，将当前时刻的第二模型确定为业务预测模型。该方法包括：
S310，获取历史时间段的业务采集访问信息。
S320，获取第一天的业务采集访问信息，和第二天的业务采集访问信息，并生成业务训练样本。
第一天的业务采集访问信息为训练样本中的输入数据，第二天的业务采集访问信息为训练样本中的输出数据，第一天的业务采集访问信息和第二天的业务采集访问信息形成业务训练样本。
S330，根据所述业务训练样本对第二模型进行训练。
第二模型为智能算法模型，示例性的，第二模型可以是卷积神经网络模型、时间序列神经网络模型、极限学习机模型或自编码神经网络模型等。将业务训练样本作为输入训练第二模型，训练即第二模型根据训练结果调不断整第二模型参数的过程。
S340，在所述第二模型训练完成时，将当前时刻的第二模型确定为业务预测模型。
第二模型训练完成指第二模型的预测准确率大于等于预设准确率阈值或完成设定轮次训练。其中，准确率阈值可以是人工设置的数值，设定轮次指人工设定的次数。当前时刻指第二模型完成训练的时刻，保存当前时刻的模型并确定为业务预测模型。
S350，将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息。
S360，根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值。
S370，根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。
本发明实施例通过第一天的业务采集访问信息和第二天的业务采集访问信息作为业务训练样本，训练第二模型并确定业务预测模型，可以根据前一天的业务采集访问信息预测第二天的业务访问信息，提高业务预测模型的准确率并节约人工成本。
实施例四
图4为本发明实施例四提供的一种预热缓存方法应用场景的示意图。本实施例的技术方案为缓存预热方法的应用场景，该方法包括：
数据库访问信息模块410、业务访问信息模块420和缓存访问信息模块430分别用于获取采样时间段中数据库访问信息、业务访问信息和缓存访问信息。
数据训练样本模块460用于将获取的数据库访问信息、业务访问信息和缓存访问信息数据形成数据训练样本，数据训练样本用于训练数据预测模型470。
同时，业务访问信息模块420获取的采样时间段中的业务访问信息用于训练业务预测模型440。业务预测模型440用于根据输入的业务访问信息得到业务预测访问信息，示例性的，业务预测模型440可以根据业务访问信息预测D+1日业务访问信息，其中D+1表示天数加一，即业务预测模型440用于预测输入的业务访问信息24小时后的业务预测访问信息。
业务预测访问信息模块450用于将从业务预测模型440中获取的业务预测访问信息作为输入数据输入到数据预测模型470中。
数据预测模型470用于根据业务预测访问信息得到预测热点评价值，示例性的，数据预测模型470根据D+1日业务访问信息预测D+1日数据访问信息和热点数据评价值。实现输入预测业务访问信息，输出数据访问信息和热点数据评价值，同时将热点数据评价值进行归一化处理，使数据评价值为数值集中在0～1的数据。
预测热点评价值模块480用于根据得到的热点评价值筛选出热点数据。示例性的，在预测热点评价值中筛选预测热点评价值大于等于0.7的数据作为热点数据。
缓存预热模块490用于将热点数据加载到缓存中，进行缓存预热，并设置有效时间为24小时。
缓存销毁模块411用于定期销毁缓存，即缓存数据在缓存中存储时间等于设置的有效时间时清除缓存内容，以加载新的热点数据，并将清除内容加载到数据训练样本模块460用于训练数据预测模型，及时更新数据预测模型470，以提高对下一时间段的预测热点评价值的准确率。
本实施例的功能模块可以通过Java代码开发。
本发明实施例通过得到的业务预测访问信息预测数据库中数据的预测热点评价值筛选出热点数据，并设置缓存的有效时间，缓存数据在缓存中存储的时间等于设置的有效时间后将当前数据用于数据预测模型训练，并更新缓存数据。实现及时更新缓存数据和提高数据预测模型的准确率，提高缓存预热的准确率和实时性。
实施例五
图5为本发明实施例五提供的一种缓存预热装置的结构示意图。实施例五是实现本发明上述实施例提供的缓存预热方法的相应装置，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。缓存预热装置包括：
业务采集访问信息获取模块510，用于获取历史时间段的业务采集访问信息；
业务预测访问信息获取模块520，用于将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息；
预测热点评价值获取模块530，用于根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值；
缓存预热模块540，用于根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。
本发明实施例通过业务预测模型根据历史时间段的业务采集访问信息预测目标时间段的业务预测访问信息，进一步通过数据预测模型预测数据库中数据的热点评价值，根据预测热点评价值筛选出热点数据进行缓存预热，解决了现有技术中固定初始化某一业务全部数或通过人工根据业务特性选择数据准确率低和人工成本高的问题，实现根据历史时间段的业务采集访问信息，预测热点数据，根据两个模型分别预测业务预测访问信息和热点评价值，细化预测过程，提高预测的准确率和降低人工成本。
可选的，缓存预热装置，还包括：训练样本获取模块，用于获取数据训练样本，所述数据训练样本包括数据库访问信息、业务访问信息和所述数据库中数据的检测热点评价值；第一模型训练模块，用于根据所述数据训练样本对第一模型进行训练；数据预测模型确定模块，用于在所述第一模型训练完成时，将当前时刻的第一模型确定为数据预测模型。
可选的，所述数据训练样本还包括缓存访问信息。
可选的，所述获取数据训练样本，具体用于：获取采样时间段的缓存访问信息、数据库访问信息和业务访问信息，并确定所述数据库中数据的检测热点评价值；根据所述采样时间段的缓存访问信息、数据访问信息、业务访问信息和所述数据库中数据的检测热点评价值，形成数据训练样本。
可选的，所述确定所述数据库中数据的检测热点评价值，具体用于：将所述采样时间段的数据访问信息和业务访问信息输入至所述第一模型中，确定所述数据库中数据的检测热点评价值。
可选的，缓存预热装置，还包括：业务训练样本生成模块，用于获取第一天的业务采集访问信息，和第二天的业务采集访问信息，并生成业务训练样本；第二模型训练模块，用于根据所述业务训练样本对第二模型进行训练；业务预测模型确定模块，用于在所述第二模型训练完成时，将当前时刻的第二模型确定为业务预测模型。
可选的，缓存预热模块，具体用于：在所述数据库中筛选出所述预测热点评价值大于等于预设评价值阈值的数据，并确定为热点数据；将所述热点数据存入缓存中。
上述装置可执行本发明实施例所提供的缓存预热方法，具备执行缓存预热方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。计算机设备12可以是挂接在总线上的设备。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(PerIPheral Component Interconnect，PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序组件，这些程序组件被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序组件42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序组件42包括但不限于操作系统、一个或者多个应用程序、其它程序组件以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序组件42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它组件通信。应当明白，尽管图6中未示出，可以结合计算机设备12使用其它硬件和/或软件组件，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列(Redundant Arrays of Inexpensive Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的缓存预热方法。
实施例七
本发明实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的缓存预热方法：
也即，该程序被处理器执行时实现：获取历史时间段的业务采集访问信息；将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息；根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值；根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种缓存预热方法，其特征在于，包括：
获取历史时间段的业务采集访问信息；
将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息；
根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值；
根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。
2.根据权利要求1所述的方法，其特征在于，在根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值之前，还包括：
获取数据训练样本，所述数据训练样本包括数据库访问信息、业务访问信息和所述数据库中数据的检测热点评价值；
根据所述数据训练样本对第一模型进行训练；
在所述第一模型训练完成时，将当前时刻的第一模型确定为数据预测模型。
3.根据权利要求2所述的方法，其特征在于，所述数据训练样本还包括缓存访问信息。
4.根据权利要求3所述的方法，其特征在于，所述获取数据训练样本，包括：
获取采样时间段的缓存访问信息、数据库访问信息和业务访问信息，并确定所述数据库中数据的检测热点评价值；
根据所述采样时间段的缓存访问信息、数据访问信息、业务访问信息和所述数据库中数据的检测热点评价值，形成数据训练样本。
5.根据权利要求4所述的方法，其特征在于，所述确定所述数据库中数据的检测热点评价值，包括：
将所述采样时间段的数据访问信息和业务访问信息输入至所述第一模型中，确定所述数据库中数据的检测热点评价值。
6.根据权利要求1所述的方法，其特征在于，在将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息之前，还包括：
获取第一天的业务采集访问信息，和第二天的业务采集访问信息，并生成业务训练样本；
根据所述业务训练样本对第二模型进行训练；
在所述第二模型训练完成时，将当前时刻的第二模型确定为业务预测模型。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热，包括：
在所述数据库中筛选出所述预测热点评价值大于等于预设评价值阈值的数据，并确定为热点数据；
将所述热点数据存入缓存中。
8.一种缓存预热装置，其特征在于，包括：
业务采集访问信息获取模块，用于获取历史时间段的业务采集访问信息；
业务预测访问信息获取模块，用于将所述历史时间段的业务采集访问信息输入至预先训练的业务预测模型，得到目标时间段的业务预测访问信息；
预测热点评价值获取模块，用于根据所述业务预测访问信息输入至预先训练的数据预测模型中，得到目标时间段的数据库中数据的预测热点评价值；
缓存预热模块，用于根据所述预测热点评价值，从所述数据库中数据筛选出热点数据进行缓存预热。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的缓存预热方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的缓存预热方法。
CN202111121831.0A 2021-09-24 2021-09-24 缓存预热方法、装置、计算机设备和存储介质 Pending CN113849532A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111121831.0A CN113849532A (zh) 2021-09-24 2021-09-24 缓存预热方法、装置、计算机设备和存储介质
PCT/CN2022/120815 WO2023046059A1 (zh) 2021-09-24 2022-09-23 缓存预热方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111121831.0A CN113849532A (zh) 2021-09-24 2021-09-24 缓存预热方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113849532A true CN113849532A (zh) 2021-12-28

Family

ID=78979216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111121831.0A Pending CN113849532A (zh) 2021-09-24 2021-09-24 缓存预热方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN113849532A (zh)
WO (1) WO2023046059A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415965A (zh) * 2022-01-25 2022-04-29 中国农业银行股份有限公司 一种数据迁移方法、装置、设备及存储介质
WO2023046059A1 (zh) * 2021-09-24 2023-03-30 中国第一汽车股份有限公司 缓存预热方法、装置、计算机设备和存储介质
CN117453751A (zh) * 2023-12-22 2024-01-26 中国海洋大学 海洋大数据缓存加载系统、运行方法、装置和介质
CN114415965B (zh) * 2022-01-25 2024-05-28 中国农业银行股份有限公司 一种数据迁移方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117270794B (zh) * 2023-11-22 2024-02-23 成都大成均图科技有限公司 一种基于Redis的数据存储方法、介质及设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356200B2 (en) * 2016-12-28 2019-07-16 Google Llc Optimizing user interface data caching for future actions
CN110019362B (zh) * 2017-11-08 2021-08-13 中移(苏州)软件技术有限公司 一种访问数据库的方法及装置
CN109284236B (zh) * 2018-08-28 2020-04-17 北京三快在线科技有限公司 数据预热方法、装置、电子设备及存储介质
CN110334036A (zh) * 2019-06-28 2019-10-15 京东数字科技控股有限公司 一种实现缓存数据调度的方法和装置
US11409654B2 (en) * 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
CN112685634A (zh) * 2020-12-29 2021-04-20 平安普惠企业管理有限公司 数据查询方法、装置、电子设备及存储介质
CN113076339A (zh) * 2021-03-18 2021-07-06 北京沃东天骏信息技术有限公司 一种数据缓存方法、装置、设备及存储介质
CN113849532A (zh) * 2021-09-24 2021-12-28 中国第一汽车股份有限公司 缓存预热方法、装置、计算机设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023046059A1 (zh) * 2021-09-24 2023-03-30 中国第一汽车股份有限公司 缓存预热方法、装置、计算机设备和存储介质
CN114415965A (zh) * 2022-01-25 2022-04-29 中国农业银行股份有限公司 一种数据迁移方法、装置、设备及存储介质
CN114415965B (zh) * 2022-01-25 2024-05-28 中国农业银行股份有限公司 一种数据迁移方法、装置、设备及存储介质
CN117453751A (zh) * 2023-12-22 2024-01-26 中国海洋大学 海洋大数据缓存加载系统、运行方法、装置和介质
CN117453751B (zh) * 2023-12-22 2024-03-26 中国海洋大学 海洋大数据缓存加载系统、运行方法、装置和介质

Also Published As

Publication number Publication date
WO2023046059A1 (zh) 2023-03-30

Similar Documents

Publication Publication Date Title
CN113849532A (zh) 缓存预热方法、装置、计算机设备和存储介质
CN107992596B (zh) 一种文本聚类方法、装置、服务器和存储介质
US11694109B2 (en) Data processing apparatus for accessing shared memory in processing structured data for modifying a parameter vector data structure
CN111611478B (zh) 信息推荐方法、装置和电子设备
WO2021004318A1 (zh) 资源数据的处理方法、装置、计算机设备和存储介质
CN113505537A (zh) 楼宇能耗检测方法、装置、计算机设备和存储介质
CN111400600A (zh) 一种消息推送方法、装置、设备和存储介质
CN110727437A (zh) 代码优化项获取方法、装置、存储介质及电子设备
CN116684330A (zh) 基于人工智能的流量预测方法、装置、设备及存储介质
CN113838303B (zh) 停车场推荐方法、装置、电子设备及存储介质
CN110781849A (zh) 一种图像处理方法、装置、设备及存储介质
CN112330059B (zh) 用于生成预测分数的方法、装置、电子设备和介质
CN111582649B (zh) 基于用户app独热编码的风险评估方法、装置和电子设备
CN113128773A (zh) 地址预测模型的训练方法、地址预测方法及装置
CN112508692A (zh) 基于卷积神经网络的资源回收风险预测方法、装置和电子设备
CN109933926B (zh) 用于预测航班可靠性的方法和装置
CN112783423A (zh) 数据对象的存放方法、装置、电子设备及计算机可读介质
US11948203B2 (en) Methods and systems for behavior signal generation and processing
US20210365831A1 (en) Identifying claim complexity by integrating supervised and unsupervised learning
CN111275035B (zh) 一种识别背景信息的方法及系统
CN113780675A (zh) 一种消耗预测方法、装置、存储介质及电子设备
CN113626483A (zh) 一种填写表单的前端缓存方法、系统、设备及存储介质
CN113095589A (zh) 一种人口属性确定方法、装置、设备及存储介质
CN111949867A (zh) 跨app的用户行为分析模型训练方法、分析方法及相关设备
CN111178630A (zh) 一种负荷预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination