CN117785949A - 一种数据缓存方法、电子设备、存储介质以及装置 - Google Patents

Abstract

本发明公开了一种数据缓存方法、电子设备、存储介质以及装置，该方法包括：基于数据热点和数据库通过遗传算法获取目标数据，并将目标数据存入中间件的二级缓存，直至存满，得到第二缓存数据资源；将目标数据按优先级存入中间件的一级缓存，直至存满，得到第一缓存数据资源；响应于数据请求，基于第一缓存数据资源获取加载数据；同时基于数据请求和遗传算法更新第一缓存数据资源和第二缓存数据资源以获取加载数据。本发明通过遗传算法提高缓存数据与数据请求匹配精度和匹配效率，同时提升了搜索效率提升了缓存性能；本发明能够提高缓存命中率，最大程度地降低直接访问数据库的概率。

Description

一种数据缓存方法、电子设备、存储介质以及装置

技术领域

本发明属于数据处理技术领域，更具体地，涉及一种数据缓存方法、电子设备、存储介质以及装置。

背景技术

在互联网高速发展的今天，缓存技术被广泛地应用。数据缓存是指将数据临时存储在内存或其他高速存储介质中，以便快速访问和读取数据。数据缓存一般应用于需要频繁访问的数据，如数据库中的表数据、Web应用程序中的页面数据等。

数据缓存可以提高数据访问的速度和性能，避免重复查询数据库或其他数据源，从而减少系统的负载和响应时间；传统的缓存方法是当客户端访问服务器接口时，服务器优先从缓存中查找接口数据，如果有数据，直接对客户端响应缓存数据，如果没有数据，与数据库交互，得到数据，对客户端响应，同时将数据进行缓存，以备下次使用；然而在查找缓存接口数据过程中往往存在因缓存命中率低而需要直接调用数据库，导致数据传输速率降低、缓存接口压力大以及缓存接口响应时间长等问题；缓存命中率是衡量缓存性能的关键指标之一，缓存命中率越高，意味着缓存利用率越高，响应速度也越快；因此，提高缓存命中率是提升缓存性能的重要手段。现有提高缓存命中率的方法有很多，比如提高缓存容量以缓存更多的数据来提高缓存命中率，但缓存命中率提高程度有限，且无法做到缓存数据与数据请求精准匹配，同时目前的方法搜索效率较低，因此，在提高缓存容量的基础上如何将缓存数据与数据请求精准匹配以提高缓存命中率和搜索效率，是亟需解决的问题。

公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明的目的是提出一种数据缓存方法、电子设备、存储介质以及装置，实现通过提高缓存数据与数据请求的匹配精准以提高缓存命中率和搜索效率，进而提升传输效率，提升缓存性能，解决因缓存命中率低导致数据传输速率降低、缓存接口压力大以及缓存接口响应时间长等问题。

为实现上述目的，本发明提出了一种数据缓存方法、电子设备、存储介质以及装置。

根据本发明的第一方面，提出了一种数据缓存方法，包括：

基于数据热点和数据库通过遗传算法获取目标数据，并将所述目标数据存入中间件的二级缓存，直至存满，得到第二缓存数据资源；

将所述目标数据按优先级存入所述中间件的一级缓存，直至存满，得到第一缓存数据资源；

响应于数据请求，基于所述第一缓存数据资源获取加载数据；同时基于所述数据请求和所述遗传算法更新所述第一缓存数据资源和所述第二缓存数据资源以获取所述加载数据。

可选地，还包括：

基于所述加载数据和所述第二缓存数据资源通过所述遗传算法更新所述第一缓存数据资源；

基于所述加载数据和所述数据库通过所述遗传算法更新所述第二缓存数据资源。

本申请中是通过遗传算法获取目标数据并更新第一缓存数据资源和第二缓存数据资源的，因此，通过遗传算法获取目标数据和更新第一缓存数据资源和第二缓存数据资源的技术方案是一致的。

可选地，所述基于数据热点和数据库通过遗传算法获取目标数据包括：

S1、在所述数据库随机生成设定数量的不同的初代种群；

S2、基于所述数据热点和适应度函数计算所述初代种群各个个体的适应度值；

S3、基于所述适应度值选择下一代种群的父代个体；

S4、将所述父代个体随机两两配对，并按对依次进行交叉得到多个后代个体；

S5、对所述后代个体进行随机突变，得到所述下一代种群；

S6、对所述下一代种群进行迭代计算，直到获取满足设定条件的目标个体，所述目标个体为所述目标数据；

S7、重复执行S1-S6，直到存满所述二级缓存。

可选地，基于数据相关性算法构建所述适应度函数，所述适应度函数表达式为：

；

其中，为数据热点的关键字在每个个体中出现的频率，N为一个种群中个体的总数，/>为一个种群中包含数据热点的关键字的个体的数量。

可选地，在所述步骤S3中，通过排序选择法选择下一代种群的父代个体。

可选地，所述设定条件包括：

个体的适应度值大于设定的适应度阈值。

可选地，基于数据相关性算法计算所述目标数据的相关度评分，基于所述相关度评分由高到低的顺序确定所述目标数据的优先级。

根据本发明的第二方面，提出了一种数据缓存装置，用于执行第一方面任一项所述的数据缓存方法，包括：

第一获取模块，用于基于数据热点和数据库通过遗传算法获取目标数据；

二级缓存模块，用于缓存所述目标数据，直至存满，得到第二缓存数据资源；

一级缓存模块，用于按优先级缓存所述目标数据，直至存满，得到第一缓存数据资源；

第二获取模块，用于响应于数据请求，基于所述第一缓存数据资源获取加载数据；

更新模块，用于基于所述数据请求和所述遗传算法更新所述第一缓存数据资源和所述第二缓存数据资源以获取所述加载数据。

根据本发明的第三方面，提出了一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面任一所述的数据缓存方法。

根据本发明的第四方面，提出了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行第一方面所述的数据缓存方法。

本发明的有益效果在于：本发明根据数据热点，通过遗传算法，从数据库中调取符合要求的目标数据储存于二级缓存，直至存满，然后将二级缓存中的目标顺序按优先级存入一级缓存，直至存满，充分利用了硬件的存储容量来提高缓存命中率，同时利用遗传算法获取与数据热点关联度更高的目标数据，提高了缓存命中率，通过遗传算法的并行计算功能提高了搜索效率；在第一缓存数据资源获取与数据请求匹配的加载数据的同时，根据数据请求通过遗传算法在第二缓存数据和数据库获取与数据请求匹配的目标数据，提高缓存数据与数据请求匹配精度和匹配效率，提高缓存命中率，同时提升了数据的传输效率，提升了缓存性能，且能够最大程度地降低直接访问数据库的概率，解决了因缓存命中率低导致数据传输速率降低、缓存接口压力大以及缓存接口响应时间长等问题。

本发明的系统具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明的一种数据缓存方法的步骤的流程图。

图2示出了根据本发明的实施例2的一种数据缓存装置的示意图。

具体实施方式

下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

如图1所示，根据本发明的一种缓存方法，包括：

基于数据热点和数据库通过遗传算法获取目标数据，并将目标数据存入中间件的二级缓存，直至存满，得到第二缓存数据资源；

将目标数据按优先级存入中间件的一级缓存，直至存满，得到第一缓存数据资源；

响应于数据请求，基于第一缓存数据资源获取加载数据；同时基于数据请求和遗传算法更新第一缓存数据资源和第二缓存数据资源以获取加载数据。

具体地，本发明通过遗传算法从数据库中获取与数据热点相关的数据作为目标数据存入中间件的二级缓存，直至存满，得到第二缓存数据资源，其中，可以从用户的历史数据、当前网络数据中获取使用频率高的数据作为数据热点；然后，将第二缓存数据资源中的目标数据按照优先级存入中间件的一级缓存，与数据热点关联度越高的目标数据，其优先级越高，直至存满，得到第一缓存数据资源；本发明通过遗传算法从数据库获取与数据热点关联度高的数据，能够有效提高缓存命中率和搜索效率，提升缓存性能，解决因缓存命中率低导致数据传输速率降低、缓存接口压力大以及缓存接口响应时间长等问题。当有数据请求时，直接在第一缓存数据资源调取与数据请求相匹配的目标数据进行加载，得到加载数据，同时通过遗传算法从第二缓存数据资源获取与数据请求相匹配的目标数据并存入一级缓存对第一缓存数据资源进行更新，以及通过遗传算法从数据库获取与数据请求相匹配的目标数据并存入二级缓存对第二缓存数据资源进行更新，保证请求的数据能够从一级缓存直接获取，最大程度避免从数据库直接调取数据，提高了缓存命中率。

在一个示例中，还包括：

基于加载数据和第二缓存数据资源通过遗传算法更新第一缓存数据资源；

基于加载数据和数据库通过遗传算法更新第二缓存数据资源。

具体地，数据请求后用户下一次的数据请求很大的概率是根据加载数据进行的，为了保证下一次的数据请求能够从一级缓存直接获取，本发明通过遗传算法从第二缓存数据资源获取与加载数据相匹配的目标数据并存入一级缓存对第一缓存数据资源进行更新，同时通过遗传算法从数据库获取与加载数据相匹配的目标数据并存入二级缓存对第二缓存数据资源进行更新，最大程度避免从数据库直接调取数据，提高了缓存命中率。

在一个示例中，基于数据热点和数据库通过遗传算法获取目标数据包括：

S1、在数据库随机生成设定数量的不同的初代种群；

S2、基于数据热点和适应度函数计算初代种群各个个体的适应度值；

S3、基于适应度值选择下一代种群的父代个体；

S4、将父代个体随机两两配对，并按对依次进行交叉得到多个后代个体；

S5、对后代个体进行随机突变，得到下一代种群；

S6、对下一代种群进行迭代计算，直到获取满足设定条件的目标个体，目标个体为目标数据；

S7、重复执行S1-S6，直到存满二级缓存。

具体地，本发明通过遗传算法从数据库中获取与数据热点相匹配的目标数据，遗传算法是一种群体搜索算法，能够同时搜索多个解，具有较高的搜索效率，同时遗传算法是一种全局搜索算法，能够搜索整个解空间，找到最优解；而且遗传算法具有自适应性，能够根据搜索情况自动调整搜索策略，如改变交叉率、变异率等，遗传算法可以将种群分成多个小的种群，在不同的计算资源上并行计算，提高搜索效率。首先在数据库随机生成设定数量的不同的初代种群，数据库可以看作为一个大的种群，每个初代种群作为其子种群，尽量保证每个初代种群与其它初代种群均不重叠，能够避免对数据库内的数据进行重复搜索；每个初代种群由多个个体组成，每个个体都代表一个可能的解，即每个个体都代表可能的目标数据；然后根据数据热点和适应度函数对所有的初代种群进行并行计算，计算各初代种群中各个个体的适应度值，通过并行计算能够大大提高搜索效率；适应度函数是基于数据相关性算法构建的，个体的适应度值即为与数据热点的相关性评分，相关性评分越高，则个体的适应度值越高；然后根据个体的适应度值随机选择下一代种群的父代个体，个体的适应度值越高，则选中的概率越高；再将选择出的父代个体随机两两配对，并按对依次进行交叉得到多个后代个体，对后代个体进行随机突变，得到新的后代个体，将后代个体和新的后代个体加入初代种群，生成下一代种群；最后对下一代种群进行迭代计算，即将下一代种群作为初代种群，重复步骤S2-S5，直到获取满足设定条件的目标个体，即目标数据；若本次从所有初代种群中获取的目标数据不能存满二级缓存，则重新在数据库随机生成设定数量的不同的初代种群，且生成的初代种群与上次的初代种群不重叠，再进行适应度计算-选择-交叉-变异-迭代，直到目标数据能够存满二级缓存为止，即重复步骤S1-S6，充分利用硬件的存储容量来提高缓存命中率。更新第一缓存数据资源和第二缓存数据资源也是根据步骤S1-S6，根据更新目标将数据热点更换为加载数据或将数据库更换为第二缓存数据资源。

在一个示例中，基于数据相关性算法构建适应度函数，适应度函数表达式为：

；

其中，为数据热点的关键字在每个个体中出现的频率，N为一个种群中个体的总数，/>为一个种群中包含数据热点的关键字的个体的数量。

在一个示例中，在步骤S3中，通过排序选择法选择下一代种群的父代个体。

具体地，本发明通过排序选择法选择下一代种群的父代个体，也可以通过轮盘赌选择法、锦标赛选择法和适应度比例法等。

在一个示例中，设定条件包括：

个体的适应度值大于设定的适应度阈值。

在一个示例中，基于数据相关性算法计算目标数据的相关度评分，基于相关度评分由高到低的顺序确定目标数据的优先级。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

本实施例提供一种数据缓存方法，包括：

基于数据热点和数据库通过遗传算法获取目标数据，并将目标数据存入中间件的二级缓存，直至存满，得到第二缓存数据资源，包括：

S1、在数据库随机生成设定数量的不同的初代种群；

S2、基于数据热点和适应度函数计算初代种群各个个体的适应度值；

S3、基于适应度值通过排序选择法选择下一代种群的父代个体；

S4、将父代个体随机两两配对，并按对依次进行交叉得到多个后代个体；

S5、对后代个体进行随机突变，得到下一代种群；

S6、对下一代种群进行迭代计算，直到获取个体的适应度值大于设定的适应度阈值的目标个体，目标个体为目标数据；

S7、重复执行S1-S6，直到存满二级缓存；

基于数据相关性算法构建适应度函数，适应度函数表达式为：

；

其中，为数据热点的关键字在每个个体中出现的频率，N为一个种群中个体的总数，/>为一个种群中包含数据热点的关键字的个体的数量；

基于数据相关性算法计算目标数据的相关度评分，基于相关度评分由高到低的顺序确定目标数据的优先级；

将目标数据按优先级存入中间件的一级缓存，直至存满，得到第一缓存数据资源；

响应于数据请求，基于第一缓存数据资源获取加载数据；同时基于数据请求和遗传算法更新第一缓存数据资源和第二缓存数据资源以获取加载数据；

基于加载数据和第二缓存数据资源通过遗传算法更新第一缓存数据资源；

基于加载数据和数据库通过遗传算法更新第二缓存数据资源。

实施例2

如图2所示，本实施例提供一种数据缓存装置，用于执行实施例1任一项所述的数据缓存方法，包括：

第一获取模块，用于基于数据热点和数据库通过遗传算法获取目标数据；

二级缓存模块，用于缓存目标数据，直至存满，得到第二缓存数据资源；

一级缓存模块，用于按优先级缓存目标数据，直至存满，得到第一缓存数据资源；

第二获取模块，用于响应于数据请求，基于第一缓存数据资源获取加载数据；

更新模块，用于基于数据请求和遗传算法更新第一缓存数据资源和第二缓存数据资源以获取加载数据。

实施例3

本实施例提供了一种电子设备，该电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行实施例1中的数据缓存方法。

根据本实施例的电子设备包括存储器和处理器，该存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。该非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。

该处理器可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。在本实施例中，该处理器用于运行该存储器中存储的该计算机可读指令。

本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本实施例的保护范围之内。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

实施例4

本实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行实施例1中的数据缓存方法。

根据本实施例的计算机可读存储介质，其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时，执行前述的实施例1方法的全部或部分步骤。

上述计算机可读存储介质包括但不限于：光存储介质（例如：CD－ROM和DVD）、磁光存储介质（例如：MO）、磁存储介质（例如：磁带或移动硬盘）、具有内置的可重写非易失性存储器的媒体（例如：存储卡）和具有内置ROM的媒体（例如：ROM盒）。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (10)

1.一种数据缓存方法，其特征在于，包括：

基于数据热点和数据库通过遗传算法获取目标数据，并将所述目标数据存入中间件的二级缓存，直至存满，得到第二缓存数据资源；

将所述目标数据按优先级存入所述中间件的一级缓存，直至存满，得到第一缓存数据资源；

响应于数据请求，基于所述第一缓存数据资源获取加载数据；同时基于所述数据请求和所述遗传算法更新所述第一缓存数据资源和所述第二缓存数据资源以获取所述加载数据。

2.根据权利要求1所述的数据缓存方法，其特征在于，还包括：

基于所述加载数据和所述第二缓存数据资源通过所述遗传算法更新所述第一缓存数据资源；

基于所述加载数据和所述数据库通过所述遗传算法更新所述第二缓存数据资源。

3.根据权利要求1所述的数据缓存方法，其特征在于，所述基于数据热点和数据库通过遗传算法获取目标数据包括：

S1、在所述数据库随机生成设定数量的不同的初代种群；

S2、基于所述数据热点和适应度函数计算所述初代种群各个个体的适应度值；

S3、基于所述适应度值选择下一代种群的父代个体；

S4、将所述父代个体随机两两配对，并按对依次进行交叉得到多个后代个体；

S5、对所述后代个体进行随机突变，得到所述下一代种群；

S6、对所述下一代种群进行迭代计算，直到获取满足设定条件的目标个体，所述目标个体为所述目标数据；

S7、重复执行S1-S6，直到存满所述二级缓存。

4.根据权利要求3所述的数据缓存方法，其特征在于，基于数据相关性算法构建所述适应度函数，所述适应度函数表达式为：

；

其中，为数据热点的关键字在每个个体中出现的频率，N为一个种群中个体的总数，/>为一个种群中包含数据热点的关键字的个体的数量。

5.根据权利要求4所述的数据缓存方法，其特征在于，在所述步骤S3中，通过排序选择法选择下一代种群的父代个体。

6.根据权利要求4所述的数据缓存方法，其特征在于，所述设定条件包括：

个体的适应度值大于设定的适应度阈值。

7.根据权利要求4所述的数据缓存方法，其特征在于，基于数据相关性算法计算所述目标数据的相关度评分，基于所述相关度评分由高到低的顺序确定所述目标数据的优先级。

8.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一所述的数据缓存方法。

9.一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-7任一所述的数据缓存方法。

10.一种数据缓存装置，用于执行权利要求1-7任一项所述的数据缓存方法，其特征在于，包括：

第一获取模块，用于基于数据热点和数据库通过遗传算法获取目标数据；

二级缓存模块，用于缓存所述目标数据，直至存满，得到第二缓存数据资源；

一级缓存模块，用于按优先级缓存所述目标数据，直至存满，得到第一缓存数据资源；

第二获取模块，用于响应于数据请求，基于所述第一缓存数据资源获取加载数据；

更新模块，用于基于所述数据请求和所述遗传算法更新所述第一缓存数据资源和所述第二缓存数据资源以获取所述加载数据。