CN115687423A - 一种数据缓存方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及数据处理技术领域，公开了一种数据缓存方法、装置、设备及存储介质，包括：获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系；从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。可见，本申请通过设置包括多种缓存框架的缓存策略，在进行数据缓存时，以目标业务系统的当前业务能力数据为依据，适应性地选择接入不同的缓存框架，能够满足业务系统不同的数据缓存需求，进而避免缓存资源的浪费。

Description

一种数据缓存方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据缓存方法、装置、设备及存储介质。

背景技术

信息化时代下数据量激增，数据库是数据载体，但频繁使后端数据库与前端交互会影响数据处理效率。在此基础上，便产生了缓存，缓存是指可以进行高速数据交换的存储器，它先于内存与CPU交换数据，因此速率很快。目前企业对于缓存的使用，普遍会固定选择使用本地缓存或者其他缓存中间件，无法根据业务特性去选择接入不同的缓存框架，整个接入的过程开发成本比较大，甚至滥用缓存，导致很多不必要的成本。例如，对于可以用成本相对低一些的缓存中间件的场景，只能选择固有的高成本缓存中间件。

因此，上述技术问题亟待本领域技术人员解决。

发明内容

有鉴于此，本发明的目的在于提供一种数据缓存方法、装置、设备及存储介质，能够满足业务系统不同的数据缓存需求，进而避免缓存资源的浪费。其具体方案如下：

本申请的第一方面提供了一种数据缓存方法，包括：

获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系；

从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。

可选的，所述当前业务能力数据包括所述目标业务系统当前待读取的业务数据量及所述目标业务系统当前的每秒查询率。

可选的，所述数据缓存方法，还包括：

基于业务数据量的数据量级与缓存框架的级数之间的对应关系，建立包括业务数据量的业务能力数据与缓存框架之间的映射关系；其中，业务数据量的数据量级与缓存框架的级数之间呈正相关关系。

可选的，利用所述目标缓存框架进行数据缓存，包括：

通过调用所述目标缓存框架的缓存接口创建目标缓存，并利用所述目标缓存进行数据缓存。

可选的，所述利用所述目标缓存进行数据缓存，包括：

从预设数据库中读取与所述当前业务能力数据中的业务数据量一致的全量目标业务数据，并将读取到的所述全量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。

可选的，所述通过调用所述目标缓存框架的缓存接口创建目标缓存之后，还包括：

从预设数据库中读取与所述当前业务能力数据中的业务数据量相对应的增量目标业务数据，并将读取到的所述增量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。

可选的，缓存框架为本地缓存、远程字典服务缓存、基于分布式文件存储的MongoDB缓存中的一种或多种缓存的组合。

本申请的第二方面提供了一种数据缓存装置，包括：

数据获取模块，用于获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系；

框架确定及缓存模块，用于从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。

本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述数据缓存方法。

本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述数据缓存方法。

本申请中，先获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系；然后从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。可见，本申请通过设置包括多种缓存框架的缓存策略，在进行数据缓存时，以目标业务系统的当前业务能力数据为依据，适应性地选择接入不同的缓存框架，能够满足业务系统不同的数据缓存需求，进而避免缓存资源的浪费。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种数据缓存方法流程图；

图2为本申请提供的一种具体的数据缓存方法流程图；

图3为本申请提供的一种具体的缓存同步方法流程图；

图4为本申请提供的一种具体的数据缓存方法示意图；

图5为本申请提供的一种数据缓存装置结构示意图；

图6为本申请提供的一种数据缓存电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有企业对于缓存的使用，普遍会固定选择使用本地缓存或者其他缓存中间件，无法根据业务特性去选择接入不同的缓存框架，整个接入的过程开发成本比较大，甚至滥用缓存，导致很多不必要的成本。例如，对于可以用成本相对低一些的缓存中间件的场景，只能选择固有的高成本缓存中间件。针对上述技术缺陷，本申请提供一种数据缓存方案，通过设置包括多种缓存框架的缓存策略，在进行数据缓存时，以目标业务系统的当前业务能力数据为依据，适应性地选择接入不同的缓存框架，能够满足业务系统不同的数据缓存需求，进而避免缓存资源的浪费。

图1为本申请实施例提供的一种数据缓存方法流程图。参见图1所示，该数据缓存方法包括：

S11：获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系。

本实施例中，在进行缓存之前，一方面获取目标业务系统的当前业务能力数据，所述当前业务能力数据为所述目标业务系统的实时业务能力数据，主要用来衡量所述当前业务系统的数据处理能力。例如，所述当前业务能力数据可以为所述目标业务系统当前待读取的业务数据量或者所述目标业务系统当前的每秒查询率等。

本实施例中，另一方面获取预先配置的缓存策略数据。特别的，缓存策略数据需要预先配置，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系。即所述目标业务系统的业务能力越强，其可选择的缓存框架的级数也会越高。

进一步的，本实施例中的缓存框架为本地缓存、远程字典服务缓存、基于分布式文件存储的MongoDB缓存中的一种或多种缓存的组合。例如，单级缓存框架可以为本地缓存/远程字典服务缓存(Redis缓存)/基于分布式文件存储的MongoDB缓存(MongoDB缓存)，多级缓存框架可以为本地缓存+Redis缓存、本地缓存+MongoDB缓存或Redis缓存+MongoDB缓存等多种组合方式。本实施例仅作示例说明，对缓存框架的数量、类型及组合方式不做限定。

S12：从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。

本实施例中，获取到所述目标业务系统的当前业务能力数据及预先配置的缓存策略数据之后，进一步从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，然后便可以利用所述目标缓存框架进行数据缓存。可以理解，缓存策略数据中包含了业务能力数据、缓存框架、业务能力数据与缓存框架之间的映射关系，因此，可以从缓存策略数据中匹配出与当前业务能力数据具有映射关系的缓存框架。

需要说明的是，可以对本实施的步骤S11和步骤S12进行封装生成一个统一的缓存使用入口，并将该缓存使用入口提供给业务系统，业务系统使用缓存时，只需要调用缓存使用入口就能自动执行步骤S11和步骤S12，从而提供通用的缓存数据方案。

可见，本申请实施例先获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系；然后从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。本申请实施例通过设置包括多种缓存框架的缓存策略，在进行数据缓存时，以目标业务系统的当前业务能力数据为依据，适应性地选择接入不同的缓存框架，能够满足业务系统不同的数据缓存需求，进而避免缓存资源的浪费。

图2为本申请实施例提供的一种具体的数据缓存方法流程图。参见图2所示，该数据缓存方法包括：

S21：基于业务数据量的数据量级与缓存框架的级数之间的对应关系，建立包括业务数据量的业务能力数据与缓存框架之间的映射关系，得到包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系的缓存策略数据；其中，业务数据量的数据量级与缓存框架的级数之间呈正相关关系。

本实施例中，首先需要对缓存策略进行预配置，具体的，基于业务数据量的数据量级与缓存框架的级数之间的对应关系，建立包括业务数据量的业务能力数据与缓存框架之间的映射关系，得到包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系的缓存策略数据；其中，业务数据量的数据量级与缓存框架的级数之间呈正相关关系。

本实施例中，业务数据量的数据量级越大，其可选择的缓存框架的级数也会越高。例如，对于数据量级为100万的数据量，可选择本地缓存的缓存框架，数据量级为1000万的数据量，可选择Redis缓存+MongoDB缓存的缓存框架等。

S22：获取目标业务系统的当前待读取的业务数据量及所述目标业务系统当前的每秒查询率及预先配置的缓存策略数据。

本实施例中，在进行数据缓存时，先获取目标业务系统的当前待读取的业务数据量及所述目标业务系统当前的每秒查询率，然后获取预先配置的缓存策略数据。其中，每秒查询率QPS(Queries-per-second)是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

关于上述步骤S22的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。

S23：从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架。

S24：通过调用所述目标缓存框架的缓存接口创建目标缓存，并利用所述目标缓存进行数据缓存。

本实施例中，在获取到所述目标业务系统的当前待读取的业务数据量及所述目标业务系统当前的每秒查询率QPS之后，进一步根据当前待读取的业务数据量和/或所述目标业务系统当前的每秒查询率选择缓存框架。业务能力数据与缓存框架之间的映射关系，也即业务数据量和/或每秒查询率QPS与缓存框架具有映射关系，或者业务数据量和每秒查询率QPS的整合数据与缓存框架具有映射关系。本实施例对此不进行限定。

本实施例中，具体可以从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架。不难理解，也可以从缓存策略数据中确定出与每秒查询率QPS具有映射关系的目标缓存框架，或者对业务数据量和每秒查询率QPS进行数据整合后得到一个整合数据，该整合数据与缓存框架具有映射关系。

本实施例中，在确定出所述目标缓存之后，便可以创建缓存供所述目标业务系统进行数据交互了。具体的，通过调用所述目标缓存框架的缓存接口创建目标缓存。例如，如果选择的是本地缓存，则直接调用本地缓存，如果选择的是Redis缓存，则调用第三方中间件Redis提供的接口创建Redis缓存。

然后利用所述目标缓存进行数据缓存，具体步骤如下(如图3所示)：

S241：从预设数据库中读取与所述当前业务能力数据中的业务数据量一致的全量目标业务数据，并将读取到的所述全量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。

S242：从预设数据库中读取与所述当前业务能力数据中的业务数据量相对应的增量目标业务数据，并将读取到的所述增量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。

本实施例中，步骤S241和步骤S242本质为两个并行的方案，不区分先后顺序。在一种实施例中，缓存同步为全量同步，在这种情况下，先从预设数据库中读取与所述当前业务能力数据中的业务数据量一致的全量目标业务数据，然后将读取到的所述全量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。在另一种实施例中，缓存同步为增量同步，在这种情况下，先从预设数据库中读取与所述当前业务能力数据中的业务数据量相对应的增量目标业务数据，然后将读取到的所述增量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。具体过程如图4所示。

可见，本申请实施例先基于业务数据量的数据量级与缓存框架的级数之间的对应关系，建立包括业务数据量的业务能力数据与缓存框架之间的映射关系，得到包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系的缓存策略数据；其中，业务数据量的数据量级与缓存框架的级数之间呈正相关关系。然后获取目标业务系统的当前待读取的业务数据量及所述目标业务系统当前的每秒查询率及预先配置的缓存策略数据，接着从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架。最后通过调用所述目标缓存框架的缓存接口创建目标缓存，并利用所述目标缓存进行数据缓存。本申请实施例提供通用的缓存数据同步方案及缓存使用接口，缓存读取开始，读取业务数据量以及流量QPS情况，系统可以根据数据量和流量QPS选择缓存框架以进行数据缓存。

参见图5所示，本申请实施例还相应公开了一种数据缓存装置，包括：

数据获取模块11，用于获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系；

框架确定及缓存模块12，用于从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。

可见，本申请实施例先获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系；然后从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。本申请实施例通过设置包括多种缓存框架的缓存策略，在进行数据缓存时，以目标业务系统的当前业务能力数据为依据，适应性地选择接入不同的缓存框架，能够满足业务系统不同的数据缓存需求，进而避免缓存资源的浪费。

在一些具体实施例中，所述数据缓存装置中的所述当前业务能力数据包括所述目标业务系统当前待读取的业务数据量及所述目标业务系统当前的每秒查询率。

在一些具体实施例中，所述数据缓存装置中的缓存框架为本地缓存、远程字典服务缓存、基于分布式文件存储的MongoDB缓存中的一种或多种缓存的组合。

在一些具体实施例中，所述数据缓存装置还包括：

映射关系建立模块，用于基于业务数据量的数据量级与缓存框架的级数之间的对应关系，建立包括业务数据量的业务能力数据与缓存框架之间的映射关系；其中，业务数据量的数据量级与缓存框架的级数之间呈正相关关系。

在一些具体实施例中，所述框架确定及缓存模块12，具体包括：

缓存创建单元，用于通过调用所述目标缓存框架的缓存接口创建目标缓存；

第一数据读取单元，用于从预设数据库中读取与所述当前业务能力数据中的业务数据量一致的全量目标业务数据；

第一数据存储单元，用于将读取到的所述全量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。

第二数据读取单元，用于从预设数据库中读取与所述当前业务能力数据中的业务数据量相对应的增量目标业务数据；

第二数据存储单元，用于将读取到的所述增量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。

进一步的，本申请实施例还提供了一种电子设备。图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的数据缓存方法中的相关步骤。

20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据缓存方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的业务能力数据及缓存策略数据。

进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的数据缓存方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的数据缓存方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据缓存方法，其特征在于，包括：

获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系；

从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。

2.根据权利要求1所述的数据缓存方法，其特征在于，所述当前业务能力数据包括所述目标业务系统当前待读取的业务数据量及所述目标业务系统当前的每秒查询率。

3.根据权利要求2所述的数据缓存方法，其特征在于，还包括：

基于业务数据量的数据量级与缓存框架的级数之间的对应关系，建立包括业务数据量的业务能力数据与缓存框架之间的映射关系；其中，业务数据量的数据量级与缓存框架的级数之间呈正相关关系。

4.根据权利要求2所述的数据缓存方法，其特征在于，利用所述目标缓存框架进行数据缓存，包括：

通过调用所述目标缓存框架的缓存接口创建目标缓存，并利用所述目标缓存进行数据缓存。

5.根据权利要求4所述的数据缓存方法，其特征在于，所述利用所述目标缓存进行数据缓存，包括：

从预设数据库中读取与所述当前业务能力数据中的业务数据量一致的全量目标业务数据，并将读取到的所述全量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。

6.根据权利要求4所述的数据缓存方法，其特征在于，所述通过调用所述目标缓存框架的缓存接口创建目标缓存之后，还包括：

从预设数据库中读取与所述当前业务能力数据中的业务数据量相对应的增量目标业务数据，并将读取到的所述增量目标业务数据存储至所述目标缓存，以便所述目标业务系统从所述目标缓存中读取数据。

7.根据权利要求1至6任一项所述的数据缓存方法，其特征在于，缓存框架为本地缓存、远程字典服务缓存、基于分布式文件存储的MongoDB缓存中的一种或多种缓存的组合。

8.一种数据缓存装置，其特征在于，包括：

数据获取模块，用于获取目标业务系统的当前业务能力数据及预先配置的缓存策略数据；其中，缓存策略数据中包含业务能力数据、单级或多级的缓存框架、业务能力数据与缓存框架之间的映射关系，并且业务能力与缓存框架级数之间呈正相关关系；

框架确定及缓存模块，用于从缓存策略数据中确定出与所述当前业务能力数据具有映射关系的目标缓存框架，以利用所述目标缓存框架进行数据缓存。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中：

所述存储器用于存储计算机程序；

所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的数据缓存方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的数据缓存方法。

Images