CN111694868A - 数据缓存方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供的数据缓存方法、装置、电子设备及存储介质，通过从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果，从而通过将业务配置数据库中的配置数据缓存在本地，能够使得在应用系统触发业务管理操作时，直接从本地缓存中调取所需要的配置数据，提高了响应应用系统的业务管理操作的处理速度。

Description

数据缓存方法、装置、电子设备及存储介质

技术领域

本申请涉及大数据领域，尤其涉及一种数据缓存方法、装置、电子设备及存储介质。

背景技术

在分布式和微服务架构的系统中采用数据缓存机制可有效提高系统的数据处理效能以及系统本身的数据吞吐规模。

远程数据服务(Remote Dictionary Server，简称Redis)是一种内存高速缓存数据库，其对于小规模数据的读写有着极高的每秒查询率(Queries-per-second，简称QPS)。

但是，基于Redis的服务端线程模型，其在业务处理时需要与业务配置数据库进行频繁的网络IO请求和IO响应。因此，对于大规模数据来说，基于其较大的网络开销，其并发处理能力也受到限制，导致读写QPS较低。

发明内容

本申请提供一种数据缓存方法、装置、电子设备及存储介质，用以解决由于现有的数据库在进行大规模数据的业务处理时需要占用大量网络开销，其并发处理能力受限，处理效率较低的问题。

一方面，本申请提供一种数据缓存方法，包括：

从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；

响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果。

通过将业务配置数据库中的配置数据缓存在本地，能够使得在应用系统触发业务管理操作时，直接从本地缓存中调取所需要的配置数据，以提高对于业务管理操作的处理效率。

可选的，该方法还包括：从业务配置数据库中抓取目标业务的变更数据，并根据所述变更数据对本地缓存的所述目标业务的配置数据进行更新；其中，所述目标业务的变更数据是后台管理系统根据用户触发的变更操作生成并存储在所述业务配置数据库中的。

通过采用这样的方式，能够对于用户变更操作而生成和存储在业务配置数据库中的变更数据，被获取存储在本地缓存中，保证在在处理业务管理操作时所使用的配置数据为最新的配置数据。

可选的，所述从业务配置数据库中抓取目标业务的变更数据之前，还包括：检测消息队列中的消息，并在获取目标业务的变更消息时，向所述业务配置数据库发起数据抓取请求，以供所述业务配置数据库根据所述数据抓取请求返回所述目标业务的变更数据。

通过设置消息队列，能够在业务配置数据库发送数据变化时，快速告知本地，以使其则执行对本地缓存数据的变更。

可选的，所述配置数据中包括有配置元数据以及配置值；所述数据缓存方法，还包括：在本地建立各业务的配置元数据和配置值的映射关系列表；所述映射关系列表用于在响应应用系统触发对任一业务的业务管理操作时，基于该任一业务的配置元数据确定与配置元数据对应的配置值。

通过采用配置元数据以及配置值的存储方式，能够使得本地缓存中配置数据得到有序存储，也便于后续对配置数据的快速读取。

第二方面，本申请提供了一种数据缓存装置，包括：

缓存单元，用于从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；

处理单元，用于响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果。

可选实施例中，所述缓存单元还用于从业务配置数据库中抓取目标业务的变更数据，并根据所述变更数据对本地缓存的所述目标业务的配置数据进行更新；

其中，所述目标业务的变更数据是后台管理系统根据用户触发的变更操作生成并存储在所述业务配置数据库中的。

可选的，所述缓存单元还用于检测消息队列中的消息，并在获取目标业务的变更消息时，向所述业务配置数据库发起数据抓取请求，以供所述业务配置数据库根据所述数据抓取请求返回所述目标业务的变更数据。

可选的，所述配置数据中包括有配置元数据以及配置值；

所述缓存单元还用于在本地建立各业务的配置元数据和配置值的映射关系列表；所述映射关系列表用于在响应应用系统触发对任一业务的业务管理操作时，基于该任一业务的配置元数据确定与配置元数据对应的配置值。

第三方面，本申请提供了一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的数据缓存方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面所述的数据缓存方法。

本申请提供的数据缓存方法、装置、电子设备及存储介质，通过从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果，从而通过将业务配置数据库中的配置数据缓存在本地，能够使得在应用系统触发业务管理操作时，直接从本地缓存中调取所需要的配置数据，提高了响应应用系统的业务管理操作的处理速度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本公开所基于的一种网络架构的示意图；

图2是本申请提供的一种数据缓存方法的流程示意图；

图3是本申请提供的另一种数据存储方法的流程示意图；

图4为本申请提供的一种数据缓存方法的消息流程示意图；

图5为本申请实施例提供的一种数据缓存装置的结构示意图；

图6为本申请实施例的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在分布式和微服务架构的系统中采用数据缓存机制可有效提高系统的数据处理效能以及系统本身的数据吞吐规模。

远程数据服务(Remote Dictionary Server，简称Redis)是一种内存高速缓存数据库，其对于小规模数据的读写有着极高的每秒查询率(Queries-per-second，简称QPS)。

但是，基于Redis的服务端线程模型，其在读写时需要与业务配置数据库进行频繁的网络IO请求和IO响应。因此，对于大规模数据来说，基于其较大的网络开销，其并发处理能力也受到限制，导致读写QPS较低。

面对这样的技术问题，本申请实施例提供的数据缓存方法、装置、电子设备及存储介质，通过从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果，从而通过将业务配置数据库中的配置数据缓存在本地，能够使得在应用系统触发业务管理操作时，直接从本地缓存中调取所需要的配置数据，提高了响应应用系统的业务管理操作的处理速度。

参考图1，图1为本申请所基于的一种网络架构的示意图，该图1所示网络架构具体可包括应用系统1、业务中心2以及业务配置数据库3。

其中，应用系统具体可为一种或多种业务应用系统，如征信业务应用系统，信贷业务应用系统，账务业务应用系统以及审核业务应用系统等。应用系统可架设于云端服务器，并通过基于智能设备的客户端与用户进行交互，以为用户提供相应的应用服务，其中的智能设备包括用户手机、台式电脑、智能家居设备、平板电脑等可硬件设备。

而业务中心具体可为承载多种产品的业务流程运转的运营服务器，其具体架设在云端服务器中，可分别与业务配置数据库以及应用系统进行数据交互。具体来说，业务中心可以安装在具备运算功能的电子设备的云端服务器中，其中的电子设备包括但不限于膝上型便携计算机和台式计算机等等。在业务中心中，来自应用系统的各种操作将被按照相应的既定流程被实际执行和操作，在完成操作之后，业务中心将会向应用系统反馈操作结果的数据。本申请提供的数据缓存装置即设置在该业务中心中，以为业务中心提供数据缓存服务。

而业务配置数据库具体可为承载多种产品业务的配置数据的数据存储服务器，其具体架设在云端服务器中，可与业务中心通过网络进行交互。开发人员可通过后台管理系统对业务配置库中的数据进行更新等操作。

实施例一

图2是本申请提供的一种数据缓存方法的流程示意图，如图2所示的，该方法包括：

步骤101、从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地。

步骤102、响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果。

需要说明的是，本申请提供的数据缓存方法的执行主体为数据缓存装置，其具体可设置在前述的业务中心所基于的电子设备中。

在现有技术中，在业务配置数据库中一般存储有业务中心所涉及的各业务的配置数据，其中的业务可例如，征信业务，信贷业务，账务业务以及审核业务等。可管理配置数据的用户可通过后台管理系统对业务配置数据库中的配置数据进行管理操作，该管理操作包括但不限于配置数据的增加、删除、修改、以及查看。

当用户在后台管理系统对业务配置数据进行的管理操作后，业务配置数据将会根据这些管理操作对存储的业务配置数据进行存储。举例来说，当用户针对某一业务触发了配置数据的生成操作时，业务配置数据将会将新增的配置数据进行存储，以供业务中心根据应用系统触发的数据管理操作进行配置数据的调取。

应用系统接受到用户通过其智能设备的客户端发起的对某一业务进行业务管理操作时，将会向业务中心转发该业务管理操作，此时，业务中心将基于业务管理操作执行相应的业务处理流程。在业务处理过程中，其需要利用业务配置数据库中存储的业务的配置数据，而为了获取配置数据，业务中心需要通过网络IO请求的方式，与业务配置数据库取得数据交互，以获得这些配置数据。一般来说，由于本申请所基于的网络架构，其应用系统面相于金融类系统，如前述的征信业务应用系统、审核业务应用系统等，其一般所涉及的业务结构复杂，每一次执行业务处理流程时均需要调用大量的业务的配置数据，因此，采用现有的方式，会使得业务中心在处理业务管理操作对应的业务处理流程时，花费大量的开销进行配置数据的调取，不利于业务的快速进行。

而在本申请实施例中，为了避免上述提及的问题，业务中心将会对业务配置数据库中各业务的配置数据提前进行缓存，因此，在业务中心接收到应用系统触发的对某一业务的业务管理操作时，可直接基于其本地缓存的该业务的配置数据执行相应的操作流程，以提高业务中心对于业务管理操作的处理效率。

可选实施例中，所述配置数据中包括有配置元数据以及配置值；所述数据缓存方法，还包括：在本地建立各业务的配置元数据和配置值的映射关系列表；所述映射关系列表用于在响应应用系统触发对任一业务的业务管理操作时，基于该任一业务的配置元数据确定与配置元数据对应的配置值。也就是说，在接收到应用系统触发的业务管理操作时，业务中心可先确定业务管理操作的业务处理中的目标业务，然后根据各配置数据中的配置元数据找到该目标业务对应的配置值，当然，配置元数据与配置值之间的对应关系是存储在映射关系列表中的，通过采用配置元数据以及配置值的存储方式，能够使得本地缓存中配置数据得到有序存储，也便于后续对配置数据的快速读取。

在其他可选实施例中，业务配置数据库中的配置数据会随着业务结构或业务组成的变更而发生改变，在这种情况下，用户可在后台管理系统触发对于配置数据的变更操作，以使配置数据库中对于变更操作产生的变更数据进行存储。此时，为了使得业务的顺利运行，业务中心需要对本地缓存的配置数据一并进行变更。图3是本申请提供的另一种数据存储方法的流程示意图，在图2所示实施例的基础上，如图3所示的，该方法还包括：

步骤201、从业务配置数据库中抓取目标业务的变更数据，其中，所述目标业务的变更数据是后台管理系统根据用户触发的变更操作生成并存储在所述业务配置数据库中的。

步骤202、根据所述变更数据对本地缓存的所述目标业务的配置数据进行更新。

具体来说，如前所述的，用户可在后台管理系统触发对于配置数据的变更操作，以使配置数据库中对于变更操作产生的变更数据进行存储。业务中心将在步骤101以及步骤102的基础上，从业务配置数据库中抓取目标业务的变更数据，以根据变更数据对本地缓存的所述目标业务的配置数据进行更新。

在可选实施例中，为了使得业务中心能够尽快实现本地缓存的配置数据的更新，在从业务配置数据库中抓取目标业务的变更数据之前，还包括：检测消息队列中的消息，并在获取目标业务的变更消息时，向所述业务配置数据库发起数据抓取请求，以供所述业务配置数据库根据所述数据抓取请求返回所述目标业务的变更数据。也就是说，图4为本申请提供的一种数据缓存方法的消息流程示意图，如图4所示的，当后台管理系统根据用户触发的变更操作生成并存储在所述业务配置数据库中时，还会生成目标业务的变更消息，并上传该变更消息至消息队列中，而业务中心将实时对该消息队列进行监控，以能够快速察觉业务配置数据库发送数据变化，并及时对配置数据进行更新，保证业务处理的正常运转。

本申请实施例提供的数据缓存方法、装置、电子设备及存储介质，通过从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果，从而通过将业务配置数据库中的配置数据缓存在本地，能够使得在应用系统触发业务管理操作时，直接从本地缓存中调取所需要的配置数据，提高了响应应用系统的业务管理操作的处理速度。

本申请实施例提供的数据缓存方法，通过从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果，从而通过将业务配置数据库中的配置数据缓存在本地，能够使得在应用系统触发业务管理操作时，直接从本地缓存中调取所需要的配置数据，提高了响应应用系统的业务管理操作的处理速度。

实施例二

对应于上文实施例的数据缓存方法，图5为本申请实施例提供的一种数据缓存装置的结构示意图，如图5所示，该数据缓存装置包括：缓存单元10以及处理单元20；

其中，缓存单元10，用于从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；

处理单元20，用于响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果。

可选实施例中该数据缓存装置还包括：

所述缓存单元10还用于从业务配置数据库中抓取目标业务的变更数据，并根据所述变更数据对本地缓存的所述目标业务的配置数据进行更新；

其中，所述目标业务的变更数据是后台管理系统根据用户触发的变更操作生成并存储在所述业务配置数据库中的。

可选实施例中，所述缓存单元10还用于检测消息队列中的消息，并在获取目标业务的变更消息时，向所述业务配置数据库发起数据抓取请求，以供所述业务配置数据库根据所述数据抓取请求返回所述目标业务的变更数据。

可选实施例中，所述配置数据中包括有配置元数据以及配置值；

所述缓存单元10还用于在本地建立各业务的配置元数据和配置值的映射关系列表；所述映射关系列表用于在响应应用系统触发对任一业务的业务管理操作时，基于该任一业务的配置元数据确定与配置元数据对应的配置值。

本申请实施例提供的数据缓存装置，通过从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果，从而通过将业务配置数据库中的配置数据缓存在本地，能够使得在应用系统触发业务管理操作时，直接从本地缓存中调取所需要的配置数据，提高了响应应用系统的业务管理操作的处理速度。

实施例三

图6为本发明实施例四提供的电子设备的结构示意图，如图6所示，本发明实施例还提供一种电子设备1400，包括：存储器1401，处理器1402以及计算机程序。

其中，计算机程序存储在存储器1401中，并被配置为由处理器1402执行以实现本发明任意一个实施例提供的数据管理方法。相关说明可以对应参见附图中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

其中，本实施例中，存储器1401和处理器1402通过总线连接。

实施例四

本发明实施例五提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明任意一个实施例提供的数据缓存方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种数据缓存方法，其特征在于，包括：

从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；

响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果。

2.根据权利要求1所述的数据缓存方法，其特征在于，还包括：

从业务配置数据库中抓取目标业务的变更数据，并根据所述变更数据对本地缓存的所述目标业务的配置数据进行更新；

其中，所述目标业务的变更数据是后台管理系统根据用户触发的变更操作生成并存储在所述业务配置数据库中的。

3.根据权利要求2所述的数据缓存方法，其特征在于，所述从业务配置数据库中抓取目标业务的变更数据之前，还包括：

检测消息队列中的消息，并在获取目标业务的变更消息时，向所述业务配置数据库发起数据抓取请求，以供所述业务配置数据库根据所述数据抓取请求返回所述目标业务的变更数据。

4.根据权利要求1-3任一项所述的数据缓存方法，其特征在于，所述配置数据中包括有配置元数据以及配置值；

所述数据缓存方法，还包括：

在本地建立各业务的配置元数据和配置值的映射关系列表；

所述映射关系列表用于在响应应用系统触发对任一业务的数据管理操作时，基于该任一业务的配置元数据确定与配置元数据对应的配置值。

5.一种数据缓存装置，其特征在于，包括：

缓存单元，用于从业务配置数据库中获取各业务的配置数据，并将所述各业务的配置数据同步缓存在本地；

处理单元，用于响应应用系统触发对任一业务的业务管理操作，根据所述业务管理操作调用本地缓存的该任一业务的配置数据，并执行相应的操作流程，向所述应用系统返回管理操作结果。

6.根据权利要求5所述的数据缓存装置，其特征在于，还包括：

所述缓存单元还用于从业务配置数据库中抓取目标业务的变更数据，并根据所述变更数据对本地缓存的所述目标业务的配置数据进行更新；

其中，所述目标业务的变更数据是后台管理系统根据用户触发的变更操作生成并存储在所述业务配置数据库中的。

7.根据权利要求6所述的数据缓存装置，其特征在于，所述缓存单元还用于检测消息队列中的消息，并在获取目标业务的变更消息时，向所述业务配置数据库发起数据抓取请求，以供所述业务配置数据库根据所述数据抓取请求返回所述目标业务的变更数据。

8.根据权利要求5-7任一项所述的数据缓存装置，其特征在于，所述配置数据中包括有配置元数据以及配置值；

所述缓存单元还用于在本地建立各业务的配置元数据和配置值的映射关系列表；所述映射关系列表用于在响应应用系统触发对任一业务的数据管理操作时，基于该任一业务的配置元数据确定与配置元数据对应的配置值。

9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-4任一项所述的数据缓存方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-4任一项所述的数据缓存方法。

Images