CN108920670A - 缓存同步方法、装置、系统及存储介质 - Google Patents

Abstract

本发明实施例公开了一种缓存同步方法、装置、计算机设备及存储介质，其中方法包括：通过建立系统数据库的从属数据库；通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；获取同步配置文件，所述同步配置文件包括同步配置信息；根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；基于确定的预设同步规则将所述待同步数据同步至缓存数据库。该方法可确保系统数据库和缓存数据库的数据的一致性，同时还通过预设同步规则实现了同步数据结构的灵活定制。

Description

缓存同步方法、装置、系统及存储介质

技术领域

本发明涉及互联网技术领域，尤其涉及一种缓存同步方法、装置、计算机设备及存储介质。

背景技术

目前，随着互联网应用的用户量的增加，尤其是拥有海量用户的互联网应用，对于应用系统的高并发、高可用提出越来越高的要求。为了提升应用系统的性能，通常会在应用系统中使用缓存数据库，其中，该缓存数据库比如为Redis、MongoDB或Elasticsearch等缓存系统。大多数互联网应用系统的重要数据都存储在系统数据库中，该系统数据库比如MySQL等关系型数据库，而缓存数据则存储在缓存数据库中，进而通过缓存数据库提升系统性能和用户体验。但是这样会带来一个问题：如何保证系统数据库中的数据与缓存数据库中的数据的一致性，并保证其高可用，成为急需解决的难题。

发明内容

本发明提供了一种缓存同步方法、装置、计算机设备及存储介质，以保证系统数据库和缓存数据库的数据一致性。

本发明提供了一种缓存同步方法，其包括：

建立系统数据库的从属数据库；

通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；

获取同步配置文件，所述同步配置文件包括同步配置信息；

根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；

基于确定的预设同步规则将所述待同步数据同步至缓存数据库。

本发明提供了一种缓存同步装置，其包括：

从属建立单元，用于建立系统数据库的从属数据库；

信息获取单元，用于通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；

文件获取单元，用于获取同步配置文件，所述同步配置文件包括同步配置信息；

数据确定单元，用于根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；

数据缓存单元，用于基于确定的预设同步规则将所述待同步数据同步至缓存数据库。

本发明还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明提供的任意一项所述的缓存同步方法的步骤。

本发明还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行本发明提供的任意一项所述的缓存同步方法的步骤。

上述实施例提供的缓存同步方法、装置、计算机设备及存储介质，通过建立系统数据库的从属数据库；通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；获取同步配置文件，所述同步配置文件包括同步配置信息；根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；基于确定的预设同步规则将所述待同步数据同步至缓存数据库。该方法可确保系统数据库和缓存数据库的数据的一致性，同时还通过预设同步规则实现了同步数据结构的灵活定制。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种缓存同步方法的应用场景示意图；

图2是本发明一实施例提供的一种缓存同步方法的示意流程图；

图3是图2中缓存同步方法的子步骤示意流程图；

图4是图2中缓存同步方法的子步骤示意流程图；

图5是图2中缓存同步方法的子步骤示意流程图；

图6是图2中缓存同步方法的子步骤示意流程图；

图7是本发明一实施例提供的一种缓存同步装置的示意性框图；

图8是本发明一实施例提供的一种计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本发明实施例提供了一种缓存同步方法、装置、计算机设备和计算机可读存储介质。

为了便于理解，先对本发明实施例的缓存同步方法所适用的应用场景组成进行介绍。如图1所示，该应用场景包括服务器A、服务器B和服务器C。其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。所述缓存同步方法应用于服务器A中，服务器B配置为系统数据库，服务器C配置为缓存数据库。

请参阅图2，图2是本发明一实施例提供的一种缓存同步方法的示意流程图。该缓存同步应用于服务器中，如图2所示，该缓存同步方法包括步骤S101～S105。

S101、建立系统数据库的从属数据库。

在本实施例中，系统数据库包括MySQL等关系型数据库，该MySQL用于储存应用系统的重要数据。具体地，基于Canal中间件建立系统数据库的从属数据库，利用Canal中间件设计成所述系统数据库的从属数据库，该从属数据库用于获取所述系统数据库的数据变化信息。所述从属数据库位于服务器A中与服务器B、服务器C组成同步缓存系统。

在一实施例中，为了提高同步缓存系统的高可靠性，利用Canal中间件设计Canal集群。基于此，如图3所示，步骤S101包括子步骤S101a和S101b。其中，S101a、采用主从部署方式部署多个Canal主从节点形成Canal主从集群以建立所述系统数据库的从属数据库；S101b、在所述Canal主从集群中部署Kafka中间件集群。

具体地，可以主从部署方式部署多个Canal中间件形成Canal主从集群，由此可根据Canal主从集群建立所述系统数据库的从属数据库，通过主备方式提高了该同步缓存系统的高可靠性。同时在在所述Canal主从集群中部署Kafka中间件集群，Kafka中间件为消息中间件，利用该消息中间件可以实现同步缓存系统对数据结构的灵活定制。

S102、通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据。

在本实施例中，具体是通过所述从属数据库获取系统数据库的Binlog日志来获取数据变化信息。通过相应的命令获取Binlog日志，其中Binlog日志记录着系统数据库的增加、修改和删除等数据。

具体地，如图4所示，步骤S102包括：子步骤S102a和S102b。其中，S102a、通过所述从属数据库获取所述系统数据库的Binlog日志；S102b、解析所述Binlog日志以获取所述系统数据库的数据变化信息。由此通过Binlog即时捕捉MySQL的数据变化。

S103、获取同步配置文件，所述同步配置文件包括同步配置信息。

在本实施例中，在获取到所述系统数据库的数据变化信息时，同时获取该同步缓存系统的同步配置文件，所述同步配置文件包括同步配置信息，所述同步配置信息包括：缓存数据库的地址信息、哪些数据库及数据库中哪些数据表需要进行同步缓存以及同步缓存采用预设同步规则，该预设同步规则包括简单数据同步和复杂数据同步。

S104、根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则。

在本实施例中，根据所述同步配置信息确定所述变更数据中哪些数据需要进行同步缓存，即为待同步数据。同时还根据所述同步配置信息记录所述待同步数据对应的预设同步规则。该同步配置文件可以根据实际情况需要进行相关设定，比如获取管理人员设定的同步配置信息，根据根据所述同步配置信息生成所述同步配置文件。

具体地，如图5所示，步骤S104包括子步骤S104a至S104d。其中，S104a、获取所述变更数据中的数据对应的数据名；S104b、判断所述数据名是否记录在所述述同步配置信息的数据表中；S104c、若所述数据名记录在所述述同步配置信息的数据表中，则判定所述数据名对应的数据为待同步数据；S104d、获取所述数据表所对应的预设同步规则并作为所述待同步数据对应的预设同步规则。主要是采用了数据库中的数据表来判断所述变更数据中的哪些数据需要同步缓存，结合同步缓存系统的同步配置信息进行缓存同步，提高数据同步缓存的可靠性。

S105、基于确定的预设同步规则将所述待同步数据同步至缓存数据库。

在本实施例中，所述预设同步规则包括：第一预设同步规则和第二预设同步规则；具体地，所述第一预设同步规则和第二预设同步规则分别对应简单数据同步和复杂数据同步。其中，所述基于确定的预设同步规则将所述待同步数据同步至缓存数据库，包括：基于确定的第一预设同步规则将所述待同步数据同步至缓存数据库；或者，基于确定的第二预设同步规则将所述待同步数据同步至缓存数据库。

在一实施例中，所述基于确定的第一预设同步规则将所述待同步数据同步至缓存数据库，包括：将所述所述待同步数据更新至缓存数据库。即采用简单数据同步规则，不需要对数据结构进行变更直接缓存至缓存数据库中，该简单数据同步可以基于配置0代码的进行缓存数据同步，进而降低开发人员的工作量。

在一实施例中，如图6所示，所述基于确定的第二预设同步规则将所述待同步数据同步至缓存数据库的步骤，包括：子步骤S105a至S105b。其中，S105a、根据所述同步配置信息将所述待同步数据需要发送至预设主题的消息中间件以使所述消息中间件调用预设脚本对所述待同步数据进行格式转换；S105b、并将经过格式转换后的待同步数据同步至缓存数据库。

具体地，该第二预设同步规则为复杂数据同步，该复杂数据同步指要先调整数据结构再同步数据到缓存数据库中。复杂数据同步根据同步配置信息中指定将变更数据发送到哪个主题的消息中间件，该主题的消息中间件接收消息后通过java程序基本对所述变更数据进行灵活的数据转换，再将转换后的数据同步到缓存数据库中，该消息中间件可以采用在所述Canal主从集群中部署Kafka中间件集群。

上述实例的方法通过建立系统数据库的从属数据库；通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；获取同步配置文件，所述同步配置文件包括同步配置信息；根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；基于确定的预设同步规则将所述待同步数据同步至缓存数据库。该方法可确保系统数据库和缓存数据库的数据的一致性，同时还通过预设同步规则实现了同步数据结构的灵活定制。

请参阅图7，对应于以上缓存同步方法，本发明还提供一种缓存同步装置。该缓存同步装置包括用于执行上述缓存同步的单元，该装置可以被配置于服务器中。如图7所示，缓存同步装置400包括：从属建立单元401、信息获取单元402、文件获取单元403、数据确定单元404和数据缓存单元405。

从属建立单元401，用于建立系统数据库的从属数据库。

信息获取单元402，用于通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据。

文件获取单元403，用于获取同步配置文件，所述同步配置文件包括同步配置信息。

数据确定单元404，用于根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则。

数据缓存单元405，用于基于确定的预设同步规则将所述待同步数据同步至缓存数据库。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的缓存同步装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

请参阅图8，图8是本发明实施例提供的一种计算机设备的示意性框图。该计算机设备700设备可以是服务器。

参照图8，该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。

该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种缓存同步方法。

该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。

该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种缓存同步方法。

该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现如下步骤：

建立系统数据库的从属数据库；通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；获取同步配置文件，所述同步配置文件包括同步配置信息；根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；基于确定的预设同步规则将所述待同步数据同步至缓存数据库。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述建立系统数据库的从属数据库时，具体实现如下步骤：基于Canal中间件建立系统数据库的从属数据库。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述基于Canal中间件建立系统数据库的从属数据库时，具体实现如下步骤：

采用主从部署方式部署多个Canal主从节点形成Canal主从集群以建立所述系统数据库的从属数据库；以及在所述Canal主从集群中部署Kafka中间件集群。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述通过所述从属数据库获取所述系统数据库的数据变化信息时，具体实现如下步骤：

通过所述从属数据库获取所述系统数据库的Binlog日志；解析所述Binlog日志以获取所述系统数据库的数据变化信息。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则时，具体实现如下步骤：

获取所述变更数据中的数据对应的数据名；判断所述数据名是否记录在所述述同步配置信息的数据表中；若所述数据名记录在所述述同步配置信息的数据表中，则判定所述数据名对应的数据为待同步数据；获取所述数据表所对应的预设同步规则并作为所述待同步数据对应的预设同步规则。

在一实施例中，所述预设同步规则包括：第一预设同步规则和第二预设同步规则；所述处理器720用于运行存储在存储器中的程序代码以实现所述基于确定的预设同步规则将所述待同步数据同步至缓存数据库时，具体实现如下步骤：

基于确定的第一预设同步规则将所述待同步数据同步至缓存数据库；或者，基于确定的第二预设同步规则将所述待同步数据同步至缓存数据库。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述基于确定的第一预设同步规则将所述待同步数据同步至缓存数据库时，具体实现如下步骤：将所述所述待同步数据更新至缓存数据库。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述基于Canal中间件建立系统数据库的从属数据库时，具体实现如下步骤：

根据所述同步配置信息将所述待同步数据需要发送至预设主题的消息中间件以使所述消息中间件调用预设脚本对所述待同步数据进行格式转换；并将经过格式转换后的待同步数据同步至缓存数据库。

应当理解，在本发明实施例中，处理器720可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器720还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域技术人员可以理解，图8中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本领域普通技术人员可以理解的是实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。如本发明实施例中，该计算机程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程步骤。

该计算机可读存储介质可以是磁碟、光盘、U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的缓存同步装置和方法，可以通过其它的方式实现。例如，以上所描述的缓存同步装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种缓存同步方法，其特征在于，包括：

建立系统数据库的从属数据库；

通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；

获取同步配置文件，所述同步配置文件包括同步配置信息；

根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；

基于确定的预设同步规则将所述待同步数据同步至缓存数据库。

2.根据权利要求1所述的缓存同步方法，其特征在于，所述建立系统数据库的从属数据库，包括：

采用主从部署方式部署多个Canal主从节点形成Canal主从集群以建立所述系统数据库的从属数据库；以及

在所述Canal主从集群中部署Kafka中间件集群。

3.根据权利要求1所述的缓存同步方法，其特征在于，所述通过所述从属数据库获取所述系统数据库的数据变化信息，包括：

通过所述从属数据库获取所述系统数据库的Binlog日志；

解析所述Binlog日志以获取所述系统数据库的数据变化信息。

4.根据权利要求1所述的缓存同步方法，其特征在于，所述根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则，包括：

获取所述变更数据中的数据对应的数据名；

判断所述数据名是否记录在所述述同步配置信息的数据表中；

若所述数据名记录在所述述同步配置信息的数据表中，则判定所述数据名对应的数据为待同步数据；以及

获取所述数据表所对应的预设同步规则并作为所述待同步数据对应的预设同步规则。

5.根据权利要求1所述的缓存同步方法，其特征在于，所述预设同步规则包括：第一预设同步规则和第二预设同步规则；

所述基于确定的预设同步规则将所述待同步数据同步至缓存数据库，包括：

基于确定的第一预设同步规则将所述待同步数据同步至缓存数据库；或者基于确定的第二预设同步规则将所述待同步数据同步至缓存数据库。

6.根据权利要求5所述的缓存同步方法，其特征在于，所述基于确定的第一预设同步规则将所述待同步数据同步至缓存数据库，包括：将所述所述待同步数据更新至缓存数据库。

7.根据权利要求5所述的缓存同步方法，其特征在于，所述基于确定的第二预设同步规则将所述待同步数据同步至缓存数据库，包括：

根据所述同步配置信息将所述待同步数据需要发送至预设主题的消息中间件以使所述消息中间件调用预设脚本对所述待同步数据进行格式转换；

并将经过格式转换后的待同步数据同步至缓存数据库。

8.一种缓存同步装置，其特征在于，包括：

从属建立单元，用于建立系统数据库的从属数据库；

信息获取单元，用于通过所述从属数据库获取所述系统数据库的数据变化信息，所述数据变化信息记录所述系统数据库的变更数据；

文件获取单元，用于获取同步配置文件，所述同步配置文件包括同步配置信息；

数据确定单元，用于根据所述同步配置信息确定所述变更数据中的待同步数据以及所述待同步数据对应的预设同步规则；

数据缓存单元，用于基于确定的预设同步规则将所述待同步数据同步至缓存数据库。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行如权利要求1至7任意一项所述方法的步骤。