CN102023973A - 一种应用缓存服务器与数据库同步的方法、装置和系统 - Google Patents

Abstract

本发明实施例公开了一种应用缓存服务器与数据库同步的方法，包括以下步骤：当数据库中的数据发生更新时，接收来自所述数据库的更新数据，将所述更新数据添加到消息队列；根据所述添加到消息队列中的更新数据，更新应用缓存服务器中的数据。本发明实施例满足了数据库内的数据同步到应用缓存服务器的时效性要求，并减轻了数据同步时对数据库的压力。本发明实施例同样公开了一种应用上述方法的装置和系统。

Description

一种应用缓存服务器与数据库同步的方法、装置和系统

技术领域

本发明涉及数据业务领域，尤其涉及一种应用缓存服务器与数据库同步的方法、装置和系统。

背景技术

随着近年来软件技术的发展及企业信息建设的需求，现在的应用系统所要处理的数据越来越庞大，所要服务的用户数量也不断加大。应用系统中的数据大部分存储在数据库系统中，用于对用户的服务。数据量的增加和用户数的增多，导致数据库系统负荷的增加和工作压力的增大，使数据库系统就成为整个应用系统的瓶颈。

为了改进数据库系统的性能，除了数据库系统本身架构设计上的演进外，应用系统多采用增加应用缓存服务器，通过直接访问应用缓存服务器的方式，改善数据访问的性能。应用缓存服务器可以减轻大量的数据使用者直接访问数据库系统、对数据库系统造成的读写压力和计算压力，使数据库系统满足支撑应用系统的需要，并提高应用系统的处理能力和响应能力。数据使用者不再直接访问数据库系统本身，而是访问应用缓存服务器中的数据，从而提高系统的整体处理能力和响应能力。

在具体的应用中，应用缓存服务器内数据需要和数据库内的数据保持一致，即数据库内的数据发生变化时，变化的数据需要同步到应用缓存服务器中。常用的技术手段包括通过外部同步程序实现同步，以及由数据访问者完成数据的同步。其中，通过外部同步程序实现同步具体包括，建立外部同步程序，通过该外部同步程序周期性地检查数据库内数据的变化情况，如果发生变化，则通过外部同步程序把变化的数据内容更新到应用缓存服务器之中；由数据访问者完成数据的同步具体包括，数据访问者首先访问应用缓存服务器时，如果需要的数据不存在，则由数据访问者完成相应的数据在数据库和应用缓存服务器的同步，还可以为缓存中的每项数据都设置一个数据过期时间，当数据访问者再次使用该数据时，如果发现数据已经过期，重新完成数据的同步。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺陷：

对于通过外部同步程序实现同步的方法，如果外部同步程序的检查周期过长，则无法保证数据缓存和数据库内数据的一致性，影响数据使用者的正常使用，如果检查周期过短，则必然会对数据库造成读写压力。另外，如果数据库内数据量巨大，则完成同步的时间、对数据的读写压力、检索变化数据的计算开销将不可接受。

对于由数据访问者完成数据的同步的方法，增加了数据使用接口的复杂度；在初次使用数据时完成数据的同步，可能会发生大量数据需要同步的情况，数据库系统的压力将会出现峰值，从而引发性能问题；如果使用了数据过期时间策略，除了增加数据使用接口的复杂度，还会产生新的数据库系统访问瓶颈。

发明内容

本发明实施例提供了一种应用缓存服务器与数据库同步的方法、装置和系统，满足了数据库内的数据同步到应用缓存服务器的时效性要求，并减轻了数据同步时对数据库的压力。

本发明实施例提供了一种应用缓存服务器与数据库同步的方法，包括以下步骤：

当数据库中的数据发生更新时，接收来自所述数据库的更新数据，将所述更新数据添加到消息队列；

根据所述添加到消息队列中的更新数据，更新应用缓存服务器中的数据。

本发明实施例还提供了一种应用缓存服务器，包括：

接收模块，用于当数据库中的数据发生更新时，接收来自所述数据库的更新数据，将所述更新数据添加到消息队列；

存储模块，用于存储数据；

更新模块，与所述接收模块和所述存储模块连接，用于根据所述接收模块添加到消息队列中的更新数据，更新存储模块中的数据。

本发明实施例还提供了一种应用缓存服务器与数据库同步的系统，包括数据使用设备、数据库和应用缓存服务器，

所述数据使用设备，用于读取所述应用缓存服务器中的数据，并对所述数据库中数据进行修改；

所述数据库，用于在自身的数据发生更新时，将更新数据发送到所述应用缓存服务器；

所述应用缓存服务器，用于当所述数据库中的数据发生更新时，接收来自所述数据库的更新数据，将所述更新数据添加到消息队列；根据所述添加到消息队列中的更新数据，更新缓存单元中的数据。

与现有技术相比，本发明实施例具有以下优点：仅在数据库中的数据更新的时刻进行数据同步，并将更新的数据内容添加到消息队列中，消息处理程序无需再次和数据库交互，便可把数据同步到应用缓存服务器中，满足了数据同步的时效性，减轻了数据同步时对数据库的压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的一种应用缓存服务器与数据库同步的方法流程图；

图2为本发明实施例应用场景中的应用缓存服务器与数据库同步的系统结构示意图；

图3为本发明实施例应用场景中的应用缓存服务器与数据库同步流程图；

图4为本发明实施例中的一种应用缓存服务器结构示意图；

图5为本发明实施例应用场景中的应用缓存服务器结构示意图；

图6所示，为本发明实施例中的一种应用缓存服务器与数据库同步的系统结构示意图。

具体实施方式

本发明实施例提供的技术方案中，提出一种触发式同步技术，当数据库内的数据发生变化时，变化的数据主动同步到应用缓存服务器中，使应用缓存服务器内数据和数据库内的数据保持一致，并解决了数据库内数据同步到应用缓存服务器中的时效性问题和数据同步时对数据库的压力问题。

下面将结合本发明实施例中的附图，对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例中的一种应用缓存服务器与数据库同步的方法流程图，包括以下步骤：

步骤101，当数据库中的数据发生更新时，接收来自该数据库的更新数据，将该更新数据添加到消息队列。

步骤102，根据添加到消息队列中的更新数据，更新应用缓存服务器中的数据。

如图2所示，为本发明实施例应用场景中的应用缓存服务器与数据库同步的系统结构示意图，包括数据使用设备100、数据库200(包括数据库触发器)、缓存访问接口300、定时全同步程序400、触发式同步程序500、缓存单元600、消息队列700和外部触发器800。其中，缓存访问接口300、定时全同步程序400、触发式同步程序500、缓存单元600、消息队列700和外部触发器800构成应用缓存服务器，为数据使用设备100提供数据读取服务。数据使用者100通过缓存访问接口300完成对缓存服务器600的读取操作，通过数据库200的接口可以完成对数据的修改操作。定时全同步程序400用于完成缓存服务器600的第一次数据加载的初始化，当触发式同步程序500由于某种意外原因在同步过程失效时，可以作为一种补充手段完成数据同步，该程序可设定在应用系统的业务空闲时段自动执行。

以下结合上述应用场景对本发明实施例中的应用缓存服务器与数据库同步的方法进行详细、具体的描述。

如图3所示，为本发明实施例应用场景中的应用缓存服务器与数据库同步流程图，具体包括以下步骤：

步骤301，创建定时全同步程序400和数据缓存服务程序。

其中，数据缓存服务程序用于完成数据在缓存系统中的存储，并提供数据使用者访问数据的接口，减少数据使用设备100直接访问数据库系统时造成的压力，数据使用设备100通过数据缓存服务程序的数据访问接口，完成对数据的读取操作。

步骤302，定时全同步程序400初始化缓存单元600中的数据，将数据库200中的数据加载到缓存单元600中。

步骤303，为需要同步的数据库创建外部触发器800。

具体地，按照数据库系统的外部过程规范建立外部触发器800，并按照数据库系统规范为数据库系统加载外部触发器800，该外部触发器800用于在数据库内的数据发生更新(增加、删除或修改)时，被触发并开始工作，把包含更新数据的消息或更新数据本身发送到消息队列中。

步骤304，当数据库中的数据发生更新时，数据库200中的数据库触发器触发外部触发器800。

步骤305，创建消息队列700。

其中，消息队列用于提供数据库变化通知的队列服务，解耦各部分之间的依赖性，包含更新数据的消息或更新数据本身进入消息队列，由触发式同步程序500读取更新数据，并完成数据的同步；而非由外部触发器800直接操作缓存单元600。

步骤306，外部触发器800将包含更新数据的消息或更新数据本身添加到消息队列700。

具体地，外部触发器800接收来自数据库200中的数据库触发器的触发命令，将包含更新数据的消息或更新数据本身添加到消息队列700。

步骤307，创建触发式同步程序500。

其中，触发式同步程序500用于连结消息队列，等待包含更新数据的消息或更新数据本身进入消息队列，当包含更新数据的消息或更新数据本身到进入消息队列时，确定更新的数据内容，并根据该数据内容更新应用缓存服务器，最终完成应用缓存服务器和数据库系统之间的数据同步。

步骤308，触发式同步程序500连结消息队列，通过该消息队列获取更新数据，并根据该更新数据对缓存单元600中的数据进行更新，完成触发式同步过程。

需要说明的是，本发明实施例方法可以根据实际需要对各个步骤顺序进行调整。

本发明实施例无需使用外部同步程序进行周期性的检查，消除了检索变化数据的计算开销，数据同步只发生在数据库中的数据更新的时刻，并将更新的数据内容添加到消息队列中，消息处理程序无需再次和数据库交互，便可把数据同步到应用缓存服务器中，满足了数据同步的时效性，减轻了数据同步时对数据库的压力，尤其对于数据库内有大量数据时。

本发明在上述实施方式中提供了应用缓存服务器与数据库同步的方法和多种应用场景，相应地，本发明实施例还提供了应用上述应用缓存服务器与数据库同步的方法的装置和系统。

如图4所示，为本发明实施例中的一种应用缓存服务器结构示意图，包括：

接收模块410，用于当数据库中的数据发生更新时，接收来自所述数据库的更新数据，将所述更新数据添加到消息队列。

存储模块420，用于存储数据。

更新模块430，与接收模块410和存储模块420连接，用于根据接收模块410添加到消息队列中的更新数据，更新存储模块420中的数据。

如图5所示，为本发明实施例应用场景中的应用缓存服务器结构示意图，包括创建模块510、接收模块520、存储模块530和更新模块540，其中，

创建模块510，用于创建消息队列，通过所述消息队列提供数据库变化通知的队列服务。

上述创建模块510，还用于创建触发式同步程序，通过所述创建触发式同步程序连结所述消息队列。

接收模块520，与创建模块510连接，用于当数据库中的数据发生更新时，接收来自数据库的更新数据，将所述更新数据添加到消息队列。

上述接收模块520，具体用于接收来自所述数据库的更新数据和触发命令，通过预先创建的外部触发器将所述更新数据添加到所述消息队列。

存储模块530，用于存储数据。

初始化模块540，与存储模块530连接，用于通过预先创建的定时全同步程序初始化存储模块530中的数据，将所述数据库中的数据加载到存储模块530中。

更新模块550，与接收模块520和存储模块530连接，用于根据接收模块520添加到消息队列中的更新数据，更新存储模块530中的数据。

本发明实施例无需使用外部同步程序进行周期性的检查，消除了检索变化数据的计算开销，数据同步只发生在数据库中的数据更新的时刻，并将更新的数据内容添加到消息队列中，消息处理程序无需再次和数据库交互，便可把数据同步到应用缓存服务器中，满足了数据同步的时效性，减轻了数据同步时对数据库的压力，尤其对于数据库内有大量数据时。

如图6所示，为本发明实施例中的一种应用缓存服务器与数据库同步的系统结构示意图，包括数据使用设备610、数据库620和应用缓存服务器630，其中，

数据使用设备610，用于读取所述应用缓存服务器630中的数据，并对所述数据库620中数据进行修改。

数据库620，用于在自身的数据发生更新时，将更新数据发送到所述应用缓存服务器620。

应用缓存服务器630，用于当所述数据库620中的数据发生更新时，接收来自所述数据库620的更新数据，将所述更新数据添加到消息队列；根据所述添加到消息队列中的更新数据，更新缓存单元中的数据。

上述应用缓存服务器630，还用于创建外部触发器，所述外部触发器用于将所述更新数据添加到所述消息队列；

相应地，上述数据库620，还用于通过自身的数据库触发器触发所述外部触发器工作。

上述应用缓存服务器630，还用于创建数据缓存服务程序和定时全同步程序，通过所述定时全同步程序初始化缓存单元中的数据，将所述数据库中的数据加载到所述缓存单元中。

上述应用缓存服务器630，还用于创建消息队列，通过所述消息队列提供数据库变化通知的队列服务。

上述应用缓存服务器630，还用于创建触发式同步程序，通过所述创建触发式同步程序连结所述消息队列。

本发明实施例无需使用外部同步程序进行周期性的检查，消除了检索变化数据的计算开销，数据同步只发生在数据库中的数据更新的时刻，并将更新的数据内容添加到消息队列中，消息处理程序无需再次和数据库交互，便可把数据同步到应用缓存服务器中，满足了数据同步的时效性，减轻了数据同步时对数据库的压力，尤其对于数据库内有大量数据时。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以集成于一体，也可以分离部署；可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种应用缓存服务器与数据库同步的方法，其特征在于，包括以下步骤：

当数据库中的数据发生更新时，接收来自所述数据库的更新数据，将所述更新数据添加到消息队列；

根据所述添加到消息队列中的更新数据，更新应用缓存服务器中的数据。

2.如权利要求1所述的方法，其特征在于，所述将更新数据添加到消息队列，具体为：

接收来自所述数据库中的数据库触发器的触发命令，通过预先创建的外部触发器将所述更新数据添加到所述消息队列。

3.如权利要求1所述的方法，其特征在于，所述接收来自数据库的更新数据之前，还包括：

通过预先创建的定时全同步程序初始化所述应用缓存服务器的缓存单元中的数据，将所述数据库中的数据加载到所述缓存单元中。

4.如权利要求1所述的方法，其特征在于，所述更新应用缓存服务器中的数据之前，还包括：

通过预先创建的触发式同步程序连结所述消息队列，并通过所述消息队列获取所述更新数据。

5.一种应用缓存服务器，其特征在于，包括：

接收模块，用于当数据库中的数据发生更新时，接收来自所述数据库的更新数据，将所述更新数据添加到消息队列；

存储模块，用于存储数据；

更新模块，与所述接收模块和所述存储模块连接，用于根据所述接收模块添加到消息队列中的更新数据，更新存储模块中的数据。

6.如权利要求5所述应用缓存服务器，其特征在于，

所述接收模块，具体用于接收来自所述数据库的更新数据和触发命令，通过预先创建的外部触发器将所述更新数据添加到所述消息队列。

7.如权利要求5所述应用缓存服务器，其特征在于，还包括：

初始化模块，与所述存储模块连接，用于通过预先创建的定时全同步程序初始化所述存储模块中的数据，将所述数据库中的数据加载到所述存储模块中。

8.如权利要求5所述应用缓存服务器，其特征在于，还包括：

创建模块，用于创建消息队列，通过所述消息队列提供数据库变化通知的队列服务。

9.如权利要求8所述应用缓存服务器，其特征在于，

所述创建模块，还用于创建触发式同步程序，通过所述创建触发式同步程序连结所述消息队列。

10.一种应用缓存服务器与数据库同步的系统，包括数据使用设备、数据库和应用缓存服务器，其特征在于，

所述数据使用设备，用于读取所述应用缓存服务器中的数据，并对所述数据库中数据进行修改；

所述数据库，用于在自身的数据发生更新时，将更新数据发送到所述应用缓存服务器；

所述应用缓存服务器，用于当所述数据库中的数据发生更新时，接收来自所述数据库的更新数据，将所述更新数据添加到消息队列；根据所述添加到消息队列中的更新数据，更新缓存单元中的数据。

Images