CN100377156C - 一种利用组通信系统进行数据库复制的方法和中间件 - Google Patents

Abstract

本发明公开了一种组通信系统中利用中间件进行数据库复制的方法和中间件，用于多个数据库存储节点上之间数据库的复制，以保证各个节点上数据库的一致性。该方法包括本地事务执行步骤、事务广播步骤、事务排序步骤、乱序判断步骤、定序事务执行步骤和数据库写回步骤。该中间件包括与前述方法中各步骤对应的模块。本发明在进行数据库复制时以事务为单位对数据库节点进行广播，大大降低了系统的通信开销，提高了事务的响应时间，而且能够保证不同节点上数据库的严格一致性。

Description

一种利用组通信系统进行数据库复制的方法和中间件

技术领域

本发明涉及数据库系统，具体地说，本发明涉及利用中间件实现数据库复制的方法和系统。

背景技术

复制是将一组数据从一个数据源拷贝到多个数据源的技术，是将一份数据发布到多个存储节点上的有效方式。数据库复制是将一份数据发布到多台服务器上，从而使不同的服务器用户都可以在权限许可的范围内共享这份数据。特别是对于全复制数据库来说，各个存储节点上保存有相同的数据库，利用复制技术可以确保分布在不同存储节点的数据库自动同步更新，从而保证数据的一致性。

利用组通信系统进行同步数据库复制是一种数据库复制的新技术，在国内外都有研究。组通信系统是指根据Lamport逻辑时钟的概念，在虚同步(Virtual Synchrony)模型或扩展虚同步模型(Extended Virtual Synchrony)的基础上，实现分布式计算环境下容错处理的一个通信中间层。组通信系统维护一个进程组，提供各种多播通信方式，并有数据安全传送和组成员管理服务的功能。应用程序使用它可以方便地实现分布式环境下的容错，数据和关键服务的复制及系统的动态管理。组通信系统主要包括以下功能：成员管理，用于检测节点的加入、退出；各种通信方式，如FIFO：保证来自同一个节点的消息，接收方接收的次序和发送的次序是一致的；TOTAL-ORDER：当组里多个节点同时广播时，保证这些消息到达所有节点的次序是一致的；SAFE：当网络发生分裂时，消息的接收遵循EVS模型。

利用组通信系统进行同步数据库复制的实现方式主要有两种，分别为：修改DBMS(数据库管理系统)方式和中间件方式。前者指修改DBMS，增加复制协议，从内部支持复制；后者中的中间件是指在传统的客户端和服务器之间所增加的一层系统软件，它可以将多个同构或异构的服务器的资源和服务整合成一个逻辑整体，从而对客户提供一个统一的服务接口，简化用户操作，在原有的单机数据库系统之上构造数据库中间件是实现分布式系统的一种有效手段。采用中间件方式是通过截获并分析客户端同服务器交互的数据流，实现透明的数据库复制。

Kemme等人在修改开放源代码、的DBMS-PostgreSQL的基础上，实现了同步复制，由于复制是在DBMS内部实现的，因此能获得更好的性能。上述方法具体见参考文献：B.Kemme and G.Alonso.Don’t be lazy，be consistent：Postgres-R，A new wayto implement Database Replication.In Proc.Of Inf.Conf.On Very Large Database，VLDB’00，2000。该方法是面向事务的数据库复制操作，但是有如下缺点：

1：必须知道DBMS的源代码，实现复杂；

2：在客户访问频繁的时候，事务被撤销的比例大，导致吞吐率下降。

3：难以实现异种DBMS之间的复制。这主要是因为：必须在各种DBMS内增加相同的复制协议，需要在异种DBMS之间进行数据格式的转化。如果复制协议修改了，相应的要修改各种DBMS。

4：采用receiver-driven的方式实现部分复制。receiver-driven是将每个消息广播给所有成员节点，由接收者选择是否处理。这种方式增大了通信量，严重影响了系统的可扩展性。

Amir等人采用中间件的方式，解决了广域网上存在网络分割情况下的复制问题。该方法的实现可见参考文献：Y.Amir，C.Danilov，M.Miskin-Amir，J.Stanton，and C.Tutu.Practical Wide Area Database Replication.Technical Report CNDS-2002-1，JohnsHopkins University，2002。但该方法所提供的复制方式是面向操作的，也就是说，每次复制的对象是单个的更新操作，每复制一个操作都要对所有数据库节点广播一次，对于一个包含多条语句的事务的复制，则相应地需要广播多次。这样，由于每复制一个操作都要广播一次，因此通信开销大；对于一个事务来说，由于每个操作都要同步一次，事务的执行时间变长，事务响应时间变慢，也降低了系统的吞吐率。

由上述两种现有的同步数据库复制的实现方式可见，上述两种方法有各自的缺陷和优点，如果能够集合两种方法的长处，扬长避短，提供一种面向事务的数据库复制中间件，就能够方便、快速、有效地实现对数据库的同步复制。

发明内容

本发明的目的之一是提供一种组通信系统中利用中间件进行数据库复制的方法，该方法可以支持面向事务的数据库复制并保证数据的严格一致性；本发明的另一目的是提供一种组通信系统中进行数据库复制的中间件，该中间件可以支持面向事务的数据库复制并保证数据的严格一致性。

为了实现上述目的，本发明提供了一种利用组通信系统进行数据库复制的方法，用于多个数据库存储节点上数据库之间的复制，以保证各个节点上数据库的一致性；该方法的实现方式采用中间件方式，具体包括以下步骤：

本地事务执行步骤：数据库存储节点接收从客户端应用程序发送来的事务请求并在本地节点执行该事务，所述存储节点以交互的方式执行客户端应用程序发送来的事务请求，对于事务请求中包含的每一个操作都将操作结果返回至客户端应用程序，但并不更新数据库内容；

事务广播步骤：将在数据库存储节点本地执行成功的事务，由中间件的事务广播模块将该事务通过组通信系统广播到所有的数据库存储节点；

事务排序步骤：组通信系统利用其T0TAL-0RDER通信机制对通过其广播的所有事务进行定序，形成一个事务队列；

乱序判断步骤：数据库存储节点在本地事务执行步骤中已经执行的事务在所述事务队列中具有一对应位置，判断所述事务队列中在该对应位置之前是否有与所述已经执行的事务相冲突的事务；

定序事务执行步骤：根据乱序判断步骤的判断结果执行所述事务队列；当判断无冲突时，则按照所述事务队列中的事务顺序执行事务队列中除已经执行的事务之外的其它事务；当判断有冲突时，则需要将该已经执行的事务撤销，也就是将内存或者缓存中该事务的执行结果返回至该事务执行前的状态，而后再执行事务队列；

数据库写回步骤：当所有数据库存储节点上都成功执行了所述事务队列中的同一个事务后，各个数据库存储节点按照该事务的执行结果更新其数据库内容。

本发明还提供了一种组通信系统中进行数据库复制的中间件，该中间件安装在数据库存储节点上，数据库存储节点之间通过网络进行链接，每一个节点上都有一个与其它节点内容相同的完整的数据库，并可与客户端应用程序以及数据库存储节点上的数据库管理系统通讯，；其特征在于，该中间件包括：

本地事务执行模块，用于截获从客户端应用程序发送至数据库存储节点的事务请求，并将该事务请求发送至数据库管理系统执行；所述存储节点以交互的方式执行客户端应用程序发送来的事务请求，对于事务请求中包含的每一个操作都将操作结果返回至客户端应用程序，但并不更新数据库内容；

事务广播模块，用于将在数据库存储节点本地执行成功的事务通过组通信系统广播到所有的数据库存储节点；

乱序判断模块，数据库存储点在本地事务执行模块中已经执行的事务在所述事务队列中具有一对应位置，该模块用于判断所述事务队列中在该对应位置之前是否有与所述已经执行的事务相冲突的事务；

定序事务执行模块，用于根据乱序判断模块的判断结果执行所述事务队列；当判断无冲突时，则按照所述事务队列中的事务顺序执行事务队列中除已经执行的事务之外的其它事务；当判断有冲突时，则需要将该已经执行的事务撤销，也就是将内存或者缓存中该事务的执行结果返回至该事务执行前的状态，而后再执行事务队列；

数据库写回模块，用于当所有数据库存储节点上都成功执行了所述事务队列中的同一个事务后，各个数据库存储节点按照该事务的执行结果更新其数据库内容。

本发明在进行数据库复制时以事务为单位对数据库节点进行广播，大大降低了系统的通信开销，提高了事务的响应时间，而且能够保证不同节点上数据库的严格一致性。

附图说明

图1是常规的组通信系统中利用中间件进行数据库复制的系统示意图；

图2是本发明用于数据库复制的中间件的组成示意图；

图3是本发明数据库复制方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

在一个数据库系统中通常包括多个数据库存储节点，对于全复制数据库系统来说，任何一个节点上都有一个与其它节点内容相同的完整的数据库。这些数据库存储节点之间通过网络进行连接，在本发明中，数据库存储节点之间通过组通信系统进行通信。图1示出了常规的在组通信系统中利用中间件进行数据库复制的系统，通常该系统中包含多个数据库存储节点，图1仅示例性地示出了节点1和节点2两个数据库存储节点，每一个节点1和2中都包含一个内容相同的数据库，而且节点1和2上还包括有用于可对数据库进行操作的数据库管理系统。节点1和2 上都还具有一个中间件，该中间件可以截获客户端应用程序与数据库管理系统之间的数据流并对该数据流进行分析和操作，以实现对数据库管理系统透明的数据库复制。如图1所示，在组通信系统中，每一个数据库存储节点1和2上都有一个组通信系统，节点1和2利用组通信系统通过网络3进行数据和信息的传输。

数据库存储节点上的中间件通常是由一个专用程序来实现，在本发明的一个实施例中，该中间件的结构如图2所示。在图2中，该中间件包括本地事务执行模块、事务广播模块、乱序判断模块、定序事务执行模块和数据库写回模块。其中，事务广播模块最好包括语义分析单元和事务重组单元。下面结合图1和图2，根据图3所示的数据库复制流程图对本发明进行详细描述。

步骤10为本地事务执行步骤，在该步骤中，中间件中的本地事务执行模块截获从容户端应用程序发送至数据库存储节点的事务请求，并将该事务请求发送至数据库管理系统执行，并将执行结果返回至客户端应用程序。通常，一个事务包括多个数据库操作，这些数据库操作通常为SQL语句。一个示例性的事务请求如下所示：

begin   //开始

语句S1  //读数据操作；

语句S2  //写数据操作；

语句S3  //写数据操作；

commit  //提交

该事务请求包括S1～S3三个数据库操作语句，并以一个提交命令(commit)作为事务的结束。数据库存储节点通常是以交互式的方式接收并执行该事务请求的，也就是说，数据库存储节点每执行一个操作都会将操作结果返回至客户端，并由客户端发送下一个操作语句，直至客户端发送提交命令作为事务请求的结束。例如在前述的示例性事务请求中，客户端应用程序发送语句S1，数据库存储节点执行该操作S1后将结果返回至客户端，然后由客户端应用程序再发送语句S2，依次类推。在这个过程中，在执行事务中的任何一个操作的失败都要撤销该事务，并给客户端返回一失败消息，例如当在数据库存储节点上没有找到执行一个操作所需要的数据，则撤销该事务；或者，在这个过程中数据库存储节点接收到客户端应用程序本身发出的一个回滚命令(Rollback)，也会导致该事务的撤销。

应当注意的是，在本地事务执行步骤10中，数据库存储节点在执行客户端发来的每一个操作时，仅将数据库中的内容调入内存或者缓存中进行操作，并将操作结果返回客户端，但是即使该操作为更新操作，即涉及修改数据库内容的操作，在该步骤中也并不更新数据库中的内容。

步骤20为事务广播步骤，在该步骤中，从客户端应用程序发送来的事务请求在存储节点本地执行成功后，由中间件中的事务广播模块将该事务通过组通信系统广播到所有的数据库存储节点。在这里，事务广播模块最好只将事务中涉及更新的那些操作组成一个新的事务广播出去，以降低通信开销。在一个实施例中，事务广播模块包括语义分析单元和事务重组单元，其中，语义分析单元分析从客户端应用程序发送来的事务请求，从中选出涉及更新的那些操作语句，然后由事务重组单元将涉及更新的操作语句组织成一个事务广播出去。以前述由S1～S3三个数据库操作语句组成的事务为例，语义分析单元对语句S1～S3进行语义分析，挑选出写数据操作语句S2和S3；事务重组单元将语句S2和S3组织成如下事务广播出去：

begin   //开始

语句S2  //写数据操作；

语句S3  //写数据操作；

commit  //提交。

步骤30为事务排序步骤，在该步骤中，组通信系统利用其TOTAL-ORDER通信机制对通过其广播的所有事务进行定序，形成一个事务队列。在基于组通信系统的数据库系统中，在一个时间段内，通常有数据库存储节点广播出的多个事务在网络中传播，组通信系统中的TOTAL-ORDER通信机制可以对这些事务进行定序，使得多个事务以相同的顺序进入到数据库存储节点。

步骤40为乱序判断步骤，在该步骤中，数据库存储节点上的中间件的乱序判断模块判断在本地事务执行步骤中已经执行的事务是否符合与事务队列中的事务有冲突。如前所述，在本地事务执行步骤10中，一个数据库存储节点上的中间件的本地事务执行模块截获从客户端应用程序发送至数据库存储节点的事务请求并已发送至数据库管理系统执行；而在事务广播步骤20和事务排序步骤30中，该事务请求执行成功后又由中间件中的事务广播模块将该事务通过组通信系统广播、并经组通信系统定序后按顺序发送到所有的数据库存储节点。这样，对于一个数据库存储节点来说，定序的事务队列中的某个或某些事务已经在本地事务执行步骤10中执行，而该已经执行的事务也同时处于事务队列中的某一对应位置。因而，该数据库存储节点需要判断在事务队列中，处于已经执行的事务对应位置之前的事务是否与该已经执行的事务相冲突。

步骤50为定序事务执行步骤，在该步骤中，定序事务执行模块根据乱序判断模块的判断结果执行事务队列。乱序判断模块的判断结果包括两种，一种没有冲突，那么则不需要再重复执行该事务，而继续执行事务队列中的其它事务；一种是有冲突，则需要将该已经执行的事务撤销，也就是将内存或者缓存中该事务的执行结果返回至该事务执行前的状态，而后再执行事务队列。一个数据库存储节点上中间件的定序事务执行模块在执行事务队列时，最好是每成功执行事务队列中的一个事务后都发送一个执行成功消息至其它所有数据库存储节点。

步骤60为数据库写回步骤，在该步骤中，当所有数据库存储节点上都成功执行了事务队列中的同一个事务后，由各节点上的中间件的数据库写回模块按照该事务的执行结果更新其数据库内容，直至执行完事务队列中的所有事务并完成数据库的更新。数据库写回模块可根据其它节点发送来的执行成功消息来判断是否所有的节点都已经成功执行事务队列中的同一个事务。数据库写回模块只要发现有一个节点没有能成功执行事务队列中的某一事务，就不进行数据库的更新，而将该事务回滚(rollback)并其从事务队列中删除。这样，可以保证各个节点的数据库都可以进行相同的更新，从而确保不同节点上数据库的一致性。

Claims (9)

1.一种利用组通信系统进行数据库复制的方法，用于多个数据库存储节点上数据库之间的复制，以保证各个节点上数据库的一致性；该方法的实现方式采用中间件方式，具体包括以下步骤：

本地事务执行步骤：数据库存储节点接收从客户端应用程序发送来的事务请求并在本地节点执行该事务，所述存储节点以交互的方式执行客户端应用程序发送来的事务请求，对于事务请求中包含的每一个操作都将操作结果返回至客户端应用程序，但并不更新数据库内容；

事务广播步骤：将在数据库存储节点本地执行成功的事务，由中间件的事务广播模块将该事务通过组通信系统广播到所有的数据库存储节点；

事务排序步骤：组通信系统利用其TOTAL-ORDER通信机制对通过其广播的所有事务进行定序，形成一个事务队列；

乱序判断步骤：数据库存储节点在本地事务执行步骤中已经执行的事务在所述事务队列中具有一对应位置，判断所述事务队列中在该对应位置之前是否有与所述已经执行的事务相冲突的事务；

定序事务执行步骤：根据乱序判断步骤的判断结果执行所述事务队列；当判断无冲突时，则按照所述事务队列中的事务顺序执行事务队列中除已经执行的事务之外的其它事务；当判断有冲突时，则需要将该已经执行的事务撤销，也就是将内存或者缓存中该事务的执行结果返回至该事务执行前的状态，而后再执行事务队列；

数据库写回步骤：当所有数据库存储节点上都成功执行了所述事务队列中的同一个事务后，各个数据库存储节点按照该事务的执行结果更新其数据库内容。

2.根据权利要求1所述的利用组通信系统进行数据库复制的方法，其特征在于，在本地事务执行步骤中，当一个事务请求执行失败或者接收到客户端应用程序发送的回滚命令时，撤销该事务的执行。

3.根据权利要求1所述的利用组通信系统进行数据库复制的方法，其特征在于，在事务广播步骤中，仅将事务中包含数据库更新的操作组织成一个事务进行广播。

4.根据权利要求1所述的利用组通信系统进行数据库复制的方法，其特征在于，在定序事务执行步骤中，数据库存储节点每成功执行所述事务队列中的一个事务后都发送一个执行成功消息至其它数据库存储节点。

5.根据权利要求1所述的利用组通信系统进行数据库复制的方法，其特征在于，在数据库写回步骤中，数据库存储节点通过各节点发送来的执行成功消息判断是否所有数据库存储节点都成功执行所述事务队列的同一个事务。

6.一种组通信系统中进行数据库复制的中间件，该中间件安装在数据库存储节点上，数据库存储节点之间通过网络进行链接，每一个节点上都有一个与其它节点内容相同的完整的数据库，并可与客户端应用程序以及数据库存储节点上的数据库管理系统通讯，；其特征在于，该中间件包括：

本地事务执行模块，用于截获从客户端应用程序发送至数据库存储节点的事务请求，并将该事务请求发送至数据库管理系统执行；所述存储节点以交互的方式执行客户端应用程序发送来的事务请求，对于事务请求中包含的每一个操作都将操作结果返回至客户端应用程序，但并不更新数据库内容；

事务广播模块，用于将在数据库存储节点本地执行成功的事务通过组通信系统广播到所有的数据库存储节点；

乱序判断模块，数据库存储节点在本地事务执行模块中已经执行的事务在所述事务队列中具有一对应位置，该模块用于判断所述事务队列中在该对应位置之前是否有与所述已经执行的事务相冲突的事务；

定序事务执行模块，用于根据乱序判断模块的判断结果执行所述事务队列；当判断无冲突时，则按照所述事务队列中的事务顺序执行事务队列中除已经执行的事务之外的其它事务；当判断有冲突时，则需要将该已经执行的事务撤销，也就是将内存或者缓存中该事务的执行结果返回至该事务执行前的状态，而后再执行事务队列；

数据库写回模块，用于当所有数据库存储节点上都成功执行了所述事务队列中的同一个事务后，各个数据库存储节点按照该事务的执行结果更新其数据库内容。

7.根据权利要求6所述的组通信系统中进行数据库复制的中间件，其特征在于，所述事务广播模块包括：

语义分析单元，用于分析从客户端应用程序发送来的事务请求，从中选出涉及更新的操作；

事务重组单元，用于将所述涉及更新的操作语句组织成事务进行广播。

8.根据权利要求6所述的组通信系统中进行数据库复制的中间件，其特征在于，所述定序事务执行模块每成功执行所述事务队列中的一个事务后都发送一个执行成功消息至其它数据库存储节点。

9.根据权利要求8所述的组通信系统中进行数据库复制的中间件，其特征在于，所述数据库写回模块根据其它数据库存储节点发送来的执行成功消息判断是否所有数据库存储节点都成功执行所述事务队列的同一个事务。