CN105159991B

CN105159991B - 一种保持数据一致性的方法、装置、系统和应用服务器

Info

Publication number: CN105159991B
Application number: CN201510555567.XA
Authority: CN
Inventors: 李林
Original assignee: Beijing Pierre Blaney Software Co Ltd
Current assignee: Beijing Pierre Blaney Software Co Ltd
Priority date: 2015-09-01
Filing date: 2015-09-01
Publication date: 2019-08-02
Anticipated expiration: 2035-09-01
Also published as: CN105159991A

Abstract

本发明公开了一种保持数据一致性的方法，在应用服务器中执行，适于将业务数据同时写入到第一数据库和第二数据库，所述方法包括：创建与第一数据库的第一数据库连接，并在第一数据库连接下启动第一数据库事务，执行对第一数据库的第一读写操作，以便将业务数据写入到第一数据库；创建与第二数据库的第二数据库连接，并在第二数据库连接下启动第二数据库事务，执行对第二数据库的第二读写操作，以便将业务数据写入到第二数据库；当第一读写操作对应的第一操作结果以及第二读写操作对应的第二操作结果均为成功时，分别执行对第一数据库事务和第二数据库事务的提交操作。本发明还公开了与上述方法相对应的保持数据一致性的装置、系统和应用服务器。

Description

一种保持数据一致性的方法、装置、系统和应用服务器

技术领域

本发明涉及数据库技术领域，具体涉及一种保持数据一致性的方法、装置、系统和应用服务器。

背景技术

由于单台数据库服务器的性能及容量限制，当业务发展到一定程度时，不得不对业务数据进行切分，使业务数据分别存储到多台数据库服务器的多个数据库中。

当业务需要同时向多个数据库写入数据时，若部分数据库提交失败，而另外的数据库提交成功，则会出现业务数据不一致的问题，导致最终存储的数据无法保证一致性而出现错误，给业务造成损失。

图1为现有技术中对两个数据库同时进行操作的流程图。如图1所示，Web服务器需要进行跨库操作，将业务数据同时写入到数据库A和数据库B，其流程如下：

步骤S101、创建与数据库A的数据库连接；

步骤S102、启动数据库事务A；

步骤S103、对数据库A执行一系列读写操作，以便将业务数据写入到数据库A；

步骤S104、如果对数据库A的操作成功，提交数据库事务A(Commit)，对数据库A的操作完成；

步骤S105、创建与数据库B的数据库连接；

步骤S106、启动数据库事务B；

步骤S107、对数据库B执行一系列读写操作，以便将业务数据写入到数据库B；

步骤S108、如果对数据库B的操作成功，提交数据库事务B(Commit)，对数据库B的操作完成；

至此，对数据库A、B的全部操作执行完毕，操作结果为：对数据库A的操作执行成功，对数据库B的操作执行成功。

在步骤S109中，如果对数据库B的操作失败，则回滚(Rollback)数据库事务B。全部操作执行完毕，执行结果为：对数据库A的操作执行成功，对数据库B的操作执行失败，此时，数据库A和数据库B出现数据不一致。

在步骤S110中，如果对数据库A操作失败，回滚数据库事务A。全部操作执行完毕，执行结果为：对数据库A的操作执行失败，对数据库B的操作未执行。

可以看出，根据步骤S109的执行结果，对数据库A的操作执行成功，对数据库B的操作执行失败，因为对数据库A的操作已提交到数据库A，无法回退，会导致数据库A数据与数据库B数据在逻辑上不一致。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种保持数据一致性的方法、装置、系统和应用服务器。

根据本发明的一个方面，提供了一种保持数据一致性的方法，在应用服务器中执行，适于将业务数据同时写入到第一数据库和第二数据库，所述方法包括：创建与第一数据库的第一数据库连接，并在第一数据库连接下启动第一数据库事务，执行对第一数据库的第一读写操作，以便将业务数据写入到第一数据库；创建与第二数据库的第二数据库连接，并在第二数据库连接下启动第二数据库事务，执行对第二数据库的第二读写操作，以便将业务数据写入到第二数据库；当第一读写操作对应的第一操作结果以及第二读写操作对应的第二操作结果均为成功时，分别执行对第一数据库事务和第二数据库事务的提交操作。

可选地，根据本发明的保持数据一致性的方法，还包括：当第一操作结果和第二操作结果中的任意一个为失败时，分别执行对第一数据库事务和第二数据库事务的回滚操作。

可选地，在根据本发明的保持数据一致性的方法中，第一数据库事务和第二数据库事务均为基于预写式日志的事务。

可选地，在根据本发明的保持数据一致性的方法中，所述应用服务器为Web服务器。

根据本发明的另一方面，提供了一种保持数据一致性的装置，驻留在应用服务器中，适于将业务数据同时写入到第一数据库和第二数据库，所述装置包括：第一操作单元，适于创建与第一数据库的第一数据库连接，并在第一数据库连接下启动第一数据库事务，执行对第一数据库的第一读写操作，以便将业务数据写入到第一数据库；第二操作单元，适于创建与第二数据库的第二数据库连接，并在第二数据库连接下启动第二数据库事务，执行对第二数据库的第二读写操作，以便将业务数据写入到第二数据库；提交单元，适于当第一读写操作对应的第一操作结果以及第二读写操作对应的第二操作结果均为成功时，分别执行对第一数据库事务和第二数据库事务的提交操作。

可选地，根据本发明的保持数据一致性的装置，还包括：回滚单元，适于当第一操作结果和第二操作结果中的任意一个为失败时，分别执行对第一数据库事务和第二数据库事务的回滚操作。

可选地，在根据本发明的保持数据一致性的装置中，第一数据库事务和第二数据库事务均为基于预写式日志的事务。

可选地，在根据本发明的保持数据一致性的装置中，所述应用服务器为Web服务器。

根据本发明的又一方面，提供了一种应用服务器，所述应用服务器中驻留有根据本发明的保持数据一致性的装置。

根据本发明的再一方面，提供了一种保持数据一致性的系统，包括根据本发明的应用服务器以及第一数据库服务器和第二数据库服务器，第一数据库服务器中包括第一数据库，第二数据库服务器中包括第二数据库。

根据本发明的保持数据一致性的方案，当业务需要同时向多个数据库写入数据时，通过对数据库事务提交的时机进行控制，仅当对第一数据库和第二数据库的操作结果均为成功时，才执行对第一数据库事务和第二数据库事务的提交操作，只要第一数据库和第二数据库的操作结果中任意一个失败，都会对第一数据库事务和第二数据库事务执行回滚操作，在较大程度上保证了跨数据库数据的一致性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为现有技术中对两个数据库同时进行操作的流程图；

图2示出了根据本发明一个实施例的保持数据一致性的方法流程图；以及

图3示出了根据本发明一个实施例的保持数据一致性的系统结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图2示出了根据本发明一个实施例的保持数据一致性的方法流程图，该方法在应用服务器(例如Web服务器)中执行，适于将业务数据同时写入到数据库A和第二数据库B。

参照图2，该方法始于步骤S201。在步骤S201中，创建与数据库A的数据库连接A，创建数据库连接A的示例性语句如下：

string connectionStringA＝"Server＝192.168.0.1；Database＝TestA；UserID＝TestA；Password＝TestA；"；

SqlConnection connA＝new SqlConnection(connectionStringA)；

创建数据库连接A之后，方法进入步骤S202。在步骤S202中，在数据库连接A下，启动数据库事务A，启动数据库事务A的示例性语句如下：

SqlTransaction transactionA＝connA.BeginTransaction("SampleTransactionA")；

connA.Open()；

SqlCommand commA＝connection.CreateCommand()；

commA.Connection＝connA；

commA.Transaction＝transactionA；

启动数据库事务A之后，方法进入步骤S203。在步骤S203中，根据启动的数据库事务A，对数据库A执行一系列的的读写操作，以便将业务数据写入到数据库A，对数据库A执行读写操作的示例性语句如下：

string sqlA＝"insert into Table(row1,row2,row3)values('value1','value2','value3')"；

commA.CommandText＝sqlA；

commA.ExecuteNonQuery()；

对数据库A执行读写操作完成后，方法进入步骤S204。在步骤S204中，创建与数据库B的数据库连接B，创建数据库连接B的示例性语句如下：

string connectionStringB＝"Server＝192.168.0.1；Database＝TestB；UserID＝TestB；Password＝TestB；"；

SqlConnection connB＝new SqlConnection(connectionStringB)；

创建数据库连接B之后，方法进入步骤S205。在步骤S205中，在数据库连接B下，启动数据库事务B，启动数据库事务B的示例性语句如下：

SqlTransaction transactionB＝connB.BeginTransaction("SampleTransactionB")；

connB.Open()；

SqlCommand commB＝connection.CreateCommand()；

commB.Connection＝connB；

commB.Transaction＝transactionB；

启动数据库事务B之后，方法进入步骤S206。在步骤S206中，根据启动的数据库事务B，对数据库B执行一系列的的读写操作，以便将业务数据(与写入到数据库A相同的业务数据)写入到数据库B，对数据库B执行读写操作的示例性语句如下：

string sqlB＝"insert into Table(row1,row2,row3)values('value1','value2','value3')"；

commB.CommandText＝sqlB；

commB.ExecuteNonQuery()；

然后，判断对数据库B的读写操作是否成功。若对数据库B的读写操作操作成功，则进一步判断对数据库A的读写操作是否成功。若对数据库A的读写操作也成功，则方法进入步骤S207。

若对数据库B的读写操作失败，或者，对数据库B的读写操作成功但对数据库A的读写操作失败，则方法进入步骤S209。其中，对数据库的读写操作失败，相应的数据库事务会抛出异常。

当然，本发明实施例对判断对数据库A和数据库B的读写操作是否成功的执行顺序不做限制，只要是二者都成功，则方法进入步骤S207，二者任意一个不成功，则方法进入步骤S209。

在步骤S207中，提交(Commit)数据库事务A，示例性语句如下：

transactionA.Commit()；

提交数据库事务A之后，方法进入步骤S208。在步骤S208中，提交(Commit)数据库事务B，示例性语句如下。

transactionB.Commit()；

这样，全部操作执行完毕，操作结果为：对数据库A的读写操作执行成功，业务数据成功写入到数据库A，对数据库B的读写操作执行成功，业务数据成功写入到数据库B，数据库A和数据库B中的业务数据保持一致。

当然，本发明实施例对数据库事务A和数据库事务B的提交顺序不做限制，也可以是先提交数据库事务B，再提交数据库事务A。

在步骤S209中，回滚(Rollback)数据库事务B，示例性语句如下：

transactionB.Rollback()；

回滚数据库事务B之后，方法进入步骤S210。在步骤S210中，回滚(Rollback)数据库事务A，示例性语句如下：。

transactionA.Rollback()；

这样，全部操作执行完毕，操作结果为：对数据库A的读写操作以及对数据库B的读写操作都执行失败回滚，业务数据没有写入到数据库A和数据库B，数据库A和数据库B中的业务数据库仍然保持一致。

当然，本发明实施例对数据库事务A和数据库事务B的回滚顺序不做限制，也可以是先回滚数据库事务A，再回滚数据库事务B。

进一步，在本发明实施例中，所创建的数据库事务为基于预写式日志(Write-Ahead Logging，WAL)的事务。以下对WAL事务进行介绍。

SQL Server使用了预写式日志来确保事务的原子性和持久性。实际上，不光是SQLServer，基本上主流的关系数据库包括oracle、mysql、db2都使用了WAL技术。WAL的设计思想是：在数据写入到数据库之前，先写入到日志。

SQL Server对于数据的修改，会分为以下几个步骤顺序执行：

1、在SQL Server的缓冲区的日志中写入”Begin Tran”记录；

2、在SQL Server的缓冲区的日志页写入要修改的信息；

3、在SQL Server的缓冲区将要修改的数据写入数据页；

4、在SQL Server的缓冲区的日志中写入”Commit”记录；

5、将缓冲区的日志写入日志文件；

6、发送确认信息(ACK)到客户端(SMSS、ODBC等)。

从上面的步骤可以看出，即使事务已经到了Commit阶段，也仅仅只是把缓冲区的日志页写入日志，并没有把数据写入数据库。直到数据库执行惰性写入器(Lazy Writer)和存档点(CheckPoint)操作时才将要修改的数据页写入数据库。

Lazy Writer存在的目的是对缓冲区进行管理。当缓冲区达到某一临界值时，LazyWriter会将缓冲区内的脏页存入磁盘文件中，而将未修改的页释放并回收资源。

而CheckPoint存在的意义是减少服务器的恢复时间(Recovery Time)。CheckPoint会定期发生，来将缓冲区内的“脏”页写入磁盘。

根据本发明实施例的保持数据一致性的方法，对数据库事务Commit的时机进行了合理控制，并且由于采用了数据库WAL，进行Commit操作仅仅是在数据库缓冲区日志中写入“Commit”记录，并不涉及数据操作，理论上，在步骤S207和步骤S208中不会发生失败回滚的情况，即数据库事务A的Commit和数据库事务B的Commit都会执行成功。当然，即使万一Commit失败，也可以根据日志进行恢复。

图3示出了根据本发明一个实施例的保持数据一致性的系统结构图。参照图3，所述系统包括应用服务器(例如Web服务器)以及第一数据库服务器和第二数据库服务器，第一数据库服务器中包括第一数据库，第二数据库服务器中包括第二数据库，应用服务器中包括根据本发明实施例的保持数据一致性的装置。

继续参照图3，根据本发明实施例的保持数据一致性的装置，适于将业务数据同时写入到第一数据库和第二数据库，并包括：

第一操作单元，适于创建与第一数据库的第一数据库连接，并在第一数据库连接下启动第一数据库事务，执行对第一数据库的第一读写操作，以便将业务数据写入到第一数据库；

第二操作单元，适于创建与第二数据库的第二数据库连接，并在第二数据库连接下启动第二数据库事务，执行对第二数据库的第二读写操作，以便将业务数据写入到第二数据库；以及

提交单元，适于当第一读写操作对应的第一操作结果以及第二读写操作对应的第二操作结果均为成功时，分别执行对第一数据库事务和第二数据库事务的提交操作。

进一步，所述装置还包括：回滚单元，适于当第一操作结果和第二操作结果中的任意一个为失败时，分别执行对第一数据库事务和第二数据库事务的回滚操作。

其中，第一数据库事务和第二数据库事务均为基于预写式日志的事务。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的保持数据一致性的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种保持数据一致性的方法，在应用服务器中执行，适于将业务数据同时写入到第一数据库和第二数据库，所述方法包括：

创建与第一数据库的第一数据库连接，并在第一数据库连接下启动第一数据库事务，执行对第一数据库的第一读写操作，以便将业务数据写入到第一数据库；

创建与第二数据库的第二数据库连接，并在第二数据库连接下启动第二数据库事务，执行对第二数据库的第二读写操作，以便将业务数据写入到第二数据库，第一数据库事务和第二数据库事务均为基于预写式日志的事务；

当第一读写操作对应的第一操作结果以及第二读写操作对应的第二操作结果均为成功时，分别执行对第一数据库事务和第二数据库事务的提交操作，当提交操作失败时，根据日志进行恢复；以及

当第一操作结果和第二操作结果中的任意一个为失败时，分别执行对第一数据库事务和第二数据库事务的回滚操作。

2.如权利要求1所述的方法，其中，所述应用服务器为Web服务器。

3.一种保持数据一致性的装置，驻留在应用服务器中，适于将业务数据同时写入到第一数据库和第二数据库，所述装置包括：

第二操作单元，适于创建与第二数据库的第二数据库连接，并在第二数据库连接下启动第二数据库事务，执行对第二数据库的第二读写操作，以便将业务数据写入到第二数据库，第一数据库事务和第二数据库事务均为基于预写式日志的事务；

提交单元，适于当第一读写操作对应的第一操作结果以及第二读写操作对应的第二操作结果均为成功时，分别执行对第一数据库事务和第二数据库事务的提交操作，当提交操作失败，根据日志进行恢复；以及

回滚单元，适于当第一操作结果和第二操作结果中的任意一个为失败时，分别执行对第一数据库事务和第二数据库事务的回滚操作。

4.如权利要求3所述的装置，其中，所述应用服务器为Web服务器。

5.一种应用服务器，其中，所述应用服务器中驻留有如权利要求3或4所述的保持数据一致性的装置。

6.一种保持数据一致性的系统，包括如权利要求5所述的应用服务器以及第一数据库服务器和第二数据库服务器，第一数据库服务器中包括第一数据库，第二数据库服务器中包括第二数据库。