CN105183581B - 一种数据库容灾系统 - Google Patents

Abstract

本发明适用于数据处理领域，提供了一种数据库容灾系统，系统包括：交易还原设备，用于读取源数据库事务日志信息，并根据源数据库事务日志信息的内容，将源数据库发生的事务在备份数据库中进行回放；第一存储设备，包括第一日志空间，第一日志空间用于存储记录源数据库事务日志信息的日志文件；第二存储设备，包括第二日志空间，第二日志空间用于存储记录源数据库事务日志信息的日志文件；当第一日志空间以及第二日志空间均成功写入记录源数据库事务日志信息的日志文件后，第一存储设备向源服务器返回事务日志写入成功标识。本发明实施例的数据库容灾系统可以保证源数据库发生异常时备份数据库快速可用，又能避免日志异步读取导致的数据丢失。

Description

一种数据库容灾系统

技术领域

本发明属于数据处理领域，尤其涉及一种数据库容灾系统。

背景技术

随着科技与经济的高速发展，现有的金融业，如银行业、保险业、信托业、证券业越来越多的依赖于IT系统的稳定运行，数据库作为系统中的核心部件，承载了对于应用系统的事务支持和数据管理的基础工作，目前应用系统都需要通过数据库来保证交易的完整性以及交易完成的效率，因此在系统容灾的建设过程中，数据库容灾成为最为核心的部分。

数据库容灾的重点在于数据的复制和恢复，根据数据复制的发起点不同有多种技术，目前主流技术有以下两种方式:磁盘级数据复制和数据库交易级数据复制。

磁盘级数据恢复通过磁盘复制技术进行源数据库与备份数据库的数据同步，当发生源数据库故障时，可以通过启动备份站点的备份数据库来提供业务系统访问，从而保证系统的高可用性。但该方法有如下缺点：磁盘复制量大，而且在数据复制的进程中不理解所复制数据的内容和格式，有可能导致数据复制到备份数据库时不可用。

数据库交易级的数据复制则考虑数据的内容和格式，通常通过对交易日志的持续读取，根据交易日志内容分析交易SQL(Structured Query Language，结构化查询语句)，并利用交易SQL语句的回放来完成数据库交易复制的过程。但由于这种复制是异步的，源数据库出现问题时，可能有部分日志没有读取，这样就会在切换至备份数据库时发生数据丢失。

发明内容

本发明实施例提供一种数据库容灾的系统，能够保证源数据库发生异常时备份数据库快速可用，又能避免异步读取日志导致数据丢失。

本发明实施例是这样实现的，一种数据库容灾系统，所述系统包括：交易还原设备，用于读取源数据库事务日志信息，并根据所述源数据库事务日志信息的内容，将源数据库发生的事务在备份数据库中进行回放；第一存储设备，包括第一日志空间，所述第一日志空间用于存储记录源数据库事务日志信息的日志文件；第二存储设备，包括第二日志空间，所述第二日志空间用于存储所述记录源数据库事务日志信息的日志文件；当所述第一日志空间以及所述第二日志空间均成功写入所述记录源数据库事务日志信息的日志文件后，所述第一存储设备向源服务器返回事务日志写入成功标识。

本发明实施例通过在源数据库与备份数据库中部署交易还原设备读取日志文件实现备份数据库数据的更新，同时将记录源数据库事务日志信息的日志文件写入到源数据库的第一存储设备以及备份数据库的第二存储设备中时才向源服务器返回事务日志写入成功标识，实现主备份数据库日志文件的同步，能够保证数据零丢失，同时由于备份数据库随时处于可用状态，还可以实现源数据库发生异常时备份站点快速可用。

附图说明

图1是本发明实施例提供的数据库容灾系统的实施环境图；

图2是本发明实施例提供的数据库容灾系统的结构图；

图3是本发明实施例提供的交易还原设备的结构图；

图4是本发明另一实施例提供的交易还原设备的结构图；

图5是本发明优选实施例提供的数据库容灾系统的部署架构以及数据流图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过在源数据库与备份数据库中部署交易还原设备，以读取、分析和装载源数据库事务日志信息至备份数据库，同时将记录源数据库事务日志信息的日志文件写入到源数据库的第一存储设备以及备份数据库的第二存储设备中时才向源服务器返回事务日志写入成功标识，实现主备份数据库记录源数据库事务日志信息的日志文件的同步。这样，当源数据库出现异常时，交易还原设备可通过读取第二存储设备中的源数据库事务日志信息，并将源数据库发生的事务在备份数据库中进行回放来恢复读取日志丢失的数据，因此能够保证数据零丢失，同时由于备份数据库随时处于可用状态，还可以实现源数据库发生异常时备份数据库快速可用。

图1为本发明实施例提供的数据库容灾系统的实施环境图，为了便于说明，仅示出了与本发明实施例相关的部分。

业务服务器中安装有操作系统以及其他应用程序，可以理解，业务服务器可以有多个。

在源数据库1和备份数据库2部署有数据库容灾系统3，用于当源数据库发生异常时，使备份数据库2能够快速启用，确保业务服务器所需功能的顺利实现。

一般来说源数据库1和备份数据库2位于不同的地点，以保证当源数据库1所在地发生突发事件导致源数据库1不可用时，备份数据库2可以启用以保证业务服务器上的应用系统能够顺利进行。在本发明实施例中，并不限定源数据库1和备份数据库2的距离。可以理解，源数据库1和备份数据库2没有本质上的区别，只是扮演的角色不同。

图2为本发明实施例提供的数据库容灾系统的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

如图2所示，数据库容灾系统3包括交易还原设备31、第一存储设备32以及第二存储设备33。

交易还原设备31，用于读取源数据库事务日志信息，并根据源数据库事务日志信息的内容，将源数据库发生的事务在备份数据库中进行回放。

在本发明实施例中，交易还原设备31读取源数据库事务日志信息，通过对日志文件进行读取、分析和装载，将将源数据库发生的事务在备份数据库中进行回放，以实现备份数据库数据的更新。

作为本发明的一个实施例，交易还原设备31可以部署到源数据库1的源服务器上、备份数据库2的备份服务器上、独立的服务器上、第一存储设备32或者第二存储设备33上。交易还原设备31与源数据库1的服务器以及备份数据库2的服务器之间可以通过TCP/IP连接来访问数据库，也可以直接读取存储上的日志文件。

第一存储设备32，包括第一日志空间，该第一日志空间用于存储记录源数据库事务日志信息的日志文件。

在本发明实施例中，源数据库1将记录源数据库事务日志信息的日志文件发送到第一存储设备32中，第一存储设备32包括第一日志空间，第一存储设备将记录源数据库事务日志信息的日志文件存储到第一日志空间中。

作为本发明的一个实施例，第一存储设备也可以存储记录源数据库数据的数据文件，此时，日志文件和数据文件存储在不同的数据卷中，数据卷是由物理存储空间映射成的一段逻辑存储空间。可以是逻辑单元号(Logic Unit Number，LUN)标识的逻辑单元，也可以是独立挂载的文件系统。

第二存储设备33，包括第二日志空间，该第二日志空间用于存储记录源数据库事务日志信息的日志文件。

在本发明实施例中，将记录源数据库事务日志信息的日志文件存储到第一存储设备32的第一日志空间时也存储到第二存储设备33的第二日志空间，当当第一日志空间以及第二日志空间均成功写入记录源数据库事务日志信息的日志文件后，第一存储设备33向源服务器返回事务日志写入成功标识。

作为本发明的一个实施例，第二存储设备33也可以存储交易还原设备31将源数据库发生的事务在备份数据库中进行回放时所产生的数据文件和日志文件，此时，回放时所产生的数据文件和日志文件以及记录源数据库事务日志信息的日志文件存储在不同的数据卷中，数据卷是由物理存储空间映射成的一段逻辑存储空间。可以是逻辑单元号(LogicUnit Number，LUN)标识的逻辑单元，也可以是独立挂载的文件系统。

作为本发明的一个实施例，第一存储设备32和第二存储设备33通过光纤连接，以提高记录源数据库事务日志信息的日志文件的写入的速度。

作为本发明的一个实施例，第二存储设备中存储源数据库事务日志信息的日志文件的第二日志空间以只读的方式挂载，以防止其他数据流的写入。

作为本发明的一个实施例，第一存储设备和第二存储设备均为存储阵列，可以为独立磁盘冗余阵列(Redundant Arrays of Independent Disks，RAID)或者由多个磁盘构成的磁盘柜。

作为本发明的一个实施例，第一存储设备和第二存储设备的磁盘阵列可以有多个，每个磁盘阵列由多个磁盘构成。可以理解的是，磁盘阵列仅仅是存储系统中的存储器的一种示例，在本发明实施例中，还可以通过磁带库等存储器来存储数据。需要说明的是，磁盘也仅仅是构建磁盘阵列的存储器的一种示例，实际应用中，还可以在包含多个磁盘的机柜之间构建磁盘阵列等实施方式。因此，在本发明实施例中，磁盘阵列还可以由固态硬盘(Solid State Drives，SSD)、多个磁盘构成的机柜或服务器等由非易失性存储介质构成的存储器组成，在此不做限定。

本发明实施例通过在源数据库与备份数据库中部署交易还原设备，以读取、分析和装载源数据库事务日志信息至备份数据库，同时将记录源数据库事务日志信息的日志文件写入到源数据库的第一存储设备以及备份数据库的第二存储设备中时才向源服务器返回事务日志写入成功标识，实现主备份数据库记录源数据库事务日志信息的日志文件的同步。这样，当源数据库出现异常时，交易还原设备可通过读取第二存储设备中的源数据库事务日志信息，并将源数据库发生的事务在备份数据库中进行回放来恢复读取日志丢失的数据，因此能够保证数据零丢失，同时由于备份数据随时处在可用状态，还可以实现源数据库发生异常时备份数据库快速可用。

图3示出了本发明实施例中交易还原设备的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。

交易还原设备31包括事务日志读取单元311、事务日志分析单元312、事务日志装载单元313以及装载恢复表314。

事务日志读取单元311读取源数据库事务日志信息，从源数据库事务日志信息中读取所需内容写入事务日志明细文件，并将事务日志信息的读取状态信息成功写入永久性存储介质。

事务日志分析单元312以事务标识为关键字(Key word)，从事务日志明细文件中解析出事务标识所包含的各类事务的各类操作类型的索引信息，以表标识为关键字从索引信息中统计出各类事务的各类操作类型的分析汇总信息，将索引信息和分析汇总信息存储到永久性存储介质。

事务日志装载单元313根据索引信息从事务日志明细文件中解析出对应的事务明细信息，将事务明细信息的装载和装载恢复表的更新作为一个完整的事务提交给备份数据库，并将以表标识为关键字从索引信息中统计出的已装载的各类事务的各类操作类型的装载汇总信息写入永久性存储介质。

装载恢复表314创建在备份数据库，包含已装载的事务的事务标识、各类事务的各类操作类型的标识，以及已装载的索引信息的位置。

其中，事务日志明细文件中包含事务标识、表的唯一标识、各类事务的各类操作类型，以及各类事务的操作信息。

事务日志信息的读取状态信息包含当前写入的事务日志明细文件序号、当前写入的事务日志明细文件的由文件头起计算的偏移量(Offset)、已读取的源数据库事务日志序列号，以及已读取的源数据库事务日志序列号的条目数量。

索引信息中包含事务标识、各类事务的各类操作类型、各类事务的各类操作类型在事务日志明细文件中的序号和位置，以及各类事务的各类操作类型所对应的表。

分析汇总信息中包含表的唯一标识、已分析的各类事务的各类操作类型的标识，以及已分析的各类事务的各类操作类型的标识的汇总数；

装载汇总信息中包含表的唯一标识、已装载的各类事务的各类操作类型的标识、已装载的各类事务的各类操作类型的标识的汇总数、当前等待装载的事务的事务标识，以及当前等待装载的索引信息的位置。

作为本发明的一个实施例，交易还原设备31可以从第二日志空间中读取源数据库事务日志信息，这样，在源数据库1发生异常时，交易还原设备31无需对读取来源进行切换，继续从第二日志空间中读取源数据库事务日志信息。

作为本发明的另一个实施例，参见图4，交易还原设备31还包括选择读取单元41，用于当源数据库1处于正常状态时，控制事务日志读取单元311从第一日志空间读取源数据库事务日志信息，当源数据库1处于异常状态时，从第二日志空间读取源数据库事务日志信息。

本发明实施例交易还原设备将事务日志的复制进程划分为了读取、分析和装载三个阶段，在不同阶段采用不同的方法来保证链路的可恢复性，实现全链路的可恢复，具有强大的容错能力和恢复能力。

图5为本发明优选实施例提供的数据库容灾系统的部署架构以及数据流图，为了便于说明，仅示出了与本发明实施例相关的部分。

1.业务服务器将应用事务提交到源数据库1中；

2.源数据库1根据应用事务对数据进行更新，并将记录源数据库事务日志信息的日志文件存储到第一存储设备32中；

3.在将源数据库的日志文件存储到第一存储设备32的同时，将记录源数据库事务日志信息的日志文件存储到第二存储设备33中；

4.第二存储设备33将记录源数据库事务日志信息的日志文件存储到第二日志空间后，返回事务日志写入成功标识，表明日志文件已经存储完毕；

5.第一存储设备32将记录源数据库事务日志信息的日志文件存储成功以及接收到第二存储设备33返回的事务日志写入成功标识后向源数据库1返回事务日志写入成功标识；

6.源数据库1将成功标识返回到业务服务器；

7.交易还原设备31从第一日志空间32中读取源数据库事务日志信息，可以理解的是，交易还原设备也可以从第二日志空间中读取源数据库事务日志信息；

8.交易还原设备31将源数据库事务日志信息回放到备份数据库2中，以实现对备份数据库的更新；

本发明实施例通过在源数据库与备份数据库中部署交易还原设备，以读取、分析和装载源数据库事务日志信息至备份数据库，同时将记录源数据库事务日志信息的日志文件写入到源数据库的第一存储设备以及备份数据库的第二存储设备中时才向源服务器返回事务日志写入成功标识，实现主备份数据库记录源数据库事务日志信息的日志文件的同步。这样，当源数据库出现异常时，交易还原设备可通过读取第二存储设备中的源数据库事务日志信息，并将源数据库发生的事务在备份数据库中进行回放来恢复读取日志丢失的数据，因此能够保证数据零丢失，同时由于备份数据库随时处于可用状态，还可以实现源数据库发生异常时备份数据库快速可用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据库容灾系统，其特征在于，所述系统包括：

交易还原设备，用于读取源数据库事务日志信息，并根据所述源数据库事务日志信息的内容，将源数据库发生的事务在备份数据库中进行回放；

第一存储设备，包括第一日志空间，所述第一日志空间用于存储记录源数据库事务日志信息的日志文件；

第二存储设备，包括第二日志空间，所述第二日志空间用于存储所述记录源数据库事务日志信息的日志文件；

在源数据库将记录源数据库事务日志信息的日志文件存储到所述第一存储设备中的同时，由所述第一存储设备将所述记录源数据库事务日志信息的日志文件存储到所述第二存储设备中；所述第一存储设备在接收到所述第二存储设备返回的事务日志写入成功标识以后，向源数据库返回事务日志写入成功标识；

所述交易还原设备包括：

事务日志读取单元，用于读取所述源数据库事务日志信息，从所述源数据库事务日志信息中读取所需内容写入事务日志明细文件，并将所述事务日志信息的读取状态信息成功写入永久性存储介质；

事务日志分析单元，用于以事务标识为关键字，从所述事务日志明细文件中解析出所述事务标识所包含的各类事务的各类操作类型的索引信息，以表标识为关键字从所述索引信息中统计出各类事务的各类操作类型的分析汇总信息，将所述索引信息和分析汇总信息存储到永久性存储介质；

事务日志装载单元，用于根据所述索引信息从所述事务日志明细文件中解析出对应的事务明细信息，将所述事务明细信息的装载和装载恢复表的更新作为一个完整的事务提交给备份数据库，并将以表标识为关键字从所述索引信息中统计出的已装载的各类事务的各类操作类型的装载汇总信息写入永久性存储介质；以及

装载恢复表，创建于备份数据库，包含已装载的事务的事务标识、各类事务的各类操作类型的标识，以及已装载的索引信息的位置；

其中，所述事务日志明细文件中包含事务标识、表的唯一标识、各类事务的各类操作类型，以及各类事务的操作信息；

所述事务日志信息的读取状态信息包含当前写入的事务日志明细文件序号、当前写入的事务日志明细文件的由文件头起计算的偏移量、已读取的源数据库事务日志序列号，以及已读取的源数据库事务日志序列号的条目数量；

所述索引信息中包含事务标识、各类事务的各类操作类型、所述各类事务的各类操作类型在所述事务日志明细文件中的序号和位置，以及各类事务的各类操作类型所对应的表；

所述分析汇总信息中包含表的唯一标识、已分析的各类事务的各类操作类型的标识，以及已分析的各类事务的各类操作类型的标识的汇总数；

所述装载汇总信息中包含表的唯一标识、已装载的各类事务的各类操作类型的标识、已装载的各类事务的各类操作类型的标识的汇总数、当前等待装载的事务的事务标识，以及当前等待装载的索引信息的位置。

2.如权利要求1所述的数据库容灾系统，其特征在于，所述交易还原设备还包括：

选择读取单元，用于当源数据库处于正常状态时，控制事务日志读取单元从所述第一日志空间读取源数据库事务日志信息，当源数据库处于异常状态时，从所述第二日志空间读取源数据库事务日志信息。

3.如权利要求1所述的数据库容灾系统，其特征在于，所述第二日志空间以只读的方式挂载。

4.如权利要求1所述的数据库容灾系统，其特征在于，所述第一存储设备和第二存储设备通过光纤进行连接。

5.如权利要求1所述的数据库容灾系统，其特征在于，所述第一日志空间和所述第二日志空间为存储阵列。

6.如权利要求5所述的数据库容灾系统，其特征在于，所述存储阵列为独立磁盘冗余阵列或者由多个磁盘构成的磁盘柜。