CN101436209A - 一种多数据库同步的方法和装置 - Google Patents

Abstract

本发明公开了一种多数据库同步的方法，包括步骤：获取数据同步体系中各服务器上的数据库类型，加载与所获取的各数据库类型分别对应的数据库驱动；确定数据同步体系的主用数据库，并生成主用数据库的包括变化表和变化记录表在内的附属对象；每隔设定查询时间段，进行主、备用数据库的同步。本发明还公开了一种多数据库同步的装置，该装置通过驱动设置单元、主用竞争单元、对象生成单元、数据同步单元，实现了数据库的备用。采用本发明所述的方法和装置，能够实现不同类型数据库的同步。

Description

一种多数据库同步的方法和装置

技术领域

本发明涉及下一代网络中的数据库同步技术，尤其涉及一种多数据库同步的方法和装置。

背景技术

在下一代网络(NGN，Next Generation Network)应用中，大客户系统面向电信大用户，提供话务台、计费、统计、增值等业务，有自己独立的数据库系统，即主用数据库。为实现数据容灾需求，需要在异地实现数据库的备用，即设置备用数据库，且主用数据库和备用数据库之间数据必须保持一致，否则容灾发生，主备用数据库切换后可能会丧失部分业务功能。

在目前的大客户系统容灾方案中，为了降低容灾所需的费用，一般会通过多个独立的大客户系统之间互为容灾备份来达到上述数据容灾需求。而目前的数据库复制软件，其数据库驱动通常只有一种。当主、备用数据库类型相同时，主控端和备控端大客户系统选用数据库驱动相同的数据库复制软件，这样，备控端的数据库驱动可顺利读取主控端发来的记录，并将其写入备用数据库，完成数据库备份；但当主、备用数据库类型不同时，大客户系统优先选用数据库驱动与自身数据库类型对应的数据库复制软件，导致备控端的数据库驱动不能读取主控端发来的记录，进而无法将其写入备用数据库完成数据库备份，这样，就不能满足大客户系统容灾方案中，数据库类型不同的大客户系统之间互为备份的需求。

发明内容

有鉴于此，本发明的主要目的在于提供一种多数据库同步的方法和装置，能够实现不同类型数据库的同步。

为达到上述目的，本发明的技术方案是这样实现的：

一种多数据库同步的方法，该方法包括：

获取数据同步体系中各服务器上的数据库类型，加载与所获取的各数据库类型分别对应的数据库驱动；

确定数据同步体系的主用数据库，并生成主用数据库的包括变化表和变化记录表在内的附属对象；

每隔设定查询时间段，进行主、备用数据库的同步。

进一步地，该方法进一步包括：

主控服务器通知备控服务器升级，之后确定数据同步体系的主用数据库，并生成主用数据库的附属对象；或者，

备控服务器每隔设定握手时间段向主控服务器发送状态询问信息，连续设定次数询问未得到回复后，判断握手时间段是否大于设置的时间限值，如果大于，则备控服务器告警；如果不大于，则确定数据同步体系的主用数据库，并生成主用数据库的附属对象。

进一步地，该方法进一步包括：在设置的校验时间，对主、备用数据库中对应表进行校验。

进一步地，所述获取数据同步体系中各服务器上的数据库类型具体包括：

数据同步体系中各服务器分别读取自身的数据库类型，并通过握手信息将自身的数据库类型发送至所述数据同步体系中的其余服务器。

进一步地，所述确定数据同步体系的主用数据库具体包括：

设定数据同步体系中的一台服务器作为主控服务器，

将主用写库标志写入主控服务器的数据库，以标志该数据库为主用数据库；或者，

通过数据同步体系中的服务器竞争产生主控服务器，

将主用写库标志写入主控服务器的数据库，以标志该数据库为主用数据库。

进一步地，所述通过数据同步体系中的服务器竞争产生主控服务器具体包括：

数据同步体系中的各服务器均向该数据同步体系中的其余服务器发送询问是否可以升级的握手信息，并在收到所述握手信息后，回复携带自身随机产生的竞争数的应答信息；

如果服务器收到应答信息，且自身随机产生的竞争数大于自身所收到的应答信息中包含的竞争数，则该服务器升级为主控服务器；或者，如果服务器连续设定次数发送所述握手信息，没有收到应答信息，则该服务器作为主控服务器。

本发明还提供一种多数据库同步的装置，该装置包括：

驱动设置单元，用于获取数据同步体系中各服务器上的数据库类型，加载与所获取的各数据库类型分别对应的数据库驱动；

主用竞争单元，用于确定数据同步体系的主用数据库；

对象生成单元，用于控制主用数据库生成主用数据库包括变化表和变化记录表在内的附属对象；

数据同步单元，用于设置查询时间段，并用于每隔查询时间段，进行主、备用数据库的同步。

进一步地，该装置进一步包括：

主控状态监控模块，用于发送/接收升级通知，监测主控服务器运行状态，并用于接收到所述升级通知或监测到主控服务器故障时，使能所述主用竞争单元或告警。

进一步地，该装置进一步包括：

校验模块，用于设置的校验时间，并用于在校验时间，对主、备用数据库中对应表进行校验。

进一步地，所述驱动设置单元包括：

获取模块，用于读取自身的数据库类型，并通过握手信息将所读取到的数据库类型发送至所述数据同步体系中的其余服务器；并用于接收数据同步体系中的其余服务器发来的数据库类型；

加载模块，用于加载所接收到的各数据库类型分别对应的数据库驱动。

本发明所提供的多数据库同步的方法和装置，通过使数据同步体系中各服务器均了解该体系中所有服务器的数据库类型，并在该体系中的各服务器上均加载该体系中所有服务器的数据库类型所对应的数据库驱动，即可实现不同类型数据库的同步。本发明还具有以下的优点和特点：

1、本发明通过定时查询变化表和变化记录表，以及主备控服务器握手，实现了主备用数据库的自动同步；

2、本发明通过定时校验主用数据库中所需同步的表与备用数据库中对应表的数据是否一致，并对不一致的表进行全表同步，进一步保证了主、备用数据库数据一致，减少了容灾发生时，主备用数据库切换后丧失部分业务功能的可能性，进而提高了系统的安全性；

3、本发明通过定时向主控服务器发送询问信息，确定主控服务器运行状况，可实现主、备用数据库的自动切换。

附图说明

图1为本发明实施例多数据库同步的方法的实现流程图；

图2为本发明实施例多数据库同步装置的结构示意图。

具体实施方式

本发明实施例中多数据库同步方法的实现流程如图1所示，包括以下步骤：

步骤101：获取数据同步体系中各服务器上的数据库类型；

这里，所述数据同步体系中的服务器可通过设置或竞争产生一台主控服务器，其余服务器作为备控服务器，作为该主控服务器数据库的备份。

具体获取数据库类型的方法包括：

a、数据同步体系中各服务器分别读取自身的数据库类型；

其中，所述数据库类型由该数据库自身的配置文件中读取，或由该数据库自身的环境变量等数据库特征中读取；

b、通过握手信息将自身的数据库类型发送至所述数据同步体系中的其余服务器。

步骤102：在所述各服务器上均加载所有所获取的数据库类型对应的数据库驱动。

步骤101、102通过数据库间相互握手，将自身的数据库类型发送至所述数据同步体系中的其余服务器，使得数据同步体系中各服务器均了解该体系中所有服务器的数据库类型，在该体系中各服务器上均加载该体系中所有服务器的数据库类型所对应的数据库驱动。这样，根据使用本发明的数据同步体系中包含的数据库类型，灵活的确定服务器所包含的数据库驱动，即可实现该体系中的各服务器数据库的互相访问，进而实现包含不同类型数据库的数据同步体系的数据库同步。这样，在大客户系统容灾方案中，可通过设置多个数据同步体系，每个数据同步体系中，选定不同的大客户系统服务器作为主控服务器，即可实现数据库类型不同的大客户系统之间互为备份的需求。本发明并不限于用于实现大客户系统之间互为备份的需求，也适用于实现其它不同类型数据库的同步。

步骤103：确定数据同步体系的主用数据库；

具体如何确定可以是预先设定数据同步体系中的一台服务器作为主控服务器；也可以采用竞争的方式。

其中，所述采用竞争方式具体为：数据同步体系中的各服务器均向该体系中的其余服务器发送询问是否可以升级的握手信息，并在收到所述握手信息后，回复携带自身随机产生的竞争数的应答信息；

如果各服务器收到应答信息，将自身所收到的应答信息中包含的竞争数与自身随机产生的竞争数比较，如果自身随机产生的竞争数大于自身所收到的应答信息中包含的竞争数，则该服务器作为主控服务器，所述数据同步体系的其余服务器为备控服务器，并将主用写库标志写入主控服务器的数据库，以标志该数据库为主用数据库；将备用写库标志写入备控服务器的数据库，以标志该数据库为备用数据库；如果连续设定次数发送所述握手信息，在所设置的应答时限内，均没有收到应答信息，则该服务器作为主控服务器，并将主用写库标志写入主控服务器的数据库，以标志该数据库为主用数据库。这里，所述设定次数可以为三次。

步骤104：生成主用数据库的附属对象，并设置校验时间、握手时间段和时间限值；

其中，所述主用数据库的附属对象包括变化表和变化记录表；

这里，具体生成方法包括：

建立用于记录所需同步的表是否发生变化的变化表，所述变化表包括字段：所需同步的表的表号和该表号对应的表是否发生变化；

为每个所需同步的表建立一个变化记录表，记录各表变化后的记录，即一个所需同步的表对应一个变化记录表，所述变化记录表包括字段：变化后的记录。

步骤101～104加载了主、备用数据库同步所需的数据库驱动，确定了数据同步体系的主用数据库，并生成了主用数据库的附属对象，完成了主、备用数据库同步和主、备控服务器切换的准备工作，以下通过每隔设定查询时间执行步骤105实现主、备用数据库同步；在设定的校验时间执行步骤106实现主、备用数据库同步的校验；主控服务器通知备控服务器升级时执行步骤107实现主控服务器准备退出数据同步体系时主、备控服务器的切换；主控服务器故障时执行步骤108实现了容灾发生时主、备控服务器切换。

步骤105：主控服务器或备控服务器设置查询时间段，每间隔所述查询时间，主、备用数据库的同步；

主控服务器设置查询时间段，具体主控服务器同步数据库的方法包括：

a1、主控服务器查询变化表，得到当前查询时间段内发生变化的各表表号；

b1、读取查询到的表号所对应的变化记录表中变化后的记录，并发送所读取的变化后的记录至备控服务器；

c1、备控服务器接收变化后的记录，并将所接收到的变化后的记录同步写入备用数据库的相应表内，然后回传信息；

d1、主控服务器接收到回传信息，则删除主用数据库变化记录表中的变化后的记录，结束本次主、备用数据库的同步。

备控服务器设置查询时间段，具体备控服务器同步数据库的方法包括：

a2、每间隔所述查询时间段，备控服务器向主控服务器发送同步请求；

b2、主控服务器收到同步请求后，查询变化表，得到该查询时间段内发生变化的各表表号；

c2、读取所查询到的表号所对应的变化记录表中的变化后的记录，并发送所读取的变化后的记录至备控服务器；

d2、备控服务器接收变化后的记录，并将所接收到的变化后的记录同步写入备用数据库的相应表内，然后回传信息；

e2、主控服务器接收到回传信息，删除主用数据库变化记录表中的变化后的记录，结束本次主、备用数据库的同步。

步骤104、105生成包括变化表和变化记录表的主用数据库的附属对象，并通过定时查询变化表和变化记录表，以及主备控服务器握手，完成主备用数据库的自动同步。

步骤106：在所设置的校验时间，校验主、备用数据库中对应表的数据是否一致，如果均一致，结束本步骤，如果存在不一致的表，则将主用数据库中的该表全表同步至备用数据库，结束本步骤。

为防止校验占用主、备控服务器资源，影响主、备用服务器工作，可将所述校验时间设置在主、备控服务器较空闲的时间段内。

这里，具体的校验方法包括：

主控服务器查询主用数据库各表当前的记录数，并计算各表的关键字校验和；

备控服务器查询备用数据库各表当前的记录数，并计算各表的关键字校验和，并将各表的表号、以及该表号对应表的当前的记录数和关键字校验和发送给主控服务器；

主控服务器分别查询主用数据库中是否存在与备用数据库发送来的各表号，以及该表号对应的当前的记录数和关键字校验均相同的表，如果均存在，则认为备用数据库中所有表分别与其主用数据库中对应的所需同步表的数据一致，结束本步骤；如果部分存在，则认为该部分表号所对应的主、备用数据库中的表的数据一致，并认为其余表号所对应的主、备用数据库中的表的数据不一致，不对该部分表号对应的表全表同步，并将其余表号对应的主用数据库的表分别全表同步至备用数据库，替代其余表号原来所对应备用数据库中的表，结束本步骤。

本步骤通过定时校验主用数据库中所需同步的表与备用数据库中对应表的数据是否一致，并对不一致的表进行全表同步，进一步保证了主、备用数据库数据一致，减少了容灾发生时，主备用数据库切换后丧失部分业务功能的可能性。

步骤107：主控服务器未出故障，但通知备控服务器升级时，返回步骤103。

步骤108：主控服务器故障时，根据所述握手时间是否大于时间限值，确定返回步骤103或告警。

具体确定主控服务器故障的方法为：备控服务器每隔步骤104所设置的握手时间段向主控服务器发送状态询问信息，连续设定次数询问得不到回复后，则认为主控服务器故障。这里，所述设定次数可以为三次。

具体确定返回步骤103或告警的方法为：判断握手时间段是否大于步骤104所设置的时间限值，如果大于，则认为主、备用数据库记录的差异超出数据同步体系接受的限度，备控服务器告警；如果不大于，则认为数据同步体系可以接受主、备用数据库记录的差异，返回步骤103，重新确定数据同步体系的主用数据库。

其中，所述时间限值的大小由数据同步体系对主、备用数据库记录一致性要求的严格程度、以及主用数据库记录变化的快慢决定，数据同步体系对主、备用数据库记录一致性要求越严格、主用数据库记录变化越快，时间限值越小。

本步骤通过定时向主控服务器发送询问信息，确定主控服务器运行状况，可实现主、备用数据库的自动切换。

本发明实施例多数据库同步装置的结构如图2所示，该装置包括：

驱动设置单元10，用于获取数据同步体系中各服务器上的数据库类型，加载与所获取的各数据库类型分别对应的数据库驱动；

主用竞争单元20，用于确定数据同步体系的主用数据库；

对象生成单元30，用于控制主用数据库生成主用数据库包括变化表和变化记录表在内的附属对象；

数据同步单元40，用于设置查询时间段，并用于每隔查询时间段，进行主、备用数据库的同步。

该装置进一步包括：

主控状态监控模块50，用于发送/接收升级通知，监测主控服务器运行状态，并用于接收到所述升级通知或监测到主控服务器故障时，使能所述主用竞争单元或告警。

校验模块60，用于设置的校验时间，并用于在校验时间，对主、备用数据库中对应表进行校验。

驱动设置单元10进一步包括：

获取模块11，用于读取自身的数据库类型，并通过握手信息将所读取到的数据库类型发送至所述数据同步体系中的其余服务器；并用于接收数据同步体系中的其余服务器发来的数据库类型；

加载模块12，用于加载所接收到的各数据库类型分别对应的数据库驱动。

实际运用中，本发明多数据库同步装置安装于数据同步体系中的各服务器上。数据同步体系开始运行时，各服务器上多数据库同步的装置配合，通过驱动设置单元10，加载数据同步体系中的其余服务器的数据库类型分别对应的数据库驱动，通过主用竞争单元20确定数据同步体系的主用数据库，主用数据库所在的服务器即为主控服务器；接着主控服务器上多数据库同步的装置的对象生成单元30控制主用数据库生成主用数据库的包括变化表和变化记录表在内的附属对象；之后通过数据同步单元40进行主、备用数据库的同步，通过校验模块对主、备用数据库中对应表进行校验，通过主控状态监控模块实现主、备控服务器的切换。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1、一种多数据库同步的方法，其特征在于，该方法包括：

获取数据同步体系中各服务器上的数据库类型，加载与所获取的各数据库类型分别对应的数据库驱动；

确定数据同步体系的主用数据库，并生成主用数据库的包括变化表和变化记录表在内的附属对象；

每隔设定查询时间段，进行主、备用数据库的同步。

2、根据权利要求1所述多数据库同步的方法，其特征在于，该方法进一步包括：

主控服务器通知备控服务器升级，之后确定数据同步体系的主用数据库，并生成主用数据库的附属对象；或者，

备控服务器每隔设定握手时间段向主控服务器发送状态询问信息，连续设定次数询问未得到回复后，判断握手时间段是否大于设置的时间限值，如果大于，则备控服务器告警；如果不大于，则确定数据同步体系的主用数据库，并生成主用数据库的附属对象。

3、根据权利要求1所述多数据库同步的方法，其特征在于，该方法进一步包括：在设置的校验时间，对主、备用数据库中对应表进行校验。

4、根据权利要求1、2或3所述多数据库同步的方法，其特征在于，所述获取数据同步体系中各服务器上的数据库类型具体包括：

数据同步体系中各服务器分别读取自身的数据库类型，并通过握手信息将自身的数据库类型发送至所述数据同步体系中的其余服务器。

5、根据权利要求1、2或3所述多数据库同步的方法，其特征在于，所述确定数据同步体系的主用数据库具体包括：

设定数据同步体系中的一台服务器作为主控服务器，

将主用写库标志写入主控服务器的数据库，以标志该数据库为主用数据库；或者，

通过数据同步体系中的服务器竞争产生主控服务器，

将主用写库标志写入主控服务器的数据库，以标志该数据库为主用数据库。

6、根据权利要求5所述多数据库同步的方法，其特征在于，所述通过数据同步体系中的服务器竞争产生主控服务器具体包括：

数据同步体系中的各服务器均向该数据同步体系中的其余服务器发送询问是否可以升级的握手信息，并在收到所述握手信息后，回复携带自身随机产生的竞争数的应答信息；

如果服务器收到应答信息，且自身随机产生的竞争数大于自身所收到的应答信息中包含的竞争数，则该服务器升级为主控服务器；或者，如果服务器连续设定次数发送所述握手信息，没有收到应答信息，则该服务器作为主控服务器。

7、一种多数据库同步的装置，其特征在于，该装置包括：

驱动设置单元，用于获取数据同步体系中各服务器上的数据库类型，加载与所获取的各数据库类型分别对应的数据库驱动；

主用竞争单元，用于确定数据同步体系的主用数据库；

对象生成单元，用于控制主用数据库生成主用数据库包括变化表和变化记录表在内的附属对象；

数据同步单元，用于设置查询时间段，并用于每隔查询时间段，进行主、备用数据库的同步。

8、根据权利要求7所述多数据库同步的装置，其特征在于，该装置进一步包括：

主控状态监控模块，用于发送/接收升级通知，监测主控服务器运行状态，并用于接收到所述升级通知或监测到主控服务器故障时，使能所述主用竞争单元或告警。

9、根据权利要求7所述多数据库同步的装置，其特征在于，该装置进一步包括：

校验模块，用于设置的校验时间，并用于在校验时间，对主、备用数据库中对应表进行校验。

10、根据权利要求7、8或9所述多数据库同步的装置，其特征在于，所述驱动设置单元包括：

获取模块，用于读取自身的数据库类型，并通过握手信息将所读取到的数据库类型发送至所述数据同步体系中的其余服务器；并用于接收数据同步体系中的其余服务器发来的数据库类型；

加载模块，用于加载所接收到的各数据库类型分别对应的数据库驱动。

Images