CN102486785A

CN102486785A - 一种数据同步方法、装置及系统

Info

Publication number: CN102486785A
Application number: CN2010105745737A
Authority: CN
Inventors: 崔智刚
Original assignee: Kingdee Software China Co Ltd
Current assignee: Kingdee Software China Co Ltd
Priority date: 2010-12-06
Filing date: 2010-12-06
Publication date: 2012-06-06

Abstract

本发明适用于数据库技术领域，提供了一种数据同步方法、装置及系统，所述方法包括下述步骤：设置需要同步的发送方数据库与接收方数据表的关联关系，生成关联关系表；生成需要同步的字段列表；根据所述接收方数据表和所述字段列表，从所述发送方数据库中获取需要同步的数据。本发明通过在接收方配置需要进行同步的数据表及字段信息，实现对来自不同数据结构的发送方数据进行同步，并通过行转列的方式，实现对不同数据结构的数据进行集中展示。

Description

一种数据同步方法、装置及系统

技术领域

本发明属于数据库技术领域，尤其涉及一种数据同步方法、装置及系统。

背景技术

在现有的数据同步技术中，通过设置发送方与接收方的表名对应关系表与字段对应关系表，由接收方根据获取数据的条件从发送方中进行数据获取，并保存到相应的数据表中。上述数据同步技术要求在接收方建立与发送方一致的数据结构，一旦发送方的数据结构发生了改变，则接收方的数据结构也需要作出相应的调整，由此带来的代码调整增加了系统维护成本。同时，在接收方接收到来自不同发送方的同步数据之后，只能对数据结构一致的发送方发送的同步数据进行集中展示，而无法集中展示数据结构不同的发送方数据。

发明内容

本发明实施例的目的在于提供一种数据同步方法，旨在解决现有数据同步技术中无法实现异构数据同步，以及同步后无法对异构数据进行集中展示的问题。

本发明实施例是这样实现的，一种数据同步方法，所述方法包括下述步骤：

设置需要同步的发送方数据库与接收方数据表的关联关系，生成关联关系表；

生成需要同步的字段列表；

根据所述接收方数据表和所述字段列表，从所述发送方数据库中获取需要同步的数据。

本发明实施例的另一目的在于提供一种数据同步装置，所述装置包括：

关联关系表生成单元，用于设置需要同步的发送方数据库与接收方数据表的关联关系，生成关联关系表；

字段列表生成单元，用于生成需要同步的字段列表；

同步数据获取单元，用于根据所述接收方数据表和所述字段列表，从所述发送方数据库中获取需要同步的数据。

本发明实施例的另一目的在于提供一种包括上述数据同步装置的系统。

本发明实施例通过在接收方配置需要进行同步的数据表及字段信息，实现对来自不同数据结构的发送方数据进行同步，并通过行转列的方式，实现对不同数据结构的数据进行集中展示。

附图说明

图1是本发明第一实施例提供的数据同步方法的实现流程图；

图2是本发明第一实施例提供的同步数据获取的具体流程图；

图3是本发明第二实施例提供的数据同步方法的实现流程图；

图4是本发明第三实施例提供的数据同步装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例中，在接收方对需要同步的数据表及字段信息进行配置，通过向发送方进行轮询，从而获取到同步数据中的字段信息，并通过行转列的方式对同步数据进行集中展示，实现对异构数据结构的数据同步及集中展示。

图1示出了本发明第一实施例提供的数据同步方法的实现流程，该方法在接收方配置需要同步的表信息及字段信息，通过对发送方进行轮询，从而获取到需要同步的数据中的字段信息，并进行存储。该方法的实现流程详述如下：

在步骤S101中，设置需要同步的发送方数据库与接收方数据表的关联关系，生成关联关系表。

本实施例中，在执行步骤S101之前，通过读取发送方信息表，获取参与数据同步的发送方数据库信息，在具体实现过程中，出于安全考虑，可将该发送方信息表进行加密处理，上述发送方信息表包括：

发送方数据库键值：作为该发送方数据库区别于其他发送方数据库的唯一标识；

发送方数据库名称：记录发送方数据库的实体名称；

发送方数据库网络地址：记录发送方数据库的网络地址；

发送方数据库用户名：记录登录发送方数据库的用户名；

发送方数据库密码：记录登录发送方数据库的用户名所对应的密码。

例如，当参与数据同步的发送方数据库为数据库Sender1和Sender2时，相应地在接收方定义的发送方信息表如表1所示：

表1

在本实施例中，根据接收方定义的发送方信息表，在接收方将发送方数据库与需要同步的接收方数据表表名进行关联，生成关联关系表，其中，通过接收方的模板数据库动态生成模板数据表，作为需要同步的接收方数据表表名，上述模板数据库用于根据不同的数据同步需求，指定不同的需要同步的接收方数据表表名。

下面以表2为例说明在接收方生成的关联关系表的表结构，具体生成过程不以表2的举例说明为限。

表2

如表2所示，关联关系表的表结构包括：

数据库键值：作为关联关系表中的数据库区别于其他数据库的唯一标识，其中，模板数据库的数据库键值定义为小于0的整数，例如-1、-2、......，发送方数据库的数据库键值则为其在发送方数据库信息表中所对应的发送方数据库键值。在表2中，生成的关联关系表记录了模板数据库、发送方数据库Sender1和Sender2这三个数据库的相应信息，以上三个数据库对应的数据库键值分别为-1、1、2。

数据表键值：作为关联关系表中分属于不同数据库的数据表区别于其他数据表的唯一标识，与该数据表所属的数据库的数据库键值一一对应。相应地，在表2中，分属于模板数据库、发送方数据库Sender1和Sender2这三个数据库的三个数据表对应的数据表键值为-1、1、2。

同步数据表表名：为通过模板数据库动态生成的模板数据表所定义的需要进行同步的接收方数据表表名，在本实施例中，同步数据表表名可以为一独立数据表的表名，也可以为多张数据表的关联集合名称。如表2所示，需要进行同步的接收方数据表表名为t_user。

模板数据表键值：其标识了该关联关系表中定义的需要同步的接收方数据表键值。在表2中，由于模板数据表的数据表键值为-1，则相应地，发送方数据库Sender1和Sender2的模板数据表键值也为-1。

在步骤S102中，生成需要同步的字段列表。

在本实施例中，生成的需要同步的字段列表列出了在关联关系表中定义的所有数据表的数据表键值、字段名以及字段类型，其中，模板数据表定义的字段名为接收方需要进行同步的字段名，由模板数据库在生成模板数据表的同时进行动态生成，而发送方数据表中的字段名则为发送方数据表中所拥有的，且在模板数据表中进行了定义的接收方需要进行同步的字段名。以表3为例：

表3

数据表键值	字段名	字段类型
			-1	FName	0
-1	FID	1
			-1	FDate	2
1	FName	0
			1	FID	1
2	FDate	2
			2	FID	1
2	FName	0

如表3所示，模板数据表中定义的字段名包括：FName、FID、FDate，即代表了接收方需要进行同步的字段信息，其对应的字段类型为0、1、2，即上述字段名的字段类型分别为字符型、数值型和日期型，具体的各种字段类型所对应的字段标识在此不作限定。发送方数据表Sender1中拥有的接收方需要进行同步字段包括FName和FID，发送方数据表Sender2中拥有的接收方需要进行同步字段包括FName、FID、FDate。

在步骤S103中，根据接收方数据表和字段列表，从发送方数据库中获取需要同步的数据。

在本实施例中，依次通过轮询的方式从每个发送方数据库的数据表中获取需要同步的接收方数据表中的字段信息，并进行存储。上述数据同步过程在数据同步服务启动时进行，其具体步骤如图2所示，在此不再赘述。

图2示出了本发明第一实施例提供的同步数据获取的具体流程，详述如下：

在步骤S201中，根据接收方数据表和字段列表，生成同步数据存储表。

在本实施例中，当数据同步服务启动时，接收方根据步骤S101和步骤S102中生成的关联关系表和字段列表，生成同步数据存储表，用于对从发送方数据库中获取的同步数据进行存储。在同步数据存储表的表结构中，包括了需要同步的字段以及发送方数据库键值，以表2的关联关系表和表3的字段列表为例，根据表2和表3生成的同步数据存储表如表4所示：

表4

发送数据库键值

FID

FName

FDate

在步骤S202中，查询发送方数据库中需要同步的数据及同步方式。

在本实施例中，接收方通过轮询各发送方数据库，依次得知各发送方数据库中需要同步的数据及相应的同步方式。

出于数据同步事件的并发性能考虑，为了在进行同步的数据总量较大或者发送方数据库数量较多的情况下不至于出现系统拥塞或者冲突，在本实施例中，通过在发送方建立发送数据列表，将需要同步的数据和相应的同步方式保存到发送数据列表中，方便接收方直接进行同步数据及其相应同步方式的获取。

发送数据列表的表结构包括同步数据表表名、同步数据键值以及同步方式，其中，同步数据键值为该发送方数据库中需要同步的数据在该发送方数据表中的键值，为同步数据在该发送方数据表中的唯一标识；而同步方式用于标识该同步数据的同步方式，包括新增和删除，在此，令标识“1”为新增，标识“2”为删除，具体的标识方式不作限定。在本实施例中，若需要对某条数据进行修改，则可以在发送数据列表中先通过设定删除同步方式，对接收方的原始数据进行删除操作，再通过设定新增同步方式，选择在接收方数据表中插入修改后的数据，以达到在数据同步中对数据进行修改的目的。

下面，以表5和表6为例：

表5

同步数据表表名	同步数据键值	同步方式
			t_user	1001	1

t_user

2000

2

表6

同步数据表表名	同步数据键值	同步方式
			t_user	1001	1
t_user	1003	1

如表5和表6所示，分别为发送方数据库Sender1和Sender2的发送数据列表，其需要进行同步的数据表均为t_user，发送方数据库Sender1需要对该表中键值为2000的数据进行删除，同时新增键值为1001的数据，而发送方数据库Sender2需要新增键值为1001和1003的数据。

在步骤S203中，根据查询到的发送方数据库中需要同步的数据和同步方式，执行相应的同步操作，并存储至同步数据临时表，同时将发送数据列表中已经同步处理的数据进行删除。

在本实施例中，根据发送数据列表中记录的各同步数据及其相应的同步方式，依次对各同步数据进行同步处理。针对对应删除同步方式的同步数据，则在接收方的原始同步数据存储表中对相应数据进行删除；针对新增同步方式的同步数据，则根据步骤S102中定义的字段列表，从发送方数据表中依次获取该数据的各字段信息，并以行的方式逐一插入到同步过程中的同步数据临时表中，该表在同步操作执行的过程中通过数据库语句生成。

以发送方数据库Sender1为例，接收方首先通过轮询发送方数据库Sender1的发送数据列表，查找同步方式为删除的数据，根据发送数据列表中的相应记录，将其原始同步数据存储表中同步数据键值为2000的数据进行删除；之后，接收方查找同步方式为新增的数据，根据步骤S102中定义的字段列表，依次获取发送方数据表t_user中同步数据键值为1001的数据中的FName字段和FID字段。

作为本发明的一个实现示例，根据字段列表中定义的字段名，动态生成的字段获取数据库语句如下：

Select字段列表from同步数据表表名where...

因此，从发送发数据表t_user中获取同步数据键值为1001的数据的字段信息，数据库语句如下：

Select FID，FName from t_user where fid in 1001

在本实施例中，具体的同步方式操作顺序不作限定。

通过步骤S203，从发送方数据库Sender1和Sender2中获取的同步数据临时表如表7所示：

表7

参照表7，同步数据表键值代表了该条数据在同步数据存储表中的位置。

在步骤S204中，将同步数据临时表中的数据转存至同步数据存储表进行展示。

以表7的同步数据临时表所示，将其转存至如表4所示的同步数据存储表后，同步数据存储表如表8所示：

表8

发送数据库键值	FID	FName	FDate
				1	1001	李四

2	1001	张三	2010-03-03
				2	1003	Jack	2010-05-01

在本实施例中，上述同步过程可以由接收方定时主动向发送方发起，也可以通过设置一定的条件，当发送方数据进行更新后，由发送方向接收方进行发起。每完成一次数据同步过程后，即对同步数据临时表和发送数据列表中的内容进行清空，以方便进行下一次同步。

作为本发明的一个实现示例，对发送数据列表中的内容进行清空，删除发送数据列表中已经完成同步处理的数据的数据库语句如下：

Delete from发送数据列表where同步数据表表名＝当前同步的数据表表名and同步数据键值＝已经同步的同步数据键值

通过上述步骤，即可对获取的同步数据进行集中展示，而不必考虑由于数据结构不同，无法同时对来自不同发送方数据库的同步数据进行展示的问题。

在本发明实施例中，当需要同步的字段信息有所变化时，通过重新定义字段列表，并对同步数据存储表中的原始数据进行备份，使得在重新同步的过程中，不需要改变其他同步过程相关表的表结构，实现对同步字段信息的动态扩展。

图3示出了本发明第二实施例提供的数据同步方法的实现流程，详述如下：

在步骤S301中，更新字段列表。

在本实施例中，以在表3所示的字段列表为例，若需要同步的字段信息增加了FAddr字段，则更新后的字段列表如表9所示：

表9

数据表键值	字段名	字段类型
			-1	FName	0
-1	FID	1
			-1	FDate	2
-1	FAddr	0
			1	FName	0

1	FID	1
			1	FAddr	0
2	FDate	2
			2	FID	1
2	FName	0
			2	FAddr	0

在步骤S302中，将原始同步数据存储表更名，生成同步数据存储表备份。

例如，原始的同步数据存储表表名为Sync_t_user，则将该表名更改为Sync_t_user_bak，用于标明表Sync_t_user_bak为原始同步数据存储表Sync_t_user的备份。

在步骤S303中，根据更新的字段列表，重新生成同步数据存储表。

在此，以表9所示的字段列表为例，根据该字段列表重新生成的同步数据存储表Sync_t_user如表10所示：

表10

发送数据库键值

FID

FName

FDate

FAddr

在步骤S304中，将同步数据存储表备份的内容导入到重新生成的同步数据存储表中，并删除同步数据存储表备份。

通过上述步骤，可以实现对同步字段信息的动态扩展，一旦接收方数据表的数据结构发生变化，不需要改变同步过程中其他相关数据表的表结构，即可在原始同步数据存储表的基础上，以新的数据结构进行数据同步。

图4示出了本发明第三实施例提供的数据同步装置的结构，为了便于说明，仅示出了与本实施例相关的部分。

该数据同步装置可用于企业管理系统、分布式系统等所有需要进行数据同步的系统中，为运行于该系统的软件单元、硬件单元或者软硬件结合的单元。该数据同步装置包括：

关联关系表生成单元41，生成关联关系表，设置需要同步的发送方数据库与接收方数据表的关联关系，该关联关系表生成单元41包括了发送方信息表单元411，用于记录发送方数据库的信息，包括发送方数据库的键值、名称、网络地址、用户名、密码。

字段列表生成单元42，生成需要同步的字段列表。

同步数据获取单元43，从发送方数据库中获取需要同步的数据。

其中，同步数据获取单元43包括：

同步数据存储表生成单元431，根据接收方数据表和字段列表，生成同步数据存储表。

查询单元432，通过查询发送数据列表获取发送方数据库中需要同步的数据及同步方式，该发送数据列表位于发送方数据库中，用于记录发送方数据库需要同步的数据及同步方式。

同步操作执行单元433，根据查询到的发送方数据库中需要同步的数据和同步方式，执行相应的同步操作并存储至同步数据临时表，所述同步数据临时表在同步操作执行过程中生成。

同步数据展示单元434，将同步数据临时表中的数据转存至同步数据存储表进行展示。

在本实施例中，数据同步装置还包括：

同步数据存储表备份单元44，将原始同步数据存储表更名，生成同步数据存储表备份。

数据导入单元45，将同步数据存储表备份的内容导入到重新生成的同步数据存储表中，并删除同步数据存储表备份。

在本发明实施例中，通过在接收方配置需要进行同步的数据表及字段信息，实现对不同数据结构的发送方数据进行同步，并通过行转列的方式对不同数据结构的数据进行集中展示。同时，当需要同步的数据表数据结构发生调整时，只需要重新调整接收方的字段列表，即可实现对数据的同步，避免了对代码或者接收方数据结构的调整。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据同步方法，其特征在于，所述方法包括下述步骤：

生成需要同步的字段列表；

2.如权利要求1所述的方法，其特征在于，在所述将发送方数据库与需要同步的接收方数据表进行关联，生成关联关系表的步骤之前，所述方法还包括下述步骤：

通过发送方信息表获取所述发送方数据库的信息，所述发送方数据库信息表用于记录发送方数据库信息，包括发送方数据库的键值、名称、网络地址、用户名、密码。

3.如权利要求1所述的方法，其特征在于，所述根据所述接收方数据表和所述字段列表，从所述发送方数据库中获取需要同步的数据的步骤具体为：

根据所述接收方数据表和所述字段列表，生成同步数据存储表；

查询所述发送方数据库中需要同步的数据及同步方式；

根据所述需要同步的数据及同步方式，执行相应的同步操作并存储至同步数据临时表，所述同步数据临时表在同步操作执行过程中生成；

将所述同步数据临时表中的数据转存至所述同步数据存储表进行展示。

4.如权利要求3所述的方法，其特征在于，所述需要同步的数据及同步方式通过查询发送数据列表获取，所述发送数据列表位于所述发送方数据库中，用于记录所述发送方数据库需要同步的数据及同步方式。

5.如权利要求3所述的方法，其特征在于，所述方法还包括下述步骤：

更新所述字段列表；

将原始的所述同步数据存储表更名，生成同步数据存储表备份；

根据更新的所述字段列表，重新生成所述同步数据存储表；

将所述同步数据存储表备份的内容导入到重新生成的所述同步数据存储表中，并删除所述同步数据存储表备份。

6.一种数据同步装置，其特征在于，所述装置包括：

字段列表生成单元，用于生成需要同步的字段列表；

7.如权利要求6所述的装置，其特征在于，所述关联关系表生成单元包括：

发送方信息表单元，用于记录所述发送方数据库的信息。

8.如权利要求6所述的装置，其特征在于，所述同步数据获取单元包括：

同步数据存储表生成单元，用于根据所述接收方数据表和所述字段列表，生成同步数据存储表；

查询单元，用于查询所述发送方数据库中需要同步的数据及同步方式；

同步操作执行单元，用于根据所述需要同步的数据及同步方式，执行相应的同步操作并存储至同步数据临时表；

同步数据展示单元，用于将所述同步数据临时表中的数据转存至所述同步数据存储表进行展示。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：

同步数据存储表备份单元，用于将原始的所述同步数据存储表更名，生成同步数据存储表备份；

数据导入单元，用于将所述同步数据存储表备份的内容导入到重新生成的所述同步数据存储表中，并删除所述同步数据存储表备份。

10.一种包括权利要求6至8任一项所述的数据同步装置的系统。