CN102769639A - 数据同步方法及系统 - Google Patents

Abstract

本发明公开了数据同步方法及系统。方法包括：对于任一系统，根据该系统将使用的数据同步方式，预先在该系统中为每种数据同步方式设置一个数据同步适配器；发送方系统触发数据同步请求，对于每一条待同步数据，发送方系统根据接收方系统所采用的数据同步方式，在自身查找支持该数据同步方式的数据同步适配器，将该待同步数据发送给查找到的数据同步适配器，以使得数据同步适配器将该待同步数据以本适配器支持的数据同步方式构造成一个数据同步请求报文，发送方系统将该数据同步请求报文发送给接收方系统。本发明使得一个发送方系统能够与采用不同数据同步方式的不同接收方进行数据同步。

Description

数据同步方法及系统

技术领域

本发明涉及数据传输技术领域，具体涉及数据同步方法及系统。

背景技术

随着信息管理系统的日益普遍和在各个行业的广泛应用，不同信息管理系统之间的数据交互已经成为系统集成所必须解决的一个最主要的问题。当不同的两个或者多个信息管理系统之间需要进行数据交互时，人们经常使用如下几种基本方式：基于数据库底层的数据同步、利用文件传输协议(FTP，File Transfer Protocol)文件作为中间存储介质处理数据同步、利用超文本传输协议(HTTP，HyperText Transfer Protocol)Post请求处理数据同步、利用互联网服务(Webservice)代理调用处理数据同步。

基于数据库底层的数据同步方式在处理上交互速度快，而且也可以通过一些技术手段解决数据丢失的重发问题，但是使用这种方式需要一个必需的前置条件：各个信息管理系统都能够访问数据同步所依赖的数据库。所以，基于数据库底层的数据同步往往很少使用。利用FTP文件处理数据同步方法通常需要一个符合某种格式定义的文本文件作为数据传输的中间存储介质，然后需要进行数据同步的各个信息管理系统通过对这个中间存储介质的FTP上传/下载/解析来完成数据同步，因此，利用FTP文件处理数据同步在数据量相对大的情况之下具有一定实用性。利用HTTPPost请求和Webservice代理调用处理数据同步，因为在处理上基于HTTP协议，在交互上相对直接，而且还有跨平台、跨语言、易于处理重发等优势，其缺点也显而易见：它们都不适合于大数据量下的数据同步。

现有的数据同步方法基本上只是在对前述的四种数据同步方法的优、缺点进行比较和取舍之后，选取一种或者多种方法来进行数据同步，然后再利用这些方法本身的特质，例如：跨平台，跨语言，易于获得返回信息然后处理重发等，进行完善和发挥，最后完成数据同步。但是，如果在实际的应用中，数据同步的发送方需要对多个数据同步的接收方发送数据同步请求，而且这些数据同步的接收方所采用的数据同步方式又不相同，那么这样单一的数据同步方法就不能满足需要了。而且从系统集成的宏观上来讲，如果能够提出一种通用的数据同步解决方案，其意义更加长远。

发明内容

本发明提供数据同步方法及系统，以在不同接收方采用不同的数据同步方式时，成功完成数据同步。

本发明的技术方案是这样实现的：

一种数据同步方法，对于任一系统，根据该系统将使用的数据同步方式，预先在该系统中为每种数据同步方式设置一个数据同步适配器，该方法包括：

发送方系统触发数据同步请求，对于每一条待同步数据，发送方系统根据接收方系统所采用的数据同步方式，在自身查找支持该数据同步方式的数据同步适配器，将该待同步数据发送给查找到的数据同步适配器，以使得数据同步适配器将该待同步数据以本适配器支持的数据同步方式构造成一个数据同步请求报文，发送方系统将该数据同步请求报文发送给接收方系统。

对于任一系统，当该系统新增了一种数据同步方式时，在该系统中增加支持该数据同步方式的数据同步适配器。

所述发送方系统在自身查找支持该数据同步方式的数据同步适配器进一步包括：

发送方系统未查找到支持该数据同步方式的数据同步适配器，则提示网管增加支持该数据同步方式的数据同步适配器。

所述发送方系统将该数据同步请求报文发送给接收方系统为：

发送方系统以异步方式将该数据同步请求报文发送给接收方系统。

所述发送方系统将该数据同步请求报文发送给接收方系统之后进一步包括：

若发送方系统收到接收方系统返回的数据同步成功消息，则删除所述待同步数据；否则，发送方系统继续保留所述待同步数据。

所述待同步数据有同步顺序要求，

所述对于每一条待同步数据，发送方系统根据接收方系统所采用的数据同步方式，在自身查找支持该数据同步方式的数据同步适配器之前进一步包括：

发送方系统按照所有待同步数据的同步顺序要求，对所有待同步数据进行排序。

所述待同步数据有同步顺序要求，

所述预先在该系统中为每种数据同步方式设置一个数据同步适配器进一步包括：按照各数据同步适配器处理的数据的同步顺序，对各数据同步适配器进行排序；

所述发送方系统将该数据同步请求报文发送给接收方系统为：当所有待同步数据都经过数据同步适配器的处理时，数据同步控制器按照各数据同步适配器的顺序，依次将各个数据同步适配器构造的数据同步请求报文发送给接收方系统。

一种数据同步系统，该系统包括：

数据同步适配器容器：包含一个或多个数据同步适配器，数据同步适配器的数目与本系统使用的数据同步方式的数目相同，每个数据同步适配器支持一种数据同步方式，不同数据同步适配器支持的数据同步方式不同；

数据同步控制器：发现本系统触发了数据同步请求，对于每一条待同步数据，根据接收方系统所采用的数据同步方式，在数据同步适配器容器中查找支持该数据同步方式的数据同步适配器，将该待同步数据发送给查找到的数据同步适配器，以使得数据同步适配器将该待同步数据以本适配器支持的数据同步方式构造成一个数据同步请求报文，将该数据同步请求报文发送给接收方系统。

所述数据同步适配器容器具有用于增加数据同步适配器的接口，当本系统新增了数据同步方式时，通过该接口增加支持该数据同步方式的数据同步适配器。

所述数据同步控制器进一步用于：

当在数据同步适配器容器中未查找到支持所述接收方系统采用的数据同步方式的数据同步适配器时，则提示网管增加支持该数据同步方式的数据同步适配器。

所述数据同步控制器进一步用于：

当将数据同步请求报文发送给接收方系统时，采用异步方式发送。

所述数据同步控制器进一步用于：

在将该数据同步请求报文发送给接收方系统后，若收到接收方系统返回的数据同步成功消息，则删除所述待同步数据；否则，继续保留所述待同步数据。

所述数据同步控制器进一步用于，在执行所述对于每一条待同步数据，根据接收方系统所采用的数据同步方式，在数据同步适配器容器中查找支持该数据同步方式的数据同步适配器之前，先按照所有待同步数据的同步顺序要求，对所有待同步数据进行排序。

所述数据同步适配器容器中的各适配器具有先后顺序，排序依据是：按照各数据同步适配器处理的数据的同步顺序进行排序；

且，所述数据同步控制器进一步用于，当发现所有待同步数据都经过数据同步适配器的处理时，按照各数据同步适配器的顺序，依次将各个数据同步适配器构造的数据同步请求报文发送给接收方系统。

与现有技术相比，本发明实现了：一个发送方系统能够与采用不同数据同步方式的不同接收方系统进行数据同步。

附图说明

图1为本发明实施例提供的数据同步方法流程图；

图2为本发明实施例提供的数据同步系统的组成示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明实施例提供的数据同步方法流程图，如图1所示，其具体步骤如下：

步骤100：对于任一系统，根据该系统将会使用的数据同步方式，预先在该系统中设置一个数据同步适配器容器，该容器中包含一个或多个数据同步适配器，数据同步适配器的数目与系统将会使用的数据同步方式的数目相同，其中，每个数据同步适配器支持一种数据同步方式，不同数据同步适配器支持的数据同步方式不同。

数据同步方式包括但不限于以下几种：

1)基于数据库底层的数据同步；

2)利用FTP文件作为中间存储介质处理数据同步；

3)利用HTTP Post请求处理数据同步；

4)利用Webservice代理调用处理数据同步。

系统将会使用哪种数据同步方式，就在数据同步适配器容器中设置支持该数据同步方式的数据同步适配器。例如：若系统可能使用方式1)～4)，则在数据同步适配器容器中设置四种数据同步适配器。一个系统将会使用哪种数据同步方式，可根据该系统将会与哪些系统进行数据交互来确定，例如：若系统A将与采用方式1)的系统B、采用方式2)的系统C进行数据交互，则可确定系统A将会使用方式1)、2)。

当发现增加了新的数据同步方式、且系统可能会采用该方式时，需要在数据同步适配器容器中增加支持该方式的数据同步适配器。当然，若发现系统不会再采用已有的一种数据同步方式，也可将支持该方式的数据同步适配器从数据同步适配器容器中删除。

步骤101：对于任一系统，系统中的数据同步控制器定时轮询系统中的数据，以发现待同步数据。

待同步数据分为两种：一种是新产生的待同步数据；另一种是在之前的数据同步过程中进行过数据同步处理但同步失败的数据，这类同步失败的数据通常存储在专门的同步失败数据存储介质中，数据同步控制器在轮询时，直接查看该存储介质即可。

步骤102：一发送方系统触发数据同步请求。

通常，数据同步是周期性进行的，例如：每30分钟执行一次数据同步。此时，可设置一个定时器，其定时时长等于预设的数据同步周期，则触发条件为定时器的定时时长到达。

步骤103：该发送方系统中的数据同步控制器检测到该数据同步请求，对每一条待同步数据进行步骤104～109：

这里，若多条待同步数据有同步顺序要求，则数据同步控制器可以采用如下方式满足该要求：

方式一：数据同步控制器按照同步顺序要求，对各条待同步数据进行排序，然后按照排序结果，依次对各条待同步数据执行步骤104～107。例如：若有待同步数据1、2、3，其中，数据1、3属于业务A的数据，数据2属于业务B的数据，且业务A应在业务B之前进行，则数据同步控制器将数据1、2、3排序为：数据1、3、2，然后依次对数据1、3、2执行步骤104～107。

方式二：在步骤100中，按照各数据同步适配器所处理的数据的同步顺序，对各适配器进行排序，例如：若适配器A处理业务A的数据，适配器B处理业务B的数据，且业务A应在业务B之前进行，则在数据同步适配器容器中将适配器A放在适配器B之前，这样，在步骤103中，数据同步控制器按照各待同步数据的轮询顺序，依次对各待同步数据执行步骤104～106，当对所有待同步数据执行完步骤104～106后，在步骤107中，数据同步控制器按照各适配器的顺序，依次将各适配器构造的数据同步请求报文发送给对应的接收方系统。

步骤104：数据同步控制器根据当前待同步数据的接收方系统所采用的数据同步方式，在数据同步适配器容器中查找支持该数据同步方式的数据同步适配器，若查找到，执行步骤105。

例如：若当前待同步数据的接收方系统采用利用Webservice代理调用处理数据同步方式，则数据同步控制器在数据同步适配器容器中查找支持利用Webservice代理调用处理数据同步方式的数据同步适配器。

若数据同步控制器在数据同步适配器容器中未查找到支持接收方系统采用的数据同步方式的数据同步适配器，则数据同步控制器提示网管增加数据同步适配器，该适配器需支持当前接收方系统采用的数据同步方式。

步骤105：数据同步控制器对当前待同步数据进行数据同步前置操作。

数据同步前置操作例如：获取接收方系统的简单对象访问协议(SOAP，Simple Object Access Protocol)地址、异步请求援引等。当决定采用异步方式进行数据同步时，要进行异步请求援引操作。

步骤106：数据同步控制器将当前待同步数据发送给查找到的数据同步适配器，数据同步适配器将该待同步数据以自身支持的数据同步方式构造成一个数据同步请求报文。

步骤107：数据同步控制器将该数据同步请求报文发送给接收方系统。

若数据同步前置操作包含异步请求援引操作，则本步骤中，数据同步控制器以异步方式发送数据同步请求。

步骤108：接收方系统接收数据同步请求，开始进行数据同步处理。

步骤109：当接收方系统成功完成数据同步处理时，向发送方系统返回数据同步成功消息；否则，向发送方系统返回数据同步失败消息。

步骤110：当发送方系统的数据同步控制器接收到接收方系统的数据同步成功消息时，删除对应的待同步数据；否则，将对应的待同步数据转移至同步失败数据存储介质中。

在实际中，数据同步控制器对于每条同步失败的数据，可维护一个重发次数，当重发次数达到最大值时，将该数据从同步失败数据存储介质中删除。

图2为本发明实施例提供的数据同步系统的组成示意图，如图2所示，其主要包括：数据同步适配器容器21和数据同步控制器22，其中：

数据同步适配器容器21：包含一个或多个数据同步适配器，数据同步适配器的数目与本系统使用的数据同步方式的数目相同，每个数据同步适配器支持一种数据同步方式，不同数据同步适配器支持的数据同步方式不同。

数据同步控制器22：发现本系统触发了数据同步请求，对于每一条待同步数据，根据该数据的接收方系统所采用的数据同步方式，在数据同步适配器容器21中查找支持该数据同步方式的数据同步适配器，将该待同步数据发送给查找到的数据同步适配器，以使得数据同步适配器将该待同步数据以本适配器支持的数据同步方式构造成一个数据同步请求报文，将该数据同步请求报文发送给接收方系统。

在实际应用中，数据同步适配器容器21可具有用于增加数据同步适配器的接口，当本系统新增了数据同步方式时，通过该接口增加支持该数据同步方式的数据同步适配器。

数据同步控制器22可进一步用于：当在数据同步适配器容器21中未查找到支持所述接收方系统采用的数据同步方式的数据同步适配器时，则提示网管增加支持该数据同步方式的数据同步适配器。

数据同步控制器22还可进一步用于：当将数据同步请求报文发送给接收方系统时，采用异步方式发送。

数据同步控制器22还可进一步用于：在将该数据同步请求报文发送给接收方系统后，若收到接收方系统返回的数据同步成功消息，则删除所述待同步数据；否则，将所述待同步数据转移至同步失败数据存储介质中，以等待下一次数据同步。

数据同步控制器22还可进一步用于，在执行对于每一条待同步数据，根据接收方系统所采用的数据同步方式，在数据同步适配器容器21中查找支持该数据同步方式的数据同步适配器之前，先按照所有待同步数据的同步顺序要求，对所有待同步数据进行排序。

在实际应用中，数据同步适配器容器21中的各适配器可以具有先后顺序，排序依据是：按照各数据同步适配器处理的数据的同步顺序进行排序；

且，数据同步控制器22进一步用于，当发现所有待同步数据都经过数据同步适配器的处理时，按照各数据同步适配器的顺序，依次将各个数据同步适配器构造的数据同步请求报文发送给接收方系统。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种数据同步方法，其特征在于，对于任一系统，根据该系统将使用的数据同步方式，预先在该系统中为每种数据同步方式设置一个数据同步适配器，该方法包括：

发送方系统触发数据同步请求，对于每一条待同步数据，发送方系统根据接收方系统所采用的数据同步方式，在自身查找支持该数据同步方式的数据同步适配器，将该待同步数据发送给查找到的数据同步适配器，以使得数据同步适配器将该待同步数据以本适配器支持的数据同步方式构造成一个数据同步请求报文，发送方系统将该数据同步请求报文发送给接收方系统。

2.根据权利要求1所述的方法，其特征在于，对于任一系统，当该系统新增了一种数据同步方式时，在该系统中增加支持该数据同步方式的数据同步适配器。

3.根据权利要求1所述的方法，其特征在于，所述发送方系统在自身查找支持该数据同步方式的数据同步适配器进一步包括：

发送方系统未查找到支持该数据同步方式的数据同步适配器，则提示网管增加支持该数据同步方式的数据同步适配器。

4.根据权利要求1所述的方法，其特征在于，所述发送方系统将该数据同步请求报文发送给接收方系统为：

发送方系统以异步方式将该数据同步请求报文发送给接收方系统。

5.根据权利要求1所述的方法，其特征在于，所述发送方系统将该数据同步请求报文发送给接收方系统之后进一步包括：

若发送方系统收到接收方系统返回的数据同步成功消息，则删除所述待同步数据；否则，发送方系统继续保留所述待同步数据。

6.根据权利要求1所述的方法，其特征在于，所述待同步数据有同步顺序要求，

所述对于每一条待同步数据，发送方系统根据接收方系统所采用的数据同步方式，在自身查找支持该数据同步方式的数据同步适配器之前进一步包括：

发送方系统按照所有待同步数据的同步顺序要求，对所有待同步数据进行排序。

7.根据权利要求1所述的方法，其特征在于，所述待同步数据有同步顺序要求，

所述预先在该系统中为每种数据同步方式设置一个数据同步适配器进一步包括：按照各数据同步适配器处理的数据的同步顺序，对各数据同步适配器进行排序；

所述发送方系统将该数据同步请求报文发送给接收方系统为：当所有待同步数据都经过数据同步适配器的处理时，数据同步控制器按照各数据同步适配器的顺序，依次将各个数据同步适配器构造的数据同步请求报文发送给接收方系统。

8.一种数据同步系统，其特征在于，该系统包括：

数据同步适配器容器：包含一个或多个数据同步适配器，数据同步适配器的数目与本系统使用的数据同步方式的数目相同，每个数据同步适配器支持一种数据同步方式，不同数据同步适配器支持的数据同步方式不同；

数据同步控制器：发现本系统触发了数据同步请求，对于每一条待同步数据，根据接收方系统所采用的数据同步方式，在数据同步适配器容器中查找支持该数据同步方式的数据同步适配器，将该待同步数据发送给查找到的数据同步适配器，以使得数据同步适配器将该待同步数据以本适配器支持的数据同步方式构造成一个数据同步请求报文，将该数据同步请求报文发送给接收方系统。

9.根据权利要求8所述的系统，其特征在于，所述数据同步适配器容器具有用于增加数据同步适配器的接口，当本系统新增了数据同步方式时，通过该接口增加支持该数据同步方式的数据同步适配器。

10.根据权利要求8所述的系统，其特征在于，所述数据同步控制器进一步用于：

当在数据同步适配器容器中未查找到支持所述接收方系统采用的数据同步方式的数据同步适配器时，则提示网管增加支持该数据同步方式的数据同步适配器。

11.根据权利要求8所述的系统，其特征在于，所述数据同步控制器进一步用于：

当将数据同步请求报文发送给接收方系统时，采用异步方式发送。

12.根据权利要求8所述的系统，其特征在于，所述数据同步控制器进一步用于：

在将该数据同步请求报文发送给接收方系统后，若收到接收方系统返回的数据同步成功消息，则删除所述待同步数据；否则，继续保留所述待同步数据。

13.根据权利要求8所述的系统，其特征在于，所述数据同步控制器进一步用于，在执行所述对于每一条待同步数据，根据接收方系统所采用的数据同步方式，在数据同步适配器容器中查找支持该数据同步方式的数据同步适配器之前，先按照所有待同步数据的同步顺序要求，对所有待同步数据进行排序。

14.根据权利要求8所述的系统，其特征在于，所述数据同步适配器容器中的各适配器具有先后顺序，排序依据是：按照各数据同步适配器处理的数据的同步顺序进行排序；

且，所述数据同步控制器进一步用于，当发现所有待同步数据都经过数据同步适配器的处理时，按照各数据同步适配器的顺序，依次将各个数据同步适配器构造的数据同步请求报文发送给接收方系统。

Images