CN101123490A - 用消息服务机制实现不同服务器间发收同步数据的方法 - Google Patents

Abstract

本发明为一种用消息服务机制实现不同服务器间发收同步数据的方法，其将同步的数据进行分批同步以此来提高服务器性能，在与接收方服务器连接失败时将待同步的数据暂存在一个队列中，以便系统再次连通后进行发送，保证所有数据不会丢失。在同步数量和同步时间等方面，可以根据用户的需求进行相应的调整。在更换其它数据库时如果表和字段相同，只需要通过配置文件改变所需要连接的数据库和做少量的修改即可，经过试验应用本技术后效率有了明显的提高。同时用户可以方便快捷的根据自己的想法进行相应的设置，体现出了软件人性化的一面，在维护方面节省了人力而且上手简单，可谓事半功倍。

Description

用消息服务机制实现不同服务器间发收同步数据的方法

技术领域

本发明涉及的是一种数据传输方法，特别涉及的是一种用消息服务机制实现不同服务器间发送与接收同步数据的方法。

背景技术

现在的系统体系中，实现同步数据的发送和接收，一般是依靠数据库来进行同步，也就是用存储过程、触发器等来实现数据同步。其缺陷主要体现在以下几个方面：

首先从实现方式的角度来看，数据库实现起来也许会快一些，可是一旦一个系统运行起来，用户希望对同步进行设置时，我们不可能随时登陆数据库中某个表对其中的某个值进行手工修改，这样做会带来一系列的麻烦(安全、责任追究、误操错等等)。其次增加了数据库的压力，有些压力是数据库无法承担的，假设同步一百万条数据，这个需求对数据库而言是不可跨越的一个瓶颈。所以这样做是几乎是不可能的。

其次从性能指标的角度来看，由于每台服务器都有一个瓶颈，当数据量很大的时候，单纯依靠数据库，无论是用存储过程还是触发器进行数据同步都无法实现。即便我们绞尽脑汁勉强实现了该功能，同时还要考虑数据同步的准确性和交互性质。当然我们可以在数据库中写一些规则，可运行这些规则会浪费掉数据库很大一块资源，即便实现了用户的需求但这样实施后运行效率就会很低。

再次从数据和系统的安全性以及完整性的角度来看，无论用什么方式实现数据同步，如何确保同步中每一条数据都可以安全可靠的被接收方接收是我们首先要考虑的问题。实际中由于服务器的维护、当机、重启等外界因素致使我们的数据在发出后有可能在接收方接收之前就已经丢失了，而我们还不知道。为解决这一问题利用数据库来控制防止这一事件的发生似乎很困难。当然会想很多种解决方法，但我相信无论哪种方法都会对性能造成很大的影响。

最后从数据和系统的维护成本、人性化、灵活性的角度来看，用数据库实现数据同步要时刻关心数据库用的是什么，因为一旦数据库变了就意味着之前写过的存储过程或者触发器一类的就要做改动。而且即便不改变数据库，其它配置也经常需要改变，这时各个节点的维护人员就要对存储过程或触发器进行修改，这种经常性的修改数据库是一件很危险的事情。用数据库实现同步的另一个问题是服务器初始化时每台服务器在同步方面的设置都是唯一的，这时的一个问题就是到某个时间时所有服务器都会进行数据同步，要想区分这些设置就要维护人员分别对这些服务器进行单独设置，这是很不方便的，而且容易产生数据阻塞。

基于上述缺陷，本发明创作者，经过长时间的研究和实践终于获得了本发明的产生。

发明内容

本发明的目的在于，提供一种用消息服务机制实现不同服务器间发送与接收同步数据的方法，用以克服上述缺陷。

为实现上述目的，本发明采用的技术方案在于，提供一种用消息服务机制实现不同服务器间发送与接收同步数据的方法，其中的发送同步数据的方法，其基于一种树形结构，每一节点都存有上级服务器的IP地址以及本节点服务器信息和下级服务器信息，数据根据IP形式进行同步，其中，

步骤a：初始化向上级服务器连接；

步骤b：根据用户设置的同步时间定时提取指定条数的数据；

步骤c：本地服务器要根据IP地址尝试和接收方的服务器连接；

步骤d：判断连接是否失败，如果是就将待同步的数据存储在一暂存队列中，并执行步骤d，否则执行步骤e；

步骤e：判断暂存队列中是否有还未发送出去的同步数据，如果有则优先发送这些同步数据，如果在暂存队列中没有未发送出去的同步数据，则同步发送本次需同步的数据；

步骤f：当消息发出去后修改已同步数据的同步标志位为已同步；

较佳的，在所述的步骤e和步骤f之间还包括步骤e1：判断发送是否成功，如果成功，则执行步骤f；否则将数据存储在所述的暂存队列中，执行步骤c。

较佳的，所述的发送的同步数据是根据数据的类型创建消息，将其封装成为一个对象进行发送的；

较佳的，在所述的步骤d和步骤e之间还包括步骤d1：消息服务机制判断目前网络的资源是否紧张，如果是，则执行步骤d1，如果否则执行下述步骤e；

其中的接收同步数据的方法，其与上述的用消息服务机制实现不同服务器间发送同步数据的过程相对应，其也是基于一种树形结构，每一节点都存有上级服务器的IP地址以及本节点服务器信息和下级服务器信息，数据根据IP形式进行同步，其中，

步骤a：启动本地服务器的接收监听；

步骤b：判断是否有发送过来的新消息，如果有执行下述步骤c，如果没有执行上述步骤b；

步骤c：判断接收到的新消息是否要进行向上级服务器或向下级服务器的转发，如果是，执行下述步骤d，如果不是执行下述步骤h；

步骤d：本地服务器要根据IP地址尝试和转发的服务器连接；

步骤e：判断连接是否失败，如果是就将待同步的数据存储在本地的一暂存队列中，并执行步骤e，否则执行步骤f；

步骤f：判断所述的暂存队列中是否有还未发送出去的同步数据，如果有则优先发送这些同步数据，如果在暂存队列中没有未发送出去的同步数据，则同步发送本次需同步的数据；

步骤g：当消息发出去后修改已同步数据的同步标志位为已同步，执行下述步骤k；

步骤h：根据不同的消息进行分别的转换类型；

步骤i：存储到本地保存队列；

步骤j：启动消息接收；

步骤k：接收过程结束；

较佳的，在所述的步骤f和步骤g之间还包括步骤f1：判断发送是否成功，如果成功，则执行步骤g；否则将数据存储在所述的暂存队列中，执行步骤d；

较佳的，所述的步骤h：根据不同的消息进行分别的转换类型；在本地有一对应的数据清单，根据所述步骤i中存储到本地队列数据的类型，将其转换成具体对应的数据；

较佳的，在所述的步骤e和步骤f之间还包括步骤e1：判断目前网络的资源是否紧张，如果是，则执行步骤e1，如果否则执行下述步骤f。

与现有技术比较本发明的有益效果在于，它在传输中是安全的，不会丢失数据。由于消息的发送是采用异步形式，所以不会产生消息阻塞。同时因为和语言、平台无关，所以在移植方面比较方便。并且该应用提供了强大而灵活的管理配置功能。真正体现出软件人性化的一面。具体体现在于可以将需大数据量同步的数据进行打散处理，分批进行同步以此来提高服务器性能。在与接收方服务器连接失败时可以将待同步的数据暂存在一个队列中，以便系统再次连通后进行发送，保证所有数据不会丢失。在同步数量和同步时间等方面，可以根据用户的需求进行相应的调整。在更换其它数据库时如果表和字段相同，只需要通过配置文件改变所需要连接的数据库和做少量的修改即可，经过试验应用本技术后效率有了明显的提高。同时用户可以方便快捷的根据自己的想法进行相应的设置，体现出了软件人性化的一面，在维护方面节省了人力而且上手简单，可谓事半功倍。

附图说明

图1为本发明用消息服务机制实现不同服务器间发送同步数据的方法的流程图；

图2为本发明用消息服务机制实现不同服务器间接收同步数据的方法的流程图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。

节点间数据同步基于树形设计，数据根据IP形式进行同步。这里分了两部分进行设置，分别是数据库和配置文件。每个节点服务器中都有一个配置文件，其中主要指明上级服务器的IP地址。另一个方面是每个节点的数据库中有一张节点表，其中该表中存有本级节点信息和下级节点信息。这是采用JMS(消息服务)实现数据同步所必须的。有了之前的设置我们就可以知道目标节点IP，剩下的就是组织需同步的信息了。

请参阅图1所示，其为本发明用消息服务机制实现不同服务器间发送同步数据的方法的流程图；

步骤a1：初始化向上级服务器连接；

步骤b1：根据用户设置的同步时间定时提取指定条数的数据；

步骤c1：本地服务器要根据IP地址尝试和接收方的服务器连接；

步骤d1：判断连接是否失败，如果是就将待同步的数据存储在一暂存队列中，并执行步骤d1，否则执行步骤e1；

步骤e1：判断暂存队列中是否有还未发送出去的同步数据，如果有则优先发送这些同步数据，如果在暂存队列中没有未发送出去的同步数据，则同步发送本次需同步的数据；

步骤f1：当消息发出去后修改已同步数据的同步标志位为已同步；

其中在所述的步骤e1和步骤f1之间还包括步骤e11：判断发送是否成功，如果成功，则执行步骤f1；否则将数据存储在所述的暂存队列中，执行步骤c1；所述的发送的同步数据是根据数据的类型创建消息，将其封装成为一个对象进行发送的；在所述的步骤d1和步骤e1之间还包括步骤d11：消息服务机制判断目前网络的资源是否紧张，如果是，则执行步骤d11，如果否则执行下述步骤e1；

请参阅图2所示，其为本发明用消息服务机制实现不同服务器间接收同步数据的方法的流程图，其包括的步骤为：

步骤a2：启动本地服务器的接收监听；

步骤b2：判断是否有发送过来的新消息，如果有执行下述步骤c2，如果没有执行上述步骤b2；

步骤c2：判断接收到的新消息是否要进行向上级服务器或向下级服务器的转发，如果是，执行下述步骤d2，如果不是执行下述步骤h2；

步骤d2：本地服务器要根据IP地址尝试和转发的服务器连接；

步骤e2：判断连接是否失败，如果是就将待同步的数据存储在本地的一暂存队列中，并执行步骤e2，否则执行步骤f2；

步骤f2：判断所述的暂存队列中是否有还未发送出去的同步数据，如果有则优先发送这些同步数据，如果在暂存队列中没有未发送出去的同步数据，则同步发送本次需同步的数据；

步骤g2：当消息发出去后修改已同步数据的同步标志位为已同步，执行下述步骤k2；

步骤h2：根据不同的消息进行分别的转换类型；

步骤i2：存储到本地保存队列；

步骤j2：启动消息接收；

步骤k2：接收过程结束；

其中，在所述的步骤f2和步骤g2之间还包括步骤f22：判断发送是否成功，如果成功，则执行步骤g2；否则将数据存储在所述的暂存队列中，执行步骤d2；所述的步骤h2：根据不同的消息进行分别的转换类型；在本地有一对应的数据清单，根据所述步骤i2中存储到本地队列数据的类型，将其转换成具体对应的数据；在所述的步骤e2和步骤f2之间还包括步骤e22：判断目前网络的资源是否紧张，如果是，则执行步骤e2，如果否则执行下述步骤f2。

其中上述根据用户之前设置的同步时间定时提取指定条数的数据，提取方法是将待同步的数据进行分类筛选(比如人员信息、用户信息等)，再从每个类中选出同步的优先级(比如要同步的表中存在关系，必须先同步人员表后的数据才能同步用户表)。这样做的好处是可以根据服务器性能自动设置每次同步数据的条数，以便降低服务器压力。其次同步信息要根据IP尝试和接收方连接，如果连接失败就将待同步的数据暂时存在一个队列中以便在下次连接后能够继续同步。如果连接成功则首先检查暂存队列中有无需同步的数据，如果有则优先同步这些数据，如果没有在暂存队列中发现数据则同步本次需同步的数据。当消息发出去后修改已同步数据的同步标志位为已同步。

对于上述的接收过程，每台服务器会定时对是否有新到消息进行监听，如果接收到新消息则会判断该条数据是通过本节点转发还是保存到本节点，又或者是将数据在本节点做一个备份后继续转发。如果数据要保存到本节点则判断消息类型并做相应的转换。随后。根据判断结果对数据进行相应的操作。当系统执行完成以上操作即完成一次数据同步。

综上，我们认为通过程序来改变数据库中的内容，灵活对同步进行相应的配置，即把数据同步从数据库中完全剥离出来，完全以软件的形式来实现数据的同步；对于提高效率而言，我们指定不同的规则来解决以上数据库效率低的问题。比如我们可以控制一次数据同步的条数来解决大数据量同步问题、我们可以通过一个暂存队列的方式来处理同步失败确保每条数据都可以安全的被发送到指定的服务器上、我们可以通过响应机制来解决数据交互问题等等。

当然这些规则可以随时更改，而且修改起来很方便。这些都是通过我们反复试验而得出的结论；同时采用JMS实现数据同步时我们就可以有很好的方法来数据完整性的问题。我们首先建立一个暂存的队列用来保存每次发送失败的数据，当每次连接成功时对暂存队列进行检查，如果发现队列中有数据，则优先发送这些数据。通过这一手段，我们可以实现同步数据的安全、完整性。

采用JMS实现数据同步时我们就可以有很好的方法来解决维护成本高、人性化以及灵活性差的问题。通过建立一个暂存的队列用来保存每次发送失败的数据，当每次连接成功时首先对暂存队列进行检查，如果发现队列中有数据，则优先发送这些数据，通过这一手段，我们可以实现同步数据的安全、完整性。采用JMS数据同步机制就可以有效的控制这种事情的发生。我们通过在软件程序中提供用户设置界面做到了这一点。也就是说我们把一些用户经常改动的地方教给用户自己去打理而不是维护人员。这样有效的降低了维护人员的工作，提高了系统灵活性。

以上所述仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (8)

1.一种用消息服务机制实现不同服务器间发送同步数据的方法，其基于一种树形结构，每一节点都存有上级服务器的IP地址以及本节点服务器信息和下级服务器信息，数据根据IP形式进行同步，其特征在于，

步骤a：初始化向上级服务器连接；

步骤b：根据用户设置的同步时间定时提取指定条数的数据；

步骤c：本地服务器要根据IP地址尝试和接收方的服务器连接；

步骤d：判断连接是否失败，如果是就将待同步的数据存储在一暂存队列中，并执行步骤d，否则执行步骤e；

步骤e：判断暂存队列中是否有还未发送出去的同步数据，如果有则优先发送这些同步数据，如果在暂存队列中没有未发送出去的同步数据，则同步发送本次需同步的数据；

步骤f：当消息发出去后修改已同步数据的同步标志位为已同步。

2.根据权利要求1所述的用消息服务机制实现不同服务器间发送同步数据的方法，其特征在于，在所述的步骤e和步骤f之间还包括步骤e1：判断发送是否成功，如果成功，则执行步骤f；否则将数据存储在所述的暂存队列中，执行步骤c。

3.根据权利要求1所述的用消息服务机制实现不同服务器间发送同步数据的方法，其特征在于，所述的发送的同步数据是根据数据的类型创建消息，将其封装成为一个对象进行发送的。

4.根据权利要求1所述的用消息服务机制实现不同服务器间发送同步数据的方法，其特征在于，在所述的步骤d和步骤e之间还包括步骤d1：消息服务机制判断目前网络的资源是否紧张，如果是，则执行步骤d1，如果否则执行下述步骤e。

5.一种用消息服务机制实现不同服务器间接收同步数据的方法，其与上述的用消息服务机制实现不同服务器间发送同步数据的过程相对应，其基于一种树形结构，每一节点都存有上级服务器的IP地址以及本节点服务器信息和下级服务器信息，数据根据IP形式进行同步，其特征在于，

步骤a：启动本地服务器的接收监听；

步骤b：判断是否有发送过来的新消息，如果有执行下述步骤c，如果没有执行上述步骤b；

步骤c：判断接收到的新消息是否要进行向上级服务器或向下级服务器的转发，如果是，执行下述步骤d，如果不是执行下述步骤h；

步骤d：本地服务器要根据IP地址尝试和转发的服务器连接；

步骤e：判断连接是否失败，如果是就将待同步的数据存储在本地的一暂存队列中，并执行步骤e，否则执行步骤f；

步骤f：判断所述的暂存队列中是否有还未发送出去的同步数据，如果有则优先发送这些同步数据，如果在暂存队列中没有未发送出去的同步数据，则同步发送本次需同步的数据；

步骤g：当消息发出去后修改已同步数据的同步标志位为已同步，执行下述步骤k；

步骤h：根据不同的消息进行分别的转换类型；

步骤i：存储到本地保存队列；

步骤j：启动消息接收；

步骤k：接收过程结束。

6.根据权利要求5所述的用消息服务机制实现不同服务器间接收同步数据的方法，其特征在于，在所述的步骤f和步骤g之间还包括步骤f1：判断发送是否成功，如果成功，则执行步骤g；否则将数据存储在所述的暂存队列中，执行步骤d。

7.根据权利要求5所述的用消息服务机制实现不同服务器间接收同步数据的方法，其特征在于，所述的步骤h：根据不同的消息进行分别的转换类型；在本地有一对应的数据清单，根据所述步骤i中存储到本地队列数据的类型，将其转换成具体对应的数据。

8.根据权利要求5所述的用消息服务机制实现不同服务器间发送同步数据的方法，其特征在于，在所述的步骤e和步骤f之间还包括步骤e1：判断目前网络的资源是否紧张，如果是，则执行步骤e1，如果否则执行下述步骤f。

Images