CN103379159A - 一种分布式Web站点数据同步的方法 - Google Patents

Abstract

本申请公开了一种分布式Web站点的数据同步方法，用于同步大型Web网站的各分布式站点数据，设置有一与各分布式站点相连的缓存服务器，所述缓存服务器上数据结构按照数据的标识ID大小增序排序，各分布式站点保存有最近一次同步数据的标识ID，当有同步数据需要处理时，分布式站点访问所述缓存服务器，缓存服务器返回服务器上大于分布式站点最近一次同步数据标识ID的所有数据，分布式站点更新数据库数据，并产生自增标识ID，将同步数据和自增ID发送到缓存服务器，并删除缓存服务器上标识ID最小的数据，完成数据同步。采用本申请的同步方法，分布式站点与缓存服务器间交换的数据少，同步速度快，开发成本低。

Description

一种分布式Web站点数据同步的方法

技术领域

本申请涉及数据同步技术领域，尤其涉及分布式Web站点的数据同步方法。

背景技术

在大型Web站点中，大多采用分布式结构。多台分布式web机通过负载均衡的技术，达到更好的对外吞吐能力。但分布式架构会引起数据不能有效同步处理问题，也就是说，用户提交的数据，可能会随机散落在任何一个节点上。这样对于处理某些涉及到全局统计，分析处理的业务时，会产生一些麻烦。譬如，某大型论坛想要跟踪某用户在一小时之内的发帖情况时，在分布式环境下，就无法在单个节点上获得这个用户全部访问记录。

目前对于分布式环境下，同步应用数据的常用方法，最主要的包含以下两种方案：a)通过一些简单的key-value缓存(诸如memcached)，进行交换数据。b)单独起一个任务程序，将原有的处理逻辑转移到这个任务程序中，因为任务程序控制为一个，从而保证数据同步。

以上两个方案都存在明显的缺陷：针对通过简单的key-value缓存交换同步数据的问题在于，因为key-value的能力比较弱，基本上都是通过全量的方式同步所有的数据。所以要交换的同步数据量不能太大，否则网络传输会带来巨大的成本。而通过单独任务的方式的问题在于：开发成本比较高，还需要很多周边额外设施的搭建，譬如说，一个有效的消息队列处理中心。另一个重要的缺点是，完整的业务代码被分离到了WEB机和任务程序这两部分。

公开号为CN 102202072A的中国发明专利公开了一种互联网站数据的单向同步方法，将源网站的数据单向同步到目标网站，所采用的方法为自增策略单向同步，采用时间戳标识数据，将某一时间戳之后发生的数据单向同步到目标网站，但是无法完成多个源网站之间数据的同步，并且源网站与目标网站都维护全部数据。

发明内容

本申请的目的是提供分布式Web站点间的数据同步方法，解决现有技术方案同步数据量大，开发成本高的问题。

一种分布式Web站点的数据同步方法，用于同步各分布式Web站点的数据，所述分布式Web站点共用一个缓存服务器，所述缓存服务器上数据结构按照数据的标识ID大小顺序排列，所述数据同步方法包括步骤：

步骤1、分布式Web站点接收同步数据；

步骤2、分布式Web站点根据自身存储的最近一次同步数据的标识ID，向缓存服务器要求所有大于该标识ID的数据；

步骤3、所述分布式Web站点接收缓存服务器返回的所要求的数据，将返回的数据加入到原有数据中；

步骤4、分布式Web站点将同步数据加入原有数据中，并为同步数据产生自增标识ID；

步骤5、分布式Web站点将同步数据及其标识ID发送给缓存服务器；

步骤6、分布式Web站点更新最近一次同步数据的标识ID；

所述自增标识ID具有全局的唯一性，为了保证自增标识的唯一性，常用的方法为所述分布式Web站点上原有数据自身带有数据库上的自增主键，其中所述数据库是分布式Web站点的数据库，也可以采用缓存服务器数据库自增主键来实现自增标识ID的全局唯一性。

所述自增标识ID为系统时间戳也可以实现自增标识ID的全局唯一性。

进一步地，所述步骤5包括：

分布式Web站点向缓存服务器提交同步数据及其标识ID；

缓存服务器将同步数据加入到本地数据库；

分布式Web站点要求缓存服务器删除标识ID最小的数据；

缓存服务器删除标识ID最小的数据。

进一步地，所述的缓存服务器是redis存储系统。

本申请公开的一种分布式Web站点的数据同步方法，针对目前key-value缓存交换同步数据和单独起任务的方式两种同步数据方法的缺陷，就如何避免大数据量的网络传输和节约成本进行了综合考虑，设置一个缓存服务器，并采用增量更新策略实现各分布式Web站点的数据同步。该缓存服务器只需要简单一些功能，如支持存储列表或数组的数据结构，对这个数据结构中的数据，能够根据元素本身提供的数值方式进行排序；提供网络访问方式，对以上数据结构进行添加元素；提供网络访问方式，获取以上数据结构中大于某一特定数值的所有元素；提供网络访问方式，根据以上数据结构的下标，进行对应位置的元素删除；这就可以用成本较低的交换机替代，从而降低了实现成本。显然对比单独起任务程序处理同步数据，本申请的开发方式要轻量得多，不需要额外的周边设施。业务代码逻辑集中在单个web机上，代码结构完整，使得在分布式环境中的节点代码和单机部署结构中一致，更方便之后的阅读维护。

同时采用增量更新的策略，在各分布式Web节点与缓存服务器之间只交换增量数据，大大减少了同步的数据量。各分布式Web站点共用一个数据库，并维护一个最近同步数据的标识ID，使得每次需要同步数据时，只需要向缓存服务器请求大于该标识ID的数据，而缓存服务器返回所述数据Web站点，该Web站点就能实现数据的完整更新。同时如果Web站点数据带有数据库的自增主键的话，很容易实现标识ID的唯一性。通过本申请的方法，可以让各个节点之间进行有效地同步，对比简单的key-value交换数据，减少需要同步的数据量，提高了同步效率。并且提供的方案是所谓“懒加载”的方案，当web站点需要处理数据的时候，它就可以通过一个同步，就可以得到从它自己上次更新以来，完整的一份数据，应用简单便捷。

附图说明

图1为分布式Web站点数据同步组网结构示意图；

图2为缓存服务器上数据结构示意图；

图3为本申请数据同步流程图；

图4为同步后缓存服务器上的数据结构示意图。

具体实施方式

下面结合附图和实施例对本申请技术方案做进一步详细说明，以下实施例不构成对本申请的限定。

在分布式环境，譬如大型WEB站点中，采用本技术，可以让分布式Web站点各自接收到的消息，有能力进行同步。本申请分布式Web站点数据同步组网结构图如图1所示，包括分布式的多个Web站点，分别为Web1，Web2和Web3，还设置有一外部缓存服务器。

外部缓存服务器支持存储列表或数组的数据结构，对这个数据结构中的数据，能够根据元素本身提供的数值方式进行排序；提供网络访问方式，对以上数据结构进行添加元素；提供网络访问方式，获取以上数据结构中大于某一特定数值的所有元素；提供网络访问方式，根据以上数据结构的下标，进行对应位置的元素删除。

例如redis是一个比较理想的缓存服务器实现方案，但功能远比以上要复杂得多，上述的功能点只是redis很小的一个子集。本申请并不特别依赖例如redis这样的产品，只要具有以上功能特征的产品，都可以被本申请所采用。

如图2所示为上述缓存服务器中数据结构，每个数据具有一个标识ID，所有数据在数据结构中按照标识ID大小进行排序。

任何用户提交的数据，网络会根据负载平衡策略，被委派到某一个分布式Web节点进行处理，例如Web3节点，该节点需要使用同步(sync)技术和缓存服务器交换数据完成同步，Web3站点本地现有的数据称为原有数据，新收到的数据称为同步数据；或者当需要处理某些涉及到全局统计，分析处理的业务时，有一些同步数据需要处理，则相应的Web站点就需要使用同步技术和缓存服务器交换数据完成同步，同步处理流程如图3所示。在接收到一个同步数据提交之后，同步(sync)具体包括步骤如下：

步骤301、分布式Web站点Web3接收到一个同步数据。

步骤302、分布式Web站点Web3根据自身存储的最近一次同步数据的标识ID，向缓存服务器要求所有大于该标识ID的数据。如图2所示，最近一次同步数据的标识ID是155。

步骤303、缓存服务器返回所要求的数据，分布式Web站点将返回的数据加入到原有数据中。

返回标识为158，159，163，165的数据到Web3站点。Web3站点将这些数据加入到原有数据中。

步骤304、分布式Web站点Web3将同步数据加入原有数据中，并为同步数据产生自增标识ID，即将同步数据加入到原有数据中，并为该同步数据产生一个自增标识ID，同步数据的标识ID为166。

步骤305、分布式Web站点Web3向缓存服务器提交该同步数据和标识ID，将同步数据及标识ID提交给缓存服务器，该数据在缓存服务器数据结构中为标识ID为166的数据。

步骤306、分布式Web站点Web3要求缓存服务器删除标识ID最小的数据，从而避免缓存服务器的交换数据队列过度膨胀。本实施例中删除标识ID为23的数据。缓存服务器同步后的数据结构如图4所示。

步骤307、分布式Web站点Web3更新最近一次同步数据的标识ID，将最近一次同步数据的标识ID由155更新为166。

步骤308、同步过程完成，Web3站点和缓存服务器上数据结构完成同步。

通过上述步骤，只需要在缓存服务器上维持一个一定长度的数据结构，就可以实现所有Web站点中数据的同步。

步骤304中，分布式Web站点为同步数据产生的自增标识ID，必须保证在全局意义上的自增性，如果Web站点上原有数据自身带有数据库上的自增主键，便是最理想的选择。这里的数据库是指分布式Web站点共用的数据库，一般情况下大型Web站点都有共用的数据库，采用共用数据库上的主键，可以有效保证自增信息的标识ID的唯一性。同样采用缓存服务器上的主键，也一样能保证自增信息的标识ID的唯一性。保证全局意义上的自增性现有技术有很多方法，不是本申请的重点，这里不再累述。

步骤304中，使用系统时间作为标识ID，在一些访问不太密集的场合，也是可以考虑的方法之一。

本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的一般技术人员来说，本申请还可以有各种更改和变化。在不脱离本申请原理的前提下，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种分布式Web站点的数据同步方法，用于同步各分布式Web站点的数据，其特征在于，所述分布式Web站点共用一个缓存服务器，所述缓存服务器上数据结构按照数据的标识ID大小顺序排列，所述数据同步方法包括步骤：

步骤1、分布式Web站点接收同步数据；

步骤2、分布式Web站点根据自身存储的最近一次同步数据的标识ID，向缓存服务器要求所有大于该标识ID的数据；

步骤3、所述分布式Web站点接收缓存服务器返回的所要求的数据，将返回的数据加入到原有数据中；

步骤4、分布式Web站点将同步数据加入原有数据中，并为同步数据产生自增标识ID；

步骤5、分布式Web站点将同步数据及其标识ID发送给缓存服务器；

步骤6、分布式Web站点更新最近一次同步数据的标识ID。

2.根据权利要求1所述的分布式Web站点的数据同步方法，其特征在于，所述自增标识ID具有全局的唯一性。

3.根据权利要求2所述的分布式Web站点的数据同步方法，其特征在于，所述分布式Web站点上原有数据自身带有数据库上的自增主键。

4.根据权利要求3所述的分布式Web站点的数据同步方法，其特征在于，所述数据库是分布式Web站点的数据库。

5.根据权利要求3所述的分布式Web站点的数据同步方法，其特征在于，所述数据库是缓存服务器数据库。

6.根据权利要求2所述的分布式Web站点的数据同步方法，其特征在于，所述标识ID为系统时间戳。

7.根据权利要求1所述的分布式Web站点的数据同步方法，其特征在于，所述步骤5包括：

分布式Web站点向缓存服务器提交同步数据及其标识ID；

缓存服务器将同步数据加入到本地数据库；

分布式Web站点要求缓存服务器删除标识ID最小的数据；

缓存服务器删除标识ID最小的数据。

8.根据权利要求1-7任一项权利要求所述的分布式Web站点的数据同步方法，其特征在于，所述的缓存服务器是redis存储系统。

Images