CN107888666B - 一种跨地域数据存储系统以及数据同步方法和装置 - Google Patents

Abstract

本发明实施例提供了一种跨地域数据存储系统以及数据同步方法和装置，该存储系统包括数据存储层和服务代理层，其中：数据存储层包括集群模式下的多个redis，多个redis分别布置在不同地域；服务代理层包括多个分别与redis匹配的数据分发代理，数据分发代理用于根据业务层的数据请求返回数据，还用于将业务层的待更新数据分别向与其对应的redis和其他redis分发。相对于目前利用couchbase进行数据存储并进行双向同步来说，由于redis本身所具有的较强的稳定性，在做跨地域存储时能够提供较为稳定的实时双向同步服务，从而避免了业务层的请求超时问题，使集群服务系统能够向用户提供较为稳定的服务。

Description

一种跨地域数据存储系统以及数据同步方法和装置

技术领域

本发明涉及数据库技术领域，特别是涉及一种跨地域数据存储系统以及数据同步方法和装置。

背景技术

集群服务系统是由一些互相连接在一起的计算机构成的一个并行系统或分布式系统。这些计算机一起工作并运行一系列共同的应用程序，同时，为用户和应用程序提供单一的系统映射。从外部来看，它们仅仅是一个系统，对外提供统一的服务。集群服务系统内的计算机物理上通过电缆连接，程序上则通过集群软件连接，这些连接允许计算机使用故障应急与负载平衡功能，而故障应急与负载平衡功能在单机上是不可能实现的，因此能够为用户提供更稳定的服务。

目前在集群服务系统中，用来存储TB级别的数据的内存数据库一般选择couchbase，但是由于couchbase中对数据进行双向同步时效率较差，导致多地机房数据进行双向同步的时候业务层的请求大量超时，从而降低了集群服务系统的工作效率。

发明内容

有鉴于此，本发明提供了一种跨地域数据存储系统以及数据同步方法和装置，以解决业务层的请求超时的问题。

为了解决上述问题，本发明公开了一种跨地域数据存储系统，包括数据存储层和服务代理层，其中：

所述数据存储层包括集群模式下的多个redis，所述多个redis分别布置在不同地域；

所述服务代理层包括多个分别与所述redis对应的数据分发代理，所述数据分发代理用于根据业务层的数据请求返回数据，还用于将业务层发送的待更新数据分别向与其对应的redis和其他redis分发。

可选的，所述数据分发代理为cerberus代理。

可选的，所述redis用于通过同步方式接收所述待更新数据。

可选的，所述数据分发代理用于利用kafka消息队列向对应的redis和其他redis分发数据。

另外，本发明还提供了一种数据同步方法，应用于如上所述的跨地域数据存储系统的数据分发代理，所述数据同步方法包括：

响应业务层的数据请求，从对应的redis获取数据，并将获取的数据返回到所述业务层；

响应业务层的数据更新请求，将待更新数据分发到对应的redis和共处于同一数据存储层的其他redis。

可选的，所述将待更新数据分发到对应的redis和共处于同一数据存储层的其他redis，包括：

利用kafka消息队列将所述待更新数据向redis进行分发，所述redis用于利用同步方式接收所述待更新数据。

响应的，为了保证上述方法的实施，本发明还提供了一种数据同步装置，应用于如上所述的跨地域数据存储系统的数据分发代理，所述数据同步装置包括：

第一响应模块，用于响应业务层的数据请求，从对应的redis获取数据，并将获取的数据返回到所述业务层；

第二响应模块，用于响应业务层的数据更新请求，将待更新数据分发到对应的redis和共处于同一数据存储层的其他redis。

可选的，所述第二响应模块包括：

第一分发单元，用于将待更新数据发送到对应的redis；

第二分发单元，用于利用kafka消息队列将所述待更新数据向其他redis分发，所述其他redis用于利用同步方式接收所述待更新数据。

从上述技术方案可以看出，本发明提供了一种跨地域数据存储系统以及数据同步方法和装置，该存储系统包括数据存储层和服务代理层，其中：数据存储层包括集群模式下的多个redis，多个redis分别布置在不同地域；服务代理层包括多个分别与redis匹配的数据分发代理，数据分发代理用于根据业务层的数据请求返回数据，还用于将业务层的待更新数据分别向与其对应的redis和其他redis分发。相对于目前利用couchbase进行数据存储并进行双向同步来说，由于redis本身所具有的较强的稳定性，在做跨地域存储时能够提供较为稳定的实时双向同步服务，从而避免了业务层的请求超时问题，使集群服务系统能够向用户提供较为稳定的服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种跨地域数据存储系统实施例的结构框图；

图2为本发明提供的一种数据同步方法实施例的步骤流程图；

图3为本发明提供的一种数据同步装置实施例的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明提供的一种跨地域数据存储系统实施例的结构框图。

参照图1所示，本实施例提供的跨地域数据存储系统可以应用于广告投放系统，具体来说用于对广告投放系统的用户频次进行记录，该跨地域数据存储系统具体包括数据存储层100和服务代理层200。

该数据存储层包括多个redis 101，每个redis布置在不同的地域。redis是一个高性能的key-value存储系统，和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。

与memcached一样，为了保证效率，redis的数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等业务层，使用很方便。

redis支持主从同步，数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得redis可执行单层树复制，存盘可以有意无意的对数据进行写操作。由于redis完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。

鉴于redis小巧且运行稳定的特点，可以将广告投放系统的用户频次进行安全的记录。由于redis不能存储大量数据，因此，每个节点不超过30G的数据。当需要存储大量的数据时，可以将单个redis节点作为一个数据分片，通过布置多个数据分片的手段可以轻易地满足存储TB字节的需求。

服务代理层包括多个分别与相应的redis对应的数据分发代理201，该数据分发代理优选cerberus代理。cerberus是一个FTP服务器软件，在为用户提供专业级别的安全SSL/TLS加密标准和强大的FTP服务器性能的同时，还保持了简单易用的特点。

cerberus占用CPU和内存很少，拥有友好的用户界面，可以通过系统托盘图标快速访问。cerberus支持多网卡环境，还支持与系统用户帐号集成以及活动目录，支持续传，用户权限控制，连接数限制，超时设置，IP地址自动阻止和黑名单等多种功能，支持安装为系统服务以实现无需登录系统即可提供服务；并提供实时监视功能，可实时查看用户操作状态或断开、阻止用户；提供流量统计功能。cerberus另外还提供了自动获取公网IP地址的功能，方便内网用户发布服务器，其内置Web远程管理界面，支持查看并管理服务器连接。

本发明中服务代理层中每个数据分发代理用于对为用户提供服务的业务层提供读写服务。具体来说就是，当业务层需要数据支持时，根据该业务层的数据请求向业务层返回其所需的数据；当业务层需要向redis存储数据时，数据分发代理将业务层提供的待更新数据发送到与其对应的redis，同时还将该待更新数据分发到与其对应的redis同处一个数据存储层的其他redis。任意一个redis在接受到与其对应的数据分发代理或其他数据分发代理分发的待更新数据时，通过相应的数据同步方法接受该待更新数据，并将该待更新数据进行存储或者对旧有的数据进行更新处理。

另外，作为数据分发代理的cerberus代理在向redis进行数据分发时，为了避免数据的丢失，本申请并没有采用redis自带的replica协议，而是采用了kafka消息队列进行数据同步，即利用kafka消息队列向相应的redis分发数据。

kafka是一种具有高数据吞吐速度的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，包括用户在进行网页浏览、搜索等行动时产生的流数据。这种动作流数据是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决的。由于kafka本身的高数据吞吐速度，从而可以使数据快速有效地进行传输，从而可以在进行数据分发时避免数据出现丢失。

从上述技术方案可以看出，本实施例提供了一种跨地域数据存储系统，包括数据存储层和服务代理层，其中：数据存储层包括集群模式下的多个redis，多个redis分别布置在不同地域；服务代理层包括多个分别与redis匹配的数据分发代理，数据分发代理用于根据业务层的数据请求返回数据，还用于将业务层的待更新数据分别向与其对应的redis和其他redis分发。相对于目前利用couchbase进行数据存储并进行双向同步来说，由于redis本身所具有的较强的稳定性，在做跨地域存储时能够提供较为稳定的实时双向同步服务，从而避免了业务层的请求超时问题，使集群服务系统能够向用户提供较为稳定的服务。

实施例二

图2为本发明提供的一种数据同步方法实施例的步骤流程图。

参照图2所示，本实施例提供的数据同步方法应用于上一实施例所提供的跨地域数据存储系统，具体来说应用于该系统的数据分发代理，该数据同步方法包括如下步骤：

S101：根据业务层的数据请求从redis获取数据。

当业务层需要获取数据并发出数据请求时，根据该数据请求从对应的redis获取与该请求对应的数据，并将该数据返回到业务层。

S102：根据业务层的数据更新请求将待更新数据向redis分发。

当业务层需要对产生的数据进行存储或者对旧有数据进行更新时，将待存储数据或待更新数据发送到redis，这里向redis分发包括某个数据分发代理向对应的redis发送数据；同时，该数据收发代理还通过kafka消息队列向与其对应的redis同处于一个数据存储层的其他redis发送该数据。

上述跨地域数据存储系统的数据分发代理通过响应业务层的数据请求，从对应的redis获取数据，并将获取的数据返回到业务层；响应业务层的数据更新请求，将待更新数据分发到对应的redis和共处于同一数据存储层的其他redis。由于redis本身所具有的较强的稳定性，在做跨地域存储时能够提供较为稳定的实时双向同步服务，从而使服务端集群向用户提供较为稳定的服务，业务层的请求不会出现超时问题，从而解决了业务层的请求超时的问题。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例三

图3为本发明提供的一种数据同步装置实施例的结构框图。

参照图3所示，本实施例提供的数据同步装置应用于实施例一所提供的跨地域数据存储系统，具体来说应用于该系统的数据分发代理，该数据同步装置包括第一响应模块10和第二响应模块20。

第一响应模块用于根据业务层的数据请求从redis获取数据。

当业务层需要获取数据并发出数据请求时，该模块用于根据该数据请求从对应的redis获取与该请求对应的数据，并将该数据返回到业务层。

第二响应模块用于根据业务层的数据更新请求将待更新数据向redis分发。

当业务层需要对产生的数据进行存储或者对旧有数据进行更新时，第二响应模块则将待存储数据或待更新数据发送到redis，该模块包括第一分发单元21和第二分发单元22。第一分发单元用于向数据分发代理对应的redis发送数据；第二分发单元用于通过kafka消息队列向与该数据分发代理对应的redis同处于一个数据存储层的其他redis发送该数据。

上述跨地域数据存储系统的数据分发代理通过响应业务层的数据请求，从对应的redis获取数据，并将获取的数据返回到业务层；响应业务层的数据更新请求，将待更新数据分发到对应的redis和共处于同一数据存储层的其他redis。由于redis本身所具有的较强的稳定性，在做跨地域存储时能够提供较为稳定的实时双向同步服务，从而避免了业务层的请求超时问题，使集群服务系统能够向用户提供较为稳定的服务。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种跨地域数据存储系统，其特征在于，包括数据存储层和服务代理层，其中：

所述数据存储层包括多个redis，所述多个redis分别布置在不同地域；

所述服务代理层包括多个分别与所述redis对应的数据分发代理，所述数据分发代理用于根据业务层的数据请求返回从对应的redis获取的数据，还用于将业务层发送的待更新数据分别向与其对应的redis和其他redis分发；

其中，任意一个所述redis在接收到与其对应的数据分发代理或其他数据分发代理分发的待更新数据时，用于将所述待更新数据进行存储或者对旧有的数据进行更新处理；

其中，所述数据分发代理用于向对应的redis发送数据，并利用kafka消息队列向与其对应的redis同处一个数据存储层的其他redis分发数据。

2.如权利要求1所述的跨地域数据存储系统，其特征在于，所述数据分发代理为cerberus代理。

3.如权利要求1所述的跨地域数据存储系统，其特征在于，所述redis用于通过数据同步方法接收所述待更新数据。

4.一种数据同步方法，应用于如权利要求1～3任一项所述的跨地域数据存储系统的数据分发代理，其特征在于，所述数据同步方法包括：

响应业务层的数据请求，从对应的redis获取数据，并将获取的数据返回到所述业务层；

响应业务层的数据更新请求，将待更新数据分发到对应的redis和共处于同一数据存储层的其他redis，其中，任意一个所述redis在接受到与其对应的数据分发代理或其他数据分发代理分发的待更新数据时，用于将所述待更新数据进行存储或者对旧有的数据进行更新处理；

其中，所述数据分发代理用于向对应的redis发送数据，并利用kafka消息队列向与其对应的redis同处一个数据存储层的其他redis分发数据。

5.如权利要求4所述的数据同步方法，其特征在于，所述将待更新数据分发到对应的redis和共处于同一数据存储层的其他redis，包括：

利用kafka消息队列将所述待更新数据向redis进行分发，所述redis用于利用同步方式接收所述待更新数据。

6.一种数据同步装置，应用于如权利要求1～3任一项所述的跨地域数据存储系统的数据分发代理，其特征在于，所述数据同步装置包括：

第一响应模块，用于响应业务层的数据请求，从对应的redis获取数据，并将获取的数据返回到所述业务层；

第二响应模块，用于响应业务层的数据更新请求，将待更新数据分发到对应的redis和共处于同一数据存储层的其他redis，其中，任意一个所述redis在接受到与其对应的数据分发代理或其他数据分发代理分发的待更新数据时，用于将所述待更新数据进行存储或者对旧有的数据进行更新处理；

其中，所述数据分发代理用于向对应的redis发送数据，并利用kafka消息队列向与其对应的redis同处一个数据存储层的其他redis分发数据。

7.如权利要求6所述的数据同步装置，其特征在于，所述第二响应模块包括：

第一分发单元，用于将待更新数据发送到对应的redis；

第二分发单元，用于利用kafka消息队列将所述待更新数据向其他redis分发，所述其他redis用于利用同步方式接收所述待更新数据。

Images