CN106375362A - 分布式服务器的缓存同步方法及系统 - Google Patents

Abstract

本申请公开了分布式服务器的缓存同步方法及系统，该方法：当对第一服务器节点的缓存内存中的缓存数据执行改写操作；则同时收取被改写的缓存数据，并利用预设的封装格式，将被改写的缓存数据封装为标准数据包；改写操作包括，增加、删除和修改；查询第一服务器节点以外的服务器节点是否对第一服务器节点进行了订阅；得到所有订阅第一服务器节点的服务器节点以作为第二服务器节点；将标准数据包发送至第二服务器节点并保存；解析第二服务器节点上保存的标准数据包，得到被改写的缓存数据；将被改写的缓存数据按时间顺序同步到第二服务器节点的缓存内存中。本发明方便快捷、低消耗和通用的实现了各个服务器节点缓存数据的同步。

Description

分布式服务器的缓存同步方法及系统

技术领域

本申请涉及服务器技术领域，具体地说，涉及一种分布式服务器的缓存同步方法及系统。

背景技术

对于分布式服务器来说，服务器不再是单独的一台主机；而是由多个分布式的服务器节点组成的一套“服务器系统”。各个节点可能集中布置在同一处，也可能分布在不同的地理位置。分布式服务器的各方面性能，相比于传统的单体服务器都有着非常显著的提升。

对于分布式服务器来说，各个服务器节点的协调和同步，一直是技术上的重点问题。而缓存数据的同步，在现阶段是分布式服务器数据同步的难点所在。所谓缓存数据，指的是为了提高访问速度而直接缓存在缓存内存中供后续使用的数据。服务器在运行过程中，各个节点缓存内存中的缓存数据出现差异。而且所述缓存数据往往访问频率很高，经常发生变化的，更增加了同步的难度和复杂程度。

对于各个服务器节点的缓存内存中的缓存数据的同步，相对其他的数据同步过程难度更大。现有技术中对于缓存数据的同步，步骤比较繁琐，效率低下，占用资源很多，所以实用性不高。现阶段缺少一种方便快捷、低消耗的方式，来实现各个服务器节点缓存数据的同步。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种分布式服务器的缓存同步方法及系统，方便快捷、低消耗和通用的实现了各个服务器节点缓存数据的同步。

为了解决上述技术问题，本申请有如下技术方案：

一种分布式服务器的缓存同步方法，其特征在于，包括：

当对第一服务器节点的缓存内存中的缓存数据执行改写操作；则同时收取被改写的缓存数据，并利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包；

所述改写操作包括，增加、删除和修改；

查询第一服务器节点以外的服务器节点是否对所述第一服务器节点进行了订阅；得到所有订阅所述第一服务器节点的服务器节点以作为第二服务器节点；

将所述标准数据包发送至所述第二服务器节点并保存；解析所述第二服务器节点上保存的标准数据包，得到被改写的缓存数据；

将所述被改写的缓存数据按时间顺序同步到第二服务器节点的缓存内存中。

优选地，其中，还包括：

将所述被改写的缓存数据封装为标准数据包之后，按照时间顺序保存所述标准数据包。

优选地，其中，所述解析所述第二服务器节点上保存的标准数据包具体为：

解析第二服务器节点上保存的，最新接收的标准数据包。

优选地，其中，还包括：

预设保存时间阈值，当保存所述标准数据包的时间，超过所述保存时间阈值，则删除所述标准数据包。

优选地，其中，预设的封装格式具体为：

利用key-value数据格式作为所述封装格式，value数据为二进制字符串、集合、哈希表和计数。

本发明还提供了一种分布式服务器的缓存同步系统，其特征在于，包括：

封装模块，用于在对所述第一服务器节点的缓存数据执行改写操作时，收取被改写的缓存数据，并利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包；所述改写操作包括，增加、删除和/或修改；

查询模块，用于查询第一服务器节点以外的服务器节点是否对所述第一服务器节点进行了订阅；得到所有订阅所述第一服务器节点的服务器节点以作为第二服务器节点；

同步模块，用于将所述标准数据包发送至所述第二服务器节点并保存；解析所述第二服务器节点上保存的标准数据包，得到被改写的缓存数据；将所述被改写的缓存数据按时间顺序同步到第二服务器节点的缓存内存中。

优选地，其中，所述封装模块包括：

收取单元，用于在对所述第一服务器节点的缓存数据执行改写操作时，收取被改写的缓存数据；

打包单元，用于利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包。

优选地，其中，所述同步模块包括：

传输单元，用于将所述标准数据包发送至所述第二服务器节点并保存；

解析单元，用于解析第二服务器节点上保存的，最新接收的标准数据包，得到被改写的缓存数据；

缓存单元，用于将所述被改写的缓存数据同步到第二服务器节点的缓存内存中。

优选地，其中，还包括：

垃圾回收模块，用于预设保存时间阈值，当保存所述标准数据包的时间，超过所述保存时间阈值，则删除所述标准数据包。

优选地，其中，预设的封装格式具体为：

利用key-value数据格式作为所述封装格式，value数据为二进制字符串、集合、哈希表和/或计数。

与现有技术相比，本申请所述的方法和系统，达到了如下效果：

(1)标准数据包可以在各个服务器节点上通用；由此通用地高效地实现了被改写的缓存数据在各种业务类型和各个服务器节点之间的同步；

(2)在改写操作的同时收取被改写的缓存数据，并实时向第二服务器节点同步标准数据包，使缓存数据的同步具有了良好的实时性；

(3)删除保存时间阈值以外的标准数据包，节省了存储资源。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例所述方法流程图；

图2为本申请另一实施例所述方法流程图；

图3为本申请实施例所述系统结构示意图。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

本申请中，将被改写的缓存数据利用预设的封装格式封装为标准数据包，使得所述标准数据包在各个服务器节点之间具有良好的通用性。进而实现缓存数据在各服务器节点之间的同步。

参见图1所示，为本申请所述分布式服务器的缓存同步方法的具体实施例。本实施例中所述方法具体包括以下步骤：

步骤101、当对第一服务器节点的缓存内存中的缓存数据执行改写操作，则同时收取被改写的缓存数据，并利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包。

前述已知，分布式服务器的各个服务器节点可以分布在不同的地理位置。而客户端在连接服务器系统的时候，可以选择连接到距离较近的服务器节点上。例如一个较大型的服务器系统，有三个服务器节点分别设置在北京、上海和广州。处于广州的特定的某个客户端，可以自动的连接到广州的服务器节点上。

需要说明的是，所述第一服务器节点，指的是特定客户端所连接的服务器节点。也就是说，所谓第一服务器节点是相对具体场景而产生的概念，任何一个服务器节点，在特定场景下均可以作为第一服务器节点。

本实施例中既假定特定客户端连接到了广州的服务器节点，那么便以广州的服务器节点作为第一服务器节点。

实际上所述缓存数据的实际内容，往往与客户端信息相关。客户端修改自身信息的操作，都会通过特定的程序。特定的程序对缓存数据执行改写，便反映成为导致第一服务器节点的缓存数据发生变化的改写操作。而如果客户端改变了地理位置，与第一服务器节点以外的其他服务器节点相连接时，必须也能够读取到修改后的信息，这就需要第一服务器节点必须实时的将被改写的缓存数据同步到其他的服务器节点上。

所述改写操作，一般包括数据的增加、删除和/或修改。

在所述改写操作发生的时候，则对所述被改写的缓存数据进行收取。或者说，可在所述特定程序执行改写操作的同时，额外将一份被改写的缓存数据，写入到用于封装标准数据包的功能模块当中，即同时对被改写的缓存数据的直接收取，进而开始后续的封装过程。

利用统一设定的封装格式对缓存数据进行封装，保证了标准数据包的通用性，使得各个服务器节点均可以按照此特定的格式进行一致性的封装和解析。

本实施例中所述封装格式，可以采用利用key-value数据格式。需要说明的是，因为缓存中的数据结构本身就是key-value形式的，所以同样按照key-value的格式进行封装，这样即可以保证所述标准数据包在不同服务器阶段的缓存中通用。其中key数据一般为二进制数据串，value数据可以是二进制数据串、集合、哈希表和/或计数。如下表：

key
	data_type
operation_type
	value
aux_data

表1

表1中，key为二进制数据串；data_type表示valeu的数据类型，可以包括二进制数据串、集合、哈希表和/或计数；operation_type为数据改写的形式，具体包括增加、删除和修改；value为视data_type而定的value数据具体内容，可以是二进制数据串、集合或者计数的具体值，也可以是哈希表的键值；aux_data则为当value数据时哈希表的时候，哈希表的键值对应的数值。

步骤102、查询第一服务器节点以外的服务器节点是否对所述第一服务器节点进行了订阅；得到所有订阅所述第一服务器节点的服务器节点以作为第二服务器节点。

如果第一服务器节点以外的任何其他服务器节点，需要与第一服务器节点同步缓存数据，则可对所述第一服务器节点进行订阅。例如本实施例中，布置在北京的服务器节点同样用于与客户端直接连接，所以需要与广州的服务器节点同步缓存数据，则二者可以相互订阅。而布置在上海的服务器节点用于实现其他功能，无需与北京或广州的服务器节点同步缓存数据，则无须订阅。

本步骤中以广州的服务器节点为第一服务器节点进行查询，获悉北京的服务器节点对第一服务器节点进行了订阅；则将订阅第一服务器节点的其他服务器节点(即北京的服务器节点)作为第二服务器节点。实际情况下，第二服务器节点的数量可以是一个，也可以是多个。(实际上一般一个机房有一个就行了。因为所有变更数据都可以从同一个同步好的数据源里面解析出来，再设置到相应的缓存中就可以了。即可以有多个解析单和缓存单元，一般是供不同业务使用的。这样会节省下多个订阅服务情况下同步和存储的内存等资源)。

步骤103、将所述标准数据包发送至所述第二服务器节点并保存；解析所述第二服务器节点上保存的标准数据包，得到被改写的缓存数据。

在获悉了第二服务器节点有哪些之后，即可以将先前生成的标准数据包发送至第二服务器节点。使得第二服务器节点按照同样的封装格式，对标准数据包进行解析，获得被改写的缓存数据。

由于本实施例中，所述封装格式是对各个服务器节点统一设定的，所以每个服务器节点都能够按照相同的方式，封装和解析标准数据包。即标准数据包可以在各个服务器节点上通用。第一服务器节点上的同一个标准数据包，可以发送给任意数量的第二服务器节点使用。

步骤104、将所述被改写的缓存数据按时间顺序同步到第二服务器节点的缓存内存中。

第二服务器节点得到第一服务器节点上被改写的缓存数据后，即可以按顺序同步到自身的缓存内存中，至此实现了第一服务器节点与第二服务器节点缓存数据的同步。

通过以上技术方案可知，本实施例存在的有益效果是：利用缓存数据结构的通用性和预设的封装格式将所述被改写的缓存数据封装为标准数据包，使得标准数据包可以在各个服务器节点上通用；由此高效的实现了被改写的缓存数据在各个服务器节点之间的同步；在改写操作的同时收取被改写的缓存数据，并实时向第二服务器节点同步标准数据包，使缓存数据的同步具有了良好的实时性。删除超过时间阀值的数据包，达到节约资源的效果。

参见图2所示，为本申请所述分布式服务器的缓存同步方法的另一个具体的实施例，实施例在图1所示实施例的基础上进行了进一步的优化。本实施例中所述方法包括：

步骤201、当对第一服务器节点的缓存内存中的缓存数据执行改写操作，则收取被改写的缓存数据，并利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包，并按照时间顺序保存所述标准数据包。

本实施例中，所述标准数据包都是实时生成，实时进行同步的，所以按照时间顺序进行保存，避免标准数据包时序的错乱。

步骤202、查询第一服务器节点以外的服务器节点是否对所述第一服务器节点进行了订阅；得到所有订阅所述第一服务器节点的服务器节点以作为第二服务器节点。

步骤203、将所述标准数据包发送至所述第二服务器节点，并按照时间顺序保存所述标准数据包。

同理，在第二服务器节点上，也是按时间顺序保存标准数据包，避免时序的错乱。

步骤204、解析第二服务器节点上保存的，最新接收的标准数据包；得到被改写的缓存数据。

本实施例中，标准数据包的生成和发送都是实时的。也就是说，一旦第一服务器节点的缓存数据发生变化，则立刻封装标准数据包并发送至第二服务器节点。同步的延迟时间仅仅是通信上的时间差，所以实时性很高。而这样依一来，标准数据包的生成和发送的频率会比较高，所以往往一段时间内出现的标准数据包是多个。前述已经将所述标准数据包按照时间顺序保存，所以即可轻易的找到最新接收的标准数据包，并进行解析。

步骤205、将所述被改写的缓存数据按时间顺序同步到第二服务器节点的缓存内存中。

步骤206、预设保存时间阈值，当保存所述标准数据包的时间，超过所述保存时间阈值，则删除所述标准数据包。

由于标准数据包具有很高的实时性，被第二服务器节点保存之后，会马上同步到缓存内存当中。所以没有必要长时间保存，占用存储资源。则本实施例中预设保存时间阈值，当标准数据包的保存时间足够长(及超过保存时间阈值)之后，就将其删除。

通过以上技术方案可知，本实施例在图1所示实施例的基础上，进一步存在的有益效果是：进一步的保证了缓存数据的同步具有了良好的实时性；删除保存时间阈值以外的标准数据包，节省了存储资源。

参见图3所示，为本申请实施例所述系统的结构示意图。本实施例中，所述系统用于实现图1～2所示实施例中描述的方法。其技术方案本质上与图1～2所示实施例完全一致，所以图1～2所示实施例中的相应描述，同样适用于本实施例当中。所述系统包括：

封装模块301，用于在对所述第一服务器节点的缓存数据执行改写操作时，同时收取被改写的缓存数据，并利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包；所述改写操作包括，增加、删除和/或修改。

所述封装模块301包括：

收取单元，用于在对所述第一服务器节点的缓存数据执行改写操作时，收取被改写的缓存数据。

打包单元，用于利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包。

查询模块302，用于查询第一服务器节点以外的服务器节点是否对所述第一服务器节点进行了订阅；得到所有订阅所述第一服务器节点的服务器节点以作为第二服务器节点。

同步模块303，用于将所述标准数据包发送至所述第二服务器节点并保存；解析所述第二服务器节点上保存的标准数据包，得到被改写的缓存数据；将所述被改写的缓存数据同步到第二服务器节点的缓存内存中。

所述同步模块303包括：

传输单元，用于将所述标准数据包发送至所述第二服务器节点并保存。

解析单元，用于用于解析第二服务器节点上保存的，最新接收的标准数据包，得到被改写的缓存数据。

缓存单元，用于将所述被改写的缓存数据按顺序同步到第二服务器节点的缓存内存中。

垃圾回收模块304(图中未示出)，用于预设保存时间阈值，当保存所述标准数据包的时间，超过所述保存时间阈值，则删除所述标准数据包。

所述预设的封装格式具体为：

利用key-value数据格式作为所述封装格式，value数据为二进制数所串、集合、哈希表和/或计数。

通过以上技术方案可知，本实施例存在的有益效果是：利用预设的封装格式将所述被改写的缓存数据封装为标准数据包，使得标准数据包可以在各个服务器节点上通用；由此高效的实现了被改写的缓存数据在各个服务器节点之间的同步；在改写操作的同时收取被改写的缓存数据，并实时向第二服务器节点同步标准数据包，使缓存数据的同步具有了良好的实时性；删除保存时间阈值以外的标准数据包，节省了存储资源。

通过以上各个实施例可知，本申请存在的有益效果是：

(1)标准数据包可以在各个服务器节点上通用；由此通用地高效地实现了被改写的缓存数据在各种业务类型和各个服务器节点之间的同步；

(2)在改写操作的同时收取被改写的缓存数据，并实时向第二服务器节点同步标准数据包，使缓存数据的同步具有了良好的实时性；

(3)删除保存时间阈值以外的标准数据包，节省了存储资源。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种分布式服务器的缓存同步方法，其特征在于，包括：

当对第一服务器节点的缓存内存中的缓存数据执行改写操作；则同时收取被改写的缓存数据，并利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包；

所述改写操作包括，增加、删除和修改；

查询第一服务器节点以外的服务器节点是否对所述第一服务器节点进行了订阅；得到所有订阅所述第一服务器节点的服务器节点以作为第二服务器节点；

将所述标准数据包发送至所述第二服务器节点并保存；解析所述第二服务器节点上保存的标准数据包，得到被改写的缓存数据；

将所述被改写的缓存数据按时间顺序同步到第二服务器节点的缓存内存中。

2.根据权利要求1所述分布式服务器的缓存同步方法，其特征在于，还包括：

将所述被改写的缓存数据封装为标准数据包之后，按照时间顺序保存所述标准数据包。

3.根据权利要求2所述分布式服务器的缓存同步方法，其特征在于，所述解析所述第二服务器节点上保存的标准数据包具体为：

解析第二服务器节点上保存的，最新接收的标准数据包。

4.根据权利要求2所述分布式服务器的缓存同步方法，其特征在于，还包括：

预设保存时间阈值，当保存所述标准数据包的时间，超过所述保存时间阈值，则删除所述标准数据包。

5.根据权利要求1～4任意一项所述分布式服务器的缓存同步方法，其特征在于，预设的封装格式具体为：

利用key-value数据格式作为所述封装格式，value数据为二进制字符串、集合、哈希表和计数。

6.一种分布式服务器的缓存同步系统，其特征在于，包括：

封装模块，用于在对所述第一服务器节点的缓存数据执行改写操作时，收取被改写的缓存数据，并利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包；所述改写操作包括，增加、删除和/或修改；

查询模块，用于查询第一服务器节点以外的服务器节点是否对所述第一服务器节点进行了订阅；得到所有订阅所述第一服务器节点的服务器节点以作为第二服务器节点；

同步模块，用于将所述标准数据包发送至所述第二服务器节点并保存；解析所述第二服务器节点上保存的标准数据包，得到被改写的缓存数据；将所述被改写的缓存数据按时间顺序同步到第二服务器节点的缓存内存中。

7.根据权利要求6所述分布式服务器的缓存同步系统，其特征在于，所述封装模块包括：

收取单元，用于在对所述第一服务器节点的缓存数据执行改写操作时，收取被改写的缓存数据；

打包单元，用于利用预设的封装格式，将所述被改写的缓存数据封装为标准数据包。

8.根据权利要求7所述分布式服务器的缓存同步系统，其特征在于，所述同步模块包括：

传输单元，用于将所述标准数据包发送至所述第二服务器节点并保存；

解析单元，用于解析第二服务器节点上保存的，最新接收的标准数据包，得到被改写的缓存数据；

缓存单元，用于将所述被改写的缓存数据同步到第二服务器节点的缓存内存中。

9.根据权利要求8所述分布式服务器的缓存同步系统，其特征在于，还包括：

垃圾回收模块，用于预设保存时间阈值，当保存所述标准数据包的时间，超过所述保存时间阈值，则删除所述标准数据包。

10.根据权利要求6～9任意一项所述分布式服务器的缓存同步系统，其特征在于，预设的封装格式具体为：

利用key-value数据格式作为所述封装格式，value数据为二进制字符串、集合、哈希表和/或计数。