CN105701219A - 一种分布式缓存的实现方法 - Google Patents

Abstract

本申请公开了一种分布式缓存的实现方法，将各个分布式缓存独立编成动态链接库，并设置于不同的应用服务器中，实现方法包括：将所述应用服务器中的上层业务与该服务器内以动态链接库形式提供的缓存库编译到同一进程中；上层业务通过调用编译在同一进程中的动态链接库进行读/写/删除操作；进行读操作时，与上层业务位于同一进程中的动态链接库接收所述上层业务发送的读参数，并根据读参数从缓存库或关系型数据库读取相应的数据，提交给上层业务；进行写操作时，与上层业务位于同一进程中的动态链接库接收所述上层业务发送的写参数，根据写参数在缓存库和关系型数据库中写入相应的数据。应用本申请，能够提高读写缓存的效率。

Description

一种分布式缓存的实现方法

技术领域

本申请涉及计算机技术，特别涉及一种分布式缓存的实现方法。

背景技术

随着互联网的普及和发展，应用服务器需要应对快速增长的用户请求数量，为了减轻数据库服务器的压力以及提高业务对用户请求的响应速度，需要对用户经常使用的数据进行缓存，即把用户数据暂存在内存中，其直接目的是为了提高数据的响应速度。现有的以memcached、redis为代表的分布式缓存系统工作思路如图1所示，分布式缓存位于独立的机器节点上，业务进程进行数据存取时，对于读操作，首先需要通过网络IO访问分布式缓存，如果需要访问的数据在缓存中，那么读成功，通过网络将数据返回给业务进程，如果缓存中没有所需数据，那么读取缓存失败，将失败消息返回给业务进程，业务进程接到缓存读取失败消息后，对关系型数据库发送读请求，数据库将数据返回给业务进程后，业务进程再将读取到的数据通过网络IO存入缓存中；对与写操作，业务进程首先通过网IO将数据写入数据库中，然后再将数据通过网络IO写入分布式缓存。

在上述的分布式缓存方案中，不论是读操作，还是写操作，业务进程都需要通过大量的网络IO与分布式缓存进行数据交换。花费在网络IO上的时间将随着读写请求的增多而变大，从而成为影响读写效率的瓶颈。

发明内容

本申请提供一种分布式缓存的实现方法，能够提高读写缓存的效率。

为实现上述目的，本申请采用如下技术方案：

一种分布式缓存的实现方法，将各个分布式缓存独立编成动态链接库，并设置于不同的应用服务器中，所述实现方法包括：

将所述应用服务器中的上层业务与该服务器内以动态链接库形式提供的缓存库编译到同一进程中；

所述上层业务通过调用编译在同一进程中的动态链接库进行读/写/删除操作；

进行读操作时，与所述上层业务位于同一进程中的动态链接库接收所述上层业务发送的读参数，并根据所述读参数从缓存库或关系型数据库读取相应的数据，提交给所述上层业务；

进行写操作时，与所述上层业务位于同一进程中的动态链接库接收所述上层业务发送的写参数，根据所述写参数在所述缓存库和关系型数据库中写入相应的数据。

较佳地，所述根据所述读参数从缓存库或关系型数据库读取相应的数据包括：

根据所述读参数和动态链接库中的哈希表，确定待读取数据的存储位置，并进行数据读取；如果在内存中没有找到所述待读取数据，则从关系型数据库中读取所述待读取数据，并将读取出的数据存入所述缓存库中。

较佳地，根据所述写参数在所述缓存库和关系型数据库中写入相应的数据包括：

根据所述写参数，将待写入数据写入所述关系型数据库；

根据所述写参数通过动态链接库中的哈希表在内存中查找对应数据，若查找成功，则使用所述待写入数据覆盖查找到的数据，若查找失败，则在内存中分配缓存并将所述待写入数据写入分配的缓存。

较佳地，进行删除操作时，与所述上层业务位于同一进程中的动态链接库接收所述上层业务发送的删除参数，根据所述删除参数和动态链接库中的哈希表，确定待删除数据的存储位置，进行数据删除，释放对应的内存，并将关系型数据库中的对应数据删除。

较佳地，该方法进一步包括：所述上层业务调用动态链接库进行缓存数据的备份；

所述动态链接库接收所述上层业务发送的备份位置和同步策略，将本机中的缓存数据按照所述同步策略和位置进行备份处理。

由上述技术方案可见，本申请中，将各个分布式缓存独立编成动态链接库，并设置于不同的应用服务器中，将应用服务器中的上层业务与该服务器内以动态链接库形式提供的缓存库编译到同一进程中；上层业务通过调用编译在同一进程中的动态链接库进行读/写/删除操作；进行读操作时，与上层业务位于同一进程中的动态链接库接收所述上层业务发送的读参数，并根据读参数从缓存库或关系型数据库读取相应的数据，提交给上层业务；进行写操作时，与上层业务位于同一进程中的动态链接库接收上层业务发送的写参数，根据写参数在缓存库和关系型数据库中写入相应的数据。通过上述处理，能够消除业务进程访问分布式缓存过程中网络IO上的时间开销和对关系型数据库访问时复杂的操作，从而提高缓存读取的效率和开发效率。

附图说明

图1为现有分布式缓存系统的工作思路示意图；

图2为本申请中分布式缓存实现方法的流程示意图；

图3为本申请中上层业务、分布式缓存与关系型数据库的结构示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

为了减少在读写缓存数据阶段的网络通信时间消耗，实现更快的数据读写操作，同时避免开发人员对于缓存是否命中问题的判断，本方案通过将分布式缓存模块设计成一个动态链接库的形式，将业务进程和分布式缓存编译到同一进程中，这样业务只需要通过读写本地内存就能实现缓存的读写操作，并在缓存内部实现需要访问数据是否命中的判断，从而提高读写效率和开发效率。

为了减少在读写缓存数据阶段的网络通信时间消耗，实现更快的数据读写操作，本申请中，将单个分布式缓存模块独立设计成一个动态链接库的形式，并设置在应用服务器中，不同的分布式缓存位于不同的应用服务器中，这样，在整体上来看，缓存仍然是分布式的。在应用服务器中，将上层业务和用于提供分布式缓存的动态链接库编译到同一进程中，这样业务只需要通过调用动态链接库读写本地内存就能实现缓存的读写操作，从而提高读写效率。

具体地，图2为本申请中分布式缓存的实现方法具体包括：

步骤201，将各个分布式缓存独立编成动态链接库，并设置于不同的应用服务器中。

其中，用于实现分布式缓存的动态链接库具体包括以下部分：

1.提供给开发者访问缓存数据使用的API接口，包括实现缓存读写的读写接口、缓存初始化接口和设置同步策略的接口等；调用其他模块实现读/写/删除的操作。

2.用户管理缓存的内存管理模块，实现对于内存的分配和回收管理；具体地，内存分配和回收管理可以采用现有方式，例如可以预设每个内存管理的最大单位是1KB用于存储键值数据；对于同时需要作为其他缓存节点备份的节点，需要预分配备份所需的内存空间。

3.用于计算数据存储在缓存中位置的哈希表管理模块。实现对于给定键值的增、删、改、查操作，对于同时需要作为其他缓存节点备份的节点，需要额外的哈希表负责备份数据的查找操作。

4.数据同步管理模块，用于实现缓存数据的备份传输，可以根据上层业务发来的使用xml格式的配置文件，配置要备份到的节点的IP地址。

其中，为实现缓存数据的命中率，需要在不同机器节点的分布式缓存模块间进行缓存数据的备份，即同步处理。具体同步的策略和同步的实现可以采用现有方式，本申请对此不作限制。

步骤202，将应用服务器中的上层业务与该服务器内以动态链接库形式提供的缓存库编译到同一进程中。

通过上述步骤201，缓存以动态链接库的形式提供，并提供交互使用的接口API，这样需要使用缓存的上层业务可以在编译的时候将缓存库与业务编译到同一进程中，业务通过缓存提供的API访问位于同一进程中的缓存数据，避免在访问缓存过程中的网络IO时延的同时，还能够屏蔽访问数据库的操作。图3为上层业务与分布式缓存之间的结构关系图，在图3中，动态链接库的读写操作处理中包括访问关系型数据库的操作，从而能够避免用户访问数据库的操作。

步骤203，上层业务通过调用编译在同一进程中的动态链接库进行读/写/删除操作。

进行读操作时，动态链接库接收上层业务发送的读参数，并根据读参数从缓存库或关系型数据库读取相应的数据，提交给上层业务。其中，读取数据的具体处理可以为：

根据读参数和动态链接库中的哈希表，确定待读取数据的存储位置，并进行数据读取；如果在内存中没有找到待读取数据，则从关系型数据库中读取待读取数据，并将读取出的数据存入缓存库中。

进行写操作时，与上层业务位于同一进程中的动态链接库接收上层业务发送的写参数，根据写参数在缓存库和关系型数据库中写入相应的数据。其中，写数据的具体处理可以为：

根据写参数，将待写入数据写入关系型数据库；根据写参数通过动态链接库中的哈希表在内存中查找对应数据，若查找成功，则使用待写入数据覆盖查找到的数据，若查找失败，则在内存中分配缓存并将待写入数据写入分配的缓存。

进行删除操作时，与上层业务位于同一进程中的动态链接库接收上层业务发送的删除参数，根据该删除参数和动态链接库中的哈希表，确定待删除数据的存储位置，进行数据删除，释放对应的内存，并将关系型数据库中的对应数据删除。

下面以一次缓存的读操作为例，说明上层业务与动态链接库之间的读操作处理：

1.上层业务需要读取数据；

2.上层业务调用缓存的读接口，将读参数发送给动态链接库；

3.动态链接库接收读参数key1，并根据该参数通过哈希查找模块查找相应的数据，如果查找成功，则将数据返回，否则进入4；

4.动态链接库访问关系型数据库读取数据，并将读取的数据写入缓存，最后将数据返回给上层业务。

以上读操作流程，简化了业务进程访问数据的复杂操作，而在动态链接库中进行关系型数据库的访问操作，使上层业务不需要考虑查找的数据是否在缓存中，即使不在缓存中，也可以由动态链接库来访问关系型数据库获取数据。

下面以一次缓存的写操作为例，说明上层业务与动态链接库之间的写操作处理：

1.上层业务需要写入数据；

2.上层调用缓存的写入接口，将写参数发送给动态链接库；

3.动态链接库接收写参数key2，将数据写入关系型数据库；

4.动态链接库根据写参数key2，通过缓存的哈希查找模块未找到相应的数据，则通过内存管理模块分配数据所需的内存，将数据写入该分配的内存，并向上层业务返回写成功，否则进入5。

5.使用新的value值覆盖缓存中原有的key值对应的内存位置的数据，并向上层业务返回写成功。

以上的数据写入操作，使得上层业务无须关注写缓存和写数据库的具体操作，而只需要使用简单的接口就可以实现。

至此，本申请中的方法流程结束。

通过上述本申请中的处理，将数据业务和用于提供分布式缓存的动态链接库编译到同一进程中，消除了业务进程访问分布式缓存过程中网络IO上的时间开销和对底层数据库访问时复杂的操作，从而提高缓存读取的效率和开发效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (5)

1.一种分布式缓存的实现方法，其特征在于，将各个分布式缓存独立编成动态链接库，并设置于不同的应用服务器中，所述实现方法包括：

将所述应用服务器中的上层业务与该服务器内以动态链接库形式提供的缓存库编译到同一进程中；

所述上层业务通过调用编译在同一进程中的动态链接库进行读/写/删除操作；

进行读操作时，与所述上层业务位于同一进程中的动态链接库接收所述上层业务发送的读参数，并根据所述读参数从缓存库或关系型数据库读取相应的数据，提交给所述上层业务；

进行写操作时，与所述上层业务位于同一进程中的动态链接库接收所述上层业务发送的写参数，根据所述写参数在所述缓存库和关系型数据库中写入相应的数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述读参数从缓存库或关系型数据库读取相应的数据包括：

根据所述读参数和动态链接库中的哈希表，确定待读取数据的存储位置，并进行数据读取；如果在内存中没有找到所述待读取数据，则从关系型数据库中读取所述待读取数据，并将读取出的数据存入所述缓存库中。

3.根据权利要求1所述的方法，其特征在于，根据所述写参数在所述缓存库和关系型数据库中写入相应的数据包括：

根据所述写参数，将待写入数据写入所述关系型数据库；

根据所述写参数通过动态链接库中的哈希表在内存中查找对应数据，若查找成功，则使用所述待写入数据覆盖查找到的数据，若查找失败，则在内存中分配缓存并将所述待写入数据写入分配的缓存。

4.根据权利要求1所述的方法，其特征在于，进行删除操作时，与所述上层业务位于同一进程中的动态链接库接收所述上层业务发送的删除参数，根据所述删除参数和动态链接库中的哈希表，确定待删除数据的存储位置，进行数据删除，释放对应的内存，并将关系型数据库中的对应数据删除。

5.根据权利要求1、2、3或4所述的方法，其特征在于，该方法进一步包括：所述上层业务调用动态链接库进行缓存数据的备份；

所述动态链接库接收所述上层业务发送的备份位置和同步策略，将本机中的缓存数据按照所述同步策略和位置进行备份处理。