CN102694828B

CN102694828B - 一种分布式缓存系统数据存取的方法及装置

Info

Publication number: CN102694828B
Application number: CN201110070192.XA
Authority: CN
Inventors: 李豪伟; 韩银俊; 郭斌
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2011-03-23
Filing date: 2011-03-23
Publication date: 2016-03-30
Anticipated expiration: 2031-03-23
Also published as: WO2012126229A1; CN102694828A

Abstract

本发明公开了一种分布式缓存系统数据存取的方法，该方法包括：服务器节点接收客户端发送的数据存取请求，根据数据存取请求确定所存取数据的存储模式，根据存储模式存取数据，并向客户端返回存取结果。本发明还公开了一种分布式缓存系统数据存取的装置，采用本发明所述的方法及装置，提升了数据的存取效率，并提高了分布式缓存系统的性价比。

Description

一种分布式缓存系统数据存取的方法及装置

技术领域

本发明涉及分布式缓存领域，特别是指一种分布式缓存系统数据存取的方法及装置。

背景技术

云计算(CloudComputing)是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)、负载均衡(LoadBalance)等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的系统。分布式缓存是云计算范畴中的一个领域，其作用是提供海量数据的分布式存储服务以及高速读写访问的能力。

分布式缓存系统是由若干服务器节点和客户端互相连接构成的。服务器节点负责数据的存储，客户端可以对服务器节点的数据进行读取、更新以及删除等操作。服务器节点中的数据由键(Key)、以及值(Value)构成，Key相当于数据索引，Value是Key所代表的数据内容。Key和Value是一对一的关系。

在分布式缓存系统中，如何提高大批量数据的存取效率，是比较难以解决的问题。对大量不同的数据反复做读取、更新、删除等动作，内存缓存很快就会耗尽，为了提高存储容量，往往需要内存和硬盘组合起来存储数据，这样，分布式缓存中的一部分数据必然要存储在硬盘上，如果要读取硬盘上的数据，会花费很长的时间在磁盘IO上，读操作将变得很慢，这就是所述大批量数据存储存取效率问题。现有技术中，大批量数据的存储效率一般有两种解决方法：

方案1，在分布式缓存系统中全部使用内存来存储大批量数据，可以确保存取效率，但这需要付出很高的经济代价，只能在一些非常重要或能创造较高经济价值的项目中使用，很难应用在普通的项目中；

方案2，采用内存和硬盘组合起来存储数据的方式，数据全部保存在硬盘上，读取数据时，将数据从硬盘中读取，并缓存到内存中，这种方法主要缺点是，一些需要较高存取效率的数据也需要先从硬盘中读取，缓存到内存，与普通数据共用一种存储数据的方式，数据的存取只能获得普通的存取效率，导致存取效率较低。

发明内容

有鉴于此，本发明的主要目的在于提供一种分布式缓存系统数据存取的方法及装置，提升了数据的存取效率，并提高了分布式缓存系统的性价比。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种分布式缓存系统数据存取的方法，该方法包括：

服务器节点接收客户端发送的数据存取请求，根据数据存取请求确定所存取数据的存储模式，根据存储模式存取数据，并向客户端返回存取结果。

上述方案中，所述根据数据存取请求确定所存取数据的存储模式包括：读取数据存取请求中的应用标识ID，根据本地配置的应用ID与存储模式的对应关系，获取所存取数据的存储模式。

上述方案中，所述根据存储模式存取数据包括：接收数据更新请求，

确定为内存存储模式，根据数据更新请求中的键KEY及值Value，更新内存中的数据；或，确定为内存加普通硬盘存储模式，根据数据更新请求中的KEY及Value，更新硬盘中的数据，然后更新内存中的数据；或，确定为内存加固态硬盘模式，确定内存中有剩余空间，更新内存中的数据，否则，释放内存空间，然后更新内存中的数据。

上述方案中，所述根据存储模式存取数据包括：接收数据读取请求，确定为内存存储模式，根据数据读取请求中的KEY，读取内存中的数据；或，确定为内存加普通硬盘存储模式，根据所述KEY读取内存中的数据，若内存中没有要读取的数据，则从硬盘中读取数据；或，确定为内存加固态硬盘模式，根据内存中的索引信息确定要读取的数据存在，然后根据索引信息确定数据的存储位置，读取数据。

上述方案中，所述根据存储模式存取数据包括：接收数据删除请求，确定为内存存储模式，根据数据删除请求中的KEY，删除内存中的数据；或，确定为内存加普通硬盘存储模式，根据数据删除请求中的KEY先删除硬盘中的数据，然后删除内存中的数据；或，确定为内存加固态硬盘存储模式，根据内存中的索引信息确定要删除的数据存在，根据索引信息中数据的存储位置，删除数据。

本发明还提供了一种分布式缓存系统数据存取的装置，该装置包括：数据存取模块、信息反馈模块；

数据存取模块，用于接收客户端发送的数据存取请求，根据数据存取请求获取要存取的数据的存储模式，根据存储模式存取数据，并将存取结果发送给信息反馈模块；

信息反馈模块，用于将存取结果返回客户端。

上述方案中，所述数据存取模块具体包括存取模式单元、数据更新单元、数据读取单元以及数据删除单元；存取模式单元，用于读取数据存取请求中的应用ID，根据本地配置的应用ID与存储模式的对应关系，获取所存取数据的存储模式，接收数据更新请求，将获取的存储模式及数据更新请求发送给数据更新单元；接收数据读取请求，将所述数据读取请求及获取的存储模式发送给数据读取单元；接收数据删除请求，将所述数据删除请求及获取的存储模式发送给数据删除单元。

上述方案中，所述数据更新单元，用于获取的存储模式为内存存储模式，根据数据更新请求中的KEY及Value，更新内存中的数据；或，为内存加普通硬盘存储模式，根据数据更新请求中数据的KEY及Value，更新硬盘中数据，然后，更新内存中的数据；或，为内存加固态硬盘存储模式，确定内存中有剩余空间，更新内存中的数据，否则，释放内存空间，然后更新内存中的数据。

上述方案中，所述数据读取单元，用于获取的存储模式为内存存储模式，根据数据读取请求中的KEY，读取内存中的数据；或，为内存加普通硬盘存储模式，根据所述KEY，根据数据读取请求中的KEY，先从内存读取数据，若内存中没有要读取的数据，则从硬盘中读取数据，并缓存到内存中；或，为内存加固态硬盘存储模式，根据内存中索引信息确定要读取的数据存在，然后根据索引信息确定数据的存储位置，读取数据。

上述方案中，所述数据删除单元，用于获取的存储模式为内存存储模式，根据数据删除请求中的KEY，删除内存中的数据；或，为内存加普通硬盘存储模式，根据所述KEY，先删除普通硬盘中的数据，进一步删除内存中的数据；或，为内存加固态硬盘存储模式，根据内存中的索引信息确定要删除的数据存在，根据索引信息中数据的存储位置，删除数据。

由此可见，采用本发明所述的分布式缓存系统数据存取的方法及装置，针对不同的数据采用不同的存储模式，提升了数据的存取效率，并提高了分布式缓存系统的性价比。

附图说明

图1为本发明实现分布式缓存系统数据存取的方法实施例示意图；

图2为本发明实现分布式缓存系统数据存取的装置实施例示意图。

具体实施方式

本发明的基本思想是：客户端向服务器节点发送数据存取请求，服务器节点根据数据存取请求获取要存取数据的存储模式，然后根据存储模式存取数据，并向客户端返回存取结果。

下面通过附图与具体实施例来对本发明进行详细说明。

本发明提供了一种分布式缓存系统数据存取的方法，如图1所示，包括如下步骤：

步骤101、客户端向服务器节点发送数据存取请求；

客户端向服务器节点发送数据存取请求，所述数据存取请求为：数据更新请求，或数据读取请求，或数据删除请求；其中，所述数据更新为数据写入或替换；所述数据更新请求中包含应用标识(ID)，以及所更新的数据的KEY、Value。所述应用ID用于标识业务应用系统，本发明中的实施例按照应用ID对应的业务应用系统来划分相应业务应用数据的存储模式，也可以采用其他的方法，在此不一一举例说明；所述数据读取请求中包含应用ID，以及所读取的数据的KEY；所述数据删除请求中包含应用ID，以及所删除的数据的KEY。

步骤102、服务器节点根据数据存取请求，获取要存储的数据的存储模式，然后根据存储模式存取数据；

服务器节点读取数据存取请求中的应用ID，根据本地配置的应用ID与存储模式的对应关系，获取数据存取请求中应用ID对应的存储模式，也就是要存取的数据对应的存储模式，所述要存取的数据即为要更新、读取或删除的数据。

所述根据存取模式存取数据包括：接收数据更新请求，若要更新的数据为内存存储模式，则根据数据更新请求中的KEY及Value更新内存中的数据，所述内存存储模式为数据的存储及管理均在内存中，所述更新具体为：替换数据时，根据数据更新请求中的KEY，查询内存中保存的数据，若内存中有数据的KEY与数据更新请求中的KEY相符，可以确定内存中有该数据，用数据更新请求中的Value覆盖内存中相应KEY数据的Value，若没有数据与数据更新请求中的KEY相符，则内存中没有该数据，更新失败；写入数据时，直接将数据写入内存；或者，要存取的数据为内存加普通硬盘存储模式，则根据数据更新请求中数据的KEY及Value更新硬盘中数据，然后，确定内存中有该数据，则更新内存中的数据，所述确定内存中有该数据与内存存储模式的更新过程中确定内存中有该数据的过程相同，在此不再赘述；所述更新与内存存储模式的更新过程相同，在此不再赘述；所述内存加普通硬盘存储模式是内存与硬盘独立管理所存储的数据的存储模式，内存所存储的数据可以为热点数据，也就是经常被存取的数据。或者，要存取的数据为内存加固态硬盘存储模式，根据内存中保存的内存容量信息确定内存中是否有剩余空间，若内存容量信息显示内存中还有剩余空间，则更新内存中的数据，若没有剩余空间，则释放内存空间，然后更新内存中的数据，并更新移到固态硬盘中的数据的存储位置，所述更新内存中的数据与所述内存存储模式中的更新相同，在此不再赘述，所述释放内存空间是通过最近最少使用(LRU)算法，根据内存中保存的数据保存的时间记录，将保存时间最早的数据移到固态硬盘中，所述内存加固态硬盘存储模式是一种索引信息保存在内存中，内存中有剩余空间，内存存取数据，内存中没有剩余空间，则在固态硬盘中存取数据，并通过内存中保存的索引信息管理内存及固态硬盘中的数据，所述固态硬盘数据的存取速度大于普通硬盘数据的存取速度，作为内存的扩展，数据只保存在内存或固态硬盘中的一处，所述索引信息为内存根据内存及固态硬盘中数据的更新或删除操作、实时更新的包括数据的KEY以及数据的存储位置的信息。

或，接收数据读取请求，若要存取的数据为内存存储模式，根据数据读取请求中的KEY，读取内存中的数据，所述读取数据包括：根据数据读取请求中的KEY，查询内存中数据的KEY，若与数据读取请求中的KEY相符，则读取该数据，若没有与数据读取请求中的KEY相符的数据，则没有要读取的数据，读取失败；或者，要存取的数据为内存加普通硬盘存储模式，根据数据读取请求中的KEY，先从内存读取数据，若内存中没有要读取的数据，则从硬盘中读取数据，同时将数据缓存到内存中，所述读取过程与内存存储模式的读取过程相同，在此不再赘述；或者，要存取的数据为内存加固态硬盘存储模式，根据内存中的索引信息确定要读取的数据是否存在，若要读取的数据存在，根据索引信息中数据的存储位置，读取数据，若要读取的数据不存在，则不进行读取操作，向客户端返回数据不存在的消息，所述根据内存中索引信息确定要读取的数据是否存在包括：将数据读取请求中的KEY与索引信息中的KEY比较，若与所述数据读取请求中的KEY相符，则要读取的数据存在。

或，接收数据删除请求，若要存取的数据为内存存储模式，根据数据删除请求中的KEY，删除内存中的数据，所述删除包括：根据数据删除请求中的KEY，查询内存中的数据的KEY，若有与所述数据删除请求中的KEY相符的，则确定要删除的数据存在，然后删除内存中的数据，否则，要删除的数据不存在，删除失败。或者，要存取的数据为内存加普通硬盘存储模式，根据数据删除请求中的KEY，先删除硬盘中的数据，然后删除内存中的数据，所述删除过程与内存存储模式的删除过程相同，在此不再赘述；或者，要存取的数据为内存加固态硬盘存储模式，根据内存中的索引信息确定要删除的数据是否存在，若要删除的数据存在，则根据索引信息中数据的存储位置删除数据，并删除该数据对应的索引信息，若要删除的数据不存在，则不进行删除操作。所述确定要删除的数据是否存在，与接收数据读取请求且要存取的数据为内存加固态硬盘存储模式时，确定要读取的数据是否存在的过程相同，在此不再赘述。

步骤103、服务器节点向客户端回复存取结果。

所述存取结果包括：接收数据更新请求时，将已更新的消息返回给客户端，接收数据读取请求时，将读取的数据返回给客户端，若要读取的数据不存在，则向客户端返回数据不存在的消息；接收数据删除请求时，将客户端返回数据已删除的消息，若数据不存在，则向客户端返回数据不存在的消息。

基于上述方法，本发明还提供了一种分布式缓存系统数据存取的装置，如图2所示，该装置包括：数据存取模块201、信息反馈模块202；

数据存取模块201，用于接收客户端发送的数据存取请求，根据数据存取请求获取要存取的数据的存取模式，根据存取模式存取数据，并将存取结果发送给信息反馈模块202；

信息反馈模块202，用于将存取结果发送给客户端。

所述数据存取模块201包括：存取模式单元2011、数据更新单元2012、数据读取单元2013以及数据删除单元2014；

所述存取模式单元2011，用于读取数据存取请求中的应用ID，根据配置的应用ID与存储模式的对应关系，获取要存取的数据的存储模式，接收数据更新请求，将获取的存储模式及数据更新请求发送给数据更新单元2012；或，接收数据读取请求，将所述数据读取请求及获取的存储模式发送给数据读取单元2013；或，接收数据删除请求，将所述数据删除请求及获取的存储模式发送给数据删除单元2014。

数据更新单元2012，用于获取的存储模式为内存存储模式，根据数据更新请求中的KEY及Value，更新内存中的数据；或者，为内存加普通硬盘存储模式，根据数据更新请求中数据的KEY及Value更新硬盘中数据，然后，更新内存中的数据；或者，为内存加固态硬盘存储模式，确定内存中有剩余空间，更新内存中的数据，否则，释放内存空间，然后更新内存中的数据。

数据读取单元2013，用于获取的存储模式为内存存储模式，根据数据读取请求中的KEY，读取内存中的数据；或者，为内存加普通硬盘存储模式，根据数据读取请求中的KEY，先从内存读取数据，若内存中没有要读取的数据，则从硬盘中读取数据，并缓存到内存中；或者，为内存加固态硬盘存储模式，根据内存中索引信息确定要读取的数据存在，然后根据索引信息确定数据的存储位置，读取数据。

所述数据删除单元2014，用于获取的存储模式为内存存储模式，根据数据删除请求中的KEY，删除内存中的数据；或者，为内存加普通硬盘存储模式，根据所述KEY，先删除普通硬盘中的数据，进一步删除内存中的数据；或者，为内存加固态硬盘存储模式，根据内存中的索引信息确定要删除的数据存在，根据索引信息中数据的存储位置，删除数据，并删除该数据对应的索引信息。

所述数据更新单元2012具体用于，根据内存中保存的内存容量信息，确定内存中是否有剩余空间，若没有剩余空间，通过LRU算法将内存中保存时间最早的数据移到快速固态硬盘，用以释放内存空间。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种分布式缓存系统数据存取的方法，其特征在于，该方法包括：

服务器节点接收客户端发送的数据存取请求，根据数据存取请求确定所存取数据的存储模式，根据存储模式存取数据，并向客户端返回存取结果；其中，所述根据数据存取请求确定所存取数据的存储模式包括：

读取数据存取请求中的应用标识ID，根据本地配置的应用ID与存储模式的对应关系，获取所存取数据的存储模式。

2.根据权利要求1所述的方法，其特征在于，所述根据存储模式存取数据包括：

接收数据更新请求，

确定为内存存储模式，根据数据更新请求中的键KEY及值Value，更新内存中的数据；或，

确定为内存加普通硬盘存储模式，根据数据更新请求中的键KEY及值Value，更新硬盘中的数据，然后更新内存中的数据；或，

确定为内存加固态硬盘模式，确定内存中有剩余空间，更新内存中的数据，否则，释放内存空间，然后更新内存中的数据。

3.根据权利要求1所述的方法，其特征在于，所述根据存储模式存取数据包括：

接收数据读取请求，

确定为内存存储模式，根据数据读取请求中的键KEY，读取内存中的数据；或，

确定为内存加普通硬盘存储模式，根据键KEY读取内存中的数据，若内存中没有要读取的数据，则从硬盘中读取数据；或，

确定为内存加固态硬盘模式，根据内存中的索引信息确定要读取的数据存在，然后根据索引信息确定数据的存储位置，读取数据。

4.根据权利要求1所述的方法，其特征在于，所述根据存储模式存取数据包括：

接收数据删除请求，

确定为内存存储模式，根据数据删除请求中的键KEY，删除内存中的数据；或，

确定为内存加普通硬盘存储模式，根据数据删除请求中的键KEY先删除硬盘中的数据，然后删除内存中的数据；或，

确定为内存加固态硬盘存储模式，根据内存中的索引信息确定要删除的数据存在，根据索引信息中数据的存储位置，删除数据。

5.一种分布式缓存系统数据存取的装置，其特征在于，该装置包括：数据存取模块、信息反馈模块；

其中，数据存取模块，具体用于读取数据存取请求中的应用标识ID，根据本地配置的应用ID与存储模式的对应关系，获取所存取数据的存储模式；

信息反馈模块，用于将存取结果返回客户端。

6.根据权利要求5所述的装置，其特征在于，所述数据存取模块具体包括存取模式单元、数据更新单元、数据读取单元以及数据删除单元；

存取模式单元，用于读取数据存取请求中的应用ID，根据本地配置的应用ID与存储模式的对应关系，获取所存取数据的存储模式，接收数据更新请求，将获取的存储模式及数据更新请求发送给数据更新单元；接收数据读取请求，将所述数据读取请求及获取的存储模式发送给数据读取单元；接收数据删除请求，将所述数据删除请求及获取的存储模式发送给数据删除单元。

7.根据权利要求6所述的装置，其特征在于，

所述数据更新单元，用于获取的存储模式为内存存储模式，根据数据更新请求中的键KEY及值Value，更新内存中的数据；或，为内存加普通硬盘存储模式，根据数据更新请求中数据的键KEY及值Value，更新硬盘中数据，然后，更新内存中的数据；或，为内存加固态硬盘存储模式，确定内存中有剩余空间，更新内存中的数据，否则，释放内存空间，然后更新内存中的数据。

8.根据权利要求6所述的装置，其特征在于，

所述数据读取单元，用于获取的存储模式为内存存储模式，根据数据读取请求中的键KEY，读取内存中的数据；或，为内存加普通硬盘存储模式，根据键KEY，根据数据读取请求中的键KEY，先从内存读取数据，若内存中没有要读取的数据，则从硬盘中读取数据，并缓存到内存中；或，为内存加固态硬盘存储模式，根据内存中索引信息确定要读取的数据存在，然后根据索引信息确定数据的存储位置，读取数据。

9.根据权利要求6所述的装置，其特征在于，

所述数据删除单元，用于获取的存储模式为内存存储模式，根据数据删除请求中的键KEY，删除内存中的数据；或，为内存加普通硬盘存储模式，根据键KEY，先删除普通硬盘中的数据，进一步删除内存中的数据；或，为内存加固态硬盘存储模式，根据内存中的索引信息确定要删除的数据存在，根据索引信息中数据的存储位置，删除数据。