CN103268318A - 一种强一致性的分布式键值数据库系统及其读写方法 - Google Patents

Abstract

本发明公开了一种分布式键值数据库系统，包括客户端和数据服务器集群，客户端包括哈希模块、定位模块和转发模块，数据服务器集群包括多个数据区间，每个数据区间包括一个主节点和多个从节点，主节点包括第一读模块、写模块、第一恢复模块、第一日志模块、第一决议模块和第一存储引擎模块，哈希模块用于接收从客户发来的写请求，并根据写请求的键将该写请求定位到数据区间，每个写请求都具有一个系统自动分配的编号,定位模块用于将写请求定位到数据区间的主节点，转发模块用于将写请求发送到主节点的写模块。本发明实现了在较小的开销的情况下，提供数据副本之间的强一致性。

Description

一种强一致性的分布式键值数据库系统及其读写方法

技术领域

本发明属于数据库及数据存储技术领域，更具体地，涉及一种强一致性的分布式键值数据库系统及其读写方法。

背景技术

随着数字化时代的到来，数据信息呈爆炸式增长趋势。特别是随着近年来web2.0时代的到来、大规模的互联网应用的出现以及云存储的兴起，积累了大量的非结构化的数据，这些应用逐步扩展其存储需求从而超出了传统企业数据库所能管理的数据容量。

针对该类场景，成功的解决方案是利用分布式键值（key-value）型Nosql数据库结合压缩、分块等技术提高数据的压缩效率和存储规模。典型的分布式键值型No sql数据库有Google的Bigtable，Apache的Hbase，Amazon的Dynamo以及Yahoo的PNUTS。

除了扩展性方面的需求，许多网络和云计算应用还需要数据库提供24*7的高可靠、高可用性性服务，然而在数千个节点的集群中，节点失效是不可避免的，因此，需要一定的副本策略来保证系统的高可用性和容错。一种解决方案是采用主备副本协议，然而主备协议不是一种好的解决方案，其在处理两个节点失效时很难保证副本间的一致性以及系统的可用性；在系统中有3个及以上的副本数时，paxos协议被证明是唯一可保证副本强一致性的协议，对于有2F+1个副本的系统中，paxos协议可以容忍F个节点失效，使系统具有较高的可用性。

上述几种典型的解决方案都存在有以下缺陷：一致性不好，或者导致开销大。Amazon的Dynamo只能提供副本之间的最终一致性，不同副本之间的数据出现不一致时，需要使用复杂的冲突避免和解决机制；Google的Bigtable可以提供副本强一致性并且支持单操作事务，但是Bigtable依赖于GFS文件系统，Bigtable在处理事务操作时开销很大；Yahoo的PNUTS提供弱一致性保证，而且其关注的是跨数据中心的副本一致性。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种强一致性的分布式键值数据库系统，其针对现有系统的存储引擎做了优化，并实现了在较小的开销的情况下，提供数据副本之间的强一致性。

为实现上述目的，本发明提供了一种强一致性的分布式键值数据库系统，包括客户端和数据服务器集群，客户端包括哈希模块、定位模块和转发模块，数据服务器集群包括多个数据区间，每个数据区间包括一个主节点和多个从节点，主节点包括第一读模块、写模块、第一恢复模块、第一日志模块、第一决议模块、第一存储引擎模块，从节点包括第二读模块、第二决议模块、第二日志模块、第二恢复模块、第二存储引擎模块，哈希模块用于接收从客户发来的写请求，并根据写请求的键将该写请求定位到数据区间，每个写请求都具有一个系统自动分配的编号，定位模块用于将写请求定位到数据区间的主节点，转发模块用于将写请求发送到主节点的写模块，主节点的写模块用于将写请求发送到第一日志模块和第一决议模块，第一日志模块用于将写请求写入日志，第一决议模块用于将写请求发送到多个从节点的第二决议模块，从节点的第二决议模块用于将写请求发送到第二日志模块，并将应答信息发送到主节点的第一决议模块，第二日志模块用于将写请求写入日志，第一决议模块还用于统计来自从节点的第二决议模块的应答信息的数量，并判断其是否大于从节点数量的一半，如果大于则表示该写请求可以被继续执行，将写请求写入主节点的第一存储引擎模块，否则过程结束，第一决议模块还用于定时将提交信息发送到从节点的第二决议模块，第二决议模块还用于根据接收到的提交信息将写请求写入第二存储引擎模块，哈希模块还用于接收从客户发来的读请求，并根据读请求的键值将该读请求定位到相应的数据区间，定位模块还用于判断读请求是否需要读取最新的数据，若是则将该读请求定位到数据区间的主节点，否则将该读请求定位到数据空间的主节点或任意从节点，转发模块还用于将读请求发送到定位模块所定位到的主节点的第一读模块或者从节点的第二读模块，第一读模块用于从转发模块接收读请求，并从第一存储引擎模块中读取所需数据，并将数据返回给客户端，第二读模块用于从转发模块接收读请求，并从第二存储引擎模块中读取所需数据，并将数据返回给客户端。

第一决议模块具体是从系统中得到该主节点所属数据区间的从节点ip列表，然后根据ip逐个给从节点发送写请求以及该写请求的编号。

第二决议模块具体是首先获得该从节点已经收到的写请求的最大编号x，并跟当前收到的写请求编号y相比，如果x+1=y，则第二决议模块会给主节点发送应答信息，如果x+1≠y，则第二决议模块不会给主节点发送应答信息。

提交信息为主节点最近处理的写请求的编号。

第一存储引擎模块和第二存储引擎模块完全相同，且均为Leveldb存储库，且采用二级缓存队列的方式，Leveldb存储库中的二级缓存采用固态硬盘，用于缓存内存中有的SSTable的真实数据，Leveldb存储库中的一级缓存采用内存，用于缓存SSTable的元信息，内存和SSD的缓存置换算法都采用LRU算法。

第二决议模块根据写请求的信息中的键值，通过Leveldb存储库的写方法，将该条键值记录写入Leveldb存储库中。

第一读模块和第二读模块具体是根据读请求的信息中的键，通过Leveldb存储库的读方法，从Leveldb存储库中读取到键所对应的值。

通过本发明所构思的以上技术方案，与现有技术相比，本系统具有以下的有益效果：

1、具有强一致性：由于采用了第一决议模块和第二决议模块，系统只有确保写请求在主节点成功执行以及写请求得到从节点的认可，该写请求才算成功执行，然后向客户端返回，同时主节点也会定时的向从节点发送数据同步信息，主备节点都具有相同的最新数据。

2、系统开销小：由于本系统采用了具有中心化节点的架构，节点之间无复杂的通信开销，并且没有主备协议或二阶段提交协议的由于某一副本写入失败而阻塞整个写入过程的缺点。

本发明的另一目的在于提供一种强一致性的分布式键值数据库系统的写方法，其针对现有系统的存储引擎做了优化，并实现了在较小的开销的情况下，提供数据副本之间的强一致性。

为实现上述目的，本发明提供了一种强一致性的分布式键值数据库系统的写方法，包括以下步骤：

（1）哈希模块接收从客户发来的写请求，并根据写请求的键将该写请求定位到数据区间；

（2）定位模块将写请求定位到数据区间的主节点；

（3）客户端转发模块将请求发送给主节点的写模块；

（4）主节点的写模块将写请求发送到第一决议模块和第一日志模块；

（5）第一日志模块将写请求写入日志；

（6）第一决议模块将写请求发送到该数据区间的所有从节点的第二决议模块；

（7）从节点的第二决议模块将写请求发送到第二日志模块，并将应答信息发送到主节点的第一决议模块；

（8）第二日志模块将写请求写入日志；

（9）第一决议模块统计来自从节点的第二决议模块的应答信息的数量，并判断其是否大于从节点数量的一半，如果大于则表示该写请求可以被执行，转到步骤（10），否则过程结束；

（10）第一决议模块将已经决议的写请求写入主节点的第一存储引擎模块；

（11）第一决议模块定时将提交信息发送到从节点的第二决议模块；

（12）第二决议模块根据接收到的提交信息，将该编号以前的所有写请求写入第二存储引擎模块。

通过本发明所构思的以上技术方案，与现有技术相比，本方法具有以下的有益效果：

1、具有强一致性：由于本方法只有确保写请求在主节点成功执行以及写请求得到从节点的认可，该写请求才算成功执行，然后向客户端返回，同时主节点也会定时的向从节点发送数据同步信息，主备节点都具有相同的最新数据。

2、系统开销小：由于本方法采用了具有中心化节点的架构，节点之间无复杂的通信开销，并且没有主备协议或二阶段提交协议的由于某一副本写入失败而阻塞整个写入过程的缺点。

本发明的另一目的在于提供一种强一致性的分布式键值数据库系统的读方法，其针对现有系统的存储引擎做了优化，并实现了在较小的开销的情况下，提供数据副本之间的强一致性。

为实现上述目的，本发明提供了一种强一致性的分布式键值数据库系统的读方法，包括以下步骤：

（1）哈希模块接收从客户发来的读请求，并根据读请求的键值将该读请求定位到相应的数据区间；

（2）定位模块判断读请求是否需要读取最新的数据，若是则将该读请求定位到数据区间的主节点，否则将该读请求定位到数据空间的主节点或任意从节点；

（3）转发模块判断定位模块定位到的节点，若是主节点，则将读请求发送到主节点的第一读模块，转到步骤（4），否则，将读请求发送到从节点的第二读模块，转到步骤（5）；

（4）第一读模块从转发模块接收读请求，并从第一存储引擎模块中读取所需数据，若读取成功将读到的数据返回给客户端，否则给客户端发送读取失败信息；

（5）第二读模块从转发模块接收读请求，并从第二存储引擎模块中读取所需数据，若读取成功将读到的数据返回给客户端，否则给客户端发送读取失败信息。

通过本发明所构思的以上技术方案，与现有技术相比，本方法具有以下的有益效果：

1、具有强一致性：由于本方法只有确保读请求在主节点成功执行以及读请求得到从节点的认可，该写请求才算成功执行，然后向客户端返回，同时主节点也会定时的向从节点发送数据同步信息，主备节点都具有相同的最新数据。

2、系统开销小：由于本方法采用了具有中心化节点的架构，节点之间无复杂的通信开销，并且没有主备协议或二阶段提交协议的由于某一副本写入失败而阻塞整个写入过程的缺点。

附图说明

图1是本发明分布式键值数据库系统的结构示意图。

图2是本发明系统中第一存储引擎模块和第二存储引擎模块的示意图。

图3是本发明分布式键值数据库系统写方法的流程图。

图4是本发明分布式键值数据库系统读方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的分布式键值数据库系统包括客户端1和数据服务器集群，客户端1包括哈希模块11、定位模块12和转发模块13，数据服务器集群包括多个数据区间，每个数据区间包括一个主节点3和多个从节点4，主节点3包括第一读模块31、写模块33、第一恢复模块34、第一日志模块35、第一决议模块36、第一存储引擎模块37。从节点4包括第二读模块41、第二决议模块43、第二日志模块44、第二恢复模块45、第二存储引擎模块46。所有的键值可以根据键被划分成多个数据区间，每个数据区间管理特定的数据，每个数据只能被存储到一个数据区间中，每个数据区间包括有一个主节点3和多个从节点4。

如图2所示，第一存储引擎模块37和第二存储引擎模块46完全相同，且均为Google公司开发的Leveldb存储库（Storage library），本发明使用了二级缓存队列的方式改进Leveldb原有的缓存机制，从而提高了Leveldb的读性能，具体做法为：Leveldb原有的缓存机制是使用内存缓存Leveldb中SSTable的元信息，每次需要从SSTable中读取数据时，都需要从磁盘上读取真实的数据，本发明在原有缓存机制上增加了固态硬盘（Solid state disk，简称SSD）构成二级缓存，内存为一级缓存，仍然缓存SSTable的元信息，SSD为二级缓存，用于缓存内存中有的SSTable的真实数据，内存和SSD的缓存置换算法都采用最近最少使用算法（LeastRecently Used，简称LRU）；另外，由于Leveldb作为分布式键值数据库系统的底层存储引擎，而本发明的分布式键值数据库系统本身已经具有日志模块，因此去掉了现有Leveldb的日志模块，存储引擎执行写操作时，不再写日志。

如图1所示，在本发明的分布式键值数据库系统处于写过程中时，哈希模块11用于接收从客户发来的写请求，并根据写请求的键（key）将该写请求定位到数据区间。每个写请求都具有一个系统自动分配的编号。

定位模块12用于将写请求定位到数据区间的主节点3。

转发模块13用于将写请求发送到主节点3的写模块33。

主节点3的写模块33用于将写请求发送到第一日志模块35和第一决议模块36。

第一日志模块35用于将写请求写入日志。

第一决议模块36用于将写请求发送到多个从节点4的第二决议模块43。具体而言，第一决议模块会从系统中得到该主节点3所属数据区间的从节点ip列表，然后根据ip逐个给从节点4发送该写请求信息，发送的信息中还包括了该写请求的编号。

从节点4的第二决议模块43用于将写请求发送到第二日志模块44，并将应答信息发送到主节点3的第一决议模块36。具体而言，第二决议模块会首先获得该从节点4已经收到的写请求的最大编号（设为x），然后跟当前收到的写请求编号（设为y）相比，如果x+1=y，则第二决议模块会给主节点3发送应答信息，如果x+1≠y，则第二决议模块不会给主节点发送应答信息。

第二日志模块44用于将写请求写入日志。

第一决议模块36还用于统计来自从节点4的第二决议模块43的应答信息的数量，并判断其是否大于从节点4数量的一半，如果大于则表示该写请求可以被继续执行，将写请求写入主节点3的第一存储引擎模块37，否则过程结束。

第一决议模块36还用于定时将提交（Commit）信息发送到从节点4的第二决议模块43。在本实施方式中，提交的时间周期为30秒。提交信息具体为主节点3最近处理的写请求的编号。

第二决议模块43还用于根据接收到的提交信息将写请求写入第二存储引擎模块46。具体而言，根据写请求的信息中的键（key）值（value），通过Leveldb的写方法（put方法），将该条键值记录写入Leveldb中去。

如图3所示，本发明系统的写方法包括以下步骤：

(1)哈希模块11接收从客户发来的写请求，并根据写请求的键（key）将该写请求定位到数据区间；

(2)定位模块12将写请求定位到数据区间的主节点3；

(3)客户端转发模块将请求发送给主节点3的写模块33；

(4)主节点3的写模块33将写请求发送到第一决议模块36和第一日志模块35。

(5)第一日志模块35将写请求写入日志。

(6)第一决议模块36将写请求发送到该数据区间的所有从节点4的第二决议模块43。具体而言，第一决议模块会从系统中得到该主节点3所属数据区间的从节点ip列表，然后根据ip逐个给从节点4发送该写请求信息，发送的信息中还包括了该写请求的编号。

(7)从节点4的第二决议模块43将写请求发送到第二日志模块44，并将应答信息发送到主节点3的第一决议模块36。具体而言，第二决议模块会首先获得该从节点4已经收到的写请求的最大编号（设为x），然后跟当前收到的写请求编号（设为y）相比，如果x+1=y，则第二决议模块会给主节点3发送应答信息，转到步骤（8）如果x+1≠y，则第二决议模块不会给主节点发送应答信息，转到步骤（9）。

(8)第二日志模块44将写请求写入日志。

(9)第一决议模块36统计来自从节点4的第二决议模块43的应答信息的数量，并判断其是否大于从节点4数量的一半，如果大于则表示该写请求可以被执行，转到步骤（10），否则过程结束。

(10)第一决议模块36将已经决议的写请求写入主节点3的第一存储引擎模块37。

(11)第一决议模块36定时将提交（Commit）信息发送到从节点4的第二决议模块43。在本实施方式中，提交的时间周期为30秒。提交信息具体为主节点3最近处理的写请求的编号。

(12)第二决议模块43根据接收到的提交信息（主节点最近处理的写请求执行编号），将该编号以前的所有写请求写入第二存储引擎模块46。具体而言，根据写请求的信息中的键（key）值（value），通过Leveldb的写方法（put方法），将该条键值记录写入Leveldb中去，写入过程结束。

如图1所示，在本发明的分布式键值数据库系统处于读过程中时，哈希模块11用于接收从客户发来的读请求，并根据读请求的键值将该读请求定位到相应的数据区间。

定位模块12用于判断读请求是否需要读取最新的数据，若是则将该读请求定位到数据区间的主节点3，否则将该读请求定位到数据空间的任意节点（包括主节点3和任意从节点4）。

转发模块13用于将读请求发送到定位模块12所定位到的主节点3的第一读模块31或者从节点4的第二读模块41。

第一读模块31用于从转发模块13接收读请求，并从第一存储引擎模块37中读取所需数据，并将数据返回给客户端。具体而言，根据读请求的信息中的键（key），通过Leveldb的读方法（get方法），从Leveldb中读取到键（key）所对应的值（value）。

第二读模块41用于从转发模块13接收读请求，并从第二存储引擎模块47中读取所需数据，并将数据返回给客户端。具体而言，根据读请求的信息中的键（key），通过Leveldb的读方法（get方法），从Leveldb中读取到键（key）所对应的值（value）。

如图4所示，本发明系统的读方法包括以下步骤：

(1)哈希模块11接收从客户发来的读请求，并根据读请求的键值将该读请求定位到相应的数据区间。

(2)定位模块12判断读请求是否需要读取最新的数据，若是则将该读请求定位到数据区间的主节点3，否则将该读请求定位到数据空间的任意节点（包括主节点3和任意从节点4）。

(3)转发模块13判断定位模块12定位到的节点，若是主节点3，则将读请求发送到主节点3的第一读模块31，转到步骤（4），否则，将读请求发送到从节点4的第二读模块41，转到步骤（5）。

(4)第一读模块31从转发模块13接收读请求，并从第一存储引擎模块37中读取所需数据，具体而言，根据读请求的信息中的键（key），通过Leveldb的读方法（get方法），从Leveldb中读取到键（key）所对应的值（value）。若读取成功将读到的数据返回给客户端，否则给客户端发送读取失败信息。

第二读模块41从转发模块13接收读请求，并从第二存储引擎模块47中读取所需数据，若读取成功将读到的数据返回给客户端，否则给客户端发送读取失败信息。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种强一致性的分布式键值数据库系统，包括客户端和数据服务器集群，客户端包括哈希模块、定位模块和转发模块，数据服务器集群包括多个数据区间，每个数据区间包括一个主节点和多个从节点，主节点包括第一读模块、写模块、第一恢复模块、第一日志模块、第一决议模块、第一存储引擎模块，从节点包括第二读模块、第二决议模块、第二日志模块、第二恢复模块、第二存储引擎模块，其特征在于，

哈希模块用于接收从客户发来的写请求，并根据写请求的键将该写请求定位到数据区间，每个写请求都具有一个系统自动分配的编号；

定位模块用于将写请求定位到数据区间的主节点；

转发模块用于将写请求发送到主节点的写模块；

主节点的写模块用于将写请求发送到第一日志模块和第一决议模块；

第一日志模块用于将写请求写入日志；

第一决议模块用于将写请求发送到多个从节点的第二决议模块；

从节点的第二决议模块用于将写请求发送到第二日志模块，并将应答信息发送到主节点的第一决议模块；

第二日志模块用于将写请求写入日志；

第一决议模块还用于统计来自从节点的第二决议模块的应答信息的数量，并判断其是否大于从节点数量的一半，如果大于则表示该写请求可以被继续执行，将写请求写入主节点的第一存储引擎模块，否则过程结束；

第一决议模块还用于定时将提交信息发送到从节点的第二决议模块；

第二决议模块还用于根据接收到的提交信息将写请求写入第二存储引擎模块；

哈希模块还用于接收从客户发来的读请求，并根据读请求的键值将该读请求定位到相应的数据区间；

定位模块还用于判断读请求是否需要读取最新的数据，若是则将该读请求定位到数据区间的主节点，否则将该读请求定位到数据空间的主节点或任意从节点；

转发模块还用于将读请求发送到定位模块所定位到的主节点的第一读模块或者从节点的第二读模块；

第一读模块用于从转发模块接收读请求，并从第一存储引擎模块中读取所需数据，并将数据返回给客户端；

第二读模块用于从转发模块接收读请求，并从第二存储引擎模块中读取所需数据，并将数据返回给客户端。

2.根据权利要求1所述的分布式键值数据库系统，其特征在于，第一决议模块具体是从系统中得到该主节点所属数据区间的从节点ip列表，然后根据ip逐个给从节点发送写请求以及该写请求的编号。

3.根据权利要求1所述的分布式键值数据库系统，其特征在于，第二决议模块具体是首先获得该从节点已经收到的写请求的最大编号x，并跟当前收到的写请求编号y相比，如果x+1=y，则第二决议模块会给主节点发送应答信息，如果x+1≠y，则第二决议模块不会给主节点发送应答信息。

4.根据权利要求1所述的分布式键值数据库系统，其特征在于，提交信息为主节点最近处理的写请求的编号。

5.根据权利要求1所述的分布式键值数据库系统，其特征在于，

第一存储引擎模块和第二存储引擎模块完全相同，且均为改进的Leveldb存储库，且采用二级缓存队列的方式；

Leveldb存储库中的二级缓存采用固态硬盘，用于缓存内存中有的SSTable的真实数据；

Leveldb存储库中的一级缓存采用内存，用于缓存SSTable的元信息；

内存和SSD的缓存置换算法都采用LRU算法。

6.根据权利要求5所述的分布式键值数据库系统，其特征在于，第二决议模块根据写请求的信息中的键值，通过Leveldb存储库的写方法，将该条键值记录写入Leveldb存储库中。

7.根据权利要求1所述的分布式键值数据库系统，其特征在于，第一读模块和第二读模块具体是根据读请求的信息中的键，通过Leveldb存储库的读方法，从Leveldb存储库中读取到键所对应的值。

8.一种根据权利要求1所述分布式键值数据库系统的写方法，其特征在于，包括以下步骤：

（1）哈希模块接收从客户发来的写请求，并根据写请求的键将该写请求定位到数据区间；

（2）定位模块将写请求定位到数据区间的主节点；

（3）客户端转发模块将请求发送给主节点的写模块；

（4）主节点的写模块将写请求发送到第一决议模块和第一日志模块；

（5）第一日志模块将写请求写入日志；

（6）第一决议模块将写请求发送到该数据区间的所有从节点的第二决议模块；

（7）从节点的第二决议模块将写请求发送到第二日志模块，并将应答信息发送到主节点的第一决议模块；

（8）第二日志模块将写请求写入日志；

（9）第一决议模块统计来自从节点的第二决议模块的应答信息的数量，并判断其是否大于从节点数量的一半，如果大于则表示该写请求可以被执行，转到步骤（10），否则过程结束；

（10）第一决议模块将已经决议的写请求写入主节点的第一存储引擎模块；

（11）第一决议模块定时将提交信息发送到从节点的第二决议模块；

（12）第二决议模块根据接收到的提交信息，将该编号以前的所有写请求写入第二存储引擎模块。

9.一种根据权利要求1所述分布式键值数据库系统的读方法，其特征在于，包括以下步骤：

（1）哈希模块接收从客户发来的读请求，并根据读请求的键值将该读请求定位到相应的数据区间；

（2）定位模块判断读请求是否需要读取最新的数据，若是则将该读请求定位到数据区间的主节点，否则将该读请求定位到数据空间的主节点或任意从节点；

（3）转发模块判断定位模块定位到的节点，若是主节点，则将读请求发送到主节点的第一读模块，转到步骤（4），否则，将读请求发送到从节点的第二读模块，转到步骤（5）；

（4）第一读模块从转发模块接收读请求，并从第一存储引擎模块中读取所需数据，若读取成功将读到的数据返回给客户端，否则给客户端发送读取失败信息；

（5）第二读模块从转发模块接收读请求，并从第二存储引擎模块中读取所需数据，若读取成功将读到的数据返回给客户端，否则给客户端发送读取失败信息。

Images