CN111625543B - 一种基于HBase表实现全局单调递增的序列的方法 - Google Patents

Abstract

本发明公开了一种基于HBase表实现全局单调递增的序列的方法，包括以下步骤：数据库初始化阶段，HBase内创建一张表，表至少具有两列，一列对应序列的唯一标识，另外一列用于存放序列的当前值，表内每一行依次对应数据库中的一个序列；创建序列时，数据库的元数据表内插入数值，所述数值包括序列起始值，最大值，步长值，且需要将序列唯一标识，以及起始值插入到步骤A中创建的HBase表中。本发明利用incrementColumnValue方法可以保证表中的数据单调递增的特性，数据在数据库引擎层面不需要额外增加锁，使得数据库性能好，效率高，且实现简单。

Description

一种基于HBase表实现全局单调递增的序列的方法

技术领域

本发明属于分布式数据库技术领域，具体涉及一种基于HBase表实现全局单调递增的序列的方法。

背景技术

序列是数据库中的一个对象，在ANSI标准中有明确定义。序列具有起始值，最大值，步长，是否循环，是否单调递增等属性。使用序列通常用来获得其当前值或者下一个值。一个数据库集群中可以存在多个的序列。如何实现高性能的序列，是分布式数据需要解决的问题之一。本方案是要解决在分布式数据库中，如何实现高效的整个集群全局唯一且单调递增的序列的问题。

序列的各个属性是固化在数据库的元数据表中的。在分布式数据库中，想要保证全局唯一且递增，也就要做到对序列的元数据表的访问具有原子性，常见的解决方案就是基于锁的序列实现。锁的实现分为两类。一类是乐观锁，一类是悲观锁。乐观锁适用于并发较低的场景。流程为向元数据表中写入时间戳(需保证唯一)，获取当前的序列号，加上步长之后，更新序列的元数据表中序列的值，读回时间戳。通过写入和读回的时间戳是否相等，来确定是否获取到唯一的递增的序列号。时间戳相等，表示获取成功，如果时间戳不相等，表示这个序列的值被其他客户端获得了，那么就重试。悲观锁就是真正意义上的分布式锁，在访问序列的元数据表之前，加分布式全局锁，获取唯一的序列号，然后更新序列元数据的值，最后释放锁。以上用锁的方式，都需要在数据库的引擎层面有锁保护或者锁的相关逻辑。

乐观锁的缺点显而易见，首先在大并发的情况下，冲突会多，可能重试多次才能获得结果，甚至获取失败。就算没有并发，需要额外的多一次读和一次写，效率不高；悲观锁首先是基于一个分布式锁，无论是基于zookeeper的实现或者是Redis的实现，获取锁本身的代价就很大，另外还有扩展性，可用性，单点热点的隐患存在的问题，为此我们提出一种基于HBase表实现全局单调递增的序列的方法。

发明内容

本发明的目的在于提供一种基于HBase表实现全局单调递增的序列的方法，以解决上述背景技术中提出的问题，并达到利用HBase的方法，无须在引擎层加锁或实现锁的逻辑，就能获得全局唯一且单调递增的序列值的效果。

为了实现上述目的，本发明采用了如下技术方案：

一种基于HBase表实现全局单调递增的序列的方法，包括以下步骤：

A)、数据库初始化阶段，HBase内创建一张表，表至少具有两列，一列对应序列的唯一标识，另外一列用于存放序列的当前值，表内每一行依次对应数据库中的一个序列；

B)、创建序列时，数据库的元数据表内插入数值，所述数值包括序列起始值，最大值，步长值，且需要将序列唯一标识，以及起始值插入到步骤A中创建的HBase表中；

C)、当序列获得下一个值时，需要根据序列唯一标识，以及步长，调用incrementColumnValue方法来更新HBase表中的值，并把更新的值返回给客户端；

D)、若使用序列获得当前值，根据序列的唯一标识，步长为0，调用incrementColumnValue方法来更新HBase表中的值，incrementColumnValue方法可以保证表中的数据单调递增的特性，以上的步骤在数据库引擎层面不需要额外增加锁；

E)、删除序列，除了要删除序列的元数据表中的记录，同时需要根据序的唯一标识，删除HBase表中序列的记录。

进一步地，若数据库中存在多种序列，可以将多种序列分类存储不同的HBase表中。

进一步地，当多张HBase表同时存在的情况下，多张HBase表的表名前缀相同，表名以_n结尾，序列到序列所存放的HBase表之间的路由关系是：序列的唯一标识/HBase表的总个数，其余数来决定序列存放到第几张HBase表，且与数值存放到该序列的元数据表中。

相比于现有技术，本发明的有益效果在于：

通过设计了本申请，利用incrementColumnValue方法可以保证表中的数据单调递增的特性，数据在数据库引擎层面不需要额外增加锁，使得数据库性能好，效率高，且实现简单，不需要任何额外实现分布式锁的逻辑，也没有获得分布式锁的开销，且和锁的实现相比，本申请具有更强的可扩展性，同时能避免分布式锁的单点热点问题，在序列数量庞大，或者单region访问成为瓶颈的时候，可以创建多张HBase表来存放，以及序列到HBase表的路由方式。这是本申请提案需要保护的技术点之二。

附图说明

图1为本发明的创建序列流程图；

图2为本发明的获得序列值流程图；

图3为本发明的删除序列流程图；

图4为本发明的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

参照图1-图4，本发明提出的一种基于HBase表实现全局单调递增的序列的方法，包括以下步骤：

A)、数据库初始化阶段，HBase内创建一张表，表至少具有两列，一列对应序列的唯一标识，另外一列用于存放序列的当前值，表内每一行依次对应数据库中的一个序列；

B)、创建带有order属性的序列，把序列UID，对应的HBase表的编号以及其他属性值插入到元数据表SEQ_GEN，再把序列UID以及起始值插入到表名为ESG_TRAFODION._ORDER_SG_.ORDER_SEQ_GEN_n的HBase表中，如下表所示：

SEQ_UID	SEQ_VALUE
		1111111111111111111	start_value(default1)

C)、当序列获得下一个值时，需要根据序列唯一标识，以及步长，调用incrementColumnValue方法来更新HBase表中的值，并把更新的值返回给客户端，查询序列值过程中，根据序列名从元数据表SEQ_GEN中获得序列UID以及所有属性用incrementColumnValue方法更新ESG_TRAFODION._ORDER_SG_.ORDER_SEQ_GEN_n表中UID对应的序列值，并获得更新值，然后返回更新值，查询结束；

D)、若使用序列获得当前值，根据序列的唯一标识，步长为0，调用incrementColumnValue方法来更新HBase表中的值，incrementColumnValue方法可以保证表中的数据单调递增的特性，以上的步骤在数据库引擎层面不需要额外增加锁；

E)、删除带有order属性的序列，删除元数据表SEQ_GEN里UID对应的那行数据，再删除ESG_TRAFODION._ORDER_SG_.ORDER_SEQ_GEN_n的HBase表中对应的行，除了要删除序列的元数据表中的记录，同时需要根据序的唯一标识，删除HBase表中序列的记录。

在本实施例中，若数据库中存在多种序列，可以将多种序列分类存储不同的HBase表中，以此来实现扩展性，同时防止热点region的问题。

在本实施例中，当多张HBase表同时存在的情况下，多张HBase表的表名前缀相同，表名以_n结尾，来决定是第几张HBase表，序列到序列所存放的HBase表之间的路由关系是：序列的唯一标识/HBase表的总个数，其余数来决定序列存放到第几张HBase表，且与数值存放到该序列的元数据表中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于HBase表实现全局单调递增的序列的方法，其特征在于，包括以下步骤：

A)、数据库初始化阶段，HBase内创建一张表，表至少具有两列，若数据库中存在多种序列，可以将多种序列分类存储不同的HBase表中，一列对应序列的唯一标识，另外一列用于存放序列的当前值，表内每一行依次对应数据库中的一个序列，当多张HBase表同时存在的情况下，多张HBase表的表名前缀相同，表名以_n结尾，序列到序列所存放的HBase表之间的路由关系是：序列的唯一标识/HBase表的总个数，其余数来决定序列存放到第几张HBase表，且与数值存放到该序列的元数据表中；

B)、创建序列时，数据库的元数据表内插入数值，所述数值包括序列起始值，最大值，步长值，且需要将序列唯一标识，以及起始值插入到步骤A中创建的HBase表中；

C)、当序列获得下一个值时，需要根据序列唯一标识，以及步长，调用incrementColumnValue方法来更新HBase表中的值，并把更新的值返回给客户端；

D)、若使用序列获得当前值，根据序列的唯一标识，步长为0，调用incrementColumnValue方法来更新HBase表中的值，incrementColumnValue方法可以保证表中的数据单调递增的特性，以上的步骤在数据库引擎层面不需要额外增加锁；

E)、删除序列，除了要删除序列的元数据表中的记录，同时需要根据序的唯一标识，删除HBase表中序列的记录。