CN103823810A - 一种在分布式系统中生成唯一键的方法、装置及系统 - Google Patents

Abstract

本发明公开了一种在分布式系统中生成唯一键的方法、装置及系统，唯一键分配装置接收分布式系统中的节点请求分配唯一健的请求；唯一键分配装置为节点分配唯一键；唯一键为长整型的数据类型，并且包括标识节点的分布式标识的多个比特；分布式系统中的每个节点的分布式标识为唯一值。本发明的分布式系统中生成唯一键的方法、装置及系统，生成包括节点的分布式标识的长整型唯一键，适应大规模分布式系统；唯一键的生成与外部环境无关，可以适应慢速、高延迟网络环境，并且，生成的键值采用64位长整型方式，存储开销小，唯一键大体上基于时序分布，可以保证键值的单向递增，可以进行比较、范围、排序处理。

Description

一种在分布式系统中生成唯一键的方法、装置及系统

技术领域

本发明涉及分布式系统技术领域，尤其涉及一种在分布式系统中生成唯一键的方法、装置及系统。

背景技术

唯一键生成方法被广泛应该于各种WEB系统、数据库系统、应用系统，为各种系统的正常运行提供了保障；在分布式系统出现后，又出现了各种分布式唯一键生成方法。唯一键生成器已经成为所有系统中都不可或缺的一部分。

目前，唯一键生成方法中的集中唯一键生成方法，存在如下问题：

1)存在单点故障。

2)无法适应大规模分布式系统。

3)在慢速、高延迟网络环境下，可能会导致严重问题。

而分布式唯一键生成方法，包括：UUID等。这种方式存在如下缺点：

1)生成的键值采用文本方式，存储开销大。

2)生成的键值随机分布，不便于基于此键值进行比较、范围、排序处理。

考虑到传统方法的上述弊端，需要一种新的分布式唯一键生成方法，以解决分布式系统中唯一键生成的问题。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种在分布式系统中生成唯一键的方法，生成包括节点的分布式标识的长整型唯一键。

一种在分布式系统中生成唯一键的方法，包括：唯一键分配装置接收分布式系统中的节点请求分配唯一健的请求；所述唯一键分配装置为所述节点分配唯一键；所述唯一键为长整型的数据类型，并且包括标识所述节点的分布式标识的多个比特；其中，分布式系统中的每个节点的分布式标识为唯一值。

根据本发明的方法的一个实施例，进一步的，所述唯一键的最高位为符号位，所述符号位的值恒为0。

根据本发明的方法的一个实施例，进一步的，所述唯一键还包括：标识时间戳的多个比特；其中，所述时间戳为当前的时间减去一个初始设置的时间戳。

根据本发明的方法的一个实施例，进一步的，所述唯一键还包括：标识序列号的多个比特；其中，所述序列号采用单调递增的正整数。

根据本发明的方法的一个实施例，进一步的，所述唯一键为具有64个比特的长整型，以0至63标识所述唯一键的每一位；最高第0位为符号位，值恒为0；第1至32位标识时间戳；所述时间戳的单位为秒，为当前的时间减去一个初始设置的时间戳；第33位至50位标识当前1s时间内序列器的值，所述序列器每秒进行更新，采用单调递增序列；第51位至63位标识所述节点分布式标识。

本发明要解决的一个技术问题是提供一种在分布式系统中生成唯一键的装置，生成包括节点的分布式标识的长整型唯一键。

一种分布式系统的唯一键生成装置，包括：分配请求接收单元，用于接收到分布式系统中的节点请求分配唯一健的请求；分布式标识生成单元，为分布式系统中的每个节点生成唯一的分布式标识；唯一键分配单元，用于为所述节点分配唯一键；所述唯一键为长整型的数据类型，并且包括标识所述节点的分布式标识的多个比特。

根据本发明的装置的一个实施例，进一步的，所述唯一键最高位为符号位，所述符号位的值恒设定为0。

根据本发明的装置的一个实施例，进一步的，还包括时间戳生成单元，用于生成标识时间戳的多个比特；其中，所述时间戳为当前的时间减去一个初始设置的时间戳；所述唯一键包括所述标识时间戳的多个比特。

根据本发明的装置的一个实施例，进一步的，还包括序列号生成单元，用于生成标识序列号的多个比特；其中，所述序列号采用单调递增的正整数，所述唯一键包括所述标识序列号的多个比特。

根据本发明的装置的一个实施例，进一步的，所述唯一键为具有64个比特的长整型，以0至63标识所述唯一键的每一位；所述最高位设置单元将最高第0位的值恒设定为0；时间戳生成单元生成16比特的时间戳；所述唯一键的第1至32位标识时间戳；所述时间戳的单位为秒，为当前的时间减去一个初始设置的时间戳；所述序列号生成单元生成18比特的序列号；所述唯一键的第33位至50位标识序列号；所述序列号生成单元每秒都进行更新，所生成的序列号采用单调递增序列；分布式标识生成单元生成13比特的节点分布式标识；所述唯一键的第51位至63位标识所述节点分布式标识。

一种分布式系统，包括如上所述的分布式系统的唯一键生成装置。

本发明的分布式系统中生成唯一键的方法、装置及系统，生成包括节点的分布式标识的长整型唯一键，适应大规模分布式系统；唯一键的生成与外部环境无关，可以适应慢速、高延迟网络环境，并且，生成的键值采用64位长整型方式，存储开销小，唯一键大体上基于时序分布，可以保证键值的单向递增，可以进行比较、范围、排序处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明的在分布式系统中生成唯一键的方法的一个实施例的流程图；

图2为根据本发明的唯一键的一个实施例的示意图；

图3为根据本发明的分布式系统的唯一键生成装置的一个实施例的示意图；

图4为根据本发明的分布式系统的唯一键生成装置的另一个实施例的示意图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合各个图和实施例对本发明的技术方案进行多方面的描述。

在分布式系统中，为了得到唯一键，一般有两种方案：

1)在中心节点(非分布的)进行唯一键生成，每个分布式节点向中心节点请求唯一键或者唯一键范围。

2)每个分布式节点独立的生成唯一键，这个要求方法保证多个节点上生成的键互不重复。

第一种方案，也叫做集中唯一键生成方法，包括：序列器方式、随机数方式等。大多数据库系统都内置支持此方法，如Oracle的SEQ序列器、PostgreSQL的SERIAL type、MySQL的自增长主键等。这种方式存在如下缺点：

1)存在单点故障。

2)无法适应大规模分布式系统。

3)在慢速、高延迟网络环境下，可能会导致严重问题。

第二种方案，也叫做分布式唯一键生成方法，包括：UUID等。这种方式存在如下缺点：

1)生成的键值采用文本方式，存储开销大。

2)生成的键值随机分布，不便于基于此键值进行比较、范围、排序处理。

考虑到传统方法的上述弊端，本发明提出了一种新颖的分布式唯一键生成方法，以解决分布式系统中唯一键生成的问题。

图1为根据本发明的在分布式系统中生成唯一键的方法的一个实施例的流程图。如图1所示：

步骤102，唯一键分配装置接收分布式系统中的节点请求分配唯一健的请求；

步骤103，唯一键分配装置为节点分配唯一键；唯一键为长整型的数据类型，并且包括标识节点的分布式标识的多个比特；其中，分布式系统中的每个节点的分布式标识为唯一值。

根据本发明的一个实施例，唯一键的最高位为符号位，符号位的值恒为0。唯一键还包括：标识时间戳的多个比特。时间戳为当前的时间减去一个初始设置的时间戳。唯一键还包括标识序列号的多个比特；序列号采用单调递增的正整数。

根据本发明的一个实施例，唯一键为64位长整型，64个比特位（以0至63标识每一位）拆分为4个部分。

第一部分：最高0位为符号位，值恒为0，防止最终的键值出现负值。

第二部分：从1至32位为时间戳位（位数长度定义为b2，这里是32），时间单位为秒。这部分的值取为:当前时间减去一个初始的时间戳INIT_TS。最大的值范围为(2^32－1)秒，约为136年。

第三部分：从33位至50位为序列号位，共18位，采用单调递增序列。这部分的值取为当前1s时间内，序列器的值。最大的值范围为(2^18－1)，约为26万。我们定义此序列器为S。

第四部分：从51位至63位为分布式标识位，共13位，每个分布式节点中，这个部分的值保持不变，在整个分布式系统中，每个节点的分布式标识保证唯一。最大的值范围为(2^13－1)=8191。

本发明的方法的唯一键是基于时序的。此唯一键生成器需要进行初始化，初始化的时候需要提供分布式节点的唯一标识。

在任何一个时间点，取得从INIT_TS至当前事件的秒数，得到第二个部分。在这个时间点，递增S并取当前值，此操作为原子操作。原子操作(atomic operation)是指不会被线程调度机制打断的操作；这种操作一旦开始，就一直运行倒结束，中间不会切换到另一个线程。随着事件的推移，当系统定时器进入下一秒时，需要重置序列器S。这个操作必须保证是原子的。最后根据初始化得到的节点唯一标示填充第四部分。这样就可以得到一个完整的分布式唯一键了。

只要唯一键值最大有效时间不超过136年，第二部分保证了时序上的唯一性(秒级别精度)；只要最大分布式节点数量低于8191，第四部分就保证了分布上的唯一性；只要单节点上最大键生成速度低于26万每秒，第三部分就保证了单机内部的唯一性。综合上面三个部分，最终可以保证生成的每个键，在整个分布式系统中是唯一的、不重复的。

根据以上的键生成方式，可以看到此唯一键生成器是线程安全的，而且采用的是无锁方式实现的，除了定时执行的序列器S的重置操作可能需要通过锁方式实现。

可以灵活调整形成唯一键的各个部分的长度，从而满足具体环境的需求。另外，根据系统部署的时间已经是否出现数据回溯，可以灵活的定义初始的时间戳INIT_TS。

根据本发明的一个实施例，本发明可用于各种分布式应用环境中。初始化，上层应用必须提供一个在整个分布式环境中唯一的节点标识，标识的范围不大于第四部分的最大值范围。初始化完成后，必须为此生成器提供一个定时调度的进程，每秒定时完成一次计数器S的重置处理。完成以上初始化之后，上次应用就可以线程安全地、无锁地调用计数器生成唯一键。唯一键保证在全系统的唯一性。

图2为根据本发明的唯一键的一个实施例的示意图。如图2所示：唯一键为具有64个比特的长整型，以0至63标识唯一键的每一位；第1部分为最高第0位为符号位，值恒为0；第2部分为第1至32位标识时间戳；时间戳的单位为秒，为当前的时间减去一个初始设置的时间戳；第3部分为第33位至50位，标识当前1s时间内序列器的值，序列器每秒进行更新，采用单调递增序列；第4部分为第51位至63位，标识节点分布式标识。

图3为根据本发明的分布式系统的唯一键生成装置的一个实施例的示意图。如图3所示，唯一键生成装置31包括：分配请求接收单元311、分布式标识生成单元312和唯一键分配单元313。

分配请求接收单元311接收到分布式系统中的节点请求分配唯一健的请求；分布式标识生成单元312为分布式系统中的每个节点生成唯一的分布式标识。分布式标识生成单元312也可以从分布式系统中的一个设备中获取每个节点的唯一的分布式标识。

唯一键分配单元313为节点分配唯一键。唯一键为长整型的数据类型，并且包括标识节点的分布式标识的多个比特。唯一键最高位为符号位，符号位的值恒设定为0。

图4为根据本发明的分布式系统的唯一键生成装置的另一个实施例的示意图。如图4所示：唯一键生成装置41包括：分配请求接收单元411、分布式标识生成单元412、唯一键分配单元413、时间戳生成单元414和序列号生成单元415。时间戳生成单元414生成标识时间戳的多个比特；其中，时间戳为当前的时间减去一个初始设置的时间戳；唯一键包括标识时间戳的多个比特。

序列号生成单元413生成标识序列号的多个比特；其中，序列号采用单调递增的正整数，唯一键包括标识序列号的多个比特。

根据本发明的一个实施例，唯一键为具有64个比特的长整型，以0至63标识唯一键的每一位；最高位设置单元将最高第0位的值恒设定为0；时间戳生成单元414生成16比特的时间戳；唯一键的第1至32位标识时间戳；时间戳的单位为秒，为当前的时间减去一个初始设置的时间戳；序列号生成单元415生成18比特的序列号；唯一键的第33位至50位标识序列号；

序列号生成单元415每秒都进行更新，所生成的序列号采用单调递增序列；分布式标识生成单元412生成13比特的节点分布式标识；唯一键的第51位至63位标识节点分布式标识。

根据本发明的一个实施例，一种分布式系统包括上述的分布式系统的唯一键生成装置。

本发明的分布式系统中生成唯一键的方法、装置及系统具有如下优点：

1)不存在单点故障。

2)可以适应大规模分布式系统。

3)唯一键的生成与外部环境无关，可以适应慢速、高延迟网络环境。

4)生成的键值采用64位长整型(LONG)方式，存储开销小。

5)生成的键值大体上基于时序分布，总体上可以保证键值的单向递增，可以进行比较、范围、排序处理。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (11)

1.一种在分布式系统中生成唯一键的方法，其特征在于，包括：

唯一键分配装置接收分布式系统中的节点请求分配唯一健的请求；

所述唯一键分配装置为所述节点分配唯一键；所述唯一键为长整型的数据类型，并且包括标识所述节点的分布式标识的多个比特；

其中，分布式系统中的每个节点的分布式标识为唯一值。

2.如权利要求1所述的方法，其特征在于：

所述唯一键的最高位为符号位，所述符号位的值恒为0。

3.如权利要求2所述的方法，其特征在于：

所述唯一键还包括：标识时间戳的多个比特；

其中，所述时间戳为当前的时间减去一个初始设置的时间戳。

4.如权利要求3所述的方法，其特征在于：

所述唯一键还包括：标识序列号的多个比特；

其中，所述序列号采用单调递增的正整数。

5.如权利要求4所述的方法，其特征在于：

所述唯一键为具有64个比特的长整型，以0至63标识所述唯一键的每一位；

最高第0位为符号位，值恒为0；

第1至32位标识时间戳；所述时间戳的单位为秒，为当前的时间减去一个初始设置的时间戳；

第33位至50位标识当前1s时间内序列器的值，所述序列器每秒进行更新，采用单调递增序列；

第51位至63位标识所述节点分布式标识。

6.一种分布式系统的唯一键生成装置，其特征在于，包括：

分配请求接收单元，用于接收到分布式系统中的节点请求分配唯一健的请求；

分布式标识生成单元，为分布式系统中的每个节点生成唯一的分布式标识；

唯一键分配单元，用于为所述节点分配唯一键；所述唯一键为长整型的数据类型，并且包括标识所述节点的分布式标识的多个比特。

7.如权利要求6所述的唯一键生成装置，其特征在于：

所述唯一键最高位为符号位，所述符号位的值恒设定为0。

8.如权利要求7所述的唯一键生成装置，其特征在于：

还包括时间戳生成单元，用于生成标识时间戳的多个比特；

其中，所述时间戳为当前的时间减去一个初始设置的时间戳；所述唯一键包括所述标识时间戳的多个比特。

9.如权利要求8所述的唯一键生成装置，其特征在于：

还包括序列号生成单元，用于生成标识序列号的多个比特；

其中，所述序列号采用单调递增的正整数，所述唯一键包括所述标识序列号的多个比特。

10.如权利要求9所述的唯一键生成装置，其特征在于：

所述唯一键为具有64个比特的长整型，以0至63标识所述唯一键的每一位；

所述最高位设置单元将最高第0位的值恒设定为0；

时间戳生成单元生成16比特的时间戳；所述唯一键的第1至32位标识时间戳；所述时间戳的单位为秒，为当前的时间减去一个初始设置的时间戳；

所述序列号生成单元生成18比特的序列号；所述唯一键的第33位至50位标识序列号；所述序列号生成单元每秒都进行更新，所生成的序列号采用单调递增序列；

分布式标识生成单元生成13比特的节点分布式标识；

所述唯一键的第51位至63位标识所述节点分布式标识。

11.一种分布式系统，其特征在于：

包括如权利要求6至10任意一项所述的分布式系统的唯一键生成装置。

Images