CN107454203A - 在分布式系统中生成唯一id的方法 - Google Patents

Abstract

本发明涉及分布式系统领域，特别涉及在分布式系统中生成唯一ID的方法，将ID进行分段赋值，分别存储宿主的APPID、宿主IP地址、时间戳和时间自增序列。通过不同数据模块的移位拼接，生成速度非常快。而且内部可以携带需要的业务信息，在分布式系统之间传输时能够方便的获取和分发信息。本发明方法在生成ID过程中，不会和任何外部存储设备通信，极大的降低了出错的可能性，并且加快了生成过程。此外本发明方法ID的生成基于时间戳，使得生成的ID单调有序。不仅如此本发明方法采取了将APPID，ip，毫秒时间，以及毫秒内序列号进行拼接，就意味着我们可以在整个ip范围内扩展，极大的满足了我们多应用分布式部署的需求。

Description

在分布式系统中生成唯一ID的方法

技术领域

本发明涉及分布式系统领域，特别涉及在分布式系统中生成唯一ID的方法。

背景技术

在进行分布式系统中，需要对系统中的机器、设备进行区分识别，为了识别这些不同系统中的不同机器设备，需要建立每个机器机器设备的身份序列号，这个序列号就是我们常说的ID，在一个系统中我们需要每个机器设备的ID是唯一的。

现有典型方案包括：1.数据库自增长序列或字段；方式：利用数据库，全数据库唯一，优点：简单，方便，性能可以接受，ID天然排序，缺点：有单点风险，当数据量超过数据库访问能力时，会遭遇扩展和性能瓶颈。2.UUID，方式：直接调用UUID函数或者第三方库生成，优点：简单，方便；缺点：ID没有排序，没有业务关联性。3.snowflake算法：方式：使用41bit作为毫秒数，10bit作为机器的ID(5个bit是数据中心，5个bit的机器ID)，12bit作为毫秒内的流水号(意味着每个节点在每毫秒可以产生4096个ID)，最后还有一个符号位，永远是0；优点：速度快，高并发，可扩展，缺点：由于只有10bit的机器ID，不能满足多agent部署需求，只能作为单独的ID生成服务，让请求ID的应用有外部网络依赖，不能有足够的业务信息。

目前的唯一ID生成方案一般存在以下几个严重问题：资源消耗大，方案本身就依赖外部存储设备，导致大量IO。例如数据方案就会直接依赖mysql，或者有些方案依赖redis；会和外部有大量网络IO，以及磁盘IO。ID没有排序，例如UUID方案，ID没有排序，并且没有业务相关的扩展。没有业务关联性，服务统一生成ID，请求ID的应用具有外部网络的依赖性，并且不能根据自己的业务需要进行优化和扩展。

当应用场景与业务关联性很强，比如需要和业务应用一道部署时，我们需要所生成的ID尽量携带相应信息；不要与外部有网络交互，由本地直接生成唯一ID，且具有资源消耗低，生成速度快，高并发性，高扩展性等功能时，现有的生成唯一ID的方法无法满足需求。找到一种唯一ID生成方案，满足扩展性，满足高并发，ID有顺序单调性，并且能直接在客户机上生成，对于很多基于agent部署的分布式系统至关重要。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供在分布式系统中生成唯一ID的方法，对ID进行分段赋值，携带我们需要的信息，通过不同数据模块的移位拼接；具有资源消耗小，计算速度快，高并发性，结合业务需要等优点。

为了实现上述发明目的，本发明提供了以下技术方案：

在分布式系统中生成唯一ID的方法：将ID进行分段赋值，分别存储宿主的APPID、宿主IP地址、时间戳和时间自增序列。

具体的，所述ID分为四段，共128bit，分为高64bit和低64bit；在高64bit中，高32bit存宿主系统的APPID的hashcode，低32bit存宿主的ip地址；在低64bit中，高1bit为0，中间41bit存时间戳，后22bit存内自增序列。

进一步的，所述唯一ID的生成过程包含以下实现步骤：

(1)定义long类型变量highID，根据宿主APPID的值，生成hashcode，将此hash的值左移32bit，赋值给highID。

(2)获取到宿主的ip字符串，将该IP字符串分割为4字符串，转为4个数字，第一个数字左移24bit，第二个数字左移16bit，第三个数字左移8bit，将四个数字位移后的值，与highID进行或运算，并将运算后的新值赋给highID；

(3)定义long类型变量lowID，调用系统函数获取到时间戳，将时间戳对应的数字左移22bit，赋值给lowID；

(4)生成自增序列，将自增序列与lowID进行或运算，并将运算后的新值赋值给lowID；

所述自增序列的产生过程如下：

(4-1)定义一个变量sequence，初始值设为0；读取时间戳中的毫秒值到预存毫秒值中；

(4-2)判断当前毫秒是否与预存值相同，如果相同，则sequence加1；如果不相同，执行(4-3)；

(4-3)sequence重置为0，并将当前毫秒值保存到预存毫秒值中；重新执行(4-2)；

(5)将highID与lowID进行拼接成为ID。

做为一种优化，时间戳值为＝获取到的毫秒时间戳-应用开始时间。

进一步的，将highID和lowID分别转化成对应的类型存储于不同的存储设备上。例如：在mysql中，使用两个bigint字段来存储ID，其中第一字段存储转化后的highID，第二字段存储转化后的lowID。或者在hbase中，将ID换算为32位的16进制字符串进行存储。

附图说明：

图1为本方法生成ID的结构示意图。

图2为本方法高64bit的计算过程示意图。

图3为本方法低64bit的计算过程示意图。

图4为自增序列的生成过程示意图。

有益效果：

本发明提供一种分布式环境下生成唯一ID的方法。通过不同数据模块的移位拼接，生成速度非常快。而且内部可以携带需要的业务信息，便于在分布式系统之间传输时，能够方便的获取和分发信息。本发明方法在生成ID过程中，不会和任何外部存储设备通信，极大的降低了出错的可能性，并且加快了生成过程。此外本发明方法ID的生成基于时间戳，使得生成的ID单调有序。不仅如此本发明方法采取了将APPID，ip，毫秒时间，以及毫秒内序列号进行拼接，就意味着我们可以在整个ip范围内扩展，极大的满足了多应用分布式部署的需求，特别适合应用于基于agent部署的分布式系统中。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

本发明提供在分布式系统中生成唯一ID的方法：将ID进行分段赋值，分别存储宿主的APPID、宿主ip地址、时间戳和时间自增序列。其中的APPID携带了需要的业务信息，ip地址的引入使得所生成的ID具有在整个ip地址范围内的扩展能力，满足了将多应用纳入分布式系统中的业务需要；时间戳和时间自增序列，保证了所生成ID的单调有序性。整个ID生成过程中在系统内部完成，不会和任何外部存储设备通信，极大的降低了出错的可能性，生成速度极快。本方法特别适用于在基于agent部署的分布式系中ID的产生。

具体的，如图1所示：所述ID分为四段，共128bit，分为高64bit和低64bit；在高64bit中，高32bit存宿主系统的APPID的hashcode，低32bit存宿主的ip地址；在低64bit中，高1bit为0，中间41bit存时间戳，后22bit存内自增序列。生成过程由不同的数据模块根据赋值信息进行位移拼接而成，计算速度非常快。时间戳设置为41位，可以保证20年内不产生重复ID的需要。而22位的自增长序列，能够满足系统中至少400万个设备在同一毫秒内生成不同ID的需要。低64bit中高1bit为设置为0，表示数值非负数。具体的字节数可以根据业务需要进行调整。

进一步的，所述唯一ID的生成过程包含以下实现步骤：

(1)定义long类型变量highID，根据宿主APPID的值，生成hashcode，将此hashcode的值左移32bit，赋值给highID。位移的过程中伴随着10进制到二进制的自动转换。

(2)获取到宿主的ip字符串，将该IP字符串分割为4字符串，转为4个数字，第一个数字左移24bit，第二个数字左移16bit，第三个数字左移8bit，将四个数字位移后的值与highID进行或运算，并将运算后的新值赋给highID；

比如说：某ip值为192.132.2.65；则根据ip字符串中的符号，将此ip值分割成192，132，2，65的4个数字，每个数字占8bit，将这4个数字分段赋值到highID的低32bit中；并通过与运算完成APPID与ip数字的拼接，完成highID赋值过程。高64bit赋值过程如图2所示，低64bit的赋值过程如图3所示。

(3)定义long类型变量lowID，调用系统函数获取到时间戳，将时间戳对应的数字左移22bit，赋值给lowID；时间戳是指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数；本方法所用的时间戳精确到毫秒级。为了降低运算量，可以选用分布式系统部署时间为基准来计算时间戳数，即以当前从设备中获取到的时间戳-系统部署时间来作为ID生成中的时间戳数值，比如说当前时间戳数值为X，系统部署时间为X1，ID生成中的时间戳Y＝X-X1。

(4)生成自增序列，将自增序列与lowID进行或运算，并将运算后的新值赋值给lowID；

所述自增序列的产生过程如图4所示：

(4-1)定义一个变量sequence，初始值设为0；读取时间戳中的毫秒值到预存毫秒值中；

(4-2)判断当前毫秒是否与预存值相同，如果相同，则sequence加1；如果不相同，执行(4-3)；

(4-3)sequence重置为0，并将当前毫秒值保存到预存毫秒值中；重新执行(4-2)；

(5)将highID与lowID进行拼接成为ID。

进一步的，将highID和lowID分别转化成对应的类型存储于不同的存储设备上。例如：在mysql中，使用两个bigint字段来存储ID，其中第一字段存储转化后的highID，第二字段存储转化后的lowID。或者在hbase中，将ID换算为32位的16进制字符串进行存储。

实施例1：

假设某宿主机上APPID号码为14678502，宿主机IP地址为192.132.2.65；时间戳为150034382；自增序列号为6，则ID的生成过程为：

进行高64bit计算：将主机上APPID号码为14678502左移32bit，将ip地址分割成：192，132，2，65，分别进行位移填充。

将APPID与ip地址进行或运算：

进行低64bit的赋值：首位置0，时间戳左移22bit，

将时间戳与自增序列号进行或运算

将高64bit与低64bit拼接在一起生成唯一ID：6304368927414739221705276340000006。

Claims (8)

1.在分布式系统中生成唯一ID的方法，其特征在于，将ID进行分段赋值，分别存储宿主的APPID、宿主IP地址、时间戳和时间自增序列。

2.如权利要求1所述的方法，其特征在于，所述ID分为四段，共128bit，分为高64bit和低64bit；

在高64bit中，高32bit存宿主系统的APPID的hashcode，低32bit存宿主的ip地址；

在低64bit中，高1bit为0，中间41bit存时间戳，后22bit存内自增序列。

3.如权利要求2所述的方法，其特征在于，唯一ID的生成过程包含以下实现步骤：

(1)定义long类型变量highID，根据宿主APPID的值，生成hashcode，将此hash的值左移32bit，赋值给highID。

(2)获取到宿主的ip字符串，将该IP字符串分割为4字符串，转为4个数字，第一个数字左移24bit，第二个数字左移16bit，第三个数字左移8bit，将四个数字位移后的值，与highID进行或运算，并将运算后的新值赋给highID；

(3)定义long类型变量lowID，调用系统函数获取到时间戳，将时间戳对应的数字左移22bit，赋值给lowID；

(4)生成自增序列，将自增序列与lowID进行或运算，并将运算后的新值赋值给lowID；

所述自增序列的产生过程如下：

(4-1)定义一个变量sequence，初始值设为0；读取时间戳中的毫秒值到预存毫秒值中；

(4-2)判断当前毫秒是否与预存值相同，如果相同，则sequence加1；如果不相同，执行(4-3)；

(4-3)sequence重置为0，并将当前毫秒值保存到预存毫秒值中；重新执行(4-2)；

(5)将highID与lowID进行拼接成为ID。

4.如权利要求3所述的方法，其特征在于，所述步骤(3)中，时间戳值为＝获取到的毫秒时间戳-应用开始时间。

5.如权利要求4所述的方法，其特征在于，将highID和lowID分别转化成对应的类型存储于不同的存储设备上。

6.如权利要求5所述的方法，其特征在于，在mysql中，使用两个bigint字段来存储ID，其中第一字段存储转化后的highID，第二字段存储转化后的lowID。

7.如权利要求5所述的方法，其特征在于，在hbase中，将ID换算为32位的16进制字符串进行存储。

8.如权利要求7所述的方法，其特征在于，APPID、宿主IP地址、时间戳和时间自增序列的存储字节数根据业务需要来进行设置。