CN114153846A - 一种快速生成分布式系统唯一id的方法及装置 - Google Patents

一种快速生成分布式系统唯一id的方法及装置 Download PDF

Info

Publication number
CN114153846A
CN114153846A CN202111429319.2A CN202111429319A CN114153846A CN 114153846 A CN114153846 A CN 114153846A CN 202111429319 A CN202111429319 A CN 202111429319A CN 114153846 A CN114153846 A CN 114153846A
Authority
CN
China
Prior art keywords
sequence
unique
machine
millisecond
distributed system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111429319.2A
Other languages
English (en)
Inventor
熊平
曹海龙
陈德勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wuyou Chuangxiang Information Technology Co ltd
Original Assignee
Beijing Wuyou Chuangxiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wuyou Chuangxiang Information Technology Co ltd filed Critical Beijing Wuyou Chuangxiang Information Technology Co ltd
Priority to CN202111429319.2A priority Critical patent/CN114153846A/zh
Publication of CN114153846A publication Critical patent/CN114153846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种快速生成分布式系统唯一ID的方法及装置，所述方法包括如下步骤：步骤S1，每个项目启动时，获取并计算当前时间戳差值；步骤S2，从Redis缓存中获取存储的自增值，利用该自增值计算获得数据标识ID和机器ID；步骤S3，判断当前时间是否小于当前项目上一次的ID生成时间；步骤S4，根据步骤S3的判断结果进行毫秒内序列计数；步骤S5，将得到的时间戳差值、数据标识ID、机器ID以及毫秒内序列进行融合，得到最终的分布式系统唯一ID。

Description

一种快速生成分布式系统唯一ID的方法及装置
技术领域
本发明涉及分布式系统技术领域，特别是涉及一种快速生成分布式系统唯一ID的方法及装置。
背景技术
系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，例如在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识，例如生成唯一主键，或者是生成消息队列的唯一消息ID，并且随着计算机技术的发展，对于不同的业务的产品系统中的数据也随之增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，因此，针对每一条数据或消息生成全局唯一ID的系统是非常必要的。
现有的典型方案包括如下几种：
1、数据库自增长序列或字段方式：是最常见的方式，利用数据库，全数据库唯一。
该方案的优点是：1)简单，代码方便，性能可以接受；2)数字ID天然排序，对分页或者需要排序的结果很有帮助。
然而，该方案也存在如下缺点：1)不同数据库语法和实现不同，数据库迁移的时候或多数据库版本支持的时候需要处理；2)在单个数据库或读写分离或一主多从的情况下，只有一个主库可以生成。有单点故障的风险；3)在性能达不到要求的情况下，比较难于扩展；4)如果遇见多个系统需要合并或者涉及到数据迁移会相当痛苦；5)分表分库的时候会有麻烦。
2、UUID(Universally Unique IDentifier，通用唯一识别码)方式：可以利用数据库也可以利用程序生成，一般来说全球唯一。
该方案的优点是：1)简单，代码方便；2)生成ID性能非常好，基本不会有性能问题；3)全球唯一，在遇见数据迁移，系统数据合并，或者数据库变更等情况下，可以从容应对。
然而，其也存在如下缺点：1)没有排序，无法保证趋势递增；2)UUID往往是使用字符串存储，查询的效率比较低；3)存储空间比较大，如果是海量数据库，就需要考虑存储量的问题；4)传输数据量大；5)不可读。
3、利用Redis(高性能的key-value数据库)生成ID方式：
该方式依赖于Redis是单线程的，所以也可以用生成全局唯一的ID，可以用Redis的原子操作INCR和INCRBY来实现。具体地，可以使用Redis集群来获取更高的吞吐量，假如一个集群中有5台Redis，可以初始化每台Redis的值分别是1,2,3,4,5，然后步长都是5。各个Redis生成的ID为：
A：1,6,11,16,21
B：2,7,12,17,22
C：3,8,13,18,23
D：4,9,14,19,24
E：5,10,15,20,25
请求随便负载到哪个机器都已经确定好了。其实使用3-5台服务器基本能够满足获得不同的ID。使用Redis集群方式防止单点故障的问题。
另外，比较适合使用Redis来生成每天从0开始的流水号。比如订单号＝日期+当日自增长号。可以每天在Redis中生成一个Key，使用INCR进行累加。
上述方式的优点在于：1)不依赖于数据库，灵活方便，且性能优于数据库；2)数字ID天然排序，对分页或者需要排序的结果很有帮助。
但上述方式也有缺点，缺点如下：1)如果系统中没有Redis，还需要引入新的组件，增加系统复杂度；2)需要编码和配置的工作量比较大。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种快速生成分布式系统唯一ID的方法及装置，以实现快速生成分布式系统唯一ID的目的。
为达上述目的，本发明提出一种快速生成分布式系统唯一ID的方法，包括如下步骤：
步骤S1，每个项目启动时，获取并计算当前时间戳差值；
步骤S2，从Redis缓存中获取存储的自增值，利用该自增值计算获得数据标识ID和机器ID；
步骤S3，判断当前时间是否小于当前项目上一次的ID生成时间；
步骤S4，根据步骤S3的判断结果进行毫秒内序列计数；
步骤S5，将得到的当前时间戳差值、数据标识ID、机器ID以及毫秒内序列进行融合，得到最终的分布式系统唯一ID。
优选地，于步骤S1中，获取当前时间戳与开始时间戳，并计算当前时间戳与开始时间戳的差值作为所述当前时间戳差值。
优选地，步骤S2进一步包括：
步骤S200，根据所要生成的数据标识ID和机器ID的数值类型构建key值与value值的映射表；
步骤S201，根据所要生成的工作机器ID的位数将获得的自增值与相应位数的二进制最大值进行与运算，并将与运算的结果转化为所要生成的工作机器ID的数值类型；
步骤S202，获取转换后的结果，将其转换为字符串类型，并分别获取其中的字符串，于所述映射表中获取对应的value值作为对应的数据标识ID和机器ID。
优选地，于步骤S201中，将获得的自增ID与1023进行与运算，并将结果转化为32进制，得到两位的32进制结果。
优选地，于步骤S202中，获取转换后的32进制结果，将其转换为字符串类型，并分别获取其中的第一个和第二个字符串，于所述映射表中获取对应的value值作为对应的数据标识ID和机器ID。
优选地，步骤S4进一步包括：
步骤S400，若当前时间大于当前项目上一次的ID生成时间，则将毫秒内序列重置为0，进入步骤S5；
步骤S401，若当前时间等于当前项目上一次的ID生成时间，则获取毫秒内序列，并将其加1后与所要得到的毫秒内序列位数的最大值进行与运算，若得到的结果为0，则重新获取新时间戳后进入步骤S5，否则直接进入步骤S5；
步骤S402，若当前时间小于当前项目上一次的ID生成时间，则抛出异常。
优选地，所述毫秒内序列采用12位序列表示毫秒内序列号，12位的计数顺序号支持每个节点每毫秒产生4096个ID序号。
优选地，于步骤S5中，所述融合的步骤包括：
将得到的当前时间戳差值左移22位；
将数据标识ID左移17位；
将机器标识ID左移12位；
将左移22位的当前时间戳差值、左移17位的数据标识ID、左移12位的机器标识ID、毫秒内计数序列进行或运算，得到最终的分布式系统唯一ID。
为达到上述目的，本发明还提供一种快速生成分布式系统唯一ID的装置，包括：
时间戳获取单元，用于在每个项目启动时，获取并计算当前时间戳差值；
工作机器ID计算单元，用于从Redis缓存中获取存储的自增值，利用该自增值计算获得数据标识ID和机器标识ID，作为工作机器ID；
时间判断单元，用于判断当前时间是否小于上一次的ID生成时间；
毫秒内计数序列计算单元，用于根据所述时间判断单元的判断结果进行毫秒内序列计数；
融合单元，用于将得到的当前时间戳差值、数据标识ID、机器ID以及毫秒内序列进行融合，得到最终的分布式系统唯一ID。
优选地，于所述毫秒内计数序列计算单元中，若当前时间大于上一次的ID生成时间，则将毫秒内序列重置为0后，进入所述融合单元；若当前时间等于上一次的ID生成时间，则获取毫秒内序列，并将其加1后与所要得到的毫秒内序列位数的最大值进行与运算，若得到的结果为0，则重新获取新时间戳后进入融合单元，否则直接进入融合单元。
与现有技术相比，本发明一种快速生成分布式系统唯一ID的方法及装置通过利用Redis中维护一个自增值，利用该自增值在项目启动时计算得到数据标识ID及机器标识ID，并通过获取时间戳差值、毫秒内计数序列对其融合，实现了快速生成分布式系统唯一ID的目的，解决了分布式系统中数据标识ID和机器ID，在多实例情况下的唯一性问题，保证了分布式系统唯一ID，本发明支持每个服务最多达1024台实例同时在线，并且项目一旦启动每个实例的数据标识ID和机器ID标识即初始化完成。
附图说明
图1为本发明一种快速生成分布式系统唯一ID的方法的步骤流程图；
图2为本发明具体实施例中分布式系统唯一ID的结构图；
图3为本发明一种快速生成分布式系统唯一ID的装置的系统架构图；
图4为本发明实施例中生成分布式系统唯一ID的流程图；
图5为本发明实施例中生成数据标识ID和机器标识ID的流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种快速生成分布式系统唯一ID的方法的步骤流程图。如图1所示，本发明一种快速生成分布式系统唯一ID的方法，包括如下步骤：
步骤S1，每个项目(即服务器实例)启动时，获取并计算当前时间戳差值(当前时间和开始时间startTime的差值，其中startTime可以指定为固定值)。
在本发明具体实施例中，所生成的分布式ID中包含有时间戳信息，该时间戳信息不是存储当前时间的时间戳，而是时间戳差值，即当前时间戳-开始时间戳得到的值，这里的开始时间戳，一般是本发明之ID生成装置开始使用的时间，由程序来指定的(startTime属性)。
步骤S2，从Redis缓存中获取存储的自增值，利用该自增值计算获得数据标识ID和机器ID。
也就是说，本发明之生成分布式系统唯一ID的方法是基于Redis数据库的，每个项目在Redis中维护一个自增ID，每次项目启动时可获取该自增ID。
具体地，步骤S2进一步包括：
步骤S200，根据所要生成的数据标识ID和机器ID的数值类型构建key值与value值的映射表(map)。
在本发明具体实施例中，使用两位32进制数值表示数据标识ID和机器ID(即数据ID和机器ID共占用10bit，各占用5bit)，其中高位为数据标识ID，低位为机器ID标识，因此构建映射表(map)存储key为0～9，a～v的值，对应的value分别为0～31，如下表1所示：
表1
key value key value key value key value
0 0 1 1 2 2 3 3
4 4 5 5 6 6 7 7
8 8 9 9 a 10 b 11
c 12 d 13 e 14 f 15
g 16 h 17 i 18 j 19
k 20 l 21 m 22 n 23
o 24 p 25 q 26 r 27
s 28 t 29 u 30 v 31
步骤S201，根据所要生成的工作机器ID的位数将获得的自增值与相应位数的二进制最大值进行与运算，并将与运算的结果转化为32进制，得到两位的32进制结果。
在本发明具体实施例中，所要生成的工作机器ID(包括数据标识ID与机器ID标识)为10位二进制数，因此为了防止得到的数值超过1024，即2的10次方，因此将redis中维护的自增ID与1023进行与运算，当然将自增值与1024进行取余也可以，但与运算相对取余效率更高。
每次项目启动时，从redis获取项目设置的某个key对应的值id，如redis不存在则为1，若存在则将该值加1，更新redis并返回加1后的值id，假设当前值为自增ID＝10，
将得到的自增ID(10)和1023进行与运算，即
00 0000 1010
11 1111 1111
00 0000 1010
根据上面与运算，10&1023的结果等于10，并将其转化为32进制，结果为a，得到的值不足2位则左补零，故可得0a。
步骤S202，分别获取转换后的32进制结果，将其转换为字符串类型，并获取其中的第一个和第二个字符串，于映射表(map)中获取对应的value值作为对应的数据标识ID和机器ID。
在本发明具体实施例中，将32进制结果“0a”转化为字符串类型，并拆分成key1＝0和key2＝a，然后从表1的map中获取对应的value值作为对应的数据标识ID和机器标识ID，从而得到数据标识ID为0，机器标识ID为10。
步骤S3，判断当前时间是否小于本项目上一次的ID生成时间。
具体地，通过long now＝System.currentTimeMillis()获取当前时间戳，将其与当前项目上一次的ID生成时间的时间戳进行比对。
步骤S4，根据步骤S3的判断结果进行毫秒内序列计数。
具体地，步骤S4进一步包括：
步骤S400，若当前时间大于本项目上一次的ID生成时间，则将毫秒内序列重置为0，进入步骤S5。
在本发明具体实施例中，在生成的分布式唯一ID中，采用12位序列用来表示毫秒内序列号，即毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间戳)产生4096个ID序号。
步骤S401，若当前时间小于本项目上一次的ID生成时间，则抛出异常，无需时间回退。
具体地说，当根据步骤S3的判断结果得出当前时间小于本项目上一次的ID生成时间，则显示异常，需要运维手动调整。
步骤S402，若当前时间等于本项目上一次的ID生成时间(由于本发明采用的是毫秒级的时间戳，在大量请求并发情况下，当前时间与本项目上一次ID生成时间可能相同)，则获取毫秒内序列，并将其加1后与所要得到的毫秒内序列位数的最大值进行与运算，若得到的结果为0，则重新获取新时间戳后进入步骤S5，否则直接进入步骤S5。
在生成当前时间戳时，使用long now＝System.currentTimeMillis()获取，它是个毫秒级的时间戳，但是即使是这么短的时间，对于计算机来说也足够生成很多个id，所以很多id可能会在同一个毫秒内生成，也就是时间部分的数值相同，此时则需让同一个毫秒内生成的id加上毫秒内序列标识，在本发明具体实施例中，该毫秒内序列标识通过获取毫秒内序列，将其加1后与所要得到的毫秒内序列位数的最大值进行与运算获得，本发明采用12位序列用来表示毫秒内序列号，那么毫秒内序列标识的范围就是4095到0之间的数字，如果毫秒内访问的数量超过该限制，则只能强制等到下一毫秒再生产ID。
步骤S5，将得到的当前时间戳差值、数据标识ID、机器ID以及毫秒内序列进行融合，得到最终的分布式系统唯一ID。
在本发明具体实施例中，所要生成的分布式系统唯一ID的结构如图2所示，其具体结构如下：
1位标识，由于long基本类型在Java中是带符号的，最高位是符号位，正数是0，负数是1，所以id一般是正数，最高位是0，暂且不使用。
41位时间戳(毫秒级)：在本发明中，该41位时间戳不是存储当前时间的时间戳，而是存储时间戳的差值(当前时间戳-开始时间戳)得到的值，这里的的开始时间戳，一般是我们的id生成器开始使用的时间，由我们程序来指定的(startTime属性)。本发明采用41位的时间戳，可以使用69年，即：年T＝(1L<<41)/(1000L*60*60*24*365)＝69。
10位的数据机器位：可以部署在1024个节点，包括5位datacenterId和5位workerId
12位序列：毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间戳)产生4096个ID序号。
以上加起来总共64位，即分布式系统唯一ID为64位，其为一个Long型。本发明之分布式唯一ID结构的优点是：整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分)，并且效率较高，经测试，每秒能够产生26万ID左右。
在本发明具体实施例中，针对该分布式唯一ID的结构，将得到的当前时间戳差值、数据标识ID、机器ID以及毫秒内序列进行融合的过程如下：
先将得到的当前时间戳差值(当前时间戳-开始时间戳)左移22位，然后将数据标识ID左移17位，再将机器标识ID左移12位，然后将左移22位的时间戳差值、左移17位的数据标识ID、左移12位的机器标识ID、毫秒内计数序列进行或运算，得到最终的分布式系统唯一ID。
图3为本发明一种快速生成分布式系统唯一ID的装置的系统架构图。如图3所示，本发明一种快速生成分布式系统唯一ID的装置，包括：
时间戳获取单元301，用于在每个项目启动时，获取并计算当前时间戳差值，即当前时间与开始时间startTime的差值，其中startTime可以指定为固定值)。
在本发明具体实施例中，所要生成的分布式ID中包含有时间戳信息，该时间戳信息不是存储当前时间的时间戳，而是时间戳差值，即当前时间戳-开始时间戳得到的值，这里的的开始时间戳，一般是ID生成器开始使用的时间，由程序来指定的(startTime属性)。
工作机器ID计算单元302，从Redis缓存中获取存储的自增值，利用该自增值计算获得数据标识ID和机器标识ID，作为工作机器ID。
也就是说，本发明之生成分布式系统唯一ID的方法是基于Redis数据库的，每个项目在Redis中维护一个自增ID，每次项目启动时可获取该自增ID。
具体地，工作机器ID计算单元302进一步包括：
映射表构建模块，用于根据所要生成的数据标识ID和机器ID的数值类型构建key值与value值的映射表(map)。
在本发明具体实施例中，使用两位32进制数值表示数据标识ID和机器ID，其中高位为数据标识ID，低位为机器ID标识，因此构建映射表(map)存储key为0～9，a～v的值，对应的value分别为0～31。
自增值获取及计算模块，用于根据所要生成的工作机器ID的位数将获得的自增值与相应位数的二进制最大值进行与运算，并将与运算的结果转化为32进制，得到两位的32进制结果。
在本发明具体实施例中，所要生成的工作机器ID(包括数据标识ID与机器ID标识)为10位二进制数，因此为了防止得到的数值超过1024，即2的10次方，因此将redis中维护的自增ID与1023进行与运算，当然将自增值与1024进行取余也可以，但与运算相对取余效率更高。
每次项目启动时，从redis获取项目设置的某个key对应的值id，如redis不存在则为1，若存在则将该值加1，更新redis并返回加1后的值id，假设当前值为自增ID＝10，
将得到的自增ID(10)和1023进行与运算，即
00 0000 1010
11 1111 1111
00 0000 1010
根据上面与运算，10&1023的结果等于10，并将其转化为32进制，结果为a，得到的值不足2位则左补零，故可得0a。
数据标识ID及机器标识ID确定模块，用于分别获取转换后的32进制结果，将其转换为字符串类型，并获取其中的第一个和第二个字符串，于映射表(map)中获取对应的value值作为对应的数据标识ID和机器ID。
在本发明具体实施例中，将32进制结果“0a”转化为字符串类型，并拆分成key1＝0和key2＝a，然后从表1的map中获取对应的value值作为对应的数据标识ID和机器标识ID，从而得到数据标识ID为0，机器标识ID为10。
时间判断单元303，用于判断当前时间是否小于本项目上一次的ID生成时间。
毫秒内计数序列计算单元304，用于根据时间判断单元302的判断结果进行毫秒内序列计数，若当前时间大于本项目上一次的ID生成时间，则将毫秒内序列重置为0后，进入融合单元305，若当前时间等于上一次的ID生成时间，则获取毫秒内序列，并将其加1后与所要得到的毫秒内序列位数的最大值进行与运算，若得到的结果为0，则重新获取新时间戳后进入融合单元304，否则直接进入融合单元305；若当前时间小于上一次的ID生成时间，则抛出异常，无需时间回退。
在本发明具体实施例中，在生成的分布式唯一ID中，采用12位序列用来表示毫秒内序列号，即毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间戳)产生4096个ID序号。
融合单元305，用于将得到的当前时间戳差值、数据标识ID、机器ID以及毫秒内序列进行融合，得到最终的分布式系统唯一ID。
在本发明具体实施例中，针对该分布式唯一ID的结构，融合单元305将得到的当前时间戳差值、数据标识ID、机器ID以及毫秒内序列进行融合的过程如下：
先将得到的当前时间戳差值(当前时间戳-开始时间戳)左移22位，然后将数据标识ID左移17位，再将机器标识ID左移12位，然后将左移22位的时间戳差值、左移17位的数据标识ID、左移12位的机器标识ID、毫秒内计数序列进行或运算，得到最终的分布式系统唯一ID。
实施例
图4为本发明实施例中生成分布式系统唯一id的流程图，在本实施例中，生成分布式系统唯一id的过程如下：
步骤1，在项目启动时根据上述步骤S2的过程得到数据标识ID和机器ID。
图5为本发明实施例中生成数据标识ID和机器标识ID的流程图。在本实施例中，步骤1进一步包括：
步骤1.1，使用映射表map存储key为0～9、a～v的值并将其分别设置为与0～31相对应(如下表所示)。
key value key value key value key value
0 0 1 1 2 2 3 3
4 4 5 5 6 6 7 7
8 8 9 9 a 10 b 11
c 12 d 13 e 14 f 15
g 16 h 17 i 18 j 19
k 20 l 21 m 22 n 23
o 24 p 25 q 26 r 27
s 28 t 29 u 30 v 31
1.2服务启动时获取Redis缓存中维护的一个自增值idlncr，将该值idlncr和1023做与运算得到范围rangeId，将得到的值rangeId转换为32进制rangeStr，若该值rangeStr不足2位则左补零，分别获取转换后的rangeStr的第一个和第二个字符串对应的map中的值即为对应的数据标识ID和机器标识ID。
在本实施例中，使用两位32进制数值表示数据标识ID和机器ID，其中高位为数据标识ID，低位为机器标识ID，相对应key值的value值即为是十进制ID值。
步骤2，判断当前时间是否小于上一次的ID生成时间。
步骤3，若当前时间大于上一次的ID生成时间，则将毫秒内序列重置为0。
在本发明具体实施例中，在生成的分布式唯一ID中，采用12位序列用来表示毫秒内序列号，即毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间戳)产生4096个ID序号。
步骤4，若当前时间等于上一次的ID生成时间，则获取毫秒内序列，并将其加1后与所要得到的毫秒内序列位数的最大值进行与运算，若得到的结果为0，则重新获取新时间戳，否则直接进入步骤5
步骤5，将得到的当前时间戳差值(当前时间戳-开始时间戳)左移22位，然后将数据标识ID左移17位，再将机器标识ID左移12位，最后将左移22位的时间戳差值、左移17位的数据标识ID、左移12位的机器标识ID、毫秒内计数序列进行或运算，得到最终的分布式系统唯一ID。
以下为本发明实施例中利用本发明生成不同ID数量的耗时统计(算法生成id需要时间(单位：毫秒))：
Figure BDA0003379643690000151
可见，通过本发明，实现了快速高效生成分布式系统唯一ID的目的。
综上所述，本发明一种快速生成分布式系统唯一ID的方法及装置通过利用Redis中维护一个自增值，利用该自增值在项目启动时计算得到数据标识ID及机器标识ID，并通过获取时间戳差值、毫秒内计数序列对其融合，实现了快速生成分布式系统唯一ID的目的，解决了分布式系统中数据标识ID和机器ID，在多实例情况下的唯一性问题，保证了分布式系统唯一ID，本发明支持每个服务最多达1024台实例同时在线，并且项目一旦启动每个实例的数据标识ID和机器ID标识即初始化完成。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种快速生成分布式系统唯一ID的方法，包括如下步骤：
步骤S1，每个项目启动时，获取并计算当前时间戳差值；
步骤S2，从Redis缓存中获取存储的自增值，利用该自增值计算获得数据标识ID和机器ID；
步骤S3，判断当前时间是否小于当前项目上一次的ID生成时间；
步骤S4，根据步骤S3的判断结果进行毫秒内序列计数；
步骤S5，将得到的当前时间戳差值、数据标识ID、机器ID以及毫秒内序列进行融合，得到最终的分布式系统唯一ID。
2.如权利要求1所述的一种快速生成分布式系统唯一ID的方法，其特征在于，于步骤S1中，获取当前时间戳与开始时间戳，并计算当前时间戳与开始时间戳的差值作为所述当前时间戳差值。
3.如权利要求1所述的一种快速生成分布式系统唯一ID的方法，其特征在于，步骤S2进一步包括：
步骤S200，根据所要生成的数据标识ID和机器ID的数值类型构建key值与value值的映射表；
步骤S201，根据所要生成的工作机器ID的位数将获得的自增值与相应位数的二进制最大值进行与运算，并将与运算的结果转化为所要生成的工作机器ID的数值类型；
步骤S202，获取转换后的结果，将其转换为字符串类型，并分别获取其中的字符串，于所述映射表中获取对应的value值作为对应的数据标识ID和机器ID。
4.如权利要求3所述的一种快速生成分布式系统唯一ID的方法，其特征在于：于步骤S201中，将获得的自增ID与1023进行与运算，并将结果转化为32进制，得到两位的32进制结果。
5.如权利要求4所述的一种快速生成分布式系统唯一ID的方法，其特征在于：于步骤S202中，获取转换后的32进制结果，将其转换为字符串类型，并分别获取其中的第一个和第二个字符串，于所述映射表中获取对应的value值作为对应的数据标识ID和机器ID。
6.如权利要求5所述的一种快速生成分布式系统唯一ID的方法，其特征在于，步骤S4进一步包括：
步骤S400，若当前时间大于当前项目上一次的ID生成时间，则将毫秒内序列重置为0，进入步骤S5；
步骤S401，若当前时间等于当前项目上一次的ID生成时间，则获取毫秒内序列，并将其加1后与所要得到的毫秒内序列位数的最大值进行与运算，若得到的结果为0，则重新获取新时间戳后进入步骤S5，否则直接进入步骤S5；
步骤S402，若当前时间小于当前项目上一次的ID生成时间，则抛出异常。
7.如权利要求6所述的一种快速生成分布式系统唯一ID的方法，其特征在于：所述毫秒内序列采用12位序列表示毫秒内序列号，12位的计数顺序号支持每个节点每毫秒产生4096个ID序号。
8.如权利要求6所述的一种快速生成分布式系统唯一ID的方法，其特征在于，于步骤S5中，所述融合的步骤包括：
将得到的当前时间戳差值左移22位；
将数据标识ID左移17位；
将机器标识ID左移12位；
将左移22位的当前时间戳差值、左移17位的数据标识ID、左移12位的机器标识ID、毫秒内计数序列进行或运算，得到最终的分布式系统唯一ID。
9.一种快速生成分布式系统唯一ID的装置，包括：
时间戳获取单元，用于在每个项目启动时，获取并计算当前时间戳差值；
工作机器ID计算单元，用于从Redis缓存中获取存储的自增值，利用该自增值计算获得数据标识ID和机器标识ID，作为工作机器ID；
时间判断单元，用于判断当前时间是否小于上一次的ID生成时间；
毫秒内计数序列计算单元，用于根据所述时间判断单元的判断结果进行毫秒内序列计数；
融合单元，用于将得到的当前时间戳差值、数据标识ID、机器ID以及毫秒内序列进行融合，得到最终的分布式系统唯一ID。
10.如权利要求9所述的一种快速生成分布式系统唯一ID的装置，其特征在于，于所述毫秒内计数序列计算单元中，若当前时间大于上一次的ID生成时间，则将毫秒内序列重置为0后，进入所述融合单元；若当前时间等于上一次的ID生成时间，则获取毫秒内序列，并将其加1后与所要得到的毫秒内序列位数的最大值进行与运算，若得到的结果为0，则重新获取新时间戳后进入融合单元，否则直接进入融合单元。
CN202111429319.2A 2021-11-29 2021-11-29 一种快速生成分布式系统唯一id的方法及装置 Pending CN114153846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111429319.2A CN114153846A (zh) 2021-11-29 2021-11-29 一种快速生成分布式系统唯一id的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111429319.2A CN114153846A (zh) 2021-11-29 2021-11-29 一种快速生成分布式系统唯一id的方法及装置

Publications (1)

Publication Number Publication Date
CN114153846A true CN114153846A (zh) 2022-03-08

Family

ID=80454438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111429319.2A Pending CN114153846A (zh) 2021-11-29 2021-11-29 一种快速生成分布式系统唯一id的方法及装置

Country Status (1)

Country Link
CN (1) CN114153846A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115729978A (zh) * 2022-11-24 2023-03-03 湖南长银五八消费金融股份有限公司 流水号生成方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115729978A (zh) * 2022-11-24 2023-03-03 湖南长银五八消费金融股份有限公司 流水号生成方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
JP6088506B2 (ja) 範囲に基づく検索のためのデータ格納の管理
Manku et al. Random sampling techniques for space efficient online computation of order statistics of large datasets
US20200242167A1 (en) Graph database super vertex partitioning
US8229902B2 (en) Managing storage of individually accessible data units
US20130191523A1 (en) Real-time analytics for large data sets
US10620830B2 (en) Reconciling volumelets in volume cohorts
WO2019174414A1 (zh) 图像检索方法、装置、系统、服务器以及存储介质
US8271523B2 (en) Coordination server, data allocating method, and computer program product
US20090157701A1 (en) Partial key indexes
US20090077078A1 (en) Methods and systems for merging data sets
CN109947411B (zh) 分布式软件生成唯一id主键的方法
US11288274B1 (en) System and method for storing data for, and providing, rapid database join functions and aggregation statistics
WO2022083436A1 (zh) 数据处理方法、装置、设备及可读存储介质
CN111353275A (zh) 一种分布式系统唯一标识符及其生成方法
CN114153846A (zh) 一种快速生成分布式系统唯一id的方法及装置
CN111917834A (zh) 一种数据同步方法、装置、存储介质及计算机设备
CN111126002A (zh) 一种数据全局唯一性标识id的生成方法及系统
US10698955B1 (en) Weighted abstract path graph database partitioning
CN111400301B (zh) 一种数据查询方法、装置及设备
CN1791873A (zh) 还原数据库系统中的对象和从属对象
CN117171161A (zh) 数据查询方法及装置
CN111428140B (zh) 高并发数据检索方法、装置、设备及存储介质
CN111061719A (zh) 数据收集方法、装置、设备和存储介质
US10353920B2 (en) Efficient mirror data re-sync
EP3084647A1 (en) Reconciling volumelets in volume cohorts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination