CN111353275B - 一种分布式系统唯一标识符及其生成方法 - Google Patents

Abstract

本发明提供了一种分布式系统生成唯一标识的方法以及该方法获得的分布式系统的唯一标识符。该方法通过将包括数据类型代码、IP数字地址、时间截和自增序列在内的多种信息依设定顺序拼接后得到的多位数的唯一标识符，可以获得在分布系统内的唯一性；并且，该方法资源消耗小、并发性高。

Description

一种分布式系统唯一标识符及其生成方法

技术领域

本发明涉及一种对分布式系统进行标识的方法，特别涉及一种在分布式系统中生成唯一标识符的方法，属于分布式系统领域。

背景技术

分布式系统是建立在网络之上的软件系统，处理各项协助的任务，整合得到结果。分布式系统拥有多种通用的物理和逻辑资源，可以动态的分配任务，分散的物理和逻辑资源通过计算机网络实现信息交换。分布式系统通过分布式操作系统以全局的方式管理计算机资源。

在分布式系统的使用过程中，有很多场景需要获得一个全局的唯一标识符，用来区分获得的数据。这个标识符需要满足：全局唯一，不能出现重复；节点间的数据便于合并等操作要求。

现有技术中获得标识符的方法有多种，例如，利用数据库带有的自增长序列功能获得，可以充分利用数据的自增长序列功能，可靠性高，使用方便；但是过分依赖数据库功能，使得数据库的压力较大。

又如，由算法机器生成的UUID(Universally Unique Identifier)，为了保证UUID的唯一性，规范定义了包括网卡MAC地址、时间戳、名字空间、随机或伪随机数、时序等元素，以及从这些元素生成UUID的算法。UUID的复杂特性在保证了其唯一性的同时，意味着只能由计算机生成。使用UUID可以本地生成ID，延时低，性能高；但是UUID过长，很多场景不适用，比如用UUID做数据库索引字段；另外，UUID没有排序，无法保证趋势递增。

又如，使用由Flickr团队提出的Flicker方法，主要采用了MySQL的auto_increment(字段的自增属性)和replace into。为了避免单点故障，最少需要两个数据库实例，通过区分auto_increment的起始值和步长来生成奇偶数的ID。该方法充分利用数据库的自增序列机制，可靠性高；但是自增序列性能依赖单台数据库的读写性能，当数据库异常时整个系统不可用。

又如，使用类Snowflacke方法，其生成一个被划分成四个段的64bit的数字，其中，1位的不适用位；41位的时间截(精确到毫秒，41位的长度可以使用69年)；10位的机器标识(10位的长度最多支持部署1024个节点)；12位的序列号(12位的计数顺序号支持每个节点每毫秒产生4096个ID序号)。该方法的优点为：时间戳在高位，自增序列在低位，整个ID是趋势递增的，按照时间有序。性能高，每秒可生成几百万ID，可以根据自身业务需求灵活调整bit位划分，满足不同需求。其缺点也很明显，依赖机器时钟，如果机器时钟回拨，会导致重复ID生成；标识符在单机上是递增的，但是涉及到分布式环境时每台机器上的时钟不可能完全同步，有时候会出现不是全局递增的情况。

也有使用TDDL序列的方法，TDDL是数据库分库分表中间件，其使用数据库同步唯一标识符信息。TDDL生成方式为：每次批量取一定数量的可用唯一标识符在内存中，使用完后再请求数据库重新获取下一批可用唯一标识符。每个业务给自己的序列起个唯一的名字，隔离各个业务系统的唯一标识符。该方法可以降低数据库写压力；生成唯一标识符性能大幅度提高；不同业务使用别名区分，相互隔离。但是强依赖数据库，当数据库异常时，这个功能将不可用。

基于上述问题，本发明人在现有技术的基础上进行改进，提供了一种分布式系统生成唯一标识的方法。

发明内容

为了解决上述问题，本发明人进行了锐意研究，结果发现：通过将包括数据类型代码、IP数字地址、时间截和自增序列在内的多种信息依设定顺序拼接后得到的多位数的唯一标识符，可以获得在分布系统内的唯一性；并且，该方法资源消耗小、并发性高，从而完成了本发明。

本发明的目的在于提供以下方面：

第一方面，本发明提供一种分布式系统生成唯一标识符的方法，包括以下步骤：

a)根据数据类型，从预定义的字典中获取数据类型代码；

b)将申请唯一标识符节点的IP地址转换成IP数字地址；

c)获得申请唯一标识符的时间截；

e)将上述步骤中生成的数据类型代码、IP数字地址和时间截依设定顺序拼接组成唯一标识符。

其中，在步骤a)中，所述数据类型代码选用中文文字/拼音、阿拉伯数字、英文字母、希腊字母、特殊符号或标点符号中的任意或组合；优选使用阿拉伯数字和英文字母中的任意或组合进行标识。

所述数据类型代码的位数在1位以上，优选为2～10位，更优选为3～6位。

在步骤b)中，所述IP数字地址为IP地址转换后的十进制数字。

所述IP数字地址为11位数；当十进制数字不足11位数时，在十进制数字的第一位数字前面添加阿拉伯数字0，以满足11位的要求。

在步骤c)之后还包括步骤d)，生成自增序列；所述自增序列的位数在1位以上，优选为2～10位数，更优选为3～8位数。

在步骤d)中，所述自增序列的生成过程包括以下子步骤：

(d-1)自增序列初始值设置为零，每毫秒重置为零；

(d-2)保存自增序列生成的值及对应的时间截；

(d-3)若申请唯一标识符的时间截小于保存的时间截，返回异常，不分配自增序列的值；

(d-4)若申请唯一标识符的时间截大于等于保存的时间截，分配自增序列的当前值；自增序列的值加1，生成自增序列的时间截；

(d-5)循环进行子步骤d-1～d-4。

本发明还提供了一种上述方法获得的分布式系统唯一标识符，所述唯一标识符包括：数据类型代码、IP数字地址、时间截和自增序列。

其中，所述唯一标识符分为四段，依次为：

数据类型代码+IP数字地址+时间截+自增序列；或，

IP数字地址+数据类型代码+自增序列+时间截；或，

数据类型代码+时间截+IP数字地址+自增序列；或，

时间截+数据类型代码+IP数字地址+自增序列。

优选地，所述唯一标识符分为四段，38位，为：

数据类型代码(4位)+IP数字地址(11位)+时间截(17位)+自增序列(6位)；或，

IP数字地址(11位)+数据类型代码(4位)+时间截(17位)+自增序列(6位)；或，

时间截(17位)+数据类型代码(4位)+IP数字地址(11位)+自增序列(6位)；或，

数据类型代码(4位)+时间截(17位)+IP数字地址(11位)+自增序列(6位)。

根据本发明提供的分布式系统唯一标识符及分布式系统生成唯一标识符的方法，具有以下有益效果：

(1)本发明提供的唯一标识符通过多种信息拼接得到，通过分段和设置多位数，将包括数据类型代码、IP数字地址、时间截和自增序列依设定顺序拼接后，可以获得在分布系统内的唯一性；

(2)本发明提供的分布式系统生成唯一标识符的方法具有资源消耗小、并发性高的特点。

具体实施方式

下面通过对本发明进行详细说明，本发明的特点和优点将随着这些示例性说明而变得更为清楚、明确。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

以下详述本发明。

本发明提供了一种分布式系统生成唯一标识符的方法，所述方法包括以下步骤：

a)根据数据类型，从预定义的字典中获取数据类型代码；

b)将申请唯一标识符节点的IP地址转换成IP数字地址；

c)获得申请唯一标识符的时间截；

e)将步骤a)至c)中生成的数据类型代码、IP数字地址和时间截依设定顺序拼接组成唯一标识符。

在分布式系统中往往设置有多台独立的计算机，处理或存储的数据内容有很大的不同，很有必要对数据进行分类，或设定数据类型。

在步骤a)中，所述数据类型是指依据数据内容不同进行的分类或划分，所述数据内容根据使用领域、行业、项目、人员的不同而不同，因此数据类型依需求设定或划分。

为了便于区分数据类型，使用不同代码对不同类型的数据进行标识，所述代码即为数据类型代码。数据内容分类相同的多个数据使用同一数据类型代码进行标识，数据内容分类不同的数据使用不同的数据类型代码进行标识。

所述数据类型代码一般根据实际需要设定，可以使用中文文字/拼音、阿拉伯数字、英文字母、希腊字母、特殊符号和标点符号中的任意或组合。为了增加数据类型代码的通用性和便利性，优选使用阿拉伯数字和英文字母中的任意或组合进行标识。其中，使用阿拉伯数字时优选使用0～9中的数字表示；使用英文字母时优选使用a～z中的字母表示。

数据类型代码中的文字、字母、数字或符号根据实际需求设定，也可以按照设定的排列顺序进行排序，和/或，按照设定的组合方式进行组合。

数据类型代码的位数根据数据分类的多少设置，一般所述数据类型代码的位数在1位以上，优选为2～10位，更优选为3～6位，能够满足绝大多数用户的数据管理需求。

将设定好的数据类型代码存储于预定义的字典中。

在步骤b)中，根据申请唯一标识符的节点(计算机)的IP地址，将该IP转换后使用阿拉伯数字表示，即IP数字地址。

目前IP地址分为四段，其中每段中包含数值大小在0～255以内的任意一个数字，IP地址最多包含有4个数值大小在0～255以内的数字。目前IP地址的数值使用256进制表示，将IP地址的数值整体看待时，IP地址为具有4位数的使用256进制表示的一个数值。

特别地，将IP的数值转化为十进制后使用。

优选地，本发明将IP数字地址设置为11位数的十进制阿拉伯数字，可以满足现有科技水平下任一分布式系统获取唯一标识符的需求。

所述IP数字地址即为IP地址转换后的十进制数字，当该十进制数字不满足11位数的时候，在十进制数字的第一位数字前面添加阿拉伯数字0，以满足IP数字地址为11位数的要求。

在步骤c)中，根据申请唯一标识符的节点的申请时间，分布式系统的后台处理器获取申请唯一标识符时的时间截。所述时间截即时间起算点到节点(或计算机)申请唯一标识符时即时的、瞬间的或那一刻的时间点之间的毫秒数。其中，时间起算点优选为1970年的零点零时零分，或者按照本领域常规时间起算方法进行设定。

该时间点优选包括年、月、日、时、分、秒和毫秒；进一步地，该时间点还包括微秒，例如为2018年09月24日11时54分29秒37毫秒16微秒，该时间点可以使用现有技术中任一种方式进行表示。

在一种优选的实施方式中，可以根据时间点和时间起算点设置函数计算时间截。

在另一种优选的实施方式中，当计算机系统时间从时间起算点进行计算，并以毫秒为增长单位的毫秒数值的方式表示现时的时间时，申请唯一标识符的时间点也即时间截。

所述时间截优选使用阿拉伯数字表示，更优选使用十进制数字进行表示。

较好地，所述时间截为17位数，当17位数全为9时可满足自现在起至2286-11-21日的时间，所述生成唯一标识符的方法适用时间更为久远。

分布式系统中存在多个节点，很有可能存在多个节点同时申请唯一标识符的情况，为了避免和解决这种情况，优选地，所述分布式系统生成唯一标识符的方法的步骤c)之后还包括：

步骤d)，生成自增序列。

所述自增序列为表示唯一标识符申请顺序的编号，该自增序列或编号的位数根据分布式系统的请求量规模设定。优选该编号使用阿拉伯数字表示，更优选使用十进制数字进行表示。

所述自增序列为十进制数字，一般在1位数以上，优选为2～10位数，更优选为3～8位数，可以满足现有技术中几乎全部分布式系统的使用需求。

优选地，在步骤d)中，所述自增序列的生成过程包括以下子步骤：

(d-1)自增序列初始值设置为零，每毫秒重置为零；

(d-2)保存自增序列生成的值及对应的时间截；

(d-3)若申请唯一标识符的时间截小于保存的时间截，返回异常，不分配自增序列的值；

(d-4)若申请唯一标识符的时间截大于等于保存的时间截，分配自增序列的当前值；自增序列的值加1，生成自增序列的时间截；

(d-5)循环进行子步骤d-1～d-4。

当分布式系统中出现多个节点在同一毫秒时间同时申请位移标识符时，自增序列将根据各个节点申请的时间依先后顺序生成和分配自增序列的值。此时，当精确到毫秒的时间一致时，则精确到申请时间的微秒时间，可以确定多个节点申请时间的先后顺序。依次类推，当精确到微秒的申请时间也一样时，还可以通过更精确的时间确定多个节点申请时间的先后顺序。

当自增序列的值不满设置的位数时，在该值的第一位数字前面添加阿拉伯数字0进行补位，以满足位数的要求。

在步骤e)中，将步骤a)至c)中生成的数据类型代码、IP数字地址和时间截依设定顺序拼接组成唯一标识符；优选将步骤a)至d)生成的数据类型代码、IP数字地址、时间截和自增序列依设定顺序拼接组成唯一标识符。

在本发明提供的唯一标识符中，通过使用十进制数字的IP数字地址、时间截和自增序列，可以使得使用者在使用过程中，很容易的判断出不同唯一标识符之间产生的先后顺序，进而对唯一标识符的产生进行使用过程中的人工二次验证，识别和减少唯一标识符可能产生的错误。

其中，所述数据类型代码、IP数字地址、时间截和自增序列的排列顺序根据需要可以任意设定，例如可以按照IP数字地址、数据类型代码、时间截和自增序列的顺序拼接；也可以按照时间截、IP数字地址、数据类型代码和自增序列的顺序拼接。

优选按照数据类型代码、IP数字地址、时间截和自增序列依次排列顺序拼接。

实现拼接的方法可以使用现有技术中的任一种，例如，Java、Python、C#等语言的字符串拼接符+；PL/SQL的拼接符||；MySQL中的CONCAT等。

本发明提供的分布式系统生成唯一标识符的方法简单可行，能够获得全局唯一的、不会重复出现的标识符；通过利用自增序列，可以避免分布式系统中的多个节点同时申请标识符而无法获得唯一标识符的情况。

本发明提供的分布式系统生成唯一标识符的方法具有一下特点：1、逻辑性强：唯一标识符的由各自独立的部分拼接而成，每个部分都有自己的生成规则和表示的逻辑。这使得每一个唯一标识符的结构性很强，容易解释及辨别。2、容易排错：由于唯一标识符的结构性强，生成规则清晰，故较容易寻找错误及解决。3、系统兼容性高：唯一标识符的各部分都是由字母和数字组成，不包含特殊字符，因此可适应不同的字符集。时间和IP地址都已转换成数字，对于那些没有日期和IP数据类型的系统来说兼容性很高。4、并发性高：唯一表示的各组成部分具有很高的区分度。从高到底将标识符逐一区分细化到每个应用的每个时间点的每次申请，且标识符生成的重置和序列机制保证即便同一时刻内有大量的申请也能申请到唯一的标识符。

本发明还提供了使用上述方法获得的分布式系统唯一标识符，所述唯一标识符包括：数据类型代码、IP数字地址、时间截和自增序列。唯一标识符中的数据类型代码、IP数字地址、时间截和自增序列根据需要可以任意排序。

其中，所述数据类型代码的位数在1位以上，优选为2～10位，更优选为3～6位。

所述数据类型代码选自中文文字/拼音、阿拉伯数字、英文字母、希腊字母、特殊符号和标点符号中的任意或组合；优选包括阿拉伯数字和英文字母中的任意或组合。

其中，使用阿拉伯数字时优选使用0～9中的数字表示；使用英文字母时优选使用a～z中的字母表示。

所述IP数字地址的位数为11位。

所述时间截的位数为17位，由十进制阿拉伯数字表示。

所述自增序列的位数在1位数以上，优选为2～10位数，更优选为3～8位数；优选自增序列使用十进制的阿拉伯数字表示。

在一种优选的实施方式中，所述唯一标识符由四段构成，依次为：数据类型代码+IP数字地址+时间截+自增序列；或，

IP数字地址+数据类型代码+时间截+自增序列；或，

数据类型代码+时间截+IP数字地址+自增序列；或，

时间截+数据类型代码+IP数字地址+自增序列。

进一步地，所述唯一标识符依次包括数据类型代码、IP数字地址、时间截和自增序列。

在一种更优选的实施方式中，所述唯一标识符由四段构成，并设置为38位数，为：数据类型代码(4位)+IP数字地址(11位)+时间截(17位)+自增序列(6位)；或，

IP数字地址(11位)+数据类型代码(4位)+时间截(17位)+自增序列(6位)；或，

时间截(17位)+数据类型代码(4位)+IP数字地址(11位)+自增序列(6位)；或，

数据类型代码(4位)+时间截(17位)+IP数字地址(11位)+自增序列(6位)。

所述唯一标识符通过四种不同信息的拼接即可获得唯一性，获取方法简单；使用者通过数据类型代码可以轻松的获知数据类型，进而对数据内容进行预判。

实施例

实施例1

分布式系统中有一个请求，该请求的数据类型代码为0123，IP为192.18.0.234，时间为20181009 11:23:54.761394，自增序号为5，则唯一标识符生成过程如下：

项目	原始值	调整后
			数据类型代码	0123	0123
IP	192.18.0.234	03222405354
			时间截	20181009 11:23:54.761394	15390554341761394
自增序列	5	000005

使用字符串拼接技术技术，将调整后的数据类型代码、IP数字地址、时间截和自增序列依次拼接在一起，得到唯一标识符，为：01230322240535415390554341761394000005。

实施例2

分布式系统中请求信息同实施例1，区别在于：

将调整后的IP数字地址、数据类型代码、时间截和自增序列依次拼接在一起，得到唯一标识符，为：03222405354012315390554341761394000005。

实施例3

分布式系统中请求信息同实施例1，区别在于：

将调整后的时间截、数据类型代码、IP数字地址和自增序列依次拼接在一起，得到唯一标识符，为：15390554341761394012303222405354000005。

实施例4

分布式系统中请求信息同实施例1，区别在于：

将调整后的数据类型代码、时间截、IP数字地址和自增序列依次拼接在一起，得到唯一标识符，为：01231539055434176139403222405354000005。

实施例5

在分布式系统中20181009日11:23:54.761394时出现3个请求，如下：

使用字符串拼接技术技术，将调整后的数据类型代码、时间截、IP数字地址和自增序列依次拼接在一起，得到唯一标识符，为：

01231539055434176139403222405354000001；

01231539055434176139403222405354000002；

01231539055434176139403222405354000003。

以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。

Claims (3)

1.一种分布式系统生成唯一标识符的方法，其特征在于，方法包括以下步骤：

a)根据数据类型，从预定义的字典中获取数据类型代码；

b)将申请唯一标识符节点的IP地址转换成IP数字地址；

c)获得申请唯一标识符的时间截；

d)生成自增序列；

e)将上述步骤中生成的数据类型代码、IP数字地址和时间截依设定顺序拼接组成唯一标识符；

在步骤b)中，所述IP数字地址为IP地址的数值转换后的十进制数字；

所述IP数字地址为11位数；

当十进制数字不足11位数时，在十进制数字的第一位数字前面添加阿拉伯数字0，以满足11位的要求；

步骤d)中，所述自增序列的位数为2～10位数，所述自增序列的生成过程包括以下子步骤：

(d-1)自增序列初始值设置为零，每毫秒重置为零；

(d-2)保存自增序列生成的值及对应的时间截；

(d-3)若申请唯一标识符的时间截小于保存的时间截，返回异常，不分配自增序列的值；

(d-4)若申请唯一标识符的时间截大于等于保存的时间截，分配自增序列的当前值；自增序列的值加1，生成自增序列的时间截；

(d-5)循环进行子步骤d-1～d-4。

2.根据权利要求1所述的方法，其特征在于，在步骤a)中，所述数据类型代码选用中文文字/拼音、阿拉伯数字、英文字母、希腊字母、特殊符号或标点符号中的任意或组合；

使用0～9的阿拉伯数字和a～z的英文字母中的任意或组合进行标识。

3.根据权利要求1或2所述的方法，其特征在于，所述数据类型代码的位数为2～10位。