CN106993022B - 用于集群的标识管理方法、标识服务器及相应的系统 - Google Patents

Abstract

本发明提供了一种用于集群的标识管理方法，其包括：从集群中的主机接收标识请求，所述标识请求包含预先为每个集群分配的集群编号；以及基于与所述集群编号关联记录的当前标识为所述主机提供标识；其中，所述当前标识是在前次提供标识之后基于所提供的标识确定的、下次提供标识的起始位置。本发明还提供了一种用于集群的标识管理方法，其包括：生成标识请求以为本地的进程获取标识，其中在所述标识请求中包含预先为每个集群分配的集群编号；以及向与所述集群对应的标识服务器发送所述标识请求。此外，本发明还提供了相应的标识服务器、集群中的主机、集群系统以及包括多个集群的分布式系统。

Description

用于集群的标识管理方法、标识服务器及相应的系统

技术领域

本发明一般地涉及分布式系统管理技术领域，并且具体地，涉及用于集群或分布式系统的标识管理方案。

背景技术

随着计算机技术的普及，分布式系统或集群正被越来越广泛地应用到各种业务领域。通过将多个主机集中在一起协同合作，分布式系统或集群能够提供强大且灵活的处理能力。主机之间的合作一般通过各个主机上的不同进程之间的合作来实现。在分布式系统中通常需要为各个主机中的进程生成全局唯一标识。目前，为满足这个需求，在业内归纳起来有以下四种方式。

在小系统、小型应用并且无分表、也不需要高效的情况下，可以使用数据库自增标识（ID）。这种方式不失为便捷的方法，然而其要求系统不能对表进行水平拆分，并且为了保证标识的惟一性，使得处理性能上稍有逊色。

还可以通过对系统中的主机进行编号，并且将该编号与自增ID组合作为唯一标识。这种方法具有实现简单的特点，其只要控制好自增部分的最大标识即可。但是，这种编号的方法大大限制了分布式系统的规模，不能很好的横向扩展。

另外，还有通过12位的年月日时分秒+随机数的方式，其中随机数的位数取决于系统吞吐量（TPS）峰值。这种方式的缺点在于缺乏连续性，极易造成标识的浪费。

最后是集中管理、批量分配的方式，其中在某个数据存储介质中集中管理全局标识并且为系统中的各主机批量分配标识，例如根据每次请求分配1000个标识，而主机在标识使用完之后再请求分配。该方法的缺点在于：对于分布式系统中的数据存储介质发生灾备和回写这些情况时，因数据存储介质被高频修改，主备存储介质中的数据很容易出现不一致性，在分布式系统向不同的数据存储介质请求标识的情况下，分配的标识存在重复的风险。

因此，所期望的是设计一种可靠、高效且适应灾备的用于分布式系统的标识管理方案。

发明内容

有鉴于此，本发明提供了一种用于集群或分布式系统的标识管理方案，可改善上述问题。

一方面，本发明提供了一种用于集群的标识管理方法，其包括：从集群中的主机接收标识请求，所述标识请求包含预先为每个集群分配的集群编号；以及基于与所述集群编号关联记录的当前标识为所述主机提供标识；其中，所述当前标识是在前次提供标识之后基于所提供的标识确定的、下次提供标识的起始位置。

如上所述的标识管理方法，其中，所述标识请求还包含预先为不同用途的标识分配的类型编号，并且所述方法还包括与所述类型编号关联地记录所述当前标识。

如上所述的标识管理方法，其中，所述标识请求包含请求的标识步长，并且为主机提供标识包括基于所述标识步长和所记录的当前标识来确定要为所述主机提供的标识。

如上所述的标识管理方法，其还包括：根据所述主机的状态调整所述标识步长。

如上所述的标识管理方法，其中，如果基于标识步长和所记录的当前标识所确定的最大标识超出标识的取值范围，则以所述取值范围的起点为当前标识来确定要为所述主机提供的标识。

如上所述的标识管理方法，其中，所述标识用整数数字表示，并且将每个标识数字的最高位固定为对应的集群编号。

如上所述的标识管理方法，其还包括：根据所述主机的业务情况动态地调整标识的长度位数。

如上所述的标识管理方法，其还包括：在本地存储的服务编号与所述集群编号不同的情况下判断是否提供标识；以及在确定要提供标识的情况下，将所述服务编号用作所述集群编号。

另一方面，本发明提供了一种用于集群的标识服务器，其包括：请求接收装置，用于从集群中的主机接收标识请求，所述标识请求包含预先为每个分布式系统分配的集群编号；标识记录装置，用于与所述集群编号关联地记录当前标识。以及标识提供装置，用于基于所述当前标识为所述主机提供标识；其中，所述当前标识是在前次提供标识之后基于所提供的标识确定的、下次提供标识的起始位置。

此外，本发明还提供了一种用于集群的标识管理方法，其包括：生成标识请求以为本地的进程获取标识，其中在所述标识请求中包含预先为每个集群分配的集群编号；以及向与所述集群对应的标识服务器发送所述标识请求。

如上所述的标识管理方法，其中，所述标识请求还包含预先为不同用途的标识分配的类型编号。

如上所述的标识管理方法，其中，所述标识请求还包含请求的标识步长，并且所述标识步长大于1。

如上所述的标识管理方法，其还包括：将所获取的标识存储在本地的共享内存中供本地的进程获取；以及在标识被用尽时再次向与所述集群对应的标识服务器发送标识请求。

又一方面，本发明提供了一种集群系统中的主机，其包括：请求生成装置，用于生成标识请求以为本地的进程获取标识的装置，其中在所述标识请求中包含预先为每个集群分配的集群编号；以及请求发送装置，用于向与所述集群对应的标识服务器发送所述标识请求。

此外，本发明还提供了一种集群系统，其包括如上所述的主机，以及如上所述的标识服务器。

另外，本发明还提供了一种分布式系统，其包括多个集群，其中所述多个集群中的每一个包括如上所述的主机，并且所述分布式系统还包括多个如上所述的标识服务器，其中所述标识服务器与所述集群一一对应。

附图说明

本发明的前述和其他目标、特征和优点根据下面对本发明的实施例的更具体的说明将是显而易见的，这些实施例在附图中被示意。

图1是根据本发明一个示例的分布式系统的示意图。

图2是根据本发明一个示例的用于集群的标识管理方法的示意流程图。

图3是根据本发明另一个示例的分布式系统的示意图。

图4是根据本发明另一示例的用于集群的标识管理方法的示意流程图。

图5是根据本发明一个示例的用于集群的标识服务器的示意框图。

图6是根据本发明一个示例的集群中的主机的示意框图。

具体实施方式

现在参照附图描述本发明的示意性示例，相同的附图标号表示相同的元件。下文描述的各示例有助于本领域技术人员透彻理解本发明，且各示例意在示例而非限制。图中各元件、部件、模块、装置及设备本体的图示仅示意性表明存在这些元件、部件、模块、装置及设备本体同时亦表明它们之间的相对关系，但并不用以限定它们的具体形状；流程图中各步骤的关系也不以所给出的顺序为限，可根据实际应用进行调整但不脱离本申请的保护范围。

在本文中，“集群”与“分布式系统”是两个可以直接互换的术语。仅是为了描述清楚的目的，而采用了不同的称呼。本领域技术人员能够理解，在本文中“集群”和“分布式系统”均可以指示由多个处理器设备集中在一起协同工作的系统，其中每个处理器设备可以被称为“主机”、“服务器”或“主机服务器”。本领域技术人员能够理解这些术语都是可以直接互换使用的。

图1是根据本发明一个示例的分布式系统的示意图。如图1所示，本文所指的分布式系统可以是集群A或集群B，也可以是由集群A和集群B以及类似的多个集群的总成。以集群A为例，其由多个主机构成，例如图1所示的H1、H2和H3。本领域技术人员能够理解，图1仅是示例性的，集群A或集群B或类似的集群能够包含任意数量的主机，并且由多个集群构成的分布式系统也可以包含任意数量的主机集群。

如图1所示，在本发明中，为每个集群或分布式系统提供了标识服务器，其中每个标识服务器对应于一个集群，用于为该集群中的所有主机提供标识。例如，集群A标识服务器为集群A中的主机H1-H3提供标识，而集群B标识服务器为集群B中的主机H1-H3提供标识。在一些示例中，可以将每个集群中的主机预先配置为向专门的标识服务器请求标识。下面将结合图2-6来具体描述根据本发明的示例的标识服务器和集群主机的操作。

图2是根据本发明一个示例的用于集群的标识管理方法的示意流程图。在实践中，图2所示的方法可以在标识服务器处实现。

如图2所示，首先在步骤21处，标识服务器从集群中的主机接收标识请求。例如，集群A标识服务器将从集群A的主机H1-H3接收标识请求，而集群B标识服务器从集群B的主机H1-H3接收标识请求。一般来说，在本发明中，由标识服务器接收的标识请求包含预先为每个集群分配的集群编号。例如，集群A被分配集群编号1，而集群B被分配集群编号2。然而，本领域技术人员能够理解本发明所设计的集群编号不限于是一位数字的形式。在不背离本发明的方案的情况下，还可以对集群编号位数进行扩展，来满足更多集群中心的部署方案。

进一步地，在步骤23处，标识服务器将基于与该集群编号关联记录的当前标识为发来请求的主机提供标识。一般来说，在本发明中，该当前标识是在前次提供标识之后基于所提供的标识确定的、下次提供标识的起始位置。换句话所，标识服务器可以被配置为在每次分配标识之后确定下次提供标识的起始位置，并且将该起始位置与集群编号关联存储，从而在下次从该集群中的主机收到标识请求时从该起始位置，也就是当前标识开始针对新的请求分配标识。

应注意的是，在本发明中，用于一个集群的标识服务器对于该集群中的所有主机都是同等对待的，即前后两次标识请求可以来自集群中不同的主机，但是标识服务器仅针对集群编号下所记录的当前标识来进行标识分配，而不区分主机，这将保证在集群内分配的标识的唯一性，同时为集群提供了很强的横向扩展的能力。例如，当集群A新增服务器主机H4时，该主机H4将与集群内的其他主机一致地被配置为向同一个标识服务器请求标识并且在请求中包含集群编号作为与标识服务器建立连接的标志，从而保证本集群内的标识唯一并且不用对标识管理系统进行任何改变。

在一些示例中，来自主机的标识请求还包含预先为不同用途的标识分配的类型编号，并且在标识服务器处还可以包括与该类型编号关联地记录当前标识。

在一些示例中，来自主机的标识请求还可以包含请求的标识步长，也就是一次需要请求的标识的数量。也就是说，本发明所提供的方法支持标识服务器批量地向主机提供标识，由此减少主机与服务器之间的通信，大大提高标识分配的效率。在这种情况下，标识服务器可以基于所收到的标识步长和所记录的当前标识来确定要为所述主机提供的标识。

在以下的表1和表2中分别给出了在集群A中记录当前标识以及在集群B中记录当前标识的示例：

集群编号	类型编号	当前标识	请求步长	标识长度位数
					1	0	1000000000	1000	10
1	1	1999999920	100	10
					1	2	100000040000	1000	12

表1

集群编号	类型编号	当前标识	请求步长	标识长度位数
					2	0	2000000000	1000	10
2	1	2000010000	100	10
					2	2	200000000000	1000	12

表2

在以列表方式记录配置信息的上述示例中，集群编号、类型编号、请求步长和标识长度位数可以是对当前请求中的信息的记录。当前标识则将针对下次请求被更新。在响应下次标识请求时，则可以根据列表中记录的当前标识与请求中包含的标识步长共同来确定要分配的标识。例如，在针对本次请求分配了标识1999999900~1999999919之后，就将1999999920作为当前标识被填入。如果下次请求中的标识补偿为50，则可以确定要分配的标识为1999999920~1999999969，并且将1999999970记录为当前标识。

在一些示例中，可以规定如果基于标识步长和所记录的当前标识所确定的最大标识超出标识的取值范围，则以所述取值范围的起点为当前标识来确定要为所述主机提供的标识。例如，在当前标识是1999999920、步长是100的情况下，两数相加为2000000020，已经大于该中心区间1000000000~1999999999，此时生成标识就可以从1000000000重新开始，生成100个标识给请求方，记入1000000100到表中作为当前标识，而发出请求的主机获取到的标识是1000000000~1000000099。

在一些示例中，标识用整数数字表示，具有友好性。如果标识的长度位数被配置为5位，则标识在区间10000~99999内使用。在一些示例中，可以循环地使用取值区间内的所有标识。在一些示例中，可以把集群编号作为固定为标识的第一位。例如，还是假设标识长度位数为5，则为集群A分配的标识以1开头，而为集群B分配的标识以2开头，实际用于每个集群的标识区间为0~9999。

在一些示例中，可以在标识服务器端根据主机的状态来调整分配标识的步长。例如，主机可能希望一次请求1000个标识，然而在标识服务器端判断1000个标识可能超出该主机的内存容量，因此主动将分配的标识数量减少至100个。标识服务器还可以根据例如主机上的业务强度、通信链路的容量等参数来对所分配的标识的数量进行调整，而不需要遵照请求中规定的标识步长。

在一些示例中，还可以在标识服务器端根据发出请求的主机的业务情况或者整个集群的业务情况来动态地调整标识的长度位数。例如，在集群中的主机发生异常时，可能不断请求标识，标识服务器可以相应地扩大标识长度位数，例如根据异常恢复的耗时与系统的吞吐量计算出一个合适的长度，从而保证在这种情况下请求标识在指定时间内是唯一标识。

举例来说，图1所示的集群A中有100台主机，要求一天内标识不重复，也就是要求所分配的标识的生命周期为24小时。在100台主机全部出现异常的极端情况下，可以将标识长度位数扩展为10。由此，即使所有主机刚获取完一批标识，主机上保存本批标识的共享内存立刻被意外删除，并且系统再重启后有新的交易需要重新从标识服务器上获取新一批标识，把整个标识区间耗尽需要重复的请求次数为：999999999/(100*1000)=10000次，假定每次增加步长1000，10位标识长度位数有效位为后9位，最大可用值为999999999。进一步假设每次异常情况耗时为2分钟，则总共需要时间：10000*2=20000分钟=333小时>24小时。由此，标识服务器能够通过根据实际情况动态地调整标识长度位数而使得集群能够从容应对极端的异常情况。

本发明所提供的高效的基于集群的标识管理方法以及采用该方法的标识服务能够良好地适应大型集群系统获取唯一标识的需求，同时适应灾备切换和系统双活的部署方案。由于，集群或分布式系统内的主机就标识分配而言配置一致，非常有利于横向扩展。在本发明中，还可以通过灵活地配置标识的属性来适应系统不同的业务需求。此外，本发明所提供的标识管理方法还可以实现在灾备情况下的标识唯一性，这将在下文中结合图3来说明。

图3是根据本发明另一个示例的分布式系统的示意图。对于大型的集群或分布式系统而言，灾备方面的考虑是必要的也是必须的。因此，在本发明的一些示例中，还可以为每个集群提供主标识服务器和备标识服务器，以防止其中一个标识服务器出现故障，导致标识分配出错。

如在上文中所描述的那样，可以为每个集群分配集群编号，同时也可以为标识服务器分配服务编号，例如主标识服务器被分配服务编号1，而备标识服务器被分配服务编号2。以集群A为例，其可以被分配集群编号1，并且其在正常情况下仅向主标识服务器请求标识。当主标识服务器出现故障而无法提供标识分配服务时，可以有以下两种处理方法。

在第一种情况下，集群A中的主机可以被配置为在无法从主标识服务器获得标识的情况下，以集群编号+1或者直接以集群编号2向备标识服务器请求标识。

在第二种情况下，集群A始终以集群编号1向主标识服务器发送标识请求，该请求可以在主标识服务器无法正常工作的情况下被转送到备标识服务器。备标识服务器在检测到本地存储的服务编号与请求中所包含的集群编号不同的情况下可以首先判断是否应向该主机提供标识。在确定要提供标识的情况下，备标识服务器可以将本地配置的服务编号用作集群编号。也就是说，在标识服务器发生主备切换时，备标识服务器主动将集群编号+1，或者说其主动将自己本地的服务编号用作集群编号来生成标识。如在上文中所提及的，标识的最高位通常被固定为集群编号，以确保标识的惟一性。同样地，通过备标识服务器对集群编号的主动修改，可以避免主备之间切换或者回切时的标识重复，也就是确保标识的唯一性。

图4是根据本发明另一示例的用于集群的标识管理方法的示意流程图。在实践中，图4所示的方法可以在集群中的主机处实现。

如图4所示，主机首先在步骤41处生成标识请求以为本地的进程获取标识。如在上文中所描述的，该标识请求中应包含预先为每个集群分配的集群编号。

进而在步骤43中，主机向与其所处的集群对应的标识服务器发送标识请求。以图1所示的场景为例，集群A中的主机H1-H3将向集群A标识服务器发送请求，而集群B中的主机H1-H3将向集群B标识服务器发送请求。

如在上文中所描述的，主机所发送的标识请求还可以包含预先为不同用途的标识分配的类型编号。此外，标识请求还可以包含请求的标识步长，并且所述标识步长大于1。也就是说，集群中的主机能够通过一次请求从标识服务器获得一批标识。

在一些示例中，主机可以被配置为将所获取的标识，通常为一批多个标识存储在本地的共享内存中供本地的进程获取。在图1中以集群A中的主机H3为例用气泡图进行了示意。每个主机中通常有多个进程需要获取标识，例如图1所示的进程A、B和C。每个进程可以从本机共享内存中获取一段标识，这可以通过本领域中已有的或待开发的任何方式来实现。主机可以在标识被用尽时再次向与集群对应的标识服务器发送标识请求，以请求下一批标识。

图5是根据本发明一个示例的用于集群的标识服务器的示意框图。如图5所示，用于集群的标识服务器500包括请求接收装置51、标识记录装置53以及标识提供装置。具体地，请求接收装置51被配置用于从集群中的主机接收标识请求。在本发明中，所接收的标识请求将包含预先为每个分布式系统分配的集群编号。标识记录装置53被配置用于与集群编号关联地记录当前标识。在本发明中，所述当前标识是在前次提供标识之后基于所提供的标识确定的、下次提供标识的起始位置。标识提供装置55被配置用于基于所述当前标识为所述主机提供标识。

在本说明书中省去了对用于实现服务器或处理器的其他构造的描述，以避免不必要的冗余。但本领域技术人员能够理解图5所示的结构能够被集成在任何已有或待开发的服务器或处理器中。图5所示的标识服务器能够被配置为实现上文所描述的任何与本发明所提供的、在标识服务器处实现的相关操作。本领域技术人员能够理解，图5所示的模块划分仅是示意性的，这些模块能够按照具体实现来集成或进一步划分，并且以任何软件或硬件的形式来实现。

图6是根据本发明一个示例的集群中的主机的示意框图。主机600包括请求生成装置61以及请求发送装置63。具体地，请求生成装置61被配置用于生成标识请求以为本地的进程获取标识的装置。在本发明中，请求生成装置61将在所述标识请求中包含预先为每个集群分配的集群编号。请求发送装置63被配置用于向与该集群对应的标识服务器发送所述标识请求。

在本说明书中省去了对一般的集群主机的其他构造的描述，以避免不必要的冗余。但本领域技术人员能够理解图6所示的结构能够被集成在任何已有或待开发的集群主机中。图6所示的集群主机能够被配置为实现上文所描述的任何与本发明所提供的、在集群主机处实现的相关操作。本领域技术人员能够理解，图6所示的模块划分仅是示意性的，这些模块能够按照具体实现来集成或进一步划分，并且以任何软件或硬件的形式来实现。

应当说明的是，以上具体实施方式仅用以说明本发明的技术方案而非对其进行限制。尽管参照上述具体实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解，依然可以对本发明的具体实施方式进行修改或对部分技术特征进行等同替换而不脱离本发明的实质，其均涵盖在本发明请求保护的范围中。

Claims (14)

1.一种用于集群的标识管理方法，其包括：

从集群中的主机接收标识请求，所述标识请求包含预先为每个集群分配的集群编号；以及

基于与所述集群编号关联记录的当前标识为所述主机提供标识；

其中，所述当前标识是在前次提供标识之后基于所提供的标识确定的、下次提供标识的起始位置，

其中，所述标识请求包含请求的标识步长，并且为主机提供标识包括基于所述标识步长和所记录的当前标识来确定要为所述主机提供的标识，

其中，根据所述主机的业务情况动态地调整标识的长度位数。

2.如权利要求1所述的标识管理方法，其中，所述标识请求还包含预先为不同用途的标识分配的类型编号，并且所述方法还包括与所述类型编号关联地记录所述当前标识。

3.如权利要求1所述的标识管理方法，其还包括：根据所述主机的状态调整所述标识步长。

4.如权利要求1所述的标识管理方法，其中，如果基于标识步长和所记录的当前标识所确定的最大标识超出标识的取值范围，则以所述取值范围的起点为当前标识来确定要为所述主机提供的标识。

5.如权利要求1所述的标识管理方法，其中，所述标识用整数数字表示，并且将每个标识数字的最高位固定为对应的集群编号。

6.如权利要求1所述的标识管理方法，其还包括：

在本地存储的服务编号与所述集群编号不同的情况下判断是否提供标识；以及在确定要提供标识的情况下，将所述服务编号用作所述集群编号。

7.一种用于集群的标识服务器，其包括：

请求接收装置，用于从集群中的主机接收标识请求，所述标识请求包含预先为每个分布式系统分配的集群编号；

标识记录装置，用于与所述集群编号关联地记录当前标识；以及

标识提供装置，用于基于所述当前标识为所述主机提供标识；

其中，所述当前标识是在前次提供标识之后基于所提供的标识确定的、下次提供标识的起始位置，

其中，所述标识请求包含请求的标识步长，并且为主机提供标识包括基于所述标识步长和所记录的当前标识来确定要为所述主机提供的标识，

其中，根据所述主机的业务情况动态地调整标识的长度位数。

8.一种用于集群的标识管理方法，其包括：

生成标识请求以为本地的进程获取标识，其中在所述标识请求中包含预先为每个集群分配的集群编号；以及

向与所述集群对应的标识服务器发送所述标识请求，

其中，所述标识请求包含请求的标识步长，并且为主机提供标识包括基于所述标识步长和所记录的当前标识来确定要为所述主机提供的标识，

其中，根据所述主机的业务情况动态地调整标识的长度位数。

9.如权利要求8所述的标识管理方法，其中，所述标识请求还包含预先为不同用途的标识分配的类型编号。

10.如权利要求8所述的标识管理方法，其中，所述标识请求还包含请求的标识步长，并且所述标识步长大于1。

11.如权利要求10所述的标识管理方法，其还包括：

将所获取的标识存储在本地的共享内存中供本地的进程获取；以及在标识被用尽时再次向与所述集群对应的标识服务器发送标识请求。

12.一种集群中的主机，其包括：

请求生成装置，用于生成标识请求以为本地的进程获取标识的装置，其中在所述标识请求中包含预先为每个集群分配的集群编号；以及

请求发送装置，用于向与所述集群对应的标识服务器发送所述标识请求，

其中，所述标识请求包含请求的标识步长，并且为主机提供标识包括基于所述标识步长和所记录的当前标识来确定要为所述主机提供的标识，

其中，根据所述主机的业务情况动态地调整标识的长度位数。

13.一种集群系统，其包括如权利要求12所述的主机，以及如权利要求7所述的标识服务器。

14.一种分布式系统，其包括多个集群，其中所述多个集群中的每一个包括如权利要求12所述的主机，并且

所述分布式系统还包括多个如权利要求7所述的标识服务器，其中所述标识服务器与所述集群一一对应。

Images