CN117632966A - 一种分布式自增唯一id方法装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种分布式自增唯一ID方法，通过完成初始化，获取机器编码作为初始I D；进行I D生成流程，获取系统当前时间，生成I D时间戳；根据时间戳内发生的交易次数计算累加值；将机器编码、时间戳、累加值进行排列组合，将组合后的结果返回I D；本发明提供的方法具有全局唯一性，不同部署环境适应性及分布式环境适应性高，分布式下的时间有序，业务可理解性及时钟回拨容忍性强等优点。通过本发明的方法，实现了一种高效、稳定且可靠的分布式自增且唯一的I D生成解决方案，基于该方案可以实现一款公共的I D生成组件，然后各业务系统可以将其引入到自己的系统中进行使用，该方案对于理财代销领域的分布式系统具有很高的应用价值。

Description

一种分布式自增唯一ID方法装置、设备及可读存储介质

技术领域

本发明涉及互联网理财代销技术领域，尤其涉及一种分布式自增唯一ID方法装置、设备及可读存储介质。

背景技术

目前市场上已存在多种技术来实现分布式唯一ID生成，如：SnowflakeAlgorithm，该算法固定生成64bits的长整型ID，并分多个组成部分；雪花算法具有简单、高性能、可扩展性的优点，但缺点是依赖系统时钟，可能会受到系统时间回拨的影响，进而无法保证唯一性，另外需要维护全局唯一的数据中心ID和机器ID，不适用于非常高的高并发场景，需要其他机制处理同一毫秒内的并发请求。UUID：通用唯一标志符是一种强大的标识符生成方式，生成长度为128bits，是一种旨在能够在分布式、多系统环境下生成难以预测且全球唯一的ID生成算法。缺点是ID较长，占用存储和传输资源，不适用于数据库存储，可能导致性能问题，不适用于排序和范围查询。第三方服务：即部署独立的全局唯一ID生成服务，在分布式系统中所有的ID消费者通过网络请求从独立的ID生成服务中获取唯一ID。其缺点是依赖外部服务，会引入额外的延迟和风险，可能需要独立部署，有硬件成本。

因为需要确保每笔交易都有唯一标志，保证交易对应的动账如扣款、返款需要保证唯一性，防止账务、交易数据的冲突和混淆，所以在理财代销领域唯一ID非常重要。不过唯一性只是最基本的要求，理财代销领域的交易单ID不止需要保证唯一性，还有其他的硬性及软性的要求，总体要求如下：

1.全局唯一性：生成的ID必须在整个理财代销平台中保证全局唯一，以避免不同系统个、或节点间ID冲突；

2.分布式时间排序：ID中包含时间戳或其他时间信息可以帮助在系统中进行时间排序，在一些场景比如理财超额认购场景中TA按照销售端的ID进行交易排序，然后按先到先得的规则进行确，该条为硬性要求；

3.时钟回拨容忍度：系统需要能够处理时钟回拨，以确保在发生了时钟回拨时生成的ID依然是全局唯一不重复；

4.业务可理解性：生成的ID需要包含业务相关信息，以便在分析和调试时更容易理解和识别。

发明内容

为此，本发明提供了一种分布式自增唯一ID方法装置、设备及可读存储介质用以克服现有技术中无法同时兼顾保证唯一性，适用于高并发场景，减少占用存储和传输资源，适用于数据库存储，适用于排序和范围查询，适用于跨多个数据库的唯一标志的问题。

为实现上述目的，本发明第一方面公开了一种分布式自增唯一ID方法，所述方法包括，

步骤S1，采用构造或回调的方式完成初始化，初始化过程中自动根据主机名/IP查询数据库查询是否已配置应用ID与机器名；

如果已配置应用ID与机器名，且检测已配置的应用ID与机器名符合编码要求，则使用已配置的应用ID加机器名当做6位10进制机器编码；

如果已配置应用ID与机器名，但检测已配置的应用ID与机器名不符合编码要求，则：若ID不足6位，左补0；若ID多余6位则从最低位向最高位方向截取6位。

如果未配置应用ID与机器名，则自动向表中新增一条数据，获取其id来当做机器编码。

步骤S2，初始化完成后，进行ID生成流程：

具体而言，获取初始化生成的ID，获取系统当前时间到毫秒级别，判定前次系统时间是否为空；

若判定前次时间为空，将系统当前时间赋值给前次时间；

若判定前次时间不为空，则判定当前系统时间减前次系统时间是否超过阈值；

进一步地，若判定当前系统时间减前次系统时间超过阈值，则进行抛出时钟回拨异常操作；

若判定当前系统时间减前次系统时间不超过阈值，则结束判定。

步骤S3，获取同一时间戳内发生的并发交易记录，根据所述发生的并发交易的次数计算得到累加值。

进一步地，判定累加值是否达到最大值；

若判定累加值达到最大值，则通过自旋不断重新获取当前最新时间，直到当前时间大于前次时间，将当前时间赋值给前次时间并且将累加值清零，使用累加值＝0组装ID，并将结果返回ID

若判定累加值没有达到最大值，则进行累加值加1操作组装ID，继续进行判定当前时间是否大于前次时间；

若判定结果为当前时间大于前次时间，则将当前时间赋值给前次时间，并且将累加值进行清零操作，并将结果返回ID。

若判定结果为当前时间不大于前次时间，则直接将结果返回ID。

进一步地，所述ID生成过程中设置有异步线程ID生成模式，将预生成ID放入一个阻塞队列，当调用ID生成时，从所述阻塞队列内部直接获取ID并返回，所述异步线程ID生成模式可根据需要选择是否启用。

进一步地，所述机器编码为固定值、依赖数据库自动生成的全局唯一值中的任一种。

本发明第二方面还提供了一种装置，包括，

初始化单元，用于完成初始化，所述初始化过程包括：获取主机名与主机ip，根据所述主机名或主机ip获取得到机器编码作为初始ID；

ID生成单元，用于进行ID生成流程，获取系统当前时间，根据所述系统当前时间生成所述ID的时间戳；获取同一时间戳内发生的并发交易记录，根据所述发生的并发交易的次数计算得到累加值；

ID组合单元，用于将所述初始化单元得到的机器编码，所述ID生成单元得到的时间戳及累加值进行排列组合，将组合后的结果返回ID；

判定单元，用于对所述初始化单元、所述ID生成单元、所述ID组合单元执行流程过程中的判定程序进行判定。

进一步地，所述ID生成单元设置有异步线程ID生成模式，将预生成ID放入一个阻塞队列，当调用ID生成时，从所述阻塞队列内部直接获取ID并返回，所述异步线程ID生成模式可根据需要选择是否启用。

本发明第三方面提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行上述所述的一种分布式自增唯一ID方法。

本发明第四方面还提供了一种计算机可读存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，实现如上述所述的一种分布式自增唯一ID方法，所述可读介质可以为多个，所述多个可读介质相互之间能够独立运行。

与现有技术相比，本发明的有益效果在于；

1、通过时间戳及累加值的计算达到全局唯一性，本发明支持生成分布式全局唯一ID；

2.不同部署环境适应性：多种部署环境的支持，如虚机或者Docker环境；

3.分布式环境适应性：可以在分布式系统中轻松部署和管理，适用多节点、多数据中心的架构，有助于实现系统的水平扩展和容错；

4.分布式下的时间有序：本发明提供了分布式ID的全局时间有序性，该点为理财代销域中的特殊要求，同时也是目前市面上现有的分布式ID生成服务所不具备的一点，本发明需要依赖全局时间同步服务来实现ID的全局时间有序性；5.业务可理解性：本发明的ID生成采取了分段模式，但是分段规则不同，基于其他分段规则而言，本发明的分段具备更好业务可理解性；

6.时钟回拨容忍性：本发明采取了fail-fast机制，遇到时钟回拨会抛出异常拒绝服务。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明所提供的分布式自增唯一ID方法步骤示意图；

图2为本发明所提供的装置的结构框图；

图3为本发明所提供的初始化过程流程图；

图4为本发明所提供的ID生成流程图。

具体实施方式

下面详细描述本申请的实施例，各实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

实施例：

本发明所提供的自增唯一ID由时间戳、累加值及机器编码三部分构成，第一个实施例提供一种分布式自增唯一ID方法，其工作流程请参考图1所示，所述方法包括，

完成初始化，以获取六位机器编码，初始化采用构造或回调的方式；初始化过程中自动根据主机名/IP查询数据库查询是否已配置应用ID与机器名；

如果已配置应用ID与机器名，且检测已配置的应用ID与机器名符合编码要求，则使用已配置的应用ID加机器名当做6位10进制机器编码；

如果已配置应用ID与机器名，但检测已配置的应用ID与机器名不符合编码要求，如果ID不足6位则左补0；如果ID多余6位则从最低位向最高位方向截取6位。

如果未配置应用ID与机器名，则自动向表中新增一条数据，获取其id来当做机器编码，机器编码可以为固定值或者依赖数据库自动生成的全局唯一值。

六位机器编码获取后，初始化过程便执行完成，初始化完成后，进行ID生成流程，用以获取时间戳以及累加值。

具体而言，获取初始化所生成的ID，也就是六位机器编码作为初始ID。获取系统当前时间并精确到毫秒级别，并判定前次系统时间是否为空；

如果前次时间为空，则将系统当前时间赋值给前次时间，如果前次时间不为空，则进一步判定当前系统时间减前次系统时间是否超过阈值范围；

若当前系统时间减前次系统时间超过阈值范围，需要进行抛出时钟回拨异常操作；

若当前系统时间减前次系统时间不超过阈值，继续进行累加值判定。

获取同一时间戳内发生的并发交易记录，根据所述发生的并发交易的次数计算得到累加值。

进一步地，判定累加值是否达到最大值；

如果累加值达到最大值，则通过自旋不断重新获取当前最新时间，直到当前时间大于前次时间，将当前时间赋值给前次时间并且将累加值清零，使用累加值＝0组装ID，并将结果输出。

若判定累加值没有达到最大值，则进行累加值加1操作组装ID，继续进行判定当前时间是否大于前次时间。

若判定结果为当前时间大于前次时间，则将当前时间赋值给前次时间，并且将累加值进行清零操作，组装ID后将结果输出。

若判定结果为当前时间不大于前次时间，组装ID后将结果输出。

此外，本发明在生成细节上有一个针对高并发场景的缓存优化，考虑到在高并发时每毫秒内可能有数十甚至数百笔交易，本发明提供了ID预生成的一项可选功能。该功能如果配置打开则启用异步线程ID生成模式，将ID放入一个阻塞队列，当ID消费方调用ID生成时，ID生成方法内部直接从该阻塞队列中获取ID并返回。

至此，为本发明所提供的第一个方法实施例，本方法一共提供了三种输出方式确保所生成的ID具有全局唯一性。

本发明第二个实施例提供了一种装置，该装置可用于执行上述方法，该装置包括，

初始化单元，用于完成上述所提供方法的初始化过程，具体包括：获取主机名与主机ip，根据主机名或主机ip获取得到机器编码作为初始ID。

ID生成单元，用于进行ID生成流程，具体包括：获取系统当前时间，根据系统当前时间生成ID的时间戳；获取同一时间戳内发生的并发交易记录，根据发生的并发交易的次数计算得到累加值。

ID组合单元，用于将初始化单元得到的机器编码，ID生成单元得到的时间戳及累加值进行排列组合，将组合后的结果返回ID并输出。

判定单元，用于对初始化单元、ID生成单元、ID组合单元执行流程过程中的判定程序进行判定。

进一步地，ID生成单元设置有异步线程ID生成模式，将预生成ID放入一个阻塞队列，当调用ID生成时，从阻塞队列内部直接获取ID并返回，异步线程ID生成模式根据需要选择是否启用。

此外，本发明还提供了一种计算设备，包括：存储器，用于存储程序指令；处理器，用于调用存储器中存储的程序指令，按照获得的程序指令执行上述所述的一种分布式自增唯一ID方法。

本发明还提供一种计算机可读存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，实现如上述所述的一种分布式自增唯一ID方法，所述可读介质可以为多个，所述多个可读介质相互之间能够独立运行。

本发明生成的ID由时间、同一时间内(发生在同一毫秒内的交易)的累加值和机器编号三部分构成，ID主体结构如下：

该算法生成固定长度的ID，考虑存在超高交易并发和超大规模机器集群的场景，其中累加部分和机器码部分可以自定义，在默认情况下为3位同毫秒内的累加值和6位机器编码(3位应用编号+3位机房/机器编号)共计26位10进制长度。需要注意的是YY年部分只有两位10进制长度，采取截取4位年份中的后2位的方式。

默认情况下累加部分为3位长度，则意味着单机每毫秒最多支持支持1000笔交易(000～999)，每秒最多支持100万笔交易(1000*1000)。

另外本发明需要依据两个核心依赖项：核心数据库及全局时间同步服务。对于核心数据库，市面上常见关系型数据库如Mysql、Oracle、DB2等都满足要求；对于全局时间同步服务，目前市面上也有很多全局时间服务如NTP。目前生产环境运行的时间同步服务可以保证不同机器间的时间差99.9％在1毫秒内，同时可以监测不同机器间的时间差，如果不同机器的时间差超过阈值，则会进行预警并有人工介入进行处理。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式自增唯一ID方法，其特征在于，包括，

步骤S1，采用构造或回调的方式完成初始化，所述初始化过程包括：获取主机名与主机ip，根据所述主机名或主机ip获取得到机器编码作为初始ID；

步骤S2，获取步骤S1所述初始化生成的初始ID，进行ID生成流程，获取系统当前时间，根据所述系统当前时间生成所述ID的时间戳；

步骤S3，获取同一时间戳内发生的并发交易记录，根据所述发生的并发交易的次数计算得到累加值；

步骤S4，将步骤S1得到的机器编码，步骤S2得到的时间戳，步骤S3得到的累加值进行排列组合，将组合后的结果返回ID。

2.根据权利要求1所述的分布式自增唯一ID方法，其特征在于，所述初始化过程中自动根据主机名/IP查询数据库查询是否已配置应用ID与机器名；

如果已配置应用ID与机器名，且检测已配置的应用ID与机器名符合编码要求，则使用已配置的应用ID加机器名当做6位10进制机器编码；

如果已配置应用ID与机器名，但检测已配置的应用ID与机器名不符合编码要求，则：若ID不足6位，左补0；若ID多余6位则从最低位向最高位方向截取6位作为机器编码；

如果未配置应用ID与机器名，则自动向表中新增一条数据，获取其id作为机器编码。

3.根据权利要求1所述的分布式自增唯一ID方法，其特征在于，所述ID的时间戳根据所述系统当前时间顺序进行排序；

获取系统当前时间到毫秒级别，判定前次系统时间是否为空；

若判定前次时间不为空，则判定当前系统时间减前次系统时间是否超过阈值；

若判定前次时间为空，将系统当前时间赋值给前次时间，继续判定当前系统时间减前次系统时间是否超过阈值；

若判定当前系统时间减前次系统时间超过阈值，则进行抛出时钟回拨异常操作；

若判定当前系统时间减前次系统时间不超过阈值，判定结束。

4.根据权利要求1所述的分布式自增唯一ID方法，其特征在于，所述步骤S3中计算得到的累加值，进一步判定累加值是否达到最大值；

若判定累加值达到最大值，则通过自旋不断重新获取当前最新时间，直到当前时间大于前次时间，将当前时间赋值给前次时间并且将累加值清零，使用累加值＝0，组装ID，并将结果返回ID；

若判定累加值没有达到最大值，则进行累加值加1操作组装ID，继续进行判定当前时间是否大于前次时间；

若判定结果为当前时间大于前次时间，则将当前时间赋值给前次时间，并且将累加值进行清零操作，并将结果返回ID；

若判定结果为当前时间不大于前次时间，则直接将结果返回ID。

5.根据权利要求1所述的分布式自增唯一ID方法，其特征在于，所述ID生成过程中设置有异步线程ID生成模式，将预生成ID放入一个阻塞队列，当调用ID生成时，从所述阻塞队列内部直接获取ID并返回，所述异步线程ID生成模式可根据需要选择是否启用。

6.根据权利要求1所述的分布式自增唯一ID方法，其特征在于，所述机器编码为固定值、依赖数据库自动生成的全局唯一值中的任一种。

7.一种装置，其特征在于，包括，

S100:初始化单元，用于完成初始化，所述初始化过程包括：获取主机名与主机ip，根据所述主机名或主机ip获取得到机器编码作为初始ID；

S200:ID生成单元，用于进行ID生成流程，获取系统当前时间，根据所述系统当前时间生成所述ID的时间戳；获取同一时间戳内发生的并发交易记录，根据所述发生的并发交易的次数计算得到累加值；

S300:ID组合单元，用于将所述初始化单元得到的机器编码，所述ID生成单元得到的时间戳及累加值进行排列组合，将组合后的结果返回ID；

S400:判定单元，用于对所述初始化单元、所述ID生成单元、所述ID组合单元执行流程过程中的判定程序进行判定。

8.根据权利要求7所述的装置，其特征在于，所述ID生成单元设置有异步线程ID生成模式，将预生成ID放入一个阻塞队列，当调用ID生成时，从所述阻塞队列内部直接获取ID并返回，所述异步线程ID生成模式可根据需要选择是否启用。

9.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如权利要求1至6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，实现如权利要求1至6中任一项方法，所述可读介质可以为多个，所述多个可读介质相互之间能够独立运行。