CN112181974B - 标识信息分配方法、系统及存储设备 - Google Patents

Abstract

本申请提供一种标识信息分配方法、系统以及存储设备，包括接收并切分标识信息，以生成第一比特串和第二比特串，且所述第一比特串具有与桶号相同比特长度，再取得第二比特串的哈希值，且从第一比特位开始，从哈希值中截取具有与桶号相同比特长度的第三比特串，在针对第一比特串和第三比特串执行异或运算，据以将第二比特串分配至具有与异或运算结果相同的桶号的桶内存储。通过本申请能够解决信息冗余存储的问题，节省了存储空间并可达到各桶平衡存储的目的。

Description

标识信息分配方法、系统及存储设备

技术领域

本申请实施例涉及一种信息分配存储技术，尤指一种标识信息分配方法、系统及存储设备。

背景技术

在很多大数据技术场景中，用户ID往往会被尽量均匀的分到不同的桶中去存储，以方便后续的并行计算。目前所采用的分配方法主要包括：首先,计算用户ID的哈希(hash)值，按照桶的数量对所计算出的哈希值进行模运算，并将运算结果作为相应的桶号，然后把所述用户id放入对应桶号的桶内进行存储，但是这种分配方法的缺点在于会存在一定的信息冗余，导致计算机存储空间的极大浪费。

具体而言，如图1所示，在目前分桶技术中，桶内所存储的是完整的用户ID，如上所述，由于“桶号”是由用户ID经过计算而得出，此相当于桶号信息在用户ID中已经存储了一次，而当包含有桶号信息的用户ID被存储在桶内时，即相当于桶号信息又被重复存储了一次，此造成了计算机内存以及磁盘的空间浪费。

有鉴于此，如何克服现有分桶存储技术中所存在的信息冗余存储的技术问题，即为本案待解决的技术课题。

发明内容

鉴于上述问题，本申请的主要目的在于提供一种本发明提出了一种标识信息分配方法、系统以及存储设备，可以消除信息的冗余存储，节省了计算机的资源占用。

本申请的主要目的在于提供一种本发明提出了一种标识信息分配方法、系统以及存储设备，可以达到各分桶平衡存储的技术功效。

本申请的一实施例提供一种标识信息分配方法，用于将标识信息分配到不同的桶内，其中，各所述桶分别具有相应的桶号，且所述桶号具有第一比特长度，所述方法包括：获得所述标识信息，所述标识信息具有大于所述第一比特长度的第二比特长度；切分所述标识信息，以生成第一比特串与第二比特串，其中，所述第一比特串具有所述第一比特长度；对所述第二比特串执行哈希运算，以生成哈希值；由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串，以生成第三比特串；针对所述第一比特串与所述第三比特串执行逐比特异或运算，并输出运算结果；以及将所述第二比特串分配存储于具有与所述运算结果相同的所述桶号的所述桶内。

于本申请的实施例中，所述方法还包括所述标识信息的还原步骤，其包括：提取所述桶的所述桶号与存储于所述桶内的所述第二比特串；对所述第二比特串执行哈希运算，以生成所述哈希值；由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串，以生成所述第三比特串；针对所述桶号与所述第三比特串执行逐比特异或运算以还原出所述第一比特串；以及拼接所述第一比特串与所述第二比特串而得到所述标识信息。

于本申请的实施例中，所述方法适用于数据管理系统，所述数据管理系统包括HDFS、Redis、或Hbase中的任一者。

于本申请的实施例中，所述方法适用于DAS网络存储架构、NAS网络存储架构、或SAN网络存储架构中的任一者。

本申请的另一实施例提供一种标识信息分配系统，其包括：多个桶，各所述桶分别具有相应的桶号，且所述桶号具有第一比特长度；接收模块，其用于接收所述标识信息，其中，所述标识信息具有第二比特长度，且所述第二比特长度大于所述第一比特长度；切分模块，其用于切分所述标识信息，以生成第一比特串与第二比特串，其中，所述第一比特串具有所述第一比特长度；运算模块，其用于对所述第二比特串执行哈希运算以生成哈希值，并由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串以生成第三比特串，且针对所述第一比特串与所述第三比特串执行逐比特异或运算并生成运算结果；以及分配模块，其用于将所述第二比特串存储于具有与所述运算结果相同的所述桶号的所述桶内。

于本申请的实施例中，所述系统还包括还原模块，其用于与所述运算模块协同运作，以还原所述标识信息；其中，所述还原模块用于获取所述桶的所述桶号与存储于所述桶内的所述第二比特串，以供所述运算模块对所述第二比特串执行哈希运算，以生成所述哈希值，并由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串以生成所述第三比特串，且针对所述桶号与所述第三比特串执行逐比特异或运算以还原出所述第一比特串，再借由所述还原模块通过拼接所述第一比特串与所述第二比特串而得到所述标识信息。

于本申请的实施例中，所述系统应用于数据管理系统，所述数据管理系统包括HDFS、Redis、或Hbase中的任一者。

于本申请的实施例中，所述系统适用于DAS网络存储架构、NAS网络存储架构、或SAN网络存储架构中的任一者。

再者，本申请还提供一种存储设备，其内存储有标识信息分配管理程序，其特征在于，当所述存储设备载入并执行所述标识信息分配管理程序时，可完成上述标识信息分配方法的各处理步骤。

于本申请的实施例中，所述存储设备为SCSI存储设备、FC存储设备、NAS存储设备、或ISCSI存储设备中的任一者。

由以上技术方案可见，本申请所提供的标识信息分配存储技术，基于哈希与异或运算，可消除现有技术中桶号信息冗余存储的技术问题，节省了计算机的资源占用，同时还可将标识信息尽量均匀地分配到各个桶内存储，使得每个桶内所存储的数据量相当，可以达到平衡存储的目的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为显示现有技术的用户ID的分桶存储示意图；

图2为显示本申请的标识信息分配方法的一实施例的流程示意图；

图3为显示本申请的标识信息分配方法的另一实施例的流程示意图；以及

图4为显示本申请的标识信息分配系统的框架示意图。

元件标号

10 标识信息分配系统

101A,101B,101C 桶

102A,102B,102C 桶号

102 接收模块

103 切分模块

104 运算模块

105 分配模块

106 还原模块

S21～S26 步骤

S31～S35 步骤

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

本申请主要提供一种分桶存储技术，可以消除现有技术中桶号信息冗余存储造成资源浪费的问题。

于一实施例中，本申请提供一种标识信息分配方法，其用于将标识信息分配到不同的桶内存储，其中，本，标识信息例如为用户ID或其他关键字信息。再者，各桶分别具有一相应的桶号，且桶号具有第一比特长度(例如4个比特位)。如图2所示，本实施例的标识信息分配方法主要包括以下处理步骤：

首先执行步骤S21,获得标识信息，其中，标识信息具有大于桶号的第一比特长度的第二比特长度(例如20个比特位)，接着执行步骤S22。

于步骤S22中，切分标识信息以生成第一比特串与第二比特串，其中，第一比特串具有第一比特长度，亦即，经切分所生成的第一比特串的长度与桶号相同为4个比特位，第二比特串则为16个比特串，接着执行步骤S23。

于步骤S23中，对所生成的第二比特串执行哈希运算，以生成哈希值，接着执行步骤S23。

于步骤S24中，由所生成的哈希值的第一比特位开始，从哈希值中截取具有第一比特长度的比特串以生成第三比特串，亦即，截取哈希值中的头4个比特位以生成第三比特串，接着执行步骤S23。

于步骤S25中，针对第一比特串与第三比特串执行逐比特异或运算，并输出运算结果，接着执行步骤S23。

于步骤S26中，将第二比特串(16个比特位)分配到具有与异或运算结果相同的桶号的桶内存储。

借此，由于本申请的桶内所存储的仅为标识信息的一部分(第二比特串)，因此，可以避免现有技术中桶号重复存储的技术问题。此外，由于哈希算法具有散列特点，使得上述方法步骤中所生成的第三比特串中的每个比特位取0-1的概率都近似为0.5。因此，在后续的异或运算中，当其中一个随机变量取0-1的概率皆为0.5时，则异或运算后的结果也是等概率取0或1的：

P(Z＝1)＝p*0.5+(1-p)*0.5＝0.5

P(Z＝0)＝p*0.5+(1-p)*0.5＝0.5

有鉴于此，本申请的异或运算结果(桶号)是均匀无倾斜的，因此，可以实现将标识信息尽量均匀地分配到各个桶内存储的目的。

于另一实施例中，本申请的标识信息分配方法还包括还原标识信息的处理步骤。请配合参阅图3，首先执行步骤S31，提取桶的桶号与存储于桶内的第二比特串，接着执行步骤S32。

于步骤S32中，对所提取的第二比特串执行哈希运算以生成所述哈希值，接着执行步骤S33。

于步骤S33中，由哈希值的第一比特位开始，从哈希值中截取具有第一比特长度的比特串，以生成第三比特串，接着执行步骤S34。

于步骤S34中，针对桶号与第三比特串执行逐比特异或运算，如此即可还原出第一比特串(4个比特位)，接着执行步骤S35。

于步骤S35中，拼接第一比特串与第二比特串而得到标识信息。

采用本申请的标识信息分配方法，不同的标识信息一定对应于不同的桶号和第二比特串，而不同的桶号和第二比特串也一定对应于不同的标识信息，也就说，标识信息与桶号和第二比特串之间构成一一映射，故不会造成信息的损失，亦不会产生冲突。

于一实施例中，本申请所提供的标识信息分配方法可适用于各种数据管理系统，包括但不限于HDFS、Redis、Hbase等数据管理系统。

此外，上述方法也可适用于各种网络存储架构，例如DAS、NAS、或SAN等，然并不以此为限，亦可应用于其他网络存储架构。

如图4所示，于又一实施例中，本申请还提供一种标识信息分配系统10，其主要包括多个桶101A,桶101B,以及桶101C，接收模块102，切分模块103，运算模块104，和分配模块105。

其中，各个桶101A,101B,101C分别具有相应的桶号102A,102B,102C，且各桶号102A,102B,102C具有第一比特长度(例如4个比特位)。

接收模块102用于接收标识信息，其中，标识信息具有大于第一比特长度的第二比特长度(例如20个比特位)。

切分模块103用于切分标识信息以生成第一比特串与第二比特串，其中，第一比特串亦具有第一比特长度(即4个比特位)，则第二比特串则为16个比特位。

运算模块104用于对第二比特串执行哈希运算以生成哈希值，并由哈希值的第一比特位开始，从哈希值中截取具有第一比特长度的比特串以生成第三比特串(即4个比特位)，且针对第一比特串与第三比特串执行逐比特异或运算而生成运算结果。

分配模块105则用于将第二比特串分配到具有与运算模块104的运算结果相同的桶号102A，102B或102C的桶101A,101B或101C内存储。

于另一实施例中，本申请的标识信息分配系统10还包括还原模块106，其用于和运算模块104协同运作，以还原标识信息。具体而言，还原模块106用于提取桶101A,101B或101C的桶号102A，102B或102C与存储于桶101A,101B或101C内的第二比特串，以供运算模块104对所提取的第二比特串执行哈希运算，而生成哈希值，并由哈希值的第一比特位开始，从哈希值中截取具有第一比特长度的比特串以生成第三比特串，且针对桶号与第三比特串执行逐比特异或运算以还原出第一比特串，再借由还原模块106通过拼接第一比特串与第二比特串即可还原出标识信息。

本申请的标识信息分配系统10可以应用于各种数据管理系统，例如，HDFS、Redis、或Hbase等，然并不以此为限，亦可适用于其他数据管理系统或数据库。

此外，本申请的标识信息分配系统10还适用于当前各种主流的网络存储架构中，例如DAS网络存储架构、NAS网络存储架构、或SAN网络存储架构等。

再者，本申请还提供一种存储设备，其内存储有标识信息分配管理程序，当本申请的存储设备载入并执行所述标识信息分配管理程序时，可以完成如图2或图3所示的操作步骤。于具体实施例中，上述存储设备包括但不限于SCSI存储设备、FC存储设备、NAS存储设备、或ISCSI存储设备。

综上所述，本申请所提供的标识信息分配方法、系统及存储设备，可以消除现有技术中桶号信息冗余存储的技术问题，节省了计算机的资源占用，同时还可将标识信息尽量均匀地分配到各个桶内存储，可以达到平衡存储的技术功效。

以上所描述的装置(系统)实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

本领域的技术人员应明白，本发明实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种标识信息分配方法，用于将标识信息分配到不同的桶内，其中，各所述桶分别具有相应的桶号，且所述桶号具有第一比特长度，其特征在于，所述方法包括：

获得所述标识信息，所述标识信息具有大于所述第一比特长度的第二比特长度；

切分所述标识信息，以生成第一比特串与第二比特串，其中，所述第一比特串具有所述第一比特长度；

对所述第二比特串执行哈希运算，以生成哈希值；

由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串，以生成第三比特串；

针对所述第一比特串与所述第三比特串执行逐比特异或运算，并输出运算结果；以及

将所述第二比特串分配存储于具有与所述运算结果相同的所述桶号的所述桶内。

2.根据权利要求1所述的标识信息分配方法，其特征在于，所述方法还包括所述标识信息的还原步骤，其包括：

提取所述桶的所述桶号与存储于所述桶内的所述第二比特串；

对所述第二比特串执行哈希运算，以生成所述哈希值；

由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串，以生成所述第三比特串；

针对所述桶号与所述第三比特串执行逐比特异或运算以还原出所述第一比特串；以及

拼接所述第一比特串与所述第二比特串而得到所述标识信息。

3.根据权利要求1或2中任一项所述的标识信息分配方法，其特征在于，所述方法适用于数据管理系统，所述数据管理系统包括HDFS、Redis、或Hbase中的任一者。

4.根据权利要求1或2中任一项所述的标识信息分配方法，其特征在于，所述方法适用于DAS网络存储架构、NAS网络存储架构、或SAN网络存储架构中的任一者。

5.一种标识信息分配系统，其特征在于，所述系统包括：

多个桶，各所述桶分别具有相应的桶号，且所述桶号具有第一比特长度；

接收模块，其用于接收所述标识信息，其中，所述标识信息具有第二比特长度，且所述第二比特长度大于所述第一比特长度；

切分模块，其用于切分所述标识信息，以生成第一比特串与第二比特串，其中，所述第一比特串具有所述第一比特长度；

运算模块，其用于对所述第二比特串执行哈希运算以生成哈希值，并由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串以生成第三比特串，且针对所述第一比特串与所述第三比特串执行逐比特异或运算并生成运算结果；以及

分配模块，其用于将所述第二比特串存储于具有与所述运算结果相同的所述桶号的所述桶内。

6.根据权利要求5所述的标识信息分配系统，其特征在于，所述系统还包括：

还原模块，其用于与所述运算模块协同运作，以还原所述标识信息；

其中，所述还原模块用于获取所述桶的所述桶号与存储于所述桶内的所述第二比特串，以供所述运算模块对所述第二比特串执行哈希运算，以生成所述哈希值，并由所述哈希值的第一比特位开始，从所述哈希值中截取具有所述第一比特长度的比特串以生成所述第三比特串，且针对所述桶号与所述第三比特串执行逐比特异或运算以还原出所述第一比特串，再借由所述还原模块通过拼接所述第一比特串与所述第二比特串而得到所述标识信息。

7.根据权利要求5或6中任一项所述的标识信息分配系统，其特征在于，所述系统应用于数据管理系统，所述数据管理系统包括HDFS、Redis、或Hbase中的任一者。

8.根据权利要求5或6中任一项所述的标识信息分配系统，其特征在于，所述系统适用于DAS网络存储架构、NAS网络存储架构、或SAN网络存储架构中的任一者。

9.一种存储设备，其内存储有标识信息分配管理程序，其特征在于，当所述存储设备载入并执行所述标识信息分配管理程序时，可完成如权利要求1或2中任一项所述的标识信息分配方法的各步骤。

10.根据权利要求9所述的存储设备，其特征在于，所述存储设备为SCSI存储设备、FC存储设备、NAS存储设备、或ISCSI存储设备中的任一者。

Images