CN115297131B - 一种基于一致性哈希的敏感数据分布式储存方法 - Google Patents

一种基于一致性哈希的敏感数据分布式储存方法 Download PDF

Info

Publication number
CN115297131B
CN115297131B CN202210914008.3A CN202210914008A CN115297131B CN 115297131 B CN115297131 B CN 115297131B CN 202210914008 A CN202210914008 A CN 202210914008A CN 115297131 B CN115297131 B CN 115297131B
Authority
CN
China
Prior art keywords
hash
sensitive data
unique identification
node
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210914008.3A
Other languages
English (en)
Other versions
CN115297131A (zh
Inventor
易波
高世昌
钟琪
程子秋
白经纬
何强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202210914008.3A priority Critical patent/CN115297131B/zh
Publication of CN115297131A publication Critical patent/CN115297131A/zh
Application granted granted Critical
Publication of CN115297131B publication Critical patent/CN115297131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明的一种基于一致性哈希的敏感数据分布式储存方法，包括：将服务器节点映射成多个虚拟节点，生成虚拟节点的唯一标识ID1；从客户端获取敏感数据的唯一标识ID2；将231个空白的桶空间连成哈希环，设定桶空间顺时针排列的序号为0～231‑1；通过一致性哈希算法计算虚拟节点的唯一标识ID1对应的哈希值H1，将哈希环上第H1个桶空间的值赋值为该虚拟节点的唯一标识ID1；通过一致性哈希算法获得敏感数据的唯一标识ID2对应的哈希值H2，以哈希环上第H2个桶空间为起点顺时针移动，直到遇到第一个含有虚拟节点的唯一标识ID1的桶空间，将该条敏感数据存到该虚拟节点对应的服务器节点中；重复执行上一步将所有敏感数据都存储到相应的服务器节点中。

Description

一种基于一致性哈希的敏感数据分布式储存方法
技术领域
本发明属于计算机数据库技术领域，涉及一种基于一致性哈希的敏感数据分布式储存方法。
背景技术
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，如此多的数据无疑对数据库造成了相当高的负载，给系统的稳定性和扩展性提出了极大的挑战。通过数据切片来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。采用数据切片技术，把海量业务数据均匀分布到数据库集群的不同机器节点，实现数据横向扩展，有效降低单台机器的访问负载，提高数据访问速度和并发量。建立数据切片算法，采用分布式数据库的数据路由、全局索引和序列等技术，可以实现应用程序对切片数据的透明访问，提升访问效率。
传统的分布式算法采用顺序储存的结构。这种结构的弊端为，起初数据还能较为均匀的储存在各个节点设备上，但随着时间的增加，越来越多的数据只会增加在最新的节点上。这样就造成了负载不均衡，设备储存利用率低下等问题。尤其在动态增加节点后，即使原先的分布均匀也很难保证继续均匀。由此带来另一个较为严重的缺点是，当一个节点异常时，该节点的压力全部转移到相邻的一个节点，当加入一个新节点时，只能为一个相邻节点分摊压力。
发明内容
为解决上述技术问题，本发明的目的是提供一种基于一致性哈希的敏感数据分布式储存方法，解决由于数据分配不均带来的负载不均衡问题。
本发明提供一种基于一致性哈希的敏感数据分布式储存方法，包括：
步骤1：获取每个服务器节点的储存能力，根据储存能力将每个服务器节点分成多个区，每个区对应一个虚拟节点，生成每个虚拟节点的唯一标识ID1；
步骤2：从客户端获取要储存的敏感数据，并获取敏感数据的唯一标识ID2；
步骤3：将231个初始值为空白的桶空间首尾相连构成哈希环，设定桶空间顺时针排列的序号为0～231-1；
步骤4：将虚拟节点的唯一标识ID1转为字符串，通过一致性哈希算法计算每个虚拟节点的唯一标识ID1所对应的哈希值H1，并将哈希环上第H1个桶空间的值赋值为该虚拟节点的唯一标识ID1；
步骤5：将敏感数据的唯一标识ID2转为字符串，通过一致性哈希算法获得每条敏感数据的唯一标识ID2所对应的哈希值H2，以哈希环上第H2个桶空间为起点，沿哈希环顺时针移动，直到遇到第一个含有虚拟节点的唯一标识ID1的桶空间，并将该条敏感数据存到该虚拟节点对应的服务器节点中；
步骤6：重复执行步骤5直到将所有敏感数据都存储到相应的服务器节点中；
步骤7：若新增虚拟节点，获取新增虚拟节点的唯一标识ID3，通过一致性哈希算法获得新增虚拟节点的唯一标识ID3所对应的哈希值H3，并将哈希环上第H3个桶空间的值赋值为该新增虚拟节点的唯一标识ID3；
步骤8：以哈希环上第H3个桶空间为起点，沿哈希环顺时针移动，直到遇到第一个含有虚拟节点的唯一标识ID1的桶空间，如果该虚拟节点所对应的分区内存储有敏感数据则执行步骤5进行数据重新分配；
步骤9：若删除虚拟节点，将哈希环上赋值有该待删除虚拟节点的唯一标识的桶空间进行释放；
步骤10：将待删除虚拟节点所对应分区中的全部敏感数据转存到下一个虚拟节点对应的服务器节点中。
在本发明的基于一致性哈希的敏感数据分布式储存方法中，步骤1具体为：
步骤1.1：获取服务器节点的数量、每个服务器节点的IP地址以及每个服务器节点的储存空间大小；
步骤1.2：将每个服务器节点映射成多个虚拟节点，根据下式计算虚拟节点的数量：
Figure BDA0003774867410000031
其中，n(i)表示第i个服务器节点映射成的虚拟节点的数量；store_size(i)表示第i个服务器节点的储存空间大小，单位TB；
步骤3.1：根据服务器节点的IP地址和服务器节点的储存空间大小生成该服务器节点映射成的每个虚拟节点的唯一标识ID1，第j个虚拟节点的唯一标识ID1表示为：{‘id1’:‘IP’+‘VN’+‘j’}，其中IP为根据服务器节点的IP地址。
在本发明的基于一致性哈希的敏感数据分布式储存方法中，步骤2具体为：
步骤2.1：规定敏感数据的唯一标识ID2格式为{‘id2’:‘time’+‘level’}，其中time为唯一标识ID2生成时间，计算方法为：从1970-01-0100:00:00UTC开始到现在所经历的秒数，并取整数；level为敏感数据的敏感等级，具体包括四个敏感等级：公开数据、外部敏感、内部部门间敏感和内部部门内敏感数据，四个敏感等级分别对应用如下符号表示：low、medium、high和vhigh；
步骤2.2：采集需要储存的敏感数据，获取敏感数据的敏感等级，
步骤2.3：生成每一条敏感数据的唯一标识ID2。
在本发明的基于一致性哈希的敏感数据分布式储存方法中，步骤4和步骤5中的一致性哈希算法计算哈希值的具体步骤为：
S1：定义算子p，定义哈希初始值hash0；
S2：获取相应的字符串长度m，计算哈希初始值hash0与字符串的第一个字符的ascii码值按位异或后再乘以算子p的值hash1，再计算hash1与字符串的第二个字符的ascii码值按位异或后再乘以算子p的值hash2，对其余所有字符重复相同操作获得hashm；
S3：对获得的hashm值进行五次移位后相加或异或操作，获得新的哈希值hashm+5；
S4：若新的哈希值hashm+5为负数，则取绝对值，最终得到哈希值落在[0,2166136261]间。
在本发明的基于一致性哈希的敏感数据分布式储存方法中，所述算子p＝1677619，哈希初始值hash0＝2166136261。
在本发明的基于一致性哈希的敏感数据分布式储存方法中，所述S2通过下列公式表达：
Figure BDA0003774867410000041
其中，stra表示字符串的第a个字符，a＝1～m。
在本发明的基于一致性哈希的敏感数据分布式储存方法中，所述S3中对hashm值进行五次移位后相加或异或操作，公式如下：
hashm+1＝hashm+(hashm＜＜13)
Figure BDA0003774867410000042
hashm+3＝hashm+2+(hashm+2＜＜3)
Figure BDA0003774867410000043
hashm+5＝hashm+4+(hashm+4＜＜5)
其中，符号<<和符号>>分别表示将二进制数左移或右移N位。
本发明的一种基于一致性哈希的敏感数据分布式储存方法，至少具有如下有益效果：
1、相比于传统哈希分类，本发明中采用的一致性哈希算法中在存储的敏感数据发生大规模变动时可有效的避免了大量数据迁移，节省了网络资源，有效减小整个传输负荷。由于存储的敏感数据变化及节点设备宕机和增加具有实时性特点，程序也及时将储存情况进行小规模调整，避免了大量待迁移数据的积累造成网络拥塞等问题。
2、与现有技术相比，本发明在虚拟节点增加或减少时依然能够发挥较好的作用，由于敏感数据的敏感程度的等级性，在切片时特征提取较为准确，在后续的分配过程也将有很强的自组织能力。
3、本发明将定时监控各服务器节点的各分区的储存情况，通过定期对小规模敏感数据的迁移避免了出现大量数据变动的情况，该项举措将有效减少网络拥塞状况的发生。
附图说明
图1是本发明的一种基于一致性哈希的敏感数据分布式储存方法的流程图；
图2为哈希环中敏感数据存储的示意图；
图3为哈希环中增加虚拟节点时敏感数据的重新分配示意图；
图4为哈希环中删除虚拟节点时敏感数据的迁移示意图。
具体实施方式
如图1所示，本发明一种基于一致性哈希的敏感数据分布式储存方法，包括：
步骤1：获取每个服务器节点的储存能力，根据储存能力将每个服务器节点分成多个区，每个区对应一个虚拟节点，生成每个虚拟节点的唯一标识ID1，步骤1具体为：
步骤1.1：获取服务器节点的数量、每个服务器节点的IP地址以及每个服务器节点的储存空间大小；
步骤1.2：将每个服务器节点映射成多个虚拟节点，根据下式计算虚拟节点的数量：
Figure BDA0003774867410000061
其中，n(i)表示第i个服务器节点映射成的虚拟节点的数量；store_size(i)表示第i个服务器节点的储存空间大小，单位TB；
步骤3.1：根据服务器节点的IP地址和服务器节点的储存空间大小生成该服务器节点映射成的每个虚拟节点的唯一标识ID1，第j个虚拟节点的唯一标识ID1表示为：{‘id1’:‘IP’+‘VN’+‘j’}，其中IP为根据服务器节点的IP地址。
步骤2：从客户端获取要储存的敏感数据，并获取敏感数据的唯一标识ID2，步骤2具体为：
步骤2.1：规定敏感数据的唯一标识ID2格式为{‘id2’:‘time’+‘level’}，其中time为唯一标识ID2生成时间，计算方法为：从1970-01-0100:00:00UTC开始到现在所经历的秒数，并取整数；level为敏感数据的敏感等级，具体包括四个敏感等级：公开数据、外部敏感、内部部门间敏感和内部部门内敏感数据，四个敏感等级分别对应用如下符号表示：low、medium、high和vhigh；
步骤2.2：采集需要储存的敏感数据，获取敏感数据的敏感等级，
步骤2.3：生成每一条敏感数据的唯一标识ID2。
步骤3：将231个初始值为空白的桶空间首尾相连构成哈希环，设定桶空间顺时针排列的序号为0～231-1；
步骤4：将虚拟节点的唯一标识ID1转为字符串，通过一致性哈希算法计算每个虚拟节点的唯一标识ID1所对应的哈希值H1，并将哈希环上第H1个桶空间的值赋值为该虚拟节点的唯一标识ID1；
步骤5：将敏感数据的唯一标识ID2转为字符串，通过一致性哈希算法获得每条敏感数据的唯一标识ID2所对应的哈希值H2，以哈希环上第H2个桶空间为起点，沿哈希环顺时针移动，直到遇到第一个含有虚拟节点的唯一标识ID1的桶空间，并将该条敏感数据存到该虚拟节点对应的服务器节点中；
如图2所示为哈希环中敏感数据存储的示意图，图中圆环表示哈希环，node1、node2和、node3表示3个虚拟节点的唯一标识ID1所对应的哈希值H1在哈希环中对应的桶空间位置，key1、key2、key3和key4代表4条敏感数据的唯一标识ID2所对应的哈希值H2在哈希环中对应的桶空间位置，key将顺时针查找node，并将数据储存在第一个遇到的node中。
具体实施时，步骤4和步骤5中的一致性哈希算法计算哈希值的具体步骤为：
S1：定义算子p，定义哈希初始值hash0；
具体实施时，算子p＝1677619，哈希初始值hash0＝2166136261。
S2：获取相应的字符串长度m，计算哈希初始值hash0与字符串的第一个字符的ascii码值按位异或后再乘以算子p的值hash1，再计算hash1与字符串的第二个字符的ascii码值按位异或后再乘以算子p的值hash2，对其余所有字符重复相同操作获得hashm；
具体实施时，通过下列公式表达：
Figure BDA0003774867410000071
其中，stra表示字符串的第a个字符，a＝1～m。
S3：对获得的hashm值进行五次移位后相加或异或操作，获得新的哈希值hashm+5；
具体实施时，对hashm值进行五次移位后相加或异或操作，公式如下：
hashm+1＝hashm+(hashm＜＜13)
Figure BDA0003774867410000081
hashm+3＝hashm+2+(hashm+2＜＜3)
Figure BDA0003774867410000082
hashm+5＝hashm+4+(hashm+4＜＜5)
其中，符号<<和符号>>分别表示将二进制数左移或右移N位。
S4：若新的哈希值hashm+5为负数，则取绝对值，最终得到哈希值落在[0,2166136261]间。
步骤6：重复执行步骤5直到将所有敏感数据都存储到相应的服务器节点中；
步骤7：若新增虚拟节点，获取新增虚拟节点的唯一标识ID3，通过一致性哈希算法获得新增虚拟节点的唯一标识ID3所对应的哈希值H3，并将哈希环上第H3个桶空间的值赋值为该新增虚拟节点的唯一标识ID3；
步骤8：以哈希环上第H3个桶空间为起点，沿哈希环顺时针移动，直到遇到第一个含有虚拟节点的唯一标识ID1的桶空间，如果该虚拟节点所对应的分区内存储有敏感数据则执行步骤5进行数据重新分配；
具体实施时，如图3所示为哈希环中增加虚拟节点时敏感数据的重新分配示意图。当node4处增加虚拟节点时，原本属于node2的key2数据重新沿哈希环顺时针移动，直到遇到第一个含有虚拟节点的唯一标识ID1的桶空间位置node4，key2数据将会转移存储到node4中。
步骤9：若删除虚拟节点，将哈希环上赋值有该待删除虚拟节点的唯一标识的桶空间进行释放；
步骤10：将待删除虚拟节点所对应分区中的全部敏感数据转存到下一个虚拟节点对应的服务器节点中。
具体实施时，如图4所示为哈希环中删除虚拟节点时敏感数据的迁移示意图，当删除node3处虚拟节点时，原本属于node3的key4会转移到node1中。
以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于一致性哈希的敏感数据分布式储存方法，其特征在于，包括：
步骤1：获取每个服务器节点的储存能力，根据储存能力将每个服务器节点分成多个区，每个区对应一个虚拟节点，生成每个虚拟节点的唯一标识ID1；
步骤2：从客户端获取要储存的敏感数据，并获取敏感数据的唯一标识ID2；
步骤3：将231个初始值为空白的桶空间首尾相连构成哈希环，设定桶空间顺时针排列的序号为0～231-1；
步骤4：将虚拟节点的唯一标识ID1转为字符串，通过一致性哈希算法计算每个虚拟节点的唯一标识ID1所对应的哈希值H1，并将哈希环上第H1个桶空间的值赋值为该虚拟节点的唯一标识ID1；
步骤5：将敏感数据的唯一标识ID2转为字符串，通过一致性哈希算法获得每条敏感数据的唯一标识ID2所对应的哈希值H2，以哈希环上第H2个桶空间为起点，沿哈希环顺时针移动，直到遇到第一个含有虚拟节点的唯一标识ID1的桶空间，并将该条敏感数据存到该虚拟节点对应的服务器节点中；
步骤6：重复执行步骤5直到将所有敏感数据都存储到相应的服务器节点中；
步骤7：若新增虚拟节点，获取新增虚拟节点的唯一标识ID3，通过一致性哈希算法获得新增虚拟节点的唯一标识ID3所对应的哈希值H3，并将哈希环上第H3个桶空间的值赋值为该新增虚拟节点的唯一标识ID3；
步骤8：以哈希环上第H3个桶空间为起点，沿哈希环顺时针移动，直到遇到第一个含有虚拟节点的唯一标识ID1的桶空间，如果该虚拟节点所对应的分区内存储有敏感数据则执行步骤5进行数据重新分配；
步骤9：若删除虚拟节点，将哈希环上赋值有该待删除虚拟节点的唯一标识的桶空间进行释放；
步骤10：将待删除虚拟节点所对应分区中的全部敏感数据转存到下一个虚拟节点对应的服务器节点中；
所述步骤4和步骤5中的一致性哈希算法计算哈希值的具体步骤为：
S1：定义算子p，定义哈希初始值hash0；
S2：获取相应的字符串长度m，计算哈希初始值hash0与字符串的第一个字符的ascii码值按位异或后再乘以算子p的值hash1，再计算hash1与字符串的第二个字符的ascii码值按位异或后再乘以算子p的值hash2，对其余所有字符重复相同操作获得hashm；
S3：对获得的hashm值进行五次移位后相加或异或操作，获得新的哈希值hashm+5；
S4：若新的哈希值hashm+5为负数，则取绝对值，最终得到哈希值落在[0,2166136261]间。
2.如权利要求1所述的基于一致性哈希的敏感数据分布式储存方法，其特征在于，步骤1具体为：
步骤1.1：获取服务器节点的数量、每个服务器节点的IP地址以及每个服务器节点的储存空间大小；
步骤1.2：将每个服务器节点映射成多个虚拟节点，根据下式计算虚拟节点的数量：
Figure FDA0004180129540000021
其中，n(i)表示第i个服务器节点映射成的虚拟节点的数量；
store_size(i)表示第i个服务器节点的储存空间大小，单位TB；
步骤3.1：根据服务器节点的IP地址和服务器节点的储存空间大小生成该服务器节点映射成的每个虚拟节点的唯一标识ID1，第j个虚拟节点的唯一标识ID1表示为：{‘id1’:‘IP’+‘VN’+‘j’}，其中IP为根据服务器节点的IP地址。
3.如权利要求1所述的基于一致性哈希的敏感数据分布式储存方法，其特征在于，步骤2具体为：
步骤2.1：规定敏感数据的唯一标识ID2格式为{‘id2’:‘time’+‘level’}，其中time为唯一标识ID2生成时间，计算方法为：从1970-01-0100:00:00UTC开始到现在所经历的秒数，并取整数；level为敏感数据的敏感等级，具体包括四个敏感等级：公开数据、外部敏感、内部部门间敏感和内部部门内敏感数据，四个敏感等级分别对应用如下符号表示：low、medium、high和vhigh；
步骤2.2：采集需要储存的敏感数据，获取敏感数据的敏感等级，
步骤2.3：生成每一条敏感数据的唯一标识ID2。
4.如权利要求1所述的基于一致性哈希的敏感数据分布式储存方法，其特征在于，所述算子p＝1677619，哈希初始值hash0＝2166136261。
5.如权利要求1所述的基于一致性哈希的敏感数据分布式储存方法，其特征在于，所述S2通过下列公式表达：
Figure FDA0004180129540000031
其中，stra表示字符串的第a个字符，a＝1～m。
6.如权利要求1所述的基于一致性哈希的敏感数据分布式储存方法，其特征在于，所述S3中对hashm值进行五次移位后相加或异或操作，公式如下：
hashm+1＝hashm+(hashm＜＜13)
Figure FDA0004180129540000032
hashm+3＝hashm+2+(hashm+2＜＜3)
Figure FDA0004180129540000041
hashm+5＝hashm+4+(hashm+4＜＜5)
其中，符号<<和符号>>分别表示将二进制数左移或右移N位。
CN202210914008.3A 2022-08-01 2022-08-01 一种基于一致性哈希的敏感数据分布式储存方法 Active CN115297131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210914008.3A CN115297131B (zh) 2022-08-01 2022-08-01 一种基于一致性哈希的敏感数据分布式储存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210914008.3A CN115297131B (zh) 2022-08-01 2022-08-01 一种基于一致性哈希的敏感数据分布式储存方法

Publications (2)

Publication Number Publication Date
CN115297131A CN115297131A (zh) 2022-11-04
CN115297131B true CN115297131B (zh) 2023-05-26

Family

ID=83826042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210914008.3A Active CN115297131B (zh) 2022-08-01 2022-08-01 一种基于一致性哈希的敏感数据分布式储存方法

Country Status (1)

Country Link
CN (1) CN115297131B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636286A (zh) * 2015-02-06 2015-05-20 华为技术有限公司 用于数据访问的方法和设备
CN105511801A (zh) * 2015-11-12 2016-04-20 长春理工大学 数据存储的方法和装置
CN107197035A (zh) * 2017-06-21 2017-09-22 中国民航大学 一种基于一致性哈希算法的亲和性动态负载均衡方法
CN107423368A (zh) * 2017-06-29 2017-12-01 中国测绘科学研究院 一种非关系数据库中的时空数据索引方法
CN111177154A (zh) * 2019-12-27 2020-05-19 掌迅亿通(北京)信息科技有限公司 分布式数据库缓存方法及其哈希环优化

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130191437A1 (en) * 2010-10-01 2013-07-25 Hitachi, Ltd. Distributed processing system and method of node distribution in distributed processing system
CN102244685B (zh) * 2011-08-11 2013-09-18 中国科学院软件研究所 一种支持负载均衡的分布式缓存动态伸缩方法及系统
JP5719323B2 (ja) * 2012-02-28 2015-05-13 日本電信電話株式会社 分散処理システム、ディスパッチャおよび分散処理管理装置
CN104050270A (zh) * 2014-06-23 2014-09-17 成都康赛信息技术有限公司 一种基于一致性哈希算法的分布式存储方法
CN106789175A (zh) * 2016-11-30 2017-05-31 武汉长江通信智联技术有限公司 一种基于一致性哈希算法进行redis横向扩展的方法
US11461203B2 (en) * 2018-07-10 2022-10-04 Here Data Technology Systems and methods of handling node failure in a distributed data storage using multi-layer consistent hashing
CN111723073B (zh) * 2019-03-19 2023-09-01 北京沃东天骏信息技术有限公司 数据存储处理方法、装置、处理系统以及存储介质
CN111159193B (zh) * 2019-12-27 2023-08-29 掌迅亿通(北京)信息科技有限公司 多层一致性哈希环及其在创建分布式数据库中的应用
CN111723148B (zh) * 2020-04-10 2024-01-26 浙江大华技术股份有限公司 数据存储方法及装置、存储介质、电子装置
CN111614760A (zh) * 2020-05-20 2020-09-01 浩云科技股份有限公司 一种将物联网设备均衡分配接入的方法及装置
CN112230861B (zh) * 2020-10-26 2022-09-13 金钱猫科技股份有限公司 一种基于一致性哈希算法的数据存储方法及终端
US11496395B2 (en) * 2021-01-19 2022-11-08 Drivenets Ltd. Method for implementing a consistent hashing in a communication network
CN113676513B (zh) * 2021-07-15 2022-07-01 东北大学 一种深度强化学习驱动的网内缓存优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636286A (zh) * 2015-02-06 2015-05-20 华为技术有限公司 用于数据访问的方法和设备
CN105511801A (zh) * 2015-11-12 2016-04-20 长春理工大学 数据存储的方法和装置
CN107197035A (zh) * 2017-06-21 2017-09-22 中国民航大学 一种基于一致性哈希算法的亲和性动态负载均衡方法
CN107423368A (zh) * 2017-06-29 2017-12-01 中国测绘科学研究院 一种非关系数据库中的时空数据索引方法
CN111177154A (zh) * 2019-12-27 2020-05-19 掌迅亿通(北京)信息科技有限公司 分布式数据库缓存方法及其哈希环优化

Also Published As

Publication number Publication date
CN115297131A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN109241161B (zh) 一种气象数据管理方法
US8874505B2 (en) Data replication and failure recovery method for distributed key-value store
CN111723073B (zh) 数据存储处理方法、装置、处理系统以及存储介质
Xu et al. A new and effective hierarchical overlay structure for peer-to-peer networks
CN103379138A (zh) 实现负载均衡的方法及系统和灰度发布的方法及装置
CN102201986A (zh) 非关系型数据库Cassandra中分区路由方法
CN107330094A (zh) 动态存储键值对的布鲁姆过滤器树结构及键值对存储方法
CN107798106A (zh) 一种分布式爬虫系统中的url去重方法
Tang et al. A lightweight multidimensional index for complex queries over dhts
CN106020724A (zh) 一种基于数据映射算法的近邻存储方法
CN114567634A (zh) 面向后e级图计算的方法、系统、存储介质及电子设备
CN115297131B (zh) 一种基于一致性哈希的敏感数据分布式储存方法
CN107908713B (zh) 一种基于Redis集群的分布式动态杜鹃过滤系统及其过滤方法
US20070165619A1 (en) Device and method for retrieving/storing electronic data in a system with a plurality of data processing units
CN110716933B (zh) 一种面向新型城轨列车大数据的高伸缩分布式索引方法
US20140201238A1 (en) Data Distribution/Retrieval Using Multi-Dimensional Index
Shen A P2P-based intelligent resource discovery mechanism in Internet-based distributed systems
Lee et al. CISS: An efficient object clustering framework for DHT-based peer-to-peer applications
Li et al. Application of bloom filter in grid information service
CN116126928A (zh) 一种基于可变指纹布谷鸟过滤器的信息查找系统
Blanas et al. Contention-based performance evaluation of multidimensional range search in peer-to-peer networks
CN110597809A (zh) 一种支持树状数据结构的一致性算法系统及其实现方法
Nakazato et al. Data allocation method considering server performance and data access frequency with consistent hashing
Luo et al. Distributed dynamic cuckoo filter system based on Redis Cluster
JP2005071115A (ja) Ｐ２ｐ環境におけるオブジェクトの登録検索方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant