CN104050270A - 一种基于一致性哈希算法的分布式存储方法 - Google Patents

一种基于一致性哈希算法的分布式存储方法 Download PDF

Info

Publication number
CN104050270A
CN104050270A CN201410284250.2A CN201410284250A CN104050270A CN 104050270 A CN104050270 A CN 104050270A CN 201410284250 A CN201410284250 A CN 201410284250A CN 104050270 A CN104050270 A CN 104050270A
Authority
CN
China
Prior art keywords
cache
hash
hash value
key
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410284250.2A
Other languages
English (en)
Inventor
唐雪飞
张小盼
楚龙辉
王淋铱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU COMSYS INFORMATION TECHNOLOGY Co Ltd
Original Assignee
CHENGDU COMSYS INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU COMSYS INFORMATION TECHNOLOGY Co Ltd filed Critical CHENGDU COMSYS INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410284250.2A priority Critical patent/CN104050270A/zh
Publication of CN104050270A publication Critical patent/CN104050270A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/325—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion
    • G06F16/86—Mapping to a database

Abstract

本发明公开了一种基于一致性哈希算法的分布式存储方法，属于分布式数据库存储技术领域，包括以下步骤：S1：将哈希数值空间设置成一个首尾相接的圆环；S2：把对象映射到哈希数值空间；S3：把高速缓冲存储器Cache映射到对象映射到的同一个哈希数值空间，并且使用相同的哈希算法；S4：把对象映射到Cache；S5：移除Cache或者添加Cache。本发明的有益效果如下：数据检索效率高，每次检索时，在相应的服务器中就能得到相应的数据，快速地进行响应；当增加或减少服务器时，不会对已有的分布式环境造成太大的影响，只会对部分数据的存储产生影响，并且哈希服务器不会改变。

Description

一种基于一致性哈希算法的分布式存储方法
技术领域
本发明属于分布式数据库存储技术领域，具体涉及基于一致性哈希算法的分布式存储方法。 
背景技术
随着云时代的来临，大数据吸引了越来越多的关注。大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在存储到数据库时会花费过多时间。大数据常和分布式系统联系到一起，因为实时的大型数据集存储需要像编程模型Map Reduce一样的框架向数百上千的电脑分配工作。 
传统的分布式系统，对于这些大数据如果只是简单的进行哈希运算，再进行分布式处理，那么当分布的服务器的数量频繁地增加或删除时，哈希结果会重新计算重新生成。这将导致所读取数据的服务器进行变换，服务器中的高速缓冲存储器Cache全部作废，从而降低服务器的响应速度，给用户带来非常不好的体验，并且服务器也面临着巨大考验。 
发明内容
本发明针对现有技术的不足，提供了一种基于一致性哈希算法的分布式存储方法，使得大数据的存储更加灵活方便，检索更加快捷。 
为了实现以上发明目的，本发明采取的技术方案如下：一种基于一致性哈希算法的分布式存储方法，包括以下步骤： 
S1：将哈希数值空间设置成一个首尾相接的圆环； 
S2：通过哈希函数计算出哈希值Key在环上的分布，把对象映射到哈希数值空间； 
S3：把高速缓冲存储器Cache映射到对象映射到的同一个哈希数值空间，并且使用相同的哈希算法； 
S4：把对象映射到Cache：沿着圆环的顺时针方向从对象的Key值出发，直到遇见一个Cache，那么就将该对象存储在这个Cache上； 
S5：移除Cache或者添加Cache。 
作为优选：S1所述的哈希数值空间是一个首(0)尾(2^32-1)相接的圆环。 
作为优选：S3所述的Cache的哈希计算方法如下：使用Cache的IP地址或者Cache的机器名称作为哈希输入。 
作为优选：所述步骤还包括S6：加入虚拟节点；虚拟节点是实际节点在哈希数值空间的复制品，一个实际节点对应了至少一个虚拟节点，这个对应个数就是复制个数，虚拟节点在哈希数值空间中以Hash值排列。 
作为优选：虚拟节点的哈希计算采用对应节点的IP地址加数字后缀的方式。 
作为优选：所述的S2有4个对象object1～object4，通过哈希函数计算出哈希值Key在环上的分布， 
Hash(object1)＝Key1； 
Hash(object2)＝Key2； 
Hash(object3)＝Key3； 
Hash(object4)＝Key4。 
作为优选：所述的S3有A、B、C共3台Cache,在哈希数值空间中以对应的Hash值排列； 
Hash(Cache A)＝Key A； 
Hash(Cache B)＝Key B； 
Hash(Cache C)＝Key C。 
作为优选：S4所述的把对象映射到Cache：对象object1存储到Cache A上；object2和object3存储到Cache C；object4存储到Cache B。 
本发明的有益效果如下： 
1.数据检索效率高，每次检索时，在相应的服务器中就能得到相应的数据，快速地进行响应。 
2.当增加或减少服务器时，不会对已有的分布式环境造成太大的影响，只会对部分数据的存储产生影响，并且哈希服务器不会改变。 
附图说明
图1为哈希函数映射到数值空间示意图； 
图2为数据存储到C节点的数值空间示意图； 
图3为引入虚拟节点的数值空间示意图； 
图4为0到2^32-1次方的数值空间示意图； 
图5为4个对象的Key值分布示意图； 
图6为Cache和对象的Key值分布示意图； 
图7为Cache B被移除后的Cache映射关系图； 
图8为添加Cache D后的映射关系图； 
图9为引入虚拟节点后的映射关系图。 
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明做进一步详细说明。 
一种基于一致性哈希算法的分布式存储方法，包括以下步骤： 
S1：将哈希数值空间设置成一个首尾相接的圆环； 
S2：通过哈希函数计算出哈希值Key在环上的分布，把对象映射到哈希数值空间； 
S3：把高速缓冲存储器Cache映射到对象映射到的同一个哈希数值空间，并且使用相同的哈希算法； 
S4：把对象映射到Cache：沿着圆环的顺时针方向从对象的Key值出发，直到遇见一个Cache，那么就将该对象存储在这个Cache上； 
S5：移除Cache或者添加Cache。 
S1所述的哈希数值空间是一个首(0)尾(2^32-1)相接的圆环。 
S3所述的Cache的哈希计算方法如下：使用Cache的IP地址或者Cache的机器名称作为哈希输入。 
所述步骤还包括S6：加入虚拟节点；虚拟节点是实际节点在哈希数值空间的复制品，一个实际节点对应了至少一个虚拟节点，这个对应个数就是复制个数，虚拟节点在哈希数值空间中以Hash值排列。 
虚拟节点的哈希计算采用对应节点的IP地址加数字后缀的方式。 
所述的S2有4个对象object1～object4，通过哈希函数计算出哈希值Key在环上的分布， 
Hash(object1)＝Key1； 
Hash(object2)＝Key2； 
Hash(object3)＝Key3； 
Hash(object4)＝Key4。 
所述的S3有A、B、C共3台Cache,在哈希数值空间中以对应的Hash值排列； 
Hash(Cache A)＝Key A； 
Hash(Cache B)＝Key B； 
Hash(Cache C)＝Key C。 
S4所述的把对象映射到Cache：对象object1存储到Cache A上；object2和object3存储到Cache C；object4存储到Cache B。 
原理说明：一致性哈希算法是一种分布式系统常用的算法。比如，一个分布式的存储系统，要将数据存储到具体的节点上，如果采用普通的哈希方法，将数据映射到具体的节点上，如Key％N，Key是数据的关键字，N是机器(高速缓冲存储器Cache)节点数，如果有一个机器加入或退出这个集群，则所有的数据映射都无效，如果是持久化存储则要做数据迁移，如果是分布式缓存，则其它缓存就失效，因此引入了一致性哈希算法。 
如图1所示，把数据用哈希函数映射到一个很大的数值空间。数据存储时，先得到一个哈希值，对应到这个环中的每个位置，如k1对应到了图中所示的位置，然后沿顺时针找到一个机器节点B，将k1存储到B这个节点中。如果B节点死机，则B上的数据就会存储到C节点，如图2所示。这样，只会影响C节点，对其他的节点A，D的数据不会造成影响。然而，这又会造成一个“雪崩”的情况，即C节点由于承担了B节点的数据，所以C节点的负载会变高，C节点很容易也死机，这样依次下去，会造成整个集群都失效。 
为此引入了虚拟节点的概念：即想象在这个环上有很多虚拟节点，数据的存储是沿着环的顺时针方向找一个虚拟节点，每个虚拟节点都会关联到一个真实节点，如图3所示。图中的A1、A2、B1、B2、C1、C2、D1、D2都是虚拟节 点，机器A负载存储A1、A2的数据，机器B负载存储B1、B2的数据，机器C负载存储C1、C2的数据。由于这些虚拟节点数量很多，均匀分布，因此不会造成“雪崩”。 
具体实施例：下面通过介绍数据库分割技术和一致性哈希步骤来讲解本发明的实现： 
S1：考虑到通常的哈希算法都是将值映射到一个32位的Key值，也就是0到2^32-1次方的哈希数值空间；将这个哈希数值空间设置成一个首(0)尾(2^32-1)相接的圆环，如图4所示。 
S2：把对象映射到哈希数值空间： 
假设考虑4个对象object1～object4，通过哈希函数计算出哈希值Key在环上的分布，如图5所示： 
Hash(object1)＝Key1； 
…… 
Hash(objectN)＝KeyN。 
S3:把Cache映射到哈希数值空间： 
一致性哈希的基本思想就是将对象和Cache都映射到同一个哈希数值空间中，并且使用相同的哈希Hash算法； 
假设当前有A、B、C共3台Cache,那么其映射结果如图6所示，他们在哈希数值空间中，以对应的Hash值排列； 
Hash(Cache A)＝Key A； 
…… 
Hash(Cache C)＝Key C； 
Cache的哈希计算，一般的方法是使用Cache的IP地址或者Cache的机器名称作为Hash输入。 
S4：把对象映射到Cache： 
现在Cache和对象都已经通过同一个哈希算法映射到哈希数值空间中，接下来要考虑的就是如何将对象映射到Cache； 
在这个环形空间中，如果沿着顺时针方向从对象的Key值出发，直到遇见一个Cache，那么就将该对象存储在这个Cache上，因为对象和Cache的哈希值是固定的，因此这个Cache必然是唯一和确定的。这样就找到了对象和Cache的映射方法。依然继续上面的例子(参见图6)，对象object1将被存储到Cache A上；object2和object3存储到Cache C；object4存储到Cache B。 
S5：考察Cache变动 
在动态变化的Cache环境中，哈希算法应该满足平衡性和单调性，通过哈希然后求余的方法不能满足单调性，当Cache有所变动时，Cache会失效，进而对后台服务器造成巨大的冲击，因此提出了一致性哈希算法。 
移除Cache： 
考虑假设Cache B失效了，根据上面讲到的映射方法，这时受影响的将仅是那些沿Cache B逆时针遍历直到下一个Cache(Cache C)之间的对象，也即是本来映射到Cache B上的对象； 
因此这里仅需要变动对象object4，将其重新映射到Cache C上即可； 
添加Cache： 
再考虑添加一台新的Cache D的情况，假设在这个环形Hash空间中，Cache D被映射在对象object2和object3之间，这时受影响的将仅是那些沿Cache D逆时针遍历直到下一个Cache(Cache B)之间的对象，它们是也本来映射到Cache C上对象的一部分，将这些对象重新映射到Cache D上即可； 
因此这里仅需要变动对象object2，将其重新映射到Cache D上，参见图8； 
S6：虚拟节点 
哈希算法的另一个指标是平衡性,定义如下：平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去，这样可以使得所有的缓冲空间都得到利用。哈希算法并不是保证绝对的平衡，如果Cache较少的话，对象并不能被均匀的映射到Cache上，比如在上面的例子中，仅部署Cache A和Cache C的情况下，在4个对象中，Cache A仅存储了object1，而Cache C则存储了object2、object3和object4；分布是很不均衡的。 
为了解决这种情况，一致性哈希算法引入了虚拟节点的概念，定义如下：虚拟节点是实际节点在哈希数值空间的复制品，一实际个节点对应了至少一个个虚拟节点，这个对应个数也成为复制个数，虚拟节点在哈希数值空间中以Hash值排列。 
仍以仅部署Cache A和Cache C的情况为例，在图7中我们看到，Cache分布并不均匀，现在引入虚拟节点，并设置复制个数为2，这就意味着一共会存在 4个虚拟节点，Cache A1,Cache A2代表了Cache A；Cache C1,Cache C2代表了Cache C；假设一种比较理想的情况，参见图9； 
此时，对象到虚拟节点的映射关系为： 
objec1->Cache A2；objec2->Cache A1；objec3->Cache C1；objec4->Cache C2； 
对象object1和object2都被映射到了Cache A，而object3和object4映射到了Cache C上；平衡性有了很大提高。 
引入虚拟节点后，映射关系就从{对象->节点}转换到了{对象->虚拟节点}。虚拟节点的哈希计算可以采用对应节点的IP地址加数字后缀的方式。例如假设Cache A的IP地址为202.168.14.241。 
引入虚拟节点前，计算Cache A的哈希值：Hash(“202.168.14.241”)； 
引入虚拟节点后，计算虚拟节点Cache A1和Cache A2的哈希值： 
Hash(“202.168.14.241#1”)；//Cache A1 
Hash(“202.168.14.241#2”)；//Cache A2。 
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。 

Claims (8)

1.一种基于一致性哈希算法的分布式存储方法，其特征在于，包括以下步骤：S1：将哈希数值空间设置成一个首尾相接的圆环；
S2：通过哈希函数计算出哈希值Key在环上的分布，把对象映射到哈希数值空间；
S3：把高速缓冲存储器Cache映射到对象映射到的同一个哈希数值空间，并且使用相同的哈希算法；
S4：把对象映射到Cache：沿着圆环的顺时针方向从对象的Key值出发，直到遇见一个Cache，那么就将该对象存储在这个Cache上；
S5：移除Cache或者添加Cache。
2.根据权利要求1所述的方法，其特征在于，S1所述的哈希数值空间是一个首(0)尾(2^32-1)相接的圆环。
3.根据权利要求2所述的方法，其特征在于，S3所述的Cache的哈希计算方法如下：使用Cache的IP地址或者Cache的机器名称作为哈希输入。
4.根据权利要求1所述的方法，其特征在于，所述步骤还包括S6：加入虚拟节点；虚拟节点是实际节点在哈希数值空间的复制品，一个实际节点对应了至少一个虚拟节点，这个对应个数就是复制个数，虚拟节点在哈希数值空间中以Hash值排列。
5.根据权利要求4所述的方法，其特征在于，虚拟节点的哈希计算采用对应节点的IP地址加数字后缀的方式。
6.根据权利要求1所述的方法，其特征在于，所述的S2有4个对象object1～object4，通过哈希函数计算出哈希值Key在环上的分布，
Hash(object1)＝Key1；
Hash(object2)＝Key2；
Hash(object3)＝Key3；
Hash(object4)＝Key4。
7.根据权利要求6所述的方法，其特征在于，所述的S3有A、B、C共3台Cache,在哈希数值空间中以对应的Hash值排列；
Hash(Cache A)＝Key A；
Hash(Cache B)＝Key B；
Hash(Cache C)＝Key C。
8.根据权利要求7所述的方法，其特征在于，S4所述的把对象映射到Cache：对象object1存储到Cache A上；object2和object3存储到Cache C；object4存储到Cache B。
CN201410284250.2A 2014-06-23 2014-06-23 一种基于一致性哈希算法的分布式存储方法 Pending CN104050270A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410284250.2A CN104050270A (zh) 2014-06-23 2014-06-23 一种基于一致性哈希算法的分布式存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410284250.2A CN104050270A (zh) 2014-06-23 2014-06-23 一种基于一致性哈希算法的分布式存储方法

Publications (1)

Publication Number Publication Date
CN104050270A true CN104050270A (zh) 2014-09-17

Family

ID=51503102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410284250.2A Pending CN104050270A (zh) 2014-06-23 2014-06-23 一种基于一致性哈希算法的分布式存储方法

Country Status (1)

Country Link
CN (1) CN104050270A (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270458A (zh) * 2014-10-17 2015-01-07 浪潮(北京)电子信息产业有限公司 一种实现云存储系统数据分布管理的方法及装置
CN104298541A (zh) * 2014-10-22 2015-01-21 浪潮(北京)电子信息产业有限公司 云存储系统的数据分布算法及其装置
CN104301425A (zh) * 2014-10-24 2015-01-21 南方电网科学研究院有限责任公司 基于对象类型和哈希环的对象注册中心服务集群实现方法
CN104391863A (zh) * 2014-10-23 2015-03-04 中国建设银行股份有限公司 一种数据存储方法及装置
CN104537081A (zh) * 2014-12-31 2015-04-22 北京畅游天下网络技术有限公司 文件管理系统和方法
CN104780201A (zh) * 2015-03-02 2015-07-15 新浪网技术(中国)有限公司 一种ipvs集群中的数据包处理方法及装置
CN104794162A (zh) * 2015-03-25 2015-07-22 中国人民大学 实时数据存储与查询方法
CN105007328A (zh) * 2015-07-30 2015-10-28 山东超越数控电子有限公司 一种基于一致性hash的网络cache设计方法
CN105187547A (zh) * 2015-09-25 2015-12-23 浪潮(北京)电子信息产业有限公司 一种负载均衡方法与系统
CN105320771A (zh) * 2015-10-31 2016-02-10 南京南瑞继保电气有限公司 基于哈希环的时间序列数据库服务集群的实现方法与系统
CN105653680A (zh) * 2015-12-29 2016-06-08 北京农信互联科技有限公司 一种基于文档型数据库的存储数据的方法及系统
CN106202387A (zh) * 2016-07-08 2016-12-07 陈光宇 一种数据一致性并行维护方法
CN106254240A (zh) * 2016-09-18 2016-12-21 腾讯科技（深圳）有限公司 一种数据处理方法和路由层设备以及系统
CN106503139A (zh) * 2016-10-20 2017-03-15 上海携程商务有限公司 动态数据存取方法及系统
CN106527982A (zh) * 2016-10-25 2017-03-22 西安交通大学 一种针对由异构存储设备组成的对象存储系统的对象分布算法
CN106789175A (zh) * 2016-11-30 2017-05-31 武汉长江通信智联技术有限公司 一种基于一致性哈希算法进行redis横向扩展的方法
CN106856505A (zh) * 2016-12-26 2017-06-16 成都康赛信息技术有限公司 基于hash算法的服务器均衡方法
CN106970960A (zh) * 2017-03-20 2017-07-21 郑州云海信息技术有限公司 一种分布式存储系统的数据放置方法
CN107085501A (zh) * 2016-02-16 2017-08-22 杭州海康威视数字技术股份有限公司 一种数据存储、数据迁移方法及装置
CN107147708A (zh) * 2017-04-27 2017-09-08 北京众享比特科技有限公司 一种对等网络冗余数据平衡方法和系统
CN107154957A (zh) * 2016-12-29 2017-09-12 贵州电网有限责任公司铜仁供电局 基于虚拟环负载均衡算法的分布式存储控制方法
CN107391040A (zh) * 2017-07-28 2017-11-24 郑州云海信息技术有限公司 一种存储阵列磁盘io调度的方法及装置
CN108121810A (zh) * 2017-12-26 2018-06-05 北京锐安科技有限公司 一种数据去重方法、系统、中心服务器及分布式服务器
CN108124012A (zh) * 2017-12-21 2018-06-05 中通服公众信息产业股份有限公司 一种基于哈希算法的分布式缓存计算方法
CN108304460A (zh) * 2017-12-25 2018-07-20 中国电力科学研究院有限公司 一种改进数据库的定位方法及系统
CN108769102A (zh) * 2018-04-08 2018-11-06 华南理工大学 一种改善quic协议请求调度效率的方法
CN109739930A (zh) * 2018-12-19 2019-05-10 平安普惠企业管理有限公司 基于分布式缓存系统的数据存储方法、装置、计算机设备
CN109800236A (zh) * 2019-01-28 2019-05-24 上海雷腾软件股份有限公司 支持多节点的分布式缓存方法及设备
CN109857924A (zh) * 2019-02-28 2019-06-07 重庆科技学院 一种大数据分析监察信息处理系统及方法
CN109862069A (zh) * 2018-12-13 2019-06-07 百度在线网络技术（北京）有限公司 消息处理方法和装置
CN110908590A (zh) * 2018-09-17 2020-03-24 中国电力科学研究院有限公司 一种变电站数据的分布式存储方法及系统
CN111159193A (zh) * 2019-12-27 2020-05-15 掌迅亿通(北京)信息科技有限公司 多层一致性哈希环及其在创建分布式数据库中的应用
CN111786857A (zh) * 2020-07-03 2020-10-16 国网湖北省电力有限公司 基于分布式的网络资产主动探测方法及系统
CN112306688A (zh) * 2020-10-30 2021-02-02 天地伟业技术有限公司 一种创新的适用于云存储的哈希一致算法
CN112380288A (zh) * 2020-11-16 2021-02-19 林亮 去中心化分布式数据处理系统
CN113112193A (zh) * 2020-01-13 2021-07-13 北京京东振世信息技术有限公司 用于确定包裹位置的方法、装置、服务器和介质
CN115297131A (zh) * 2022-08-01 2022-11-04 东北大学 一种基于一致性哈希的敏感数据分布式储存方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737127A (zh) * 2012-06-20 2012-10-17 厦门聚海源物联网络技术有限公司 一种海量数据存储方法
CN103246484A (zh) * 2013-05-03 2013-08-14 华为技术有限公司 一种数据存储方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737127A (zh) * 2012-06-20 2012-10-17 厦门聚海源物联网络技术有限公司 一种海量数据存储方法
CN103246484A (zh) * 2013-05-03 2013-08-14 华为技术有限公司 一种数据存储方法、装置及系统

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270458A (zh) * 2014-10-17 2015-01-07 浪潮(北京)电子信息产业有限公司 一种实现云存储系统数据分布管理的方法及装置
CN104298541A (zh) * 2014-10-22 2015-01-21 浪潮(北京)电子信息产业有限公司 云存储系统的数据分布算法及其装置
CN104391863A (zh) * 2014-10-23 2015-03-04 中国建设银行股份有限公司 一种数据存储方法及装置
CN104301425A (zh) * 2014-10-24 2015-01-21 南方电网科学研究院有限责任公司 基于对象类型和哈希环的对象注册中心服务集群实现方法
CN104537081A (zh) * 2014-12-31 2015-04-22 北京畅游天下网络技术有限公司 文件管理系统和方法
CN104537081B (zh) * 2014-12-31 2018-11-16 北京畅游时空软件技术有限公司 文件管理系统和方法
CN104780201A (zh) * 2015-03-02 2015-07-15 新浪网技术(中国)有限公司 一种ipvs集群中的数据包处理方法及装置
CN104794162B (zh) * 2015-03-25 2018-02-23 中国人民大学 实时数据存储与查询方法
CN104794162A (zh) * 2015-03-25 2015-07-22 中国人民大学 实时数据存储与查询方法
CN105007328A (zh) * 2015-07-30 2015-10-28 山东超越数控电子有限公司 一种基于一致性hash的网络cache设计方法
CN105187547A (zh) * 2015-09-25 2015-12-23 浪潮(北京)电子信息产业有限公司 一种负载均衡方法与系统
CN105320771A (zh) * 2015-10-31 2016-02-10 南京南瑞继保电气有限公司 基于哈希环的时间序列数据库服务集群的实现方法与系统
CN105653680A (zh) * 2015-12-29 2016-06-08 北京农信互联科技有限公司 一种基于文档型数据库的存储数据的方法及系统
CN107085501B (zh) * 2016-02-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种数据存储、数据迁移方法及装置
CN107085501A (zh) * 2016-02-16 2017-08-22 杭州海康威视数字技术股份有限公司 一种数据存储、数据迁移方法及装置
CN106202387B (zh) * 2016-07-08 2019-05-21 苏州超块链信息科技有限公司 一种数据一致性并行维护方法
CN106202387A (zh) * 2016-07-08 2016-12-07 陈光宇 一种数据一致性并行维护方法
WO2018006624A1 (zh) * 2016-07-08 2018-01-11 苏州超块链信息科技有限公司 一种数据一致性并行维护方法
CN106254240A (zh) * 2016-09-18 2016-12-21 腾讯科技（深圳）有限公司 一种数据处理方法和路由层设备以及系统
CN106254240B (zh) * 2016-09-18 2019-07-05 腾讯科技（深圳）有限公司 一种数据处理方法和路由层设备以及系统
CN106503139A (zh) * 2016-10-20 2017-03-15 上海携程商务有限公司 动态数据存取方法及系统
CN106527982A (zh) * 2016-10-25 2017-03-22 西安交通大学 一种针对由异构存储设备组成的对象存储系统的对象分布算法
CN106527982B (zh) * 2016-10-25 2019-04-12 西安交通大学 一种针对由异构存储设备组成的对象存储系统的对象分布算法
CN106789175A (zh) * 2016-11-30 2017-05-31 武汉长江通信智联技术有限公司 一种基于一致性哈希算法进行redis横向扩展的方法
CN106856505A (zh) * 2016-12-26 2017-06-16 成都康赛信息技术有限公司 基于hash算法的服务器均衡方法
CN107154957A (zh) * 2016-12-29 2017-09-12 贵州电网有限责任公司铜仁供电局 基于虚拟环负载均衡算法的分布式存储控制方法
CN106970960A (zh) * 2017-03-20 2017-07-21 郑州云海信息技术有限公司 一种分布式存储系统的数据放置方法
CN107147708A (zh) * 2017-04-27 2017-09-08 北京众享比特科技有限公司 一种对等网络冗余数据平衡方法和系统
CN107391040A (zh) * 2017-07-28 2017-11-24 郑州云海信息技术有限公司 一种存储阵列磁盘io调度的方法及装置
CN108124012A (zh) * 2017-12-21 2018-06-05 中通服公众信息产业股份有限公司 一种基于哈希算法的分布式缓存计算方法
CN108304460B (zh) * 2017-12-25 2022-10-25 中国电力科学研究院有限公司 一种改进数据库的定位方法及系统
CN108304460A (zh) * 2017-12-25 2018-07-20 中国电力科学研究院有限公司 一种改进数据库的定位方法及系统
CN108121810A (zh) * 2017-12-26 2018-06-05 北京锐安科技有限公司 一种数据去重方法、系统、中心服务器及分布式服务器
CN108769102A (zh) * 2018-04-08 2018-11-06 华南理工大学 一种改善quic协议请求调度效率的方法
CN110908590A (zh) * 2018-09-17 2020-03-24 中国电力科学研究院有限公司 一种变电站数据的分布式存储方法及系统
CN109862069B (zh) * 2018-12-13 2020-06-09 百度在线网络技术（北京）有限公司 消息处理方法和装置
CN109862069A (zh) * 2018-12-13 2019-06-07 百度在线网络技术（北京）有限公司 消息处理方法和装置
CN109739930A (zh) * 2018-12-19 2019-05-10 平安普惠企业管理有限公司 基于分布式缓存系统的数据存储方法、装置、计算机设备
CN109800236A (zh) * 2019-01-28 2019-05-24 上海雷腾软件股份有限公司 支持多节点的分布式缓存方法及设备
CN109857924A (zh) * 2019-02-28 2019-06-07 重庆科技学院 一种大数据分析监察信息处理系统及方法
CN111159193A (zh) * 2019-12-27 2020-05-15 掌迅亿通(北京)信息科技有限公司 多层一致性哈希环及其在创建分布式数据库中的应用
CN111159193B (zh) * 2019-12-27 2023-08-29 掌迅亿通(北京)信息科技有限公司 多层一致性哈希环及其在创建分布式数据库中的应用
CN113112193A (zh) * 2020-01-13 2021-07-13 北京京东振世信息技术有限公司 用于确定包裹位置的方法、装置、服务器和介质
CN111786857A (zh) * 2020-07-03 2020-10-16 国网湖北省电力有限公司 基于分布式的网络资产主动探测方法及系统
CN111786857B (zh) * 2020-07-03 2022-08-05 国网湖北省电力有限公司 基于分布式的网络资产主动探测方法及系统
CN112306688A (zh) * 2020-10-30 2021-02-02 天地伟业技术有限公司 一种创新的适用于云存储的哈希一致算法
CN112380288A (zh) * 2020-11-16 2021-02-19 林亮 去中心化分布式数据处理系统
CN115297131A (zh) * 2022-08-01 2022-11-04 东北大学 一种基于一致性哈希的敏感数据分布式储存方法

Similar Documents

Publication Publication Date Title
CN104050270A (zh) 一种基于一致性哈希算法的分布式存储方法
US10222986B2 (en) Tenant-level sharding of disks with tenant-specific storage modules to enable policies per tenant in a distributed storage system
US9201733B2 (en) Systems and methods for data repair
US10140351B2 (en) Method and apparatus for processing database data in distributed database system
CN108121810A (zh) 一种数据去重方法、系统、中心服务器及分布式服务器
CN103607304B (zh) 一种基于纠删码的失效数据线形修复方法
US10067999B2 (en) High-performance database replication systems and methods
US11005663B2 (en) Secure audit scheme in a distributed data storage system
US20200401320A1 (en) Efficient Non-Uniform Object Processing
CN106527993A (zh) 一种分布式系统中的海量文件储存方法及装置
JP2017531263A5 (zh)
WO2020035086A3 (en) Data security of shared blockchain data storage based on error correction code
CN103699442B (zh) MapReduce计算框架下的可迭代式数据处理方法
CN103246484B (zh) 一种数据存储方法、装置及系统
US11838222B2 (en) In-line data identification on network
RU2013108211A (ru) Способ предотвращения повторного использования пакетов цифровых данных в сетевой системе передачи данных
CN106027638B (zh) 一种基于混合编码的hadoop数据分发方法
Senger et al. BSP cost and scalability analysis for MapReduce operations
CN104008199A (zh) 一种数据查询方法
CN104461929B (zh) 基于拦截器的分布式数据缓存方法
WO2016070341A1 (zh) 数据处理方法和装置
US10509803B2 (en) System and method of using replication for additional semantically defined partitioning
CN103078946A (zh) 一种海量实时数据分布方法及其访问方法
CN108304264A (zh) 一种基于spark流式计算的纠删码归档方法
CN104239776A (zh) 多控存储系统单点登录方法及多控存储系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140917