CN104378447A - 一种基于哈希环的非迁移分布式存储方法及系统 - Google Patents

一种基于哈希环的非迁移分布式存储方法及系统 Download PDF

Info

Publication number
CN104378447A
CN104378447A CN201410723737.6A CN201410723737A CN104378447A CN 104378447 A CN104378447 A CN 104378447A CN 201410723737 A CN201410723737 A CN 201410723737A CN 104378447 A CN104378447 A CN 104378447A
Authority
CN
China
Prior art keywords
node
data
physical
hash ring
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410723737.6A
Other languages
English (en)
Other versions
CN104378447B (zh
Inventor
龙德虎
杨安民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN STRENGTHSOFT DEVELOPMENT Co Ltd
Original Assignee
SHENZHEN STRENGTHSOFT DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN STRENGTHSOFT DEVELOPMENT Co Ltd filed Critical SHENZHEN STRENGTHSOFT DEVELOPMENT Co Ltd
Priority to CN201410723737.6A priority Critical patent/CN104378447B/zh
Publication of CN104378447A publication Critical patent/CN104378447A/zh
Application granted granted Critical
Publication of CN104378447B publication Critical patent/CN104378447B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1061—Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • H04L67/1065—Discovery involving distributed pre-established resource-based relationships among peers, e.g. based on distributed hash tables [DHT] 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于哈希环的非迁移分布式存储方法及存储系统，该方法通过构建一个抽象的哈希环，所述哈希环上均匀分布虚拟节点，所述虚拟节点上可安装配置存储设备成为物理节点；当进行读写请求时，系统管理者先将需要读写的数据块进行哈希运算映射到哈希环上相应位置，然后沿顺时针方向找到最近的物理存储节点，再根据物理节点的索引信息进行数据的读取工作或根据物理节点的写优先权值进行数据的写入工作。此方法使得存储系统扩容时，不需要移动实际存储的数据，只需将环上的索引数据进行迁移，极大提高系统扩容的效率，另外,数据可以写入到存储系统中任何一个空闲的存储节点，因此采用本技术的存储系统灵活性更高，负载均衡的效果更显著。

Description

一种基于哈希环的非迁移分布式存储方法及系统
技术领域
本发明涉及通信领域，具体地说,涉及一种基于哈希环的非迁移分布式存储方法及系统。
背景技术
目前，随着数据量大规模的增长，存储系统必须面临的一个问题是需要不断增加存储设备以应对大量数据的读写请求。现有技术中，当存储系统增加存储设备扩容时，通常需要将基于哈希环的系统做数据迁移，这将导致整个系统数据对象的映射位置都需要重新进行计算，系统将无法对外界访问进行正常响应，将导致系统处于崩溃状态，同时，对于海量存储系统来说，这将花费很长的时间和较高的系统代价。如何保证存储系统在增加物理设备，提升系统处理能力的同时对现有业务影响最小，是一个需要重视的问题。
本发明提出的基于哈希算法的环状非迁移分布式存储系统，可以解决分步式存储系统在增加新节点时数据迁移效率低、新旧节点的负载能力不同，导致存储系统负载不均衡等问题，起到提高存储系统的可扩展性并提升分步式存储系统的负载均衡效果的作用。
发明内容
为了解决上述技术问题，本发明提供一种基于哈希环的非迁移分布式存储方法及系统，以解决存储系统在增加新节点时需数据迁移而导致的系统扩容效率低，以及新旧节点的负载能力不同导致存储系统负载不均衡等问题，起到提高存储系统的可扩展性并提升分步式存储系统的负载均衡效果的作用。
本发明的技术方案如下：
一种基于哈希环的非迁移分布式存储方法，包括如下步骤：
S1.分布式存储系统的系统管理模块配置一个抽象的基于哈希算法的环状结构——哈希环，所述哈希环上均匀分布虚拟节点，所述虚拟节点上可安装配置存储设备成为物理节点，所述物理节点上的存储设备划分为索引信息存储空间和数据信息存储空间。
S2.系统管理模块根据存储设备的CPU、内存、宽带等性能参数为每个物理节点配置相应的性能权值；
S3.系统进行读取请求后,系统管理模块根据物理节点内所述数据信息存储空间的负载情况为每个物理节点分配负载权值；同时系统管理模块根据物理节点的读写请求情况计算物理节点内所述索引信息存储空间的压力权值；
S4.系统管理模块在存储系统运行过程中根据物理节点上报的物理节点内数据信息存储空间的负载权值、索引信息存储空间的压力权值以及物理节点性能权值计算出当前系统中所有物理节点的写优先权值；
S5.当进行数据读写请求时,系统管理者先将需要读写的数据块进行哈希运算映射到哈希环上相应位置，然后沿顺时针方向找到最近的物理存储节点，再根据所述物理存储节点的索引信息进行数据的读取工作或根据所述物理存储节点的写优先权值进行数据的写入工作。
进一步地,所述步骤S5的数据读取过程如下：
S511.当存储系统进行数据读取请求时,将要读取的数据映射到哈希环上的相应位置；
S512.沿哈希环的顺时针方向定位到下一物理存储节点D1上，读取此物理存储节点的索引信息，取得数据实际存储的位置；
S513.若数据存储在所述存储节点D1上，则进行数据的读取；若数据不存储在所述存储节点D1上，则根据索引信息定位数据实际存放的存储节点D2，进行数据的读取。
进一步地,所述步骤S5数据的写入过程如下：
S521.预设物理节点的写优先权值的写入阀值；
S522.当存储系统进行数据写入请求时,将数据块进行哈希运算并映射到哈希环上相应位置；
S523.沿哈希环顺时针方向找到最近的物理存储节点F1作为接受写请求的节点,根据物理存储节点的写优先权值，若物理存储节点F1的写优先权值大于或等于预设的写入阀值，则将数据写入物理存储节点F1，并将索引信息写入物理存储节点F1；
S524.若物理存储节点F1的写优先权值小于预设的写优先权值的写入阀值，则查找写优先权值大于预设优先权值写入阀值的存储节点F2，将数据写入所述存储节点F2，并将索引信息写入所述存储节点F1；
进一步地,所述数据的写入过程还包括,预设索引信息存储空间的可用空间阀值，若物理存储节点F1索引信息存储空间的可用空间小于预设的可用空间阀值，则提示系统在物理存储节点F1的逆时针方向相应虚拟节点配置新的存储设备，并将物理存储节点F1索引信息储存空间内的部分索引信息迁移储存到所述新的存储设备上。
进一步地，所述步骤S1中虚拟节点为64个或1024个。
进一步地，所述物理节点负载权值：当存储空间占用率在80％以下时，物理节点负载状态是较好；空间占用率在80％-89％时物理节点负载状态正常；空间占用率在90％-99％时物理节点负载状态差；当物理节点存储空间占用率达到100％时，物理节点的存储空间不可用。
进一步地，物理节点的压力权值即物理节点内索引信息存储空间的压力权值，存储系统中每个物理节点的读写请求数需定时上报给系统管理模块，物理节点上读写请求数越多说明节点的压力越大，物理节点越忙，系统管理模块根据物理节点的读写请求情况计算物理节点压力权值。
一种基于哈希环的非迁移分布式存储系统，包括哈希环、系统管理模块、虚拟节点和物理节点，所述虚拟节点和所述物理节点位于所述哈希环上，所述系统管理模块通过构建哈希环，负责对存储系统进行配置和管理，以及对物理节点进行状态监控。
进一步地，所述存储系统还包括空间分配模块，空间分配模块为映射到环上的所有物理节点分配相应的哈希空间，数据经过哈希运算后的数值就可以映射到相应的哈希空间中。
进一步地，所述虚拟节点是指均匀分步在哈希环上的虚拟的点，在没有存储设备映射到虚拟节点上时，虚拟节点是空的，哈希环一旦构建完成，每个虚拟节点在环上的位置是固定的。
进一步地，所述物理节点是指系统管理者将存储设备映射到哈希环上的一个虚拟节点上后，此虚拟节点成为物理节点，每个物理节点负责一段哈希空间的数据读写请求，并提供数据存储功能。
进一步地，所述系统管理模块还能增加和删除物理节点。
本发明的有益效果：在存储系统扩容时，不需要移动实际存储的数据，只需要将占据环上相应范围位置的索引数据进行迁移，这将极大的提高系统扩容的效率，而通常的基于哈希环的系统是需要做数据迁移的，对于海量存储系统来说，这将花费很长的时间和较高的系统代价。另外，存储系统是基于全局的负载均衡设计，数据可以写入到存储系统中任何一个空闲的存储节点，只有索引信息是需要写到固定的存储节点，因此采用本技术的存储系统灵活性更高，负载均衡的效果更显著。
附图说明
图1是基于哈希环的分布式存储系统配置示意图；
图2是分步式存储系统在哈希环上查找数据读写的物理节点示意图；
图3是分步式存储系统增加新节点时节点索引信息迁移以及系统读取数据示意图；
图4是分步式存储系统进行写操作时系统负载均衡示意图；
图5是分步式存储系统读取数据流程图；
图6是分步式存储系统写入数据流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明技术方案做进一步的说明，实施方式提及的内容并非对本发明的限定。
实施例
参见图1,基于一般存储系统在增加新节点时需数据迁移而导致的系统扩容效率低，以及新旧节点的负载能力不同导致存储系统负载不均衡等问题，分布式存储系统通过系统管理模块配置一个抽象的基于哈希算法的环状结构--哈希环，所述哈希环上均匀分布虚拟节点，虚拟节点上可安装配置存储设备成为物理节点，所述物理节点上的存储设备划分为索引信息存储空间和数据信息存储空间；优先设置虚拟节点64个或1024个；
参见图3；当存储系统增加存储设备时，系统管理模块根据存储系统负载情况将此存储设备投射到哈希环上的所述虚拟节点上使之成为新的物理节点,再沿环的顺时针方向找到下一物理节点并将此物理节点存储的部分索引信息迁移到所述新的物理存储节点上，确保每个物理节点保存的索引信息占据一段哈希空间；
虚拟节点安装配置存储设备后,系统管理模块根据存储设备的CPU、内存、宽带等性能参数为每个物理节点配置相应的性能权值；系统进行读取请求后,系统管理模块根据物理节点内所述数据信息存储空间的负载情况为每个物理节点分配负载权值；同时系统管理模块根据物理节点的读写请求情况计算物理节点内所述索引信息存储空间的压力权值；
系统管理模块在存储系统运行过程中根据物理节点上报的物理节点内数据信息存储空间的负载权值、索引信息存储空间的压力权值以及物理节点性能权值计算出当前系统中所有物理节点的写优先权值；
当进行数据读写请求时,系统管理者先将需要读写的数据块进行哈希运算映射到哈希环上相应位置，然后沿顺时针方向找到最近的物理存储节点，再根据所述物理存储节点的索引信息进行数据的读取工作或根据所述物理存储节点的写优先权值进行数据的写入工作。
参照图2与图5，数据的读取过程如下：
⑴.当存储系统进行数据读取请求时,将要读取的数据映射到哈希环上的相应位置；
⑵.沿哈希环的顺时针方向定位到下一物理存储节点D1上，读取此物理存储节点D1的索引信息，取得数据实际存储的位置；
⑶.若数据存储在物理存储节点D1上，则进行数据的读取；若数据不存储在物理存储节点D1上，则根据索引信息定位数据实际存放的物理存储节点D2，进行数据的读取。
参照图4与图6，数据的写入过程如下：
①.预设物理节点的写优先权值的写入阀值；
②.当存储系统进行数据写入请求时,将数据块进行哈希运算并映射到哈希环上相应位置；
③.沿哈希环顺时针方向找到最近的物理存储节点F1作为接受写请求的节点,根据物理存储节点的写优先权值，若物理存储节点F1的写优先权值大于或等于预设的写入阀值，则将数据写入物理存储节点F1，并将索引信息写入物理存储节点F1；
④.若物理存储节点F1的写优先权值小于预设的写优先权值的写入阀值，则查找写优先权值大于预设优先权值写入阀值的存储节点F2，将数据写入所述存储节点F2，并将索引信息写入所述存储节点F1；
具体地,所述数据的写入过程还包括,预设索引信息储存空间的可用空间阀值,若物理存储节点F1索引信息存储空间的可用空间小于预设的可用空间阀值，则提示系统在物理存储节点F1的逆时针方向相应虚拟节点配置新的存储设备，并将物理存储节点F1索引信息储存空间内的部分索引信息迁移储存到所述新的存储设备上。
具体地，存储系统中物理节点的写优先权值计算公式为：
Xn＝CRn*WVn*PVn；其中X表示写优先权值，CR表示物理节点负载权值，WV表示物理节点压力权值，PV表示物理节点性能权值，n代表第n个物理节点。
具体地，所述物理节点负载权值(CR)：当存储空间占用率在80％以下时，物理节点负载状态较好，CR＝10；空间占用率在80％-89％时物理节点负载状态正常，CR＝8；空间占用率在90％-99％时物理节点负载状态差，CR＝4；当物理节点存储空间占用率达到100％时，物理节点的存储空间不可用，CR＝0。
具体地，物理节点的压力权值(WV),即存储系统中每个物理节点的读写请求数需定时上报给系统管理模块，物理节点上读写请求数越多说明节点的压力越大，物理节点越忙，系统管理模块根据物理节点的读写请求情况计算物理节点压力权值。例如：当物理节点的读写请求数为0-499时，WV＝10；当物理节点读写请求数为500-1000时，WV＝8；当物理节点读写请求数为1000-1999时，WV＝4；当物理节点读写请求数为2000-3999时，WV＝2；当读写请求数为4000以上时，WV＝1。
具体地，物理节点性能权值(PV)，是根据物理节点硬件参数(例如存储设备类型、CPU的类型和数量、内存大小、数据接口类型等)的具体情况为物理节点分配的固定参数，通常同一批同类型设备的性能权值相同(例如：PV＝5)。
具体地，当物理存储节点的写优先权值高于写优先权值的写入阀值时(例如200),可直接执行写操作，否则写优先权值被认为较低，需要和其它节点进行比较以确定更适合执行写操作的物理节点。
具体地,当物理节点内索引信息存储空间占用率为80％时,可用空间阀值为100,当物理存储节点F1索引信息存储空间的可用空间小于100时,则提示系统增加新的存储设备。
具体地,一种基于哈希环的非迁移分布式存储系统，包括哈希环、系统管理模块、虚拟节点和物理节点，所述虚拟节点和所述物理节点位于所述哈希环上，所述系统管理模块通过构建哈希环，负责对存储系统进行配置和管理，以及对物理节点进行状态监控。
具体地，所述存储系统还包括空间分配模块，空间分配模块为映射到环上的所有物理节点分配一定的哈希空间，数据经过哈希运算后的数值都可以映射到哈希环上的哈希空间中。
具体地，所述虚拟节点是指均匀分步在哈希环上的虚拟的点，在没有存储设备映射到虚拟节点上时，虚拟节点是空的，哈希环一旦构建完成，每个虚拟节点在环上的位置是固定的。所述物理节点是指系统管理者将存储设备映射到哈希环上的一个虚拟节点上后，此虚拟节点成为物理节点，每个物理节点负责一段哈希空间的数据读写请求，并提供数据存储功能。所述索引信息是指数据在存储系统中实际存放的信息。
具体地,所述相应的虚拟节点是指两物理节点中间或近似中间的虚拟节点,主要是为了保持哈希环上物理节点配置的均衡。
具体地，所述系统管理模块还能增加和删除物理节点。
本发明的有益效果：在存储系统扩容时，不需要移动实际存储的数据，只需要将占据环上相应范围位置的索引数据进行迁移，这将极大的提高系统扩容的效率，而通常的基于哈希环的系统是需要做数据迁移的，对于海量存储系统来说，这将花费很长的时间和较高的系统代价。另外，存储系统是基于全局的负载均衡设计，数据可以写入到存储系统中任何一个空闲的存储节点，只有索引信息是需要写到固定的存储节点，因此采用本技术的存储系统灵活性更高，负载均衡的效果更显著。
以上为本发明的较佳实施方式，但实施方式并不是用来限定本发明。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (9)

1.一种基于哈希环的非迁移分布式存储方法，其特征在于，包括如下步骤：
S1.分布式存储系统的系统管理模块配置一个抽象的基于哈希算法的环状结构——哈希环，所述哈希环上均匀分布虚拟节点，所述虚拟节点上可安装配置存储设备成为物理节点，所述物理节点上的存储设备划分为索引信息存储空间和数据信息存储空间；
S2.系统管理模块根据存储设备的CPU、内存、宽带等性能参数为每个物理节点配置相应的性能权值；
S3.系统进行读取请求后,系统管理模块根据物理节点内所述数据信息存储空间的负载情况为每个物理节点分配负载权值；同时系统管理模块根据物理节点的读写请求情况计算物理节点内所述索引信息存储空间的压力权值；
S4.系统管理模块在存储系统运行过程中根据物理节点上报的物理节点内数据信息负载权值、索引信息的压力权值以及物理节点性能权值计算出当前系统中所有物理节点的写优先权值；
S5.当进行数据读写请求时,系统管理者先将需要读写的数据块进行哈希运算映射到哈希环上相应位置，然后沿顺时针方向找到最近的物理存储节点，再根据所述物理存储节点的索引信息进行数据的读取工作或根据所述物理存储节点的写优先权值进行数据的写入工作。
2.根据权利要求1所述的基于哈希环的非迁移分布式存储方法，其特征在于，所述步骤S5的数据读取过程如下：
S511.当存储系统进行数据读取请求时,将要读取的数据映射到哈希环上的相应位置；
S512.沿哈希环的顺时针方向定位到下一物理存储节点D1上，读取此物理存储节点的索引信息，取得数据实际存储的位置；
S513.若数据存储在所述存储节点D1上，则进行数据的读取；若数据不存储在所述存储节点D1上，则根据索引信息定位数据实际存放的存储节点D2，进行数据的读取。
3.根据权利要求1所述的基于哈希环的非迁移分布式存储方法，其特征在于，所述步骤S5数据的写入过程如下：
S521.预设物理节点的写优先权值的写入阀值；
S522.当存储系统进行数据写入请求时,将数据块进行哈希运算并映射到哈希环上相应位置；
S523.沿哈希环顺时针方向找到最近的物理存储节点F1作为接受写请求的节点,根据物理存储节点的写优先权值，若物理存储节点F1的写优先权值大于或等于预设的写入阀值，则将数据写入物理存储节点F1，并将索引信息写入物理存储节点F1；
S524.若物理存储节点F1的写优先权值小于预设的写优先权值的写入阀值，则查找写优先权值大于预设优先权值写入阀值的存储节点F2，将数据写入所述存储节点F2，并将索引信息写入所述存储节点F1。
4.根据权利要求1或3所述的基于哈希环的非迁移分布式存储方法，其特征在于，数据的写入过程还包括以下步骤：
预设索引信息存储空间的可用空间阀值，若物理存储节点F1索引信息存储空间的可用空间小于预设的可用空间阀值，则提示系统在物理存储节点F1的逆时针方向相应虚拟节点配置新的存储设备，并将物理存储节点F1索引信息储存空间内的部分索引信息迁移存储到所述新的存储设备上。
5.根据权利要求1所述的基于哈希环的非迁移分布式存储方法,其特征在于,所述步骤S1中虚拟节点为64个或1024个。
6.一种基于哈希环的非迁移分布式存储系统，包括哈希环、系统管理模块、虚拟节点和物理节点，所述虚拟节点和所述物理节点位于所述哈希环上，所述系统管理模块通过构建哈希环，负责对存储系统进行配置和管理，以及对物理节点进行状态监控。
7.根据权利要求6所述的基于哈希环的非迁移分布式存储系统，其特征在于，所述虚拟节点是指均匀分步在哈希环上的虚拟的点，在没有存储设备映射到虚拟节点上时，虚拟节点是空的，哈希环一旦构建完成，每个虚拟节点在环上的位置是固定的；
所述物理节点是指系统管理者将存储设备映射到哈希环上的一个虚拟节点上后，此虚拟节点成为物理节点，每个物理节点负责一段哈希空间的数据读写请求，并提供数据存储功能。
8.根据权利要求7所述的基于哈希环的非迁移分布式存储系统，其特征在于，所述存储系统还包括空间分配模块，空间分配模块为映射到环上的所有物理节点分配相应的哈希空间，数据经过哈希运算后的数值就可以映射到相应的哈希空间中。
9.根据权利要求8所述的基于哈希环的非迁移分布式存储系统，其特征在于，所述系统管理模块能增加和删除物理节点。
CN201410723737.6A 2014-12-03 2014-12-03 一种基于哈希环的非迁移分布式存储方法及系统 Expired - Fee Related CN104378447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410723737.6A CN104378447B (zh) 2014-12-03 2014-12-03 一种基于哈希环的非迁移分布式存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410723737.6A CN104378447B (zh) 2014-12-03 2014-12-03 一种基于哈希环的非迁移分布式存储方法及系统

Publications (2)

Publication Number Publication Date
CN104378447A true CN104378447A (zh) 2015-02-25
CN104378447B CN104378447B (zh) 2017-10-31

Family

ID=52557093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410723737.6A Expired - Fee Related CN104378447B (zh) 2014-12-03 2014-12-03 一种基于哈希环的非迁移分布式存储方法及系统

Country Status (1)

Country Link
CN (1) CN104378447B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681214A (zh) * 2015-12-28 2016-06-15 无锡城市云计算中心有限公司 一种大规模网络传输优化方法和系统
CN106161610A (zh) * 2016-06-29 2016-11-23 华为技术有限公司 一种分布式存储的方法和系统
CN106559448A (zh) * 2015-09-28 2017-04-05 北京国双科技有限公司 服务器负载均衡方法和装置
CN106560806A (zh) * 2015-12-31 2017-04-12 哈尔滨安天科技股份有限公司 基于二维平面成角的文件存储方法及系统
CN106708439A (zh) * 2016-12-23 2017-05-24 深圳市中博科创信息技术有限公司 一种分布式文件系统中节点选择计算方法及系统
CN106709045A (zh) * 2016-12-29 2017-05-24 深圳市中博科创信息技术有限公司 分布式文件系统中节点选择方法及装置
CN108520025A (zh) * 2018-03-26 2018-09-11 腾讯科技（深圳）有限公司 一种服务节点确定方法、装置、设备及介质
CN109739433A (zh) * 2018-11-27 2019-05-10 中科恒运股份有限公司 数据处理的方法及终端设备
WO2019091349A1 (zh) * 2017-11-10 2019-05-16 阿里巴巴集团控股有限公司 数据均衡方法、装置及计算机设备
CN109787899A (zh) * 2017-11-14 2019-05-21 阿里巴巴集团控股有限公司 一种数据分区路由方法、装置及系统
CN110058822A (zh) * 2019-04-26 2019-07-26 北京计算机技术及应用研究所 一种磁盘阵列横向拓展方法
CN110169040A (zh) * 2018-07-10 2019-08-23 深圳花儿数据技术有限公司 基于多层一致性哈希的分布式数据存储方法与系统
CN110502480A (zh) * 2019-08-16 2019-11-26 济南浪潮数据技术有限公司 分布式存储数据检索方法、系统、装置及可读存储介质
WO2020083106A1 (zh) * 2018-10-25 2020-04-30 华为技术有限公司 存储系统中的节点扩容方法和存储系统
CN111104057A (zh) * 2018-10-25 2020-05-05 华为技术有限公司 存储系统中的节点扩容方法和存储系统
CN111274228A (zh) * 2020-02-21 2020-06-12 泰康保险集团股份有限公司 保单数据迁移存储方法、系统、设备及可读存储介质
CN112492008A (zh) * 2020-11-19 2021-03-12 深圳壹账通智能科技有限公司 节点位置确定方法、装置、计算机设备和存储介质
WO2021227557A1 (zh) * 2020-05-15 2021-11-18 苏州浪潮智能科技有限公司 一种Hash算法的结果存储的方法和设备
CN114237490A (zh) * 2021-11-02 2022-03-25 清华大学 基于Nauru-graph的大规模数据存储和读取方法及装置
CN116361299A (zh) * 2023-05-31 2023-06-30 天翼云科技有限公司 一种在系统扩容时无数据迁移的哈希分布方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291620A (zh) * 2011-04-21 2011-12-21 中兴通讯股份有限公司 内容发布、内容获取的方法、内容发布装置及内容传播系统
CN102739622A (zh) * 2011-04-15 2012-10-17 北京兴宇中科科技开发股份有限公司 一种可扩展的数据存储系统
US20130254890A1 (en) * 2007-09-14 2013-09-26 International Business Machines Corporation Method, System and Program Product for Optimizing Emulation of a Suspected Malware

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130254890A1 (en) * 2007-09-14 2013-09-26 International Business Machines Corporation Method, System and Program Product for Optimizing Emulation of a Suspected Malware
CN102739622A (zh) * 2011-04-15 2012-10-17 北京兴宇中科科技开发股份有限公司 一种可扩展的数据存储系统
CN102291620A (zh) * 2011-04-21 2011-12-21 中兴通讯股份有限公司 内容发布、内容获取的方法、内容发布装置及内容传播系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周文琼等: "云环境下的数据库扩展策略的设计", 《计算机技术与发展》 *
姚云鹏等: "逐级扩展的非关系数据库分布策略", 《信息工程大学学报》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559448A (zh) * 2015-09-28 2017-04-05 北京国双科技有限公司 服务器负载均衡方法和装置
CN105681214A (zh) * 2015-12-28 2016-06-15 无锡城市云计算中心有限公司 一种大规模网络传输优化方法和系统
CN105681214B (zh) * 2015-12-28 2018-11-27 无锡城市云计算中心有限公司 一种大规模网络传输优化方法和系统
CN106560806A (zh) * 2015-12-31 2017-04-12 哈尔滨安天科技股份有限公司 基于二维平面成角的文件存储方法及系统
CN106161610A (zh) * 2016-06-29 2016-11-23 华为技术有限公司 一种分布式存储的方法和系统
CN106708439A (zh) * 2016-12-23 2017-05-24 深圳市中博科创信息技术有限公司 一种分布式文件系统中节点选择计算方法及系统
CN106709045A (zh) * 2016-12-29 2017-05-24 深圳市中博科创信息技术有限公司 分布式文件系统中节点选择方法及装置
CN106709045B (zh) * 2016-12-29 2020-09-15 北京同有飞骥科技股份有限公司 分布式文件系统中节点选择方法及装置
CN109788006A (zh) * 2017-11-10 2019-05-21 阿里巴巴集团控股有限公司 数据均衡方法、装置及计算机设备
WO2019091349A1 (zh) * 2017-11-10 2019-05-16 阿里巴巴集团控股有限公司 数据均衡方法、装置及计算机设备
CN109788006B (zh) * 2017-11-10 2021-08-24 阿里巴巴集团控股有限公司 数据均衡方法、装置及计算机设备
CN109787899A (zh) * 2017-11-14 2019-05-21 阿里巴巴集团控股有限公司 一种数据分区路由方法、装置及系统
CN108520025B (zh) * 2018-03-26 2020-12-18 腾讯科技（深圳）有限公司 一种服务节点确定方法、装置、设备及介质
CN108520025A (zh) * 2018-03-26 2018-09-11 腾讯科技（深圳）有限公司 一种服务节点确定方法、装置、设备及介质
CN110169040A (zh) * 2018-07-10 2019-08-23 深圳花儿数据技术有限公司 基于多层一致性哈希的分布式数据存储方法与系统
CN110169040B (zh) * 2018-07-10 2021-09-28 深圳花儿数据技术有限公司 基于多层一致性哈希的分布式数据存储方法与系统
WO2020010503A1 (zh) * 2018-07-10 2020-01-16 深圳花儿数据技术有限公司 基于多层一致性哈希的分布式数据存储方法与系统
CN111104057B (zh) * 2018-10-25 2022-03-29 华为技术有限公司 存储系统中的节点扩容方法和存储系统
WO2020083106A1 (zh) * 2018-10-25 2020-04-30 华为技术有限公司 存储系统中的节点扩容方法和存储系统
CN111104057A (zh) * 2018-10-25 2020-05-05 华为技术有限公司 存储系统中的节点扩容方法和存储系统
CN109739433A (zh) * 2018-11-27 2019-05-10 中科恒运股份有限公司 数据处理的方法及终端设备
CN110058822A (zh) * 2019-04-26 2019-07-26 北京计算机技术及应用研究所 一种磁盘阵列横向拓展方法
CN110058822B (zh) * 2019-04-26 2022-06-24 北京计算机技术及应用研究所 一种磁盘阵列横向拓展方法
CN110502480A (zh) * 2019-08-16 2019-11-26 济南浪潮数据技术有限公司 分布式存储数据检索方法、系统、装置及可读存储介质
CN110502480B (zh) * 2019-08-16 2022-04-29 济南浪潮数据技术有限公司 分布式存储数据检索方法、系统、装置及可读存储介质
CN111274228A (zh) * 2020-02-21 2020-06-12 泰康保险集团股份有限公司 保单数据迁移存储方法、系统、设备及可读存储介质
CN111274228B (zh) * 2020-02-21 2023-09-05 泰康保险集团股份有限公司 保单数据迁移存储方法、系统、设备及可读存储介质
WO2021227557A1 (zh) * 2020-05-15 2021-11-18 苏州浪潮智能科技有限公司 一种Hash算法的结果存储的方法和设备
CN112492008A (zh) * 2020-11-19 2021-03-12 深圳壹账通智能科技有限公司 节点位置确定方法、装置、计算机设备和存储介质
CN112492008B (zh) * 2020-11-19 2022-05-20 深圳壹账通智能科技有限公司 节点位置确定方法、装置、计算机设备和存储介质
CN114237490A (zh) * 2021-11-02 2022-03-25 清华大学 基于Nauru-graph的大规模数据存储和读取方法及装置
CN116361299A (zh) * 2023-05-31 2023-06-30 天翼云科技有限公司 一种在系统扩容时无数据迁移的哈希分布方法及系统
CN116361299B (zh) * 2023-05-31 2023-10-10 天翼云科技有限公司 一种在系统扩容时无数据迁移的哈希分布方法及系统

Also Published As

Publication number Publication date
CN104378447B (zh) 2017-10-31

Similar Documents

Publication Publication Date Title
CN104378447A (zh) 一种基于哈希环的非迁移分布式存储方法及系统
EP2942715B1 (en) Data migration method, data migration apparatus and storage device
US10768857B2 (en) Storage system having a controller that selects a die of a solid state disk to store data
JP6372074B2 (ja) 情報処理システム，制御プログラム及び制御方法
US10628088B2 (en) Computer system
US9658779B2 (en) Computer system and control method for computer system
US10282136B1 (en) Storage system and control method thereof
JP6360634B2 (ja) 計算機システム、及び、データ処理方法
CN103236989B (zh) 一种内容分发网络中的缓存控制方法、设备及系统
JP2015528174A (ja) ストレージアレイを管理する方法及び装置
CN103246616A (zh) 一种长短周期访问频度的全局共享缓存替换方法
CN112748867B (zh) 用于存储管理的方法、电子设备以及计算机程序产品
JPWO2014045391A1 (ja) 物理ブロック間でデータをコピーするディスクアレイ装置、ディスクアレイコントローラ及び方法
CN105677252B (zh) 读数据的方法、数据处理方法及相关存储设备
WO2018120939A1 (zh) 一种存储系统扩容后数据迁移的方法、存储系统
CN111104057B (zh) 存储系统中的节点扩容方法和存储系统
WO2014132966A1 (ja) ストレージシステム、ストレージ装置、ストレージ装置の制御方法及び制御プログラム、管理装置、管理装置の制御方法及び制御プログラム
US20160364268A1 (en) Computer system, management computer, and management method
WO2014102997A1 (ja) 計算機、計算機システムの制御装置及び記録媒体
WO2023000686A1 (zh) 存储系统中的数据存储方法以及装置
CN114930281A (zh) 动态自适应分区分割
JP2021009561A (ja) データ処理システム、データ処理装置及びデータ処理プログラム
CN110825732A (zh) 数据查询方法、装置、计算机设备和可读存储介质
CN109587218A (zh) 一种集群选举的方法和装置
JP5464675B2 (ja) ミラーリングシステム、ノード、ミラーリング方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171031

Termination date: 20201203

CF01 Termination of patent right due to non-payment of annual fee