CN104283966A - 云存储系统的数据分布算法及其装置 - Google Patents

云存储系统的数据分布算法及其装置 Download PDF

Info

Publication number
CN104283966A
CN104283966A CN201410570754.0A CN201410570754A CN104283966A CN 104283966 A CN104283966 A CN 104283966A CN 201410570754 A CN201410570754 A CN 201410570754A CN 104283966 A CN104283966 A CN 104283966A
Authority
CN
China
Prior art keywords
physical store
value
store node
data storage
storage object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410570754.0A
Other languages
English (en)
Inventor
于辉
李新虎
刘俊朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201410570754.0A priority Critical patent/CN104283966A/zh
Publication of CN104283966A publication Critical patent/CN104283966A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种云存储系统的数据分布算法，包括：计算数据存储对象和物理存储节点的ID值，并将数据存储对象和物理存储节点的ID值映射到同一个圆环形的地址空间上，且获取数据存储对象和物理存储节点的容量信息；获取数据存储对象ID值，查找对应的物理存储节点ID值；选取查找到的对应的第一个物理存储节点ID值；如果数据存储对象的容量小于对应的物理存储节点的剩余容量值，则将对应的物理存储节点作为数据存储对象的存储设备位置，并建立两者的映射关系。本发明能够保证云存储系统存储资源的高效、优化使用。

Description

云存储系统的数据分布算法及其装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种云存储系统的数据分布算法及其装置。
背景技术
云存储是在云计算概念上延伸和发展出来，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
当前，云计算逐渐被行业认可，各种云存储系统逐渐实现并付诸于实践。云存储系统中存储设备资源的合理、高效使用，对于云存储系统的整体高可用性和有效性起着非常关键的作用。但是，目前的云存储系统的数据分布分布策略低效或设置不合理，存在着物理存储资源调度不合理，资源利用率低下的问题。
有鉴于此，需要一种改进的云存储系统的数据分布算法来解决目前技术的问题。
发明内容
为了解决上述技术问题，本发明提供了一种云存储系统的数据分布算法及其装置，能够保证云存储系统存储资源的高效、优化使用。
为了达到本发明目的，本发明提供了一种云存储系统的数据分布算法，包括：计算云存储系统中数据存储对象ID值和物理存储节点ID值，并将所述数据存储对象ID值和所述物理存储节点ID值映射到同一个圆环形的地址空间上，获取数据存储对象的容量信息和物理存储节点的容量信息；获取所述地址空间上的数据存储对象ID值，查找对应的物理存储节点ID值，选取查找到的对应的第一个物理存储节点ID值；如果所述数据存储对象的容量小于所述物理存储节点的剩余容量值，则将所述物理存储节点作为所述数据存储对象的存储设备位置，建立所述数据存储对象ID值和所述物理存储节点ID值的映射关系，更新物理存储节点的容量信息。
进一步地，所述计算数据存储对象ID值和物理存储节点ID值之前，还包括：获取所述云存储系统中数据存储对象的信息和物理存储节点的信息，其中，所述数据存储对象的信息包括数据块的标识、大小及类型，所述物理存储节点的信息包括设备的IP和机器名。
进一步地，所述计算数据存储对象ID值和物理存储节点ID值，并将所述数据存储对象ID值和所述物理存储节点ID值映射到同一个圆环形的地址空间上，且获取数据存储对象的容量信息和物理存储节点的容量信息，包括：根据所述数据存储对象的信息，采用Hash函数计算云存储系统中所有数据存储对象ID值，并将所述所有数据存储对象ID值映射到一个圆环型的Hash空间上，且获取所述所有数据存储对象的容量信息，保存在第一表中；根据所述物理存储节点的信息，采用所述Hash函数计算云存储系统中所有物理存储节点ID值，并将所述所有物理存储节点ID值映射到所述Hash空间上，且获取所述所有物理存储节点的容量信息，保存在第二表中。
进一步地，还包括：判断云存储系统中是否有新的物理存储节点加入；如果是，计算所述新的物理存储节点ID值，并将所述新的物理存储节点ID值映射到所述Hash空间上，更新物理存储节点的容量信息，保存在表N中。
进一步地，还包括：判断云存储系统中是否有物理存储节点退出；如果是，将退出的物理存储节点ID值从所述Hash空间上删除，更新物理存储节点的容量信息，保存在第二表中。
进一步地，所述获取所述圆环形的地址空间上的数据存储对象ID值，查找对应的物理存储节点ID值，选取查找到的对应的第一个物理存储节点ID值，包括：依次取所述Hash空间上的数据存储对象ID值，根据预先设置的匹配关系，沿着所述Hash空间顺时针或者逆时针寻找对应的物理存储节点ID值，选取查找到的对应的第一个物理存储节点ID值。
进一步地，还包括：判断数据存储对象的容量是否小于查找到的对应的第一个物理存储节点的剩余容量值；如果否，将所述物理存储节点ID值从所述Hash空间上删除，更新物理存储节点的容量信息，保存在第二表中。
本发明还提供了一种云存储系统中进行数据分布的装置，包括：计算模块，用于计算云存储系统中数据存储对象ID值和物理存储节点ID值；映射模块，用于将所述数据存储对象ID值和所述物理存储节点ID值映射到同一个圆环形的地址空间上；容量信息模块，用于获取数据存储对象的容量信息和物理存储节点的容量信息；获取模块，用于所述地址空间上的数据存储对象ID值；查找模块，用于查找对应的物理存储节点ID值；选取模块，用于选取查找到的对应的第一个物理存储节点ID值；第三判断模块，用于如果判断出所述数据存储对象的容量小于所述物理存储节点的剩余容量值，触发所述映射模块将所述物理存储节点作为所述数据存储对象的存储设备位置，建立所述数据存储对象ID值和所述物理存储节点ID值的映射关系，触发所述容量信息模块更新物理存储节点的容量信息。
进一步地，还包括：第一判断模块，用于判断云存储系统中是否有新的物理存储节点加入，如果判断出有新的物理存储节点加入，触发所述计算模块计算新的物理存储节点ID值，触发所述映射模块将新的物理存储节点ID值映射到地址空间上，触发所述容量信息模块更新物理存储节点的容量信息。
进一步地，还包括：第二判断模块，用于判断云存储系统中是否有物理存储节点退出，如果判断出有物理存储节点退出，触发所述映射模块将退出的物理存储节点ID值从地址空间上删除，触发所述容量信息模块更新物理存储节点的容量信息。
进一步地，第三判断模块还用于：如果判断出所述数据存储对象的容量不小于所述物理存储节点的剩余容量值，触发所述映射模块将所述物理存储节点ID值从地址空间上删除，触发所述容量信息模块更新物理存储节点的容量信息。
进一步地，还包括：第四判断模块，用于判断是否所有的数据存储对象都已经完成映射，如果判断出都完成，则数据分布算法结束；如果判断出还有未完成，触发所述获取模块获取未完成映射的数据存储对象ID值。
与现有技术相比，本发明包括：计算云存储系统中数据存储对象ID值和物理存储节点ID值，并将所述数据存储对象ID值和所述物理存储节点ID值映射到同一个圆环形的地址空间上，获取数据存储对象的容量信息和物理存储节点的容量信息；获取所述地址空间上的数据存储对象ID值，查找对应的物理存储节点ID值，选取查找到的对应的第一个物理存储节点ID值；如果所述数据存储对象的容量小于所述物理存储节点的剩余容量值，则将所述物理存储节点作为所述数据存储对象的存储设备位置，建立所述数据存储对象ID值和所述物理存储节点ID值的映射关系，更新物理存储节点的容量信息。本发明通过动态获取并分析云存储系统中的数据对象大小和物理存储设备容量大小，并对数据存储对象和物理存储节点采用Hash函数分别计算其ID值，将数据存储对象ID值和存储资源节点对象ID值分别映射到同一个圆环形的Hash空间上，然后依次取Hash空间中的每个数据存储对象ID值，寻找到的首个满足数据存储对象容量小于物理存储节点剩余容量条件的物理存储节点，确定为该数据存储对象的存储设备位置。该数据分布算法能够保证数据存储对象在各个物理存储节点之间的最优化分布，提高数据分布准确性，且提高存储设备利用率。此外，还减少了新的存储节点设备加入或已有存储设备节点退出时造成的数据迁移对系统整体性能带来的影响，提高存储资源的利用率。
附图说明
图1是本发明云存储系统的数据分布算法的流程示意图。
图2是本发明云存储系统中进行数据分布的装置的结构示意图。
具体实施方式
下面结合附图对本发明进行进一步的详细说明。通过足够详细的描述这些实施示例，使得本领域技术人员能够实践本发明。在不脱离本发明的主旨和范围的情况下，可以对实施做出逻辑的、实现的和其他的改变。
图1是本发明云存储系统的数据分布算法的示意图。如图1所示，具体可以包括：
步骤11，计算云存储系统中数据存储对象ID值和物理存储节点ID值，并将数据存储对象ID值和物理存储节点ID值映射到同一个圆环形的地址空间上，且获取数据存储对象的容量信息和物理存储节点的容量信息。
在本步骤之前，需要先获取云存储系统中数据存储对象和物理存储节点的信息，该数据存储对象的信息可以包括数据块的标识、大小及类型等，该数据存储节点的信息可以包括设备的IP或机器名等。
在本步骤中，根据数据存储对象的信息，采用Hash函数计算云存储系统中所有数据存储对象ID值，并将所有数据存储对象ID值映射到一个Hash空间O上，该Hash空间O为圆环型地址空间，且确定所有数据存储对象的容量信息，并保存在第一表表M中。
根据物理存储节点的信息，采用同一Hash函数计算云存储系统中所有物理存储节点ID值，并将所有物理存储节点ID值映射到同一个Hash空间O上，且确定所有物理存储节点的容量信息，并保存在第二表表N中。
其中，数据存储对象的Hash函数输入可以使用数据块的标识、大小及类型等，物理存储节点的Hash函数输入可以使用设备的IP或机器名等。
步骤12，判断云存储系统中是否有新的物理存储节点加入，如果是，进入步骤13；如果否，进入步骤14。
步骤13，计算新的物理存储节点ID值，将该新的物理存储节点ID值映射到该地址空间上，更新物理存储节点的容量信息，然后进入步骤14。
在本步骤中，采用同一Hash函数计算新的物理存储节点ID值，并将该新的物理存储节点ID值映射到同一个Hash空间O上，同时更新物理存储节点的容量信息，并保存在表N中。
步骤14，判断云存储系统中是否有物理存储节点退出，如果是，进入步骤15；如果否，进入步骤16。
在本步骤中，有物理存储节点退出，可以是由于物理存储节点失效或其他故障导致的失联所引起的物理存储节点退出。
需要注意的是，步骤12和步骤14的顺序可以如本发明是所述，也可以先判断云存储系统中是否有物理存储节点退出，再判断云存储系统中是否有新的物理存储节点加入，其他相关步骤相应地也顺序调整。
步骤15，将退出的物理存储节点ID值从该地址空间上删除，更新物理存储节点的容量信息，然后进入步骤16。
在本步骤中，将退出的物理存储节点ID值从Hash空间O上删除，同时更新物理存储节点的容量信息，并保存在表N中。
步骤16，获取该地址空间上的数据存储对象ID值，查找对应的物理存储节点ID值；
在本步骤中，依次取Hash空间O中的数据存储对象ID值j，根据预先设置的匹配关系，可以沿着该Hash空间O顺时针或者逆时针寻找对应的物理存储节点ID值。
步骤17，选取查找到的对应的第一个物理存储节点ID值。
在本步骤中，选取查找到的和数据存储对象ID值j对应的第一个物理存储节点ID值i。
步骤18，判断数据存储对象的容量是否小于该物理存储节点的剩余容量值，如果否，进入步骤19；如果是，进入步骤20。
在本步骤中，判断获取的数据存储对象j的容量是否小于查找到的对应的第一个物理存储节点i的剩余容量值。
步骤19，将该物理存储节点ID值从该地址空间上删除，更新物理存储节点的容量信息，然后返回步骤17；
在本步骤中，在Hash空间O中，删除查找到的对应的第一个物理存储节点ID值i，同时更新物理存储节点的容量信息，并保存在表N中。
步骤20，将该物理存储节点作为该数据存储对象的存储设备位置，并建立数据存储对象ID值和该物理存储节点ID值的映射关系，且更新物理存储节点的容量信息。
在本步骤中，该查找到的对应的第一个物理存储节点i作为该数据存储对象j的存储设备位置，构建二者的映射关系，同时更新物理存储节点的容量信息，并保存在表N中。
步骤21，判断是否所有的数据存储对象都已经完成映射，如果是，则数据分布算法结束；如果否，返回步骤16。
本发明通过动态获取并分析云存储系统中的数据对象大小和物理存储设备容量大小，并对数据存储对象和物理存储节点采用Hash函数分别计算其ID值，将数据存储对象ID值和存储资源节点对象ID值分别映射到同一个圆环形的Hash空间上，然后依次取Hash空间中的每个数据存储对象ID值，寻找到的首个满足数据存储对象容量小于物理存储节点剩余容量条件的物理存储节点，确定为该数据存储对象的存储设备位置。该数据分布算法能够保证数据存储对象在各个物理存储节点之间的最优化分布，提高数据分布准确性，且提高存储设备利用率。此外，还减少了新的存储节点设备加入或已有存储设备节点退出时造成的数据迁移对系统整体性能带来的影响，提高存储资源的利用率。
图2是本发明云存储系统中进行数据分布的装置的结构示意图，如图2所示，包括：
计算模块，用于计算云存储系统数据存储对象ID值和物理存储节点ID值；
映射模块，用于将数据存储对象ID值和物理存储节点ID值映射到同一个圆环形的地址空间上；
容量信息模块，用于获取数据存储对象的容量信息和物理存储节点的容量信息；
第一判断模块，用于判断云存储系统中是否有新的物理存储节点加入，如果判断出有新的物理存储节点加入，触发计算模块计算新的物理存储节点ID值，触发映射模块将该新的物理存储节点ID值映射到该地址空间上，触发容量信息模块更新物理存储节点的容量信息；
第二判断模块，用于判断云存储系统中是否有物理存储节点退出，如果判断出有物理存储节点退出，触发映射模块将退出的物理存储节点ID值从该地址空间上删除，触发容量信息模块更新物理存储节点的容量信息；
获取模块，用于获取该地址空间上的数据存储对象ID值；
查找模块，用于查找对应的物理存储节点ID值；
选取模块，用于选取查找到的对应的第一个物理存储节点ID值；
第三判断模块，用于判断数据存储对象的容量是否小于该物理存储节点的剩余容量值，如果判断出不小于，触发映射模块将该物理存储节点ID值从该地址空间上删除，触发容量信息模块更新物理存储节点的容量信息；如果判断出小于，触发映射模块将该物理存储节点作为该数据存储对象的存储设备位置，并建立数据存储对象ID值和该物理存储节点ID值的映射关系，触发容量信息模块更新物理存储节点的容量信息；
第四判断模块，用于判断是否所有的数据存储对象都已经完成映射，如果判断出都完成，则数据分布算法结束；如果判断出还有未完成，触发获取模块获取未完成映射的数据存储对象ID值。
本发明通过动态获取并分析云存储系统中的数据对象大小和物理存储设备容量大小，并对数据存储对象和物理存储节点采用Hash函数分别计算其ID值，将数据存储对象ID值和存储资源节点对象ID值分别映射到同一个圆环形的Hash空间上，然后依次取Hash空间中的每个数据存储对象ID值，寻找到的首个满足数据存储对象容量小于物理存储节点剩余容量条件的物理存储节点，确定为该数据存储对象的存储设备位置。该数据分布算法能够保证数据存储对象在各个物理存储节点之间的最优化分布，提高数据分布准确性，且提高存储设备利用率。此外，还减少了新的存储节点设备加入或已有存储设备节点退出时造成的数据迁移对系统整体性能带来的影响，提高存储资源的利用率。
应当理解，虽然本说明书根据实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用于限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (12)

1.一种云存储系统的数据分布算法，其特征在于，包括：
计算云存储系统中数据存储对象ID值和物理存储节点ID值，并将所述数据存储对象ID值和所述物理存储节点ID值映射到同一个圆环形的地址空间上，获取数据存储对象的容量信息和物理存储节点的容量信息；
获取所述地址空间上的数据存储对象ID值，查找对应的物理存储节点ID值，选取查找到的对应的第一个物理存储节点ID值；
如果所述数据存储对象的容量小于所述物理存储节点的剩余容量值，则将所述物理存储节点作为所述数据存储对象的存储设备位置，建立所述数据存储对象ID值和所述物理存储节点ID值的映射关系，更新物理存储节点的容量信息。
2.根据权利要求1所述的云存储系统的数据分布算法，其特征在于，所述计算数据存储对象ID值和物理存储节点ID值之前，还包括：
获取所述云存储系统中数据存储对象的信息和物理存储节点的信息，其中，所述数据存储对象的信息包括数据块的标识、大小及类型，所述物理存储节点的信息包括设备的IP和机器名。
3.根据权利要求2所述的云存储系统的数据分布算法，其特征在于，所述计算数据存储对象ID值和物理存储节点ID值，并将所述数据存储对象ID值和所述物理存储节点ID值映射到同一个圆环形的地址空间上，且获取数据存储对象的容量信息和物理存储节点的容量信息，包括：
根据所述数据存储对象的信息，采用Hash函数计算云存储系统中所有数据存储对象ID值，并将所述所有数据存储对象ID值映射到一个圆环型的Hash空间上，且获取所述所有数据存储对象的容量信息，保存在第一表中；
根据所述物理存储节点的信息，采用所述Hash函数计算云存储系统中所有物理存储节点ID值，并将所述所有物理存储节点ID值映射到所述Hash空间上，且获取所述所有物理存储节点的容量信息，保存在第二表中。
4.根据权利要求3所述的云存储系统的数据分布算法，其特征在于，还包括：判断云存储系统中是否有新的物理存储节点加入；
如果是，计算所述新的物理存储节点ID值，并将所述新的物理存储节点ID值映射到所述Hash空间上，更新物理存储节点的容量信息，保存在表N中。
5.根据权利要求3或4所述的云存储系统的数据分布算法，其特征在于，还包括：判断云存储系统中是否有物理存储节点退出；
如果是，将退出的物理存储节点ID值从所述Hash空间上删除，更新物理存储节点的容量信息，保存在第二表中。
6.根据权利要求1所述的云存储系统的数据分布算法，其特征在于，所述获取所述圆环形的地址空间上的数据存储对象ID值，查找对应的物理存储节点ID值，选取查找到的对应的第一个物理存储节点ID值，包括：
依次取所述Hash空间上的数据存储对象ID值，根据预先设置的匹配关系，沿着所述Hash空间顺时针或者逆时针寻找对应的物理存储节点ID值，选取查找到的对应的第一个物理存储节点ID值。
7.根据权利要求1或6所述的云存储系统的数据分布算法，其特征在于，还包括：判断数据存储对象的容量是否小于查找到的对应的第一个物理存储节点的剩余容量值；
如果否，将所述物理存储节点ID值从所述Hash空间上删除，更新物理存储节点的容量信息，保存在第二表中。
8.一种云存储系统中进行数据分布的装置，其特征在于，包括：
计算模块，用于计算云存储系统中数据存储对象ID值和物理存储节点ID值；
映射模块，用于将所述数据存储对象ID值和所述物理存储节点ID值映射到同一个圆环形的地址空间上；
容量信息模块，用于获取数据存储对象的容量信息和物理存储节点的容量信息；
获取模块，用于所述地址空间上的数据存储对象ID值；
查找模块，用于查找对应的物理存储节点ID值；
选取模块，用于选取查找到的对应的第一个物理存储节点ID值；
第三判断模块，用于如果判断出所述数据存储对象的容量小于所述物理存储节点的剩余容量值，触发所述映射模块将所述物理存储节点作为所述数据存储对象的存储设备位置，建立所述数据存储对象ID值和所述物理存储节点ID值的映射关系，触发所述容量信息模块更新物理存储节点的容量信息。
9.根据权利要求8所述的云存储系统中进行数据分布的装置，其特征在于，还包括：第一判断模块，用于判断云存储系统中是否有新的物理存储节点加入，如果判断出有新的物理存储节点加入，触发所述计算模块计算新的物理存储节点ID值，触发所述映射模块将新的物理存储节点ID值映射到地址空间上，触发所述容量信息模块更新物理存储节点的容量信息。
10.根据权利要求8或9所述的云存储系统中进行数据分布的装置，其特征在于，还包括：第二判断模块，用于判断云存储系统中是否有物理存储节点退出，如果判断出有物理存储节点退出，触发所述映射模块将退出的物理存储节点ID值从地址空间上删除，触发所述容量信息模块更新物理存储节点的容量信息。
11.根据权利要求8所述的云存储系统中进行数据分布的装置，其特征在于，第三判断模块还用于：如果判断出所述数据存储对象的容量不小于所述物理存储节点的剩余容量值，触发所述映射模块将所述物理存储节点ID值从地址空间上删除，触发所述容量信息模块更新物理存储节点的容量信息。
12.根据权利要求8所述的云存储系统中进行数据分布的装置，其特征在于，还包括：第四判断模块，用于判断是否所有的数据存储对象都已经完成映射，如果判断出都完成，则数据分布算法结束；如果判断出还有未完成，触发所述获取模块获取未完成映射的数据存储对象ID值。
CN201410570754.0A 2014-10-22 2014-10-22 云存储系统的数据分布算法及其装置 Pending CN104283966A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410570754.0A CN104283966A (zh) 2014-10-22 2014-10-22 云存储系统的数据分布算法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410570754.0A CN104283966A (zh) 2014-10-22 2014-10-22 云存储系统的数据分布算法及其装置

Publications (1)

Publication Number Publication Date
CN104283966A true CN104283966A (zh) 2015-01-14

Family

ID=52258439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410570754.0A Pending CN104283966A (zh) 2014-10-22 2014-10-22 云存储系统的数据分布算法及其装置

Country Status (1)

Country Link
CN (1) CN104283966A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636286A (zh) * 2015-02-06 2015-05-20 华为技术有限公司 用于数据访问的方法和设备
CN106527982A (zh) * 2016-10-25 2017-03-22 西安交通大学 一种针对由异构存储设备组成的对象存储系统的对象分布算法
CN107085501A (zh) * 2016-02-16 2017-08-22 杭州海康威视数字技术股份有限公司 一种数据存储、数据迁移方法及装置
CN111382200A (zh) * 2018-12-29 2020-07-07 北京中交兴路信息科技有限公司 信息加载方法、装置、服务器及存储介质
CN112583930A (zh) * 2020-12-25 2021-03-30 四川安迪科技实业有限公司 用于多独立系统交互的数据转发同步方法、系统及装置
CN116939228A (zh) * 2023-07-27 2023-10-24 北京和德宇航技术有限公司 遥感影像的分布式处理方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724294A (zh) * 2012-05-24 2012-10-10 中国科学院深圳先进技术研究院 数据分布存储方法和系统
CN103020078A (zh) * 2011-09-24 2013-04-03 国家电网公司 分布式实时数据库数据层次索引方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020078A (zh) * 2011-09-24 2013-04-03 国家电网公司 分布式实时数据库数据层次索引方法
CN102724294A (zh) * 2012-05-24 2012-10-10 中国科学院深圳先进技术研究院 数据分布存储方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN ZHU-MIN,: ""Node Storage Optimization in Cloud"", 《ADVANCED MATERIALS RESEARCH》 *
周敬利，周正达，: ""改进的云存储系统数据分布策略"", 《计算机应用》 *
周正达,: ""信息存储系统中重复数据删除技术的研究"", 《中国博士学位论文全文数据库-信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636286A (zh) * 2015-02-06 2015-05-20 华为技术有限公司 用于数据访问的方法和设备
CN107085501A (zh) * 2016-02-16 2017-08-22 杭州海康威视数字技术股份有限公司 一种数据存储、数据迁移方法及装置
CN107085501B (zh) * 2016-02-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种数据存储、数据迁移方法及装置
CN106527982A (zh) * 2016-10-25 2017-03-22 西安交通大学 一种针对由异构存储设备组成的对象存储系统的对象分布算法
CN106527982B (zh) * 2016-10-25 2019-04-12 西安交通大学 一种针对由异构存储设备组成的对象存储系统的对象分布算法
CN111382200A (zh) * 2018-12-29 2020-07-07 北京中交兴路信息科技有限公司 信息加载方法、装置、服务器及存储介质
CN112583930A (zh) * 2020-12-25 2021-03-30 四川安迪科技实业有限公司 用于多独立系统交互的数据转发同步方法、系统及装置
CN112583930B (zh) * 2020-12-25 2023-04-18 四川安迪科技实业有限公司 用于多独立系统交互的数据转发同步方法、系统及装置
CN116939228A (zh) * 2023-07-27 2023-10-24 北京和德宇航技术有限公司 遥感影像的分布式处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN104298541A (zh) 云存储系统的数据分布算法及其装置
CN104283966A (zh) 云存储系统的数据分布算法及其装置
JP6716727B2 (ja) ストリーミングデータ分散処理方法及び装置
CN103067525B (zh) 一种基于特征码的云存储数据备份方法
CN105554065A (zh) 处理报文的方法、转换单元和应用单元
CN106161610A (zh) 一种分布式存储的方法和系统
CN103685583A (zh) 一种域名解析的方法和系统
CN111193605B (zh) 一种故障定位方法、装置及存储介质
CN104283806A (zh) 业务链处理方法和设备
TWI547814B (zh) Data classification information storage methods and system structure
CN104613976A (zh) 确定路径的方法及装置
CN110413845A (zh) 基于物联网操作系统的资源存储方法及装置
CN110399387A (zh) 基于表关联关系动态生成查询sql的方法及装置
Kchaou et al. Towards an offloading framework based on big data analytics in mobile cloud computing environments
CN113900810A (zh) 分布式图处理方法、系统及存储介质
CN105991478A (zh) 服务器资源分配方法及其系统
CN102082832B (zh) 一种分布式文件系统中的数据存储方法和装置
CN105550332A (zh) 一种基于双层索引结构的起源图查询方法
CN112685175A (zh) 一种服务拓扑图的构建方法、装置和计算机可读存储介质
CN103825946A (zh) 一种基于网络感知的虚拟机放置方法
CN102427420B (zh) 基于图模式匹配的虚拟网络映射方法及装置
CN106156049A (zh) 一种数据读取的方法和系统
Hui et al. Top-k query framework in wireless sensor networks for smart grid
CN104219163A (zh) 一种基于动态副本法和虚拟节点法的节点动态前移的负载均衡方法
US8595239B1 (en) Minimally disruptive hash table

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150114

RJ01 Rejection of invention patent application after publication