CN108200112B - 分布式存储方法及系统 - Google Patents
分布式存储方法及系统 Download PDFInfo
- Publication number
- CN108200112B CN108200112B CN201611171598.6A CN201611171598A CN108200112B CN 108200112 B CN108200112 B CN 108200112B CN 201611171598 A CN201611171598 A CN 201611171598A CN 108200112 B CN108200112 B CN 108200112B
- Authority
- CN
- China
- Prior art keywords
- data
- nodes
- pipeline
- data nodes
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 31
- 230000004044 response Effects 0.000 claims description 19
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种分布式存储方法，应用于分布式存储系统中。所述方法包括步骤：拆分原文件成数据包，并存储到数据包队列，分配多个数据节点形成一个管道以传输所述数据包中的同一数据包；当所述管道中的第一个数据节点被确认写入数据包后，再次分配多个数据节点形成另一个管道以传输所述数据包中的另一个数据包；当管道中所有的数据节点被确认写入数据包后，对所述管道进行传输；及所述管道被传输至所述分布式文件系统的目的区域后，读取所述管道中的数据包，并解散所述管道，释放所述管道的数据节点。本发明还提供一种分布式存储系统。本发明可以提高分布式文件存储所需的数据传输速度。
Description
技术领域
本发明涉及数据处理技术，尤其是涉及一种分布式存储方法及系统。
背景技术
随着网络大数据技术的高速发展，分布式文件系统得到了广泛的应用和发展。当前主流的分布式文件系统包括Google文件系统(GFS)，Hadoop分布式文件系统(HDFS)，文件系统(Lustre)，可扩展的高性能分布式文件系统(Ceph)等。这些分布式文件系统的架构和基本原理大致相同，主要由元数据节点、数据节点和客户节点组成。虽然分布式文件系统的传输速度是非常快速的，然而还是不能够适应日益增长的大数据的传输要求。所述分布式文件系统的传输速度主要体现为存储所需的传输速度，因此，一种快速和高效的存储传输方法或者系统是迫切需要的。
发明内容
鉴于以上内容，有必要提供一种分布式存储方法，可以提高分布式文件系统的数据存储所需的传输速度。
鉴于以上内容，还有必要提供一种分布式存储系统，用以提高分布式文件系统的数据存储所需的传输速度。
所述分布式存储方法包括步骤：拆分原文件成数据包，并存储到数据包队列。分配多个数据节点形成一个管道以传输所述数据包中的同一数据包。当所述管道中的第一个数据节点被确认写入数据包后，再次分配多个数据节点形成另一个管道以传输所述数据包中的另一个数据包。当管道中所有的数据节点被确认写入数据包后，对所述管道进行传输，及所述管道被传输至所述分布式文件系统的目标区域后，读取所述管道中的数据包，并解散所述管道，释放所述多个数据节点。
所述分布式存储系统包括：拆分模块，用于将原文件拆分成数据包。第一存储模块，用于存储所述数据包。数据节点管理器，用于分配多个数据节点形成一个管道以传输所述数据包中的同一数据包，当所述管道中的第一个数据节点被确认写入数据包后，再次分配多个数据节点形成另一个管道以传输所述数据包中的另一个数据包；传输模块，用于将所述多个数据节点均确认写入了数据包的管道传输至所述分布式文件系统的目标区域，将所述管道中的数据包读取出来，并解散所述管道，释放所述多个数据节点。
相较于现有技术，所述的分布式存储系统及分布式存储方法，在原有的分布式文件系统的架构上，增加数据节点管理器，将响应时长最短的数据节点依次分配给每一个管道做第一个数据节点以提高每一个管道的传输速度；并在前一个管道的第一个数据节点写入数据包并确认后形成另一个管道，保证存储传输的准确性；多管道并行传输，提高分布式存储的效率。因此，该分布式存储系统及分布式存储方法大幅度提升了现有的分布式文件系统的存储相关的文件数据的传输速度。
附图说明
图1是本发明较佳实施例之分布式存储系统的框架图。
图2是本发明较佳实施例之分布式存储系统的功能模块图。
图3是本发明较佳实施例之分布式存储系统的数据节点分配图。
图4是本发明较佳实施例之分布式存储系统的管道传输图。
图5是本发明较佳实施例之分布式存储方法的流程图。
主要元件符号说明
| 分布式存储系统 | 1 |
| 本地文件 | 2 |
| 客户端节点 | 10 |
| 客户端 | 13 |
| 元数据节点 | 20 |
| 数据节点 | 30 |
| 存储器 | 40 |
| 处理器 | 50 |
| 数据流模块 | 100 |
| 拆分模块 | 101 |
| 第一存储模块 | 103 |
| 传输模块 | 105 |
| 数据节点管理器 | 200 |
| 申请模块 | 201 |
| 分配模块 | 203 |
| 第二存储模块 | 205 |
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
参阅图1所示，是本发明较佳实施例之分布式存储系统1的框架图，其用于将本地文件2存储至分布式文件系统的目标区域。所述分布式存储系统1主要由客户端节点10、元数据节点20和数据节点30组成。所述分布式文件系统包括如背景技术中所述GFS，HDFS，Lustre，Ceph以及其他相类似架构的分布式文件系统。所述元数据节点20和所述数据节点30分别位于相应的元数据节点服务器和数据节点服务器。所述数据节点30用于装载文件数据以传输到分布式文件系统的目标区域。所述元数据节点20用于控制所述数据节点30并存储所述数据节点30装载的文件数据的元数据。
所述客户端节点10包括供用户进行控制和操作之客户端13。客户端13可以认为是PC机、计算机或具有存储和处理功能的电子装置。所述客户端13执行分布式存储功能时，创建数据流模块100，并激活数据节点管理器200。所述数据流模块100用于对将本地文件2拆分成数据包，使其适于存储的传输要求，所述传输包括写入传输和读取传输。
所述数据节点管理器200用于与所述元数据节点20通信。所述数据节点管理器200根据经由数据流模块100拆分后的数据包向元数据节点20申请数据节点，接著根据申请到的数据节点特性，将所述数据节点分配给数据流模块100以用于传输所述数据包。
参阅图2所示，是本发明较佳实施例之分布式存储系统的功能模块图。所述分布式存储系统1功能模块包括客户端节点10、元数据节点20、数据节点30。所述客户端节点10包括数据流模块100和客户端13。所述数据流模块100包括拆分模块101、第一存储模块103和传输模块105。所述客户端13主要包括数据节点管理器，所述数据节点管理器200包括申请模块201、分配模块203和第二存储模块205。位述模块被配置成由一个或多个处理器(本实施例为处理器50)执行，以完成本发明。本发明所称的模块是完成一特定功能的计算机程序段。存储器40用于分布式存储系统1的程序代码等资料。
图3是本发明较佳实施例之分布式存储系统的数据节点分配图，图4是本发明较佳实施例之分布式存储系统的管道传输图。以下将参阅图3和图4，对图2所示功能模块进行详细说明。
所述拆分模块101在接收到本地文件2向分布式存储系统1的存储请求时，根据预先配置的数据包格式和大小将所述本地文件2拆分成多个数据包，并将所述数据包以队列形式存储到第一存储模块103中。所述数据包大小在默认情况下为64M，也可以根据使用者需要设置成其他的大小，为了提高传输效率，所述数据包最小为64M。然后，所述拆分模块101向所述数据节点管理器200发出任务请求。
所述申请模块201接收到所述拆分模块101的任务请求后，向元数据节点20申请对应的数据节点数量，并将元数据节点20分配的数据节点存储于第二存储模块205中。所述向元数据节点20申请数据节点，是根据分布式文件系统中规定的管道中数据节点的数量、同时传输的管道数量、数据包队列中数据包的数量以及统计的无效数据节点出现概率综合考量后计算得到的数值。一个管道完成传输一个数据包后，该管道中的数据节点将被释放以进行重新分配，因此，同一时间内，使用的最大数据节点的数量不超过同时传输的管道数量与每一管道中的数据节点的数量的乘积。值得注意的是，一个管道的数据节点数量是由分布式文件系统所规定的，而同时传输的管道数量可以根据带宽设置。
例如，用以传输一个数据包的一个管道中的数据节点数量为3个，第一存储模块103中共有100个数据包需要传输。当同时传输的管道数量大于数据包队列中数据包的数量时，则同一时间内，使用的最大数据节点数为3*100个。然而，当同时传输的管道数小于数据包队列中数据包的数量时，例如同时传输的管道数量为10个，则此时使用的最大数据节点数为3*10个。
另外，申请数据节点时，还会根据统计的以往的出现无效数据节点的概率决定最终申请的数据节点数量。假如以上举例，用以传输数据包的管道中的数据节点数量为3个，第一存储模块103中共有100个数据包需要传输，同时传输的管道数量大于100，且无效数据节点的出现概率为30％，则所述申请模块201应申请3*100/(1-30％)个数据节点。
所述分配模块203用于根据第一存储模块103中数据包队列中所述数据包的数量，将第二存储模块205中存储的数据节点30按响应速度进行排序并编号，然后依次选择响应速度最快的数据节点用以作为传输所述第一存储模块103中的所述数据包的每一管道的第一个数据节点，如表1所示。
表1
| 数据节点 | 响应时间 |
| 5 | 50ms |
| 1 | 100ms |
| 6 | 200ms |
| 2 | 200ms |
| 8 | 250ms |
| 10 | 300ms |
| …… | …… |
表1为分配模块203将所述第二存储模块205中存储的数据节点30按响应速度进行排序并编号，得到的响应速度最快的数据节点5,1,6,2等。
再请参阅图3所示，数据流模块100中的所述拆分模块101将本地文件2拆分成数据包1、数据包2和数据包3并存储于数据流模块100中的所述第一存储模块103，然后向数据节点管理器200发送任务请求。
假设所述分布式文件系统中规定每个数据包需要3个数据节点传输，所述数据节点管理器200中的申请模块201再根据统计以往的无效数据节点出现概率，每个数据包额外申请3个数据节点以做替换使用。值得注意的是，额外申请的数据节点可以是其他规则产生的数量，这里不做限制。因此，所述申请模块201根据所述第一存储模块103中的3个数据包向所述元数据节点20申请3*3+3*3＝18个数据节点，并存储于所述第二存储模块203中。然后，所述数据节点管理器200中的所述分配模块205将所述第二存储模块203中的数据节点30根据响应速度进行排序，得到以上表格中数据节点的编号及响应时间，其中响应速度相同的数据节点随机排位。
在本实施例中，所述分配模块205分配多个数据节点形成第一管道以传输所述数据包1。值得注意的是，所述分配模块205是在响应速度排序在前面一定区间内(例如前6位)选择响应速度最快的数据节点5作为传输所述数据包1的所述第一管道的第一个数据节点，然后在排序前6位以后的数据节点中随机选择两个数据节点作为所述第一管道的第二和第三个数据节点。初步分配完后向所述数据流模块100发送所述数据包1的准备写入信息。
所述数据流模块100中的传输模块105接收到所述分配模块205发送的准备写入信息后，将所述第一存储模块103中的所述数据包1写入到所述数据节点5中。当所述数据包1确认写入到所述第一管道的所述数据节点5中后，所述数据包1再通过所述数据节点5，继续写入到所述第一管道的第二和第三数据节点中。同时，所述分配模块205再次分配多个数据节点形成第二管道以传输所述数据包2。所述分配模块205在响应速度排序前6位中选择响应速度最快的数据节点1分别作为传输所述数据包2的所述第二管道的第一个数据节点，然后在排序前6位以后的数据节点中随机选择两个数据节点作为所述第二管道的第二和第三个数据节点。
依照以上方式，再次将数据包2写入到所述第二管道的数据节点1及所述第二管道的第二、第三数据节点。并且，在确认将所述数据包2写入到所述第二管道的数据节点1后，所述分配模块205以同样的方式将数据节点6及排序前6以后的随机两个数据节点分配出来作为第一、第二和第三数据节点以形成第三管道以传输所述数据包3。
所述传输模块105写入数据包到其中一个数据节点后，还需要进行写入确认。当确认失败时，所述传输模块105判定该数据节点为无效数据节点，直接丢弃，并由所述分配模块205重新分配数据节点。例如，当确认失败的数据节点为第一管道、第二管道或者第三管道的第一数据节点时，则从排序前6位的剩余数据节点中重新选择响应时间最快的数据节点用以替换；当确认失败的数据节点为第一管道、第二管道或者第三管道的第二或第三数据节点时，则从排序前6以后的数据节点中重新随机选择。
当数据包写入到管道的三个数据节点并均完成确认写入后，开始进行传输。在本实施方式中，所述数据包1确认写入到所述第一管道中的第一、第二和第三数据节点后，所述第一管道开始进行传输。然后所述数据包2和3依次完成确认写入到所述第二、第三管道中的三个数据节点后并依次进行传输。这样，分别装载所述数据包1,2,3的三个数据节点形成三条管道，前后并行进行传输。根据这种方式，分布式存储系统1能够更加快速有序地将所述数据包1,2,3传输至分布式文件系统的目标区域。所述传输模块105将所述数据包1,2,3传输到所述分布式文件系统的目标区域后，还会将数据包1,2,3提取出来重新组合成原文件以存储。
参阅图5所示，是本发明分布式存储方法较佳实施例的流程图。所述分布式存储方法，应用于所述分布式存储系统，通过处理器50执行存储器40存储的程序代码实现。
步骤S12：根据预先配置的数据包格式和数据包大小将所述本地文件2拆分成多个数据包，并存储到数据包队列中。
步骤S14：根据所述数据包队列中存储的所述数据包数量及数据包大小，向元数据节点20申请数据节点，并将所述数据节点30存储到数据节点队列中。所述申请数据节点数量，是根据分布式文件系统中规定的一个管道的数据节点的数量、同时传输的管道数量、数据包的数量以及统计的无效数据节点出现概率综合考量后计算得到的数值。值得注意的是，一个管道的数据节点数量是由分布式文件系统所规定的，而同时传输的管道数量可以根据带宽设置。
步骤S16：在所述数据节点队列中选择多个数据节点形成一个管道以传输所述数据队列中的同一数据。选择多个数据节点的过程包括选择管道的第一个数据节点和第一个数据节点以外的数据节点。在本实施方式中，以一个管道中包含3个数据节点(顺序为第一、第二和第三个数据节点)为例，首先将所述数据节点队列中的数据节点按响应速度进行排序，然后将排序在前面一定区间之内依次选择响应速度最快的数据节点，作为每一管道的第一个数据节点，在排序前面一定区间之外的数据节点中随机选择数据节点作为每一管道的第二、第三个数据节点。
步骤S18：将所述数据包队列的同一个数据包依次写入到形成的一个管道中的所有数据节点中。将数据包写入到一个管道的过程包括：先将所述数据包写入到所述管道的第一个数据节点，然后通过该第一数据节点继续将所述数据包写入到第一数据节点以外的其他数据节点(如第二、第三数据节点)。
步骤S22：当所述数据包的确认写入到所述管道的第一个数据节点后，将所述数据包队列中的另一数据包以同样的方式依次写入到形成的另一个管道中的所有数据节点中。值得注意的是，当数据包写入到管道中的数据节点时，如果出现写入失败，则判定该数据节点为无效数据节点，直接丢弃并重新从所述数据节点队列中选择数据节点以替换所述无效数据节点。当确认失败的数据节点为管道中的第一数据节点时，则从所述数据节点队列中排序在前面一定区间之内的剩余数据节点中重新选择响应时间最快的数据节点用以替换；当确认失败的数据节点为管道中的第一数据节点以外的数据节点时，则从排序在前面一定区间之外的数据节点中重新随机选择。
步骤S24：依次将所述数据包队列中的一个数据包确认写入到对应的一个管道中的所有数据节点后，该管道开始进行传输。这样，分别装载所述数据包队列中的多个数据包的多个管道前后并行进行传输。然后多管道前后并行进行传输。当一个管道中的所有数据节点的数据包确认完成后，所述数据包传输完成，解散所述管道并释放形成所述管道的数据节点。当所有数据包传输完成后重新组成原文件进行存储。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (8)
1.一种分布式存储系统，应用于分布式文件系统中，所述分布式存储系统包括元数据节点与数据节点，其特征在于，所述分布式存储系统包括：
拆分模块，用于将原文件拆分成数据包；
第一存储模块，用于存储所述数据包；
数据节点管理器，还包括：
申请模块，用于向所述元数据节点申请数据节点；
第二存储模块，用于存储所述数据节点；
分配模块，用于分配多个数据节点形成一个管道以传输所述数据包中的同一数据包，当所述管道中的第一个数据节点被确认写入数据包后，再次分配多个数据节点形成另一个管道以传输所述数据包中的另一个数据包，根据响应时间对所述数据节点进行排序，并将排序在前面一定区间内的数据节点依次分配给每一管道作为管道中的第一个数据节点；
传输模块，用于将所述多个数据节点均确认写入了数据包的管道传输至所述分布式文件系统的目标区域，将所述管道中的数据包读取出来，并解散所述管道，释放所述多个数据节点。
2.如权利要求1所述的分布式存储系统，其特征在于，所述分配模块还用于从排序在前面一定区间之外的数据节点中随机选择数据节点作为所述每一管道中第一个数据节点以外的其他数据节点。
3.如权利要求1所述的分布式存储系统，其特征在于，所述申请的数据节点的数量是根据一个管道的数据节点的数量、同时传输的管道数量、数据包的数量以及统计的无效数据节点出现概率所决定的。
4.如权利要求1-3任一项所述的分布式存储系统，其特征在于，所述管道中的数据节点的数量最少为3个，同时传输的管道最大数是根据传输带宽进行设置的。
5.一种分布式存储方法，应用于分布式存储系统中，所述分布式存储系统包括元数据节点与数据节点，其特征在于，所述方法包括步骤：
拆分原文件成数据包，并存储到数据包队列；
申请数据节点，并存储到数据节点队列；
分配多个数据节点形成一个管道以传输所述数据包中的同一数据包；
当所述管道中的第一个数据节点被确认写入数据包后，再次分配多个数据节点形成另一个管道以传输所述数据包中的另一个数据包；
根据响应时间对所述数据节点进行排序，并将排序在前面一定区间内的数据节点依次分配给每一管道作为管道中的第一个数据节点；
当管道中所有的数据节点被确认写入数据包后，对所述管道进行传输；及
所述管道被传输至所述分布式文件系统的目标区域后，读取所述管道中的数据包，并解散所述管道，释放所述多个数据节点。
6.如权利要求5所述的分布式存储方法，其特征在于，所述分配多个数据节点步骤还包括从排序在前面一定区间之外的数据节点中随机选择数据节点作为所述每一管道中第一数据节点以外的其他数据节点。
7.如权利要求5所述的分布式存储方法，其特征在于，所述申请的数据节点的数量是根据一个管道的数据节点的数量、同时传输的管道数量、数据包的数量以及统计的无效数据节点出现概率所决定的。
8.如权利要求5-7任一项所述的分布式存储方法，其特征在于，所述管道中的数据节点数最少为3个，同时传输的管道最大数是根据传输带宽进行设置的。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/372405 | 2016-12-08 | ||
| US15/372,405 US10447763B2 (en) | 2016-12-08 | 2016-12-08 | Distributed storage method and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108200112A CN108200112A (zh) | 2018-06-22 |
| CN108200112B true CN108200112B (zh) | 2021-04-20 |
Family
ID=62490401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611171598.6A Expired - Fee Related CN108200112B (zh) | 2016-12-08 | 2016-12-17 | 分布式存储方法及系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10447763B2 (zh) |
| CN (1) | CN108200112B (zh) |
| TW (1) | TWI658370B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3832464A1 (en) * | 2019-12-06 | 2021-06-09 | Tata Consultancy Services Limited | System and method for selection of cloud service providers in a multi-cloud |
| US11165886B2 (en) * | 2020-01-03 | 2021-11-02 | Bank Of America Corporation | Multi-distribution resource allocation system |
| CN111641709B (zh) * | 2020-05-29 | 2022-12-27 | 苏州浪潮智能科技有限公司 | 一种分布式系统的带宽控制方法、系统、设备以及介质 |
| CN112667592B (zh) * | 2020-12-24 | 2024-05-07 | 平安科技（深圳）有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN113297324B (zh) * | 2021-04-13 | 2023-05-23 | 福建天泉教育科技有限公司 | 一种数据写入的优化方法及终端 |
| CN116821046B (zh) * | 2023-08-28 | 2023-11-24 | 上海燧原智能科技有限公司 | 异构单元间的数据自动同步方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5583995A (en) * | 1995-01-30 | 1996-12-10 | Mrj, Inc. | Apparatus and method for data storage and retrieval using bandwidth allocation |
| US8281218B1 (en) * | 2009-11-02 | 2012-10-02 | Western Digital Technologies, Inc. | Data manipulation engine |
| CN102882983A (zh) * | 2012-10-22 | 2013-01-16 | 南京云创存储科技有限公司 | 一种云存储系统中提升并发访问性能的数据快速存储方法 |
| CN103685373A (zh) * | 2012-09-10 | 2014-03-26 | 联想(北京)有限公司 | 数据上传装置和数据上传方法 |
| WO2016065229A2 (en) * | 2014-10-23 | 2016-04-28 | Vormetric, Inc. | Access control for data blocks in a distributed filesystem |
| CN106060160A (zh) * | 2016-07-07 | 2016-10-26 | 腾讯科技（深圳）有限公司 | 一种文件上传方法及装置 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6407752B1 (en) | 1997-04-29 | 2002-06-18 | International Business Machines Corporation | Method and system for a user interface for remote FTP hosts |
| US7209972B1 (en) * | 1997-10-30 | 2007-04-24 | Commvault Systems, Inc. | High speed data transfer mechanism |
| US20030132967A1 (en) * | 2002-01-15 | 2003-07-17 | Ram Gangadharan | System and method for a drag and drop interface for transfer of multiple files between a web enabled device and a web server |
| WO2005065084A2 (en) * | 2003-11-13 | 2005-07-21 | Commvault Systems, Inc. | System and method for providing encryption in pipelined storage operations in a storage network |
| US7257689B1 (en) * | 2004-10-15 | 2007-08-14 | Veritas Operating Corporation | System and method for loosely coupled temporal storage management |
| CN101753592B (zh) * | 2008-11-28 | 2013-04-17 | 国际商业机器公司 | 用于数据处理的方法和系统 |
| US8375070B2 (en) * | 2010-09-02 | 2013-02-12 | International Business Machines Corporation | Collective operations in a file system based execution model |
| JP2012059152A (ja) * | 2010-09-10 | 2012-03-22 | Internatl Business Mach Corp <Ibm> | データ処理を行うシステムおよびメモリを割り当てる方法 |
| CN103092487A (zh) * | 2011-10-27 | 2013-05-08 | 腾讯科技（深圳）有限公司 | 上传和下载文件的方法及装置 |
| JP5867206B2 (ja) * | 2012-03-16 | 2016-02-24 | 富士通株式会社 | 移動制御装置，プログラム及びストレージ装置 |
| US9183065B1 (en) * | 2012-11-01 | 2015-11-10 | Amazon Technologies, Inc. | Providing access to an application programming interface through a named pipe |
| CN103853613A (zh) | 2012-12-04 | 2014-06-11 | 中山大学深圳研究院 | 一种基于分布式存储下的数字家庭内容读数据的方法 |
| US9087098B2 (en) * | 2012-12-17 | 2015-07-21 | General Electric Company | System and method for storage, querying, and analysis service for time series data |
| US9460178B2 (en) * | 2013-01-25 | 2016-10-04 | Dell Products L.P. | Synchronized storage system operation |
| CN104679772B (zh) * | 2013-11-29 | 2019-01-25 | 深圳市腾讯计算机系统有限公司 | 分布式数据仓库中删除文件的方法、装置、设备及系统 |
| US10291696B2 (en) * | 2014-04-28 | 2019-05-14 | Arizona Board Of Regents On Behalf Of Arizona State University | Peer-to-peer architecture for processing big data |
| CN104462324A (zh) | 2014-12-03 | 2015-03-25 | 浪潮电子信息产业股份有限公司 | 一种hdfs多线程并行下载方法 |
| WO2016058289A1 (zh) * | 2015-01-20 | 2016-04-21 | 北京大学深圳研究生院 | 一种能修复多个节点失效的mds纠删码 |
| CN106294357B (zh) * | 2015-05-14 | 2019-07-09 | 阿里巴巴集团控股有限公司 | 数据处理方法和流计算系统 |
| US9619148B2 (en) * | 2015-07-27 | 2017-04-11 | Sas Institute Inc. | Distributed data set storage and retrieval |
| CN106649406B (zh) * | 2015-11-04 | 2020-04-28 | 华为技术有限公司 | 一种自适应存储文件的方法和装置 |
| US11146613B2 (en) * | 2016-07-29 | 2021-10-12 | International Business Machines Corporation | Distributed computing on document formats |
| US10803023B2 (en) * | 2017-04-02 | 2020-10-13 | Sas Institute Inc. | Techniques for reading from and writing to distributed data stores |
-
2016
- 2016-12-08 US US15/372,405 patent/US10447763B2/en not_active Expired - Fee Related
- 2016-12-17 CN CN201611171598.6A patent/CN108200112B/zh not_active Expired - Fee Related
-
2017
- 2017-12-07 TW TW106142880A patent/TWI658370B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5583995A (en) * | 1995-01-30 | 1996-12-10 | Mrj, Inc. | Apparatus and method for data storage and retrieval using bandwidth allocation |
| US8281218B1 (en) * | 2009-11-02 | 2012-10-02 | Western Digital Technologies, Inc. | Data manipulation engine |
| CN103685373A (zh) * | 2012-09-10 | 2014-03-26 | 联想(北京)有限公司 | 数据上传装置和数据上传方法 |
| CN102882983A (zh) * | 2012-10-22 | 2013-01-16 | 南京云创存储科技有限公司 | 一种云存储系统中提升并发访问性能的数据快速存储方法 |
| WO2016065229A2 (en) * | 2014-10-23 | 2016-04-28 | Vormetric, Inc. | Access control for data blocks in a distributed filesystem |
| CN106060160A (zh) * | 2016-07-07 | 2016-10-26 | 腾讯科技（深圳）有限公司 | 一种文件上传方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10447763B2 (en) | 2019-10-15 |
| US20180167439A1 (en) | 2018-06-14 |
| TW201824015A (zh) | 2018-07-01 |
| CN108200112A (zh) | 2018-06-22 |
| TWI658370B (zh) | 2019-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108200112B (zh) | 分布式存储方法及系统 | |
| US11888599B2 (en) | Scalable leadership election in a multi-processing computing environment | |
| US9367600B2 (en) | Policy-based storage structure distribution | |
| US8671134B2 (en) | Method and system for data distribution in high performance computing cluster | |
| US8826284B1 (en) | Scalable task scheduling | |
| US10102086B2 (en) | Replicated database distribution for workload balancing after cluster reconfiguration | |
| US9197695B2 (en) | Redundant data requests with cancellation | |
| US8838595B2 (en) | Operating on objects stored in a distributed database | |
| US8984085B2 (en) | Apparatus and method for controlling distributed memory cluster | |
| US8930316B2 (en) | System and method for providing partition persistent state consistency in a distributed data grid | |
| US9185160B2 (en) | Resource reservation protocol over unreliable packet transport | |
| US20160275123A1 (en) | Pipeline execution of multiple map-reduce jobs | |
| US9256506B1 (en) | System and method for performing operations on target servers | |
| US7917495B1 (en) | System and method for processing query requests in a database system | |
| CN110058940B (zh) | 一种多线程环境下的数据处理方法及装置 | |
| Ibrahim et al. | Intelligent data placement mechanism for replicas distribution in cloud storage systems | |
| WO2018031339A1 (en) | Repartitioning data in a distributed computing system | |
| CN1602480A (zh) | 管理附装在数据网络上的存储器资源 | |
| CN113886430A (zh) | 查询可重新开始性 | |
| KR102182493B1 (ko) | 스몰 데이터 기계 학습을 위한 노드 관리 시스템 | |
| US7797333B1 (en) | System and method for returning results of a query from one or more slave nodes to one or more master nodes of a database system | |
| WO2015001596A1 (ja) | 系列データ並列分析基盤およびその並列分散処理方法 | |
| US7406461B1 (en) | System and method for processing a request to perform an activity associated with a precompiled query | |
| RU2721235C2 (ru) | Способ и система для маршрутизации и выполнения транзакций | |
| US10824640B1 (en) | Framework for scheduling concurrent replication cycles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210420 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |