CN107395745A - 一种分布式存储系统数据分散存储实现方法 - Google Patents

一种分布式存储系统数据分散存储实现方法 Download PDF

Info

Publication number
CN107395745A
CN107395745A CN201710715560.9A CN201710715560A CN107395745A CN 107395745 A CN107395745 A CN 107395745A CN 201710715560 A CN201710715560 A CN 201710715560A CN 107395745 A CN107395745 A CN 107395745A
Authority
CN
China
Prior art keywords
distributed storage
distributed
storage node
data block
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710715560.9A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Shu Tong Mdt Infotech Ltd
Original Assignee
Changsha Shu Tong Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Shu Tong Mdt Infotech Ltd filed Critical Changsha Shu Tong Mdt Infotech Ltd
Priority to CN201710715560.9A priority Critical patent/CN107395745A/zh
Publication of CN107395745A publication Critical patent/CN107395745A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Abstract

本发明涉及一种分布式存储系统数据分散存储实现方法，该方法描述分布式存储有X个存储节点，数据存储时设定为Y个副本数，业务主机写入业务应用数据时，根据事先设定好的划分条带规则，将写入业务应用数据为Z个数据块，同样Z个数据块设定有完全相同的Y个副本数，划分完后Z个数据块将均匀的分散写入分布式存储的X个存储节点，同时Z个数据块的Y个副本数也会均匀的分散写入分布式存储的X个存储节点的Y个副本节点内。

Description

一种分布式存储系统数据分散存储实现方法
技术领域
本发明专利涉及计算机分布式存储领域。
背景技术
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
分布式存储系统需要使用多台服务器共同存储数据，而随着服务器数量的增加，服务器出现故障的概率也在不断增加。为了保证在有服务器出现故障的情况下系统仍然可用。一般做法是把一个数据分成多份存储在不同的服务器中。但是由于故障和并行存储等情况的存在，同一个数据的多个副本之间可能存在不一致的情况。这里称保证多个副本的数据完全一致的性质为一致性。
分布式存储系统需要多台服务器同时工作。当服务器数量增多时，其中的一些服务器出现故障是在所难免的。我们希望这样的情况不会对整个系统造成太大的影响。在系统中的一部分节点出现故障之后，系统的整体不影响客服端的读/写请求称为可用性。
分布式存储系统中的多台服务器通过网络进行连接。但是我们无法保证网络是一直通畅的，分布式系统需要具有一定的容错性来处理网络故障带来的问题。一个令人满意的情况是，当一个网络因为故障而分解为多个部分的时候，分布式存储系统仍然能够工作。
分布式块存储里是没有文件系统的，是通过客户端直接将最简单明了的命令传递给存储的“块”来执行。为充分发挥分布式存储系统多节点的性能和安全性，采用一种分散存储的方法显得非常重要。
发明专利内容
本发明专利涉及一种分布式存储系统数据分散存储实现方法，该方法描述分布式存储有X个存储节点，数据存储时设定为Y个副本数，业务主机写入业务应用数据时，根据事先设定好的划分条带规则，将写入业务应用数据为Z个数据块，同样Z个数据块设定有完全相同的Y个副本数，划分完后Z个数据块将均匀的分散写入分布式存储的X个存储节点，同时Z个数据块的Y个副本数也会均匀的分散写入分布式存储的X个存储节点的Y个副本节点内。
附图说明
图1为本发明专利的一种分布式存储系统数据分散存储实现方法结构示意图。
具体实施方式
为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。
请参阅图1，图1为本发明专利的一种分布式存储系统数据分散存储实现方法结构示意图。
一种分布式存储系统数据分散存储实现方法，其特征在于，所述方法包含包含业务应用数据（10）、业务主机（11）、分散的数据块a（12a）、分散的数据块b（12b）、分散的数据块c（12c）、分布式存储节点a（13a）、分布式存储节点b（13b）、分布式存储节点c（13c）、分布式存储外部业务网络（14）、分布式存储内部通信网络（15），该方法描述的分布式存储节点a（13a）、分布式存储节点b（13b）和分布式存储节点c（13c）通过分布式存储内部通信网络（15）组建成分布式存储系统，并通过分布式存储外部业务网络（14）与业务主机（11）相连并提供存储业务，业务主机（11）写入业务应用数据（10）时会将数据按所述方法分散为分散的数据块a（12a）、分散的数据块b（12b）和分散的数据块c（12c），并分别存入分布式存储节点a（13a）、分布式存储节点b（13b）和分布式存储节点c（13c）中。
一种分布式存储系统数据分散存储实现方法，其特征在于，该方法描述业务应用数据（10）将依据X个节点数和Y个副本数划分为Z个数据块，并分散的存储到分布式存储各节点中。
一种分布式存储系统数据分散存储实现方法，其特征在于，该方法描述的X个节点数取值为3~128个，在本例中节X个点数为分布式存储节点a（13a）、分布式存储节点b（13b）和分布式存储节点c（13c）共3个节点。
一种分布式存储系统数据分散存储实现方法，其特征在于，该方法Y个副本数取值为2~3个，在本例中Y个副本数设定为2个。
以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (4)

1.一种分布式存储系统数据分散存储实现方法，其特征在于，所述方法包含包含业务应用数据（10）、业务主机（11）、分散的数据块a（12a）、分散的数据块b（12b）、分散的数据块c（12c）、分布式存储节点a（13a）、分布式存储节点b（13b）、分布式存储节点c（13c）、分布式存储外部业务网络（14）、分布式存储内部通信网络（15），该方法描述的分布式存储节点a（13a）、分布式存储节点b（13b）和分布式存储节点c（13c）通过分布式存储内部通信网络（15）组建成分布式存储系统，并通过分布式存储外部业务网络（14）与业务主机（11）相连并提供存储业务，业务主机（11）写入业务应用数据（10）时会将数据按所述方法分散为分散的数据块a（12a）、分散的数据块b（12b）和分散的数据块c（12c），并分别存入分布式存储节点a（13a）、分布式存储节点b（13b）和分布式存储节点c（13c）中。
2.根据权利要求1所述的一种分布式存储系统数据分散存储实现方法，其特征在于，该方法描述业务应用数据（10）将依据X个节点数和Y个副本数划分为Z个数据块，并分散的存储到分布式存储各节点中。
3.根据权利要求1所述的一种分布式存储系统数据分散存储实现方法，其特征在于，该方法描述的X个节点数取值为3~128个，在本例中节X个点数为分布式存储节点a（13a）、分布式存储节点b（13b）和分布式存储节点c（13c）共3个节点。
4.根据权利要求1所述的一种分布式存储系统数据分散存储实现方法，其特征在于，该方法Y个副本数取值为2~3个，在本例中Y个副本数设定为2个。
CN201710715560.9A 2017-08-20 2017-08-20 一种分布式存储系统数据分散存储实现方法 Pending CN107395745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710715560.9A CN107395745A (zh) 2017-08-20 2017-08-20 一种分布式存储系统数据分散存储实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710715560.9A CN107395745A (zh) 2017-08-20 2017-08-20 一种分布式存储系统数据分散存储实现方法

Publications (1)

Publication Number Publication Date
CN107395745A true CN107395745A (zh) 2017-11-24

Family

ID=60353554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710715560.9A Pending CN107395745A (zh) 2017-08-20 2017-08-20 一种分布式存储系统数据分散存储实现方法

Country Status (1)

Country Link
CN (1) CN107395745A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928481A (zh) * 2018-09-19 2020-03-27 中国银联股份有限公司 分布式深度神经网络及其参数的存储方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780769A (zh) * 2012-07-04 2012-11-14 南京邮电大学 一种基于云计算平台的容灾存储方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN103034739A (zh) * 2012-12-29 2013-04-10 天津南大通用数据技术有限公司 一种分布式存储系统及其更新和查询方法
US20140281815A1 (en) * 2010-03-12 2014-09-18 Cleversafe, Inc. Dispersed storage network file system directory
WO2015050594A2 (en) * 2013-06-16 2015-04-09 President And Fellows Of Harvard College Methods and apparatus for parallel processing
CN106302702A (zh) * 2016-08-10 2017-01-04 华为技术有限公司 数据的分片存储方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140281815A1 (en) * 2010-03-12 2014-09-18 Cleversafe, Inc. Dispersed storage network file system directory
CN102780769A (zh) * 2012-07-04 2012-11-14 南京邮电大学 一种基于云计算平台的容灾存储方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN103034739A (zh) * 2012-12-29 2013-04-10 天津南大通用数据技术有限公司 一种分布式存储系统及其更新和查询方法
WO2015050594A2 (en) * 2013-06-16 2015-04-09 President And Fellows Of Harvard College Methods and apparatus for parallel processing
CN106302702A (zh) * 2016-08-10 2017-01-04 华为技术有限公司 数据的分片存储方法、装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928481A (zh) * 2018-09-19 2020-03-27 中国银联股份有限公司 分布式深度神经网络及其参数的存储方法

Similar Documents

Publication Publication Date Title
US11711420B2 (en) Automated management of resource attributes across network-based services
JP6716727B2 (ja) ストリーミングデータ分散処理方法及び装置
US9563426B1 (en) Partitioned key-value store with atomic memory operations
US7000141B1 (en) Data placement for fault tolerance
US9946748B2 (en) Efficient join-filters for parallel processing
US20120209943A1 (en) Apparatus and method for controlling distributed memory cluster
US10331669B2 (en) Fast query processing in columnar databases with GPUs
CN106662983A (zh) 分布式存储系统中的数据重建的方法、装置和系统
CN104424287B (zh) 数据查询方法和装置
CN104765661B (zh) 一种云存储服务中元数据服务节点的多节点热备方法
CN104794155B (zh) 数据加载的方法、装置及系统
US9984139B1 (en) Publish session framework for datastore operation records
KR102558330B1 (ko) 데이터 분산 저장 방법 및 장치
CN110427364A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN106156126A (zh) 处理数据任务中的数据冲突检测方法及服务器
CN103414762A (zh) 云备份方法和装置
WO2020256831A1 (en) Smart contract information redirect to updated version of smart contract
CN110321357A (zh) 一种读写控制方法、装置及服务器
CN107493309A (zh) 一种分布式系统中的文件写入方法及装置
CN106909436A (zh) 产生虚拟机消息队列应用程序的相关关系的方法与系统
CN110362590A (zh) 数据管理方法、装置、系统、电子设备及计算机可读介质
CN107395745A (zh) 一种分布式存储系统数据分散存储实现方法
CN107566341A (zh) 一种基于联邦分布式文件存储系统的数据持久化存储方法及系统
US20150088826A1 (en) Enhanced Performance for Data Duplication
CN104360915B (zh) 一种基于分布式存储的数据恢复方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171124

WD01 Invention patent application deemed withdrawn after publication