CN102867035B - 一种分布式文件系统集群高可用方法和装置 - Google Patents
一种分布式文件系统集群高可用方法和装置 Download PDFInfo
- Publication number
- CN102867035B CN102867035B CN201210311569.0A CN201210311569A CN102867035B CN 102867035 B CN102867035 B CN 102867035B CN 201210311569 A CN201210311569 A CN 201210311569A CN 102867035 B CN102867035 B CN 102867035B
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- trnascription
- read
- written
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000007257 malfunction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
Landscapes
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种分布式文件系统集群高可用方法，包括：接收到数据写入请求时，为待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群。本发明还提供了一种分布式文件系统集群高可用装置，客户端模块接收数据写入请求和待写入的数据，发送写请求给高可用模块；高可用模块为待写入的数据生成至少一份数据副本，将待写入的数据及其数据副本并行写入数据存储集群。本发明能够最大化的保证数据不丢失，维护数据安全性；并且提高集群的读性能。
Description
技术领域
本发明涉及文件系统，尤其涉及一种分布式文件系统集群高可用方法和装置。
背景技术
目前在集群文件系统高可用机制是重要组成部分，如果没有高可用，就不能完全保证数据的安全性，而且如果集群节点出现故障，会中断用户的应用，可能会给用户带来较大的损失；另外，市场上有很多高可用软件，大部分高可用软件采用主从切换模式，即：存储用户数据的卷作为一个高可用资源，该卷是共享存储，这样当一个节点出现故障后，其他节点可以接管该资源，保证数据不丢失。该方式下还是会中断用户的应用，因此，现有高可用方法需要改进。
发明内容
本发明要解决的技术问题是提供一种分布式文件系统集群高可用方法和装置，提高数据的安全性。
为了解决上述问题，本发明提供了一种分布式文件系统集群高可用方法，包括：
接收到数据写入请求时，为待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群。
进一步的，上述方法还可具有以下特点：接收到数据读取请求时，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
进一步的，上述方法还可具有以下特点：将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
当接收到所述数据读取请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
进一步的，上述方法还可具有以下特点：读取所述数据或数据副本后，将其当成一份数据输出。
本发明还提高一种分布式文件系统集群高可用装置，包括：客户端模块、高可用模块和数据存储集群，其中：
所述客户端模块用于，接收数据写入请求和待写入的数据，发送写请求给所述高可用模块；
所述高可用模块用于，接收到所述客户端模块的写请求后，为所述待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群；
所述数据存储集群用于，存储所述数据及其数据副本。
进一步的，上述装置还可具有以下特点，所述装置还包括：读加速模块，其中：
所述客户端模块还用于，接收到数据读取请求时，发送读请求给所述读加速模块；
所述读加速模块用于，接收到所述读请求后，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
进一步的，上述装置还可具有以下特点，所述高可用模块还用于，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
所述读加速模块还用于，接收到所述读请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
进一步的，上述装置还可具有以下特点，所述读加速模块还用于：读取所述数据或数据副本后，将其当成一份数据输出。
进一步的，上述装置还可具有以下特点，所述装置还包括元数据集群，其中：
所述客户端模块还用于：将所述待写入数据的元数据存储到所述元数据集群。
本发明提供的一种分布式文件系统集群高可用方法和装置，通常适用于分布式、并行文件系统中，能够最大化的保证数据不丢失，维护数据安全性；并且提高集群的读性能。
附图说明
图1是分布式文件系统集群数据写入示意图；
图2是分布式文件系统集群数据读取示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明实施例提供一种实现数据高可用的方法，在数据写入时同时生成一份或者多份数据副本，并且数据和数据副本能够并行写入到数据存储集群中，这样变相的实现了集群之间的高可用。
本发明实施提供一种分布式文件系统集群高可用方法，包括：
接收到数据写入请求时，为待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群。
其中，可以只生成一份数据副本，也可以生成多份数据副本。
其中，所述方法还包括：接收到数据读取请求时，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
其中，所述方法还包括，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
当接收到所述数据读取请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
其中，所述方法还包括：读取所述数据或数据副本后，将其当成一份数据输出。即不管读取的是数据，还是数据副本，不会区分显示，仅显示一份数据，比如，读取数据A时，不管读取的是数据A还是数据A的副本，显示给用户的都是数据A，而不会显示给用户两份数据，一份数据A，一份数据A的副本。
本发明实施例还提供一种分布式文件系统集群高可用装置，包括：客户端模块、高可用模块和数据存储集群，其中：
所述客户端模块用于，接收数据写入请求和待写入的数据，发送写请求给所述高可用模块；
所述高可用模块用于，接收到所述客户端模块的写请求后，为所述待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群；
所述数据存储集群用于，存储所述数据及其数据副本。
其中，所述装置还包括：读加速模块：
所述客户端模块还用于，接收到数据读取请求时，发送读请求给所述读加速模块；
所述读加速模块用于，接收到所述读请求后，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
其中，所述高可用模块还用于，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
所述读加速模块还用于，接收到所述读请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
其中，所述读加速模块还用于：读取所述数据或数据副本后，将其当成一份数据输出。
其中，所述装置还包括元数据集群，其中：
所述客户端模块还用于：将所述待写入数据的元数据存储到所述云数据集群。
如图1，2所示，本发明实施提供的一种分布式文件系统集群高可用装置包括：客户端模块1，元数据集群2，数据存储集群3，高可用模块4和读加速模块5，其中：
客户端模块1是访问文件系统的入口，主要是负责用户的数据请求，包括数据写入请求和数据读取请求。
元数据集群2负责存储用户数据的元数据部分。
数据存储集群3提供数据存储单元，负责存储数据(去掉元数据之后的数据)。
高可用模块4用于生成副本，并存储数据和数据副本，从而保证集群之间的高可用，并且当一个节点出现故障，数据不会丢失。
读加速模块5：提高客户端的读数据性能，能读取数据和数据副本。
其中，高可用模块4，保证写入数据时，同时生成至少一份数据副本，将数据和数据副本并行写入到数据存储集群3中，这样能够实现当一个数据节点出现故障时，保证数据的完整性。
读加速模块5，能够同时读取主(primary)集群和从(passive)集群中的数据，从而提高数据读取性能。
下面通过一具体实施例对一种分布式文件系统集群高可用方法详细过程说明：
首先客户端模块1建立与集群文件系统的链接；
假设客户端模块1要写入的数据为dataFile文件，将其分成2个条带块(D0，D1)，在写入到数据存储集群3之前，会在高可用模块4生成一份副本(D0’，D1’)；
然后数据(D0，D1)和数据副本(D0’，D1’)会同时并行写入到数据存储集群3，保证数据写入的性能；实现了当一个节点失效时，数据还是完整的。
数据读取的时候，读加速模块5会读取数据存储集群中的数据或数据副本，并能根据集群系统的负载情况，确定读取主集群还是从集群中的数据，这样降低了系统的平均负载并且保证了系统的整体性能。
本发明中，实现了数据备份，能够保证数据不丢失，维护数据安全性。另外，数据和备份数据并行写入，相比在数据写入之后，再进行备份的方法，提高了数据备份效率；以及，在有多个用户的时候，由于可以同时读取数据和数据副本，可以加快响应速度，提高用户体验。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
Claims (9)
1.一种分布式文件系统集群高可用方法，其特征在于，包括：
接收到数据写入请求时，为待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：接收到数据读取请求时，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
3.如权利要求2所述的方法，其特征在于，所述方法还包括，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
当接收到所述数据读取请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
4.如权利要求2所述的方法，其特征在于，所述方法还包括：读取所述数据或数据副本后，将其当成一份数据输出。
5.一种分布式文件系统集群高可用装置，其特征在于，包括：客户端模块、高可用模块和数据存储集群，其中：
所述客户端模块用于，接收数据写入请求和待写入的数据，发送写请求给所述高可用模块；
所述高可用模块用于，接收到所述客户端模块的写请求后，为所述待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群；
所述数据存储集群用于，存储所述数据及其数据副本。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：读加速模块，其中：
所述客户端模块还用于，接收到数据读取请求时，发送读请求给所述读加速模块；
所述读加速模块用于，接收到所述读请求后，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
7.如权利要求6所述的装置，其特征在于，
所述高可用模块还用于，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
所述读加速模块还用于，接收到所述读请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
8.如权利要求6所述的装置，其特征在于，所述读加速模块还用于：读取所述数据或数据副本后，将其当成一份数据输出。
9.如权利要求6所述的装置，其特征在于，所述装置还包括元数据集群，其中：
所述客户端模块还用于：将所述待写入数据的元数据存储到所述元数据集群。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210311569.0A CN102867035B (zh) | 2012-08-28 | 2012-08-28 | 一种分布式文件系统集群高可用方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210311569.0A CN102867035B (zh) | 2012-08-28 | 2012-08-28 | 一种分布式文件系统集群高可用方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102867035A CN102867035A (zh) | 2013-01-09 |
| CN102867035B true CN102867035B (zh) | 2015-09-23 |
Family
ID=47445904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210311569.0A Active CN102867035B (zh) | 2012-08-28 | 2012-08-28 | 一种分布式文件系统集群高可用方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102867035B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103685544A (zh) * | 2013-12-24 | 2014-03-26 | 华中科技大学 | 一种基于性能预估的客户端缓存分配方法和系统 |
| CN104268013B (zh) * | 2014-10-17 | 2017-05-17 | 中国人民解放军国防科学技术大学 | 一种快速的全系统模拟器确定性回放方法 |
| CN105159925B (zh) * | 2015-08-04 | 2019-08-30 | 北京京东尚科信息技术有限公司 | 一种数据库集群数据分配方法及系统 |
| CN106569729A (zh) * | 2015-10-09 | 2017-04-19 | 阿里巴巴集团控股有限公司 | 用于分布式系统中数据写入的方法和设备 |
| CN105871987A (zh) * | 2015-12-14 | 2016-08-17 | 乐视云计算有限公司 | 数据写入的高可用系统及方法 |
| CN109408280A (zh) * | 2017-08-17 | 2019-03-01 | 北京金山云网络技术有限公司 | 数据备份方法、装置及系统 |
| CN108763300B (zh) * | 2018-04-19 | 2020-07-31 | 北京奇艺世纪科技有限公司 | 一种数据查询方法及装置 |
| CN109327539A (zh) * | 2018-11-15 | 2019-02-12 | 上海天玑数据技术有限公司 | 一种分布式块存储系统及其数据路由方法 |
| CN112214466B (zh) * | 2019-07-12 | 2024-05-14 | 海能达通信股份有限公司 | 分布式集群系统及数据写入方法、电子设备、存储装置 |
| CN110636058B (zh) * | 2019-09-16 | 2020-08-21 | 湖南德善信医药科技有限公司 | 基于大数据的信息安全系统和方法 |
| CN112199427A (zh) * | 2020-09-24 | 2021-01-08 | 中国建设银行股份有限公司 | 一种数据处理方法和系统 |
| CN112052124B (zh) * | 2020-09-25 | 2023-09-22 | 杭州宏杉科技股份有限公司 | 数据冗余方法及分布式存储集群 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102014153A (zh) * | 2010-10-19 | 2011-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种数据存储系统及其数据存储方法 |
| CN102024044B (zh) * | 2010-12-08 | 2012-11-21 | 华为技术有限公司 | 分布式文件系统 |
| CN102594849B (zh) * | 2011-01-06 | 2015-05-20 | 阿里巴巴集团控股有限公司 | 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置 |
-
2012
- 2012-08-28 CN CN201210311569.0A patent/CN102867035B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 张建勋,蔡红云等.集群存储系统数据容错研究.《河北大学学报(自然科学版)》.2006,第26卷(第5期), * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102867035A (zh) | 2013-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102867035B (zh) | 一种分布式文件系统集群高可用方法和装置 | |
| US20200265009A1 (en) | Blockchain-based data migration method and apparatus | |
| US11514075B2 (en) | System and method for prioritizing replication copy activity | |
| US9658912B2 (en) | Method and apparatus for implementing heartbeat service of high availability cluster | |
| US20150106822A1 (en) | Method and system for supporting resource isolation in multi-core architecture | |
| CN109376197B (zh) | 一种数据同步方法、服务器及计算机存储介质 | |
| CN106933843B (zh) | 数据库心跳检测方法以及装置 | |
| CN103929500A (zh) | 一种分布式存储系统的数据分片方法 | |
| CN103763383A (zh) | 一体化云存储系统及其存储方法 | |
| CN111061431B (zh) | 一种分布式存储方法、服务器及客户端 | |
| CN105426427A (zh) | 基于raid 0 存储的mpp 数据库集群副本实现方法 | |
| CN101763433B (zh) | 一种数据存储系统及方法 | |
| CN105518641A (zh) | 点对点数据复制方法、设备和系统以及主节点切换方法、设备和系统 | |
| CN106873902B (zh) | 一种文件存储系统、数据调度方法及数据节点 | |
| CN104054076A (zh) | 数据存储方法、数据库存储节点故障处理方法及装置 | |
| CN115629901A (zh) | 日志回放方法及装置、数据恢复方法及装置、电子设备 | |
| CN112269772A (zh) | 一种文件部署方法、系统、设备及计算机可读存储介质 | |
| CN104102725A (zh) | 一种hdfs中热点数据文件的动态副本创建方法和系统 | |
| CN116501259A (zh) | 磁盘组双活同步方法、装置、计算机设备及存储介质 | |
| CN106980618B (zh) | 基于MongoDB分布式集群架构的文件存储方法和系统 | |
| CN102629223B (zh) | 一种数据修复方法及装置 | |
| US20210132833A1 (en) | System and method for implementing heterogeneous media types with raid | |
| US9798683B2 (en) | Minimizing micro-interruptions in high-performance computing | |
| CN102750342A (zh) | 一种集群文件系统数据一致性的方法 | |
| CN105511808A (zh) | 一种数据操作方法、系统及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |