CN102867035A - 一种分布式文件系统集群高可用方法和装置 - Google Patents

一种分布式文件系统集群高可用方法和装置 Download PDF

Info

Publication number
CN102867035A
CN102867035A CN2012103115690A CN201210311569A CN102867035A CN 102867035 A CN102867035 A CN 102867035A CN 2012103115690 A CN2012103115690 A CN 2012103115690A CN 201210311569 A CN201210311569 A CN 201210311569A CN 102867035 A CN102867035 A CN 102867035A
Authority
CN
China
Prior art keywords
data
cluster
written
trnascription
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103115690A
Other languages
English (en)
Other versions
CN102867035B (zh
Inventor
胡振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201210311569.0A priority Critical patent/CN102867035B/zh
Publication of CN102867035A publication Critical patent/CN102867035A/zh
Application granted granted Critical
Publication of CN102867035B publication Critical patent/CN102867035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供了一种分布式文件系统集群高可用方法，包括：接收到数据写入请求时，为待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群。本发明还提供了一种分布式文件系统集群高可用装置，客户端模块接收数据写入请求和待写入的数据，发送写请求给高可用模块；高可用模块为待写入的数据生成至少一份数据副本，将待写入的数据及其数据副本并行写入数据存储集群。本发明能够最大化的保证数据不丢失，维护数据安全性；并且提高集群的读性能。

Description

一种分布式文件系统集群高可用方法和装置
技术领域
本发明涉及文件系统，尤其涉及一种分布式文件系统集群高可用方法和装置。
背景技术
目前在集群文件系统高可用机制是重要组成部分，如果没有高可用，就不能完全保证数据的安全性，而且如果集群节点出现故障，会中断用户的应用，可能会给用户带来较大的损失；另外，市场上有很多高可用软件，大部分高可用软件采用主从切换模式，即：存储用户数据的卷作为一个高可用资源，该卷是共享存储，这样当一个节点出现故障后，其他节点可以接管该资源，保证数据不丢失。该方式下还是会中断用户的应用，因此，现有高可用方法需要改进。
发明内容
本发明要解决的技术问题是提供一种分布式文件系统集群高可用方法和装置，提高数据的安全性。
为了解决上述问题，本发明提供了一种分布式文件系统集群高可用方法，包括：
接收到数据写入请求时，为待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群。
进一步的，上述方法还可具有以下特点：接收到数据读取请求时，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
进一步的，上述方法还可具有以下特点：将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
当接收到所述数据读取请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
进一步的，上述方法还可具有以下特点：读取所述数据或数据副本后，将其当成一份数据输出。
本发明还提高一种分布式文件系统集群高可用装置，包括：客户端模块、高可用模块和数据存储集群，其中：
所述客户端模块用于，接收数据写入请求和待写入的数据，发送写请求给所述高可用模块；
所述高可用模块用于，接收到所述客户端模块的写请求后，为所述待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群；
所述数据存储集群用于，存储所述数据及其数据副本。
进一步的，上述装置还可具有以下特点，所述装置还包括：读加速模块，其中：
所述客户端模块还用于，接收到数据读取请求时，发送读请求给所述读加速模块；
所述读加速模块用于，接收到所述读请求后，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
进一步的，上述装置还可具有以下特点，所述高可用模块还用于，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
所述读加速模块还用于，接收到所述读请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
进一步的，上述装置还可具有以下特点，所述读加速模块还用于：读取所述数据或数据副本后，将其当成一份数据输出。
进一步的，上述装置还可具有以下特点，所述装置还包括元数据集群，其中：
所述客户端模块还用于：将所述待写入数据的元数据存储到所述元数据集群。
本发明提供的一种分布式文件系统集群高可用方法和装置，通常适用于分布式、并行文件系统中，能够最大化的保证数据不丢失，维护数据安全性；并且提高集群的读性能。
附图说明
图1是分布式文件系统集群数据写入示意图；
图2是分布式文件系统集群数据读取示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明实施例提供一种实现数据高可用的方法，在数据写入时同时生成一份或者多份数据副本，并且数据和数据副本能够并行写入到数据存储集群中，这样变相的实现了集群之间的高可用。
本发明实施提供一种分布式文件系统集群高可用方法，包括：
接收到数据写入请求时，为待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群。
其中，可以只生成一份数据副本，也可以生成多份数据副本。
其中，所述方法还包括：接收到数据读取请求时，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
其中，所述方法还包括，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
当接收到所述数据读取请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
其中，所述方法还包括：读取所述数据或数据副本后，将其当成一份数据输出。即不管读取的是数据，还是数据副本，不会区分显示，仅显示一份数据，比如，读取数据A时，不管读取的是数据A还是数据A的副本，显示给用户的都是数据A，而不会显示给用户两份数据，一份数据A，一份数据A的副本。
本发明实施例还提供一种分布式文件系统集群高可用装置，包括：客户端模块、高可用模块和数据存储集群，其中：
所述客户端模块用于，接收数据写入请求和待写入的数据，发送写请求给所述高可用模块；
所述高可用模块用于，接收到所述客户端模块的写请求后，为所述待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群；
所述数据存储集群用于，存储所述数据及其数据副本。
其中，所述装置还包括：读加速模块：
所述客户端模块还用于，接收到数据读取请求时，发送读请求给所述读加速模块；
所述读加速模块用于，接收到所述读请求后，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
其中，所述高可用模块还用于，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
所述读加速模块还用于，接收到所述读请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
其中，所述读加速模块还用于：读取所述数据或数据副本后，将其当成一份数据输出。
其中，所述装置还包括元数据集群，其中：
所述客户端模块还用于：将所述待写入数据的元数据存储到所述云数据集群。
如图1，2所示，本发明实施提供的一种分布式文件系统集群高可用装置包括：客户端模块1，元数据集群2，数据存储集群3，高可用模块4和读加速模块5，其中：
客户端模块1是访问文件系统的入口，主要是负责用户的数据请求，包括数据写入请求和数据读取请求。
元数据集群2负责存储用户数据的元数据部分。
数据存储集群3提供数据存储单元，负责存储数据(去掉元数据之后的数据)。
高可用模块4用于生成副本，并存储数据和数据副本，从而保证集群之间的高可用，并且当一个节点出现故障，数据不会丢失。
读加速模块5：提高客户端的读数据性能，能读取数据和数据副本。
其中，高可用模块4，保证写入数据时，同时生成至少一份数据副本，将数据和数据副本并行写入到数据存储集群3中，这样能够实现当一个数据节点出现故障时，保证数据的完整性。
读加速模块5，能够同时读取主(primary)集群和从(passive)集群中的数据，从而提高数据读取性能。
下面通过一具体实施例对一种分布式文件系统集群高可用方法详细过程说明：
首先客户端模块1建立与集群文件系统的链接；
假设客户端模块1要写入的数据为dataFile文件，将其分成2个条带块(D0，D1)，在写入到数据存储集群3之前，会在高可用模块4生成一份副本(D0’，D1’)；
然后数据(D0，D1)和数据副本(D0’，D1’)会同时并行写入到数据存储集群3，保证数据写入的性能；实现了当一个节点失效时，数据还是完整的。
数据读取的时候，读加速模块5会读取数据存储集群中的数据或数据副本，并能根据集群系统的负载情况，确定读取主集群还是从集群中的数据，这样降低了系统的平均负载并且保证了系统的整体性能。
本发明中，实现了数据备份，能够保证数据不丢失，维护数据安全性。另外，数据和备份数据并行写入，相比在数据写入之后，再进行备份的方法，提高了数据备份效率；以及，在有多个用户的时候，由于可以同时读取数据和数据副本，可以加快响应速度，提高用户体验。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

Claims (9)

1.一种分布式文件系统集群高可用方法，其特征在于，包括：
接收到数据写入请求时，为待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：接收到数据读取请求时，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
3.如权利要求2所述的方法，其特征在于，所述方法还包括，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
当接收到所述数据读取请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
4.如权利要求2所述的方法，其特征在于，所述方法还包括：读取所述数据或数据副本后，将其当成一份数据输出。
5.一种分布式文件系统集群高可用装置，其特征在于，包括：客户端模块、高可用模块和数据存储集群，其中：
所述客户端模块用于，接收数据写入请求和待写入的数据，发送写请求给所述高可用模块；
所述高可用模块用于，接收到所述客户端模块的写请求后，为所述待写入的数据生成至少一份数据副本，将所述待写入的数据及其数据副本并行写入数据存储集群；
所述数据存储集群用于，存储所述数据及其数据副本。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：读加速模块，其中：
所述客户端模块还用于，接收到数据读取请求时，发送读请求给所述读加速模块；
所述读加速模块用于，接收到所述读请求后，从所述数据存储集群存储数据或数据副本的位置读取所请求的数据。
7.如权利要求6所述的装置，其特征在于，
所述高可用模块还用于，将所述数据和数据副本其中之一写入所述数据存储集群中的主集群，另一写入从集群；
所述读加速模块还用于，接收到所述读请求时，根据所述主集群和所述从集群的当前负载决定从所述主集群中读取所请求的数据还是从所述从集群中读取所请求的数据的数据副本。
8.如权利要求6所述的装置，其特征在于，所述读加速模块还用于：读取所述数据或数据副本后，将其当成一份数据输出。
9.如权利要求6所述的装置，其特征在于，所述装置还包括元数据集群，其中：
所述客户端模块还用于：将所述待写入数据的元数据存储到所述元数据集群。
CN201210311569.0A 2012-08-28 2012-08-28 一种分布式文件系统集群高可用方法和装置 Active CN102867035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210311569.0A CN102867035B (zh) 2012-08-28 2012-08-28 一种分布式文件系统集群高可用方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210311569.0A CN102867035B (zh) 2012-08-28 2012-08-28 一种分布式文件系统集群高可用方法和装置

Publications (2)

Publication Number Publication Date
CN102867035A true CN102867035A (zh) 2013-01-09
CN102867035B CN102867035B (zh) 2015-09-23

Family

ID=47445904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210311569.0A Active CN102867035B (zh) 2012-08-28 2012-08-28 一种分布式文件系统集群高可用方法和装置

Country Status (1)

Country Link
CN (1) CN102867035B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685544A (zh) * 2013-12-24 2014-03-26 华中科技大学 一种基于性能预估的客户端缓存分配方法和系统
CN104268013A (zh) * 2014-10-17 2015-01-07 中国人民解放军国防科学技术大学 一种快速的全系统模拟器确定性回放方法
CN105159925A (zh) * 2015-08-04 2015-12-16 北京京东尚科信息技术有限公司 一种数据库集群数据分配方法及系统
CN105871987A (zh) * 2015-12-14 2016-08-17 乐视云计算有限公司 数据写入的高可用系统及方法
CN106569729A (zh) * 2015-10-09 2017-04-19 阿里巴巴集团控股有限公司 用于分布式系统中数据写入的方法和设备
CN108763300A (zh) * 2018-04-19 2018-11-06 北京奇艺世纪科技有限公司 一种数据查询方法及装置
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储系统及其数据路由方法
CN109408280A (zh) * 2017-08-17 2019-03-01 北京金山云网络技术有限公司 数据备份方法、装置及系统
CN110636058A (zh) * 2019-09-16 2019-12-31 苏州百宝箱科技有限公司 基于大数据的信息安全系统和方法
CN112052124A (zh) * 2020-09-25 2020-12-08 杭州宏杉科技股份有限公司 数据冗余方法及分布式存储集群
CN112199427A (zh) * 2020-09-24 2021-01-08 中国建设银行股份有限公司 一种数据处理方法和系统
CN112214466A (zh) * 2019-07-12 2021-01-12 海能达通信股份有限公司 分布式集群系统及数据写入方法、电子设备、存储装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014153A (zh) * 2010-10-19 2011-04-13 浪潮(北京)电子信息产业有限公司 一种数据存储系统及其数据存储方法
CN102024044A (zh) * 2010-12-08 2011-04-20 华为技术有限公司 分布式文件系统
CN102594849A (zh) * 2011-01-06 2012-07-18 阿里巴巴集团控股有限公司 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014153A (zh) * 2010-10-19 2011-04-13 浪潮(北京)电子信息产业有限公司 一种数据存储系统及其数据存储方法
CN102024044A (zh) * 2010-12-08 2011-04-20 华为技术有限公司 分布式文件系统
CN102594849A (zh) * 2011-01-06 2012-07-18 阿里巴巴集团控股有限公司 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张建勋，蔡红云等: "集群存储系统数据容错研究", 《河北大学学报（自然科学版）》, vol. 26, no. 5, 30 September 2006 (2006-09-30) *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685544A (zh) * 2013-12-24 2014-03-26 华中科技大学 一种基于性能预估的客户端缓存分配方法和系统
CN104268013A (zh) * 2014-10-17 2015-01-07 中国人民解放军国防科学技术大学 一种快速的全系统模拟器确定性回放方法
CN104268013B (zh) * 2014-10-17 2017-05-17 中国人民解放军国防科学技术大学 一种快速的全系统模拟器确定性回放方法
CN105159925A (zh) * 2015-08-04 2015-12-16 北京京东尚科信息技术有限公司 一种数据库集群数据分配方法及系统
CN105159925B (zh) * 2015-08-04 2019-08-30 北京京东尚科信息技术有限公司 一种数据库集群数据分配方法及系统
CN106569729A (zh) * 2015-10-09 2017-04-19 阿里巴巴集团控股有限公司 用于分布式系统中数据写入的方法和设备
CN105871987A (zh) * 2015-12-14 2016-08-17 乐视云计算有限公司 数据写入的高可用系统及方法
CN109408280A (zh) * 2017-08-17 2019-03-01 北京金山云网络技术有限公司 数据备份方法、装置及系统
CN108763300A (zh) * 2018-04-19 2018-11-06 北京奇艺世纪科技有限公司 一种数据查询方法及装置
CN108763300B (zh) * 2018-04-19 2020-07-31 北京奇艺世纪科技有限公司 一种数据查询方法及装置
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储系统及其数据路由方法
CN112214466A (zh) * 2019-07-12 2021-01-12 海能达通信股份有限公司 分布式集群系统及数据写入方法、电子设备、存储装置
CN110636058A (zh) * 2019-09-16 2019-12-31 苏州百宝箱科技有限公司 基于大数据的信息安全系统和方法
CN110636058B (zh) * 2019-09-16 2020-08-21 湖南德善信医药科技有限公司 基于大数据的信息安全系统和方法
CN112199427A (zh) * 2020-09-24 2021-01-08 中国建设银行股份有限公司 一种数据处理方法和系统
CN112052124A (zh) * 2020-09-25 2020-12-08 杭州宏杉科技股份有限公司 数据冗余方法及分布式存储集群
CN112052124B (zh) * 2020-09-25 2023-09-22 杭州宏杉科技股份有限公司 数据冗余方法及分布式存储集群

Also Published As

Publication number Publication date
CN102867035B (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN102867035A (zh) 一种分布式文件系统集群高可用方法和装置
US10649953B2 (en) Blockchain-based data migration method and apparatus
US11514075B2 (en) System and method for prioritizing replication copy activity
CN109376197B (zh) 一种数据同步方法、服务器及计算机存储介质
US20150106822A1 (en) Method and system for supporting resource isolation in multi-core architecture
US8375200B2 (en) Embedded device and file change notification method of the embedded device
CN101808127B (zh) 数据备份方法、系统和服务器
US20180027048A1 (en) File transmission method, apparatus, and distributed cluster file system
CN113452774B (zh) 消息推送方法、装置、设备及存储介质
EP4213038A1 (en) Data processing method and apparatus based on distributed storage, device, and medium
WO2024001024A1 (zh) 在区块链系统中执行交易的方法、区块链系统和节点
CN103793291A (zh) 分布式数据复制方法和装置
CN110633046A (zh) 一种分布式系统的存储方法、装置、存储设备及存储介质
CN106873902B (zh) 一种文件存储系统、数据调度方法及数据节点
CN111416825A (zh) 线程间无锁日志管理方法和系统、终端、存储介质
CN106897288B (zh) 数据库的服务提供方法和系统
CN107301021B (zh) 一种利用ssd缓存对lun进行加速的方法和装置
CN110442601B (zh) 一种Openstack镜像数据并行加速的方法和装置
CN112269772A (zh) 一种文件部署方法、系统、设备及计算机可读存储介质
US20080250421A1 (en) Data Processing System And Method
US20180309702A1 (en) Method and device for processing data after restart of node
CN115238006A (zh) 检索数据同步方法、装置、设备及计算机存储介质
CN109857523B (zh) 一种用于实现数据库高可用性的方法及装置
WO2024109388A1 (zh) 特征同步方法、装置、计算机设备、存储介质和程序产品
US11782615B2 (en) Information processing system, non-transitory computer-readable recording medium having stored therein storage controlling program, and storage controller

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant