CN104104739A - 一种云存储系统元数据服务集群的数据同步方法 - Google Patents
一种云存储系统元数据服务集群的数据同步方法 Download PDFInfo
- Publication number
- CN104104739A CN104104739A CN201410388414.6A CN201410388414A CN104104739A CN 104104739 A CN104104739 A CN 104104739A CN 201410388414 A CN201410388414 A CN 201410388414A CN 104104739 A CN104104739 A CN 104104739A
- Authority
- CN
- China
- Prior art keywords
- data
- service cluster
- metadata
- metadata service
- back end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种云存储系统元数据服务集群的数据同步方法，解决了现有云存储系统存储数据不同步、数据一致性差的问题。该方法包括如下步骤：（a）由两个以上元数据服务器组成元数据服务集群；（b）在其中一个元数据服务器的数据节点创建磁盘设备或修改数据；（c）创建磁盘设备或修改数据的数据节点向元数据服务集群中其余的元数据服务器发出变更信息；（d）其余元数据服务器接收变更信息并同时更新相应地数据节点里的数据。本发明实时同步数据，使数据高度一致，系统的可靠性强，如果其中一个元数据服务器崩溃了也不会影响整个系统的运行，每个元数据服务器之间相互不影响，容灾性强，并且系统性能高，处理速度快，节省流量。
Description
技术领域
本发明属于云计算领域，具体涉及一种云存储系统元数据服务集群的数据同步方法。
背景技术
为了更好地保证数据的安全性和完整性，数据的同步备份对于企业和个人来说显得尤为重要，大多数中小企业通过数据库管理系统对数据进行自动或手工方式的同步备份，这通常要求本地服务器磁盘具备一定的存储空间来存放同步备份后的数据个人用户数据主要存储在移动设备和 PC 硬盘中，经常往返于异地的用户需要随身携带这些设备或使用带有备份功能的软件来存储数据。
随着云计算概念的普及，开源云计算平台 Hadoop 成为了研究的热点。Hadoop 分布式文件系统(Hadoop Distributed File System，HDFS)的元数据服务器Namenode一直缺乏可靠的备份机制，导致 HDFS面临可用性问题。单点故障是指引起系统整体失效的部件，当该部件失效时，会使整个系统无法工作。 在 Hadoop 集群中Name node容易引发单点故障。
当用户向服务器组发送业务请求，服务器组中的每台服务器上的数据不一致，系统选一个空闲的服务器查找业务请求所需的数据，如果这个服务器中无所需数据，请求查找下一个服务器。传统集群服务，数据始终不同步。为了保证集群能提供同样的服务，所以要实现数据同步。传统的系统中，只有两个元数据服务器，一个元数据服务器储存数据节点的地址信息，另一个是元数据服务器是作为备份用的。系统不断有数据产生，所以不断有数据节点地址信息储存在元数据服务器中，然后定期向备份元数据服务器同步数据。
传统方案有以下四个问题：1、因为是定期同步数据，所以有时间间隔，在时间间隔时，数据不同步；2、容易造成数据丢失，如果有一个服务器崩溃了，其余服务器上的数据就丢失了；3、同步数据量大，占用网络带宽；4、数据一致性差。
发明内容
针对上述现有技术的不足，本发明提供一种云存储系统元数据服务集群的数据同步方法，解决了现有云存储系统存储数据不同步、数据一致性差的问题。
为了实现上述目的，本发明采用的技术方案如下：
一种云存储系统元数据服务集群的数据同步方法，包括如下步骤：
（a）由两个以上元数据服务器组成元数据服务集群；
（b）在其中一个元数据服务器的数据节点创建磁盘设备或修改数据；
（c）创建磁盘设备或修改数据的数据节点向元数据服务集群中其余的元数据服务器发出变更信息；
（d）其余元数据服务器接收变更信息并同时更新相应地数据节点里的数据。
进一步地，所述步骤（c）中，数据节点向整个元数据服务集群发出变更信息的内容是：数据节点中的xx部分进行了xx修改。
与现有技术相比，本发明具有以下有益效果：
（1）本发明在其中一个元数据服务器的数据节点创建磁盘设备或修改数据；该数据节点向整个元数据服务集群其余元数据服务器发出变更信息，实时同步数据，使数据高度一致；
（2）本发明由两个以上元数据服务器组成元数据服务集群，使其他属于元数据服务集群但是未创建磁盘设备或修改数据的元数据服务器都能数据同时更新，使系统的可靠性强；
（3）本发明如果其中一个元数据服务器崩溃了也不会影响整个系统的运行，每个元数据服务器之间相互不影响，容灾性强；
（4）本发明系统性能高，处理速度快，节省流量，并且实时同步数据，使数据高度一致。
具体实施方式
下面结合实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
实施例
一种云存储系统元数据服务集群的数据同步方法，包括步骤：
（a）由两个以上元数据服务器组成元数据服务集群；
（b）在其中一个元数据服务器的数据节点创建磁盘设备或修改数据；
（c）创建磁盘设备或修改数据的数据节点向元数据服务集群中其余的元数据服务器发出变更信息；
（d）其余元数据服务器接收变更信息并同时更新相应地数据节点里的数据。
同样，其他的元数据服务器上的元数据节点的有数据进行了修改，则向整个元数据服务集群其余的元数据服务器发出变更信息，其余元数据服务器上的数据节点里的数据同时更新。
数据节点发变更信息的内容是：数据节点中的xx部分进行了xx修改。每个元数据服务器上都有一个数据节点，当有业务请求时，在其中一个元数据服务器中查询到此业务请求所在的数据节点，当数据节点内的数据有变更时，由数据节点实时地向整个元数据服务集群发变更通知消息，例如，客户端向元数据服务器发送创建磁盘请求，并在某个数据节点上创建了新磁盘，此数据节点上的数据发生了改变，同时此数据节点向整个元数据库服务集群发送新增磁盘通知和新增磁盘的数据变更信息，使其余元数据服务器上的数据节点里的数据同时更新。
按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述结构设计的前提下，为解决同样的技术问题，即使在本发明上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。
Claims (2)
1.一种云存储系统元数据服务集群的数据同步方法，其特征在于，包括如下步骤：
（a）由两个以上元数据服务器组成元数据服务集群；
（b）在其中一个元数据服务器的数据节点创建磁盘设备或修改数据；
（c）创建磁盘设备或修改数据的数据节点向元数据服务集群中其余的元数据服务器发出变更信息；
（d）其余元数据服务器接收变更信息并同时更新相应地数据节点里的数据。
2.根据权利要求1所述的一种云存储系统元数据服务集群的数据同步方法，其特征在于，所述步骤（c）中，数据节点向整个元数据服务集群发出变更信息的内容是：数据节点中的xx部分进行了xx修改。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410388414.6A CN104104739A (zh) | 2014-08-08 | 2014-08-08 | 一种云存储系统元数据服务集群的数据同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410388414.6A CN104104739A (zh) | 2014-08-08 | 2014-08-08 | 一种云存储系统元数据服务集群的数据同步方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104104739A true CN104104739A (zh) | 2014-10-15 |
Family
ID=51672538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410388414.6A Pending CN104104739A (zh) | 2014-08-08 | 2014-08-08 | 一种云存储系统元数据服务集群的数据同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104104739A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484470A (zh) * | 2014-12-31 | 2015-04-01 | 天津南大通用数据技术股份有限公司 | 一种数据库集群元数据管理方法 |
| CN104765661A (zh) * | 2014-12-30 | 2015-07-08 | 深圳市安云信息科技有限公司 | 一种云存储服务中元数据服务节点的多节点热备方法 |
| CN105187517A (zh) * | 2015-08-20 | 2015-12-23 | 浪潮(北京)电子信息产业有限公司 | 一种实现元数据集群的方法及元数据集群 |
| CN105930498A (zh) * | 2016-05-06 | 2016-09-07 | 中国银联股份有限公司 | 一种分布式数据库的管理方法及系统 |
| CN107786650A (zh) * | 2017-10-20 | 2018-03-09 | 郑州云海信息技术有限公司 | 一种存储介质和管理策略的同步方法、装置及系统 |
| WO2018113522A1 (en) * | 2016-12-20 | 2018-06-28 | Huawei Technologies Co., Ltd. | Cross–Data Center Hierarchical Consensus Scheme with Geo-Aware Leader Election |
| CN110572468A (zh) * | 2019-09-17 | 2019-12-13 | 平安科技（深圳）有限公司 | 服务器集群文件同步方法及装置、电子设备及存储介质 |
| CN113590033A (zh) * | 2021-06-30 | 2021-11-02 | 郑州云海信息技术有限公司 | 一种超融合系统的信息同步方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020112023A1 (en) * | 2001-02-14 | 2002-08-15 | Christos Karamanolis | Separate read and write servers in a distributed file system |
| CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储系统及其实现方法 |
| CN102447742A (zh) * | 2011-11-24 | 2012-05-09 | 中兴通讯股份有限公司 | 一种动态数据主备同步的方法、系统及一种元数据服务器 |
| CN102904948A (zh) * | 2012-09-29 | 2013-01-30 | 南京云创存储科技有限公司 | 一种超大规模低成本存储系统 |
-
2014
- 2014-08-08 CN CN201410388414.6A patent/CN104104739A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020112023A1 (en) * | 2001-02-14 | 2002-08-15 | Christos Karamanolis | Separate read and write servers in a distributed file system |
| CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储系统及其实现方法 |
| CN102447742A (zh) * | 2011-11-24 | 2012-05-09 | 中兴通讯股份有限公司 | 一种动态数据主备同步的方法、系统及一种元数据服务器 |
| CN102904948A (zh) * | 2012-09-29 | 2013-01-30 | 南京云创存储科技有限公司 | 一种超大规模低成本存储系统 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104765661B (zh) * | 2014-12-30 | 2018-04-13 | 深圳市安云信息科技有限公司 | 一种云存储服务中元数据服务节点的多节点热备方法 |
| CN104765661A (zh) * | 2014-12-30 | 2015-07-08 | 深圳市安云信息科技有限公司 | 一种云存储服务中元数据服务节点的多节点热备方法 |
| CN104484470A (zh) * | 2014-12-31 | 2015-04-01 | 天津南大通用数据技术股份有限公司 | 一种数据库集群元数据管理方法 |
| CN104484470B (zh) * | 2014-12-31 | 2018-06-08 | 天津南大通用数据技术股份有限公司 | 一种数据库集群元数据管理方法 |
| CN105187517A (zh) * | 2015-08-20 | 2015-12-23 | 浪潮(北京)电子信息产业有限公司 | 一种实现元数据集群的方法及元数据集群 |
| CN105930498A (zh) * | 2016-05-06 | 2016-09-07 | 中国银联股份有限公司 | 一种分布式数据库的管理方法及系统 |
| WO2018113522A1 (en) * | 2016-12-20 | 2018-06-28 | Huawei Technologies Co., Ltd. | Cross–Data Center Hierarchical Consensus Scheme with Geo-Aware Leader Election |
| US10749954B2 (en) | 2016-12-20 | 2020-08-18 | Futurewei Technologies, Inc. | Cross-data center hierarchical consensus scheme with geo-aware leader election |
| CN107786650A (zh) * | 2017-10-20 | 2018-03-09 | 郑州云海信息技术有限公司 | 一种存储介质和管理策略的同步方法、装置及系统 |
| CN107786650B (zh) * | 2017-10-20 | 2021-06-18 | 郑州云海信息技术有限公司 | 一种存储介质和管理策略的同步方法、装置及系统 |
| CN110572468A (zh) * | 2019-09-17 | 2019-12-13 | 平安科技（深圳）有限公司 | 服务器集群文件同步方法及装置、电子设备及存储介质 |
| CN110572468B (zh) * | 2019-09-17 | 2022-11-04 | 平安科技（深圳）有限公司 | 服务器集群文件同步方法及装置、电子设备及存储介质 |
| CN113590033A (zh) * | 2021-06-30 | 2021-11-02 | 郑州云海信息技术有限公司 | 一种超融合系统的信息同步方法及装置 |
| CN113590033B (zh) * | 2021-06-30 | 2023-11-03 | 郑州云海信息技术有限公司 | 一种超融合系统的信息同步方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104104739A (zh) | 一种云存储系统元数据服务集群的数据同步方法 | |
| US10642799B2 (en) | Synchronization of client machines with a content management system repository | |
| US11893264B1 (en) | Methods and systems to interface between a multi-site distributed storage system and an external mediator to efficiently process events related to continuity | |
| WO2019154394A1 (zh) | 分布式数据库集群系统、数据同步方法及存储介质 | |
| CN103268318B (zh) | 一种强一致性的分布式键值数据库系统及其读写方法 | |
| CN102098342B (zh) | 一种基于事务级的数据同步方法、装置及系统 | |
| CN109144785B (zh) | 用于备份数据的方法和装置 | |
| US20090144338A1 (en) | Asynchronously replicated database system using dynamic mastership | |
| CN107888666B (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
| CN104320401A (zh) | 一种基于分布式文件系统的大数据存储访问系统及方法 | |
| US20120278344A1 (en) | Proximity grids for an in-memory data grid | |
| CN103138912B (zh) | 数据同步方法及系统 | |
| CN107623703B (zh) | 全局事务标识gtid的同步方法、装置及系统 | |
| CN105095317A (zh) | 分布式数据库服务管理系统 | |
| CN103902410A (zh) | 云存储系统的数据备份加速方法 | |
| WO2016029744A1 (zh) | 一种元数据恢复方法及相关装置 | |
| CN102946410A (zh) | 网络同步方法和装置 | |
| CN104252397A (zh) | 支持云平台用户文件自动备份的实现方法 | |
| CN102946411A (zh) | 网络同步系统 | |
| US10152493B1 (en) | Dynamic ephemeral point-in-time snapshots for consistent reads to HDFS clients | |
| CN110532123A (zh) | HBase系统的故障转移方法及装置 | |
| KR20100048130A (ko) | 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법 | |
| CN102710763A (zh) | 一种分布式缓存池化、分片及故障转移的方法及系统 | |
| CN105069152A (zh) | 数据处理方法及装置 | |
| CN105516284A (zh) | 一种集群数据库分布式存储的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141015 |
|
| RJ01 | Rejection of invention patent application after publication |