CN111581026A - 基于大数据机架感知技术的异地容灾备份方法及系统 - Google Patents

基于大数据机架感知技术的异地容灾备份方法及系统 Download PDF

Info

Publication number
CN111581026A
CN111581026A CN202010388163.7A CN202010388163A CN111581026A CN 111581026 A CN111581026 A CN 111581026A CN 202010388163 A CN202010388163 A CN 202010388163A CN 111581026 A CN111581026 A CN 111581026A
Authority
CN
China
Prior art keywords
center
disaster recovery
recovery backup
data generation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010388163.7A
Other languages
English (en)
Inventor
李光
李延波
张建军
俞光日
夏连杰
刘金栋
李延勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin 712 Communication and Broadcasting Co Ltd
Original Assignee
Tianjin 712 Communication and Broadcasting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin 712 Communication and Broadcasting Co Ltd filed Critical Tianjin 712 Communication and Broadcasting Co Ltd
Priority to CN202010388163.7A priority Critical patent/CN111581026A/zh
Publication of CN111581026A publication Critical patent/CN111581026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于大数据机架感知技术的异地容灾备份系统，包括数据生成中心与容灾备份中心，所述数据生成中心与容灾备份中心属于同一个Hadoop集群；所述数据生成中心与容灾备份中心的服务器通过机架感知技术配置在异地的不同的机架上，数据生成中心节点通过汇聚交换机连接，容灾备份中心的节点通过汇聚交换机连接，汇聚交换机再通过核心交换机完成整个集群网络的互联。本发明提出的数据生成中心与容灾备份中心属于同一个集群，减少了系统部署、维护的工作量；利用了机架感知技术，在数据录入数据生成中心中的HDFS文件系统同时数据会自动备份到容灾备份系统中，不需要额外开发数据同步与数据恢复程序，减小了系统的开发工作量、开发调试时间。

Description

基于大数据机架感知技术的异地容灾备份方法及系统
技术领域
本发明属于数据集群技术领域，尤其是涉及一种基于大数据机架感知技术的异地容灾备份方法及系统。
背景技术
大数据(big data)指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量的、高增长率的和多样化的信息资产，大数据主要解决，海量数据的存储和海量数据的分析计算问题。
大数据的技术基础是2003年到2004年间，Google发表了MapReduce、GFS(GoogleFile System)和BigTable三篇技术论文，提出了一套全新的分布式计算理论。MapReduce是分布式计算框架，GFS(Google File System)是分布式文件系统，BigTable是基于GoogleFile System的数据存储系统，这三大组件组成了Google的分布式计算模型。Google的分布式计算模型相比于传统的分布式计算模型有三大优势：首先，它简化了传统的分布式计算理论，降低了技术实现的难度，可以进行实际的应用。其次，它可以应用在廉价的计算设备上，只需增加计算设备的数量就可以提升整体的计算能力，应用成本十分低廉。最后，它被Google应用在Google的计算中心，取得了很好的效果，有了实际应用的证明后，各家互联网公司开始利用Google的分布式计算模型搭建自己的分布式计算系统。
Apache基金会的开源项目Hadoop采用MapReduce分布式计算框架，并根据GFS开发了HDFS分布式文件系统，根据BigTable开发了HBase数据存储系统。由于Hadoop的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo，Facebook，Amazon以及国内的百度，阿里巴巴等众多互联网公司都以Hadoop为基础搭建自己的分布式计算系统。
异地容灾，就是在不同的地域，构建一套或者多套相同的应用或者数据库，起到灾难后立刻接管的作用。异地容灾对企业应用及数据库起到了安全性、业务连续性等方面的作用。中国专利：一种用于地面应用大数据异地容灾备份的系统和方法，专利申请号：201410050264.8，已经解决了数据异地容灾备份的问题。然而，在该发明中，使用数据生成中心与容灾备份中心两个完全独立的服务器集群进行数据容灾备份，需要设计额外的数据同步与恢复机制，在使用上不灵活，同时也增加了系统维护成本；同时该发明中的系统没有采用大数据内部相关技术，完全依赖于自主开发的数据同步恢复程序完成，开发工作量大，周期长、维护成本高。
发明内容
有鉴于此，本发明旨在提出一种基于大数据机架感知技术的异地容灾备份方法及系统，解决了传统异地容灾备份方式中，需要重新部署集群、开发数据备份、恢复应用程序等容灾备份系统开发周期长、维护成本高的问题。
为达到上述目的，本发明的技术方案是这样实现的：
第一方面，本发明提供一种基于大数据机架感知技术的异地容灾备份方法，包含如下步骤：
步骤A：设置数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护；
步骤B：采用机架感知技术将数据生成中心与容灾备份中心的服务器配置在不同的机架上；
步骤C：使用集群维护工具，启动HDFS的HA功能，将一个NameNode节点部署在数据生成中心，另一个NameNode节点部署在容灾备份中心；
步骤D：使用集群维护工具，配置至少5个ZooKeeper节点(大于5即可)，其中至少2个ZooKeeper节点部署在数据生成中心，至少3个ZooKeeper节点部署在数据备份中心，其中部署在容灾备份中心的ZooKeeper节点数量为奇数个；
步骤E：使用集群维护工具设置HDFS副本为1主N备份的模式，其中N不小于2。
第二方面，本发明提供一种基于大数据机架感知技术的异地容灾备份系统，包括数据生成中心与容灾备份中心，所述数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护；
所述数据生成中心与容灾备份中心的服务器通过机架感知技术配置在异地的不同的机架上，数据生成中心节点通过汇聚交换机连接，容灾备份中心的节点通过汇聚交换机连接，汇聚交换机再通过核心交换机完成整个集群网络的互联；
所述数据生成中心与容灾备份中心通过HDFS的HA功能分别部署一个NameNode节点，所述数据生成中心部署至少2个ZooKeeper节点，所述容灾备份中心部署至少3个ZooKeeper节点，其中部署在容灾备份中心的ZooKeeper节点数量为奇数个；所述HDFS副本为1主N备份的模式，其中N不小于2。
相对于现有技术，本发明所述的方法及系统具有以下优势：
(1)本发明是基于Hadoop的HDFS分布式系统基础上的一种异地容灾备份机制，该方法解决了传统异地容灾备份方式中，需要重新部署集群、开发数据备份、恢复应用程序等容灾备份系统开发周期长、维护成本高的问题；以快速高效实现数据的异地备份、数据恢复、数据迁移。
(2)本发明数据生成中心与容灾备份中心属于同一个集群，减少了系统部署、维护的工作量；利用大数据技术中的机架感知技术，在数据录入数据生成中心中的HDFS文件系统同时数据会自动备份到容灾备份系统中，不需要额外开发数据同步与数据恢复程序，减小了系统的开发工作量、开发调试时间，采用该技术的系统可以统一部署，数据可以快速备份与恢复。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例的数据生成中心与容灾备份中心节点机架配置示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
本发明涉及的基于大数据机架感知技术的异地容灾备份系统，在部署上分为两个部分，分别部署在异地的不同机房内部。即如图1所示的数据生成中心与容灾备份中心两个部分。表1是本实施例整个集群H1-H12服务器的大数据主要组件部署分布情况。
表1：
Figure BDA0002484861780000041
Figure BDA0002484861780000051
结合图1与表1，以十二台大数据节点的集群为例，说明本发明系统的具体实现流程如下：
步骤A：数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护，合理分配数据生成中心与容灾备份中心中的服务器数量，采用大数据技术中的机架感知技术，将数据生成中心与容灾备份中心的服务器配置在两个不同的机架上；
本实施例将H1-H6服务器作为数据生产中心集群节点；将H7-H12作为容灾备份中心集群节点，分别部署在不同的机房。
步骤B：数据生成中心节点通过汇聚交换机R1、R2连接，容灾备份中心的节点通过汇聚交换机R3、R4连接；
步骤C：由于数据生成中心与容灾备份中心处于不同地点的机房内部，通过核心交换机D1、D2与整个系统的核心交换机D连接在一起，完成整个集群网络的互联。
步骤D：使用大数据管理工具，按照表1的节点组件部署完成H1-H12个节点的组件部署。
步骤E：使用大数据管理工具开启HDFS的高可用HA功能，并按照表1部署NameNode节点，将一个NameNode节点部署在数据生成中心，另一个NameNode节点部署在容灾备份中心。
步骤F：使用大数据管理工具，按照图1网络部署情况，设置集群机架的拓扑结构，配置5个ZooKeeper节点(大于5即可)，其中2个ZooKeeper节点部署在数据生成中心，3个ZooKeeper节点部署在数据备份中心(部署在容灾备份中心的ZooKeeper节点数量为奇数个)；使用集群维护工具设置HDFS副本为1主N备份的模式，其中N不小于2。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.基于大数据机架感知技术的异地容灾备份方法，其特征在于，包含如下步骤：
步骤A：设置数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护；
步骤B：采用机架感知技术将数据生成中心与容灾备份中心的服务器配置在不同的机架上；
步骤C：使用集群维护工具，启动HDFS的HA功能，将一个NameNode节点部署在数据生成中心，另一个NameNode节点部署在容灾备份中心；
步骤D：使用集群维护工具，配置至少5个ZooKeeper节点(大于5即可)，其中至少2个ZooKeeper节点部署在数据生成中心，至少3个ZooKeeper节点部署在数据备份中心，其中部署在容灾备份中心的ZooKeeper节点数量为奇数个；
步骤E：使用集群维护工具设置HDFS副本为1主N备份的模式，其中N不小于2。
2.基于大数据机架感知技术的异地容灾备份系统，其特征在于，包括数据生成中心与容灾备份中心，所述数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护；
所述数据生成中心与容灾备份中心的服务器通过机架感知技术配置在异地的不同的机架上，数据生成中心节点通过汇聚交换机连接，容灾备份中心的节点通过汇聚交换机连接，汇聚交换机再通过核心交换机完成整个集群网络的互联；
所述数据生成中心与容灾备份中心通过HDFS的HA功能分别部署一个NameNode节点，所述数据生成中心部署至少2个ZooKeeper节点，所述容灾备份中心部署至少3个ZooKeeper节点，其中部署在容灾备份中心的ZooKeeper节点数量为奇数个；所述HDFS副本为1主N备份的模式，其中N不小于2。
CN202010388163.7A 2020-05-09 2020-05-09 基于大数据机架感知技术的异地容灾备份方法及系统 Pending CN111581026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010388163.7A CN111581026A (zh) 2020-05-09 2020-05-09 基于大数据机架感知技术的异地容灾备份方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010388163.7A CN111581026A (zh) 2020-05-09 2020-05-09 基于大数据机架感知技术的异地容灾备份方法及系统

Publications (1)

Publication Number Publication Date
CN111581026A true CN111581026A (zh) 2020-08-25

Family

ID=72112138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010388163.7A Pending CN111581026A (zh) 2020-05-09 2020-05-09 基于大数据机架感知技术的异地容灾备份方法及系统

Country Status (1)

Country Link
CN (1) CN111581026A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667440A (zh) * 2020-12-28 2021-04-16 紫光云技术有限公司 一种高可用MySQL的异地灾备方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8307239B1 (en) * 2007-10-26 2012-11-06 Maxsp Corporation Disaster recovery appliance
CN103838646A (zh) * 2014-02-13 2014-06-04 中国科学院国家天文台 一种用于地面应用大数据异地容灾备份的系统和方法
CN108710686A (zh) * 2018-05-21 2018-10-26 北京五八信息技术有限公司 一种数据存储方法、装置、存储介质及终端
CN108933796A (zh) * 2017-05-22 2018-12-04 中兴通讯股份有限公司 数据存储方法及装置
CN109471755A (zh) * 2018-11-14 2019-03-15 江苏鸿信系统集成有限公司 一种基于云计算的同城异地灾备的方法及其系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8307239B1 (en) * 2007-10-26 2012-11-06 Maxsp Corporation Disaster recovery appliance
CN103838646A (zh) * 2014-02-13 2014-06-04 中国科学院国家天文台 一种用于地面应用大数据异地容灾备份的系统和方法
CN108933796A (zh) * 2017-05-22 2018-12-04 中兴通讯股份有限公司 数据存储方法及装置
CN108710686A (zh) * 2018-05-21 2018-10-26 北京五八信息技术有限公司 一种数据存储方法、装置、存储介质及终端
CN109471755A (zh) * 2018-11-14 2019-03-15 江苏鸿信系统集成有限公司 一种基于云计算的同城异地灾备的方法及其系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
戴君: "基于Hadoop的作业调度算法的研究和改进", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
韦鹏程，施成湘，蔡银英: "《大数据时代Hadoop技术及应用分析》", 31 January 2019 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667440A (zh) * 2020-12-28 2021-04-16 紫光云技术有限公司 一种高可用MySQL的异地灾备方法

Similar Documents

Publication Publication Date Title
Sarmiento et al. Decentralized SDN control plane for a distributed cloud-edge infrastructure: A survey
Bravo et al. Saturn: A distributed metadata service for causal consistency
US9367410B2 (en) Failover mechanism in a distributed computing system
CN204859222U (zh) 同城数据中心双活高可用系统
US20140325182A1 (en) System and Method for Creating Highly Scalable High Availability Cluster in a Massively Parallel Processing Cluster of Machines in a Network
CN111400326A (zh) 一种智慧城市数据管理系统及其方法
CN102413172B (zh) 一种基于集群技术的并行数据共享装置方法和装置
CN107682209A (zh) 一种sdp大数据自动化部署监控平台
US20140297834A1 (en) Management of a plurality of system control networks
Agneeswaran Big-data–theoretical, engineering and analytics perspective
CN103327116A (zh) 一种网络文件的动态副本存储方法
CN112765272A (zh) 多源数据同步方法、系统及其应用的模型中枢
Sidorov et al. System for monitoring parameters of functioning infrastructure objects and their external environment.
CN111581026A (zh) 基于大数据机架感知技术的异地容灾备份方法及系统
Jiang et al. A novel clustered MongoDB-based storage system for unstructured data with high availability
Ramachandran et al. Elevating the edge to be a peer of the cloud
CN111064643B (zh) 一种节点服务器及其数据交互方法和相关装置
Fanibhare et al. Smartgrids: Mapreduce framework using hadoop
Benhaddou et al. Big data processing for smart grids
CN107566175A (zh) 自动部署oracle rac环境变量的方法
Denzler et al. Comparing different persistent storage approaches for containerized stateful applications
Lu et al. Research on the technology of power unified cloud management platform
Wan et al. Research on Application Configuration Management Technology for Cloud Platform
CN109189489A (zh) 一种解决分布式存储系统重启后集群网卡混乱的方法
Yang et al. The Design of Network Topology Big Data Platform in Cloud Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825