CN109218386A - 一种管理Hadoop命名空间的高可用方法 - Google Patents
一种管理Hadoop命名空间的高可用方法 Download PDFInfo
- Publication number
- CN109218386A CN109218386A CN201810689936.8A CN201810689936A CN109218386A CN 109218386 A CN109218386 A CN 109218386A CN 201810689936 A CN201810689936 A CN 201810689936A CN 109218386 A CN109218386 A CN 109218386A
- Authority
- CN
- China
- Prior art keywords
- nfs
- namenode
- hadoop
- high availability
- edits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0209—Architectural arrangements, e.g. perimeter networks or demilitarized zones
- H04L63/0218—Distributed architectures, e.g. distributed firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开一种管理Hadoop命名空间的高可用方法。所述方法采用NFS作为主名字节点和备用名字节点之间的共享存储，在主、备用名字节点和NFS服务器之间设置多个网络连接，一方面均衡网络负载，另一方面增加网络容错能力；在NFS中对于主名字节点要存储的edits文件，进行适度的冗余存储，以增加数据的容错和抗毁能力。本发明所述方法结合了Hadoop官方推荐的NFS实现方式和QJM实现方式的优点，克服了各自的缺点，为Hadoop系统增加了高可用性，同时也降低了存储开销。
Description
技术领域
本发明属于计算机应用和大数据处理平台技术领域，具体涉及一种管理Hadoop命名空间的高可用方法。
背景技术
在hadoop2.0之前，Namenode只有一个，存在单点问题，虽然hadoop1.0有SecondaryNamenode、Checkpointnode，Buckcupnode这些设置，但是单点问题依然存在。在hadoop2.0中引入了高可用（High Available，HA）机制。hadoop2.0的官方资料介绍了2种实现HA机制的方式，一种是NFS（Network File System）方式，另外一种是QJM（QuorumJournal Manager）方式。
Hadoop2.0的HA 机制中有两个Namenode，一个是Active Namenode，状态是active；另外一个是Standby Namenode，状态是standby。两者的状态是可以切换的，但是在同一时间只能有一个Namenode处于active状态。只有处于active状态的namenode能够提供对外的服务，处于standby状态的 namenode是不对外服务的。Active Namenode和StandbyNamenode之间通过NFS或者JN（journalnode，QJM方式）来同步数据。
Active Namenode会把最近的操作记录写到本地的一个edits文件中（editsfile），并传输到NFS或者JN中。Standby Namenode定期地检查，从NFS或者JN把最近的edits文件读过来，然后把edits文件和fsimage文件合并成一个新的fsimage文件，合并完成之后会通知Active Namenode获取这个新fsimage文件。Active Namenode获得这个新的fsimage文件之后，替换原来旧的fsimage文件。
这样，就保持了Active Namenode和Standby Namenode的数据的实时同步，Standby Namenode可以随时切换成Active Namenode（譬如Active Namenode挂了）。而且还实现了原来Hadoop1.0的Secondarynamenode，Checkpointnode，Buckcupnode的功能：合并edits文件和fsimage文件，使fsimage文件一直保持更新。所以启动了Hadoop2.0的HA机制之后，Secondarynamenode，Checkpointnode，Buckcupnode这些设置就都不需要了。
Active Namenode和Standby Namenode可以随时切换。当Active Namenode挂掉后，也可以把Standby Namenode切换成active状态，成为Active Namenode。可以人工切换和自动切换。人工切换是通过执行HA管理的命令来改变namenode的状态，从standby到active，或者从active到standby。自动切换则在Active Namenode挂掉的时候，StandbyNamenode自动切换成active状态，取代原来的Active Namenode成为新的ActiveNamenode，HDFS继续正常工作。
要实现主备节点的自动切换，需要配置zookeeper。Active Namenode和StandbyNamenode把他们的状态实时记录到zookeeper中，zookeeper监视他们的状态变化。当zookeeper发现Active Namenode挂掉后，会自动把Standby Namenode切换成ActiveNamenode。
基于Hadoop2.0官方资料介绍的2种实现HA机制的方式各有缺点。
1、NFS方式
NFS作为Active Namenode和Standby Namenode之间数据共享的存储。ActiveNamenode会把最近的edits文件写到NFS，而Standby Namenode从NFS中把数据读过来。这个方式的缺点是，如果Active Namenode或者Standby Namenode有一个和NFS之间的网络有问题，则会造成他们之间数据的同步出问题。
2、 QJM方式
QJM方式可以解决上述NFS容错机制不足的问题。Active Namenode和StandbyNamenode之间是通过一组journalnode（数量是奇数，可以是3,5,7...,2n+1）来共享数据。Active Namenode把最近的edits文件写到2n+1个journalnode上，只要有n+1个写入成功就认为这次写入操作成功了，然后Standby Namenode就可以从journalnode上读取了。可以看到，QJM方式有容错的机制，可以容忍n个journalnode的失败。但是这种方式的缺点是引入了存储开销，一份数据需要存储2n+1份，至少也要存储n+1份。
发明内容
为了解决现有的Hadoop2.0的HA两种实现方式存在的网络容错性差和存储开销大的问题，本发明提供一种管理Hadoop命名空间的高可用方法，所述方法结合了Hadoop官方推荐的NFS实现方式和QJM实现方式的优点，克服了各自的缺点，为Hadoop系统增加了高可用性，同时也降低了存储开销。
为实现上述目标，本发明采用以下技术方案：
一种管理Hadoop命名空间的高可用方法，所述方法采用NFS作为Active Namenode（主名字节点）和Standby Namenode（备用名字节点）之间的共享存储，在主、备用名字节点和NFS服务器之间设置多个网络连接，一方面均衡网络负载，另一方面增加网络容错能力；在NFS中对于主名字节点要存储的edits文件，进行适度的冗余存储，以增加数据的容错和抗毁能力。
优选的，在主、备用名字节点和NFS服务器之间设置双网络连接。
优选的，在NFS中对每个edits文件存储3份。
优选的，在NFS中存储的多份edits文件要适度隔离，可以是跨跨服务器隔离、跨机柜隔离和跨交换机隔离。
一种管理Hadoop命名空间的高可用方法，所述方法包括以下步骤：
1）配置NFS集群；
2）在主节点与NFS集群之间设置多个网络连接；
3）在从节点与NFS集群之间设置多个网络连接；
4）设置NFS中对edits文件的存储份数；
5）设置NFS中对edits各份文件的隔离存储方案。
本发明的优点和有益效果为：所述方法结合了Hadoop官方推荐的NFS实现方式和QJM实现方式的优点，克服了各自的缺点，为Hadoop系统增加了高可用性，同时也降低了存储开销。
附图说明
图1为本发明所述的一种管理Hadoop命名空间的高可用方法逻辑结构图。
具体实施方式
下面结合实施例对本发明作进一步说明。
实施例1
如图1所示，为本发明所述的一种管理Hadoop命名空间的高可用方法逻辑结构图，采用NFS作为Active Namenode（主名字节点）和Standby Namenode（备用名字节点）之间的共享存储，在主、备用名字节点和NFS服务器之间设置两个网络连接；在NFS中对于主名字节点要存储的edits文件，进行冗余度为3的备份存储，以增加数据的容错和抗毁能力。
具体包括以下步骤：
1）配置NFS集群；
2）在主节点与NFS集群之间设置双网络连接；
3）在从节点与NFS集群之间设置双网络连接；
4）设置NFS中对edits文件的存储份数为3；
5）设置NFS中对edits各份文件的隔离存储方案为跨机柜隔离。
最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。
Claims (5)
1.一种管理Hadoop命名空间的高可用方法，其特征在于：所述方法采用NFS作为主名字节点和备用名字节点之间的共享存储，在主、备用名字节点和NFS服务器之间设置多个网络连接，一方面均衡网络负载，另一方面增加网络容错能力；在NFS中对于主名字节点要存储的edits文件，进行适度的冗余存储，以增加数据的容错和抗毁能力。
2.根据权利要求1 所述的一种管理Hadoop命名空间的高可用方法，其特征在于：在主、备用名字节点和NFS服务器之间设置双网络连接。
3.根据权利要求1 所述的一种管理Hadoop命名空间的高可用方法，其特征在于：在NFS中对每个edits文件存储3份。
4.根据权利要求1所述的一种管理Hadoop命名空间的高可用方法，其特征在于：在NFS中存储的多份edits文件要适度隔离，可以是跨跨服务器隔离、跨机柜隔离和跨交换机隔离。
5.根据权利要求1所述的一种管理Hadoop命名空间的高可用方法，其特征在于，所述方法包括以下步骤：
1）配置NFS集群；
2）在主节点与NFS集群之间设置多个网络连接；
3）在从节点与NFS集群之间设置多个网络连接；
4）设置NFS中对edits文件的存储份数；
5）设置NFS中对edits各份文件的隔离存储方案。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810689936.8A CN109218386B (zh) | 2018-06-28 | 2018-06-28 | 一种管理Hadoop命名空间的高可用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810689936.8A CN109218386B (zh) | 2018-06-28 | 2018-06-28 | 一种管理Hadoop命名空间的高可用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109218386A true CN109218386A (zh) | 2019-01-15 |
| CN109218386B CN109218386B (zh) | 2021-11-19 |
Family
ID=64989834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810689936.8A Active CN109218386B (zh) | 2018-06-28 | 2018-06-28 | 一种管理Hadoop命名空间的高可用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109218386B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111400326A (zh) * | 2020-02-28 | 2020-07-10 | 深圳市赛为智能股份有限公司 | 一种智慧城市数据管理系统及其方法 |
| US11252234B1 (en) | 2020-12-17 | 2022-02-15 | Red Hat, Inc. | Containerized gateways and exports for distributed file systems |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102882927A (zh) * | 2012-08-29 | 2013-01-16 | 华南理工大学 | 一种云存储数据同步框架及其实现方法 |
| CN103942128A (zh) * | 2014-04-29 | 2014-07-23 | 浪潮电子信息产业股份有限公司 | 一种高性能作业调度管理节点双机加固方法 |
| CN103986789A (zh) * | 2014-06-05 | 2014-08-13 | 浪潮电子信息产业股份有限公司 | 一种实现基于nfs的hadoop ha集群中nfs节点双机冗余的方法 |
| CN104461776A (zh) * | 2014-11-26 | 2015-03-25 | 上海爱数软件有限公司 | 基于CDP和iSCSI虚拟磁盘技术的应用容灾方法 |
| US20150234845A1 (en) * | 2014-02-17 | 2015-08-20 | Netapp, Inc. | Subpartitioning of a namespace region |
| US20150248420A1 (en) * | 2014-03-03 | 2015-09-03 | Netapp, Inc. | Distributed file system snapshot |
| CN105554130A (zh) * | 2015-12-18 | 2016-05-04 | 深圳中兴网信科技有限公司 | 基于分布式存储系统的NameNode切换方法和切换装置 |
-
2018
- 2018-06-28 CN CN201810689936.8A patent/CN109218386B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102882927A (zh) * | 2012-08-29 | 2013-01-16 | 华南理工大学 | 一种云存储数据同步框架及其实现方法 |
| US20150234845A1 (en) * | 2014-02-17 | 2015-08-20 | Netapp, Inc. | Subpartitioning of a namespace region |
| US20150248420A1 (en) * | 2014-03-03 | 2015-09-03 | Netapp, Inc. | Distributed file system snapshot |
| US20160246803A1 (en) * | 2014-03-03 | 2016-08-25 | Netapp, Inc. | Distributed file system snapshot |
| CN103942128A (zh) * | 2014-04-29 | 2014-07-23 | 浪潮电子信息产业股份有限公司 | 一种高性能作业调度管理节点双机加固方法 |
| CN103986789A (zh) * | 2014-06-05 | 2014-08-13 | 浪潮电子信息产业股份有限公司 | 一种实现基于nfs的hadoop ha集群中nfs节点双机冗余的方法 |
| CN104461776A (zh) * | 2014-11-26 | 2015-03-25 | 上海爱数软件有限公司 | 基于CDP和iSCSI虚拟磁盘技术的应用容灾方法 |
| CN105554130A (zh) * | 2015-12-18 | 2016-05-04 | 深圳中兴网信科技有限公司 | 基于分布式存储系统的NameNode切换方法和切换装置 |
Non-Patent Citations (3)
| Title |
|---|
| WEIFENG LIU等: ""A large-scale rendering system based on hadoop"", 《2011 6TH INTERNATIONAL CONFERENCE ON PERVASIVE COMPUTING AND APPLICATIONS》 * |
| 我的异常网: ""第二期"Hadoop&BigData技术赢入场券"", 《我的异常网》 * |
| 李晓东等: ""基于Hadoop的高可靠分布式计算平台的构建"", 《北京电子科技学院学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111400326A (zh) * | 2020-02-28 | 2020-07-10 | 深圳市赛为智能股份有限公司 | 一种智慧城市数据管理系统及其方法 |
| CN111400326B (zh) * | 2020-02-28 | 2023-09-12 | 深圳市赛为智能股份有限公司 | 一种智慧城市数据管理系统及其方法 |
| US11252234B1 (en) | 2020-12-17 | 2022-02-15 | Red Hat, Inc. | Containerized gateways and exports for distributed file systems |
| US11683374B2 (en) | 2020-12-17 | 2023-06-20 | Red Hat, Inc. | Containerized gateways and exports for distributed file systems |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109218386B (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11360854B2 (en) | Storage cluster configuration change method, storage cluster, and computer system | |
| EP2643771B1 (en) | Real time database system | |
| US10719417B2 (en) | Data protection cluster system supporting multiple data tiers | |
| US8688773B2 (en) | System and method for dynamically enabling an application for business continuity | |
| US20120079090A1 (en) | Stateful subnet manager failover in a middleware machine environment | |
| EP2053780B1 (en) | A distributed master and standby managing method and system based on the network element | |
| CN108964948A (zh) | 主从服务系统、主节点故障恢复方法及装置 | |
| US20110153570A1 (en) | Data replication and recovery method in asymmetric clustered distributed file system | |
| CN103777897A (zh) | 用于在主要存储位置和辅助存储位置之间复制数据的方法和系统 | |
| CN109819004B (zh) | 用于部署多活数据中心的方法和系统 | |
| US20100023564A1 (en) | Synchronous replication for fault tolerance | |
| CN105337780B (zh) | 一种服务器节点配置方法及物理节点 | |
| KR101670343B1 (ko) | 피어투피어 데이터 복제를 위한 방법, 장치, 및 시스템 및 마스터 노드 전환을 위한 방법, 장치, 및 시스템 | |
| CN102467508A (zh) | 提供数据库服务的方法及数据库系统 | |
| CN104536971A (zh) | 一种具备高可用性的数据库 | |
| US7657781B1 (en) | System and method for providing redundant data load sharing in a distributed network | |
| CN106874142B (zh) | 一种实时数据容错处理方法及系统 | |
| CN106919473A (zh) | 一种数据灾备系统及业务处理方法 | |
| CN104023246A (zh) | 一种视频数据私有云存储系统和视频数据私有云存储方法 | |
| CN102663017A (zh) | 增强MySQL数据库可用性的实现系统及实现方法 | |
| CN108173971A (zh) | 一种基于主备切换的MooseFS高可用方法及系统 | |
| CN103856357A (zh) | 一种堆叠系统故障处理方法及堆叠系统 | |
| CN111800484A (zh) | 机动边缘信息服务系统的服务抗毁接替方法 | |
| CN109218386A (zh) | 一种管理Hadoop命名空间的高可用方法 | |
| CN111046108A (zh) | 一种基于Ceph的跨数据中心Oracle高可用实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |