CN104111878A - 基于虚拟机快照的hadoop集群自动化恢复技术 - Google Patents
基于虚拟机快照的hadoop集群自动化恢复技术 Download PDFInfo
- Publication number
- CN104111878A CN104111878A CN201410057056.0A CN201410057056A CN104111878A CN 104111878 A CN104111878 A CN 104111878A CN 201410057056 A CN201410057056 A CN 201410057056A CN 104111878 A CN104111878 A CN 104111878A
- Authority
- CN
- China
- Prior art keywords
- hadoop
- virtual machines
- snapshots
- snapshot
- main frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了基于虚拟机快照的hadoop集群自动化恢复技术，主要解决现有的hadoop集群因个别节点异常而不能正常运行的缺陷，其特征是将hadoop集群与云计算平台整合在一起，以云计算平台中的虚拟机快照完成受损主机的快速恢复。本发明的技术方案是：集群中安装监控系统以检测其运行状态，通过现有的云计算平台为hadoop集群中涉及到的主机定时打快照，当监控系统检测到hadoop集群中有虚拟机宕机的时候，云平台会自动抓取最新的虚拟机快照，利用快照还原快速恢复主机，并启动hadoop服务。本发明专利的有益效果是，在遇到宕机异常时，能够快速的恢复其正常状态，节省了维护的时间和成本，使得hadoop集群在实际使用中的可靠性和安全性大大提高。
Description
技术领域
本发明专利涉及一种hadoop集群自动化恢复技术，尤其是基于云环境中虚拟机快照的集群快速自动化恢复技术。
背景技术
目前，公知的hadoop集群在运行的过程中一旦某个节点宕机，或者发生其他异常，就会发生集群部分数据丢失、不能正常运转等问题。这时候就需要重启服务、甚至重启主机，有时候还会造成重启后的服务不能正常启动的情况。如果要用于企业生产，在安全性和可靠性方面存在一定的隐患，会给企业带来不利影响，在一定程度上浪费了资金和时间。
发明内容
为了克服现有的hadoop集群遇到节点宕机不能自动恢复的缺陷，本发明专利提供了一种基于虚拟机快照的hadoop集群自动化恢复技术。
本发明的技术方案是，在云计算平台中搭建hadoop集群，给集群安装ganglia监控系统检测其运行状态，通过现有的云计算平台为hadoop集群中涉及到的主机定时打快照的方式，当监控系统检测到hadoop集群中有虚拟机宕机的时候，立即触发虚拟机维护程序，云平台会自动抓取最新的虚拟机快照，利用快照快速恢复主机，并启动hadoop服务。
本发明还包含一种操作方法，其步骤如下：
1. 在云平台中搭建好hadoop集群；
2. 为hadoop集群安装监控系统，通过查看其性能参数和监控hadoop各角色的启动情况，检测各节点的运行状态；云平台中建立定时任务，为hadoop所涉及到的主机定时建立快照，并定时删除过旧的虚机快照；
3. 云平台中建立定时任务，为hadoop所涉及到的主机定时建立快照，并定时删除过旧的虚机快照；
4. 检测到有主机宕机异常时，调用云平台的自动恢复主机接口，系统会抓取最新的主机快照，通过vm快照还原已损坏的主机；
5. 自动启动已恢复主机；
6. 启动hadoop服务；
7. 调用hadoop命令平衡数据块。
本发明专利的有益效果是：由于本发明在遇到宕机异常时，能够快速的恢复其正常状态，不影响用户的使用感受和使用效果，客服了之前由于个别节点异常带来的不利后果，节省了维护的时间和成本，使得hadoop集群在实际使用中的可靠性和安全性大大提高。
附图说明
图1为本发明的技术流程图。
具体实施方式
为了更清楚地介绍本发明提出的基于虚拟机快照的hadoop集群自动化恢复技术，下面将结合附图进行详细说明。
本发明提供了一种基于虚拟机快照的hadoop集群自动化恢复技术，主要用于解决现有的hadoop集群遇到节点宕机不能自动恢复的缺陷。
本发明的具体技术解决方案如下：
结合图1，此方法包括如下步骤：
1) 在云平台中搭建好hadoop集群；
2) 为hadoop集群安装监控系统，通过查看其性能参数和监控hadoop各角色的启动情况，检测各节点的运行状态；
3) 云平台中建立定时任务，为hadoop所涉及到的主机定时建立快照，并定时删除过旧的虚机快照；
4) 监测到有主机宕机异常时，调用云平台的自动恢复主机接口，系统会抓取最新的主机快照，通过vm快照还原已损坏的主机；
5) 自动启动已恢复主机；
6) 启动hadoop服务；
7) 调用hadoop命令平衡数据块。
以上实施例仅用于说明本发明的优选实施方式， 但本实用发明并不限于上述实施方式，在所述领域普通技术人员所具备的知识范围内， 本发明的精神和原则之内所作的任何修改、 等同替代和改进等， 其均应涵盖在本发明请求保护的技术方案范围之内。
Claims (1)
1.一种hadoop集群自动化恢复技术，在不重启服务、不影响使用感受的前提下实现了集群的快速修复，其特征是，将hadoop集群和云平台紧密地结合在一起，利用云平台中的vm快照实现主机的快速修复，包括如下步骤：
101 在云平台中搭建好hadoop集群；
102 为hadoop集群安装监控系统，通过查看其性能参数和监控hadoop各角色的启动情况，检测各节点的运行状态；
103 云平台中建立定时任务，为hadoop所涉及到的主机定时建立快照，并定时删除过旧的虚机快照；
104 监测到有主机宕机异常时，调用云平台的自动恢复主机接口，系统会抓取最新的主机快照，通过vm快照还原一个已损坏的主机；
105 自动点亮已恢复主机；
106 启动hadoop服务；
107调用hadoop命令平衡数据块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410057056.0A CN104111878A (zh) | 2014-02-20 | 2014-02-20 | 基于虚拟机快照的hadoop集群自动化恢复技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410057056.0A CN104111878A (zh) | 2014-02-20 | 2014-02-20 | 基于虚拟机快照的hadoop集群自动化恢复技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104111878A true CN104111878A (zh) | 2014-10-22 |
Family
ID=51708676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410057056.0A Pending CN104111878A (zh) | 2014-02-20 | 2014-02-20 | 基于虚拟机快照的hadoop集群自动化恢复技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104111878A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106155834A (zh) * | 2015-04-02 | 2016-11-23 | 上海仪电(集团)有限公司 | 一种基于虚拟机快照的openstack云平台自动化恢复技术 |
| CN108959547A (zh) * | 2018-07-02 | 2018-12-07 | 山东汇贸电子口岸有限公司 | 一种pv快照分布式数据库集群恢复方法 |
| CN109324926A (zh) * | 2018-08-30 | 2019-02-12 | 黄疆 | 一种基于rollback的垃圾数据处理系统及方法 |
| CN109597677A (zh) * | 2018-12-07 | 2019-04-09 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
| US10305970B2 (en) | 2016-12-13 | 2019-05-28 | International Business Machines Corporation | Self-recoverable multitenant distributed clustered systems |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521083A (zh) * | 2011-12-13 | 2012-06-27 | 广州杰赛科技股份有限公司 | 一种云计算系统中虚拟机备份方法和系统 |
| CN102629224A (zh) * | 2012-04-26 | 2012-08-08 | 广东电子工业研究院有限公司 | 一种基于云平台的一体化数据容灾方法及其装置 |
| CN102981931A (zh) * | 2012-12-03 | 2013-03-20 | 中国联合网络通信集团有限公司 | 虚拟机备份方法及装置 |
| US20130275376A1 (en) * | 2012-04-17 | 2013-10-17 | Igt | Cloud based virtual environment validation |
| CN103473258A (zh) * | 2013-06-01 | 2013-12-25 | 西安邮电大学 | 云存储文件系统 |
| CN103473065A (zh) * | 2013-09-18 | 2013-12-25 | 国云科技股份有限公司 | 一种可快速还原系统盘的虚拟机创建方法 |
-
2014
- 2014-02-20 CN CN201410057056.0A patent/CN104111878A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521083A (zh) * | 2011-12-13 | 2012-06-27 | 广州杰赛科技股份有限公司 | 一种云计算系统中虚拟机备份方法和系统 |
| US20130275376A1 (en) * | 2012-04-17 | 2013-10-17 | Igt | Cloud based virtual environment validation |
| CN102629224A (zh) * | 2012-04-26 | 2012-08-08 | 广东电子工业研究院有限公司 | 一种基于云平台的一体化数据容灾方法及其装置 |
| CN102981931A (zh) * | 2012-12-03 | 2013-03-20 | 中国联合网络通信集团有限公司 | 虚拟机备份方法及装置 |
| CN103473258A (zh) * | 2013-06-01 | 2013-12-25 | 西安邮电大学 | 云存储文件系统 |
| CN103473065A (zh) * | 2013-09-18 | 2013-12-25 | 国云科技股份有限公司 | 一种可快速还原系统盘的虚拟机创建方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106155834A (zh) * | 2015-04-02 | 2016-11-23 | 上海仪电(集团)有限公司 | 一种基于虚拟机快照的openstack云平台自动化恢复技术 |
| US10305970B2 (en) | 2016-12-13 | 2019-05-28 | International Business Machines Corporation | Self-recoverable multitenant distributed clustered systems |
| US10305971B2 (en) | 2016-12-13 | 2019-05-28 | International Business Machines Corporation | Self-recoverable multitenant distributed clustered systems |
| CN108959547A (zh) * | 2018-07-02 | 2018-12-07 | 山东汇贸电子口岸有限公司 | 一种pv快照分布式数据库集群恢复方法 |
| CN108959547B (zh) * | 2018-07-02 | 2022-02-18 | 上海浪潮云计算服务有限公司 | 一种pv快照分布式数据库集群恢复方法 |
| CN109324926A (zh) * | 2018-08-30 | 2019-02-12 | 黄疆 | 一种基于rollback的垃圾数据处理系统及方法 |
| CN109597677A (zh) * | 2018-12-07 | 2019-04-09 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104111878A (zh) | 基于虚拟机快照的hadoop集群自动化恢复技术 | |
| CN102521071B (zh) | 一种基于私有云的虚拟机维护方法 | |
| CN109286529B (zh) | 一种恢复RabbitMQ网络分区的方法及系统 | |
| CN111953566B (zh) | 一种基于分布式故障监控的方法和虚拟机高可用系统 | |
| CN104199753B (zh) | 一种虚拟机应用服务故障恢复系统及其故障恢复方法 | |
| WO2015169199A1 (zh) | 分布式环境下虚拟机异常恢复方法 | |
| CN107480014B (zh) | 一种高可用设备切换方法及装置 | |
| CN103152419A (zh) | 一种云计算平台的高可用集群管理方法 | |
| CN102810073B (zh) | 数据后台实时监控处理方法 | |
| WO2018095414A1 (zh) | 虚拟机故障的检测和恢复方法及装置 | |
| CN102163167A (zh) | 系统拯救的方法及装置 | |
| CN104217137A (zh) | 一种识别智能终端系统是否被更改的方法及装置 | |
| CN111478796B (zh) | 一种ai平台的集群扩容异常处理方法 | |
| CN105045708A (zh) | 软件运行错误处理方法及系统 | |
| CN104579802A (zh) | 一种多路服务器快速故障恢复的方法 | |
| CN105812169A (zh) | 一种主备机切换方法及装置 | |
| CN102902563A (zh) | Linux操作系统及其启动过程中挂载文件系统的方法 | |
| CN106155834A (zh) | 一种基于虚拟机快照的openstack云平台自动化恢复技术 | |
| CN102945197B (zh) | 一种控制模块与显示模块之间的通信方法及工控显示装置 | |
| CN102541682A (zh) | 嵌入式系统中程序异常快速自行恢复方法 | |
| CN104750537B (zh) | 一种执行测试用例的方法和装置 | |
| CN103049343A (zh) | 操作系统蓝屏恢复方法及装置 | |
| CN109023835A (zh) | 一种洗衣机控制方法、装置、存储介质及洗衣机 | |
| CN101145983A (zh) | 一种网管系统的自诊断和自恢复子系统及方法 | |
| CN107491344B (zh) | 一种实现虚拟机高可用性的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20141022 |
|
| WD01 | Invention patent application deemed withdrawn after publication |