CN110780980A - 对不同来源磁盘或操作系统镜像进行快速还原处理的方法 - Google Patents
对不同来源磁盘或操作系统镜像进行快速还原处理的方法 Download PDFInfo
- Publication number
- CN110780980A CN110780980A CN201911042967.5A CN201911042967A CN110780980A CN 110780980 A CN110780980 A CN 110780980A CN 201911042967 A CN201911042967 A CN 201911042967A CN 110780980 A CN110780980 A CN 110780980A
- Authority
- CN
- China
- Prior art keywords
- proxmoxve
- virtual machine
- disk
- file
- disks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012423 maintenance Methods 0.000 claims abstract description 8
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 238000005192 partition Methods 0.000 claims abstract description 3
- 238000012216 screening Methods 0.000 claims abstract description 3
- 238000012544 monitoring process Methods 0.000 claims description 4
- 241001362551 Samba Species 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006837 decompression Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 7
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000004044 response Effects 0.000 abstract description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Information Transfer Between Computers (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，该方法是基于ProxmoxVE(简称PVE)平台实现的，具体操作是S1、自动化对来源文件进行格式甄别；S2、自动化在PVE中通过模板功能新建一个无盘虚拟机，并将上述转换后的磁盘导入；S3、自动化修改引导磁盘顺序并设置对应启动分区；S4、自动启动该虚拟机，同时通过邮件、钉钉机器人等告警手段通知运维人员。通过本发明的方案可减少人力成本，同时可以将很多需要前台操作的过程转为后台任务，原本需要工作人员逐个在控制台交互式操作的工作，使用此方案后可以同时运行多个还原任务，充分利用计算机资源，提高云计算中心的工作效率，减少响应时间。
Description
技术领域
本发明涉及磁盘还原技术，具体涉及一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法。
背景技术
近年来由于云计算和大数据中心的发展，很多传统的IDC转型为云计算提供商。相应传统的裸金属服务器(Bare Metal)也更多的被虚拟专用服务器(Virtual PrivateServer，简称VPS)所取代。由于虚拟机的宿主系统(Hosting)品类繁多，仅公开广泛使用的就有XEN、KVM、ESXI(vmware)、Hyper-v等等。在不同系统间进行数据的备份还原迁移等也成为运维工作中一个不小的挑战。
目前业内通用方法是由运维人员手动的进行磁盘镜像还原工作，但是由于不同来源的镜像文件往往格式庞杂，如源平台是vmware，拿到的就是vmdk格式，还有部分平台给出的是raw格式，往往还会被不同的压缩软件压缩(或加密压缩)为不同的压缩包格式，故而需要人工参与预处理。而由于镜像大小、系统性能等诸多因素影响，磁盘镜像还原工作往往耗时良久，对技术公司宝贵的人力资源是一种极大的浪费。
发明内容
为克服上述存在之不足，本发明的发明人通过长期的探索尝试以及多次的实验和努力，不断改革与创新，提出了一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，该方法通过一种通用的方法对不同来源的磁盘镜像进行自动化的识别和还原处理，以大幅度减少还原工作量，缩短还原时间，减少人力成本。
为实现上述目的本发明所采用的技术方案是：一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，该方法是基于ProxmoxVE平台实现，具体包括以下操作：
S1、对来源文件进行格式甄别：通过对来源文件的二进制文件头的识别来进行文件格式识别，据此选择解压或转换策略，最终将来源文件统一为适用于ProxmoxVE的qcow2格式；
S2、在ProxmoxVE中通过模板功能新建一个无盘虚拟机，并将上述转换后的磁盘导入；
S3、修改引导磁盘顺序并设置对应启动分区；
S4、启动虚拟机进行自动还原处理，同时通过告警手段通知运维人员还原处理结果相对应的虚拟机编号信息。
根据本发明所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其进一步的优选技术方案是：对来源文件进行上传时采用WEBSOCKET协议。
根据本发明所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其进一步的优选技术方案是：来源文件传输接口包括SFTP、FTP、SAMBA协议接口。
根据本发明所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其进一步的优选技术方案是：对来源文件的文件格式识别采用的是python脚本进行识别。
根据本发明所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其进一步的优选技术方案是：ProxmoxVE中的模板功能是采用ProxmoxVE的pvesh命令预先根据实际场景配置的模板。
根据本发明所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其进一步的优选技术方案是：在虚拟机模板中预先预置监控模块。
根据本发明所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其进一步的优选技术方案是：在导入转换后的磁盘时设定启动顺序。
根据本发明所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其进一步的优选技术方案是：所述告警手段包括邮件或钉钉机器人或实时消息发送设备。
相比现有技术，本发明的技术方案具有如下优点：
本发明通过将大量环节自动化，将繁琐复杂且耗时良久的还原过程高度智能化，大幅度减少了整个过程中的人工干预。
通过本发明的方案可减少人力成本，同时可以将很多需要前台操作的过程转为后台任务，原本需要工作人员逐个在控制台交互式操作的工作，使用此方案后可以同时运行多个还原任务，充分利用计算机资源，提高云计算中心的工作效率，减少响应时间。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明操作流程框图。
具体实施方式
为使本发明目的、技术方案和优点更加清楚，下面对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明的一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。
实施例1：
如图1所示，本实施例以ProxmoxVE平台为基础来操作的，具体操作如下：
首先使用NODEJS或HTML5技术在ProxmoxVE平台上创建一个前端，然后使用WEBSOCKET协议，以应对超大文件上传需求，这样可视化的交互界面可以有效降低操作难度，方便非技术人员执行还原任务。
其次在该ProxmoxVE平台上提供SFTP、FTP、SAMBA等协议接口，供其他系统进行文件的传递。
上述工作准备好之后，将不同的来源文件上传到指定目录后，利用python脚本将通过识别来源二进制文件头的方法判定该文件的格式，从而自动化选择解压后转换格式或直接转换格式，最终将所有文件的格式都转换成为qcow2格式。
转换完成后python脚本将直接调用ProxmoxVE的pvesh命令创建一个无盘虚拟机(根据实际场景预先配置模板)，然后调用qm命令导入硬盘并设定启动顺序。
启动系统，虚拟机模板中已预先预置“Prometheus(一套监控系统)”，会自动将新虚拟机接入监控系统。Python脚本此时会将过程中自动生成的虚拟机编号等配置信息通过钉钉、邮件的方式发送给运维人员，完成磁盘的还原处理过程。
本实施例在操作过程中仅需将源文件和压缩密码(如有)输入系统，即可自动化完成剩余所有工作，如果过程中失败或处理完成，将及时通知技术人员查看处理。
实施例2
本实施例是以代码化形式进行具体的详细描述，同样本实施例是以ProxmoxVE平台为基础来操作的，示例步骤为抽象的代码逻辑，实际操作中已经完全自动化，无需人工参与。具体如下：
1.利用qemu-img转换原始磁盘文件
例如:原始磁盘文件origin.raw，其操作示例代码如下：
①qemu-img convert-f raw-O qcow2 origin.raw newdisk.qcow2
②将newdisk.qcow2上传到pve1的/tmp目录下
scp newdisk.qcow2 root@pve1:/tmp/
2.校验newdisk.qcow2是否已完成传输
md5sum newdisk.qcow2
3.创建无盘系统
①获取当前vmid列表
qm list
获取到已有id列表后，取一个非占用的id,如123
②创建一个2核4G的无硬盘虚拟机，示例代码如下：
pvesh create/nodes/pve1/qemu-name restorediskvm-vmid 124\
-memory 4096-cpu host-socket 2-cores 2\
-net0 virtio,bridge＝vmbr0
4.导入硬盘，示例代码如下：
qm importdisk/tmp/newdisk.qcow2 local-lvm--format qcow2
5.设置引导硬盘，示例代码如下：
qm set 123--scsi0 local-lvm:vm-123-disk-0
如有多个硬盘，依次排列，示例代码如下：
--scsiN N＝0-13
vm-123-disk-N
6.启动系统
qm start 123
7.通知运维人员处理结果，操作名称如下：
python sample.py 123success
至此完成本实施例的所有操作。
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种对不同来源磁盘(包含操作系统)镜像进行快速还原处理的方法，其特征在于，该方法是基于ProxmoxVE平台实现，具体包括以下操作：
S1、对来源文件进行格式甄别：通过对来源文件的二进制文件头的识别来进行文件格式识别，据此选择解压或转换策略，最终将来源文件统一为适用于ProxmoxVE的qcow2格式；
S2、在ProxmoxVE中通过模板功能新建一个无盘虚拟机，并将上述转换后的磁盘导入；
S3、修改引导磁盘顺序并设置对应启动分区；
S4、启动虚拟机进行自动还原处理，同时通过告警手段通知运维人员还原处理结果相对应的虚拟机编号信息。
2.根据权利要求1所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其特征在于，对来源文件进行上传时采用WEBSOCKET协议。
3.根据权利要求1所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其特征在于，来源文件传输接口包括SFTP、FTP、SAMBA协议接口。
4.根据权利要求1所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其特征在于，对来源文件的文件格式识别采用的是python脚本进行识别。
5.根据权利要求1所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其特征在于，ProxmoxVE中的模板功能是采用ProxmoxVE的pvesh命令预先根据实际场景配置的模板。
6.根据权利要求5所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其特征在于，在虚拟机模板中预先预置监控模块。
7.根据权利要求1所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其特征在于，在导入转换后的磁盘时设定启动顺序。
8.根据权利要求1所述的一种对不同来源磁盘或操作系统镜像进行快速还原处理的方法，其特征在于，所述告警手段包括邮件或钉钉机器人或实时消息发送设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911042967.5A CN110780980A (zh) | 2019-10-30 | 2019-10-30 | 对不同来源磁盘或操作系统镜像进行快速还原处理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911042967.5A CN110780980A (zh) | 2019-10-30 | 2019-10-30 | 对不同来源磁盘或操作系统镜像进行快速还原处理的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110780980A true CN110780980A (zh) | 2020-02-11 |
Family
ID=69387781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911042967.5A Pending CN110780980A (zh) | 2019-10-30 | 2019-10-30 | 对不同来源磁盘或操作系统镜像进行快速还原处理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110780980A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000440A (zh) * | 2020-08-24 | 2020-11-27 | 浪潮云信息技术股份公司 | 一种基于云平台的多启动卷虚拟机启动顺序变更方法 |
| CN117891472A (zh) * | 2024-03-11 | 2024-04-16 | 杭州吉利汽车数字科技有限公司 | 一种裸金属镜像部署的方法、装置及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598658A (zh) * | 2016-12-07 | 2017-04-26 | 国云科技股份有限公司 | 一种Windows的ghost文件还原到虚拟机的方法 |
| CN108153595A (zh) * | 2018-01-18 | 2018-06-12 | 成都无糖信息技术有限公司 | 一种基于python的大数据分布式任务处理装置 |
| CN112199157A (zh) * | 2020-10-16 | 2021-01-08 | 深圳无域科技技术有限公司 | 一种云环境管理方法 |
-
2019
- 2019-10-30 CN CN201911042967.5A patent/CN110780980A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598658A (zh) * | 2016-12-07 | 2017-04-26 | 国云科技股份有限公司 | 一种Windows的ghost文件还原到虚拟机的方法 |
| CN108153595A (zh) * | 2018-01-18 | 2018-06-12 | 成都无糖信息技术有限公司 | 一种基于python的大数据分布式任务处理装置 |
| CN112199157A (zh) * | 2020-10-16 | 2021-01-08 | 深圳无域科技技术有限公司 | 一种云环境管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| IOK: "Proxmox导入img镜像", 《HTTPS://WWW.IOKIOK.TK/2019/03/28/PROXMOX-%E5%AF%BC%E5%85%A5IMG%E9%95%9C%E5%83%8F/》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000440A (zh) * | 2020-08-24 | 2020-11-27 | 浪潮云信息技术股份公司 | 一种基于云平台的多启动卷虚拟机启动顺序变更方法 |
| CN117891472A (zh) * | 2024-03-11 | 2024-04-16 | 杭州吉利汽车数字科技有限公司 | 一种裸金属镜像部署的方法、装置及介质 |
| CN117891472B (zh) * | 2024-03-11 | 2024-06-04 | 杭州吉利汽车数字科技有限公司 | 一种裸金属镜像部署的方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106775760B (zh) | 基于源码库上传容器镜像至镜像仓库的方法及系统 | |
| CN110377590B (zh) | 基于物联网的数据采集系统、方法及计算机可读存储介质 | |
| CN110780980A (zh) | 对不同来源磁盘或操作系统镜像进行快速还原处理的方法 | |
| CN110378273B (zh) | 一种监测作业流程的方法和装置 | |
| CN112799782B (zh) | 模型生成系统、方法、电子设备及存储介质 | |
| CN105653401A (zh) | 应用系统灾备、运维、监控和应急启停调度方法及装置 | |
| CN110910193B (zh) | 一种基于rpa技术的订单信息录入方法及其装置 | |
| CN111966597A (zh) | 测试数据生成方法及装置 | |
| CN115617780A (zh) | 数据导入方法、装置、设备及存储介质 | |
| CN115268910A (zh) | 基于多Excel子表的数据可视化模型构建方法 | |
| CN114637450A (zh) | 业务流程的自动处理方法及系统、电子设备 | |
| CN113010948A (zh) | 一种bim轻量化模型展示系统 | |
| CN113189961A (zh) | 一种强制状态查找处理方法 | |
| KR20190069637A (ko) | 멀티 클라우드 환경에서 동일 방식의 과금 부과 방법 및 시스템 | |
| CN110232013B (zh) | 测试方法、装置以及控制器和介质 | |
| JP2021140430A (ja) | データベースマイグレーション方法、データベースマイグレーションシステム、及びデータベースマイグレーションプログラム | |
| US20100100609A1 (en) | System and method for directing display of a standard operation procedure of an item using multimedia devices | |
| CN116541195A (zh) | 一种机器人流程自动化程序rpa的异常处理方法及相关装置 | |
| CN115587028A (zh) | 接口自动化测试方法、系统、介质及终端 | |
| CN116401074A (zh) | 一种基于服务的数据交互方法及系统 | |
| CN115016808A (zh) | 一种前端应用部署方法及装置 | |
| CN114064590A (zh) | 档案管理方法、装置、存储介质及电子设备 | |
| CN112052224B (zh) | 文件导出方法和装置 | |
| CN109522355B (zh) | 数据处理过程的控制方法、装置、介质及电子设备 | |
| KR20210123635A (ko) | 인공지능을 이용한 이미지 자동 학습 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |
|
| RJ01 | Rejection of invention patent application after publication |