CN109284169B - 基于进程虚拟化的大数据平台进程管理方法及计算机设备 - Google Patents

基于进程虚拟化的大数据平台进程管理方法及计算机设备 Download PDF

Info

Publication number
CN109284169B
CN109284169B CN201811047941.5A CN201811047941A CN109284169B CN 109284169 B CN109284169 B CN 109284169B CN 201811047941 A CN201811047941 A CN 201811047941A CN 109284169 B CN109284169 B CN 109284169B
Authority
CN
China
Prior art keywords
virtual machine
process virtual
state
machine
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811047941.5A
Other languages
English (en)
Other versions
CN109284169A (zh
Inventor
黄桥藩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Sinoregal Software Co ltd
Original Assignee
Fujian Sinoregal Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Sinoregal Software Co ltd filed Critical Fujian Sinoregal Software Co ltd
Priority to CN201811047941.5A priority Critical patent/CN109284169B/zh
Publication of CN109284169A publication Critical patent/CN109284169A/zh
Application granted granted Critical
Publication of CN109284169B publication Critical patent/CN109284169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供一种基于进程虚拟化的大数据平台进程管理方法，将CPU资源以及内存资源分配给每个进程；每个进程独立启动镜像容器，完成进程虚拟机创建，实现每个进程独立的虚拟机环境；在宿主机上启动一个状态为Active的进程虚拟机，以及至少一个状态为Standby的进程虚拟机；在宿主机上启动keepAlive进程，用于检测上述进程虚拟机是否正常，若状态为Active的进程虚拟机异常，则将一个状态为Standby的进程虚拟机切换为Active状态，替换异常的进程虚拟机；本发明还提供一种计算机设备，便于进程的管理。

Description

基于进程虚拟化的大数据平台进程管理方法及计算机设备
技术领域
本发明涉及一种基于进程虚拟化的大数据平台进程管理方法及计算机设备。
背景技术
现有虚拟机是包含整个操作系统内核环境配置，虚拟机和宿主机直接只能通过网络IP通讯。这种模式下，如果大数据集群节点的某个进程异常，可能导致操作系统宕机的问题，最后导致此节点的服务器系统奔溃的问题。现有的大数据集群服务拥有成百上千台的服务器，这种故障概率风险逐步上升，成为大数据平台运维的一大难题。
发明内容
本发明要解决的技术问题，在于提供一种基于进程虚拟化的大数据平台进程管理方法及计算机设备，便于进程的管理。
本发明之一是这样实现的：一种基于进程虚拟化的大数据平台进程管理方法，包括：
步骤1、将CPU资源以及内存资源分配给每个进程；
步骤2、每个进程独立启动镜像容器，完成进程虚拟机创建，实现每个进程独立的虚拟机环境；
步骤3、在宿主机上启动一个状态为Active的进程虚拟机，以及至少一个状态为Standby的进程虚拟机；
步骤4、在宿主机上启动keepAlive进程，用于检测上述进程虚拟机是否正常，若状态为Active的进程虚拟机异常，则将一个状态为Standby的进程虚拟机切换为Active状态，替换异常的进程虚拟机。
进一步地，所述步骤2还包括：进程虚拟机使用宿主机的内核，数据使用宿主机本地存储模式。
进一步地，还包括步骤5、将宿主机的IP端口映射至进程虚拟机，实现进程虚拟机与宿主机通讯。
进一步地，还包括步骤6、进程虚拟机之间的通讯或调用采用RPC模式。
本发明之二是这样实现的：一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
步骤1、将CPU资源以及内存资源分配给每个进程；
步骤2、每个进程独立启动镜像容器，完成进程虚拟机创建，实现每个进程独立的虚拟机环境；
步骤3、在宿主机上启动一个状态为Active的进程虚拟机，以及至少一个状态为Standby的进程虚拟机；
步骤4、在宿主机上启动keepAlive进程，用于检测上述进程虚拟机是否正常，若状态为Active的进程虚拟机异常，则将一个状态为Standby的进程虚拟机切换为Active状态，替换异常的进程虚拟机。
进一步地，所述步骤2还包括：进程虚拟机使用宿主机的内核，数据使用宿主机本地存储模式。
进一步地，还包括步骤5、将宿主机的IP端口映射至进程虚拟机，实现进程虚拟机与宿主机通讯。
进一步地，还包括步骤6、进程虚拟机之间的通讯或调用采用RPC模式。
本发明具有如下优点：
1)进程资源虚拟化分配：实现硬件资源的更细粒度的资源分配，实现每个大数据进程资源的可配置、可以管理。
2)进程安全：大数据每个进程有独立的操作系统配置和资源环境，从而实现进程的操作系统级别的隔离，实现了进程安全。
3)进程热备切换：大数据每个进程采用双热备模式，实现进程的容灾切换，解决大数据集群进程异常的问题。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
具体实施方式
如图1所示，本发明基于进程虚拟化的大数据平台进程管理方法，包括：
步骤1、将CPU资源以及内存资源分配给每个进程；
步骤2、每个进程独立启动镜像容器，完成进程虚拟机创建，实现每个进程独立的虚拟机环境，进程虚拟机使用宿主机的内核，数据使用宿主机本地存储模式；
步骤3、在宿主机上启动一个状态为Active的进程虚拟机，以及至少一个状态为Standby的进程虚拟机；
步骤4、在宿主机上启动keepAlive进程，用于检测上述进程虚拟机是否正常，若状态为Active的进程虚拟机异常，则将一个状态为Standby的进程虚拟机切换为Active状态，替换异常的进程虚拟机；
步骤5、将宿主机的IP端口映射至进程虚拟机，实现进程虚拟机与宿主机通讯；
步骤6、进程虚拟机之间的通讯或调用采用RPC模式。
本发明计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
步骤1、将CPU资源以及内存资源分配给每个进程；
步骤2、每个进程独立启动镜像容器，完成进程虚拟机创建，实现每个进程独立的虚拟机环境，进程虚拟机使用宿主机的内核，数据使用宿主机本地存储模式；
步骤3、在宿主机上启动一个状态为Active的进程虚拟机，以及至少一个状态为Standby的进程虚拟机；
步骤4、在宿主机上启动keepAlive进程，用于检测上述进程虚拟机是否正常，若状态为Active的进程虚拟机异常，则将一个状态为Standby的进程虚拟机切换为Active状态，替换异常的进程虚拟机；
步骤5、将宿主机的IP端口映射至进程虚拟机，实现进程虚拟机与宿主机通讯；
步骤6、进程虚拟机之间的通讯或调用采用RPC模式。
本发明一种具体实施方式：
本发明采用轻量化虚拟机容器，虚拟机的内核直接使用宿主机的内核，虚拟机主要是运行环境配置版本，是轻量级的虚拟化，可以实现为每个进程启动一个虚拟机容器，并且直接通过端口映射到宿主机，通过这种方式实现大数据平台每个进程独立于宿主机环境，实现大数据平台每个进程运行在独立的虚拟化操作系统平台，实现了大数据集群平台的进程安全管理。并且通过进程冗余虚拟机容器实现进程的热备，当进程出现问题的时候，实现快速的进程切换，从而实现了进程的容灾恢复。
方案结构：进程独立虚拟机、进程资源分配安全、进程虚拟机间通讯、进程虚拟机热备切换。
主要步骤：
A:进程独立虚拟机
进程资源分配：为每个进程分配资源CPU、内存资源，从资源上实现进程的资源分配和隔离，网络通讯通过宿主机IP端口映射到虚拟机即可实现进程对外的通讯，实现进程的资源合理分配和安全。
进程轻量级的虚拟化：每个进程独立启动镜像的容器，实现每个进程采用独立的一个虚拟机环境，并且采用轻量级虚拟化计算模式，内核使用宿主机的Linux内核，大数据业务数据使用宿主机本地存储模式，从而实现了进程轻量级的虚拟化。
B:进程虚拟机间通讯：
每个大数据进程多采用独立的虚拟机环境，所以进程间通讯调用需要使用RPC实现通讯和进程间的调用，本发明使用基于异步IO模式的RPC通讯模式。
C:进程虚拟机热备切换
进程虚拟机的Active/Standby模式:在每个宿主机上，为每个进程启动两个虚拟机，一个为Active状态，另一个为Stanby状态模式。
keepAlive进程：在虚拟机上启动一个keepAlive进程来检测Active、Standby这两个虚拟机进程是否正常，如果Active出现宕机等问题，将Standby状态的虚拟机切换为Acitve状态，实现了进程的热备切换。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (2)

1.一种基于进程虚拟化的大数据平台进程管理方法，其特征在于：包括：
步骤1、将CPU资源以及内存资源分配给每个进程；
步骤2、每个进程独立启动镜像容器，完成进程虚拟机创建，实现每个进程独立的虚拟机环境；
步骤3、在宿主机上启动一个状态为Active的进程虚拟机，以及至少一个状态为Standby的进程虚拟机；
步骤4、在宿主机上启动keepAlive进程，用于检测上述进程虚拟机是否正常，若状态为Active的进程虚拟机异常，则将一个状态为Standby的进程虚拟机切换为Active状态，替换异常的进程虚拟机；
所述步骤2还包括：进程虚拟机使用宿主机的内核，数据使用宿主机本地存储模式；
还包括步骤5、将宿主机的IP端口映射至进程虚拟机，实现进程虚拟机与宿主机通讯；
还包括步骤6、进程虚拟机之间的通讯或调用采用RPC模式。
2.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
步骤1、将CPU资源以及内存资源分配给每个进程；
步骤2、每个进程独立启动镜像容器，完成进程虚拟机创建，实现每个进程独立的虚拟机环境；
步骤3、在宿主机上启动一个状态为Active的进程虚拟机，以及至少一个状态为Standby的进程虚拟机；
步骤4、在宿主机上启动keepAlive进程，用于检测上述进程虚拟机是否正常，若状态为Active的进程虚拟机异常，则将一个状态为Standby的进程虚拟机切换为Active状态，替换异常的进程虚拟机；
所述步骤2还包括：进程虚拟机使用宿主机的内核，数据使用宿主机本地存储模式；
还包括步骤5、将宿主机的IP端口映射至进程虚拟机，实现进程虚拟机与宿主机通讯；
还包括步骤6、进程虚拟机之间的通讯或调用采用RPC模式。
CN201811047941.5A 2018-09-10 2018-09-10 基于进程虚拟化的大数据平台进程管理方法及计算机设备 Active CN109284169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811047941.5A CN109284169B (zh) 2018-09-10 2018-09-10 基于进程虚拟化的大数据平台进程管理方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811047941.5A CN109284169B (zh) 2018-09-10 2018-09-10 基于进程虚拟化的大数据平台进程管理方法及计算机设备

Publications (2)

Publication Number Publication Date
CN109284169A CN109284169A (zh) 2019-01-29
CN109284169B true CN109284169B (zh) 2022-10-25

Family

ID=65183904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811047941.5A Active CN109284169B (zh) 2018-09-10 2018-09-10 基于进程虚拟化的大数据平台进程管理方法及计算机设备

Country Status (1)

Country Link
CN (1) CN109284169B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780817B (zh) * 2019-10-18 2021-12-07 腾讯科技（深圳）有限公司 数据记录方法和装置、存储介质及电子装置
CN114077379B (zh) * 2020-08-19 2024-03-26 华为技术有限公司 一种计算机设备、异常处理的方法以及中断处理的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017008584A1 (zh) * 2015-07-15 2017-01-19 中兴通讯股份有限公司 一种虚拟机启动方法、装置及管理节点
WO2017143928A1 (zh) * 2016-02-25 2017-08-31 中兴通讯股份有限公司 数据传输方法、虚拟机和宿主机
WO2018039967A1 (zh) * 2016-08-31 2018-03-08 深圳前海达闼云端智能科技有限公司 虚拟机切换方法、装置、电子设备和计算机程序产品

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662751B (zh) * 2012-03-30 2016-05-11 浪潮电子信息产业股份有限公司 一种提高基于热迁移虚拟机系统可用性的方法
CN102917064B (zh) * 2012-10-23 2015-09-02 广州杰赛科技股份有限公司 基于私有云计算平台的双机热备方法
CN103810422B (zh) * 2014-02-20 2017-05-17 东莞中国科学院云计算产业技术创新与育成中心 一种基于镜像智能管理的安全虚拟化隔离方法
CN105490860B (zh) * 2015-12-24 2019-03-05 北京奇虎科技有限公司 部署应用程序运行环境的方法、装置及系统
CN107544824B (zh) * 2017-08-09 2021-02-09 北京华宇信息技术有限公司 新的项目交付发布包、生成和运行方法及可读存储介质
CN108062251B (zh) * 2018-01-09 2023-02-28 福建星瑞格软件有限公司 一种服务器资源回收方法以及计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017008584A1 (zh) * 2015-07-15 2017-01-19 中兴通讯股份有限公司 一种虚拟机启动方法、装置及管理节点
WO2017143928A1 (zh) * 2016-02-25 2017-08-31 中兴通讯股份有限公司 数据传输方法、虚拟机和宿主机
WO2018039967A1 (zh) * 2016-08-31 2018-03-08 深圳前海达闼云端智能科技有限公司 虚拟机切换方法、装置、电子设备和计算机程序产品

Also Published As

Publication number Publication date
CN109284169A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
US11599374B2 (en) System and method for providing preferential I/O treatment to devices that host a critical virtual machine
US8874954B1 (en) Compatibility of high availability clusters supporting application failover with shared storage in a virtualization environment without sacrificing on virtualization features
CN110377395B (zh) 一种Kubernetes集群中的Pod迁移方法
US10983880B2 (en) Role designation in a high availability node
AU2013207906B2 (en) Fault tolerance for complex distributed computing operations
CN108923992B (zh) 一种nas集群高可用方法、系统及电子设备和存储介质
WO2016165304A1 (zh) 一种实例节点管理的方法及管理设备
US9223606B1 (en) Automatically configuring and maintaining cluster level high availability of a virtual machine running an application according to an application level specified service level agreement
US11210132B2 (en) Virtual machine migration in virtualization environment having different virtualization systems
US9317313B2 (en) Dynamically provisioning storage while identifying and discarding redundant storage alerts
US20170206110A1 (en) Computer System for BMC resource management
US20220027244A1 (en) Reserving failover capacity in cloud computing
US11768724B2 (en) Data availability in a constrained deployment of a high-availability system in the presence of pending faults
US9529656B2 (en) Computer recovery method, computer system, and storage medium
CN109284169B (zh) 基于进程虚拟化的大数据平台进程管理方法及计算机设备
CN110019475B (zh) 数据持久化处理方法、装置及系统
US11544091B2 (en) Determining and implementing recovery actions for containers to recover the containers from failures
CN110839068B (zh) 业务请求处理方法、装置、电子设备及可读存储介质
CN107783855B (zh) 虚拟网元的故障自愈控制装置及方法
AU2015249127B2 (en) Fault tolerance for complex distributed computing operations
CN105162873A (zh) 一种k1服务器的高可用方法及系统
CN104090832A (zh) 云计算平台的高可用性支撑装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 350000 21 / F, building 5, f District, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant after: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

Address before: Floor 20-21, building 5, area F, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province 350000

Applicant before: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

GR01 Patent grant
GR01 Patent grant