CN111143024A - 一种面向实时虚拟计算的资源管理的方法 - Google Patents

一种面向实时虚拟计算的资源管理的方法 Download PDF

Info

Publication number
CN111143024A
CN111143024A CN201911156740.3A CN201911156740A CN111143024A CN 111143024 A CN111143024 A CN 111143024A CN 201911156740 A CN201911156740 A CN 201911156740A CN 111143024 A CN111143024 A CN 111143024A
Authority
CN
China
Prior art keywords
real
time
memory
cpu
network card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911156740.3A
Other languages
English (en)
Inventor
卫宁
张哲�
李国兵
周江福
陈卓
李海波
贺磊
王户
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSSC Systems Engineering Research Institute
Original Assignee
CSSC Systems Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSSC Systems Engineering Research Institute filed Critical CSSC Systems Engineering Research Institute
Priority to CN201911156740.3A priority Critical patent/CN111143024A/zh
Publication of CN111143024A publication Critical patent/CN111143024A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种面向实时虚拟计算的资源管理的方法，首先预分配CPU、内存、网卡等实时计算资源，然后对包括CPU、内存、网卡的计算资源进行实时监控，以图表、折线图，数字的方式展示，并设置计算资源被使用的分级报警阈值，提供报警功能，最后根据计算资源被使用情况对虚拟机实时计算资源进行再次分配。本发明与现有技术相比，能监控实时CPU、内存、存储的使用率、空闲率，根据不同使用情况有不同颜色表示，能更加直观的监控资源使用情况，同时设置有报警阈值，当某个资源使用超过阈值自动报警，便于管理维护。

Description

一种面向实时虚拟计算的资源管理的方法
技术领域
本发明涉及云计算实时虚拟计算资源管理领域，特别是一种面向实时虚拟计算的资源管理的方法。
背景技术
现有的虚拟计算资源管理的资源分配技术只是简单的虚拟机需要哪个CPU就分哪个CPU，需要多少内存就分配多少内存；这种方式下没有隔离CPU，锁定内存，这样其他线程可能会与虚拟机竞争CPU资源，以及发生内存交换，内存超分配等问题，影响虚拟机实时性。
现有的普通虚拟计算资源管理的资源监控只是简单的展示资源使用情况没有资源使用阈值和报警功能，或者报警功能比较单一。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种面向实时虚拟计算的资源管理的方法，管理实时虚拟计算资源，提供实时资源预分配操作，监控实时虚拟计算资源，提供详细的监控信息以及资源告警信息，增加系统可维护性。
本发明的技术解决方案是：一种面向实时虚拟计算的资源管理的方法，包括如下步骤：
(1)预分配实时计算资源，包括CPU、内存、网卡；
(2)对包括CPU、内存、网卡的计算资源进行实时监控，以图表、折线图，数字的方式展示；设置计算资源被使用的分级报警阈值，提供报警功能；
(3)根据计算资源被使用情况对虚拟机实时计算资源进行再次分配。
所述的步骤(1)预分配CPU的方法为：
根据虚拟机所在宿主机，选择虚拟机需要预分配的实时CPU，并通过设置配置参数isolcpus从线程调度器中移除选定的CPU，调用和CPU亲和度相关的syscalls以更改虚拟机进程的CPU亲和性进而达到CPU独占。
所述的步骤(1)预分配内存的方法为：
当有充足的实时内存时，使用大页内存方式并锁住内存，通过MaxMem禁止内存气泡，防止内存气泡和内存交换带来的调度延迟。
所述的步骤(1)预分配网卡的方法为：
选择需要的网卡设备，并加上实时标志位is_real_time＝true，将当前网卡设备修改为实时设备，通过主机透传给虚拟机使用。
所述的步骤(2)中对CPU的实时监控包括：
实时CPU数量、可用数量、已用数量、已占用百分比、已分配百分比、使用实时CPU的虚拟机列表、主机实时CPU使用百分比。
所述的步骤(2)中对内存的实时监控包括：
实时内存大小、已用大小、已占用百分比、已分配百分比、使用实时内存的虚拟机列表、主机实时内存使用百分比。
所述的(3)对网卡的实时监控包括：所有的实时网卡设备列表、可用实时网卡设备列表、已用的网卡设备列表。
所述的步骤(2)中计算资源被使用的分级报警方式包括手机、邮件、短信。
本发明与现有技术相比的优点在于：
(1)本发明与现有技术相比，能监控实时CPU、内存、存储的使用率、空闲率，根据不同使用情况有不同颜色表示，能更加直观的监控资源使用情况，同时设置有报警阈值，当某个资源使用超过阈值自动报警，便于维护；
(2)本发明与现有技术相比，通过在主机上分离CPU，在指定CPU给某个实时虚拟机，避免了其他线程与虚拟机竞争CPU资源；
(3)本发明与现有技术相比，通过防止内存交换，解决了内存使用过多时因为内存交换而影响实时性；
(4)本发明与现有技术相比，通过设置网卡设备为实时设备，透传给实时虚拟机使用，避免了虚拟网卡性能低的问题。
附图说明
图1为一种面向实时虚拟计算的资源管理的方法方案图；
图2为实时虚拟机计算资源预分配图；
图3为实时虚拟机计算资源监控图。
具体实施方式
本发明克服现有技术的不足，提供了一种面向实时虚拟计算的资源管理的方法，解决了现有技术缺少面向实时虚拟计算资源管理的方法，只面向普通虚拟计算资源管理的问题。下面结合附图进行解释和说明，如图1所示为本发明一种面向实时虚拟计算的资源管理的方法方案图。
1.预分配实时计算资源
(1)预分配CPU
选择虚拟机所在宿主机，勾选虚拟机需要预分配的实时CPU序号，设置配置参数isolcpus(isolcpus将从线程调度器中移除选定的CPU，避免其他普通线程在这些CPU上运行)＝CPU序号，isolcpus将从线程调度器中移除选定的CPU，然后通过调用和CPU亲和度相关的syscalls(syscalls声明了系统调用函数)，更改虚拟机进程的CPU亲和性来达到CPU独占，提高虚拟机实时性。虚拟机CPU是作为线程分配在主机CPU上的，所以多个虚拟机CPU可以对应1个主机CPU，但为了保证实时性，一个实时虚拟机CPU对应一个主机CPU。
(2)预分配内存
设置实时内存大小，通过：
主机实时内存-其他虚拟机已使用实时内存>当前配置的实时内存
判断是否有充足的实时内存，若满足，则使用大页内存方式，并锁住内存，通过MaxMem禁止内存气泡，配置参数memoryBacking＝locked(memoryBacking＝locked具有锁定内存的作用，即虚拟机启动时，会立即分配物理内存，在运行过程中不会交换内存)，防止内存气泡和内存交换带来的调度延迟。
(3)预分配实时网卡设备
在主机网卡设备里面，选择需要的设备，加上实时标志位is_real_time＝true(is_real_time＝true，是把指定网卡标记为实时设备，这样普通虚拟机就无法使用这张网卡了，专门给实时虚拟机使用)，修改为实时设备，虚拟机选择需要的实时网卡设备名，通过主机透传给虚拟机使用，并且一张实时网卡只能被一个实时虚拟机使用。
2.实时计算资源的监控，通过etl采集工具采集实时计算资源数据进行筛选计算，定时刷新缓存(etl采集实时计算资源数据，插入历史数据库中，定时刷新缓存是指前端资源显示页面从历史数据库中取数据，因为前端资源显示页面不是实时刷新的。)，设置报警阈值(计算资源使用范围是65％以下，65％-75％，75％-90％是警告，90％以上是报警)，提供手机，邮件，短信报警功能。实时计算资源数据的监控包括CPU，内存，存储三大资源，以图表、折线图，数字的方式展示
(1)实时CPU资源的监控，包括：
实时CPU总共数量
可用数量
已用数量
已占用百分比
已分配百分比
使用实时CPU的虚拟机列表
主机实时CPU使用百分比
(2)实时内存资源的监控包括:
实时内存总共大小
已用大小
已占用百分比
已分配百分比
使用实时内存的虚拟机列表
主机实时内存使用百分比
(3)实施网卡设备的监控包括：
所有的实时网卡设备列表
可用实时网卡设备列表
已用的网卡设备列表
(4)资源使用报警：
设置资源报警阈值，配置报警方式，如：手机号，短信，邮件，当资源使用达到阈值时自动报警。
3.实时计算资源的管理
(1)通过实时计算资源的监控，随时掌握资源使用情况，如果资源使用达到阈值触发报警功能，操作人员可以提前进行处理。
(2)根据资源的使用情况对虚拟机实时计算资源进行明确的分配提高资源可用性。
下面结合实施例对本发明进行更详细的解释说明，如图2所示为实时虚拟机计算资源预分配图。
(1)预分配实时CPU资源
在此阶段，给虚拟机分配实时CPU资源，进行绑定，避免其他线程占用。
(2)预分配实时内存资源
在此阶段，设置虚拟机实时内存资源大小，锁住内存，防止内存交换。
(3)预分配实时网卡设备资源
在此阶段，设置网卡设备为实时设备，绑定虚拟机。
如图3所示为实时虚拟机计算资源监控图。
(1)实时CPU资源的监控
根据采集的数据，计算出实时CPU资源的可用百分比，已用百分比，已占用百分比，已分配百分比。如果资源达到阈值，则产生告警。
(2)实时内存资源的监控
根据采集的数据，计算出实时内存资源的可用百分比，已用百分比，已占用百分比，已分配百分比。如果资源达到阈值，则产生告警。
(3)实施网卡设备的监控
显示所有的实时网卡设备列表，可用实时网卡设备列表，若没有实时网卡设备，则会提示。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (8)

1.一种面向实时虚拟计算的资源管理的方法，其特征在于包括如下步骤：
(1)预分配实时计算资源，包括CPU、内存、网卡；
(2)对包括CPU、内存、网卡的计算资源进行实时监控，以图表、折线图，数字的方式展示；设置计算资源被使用的分级报警阈值，提供报警功能；
(3)根据计算资源被使用情况对虚拟机实时计算资源进行再次分配。
2.根据权利要求1所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(1)预分配CPU的方法为：
根据虚拟机所在宿主机，选择虚拟机需要预分配的实时CPU，并通过设置配置参数isolcpus从线程调度器中移除选定的CPU，调用和CPU亲和度相关的syscalls以更改虚拟机进程的CPU亲和性进而达到CPU独占。
3.根据权利要求2所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(1)预分配内存的方法为：
当有充足的实时内存时，使用大页内存方式并锁住内存，通过MaxMem禁止内存气泡，防止内存气泡和内存交换带来的调度延迟。
4.根据权利要求3所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(1)预分配网卡的方法为：
选择需要的网卡设备，并加上实时标志位is_real_time＝true，将当前网卡设备修改为实时设备，通过主机透传给虚拟机使用。
5.根据权利要求4所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(2)中对CPU的实时监控包括：
实时CPU数量、可用数量、已用数量、已占用百分比、已分配百分比、使用实时CPU的虚拟机列表、主机实时CPU使用百分比。
6.根据权利要求5所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(2)中对内存的实时监控包括：
实时内存大小、已用大小、已占用百分比、已分配百分比、使用实时内存的虚拟机列表、主机实时内存使用百分比。
7.根据权利要求6所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的(3)对网卡的实时监控包括：所有的实时网卡设备列表、可用实时网卡设备列表、已用的网卡设备列表。
8.根据权利要求7所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(2)中计算资源被使用的分级报警方式包括手机、邮件、短信。
CN201911156740.3A 2019-11-22 2019-11-22 一种面向实时虚拟计算的资源管理的方法 Withdrawn CN111143024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911156740.3A CN111143024A (zh) 2019-11-22 2019-11-22 一种面向实时虚拟计算的资源管理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911156740.3A CN111143024A (zh) 2019-11-22 2019-11-22 一种面向实时虚拟计算的资源管理的方法

Publications (1)

Publication Number Publication Date
CN111143024A true CN111143024A (zh) 2020-05-12

Family

ID=70517258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911156740.3A Withdrawn CN111143024A (zh) 2019-11-22 2019-11-22 一种面向实时虚拟计算的资源管理的方法

Country Status (1)

Country Link
CN (1) CN111143024A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897628A (zh) * 2020-07-14 2020-11-06 中国船舶工业系统工程研究院 一种实时虚拟机部署的方法
CN112083932A (zh) * 2020-08-18 2020-12-15 上海交通大学 虚拟化网络设备上的函数预热系统及方法
WO2024169161A1 (zh) * 2023-02-15 2024-08-22 华为技术有限公司 一种资源配置方法、装置、系统及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897628A (zh) * 2020-07-14 2020-11-06 中国船舶工业系统工程研究院 一种实时虚拟机部署的方法
CN112083932A (zh) * 2020-08-18 2020-12-15 上海交通大学 虚拟化网络设备上的函数预热系统及方法
WO2024169161A1 (zh) * 2023-02-15 2024-08-22 华为技术有限公司 一种资源配置方法、装置、系统及设备

Similar Documents

Publication Publication Date Title
CN107968802B (zh) 一种资源调度的方法、装置和过滤式调度器
CN111143024A (zh) 一种面向实时虚拟计算的资源管理的方法
EP2193472B1 (en) Method and apparatus for managing license capacity in a telecommunication network
CN107241281B (zh) 一种数据处理方法及其装置
CN105183565B (zh) 计算机、服务质量控制方法及装置
CN107301093B (zh) 一种管理资源的方法和装置
CN110941481A (zh) 资源调度方法、装置及系统
DE102006019839A1 (de) Zeitbewusste Systeme
CN105335229A (zh) 一种业务资源的调度方法和装置
CN114385353B (zh) 资源调度方法及装置、电子设备、存储介质
DE112017003294T5 (de) Technologien für ein skalierbares Senden und Empfangen von Paketen
CN102255926A (zh) MapReduce系统中的任务分配方法、系统及装置
CN111061570B (zh) 一种图像计算请求处理方法、装置及终端设备
CN106878389B (zh) 用于在云系统中进行资源调度的方法和装置
US10606650B2 (en) Methods and nodes for scheduling data processing
CN112860387A (zh) 分布式任务调度方法、装置、计算机设备及存储介质
CN110795202B (zh) 一种虚拟化集群资源管理系统的资源分配方法以及装置
CN115658311A (zh) 一种资源的调度方法、装置、设备和介质
CN114625533A (zh) 分布式任务调度方法、装置、电子设备及存储介质
CN109992415B (zh) 一种容器调度方法及调度系统
CN106686081B (zh) 一种数据库服务系统的资源分配方法和装置
CN111464331A (zh) 一种线程创建的控制方法、系统及终端设备
CN111158846A (zh) 一种面向实时虚拟计算的资源管理的方法
CN114416355A (zh) 资源调度方法、装置、系统、电子设备及介质
CN110427273A (zh) 内存调度方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200512