CN111158846A - 一种面向实时虚拟计算的资源管理的方法 - Google Patents

一种面向实时虚拟计算的资源管理的方法 Download PDF

Info

Publication number
CN111158846A
CN111158846A CN201911158125.6A CN201911158125A CN111158846A CN 111158846 A CN111158846 A CN 111158846A CN 201911158125 A CN201911158125 A CN 201911158125A CN 111158846 A CN111158846 A CN 111158846A
Authority
CN
China
Prior art keywords
real
time
memory
cpu
network card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911158125.6A
Other languages
English (en)
Inventor
李国兵
张哲�
卫宁
周江福
陈卓
郭建川
戴凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSSC Systems Engineering Research Institute
Original Assignee
CSSC Systems Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSSC Systems Engineering Research Institute filed Critical CSSC Systems Engineering Research Institute
Priority to CN201911158125.6A priority Critical patent/CN111158846A/zh
Publication of CN111158846A publication Critical patent/CN111158846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation

Abstract

一种面向实时虚拟计算的资源管理的方法，首先预分配CPU、内存、网卡等实时计算资源，然后对包括CPU、内存、网卡的计算资源进行实时监控，以图表、折线图，数字的方式展示，并设置计算资源被使用的分级报警阈值，提供报警功能，最后根据计算资源被使用情况对虚拟机实时计算资源进行再次分配。本发明与现有技术相比，能监控实时CPU、内存、存储的使用率、空闲率，根据不同使用情况有不同颜色表示，能更加直观的监控资源使用情况，同时设置有报警阈值，当某个资源使用超过阈值自动报警，便于管理维护。

Description

一种面向实时虚拟计算的资源管理的方法
技术领域
本发明涉及云计算实时虚拟计算资源管理领域，特别是一种面向实时虚拟计算的资源管理的方法。
背景技术
现有的虚拟计算资源管理的资源分配技术只是简单的虚拟机需要哪个CPU就分哪个CPU，需要多少内存就分配多少内存；这种方式下没有隔离CPU，锁定内存，这样其他线程可能会与虚拟机竞争CPU资源，以及发生内存交换，内存超分配等问题，影响虚拟机实时性。
现有的普通虚拟计算资源管理的资源监控只是简单的展示资源使用情况没有资源使用阈值和报警功能，或者报警功能比较单一。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种面向实时虚拟计算的资源管理的方法，管理实时虚拟计算资源，提供实时资源预分配操作，监控实时虚拟计算资源，提供详细的监控信息以及资源告警信息，增加系统可维护性。
本发明的技术解决方案是：一种面向实时虚拟计算的资源管理的方法，包括如下步骤：
(1)预分配实时计算资源，包括CPU、内存、网卡；
(2)对包括CPU、内存、网卡的计算资源进行实时监控，以图表、折线图，数字的方式展示；设置计算资源被使用的分级报警阈值，提供报警功能；
(3)根据计算资源被使用情况对虚拟机实时计算资源进行再次分配。
所述的步骤(1)预分配CPU的方法为：
根据虚拟机所在宿主机，选择虚拟机需要预分配的实时CPU，并通过设置配置参数isolcpus从线程调度器中移除选定的CPU，调用和CPU亲和度相关的syscalls以更改虚拟机进程的CPU亲和性进而达到CPU独占。
所述的步骤(1)预分配内存的方法为：
当有充足的实时内存时，使用大页内存方式并锁住内存，通过MaxMem禁止内存气泡，防止内存气泡和内存交换带来的调度延迟。
所述的步骤(1)预分配网卡的方法为：
选择需要的网卡设备，并加上实时标志位is_real_time＝true，将当前网卡设备修改为实时设备，通过主机透传给虚拟机使用。
所述的步骤(2)中对CPU的实时监控包括：
实时CPU数量、可用数量、已用数量、已占用百分比、已分配百分比、使用实时CPU的虚拟机列表、主机实时CPU使用百分比。
所述的步骤(2)中对内存的实时监控包括：
实时内存大小、已用大小、已占用百分比、已分配百分比、使用实时内存的虚拟机列表、主机实时内存使用百分比。
所述的(3)对网卡的实时监控包括：所有的实时网卡设备列表、可用实时网卡设备列表、已用的网卡设备列表。
所述的步骤(2)中计算资源被使用的分级报警方式包括手机、邮件、短信。
本发明与现有技术相比的优点在于：
(1)本发明与现有技术相比，能监控实时CPU、内存、存储的使用率、空闲率，根据不同使用情况有不同颜色表示，能更加直观的监控资源使用情况，同时设置有报警阈值，当某个资源使用超过阈值自动报警，便于维护；
(2)本发明与现有技术相比，通过在主机上分离CPU，在指定CPU给某个实时虚拟机，避免了其他线程与虚拟机竞争CPU资源；
(3)本发明与现有技术相比，通过防止内存交换，解决了内存使用过多时因为内存交换而影响实时性；
(4)本发明与现有技术相比，通过设置网卡设备为实时设备，透传给实时虚拟机使用，避免了虚拟网卡性能低的问题。
附图说明
图1为一种面向实时虚拟计算的资源管理的方法方案图；
图2为实时虚拟机计算资源预分配图；
图3为实时虚拟机计算资源监控图。
具体实施方式
本发明克服现有技术的不足，提供了一种面向实时虚拟计算的资源管理的方法，解决了现有技术缺少面向实时虚拟计算资源管理的方法，只面向普通虚拟计算资源管理的问题。下面结合附图进行解释和说明，如图1所示为本发明一种面向实时虚拟计算的资源管理的方法方案图。
1.预分配实时计算资源
(1)预分配CPU
选择虚拟机所在宿主机，勾选虚拟机需要预分配的实时CPU序号，设置配置参数isolcpus(isolcpus将从线程调度器中移除选定的CPU，避免其他普通线程在这些CPU上运行)＝CPU序号，isolcpus将从线程调度器中移除选定的CPU，然后通过调用和CPU亲和度相关的syscalls(syscalls声明了系统调用函数)，更改虚拟机进程的CPU亲和性来达到CPU独占，提高虚拟机实时性。虚拟机CPU是作为线程分配在主机CPU上的，所以多个虚拟机CPU可以对应1个主机CPU，但为了保证实时性，一个实时虚拟机CPU对应一个主机CPU。
(2)预分配内存
设置实时内存大小，通过：
主机实时内存-其他虚拟机已使用实时内存>当前配置的实时内存
判断是否有充足的实时内存，若满足，则使用大页内存方式，并锁住内存，通过MaxMem禁止内存气泡，配置参数memoryBacking＝locked(memoryBacking＝locked具有锁定内存的作用，即虚拟机启动时，会立即分配物理内存，在运行过程中不会交换内存)，防止内存气泡和内存交换带来的调度延迟。
(3)预分配实时网卡设备
在主机网卡设备里面，选择需要的设备，加上实时标志位is_real_time＝true(is_real_time＝true，是把指定网卡标记为实时设备，这样普通虚拟机就无法使用这张网卡了，专门给实时虚拟机使用)，修改为实时设备，虚拟机选择需要的实时网卡设备名，通过主机透传给虚拟机使用，并且一张实时网卡只能被一个实时虚拟机使用。
2.实时计算资源的监控，通过etl采集工具采集实时计算资源数据进行筛选计算，定时刷新缓存(etl采集实时计算资源数据，插入历史数据库中，定时刷新缓存是指前端资源显示页面从历史数据库中取数据，因为前端资源显示页面不是实时刷新的。)，设置报警阈值(计算资源使用范围是65％以下，65％-75％，75％-90％是警告，90％以上是报警)，提供手机，邮件，短信报警功能。实时计算资源数据的监控包括CPU，内存，存储三大资源，以图表、折线图，数字的方式展示
(1)实时CPU资源的监控，包括：
实时CPU总共数量
可用数量
已用数量
已占用百分比
已分配百分比
使用实时CPU的虚拟机列表
主机实时CPU使用百分比
(2)实时内存资源的监控包括:
实时内存总共大小
已用大小
已占用百分比
已分配百分比
使用实时内存的虚拟机列表
主机实时内存使用百分比
(3)实施网卡设备的监控包括：
所有的实时网卡设备列表
可用实时网卡设备列表
已用的网卡设备列表
(4)资源使用报警：
设置资源报警阈值，配置报警方式，如：手机号，短信，邮件，当资源使用达到阈值时自动报警。
3.实时计算资源的管理
(1)通过实时计算资源的监控，随时掌握资源使用情况，如果资源使用达到阈值触发报警功能，操作人员可以提前进行处理。
(2)根据资源的使用情况对虚拟机实时计算资源进行明确的分配提高资源可用性。
下面结合实施例对本发明进行更详细的解释说明，如图2所示为实时虚拟机计算资源预分配图。
(1)预分配实时CPU资源
在此阶段，给虚拟机分配实时CPU资源，进行绑定，避免其他线程占用。
(2)预分配实时内存资源
在此阶段，设置虚拟机实时内存资源大小，锁住内存，防止内存交换。
(3)预分配实时网卡设备资源
在此阶段，设置网卡设备为实时设备，绑定虚拟机。
如图3所示为实时虚拟机计算资源监控图。
(1)实时CPU资源的监控
根据采集的数据，计算出实时CPU资源的可用百分比，已用百分比，已占用百分比，已分配百分比。如果资源达到阈值，则产生告警。
(2)实时内存资源的监控
根据采集的数据，计算出实时内存资源的可用百分比，已用百分比，已占用百分比，已分配百分比。如果资源达到阈值，则产生告警。
(3)实施网卡设备的监控
显示所有的实时网卡设备列表，可用实时网卡设备列表，若没有实时网卡设备，则会提示。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (8)

1.一种面向实时虚拟计算的资源管理的方法，其特征在于包括如下步骤：
(1)预分配实时计算资源，包括CPU、内存、网卡；
(2)对包括CPU、内存、网卡的计算资源进行实时监控，以图表、折线图，数字的方式展示；设置计算资源被使用的分级报警阈值，提供报警功能；
(3)根据计算资源被使用情况对虚拟机实时计算资源进行再次分配。
2.根据权利要求1所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(1)预分配CPU的方法为：
根据虚拟机所在宿主机，选择虚拟机需要预分配的实时CPU，并通过设置配置参数isolcpus从线程调度器中移除选定的CPU，调用和CPU亲和度相关的syscalls以更改虚拟机进程的CPU亲和性进而达到CPU独占。
3.根据权利要求2所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(1)预分配内存的方法为：
当有充足的实时内存时，使用大页内存方式并锁住内存，通过MaxMem禁止内存气泡，防止内存气泡和内存交换带来的调度延迟。
4.根据权利要求3所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(1)预分配网卡的方法为：
选择需要的网卡设备，并加上实时标志位is_real_time＝true，将当前网卡设备修改为实时设备，通过主机透传给虚拟机使用。
5.根据权利要求4所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(2)中对CPU的实时监控包括：
实时CPU数量、可用数量、已用数量、已占用百分比、已分配百分比、使用实时CPU的虚拟机列表、主机实时CPU使用百分比。
6.根据权利要求5所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(2)中对内存的实时监控包括：
实时内存大小、已用大小、已占用百分比、已分配百分比、使用实时内存的虚拟机列表、主机实时内存使用百分比。
7.根据权利要求6所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的(3)对网卡的实时监控包括：所有的实时网卡设备列表、可用实时网卡设备列表、已用的网卡设备列表。
8.根据权利要求7所述的一种面向实时虚拟计算的资源管理的方法，其特征在于：所述的步骤(2)中计算资源被使用的分级报警方式包括手机、邮件、短信。
CN201911158125.6A 2019-11-22 2019-11-22 一种面向实时虚拟计算的资源管理的方法 Pending CN111158846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911158125.6A CN111158846A (zh) 2019-11-22 2019-11-22 一种面向实时虚拟计算的资源管理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158125.6A CN111158846A (zh) 2019-11-22 2019-11-22 一种面向实时虚拟计算的资源管理的方法

Publications (1)

Publication Number Publication Date
CN111158846A true CN111158846A (zh) 2020-05-15

Family

ID=70556055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158125.6A Pending CN111158846A (zh) 2019-11-22 2019-11-22 一种面向实时虚拟计算的资源管理的方法

Country Status (1)

Country Link
CN (1) CN111158846A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744714A (zh) * 2011-12-31 2014-04-23 华茂云天科技(北京)有限公司 基于云计算的虚拟机管理平台
CN106020936A (zh) * 2016-06-07 2016-10-12 深圳证券通信有限公司 一种金融云平台基于运行负载的虚拟机调度方法及装置
CN106970841A (zh) * 2017-03-09 2017-07-21 北京西普阳光教育科技股份有限公司 一种基于云计算的资源限制及动态调整方法
CN107645410A (zh) * 2017-09-05 2018-01-30 郑州云海信息技术有限公司 一种基于OpenStack云平台的虚拟机管理系统及方法
CN108255598A (zh) * 2016-12-28 2018-07-06 华耀(中国)科技有限公司 性能保证的虚拟化管理平台资源分配系统及方法
CN110389838A (zh) * 2019-07-24 2019-10-29 北京邮电大学 一种适用于虚拟资源的实时调度和在线迁移管控方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744714A (zh) * 2011-12-31 2014-04-23 华茂云天科技(北京)有限公司 基于云计算的虚拟机管理平台
CN106020936A (zh) * 2016-06-07 2016-10-12 深圳证券通信有限公司 一种金融云平台基于运行负载的虚拟机调度方法及装置
CN108255598A (zh) * 2016-12-28 2018-07-06 华耀(中国)科技有限公司 性能保证的虚拟化管理平台资源分配系统及方法
CN106970841A (zh) * 2017-03-09 2017-07-21 北京西普阳光教育科技股份有限公司 一种基于云计算的资源限制及动态调整方法
CN107645410A (zh) * 2017-09-05 2018-01-30 郑州云海信息技术有限公司 一种基于OpenStack云平台的虚拟机管理系统及方法
CN110389838A (zh) * 2019-07-24 2019-10-29 北京邮电大学 一种适用于虚拟资源的实时调度和在线迁移管控方法

Similar Documents

Publication Publication Date Title
CN109936604B (zh) 一种资源调度方法、装置和系统
CN107968802B (zh) 一种资源调度的方法、装置和过滤式调度器
EP2193472B1 (en) Method and apparatus for managing license capacity in a telecommunication network
CN105183565B (zh) 计算机、服务质量控制方法及装置
CN107241281B (zh) 一种数据处理方法及其装置
CN110941481A (zh) 资源调度方法、装置及系统
CN106502767B (zh) 一种进程管理方法及其装置
DE102006019839A1 (de) Zeitbewusste Systeme
CN110389843B (zh) 一种业务调度方法、装置、设备及可读存储介质
CN105335229A (zh) 一种业务资源的调度方法和装置
DE112017003294T5 (de) Technologien für ein skalierbares Senden und Empfangen von Paketen
CN111061570B (zh) 一种图像计算请求处理方法、装置及终端设备
CN111143024A (zh) 一种面向实时虚拟计算的资源管理的方法
CN111309644B (zh) 一种内存分配方法、装置和计算机可读存储介质
CN109800261B (zh) 双数据库连接池的动态控制方法、装置及相关设备
CN106878389B (zh) 用于在云系统中进行资源调度的方法和装置
CN114155026A (zh) 一种资源分配方法、装置、服务器及存储介质
CN114625533A (zh) 分布式任务调度方法、装置、电子设备及存储介质
CN111464331A (zh) 一种线程创建的控制方法、系统及终端设备
CN112860387A (zh) 分布式任务调度方法、装置、计算机设备及存储介质
CN109992415B (zh) 一种容器调度方法及调度系统
CN111158846A (zh) 一种面向实时虚拟计算的资源管理的方法
CN115658311A (zh) 一种资源的调度方法、装置、设备和介质
CN116339989A (zh) 一种混部服务器、混部服务器的资源管理方法及装置
CN110427273A (zh) 内存调度方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515

RJ01 Rejection of invention patent application after publication