CN116980287A - 基于混布模式的资源调度及隔离方法、装置、设备和介质 - Google Patents
基于混布模式的资源调度及隔离方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN116980287A CN116980287A CN202310770529.0A CN202310770529A CN116980287A CN 116980287 A CN116980287 A CN 116980287A CN 202310770529 A CN202310770529 A CN 202310770529A CN 116980287 A CN116980287 A CN 116980287A
- Authority
- CN
- China
- Prior art keywords
- instance
- resource
- physical machine
- container
- binding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002955 isolation Methods 0.000 title description 43
- 238000000034 method Methods 0.000 claims abstract description 94
- 230000008569 process Effects 0.000 claims description 59
- 230000015654 memory Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000002360 preparation method Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 239000004744 fabric Substances 0.000 claims 1
- 238000007726 management method Methods 0.000 description 31
- 238000004590 computer program Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000035800 maturation Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种基于混布模式的资源调度及隔离方法、装置、设备和介质。上述方法和装置可用于云计算技术领域。基于混布模式的资源调度及隔离方法包括:响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,其中,所述实例类型包括物理机实例和容器实例;完成实例创建后,在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定。该方法通过资源占位实例实现物理机实例与容器实例资源组统一分配的能力,有效解决了对物理机实例进行统一调度与对容器实例进行统一资源管理的问题。
Description
技术领域
本申请涉及云计算技术领域,尤其是涉及一种基于混布模式的资源调度及隔离方法、装置、设备和介质。
背景技术
随着开源云原生调度与资源隔离技术的成熟及各类企业机器成本的与日俱增,以开源云原生调度技术作为资源管理基座,以linux控制组(control groups,cgroup)作为资源隔离技术基座,集装箱(docker)或其他容器运行时作为容器管理方案的混布方案被越来越多的企业认可和应用。然而,经常存在部分企业,由于其存量应用一般部署模式为物理机实例独占,出现物理机实例无法进行混布的技术问题。
发明内容
有鉴于此,本申请提供了一种适配性、稳定性较强的,且简易方便的基于混布模式的资源调度及隔离方法、装置、设备和介质。
本申请的一个方面提供了一种基于混布模式的资源调度及隔离方法,包括:
响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,其中,所述实例类型包括物理机实例和容器实例;完成实例创建后,在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定。
根据本申请实施例的基于混布模式的资源调度及隔离方法,通过资源占位实例实现物理机实例与容器实例资源组统一分配的能力。即当实例请求的类型为物理机实例时,通过资源占位实例对物理机实例进行资源绑定,为物理机独占实例向容器混布实例提供了一种渐进式变更方案,在实际应用过程中,仅需增加资源占位实例与物理机实例的cgroup绑定等逻辑,无需对引入的开源代码进行改动,简单快捷,可操作性强,方便后续开源代码的升级,有效解决了物理机实例进行统一调度与容器实例进行统一资源管理的问题。
在一些实施例中,所述在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定,包括:创建并启动资源占位实例,完成资源占位实例的cgroup资源组的资源的划分与绑定;启动物理机实例,将资源占位实例绑定的cgroup资源组与物理机实例进行绑定。
在一些实施例中,所述方法还包括:获取所有应用的实例进程,其中,所述实例进程包括容器部署的应用对应的应用实例进程以及物理机部署的应用对应的资源占位实例进程;根据所述实例进程查询汇总当前资源绑定情况,得到第一资源绑定信息;查询cgroup记录的资源绑定情况,得到第二资源绑定信息;根据所述第一资源绑定信息与所述第二资源绑定信息的比对结果,验证所述物理机实例与绑定的cgroup资源组是否符合预期。
在一些实施例中,所述根据所述第一资源绑定信息与所述第二资源绑定信息的比对结果,验证所述物理机实例与绑定的cgroup资源组是否符合预期,包括:当所述比对结果不一致时,遍历排查所有物理机实例进程的资源绑定与对应资源占位实例的资源绑定是否有异常;对于未同步的场景,将物理机实例进程的资源绑定向对应资源占位实例进行同步。
在一些实施例中,所述方法还包括:在确定所述实例类型为容器实例时,启动所述容器实例,并将所述容器实例绑定到对应的cgroup资源组。
在一些实施例中,当所述实例类型为容器实例时,所述根据所述实例请求对应的实例类型执行相应的实例创建,包括:确定所述容器实例权限检查通过后,创建所述容器实例的管理对象以及所述容器实例的cgroup,更新记录的实例的资源使用信息;创建所述容器实例的数据目录,并将主机目录挂载到所述容器实例中;创建预备容器、初始化容器,完成所述容器实例的环境初始化工作;创建业务容器,启动所述容器实例。
在一些实施例中,当所述实例类型为物理机实例时,所述根据所述实例请求对应的实例类型执行相应的实例创建,包括:确定所述物理机实例权限检查通过后,创建所述物理机实例的管理对象以及所述物理机实例的cgroup,更新记录的实例的资源使用信息;创建所述物理机实例的数据目录,并将主机目录挂载到所述物理机实例中;创建预备容器、初始化容器,完成所述物理机实例的环境初始化工作。
本申请的另一个方面提供了一种基于混布模式的资源调度及隔离装置,包括:
创建模块,响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,其中,所述实例类型包括物理机实例和容器实例;
处理模块,完成实例创建后,在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定。
本申请的另一方面提供了一种电子设备,包括一个或多个处理器以及一个或多个存储器,其中,所述存储器用于存储可执行指令,所述可执行指令在被所述处理器执行时,实现如上所述方法。
本申请的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1示意性示出了根据本申请一些实施例的第一种系统架构示意图;
图2示意性示出了根据本申请一些实施例的第二种系统架构示意图;
图3示意性示出了根据本申请一些实施例的第三种系统架构示意图;
图4示意性示出了根据本申请一些实施例的混布模式的资源调度及隔离方法的流程图;
图5示意性示出了根据本申请一些实施例的根据所述实例请求对应的实例类型执行相应的实例创建的流程图;
图6示意性示出了根据本申请另一些实施例的根据所述实例请求对应的实例类型执行相应的实例创建的流程图;
图7示意性示出了根据本申请一些实施例的结合资源占位实例对所述物理机实例执行资源绑定的流程图;
图8示意性示出了根据本申请一些实施例的验证所述物理机实例与绑定的cgroup资源组是否符合预期的流程图;
图9示意性示出了根据本申请一些实施例的根据所述第一资源绑定信息与所述第二资源绑定信息的比对结果进行预期验证的流程图;
图10示意性示出了根据本申请一些实施例的将物理机实例进程的资源绑定向对应资源占位实例进行同步的流程图;
图11示意性示出了根据本申请一些实施例的基于混布方案的资源调度及隔离装置的结构框图;
图12示意性示出了根据本申请一些实施例的电子设备的结构框图。
具体实施方式
以下,将参照附图来描述本申请的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本申请的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本申请实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本申请的概念。在本申请的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本申请。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
随着开源云原生调度与资源隔离技术的成熟及各类企业机器成本的与日俱增,以开源云原生调度技术作为资源管理基座,以linux控制组(control groups,cgroup)作为资源隔离技术基座,集装箱(docker)或其他容器运行时作为容器管理方案的混布方案被越来越多的企业认可和应用。然而,经常存在部分企业,由于其存量应用一般部署模式为物理机实例独占,出现物理机实例无法进行混布的技术问题。
本申请的实施例提供了一种基于混布模式的资源调度及隔离方法、装置、设备和介质。基于混布模式的资源调度及隔离包括:响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,其中,所述实例类型包括物理机实例和容器实例;完成实例创建后,在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定。
需要说明的是,本申请的基于混布模式的资源调度及隔离方法、装置、设备和介质可用于云计算技术领域,也可用于除云计算技术领域之外的任意领域,例如计算机技术领域,这里对本申请的领域不做限定。
图1示意性示出了根据本申请实施例的可以应用基于混布模式的资源调度及隔离方法、装置、设备和介质的示例性系统架构100。需要注意的是,图1所示仅为可以应用本申请实施例的系统架构的示例,以帮助本领域技术人员理解本申请的技术内容,但并不意味着本申请实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括至少一个用户设备110,网络120和至少一个宿主设备130。网络120用以在用户设备110和宿主设备130之间提供通信链路的介质。网络120可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用用户设备110通过网络120与宿主设备130交互,以接收或发送消息等。用户设备110上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
用户设备110可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
宿主设备130可以是提供各种服务的服务器,例如对用户利用用户设备110所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给用户设备。
需要说明的是,本申请实施例所提供的基于混布模式的资源调度及隔离方法一般可以由宿主设备130执行。相应地,本申请实施例所提供的基于混布模式的资源调度及隔离装置一般可以设置于宿主设备130中。本申请实施例所提供的基于混布模式的资源调度及隔离方法也可以由不同于宿主设备且能够与用户设备110和/或宿主设备130通信的服务器或服务器集群执行。相应地,本申请实施例所提供的基于混布模式的资源调度及隔离装置也可以设置于不同于宿主设备130且能够与用户设备110和/或宿主设备130通信的服务器或服务器集群中。
在本申请的一些实施例中,所述系统架构100还可以如图2所示,包括统一部署系统140以及统一调度系统150。
其中,统一调度系统140,可以用来接收用户基于用户设备110发来的物理机实例及容器实例的申请请求,负责实例资源的申请、调度、部署的流程控制,将实例资源申请的请求发往统一调度系统进行资源调度等。
统一调度系统150,可以用于根据发来的实例调度需求中的资源要求、拓扑部署要求及应用标签,根据当前资源池内当前现状,进行资源调度,选定合适的宿主设备后将实例请求发往对应的宿主设备。
在本申请的一些实施例中,所述系统架构100中的宿主设备130还可以如图3所示,包括实例管理模块131和资源隔离模块132。
其中,实例管理模块131,可以用于负责机器上所有实例的实现周期管理。
资源隔离模块132,可以用于提供资源隔离能力,根据实例的资源申请完成cgroup资源组的创建及实例的绑定。
具体地,本申请实施例中,针对物理机实例的申请和容器实例的申请采用不同的处理方式:
当实例为容器实例时,实例管理模块131直接启动容器并通过资源隔离模块132将容器实例绑定到cgroup资源组来完成资源隔离。
当实例为物理机实例时,实例管理模块131先启动资源占位实例完成cgroup资源组的资源的划分与绑定,再启动物理机实例,最后通过资源隔离模块132将资源占位实例绑定的cgroup资源组与物理机实例进行绑定。应该理解,图1~3中的用户设备、网络和宿主设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于上述系统架构描述的场景,通过图4~图10对本申请实施例的混布模式的资源调度及隔离方法进行详细描述。
图4示意性示出了根据本申请实施例的混布模式的资源调度及隔离方法的流程图。
如图4所示,该实施例的混布模式的资源调度及隔离方法包括操作S410~操作S420。
在操作S410,响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,其中,所述实例类型包括物理机实例和容器实例。
在操作S420,完成实例创建后,在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定。
其中,作为一种可实施的方式,如图5所示,当实例类型为容器实例时,操作410响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,包括操作S411~操作S416。
在操作S411,确定所述容器实例权限检查通过后,创建所述容器实例的管理对象以及所述容器实例的cgroup。
作为一种示例,本申请该操作S411可以用于检查实例是否能运行在本节点,即对所述实例进行权限检查,例如,确定所述实例是否能使用主机网络模式,是否可以以privileged权限运行等。
其中,若所述实例没有权限,则删除本地旧的实例,并返回错误信息作为响应。
在操作S412,更新记录的实例的资源使用信息。
在操作S413,创建所述容器实例的数据目录,并将主机目录挂载到所述容器实例中。
在操作S414,创建预备容器、初始化容器,完成所述容器实例的环境初始化工作。
在操作S415,创建业务容器。
在操作S416,启动所述容器实例。
作为一种示例,本申请该操作S416在启动所述容器实例时,可以由实例管理模块完成容器的启动,包括且并不限于拉取镜像、生成业务容器的配置信息、调用docker api运行容器实例以及启动容器运行时等几个步骤。
其中,作为一种可实施的方式,如图6所示,当实例类型为物理机实例时,操作410响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,包括操作S411~操作S414。
在操作S411,确定所述物理机实例权限检查通过后,创建所述物理机实例的管理对象以及所述物理机实例的cgroup。
在操作S412,更新记录的实例的资源使用信息。
在操作S413,创建所述物理机实例的数据目录,并将主机目录挂载到所述物理机实例中。
在操作S414,创建预备容器、初始化容器,完成所述物理机实例的环境初始化工作。
根据本申请的一些实施例,如图7所示,当实例类型为物理机实例时,完成实例创建后,在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定,包括操作S421~操作S422。
在操作S421,创建并启动资源占位实例,完成资源占位实例的cgroup资源组的资源的划分与绑定。
在操作S422,启动物理机实例,将资源占位实例绑定的cgroup资源组与物理机实例进行绑定。
另一面地,当实例类型为容器实例时,完成实例创建后,在确定所述实例类型为容器实例时,结合资源占位实例对所述容器实例执行资源绑定,包括:启动所述容器实例,并将所述容器实例绑定到对应的cgroup资源组。进一步地,本申请为了更好的确保物理机实例与绑定的cgroup状态同步,图8示意性地,示出了验证所述物理机实例与绑定的cgroup资源组是否符合预期的流程图。
如图8所示,该实施例的验证所述物理机实例与绑定的cgroup资源组是否符合预期包括操作S810~操作S840。
在操作S810,获取所有应用的实例进程,其中,所述实例进程包括容器部署的应用对应的应用实例进程以及物理机部署的应用对应的资源占位实例进程。
在操作S820,根据所述实例进程查询汇总当前资源绑定情况,得到第一资源绑定信息。
作为一种示例,在执行该操作S820时,可以通过下列输入方式查询汇总当前资源绑定情况:
例如,输入命令:taskset-pc${进程号},从而得到第一资源绑定信息。
在操作S830,查询cgroup记录的资源绑定情况,得到第二资源绑定信息。
作为一种示例,在执行该操作S830时,可以通过下列输入方式查询cgroup记录的资源绑定情况:
例如,输入命令:cat/sys/fs/cgroup/XXset,从而得到第二资源绑定信息。
在操作S840,根据所述第一资源绑定信息与所述第二资源绑定信息的比对结果,验证所述物理机实例与绑定的cgroup资源组是否符合预期。
其中,如图9所示,操作840根据所述第一资源绑定信息与所述第二资源绑定信息的比对结果,验证所述物理机实例与绑定的cgroup资源组是否符合预期,包括操作S841~操作S842。
在操作S841,当所述比对结果不一致时,遍历排查所有物理机实例进程的资源绑定与对应资源占位实例的资源绑定是否有异常。
在操作S842,对于未同步的场景,将物理机实例进程的资源绑定向对应资源占位实例进行同步。
可以理解的,执行该操作S842时,因为只有资源占位实例出现异常才会引发运维人员感知不到的同步异常问题,当物理机实例出现异常时运维人员是可以直接感知并进行调整的。
其中,如图10所示,执行该操作S842对于未同步的场景,将物理机实例进程的资源绑定向对应资源占位实例进行同步时,包括操作S842-1~操作S842-3。
在操作S842-1,查询进程号信息。
例如,输入代码:ps-ef|grep${进程关键字}。
在操作S842-2,获取进程cgroup信息。
例如,输入代码:taskset-pc${进程号}。
在操作S842-3,将进程cgroup信息绑定到资源占位实例上。
本申请的基于混布模式的资源调度及隔离方法,通过资源占位实例实现物理机实例与容器实例资源组统一分配的能力。即当实例请求的类型为物理机实例时,通过资源占位实例对物理机实例进行资源绑定,为物理机独占实例向容器混布实例提供了一种渐进式变更方案,在实际应用过程中,仅需增加资源占位实例与物理机实例的cgroup绑定等逻辑,无需对引入的开源代码进行改动,简单快捷,可操作性强,方便后续开源代码的升级,有效解决了物理机实例进行统一调度与容器实例进行统一资源管理的问题。
基于上述混布模式的资源调度及隔离方法,本申请还提供了一种基于混布模式的资源调度及隔离装置11。以下将结合图11对基于混布模式的资源调度及隔离装置11进行详细描述。
图11示意性示出了根据本申请实施例的基于混布模式的资源调度及隔离方法装置11的结构框图。
基于混布模式的资源调度及隔离装置11包括创建模块1和处理模块2。
创建模块1,创建模块1用于执行操作S210:响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,其中,所述实例类型包括物理机实例和容器实例。
处理模块2,处理模块2用于执行操作S220:完成实例创建后,在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定。
可选的,处理模块2,具体用于:
创建并启动资源占位实例,完成资源占位实例的cgroup资源组的资源的划分与绑定;
启动物理机实例,将资源占位实例绑定的cgroup资源组与物理机实例进行绑定。
可选的,处理模块2,还用于:
获取所有应用的实例进程,其中,所述实例进程包括容器部署的应用对应的应用实例进程以及物理机部署的应用对应的资源占位实例进程;
根据所述实例进程查询汇总当前资源绑定情况,得到第一资源绑定信息;
查询cgroup记录的资源绑定情况,得到第二资源绑定信息;
根据所述第一资源绑定信息与所述第二资源绑定信息的比对结果,验证所述物理机实例与绑定的cgroup资源组是否符合预期。
可选的,处理模块2,具体用于:
当所述比对结果不一致时,遍历排查所有物理机实例进程的资源绑定与对应资源占位实例的资源绑定是否有异常;
对于未同步的场景,将物理机实例进程的资源绑定向对应资源占位实例进行同步。
可选的,处理模块2,还用于:
在确定所述实例类型为容器实例时,启动所述容器实例,并将所述容器实例绑定到对应的cgroup资源组。
可选的,创建模块1,具体用于:
确定所述容器实例权限检查通过后,创建所述容器实例的管理对象以及所述容器实例的cgroup,更新记录的实例的资源使用信息;
创建所述容器实例的数据目录,并将主机目录挂载到所述容器实例中;
创建预备容器、初始化容器,完成所述容器实例的环境初始化工作;
创建业务容器,启动所述容器实例。
可选的,创建模块1,具体用于:
确定所述物理机实例权限检查通过后,创建所述物理机实例的管理对象以及所述物理机实例的cgroup,更新记录的实例的资源使用信息;
创建所述物理机实例的数据目录,并将主机目录挂载到所述物理机实例中;
创建预备容器、初始化容器,完成所述物理机实例的环境初始化工作。
下面详细描述根据本申请实施例的基于混布模式的资源调度及隔离系统。值得理解的是,下述描述仅是示例性说明,而不是对本申请的具体限制。
基于混布模式的资源调度及隔离系统可以包括统一部署系统、统一调度系统、实例管理模块和资源隔离模块。
统一部署系统:接收用户发来的物理机实例及容器实例的申请请求,负责实例资源的申请、调度、部署的流程控制,将实例资源申请的请求发往统一调度系统进行资源调度。
统一调度系统:根据发来的实例调度需求中的资源要求、拓扑部署要求及应用标签,根据当前资源池内当前现状,进行资源调度,选定合适的宿主机后将实例请求发往该机器。
实例管理模块:负责机器上所有实例的实现周期管理,针对物理机实例的申请和容器实例的申请采用不同的处理方式:
对于容器实例,直接启动容器并通过资源隔离模块将容器绑定到cgroup资源组来完成资源隔离。
对于物理机实例,先启动资源占位实例完成cgroup资源组的资源的划分与绑定,再启动物理机实例,最后将资源占位实例绑定的cgroup资源组与物理机实例进行绑定。
资源隔离模块:提供资源隔离能力,根据实例的资源申请完成cgroup资源组的创建及实例的绑定。
实例调度与创建流程说明如下。
1.客户端请求统一部署系统创建实例,统一部署系统调用统一调度系统开始为实例申请主机资源,统一调度系统通过认证、鉴权、准入后,会把请求相关信息持久化至存储。
2.统一调度系统通过list-watch机制来发现未绑定主机的实例,并通过预选及优选策略算法,来计算出实例最终可调度的主机节点。
3.实例管理模块通过list-watch发现有新的实例绑定到本主机上,则会发起创建实例相关流程。
4.实例管理模块执行实例创建任务。
5.实例管理模块完成创建实例前的准备工作。
a)检查实例是否能运行在本节点,主要是权限检查(是否能使用主机网络模式,是否可以以privileged权限运行等)。如果没有权限,就删除本地旧的实例并返回错误信息。
b)创建容器实例管理对象,并且创建实例的cgroup,更新统一调度模块中记录的实例的资源使用信息。
c)创建实例的数据目录。
d)调用实例管理模块将主机目录挂载到容器实例中。
6.创建容器实例的运行时。
a)创建预备容器。
b)创建初始化容器,完成业务容器运行前的环境初始化工作(例:用户创建、gcc环境配置)。
c)创建业务容器。
7.启动容器,最终由实例管理模块完成容器的启动,其主要有以下几个步骤。
a)拉取镜像。
b)生成业务容器的配置信息。
c)调用docker api运行容器实例。
d)启动容器运行时。
物理机实例相比容器实例的区别如下:
1.上述第6步中并不创建业务容器。
2.上述第7步中并不启动业务容器。
3.在上述1-7步执行完毕后还需要下述步骤将物理机实例与占位的容器实例的cgroup信息进行绑定。
物理机实例资源隔离流程说明如下。
1.根据物理机实例资源隔离要求创建资源占位实例。
2.查询资源占位实例的cgroup资源组。
3.启动物理机实例。
4.将资源占位实例的cgroup资源组绑定至物理机实例进程。
5.验证物理机实例进程对应资源组绑定是否符合预期。
物理机实例的cgroup绑定及状态同步逻辑说明如下。
1.获取所有应用的容器实例进程。
a)容器部署的应用为应用实例进程。
b)物理机直接部署的应用为对应资源占位实例的进程。
2.根据进程查询汇总当前资源绑定情况。
命令:taskset-pc${进程号}
3.查询cgroup记录的资源绑定情况。
命令:cat/sys/fs/cgroup/XXset
4.对比2、3的数据,如果有异常则说明物理机实例cgroup资源绑定有出现不同步的情况。
5.遍历排查所有物理机实例进程的资源绑定与对应资源占位实例的资源绑定是否有异常。
6.对于未同步的场景,将物理机实例进程的资源绑定向对应资源占位实例进行同步;(因为只有资源占位实例出现异常才会引发运维人员感知不到的的同步异常问题,当物理机实例出现异常时运维人员是可以直接感知并进行调整的)。
a)查询进程号信息:ps-ef|grep${进程关键字}。
b)获取进程cgroup信息:taskset-pc${进程号}。
c)将进程cgroup信息绑定到资源占位实例上。
命令:cgset–copy-from${源进程cgroup目录}${目标进程}。
cgroup资源隔离能力介绍如下。
linux cgroup是Linux内核的一个功能,用来限制、控制与分离一个进程组的资源(如CPU、内存、磁盘输入输出等),cgroup主要限制的资源为:CPU、内存、网络和磁盘。当将可用的系统资源按特定百分比分配给cgroup时,剩余的资源可供系统上其他cgroup或进程使用。
物理机实例资源绑定采用上述实现方式的原因:相比物理机实例直接调用资源隔离模块完成cgroup绑定,本申请无需对引入的开源代码进行改动,方便后续开源代码的升级。仅增加资源占位实例与物理机实例的cgroup绑定及状态同步逻辑即可,代码改动量小。本申请通过使用资源占位容器实例的方式提供了一种物理机实例与容器实例统一调度及资源隔离的方案,为物理机独占实例向容器混布实例提供了一种渐进式变更方案的同时,解决了物理机实例进行统一调度与容器实例进行统一资源管理的问题。
图12示意性示出了根据本申请实施例的适于实现上述方法的电子设备的方框图。
如图12所示,根据本申请实施例的电子设备1200包括处理器1201,其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。处理器1201例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器1201还可以包括用于缓存用途的板载存储器。处理器1201可以包括用于执行根据本申请实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1203中,存储有电子设备1200操作所需的各种程序和数据。处理器1201、ROM 1202以及RAM 1203通过总线1204彼此相连。处理器1201通过执行ROM 1202和/或RAM1203中的程序来执行根据本申请实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM1202和RAM1203以外的一个或多个存储器中。处理器1201也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本申请实施例的方法流程的各种操作。
根据本申请的实施例,电子设备1200还可以包括输入/输出(I/O)接口1205,输入/输出(I/O)接口1205也连接至总线1204。电子设备1200还可以包括连接至I/O接口1205的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1206;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207;包括硬盘等的存储部分1208;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至输入/输出(I/O)接口1205。可拆卸介质1211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1210上,以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本申请实施例的方法。
根据本申请的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本申请的实施例,计算机可读存储介质可以包括上文描述的ROM 1202和/或RAM 1203和/或ROM 1202和RAM1203以外的一个或多个存储器。
本申请的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本申请实施例的方法。
在该计算机程序被处理器1201执行时执行本申请实施例的系统/装置中限定的上述功能。根据本申请的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1209被下载和安装,和/或从可拆卸介质1211被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分1209从网络上被下载和安装,和/或从可拆卸介质1211被安装。在该计算机程序被处理器1201执行时,执行本申请实施例的系统中限定的上述功能。根据本申请的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本申请的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本申请中。特别地,在不脱离本申请精神和教导的情况下,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本申请的范围。
以上对本申请的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本申请的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本申请的范围由所附权利要求及其等同物限定。不脱离本申请的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本申请的范围之内。
Claims (10)
1.一种基于混布模式的资源调度及隔离方法,其特征在于,包括:
响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,其中,所述实例类型包括物理机实例和容器实例;
完成实例创建后,在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定。
2.根据权利要求1所述的方法,其特征在于,所述在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定,包括:
创建并启动资源占位实例,完成资源占位实例的cgroup资源组的资源的划分与绑定;
启动物理机实例,将资源占位实例绑定的cgroup资源组与物理机实例进行绑定。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取所有应用的实例进程,其中,所述实例进程包括容器部署的应用对应的应用实例进程以及物理机部署的应用对应的资源占位实例进程;
根据所述实例进程查询汇总当前资源绑定情况,得到第一资源绑定信息;
查询cgroup记录的资源绑定情况,得到第二资源绑定信息;
根据所述第一资源绑定信息与所述第二资源绑定信息的比对结果,验证所述物理机实例与绑定的cgroup资源组是否符合预期。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一资源绑定信息与所述第二资源绑定信息的比对结果,验证所述物理机实例与绑定的cgroup资源组是否符合预期,包括:
当所述比对结果不一致时,遍历排查所有物理机实例进程的资源绑定与对应资源占位实例的资源绑定是否有异常;
对于未同步的场景,将物理机实例进程的资源绑定向对应资源占位实例进行同步。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定所述实例类型为容器实例时,启动所述容器实例,并将所述容器实例绑定到对应的cgroup资源组。
6.根据权利要求1~5中任一项所述的方法,其特征在于,当所述实例类型为容器实例时,所述根据所述实例请求对应的实例类型执行相应的实例创建,包括:
确定所述容器实例权限检查通过后,创建所述容器实例的管理对象以及所述容器实例的cgroup,更新记录的实例的资源使用信息;
创建所述容器实例的数据目录,并将主机目录挂载到所述容器实例中;
创建预备容器、初始化容器,完成所述容器实例的环境初始化工作;
创建业务容器,启动所述容器实例。
7.根据权利要求1~5中任一项所述的方法,其特征在于,当所述实例类型为物理机实例时,所述根据所述实例请求对应的实例类型执行相应的实例创建,包括:
确定所述物理机实例权限检查通过后,创建所述物理机实例的管理对象以及所述物理机实例的cgroup,更新记录的实例的资源使用信息;
创建所述物理机实例的数据目录,并将主机目录挂载到所述物理机实例中;
创建预备容器、初始化容器,完成所述物理机实例的环境初始化工作。
8.一种基于混布模式的资源调度及隔离装置,其特征在于,包括:
创建模块,响应于用户端设备的实例请求,根据所述实例请求对应的实例类型执行相应的实例创建,其中,所述实例类型包括物理机实例和容器实例;
处理模块,完成实例创建后,在确定所述实例类型为物理机实例时,结合资源占位实例对所述物理机实例执行资源绑定。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
一个或多个存储器,用于存储可执行指令,所述可执行指令在被所述处理器执行时,实现根据权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有可执行指令,该指令被处理器执行时实现根据权利要求1~7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310770529.0A CN116980287A (zh) | 2023-06-27 | 2023-06-27 | 基于混布模式的资源调度及隔离方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310770529.0A CN116980287A (zh) | 2023-06-27 | 2023-06-27 | 基于混布模式的资源调度及隔离方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116980287A true CN116980287A (zh) | 2023-10-31 |
Family
ID=88475905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310770529.0A Pending CN116980287A (zh) | 2023-06-27 | 2023-06-27 | 基于混布模式的资源调度及隔离方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116980287A (zh) |
-
2023
- 2023-06-27 CN CN202310770529.0A patent/CN116980287A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11553034B2 (en) | Server computer management system for supporting highly available virtual desktops of multiple different tenants | |
US11405274B2 (en) | Managing virtual network functions | |
CN109547570B (zh) | 服务注册方法、装置、注册中心管理设备及存储介质 | |
US10757197B2 (en) | Self-extending cloud | |
US9489227B2 (en) | Apparatus and method for virtual desktop service | |
CN112104723B (zh) | 一种多集群的数据处理系统及方法 | |
US20190034460A1 (en) | Co-locating Microservice Persistence Containers within Tenant-Specific Database | |
US10728169B1 (en) | Instance upgrade migration | |
US20030221094A1 (en) | Method and system for configuring a computer | |
JP2013522769A (ja) | 仮想マシンイメージ更新サービス | |
CN110661647A (zh) | 一种生命周期管理方法及装置 | |
US20210326161A1 (en) | Apparatus and method for multi-cloud service platform | |
CN106371874A (zh) | 一种插件数据加载方法及设备 | |
CN111045781B (zh) | 一种云平台创建镜像的方法、装置和存储介质 | |
CN103873534A (zh) | 一种应用集群迁移方法及装置 | |
CN110968331A (zh) | 应用程序运行的方法和装置 | |
US7188120B1 (en) | System statistics virtualization for operating systems partitions | |
CN114938394B (zh) | 跨集群网络控制方法、装置、设备及存储介质 | |
CN116028163A (zh) | 一种容器组的动态链接库调度方法、装置及存储介质 | |
CN113660315A (zh) | 一种云计算服务提供方法、装置、设备及可读存储介质 | |
CN115878138B (zh) | 应用预下载方法、装置、计算机、存储介质 | |
CN107045452B (zh) | 虚拟机调度方法和装置 | |
CN111427634A (zh) | 一种原子服务调度的方法及装置 | |
CN116980287A (zh) | 基于混布模式的资源调度及隔离方法、装置、设备和介质 | |
US20180278544A1 (en) | Enabling a traditional language platform to participate in a java enterprise computing environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |