CN109144727A - 云数据系统中资源的管理方法和装置 - Google Patents

云数据系统中资源的管理方法和装置 Download PDF

Info

Publication number
CN109144727A
CN109144727A CN201810953801.8A CN201810953801A CN109144727A CN 109144727 A CN109144727 A CN 109144727A CN 201810953801 A CN201810953801 A CN 201810953801A CN 109144727 A CN109144727 A CN 109144727A
Authority
CN
China
Prior art keywords
container
resource
resource quota
information
quota information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810953801.8A
Other languages
English (en)
Inventor
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810953801.8A priority Critical patent/CN109144727A/zh
Publication of CN109144727A publication Critical patent/CN109144727A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云数据系统中资源的管理方法和装置。所述方法包括:获取计算集群中正在运行的容器内的任务对资源的使用状态信息;根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整;如果判断结果为需要调整,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息。

Description

云数据系统中资源的管理方法和装置
技术领域
本发明涉及信息处理领域,尤指一种云数据系统中资源的管理方法和装置。
背景技术
容器技术虚拟化技术已经成为一种被大家广泛认可的容器技术服务器资源共享方式,容器技术可以在按需构建容器技术操作系统实例的过程当中为系统管理员提供极大的灵活性。由于hypervisor虚拟化技术仍然存在一些性能和资源使用效率方面的问题,因此出现了一种称为容器技术(Container)的新型虚拟化技术来帮助解决这些问题。
容器技术可以同时将操作系统镜像和应用程序加载到内存当中。还可以从网络磁盘进行加载,因为同时启动几十台镜像不会对网络和存储带来很大负载。之后的镜像创建过程只需要指向通用镜像,大大减少了所需内存。容器技术能够在同一台服务器上创建相比于之前两倍的虚拟机实例数量,因此无疑将会降低系统总投入。但是必须认真进行规划,因为双倍的实例数量同样意味着对于运行这些实例的服务器带来了双倍的I/O负载。
为了扩展适用范围,容器技术仍然需要在安全方面不断改进。但是现在,我们可以看到的是这种方式可以解决hypervisor虚拟化当中的大多数性能问题。再加上更加轻松和快捷的部署方式,容器技术将会在不久的将来占据虚拟化市场。
现在技术中,容器是轻量级的操作系统级虚拟化,可以让我们在一个资源隔离的进程中运行应用及其依赖项。运行应用程序所必需的组件都将打包成一个镜像并可以复用。执行镜像时,它会运行在一个隔离环境中,并且不会共享宿主机的内存、CPU、GPU以及磁盘,这就保证了容器内进程不能监控容器外的任何进程。现阶段很多容器监控工具可以帮助实时监控容器的运行状态,及时帮助我们了解容器的运行状态,并且通过docker自身的命令操作对已运行容器的资源进行弹性伸缩,但是还没有实现动态调整容器的资源配额,造成资源不能合理使用。
发明内容
为了解决上述技术问题,本发明提供了一种云数据系统中资源的管理方法和装置,能够实现动态调整容器的资源配额。
为了达到本发明目的,本发明提供了一种云数据系统中资源的管理方法,包括:
获取计算集群中正在运行的容器内的任务对资源的使用状态信息;
根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整;
如果判断结果为需要调整,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息。
其中,所述方法还具有如下特点:所述根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整包括:
根据所述容器当前使用的资源信息与所述容器的资源配额信息,计算所述容器当前使用的资源比例;
将所述资源比例与预先设置的上限阈值和下限阈值进行比较;
如果所述资源比例大于所述上限阈值,或者,所述比例阈值低于所述下限阈值,则判断结果为对所述容器的资源配额信息进行调整。
其中,所述方法还具有如下特点:所述根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息包括:
获取所述正在运行的容器的资源配额的已使用状态;
根据所述资源配额的已使用状态,判断所述容器所分配到的资源是否为不足或过剩;
如果判断结果为所述容器所分配到的资源不足,则触发增加所述容器的资源配额的大小的流程;如果所述判断结果为所述容器所分配到的资源过剩,则触发减小所述容器的资源配额的大小的流程。
其中,所述方法还具有如下特点:所述根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息之后,所述方法还包括:
在存储时长为第一时长的数据库中,记录所述计算集群的实时资源利用状态和各容器的实时资源利用状态;
在存储时长为第二时长的数据库中存储调整后的各容器的资源配额信息,其中所述第一时长小于所述第二时长。
其中,所述方法还具有如下特点:所述在存储时长为第一时长的数据库中,记录所述计算集群的实时资源利用状态和各容器的实时资源利用状态,以及在存储时长为第二时长的数据库中存储调整后的各容器的资源配额信息之后,所述方法还包括:
当检测到有新的容器启动后,从所述存储时长为第二时长的数据库中查找所述容器的资源配额信息;
如果查找到所述容器的资源配额信息,则按照查找到的资源配额信息为所述新启动的容器分配资源;
如果未查找到所述容器的资源配额信息,在所述新启动的容器启动预先设置的运行时长后,从获取存储时长为第一时长的数据库中,获取所述计算集群的实时资源利用状态和所述新启动的容器的实时资源利用状态,确定所述新启动的容器的资源配额信息。
为了达到本发明目的,本发明还提供一种云数据系统中资源的管理装置,包括:
获取模块,用于获取计算集群中正在运行的容器内的任务对资源的使用状态信息;
判断模块,用于根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整;
调整模块,用于如果判断结果为需要调整,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息。
其中,所述装置还具有如下特点:所述判断模块包括:
计算单元,用于根据所述容器当前使用的资源信息与所述容器的资源配额信息,计算所述容器当前使用的资源比例;
比较单元,用于将所述资源比例与预先设置的上限阈值和下限阈值进行比较;
确定单元,用于如果所述资源比例大于所述上限阈值,或者,所述比例阈值低于所述下限阈值,则判断结果为对所述容器的资源配额信息进行调整。
其中,所述装置还具有如下特点:所述调整模块包括:
获取单元,用于获取所述正在运行的容器的资源配额的已使用状态;
判断单元,用于根据所述资源配额的已使用状态,判断所述容器所分配到的资源是否为不足或过剩;
调整单元,用于如果判断结果为所述容器所分配到的资源不足,则触发增加所述容器的资源配额的大小的流程;如果所述判断结果为所述容器所分配到的资源过剩,则触发减小所述容器的资源配额的大小的流程。
其中,所述装置还具有如下特点:所述装置还包括:
记录模块,用于在调整所述正在运行的容器的资源配额信息之后,在存储时长为第一时长的数据库中,记录所述计算集群的实时资源利用状态和各容器的实时资源利用状态;在存储时长为第二时长的数据库中存储调整后的各容器的资源配额信息,其中所述第一时长小于所述第二时长。
其中,所述装置还具有如下特点:所述装置还包括:
查找模块,用于在记录模块记录信息后,当检测到有新的容器启动后,从所述存储时长为第二时长的数据库中查找所述容器的资源配额信息;
第一处理模块,用于如果查找到所述容器的资源配额信息,则按照查找到的资源配额信息为所述新启动的容器分配资源;
第二处理模块,用于如果未查找到所述容器的资源配额信息,在所述新启动的容器启动预先设置的运行时长后,从获取存储时长为第一时长的数据库中,获取所述计算集群的实时资源利用状态和所述新启动的容器的实时资源利用状态,确定所述新启动的容器的资源配额信息。
本发明提供的实施例,通过获取计算集群中正在运行的容器内的任务对资源的使用状态信息,并根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整,在判断结果为需要调整时,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息,实现自动对正在运行的容器进行资源配额的弹性伸缩,提高闲置资源的利用率,释放多余的资源配额给其他计算集群,另外还可以提高容器的运行效率,及时的完成容器内的任务。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明提供的云数据系统中资源的管理方法的流程图;
图2为本发明提供的自动实现容器资源配额的弹性伸缩的方法的示意图;
图3为本发明提供的云数据系统中资源的管理装置的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明提供的云数据系统中资源的管理方法的流程图。图1所示方法包括:
步骤101、获取计算集群中正在运行的容器内的任务对资源的使用状态信息;
其中,运行中容器的任务资源使用的情况可以通过对容器内任务的处理状态进行实时监控来获知;例如,可采用cAdvisor等第三方开源软件,对正在运行的容器的状态进行实时监控,对CPU,GPU,内存,容器的运行状态有实时日志文件输出,以方便后续的容器状态跟踪;
步骤102、根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整;
其中,判断的依据是确定该容器的资源使用状态是否存在资源过剩或不足的情况,如果存在上述情况,则需要进行调整,否则,不需要进行调整;
步骤103、如果判断结果为需要调整,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息。
其中,在调整过程中,还需要对计算集群资源的监控,以达到通过对计算集群的CPU、GPU、内存和磁盘利用率的监控掌握计算集群整体的运行状态,计算集群的状态会及时以供调整操作。
通过对资源总体使用情况进行评估,评估指标综合考虑任务进度,运行中容器内的资源利用率和计算集群的资源利用率,然后会综合给出容器资源的申请信息,进行容器资源配额弹性伸缩的处理。
其中,容器资源配额弹性伸缩的处理是根据容器内任务的状态监控的请求进行相应的操作对正在运行的容器进行弹性伸缩,例如增减CPU、GPU、内存等计算资源。
本发明提供的方法实施例,通过获取计算集群中正在运行的容器内的任务对资源的使用状态信息,并根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整,在判断结果为需要调整时,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息,实现自动对正在运行的容器进行资源配额的弹性伸缩,提高闲置资源的利用率,释放多余的资源配额给其他计算集群,另外还可以提高容器的运行效率,及时的完成容器内的任务。
下面对本发明提供的方法实施例作进一步说明:
本发明方案的基本思想具体如下:
1)实时跟踪容器、计算集群的运行状态,实时的收集资源配额信息;
2)实时收集容器内任务的运行状态,资源的使用情况;
3)对运行中的容器资源配额进行弹性伸缩;
4)自动化实现容器和计算集群资源配额的弹性伸缩。
其中,所述根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整包括:
根据所述容器当前使用的资源信息与所述容器的资源配额信息,计算所述容器当前使用的资源比例;
将所述资源比例与预先设置的上限阈值和下限阈值进行比较;
如果所述资源比例大于所述上限阈值,或者,所述比例阈值低于所述下限阈值,则判断结果为对所述容器的资源配额信息进行调整。
具体的,以容器为单位,计算各个容器的资源的使用比例,通过该使用比例来确定该容器所得到的资源配额是否合理,如果使用比例过高,则表示该容器所得到的资源配额过低,则闲置资源过多,造成了资源的浪费;如果使用比例过低,则表示该容器所得到的资源配额过高,会影响容器内任务的及时处理。无论是过高还是过低,都需要进行资源配额的调整,以保证资源的合理利用,容器内任务的及时处理。
其中,所述根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息包括:
获取所述正在运行的容器的资源配额的已使用状态;
根据所述资源配额的已使用状态,判断所述容器所分配到的资源是否为不足或过剩;
如果判断结果为所述容器所分配到的资源不足,则触发增加所述容器的资源配额的大小的流程;如果所述判断结果为所述容器所分配到的资源过剩,则触发减小所述容器的资源配额的大小的流程。
具体的,通过对容器的资源配合已使用状态的判断,可以确定本次的对该资源配额的调整方向,在结合计算集群中资源配额的使用状态以及计算集群中其他容器的资源使用状态,确定调整的数值,完成资源配额的调整。
为达到提高后续调整的精确性,可以对调整前后收集到的数据进行充分利用,即在完成调整后,在存储时长为第一时长的数据库中,记录所述计算集群的实时资源利用状态和各容器的实时资源利用状态;在存储时长为第二时长的数据库中存储调整后的各容器的资源配额信息,其中所述第一时长小于所述第二时长。
具体的,在收集到监控的容器、容器内任务、计算集群的资源利用信息监控的容器、容器内任务、计算集群的资源利用信息后,统一归类记录到一个临时的数据库以供分析使用,该数据库会定时进行删除冗余信息以防止数据库过载;同时会有一个长期数据库作为辅助参考使用,该数据库会对新启动的容器进行匹配,通过对历史运行记录的分析进行合理分配该容器的资源配额。
其中,在记录上述信息后,可以借助上述数据有针对性的对容器的资源配额进行调整,具体来说:
当检测到有新的容器启动后,从所述存储时长为第二时长的数据库中查找所述容器的资源配额信息;
如果查找到所述容器的资源配额信息,则按照查找到的资源配额信息为所述新启动的容器分配资源;
如果未查找到所述容器的资源配额信息,在所述新启动的容器启动预先设置的运行时长后,从获取存储时长为第一时长的数据库中,获取所述计算集群的实时资源利用状态和所述新启动的容器的实时资源利用状态,确定所述新启动的容器的资源配额信息。
具体的,在有新启动的容器时,通过上述两个数据库可以为资源配额的确定提供数据依据,提高处理效率和精确性。
图2为本发明提供的自动实现容器资源配额的弹性伸缩的方法的示意图。图2所示的具体实施过程如下:
1)通过第三方开源的容器、计算集群、容器任务的监控工具对容器的资源使用,计算集群的在用和闲置资源进行实时监控和记录;
2)实时监控的容器、容器内任务、计算集群的资源利用信息进行转存,统一归类记录到一个临时的数据库以供分析使用,该数据库会定时进行删除冗余信息以防止数据库过载;同时会有一个长期数据库作为辅助参考使用,该数据库会对新启动的容器进行匹配,通过对历史运行记录的分析进行合理分配该容器的资源配额;
3)资源配额的综合评估会对数据库中的实时资源信息进行分析,主要是对当前计算集群和容器运行状态进行资源利用率最大化的原则进行分析和提出资源配额的新申请给资源配额弹伸缩模块。评价的原则是容器为先,计算集群为后,为容器提供最大化的资源配额。启动机制是一旦有新容器启动,该评价模块会自动启动,优先访问长期数据库和计算集群实时状态,然后给出该新容器的最优化资源配额;如果长期数据库中没有该容器信息,则会在此新容器启动一段时间后再次自动启动查询临时数据库,然后综合考虑计算集群、容器信息然后发出资源配额弹性伸缩的请求。新类型容器人物结束后会对该类型任务进行记录,并存储到长期数据库。如果没有新类型的容器任务启动,则会定时启动评价机制对临时数据库中的信息进行分析和发出资源配额弹性伸缩的请求给动态弹性伸缩模块。弹性伸缩的资源范围包括CPU、GPU、内存和磁盘。
4)动态资源配额弹性伸缩会对资源配额的综合评估给出的请求做出操作,对运行中的容器发出资源使用更新;
可选的,还可以根据大量的容器任务信息利用机器学习进行分析,然后得出不同类型任务的资源配额最优化的方案,这样可以直接调用模板设置最优化的资源配额。
综上所述,本发明提出一种动态的容器资源配额的动态伸缩的方案,通过对容器,计算集群的监控信息以及容器内任务状态的监控信息的实时查询后,进行综合的评估,然后自动对正在运行的容器进行资源配额的弹性伸缩,这样可以提高闲置资源的利用率,释放多余的资源配额给其他计算集群,另外还可以提高容器的运行效率,及时的完成容器内的任务。
图3为本发明提供的云数据系统中资源的管理装置的结构图。图3所示装置包括:
获取模块301,用于获取计算集群中正在运行的容器内的任务对资源的使用状态信息;
判断模块302,用于根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整;
调整模块303,用于如果判断结果为需要调整,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息。
在本发明提供的一个装置实施例中,所述判断模块302包括:
计算单元,用于根据所述容器当前使用的资源信息与所述容器的资源配额信息,计算所述容器当前使用的资源比例;
比较单元,用于将所述资源比例与预先设置的上限阈值和下限阈值进行比较;
确定单元,用于如果所述资源比例大于所述上限阈值,或者,所述比例阈值低于所述下限阈值,则判断结果为对所述容器的资源配额信息进行调整。
在本发明提供的一个装置实施例中,所述调整模块303包括:
获取单元,用于获取所述正在运行的容器的资源配额的已使用状态;
判断单元,用于根据所述资源配额的已使用状态,判断所述容器所分配到的资源是否为不足或过剩;
调整单元,用于如果判断结果为所述容器所分配到的资源不足,则触发增加所述容器的资源配额的大小的流程;如果所述判断结果为所述容器所分配到的资源过剩,则触发减小所述容器的资源配额的大小的流程。
在本发明提供的一个装置实施例中,所述装置还包括:
记录模块,用于在调整所述正在运行的容器的资源配额信息之后,在存储时长为第一时长的数据库中,记录所述计算集群的实时资源利用状态和各容器的实时资源利用状态;在存储时长为第二时长的数据库中存储调整后的各容器的资源配额信息,其中所述第一时长小于所述第二时长。
在本发明提供的一个装置实施例中,所述装置还包括:
查找模块,用于在记录模块记录信息后,当检测到有新的容器启动后,从所述存储时长为第二时长的数据库中查找所述容器的资源配额信息;
第一处理模块,用于如果查找到所述容器的资源配额信息,则按照查找到的资源配额信息为所述新启动的容器分配资源;
第二处理模块,用于如果未查找到所述容器的资源配额信息,在所述新启动的容器启动预先设置的运行时长后,从获取存储时长为第一时长的数据库中,获取所述计算集群的实时资源利用状态和所述新启动的容器的实时资源利用状态,确定所述新启动的容器的资源配额信息。
本发明提供的装置实施例,通过获取计算集群中正在运行的容器内的任务对资源的使用状态信息,并根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整,在判断结果为需要调整时,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息,实现自动对正在运行的容器进行资源配额的弹性伸缩,提高闲置资源的利用率,释放多余的资源配额给其他计算集群,另外还可以提高容器的运行效率,及时的完成容器内的任务。
本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现,所述计算机程序可以存储于一计算机可读存储介质中,所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行,在执行时,包括方法实施例的步骤之一或其组合。
可选地,上述实施例的全部或部分步骤也可以使用集成电路来实现,这些步骤可以被分别制作成一个个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现,它们可以集中在单个的计算装置上,也可以分布在多个计算装置所组成的网络上。
上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.一种云数据系统中资源的管理方法,其特征在于,包括:
获取计算集群中正在运行的容器内的任务对资源的使用状态信息;
根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整;
如果判断结果为需要调整,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整包括:
根据所述容器当前使用的资源信息与所述容器的资源配额信息,计算所述容器当前使用的资源比例;
将所述资源比例与预先设置的上限阈值和下限阈值进行比较;
如果所述资源比例大于所述上限阈值,或者,所述比例阈值低于所述下限阈值,则判断结果为对所述容器的资源配额信息进行调整。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息包括:
获取所述正在运行的容器的资源配额的已使用状态;
根据所述资源配额的已使用状态,判断所述容器所分配到的资源是否为不足或过剩;
如果判断结果为所述容器所分配到的资源不足,则触发增加所述容器的资源配额的大小的流程;如果所述判断结果为所述容器所分配到的资源过剩,则触发减小所述容器的资源配额的大小的流程。
4.根据权利要求1所述的方法,其特征在于,所述根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息之后,所述方法还包括:
在存储时长为第一时长的数据库中,记录所述计算集群的实时资源利用状态和各容器的实时资源利用状态;
在存储时长为第二时长的数据库中存储调整后的各容器的资源配额信息,其中所述第一时长小于所述第二时长。
5.根据权利要求4所述的方法,其特征在于,所述在存储时长为第一时长的数据库中,记录所述计算集群的实时资源利用状态和各容器的实时资源利用状态,以及在存储时长为第二时长的数据库中存储调整后的各容器的资源配额信息之后,所述方法还包括:
当检测到有新的容器启动后,从所述存储时长为第二时长的数据库中查找所述容器的资源配额信息;
如果查找到所述容器的资源配额信息,则按照查找到的资源配额信息为所述新启动的容器分配资源;
如果未查找到所述容器的资源配额信息,在所述新启动的容器启动预先设置的运行时长后,从获取存储时长为第一时长的数据库中,获取所述计算集群的实时资源利用状态和所述新启动的容器的实时资源利用状态,确定所述新启动的容器的资源配额信息。
6.一种云数据系统中资源的管理装置,其特征在于,包括:
获取模块,用于获取计算集群中正在运行的容器内的任务对资源的使用状态信息;
判断模块,用于根据所述使用状态信息,判断是否对所述容器的资源配额信息进行调整;
调整模块,用于如果判断结果为需要调整,则根据所述计算集群的资源配额信息和计算集群中各容器的资源配额信息,调整所述正在运行的容器的资源配额信息。
7.根据权利要求6所述的装置,其特征在于,所述判断模块包括:
计算单元,用于根据所述容器当前使用的资源信息与所述容器的资源配额信息,计算所述容器当前使用的资源比例;
比较单元,用于将所述资源比例与预先设置的上限阈值和下限阈值进行比较;
确定单元,用于如果所述资源比例大于所述上限阈值,或者,所述比例阈值低于所述下限阈值,则判断结果为对所述容器的资源配额信息进行调整。
8.根据权利要求6或7所述的装置,其特征在于,所述调整模块包括:
获取单元,用于获取所述正在运行的容器的资源配额的已使用状态;
判断单元,用于根据所述资源配额的已使用状态,判断所述容器所分配到的资源是否为不足或过剩;
调整单元,用于如果判断结果为所述容器所分配到的资源不足,则触发增加所述容器的资源配额的大小的流程;如果所述判断结果为所述容器所分配到的资源过剩,则触发减小所述容器的资源配额的大小的流程。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
记录模块,用于在调整所述正在运行的容器的资源配额信息之后,在存储时长为第一时长的数据库中,记录所述计算集群的实时资源利用状态和各容器的实时资源利用状态;在存储时长为第二时长的数据库中存储调整后的各容器的资源配额信息,其中所述第一时长小于所述第二时长。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
查找模块,用于在记录模块记录信息后,当检测到有新的容器启动后,从所述存储时长为第二时长的数据库中查找所述容器的资源配额信息;
第一处理模块,用于如果查找到所述容器的资源配额信息,则按照查找到的资源配额信息为所述新启动的容器分配资源;
第二处理模块,用于如果未查找到所述容器的资源配额信息,在所述新启动的容器启动预先设置的运行时长后,从获取存储时长为第一时长的数据库中,获取所述计算集群的实时资源利用状态和所述新启动的容器的实时资源利用状态,确定所述新启动的容器的资源配额信息。
CN201810953801.8A 2018-08-21 2018-08-21 云数据系统中资源的管理方法和装置 Pending CN109144727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810953801.8A CN109144727A (zh) 2018-08-21 2018-08-21 云数据系统中资源的管理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810953801.8A CN109144727A (zh) 2018-08-21 2018-08-21 云数据系统中资源的管理方法和装置

Publications (1)

Publication Number Publication Date
CN109144727A true CN109144727A (zh) 2019-01-04

Family

ID=64790469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810953801.8A Pending CN109144727A (zh) 2018-08-21 2018-08-21 云数据系统中资源的管理方法和装置

Country Status (1)

Country Link
CN (1) CN109144727A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800060A (zh) * 2019-01-31 2019-05-24 携程旅游信息技术(上海)有限公司 云平台系统、管理方法、设备及存储介质
CN110287029A (zh) * 2019-06-27 2019-09-27 中国—东盟信息港股份有限公司 一种基于kubernetes容器资源动态调整的方法
CN110442428A (zh) * 2019-08-02 2019-11-12 北京智芯微电子科技有限公司 Docker容器的协调方法
CN111552556A (zh) * 2020-03-24 2020-08-18 合肥中科类脑智能技术有限公司 一种gpu集群服务管理系统及方法
CN112286644A (zh) * 2020-12-25 2021-01-29 同盾控股有限公司 Gpu虚拟化算力的弹性调度方法、系统、设备和存储介质
CN112559142A (zh) * 2019-09-26 2021-03-26 贵州白山云科技股份有限公司 容器的控制方法、装置、边缘计算系统、介质及设备
CN112948109A (zh) * 2021-02-20 2021-06-11 山东英信计算机技术有限公司 一种ai计算集群的配额弹性调度方法、装置及介质
CN113886078A (zh) * 2021-09-28 2022-01-04 江苏安超云软件有限公司 基于动态阈值机制实现配额统一管理的方法及应用
CN114020479A (zh) * 2022-01-06 2022-02-08 杭州银行股份有限公司 一种服务资源配置方法、计算设备及存储介质
CN116431335A (zh) * 2023-03-21 2023-07-14 哈尔滨工业大学 一种基于控制组的容器消息队列资源配额控制方法
CN117076142A (zh) * 2023-10-17 2023-11-17 阿里云计算有限公司 多租户资源池配置方法和多租户服务系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530189A (zh) * 2013-09-29 2014-01-22 中国科学院信息工程研究所 一种面向流式数据的自动伸缩及迁移的方法及装置
CN103885812A (zh) * 2012-12-21 2014-06-25 华为技术有限公司 虚拟机规格调整方法及装置
US20150058863A1 (en) * 2013-08-26 2015-02-26 Vmware, Inc. Load balancing of resources
US20160164762A1 (en) * 2014-12-05 2016-06-09 Amazon Technologies, Inc. Automatic management of resource sizing
CN105912403A (zh) * 2016-04-14 2016-08-31 青岛海信传媒网络技术有限公司 Docker容器的资源管理方法及装置
CN106484540A (zh) * 2016-10-20 2017-03-08 腾讯科技(深圳)有限公司 一种资源配置方法及装置
CN106776005A (zh) * 2016-11-23 2017-05-31 华中科技大学 一种面向容器化应用的资源管理系统及方法
CN107562545A (zh) * 2017-09-11 2018-01-09 南京奥之云信息技术有限公司 一种基于Docker技术的容器调度方法
CN108139935A (zh) * 2015-10-23 2018-06-08 华为技术有限公司 业务定义容器的资源约束的扩展

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885812A (zh) * 2012-12-21 2014-06-25 华为技术有限公司 虚拟机规格调整方法及装置
US20150058863A1 (en) * 2013-08-26 2015-02-26 Vmware, Inc. Load balancing of resources
CN103530189A (zh) * 2013-09-29 2014-01-22 中国科学院信息工程研究所 一种面向流式数据的自动伸缩及迁移的方法及装置
US20160164762A1 (en) * 2014-12-05 2016-06-09 Amazon Technologies, Inc. Automatic management of resource sizing
CN108139935A (zh) * 2015-10-23 2018-06-08 华为技术有限公司 业务定义容器的资源约束的扩展
CN105912403A (zh) * 2016-04-14 2016-08-31 青岛海信传媒网络技术有限公司 Docker容器的资源管理方法及装置
CN106484540A (zh) * 2016-10-20 2017-03-08 腾讯科技(深圳)有限公司 一种资源配置方法及装置
CN106776005A (zh) * 2016-11-23 2017-05-31 华中科技大学 一种面向容器化应用的资源管理系统及方法
CN107562545A (zh) * 2017-09-11 2018-01-09 南京奥之云信息技术有限公司 一种基于Docker技术的容器调度方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800060B (zh) * 2019-01-31 2021-07-27 携程旅游信息技术(上海)有限公司 云平台系统、管理方法、设备及存储介质
CN109800060A (zh) * 2019-01-31 2019-05-24 携程旅游信息技术(上海)有限公司 云平台系统、管理方法、设备及存储介质
CN110287029A (zh) * 2019-06-27 2019-09-27 中国—东盟信息港股份有限公司 一种基于kubernetes容器资源动态调整的方法
CN110442428A (zh) * 2019-08-02 2019-11-12 北京智芯微电子科技有限公司 Docker容器的协调方法
CN112559142B (zh) * 2019-09-26 2023-12-19 贵州白山云科技股份有限公司 容器的控制方法、装置、边缘计算系统、介质及设备
CN112559142A (zh) * 2019-09-26 2021-03-26 贵州白山云科技股份有限公司 容器的控制方法、装置、边缘计算系统、介质及设备
CN111552556B (zh) * 2020-03-24 2023-06-09 北京中科云脑智能技术有限公司 一种gpu集群服务管理系统及方法
CN111552556A (zh) * 2020-03-24 2020-08-18 合肥中科类脑智能技术有限公司 一种gpu集群服务管理系统及方法
CN112286644B (zh) * 2020-12-25 2021-05-28 同盾控股有限公司 Gpu虚拟化算力的弹性调度方法、系统、设备和存储介质
CN112286644A (zh) * 2020-12-25 2021-01-29 同盾控股有限公司 Gpu虚拟化算力的弹性调度方法、系统、设备和存储介质
CN112948109A (zh) * 2021-02-20 2021-06-11 山东英信计算机技术有限公司 一种ai计算集群的配额弹性调度方法、装置及介质
CN113886078A (zh) * 2021-09-28 2022-01-04 江苏安超云软件有限公司 基于动态阈值机制实现配额统一管理的方法及应用
CN113886078B (zh) * 2021-09-28 2022-06-17 江苏安超云软件有限公司 基于动态阈值机制实现配额统一管理的方法、装置、电子设备及计算机可读存储介质
CN114020479A (zh) * 2022-01-06 2022-02-08 杭州银行股份有限公司 一种服务资源配置方法、计算设备及存储介质
CN116431335A (zh) * 2023-03-21 2023-07-14 哈尔滨工业大学 一种基于控制组的容器消息队列资源配额控制方法
CN117076142A (zh) * 2023-10-17 2023-11-17 阿里云计算有限公司 多租户资源池配置方法和多租户服务系统
CN117076142B (zh) * 2023-10-17 2024-01-30 阿里云计算有限公司 多租户资源池配置方法和多租户服务系统

Similar Documents

Publication Publication Date Title
CN109144727A (zh) 云数据系统中资源的管理方法和装置
US20220078036A1 (en) Asset management with respect to a shared pool of configurable computing resources
US10575121B2 (en) System and method for instantiation of services at a location based on a policy
CN108920153B (zh) 一种基于负载预测的Docker容器动态调度方法
CN104050042B (zh) Etl作业的资源分配方法及装置
KR101984714B1 (ko) 가상화 자원 모니터링 시스템
US11334538B2 (en) System and method for cardinality estimation feedback loops in query processing
CN107809467B (zh) 一种云环境下容器镜像数据的删减方法
US9547520B1 (en) Virtual machine load balancing
US9442817B2 (en) Diagnosis of application server performance problems via thread level pattern analysis
KR101485633B1 (ko) 산출장치, 시스템 관리장치, 산출방법 및 프로그램
CN108683692A (zh) 一种业务请求处理方法及装置
CN109241096A (zh) 数据处理方法、装置和系统
CN111355606A (zh) 面向web应用的容器集群自适应扩缩容系统和方法
CN111858713A (zh) 基于对象的政府信息化资产管理方法及系统
CN109088747A (zh) 云计算系统中资源的管理方法和装置
CN110209467A (zh) 一种基于机器学习的弹性资源扩展方法和系统
US10628230B2 (en) Software based collection of performance metrics for allocation adjustment of virtual resources
CN105022823B (zh) 一种基于数据挖掘的云服务性能预警事件生成方法
CN109597764A (zh) 一种目录配额的测试方法及相关装置
CN105933154A (zh) 一种云计算资源的管理方法
US10785102B2 (en) Modifying distributed application based on cloud diagnostic data
US20210263718A1 (en) Generating predictive metrics for virtualized deployments
CN109818785A (zh) 一种数据处理方法、服务器集群及存储介质
CN109446278A (zh) 一种基于区块链的大数据管理平台系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104