CN117806659A - 一种es高可用集群容器化部署方法及相关装置 - Google Patents
一种es高可用集群容器化部署方法及相关装置 Download PDFInfo
- Publication number
- CN117806659A CN117806659A CN202311872895.3A CN202311872895A CN117806659A CN 117806659 A CN117806659 A CN 117806659A CN 202311872895 A CN202311872895 A CN 202311872895A CN 117806659 A CN117806659 A CN 117806659A
- Authority
- CN
- China
- Prior art keywords
- resource
- node
- available
- container node
- available area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 claims abstract description 95
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 abstract description 30
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000013468 resource allocation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 229920001971 elastomer Polymers 0.000 description 2
- 239000000806 elastomer Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种ES高可用集群容器化部署方法及相关装置，包括：获取与当前ES集群匹配的预设数量可用区，基于资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数量和每个容器节点中包含应用节点的第二数量；在源满足预设容量判断条件的条件下，在预设数量可用区中选取目标可用区；在目标可用区中选取目标容器节点，在目标容器节点中对资源申请量进行部署。上述过程，针对资源申请量对每个可用区中和其中每个容器节点包含的应用节点的数量进行预先限定，并对资源容量进行预判，在满足容量判断条件的情况下，选取目标可用区中的目标容器节点进行部署，实现了针对资源申请量进行自适应调节，提高了资源的利用率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种ES高可用集群容器化部署方法及相关装置。
背景技术
Elasticsearch(ES)是一种开源的分布式搜索和分析引擎，广泛应用于全文检索，日志处理分析等领域，具有可扩展性和高可用性等优点，已经成为在云计算环境中处理大规模数据的首选解决方案之一。
然而，在容器化环境中实现ES资源的合理部署仍然存在诸多困难与挑战。由于ES应用架构复杂，且ES集群中有多种类型节点，不同类型节点的功能存在差异，传统的手动部署和调优方法需要对系统进行频繁的人工干预和配置调整，无法依据应用负载情况和资源利用率进行自适应调节，在资源创建时缺乏灵活性和可靠性，导致资源利用率低。
发明内容
有鉴于此，本发明提供了一种ES高可用集群容器化部署方法及相关装置，用以解决传统的手动部署和调优方法需要对系统进行频繁的人工干预和配置调整，无法依据应用负载情况和资源利用率进行自适应调节，在资源创建时缺乏灵活性和可靠性，导致资源利用率低的问题。具体方案如下：
一种ES高可用集群容器化部署方法，包括：
针对当前ES集群，获取与所述当前ES集群匹配的预设数量可用区，其中，每个可用区包括：至少一个容器节点，每个容器节点包括：至少一个应用节点；
获取所述当前ES集群的资源申请量，基于所述资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数量和每个容器节点中包含应用节点的第二数量；
基于预设容量判断条件对所述计算资源和所述存储资源的资源容量进行判断，在所述资源满足预设容量判断条件的条件下，在所述预设数量可用区中选取目标可用区；
在所述目标可用区中选取目标容器节点，在所述目标容器节点中对所述资源申请量进行部署。
与现有技术相比，本发明包括以下优点：
本发明公开了一种ES高可用集群容器化部署方法及相关装置，包括：获取与当前ES集群匹配的预设数量可用区，每个可用区包括：至少一个容器节点，每个容器节点包括：至少一个应用节点，基于资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数据和每个容器节点中包含应用节点的第二数量；基于预设容量判断条件对计算资源和所述存储资源的资源容量进行判断，在源满足预设容量判断条件的条件下，在预设数量可用区中选取目标可用区；在目标可用区中选取目标容器节点，在目标容器节点中对资源申请量进行部署。上述过程，针对资源申请量对每个可用区中和其中每个容器节点包含的应用节点的数量进行预先限定，并对资源容量进行预判，在满足容量判断条件的情况下，选取目标可用区中的目标容器节点进行部署，实现了针对资源申请量进行自适应调节，提高了资源的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种ES高可用集群容器化部署方法流程图；
图2为本发明实施例公开的一种Kubernetes集群中容器节点分布示意图；
图3为本发明实施例公开的一种Kubernetes集群存储资源分布示意图；
图4为本发明实施例公开的一种ES集群节点资示意图；
图5为本申请实施例公开一种ES高可用集群容器化部署装置结构示意图；
图6为本发明实施例公开的一种设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本发明公开了一种ES高可用集群容器化部署方法及相关装置，应用于对ES高可用集群的容器化部署过程中，其中，Elasticsearch(ES)是一个基于Apache Lucene的开源、分布式、实时的搜索和分析引擎。具有存储、搜索和分析大量数据的功能，可以在极短的时间内获得实时的搜索结果，容器化部署基于Kubernetes(K8s)，Kubernetes(K8s)一个开源的容器编排平台，它可以自动化部署、扩展和管理容器化应用程序。现有技术中，随着云计算的快速发展，容器化技术被广泛应用于应用程序部署和管理过程。通过将应用程序和依赖项打包到一个或多个可移植的容器中，容器化技术使得在不同的环境中运行和管理应用程序变得更加简单和可靠。为了实现高效的容器化环境，自动化调度和资源管理至关重要。由于其轻量化、隔离性强和易于扩展等特性，也被越来越多地应用于ES的部署和运维中。
在容器化环境中实现ES资源的合理部署仍然存在诸多困难与挑战。传统的手动部署和调优方法需要对系统进行频繁的人工干预和配置调整，无法依据应用负载情况和资源利用率进行自适应调节，在资源创建时缺乏灵活性和可靠性。针对上述问题，本发明提供了一种ES高可用集群容器化部署方法，所述方法的执行流程如图1所示，包括步骤：
S101、针对当前ES集群，获取与所述当前ES集群匹配的预设数量可用区，其中，每个可用区包括：至少一个容器节点，每个容器节点包括：至少一个应用节点；
本发明实施例中，针对所述当前ES集群，获取与所述当前ES集群匹配的预设的数量可用区，其中，所述预设数量可以基于经验或者具体情况进行设定，本发明实施例中不进行具体限定，优选的，本发明实施例中，所述预设数量为3，针对每个可用区，其中包含有至少一个容器节点，所述容器节点的数量可以基于经验或者具体的应用场景进行设定，设定的原则为需要满足ES集群的部署需求，针对每个容器节点，至少包含一个应用节点，所述应用节点为ES集群中的包含的节点，其中，所述应用节点为主节点、数据节点、协调节点和集群可视化工具Kibana中的一个，针对所述主节点(Master Node)：负责集群管理和协调任务，如创建或删除索引、追踪哪些节点是集群的一部分以及决定如何分配分片等。针对所述数据节点(Data Node)：存储数据、执行与数据相关的CRUD(创建、读取、更新、删除)操作和搜索、聚合操作。针对所述协调节点(Coor Node)：作为一个轻量级的请求处理层，协调节点可以有效地对集群中的数据节点进行负载均衡，从而提高查询和聚合的性能。针对所述集群可视化工具Kibana：Kibana是一个开源的数据可视化和仪表板工具，用户可以对Elasticsearch中的数据进行搜索、查看和交互式分析。可以为用户提供了一个简单易用的界面，可以更方便地访问和探索Elasticsearch中的数据。
S102、获取所述当前ES集群的资源申请量，基于所述资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数量和每个容器节点中包含应用节点的第二数量；
本发明实施例中，所述部署方法是采用存算分离架构的容器环境，在构建环境资源时需要进行计算资源和存储资源的准备。计算资源依靠Kubernetes集群中节点提供，在集群中，每个节点由一台物理服务器或虚机组成，共同形成集群的计算资源池，为上层应用提供计算资源。基于Kubernetes集群的资源调度功能，有效地管理和分配应用所需的计算资源需求。在Kubernetes集群中创建ES集群时，选择Kubernetes节点的资源作为承载ES集群的计算资源，为进一步提升集群的高可用性，将节点划分为3个可用区域(zone)。具体集群节点的分区示意图如图2所示，其中，zoneA、zoneB和zoneC分别表示可用区，node1、node2、node3、node4、node5、node6、node7、node8和node9分别表示每个可用区包含的容器节点，每个可用区中容器节点的数量是预先给定的，可以满足部署要求，KubernetesCluster表示Kubernetes集群，完成计算资源的准备。
存储资源采用的是Ceph分布式存储系统，如图3所示，其具有高度可扩展性，可以容纳大规模数据存储，可以根据应用需求快速添加或删除存储节点，以满足不断增长的存储需求，集群在Kubernetes集群中创建存储资源通常涉及创建Persistent Volume(PV)和Persistent Volume Claim(PVC)。PV表示物理存储资源，而PVC表示应用程序对这些资源的请求，Ceph Cluster表示Ceph集群。
为提升集群的高可用性和可扩展性，底层的存储资源选用Ceph分布式存储，将数据分布在多个存储节点上，确保数据的高可用性和冗余性，适用于大规模分布式存储需求。在Kubernetes集群中使用Ceph分布式存储，需要创建PV和PVC的YAML文件，以便将CephCluster的存储资源与应用程序绑定。
其中，PV和PVC的创建过程如下：
创建PV
apiVersion:v1
kind:PersistentVolume
metadata:
name:bigdata-100g-pv001
spec:
accessModes:
-ReadWriteOnce
capacity:
storage:100Gi
iscsi:
iqn:iqn
lun:11
targetPortal:ip1
portals:[ip2,ip3,ip4]
persistentVolumeReclaimPolicy:Retain
创建PVC
apiVersion:v1
kind:PersistentVolumeClaim
metadata:
name:bigdata-100g-pvc001
namespace:space
spec:
accessModes:
-ReadWriteOnce
resources:
requests:
storage:100Gi
volumeName:bigdata-100g-pv001
通过批量创建pv及pvc，完成存储资源的准备。
进一步的，在集群资源准备完成后，为进一步提升ES集群的可用性及可维护性，在创建ES集群过程中，为不同类型的应用节点提供标准规格配置，方便应用自适应资源分配算法，方便多集群的统一控制及管理。在创建ES集群过程中，集群中包括以下应用节点类型：主节点(Master Node)、数据节点(Data Node)、协调节点(Coor Node)和集群可视化工具Kibana。
预先针对应用节点的类型设置标准规格配置和针对所述资源申请量设置应用节点的节点数量分配规则，其中，两者设置的先后顺序不限定，针对应用节点的类型设置标准规格配置的设置过程如下：
为方便集群的统一管理，在创建ES集群时会根据不同的节点类型，分配统一规格的存储及计算资源，根据分配的资源规格，为后续创建ES集群过程中各类型节点所需的资源提供分析及计算依据。
所述当前ES集群中有四种类型的应用节点，分别是master node，data node，coornode和kibana，为方便集群的统一管理，在创建ES集群过程中遵循标准规格配置，如表1所示，其中，表1中给出的具体参数的取值仅为示例，不进行具体限定。
表1
| 节点类型 | CPU规格 | 内存规格 | 日志存储 | 数据存储 |
| master node | 8C | 8G | 100g | 100g |
| data node | 8C | 64G | 100g | 2T |
| coor node | 8C | 32G | 100g | 100g |
| kibana | 4C | 8G | 100g | 100g |
进一步的，针对所述资源申请量设置应用节点的节点数量分配规则，假设用户的资源申请量为n(单位：T)，根据n的大小进行节点数量的分配，具体的节点数量分配规则如表2所示，其中，表2中给出的具体的应用节点的节点数量仅为示例，不进行具体限定。
表2
| 集群资源规模 | master node | data node | coor node | kibana node |
| n<＝20 | 3 | n/2 | 0 | 2 |
| 20<n<＝60 | 3 | n/2 | 2 | 2 |
| 60<n<＝100 | 3 | n/2 | 4 | 2 |
| n>100 | 5 | n/2 | 4 | 2 |
基于所述标准规则配置和所述节点数量分配规则确定所需的计算资源和存储资源，具体的处理过程如下：
在创建所述当前ES集群过程中，需要根据所述当前集群的容量规模分配不同数量的节点类型及资源规格，对其进行存储及计算资源的折算。需要折算的存储资源有100g、2T两种规格，CPU和内存等计算资源根据不同节点类型及各节点类型的数量进行统一折算，进而计算出不同集群规模所需的存储及计算资源，具体如表3所示，其中，表3中给出的具体参数的取值仅为示例，不进行具体限定。
表3
进一步的，根据计算出的该类型应用节点的总数/Kubernetes集群中可用区的预设数量，向上取整，得到每个可用区中需要分配的应用节点的第一数量；可用区中需要分配资源的应用节点的第一数量/可用区中的容器节点数量，向上取整，得到需要分配到每个容器节点中包含的应用节点的第二数量。
S103、基于预设容量判断条件对所述计算资源和所述存储资源的资源容量进行判断，在所述资源满足预设容量判断条件的条件下，在所述预设数量可用区中选取目标可用区；
本发明实施例中，所述预设容量判断条件可以基于经验或者具体情况进行设定，本发明实施例中不进行具体限定，针对所述预设容量条件的说明进作为示例，具体的判断过程如下：
首先，针对所述存储资源，首先查询当前pvc的使用率，如果使用率超过90％，则返回pvc使用率超过90％，无法创建；若PVC的使用率未超过90％,获取所述当前es集群所需的两种类型的存储资源，对于每一类型的资源，如果所需的存储资源小于等于空闲资源，则可以创建资源，否则返回创建集群所需资源超过pvc限额，无法创建。
进一步的，针对所述计算资源，所述计算资源包括：CPU资源和内存资源，针对所述CPU资源，根据当前容器节点的CPU请求值cpu_requests_value和CPU请求百分比cpu_requests_percentage，在创建资源过程中如果(1+add_cpu_value/cpu_requests_value)*cpu_requests_percentage>90％，返回创建集群所需CPU资源超过限额，无法创建；根据当前容器节点的CPU限制值cpu_limits_value和CPU限制百分比cpu_limits_percentage，在创建资源过程中如果(1+add_cpu_value/cpu_limits_value)*cpu_limits_percentage>90％，返回创建所述ES集群所需CPU资源超过限额，无法创建。
针对所述内存资源根据当前容器节点的内存请求值mem_requests_value和内存请求百分比mem_requests_percentage，在创建资源过程中如果(1+add_mem_value/mem_requests_value)*mem_requests_percentage>90％，返回创建集群所需内存资源超过限额，无法创建；根据当前容器节点的内存限制值mem_limits_value和内存限制百分比mem_limits_percentage，在创建资源过程中如果(1+add_mem_value/mem_limits_value)*mem_limits_percentage>90％，返回创建所述当前ES集群所需内存资源超过限额，无法创建。
在所述资源满足预设容量判断条件的条件下，在所述预设数量可用区中选取目标可用区，目标可用区的选取过程如下：
获取可用区CPU请求均值zone_cpu_requests_value、可用区CPU限制均值zone_cpu_limits_value、可用区内存请求均值zone_mem_requests_value和可用区内存限制均值zone_mem_limits_value，具体指标及计算方法如下：
由于可用区中节点数量有限，如果采用基于参数的统计方法计算得分会存在假设不成立的风险，因此选取非参数统计方法。为同时观测多个计算资源指标的综合影响，分别计算所述CPU请求均值、所述可用区CPU限制均值、所述可用区内存请求均值和所述可用区内存限制均值的第一秩，其中，"秩"(Rank)是一个数学和统计术语，它表示一个集合中的元素在排序中的位置，用于确定元素的相对顺序或大小。R表示秩的值，rank代表秩算法，本发明实施例中，秩分配规则是平均秩法，rank算法的具体过程如下：首先将数据升序排列，为每个观测值分配秩。秩分配从1开始，依次递增，直到n，对于相同的值，分配这些值对应的秩的平均值。具体的计算过程如下：
R1(zone_cpu_requests_value)＝rank(zone_cpu_requests_value)
R2(zone_cpu_limits_value)＝rank(zone_cpu_limits_value)
R3(zone_mem_requests_value)＝rank(zone_mem_requests_value)
R4(zone_mem_limits_value)＝rank(zone_mem_limits_value)
基于各个第一秩计算每个可用区的第一资源指标得分zone_score，在各个第一资源指标得分中基于所述第一数量选取所述目标可用区。对于第一资源指标得分的具体计算过程如下：
zone_score＝R1(zone_cpu_requests_value)+R2(zone_cpu_limits_value)+R3(zone_mem_requests_value)+R4(zone_mem_limits_value)
按照zone_score升序得分排序，得到zone的顺序，在选取zone时按照升序结果依次选择，具体zone的选择方法遵循下述公式：
其中，N为ES某种应用节点(主节点(Master Node)、数据节点(Data Node)、协调节点(Coor Node))或集群可视化工具Kibana的第一数量，zone_num为容器集群可用区的预设数量，zone_count为排序后的可用区整体出现的次数，zone_top为排序后的可用区中前zone_top个可用区，最终选取所述第一数量的所述目标可用区。
S104、在所述目标可用区中选取目标容器节点，在所述目标容器节点中对所述资源申请量进行部署。
本发明实施例中，在每个可用区的节点选择算法与可用区的算法逻辑相似，获取可用区容器节点CPU请求值zone_node_cpu_requests_value、可用区容器节点CPU限制值zone_node_cpu_limits_value、可用区容器节点内存请求值zone_node_mem_requests_value和可用区容器节点内存限制值zone_node_mem_limits_value；
分别计算所述可用区容器节点CPU请求值、所述可用区容器节点CPU限制值、所述可用区容器节点内存请求值和所述可用区容器节点内存限制值的第二秩，具体的计算过程如下：
R1(zone_node_cpu_requests_value)＝rank(zone_node_cpu_requests_value)
R2(zone_node_cpu_limits_value)＝rank(zone_node_cpu_limits_value)
R3(zone_node_mem_requests_value)＝rank(zone_node_mem_requests_value)
R4(zone_node_mem_limits_value)＝rank(zone_node_mem_limits_value)
基于各个第二秩计算每个容器节点的第二资源指标得分，在各个第二资源指标得分中基于所述第二数量选取所述目标容器节点。
其中，所述第二资源指标得分的计算过程如下：
node_score＝R1(zone_node_cpu_requests_value)+R2(zone_node_cpu_limits_value)+R3(zone_node_mem_requests_value)+R4(zone_node_mem_limits_value)
按照node_score升序得分排序，得到node的顺序，在选取node时按照升序结果依次选择，具体node的选择方法遵循下述公式：
其中，n为ES中容器节点(主节点(Master Node)、数据节点(Data Node)、协调节点(Coor Node))或集群可视化工具Kibana节点的第二数量，node_num为容器集群某个可用区中应用节点的数量，node_count为排序后的可用区中节点整体出现的次数，node_top为排序后的可用区中节点的前node_top个节点，最终选取所述第二数量的所述目标容器节点。
本发明公开了一种ES高可用集群容器化部署方法，包括：获取与当前ES集群匹配的预设数量可用区，每个可用区包括：至少一个容器节点，每个容器节点包括：至少一个应用节点，基于资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数据和每个容器节点中包含应用节点的第二数量；基于预设容量判断条件对计算资源和所述存储资源的资源容量进行判断，在源满足预设容量判断条件的条件下，在预设数量可用区中选取目标可用区；在目标可用区中选取目标容器节点，在目标容器节点中对资源申请量进行部署。上述过程，针对资源申请量对每个可用区中和其中每个容器节点包含的应用节点的数量进行预先限定，并对资源容量进行预判，在满足容量判断条件的情况下，选取目标可用区中的目标容器节点进行部署，实现了针对资源申请量进行自适应调节，提高了资源的利用率。
本发明实施例中，综合可用区分配算法和节点分配算法，首先根据每个可用区中各项计算资源指标的综合排序结果，再根据该可用区中每个节点各项计算资源指标的综合排序结果得到ES集群中某种类型节点的分配情况，按照具体的节点类型选择对应规格的存储，顺序绑定存储pvc。对于ES集群中不同类型的节点，分别进行可用区分配算法和节点分配算法，直到完成ES集群中所承载的所有类型的节点分配。
根据不同可用区中不同节点的资源情况，依据自适应分配算法，完成ES集群中各个类型节点的分配及创建，创建结果如图4所示，Kubernetes Cluster包括PVC，zoneA、zoneB和zoneC分别表示可用区，node1、node2、node3、node4、node5、node6、node7、node8和node9分别表示每个可用区包含的容器节点，其中，node1包括：es1_master_01，es1_kibana_02和es2_master_03，node2包括：es1_master_02，es2_master_02和es2_data_02，node3包括：es1_master_03，es2_master_01和es2_kibana_01，node4包括：es1_data_01和es2_data_03，node5包括：es1_data_02和es2_kibana_02，node6包括：es1_kibana_01和es2_data_01。
进一步的，为保证集群整体的稳定性和高可用性，如果当前，Kubernetes Cluster的计算资源或者存储资源无法满足时，需要对集群进行扩容。在进行资源判断过程中，如存储资源或者计算资源达到瓶颈，针对性的对存储资源或者计算资源进行横向扩容。当容器集群提供的存储资源存在资源瓶颈时，需要对Ceph存储资源进行横向扩展，通过新的Ceph存储节点到Ceph存储集群中，创建PV和PVC的YAML文件，以便将新增加的Ceph存储资源与应用程序绑定，为容器集群提供更多的存储资源。当容器集群提供的计算资源存在资源瓶颈时，需要对容器集群进行横向扩展，通过横向增加物理机或者虚拟机节点来提供更多的计算资源。新提供的节点需要按照之前可用区的标签属性进行分配，确保各个可用区的资源平衡。
本发明所述部署方法，在存算分离的架构下，根据当前ES集群中不同类型节点所需资源，选择不同可用区中不同节点进行应用的构建，通过详细的编排与设计，自适应分配模型在保障集群高可用的同时，各个可用区的资源使用情况尽量均衡，当某一可用区的节点出现问题时，ES集群中的其他可用区的节点可以继续提供服务，保障ES集群的整体稳定性。
基于轻量级容器环境及存算分离架构技术，可以实现容器集群环境中计算与存储资源的动态横向扩容，弹性调配计算资源，合理分配资源，保障各个可用区的应用承载均衡。本发明中提出的技术方案可以快捷进行部署实施及落地，有效解决容器环境资源分配过程中的难点和痛点，无需人工逐一参与及校验，实现基于业务需求的细粒度资源分配，具有良好的实用性。通过应用本专利中的技术方案可以大幅优化容器集群中资源的利用效率，提升应用性能。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。
应当理解，本发明公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明公开的范围在此方面不受限制。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
基于上述的一种ES高可用集群容器化部署方法，本发明实施例中还提供了一种ES高可用集群容器化部署装置，所述装置的结构框图如图5所示，包括：
获取模块201、确定模块202、判断和选取模块203以及选取和部署模块204。
其中，
所述获取模块201，用于针对当前ES集群，获取与所述当前ES集群匹配的预设数量可用区，其中，每个可用区包括：至少一个容器节点，每个容器节点包括：至少一个应用节点；
所述确定模块202，用于获取所述当前ES集群的资源申请量，基于所述资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数量和每个容器节点中包含应用节点的第二数量；
所述判断和选取模块203，用于基于预设容量判断条件对所述计算资源和所述存储资源的资源容量进行判断，在所述资源满足预设容量判断条件的条件下，在所述预设数量可用区中选取目标可用区；
所述选取和部署模块204，用于在所述目标可用区中选取目标容器节点，在所述目标容器节点中对所述资源申请量进行部署。
本发明公开了一种ES高可用集群容器化部署装置，包括：获取与当前ES集群匹配的预设数量可用区，每个可用区包括：至少一个容器节点，每个容器节点包括：至少一个应用节点，基于资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数据和每个容器节点中包含应用节点的第二数量；基于预设容量判断条件对计算资源和所述存储资源的资源容量进行判断，在源满足预设容量判断条件的条件下，在预设数量可用区中选取目标可用区；在目标可用区中选取目标容器节点，在目标容器节点中对资源申请量进行部署。上述过程，针对资源申请量对每个可用区中和其中每个容器节点包含的应用节点的数量进行预先限定，并对资源容量进行预判，在满足容量判断条件的情况下，选取目标可用区中的目标容器节点进行部署，实现了针对资源申请量进行自适应调节，提高了资源的利用率。
本发明实施例中，所述确定模块202包括：
设置单元、第一确定单元、第二确定单元和第三确定单元。
其中，
所述设置单元，用于预先针对应用节点的类型设置标准规格配置和针对所述资源申请量设置应用节点的节点数量分配规则；
所述第一确定单元，用于在所述预设数量可用区中基于所述节点数量分配规则确定与所述资源申请量匹配的各个应用节点的节点数量；
所述第二确定单元，用于基于所述标准规则配置和所述节点数量分配规则确定所需的计算资源和存储资源；
所述第三确定单元，用于针对所述节点数量，确定每个可用区需要包含的应用节点的第一数量，基于所述第一数量确定每个容器节点中包含的应用节点的第二数量。
本发明实施例中，所述判断和选取模块203包括：
第一获取单元、第一计算单元以及第一计算和选取单元。
其中，
所述第一获取单元，用于获取可用区CPU请求均值、可用区CPU限制均值、可用区内存请求均值和可用区内存限制均值；
所述第一计算单元，用于分别计算所述CPU请求均值、所述可用区CPU限制均值、所述可用区内存请求均值和所述可用区内存限制均值的第一秩；
所述第一计算和选取单元，用于基于各个第一秩计算每个可用区的第一资源指标得分，在各个第一资源指标得分中基于所述第一数量选取所述目标可用区。
本发明实施例中，所述选取和部署模块204包括：
第二获取单元，第二计算单元和第二计算和选取单元。
其中，
所述第二获取单元，用于获取可用区容器节点CPU请求值、可用区容器节点CPU限制值、可用区容器节点内存请求值和可用区容器节点内存限制值；
所述第二计算单元，用于分别计算所述可用区容器节点CPU请求值、所述可用区容器节点CPU限制值、所述可用区容器节点内存请求值和所述可用区容器节点内存限制值的第二秩；
所述第二计算和选取单元，用于基于各个第二秩计算每个容器节点的第二资源指标得分，在各个第二资源指标得分中基于所述第二数量选取所述目标容器节点。
所述构造装置包括处理器和存储器，上述获取模块、确定模块、判断和选取模块以及选取和部署模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来避免无法依据应用负载情况和资源利用率进行自适应调节，在资源创建时缺乏灵活性和可靠性，导致资源利用率低的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机存储介质，其上存储有程序，该程序被处理器执行时实现所述的ES高可用集群容器化部署方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述的ES高可用集群容器化部署方法。
本发明实施例提供了一种设备，所述设备的结构框图如图6所示，所述设备包括：处理器301、存储介质302及存储在存储介质302上并可在处理器302上运行的程序，处理器301执行程序时实现以下步骤：
针对当前ES集群，获取与所述当前ES集群匹配的预设数量可用区，其中，每个可用区包括：至少一个容器节点，每个容器节点包括：至少一个应用节点；
获取所述当前ES集群的资源申请量，基于所述资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数量和每个容器节点中包含应用节点的第二数量；
基于预设容量判断条件对所述计算资源和所述存储资源的资源容量进行判断，在所述资源满足预设容量判断条件的条件下，在所述预设数量可用区中选取目标可用区；
在所述目标可用区中选取目标容器节点，在所述目标容器节点中对所述资源申请量进行部署。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种ES高可用集群容器化部署方法，其特征在于，包括：
针对当前ES集群，获取与所述当前ES集群匹配的预设数量可用区，其中，每个可用区包括：至少一个容器节点，每个容器节点包括：至少一个应用节点；
获取所述当前ES集群的资源申请量，基于所述资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数量和每个容器节点中包含应用节点的第二数量；
基于预设容量判断条件对所述计算资源和所述存储资源的资源容量进行判断，在所述资源满足预设容量判断条件的条件下，在所述预设数量可用区中选取目标可用区；
在所述目标可用区中选取目标容器节点，在所述目标容器节点中对所述资源申请量进行部署。
2.根据权利要求1所述的ES高可用集群容器化部署方法，其特征在于，基于所述资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数量和每个容器节点中包含应用节点的第二数量，包括：预先针对应用节点的类型设置标准规格配置和针对所述资源申请量设置应用节点的节点数量分配规则；
在所述预设数量可用区中基于所述节点数量分配规则确定与所述资源申请量匹配的各个应用节点的节点数量；
基于所述标准规则配置和所述节点数量分配规则确定所需的计算资源和存储资源；
针对所述节点数量，确定每个可用区需要包含的应用节点的第一数量，基于所述第一数量确定每个容器节点中包含的应用节点的第二数量。
3.根据权利要求1所述的ES高可用集群容器化部署方法，其特征在于，所述计算资源包括：CPU资源和内存资源，基于预设容量判断条件对所述计算资源和所述存储资源的资源容量进行判断，包括：
针对所述存储资源，在当前PVC的使用率小于预设阈值的情况下，获取当前容器的空闲资源，基于所述存储资源和所述空闲资源确定所述存储资源是否超限；
基于CPU请求值、CPU请求百分比、CPU限制值和CPU限制百分比确定当所述CPU资源是否超限；
基于内存请求值、内存请求百分比、内存限制值和内存限制百分比确定所述内存资源是否超限。
4.根据权利要求1所述的ES高可用集群容器化部署方法，其特征在于，在所述预设数量可用区中选取目标可用区，包括：
获取可用区CPU请求均值、可用区CPU限制均值、可用区内存请求均值和可用区内存限制均值；
分别计算所述CPU请求均值、所述可用区CPU限制均值、所述可用区内存请求均值和所述可用区内存限制均值的第一秩；
基于各个第一秩计算每个可用区的第一资源指标得分，在各个第一资源指标得分中基于所述第一数量选取所述目标可用区。
5.根据权利要求1所述的ES高可用集群容器化部署方法，其特征在于，在所述目标可用区中选取目标容器节点，包括：
获取可用区容器节点CPU请求值、可用区容器节点CPU限制值、可用区容器节点内存请求值和可用区容器节点内存限制值；
分别计算所述可用区容器节点CPU请求值、所述可用区容器节点CPU限制值、所述可用区容器节点内存请求值和所述可用区容器节点内存限制值的第二秩；
基于各个第二秩计算每个容器节点的第二资源指标得分，在各个第二资源指标得分中基于所述第二数量选取所述目标容器节点。
6.根据权利要求1所述的ES高可用集群容器化部署方法，其特征在于，还包括：
在所述资源不满足预设容量判断条件的条件下，若所述存储资源不足，对所述存储资源进行扩容，若所述计算资源不足，对所述计算资源进行扩容，若所述存储资源和所述计算资源同时不足，对所述存储资源和所述计算资源同时进行扩容。
7.一种ES高可用集群容器化部署装置，其特征在于，包括：
获取模块，用于针对当前ES集群，获取与所述当前ES集群匹配的预设数量可用区，其中，每个可用区包括：至少一个容器节点，每个容器节点包括：至少一个应用节点；
确定模块，用于获取所述当前ES集群的资源申请量，基于所述资源申请量确定所需的计算资源、存储资源以及每个可用区中包含应用节点的第一数量和每个容器节点中包含应用节点的第二数量；
判断和选取模块，用于基于预设容量判断条件对所述计算资源和所述存储资源的资源容量进行判断，在所述资源满足预设容量判断条件的条件下，在所述预设数量可用区中选取目标可用区；
选取和部署模块，用于在所述目标可用区中选取目标容器节点，在所述目标容器节点中对所述资源申请量进行部署。
8.根据权利要求7所述的ES高可用集群容器化部署装置，其特征在于，所述确定模块包括：
设置单元，用于预先针对应用节点的类型设置标准规格配置和针对所述资源申请量设置应用节点的节点数量分配规则；
第一确定单元，用于在所述预设数量可用区中基于所述节点数量分配规则确定与所述资源申请量匹配的各个应用节点的节点数量；
第二确定单元，用于基于所述标准规则配置和所述节点数量分配规则确定所需的计算资源和存储资源；
第三确定单元，用于针对所述节点数量，确定每个可用区需要包含的应用节点的第一数量，基于所述第一数量确定每个容器节点中包含的应用节点的第二数量。
9.根据权利要求7所述的ES高可用集群容器化部署装置，其特征在于，所述判断和选取模块包括：
第一获取单元，用于获取可用区CPU请求均值、可用区CPU限制均值、可用区内存请求均值和可用区内存限制均值；
第一计算单元，用于分别计算所述CPU请求均值、所述可用区CPU限制均值、所述可用区内存请求均值和所述可用区内存限制均值的第一秩；
第一计算和选取单元，用于基于各个第一秩计算每个可用区的第一资源指标得分，在各个第一资源指标得分中基于所述第一数量选取所述目标可用区。
10.根据权利要求7所述的ES高可用集群容器化部署装置，其特征在于，所述选取和部署模块包括：
第二获取单元，用于获取可用区容器节点CPU请求值、可用区容器节点CPU限制值、可用区容器节点内存请求值和可用区容器节点内存限制值；
第二计算单元，用于分别计算所述可用区容器节点CPU请求值、所述可用区容器节点CPU限制值、所述可用区容器节点内存请求值和所述可用区容器节点内存限制值的第二秩；
第二计算和选取单元，用于基于各个第二秩计算每个容器节点的第二资源指标得分，在各个第二资源指标得分中基于所述第二数量选取所述目标容器节点。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1-6所述的ES高可用集群容器化部署方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-6所述的ES高可用集群容器化部署方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311872895.3A CN117806659A (zh) | 2023-12-29 | 2023-12-29 | 一种es高可用集群容器化部署方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311872895.3A CN117806659A (zh) | 2023-12-29 | 2023-12-29 | 一种es高可用集群容器化部署方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117806659A true CN117806659A (zh) | 2024-04-02 |
Family
ID=90431832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311872895.3A Pending CN117806659A (zh) | 2023-12-29 | 2023-12-29 | 一种es高可用集群容器化部署方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117806659A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118377836A (zh) * | 2024-06-25 | 2024-07-23 | 天津南大通用数据技术股份有限公司 | 一种数据库管理方法、装置、终端及存储介质 |
| CN118409717A (zh) * | 2024-07-03 | 2024-07-30 | 济南浪潮数据技术有限公司 | 一种数据分布方法、系统、计算机程序产品、设备及介质 |
-
2023
- 2023-12-29 CN CN202311872895.3A patent/CN117806659A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118377836A (zh) * | 2024-06-25 | 2024-07-23 | 天津南大通用数据技术股份有限公司 | 一种数据库管理方法、装置、终端及存储介质 |
| CN118409717A (zh) * | 2024-07-03 | 2024-07-30 | 济南浪潮数据技术有限公司 | 一种数据分布方法、系统、计算机程序产品、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9740706B2 (en) | Management of intermediate data spills during the shuffle phase of a map-reduce job | |
| US10430438B2 (en) | Dynamic n-dimensional cubes for hosted analytics | |
| Bakshi | Considerations for big data: Architecture and approach | |
| WO2018103520A1 (en) | Dynamic computation node grouping with cost based optimization for massively parallel processing | |
| US9053067B2 (en) | Distributed data scalable adaptive map-reduce framework | |
| CN117806659A (zh) | 一种es高可用集群容器化部署方法及相关装置 | |
| Anjos et al. | MRA++: Scheduling and data placement on MapReduce for heterogeneous environments | |
| US10747764B1 (en) | Index-based replica scale-out | |
| US10866970B1 (en) | Range query capacity allocation | |
| US20130151535A1 (en) | Distributed indexing of data | |
| Xie et al. | Elite: an elastic infrastructure for big spatiotemporal trajectories | |
| Xu et al. | Sampling-based partitioning in MapReduce for skewed data | |
| Gandomi et al. | HybSMRP: a hybrid scheduling algorithm in Hadoop MapReduce framework | |
| Fan et al. | Intelligent resource scheduling based on locality principle in data center networks | |
| CN104063501A (zh) | 基于hdfs的副本平衡方法 | |
| Koh et al. | MapReduce skyline query processing with partitioning and distributed dominance tests | |
| Elghamrawy et al. | A partitioning framework for Cassandra NoSQL database using Rendezvous hashing | |
| Premchaiswadi et al. | Optimizing and tuning MapReduce jobs to improve the large‐scale data analysis process | |
| Lee et al. | Performance improvement of mapreduce process by promoting deep data locality | |
| CN105635285B (zh) | 一种基于状态感知的vm迁移调度方法 | |
| CN106575296B (zh) | 用于托管的分析的动态n维立方体 | |
| Kumar et al. | Graphsteal: Dynamic re-partitioning for efficient graph processing in heterogeneous clusters | |
| US11126623B1 (en) | Index-based replica scale-out | |
| GB2585543A (en) | Data migration in a hierarchical storage management system | |
| CN106844037B (zh) | 一种基于knl的测试方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |