CN108897865A - 分布式集群的索引副本数量评估方法及装置 - Google Patents
分布式集群的索引副本数量评估方法及装置 Download PDFInfo
- Publication number
- CN108897865A CN108897865A CN201810712263.3A CN201810712263A CN108897865A CN 108897865 A CN108897865 A CN 108897865A CN 201810712263 A CN201810712263 A CN 201810712263A CN 108897865 A CN108897865 A CN 108897865A
- Authority
- CN
- China
- Prior art keywords
- copy amount
- index
- copy
- amount
- distributed type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种分布式集群的索引副本数量评估方法及装置，其方法包括：针对分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；根据副本数量评估结果，选择是否进行副本数量的修改处理。考虑到索引的副本的重要性，本发明创新地提出了一种能够对ES分布式集群的索引的副本数量进行评估的方法，利用该方法能够对索引的副本数量进行评估，并且能够根据副本数量评估结果对索引的副本数量进行相应的修改处理。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种分布式集群的索引副本数量评估方法及装置。
背景技术
ES(ElasticSearch，分布搜索引擎)分布式集群由一个或多个节点组成，各个节点共同持有数据，并提供索引和搜索功能。ES分布式集群提供了将索引的数据划分成多片的功能，这些片叫做主分片，则每个索引包含一个或多个主分片，此外，还可以为索引创建副本，也即为索引的各个主分片创建副本得到对应的副本分片，各个分片(主分片和副本分片)被配置到集群中的节点上以提供服务。其中，在创建索引的时候，可以设定主分片的个数，主分片的个数在后期不可更改，而主分片的副本数量可以更改。
为索引的主分片创建副本分片至少能够提高集群的容灾性，例如，当主分片的数据丢失，该主分片的副本分片顶替该主分片成为新的主分片，此时，索引的数据依然是完整的，不影响集群的搜索访问功能；其次，至少能够提高集群的查询性能，由于主分片及其副本分片的数据是相同的，因此针对一个数据请求，既可以查询主分片也可以查询副本分片，并且由于相同的分片不可能被配置到同一个节点上，由此极大程度地减少查询时间。
然而，数量不合理的副本会降低集群的性能，副本数量也应当满足一定的设置条件，在这种情况下，就需要有一种能够对索引的副本数量进行评估的方法。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式集群的索引副本数量评估方法及装置。
根据本发明的一个方面，提供了一种ES分布式集群的索引副本数量评估方法，该方法包括：
针对分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；
根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；
根据副本数量评估结果，选择是否进行副本数量的修改处理。
可选地，通过访问接口数据获取该索引的副本数量进一步包括：
通过访问接口数据得到索引的主分片个数以及副本分片个数；
根据索引的主分片个数以及副本分片个数，计算得到索引的副本数量。
可选地，根据副本数量判断索引的副本数量设置是否符合副本设置条件进一步包括：
将副本数量与数个预设阈值进行比较，判断索引的副本数量设置是否符合副本设置条件。
可选地，根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果进一步包括：
判断副本数量是否等于零，若是，则得到副本数量错误设置的评估结果。
可选地，根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果进一步包括：
判断索引的主分片个数与分布式集群的节点个数的比值是否小于第一阈值；
若索引的主分片个数与分布式集群的节点个数的比值小于第一阈值，则判断副本数量是否小于第二阈值；
若副本数量小于第二阈值，则得到副本数量不合理设置的评估结果；其中，第二阈值依据第一阈值和索引的主分片个数与分布式集群的节点个数的比值之间的差值而设定。
可选地，根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果进一步包括：
判断副本数量是否大于第三阈值，若是，则得到副本数量不合理设置的评估结果；其中，第三阈值依据分布式集群的节点个数而设定。
可选地，根据副本数量评估结果，选择是否进行副本数量的修改处理进一步包括：提供索引的副本数量的修改建议，或者，强制修改索引的副本数量。
可选地，在选择是否进行副本数量的修改处理之前，上述方法还包括：
根据集群套餐的可用容量，判断是否能够增加索引的副本数量。
根据本发明的另一方面，提供了分布式集群的索引副本数量评估装置，该装置包括：
副本数量获取模块，适于针对分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；
评估模块，适于根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；
处理模块，适于根据副本数量评估结果，选择是否进行副本数量的修改处理。
可选地，副本数量获取模块进一步适于：
通过访问接口数据得到索引的主分片个数以及副本分片个数；
根据索引的主分片个数以及副本分片个数，计算得到索引的副本数量。
可选地，评估模块进一步适于：
将副本数量与数个预设阈值进行比较，判断索引的副本数量设置是否符合副本设置条件。
可选地，评估模块进一步适于：
判断副本数量是否等于零，若是，则得到副本数量错误设置的评估结果。
可选地，评估模块进一步适于：
判断索引的主分片个数与分布式集群的节点个数的比值是否小于第一阈值；
若索引的主分片个数与分布式集群的节点个数的比值小于第一阈值，则判断副本数量是否小于第二阈值；
若副本数量小于第二阈值，则得到副本数量不合理设置的评估结果；其中，第二阈值依据第一阈值和索引的主分片个数与分布式集群的节点个数的比值之间的差值而设定。
可选地，评估模块进一步适于：
判断副本数量是否大于第三阈值，若是，则得到副本数量不合理设置的评估结果；其中，第三阈值依据分布式集群的节点个数而设定。
可选地，处理模块进一步适于：提供索引的副本数量的修改建议，或者，强制修改索引的副本数量。
可选地，上述装置进一步：
判断模块，适于根据集群套餐的可用容量，判断是否能够增加索引的副本数量。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述分布式集群的索引副本数量评估方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述分布式集群的索引副本数量评估方法对应的操作。
根据本发明提供的分布式集群的索引副本数量评估方法及装置，首先，针对分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；然后，根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；最后，根据副本数量评估结果，选择是否进行副本数量的修改处理。考虑到索引的副本的重要性，本发明创新地提出了一种能够对分布式集群的索引的副本数量进行评估的方法，利用该方法能够对索引的副本数量进行有效的评估，并且能够根据副本数量评估结果对索引的副本数量进行相应的修改处理。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的ES分布式集群的索引副本数量评估方法的流程示意图；
图2示出了根据本发明另一个实施例的ES分布式集群的索引副本数量评估方法的流程示意图；
图3示出了根据本发明又一个实施例的ES分布式集群的索引副本数量评估装置的结构示意图；
图4示出了根据本发明另一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
下文将以ES分布式集群为例对本发明所提供的方法、装置、系统、存储介质、代码等方案进行说明，本领域技术人员应可理解，本发明的方案可应用于任何合适的分布式集群，而并不仅限于ES分布式集群，所述方案的保护范围当以权利要求书为准。
图1示出了根据本发明一个实施例的ES分布式集群的索引副本数量评估方法的流程示意图。如图1所述，该方法包括：
步骤S110，针对ES分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量。
其中，索引的副本是指索引的主分片的副本，在本实施例中称之为副本分片，主分片和副本分片统称为分片。具体地，为索引创建副本的重要性主要体现在以下两点：
第一，在主分片或者节点损坏的情况下，副本分片提供了高可用性。由于相同的分片不可能被配置到同一个节点上，若节点损坏，配置在该节点上的分片所对应的主分片或者副本分片的数据依然可用，也即该索引的数据依然是完整的。
第二，搜索请求可以在所有的副本分片上并行运行，副本分片可以扩展搜索量及吞吐量，能够提升集群的访问性能。
举例来说，实际应用中，存在由于技术人员对ES分布式集群的原理不熟悉，而认为创建零副本的索引能够减少写入性能消耗的情况，然而不为索引创建副本往往会影响集群的容灾性，若集群中某一个节点损坏，则配置在该节点上的分片的数据丢失。再如，集群包含的节点数量较多，配置在每一个节点上的分片较少，此时则需要查询多个节点才能得到一个索引的完整的数据，节点之间的交互消耗较大。再如，副本数量过多则可能导致配置在同一个节点上的分片的数据即为一个索引的完整的数据，在此情况下，创建如此多的副本的意义不大。综上所述，不合理的副本数量会影响集群的容灾性以及访问性能。
因此，本实施例提出了一种对索引的副本数量进行评估的方法，首先需要获取索引的副本数量，具体地，通过访问接口数据可以确定索引的主分片个数、索引的副本分片个数以及索引的容量，根据索引的主分片个数以及索引的副本分片个数可以确定该索引的副本数量。
步骤S120，根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果。
根据上述内容所描述的，零副本或者副本数量过多或者副本数量过少均会影响集群的性能，因此需要对索引的副本数量进行评估，判断副本数量是否符合副本设置条件。其中，副本设置条件可根据集群的节点个数、索引的主分片的个数以及两者之间的关系进行确定，或者本领域技术人员根据实际需要进行设定，本发明对此不作限定。
步骤S130，根据副本数量评估结果，选择是否进行副本数量的修改处理。
其中，对副本数量进行修改处理可以包括增加副本数量处理或者减少副本数量处理，例如，根据副本数量评估结果，对零副本以及副本数量较少的索引执行增加副本的操作，对副本数量较多的索引执行减少副本的操作。此外，在实际应用中，还可以执行将副本数量评估结果进行展示等操作，本发明对此不作限定。
根据本实施例提供的ES分布式集群的索引副本数量评估方法，首先，针对ES分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；然后，根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；最后根据副本数量评估结果，选择是否进行副本数量的修改处理。考虑到索引的副本的重要性，本实施例创新地提出了一种能够对ES分布式集群的索引的副本数量进行评估的方法，利用该方法能够判断出索引的副本数量是否符合副本设置条件，并且能够根据副本数量评估结果对索引的副本数量进行相应的修改处理。
图2示出了根据本发明另一个实施例的ES分布式集群的索引副本数量评估方法的流程示意图。如图2所述，该方法包括：
步骤S210，针对ES分布式集群的任一个索引，通过访问接口数据得到索引的主分片个数以及副本分片个数。
其中，访问接口数据中记录了索引的主分片个数信息、副本分片个数信息以及索引的容量信息等，对访问接口数据进行解析以及转化处理可以得到索引的主分片个数以及副本分片个数。
步骤S220，根据索引的主分片个数以及副本分片个数，计算得到索引的副本数量。
具体地，计算索引的副本分片个数与主分片个数的比值，该比值即为索引的副本数量，例如，若索引的主分片个数为10，副本分片的个数为30，则该索引的副本数量为3。
步骤S230，将副本数量与数个预设阈值进行比较，判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果。
根据上述内容所描述的，在零副本、副本过多以及副本过少等情况下，集群的性能均会受到影响，因此，本实施例中将副本数量与数个预设阈值进行比较，判断索引的副本数量是否符合副本设置条件，并得到对应的副本数量评估结果。
该步骤具体包括以下三种实施方式：
第一种实施方式：判断副本数量是否等于零，若是，则得到副本数量错误设置的评估结果。不为索引创建副本往往会影响集群的容灾性，举例来说，一个索引的多个主分片被配置到集群中某一个节点上，若该节点损坏，则配置在该节点上的多个主分片的数据丢失，由于该索引的副本数量为零，也即该索引的多个主分片的数据未进行备份，此时，索引的数据的完整性遭到破坏，则无法对该索引进行访问。因此，本实施例中，当索引的副本数量为零时，则得到该索引的副本数量错误设置的评估结果。
第二种实施方式：判断索引的主分片个数与ES分布式集群的节点个数的比值是否小于第一阈值；若索引的主分片个数与ES分布式集群的节点个数的比值小于第一阈值，则判断副本数量是否小于第二阈值；若副本数量小于第二阈值，则得到副本数量不合理设置的评估结果；其中，第二阈值依据第一阈值和索引的主分片个数与ES分布式集群的节点个数的比值之间的差值而设定。
其中，索引的主分片个数与ES分布式集群的节点个数的比值可以表征该索引的主分片在ES分布式集群的节点上分布的大致情况，若索引的主分片个数与节点的个数比值较小，则表明配置在每一个节点上的主分片数较少。第一阈值规定了配置在每一个节点上的分片的个数，本领域技术人员可根据实际需要设置第一阈值。因此，本实施例中，通过将索引的主分片个数与ES分布式集群的节点个数的比值与第一阈值比对，对该索引的主分片的分布情况进行一个初步的评估，通俗地来讲，通过该步骤可以确定该索引是否需要进行备份。举例来说，一个索引被划分成10个主分片，集群一共有5个节点，则相当于每个节点上有2个主分片，假设第一阈值为4，主分片的个数与节点个数的比值小于该第一阈值，则表明仅仅依靠主分片不能够达到每个节点被配置有4个分片的要求，需要对该索引进行备份。
若判断出索引的主分片个数与ES分布式集群的节点的个数的比值小于第一阈值，则进一步判断该副本数量是否小于第二阈值。也即，通过上述步骤判断出该索引需要进行备份，则进一步判断该索引的已有副本的副本数量是否合理，若副本数量小于第二阈值，则得到副本数量不合理设置的评估结果，也即，该索引需要进行备份，并且该索引的已有副本的副本数量不合理。沿用上述示例，该索引的副本数量为1，主分片个数与节点的个数的比值为2，该比值小于第一阈值，则设置第二阈值等于第一阈值(4)与该比值(2)的差值，即：第二阈值为4-2＝2，判断出该副本数量小于第二阈值，则得到副本数量不合理设置的评估结果。
第三种实施方式：判断副本数量是否大于第三阈值，若是，则得到副本数量不合理设置的评估结果；其中，第三阈值依据ES分布式集群的节点个数而设定，可选地，第三阈值等于ES分布式集群的节点个数。副本数量过多可能导致配置在同一个节点上的分片的数据即为一个索引的完整数据，查询一个节点就能获取到索引的全部数据，在此情况下，创建如此多的副本的意义不大，甚至可能造成集群故障。本实施例中，限制副本数量不能大于ES分布式集群的节点的个数。
步骤S240，根据副本数量评估结果提供索引的副本数量的修改建议，或者，强制修改索引的副本数量。
实际应用中，针对副本数量评估结果，可将副本数量评估结果进行展示，进而起到提示作用；或者，根据副本数量评估结果提供索引的副本数量的修改建议，例如，针对副本数量错误设置的评估结果所对应的索引，提供增加副本数量的建议，针对副本数量不合理设置的评估结果所对应的索引，提供增加副本数量或者减少副本数量的建议，另外，针对上述第二种实施方式中所描述的副本数量不合理设置的评估结果所对应的索引，还可根据第二阈值与副本数量之间的差值提供关于所需增加的副本的数量的建议，也即，具体增加几个副本的建议；或者，还可以根据副本数量评估结果，直接强制修改索引的副本数量，具体根据索引名和/或端口名和/或IP地址获取到索引的配置信息，更改该配置信息从而达到更改索引的副本数量的目的。
其中，在选择进行副本数量的修改处理之前，上述方法还包括：根据集群套餐的可用容量，判断是否能够增加索引的副本数量。对索引进行备份必然会占用集群的容量，对索引进行一次备份得到的副本分片的数据与索引的数据的大小一致，若索引的数据的大小大于或接近集群套餐剩余的可用容量，则不能对该索引进行备份，该索引的副本数量不能进行修改。在此状况下，可以考虑后续对套餐的变更以增加可用资源，进而在满足条件时增加副本的数量。若索引的数据的大小小于集群套餐剩余的可用容量，则增加该索引的副本数量，另外，还可进一步根据集群套餐剩余的可用容量与索引的数据的大小之间关系，确定修改索引副本数量的幅度。例如，若集群套餐剩余的可用容量与索引的数据的大小的比值大于3，则此时可为该索引创建3个副本。
其中，集群套餐是指集群的内存的容量和磁盘的容量的套餐，可用于对集群中资源进行限制，其中，可通过更改磁盘的容量实现动态地对集群进行扩容。实际应用中，可提供多个集群套餐，每一个集群套餐所对应的内存的容量和磁盘容量均不相同，以供技术人员在创建集群时，根据实际需要进行选择，确定创建的集群的容量。
综上所述，考虑到索引的副本的重要性，本实施例创新地提出了一种能够对ES分布式集群的索引的副本数量进行评估的方法，通过将副本数量与多个阈值进行对比，评估副本数量是否设置错误或者不合理，进而针对副本数量评估结果提供副本数量的更改建议或者强制对副本数量进行更改，提供更改建议能够针对不符合副本设置条件的索引起到提示作用，强制更改副本数量有助于提升ES分布式集群的容灾性以及查询性能。
图3示出了根据本发明又一个实施例的ES分布式集群的索引副本数量评估装置的结构示意图。如图3所示，该装置包括：
副本数量获取模块31，适于针对ES分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；
评估模块32，适于根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；
处理模块33，适于根据副本数量评估结果，选择是否进行副本数量的修改处理。
可选地，副本数量获取模块31进一步适于：
通过访问接口数据得到索引的主分片个数以及副本分片个数；
根据索引的主分片个数以及副本分片个数，计算得到索引的副本数量。
可选地，评估模块32进一步适于：
将副本数量与数个预设阈值进行比较，判断索引的副本数量设置是否符合副本设置条件。
可选地，评估模块32进一步适于：
判断副本数量是否等于零，若是，则得到副本数量错误设置的评估结果。
可选地，评估模块32进一步适于：
判断索引的主分片个数与ES分布式集群的节点个数的比值是否小于第一阈值；
若索引的主分片个数与ES分布式集群的节点个数的比值小于第一阈值，则判断副本数量是否小于第二阈值；
若副本数量小于第二阈值，则得到副本数量不合理设置的评估结果；其中，第二阈值依据第一阈值和索引的主分片个数与ES分布式集群的节点个数的比值阿之间的差值而设定。
可选地，评估模块32进一步适于：
判断副本数量是否大于第三阈值，若是，则得到副本数量不合理设置的评估结果；其中，第三阈值依据ES分布式集群的节点个数而设定。
可选地，处理模块33进一步适于：提供索引的副本数量的修改建议，或者，强制修改索引的副本数量。
可选地，上述装置进一步包括：
判断模块34，适于根据集群套餐的可用容量，判断是否能够增加索引的副本数量。
考虑到索引的副本的重要性，本实施例创新地提出了一种能够对ES分布式集群的索引的副本数量进行评估的装置，通过将副本数量与多个阈值进行对比，评估副本数量是否设置错误或者不合理，进而针对副本数量评估结果提供副本数量的更改建议或者强制对副本数量进行更改，提供更改建议能够针对不符合副本设置条件的索引起到提示作用，强制更改副本数量有助于提升ES分布式集群的容灾性以及查询性能。
本申请另一个实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的ES分布式集群的索引副本数量评估方法。
图4示出了根据本发明另一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402，用于执行程序410，具体可以执行上述ES分布式集群的索引副本数量评估方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作：
针对ES分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；
根据副本数量判断索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；
根据副本数量评估结果，选择是否进行副本数量的修改处理。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
通过访问接口数据得到索引的主分片个数以及副本分片个数；
根据索引的主分片个数以及副本分片个数，计算得到索引的副本数量。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
将副本数量与数个预设阈值进行比较，判断索引的副本数量设置是否符合副本设置条件。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
判断副本数量是否等于零，若是，则得到副本数量错误设置的评估结果。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
判断索引的主分片个数与ES分布式集群的节点个数的比值是否小于第一阈值；
若索引的主分片个数与ES分布式集群的节点个数的比值小于第一阈值，则判断副本数量是否小于第二阈值；
若副本数量小于第二阈值，则得到副本数量不合理设置的评估结果；其中，第二阈值依据第一阈值和索引的主分片个数与ES分布式集群的节点个数的比值之间的差值而设定。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
判断副本数量是否大于第三阈值，若是，则得到副本数量不合理设置的评估结果；其中，第三阈值依据ES分布式集群的节点个数而设定。
在一种可选的方式中，程序410具体可以进一步用于使得处理器402执行以下操作：
提供索引的副本数量的修改建议，或者，强制修改索引的副本数量。
在一种可选的方式中，在选择是否进行副本数量的修改处理之前，程序410具体可以进一步用于使得处理器402执行以下操作：根据集群套餐的可用容量，判断是否能够增加索引的副本数量。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的ES分布式集群的索引副本数量评估装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了：A1.一种分布式集群的索引副本数量评估方法，包括：
针对分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；
根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；
根据副本数量评估结果，选择是否进行副本数量的修改处理。
A2.根据A1所述的方法，其中，所述通过访问接口数据获取该索引的副本数量进一步包括：
通过访问接口数据得到所述索引的主分片个数以及副本分片个数；
根据所述索引的主分片个数以及副本分片个数，计算得到所述索引的副本数量。
A3.根据A1所述的方法，其中，所述根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件进一步包括：
将所述副本数量与数个预设阈值进行比较，判断所述索引的副本数量设置是否符合副本设置条件。
A4.根据A3所述的方法，其中，所述根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果进一步包括：
判断所述副本数量是否等于零，若是，则得到副本数量错误设置的评估结果。
A5.根据A3所述的方法，其中，所述根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果进一步包括：
判断所述索引的主分片个数与分布式集群的节点个数的比值是否小于第一阈值；
若所述索引的主分片个数与分布式集群的节点个数的比值小于所述第一阈值，则判断所述副本数量是否小于第二阈值；
若所述副本数量小于第二阈值，则得到副本数量不合理设置的评估结果；其中，所述第二阈值依据所述第一阈值和索引的主分片个数与分布式集群的节点个数的比值之间的差值而设定。
A6.根据A3所述的方法，其中，所述根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果进一步包括：
判断所述副本数量是否大于第三阈值，若是，则得到副本数量不合理设置的评估结果；其中，所述第三阈值依据分布式集群的节点个数而设定。
A7.根据A1-A6中任一项所述的方法，其中，根据副本数量评估结果，选择是否进行副本数量的修改处理进一步包括：提供所述索引的副本数量的修改建议，或者，强制修改所述索引的副本数量。
A8.根据A7所述的方法，其中，在所述选择是否进行副本数量的修改处理之前，所述方法还包括：
根据集群套餐的可用容量，判断是否能够增加所述索引的副本数量。
B9.一种ES分布式集群的索引副本数量评估装置，包括：
副本数量获取模块，适于针对ES分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；
评估模块，适于根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；
处理模块，适于根据副本数量评估结果，选择是否进行副本数量的修改处理。
B10.根据B9所述的装置，其中，所述副本数量获取模块进一步适于：
通过访问接口数据得到所述索引的主分片个数以及副本分片个数；
根据所述索引的主分片个数以及副本分片个数，计算得到所述索引的副本数量。
B11.根据B9所述的装置，其中，所述评估模块进一步适于：
将所述副本数量与数个预设阈值进行比较，判断所述索引的副本数量设置是否符合副本设置条件。
B12.根据B11所述的装置，其中，所述评估模块进一步适于：
判断所述副本数量是否等于零，若是，则得到副本数量错误设置的评估结果。
B13.根据B11所述的装置，其中，所述评估模块进一步适于：
判断所述索引的主分片个数与ES分布式集群的节点个数的比值是否小于第一阈值；
若所述索引的主分片个数与ES分布式集群的节点个数的比值小于所述第一阈值，则判断所述副本数量是否小于第二阈值；
若所述副本数量小于第二阈值，则得到副本数量不合理设置的评估结果；其中，所述第二阈值依据所述第一阈值和索引的主分片个数与ES分布式集群的节点个数的比值之间的差值而设定。
B14.根据B11所述的装置，其中，所述评估模块进一步适于：
判断所述副本数量是否大于第三阈值，若是，则得到副本数量不合理设置的评估结果；其中，所述第三阈值依据ES分布式集群的节点个数而设定。
B15.根据B9-B14中任一项所述的装置，其中，所述处理模块进一步适于：提供所述索引的副本数量的修改建议，或者，强制修改所述索引的副本数量。
B16.根据B15所述的装置，其中，所述装置进一步包括：
判断模块，适于根据集群套餐的可用容量，判断是否能够增加所述索引的副本数量。
C17.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如A1-A8中任一项所述的ES分布式集群的索引副本数量评估方法对应的操作。
D18.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如A1-A8中任一项所述的ES分布式集群的索引副本数量评估方法对应的操作。
Claims (10)
1.一种分布式集群的索引副本数量评估方法，包括：
针对分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；
根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；
根据副本数量评估结果，选择是否进行副本数量的修改处理。
2.根据权利要求1所述的方法，其中，所述通过访问接口数据获取该索引的副本数量进一步包括：
通过访问接口数据得到所述索引的主分片个数以及副本分片个数；
根据所述索引的主分片个数以及副本分片个数，计算得到所述索引的副本数量。
3.根据权利要求1所述的方法，其中，所述根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件进一步包括：
将所述副本数量与数个预设阈值进行比较，判断所述索引的副本数量设置是否符合副本设置条件。
4.根据权利要求3所述的方法，其中，所述根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果进一步包括：
判断所述副本数量是否等于零，若是，则得到副本数量错误设置的评估结果。
5.根据权利要求3所述的方法，其中，所述根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果进一步包括：
判断所述索引的主分片个数与分布式集群的节点个数的比值是否小于第一阈值；
若所述索引的主分片个数与分布式集群的节点个数的比值小于所述第一阈值，则判断所述副本数量是否小于第二阈值；
若所述副本数量小于第二阈值，则得到副本数量不合理设置的评估结果；其中，所述第二阈值依据所述第一阈值和索引的主分片个数与分布式集群的节点个数的比值之间的差值而设定。
6.根据权利要求3所述的方法，其中，所述根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果进一步包括：
判断所述副本数量是否大于第三阈值，若是，则得到副本数量不合理设置的评估结果；其中，所述第三阈值依据分布式集群的节点个数而设定。
7.根据权利要求1-6中任一项所述的方法，其中，根据副本数量评估结果，选择是否进行副本数量的修改处理进一步包括：提供所述索引的副本数量的修改建议，或者，强制修改所述索引的副本数量。
8.一种ES分布式集群的索引副本数量评估装置，包括：
副本数量获取模块，适于针对ES分布式集群的任一个索引，通过访问接口数据获取该索引的副本数量；
评估模块，适于根据所述副本数量判断所述索引的副本数量设置是否符合副本设置条件，得到副本数量评估结果；
处理模块，适于根据副本数量评估结果，选择是否进行副本数量的修改处理。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的ES分布式集群的索引副本数量评估方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的ES分布式集群的索引副本数量评估方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810712263.3A CN108897865A (zh) | 2018-06-29 | 2018-06-29 | 分布式集群的索引副本数量评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810712263.3A CN108897865A (zh) | 2018-06-29 | 2018-06-29 | 分布式集群的索引副本数量评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108897865A true CN108897865A (zh) | 2018-11-27 |
Family
ID=64347244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810712263.3A Pending CN108897865A (zh) | 2018-06-29 | 2018-06-29 | 分布式集群的索引副本数量评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108897865A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110442645A (zh) * | 2019-07-11 | 2019-11-12 | 新华三大数据技术有限公司 | 数据索引方法及装置 |
| CN111880993A (zh) * | 2020-07-28 | 2020-11-03 | 平安科技（深圳）有限公司 | 集群运维状态诊断方法、运维监控系统和终端、存储介质 |
| CN112527751A (zh) * | 2020-12-16 | 2021-03-19 | 中国联合网络通信集团有限公司 | 数据处理方法、装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013147785A1 (en) * | 2012-03-29 | 2013-10-03 | Hitachi Data Systems Corporation | Highly available search index with storage node addition and removal |
| CN107450855A (zh) * | 2017-08-08 | 2017-12-08 | 山东浪潮云服务信息科技有限公司 | 一种用于分布式存储的模型可变的数据分布方法及系统 |
| CN107566531A (zh) * | 2017-10-17 | 2018-01-09 | 厦门市美亚柏科信息股份有限公司 | 一种支持均衡资源的Elasticsearch集群扩展方法 |
| CN107770259A (zh) * | 2017-09-30 | 2018-03-06 | 武汉理工大学 | 基于文件热度和节点负载的副本数量动态调整方法 |
| CN108108233A (zh) * | 2017-11-29 | 2018-06-01 | 上海交通大学 | 任务多副本执行的集群作业调度方法及系统 |
-
2018
- 2018-06-29 CN CN201810712263.3A patent/CN108897865A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013147785A1 (en) * | 2012-03-29 | 2013-10-03 | Hitachi Data Systems Corporation | Highly available search index with storage node addition and removal |
| CN107450855A (zh) * | 2017-08-08 | 2017-12-08 | 山东浪潮云服务信息科技有限公司 | 一种用于分布式存储的模型可变的数据分布方法及系统 |
| CN107770259A (zh) * | 2017-09-30 | 2018-03-06 | 武汉理工大学 | 基于文件热度和节点负载的副本数量动态调整方法 |
| CN107566531A (zh) * | 2017-10-17 | 2018-01-09 | 厦门市美亚柏科信息股份有限公司 | 一种支持均衡资源的Elasticsearch集群扩展方法 |
| CN108108233A (zh) * | 2017-11-29 | 2018-06-01 | 上海交通大学 | 任务多副本执行的集群作业调度方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110442645A (zh) * | 2019-07-11 | 2019-11-12 | 新华三大数据技术有限公司 | 数据索引方法及装置 |
| CN111880993A (zh) * | 2020-07-28 | 2020-11-03 | 平安科技（深圳）有限公司 | 集群运维状态诊断方法、运维监控系统和终端、存储介质 |
| WO2021139254A1 (zh) * | 2020-07-28 | 2021-07-15 | 平安科技（深圳）有限公司 | 集群运维状态诊断方法、运维监控系统和终端、存储介质 |
| CN111880993B (zh) * | 2020-07-28 | 2022-06-28 | 平安科技（深圳）有限公司 | 集群运维状态诊断方法、运维监控系统和终端、存储介质 |
| CN112527751A (zh) * | 2020-12-16 | 2021-03-19 | 中国联合网络通信集团有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN112527751B (zh) * | 2020-12-16 | 2023-10-31 | 中国联合网络通信集团有限公司 | 数据处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8533182B1 (en) | Apparatuses, systems, and methods for efficient graph pattern matching and querying | |
| US7895187B2 (en) | Hybrid evaluation of expressions in DBMS | |
| US9330411B2 (en) | High-performance graph analytics engine making recommendations using a finite state machine/FSM, bitmasks, and graphs with edges representing purchases, and vertices representing customers and products | |
| CN109684209A (zh) | 一种测试用例生成方法、装置及电子设备 | |
| CN108897865A (zh) | 分布式集群的索引副本数量评估方法及装置 | |
| MX2013015009A (es) | Fusion logica eficiente a traves de corrientes fisicamente divergentes. | |
| US20210073219A1 (en) | Database query data redundancy nullification | |
| US10476959B2 (en) | Cloud resource provisioning using blueprint chaining | |
| CN105610903B (zh) | 分布式系统的数据节点升级方法及装置 | |
| CN105677509B (zh) | 数据库中数据的恢复方法及装置 | |
| CN106326222B (zh) | 一种数据处理方法和装置 | |
| US8473962B2 (en) | Service selection for composite services | |
| CN109710603B (zh) | 数据清洗方法、系统、存储介质及电子设备 | |
| CN106681836A (zh) | 一种信号量的创建方法及装置 | |
| CN103580918B (zh) | 一种配置数据处理方法及装置 | |
| US10762088B2 (en) | Automated database manager | |
| US8661293B2 (en) | Test architecture based on intelligent test sequence | |
| CN108897858A (zh) | 分布式集群索引分片的评估方法及装置、电子设备 | |
| CN108920295A (zh) | 系统异常的处理方法、装置及系统 | |
| CN108255955A (zh) | 一种数据处理方法及装置 | |
| CN106649584A (zh) | 一种主从式数据库系统中的索引处理方法和装置 | |
| CN106933926A (zh) | 数据表的过滤方法及装置 | |
| CN109003148A (zh) | 广告推送方法、装置、服务器及可读存储介质 | |
| CN107203550B (zh) | 一种数据处理方法和数据库服务器 | |
| CN106933892B (zh) | 描述信息的存储方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181127 |
|
| RJ01 | Rejection of invention patent application after publication |