CN113688142A - 索引管理方法、装置、存储介质和电子设备 - Google Patents
索引管理方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN113688142A CN113688142A CN202111239449.XA CN202111239449A CN113688142A CN 113688142 A CN113688142 A CN 113688142A CN 202111239449 A CN202111239449 A CN 202111239449A CN 113688142 A CN113688142 A CN 113688142A
- Authority
- CN
- China
- Prior art keywords
- index
- target
- state
- target index
- time point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种索引管理方法、装置、存储介质和电子设备。该方法包括:获取目标索引的索引信息;根据索引信息,确定目标索引的索引状态;在索引状态为待调整状态的情况下,创建第一索引,其中,待调整状态包括以下至少之一:目标索引的至少一个分片中数据大小达到第一阈值、当前时间点到达目标索引的创建时间点所在的目标时间段的结束时间点、目标索引存在异常;将指向目标索引的索引别名调整为指向第一索引。本发明解决了对索引进行管理灵活性差的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种索引管理方法、装置、存储介质和电子设备。
背景技术
现有技术中,在索引管理过程中,通常为在创建索引的时候,为索引配置生命周期,当索引的生命周期到达时,则删除索引。上述索引的管理方法仅仅能够实现配置索引的生命周期,造成索引的管理灵活性差。
发明内容
本发明实施例提供了一种索引管理方法、装置、存储介质和电子设备,以至少解决索引管理灵活性差的技术问题。
根据本发明实施例的第一方面,提供了一种索引管理方法,包括:获取目标索引的索引信息;根据上述索引信息,确定上述目标索引的索引状态;在上述索引状态为待调整状态的情况下,创建第一索引,其中,上述待调整状态包括以下至少之一:上述目标索引的至少一个分片中数据大小达到第一阈值、当前时间点到达上述目标索引的创建时间点所在的目标时间段的结束时间点、上述目标索引存在异常;将指向上述目标索引的索引别名调整为指向上述第一索引。
根据本发明实施例的另一方面,提供了一种索引管理装置,包括:第一获取单元,用于获取目标索引的索引信息;确定单元,用于根据上述索引信息,确定上述目标索引的索引状态;创建单元,用于在上述索引状态为待调整状态的情况下,创建第一索引,其中,上述待调整状态包括以下至少之一:上述目标索引的至少一个分片中数据大小达到第一阈值、当前时间点到达上述目标索引的创建时间点所在的目标时间段的结束时间点、上述目标索引存在异常;调整单元,用于将指向上述目标索引的索引别名调整为指向上述第一索引。
作为一种可选的示例,上述确定单元包括:第一获取模块,用于获取上述目标索引的每一个分片的数据大小;第一确定模块,用于在上述目标索引的任意一个分片的数据大小达到上述第一阈值的情况下,确定上述目标索引的上述索引状态为上述待调整状态。
作为一种可选的示例,上述创建单元包括:第二获取模块,用于获取上述目标索引的分片数量;第一创建模块,用于创建分片数量大于上述目标索引的分片数量的上述第一索引。
作为一种可选的示例,上述确定单元包括:第三获取模块,用于获取上述目标索引的上述创建时间点与当前时间点;第二确定模块,用于确定上述创建时间点所在的目标时间段;第四获取模块,用于获取上述目标时间段的结束时间点;第三确定模块,用于在上述当前时间点到达上述结束时间点的情况下,确定上述目标索引的上述索引状态为上述待调整状态。
作为一种可选的示例,上述创建单元包括:第五获取模块,用于获取上述目标索引的分片数量;第二创建模块,用于创建分片数量与上述目标索引的分片数量相同的上述第一索引。
作为一种可选的示例,上述确定单元包括:第六获取模块,用于获取上述目标索引的巡检状态;第四确定模块,用于在上述巡检状态指示上述目标索引存在异常的情况下,确定上述目标索引的上述索引状态为上述待调整状态。
作为一种可选的示例,上述创建单元包括:第七获取模块,用于获取所有集群中,每一个集群的节点数量;第三创建模块,用于在节点数量最少的目标集群中创建上述第一索引。
作为一种可选的示例,上述装置还包括:第二获取单元,用于在将指向上述目标索引的索引别名调整为指向上述第一索引之后,获取上述目标索引的生命周期;第一删除单元,用于在当前时间点到达上述目标索引的上述生命周期的结束时间点的情况下,删除上述目标索引。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被处理器运行时执行上述索引管理方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的索引管理方法。
在本发明实施例中,采用了获取目标索引的索引信息;根据上述索引信息,确定上述目标索引的索引状态;在上述索引状态为待调整状态的情况下,创建第一索引,其中,上述待调整状态包括以下至少之一:上述目标索引的至少一个分片中数据大小达到第一阈值、当前时间点到达上述目标索引的创建时间点所在的目标时间段的结束时间点、上述目标索引存在异常;将指向上述目标索引的索引别名调整为指向上述第一索引的方法,由于在上述方法中,在管理索引的过程中,可以根据目标索引的状态确定是否为目标索引创建新的第一索引,可以在目标索引状态有误的情况下管理目标索引,提高了目标索引的管理灵活性。进而解决了索引管理灵活性差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的索引管理方法的流程图;
图2是根据本发明实施例的一种可选的索引管理方法的创建第一索引的示意图;
图3是根据本发明实施例的另一种可选的索引管理方法的创建第一索引的示意图;
图4是根据本发明实施例的又一种可选的索引管理方法的创建第一索引的示意图;
图5是根据本发明实施例的一种可选的索引管理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的第一方面,提供了一种索引管理方法,可选地,如图1所示,上述方法包括:
S102,获取目标索引的索引信息;
S104,根据索引信息,确定目标索引的索引状态;
S106,在索引状态为待调整状态的情况下,创建第一索引,其中,待调整状态包括以下至少之一:目标索引的至少一个分片中数据大小达到第一阈值、当前时间点到达目标索引的创建时间点所在的目标时间段的结束时间点、目标索引存在异常;
S108,将指向目标索引的索引别名调整为指向第一索引。
本实施例中所提到的第一索引、目标索引等是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。通过索引,可以快速的查找数据库中的内容。
本实施例中所提到的目标索引,可以为单个索引,也可以指多个索引。本实施例中,可以通过一个常驻服务的方式,来实现自定义的索引管理策略 (自定义是指在索引服务中可以配置不通的方式来实现索引的生命周期管理)。通过该服务可以实现对于索引大小的管控、异常索引自动迁移、自动扩容索引分片数(当索引的数据量很大时,通过扩大分片数可以有效的提升整个索引的读写性能)。通过以上功能可以有效的解决在负载业务和大批量索引下对索引进行有效管理的工作。
可选地,本实施例中的目标索引的索引信息可以包括目标索引的分片数量、每一个分片的数据大小、创建时间点、巡检状态。每一个索引都可以创建一个到多个的分片,同一个索引的分片的容量相同,例如为50G。不同索引的分片容量可以不同也可以相同。每一个分片的数据大小指写入到该分片的数据所占用的容量。创建时间点指创建目标索引的时间点。巡检状态用于指示目标索引的状态是否异常。
可选地,本实施例中,可以获取目标索引的索引信息,根据索引信息确定目标索引的索引状态。如果目标索引的索引状态为待调整状态,则创建第一索引,将指向目标索引的索引别名调整为指向第一索引。本实施例实现了如果目标索引为待调整的索引,则自动创建第一索引,可以将第一索引确定为新的目标索引,以实现对目标索引进行调整的目的。通过该方法,可以对每一个索引进行灵活的管理调整,提高了索引的管理灵活性。
作为一种可选的示例,根据索引信息,确定目标索引的索引状态包括:
获取目标索引的每一个分片的数据大小;
在目标索引的任意一个分片的数据大小达到第一阈值的情况下,确定目标索引的索引状态为待调整状态。
可选地,本实施例中,目标索引的分片数量如果为1个,则该分片中的数据的数据大小达到第一阈值时,认为目标索引的索引状态为待调整状态。如果目标索引的分片数量为多个,则需要确定每一个分片的数据的数据大小。如果有任意一个分片的数据的数据大小达到第一阈值,则认为目标索引的索引状态为待调整状态。上述的第一阈值可以为分片的分片容量。即分片所能够写入的数据量的最大值。如分片容量为50G,则可以写入50G的数据。上述的第一阈值还可以为配置的小于分片容量的值,如分片容量为50G,配置40G为第一阈值。在向目标索引的多个分片中写入数据时,是向多个分片中均匀写入数据,各个分片中写入的数据的数据量的差异小。如分片1和分片2,先向分片1写入数据,写入少量数据后,向分片2写入数据,保证两个分片的数据量的差值小于第二阈值。
通过本实施例,可以确定目标索引的分片是否写满,如果接近写满,则确定目标索引的索引状态为待调整状态。
作为一种可选的示例,在索引状态为待调整状态的情况下,创建第一索引包括:
获取目标索引的分片数量;
创建分片数量大于目标索引的分片数量的第一索引。
可选地,本实施例中,当目标索引的各个分片接近写满时,也就是其中一个分片的数据大小达到第一阈值时,可以创建新的第一索引,并且,为新的第一索引分配多个分片,分配的分片的数量要多于目标索引的分片的数量。例如目标索引的分片数为2个,则第一索引的分片数可以为3个或4个或更多。每一个分片的分片容量与目标索引的每一个分片的分片容量是相同的。
如图2所示,索引管理器创建索引1,索引1包括了分片1和分片2。索引管理器检查索引1的分片1、2的状态。如果分片1、2中的任意一个分片的数据量过大,如数据写满,则创建索引2,索引2包括分片1-4。
作为一种可选的示例,根据索引信息,确定目标索引的索引状态包括:
获取目标索引的创建时间点与当前时间点;
确定创建时间点所在的目标时间段;
获取目标时间段的结束时间点;
在当前时间点到达结束时间点的情况下,确定目标索引的索引状态为待调整状态。
可选地,本实施例中,可以设置时间周期。每一个时间周期为一个目标时间段。例如,一天为一个目标时间段,或者一小时、半天等均可以作为一个目标时间段。如果目标索引是在目标时间段内创建的索引,而当前时间点已经到达目标时间段的结束时间点,则认为目标索引的索引状态为待调整状态,需要进行调整。
作为一种可选的示例,在索引状态为待调整状态的情况下,创建第一索引包括:
获取目标索引的分片数量;
创建分片数量与目标索引的分片数量相同的第一索引。
在本实施例中,在当前时间点已经到达目标时间段的结束时间点的情况下,在调整目标索引时,可以创建第一索引。创建第一索引时,可以获取目标索引当前的分片数量,创建分片数量与目标索引的当前的分片数量相同的第一索引。例如,目标时间段内,目标索引的初始分片有2个,在数据量写满分片时,经过上述实施例中的调整,调整为4个分片。而当当前时间点到达目标时间段的结束时间点时,目标索引有4个分片。则创建第一索引时,创建4个分片的第一索引。如图3所示,图3中,如果索引1包括分片1、2,则当当前时间点到达目标时间段的结束时间点时,创建的索引2包括有两个分片,即分片1、2。而如果索引1经过调整有4个分片,则当当前时间点到达目标时间段的结束时间点时,创建索引2时,索引2有4个分片。
作为一种可选的示例,根据索引信息,确定目标索引的索引状态包括:
获取目标索引的巡检状态;
在巡检状态指示目标索引存在异常的情况下,确定目标索引的索引状态为待调整状态。
可选地,本实施例中的巡检状态可以通过不同的状态来提示目标索引是否存在异常。例如,可以以不同颜色来提示异常。也可以在目标索引存在异常时,以特殊的显示样式将目标索引标注出来。如红色表示异常,绿色表示健康等。如果目标索引存在异常,则目标索引需要进行调整。
作为一种可选的示例,在索引状态为待调整状态的情况下,创建第一索引包括:
获取所有集群中,每一个集群的节点数量;
在节点数量最少的目标集群中创建第一索引。
可选地,本实施例中,上述集群指一个或多个节点(服务器)的集合,集群保存数据,并提供跨所有节点的联合索引和搜索功能。本实施例在创建第一索引时,可以向节点数量最少的目标集群中创建第一索引,并向第一索引中写入数据,如果写入数据后,第一索引异常,则停止写入当前数据。
如图4所示,图4中,索引管理器创建集群1中的索引1,并实时或周期检查索引1状态。如果索引1存在异常,则在集群1中创建索引2。
作为一种可选的示例,在将指向目标索引的索引别名调整为指向第一索引之后,方法还包括:
获取目标索引的生命周期;
在当前时间点到达目标索引的生命周期的结束时间点的情况下,删除目标索引。
可选地,本实施例中,可以为不同的目标索引配置不同的生命周期。如第一目标索引的生命周期为24小时,第二目标索引的生命周期可以为1小时。目标索引在生命周期结束时删除。生命周期的时长的配置可以根据索引的重要性确定,重要性越大,生命周期越长。
作为一种可选的示例,在将指向目标索引的索引别名调整为指向第一索引之后,方法还包括:
获取目标索引的创建时间点所在的删除时间段;
在当前时间点到达删除时间段的结束时间点的情况下,删除目标索引。
可选地,本实施例中,可以配置不同的删除时间段。如一天为一个删除时间段。如果一个目标索引在一个删除时间段内创建,则到达删除时间段的结束时间点时,目标索引需要删除。例如,6月1号当前为一个删除时间段,当前内创建的所有目标索引需要在当前的24时删除。
作为一种可选的示例,在将指向目标索引的索引别名调整为指向第一索引之后,方法还包括:
将目标索引按照创建时间顺序备份到离线存储介质中;
删除当前存储介质中的目标索引。
可选地,本实施例中删除目标索引还可以将目标索引备份到离线存储介质中。可以按照创建时间的先后顺序备份。备份目标索引后,将当前存储介质中的目标索引删除。此时,仅有离线存储介质中保存有目标索引,可以在后续需要时,按照时间标志进行快速查找。离线存储介质可以选择成本更低的离线的存储介质。
本实施例可以基于Elasticsearch引擎(一种分布式数据检索的引擎,Elasticsearch通常用于数据的检索、分析。Elasticsearch中的数据存储在Index(索引中).一个索引可以有多个分片)自身的API接口和对于索引分片数的最佳实践来实现上述索引管理方法。可以采用golang语言开发, 并且对外提供了标准的基于http协议的接口,方便进行索引策略的机制触发以及索引的信息查看。
本实施例实现了索引切换、分片更新、定期巡检的功能。
索引切换的实现机制:
分片的数据大小达到了上限:创建索引的时候, 系统会默认给该索引创建分片,默认为2个分片 , 当数据写入量达到单个分片50G的时候(50G是分片能够承担的最大的数值,超过50G会影响数据的查询速度),系统会将该索引进行重建,重建的索引分片数为4个,并将别名切换到新的索引中。
分片更新:因为在时序类的场景需求中,周期性的切换索引,可以保证数据的查询是在某个固定的索引命名空间里面的. 比如在6月1号创建的索引都为index-xxxx-2021-06-01。那么如果当前时间点到达6月2号,就要求在当前时间点进行切换,创建第一索引,并将别名切换到新的索引中。本实施例可以在每天的固定时间点进行切换。如每天的午夜12点。
定期巡检:
本实施例提供了对于索引状态的巡检功能, 在Elasticsearch集群中,如果某个索引出现了异常,可能会导致整个集群的状态变红(ES集群状态分为红、黄、绿. 红表示不可用、黄表示有问题,但可用、绿表示很健康) . 那么在巡检过程中,如果某个索引变红了,应用程序会自动的切换一个新的索引,同时会将新索引切换到一个最小规模的集群中,防止因为持续写入脏数据导致索引再次出现问题。如果新的索引也出现异常,则停止数据写入,发送异常告警,需要进行问题的排查。
本实施例中,创建新索引后,旧索引需要删除。删除分为生命周期删除、软删除和硬删除。
生命周期删除:指索引的生命周期结束后,自动删除。
索引软删除:数据备份到成本更低的廉价存储中。软删除的机制就是将删除前,首先将索引进行冷存储,冷存储为离线存储。可以选择将索引备份到S3或者其他的廉价的存储介质中. 保证数据在未来需要访问和使用的时候,可以从S3或者其他存储介质中进行恢复。
索引硬删除:数据直接删除不可恢复。索引硬删除,就是按照固定的周期性的策略,进行索引的清理操作, 同时该删除不可恢复,无法回滚。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一方面,还提供了一种用于实施上述索引管理方法的索引管理装置,如图5所示,该装置包括:
第一获取单元502,用于获取目标索引的索引信息;
确定单元504,用于根据索引信息,确定目标索引的索引状态;
创建单元506,用于在索引状态为待调整状态的情况下,创建第一索引,其中,待调整状态包括以下至少之一:目标索引的至少一个分片中数据大小达到第一阈值、当前时间点到达目标索引的创建时间点所在的目标时间段的结束时间点、目标索引存在异常;
调整单元508,用于将指向目标索引的索引别名调整为指向第一索引。
本实施例中所提到的第一索引、目标索引等是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。通过索引,可以快速的查找数据库中的内容。
本实施例中所提到的目标索引,可以为单个索引,也可以指多个索引。本实施例中,可以通过一个常驻服务的方式,来实现自定义的索引管理策略 (自定义是指在索引服务中可以配置不通的方式来实现索引的生命周期管理)。通过该服务可以实现对于索引大小的管控、异常索引自动迁移、自动扩容索引分片数(当索引的数据量很大时,通过扩大分片数可以有效的提升整个索引的读写性能)。通过以上功能可以有效的解决在负载业务和大批量索引下对索引进行有效管理的工作。
可选地,本实施例中的目标索引的索引信息可以包括目标索引的分片数量、每一个分片的数据大小、创建时间点、巡检状态。每一个索引都可以创建一个到多个的分片,同一个索引的分片的容量相同,例如为50G。不同索引的分片容量可以不同也可以相同。每一个分片的数据大小指写入到该分片的数据所占用的容量。创建时间点指创建目标索引的时间点。巡检状态用于指示目标索引的状态是否异常。
可选地,本实施例中,可以获取目标索引的索引信息,根据索引信息确定目标索引的索引状态。如果目标索引的索引状态为待调整状态,则创建第一索引,将指向目标索引的索引别名调整为指向第一索引。本实施例实现了如果目标索引为待调整的索引,则自动创建第一索引,可以将第一索引确定为新的目标索引,以实现对目标索引进行调整的目的。通过该方法,可以对每一个索引进行灵活的管理调整,提高了索引的管理灵活性。
本实施例的其他示例请参见上述示例,在此不再赘述。
根据本发明实施例的又一方面,还提供了一种用于实施上述索引管理方法的电子设备,该电子设备可以包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为通过计算机程序执行上述上述第一方面的索引管理方法或上述第二方面的索引管理方法实施例中的步骤。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为被处理器运行时执行上述第一方面和第二方面的索引管理方法实施例中的步骤。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种索引管理方法,其特征在于,包括:
获取目标索引的索引信息;
根据所述索引信息,确定所述目标索引的索引状态;
在所述索引状态为待调整状态的情况下,创建第一索引,其中,所述待调整状态包括以下至少之一:所述目标索引的至少一个分片中数据大小达到第一阈值、当前时间点到达所述目标索引的创建时间点所在的目标时间段的结束时间点、所述目标索引存在异常;
将指向所述目标索引的索引别名调整为指向所述第一索引。
2.根据权利要求1所述的方法,其特征在于,所述根据所述索引信息,确定所述目标索引的索引状态包括:
获取所述目标索引的每一个分片的数据大小;
在所述目标索引的任意一个分片的数据大小达到所述第一阈值的情况下,确定所述目标索引的所述索引状态为所述待调整状态。
3.根据权利要求2所述的方法,其特征在于,所述在所述索引状态为待调整状态的情况下,创建第一索引包括:
获取所述目标索引的分片数量;
创建分片数量大于所述目标索引的分片数量的所述第一索引。
4.根据权利要求1所述的方法,其特征在于,所述根据所述索引信息,确定所述目标索引的索引状态包括:
获取所述目标索引的所述创建时间点与当前时间点;
确定所述创建时间点所在的目标时间段;
获取所述目标时间段的结束时间点;
在所述当前时间点到达所述结束时间点的情况下,确定所述目标索引的所述索引状态为所述待调整状态。
5.根据权利要求4所述的方法,其特征在于,所述在所述索引状态为待调整状态的情况下,创建第一索引包括:
获取所述目标索引的分片数量;
创建分片数量与所述目标索引的分片数量相同的所述第一索引。
6.根据权利要求1所述的方法,其特征在于,所述根据所述索引信息,确定所述目标索引的索引状态包括:
获取所述目标索引的巡检状态;
在所述巡检状态指示所述目标索引存在异常的情况下,确定所述目标索引的所述索引状态为所述待调整状态。
7.根据权利要求6所述的方法,其特征在于,所述在所述索引状态为待调整状态的情况下,创建第一索引包括:
获取所有集群中,每一个集群的节点数量;
在节点数量最少的目标集群中创建所述第一索引。
8.根据权利要求1至7任意一项所述的方法,其特征在于,在将指向所述目标索引的索引别名调整为指向所述第一索引之后,所述方法还包括:
获取所述目标索引的生命周期;
在当前时间点到达所述目标索引的所述生命周期的结束时间点的情况下,删除所述目标索引。
9.根据权利要求1至7任意一项所述的方法,其特征在于,在将指向所述目标索引的索引别名调整为指向所述第一索引之后,所述方法还包括:
获取所述目标索引的创建时间点所在的删除时间段;
在当前时间点到达所述删除时间段的结束时间点的情况下,删除所述目标索引。
10.根据权利要求1至7任意一项所述的方法,其特征在于,在将指向所述目标索引的索引别名调整为指向所述第一索引之后,所述方法还包括:
将所述目标索引按照创建时间顺序备份到离线存储介质中;
删除当前存储介质中的所述目标索引。
11.一种索引管理装置,其特征在于,包括:
第一获取单元,用于获取目标索引的索引信息;
确定单元,用于根据所述索引信息,确定所述目标索引的索引状态;
创建单元,用于在所述索引状态为待调整状态的情况下,创建第一索引,其中,所述待调整状态包括以下至少之一:所述目标索引的至少一个分片中数据大小达到第一阈值、当前时间点到达所述目标索引的创建时间点所在的目标时间段的结束时间点、所述目标索引存在异常;
调整单元,用于将指向所述目标索引的索引别名调整为指向所述第一索引。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第三获取单元,用于在将指向所述目标索引的索引别名调整为指向所述第一索引之后,获取所述目标索引的创建时间点所在的删除时间段;
第二删除单元,用于在当前时间点到达所述删除时间段的结束时间点的情况下,删除所述目标索引。
13.根据权利要求11所述的装置,其特征在于,所述装置还包括:
备份单元,用于在将指向所述目标索引的索引别名调整为指向所述第一索引之后,将所述目标索引按照创建时间顺序备份到离线存储介质中;
第三删除单元,用于删除当前存储介质中的所述目标索引。
14.一种计算机可读的存储介质,所述计算机可读的存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行所述权利要求1至10任一项中所述的方法。
15.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至10任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111239449.XA CN113688142B (zh) | 2021-10-25 | 2021-10-25 | 索引管理方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111239449.XA CN113688142B (zh) | 2021-10-25 | 2021-10-25 | 索引管理方法、装置、存储介质和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113688142A true CN113688142A (zh) | 2021-11-23 |
CN113688142B CN113688142B (zh) | 2022-05-06 |
Family
ID=78587845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111239449.XA Active CN113688142B (zh) | 2021-10-25 | 2021-10-25 | 索引管理方法、装置、存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113688142B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663086A (zh) * | 2012-04-09 | 2012-09-12 | 华中科技大学 | 一种数据块索引的检索方法 |
CN105631003A (zh) * | 2015-12-28 | 2016-06-01 | 北京赛思信安技术股份有限公司 | 支持海量数据分组统计的智能索引构建、查询及维护方法 |
US20200348878A1 (en) * | 2019-05-02 | 2020-11-05 | Elasticsearch B.V. | Index Lifecycle Management |
CN112434039A (zh) * | 2020-11-30 | 2021-03-02 | 浙江大华技术股份有限公司 | 数据的存储方法、装置、存储介质以及电子装置 |
CN112883036A (zh) * | 2021-03-05 | 2021-06-01 | 鹏城实验室 | 索引创建方法、装置、存储服务器以及存储介质 |
CN112925783A (zh) * | 2021-03-26 | 2021-06-08 | 北京金山云网络技术有限公司 | 业务数据处理方法和装置、电子设备和存储介质 |
CN113127479A (zh) * | 2019-12-31 | 2021-07-16 | 奇安信科技集团股份有限公司 | 一种Elasticsearch索引的加载方法、装置、计算机设备和存储介质 |
CN113177050A (zh) * | 2021-05-18 | 2021-07-27 | 浙江大华技术股份有限公司 | 一种数据均衡的方法、装置、查询系统及存储介质 |
CN113282607A (zh) * | 2021-06-02 | 2021-08-20 | 山东健康医疗大数据有限公司 | 一种数据库的优化查询方法 |
CN113485962A (zh) * | 2021-06-30 | 2021-10-08 | 中国民航信息网络股份有限公司 | 日志文件的存储方法、装置、设备和存储介质 |
-
2021
- 2021-10-25 CN CN202111239449.XA patent/CN113688142B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663086A (zh) * | 2012-04-09 | 2012-09-12 | 华中科技大学 | 一种数据块索引的检索方法 |
CN105631003A (zh) * | 2015-12-28 | 2016-06-01 | 北京赛思信安技术股份有限公司 | 支持海量数据分组统计的智能索引构建、查询及维护方法 |
US20200348878A1 (en) * | 2019-05-02 | 2020-11-05 | Elasticsearch B.V. | Index Lifecycle Management |
CN113127479A (zh) * | 2019-12-31 | 2021-07-16 | 奇安信科技集团股份有限公司 | 一种Elasticsearch索引的加载方法、装置、计算机设备和存储介质 |
CN112434039A (zh) * | 2020-11-30 | 2021-03-02 | 浙江大华技术股份有限公司 | 数据的存储方法、装置、存储介质以及电子装置 |
CN112883036A (zh) * | 2021-03-05 | 2021-06-01 | 鹏城实验室 | 索引创建方法、装置、存储服务器以及存储介质 |
CN112925783A (zh) * | 2021-03-26 | 2021-06-08 | 北京金山云网络技术有限公司 | 业务数据处理方法和装置、电子设备和存储介质 |
CN113177050A (zh) * | 2021-05-18 | 2021-07-27 | 浙江大华技术股份有限公司 | 一种数据均衡的方法、装置、查询系统及存储介质 |
CN113282607A (zh) * | 2021-06-02 | 2021-08-20 | 山东健康医疗大数据有限公司 | 一种数据库的优化查询方法 |
CN113485962A (zh) * | 2021-06-30 | 2021-10-08 | 中国民航信息网络股份有限公司 | 日志文件的存储方法、装置、设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
BIZHONG WEI,等: "An Optimization Method for Elasticsearch Index Shard Number", 《2020 16TH INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND SECURITY (CIS)》 * |
范朗: "Elasticsearch海量数据存储查询优化", 《工业控制计算机》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113688142B (zh) | 2022-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103294675B (zh) | 一种分布式存储系统中的数据更新方法及装置 | |
CN108287835B (zh) | 一种数据清理方法及装置 | |
US8578096B2 (en) | Policy for storing data objects in a multi-tier storage system | |
CN105824572B (zh) | 一种磁盘存储空间管理方法、装置及存储设备 | |
US9213731B2 (en) | Determining whether to relocate data to a different tier in a multi-tier storage system | |
CN104699423B (zh) | Linux系统中绑定盘符的方法和装置 | |
US20070055716A1 (en) | Method, apparatus, and computer readable medium for managing replication of back-up object | |
CN103761165B (zh) | 日志备份方法及装置 | |
CN103929500A (zh) | 一种分布式存储系统的数据分片方法 | |
US10628298B1 (en) | Resumable garbage collection | |
CN105630632A (zh) | 一种虚拟机恢复的方法及虚拟机管理设备 | |
JP2007241486A (ja) | 記憶装置システム | |
CN104462389A (zh) | 基于分级存储的分布式文件系统实现方法 | |
EP3287911A1 (en) | Method and device for data processing | |
CN113688142B (zh) | 索引管理方法、装置、存储介质和电子设备 | |
CN108363727A (zh) | 一种基于zfs文件系统的数据存储方法及装置 | |
CN107220248A (zh) | 一种用于存储数据的方法和装置 | |
US20030074376A1 (en) | File manager for storing several versions of a file | |
CN110554992A (zh) | 一种分布式元数据路径管理方法、系统、终端及存储介质 | |
CN109271278B (zh) | 一种确定磁盘快照数据切片的引用次数的方法和装置 | |
CN109766220A (zh) | 应用系统的备份恢复方法、装置及计算机可读存储介质 | |
CN114153392A (zh) | 一种对象存储数据存储管理方法、装置及设备 | |
CN111274219B (zh) | 数据存储方法及装置、存储介质、电子装置 | |
US11645333B1 (en) | Garbage collection integrated with physical file verification | |
CN112601106A (zh) | 视频图像的处理方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |