CN117112529A - 一种数据管理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据管理方法、装置、计算机设备和存储介质；本申请实施例可以获取搜索引擎中包含有数据流对象的管理数据，其中，数据流对象和搜索引擎中时序数据的多个索引进行关联，数据流对象包括多个索引分片；对管理数据进行查询，得到数据流对象在多个不同维度上的索引描述参数；根据不同维度的索引描述参数，计算数据流对象在不同维度上的参考索引分片数；根据数据流对象当前的索引分片数和数据流对象在不同维度上的参考索引分片数，生成数据流对象的目标调整分片数；基于目标调整分片数对数据流对象的索引分片进行调整，得到调整后索引分片。通过本申请实施例，可以降低对搜索引擎中时序数据的管理维护成本。

Description

一种数据管理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种数据管理方法、装置、计算机设备和存储介质。

背景技术

搜索引擎是根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。通过搜索引擎，可以集中地存储数据，并对数据进行搜索、索引和分析等操作。时序数据包括按照时间顺序记录的数据。对于时序数据而言，其一般只保留一定的时长，且通过该时序数据可以反应业务在一段时间内的发展区域。当搜索引擎中存储有时序数据时，由于时序数据的具有时效性的特点，因此搜索引擎需要周期性地对过期的时序数据进行处理，从而提高对时序数据进行处理的可靠性。本申请的发明人在对现有技术的实践中发现，现有技术对搜索引擎中时序数据的管理存在维护成本较高的问题。

发明内容

本申请实施例提出了一种数据管理方法、装置、计算机设备和存储介质，可以降低对搜索引擎中时序数据的管理维护成本。

本申请实施例提供了一种数据管理方法，包括：

获取搜索引擎中包含有数据流对象的管理数据，其中，所述数据流对象和所述搜索引擎中时序数据的多个索引进行关联，所述数据流对象包括多个索引分片；

对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的索引描述参数；

根据不同维度的索引描述参数，计算所述数据流对象在不同维度上的参考索引分片数；

根据所述数据流对象当前的索引分片数和所述数据流对象在不同维度上的参考索引分片数，生成所述数据流对象的目标调整分片数；

基于所述目标调整分片数对所述数据流对象的索引分片进行调整，得到调整后索引分片。

相应的，本申请实施例还提供了一种数据管理装置，包括：

获取单元，用于获取搜索引擎中包含有数据流对象的管理数据，其中，所述数据流对象和所述搜索引擎中时序数据的多个索引进行关联，所述数据流对象包括多个索引分片；

查询单元，用于对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的索引描述参数；

计算单元，用于根据不同维度的索引描述参数，计算所述数据流对象在不同维度上的参考索引分片数；

生成单元，用于根据所述数据流对象当前的索引分片数和所述数据流对象在不同维度上的参考索引分片数，生成所述数据流对象的目标调整分片数；

调整单元，用于基于所述目标调整分片数对所述数据流对象的索引分片进行调整，得到调整后索引分片。

在一实施例中，所述生成单元，可以包括：

确定子单元，用于在所述不同维度上的参考索引分片数中确定目标参考索引分片数；

比较子单元，用于将所述目标参考索引分片数和所述数据流对象当前的索引分片数进行比较，得到比较结果；

生成子单元，用于基于所述比较结果，生成所述数据流对象的目标调整分片数。

在一实施例中，所述比较子单元，可以包括：

放大模块，用于对所述当前的索引分片数进行放大，得到放大后索引分片数；

比较模块，用于将所述目标参考索引分片数和所述放大后索引分片数进行比较；

在一实施例中，所述生成子单元，可以包括：

确定模块，用于当所述目标参考索引分片数大于所述放大后索引分片数时，将所述目标参考索引分片数确定为所述目标调整分片数。

在一实施例中，所述生成单元，还可以包括：

缩小子单元，用于当所述目标参考索引分片数小于或等于所述放大后索引分片数时，对所述当前的索引分片数进行缩小，得到缩小后索引分片数；

缩小比较子单元，用于将所述目标参考索引分片数和所述缩小后索引分片数进行比较；

确定子单元，用于当所述目标参考索引分片数小于所述缩小后索引分片数时，将所述缩小后索引分片数确定为所述目标调整分片数。

在一实施例中，所述数据管理装置还可以包括：

数据获取单元，用于当进行数据更新时，获取待更新时序数据；

模式确定单元，用于根据所述待更新数据的业务信息，确定所述待更新时序数据的写入模式；

写入单元，用于基于所述写入模式将所述待更新时序数据写入到所述数据流对象的目标写入索引中。

在一实施例中，所述写入单元，可以包括：

解析子单元，用于对所述待更新时序数据进行解析，得到所述待更新时序数据的时间信息；

第一识别子单元，用于识别所述数据流对象中每个索引对应的时间范围信息；

匹配子单元，用于将所述待更新时序数据的时间信息和索引对应的时间范围信息进行匹配，得到匹配结果；

第一索引确定子单元，用于基于匹配结果在所述数据流对象的索引中确定所述待更新时序数据对应的目标写入索引；

第一写入子单元，用于将所述待更新时序数据写入到所述目标写入索引中。

在一实施例中，所述写入单元，可以包括：

第二识别子单元，用于识别所述数据流对象中每个索引对应的创建标识；

第三识别子单元，用于基于所述创建标识，在所述数据流对象的索引中识别出待写入索引；

第二索引确定子单元，用于识别所述待写入索引的状态信息，并基于所述待写入索引的状态信息，确定所述目标写入索引；

第二写入子单元，用于将所述待更新时序数据写入所述目标写入索引。

在一实施例中，所述第二索引确定子单元，可以包括：

匹配模块，用于将所述待写入索引的状态信息和预设状态条件进行匹配；

索引确定模块，用于当所述待写入索引的状态信息符合预设状态条件时，将所述待写入索引确定为所述目标写入索引；

索引识别模块，用于当所述待写入索引的状态信息不符合所述预设状态条件时，识别和所述待写入索引相关联的关联索引；

写入模块，用于将所述关联索引确定为所述目标写入索引。

在一实施例中，所述查询单元，可以包括：

查询子单元，用于对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的初始索引描述参数；

规律识别子单元，用于识别所述初始索引描述参数的参数变化规律；

去噪子单元，用于根据所述参数变化规律，对所述初始索引描述参数进行去噪处理，得到所述数据流对象在多个不同维度上的索引描述参数。

在一实施例中，所述数据管理装置还可以包括：

显示单元，用于响应于配置触发操作，显示搜索引擎配置界面；

参数获取单元，用于通过所述搜索引擎配置界面，获取配置参数；

对象生成单元，用于根据所述配置参数生成数据流对象；

封装单元，用于对所述数据流对象进行封装，得到所述管理数据。

在一实施例中，所述对象生成单元，可以包括：

策略创建子单元，用于根据所述配置参数创建索引生命周期管理策略，所述索引生命周期管理策略包括策略名称；

模板生成子单元，用于根据所述配置参数生成索引和业务内容之间的映射关系，并根据所述映射关系和所述索引生命周期管理策略的策略名称生成索引模板；

对象生成子单元，用于根据所述配置参数和所述索引模板的模板名称生成所述数据流对象。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面的各种可选方式中提供的方法。

相应的，本申请实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本申请实施例任一提供的数据管理方法。

本申请实施例可以获取搜索引擎中包含有数据流对象的管理数据，其中，数据流对象和搜索引擎中时序数据的多个索引进行关联，数据流对象包括多个索引分片；管理数据进行查询，得到数据流对象在多个不同维度上的索引描述参数；根据不同维度的索引描述参数，计算数据流对象在不同维度上的参考索引分片数；根据数据流对象当前的索引分片数和数据流对象在不同维度上的参考索引分片数，生成数据流对象的目标调整分片数；基于目标调整分片数对数据流对象的索引分片进行调整，得到调整后索引分片，降低对搜索引擎中时序数据的管理维护成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的数据管理方法的场景示意图；

图2是本申请实施例提供的数据管理方法的流程示意图；

图3是本申请实施例提供的数据流对象生成的场景示意图；

图4是本申请实施例提供的数据写入的场景示意图；

图5是本申请实施例提供的数据写入的又一场景示意图；

图6是本申请实施例提供的数据写入的又一场景示意图；

图7是本申请实施例提供的数据写入的又一场景示意图；

图8是本申请实施例提供的数据管理方法的又一流程示意图；

图9是本申请实施例提供的数据管理方法的又一流程示意图；

图10是本申请实施例提供的数据管理装置的结构示意图；

图11是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，然而，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出了一种数据管理方法，该数据管理方法可以由数据管理装置执行，该数据管理装置可以集成在计算机设备中。其中，该计算机设备可以包括终端以及服务器等中的至少一个。即，本申请实施例提出的数据管理方法即可以由终端执行，还可以由服务器执行，还可以由能够进行互相通信的终端和服务器共同执行。

其中，终端可以包括但不限于智能手机、平板电脑、笔记本电脑、个人电脑(Personal Computer，PC)、智能家电、可穿戴电子设备、VR/AR设备、车载终端、智能语音交互设备等等。

服务器可以为多个异构系统之间的互通服务器或者后台服务器，还可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等等。

需要说明的是，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。

在一实施例中，如图1所述，数据管理装置可以集成在终端或服务器等计算机设备上，以实施本申请实施例提出的数据管理方法。具体地，服务器11可以获取搜索引擎中包含有数据流对象的管理数据，其中，数据流对象和搜索引擎中时序数据的多个索引进行关联，数据流对象包括多个索引分片；对管理数据进行查询，得到数据流对象在多个不同维度上的索引描述参数；根据不同维度的索引描述参数，计算数据流对象在不同维度上的参考索引分片数；根据数据流对象当前的索引分片数和数据流对象在不同维度上的参考索引分片数，生成数据流对象的目标调整分片数；基于目标调整分片数对数据流对象的索引分片进行调整，得到调整后索引分片。

此外，当搜索引擎需要进行数据更新时，服务器11可以通过终端10获取待更新时序数据；根据待更新数据的业务信息，确定待更新时序数据的写入模式；基于写入模式将待更新时序数据写入到数据流对象的目标写入索引中。

以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本申请实施例将从数据管理装置的角度进行描述，该数据管理装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。

如图2所述，提供了一种数据管理方法，具体流程包括：

101、获取搜索引擎中包含有数据流对象的管理数据，其中，数据流对象和搜索引擎中时序数据的多个索引进行关联，数据流对象包括多个索引分片。

其中，搜索引擎可以是根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。通过搜索引擎，可以集中地存储数据，并对数据进行搜索、索引和分析等操作。

例如，搜索引擎可以包括Lucene和Elasticsearch，等等。其中，Elasticsearch也是一种分布式的搜索引擎架构，可以很简单地扩展到上百个服务节点，并支持PB(petabyte)级别的数据查询，使系统具备高可用和高并发性。

其中，时序数据可以包括按照时间顺序记录的数据。对于时序数据而言，其一般只保留一定的时长，且通过该时序数据可以反应业务在一段时间内的发展区域。例如，工业企业为了监测设备、生产线以及整个系统的运行状态，在各个关键点都配有传感器、采集各种数据。这些数据是周期或准周期产生的，有的采集频率高，有的采集频率低，这些采集的数据一般会发送至服务器，进行汇总并实时处理，对系统的运行做出实时监测或预警。

在一实施例中，时序数据可以包括以下特性：(1)时间是时序的，带有时间戳。(2)时序数据关注的是一段时间的趋势。(3)时序数据一般是有保留期限的。例如，当搜索引擎中存储有时序数据时，可能一个月便会删除过时的时序数据，因此过时的时序数据的利用率和可参考性不高。(4)时序数据的数据量一般比较大。

在一实施例中，为了提高数据管理的便利性和检索的效率，一般会将一些有关联性的时序数据集中在一起，并将这些具有关联性的时序数据用同一个索引表示。

在一实施例中，数据流对象可以和搜索引擎中时序数据的多个索引进行关联。该数据流对象可以是存储有时序数据的多个索引的抽象集合。数据流对象相当于为索引提供了一个对外的接口，当调用索引时，可以通过数据流对象调用索引，而不用关注索引的调用细节，从而简化调用索引的过程。

例如，该数据流对象可以是DataStream。DataStream是时序数据模型，由单个对象提供读写请求，内部关联多个索引组成的索引列表。

在一实施例中，数据流对象可以包括数据流对象的名称、时间字段和关联索引列表，等等。其中，关联索引列表包括和数据流对象具有关联关系的索引。时间字段可以用于说明和索引关联的时序数据的时间范围。

在一实施例中，由于搜索引擎可以存储和管理大量的数据，并且还得支持索引的查询的和写入等操作，所以需要由一个或多个服务器支持搜索引擎的运作。支持该搜索引擎进行运作的服务器可以称为一个集群。其中，集群中的服务器可以成为节点。

在一实施例中，时序数据的数据量一般都比较大，若都将时序数据都存储在一个服务器上，往往会导致服务器的负载过大，该服务器对时序数据的操作效率和效果下降。为了解决该问题当索引关联的时序数据的数据量太大时，通常会将索引关联的时序数据进行水平拆分，其中，拆分出来的每部分时序数据都可以被称为索引分片。将索引关联的时序数据拆分成多个索引分片之后，可以将索引分片分散存储到搜索引擎的集群中的多个不同节点中，从而降低每个节点的负载，提高每个节点的效率和工作效果。

例如，索引关联的时序数据为1000吉字节(Gigabyte，GB)大小。若将这1000G的时序数据都存储到一个服务器，会导致该服务器的负载过大，影响搜索引擎的响应速度。为了解决该问题，可以将这1000G的时序数据拆分成10个索引分片，然后，每个索引分片都包括100G的时序数据。然后，可以将这10个索引分片存储到集群中不同的节点中，从而解决单个服务器负载过大的问题。

在一实施例中，当数据流对象关联的索引可以分片处理时，数据流对象可以多个索引分片。

在一实施例中，本申请实施例提出的方法可以实现自动且智能化地对索引分片进行调整，得到调整后索引分片。其中，该方法可以是针对数据流对象中最新创建的索引中的索引分片进行调整，得到调整后索引分片。

例如，数据流对象关联了10个索引，其中，在该10个索引中，索引10是最新创建的索引，则本申请实施例提出的方法可以是针对索引10中的索引分片进行调整。

在一实施例中，管理数据可以包括对数据流对象中的数据进行说明的数据。例如，该管理数据可以是元数据。例如，该管理数据可以是以表格的形式存在，该管理数据中包括多个字段，每个字段都具有特定的描述含义。例如，有的字段用于描述索引之间的关系，有的字段用于描述索引的属性，等等。

在一实施例中，在现有技术中，若生成数据流对象，需要用户手动编程代码，这会使得生成数据流对象的过程变得复杂且繁琐。若用户对编程代码不熟悉，需要浪费很多的时间在调节代码的过程上。为了简化生成数据流对象的过程，本申请实施例为用户提供了一个搜索引擎配置界面，用户可以通过该搜索引擎配置界面配置各种和索引相关的参数，然后通过该搜索引擎配置界面直接生成数据流对象。

具体的，步骤“获取搜索引擎中包含有数据流对象的管理数据”之前，可以包括：

响应于配置触发操作，显示搜索引擎配置界面；

通过搜索引擎配置界面，获取配置参数；

根据配置参数生成数据流对象；

对数据流对象进行封装，得到管理数据。

其中，搜索引擎配置界面可以是提供给用户，使得用户可以对搜索引擎进行管理的可视化界面。例如，用户可以通过该搜索引擎配置界面创建、删除和修改数据流对象，等等。又例如，用户可以通过该搜索引擎配置界面对存储在搜索引擎中的参数进行管理，等等。

在一实施例中，响应于配置触发操作，可以显示搜索引擎配置界面。其中，配置触发操作包括可以使得数据管理设备显示搜索引擎配置界面的操作。例如，配置触发操作可以包括点击操作和滑动操作，等等。

例如，数据管理装置可以提供一个界面启动控件，当用户点击了该界面启动控件时，可以显示搜索引擎配置界面。

在一实施例中，显示了搜索引擎配置界面之后，用户可以通过搜索引擎配置界面对时序数据及其索引进行配置。例如，用户可以配置删除时序数据的周期。又例如，用户可以配置索引和索引之间的关系。又例如，用户可以配置如何对索引进行分片，等等。当用户对索引进行配置之后，数据管理装置可以获取到配置参数，并根据配置参数生成数据流对象。

其中，数据管理装置在生成数据流对象时，可以先生成索引生命周期管理策略和索引模型，然后再根据索引生命周期管理策略和索引模型生成数据流对象。具体的，步骤“根据配置参数生成数据流对象”，可以包括：

根据配置参数创建索引生命周期管理策略，索引生命周期管理策略包括策略名称；

根据配置参数生成索引和业务内容之间的映射关系，并根据映射关系和索引生命周期管理策略的策略名称生成索引模板；

根据配置参数和索引模板的模板名称生成数据流对象。

在一实施例中，由于时序数据会不断地更新，若没有策略对时序数据进行管理，则时序数据的索引对应的数据量便会越来越大。当索引的数据量大到一定程度之后，搜索引擎可能会出现问题。例如，当索引数据量大了之后，搜索引擎的检索速度会很慢，数据的写入和更新也会受到不同程度的影响。又例如，某些业务场景，用户更关心最近3天、最近7天的业务数据，大索引会将全部历史数据汇集在一起，不利于这种场景的数据查询。因此，需要对时序数据及其索引进行管理，避免索引的数据量无限地增大。

其中，索引生命周期管理(Index Lifecycle Management，ILM)策略便是一种用于对时序数据及其索引的生命周期进行管理的一种策略。

在一实施例中，ILM策略可以包括策略名称和策略内容。其中，策略内容中可以说明如何对时序数据及其索引进行管理。

例如，ILM策略的策略内容可以包括将一个索引的生命周期定义为四个阶段，分别是热阶段、温阶段、冷阶段和删除阶段。其中，不同阶段的索引具有不同的功能。例如，当索引处于热阶段时，说明和索引关联的时序数据利用率较高，被写入和查询的频率也较高，因此，在这个阶段的索引可以支持写入和查询。又例如，当索引处于冷阶段时，说明和索引关联的时序数据利用率很低，此时，索引不可以支持写入，但可以支持查询，只是查询的速度会低很多。又例如，当索引处于删除阶段时，说明索引可以被安全地删除。

在一实施例中，为了便于对索引进行管理，可以将已经创建好的某个索引的索引设置(Index Setting)和索引映射(Index Mapping)保存下来作为索引模板。当在创建新的索引时，可以制定新创建索引的索引模板名称，从而可以直接利用已经定义好的模板中的设置和映射对索引进行管理。其中，索引映射可以包括索引字段名称和数据类型之间的映射关系。索引设置可以包括索引的分片数和副本数，等等。

在一实施例中，如图3所示，在根据配置参数生成数据流对象时，可以根据配置参数创建ILM策略，其中，ILM策略可以包括策略名称和策略内容。然后，可以根据配置参数生成索引和业务内容之间的映射关系，并根据映射关系和索引生命周期管理策略的策略名称生成索引模板。例如，可以将索引模板中的索引设置制定为刚创建的ILM策略的策略名称，从而使得索引模板和ILM建立关联，新创建的索引可以通过索引模板直接复用ILM策略。

然后，可以根据配置参数和索引模板的模板名称生成数据流对象。例如，可以根据配置参数生成关联索引列表、时间字段和数据流对象的名称，等等。其中，可以将数据流对象的名称和索引模板的模板名称进行关联，从而使得数据流对象关联的索引可以直接复用索引模板中的索引设置和索引映射，提高索引管理的效率。

在一实施例中，在生成数据流对象之后，还可以对数据流对象进行封装，得到管理数据。然后，可以将该管理数据发布到集群中的其他节点，降低管理数据的发布次数。

此外，还可以将数据流对象、索引模板和ILM策略一起封装到管理数据中，然后，将该管理数据发布到集群中的其他节点，降低管理数据的发布次数。

102、对管理数据进行查询，得到数据流对象在多个不同维度上的索引描述参数。

其中，索引描述参数用于对数据流对象的索引进行描述。例如，该索引描述参数可以用于对数据流对象中最新创建的索引进行描述。

在一实施例中，多个不同维度上的索引描述参数可以包括索引写入速度、索引存储容量和索引文档数，等等。

其中，索引写入速度可以指将数据写入到索引或索引分片的速度。

其中，索引存储容量可以指索引或索引分片可以关联多少容量的数据。

其中，索引文档数可以指写入到索引或索引分片当中的数据量。

在一实施例中，本申请实施例提出了一个诊断系统，该诊断系统可以用于对各个搜索引擎的集群进行检测，从而判断集群中的索引分片数是否合理。当该诊断系统检测到集群中索引分片不合理时，可以时序索引分片数动态地调整，从而提高集群的可靠性。

例如，当搜索引擎为Elasticsearch时，诊断系统可以定期地查询其管理的各个Elasticsearch集群，获取集群内所有的DataStream对象。对于每个DataStream对象，可以获取索引写入速度、索引存储容量和索引文档数等多个不同维度上的索引描述参数。

在一实施例中，查询得到的索引描述参数一般是数据流对象的索引在一段时间内的参数，这些参数受访问搜索引擎的流量的影响，可能会出现噪声，因此，可以首先查询初始索引描述参数，然后，对初始索引描述参数进行去噪处理，得到索引描述参数。

具体的，步骤“对管理数据进行查询，得到数据流对象在多个不同维度上的索引描述参数”，可以包括：

对管理数据进行查询，得到数据流对象在多个不同维度上的初始索引描述参数；

识别初始索引描述参数的参数变化规律；

根据参数变化规律，对初始索引描述参数进行去噪处理，得到数据流对象在多个不同维度上的索引描述参数。

其中，参数变化规律可以用于说明索引描述参数在一段时间内的变化规律。例如，该参数变化规律可以包括陡增、稳定下降、稳定上涨和峰值变化，等等。其中，陡增变化规律指参数在短时间内呈现出快速上升的规律。峰值变化规律指参数在一段时间内进行了剧烈地变化，从而出现了峰值。例如，搜索引擎在某个时间节点忽然访问流量激增，此时，索引描述参数便有可能出现峰值变化的情况。

在一实施例中，不同维度上的索引描述参数具有不同的特点，因此，可以利用不同的查询方式，得到不同维度上的初始索引描述参数。

例如，索引写入速度关注的是时效性，即一般最新的索引写入速度才具有借鉴意义。因此，可以对数据流对象中索引分片的写入速度进行实时地采集，得到初始索引写入速度。例如，可以采集数据流对象中索引分片在过去一小时内的写入速度，得到初始索引写入速度。

又例如，索引存储容量除了最近的数据具有借鉴意义以外，其历史数据也很有意义，因此，可以放大周期来看索引存储容量。所以，初始索引分片容量可以包括索引分片在最近一段时间内的存储容量，以及在过去一段时间内的存储容量。例如，初始索引分片容量可以包括索引分片在过去一周到现在的存储容量。

同理，索引文档数除了最近的数据具有借鉴意义以外，其历史数据也很有意义，因此，可以放大周期来看索引文档数。

在一实施例中，由于初始索引描述参数在生成的过程中可能会受到噪声的影响，从而影响计算索引描述参数的准确性，所以需要识别初始索引描述参数的参数变化规律，然后据参数变化规律，对初始索引描述参数进行去噪处理，得到数据流对象在多个不同维度上的索引描述参数。

例如，若初始索引描述参数的参数变化规律为峰值变化，可以采用箱线图法对初始索引描述参数进行去噪处理，从而提出异常的峰值点。又例如，若初始索引描述参数的参数变化规律为稳定下降或稳定上涨时，可以利用最小二乘法对初始索引描述参数进行去噪处理。又例如，若初始索引描述参数的参数变化规律为陡增时，可以通过变点检测算法对初始索引描述参数进行去噪处理。又例如，若初始索引描述参数的参数变化规律为除了峰值变化、稳定上涨、稳定下降和陡增以外的情况，则还可以初始索引描述参数周期内的最大值，作为索引描述参数。

103、根据不同维度的索引描述参数，计算数据流对象在不同维度上的参考索引分片数。

在一实施例中，在获取到不同维度的索引描述参数之后，可以根据每个维度上的索引描述参数，预估数据流对象在不同维度上的参考索引分片数。

例如，多个不同维度上的索引描述参数可以包括索引写入速度、索引存储容量和索引文档数，等等。

在一实施例中，可以根据索引写入速度预估第一参考索引分片数。同理，可以根据索引存储容量预估第二参考索引分片数。同理，可以根据索引文档数预估第三参考索引分片数。然后，第一参考索引分片数、第二参考索引分片数和第三参考索引分片数构成数据流对象在不同维度上的参考索引分片数。

在一实施例中，索引的索引描述参数一般是有上限的，这也导致索引分片的索引描述参数也是有上限的。

例如，假设一个索引只创建一个索引分片，索引分片可以看成一个容器，索引分片中存储有索引关联的时序数据。其中，有两个维度可以衡量该索引分片是否是足够大的。一个维度是索引文档数，一般情况下，索引分片中所有文档数的上限是21亿个数据。另外一个维度是索引存储容量，若索引分片的索引存储容量过大，该索引分片所需的资源会过多，因此一般会避免索引分片的索引存储容量过大。一般情况下，索引分片的索引存储容量的上限是30G-50G。而对于索引写入速度，若索引写入速度过快，索引分片单位时间内接收到的数据量便会过多。为了避免索引分片在单位数据内接收的数据量过多，索引写入速度也是有上限的。

在一实施例中，可以根据不同维度的索引描述参数的上限，计算数据流对象在不同维度上的参考索引分片数。

可以利用该索引存储容量的上限除以查询到的索引分片的索引存储容量，得到预估的索引分片数。

类似的，可以该索引文档数的上限除以查询到的索引分片的索引文档数，得到预估的索引分片数。

在一实施例中，索引分片的索引写入速度可以转化为索引存储容量。具体的，索引写入速度的单位为文档/秒，然后，可以将索引写入速度乘以一天的时间，得到一天写入索引分片的索引文档数。然后，可以将索引存储文档数乘以每个文档数所需的存储容量，得到索引分片的索引存储容量。

然后，可以将索引中每个索引分片的索引写入速度都转换为索引存储容量，从而得到索引的总索引存储容量。然后，将可以判断索引的总索引存储容量是否超过上限，若没有超过上限，则可以基于该总索引存储容量预估索引分片数。

因为不同业务的索引写入速度是比较难评估的，通过将索引写入速度转换为索引存储容量的方式，可以简化基于索引写入参数评估索引分片数的过程。

在一实施例中，还可以直接通过索引写入速度计算索引分片数。例如，假设单个分片的写入速度的绝对值a，整个索引的写入速度为b，则计算出预估的索引分片数。

104、根据数据流对象当前的索引分片数和数据流对象在不同维度上的参考索引分片数，生成数据流对象的目标调整分片数。

在一实施例中，在预估出数据流对象在不同维度上的参考索引分片数之后，可以结合数据流对象当前的索引分片数和数据流对象在不同维度上的参考索引分片数，生成数据流对象的目标调整分片数。

在一实施例中，可以在不同维度的参考索引分片数据中确定目标参考索引分片数，然后将目标参考索引分片数和数据流对象当前的索引分片数进行比较，并根据比较结果生成目标调整分片数。具体的，步骤“根据数据流对象当前的索引分片数和数据流对象在不同维度上的参考索引分片数，生成数据流对象的目标调整分片数”，可以包括：

在不同维度上的参考索引分片数中确定目标参考索引分片数；

将目标参考索引分片数和数据流对象当前的索引分片数进行比较，得到比较结果；

基于比较结果，生成数据流对象的目标调整分片数。

在一实施例中，可以在不同维度上的参考索引分片数中确定目标参考索引分片数。例如，可以确定数值最大的参考索引分片数为目标参考索引分片数。又例如，可以求不同维度上的索引分片数的平均值，并将该平均值作为目标参考索引分片数，等等。

例如，不同维度上的参考索引分片数包括第一参考索引分片数(shard1)、第二参考索引分片数(shard2)和第三参考索引分片数(shard3)。然后，可以将shard1、shard2和shard3进行比较，取其中的最大值作为目标参考索引分片数(target_shard)。

在一实施例中，可以将目标参考索引分片数和数据流对象当前的索引分片数进行比较，得到比较结果。然后，基于比较结果，生成数据流对象的目标调整分片数。然后，基于目标调整分片数对数据流对象的索引分片进行调整，得到调整后索引分片。

其中，基于目标调整分片数对数据流对象的索引分片进行调整时，会增加数据的开销。例如，当目标调整分片数是增大时，则需要增加新的分片，并更改索引和索引分片之间的关系，以及时序数据和索引分片之间的关系。又例如，当目标调整分片数是减少时，则需要减少分片，并更改索引和索引分片之间的关系，以及时序数据和索引分片之间的关系。

其次，基于目标调整分片数对数据流对象的索引分片进行调整时，还需要考虑调整后索引分片的变化程度也会影响集群的性能。例如，若目标调整分片数是当前的索引分片数的两倍，虽然数据的开销会较大，但是可能会使得集群的性能大大地提升。又例如，若目标调整分片数是9，而当前的索引分片数是8，此时，虽然数据的开销会较小，集群的性能也可以提升，但是提升效果并不明显。因此，在生成数据流对象的目标调整分片数时，还需要考虑目标调整分片数会集群性能的影响，从而调整后索引分片可以较大地提高搜索引擎的性能。

因此，在将目标参考索引分片数和数据流对象当前的索引分片数进行比较时，可以对数据流对象当前的索引分片数进行放大或缩小，然后再进行比较。

具体的，步骤“将目标参考索引分片数和数据流对象当前的索引分片数进行比较，得到比较结果”，可以包括：

对当前的索引分片数进行放大，得到放大后索引分片数；

将目标参考索引分片数和放大后索引分片数进行比较。

例如，可以将当前的索引分片数按照倍数进行放大，得到放大后索引分片数。例如，可以将当前的索引分片数放大2倍或3倍，等等。

然后，将目标参考索引分片数和放大后索引分片数进行比较，并基于比较结果生成数据流对象的目标调整分片数。

在一实施例中，当目标参考索引分片数大于放大后索引分片数时，可以将目标参考索引分片数确定为目标调整分片数。

例如，放大后索引分片数为当前的索引分片数的2倍。当目标参考索引分片数大于当前的索引分片数的2倍时，可以将目标参考索引分片数确定为目标调整分片数。

在一实施例中，当目标参考索引分片数小于或等于放大后索引分片数时，可以对当前的索引分片数进行缩小，得到缩小后索引分片数。然后，再将目标参考索引分片数和缩小后索引分片数进行比较，并基于比较结果生成目标调整分片数。

具体的，本申请实施例方法还可以包括：

当目标参考索引分片数小于或等于放大后索引分片数时，对当前的索引分片数进行缩小，得到缩小后索引分片数；

将目标参考索引分片数和缩小后索引分片数进行比较；

当目标参考索引分片数小于缩小后索引分片数时，将缩小后索引分片数确定为目标调整分片数。

例如，当目标参考索引分片数小于或等于放大后索引分片数时，可以对当前的索引分片数进行一定比例的缩小，得到缩小后索引分片数。例如，缩小后索引分片数可以是当前的索引分片数的1/2。又例如，缩小后索引分片数可以是当前的索引分片数的1/4，等等。

然后，将目标参考索引分片数和缩小后索引分片数进行比较。当目标参考索引分片数小于缩小后索引分片数时，将缩小后索引分片数确定为目标调整分片数。

例如，当目标参考索引分片数小于当前的索引分片数的1/4时，可以将目标调整分片数确定为当前的索引分片数的1/4。

又例如，当目标参考索引分片数小于当前的索引分片数的1/4时，可以将目标调整分片数确定为当前的索引分片数的1/2。

在一实施例中，当目标参考索引分片数大于或缩小后索引分片数时，说明此时对数据流对象当前的索引分片数进行调整的意义不大，则可以不对索引分片数进行调整。

105、基于目标调整分片数对数据流对象的索引分片进行调整，得到调整后索引分片。

在一实施例中，当需要对数据流对象当前的索引分片数进行调整时，可以基于目标调整分片数对数据流对象的所有分片进行调整，得到调整后索引分片。

例如，当目标调整分片数是增大时，则需要增加新的分片，并更改索引和索引分片之间的关系，以及时序数据和索引分片之间的关系。又例如，当目标调整分片数是减少时，则需要减少分片，并更改索引和索引分片之间的关系，以及时序数据和索引分片之间的关系。

在一实施例中，通过本申请实施例提出的方法，数据管理装置可以自动地调节索引分片，实现索引分片的动态调整。通过实现索引分片的动态，可以对搜索引擎中集群的负载进行调整，从而提高搜索引擎的性能。例如，在对索引分片进行调整时，通过预先地对数据流对象当前的索引分片数进行倍数地增大，从而避免写入速度变化过大而使得搜索引擎功能失效。而且，用户无需感知索引分片的调整过程所带来的写入可用性问题，可以降低维护成本。

在一实施例中，通过将索引和数据流对象进行关联，可以使得用户将数据写入到目标写入索引时，可以通过数据流对象将数据写入到目标写入索引当中。通过这种方式，用户不需要关注索引的底部实现细节，可以通过直接调用数据流对象便实现将数据写入到目标写入索引中，提高写入的效率。

在一实施例中，本申请实施例为不同业务的数据提供了不同的写入模式，从而满足不同业务的应用场景。具体的，本申请实施例可以根据待更新数据的写入模式，将待更新时序数据写入到数据流对象的目标写入索引中。具体的，本申请实施例提出的方法还可以包括：

当进行数据更新时，获取待更新时序数据；

根据待更新数据的业务信息，确定待更新时序数据的写入模式；

基于写入模式将待更新时序数据写入到数据流对象的目标写入索引中。

其中，待更新时序数据可以包括需要写入到索引中的时序数据。

其中，待更新时序数据的写入模型可以说明待更新时序数据得用什么方式写入到索引中。例如，该写入模式可以包括时间分区模式和追加写入模式。

其中，当待更新时序数据的写入模式是时间分区模式时，说明是根据待更新时序数据的时间信息，确定待更新时序数据写入的目标写入索引。

其中，当待更新时序数据的写入模式是追加写入模式时，说明将待更新时序数据写入到最新的索引中。

其中，待更新数据的业务信息可以说明待更新时序数据的特点。其中，业务信息可以指待更新数据适用的业务场景。例如，业务信息可以包括日志分析业务场景和数据检测业务场景。例如，当待更新数据的业务信息是日志分析业务场景时，其对应的写入模式可以是追加写入模式。又例如，当待更新数据的业务信息是数据检测业务场景时，其对应的写入模式可以是时间分区模式。

在一实施例中，当待更新时序数据的写入模式是时间分区模式时，步骤“基于写入模式将待更新时序数据写入到数据流对象的目标写入索引中”，可以包括：

对待更新时序数据进行解析，得到待更新时序数据的时间信息；

识别数据流对象中每个索引对应的时间范围信息；

将待更新时序数据的时间信息和索引对应的时间范围信息进行匹配，得到匹配结果；

基于匹配结果在数据流对象的索引中确定待更新时序数据对应的目标写入索引。

在一实施例中，可以对待更新时序数据进行解析，得到待更新时序数据的时间信息。例如，可以查询待更新时序数据中的时间字段，得到待更新时序数据的时间信息。

在一实施例中，可以识别数据流对象中每个索引的时间范围信息。其中，索引的时间范围信息可以有多层含义。例如，索引的时间范围信息可以指索引关联的数据写入索引的时间范围。又例如，索引的时间范围信息可以说明索引关联的数据的生成时间范围。

在一实施例中，可以将待更新时序数据的时间信息和索引对应的时间范围信息进行匹配，得到匹配结果。然后，基于匹配结果在数据流对象的索引中确定待更新时序数据对应的目标写入索引。

例如，如图4所示，数据流对象关联的索引包括索引1至索引8。若待更新时序数据的时间信息和索引6的时间范围信息相匹配时，则可以将所有6确定为目标写入索引，并将待更新数据写入到索引6当中。

在一实施例中，当待更新时序数据的时间信息和数据流对象中索引对应的时间范围信息都不匹配时，可以判断待更新时序数据是否是已过期的数据。其中，当待更新时序数据的时间信息小于数据流对象中索引的最小时间节点时，说明待更新时序数据是已过期的数据。而当待更新时序数据的时间信息大于数据流对象中索引的最大时间节点时，说明待更新时序数据是未过期的数据。

当待更新时序数据是已过期的数据时，则拒绝待更新时序数据的写入要求。例如，如图6所示，若待更新时序数据是已过期的数据，则拒绝待更新时序数据的写入。

而当待更新时序数据是未过期的数据时，则创建新的索引，并将该待更新时序数据写入到新创建的索引中。例如，如图5所示，当待更新时序数据是未过期的数据时，则创建新的索引8，并将该待更新时序数据写入到新创建的索引8中。

在一实施例中，当待更新时序数据的写入模式是追加写入模式时，步骤“基于写入模式将待更新时序数据写入到数据流对象的目标写入索引中”，可以包括：

识别数据流对象中每个索引对应的创建标识；

基于创建标识，在数据流对象的索引中识别出待写入索引；

识别待写入索引的状态信息，并基于待写入索引的状态信息，确定目标写入索引；

将待更新时序数据写入目标写入索引。

其中，索引的创建标识可以用于说明索引是不是最新创建的索引，因为在追加写入模式下，一般是将待更新时序数据写入到最新创建的索引当中。例如，索引的创建标识可以是数值，当索引的创建标识越大时，说明索引越新。又例如，该索引的创建标识可以是索引的创建时间，等等。

其中，待写入索引可以是数据流对象关联的索引中，最新创建的索引。

在一实施例中，可以识别数据流对象中每个索引对应的创建标识，然后基于创建标识，在数据流对象的索引中识别出待写入索引。

例如，若索引的创建标识是数值时，则可以识别出创建标识最大的索引作为待写入索引。又例如，当该索引的创建标识是索引的创建时间时，可以通过索引的创建时间直接识别出待写入标识。

在一实施例中，当索引创建了之后，一般是不能马上投入使用的，这是因为索引在创建了之后，其索引对应的索引分片还没有启动，所以，此时索引还不能写入数据。因此，在识别出待写入索引之后，还可以识别待写入索引的状态信息。其中，待写入索引的状态信息可以用于说明索引是否可以支持数据的写入。

在一实施例中，在识别待写入索引的状态信息之后，可以基于待写入索引的状态信息，确定目标写入索引。其中，该目标写入索引可以指待更新时序数据真正写入的索引。例如，当待写入索引的状态信息符合要求时，则可以将待写入索引确定为目标写入索引。而当待写入索引的状态信息不符合要求时，为了提高写入的效率，节约写入的时间，可以将和待写入索引相关联的索引确定为目标写入索引。

具体的，步骤“基于待写入索引的状态信息，确定目标写入索引”，可以包括：

将待写入索引的状态信息和预设状态条件进行匹配；

当待写入索引的状态信息符合预设状态条件时，将待写入索引确定为目标写入索引；

当待写入索引的状态信息不符合预设状态条件时，识别和待写入索引相关联的关联索引；

将关联索引确定为目标写入索引。

其中，预设状态条件可以用于判断待写入索引是否可以写入。例如，当待写入索引的状态信息符合预设状态条件时，说明待写入索引可以写入。而当待写入索引的状态信息不符合预设状态条件时，说明待写入索引不可以写入。

在一实施例中，当待写入索引的状态信息符合预设状态条件时，将待写入索引确定为目标写入索引。

在一实施例中，当待写入索引的状态信息不符合预设状态条件时，识别和待写入索引相关联的关联索引，然后将关联索引确定为目标写入索引。

其中，和待写入索引相关联的关联索引可以是在数据流对象中创建时间第二新的索引。

例如，如图7所示，数据流对象关联的索引包括引1至索引8。其中，索引8是最新创建的索引，所以可以将索引8确定为待写入索引。

通过将索引8的状态信息和预设状态条件进行匹配，得到索引8还不可以支持写入操作。此时，为了节约写入时间，提高写入效率，可以将索引7确定为目标写入索引，避免产生写入阻塞，影响写入吞吐。

本申请实施例提出了一种数据管理方法，该数据管理方法包括：获取搜索引擎中包含有数据流对象的管理数据，其中，数据流对象和搜索引擎中时序数据的多个索引进行关联，数据流对象包括多个索引分片；对管理数据进行查询，得到数据流对象在多个不同维度上的索引描述参数；根据不同维度的索引描述参数，计算数据流对象在不同维度上的参考索引分片数；根据数据流对象当前的索引分片数和数据流对象在不同维度上的参考索引分片数，生成数据流对象的目标调整分片数；基于目标调整分片数对数据流对象的索引分片进行调整，得到调整后索引分片。通过本申请实施例提出的方法，可以实现索引分片数动态调整。当数据流对象的索引分片数存在问题时，数据管理系统可以自动地对索引分片进行调整，不需要用户进行手动的调整，从而降低用户对搜索引擎中时序数据的管理维护成本。才外，用户也无需感知到索引分片的改变所带来的索引写入可用性问题，降低了维护成本。

其次，通过本申请实施例还可以实现：当进行数据更新时，获取待更新时序数据；根据待更新数据的业务信息，确定待更新时序数据的写入模式；基于写入模式将待更新时序数据写入到数据流对象的目标写入索引中。本申请实施例可以为待更新时序数据提供多种写入模式，从而满足多种应用场景。

此外，本申请实施例还为用户提供了搜索引擎配置界面，用户可以通过该搜索引擎配置界面对数据流对象进行配置，而不需要手动编程代码，从而提高生成数据流对象的便利性和效率。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

本申请实施例将以数据管理方法集成在服务器上为例来介绍本申请实施例方法。

在一实施例中，如图8所示，一种数据管理方法，具体流程如下：

201、服务器获取搜索引擎中包含有数据流对象的管理数据，其中，数据流对象和搜索引擎中时序数据的多个索引进行关联，数据流对象包括多个索引分片。

例如，服务器可以获取Elasticsearch中包含有DataStream的元数据，其中，该DataStream和Elasticsearch中时序数据的多个索引关联，数据流对象包括最新创建的索引中的多个索引分片。

在一实施例中，可以为用户提供了一个搜索引擎配置界面，用户可以通过该搜索引擎配置界面配置各种和索引相关的参数，然后通过该搜索引擎配置界面直接生成数据流对象。

其中，搜索引擎配置界面可以是提供给用户，使得用户可以对搜索引擎进行管理的可视化界面。例如，用户可以通过该搜索引擎配置界面创建、删除和修改数据流对象，等等。又例如，用户可以通过该搜索引擎配置界面对存储在搜索引擎中的参数进行管理，等等。

其中，服务器在生成数据流对象时，可以先生成索引生命周期管理策略和索引模型，然后再根据索引生命周期管理策略和索引模型生成数据流对象。

例如，如图3所示，DataStream在创建时先生成ILM策略，然后生成索引模版，并且索引模板内的索引设置指定刚创建的ILM策略名称，最后创建DataStream对象。然后，将DataStream对象、ILM策略和索引模板合并在一个Elasticsearch元数据内，并将该Elasticsearch元数据向集群中其他节点发布，降低元数据发布次数。其中，DataStream时间字段可变，元数据保存DataStream写入模式、过期时间等信息。

202、服务器对管理数据进行查询，得到数据流对象在多个不同维度上的索引描述参数。

例如，服务器可以定期轮询其管理的各个Elasticsearch集群，获取集群的所有DataStream对象。对于每个DataStream对象获取最新创建索引的索引写入速度、索引存储容量和索引文档数等索引描述参数信息，并结合当前DataStream对于索引设置的索引分片数，判定是否要调整索引分片数。

例如，如图9所示，服务器可以检查DataStream分片调整开关是否有开启。若DataStream分片调整开关开启了，说明Elasticsearch允许被调整分片数，若DataStream分片调整开关没有开启，则说明Elasticsearch不允许被调整分片数。

当服务器检查到DataStream分片调整开关开启了，服务器才会继续执行后续的步骤，否则将会结束当前的任务。

当服务器检查到DataStream分片调整开关开启了，服务器可以查询索引写入速度、索引存储容量和索引文档数。

203、服务器根据不同维度的索引描述参数，计算数据流对象在不同维度上的参考索引分片数。

例如，如图9所示，服务器可以根据索引写入速度预估第一参考索引分片数(shard1)。服务器可以根据索引存储容量预估第二参考参考索引分片数(shard2)。服务器可以根据索引存储容量预估第三参考索引分片数(shard3)。

204、服务器根据数据流对象当前的索引分片数和数据流对象在不同维度上的参考索引分片数，生成数据流对象的目标调整分片数。

例如，如图9所示，可以将shard1、shard2和shard3进行比较，取其中的最大值作为目标参考索引分片数(target_shard)。

然后，服务器可以判断target_shard是否大于DataStream对象当前的索引分片数的2倍，若大于，则调整当前的索引分片数为target_shard。若target_shard不大于当前的索引分片数的2倍，则判断target_shard是否小于当前索引分片数的1/4。如果target_shard小于当前索引分片数的1/4则调整DataStream对象的索引分片数为当前分片数的1/2，减缓调小节奏，避免调小后写入流量增大影响写入可用性。

205、服务器基于目标调整分片数对数据流对象的索引分片进行调整，得到调整后索引分片。

在一实施例中，本申请实施例为待更新数据写入数据流对象当中的索引提供了不同的写入模型。

例如，该写入模型可以包括时间分区模式和追加写入模式。

其中，当待更新数据的写入模式是时间分区写入模式时，可以将待更新时序数据的时间信息和索引对应的时间范围信息进行匹配，得到匹配结果。然后，基于匹配结果在数据流对象的索引中确定待更新时序数据对应的目标写入索引。

譬如，如图4所示，数据流对象关联的索引包括索引1至索引8。若待更新时序数据的时间信息和索引6的时间范围信息相匹配时，则可以将所有6确定为目标写入索引，并将待更新数据写入到索引6当中。

其中，当待更新时序数据的时间信息和索引对应的时间范围信息不相匹配时，且待更新时序数据的时间信息大于数据流对象中索引的最大时间节点时，说明待更新时序数据是未过期的数据。然后，可以创建新的索引，并将该待更新时序数据写入到新创建的索引中。

例如，如图6所示，当待更新时序数据是未过期的数据时，则创建新的索引8，并将该待更新时序数据写入到新创建的索引8中。

其中，当待更新时序数据的时间信息和索引对应的时间范围信息不相匹配时，且待更新时序数据是已过期数据时，可以拒绝待更新时序数据的写入。

其中，当待更新数据的写入模式是追加写入模式时，可以将待更新时序数据写入到数据流对象的关联索引列表中最新的索引当中去。其中，若最新索引的索引状态未启动，则可以将待更新时序数据写入到第二新的索引当中去。

例如，如图7所示，数据流对象关联的索引包括引1至索引8。其中，索引8是最新创建的索引，所以可以将索引8确定为待写入索引。

通过将索引8的状态信息和预设状态条件进行匹配，得到索引8还不可以支持写入操作。此时，为了节约写入时间，提高写入效率，可以将索引7确定为目标写入索引，避免产生写入阻塞，影响写入吞吐。

本申请实施例提出了一种数据管理方法，该数据管理方法包括：服务器获取搜索引擎中包含有数据流对象的管理数据，其中，数据流对象和搜索引擎中时序数据的多个索引进行关联，数据流对象包括多个索引分片；服务器对管理数据进行查询，得到数据流对象在多个不同维度上的索引描述参数；服务器根据不同维度的索引描述参数，计算数据流对象在不同维度上的参考索引分片数；服务器根据数据流对象当前的索引分片数和数据流对象在不同维度上的参考索引分片数，生成数据流对象的目标调整分片数；服务器基于目标调整分片数对数据流对象的索引分片进行调整，得到调整后索引分片。通过本申请实施例提出的方法，可以实现索引分片数动态调整。当数据流对象的索引分片数存在问题时，数据管理系统可以自动地对索引分片进行调整，不需要用户进行手动的调整，从而降低用户对搜索引擎中时序数据的管理维护成本。才外，用户也无需感知到索引分片的改变所带来的索引写入可用性问题，降低了维护成本。

其次，通过本申请实施例还可以实现：当进行数据更新时，服务器获取待更新时序数据；服务器根据待更新数据的业务信息，确定待更新时序数据的写入模式；服务器基于写入模式将待更新时序数据写入到数据流对象的目标写入索引中。本申请实施例可以为待更新时序数据提供多种写入模式，从而满足多种应用场景。

此外，本申请实施例还为用户提供了搜索引擎配置界面，用户可以通过该搜索引擎配置界面对数据流对象进行配置，而不需要手动编程代码，从而提高生成数据流对象的便利性和效率。

为了更好地实施本申请实施例提供的数据管理方法，在一实施例中还提供了一种数据管理装置，该数据管理装置可以集成于计算机设备中。其中名词的含义与上述数据管理方法中相同，具体实现细节可以参考方法实施例中的说明。

在一实施例中，提供了一种数据管理装置，该数据管理装置具体可以集成在计算机设备中，如图10所示，该数据管理装置包括：获取单元301、查询单元302、计算单元303、生成单元304和调整单元305，具体如下：

获取单元301，用于获取搜索引擎中包含有数据流对象的管理数据，其中，所述数据流对象和所述搜索引擎中时序数据的多个索引进行关联，所述数据流对象包括多个索引分片；

查询单元302，用于对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的索引描述参数；

计算单元303，用于根据不同维度的索引描述参数，计算所述数据流对象在不同维度上的参考索引分片数；

生成单元304，用于根据所述数据流对象当前的索引分片数和所述数据流对象在不同维度上的参考索引分片数，生成所述数据流对象的目标调整分片数；

调整单元305，用于基于所述目标调整分片数对所述数据流对象的索引分片进行调整，得到调整后索引分片。

在一实施例中，所述生成单元304，可以包括：

确定子单元，用于在所述不同维度上的参考索引分片数中确定目标参考索引分片数；

比较子单元，用于将所述目标参考索引分片数和所述数据流对象当前的索引分片数进行比较，得到比较结果；

生成子单元，用于基于所述比较结果，生成所述数据流对象的目标调整分片数。

在一实施例中，所述比较子单元，可以包括：

放大模块，用于对所述当前的索引分片数进行放大，得到放大后索引分片数；

比较模块，用于将所述目标参考索引分片数和所述放大后索引分片数进行比较；

在一实施例中，所述生成子单元，可以包括：

确定模块，用于当所述目标参考索引分片数大于所述放大后索引分片数时，将所述目标参考索引分片数确定为所述目标调整分片数。

在一实施例中，所述生成单元304，还可以包括：

缩小子单元，用于当所述目标参考索引分片数小于或等于所述放大后索引分片数时，对所述当前的索引分片数进行缩小，得到缩小后索引分片数；

缩小比较子单元，用于将所述目标参考索引分片数和所述缩小后索引分片数进行比较；

确定子单元，用于当所述目标参考索引分片数小于所述缩小后索引分片数时，将所述缩小后索引分片数确定为所述目标调整分片数。

在一实施例中，所述数据管理装置还可以包括：

数据获取单元，用于当进行数据更新时，获取待更新时序数据；

模式确定单元，用于根据所述待更新数据的业务信息，确定所述待更新时序数据的写入模式；

写入单元，用于基于所述写入模式将所述待更新时序数据写入到所述数据流对象的目标写入索引中。

在一实施例中，所述写入单元，可以包括：

解析子单元，用于对所述待更新时序数据进行解析，得到所述待更新时序数据的时间信息；

第一识别子单元，用于识别所述数据流对象中每个索引对应的时间范围信息；

匹配子单元，用于将所述待更新时序数据的时间信息和索引对应的时间范围信息进行匹配，得到匹配结果；

第一索引确定子单元，用于基于匹配结果在所述数据流对象的索引中确定所述待更新时序数据对应的目标写入索引；

第一写入子单元，用于将所述待更新时序数据写入到所述目标写入索引中。

在一实施例中，所述写入单元，可以包括：

第二识别子单元，用于识别所述数据流对象中每个索引对应的创建标识；

第三识别子单元，用于基于所述创建标识，在所述数据流对象的索引中识别出待写入索引；

第二索引确定子单元，用于识别所述待写入索引的状态信息，并基于所述待写入索引的状态信息，确定所述目标写入索引；

第二写入子单元，用于将所述待更新时序数据写入所述目标写入索引。

在一实施例中，所述第二索引确定子单元，可以包括：

匹配模块，用于将所述待写入索引的状态信息和预设状态条件进行匹配；

索引确定模块，用于当所述待写入索引的状态信息符合预设状态条件时，将所述待写入索引确定为所述目标写入索引；

索引识别模块，用于当所述待写入索引的状态信息不符合所述预设状态条件时，识别和所述待写入索引相关联的关联索引；

写入模块，用于将所述关联索引确定为所述目标写入索引。

在一实施例中，所述查询单元302，可以包括：

查询子单元，用于对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的初始索引描述参数；

规律识别子单元，用于识别所述初始索引描述参数的参数变化规律；

去噪子单元，用于根据所述参数变化规律，对所述初始索引描述参数进行去噪处理，得到所述数据流对象在多个不同维度上的索引描述参数。

在一实施例中，所述数据管理装置还可以包括：

显示单元，用于响应于配置触发操作，显示搜索引擎配置界面；

参数获取单元，用于通过所述搜索引擎配置界面，获取配置参数；

对象生成单元，用于根据所述配置参数生成数据流对象；

封装单元，用于对所述数据流对象进行封装，得到所述管理数据。

在一实施例中，所述对象生成单元，可以包括：

策略创建子单元，用于根据所述配置参数创建索引生命周期管理策略，所述索引生命周期管理策略包括策略名称；

模板生成子单元，用于根据所述配置参数生成索引和业务内容之间的映射关系，并根据所述映射关系和所述索引生命周期管理策略的策略名称生成索引模板；

对象生成子单元，用于根据所述配置参数和所述索引模板的模板名称生成所述数据流对象。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

通过上述的数据管理装置可以提高对内存资源的利用率，从而提高数据管理的效率。

本申请实施例还提供一种计算机设备，该计算机设备可以包括终端或服务器，比如，计算机设备可以作为数据管理终端，该终端可以为手机、平板电脑等等；又比如计算机设备可以为服务器，如数据管理服务器等。如图11所示，其示出了本申请实施例所涉及的终端的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图11中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取搜索引擎中包含有数据流对象的管理数据，其中，所述数据流对象和所述搜索引擎中时序数据的多个索引进行关联，所述数据流对象包括多个索引分片；

对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的索引描述参数；

根据不同维度的索引描述参数，计算所述数据流对象在不同维度上的参考索引分片数；

根据所述数据流对象当前的索引分片数和所述数据流对象在不同维度上的参考索引分片数，生成所述数据流对象的目标调整分片数；

基于所述目标调整分片数对所述数据流对象的索引分片进行调整，得到调整后索引分片。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种数据管理方法中的步骤。例如，该计算机程序可以执行如下步骤：

获取搜索引擎中包含有数据流对象的管理数据，其中，所述数据流对象和所述搜索引擎中时序数据的多个索引进行关联，所述数据流对象包括多个索引分片；

对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的索引描述参数；

根据不同维度的索引描述参数，计算所述数据流对象在不同维度上的参考索引分片数；

根据所述数据流对象当前的索引分片数和所述数据流对象在不同维度上的参考索引分片数，生成所述数据流对象的目标调整分片数；

基于所述目标调整分片数对所述数据流对象的索引分片进行调整，得到调整后索引分片。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种数据管理方法中的步骤，因此，可以实现本申请实施例所提供的任一种数据管理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种数据管理方法、装置、计算机设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种数据管理方法，其特征在于，包括：

获取搜索引擎中包含有数据流对象的管理数据，其中，所述数据流对象和所述搜索引擎中时序数据的多个索引进行关联，所述数据流对象包括多个索引分片；

对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的索引描述参数；

根据不同维度的索引描述参数，计算所述数据流对象在不同维度上的参考索引分片数；

根据所述数据流对象当前的索引分片数和所述数据流对象在不同维度上的参考索引分片数，生成所述数据流对象的目标调整分片数；

基于所述目标调整分片数对所述数据流对象的索引分片进行调整，得到调整后索引分片。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据流对象当前的索引分片数和所述数据流对象在不同维度上的参考索引分片数，生成所述数据流对象的目标调整分片数，包括：

在所述不同维度上的参考索引分片数中确定目标参考索引分片数；

将所述目标参考索引分片数和所述数据流对象当前的索引分片数进行比较，得到比较结果；

基于所述比较结果，生成所述数据流对象的目标调整分片数。

3.根据权利要求2所述的方法，其特征在于，所述将所述目标参考索引分片数和所述数据流对象当前的索引分片数进行比较，得到比较结果，包括：

对所述当前的索引分片数进行放大，得到放大后索引分片数；

将所述目标参考索引分片数和所述放大后索引分片数进行比较；

所述基于所述比较结果，生成所述数据流对象的目标调整分片数，包括：

当所述目标参考索引分片数大于所述放大后索引分片数时，将所述目标参考索引分片数确定为所述目标调整分片数。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述目标参考索引分片数小于或等于所述放大后索引分片数时，对所述当前的索引分片数进行缩小，得到缩小后索引分片数；

将所述目标参考索引分片数和所述缩小后索引分片数进行比较；

当所述目标参考索引分片数小于所述缩小后索引分片数时，将所述缩小后索引分片数确定为所述目标调整分片数。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当进行数据更新时，获取待更新时序数据；

根据所述待更新数据的业务信息，确定所述待更新时序数据的写入模式；

基于所述写入模式将所述待更新时序数据写入到所述数据流对象的目标写入索引中。

6.根据权利要求5所述的方法，其特征在于，所述写入模式包括时间分区模式，所述基于所述写入模式将所述待更新时序数据写入到所述数据流对象的目标写入索引中，包括：

对所述待更新时序数据进行解析，得到所述待更新时序数据的时间信息；

识别所述数据流对象中每个索引对应的时间范围信息；

将所述待更新时序数据的时间信息和索引对应的时间范围信息进行匹配，得到匹配结果；

基于匹配结果在所述数据流对象的索引中确定所述待更新时序数据对应的目标写入索引；

将所述待更新时序数据写入到所述目标写入索引中。

7.根据权利要求5所述的方法，其特征在于，所述写入模式包括追加写入模式，所述基于所述写入模式将所述待更新时序数据写入到所述数据流对象的目标写入索引中，包括：

识别所述数据流对象中每个索引对应的创建标识；

基于所述创建标识，在所述数据流对象的索引中识别出待写入索引；

识别所述待写入索引的状态信息，并基于所述待写入索引的状态信息，确定所述目标写入索引；

将所述待更新时序数据写入所述目标写入索引。

8.根据权利要求7所述的方法，其特征在于，所述基于所述待写入索引的状态信息，确定所述目标写入索引，包括：

将所述待写入索引的状态信息和预设状态条件进行匹配；

当所述待写入索引的状态信息符合预设状态条件时，将所述待写入索引确定为所述目标写入索引；

当所述待写入索引的状态信息不符合所述预设状态条件时，识别和所述待写入索引相关联的关联索引；

将所述关联索引确定为所述目标写入索引。

9.根据权利要求1所述的方法，其特征在于，所述对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的索引描述参数，包括：

对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的初始索引描述参数；

识别所述初始索引描述参数的参数变化规律；

根据所述参数变化规律，对所述初始索引描述参数进行去噪处理，得到所述数据流对象在多个不同维度上的索引描述参数。

10.根据权利要求1所述的方法，其特征在于，所述获取搜索引擎中包含有数据流对象的管理数据之前，包括：

响应于配置触发操作，显示搜索引擎配置界面；

通过所述搜索引擎配置界面，获取配置参数；

根据所述配置参数生成数据流对象；

对所述数据流对象进行封装，得到所述管理数据。

11.根据权利要求10所述的方法，其特征在于，所述根据所述配置参数生成数据流对象，包括：

根据所述配置参数创建索引生命周期管理策略，所述索引生命周期管理策略包括策略名称；

根据所述配置参数生成索引和业务内容之间的映射关系，并根据所述映射关系和所述索引生命周期管理策略的策略名称生成索引模板；

根据所述配置参数和所述索引模板的模板名称生成所述数据流对象。

12.一种数据管理装置，其特征在于，包括：

获取单元，用于获取搜索引擎中包含有数据流对象的管理数据，其中，所述数据流对象和所述搜索引擎中时序数据的多个索引进行关联，所述数据流对象包括多个索引分片；

查询单元，用于对所述管理数据进行查询，得到所述数据流对象在多个不同维度上的索引描述参数；

计算单元，用于根据不同维度的索引描述参数，计算所述数据流对象在不同维度上的参考索引分片数；

生成单元，用于根据所述数据流对象当前的索引分片数和所述数据流对象在不同维度上的参考索引分片数，生成所述数据流对象的目标调整分片数；

调整单元，用于基于所述目标调整分片数对所述数据流对象的索引分片进行调整，得到调整后索引分片。

13.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至11任一项所述的数据管理方法中的操作。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至11任一项所述的数据管理方法中的步骤。

15.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1至11任一项所述的数据管理方法中的步骤。