CN113672616A - 一种数据索引方法、装置、终端及存储介质 - Google Patents

Abstract

本发明实施例提供了一种数据索引方法、装置、终端及存储介质，其中，方法包括：获取待存储的索引数据；待存储的索引数据具有时间戳；获取索引库中与待存储的索引数据的类型对应的多个索引；同一类型的多个索引的索引别名相同，索引具有时间段属性，同一类型的多个索引的时间段属性互不重合；从多个索引中确定与待存储的索引数据的时间戳关联的关联索引；关联索引的时间段属性包含时间戳；将待存储的索引数据划分到关联索引中；从而实现根据索引数据的时间戳对索引数据进行分类存储，在接收到包括时间信息的查询请求时，根据时间信息确定目标索引，只需要扫描目标索引中的索引数据，因此，减少了查询的数据量，提高了索引的效率。

Description

一种数据索引方法、装置、终端及存储介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据索引方法、装置、终端及存储介质。

背景技术

大数据应用系统一般采用Elasticsearch(ES)搜索引擎，ES搜索引擎是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ES搜索引擎的水平伸缩性，能使数据在生产环境变得更有价值。

现有技术中，随着时间的推移，ES搜索引擎中的数据量会不断增长。因此，在查询数据时，需要扫描的数据量也会随着时间的推移而不断增长，导致查询速度变慢，获得查询结果的时间变长，难以满足用户的索引需求。

发明内容

本发明提供一种数据索引方法、装置、终端及计算机可读存储介质，以便在一定程度上解决现有技术中由于数据量增长导致的索引效率低的问题。

依据本发明的第一方面，提供了一种数据索引方法，所述方法包括：

获取待存储的索引数据；所述待存储的索引数据具有时间戳；

获取索引库中与所述待存储的索引数据的类型对应的多个索引；同一类型的多个所述索引的索引别名相同，所述索引具有时间段属性，同一类型的多个所述索引的时间段属性互不重合；

从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引；所述关联索引的时间段属性包含所述时间戳；

将所述待存储的索引数据划分到所述关联索引中。

可选地，所述方法还包括：

根据每个所述索引中的索引数据的数量确定索引分片数量；

将所述索引中的索引数据按照预设规则划分到对应的索引分片中，使得多个所述索引分片中的索引数据的数量的差值在预设差值范围内。

可选地，所述索引数据包括数据标识，所述将所述索引中的索引数据按照预设规则划分到对应的索引分片中，使得多个所述索引分片中的索引数据的数量的差值在预设差值范围内，包括：

根据所述索引数据的数据标识，通过预设哈希算法计算所述索引数据对应的哈希值；

根据所述哈希值，将所述索引数据划分到对应的索引分片中。

可选地，所述从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引，还包括：

若不存在与所述待存储的索引数据的时间戳关联的关联索引，则建立与所述待存储的索引数据的类型对应第一目标索引，并设置所述第一目标索引的时间段属性，使得所述第一目标索引的时间段属性包含所述待存储的索引数据的时间戳；

将所述第一目标索引确定为与所述待存储的索引数据的时间戳关联的关联索引。

可选地，所述方法还包括：

接收索引重建请求，并根据所述索引重建请求确定待重建的第二目标索引；

建立新索引；所述新索引的时间段属性与所述第二目标索引的时间段属性相同；

向所述新索引导入对应的索引数据；

设置所述新索引的索引别名为所述第二目标索引的索引别名，同时删除所述第二目标索引的索引别名。

可选地，所述方法还包括：

判断所述索引库中的索引是否达到预设期限条件；

若达到所述预设期限条件，则将所述索引的索引名称中的原始索引别名删除。

可选地，所述方法还包括：

将所述已删除索引别名的索引删除。

可选地，所述方法还包括：

接收针对所述已删除索引别名的索引的恢复请求；

将所述原始索引别名添加至所述已删除索引别名的索引的索引名称中。

依据本发明的第二方面，提供了一种数据索引方法，所述方法包括：

接收数据查询请求，所述数据查询请求包括数据类型和时间信息；

获取与所述数据类型对应的多个索引，多个所述索引具有相同的索引别名，且多个所述索引具有互不重合的时间段属性；

根据所述时间信息从所述多个索引中确定目标索引，所述目标索引的时间段属性包含所述时间信息；

搜索所述目标索引中的索引数据。

可选地，每个所述索引包括多个索引分片，每个所述索引分片中存储多个索引数据；所述搜索所述目标索引中的索引数据，包括：

搜索所述目标索引的每个目标索引分片中的索引数据，得到每个目标索引分片的搜索结果；

将多个所述目标索引分片的搜索结果进行合并。

依据本发明的第三方面，提供了一种数据索引装置，其特征在于，所述装置包括：

第一获取模块，用于获取待存储的索引数据；所述待存储的索引数据具有时间戳；

第二获取模块，用于获取索引库中与所述待存储的索引数据的类型对应的多个索引；同一类型的多个所述索引的索引别名相同，所述索引具有时间段属性，同一类型的多个所述索引的时间段属性互不重合；

索引确定模块，用于从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引；所述关联索引的时间段属性包含所述时间戳；

数据划分模块，用于将所述待存储的索引数据划分到所述关联索引中。

可选地，所述装置还包括：

分片数量确定模块，用于根据每个所述索引中的索引数据的数量确定索引分片数量；

划分分片数据模块，用于将所述索引中的索引数据按照预设规则划分到对应的索引分片中，使得多个所述索引分片中的索引数据的数量的差值在预设差值范围内。

可选地，所述索引数据包括数据标识，所述划分分片数据模块，包括：

哈希值计算子模块，用于根据所述索引数据的数据标识，通过预设哈希算法计算所述索引数据对应的哈希值；

划分数据子模块，用于根据所述哈希值，将所述索引数据划分到对应的索引分片中。

可选地，所述索引确定模块，还包括：

第一目标索引建立模块，用于若不存在与所述待存储的索引数据的时间戳关联的关联索引，则建立与所述待存储的索引数据的类型对应第一目标索引，并设置所述第一目标索引的时间段属性，使得所述第一目标索引的时间段属性包含所述待存储的索引数据的时间戳；

关联索引确定模块，用于将所述第一目标索引确定为与所述待存储的索引数据的时间戳关联的关联索引。

可选地，所述装置还包括：

重建请求接收模块，用于接收索引重建请求，并根据所述索引重建请求确定待重建的第二目标索引；

新索引建立模块，用于建立新索引；所述新索引的时间段属性与所述第二目标索引的时间段属性相同；

索引数据导入模块，用于向所述新索引导入对应的索引数据；

新索引别名设置模块，用于设置所述新索引的索引别名为所述第二目标索引的索引别名，同时删除所述第二目标索引的索引别名。

可选地，所述装置还包括：

第一判断模块，用于判断所述索引库中的索引是否达到预设期限条件；

索引别名删除模块，用于若达到所述预设期限条件，则将所述索引的索引名称中的原始索引别名删除。

可选地，所述装置还包括：

索引删除模块，用于将所述已删除索引别名的索引删除。

可选地，所述装置还包括：

恢复请求接收模块，用于接收针对所述已删除索引别名的索引的恢复请求；

索引恢复模块，用于将所述原始索引别名添加至所述已删除索引别名的索引的索引名称中。

依据本发明的第四方面，提供了一种数据索引装置，其特征在于，所述装置包括：

查询请求接收模块，用于接收数据查询请求，所述数据查询请求包括数据类型和时间信息；

第一索引获取模块，用于获取与所述数据类型对应的多个索引，多个所述索引具有相同的索引别名，且多个所述索引具有互不重合的时间段属性；

目标索引确定模块，用于根据所述时间信息从所述多个索引中确定目标索引，所述目标索引的时间段属性包含所述时间信息；

目标索引搜索模块，用于搜索所述目标索引中的索引数据。

可选地，每个所述索引包括多个索引分片，每个所述索引分片中存储多个索引数据；所述目标索引搜索模块，包括：

分片搜索模块，用于搜索所述目标索引的每个目标索引分片中的索引数据，得到每个目标索引分片的搜索结果；

搜索结果合并模块，用于将多个所述目标索引分片的搜索结果进行合并。

与背景技术相比，本发明实施例包括以下优点：

本发明实施例提供的一种数据索引方法、装置、终端及存储介质，通过获取待存储的索引数据；待存储的索引数据具有时间戳；获取索引库中与待存储的索引数据的类型对应的多个索引；同一类型的多个索引的索引别名相同，索引具有时间段属性，同一类型的多个索引的时间段属性互不重合；从多个索引中确定与待存储的索引数据的时间戳关联的关联索引；关联索引的时间段属性包含时间戳；将待存储的索引数据划分到关联索引中；从而实现根据索引数据的时间戳对索引数据进行分类存储，以便在接收到包括时间信息的查询请求时，根据时间信息确定目标索引，只需要扫描目标索引中的索引数据，即可得到目标索引数据，并不需要扫描所有索引的索引数据，因此，减少了查询的数据量，提高了索引的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例一提供的一种数据索引方法的步骤流程示意图；

图2是本发明实施例一提供的一示例中视频类型对应的四个索引的示意图；

图3是本发明实施例二提供的一种数据索引方法的步骤流程示意图；

图4是本发明实施例三提供的一种数据索引装置的示意性结构框图；

图5是本发明实施例四提供的一种数据索引装置的示意性结构框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

参照图1，示出了本发明实施例一的一种数据索引方法的步骤流程图；本实施例主要从创建数据索引的角度提供一种数据索引方法，可以用于对现有技术中ES搜索引擎的索引进行优化。现有技术中ES搜索引擎的索引会随着时间的推移而不断增加数据量，导致索引过程需要扫描的数量也在不断增长，造成索引效率低下的问题。

在本发明实施例中，该方法具体可以包括如下步骤：

步骤101，获取待存储的索引数据；所述待存储的索引数据具有时间戳。

其中，待存储的索引数据是将要存储到本发明实施例对应索引中的索引数据，该待存储的索引数据可以具有时间戳，时间戳可以是该待存储的索引数据的创建时间。

具体地，该待存储的索引数据可以是现有技术的ES搜索引擎的单个索引中存储的索引数据；也可以是本发明实施例接收到的新的索引数据。

需要说明的是，如果待存储的索引数据没有对应的创建时间，则将该待存储的索引数据的创建时间设为默认时间，即该待存储的索引数据的时间戳为默认时间戳。

步骤102，获取索引库中与所述待存储的索引数据的类型对应的多个索引；同一类型的多个所述索引的索引别名相同，所述索引具有时间段属性，同一类型的多个所述索引的时间段属性互不重合。

在本发明实施例中，可以预先创建每个类型的多个索引形成索引库，每个索引具有时间段属性，同一类型的多个索引的时间段属性互不重合，且同一类型的多个索引的索引别名相同。其中，时间段属性用于表示索引中存储的索引数据的创建时间的特点，索引别名的作用在于：查询时可以根据索引别名查询到多个索引的内容，可以理解，在查询时可以根据索引别名查询同一类型的多个索引的内容。

具体地，可以按照天、周、月、季度、半年、一年、两年、十年等作为时间段属性的单位，可以根据实际情况进行选择。可选地，针对同一类型的多个索引的时间段属性的单位可以相同，也可以不同。示例性地，对于视频类型的多个索引，每个索引的时间段属性的单位为半年，即每个索引中包含半年的数据。如图2所示，示出了一示例中预先创建的视频类型的四个索引(video_201901_201907、video_201908_201912、video_202001_202007、video_202008_202012)，可见，每个索引的时间段属性是以半年为单位，即，每个索引中包含半年的数据。索引名称可以表示为：索引别名_起始时间_结束时间；以索引名称为video_201901_201907的索引为例，其中，video是索引别名，201901是起始时间，201907是结束时间，起始时间和结束时间决定了索引的时间段属性。

索引库中存储所有已创建好的索引，根据待存储的索引数据的类型可以从当前索引数据库中找到与待存储的索引数据的类型对应的多个索引。

步骤103，从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引；所述关联索引的时间段属性包含所述时间戳。

在获取到与待存储的索引数据的类型对应的多个索引后，可以根据每个索引的索引名称确定对应的时间段属性，进而根据每个索引的时间段属性和待存储的索引数据的时间戳，将时间段属性包含上述待存储的索引数据的时间戳的索引确定为关联索引。

在一可选实施例中，若索引库中没有找到与待存储的索引数据的类型对应的索引，或者，与待存储的索引数据的类型对应的多个索引中不存在与上述待存储的索引数据的时间戳关联的关联索引时，可以建立一个与待存储的索引数据的类型对应的第一目标索引，设置该第一目标索引的索引别名与待存储的索引数据的类型对应，并设置第一目标索引的时间段属性，使得第一目标索引的时间段属性包含上述时间戳；将该第一目标索引确定为与上述待存储的索引数据的时间戳关联的关联索引。还可以将该第一目标索引添加到当前索引数据库中。

示例性地，当待存储的索引数据为视频类型的数据，对应时间戳为20210203时，创建的第一目标索引的索引别名可以是video，第一目标索引的时间段属性可以以半年为单位，也可以以一个月为单位，等等，根据实际需求进行选择和设置，在此不作限制。作为一种示例，第一目标索引的起始时间可以是202101，结束时间可以是202107，即第一目标索引的索引名称为video_202101_202107。在创建好第一目标索引后，可以直接将该第一目标索引确定为待存储的索引数据对应的关联索引，并且可以将第一目标索引存储到当前索引数据库中。

步骤104，将所述待存储的索引数据划分到所述关联索引中。

在本发明实施例中，当确定待存储的索引数据的关联索引后，将该待存储的索引数据存储到对应的关联索引中。

当接收包含时间信息的数据查询请求时，可以从多个索引中确定时间段属性包含时间信息的目标索引，并搜索目标索引中的索引数据，以得到与数据查询请求匹配的目标索引数据。因此，不需要搜索所有的索引，可以减少查询的数据量，提高数据查询吞吐量。

可选地，数据查询请求还可以包括数据类型，根据数据类型可以确定与数据类型对应的索引别名的多个索引，然后再根据时间信息从该多个索引中确定目标索引。

进一步地，为了提高单个索引的搜索效率，以及提高数据的可用性，本发明一实施例还包括：

根据每个所述索引中的索引数据的数量确定索引分片数量；

将所述索引中的索引数据按照预设规则划分到对应的索引分片中，使得多个所述索引分片中的索引数据的数量的差值在预设差值范围内。

在本实施例中，可以对本发明实施例创建的每个索引建立对应的多个索引分片，将该索引中存储的索引数据划分到对应的多个索引分片中，因此，每个索引分片存储该索引中的部分索引数据。当对该索引进行搜索时，可以同时对该索引对应的多个索引分片进行搜索，由于每个索引分片中存储的是对应索引中的索引数据的数量的一部分；因此，可以提高搜索的效率。

具体地，在确定每个索引的索引分片数量时，可以根据该索引中的索引数据的数量来确定；继续以上述视频类型对应四个索引为例，假设其中的video_201901_201907这个索引中存储有10万条索引数据；其中的video_201908_201912这个索引中存储有20万条索引数据；由于video_201908_201912索引中存储的索引数据的数量是video_201901_201907索引中存储的索引数据的数量的两倍，可以设置video_201901_201907索引对应的索引分片的数量是video_201908_201912索引对应的索引分片的数量的两倍；示例性地，可以对video_201901_201907索引设置两个索引分片，对video_201908_201912索引设置四个索引分片。

为了进一步提高索引的效率，可以设置每个索引分片中存储的索引数据的数量相等或近似相等，以在搜索时，每个索引分片对应的搜索时间相等或近似相等，从而实现进一步提高索引效率。

具体地，索引数据包括数据标识，在将索引中的索引数据划分到对应的索引分片中时，可以根据所述索引数据的数据标识，通过预设哈希算法计算所述索引数据对应的哈希值；根据所述哈希值，将所述索引数据划分到对应的索引分片中。由于哈希算法能够将任意长度的二进制值映射为较短的固定长度的二进制值，而计算机中所有的数据都可用二进制表示，因此，采用预设哈希算法可以计算任意数据的哈希值。通过计算索引数据对应的哈希值来确定索引数据最终划分的索引分片，可以确保对应于同一个索引的多个索引分片中存储的索引数据的数量相等或近似相等，即多个索引分片中的索引数据的数量的差值在预设差值范围内。

本实施例中，在接收数据查询请求确定目标索引后，可以搜索目标索引的每个索引分片中的索引数据，得到每个目标索引分片的搜索结果，并将多个目标索引分片的搜索结果进行合并，得到与数据查询请求匹配的目标索引数据。

此外，多个索引分片可以部署在不同的设备中，当其中的某个设备出现故障时，只会对该设备中部署的索引分片造成影响，而不会影响到对应索引的所有数据，可以提高数据的可用性；并且在针对故障进行修复时，只需要修复出现故障的索引分片即可，修复量小，可以提高修复效率。

进一步地，在本发明一实施例中，上述方法还包括：

接收索引重建请求，并根据所述索引重建请求确定待重建的第二目标索引；

建立新索引；所述新索引的时间段属性与所述第二目标索引的时间段属性相同；

向所述新索引导入对应的索引数据；

设置所述新索引的索引别名为所述第二目标索引的索引别名，同时删除所述第二目标索引的索引别名。

在实际应用中，由于ES搜索引擎的特点，常常需要对已存在的索引进行重建。在本发明实施例中，当接收到索引重建请求时，可以根据索引重建请求中携带的待重建的索引标识确定待重建的第二目标索引。

根据第二目标索引的时间段属性建立新索引，使得新索引的时间段属性与第二目标索引的时间段属性相同；即新索引的索引名称中的起始时间与第二目标索引的索引名称中的起始时间相同，且新索引的索引名称中的结束时间与第二目标索引的索引名称中的结束时间相同。需要说明的是，此时新索引的索引名称中的索引别名可以为空。例如，当第二目标索引的索引名称为“video_202001_202007”，新索引的索引名称可以为“_202001_202007_1”，其中，新索引的索引名称中的_1是用于表示该索引为第一次重建的新索引。

接着，向新索引导入对应的索引数据，可选地，该导入索引数据的过程包括将第二目标索引中有用的索引数据导入到新索引中。

最后，设置新索引的索引别名为第二目标索引的索引别名，同时删除第二目标索引的索引别名。示例性地，在新索引的索引数据导入完毕后，可以删除第二目标索引的索引别名，已删除索引别名的第二目标索引的索引名称为“_202001_202007”，同时在新索引的索引名称中添加第二目标索引的索引别名，新索引的索引名称更新为“video_202001_202007_1”。

本发明实施例在重建索引时，对待重建的第二目标索引采用删除索引别名的方式，与现有技术中需要删除第二目标索引才能完成索引重建的方式相比，由于删除索引的别名比删除索引的速度要快，因此本发明实施例可以提高重建索引的速度。

为了节约存储空间，在上述新索引重建完成后，还可以将已删除索引别名的第二目标索引删除。

在具体实现中，可以检测新索引投入使用的预设时间段内是否存在问题，比如搜索结果是否正确；若没有问题，则将已删除索引别名的第二目标索引删除；若存在问题，还可以通过接收针对已删除索引别名的第二目标索引的恢复请求，将第二目标索引的原始别名添加至已删除索引别名的第二目标索引中，以恢复第二目标索引，同时删除上述重建的新索引中的索引别名。

一般地，索引数据存在有效期；可以理解，当当前时间与索引数据的创建时间相隔超过预设时间期限时，可以认为，该索引数据在当前时间已过期。在ES搜索引擎中，当索引中存在部分已过期的索引数据时，会将已过期的索引数据标记为已删除，并不会真正删除该索引数据，因此，不能释放存储空间。只有当索引删除时，才会真正删除该索引中的全部索引数据，才能释放存储空间。由于现有技术的ES搜索引擎中每个索引中的索引数据随着时间推移而不断更新的，删除索引会同时删除索引中未过期的索引数据，导致数据索引出现问题，因此不能直接删除索引。

在本发明一可选实施例中，上述方法还可以包括：

判断所述索引库中的索引是否达到预设期限条件；

若达到所述预设期限条件，则将所述索引的索引名称中的原始索引别名删除。

其中，预设期限条件可以是索引中的所有索引数据已过期。当索引中的所有索引数据均过期，可以认为该索引达到预设期限条件；此时，可以将该达到预设期限条件的索引的索引名称中的原始索引别名删除，以使得该达到预设期限条件的索引在数据查询时不被索引到。

为了节约存储空间，本发明实施例还可以将已删除索引别名的索引删除。由于已删除索引别名的索引中的索引数据均已过期，因此，删除该已删除索引别名的索引不会导致数据索引出现问题。

可选地，为了确保索引的可靠性，上述方法还可以包括：

接收针对所述已删除索引别名的索引的恢复请求；

将所述原始索引别名添加至所述已删除索引别名的索引的索引名称中。

在本实施例中，由于已删除索引别名的索引并没有真正删除，而是通过删除索引别名，使得已删除索引别名的索引不能正常使用，达到与删除索引相同的效果。因此，在一些情况下，当需要恢复已删除索引别名的索引时，可以通过恢复请求，来将已删除索引别名的索引恢复，使得恢复后的索引可以正常参与数据索引的过程。本发明实施例通过删除索引别名的方式来达到删除索引的效果，可以解决现有技术中，由于索引误删除导致不可逆的损失。

可选地，上述方法还包括：

在所述已删除索引别名的索引的原始索引别名删除后的预设时间段内，若没有接收到针对已删除索引别名的索引的恢复请求，则将已删除索引别名的索引删除。

本发明实施例通过设置预设时间段作为接收恢复请求的有效期限，当超过预设时间段没有收到对应的恢复请求，则可以认为该已删除索引别名的索引没有再次利用的价值，因此，可以将该已删除索引别名的索引删除，以释放存储空间。

本发明实施例提供的一种数据索引方法，通过获取待存储的索引数据；待存储的索引数据具有时间戳；获取索引库中与待存储的索引数据的类型对应的多个索引；同一类型的多个索引的索引别名相同，索引具有时间段属性，同一类型的多个索引的时间段属性互不重合；从多个索引中确定与待存储的索引数据的时间戳关联的关联索引；关联索引的时间段属性包含时间戳；将待存储的索引数据划分到关联索引中；从而实现根据索引数据的时间戳对索引数据进行分类存储，以便在接收到包括时间信息的查询请求时，根据时间信息确定目标索引，只需要扫描目标索引中的索引数据，即可得到目标索引数据，并不需要扫描所有索引的索引数据，因此，减少了查询的数据量，提高了索引的效率。此外，通过将每个索引中的索引数据划分到多个索引分片中，在搜索时，可以同时对多个索引分片进行搜索，进一步提高了索引效率。再者，本发明实施例在重建索引、删除索引的过程中，通过删除索引别名的方式可以减少数据碎片产生，极大降低索引管理运维的难度和工作量。

参照图3，示出了本发明实施例二的一种数据索引方法的步骤流程图；本实施例主要从使用实施例一创建的数据索引的角度提供一种数据索引方法，该方法具体可以包括如下步骤：

步骤301，接收数据查询请求，所述数据查询请求包括数据类型和时间信息。

ES搜索引擎可以接收客户端发送的数据查询请求，数据查询请求包括数据类型和时间信息。其中，数据类型为数据查询请求对应的目标索引数据的类型，时间信息为数据查询请求对应的目标索引数据的创建时间，即目标索引数据的时间戳。

需要说明的是，数据查询请求可以对应多个目标索引数据，因此，数据查询请求包括的时间信息可以是多个时间点的集合，也可以是一个时间段信息。

步骤302，获取与所述数据类型对应的多个索引，多个所述索引具有相同的索引别名，且多个所述索引具有互不重合的时间段属性。

由于实施例一创建的数据索引中同一类型的多个索引的索引别名相同，且多个索引具有互不重合的时间段属性；因此，根据数据查询请求对应的数据类型可以确定多个索引别名相同的索引。

步骤303，根据所述时间信息从所述多个索引中确定目标索引，所述目标索引的时间段属性包含所述时间信息。

在本实施例中，可以依次比对多个索引的时间段属性是否包括时间信息，将时间段属性包含时间信息的索引确定为目标索引。

以图2所示的视频类型对应的四个索引(video_201901_201907、video_201908_201912、video_202001_202007、video_202008_202012)为例，当时间信息为20190903时，对应的目标索引为video_201908_201912；当时间信息为20190903-20200405时，对应的目标索引为video_201908_201912和video_202001_202007。

步骤304，搜索所述目标索引中的索引数据。

在确定目标索引后，搜索目标索引中的索引数据，以得到与数据查询请求匹配的目标索引数据。

具体地，数据查询请求中还包括关键词，搜索目标索引中与关键词匹配的索引数据作为与数据查询请求匹配的目标索引数据。

在一可选实施例中，每个所述索引包括多个索引分片，每个所述索引分片中存储多个索引数据；上述搜索所述目标索引中的索引数据的过程，包括：

搜索所述目标索引的每个目标索引分片中的索引数据，得到每个目标索引分片的搜索结果；

将多个所述目标索引分片的搜索结果进行合并。

在本实施例中，可以同时搜索目标索引的多个目标索引分片中的索引数据，得到每个目标索引分片的搜索结果，然后将多个目标索引分片的搜索结果进行合并，得到与数据查询请求匹配的多个目标索引数据。

本发明实施例通过接收包含数据类型和时间信息的数据索引请求，可以根据数据类型确定与数据类型对应的同一索引别名的多个索引，然后再根据时间信息从同一索引别名的多个索引中确定出目标索引，并搜索目标索引中的索引数据，以得到与数据查询请求对应的目标索引数据。与现有技术需要搜索所有的索引相比，本发明实施例可以减少查询的数据量，提高数据查询吞吐量。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图4，示出了本发明实施例三的一种数据索引装置的示意性结构框图，本发明实施例三与上述实施例一对应，具体可以包括如下模块：

第一获取模块401，用于获取待存储的索引数据；所述待存储的索引数据具有时间戳；

第二获取模块402，用于获取索引库中与所述待存储的索引数据的类型对应的多个索引；同一类型的多个所述索引的索引别名相同，所述索引具有时间段属性，同一类型的多个所述索引的时间段属性互不重合；

索引确定模块403，用于从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引；所述关联索引的时间段属性包含所述时间戳；

数据划分模块404，用于将所述待存储的索引数据划分到所述关联索引中。

可选地，所述装置还包括：

分片数量确定模块，用于根据每个所述索引中的索引数据的数量确定索引分片数量；

划分分片数据模块，用于将所述索引中的索引数据按照预设规则划分到对应的索引分片中，使得多个所述索引分片中的索引数据的数量的差值在预设差值范围内。

可选地，所述索引数据包括数据标识，所述划分分片数据模块，包括：

哈希值计算子模块，用于根据所述索引数据的数据标识，通过预设哈希算法计算所述索引数据对应的哈希值；

划分数据子模块，用于根据所述哈希值，将所述索引数据划分到对应的索引分片中。

可选地，所述索引确定模块403，还包括：

第一目标索引建立模块，用于若不存在与所述待存储的索引数据的时间戳关联的关联索引，则建立与所述待存储的索引数据的类型对应第一目标索引，并设置所述第一目标索引的时间段属性，使得所述第一目标索引的时间段属性包含所述待存储的索引数据的时间戳；

关联索引确定模块，用于将所述第一目标索引确定为与所述待存储的索引数据的时间戳关联的关联索引。

可选地，所述装置还包括：

重建请求接收模块，用于接收索引重建请求，并根据所述索引重建请求确定待重建的第二目标索引；

新索引建立模块，用于建立新索引；所述新索引的时间段属性与所述第二目标索引的时间段属性相同；

索引数据导入模块，用于向所述新索引导入对应的索引数据；

新索引别名设置模块，用于设置所述新索引的索引别名为所述第二目标索引的索引别名，同时删除所述第二目标索引的索引别名。

可选地，所述装置还包括：

第一判断模块，用于判断所述索引库中的索引是否达到预设期限条件；

索引别名删除模块，用于若达到所述预设期限条件，则将所述索引的索引名称中的原始索引别名删除。

可选地，所述装置还包括：

索引删除模块，用于将所述已删除索引别名的索引删除。

可选地，所述装置还包括：

恢复请求接收模块，用于接收针对所述已删除索引别名的索引的恢复请求；

索引恢复模块，用于将所述原始索引别名添加至所述已删除索引别名的索引的索引名称中。

本发明实施例通过第一获取模块获取待存储的索引数据；待存储的索引数据具有时间戳；通过第二获取模块获取索引库中与待存储的索引数据的类型对应的多个索引；同一类型的多个索引的索引别名相同，索引具有时间段属性，同一类型的多个索引的时间段属性互不重合；通过索引确定模块从多个索引中确定与待存储的索引数据的时间戳关联的关联索引；关联索引的时间段属性包含时间戳；通过数据划分模块将待存储的索引数据划分到关联索引中；从而实现根据索引数据的时间戳对索引数据进行分类存储，以便在接收到包括时间信息的查询请求时，根据时间信息确定目标索引，只需要扫描目标索引中的索引数据，即可得到目标索引数据，并不需要扫描所有索引的索引数据，因此，减少了查询的数据量，提高了索引的效率。此外，通过分片数量确定模块和划分分片数据模块将每个索引中的索引数据划分到多个索引分片中，在搜索时，可以同时对多个索引分片进行搜索，进一步提高了索引效率。再者，本发明实施例在重建索引、删除索引的过程中，通过删除索引别名的方式可以减少数据碎片产生，极大降低索引管理运维的难度和工作量。

参照图5，示出了本发明实施例四的一种数据索引装置的示意性结构框图，本发明实施例四与上述实施例二对应，具体可以包括如下模块：

查询请求接收模块501，用于接收数据查询请求，所述数据查询请求包括数据类型和时间信息；

第一索引获取模块502，用于获取与所述数据类型对应的多个索引，多个所述索引具有相同的索引别名，且多个所述索引具有互不重合的时间段属性；

目标索引确定模块503，用于根据所述时间信息从所述多个索引中确定目标索引，所述目标索引的时间段属性包含所述时间信息；

目标索引搜索模块504，用于搜索所述目标索引中的索引数据。

可选地，每个所述索引包括多个索引分片，每个所述索引分片中存储多个索引数据；所述目标索引搜索模块504，包括：

分片搜索模块，用于搜索所述目标索引的每个目标索引分片中的索引数据，得到每个目标索引分片的搜索结果；

搜索结果合并模块，用于将多个所述目标索引分片的搜索结果进行合并。

本发明实施例通过查询请求接收模块接收包含数据类型和时间信息的数据索引请求，通过第一索引获取模块根据数据类型确定与数据类型对应的同一索引别名的多个索引，然后通过目标索引确定模块根据时间信息从同一索引别名的多个索引中确定出目标索引，最后通过目标索引搜索模块搜索目标索引中的索引数据，以得到与数据查询请求对应的目标索引数据。与现有技术需要搜索所有的索引相比，本发明实施例可以减少查询的数据量，提高数据查询吞吐量。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种终端，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上所述的数据索引方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上所述的数据索引方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的数据索引方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据索引方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (14)

1.一种数据索引方法，其特征在于，所述方法包括：

获取待存储的索引数据；所述待存储的索引数据具有时间戳；

获取索引库中与所述待存储的索引数据的类型对应的多个索引；同一类型的多个所述索引的索引别名相同，所述索引具有时间段属性，同一类型的多个所述索引的时间段属性互不重合；

从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引；所述关联索引的时间段属性包含所述时间戳；

将所述待存储的索引数据划分到所述关联索引中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据每个所述索引中的索引数据的数量确定索引分片数量；

将所述索引中的索引数据按照预设规则划分到对应的索引分片中，使得多个所述索引分片中的索引数据的数量的差值在预设差值范围内。

3.根据权利要求2所述的方法，其特征在于，所述索引数据包括数据标识，所述将所述索引中的索引数据按照预设规则划分到对应的索引分片中，使得多个所述索引分片中的索引数据的数量的差值在预设差值范围内，包括：

根据所述索引数据的数据标识，通过预设哈希算法计算所述索引数据对应的哈希值；

根据所述哈希值，将所述索引数据划分到对应的索引分片中。

4.根据权利要求1所述的方法，其特征在于，所述从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引，还包括：

若不存在与所述待存储的索引数据的时间戳关联的关联索引，则建立与所述待存储的索引数据的类型对应第一目标索引，并设置所述第一目标索引的时间段属性，使得所述第一目标索引的时间段属性包含所述待存储的索引数据的时间戳；

将所述第一目标索引确定为与所述待存储的索引数据的时间戳关联的关联索引。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收索引重建请求，并根据所述索引重建请求确定待重建的第二目标索引；

建立新索引；所述新索引的时间段属性与所述第二目标索引的时间段属性相同；

向所述新索引导入对应的索引数据；

设置所述新索引的索引别名为所述第二目标索引的索引别名，同时删除所述第二目标索引的索引别名。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判断所述索引库中的索引是否达到预设期限条件；

若达到所述预设期限条件，则将所述索引的索引名称中的原始索引别名删除。

7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

将所述已删除索引别名的索引删除。

8.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

接收针对所述已删除索引别名的索引的恢复请求；

将所述原始索引别名添加至所述已删除索引别名的索引的索引名称中。

9.一种数据索引方法，其特征在于，所述方法包括：

接收数据查询请求，所述数据查询请求包括数据类型和时间信息；

获取与所述数据类型对应的多个索引，多个所述索引具有相同的索引别名，且多个所述索引具有互不重合的时间段属性；

根据所述时间信息从所述多个索引中确定目标索引，所述目标索引的时间段属性包含所述时间信息；

搜索所述目标索引中的索引数据。

10.根据权利要求9所述的方法，其特征在于，每个所述索引包括多个索引分片，每个所述索引分片中存储多个索引数据；所述搜索所述目标索引中的索引数据，包括：

搜索所述目标索引的每个目标索引分片中的索引数据，得到每个目标索引分片的搜索结果；

将多个所述目标索引分片的搜索结果进行合并。

11.一种数据索引装置，其特征在于，所述装置包括：

第一获取模块，用于获取待存储的索引数据；所述待存储的索引数据具有时间戳；

第二获取模块，用于获取索引库中与所述待存储的索引数据的类型对应的多个索引；同一类型的多个所述索引的索引别名相同，所述索引具有时间段属性，同一类型的多个所述索引的时间段属性互不重合；

索引确定模块，用于从多个所述索引中确定与所述待存储的索引数据的时间戳关联的关联索引；所述关联索引的时间段属性包含所述时间戳；

数据划分模块，用于将所述待存储的索引数据划分到所述关联索引中。

12.一种数据索引装置，其特征在于，所述装置包括：

查询请求接收模块，用于接收数据查询请求，所述数据查询请求包括数据类型和时间信息；

第一索引获取模块，用于获取与所述数据类型对应的多个索引，多个所述索引具有相同的索引别名，且多个所述索引具有互不重合的时间段属性；

目标索引确定模块，用于根据所述时间信息从所述多个索引中确定目标索引，所述目标索引的时间段属性包含所述时间信息；

目标索引搜索模块，用于搜索所述目标索引中的索引数据。

13.一种终端，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-8或9-10任一所述的数据索引方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8或9-10任一所述的数据索引方法。

Images