CN112182328A - 一种搜索引擎的扩容方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种搜索引擎的扩容方法、装置、电子设备及存储介质，该方法包括：确定索引数据分片的扩容数量；根据索引数据分片的扩容数量，对预先创建的第一路由表进行扩容，得到扩容后的第一路由表；根据扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系，确定扩容后的各个索引数据分片的分片标识对应的节点标识；对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中，目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。通过本申请实施例提供的技术方案，可以降低搜索引擎系统的成本。并且，在用户终端无感知的情况下，实现了索引数据分片的扩容。

Description

一种搜索引擎的扩容方法、装置、电子设备及存储介质

技术领域

本申请涉及搜索技术领域，特别是涉及一种搜索引擎的扩容方法、装置、电子设备及存储介质。

背景技术

传统的搜索引擎的索引数据都是存储于本地，但是随着搜索引擎的索引数据的增加，本地无法存储全部的索引数据。

通常情况下，通过将索引数据进行分片的方式来解决这一问题。具体的，可以将索引数据切分为多个索引数据分片，并将不同的索引数据分片分布在不同索引节点上，即把索引数据分摊到多台索引节点上。

随着索引数据的增加，会对索引数据分片进行扩容，举例而言，原来索引数据被切分为2个索引数据分片，现在需要将索引数据切分为4个索引数据分片。相关技术中，在存储扩容后的索引数据分片时，通常采用的方法是：创建一个用于存储扩容后的索引数据分片的新集群。相关技术中通过创建新集群来存储扩容后的索引数据分片的方式，存在搜索引擎系统冗余成本高的问题。

发明内容

为解决相关技术中通过创建新集群来存储扩容后的索引数据分片的方式，存在搜索引擎系统冗余成本高的问题，本申请示出了一种搜索引擎的扩容方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种搜索引擎的扩容方法，所述方法包括：

确定索引数据分片的扩容数量；

根据所述索引数据分片的扩容数量，对预先创建的第一路由表进行扩容，得到扩容后的第一路由表，所述第一路由表存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系；

根据所述扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系，确定扩容后的各个索引数据分片的分片标识对应的节点标识；

对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容后的第一路由表，包括：

确定扩容后索引数据分片的数量与扩容前索引数据分片的数量之间的倍数；

将所述第一路由表扩容所述倍数，得到扩容后的第一路由表。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容每个索引数据分片包括多个索引数据块；

所述对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中，包括：

对于每一扩容后的索引数据分片，启动节点标识为该扩容后的索引数据分片对应的目标索引节点，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识；

对于每一扩容后的索引数据分片，将该扩容后的索引数据分片包括的目标索引数据块存储到所述目标索引节点；

删除扩容前索引节点中存储的所述目标索引数据块。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容在所述删除扩容前索引节点中存储的所述目标索引数据块之后，所述方法还包括：

更新预先创建的第二路由表，其中，所述第二路由表用于存储索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系；

创建第三路由表，其中，所述第三路由表用于存储索引数据块的数据块标识与索引节点的节点标识之间对应关系。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容所述方法还包括：

接收终端发送的目标搜索请求，并确定所述目标搜索请求携带的目标搜索词对应的目标索引数据标识；

根据预先确定的索引数据标识与索引数据块的数据块标识之间的对应关系，确定所述目标索引数据标识对应的目标数据块标识；

根据所述更新后的第二路由表中存储的数据块标识与数据分片标识之间的对应关系，确定所述目标数据块标识对应的目标数据分片标识；

根据分片标识与节点标识之间的对应关系，确定所述目标数据分片标识对应的目标节点标识；

向具有所述目标节点标识的索引节点发送所述目标搜索请求，并接收具有所述目标节点标识的索引节点反馈的与所述目标搜索词匹配的索引数据，并向所述终端发送所述索引数据。

第二方面，本申请实施例提供了一种搜索引擎的扩容装置，所述装置包括：

扩容数据确定模块，用于确定索引数据分片的扩容数量；

路由表扩容模块，用于根据所述索引数据分片的扩容数量，对预先创建的第一路由表进行扩容，得到扩容后的第一路由表，所述第一路由表存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系；

节点标识确定模块，用于根据所述扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系，确定扩容后的各个索引数据分片的分片标识对应的节点标识；

索引数据分片存储模块，用于对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容所述路由表扩容模块，具体用于：

确定扩容后索引数据分片的数量与扩容前索引数据分片的数量之间的倍数；

将所述第一路由表扩容所述倍数，得到扩容后的第一路由表。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容每个索引数据分片包括多个索引数据块；

所述索引数据分片存储模块，具体用于：

对于每一扩容后的索引数据分片，启动节点标识为该扩容后的索引数据分片对应的目标索引节点，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识；

对于每一扩容后的索引数据分片，将该扩容后的索引数据分片包括的目标索引数据块存储到所述目标索引节点；

删除扩容前索引节点中存储的所述目标索引数据块。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容在所述装置还包括：

路由表更新模块，用于所述删除扩容前索引节点中存储的所述目标索引数据块之后，更新预先创建的第二路由表，其中，所述第二路由表用于存储索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系；

路由表创建模块，用于创建第三路由表，其中，所述第三路由表用于存储索引数据块的数据块标识与索引节点的节点标识之间对应关系。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容所述装置还包括：

搜索请求接收模块，用于接收终端发送的目标搜索请求，并确定所述目标搜索请求携带的目标搜索词对应的目标索引数据标识；

目标数据块标识确定模块，用于根据预先确定的索引数据标识与索引数据块的数据块标识之间的对应关系，确定所述目标索引数据标识对应的目标数据块标识；

目标数据分片标识确定模块，用于根据所述更新后的第二路由表中存储的数据块标识与数据分片标识之间的对应关系，确定所述目标数据块标识对应的目标数据分片标识；

目标节点标识确定模块，用于根据分片标识与节点标识之间的对应关系，确定所述目标数据分片标识对应的目标节点标识；

索引数据发送模块，用于向具有所述目标节点标识的索引节点发送所述目标搜索请求，并接收具有所述目标节点标识的索引节点反馈的与所述目标搜索词匹配的索引数据，并向所述终端发送所述索引数据。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的搜索引擎的扩容方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的搜索引擎的扩容方法的步骤。

本申请实施例提供的技术方案，通过对存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系的第一路由表进行扩容，得到扩容后的第一路由表，并根据扩容后的第一路由表来确定扩容后的各个索引数据分片的分片标识对应的节点标识，并将扩容后的索引数据存储到对应的目标索引节点中。由于扩容前已有的索引数据分片已经存储到其对应的目标索引节点中，因此，只需要将扩容后新增的索引数据分片存储到其对应的目标索引节点即可，而不像相关技术那样，需要重新创建新集群来存储扩容后的索引数据分片，从而降低了搜索引擎系统的成本。并且，在用户终端无感知的情况下，实现了索引数据分片的扩容。

附图说明

图1是本申请实施例提供的一种搜索引擎的扩容方法的步骤流程图；

图2是图1所示实施例中S140的一种实现方式的步骤流程图；

图3是本申请实施例提供的一种搜索引擎的扩容方法的步骤流程图；

图4为对索引数据进行分片的示意图；

图5为对索引数据分片进行扩容过程的示意图；

图6为对索引数据分片扩容后创建第三路由表的示意图；

图7是本申请实施例提供的一种搜索引擎的扩容装置的结构框图；

图8是本申请实施例提供的一种电子设备的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

相关技术中，在对搜索引擎的索引数据分片进行扩容时，通常创建一个用于存储多个索引数据分片的新集群。但是，相关技术中的这种存储多个索引数据分片的方法存在搜索引擎系统冗余成本高的问题。

为了解决相关技术中存在的上述技术问题，本申请实施例提供了一种搜索引擎的扩容方法、装置、电子设备及存储介质。

第一方面，首先对本申请实施例提供的一种搜索引擎的扩容方法进行详细阐述。

需要说明的是，本申请实施例提供的一种搜索引擎的扩容方法的执行主体可以是一种搜索引擎的扩容装置，该搜索引擎的扩容装置可以运行于电子设备中，该电子设备可以为服务器，本申请实施例对电子设备不做具体限定。

如图1所示，本申请实施例提供的一种搜索引擎的扩容方法的步骤流程图，具体可以包括如下步骤：

S110，确定索引数据分片的扩容数量。

具体的，随着搜索引擎的索引数据的增加，本地无法存储全部的索引数据。因此，通常将索引数据切分成多个索引数据分片，并将不同的索引数据分布在不同的索引节点上，即把索引数据分摊到多台索引节点上。

在实际应用中，随着索引数据的不断增加，需要增加索引数据分片的数量，也就是说，索引数据分片需要扩容。举例而言，在索引数据分片没有扩容前，索引数据分片的数量为2个，这两个索引数据分片的分片标识分别为shard0和shard1。现在需要将索引数据切分成4个索引数据分片，这四个索引数据分片的分片标识分别为shard0，shard1，shard2和shard3。那么，此时索引数据分片的扩容数量为2。

当然，在实际应用中，可以根据索引数据的数量，来确定索引数据分片的扩容数量。本申请实施例对索引数据分片的扩容数量不做具体限定。

S120，根据索引数据分片的扩容数量，对预先创建的第一路由表进行扩容，得到扩容后的第一路由表。

其中，第一路由表存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系。

具体的，在存储索引数据时，会创建用于存储索引数据分片的分片标识与索引节点的节点标识之间的对应关系的路由表，为了方案描述清楚，可以将该路由表称为第一路由表。

为了后续步骤中，将扩容后的索引数据分片存储到对应的索引节点上，在确定了索引数据分片的扩容数量之后，可以根据索引数据分片的扩容数量，对预先创建的第一路由表进行扩容后的第一路由表。

举例而言，扩容前索引数据分片的数量为2个，这两个索引数据分片的分片标识分别为shard0和shard1，扩容前的第一路由表中存储的索引数据分片的分片标识与索引节点的节点标识之间的对应关系为：shard0→node0、node2…；shard1→node1、node3…。扩容后索引数据分片的数量为4个，这四个索引数据分片的分片标识分别为shard0、shard1、shard2和shard3，与扩容前索引数据分片的数量相比，索引数据分片的扩容数量为2个，扩容后的第一路由表中存储的索引数据分片的分片标识与索引节点的节点标识之间的对应关系为：shard0→node0、node2…；shard1→node1、node3…；shard2→node0、node2…；shard3→node1、node3…。

在一种实施方式中，基于索引数据分片的扩容数量，对第一路由表进行扩容，得到扩容后的第一路由表，可以包括如下步骤，分别为步骤a1和步骤a2：

步骤a1，确定扩容后索引数据分片的数量与扩容前索引数据分片的数量之间的倍数。

步骤a2，将第一路由表扩容倍数，得到扩容后的第一路由表。

具体的，在该实施方式中，在对预先创建的第一路由表进行扩容时，可以确定扩容后索引数据分片的数量与扩容前索引数据分片的数量之间的倍数。例如，扩容前索引数据分片的数量为2个，扩容后索引数据分片的数量为4个，那么，扩容后索引数据分片的数量是扩容前索引数据分片的数量的2倍。然后，将第一路由表扩容所确定的倍数，得到扩容后的第一路由表。例如，如果扩容后索引数据分片的数量是扩容前索引数据分片的数量的2倍，那么，将第一路由表扩容2倍。

S130，根据扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系，确定扩容后的各个索引数据分片的分片标识对应的节点标识。

具体的，由于扩容后的第一路由表中存储有各个索引数据分片的分片标识与节点标识之间的对应关系，因此，在得到扩容后的第一路由表之后，可以根据扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系，确定扩容后的各个索引数据分片的分片标识对应的节点标识。

举例而言，假如扩容后的第一路由表中存储的索引数据分片的分片标识与索引节点的节点标识之间的对应关系为：shard0→node0、node2…；shard1→node1、node3…；shard2→node0、node2…；shard3→node1、node3…。那么，可以根据扩容后的第一路由表中存储的索引数据分片的分片标识与索引节点的节点标识之间的对应关系，确定shard0对应的节点标识为node0；shard1对应的节点标识为node1；shard2对应的节点标识为node2；shard3对应的节点标识为node3。

S140，对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中。

其中，目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。

具体的，在确定了扩容后的各个索引数据分片的分片标识对应的节点标识之后，可以将每一扩容后的索引数据分片存储到对应的目标索引节点中。

举例而言，扩容后索引数据分片的数量为4个，这四个索引数据分片的分片标识分别为shard0、shard1、shard2和shard3；并且，shard0对应的节点标识为node0；shard1对应的节点标识为node1；shard2对应的节点标识为node2；shard3对应的节点标识为node3。那么，可以将索引数据分片标识为shard0的索引数据存储到节点标识为node0的目标索引节点；将索引数据分片标识为shard1的索引数据存储到节点标识为node1的目标索引节点；可以将索引数据分片标识为shard2的索引数据存储到节点标识为node2的目标索引节点；可以将索引数据分片标识为shard3的索引数据存储到节点标识为node3的目标索引节点。

需要说明的是，在对索引数据分片扩容之前，索引数据分片shard0已经存储于节点标识为node0的索引节点中；索引数据分片shard1已经存储于节点标识为node1的索引节点中。因此，在对索引数据分片扩容之后，只需要将索引数据分片shard2存储于节点标识为node2的索引节点中，并将索引数据分片shard3存储于节点标识为node3的索引节点即可。

在实际应用中，在存储索引数据时，索引数据以索引数据块bucket的形式存在，也就是说，每个索引数据块可以包括多条索引数据；而每个索引数据分片又可以包括多个索引数据块。

在一种实施方式中，当每个索引数据分片包括多个索引数据块时，对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中，如图2所示，可以包括如下步骤：

S210，对于每一扩容后的索引数据分片，启动节点标识为该扩容后的索引数据分片对应的目标索引节点。

其中，目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。

具体的，在确定了扩容后的各个索引数据分片的分片标识对应的节点标识，即确定了扩容后的各个索引数据分片对应的目标索引节点，因此，对于每一扩容后的索引数据分片，可以启动该扩容后的索引数据分片对应的目标索引节点。

可以理解的是，扩容前已有的索引分数分片对应的目标索引节点已经启动，因此，只需要启动扩容后新增的索引数据分片对应的目标索引节点即可。

S220，对于每一扩容后的索引数据分片，将该扩容后的索引数据分片包括的目标索引数据块存储到目标索引节点。

具体的，对于每一扩容后的索引数据分片，在启动了该扩容后的索引数据分片对应的目标索引节点后，可以将该扩容后的索引数据分片包括的目标索引数据块存储到目标索引节点中，也就是说，将该扩容后的索引数据分片包括的数据块bucket迁移到目标索引节点。

S230，删除扩容前索引节点中存储的目标索引数据块。

对于每一扩容后的索引数据分片，在将该扩容后的索引数据分片包括的目标索引数据块存储到目标索引节点之后，可以将扩容前索引节点中存储的这些目标索引数据块删除，以节省扩容前索引节点的存储空间。

举例而言，索引数据由100个bucket组成，扩容前索引数据分片数量是2个，那么，每个索引数据分片就包括50个bucket，扩容前可以启动两个索引节点，每个索引节点中存储50个bucket。假如扩容后索引数据分片数量是4个，那么，每个索引数据分片包括25个bucket，扩容后一共需要启动四个索引节点，也就是说，与扩容前相比，扩容后需要再启动两个新的索引节点，并将待存储到新启动的两个索引节点的bucket迁移到这两个新启动的索引节点中，并将已经迁移到这两个新启动的索引节点中的bucket，从扩容前已经启动的索引节点中删除。

本申请实施例提供的技术方案，通过对存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系的第一路由表进行扩容，得到扩容后的第一路由表，并根据扩容后的第一路由表来确定扩容后的各个索引数据分片的分片标识对应的节点标识，并将扩容后的索引数据存储到对应的目标索引节点中。由于扩容前已有的索引数据分片已经存储到其对应的目标索引节点中，因此，只需要将扩容后新增的索引数据分片存储到其对应的目标索引节点即可，而不像相关技术那样，需要重新创建新集群来存储扩容后的索引数据分片，从而降低了搜索引擎系统的成本。并且，在用户终端无感知的情况下，实现了索引数据分片的扩容。

在上述实施例的基础上，在一种实施方式中，在删除扩容前索引节点中存储的目标索引数据块之后，该搜索引擎的扩容方法还可以包括如下步骤，分别为步骤b1和步骤b2：

步骤b1，更新预先创建的第二路由表。

其中，第二路由表用于存储索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系。

步骤b2，创建第三路由表。

其中，第三路由表用于存储索引数据块的数据块标识与索引节点的节点标识之间对应关系。

由上述描述可知，索引数据分片的扩容实际上就是将扩容前索引数据分片中包括的索引数据块划分到多个索引数据分片中，也就是说，索引数据分片扩容后，索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系发生了变化，因此，需要更新第二路由表。

举例而言，索引数据分片扩容前，索引数据分片的数量是两个，每个索引数据分片所包括的数据块为50个，这两个索引数据分片的分片标识分别为shard0和shard1。那么，在索引数据分片前，第二路由表中存储的索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系为：bucket0到bucket49对应的索引数据分片的分片标识为shard0；bucket50到bucket99对应的索引数据分片的分片标识为shard1。

索引数据分片扩容后，索引数据分片的数量是四个，每个索引数据分片所包括的数据块为25个，这四个索引数据分片的分片标识分别为shard0、shard1、shard2和shard3。那么，在索引数据分片后，更新后的第二路由表中存储的索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系为：bucket0到bucket24对应的索引数据分片的分片标识为shard0；bucket25到bucket49对应的索引数据分片的分片标识为shard1；bucket50到bucket74对应的索引数据分片的分片标识为shard2；bucket75到bucket99对应的索引数据分片的分片标识为shard3。

并且，在索引数据分片扩容后，索引数据块的数据块标识与索引节点的节点标识之间对应关系也发生了变化，因此，需要创建第三路由表。

仍以上面的例子为例进行说明，在索引数据分片扩容前，bucket0到bucket54对应的索引节点的节点标识为node0，bucket55到bucket99对应的索引节点的节点标识为node1。在索引数据分片扩容后，bucket0到bucket24对应的索引节点的节点标识为node0，bucket25到bucket49对应的索引节点的节点标识为node1，bucket50到bucket74对应的索引节点的节点标识为node2，bucket75到bucket99对应的索引节点的节点标识为node3。

可见，通过本实施方式提供的技术方案，在对索引数据分片进行扩容后，准确地更新了用于存储索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系的第二路由表，并创建了用于存储索引数据块的数据块标识与索引节点的节点标识之间对应关系的第三路由表，以便后续步骤中，搜索引擎能够准确地提供搜索服务。

在上述实施例的基础上，在一种实施方式中，该搜索引擎的扩容方法还可以包括如下步骤，如图3所示。

S310，接收终端发送的目标搜索请求，并确定目标搜索请求携带的目标搜索词对应的目标索引数据标识。

在用户需要通过搜索引擎查询自身需要的数据时，可以通过终端发送目标搜索请求，该目标搜索请求中携带用户输入的目标搜索词。在接收到终端发送的目标搜索请求后，可以确定目标搜索请求携带的目标搜索词对应的目标索引数据标识。

S320，根据预先确定的索引数据标识与索引数据块的数据块标识之间的对应关系，确定目标索引数据标识对应的目标数据块标识。

具体的，索引数据通常有多条，每一条索引数据可以用doc进行表示，在存储多条索引数据时，可以将多条索引数据划分为到不同的索引数据块中，每个索引数据块可以用bucket进行表示。在实际应用中，在索引数据分片扩容前后，索引数据标识与索引数据块的数据块标识之间的对应关系是固定不变的。因此，在确定了目标搜索请求携带的目标搜索词对应的目标索引数据标识之后，可以根据预先确定的索引数据标识与索引数据块的数据块标识之间的对应关系，来确定目标索引数据标识对应的目标数据块标识。

S330，根据更新后的第二路由表中存储的数据块标识与数据分片标识之间的对应关系，确定目标数据块标识对应的目标数据分片标识。

具体的，由于第二路由表中存储有索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系，因此，在确定目标索引数据标识对应的目标数据块标识后，可以在更新后的第二路由表中，查找目标数据块标识对应的目标数据分片标识。

S340，根据分片标识与节点标识之间的对应关系，确定目标数据分片标识对应的目标节点标识。

具体的，由于索引数据分片扩容后，分片标识与节点标识之间的对应关系是确定的，因此，可以根据分片标识与节点标识之间的对应关系，确定目标数据分片标识对应的目标节点标识，以便后续步骤中，从具有目标节点标识的索引节点中获取到所需要的索引数据。

需要说明的是，在实际应用中，目标数据分片标识的数量可能是一个或者多个，因此，目标数据分片标识对应的目标节点标识也可能是多个，具有目标节点标识的索引节点也可能是多个。

S350，向具有目标节点标识的索引节点发送目标搜索请求，并接收具有目标节点标识的索引节点反馈的与目标搜索词匹配的索引数据，并向终端发送索引数据。

具体的，在确定了目标节点标识之后，可以向具有目标节点标识的索引节点发送目标索引请求。具体的，在具有目标节点标识的索引节点的数量为一个时，可以直接向该具有目标节点标识的索引节点发送目标搜索请求；在具有目标节点标识的索引节点的数量为多个时，可以向这多个具有目标节点标识的索引节点分别发送目标搜索请求。

在向具有目标节点标识的索引节点发送目标搜索请求后，可以接收具有目标节点标识的索引节点反馈的与目标搜索请求匹配的索引数据。在具有目标节点标识的索引节点的数量为一个时，可以直接将该具有目标节点标识的索引节点反馈的与目标搜索词匹配的索引数据发送到终端；在具有目标节点标识的索引节点的数量为多个时，可以向这多个具有目标节点标识的索引节点反馈的与目标搜索词匹配的索引数据反馈给终端。

可见，通过本申请实施方式提供的技术方案，在对索引数据分片进行扩容后，搜索引擎可以准确高效地为用户提供搜索服务，实现了用户对索引数据分片的扩容过程无感知，进而提高了用户体验。

为了方案描述清楚，下面将结合具体实例对本申请实施例提供的技术方案进行详细阐述。

如图4所示，为索引分片的示意图，即对索引数据进行分片的示意图。

从图4可以看出，在索引数据存储实现方面，索引数据被分为多个索引数据块中。并且，索引数据块的数量是固定的，也就是说，bucketNum为64，且索引数据被分到哪个数据块也是确定的，也就是说，doc→bucket固定不变。

但是，bucket与索引数据分片shard之间的关系是可变的，也就是说，在对索引数据分片进行扩容时，bucket与shard之间的关系发生了变化，相应的bucket与node之间的关系也发生了变化。

在存储索引数据时，生成了3张路由表，分别为node→bucket路由表，bucket→shard路由表，以及，shard→node路由表。其中，node→bucket路由表用于存储node的节点标识与bucket的数据块标识之间的对应关系。bucket→shard路由表用于存储bucket的数据块标识与shard的分片标识之间的对应关系。shard→node路由表用于存储shard的分片标识与node的节点标识之间的对应关系。

并且，从图4可以看出，在接收到客户端的请求时，可以根据索引数据标识docid与索引数据块标识bucketNum之间的对应关系，以及索引数据块标识bucketNum与索引数据分片的分片标识shardNum之间的对应关系，确定出搜索请求对应的目标分片标识，并将搜索请求拆包即将搜索请求发送到具有目标分片标识的索引节点，具有目标分片标识的索引节点接收到搜索请求后反馈对应的搜索结果，该搜索结果包括全量索引数据和增量索引数据。最终将搜索结果合并后发送至客户端。

如图5所示，为索引扩缩容示意图，即对索引数据分片进行扩容过程的示意图。

从图5可以看出，对索引数据分片进行扩容的过程分为两个步骤。

第一步骤，对存储有索引数据分片的分片标识与索引节点的节点标识之间对应关系的第一路由表进行拷贝，即对第一路由表进行扩容。具体的，图5中，是将索引数据分片从2片扩容到4片，因此，第一路由表扩容两倍。

第二步骤，在得到扩容后的第一路由表之后，确定扩容后的索引数据分片的分片标识与索引节点的节点标识之间的对应关系，通过重启索引节点的方式，将扩容后的索引数据分片存储到对应的索引节点。由于索引数据分片是由索引数据块bucket组成的，因此，将扩容后的索引数据分片存储到对应的索引节点实际上是调整bucket的分布。

需要说明的是，由于图5中索引数据分片的扩容过程在上述实施例中已经详细阐述，在此不再赘述进行详细赘述。

如图6所示，对索引数据分片扩容后，创建的第三路由表的结构示意图。具体的，由于对索引数据分片扩容后，索引数据块bucket的数据块标识与索引节点的节点标识之间的对应关系发生了变化，因此，需要创建bucket→node路由表，以便后续步骤中，为用户提供准确地搜索服务。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本申请所必须的。

第二方面，本申请实施例提供了一种搜索引擎的扩容装置，如图7所示，所述装置包括：

扩容数据确定模块710，用于确定索引数据分片的扩容数量；

路由表扩容模块720，用于根据所述索引数据分片的扩容数量，对预先创建的第一路由表进行扩容，得到扩容后的第一路由表，所述第一路由表存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系；

节点标识确定模块730，用于根据所述扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系，确定扩容后的各个索引数据分片的分片标识对应的节点标识；

索引数据分片存储模块740，用于对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。

本申请实施例提供的技术方案，通过对存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系的第一路由表进行扩容，得到扩容后的第一路由表，并根据扩容后的第一路由表来确定扩容后的各个索引数据分片的分片标识对应的节点标识，并将扩容后的索引数据存储到对应的目标索引节点中。由于扩容前已有的索引数据分片已经存储到其对应的目标索引节点中，因此，只需要将扩容后新增的索引数据分片存储到其对应的目标索引节点即可，而不像相关技术那样，需要重新创建新集群来存储扩容后的索引数据分片，从而降低了搜索引擎系统的成本。并且，在用户终端无感知的情况下，实现了索引数据分片的扩容。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容所述路由表扩容模块，具体用于：

确定扩容后索引数据分片的数量与扩容前索引数据分片的数量之间的倍数；

将所述第一路由表扩容所述倍数，得到扩容后的第一路由表。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容每个索引数据分片包括多个索引数据块；

所述索引数据分片存储模块，具体用于：

对于每一扩容后的索引数据分片，启动节点标识为该扩容后的索引数据分片对应的目标索引节点，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识；

对于每一扩容后的索引数据分片，将该扩容后的索引数据分片包括的目标索引数据块存储到所述目标索引节点；

删除扩容前索引节点中存储的所述目标索引数据块。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容在所述装置还包括：

路由表更新模块，用于所述删除扩容前索引节点中存储的所述目标索引数据块之后，更新预先创建的第二路由表，其中，所述第二路由表用于存储索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系；

路由表创建模块，用于创建第三路由表，其中，所述第三路由表用于存储索引数据块的数据块标识与索引节点的节点标识之间对应关系。

可选的，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容所述装置还包括：

搜索请求接收模块，用于接收终端发送的目标搜索请求，并确定所述目标搜索请求携带的目标搜索词对应的目标索引数据标识；

目标数据块标识确定模块，用于根据预先确定的索引数据标识与索引数据块的数据块标识之间的对应关系，确定所述目标索引数据标识对应的目标数据块标识；

目标数据分片标识确定模块，用于根据所述更新后的第二路由表中存储的数据块标识与数据分片标识之间的对应关系，确定所述目标数据块标识对应的目标数据分片标识；

目标节点标识确定模块，用于根据分片标识与节点标识之间的对应关系，确定所述目标数据分片标识对应的目标节点标识；

索引数据发送模块，用于向具有所述目标节点标识的索引节点发送所述目标搜索请求，并接收具有所述目标节点标识的索引节点反馈的与所述目标搜索词匹配的索引数据，并向所述终端发送所述索引数据。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

第三方面，本申请实施例提供了一种电子设备，如图8所示，包括存储器810、处理器820及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的搜索引擎的扩容方法的步骤。

本申请实施例提供的技术方案，通过对存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系的第一路由表进行扩容，得到扩容后的第一路由表，并根据扩容后的第一路由表来确定扩容后的各个索引数据分片的分片标识对应的节点标识，并将扩容后的索引数据存储到对应的目标索引节点中。由于扩容前已有的索引数据分片已经存储到其对应的目标索引节点中，因此，只需要将扩容后新增的索引数据分片存储到其对应的目标索引节点即可，而不像相关技术那样，需要重新创建新集群来存储扩容后的索引数据分片，从而降低了搜索引擎系统的成本。并且，在用户终端无感知的情况下，实现了索引数据分片的扩容。

第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的搜索引擎的扩容方法的步骤。

本申请实施例提供的技术方案，通过对存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系的第一路由表进行扩容，得到扩容后的第一路由表，并根据扩容后的第一路由表来确定扩容后的各个索引数据分片的分片标识对应的节点标识，并将扩容后的索引数据存储到对应的目标索引节点中。由于扩容前已有的索引数据分片已经存储到其对应的目标索引节点中，因此，只需要将扩容后新增的索引数据分片存储到其对应的目标索引节点即可，而不像相关技术那样，需要重新创建新集群来存储扩容后的索引数据分片，从而降低了搜索引擎系统的成本。并且，在用户终端无感知的情况下，实现了索引数据分片的扩容。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种搜索引擎的扩容方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种搜索引擎的扩容方法，其特征在于，所述方法包括：

确定索引数据分片的扩容数量；

根据所述索引数据分片的扩容数量，对预先创建的第一路由表进行扩容，得到扩容后的第一路由表，所述第一路由表存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系；

根据所述扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系，确定扩容后的各个索引数据分片的分片标识对应的节点标识；

对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。

2.根据权利要求1所述的方法，其特征在于，所述基于索引数据分片的扩容数量，对所述第一路由表进行扩容，得到扩容后的第一路由表，包括：

确定扩容后索引数据分片的数量与扩容前索引数据分片的数量之间的倍数；

将所述第一路由表扩容所述倍数，得到扩容后的第一路由表。

3.根据权利要求1所述的方法，其特征在于，每个索引数据分片包括多个索引数据块；

所述对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中，包括：

对于每一扩容后的索引数据分片，启动节点标识为该扩容后的索引数据分片对应的目标索引节点，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识；

对于每一扩容后的索引数据分片，将该扩容后的索引数据分片包括的目标索引数据块存储到所述目标索引节点；

删除扩容前索引节点中存储的所述目标索引数据块。

4.根据权利要求3所述的方法，其特征在于，在所述删除扩容前索引节点中存储的所述目标索引数据块之后，所述方法还包括：

更新预先创建的第二路由表，其中，所述第二路由表用于存储索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系；

创建第三路由表，其中，所述第三路由表用于存储索引数据块的数据块标识与索引节点的节点标识之间对应关系。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收终端发送的目标搜索请求，并确定所述目标搜索请求携带的目标搜索词对应的目标索引数据标识；

根据预先确定的索引数据标识与索引数据块的数据块标识之间的对应关系，确定所述目标索引数据标识对应的目标数据块标识；

根据所述更新后的第二路由表中存储的数据块标识与数据分片标识之间的对应关系，确定所述目标数据块标识对应的目标数据分片标识；

根据分片标识与节点标识之间的对应关系，确定所述目标数据分片标识对应的目标节点标识；

向具有所述目标节点标识的索引节点发送所述目标搜索请求，并接收具有所述目标节点标识的索引节点反馈的与所述目标搜索词匹配的索引数据，并向所述终端发送所述索引数据。

6.一种搜索引擎的扩容装置，其特征在于，所述装置包括：

扩容数据确定模块，用于确定索引数据分片的扩容数量；

路由表扩容模块，用于根据所述索引数据分片的扩容数量，对预先创建的第一路由表进行扩容，得到扩容后的第一路由表，所述第一路由表存储有索引数据分片的分片标识与索引节点的节点标识之间的对应关系；

节点标识确定模块，用于根据所述扩容后的第一路由表中存储的分片标识与节点标识之间的对应关系，确定扩容后的各个索引数据分片的分片标识对应的节点标识；

索引数据分片存储模块，用于对于每一扩容后的索引数据分片，将该扩容后的索引数据分片存储到目标索引节点中，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识。

7.根据权利要求6所述的装置，其特征在于，所述路由表扩容模块，具体用于：

确定扩容后索引数据分片的数量与扩容前索引数据分片的数量之间的倍数；

将所述第一路由表扩容所述倍数，得到扩容后的第一路由表。

8.根据权利要求6所述的装置，其特征在于，每个索引数据分片包括多个索引数据块；

所述索引数据分片存储模块，具体用于：

对于每一扩容后的索引数据分片，启动节点标识为该扩容后的索引数据分片对应的目标索引节点，所述目标索引节点的节点标识为该扩容后的索引数据分片的分片标识对应的节点标识；

对于每一扩容后的索引数据分片，将该扩容后的索引数据分片包括的目标索引数据块存储到所述目标索引节点；

删除扩容前索引节点中存储的所述目标索引数据块。

9.根据权利要求8所述的装置，其特征在于，在所述装置还包括：

路由表更新模块，用于所述删除扩容前索引节点中存储的所述目标索引数据块之后，更新预先创建的第二路由表，其中，所述第二路由表用于存储索引数据块的数据块标识与索引数据分片的分片标识之间的对应关系；

路由表创建模块，用于创建第三路由表，其中，所述第三路由表用于存储索引数据块的数据块标识与索引节点的节点标识之间对应关系。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

搜索请求接收模块，用于接收终端发送的目标搜索请求，并确定所述目标搜索请求携带的目标搜索词对应的目标索引数据标识；

目标数据块标识确定模块，用于根据预先确定的索引数据标识与索引数据块的数据块标识之间的对应关系，确定所述目标索引数据标识对应的目标数据块标识；

目标数据分片标识确定模块，用于根据所述更新后的第二路由表中存储的数据块标识与数据分片标识之间的对应关系，确定所述目标数据块标识对应的目标数据分片标识；

目标节点标识确定模块，用于根据分片标识与节点标识之间的对应关系，确定所述目标数据分片标识对应的目标节点标识；

索引数据发送模块，用于向具有所述目标节点标识的索引节点发送所述目标搜索请求，并接收具有所述目标节点标识的索引节点反馈的与所述目标搜索词匹配的索引数据，并向所述终端发送所述索引数据。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的搜索引擎的扩容方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的搜索引擎的扩容方法的步骤。

Images