CN112699098A - 一种索引数据迁移方法、装置及设备 - Google Patents

Abstract

本申请实施例公开了一种索引数据迁移方法、装置及设备，先获取待迁移索引数据的目标字段数据段，对目标字段数据段进行切分，得到多个待处理任务数据段；再建立与待处理任务数据段对应的待执行迁移任务，根据待执行迁移任务确定待迁移队列；从待迁移队列中获取目标迁移任务，根据目标迁移任务获取目标任务数据段；最后，将目标任务数据段分配至目标线程；调用目标线程根据目标任务数据段，从原始索引数据库中获取待迁移索引数据；通过目标线程将待迁移索引数据写入目标索引数据库。如此，通过多线程和分布式架构，可以提高迁移索引数据的迁移效率。部分线程迁移出现问题时不会影响到其他线程的迁移过程。在保证了容错性的基础上，提高迁移效率。

Description

一种索引数据迁移方法、装置及设备

技术领域

本申请涉及数据处理领域，具体涉及一种索引数据迁移方法、装置及设备。

背景技术

在使用互联网的过程中会产生大量的数据，通常需要将产生的数据储存至搜索引擎的索引库中，以便搜索引擎利用索引库中的索引数据进行查询和分析。

随着搜索引擎的不断优化和更新，为了满足对索引数据的处理的需要，需要进行搜索引擎的替换。在进行搜索引擎的替换时，如果在新的搜索引擎中重新建立对应的索引数据，需要建立的索引数据的数据量较大，需要耗费较高的成本。因此，需要将原始搜索引擎中的索引数据转移至新的搜索引擎中。目前，在搜索引擎之间进行索引数据的迁移的效率较低，难以对大量的需要迁移的索引数据进行及时的迁移处理。

发明内容

有鉴于此，本申请实施例提供一种索引数据迁移方法、装置及设备，能够实现高效的索引数据的迁移。

为解决上述问题，本申请实施例提供的技术方案如下：

第一方面，本申请提供一种索引数据迁移方法，所述方法包括：

获取待迁移索引数据的目标字段数据段，对所述目标字段数据段进行切分，得到多个待处理任务数据段；

建立与所述待处理任务数据段对应的待执行迁移任务，根据所述待执行迁移任务确定待迁移队列；所述待处理任务数据段与所述待执行迁移任务一一对应；

从所述待迁移队列中获取目标迁移任务，根据所述目标迁移任务获取目标任务数据段；所述目标迁移任务为所述待执行迁移任务中的一个或者多个，所述目标任务数据段为与所述目标迁移任务对应的待执行任务数据段；

将所述目标任务数据段分配至目标线程；

调用所述目标线程根据所述目标任务数据段，从原始索引数据库中获取所述待迁移索引数据；

通过所述目标线程将所述待迁移索引数据写入目标索引数据库。

在一种可能的实现方式中，所述获取待迁移索引数据的目标字段数据段，对所述目标字段数据段进行切分，得到多个待处理任务数据段，包括：

获取目标字段起始值和目标字段结束值，根据所述目标字段起始值和所述目标字段结束值确定目标字段数据段；

获取切分间隔，利用所述切分间隔对所述目标字段数据段进行划分，得到多个待处理任务数据段。

在一种可能的实现方式中，所述方法还包括：

获取所述各个待处理任务数据段所对应的待迁移索引数据的数量；

计算所述各个待处理任务数据段所对应的待迁移索引数据的数量之间的差值，判断所述差值是否小于目标差值；

若所述差值大于或者等于目标差值，对待迁移索引数据的数量大于目标数量的待处理任务数据段进行划分，得到重新划分后的待处理任务数据段。

在一种可能的实现方式中，所述建立与所述待处理任务数据段对应的待执行迁移任务，根据所述待执行迁移任务确定待迁移队列，包括：

建立与所述待处理任务数据段对应的待执行迁移任务；

将所述待执行迁移任务储存至迁移任务数据库；

向待迁移队列中插入迁移任务标识；所述迁移任务标识与所述待执行迁移任务一一对应；

所述从所述待迁移队列中获取目标迁移任务，根据所述目标迁移任务获取目标任务数据段，包括：

从所述待迁移队列中获取目标迁移任务标识；所述目标迁移任务标识为所述迁移任务标识中的一个或者多个；

将所述目标迁移任务标识对应的待执行迁移任务作为目标迁移任务；

从所述迁移任务数据库中获取所述目标迁移任务对应的待处理任务数据段，作为目标任务数据段。

在一种可能的实现方式中，所述方法还包括：

在所述迁移任务数据库中建立迁移任务表，所述迁移任务表与所述待迁移队列对应；

在所述通过所述目标线程将所述待迁移索引数据写入目标索引数据库之后，将所述待迁移索引数据对应的目标迁移任务确定为已完成迁移任务；

在所述迁移任务表中，将所述已完成迁移任务的执行状态更新为完成状态。

在一种可能的实现方式中，在所述通过所述目标线程将所述待迁移索引数据写入目标索引数据库之后，所述方法还包括：

判断所述目标索引数据库中是否具有所述待迁移索引数据；

若不具有，则重新执行通过所述目标线程将所述待迁移索引数据写入目标索引数据库，直到所述目标索引数据库中具有所述待迁移索引数据，或者重新写入所述待迁移索引数据的次数达到预设次数。

在一种可能的实现方式中，所述通过所述目标线程将所述待迁移索引数据写入目标索引数据库，包括：

将所述待迁移索引数据转换为目标格式的待写入索引数据；所述目标格式为目标索引数据库中索引数据的格式；

将所述目标格式的待写入索引数据写入所述目标索引数据库。

第二方面，本申请提供一种索引数据迁移装置，所述装置包括：

第一获取单元，用于获取待迁移索引数据的目标字段数据段，对所述目标字段数据段进行切分，得到多个待处理任务数据段；

第一建立单元，用于建立与所述待处理任务数据段对应的待执行迁移任务，根据所述待执行迁移任务确定待迁移队列；所述待处理任务数据段与所述待执行迁移任务一一对应；

第二获取单元，用于从所述待迁移队列中获取目标迁移任务，根据所述目标迁移任务获取目标任务数据段；所述目标迁移任务为所述待执行迁移任务中的一个或者多个，所述目标任务数据段为与所述目标迁移任务对应的待执行任务数据段；

分配单元，用于将所述目标任务数据段分配至目标线程；

第三获取单元，用于调用所述目标线程根据所述目标任务数据段，从原始索引数据库中获取所述待迁移索引数据；

写入单元，用于通过所述目标线程将所述待迁移索引数据写入目标索引数据库。

在一种可能的实现方式中，所述第一获取单元，具体用于获取目标字段起始值和目标字段结束值，根据所述目标字段起始值和所述目标字段结束值确定目标字段数据段；

获取切分间隔，利用所述切分间隔对所述目标字段数据段进行划分，得到多个待处理任务数据段。

在一种可能的实现方式中，所述装置还包括：

第四获取单元，用于获取所述各个待处理任务数据段所对应的待迁移索引数据的数量；

计算单元，用于计算所述各个待处理任务数据段所对应的待迁移索引数据的数量之间的差值，判断所述差值是否小于目标差值；

划分单元，用于若所述差值大于或者等于目标差值，对待迁移索引数据的数量大于目标数量的待处理任务数据段进行划分，得到重新划分后的待处理任务数据段。

在一种可能的实现方式中，所述第一建立单元，具体用于建立与所述待处理任务数据段对应的待执行迁移任务；

将所述待执行迁移任务储存至迁移任务数据库；

向待迁移队列中插入迁移任务标识；所述迁移任务标识与所述待执行迁移任务一一对应；

所述第二获取单元，具体用于从所述待迁移队列中获取目标迁移任务标识；所述目标迁移任务标识为所述迁移任务标识中的一个或者多个；

将所述目标迁移任务标识对应的待执行迁移任务作为目标迁移任务；

从所述迁移任务数据库中获取所述目标迁移任务对应的待处理任务数据段，作为目标任务数据段。

在一种可能的实现方式中，所述装置还包括：

第二建立单元，用于在所述迁移任务数据库中建立迁移任务表，所述迁移任务表与所述待迁移队列对应；

确定单元，用于在所述通过所述目标线程将所述待迁移索引数据写入目标索引数据库之后，将所述待迁移索引数据对应的目标迁移任务确定为已完成迁移任务；

更新单元，用于在所述迁移任务表中，将所述已完成迁移任务的执行状态更新为完成状态。

在一种可能的实现方式中，所述装置还包括：

判断单元，用于判断所述目标索引数据库中是否具有所述待迁移索引数据；

执行单元，用于若不具有，则重新执行通过所述目标线程将所述待迁移索引数据写入目标索引数据库，直到所述目标索引数据库中具有所述待迁移索引数据，或者重新写入所述待迁移索引数据的次数达到预设次数。

在一种可能的实现方式中，所述写入单元，具体用于将所述待迁移索引数据转换为目标格式的待写入索引数据；所述目标格式为目标索引数据库中索引数据的格式；

将所述目标格式的待写入索引数据写入所述目标索引数据库。

第三方面，本申请提供一种索引数据迁移设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述实施例所述的方法。

第四方面，本申请提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述实施例所述的方法。

由此可见，本申请实施例具有如下有益效果：

本申请实施例提供的一种索引数据迁移方法、装置及设备，先获取待迁移索引数据的目标字段数据段，对目标字段数据段进行切分，得到多个待处理任务数据段；再建立与待处理任务数据段对应的待执行迁移任务，根据待执行迁移任务确定待迁移队列；待处理任务数据段与待执行迁移任务一一对应；从待迁移队列中获取目标迁移任务，根据目标迁移任务获取目标任务数据段；目标迁移任务为待执行迁移任务中的一个或者多个，目标任务数据段为与目标迁移任务对应的待执行任务数据段；最后，将目标任务数据段分配至目标线程；调用目标线程根据目标任务数据段，从原始索引数据库中获取待迁移索引数据；通过目标线程将待迁移索引数据写入目标索引数据库。如此，通过多线程和分布式架构，可以提高迁移索引数据的迁移效率。并且，部分线程迁移出现问题时不会影响到其他线程的迁移过程。在保证了索引数据迁移的容错性的基础上，提高了索引数据在搜索引擎之间的迁移效率。

附图说明

图1为本申请实施例提供的一种索引数据迁移方法的流程图；

图2为本申请实施例提供的一种索引数据迁移的示意图；

图3为本申请实施例提供的一种利用切分间隔对目标字段数据段进行划分的示意图；

图4为本申请实施例提供的另一种利用切分间隔对目标字段数据段进行划分的示意图；

图5为本申请实施例提供的一种应用场景示意图；

图6为本申请实施例提供的一种索引数据迁移装置的结构示意图。

具体实施方式

为了便于理解和解释本申请实施例提供的技术方案，下面将先对本申请的背景技术进行说明。

发明人在对传统的搜索引擎之间的索引数据的迁移方法进行研究后发现，目前的迁移方法为单线程迁移，在迁移之前需要用户手动输入查询语句和索引库确定所要进行迁移的索引数据。再通过搜索引擎的分页查询获取全部所要进行迁移的索引数据。再将索引数据批量导入新的搜索引擎中。通过单线程进行索引数据的效率较低。并且若迁移出现问题，需要回滚操作，导致索引数据的迁移的时间增长。

基于此，本申请实施例提供一种索引数据迁移方法，先获取待迁移索引数据的目标字段数据段，对目标字段数据段进行切分，得到多个待处理任务数据段；再建立与待处理任务数据段对应的待执行迁移任务，根据待执行迁移任务确定待迁移队列；待处理任务数据段与待执行迁移任务一一对应；从待迁移队列中获取目标迁移任务，根据目标迁移任务获取目标任务数据段；目标迁移任务为待执行迁移任务中的一个或者多个，目标任务数据段为与目标迁移任务对应的待执行任务数据段；最后，将目标任务数据段分配至目标线程；调用目标线程根据目标任务数据段，从原始索引数据库中获取待迁移索引数据；通过目标线程将待迁移索引数据写入目标索引数据库。如此，通过多线程和分布式架构，可以提高迁移索引数据的迁移效率。并且，部分线程迁移出现问题时不会影响到其他线程的迁移过程。在保证了索引数据迁移的容错性的基础上，提高了索引数据在搜索引擎之间的迁移效率。

为了便于理解本申请实施例提供的技术方案，下面结合附图对本申请实施例提供的一种索引数据迁移方法进行说明。

在一种可以的实现方式中，该方法可以应用于将Solr中的待迁移索引数据迁移至Elasticsearch中。

参见图1所示，该图为本申请实施例提供的一种索引数据迁移方法的流程图，该方法包括步骤S101-S106。

S101：获取待迁移索引数据的目标字段数据段，对目标字段数据段进行切分，得到多个待处理任务数据段。

待迁移索引数据是原始索引数据库中的需要迁移至新的搜索引擎中的索引数据库的索引数据。具体的，原始索引数据库可以为Solr中的索引数据库，待迁移索引数据可以为索引数据库中储存的部分索引数据。

可以理解的是，在原始索引数据库中具有大量的索引数据，各个索引数据中具有对应的字段。为了从大量的索引数据中确定所要进行迁移的待迁移索引数据，可以获取待迁移索引数据的目标字段数据段。目标字段数据段为目标字段的数值范围，利用目标字段数据段确定所要进行迁移的待迁移索引数据。目标字段数据段具体可以为待迁移索引数据的字段中相对散列的字段的数据段，相对散列的字段的数据段便于利用切分间隔进行划分，提高对待迁移索引数据的迁移的通用性。

本申请实施例不限定获取待迁移索引数据的目标字段数据段的具体方式，例如，待迁移索引数据的目标字段数据段可以是通过用户输入的目标字段数据段得到的，也可以是通过获取预先设定的目标字段数据段得到的。

对获取的目标字段数据段进行切分，得到多个待处理任务数据段。如此可以通过对目标字段数据段进行切分实现对待迁移索引数据的划分，便于后续实现分布式和多线程的待迁移索引数据的批量迁移。

本申请实施例提供了一种获取待迁移索引数据的目标字段数据段，对目标字段数据段进行切分，得到多个待处理任务数据段的具体实施方式，请参见下文。

S102：建立与待处理任务数据段对应的待执行迁移任务，根据待执行迁移任务确定待迁移队列；待处理任务数据段与待执行迁移任务一一对应。

根据切分后得到的待处理任务数据段，建立一一对应的待执行迁移任务，待执行迁移任务为线程所要执行的迁移任务。通过建立待执行迁移任务，便于后续利用多线程执行迁移任务时可以获取到对应的待处理任务数据段。

可以理解的是，待执行迁移任务的数量可能较多，大于可以调用的线程的数量。为了便于线程获取待执行迁移任务，根据待执行迁移任务生成对应的待迁移队列。待迁移队列可以是根据待执行迁移任务所对应的待处理任务数据段在目标字段数据段中的顺序确定的。

本申请实施例提供了一种建立与所述待处理任务数据段对应的待执行迁移任务，根据所述待执行迁移任务确定待迁移队列的具体实施方式，请参见下文。

S103：从待迁移队列中获取目标迁移任务，根据目标迁移任务获取目标任务数据段；目标迁移任务为待执行迁移任务中的一个或者多个，目标任务数据段为与目标迁移任务对应的待执行任务数据段。

从建立的待迁移队列中获取本次需要迁移处理的目标迁移任务，目标迁移任务可以是待执行任务中的一个或者多个。目标迁移任务的数量可以由本次进行执行迁移任务的线程的数量确定。根据目标迁移任务可以获取与目标迁移任务对应的目标任务数据段。

在一种可能的实现方式中，可以通过信号量的计数功能，来实现目标迁移任务的获取和执行。在从待迁移队列中获取目标迁移任务之前，先获取信号量。信号量具体可以通过配置文件获取。信号量的具体数值可以与可使用的线程池的容量相同，再根据信号量进行对应数量的目标迁移任务的获取。当线程顺利执行完迁移任务或出现任何异常时，释放信号量。如果所有线程都在处理任务时，此时信号量为0，不会从待迁移队列取得目标迁移任务，将目标迁移任务增加至阻塞队列中。防止当待迁移队列积压目标迁移任务过多时，从待迁移队列获取较多的目标迁移任务提交至线程池处理，导致阻塞队列过大或超出内存资源限制的问题，防止出现线程池资源耗尽的问题。

S104：将目标任务数据段分配至目标线程。

将得到的一个或者多个目标任务数据段分配至目标线程。目标线程是从线程池中选取的可以进行本次迁移任务执行的线程，目标任务数据段的数量与目标线程的数量相等，实现各个目标线程对分配至的目标任务数据段所对应的待迁移索引数据的迁移。

在一种具体的实现方式中，可以是调用目标线程从获取的目标迁移数据段中获取自身所要处理的对应的一个目标迁移数据段，实现对目标迁移数据段的分配。

S105：调用目标线程根据目标任务数据段，从原始索引数据库中获取待迁移索引数据。

调用分配目标任务数据段的目标线程，根据目标任务数据段从原始索引数据库中获取对应的待迁移索引数据。

在一种可能的实现方式中，若原始索引数据库为Solr中的索引数据库，可以调用目标线程通过调用Solr游标，获取具有目标任务数据段的待迁移索引数据。Solr游标每次查询的索引数据的条数可以根据索引数据内容平均大小、搜索引擎服务器配置以及网络资源的效率等因素综合确定。

S106：通过目标线程将待迁移索引数据写入目标索引数据库。

将获取到的待迁移索引数据通过目标线程写入至目标索引数据库中，目标索引数据库为新的搜索引擎的索引数据库。目标索引数据库可以为Elasticsearch的索引数据库。

在一种可能的实现方式中，可以在将待迁移索引数据写入目标索引数据库之前，先对目标索引数据库进行初始化，以建立和目标索引数据库的连接。

在另一种可能的实现方式中，如果目标线程未能成功将待迁移索引数据写入至目标索引数据库中，还可以重新将待迁移索引数据写入至目标索引数据库，直到重试次数达到预设次数，或者待迁移索引数据成功写入至目标索引数据库。其中，预设次数可以是从配置文件中获取的。

参见图2所示，该图为本申请实施例提供的一种索引数据迁移的示意图。

基于上述S101-S106的相关内容可知，在本申请实施例中，先通过对目标字段数据段进行切分，可以对应的建立多个待执行任务，实现对待迁移索引数据的分布式迁移处理。再对应的将目标迁移任务分配至目标线程进行处理，实现了多线程的待迁移索引数据的迁移。通过多线程和分布式架构，可以提高迁移索引数据的迁移效率。并且，部分线程迁移出现问题时不会影响到其他线程的迁移过程。在保证了索引数据迁移的容错性的基础上，提高了索引数据在搜索引擎之间的进行迁移的迁移效率。

在一种可能的实现方式中，本申请实施例提供一种获取待迁移索引数据的目标字段数据段，对目标字段数据段进行切分，得到多个待处理任务数据段的具体实施方式，具体包括以下两个步骤：

获取目标字段起始值和目标字段结束值，根据目标字段起始值和目标字段结束值确定目标字段数据段；

获取切分间隔，利用切分间隔对目标字段数据段进行划分，得到多个待处理任务数据段。

目标字段数据段可以根据获取的目标字段起始值和目标字段结束值来确定。以时间字段为例，通过获取时间字段的起始值和时间字段的结束值，可以确定在目标时间数据段内的索引数据为待迁移索引数据。作为一种示例，若需要将一天内写入原始索引数据库的索引数据作为待迁移索引数据进行迁移，可以将时间字段的起始值设置为0点，将时间字段的结束值设置为24点。通过获取0点的时间字段的起始值和24点的时间字段的结束值，可以确定0点至24点的时间字段数据段。

切分间隔为对目标字段数据段的进行划分间隔，切分间隔可以根据各个目标字段数据段所对应的待迁移索引数据的数据量确定。利用切分间隔对目标字段数据段进行切分，得到切分后的多个待处理任务数据段。以上述时间字段为例，切分间隔可以为1小时。切分后可以得到24个待处理任务数据段，各个待处理任务数据段对应的时间字段的范围为1个小时。

需要说明的是，当可以利用切分间隔对目标字段数据段进行均匀划分时，得到的各个待处理任务数据段相同。参见图3所示，该图为本申请实施例提供的一种利用切分间隔对目标字段数据段进行划分的示意图。若目标字段数据段为20个单位数据段，以2个单位数据段作为切分间隔进行切分，得到10个待处理任务数据段，各个待处理任务数据段包括2个单位数据段。在另一种可能的实现方式中，当不能利用切分间隔对目标字段数据段进行均匀划分时，可以将不满足切分间隔的字段数据段单独作为一个待处理任务数据段。参见图4所示，该图为本申请实施例提供的另一种利用切分间隔对目标字段数据段进行划分的示意图。若目标字段数据段为20个单位数据段，以6个单位数据段作为切分间隔进行切分，会具有2个单位数据段的剩余。将2个单位数据段作为一个待处理任务数据段，切分后得到4个待处理任务数据段。

基于上述内容可知，通过对目标字段数据利用切分间隔进行切分，可以得到较为均匀的待处理任务数据段。进而可以对待迁移索引数据进行较为平均的划分，使得后续各个目标线程在执行目标迁移任务时所要迁移的待迁移索引数据较为均匀，提高对待迁移索引数据的迁移效率。

在一种可能的实现方式中，待处理任务数据段对应的待迁移索引数据的数据量不够均匀，可能存在着部分待处理任务数据段对应的待迁移索引数据的数据量过多。

基于此，进一步的，本申请实施例提供一种索引数据迁移方法，除上述步骤以外，方法还包括：

获取各个待处理任务数据段所对应的待迁移索引数据的数量；

计算各个待处理任务数据段所对应的待迁移索引数据的数量之间的差值，判断差值是否小于目标差值；

若差值大于或者等于目标差值，对待迁移索引数据的数量大于目标数量的待处理任务数据段进行划分，得到重新划分后的待处理任务数据段。

为了实现对于待迁移索引数据的较为均匀的分配，确保划分后的各个待处理任务数据段所对应的待迁移索引数据较为均匀，获取各个待处理任务数据段所对应的待迁移索引数据的数量。具体的，可以根据各个待处理任务数据段从原始索引数据库中查询对应的索引数据，统计各个待处理任务数据段对应的索引数据的数据量。

计算各个待处理任务数据段对应的待迁移索引数据的数量之间的差值，若存在较大的差值则说明各个待处理任务数据段对应的待迁移索引数据的数量不够均匀。具体可以通过将计算得到的差值与目标差值进行比较。其中，目标差值可以是预先设置的各个待处理任务数据段对应的待迁移索引数据的数量之间的最大差值。

如果存在计算得到的差值大于目标差值，则需要对待处理任务数据段进行进一步的划分。将待迁移索引数据的数量大于目标数量的待处理任务数据段进行划分，得到重新划分后的待处理任务数据段。本申请实施例不限定对待处理任务数据段进行进一步划分的划分方式，可以根据待处理任务数据段对应的待迁移索引数据的数量确定。

以上述图2中的待处理任务数据段为例，若第三个待处理任务数据段所对应的待迁移索引数据的数量大于目标数据，可以将第三个待处理任务数据段划分为两个待处理任务数据段。最终得到11个待处理任务数据段，将这11个待处理任务数据段作为最终的待处理任务数据段。

在本申请实施例中，若待处理任务数据段对应的待迁移索引数据的数量不够均匀，可以对待迁移索引数据数量较多的待处理任务数据段进行进一步划分，使得得到的待处理任务数据段对应的待迁移索引数据的数量较为平均。如此便于实现多线程的待迁移索引数据的迁移，提高待迁移索引数据的迁移效率。

可以理解的是，为了便于实现对划分后的待处理任务数据段所对应的待迁移索引数据的迁移，可以建立对应的待执行迁移任务，通过分配待执行迁移任务实现各个线程对对应的待迁移索引数据的迁移。

本申请实施例提供一种建立与所述待处理任务数据段对应的待执行迁移任务，根据所述待执行迁移任务确定待迁移队列的具体实施方式，具体包括以下步骤：

建立与待处理任务数据段对应的待执行迁移任务；

将待执行迁移任务储存至迁移任务数据库；

向待迁移队列中插入迁移任务标识；迁移任务标识与待执行迁移任务一一对应。

根据待处理任务数据段建立一一对应的待执行迁移任务。待执行迁移任务中具有对应的待处理任务数据段的相关信息，将待执行迁移任务储存至迁移任务数据库中，储存待执行迁移任务的相关信息。迁移任务数据库可以是Oracle数据库。在一种可能的实现方式中，当需要储存至迁移任务数据库的待执行迁移任务数量较多时，可以使用数据库的批量执行器BatchExecutor执行SQL语句，复用已经预处理的语句，批量执行所有语句，提高性能。

可以理解的是，为了区别不同的待执行迁移任务，可以为待执行迁移任务分配对应的迁移任务标识，迁移任务标识与待执行迁移任务一一对应。

向待迁移队列中插入迁移任务标识，以便根据迁移任务标识确定所要执行的任务。具体的待迁移队列可以为Redis队列。若需要插入待迁移队列中的迁移任务标识较多时，可以使用Redis队列的批量操作，来优化插入效率。

若待迁移队列中具有未执行的迁移任务对应的迁移任务标识，将本次建立的待执行迁移任务对应的迁移任务标识插入至未执行的迁移任务对应的迁移任务标识之后。

对应的，从待迁移队列中获取目标迁移任务，根据目标迁移任务获取目标任务数据段，包括：

从待迁移队列中获取目标迁移任务标识；目标迁移任务标识为迁移任务标识中的一个或者多个；

将目标迁移任务标识对应的待执行迁移任务作为目标迁移任务；

从迁移任务数据库中获取目标迁移任务对应的待处理任务数据段，作为目标任务数据段。

在选取目标迁移任务时，先从待迁移队列中获取目标迁移任务标识。目标迁移任务标识可以是根据待迁移队列按顺序选取的。本申请实施例不限定获取的目标迁移任务标识的数量，可以为写入至待迁移队列中的迁移任务标识中的一个或者多个。

根据目标迁移任务标识，将对应的待执行迁移任务作为本次执行的目标迁移任务。再从迁移任务数据库中获取目标迁移任务对应的待处理任务数据段，作为本次处理的目标任务数据段。

在本申请实施例中，为了便于进行数据传输，将待执行迁移任务储存至迁移任务数据库，并利用待执行迁移任务对应的迁移任务标识建立待迁移队列。通过选取的目标迁移任务标识确定目标待执行迁移任务，再从迁移任务数据库中获取目标任务数据段。便于向线程分配目标迁移任务，并获取对应的目标任务数据段。

进一步的，迁移任务数据库中可能储存较多的待执行迁移任务所对应的数据。为了便于迁移任务数据库中储存的数据进行管理，可以建立对应的迁移任务表。

在一种可能的实现方式中，方法还包括：

在迁移任务数据库中建立迁移任务表，迁移任务表与待迁移队列对应；

在通过目标线程将待迁移索引数据写入目标索引数据库之后，将待迁移索引数据对应的目标迁移任务确定为已完成迁移任务；

在迁移任务表中，将已完成迁移任务的执行状态更新为完成状态。

迁移任务表是用于实现对迁移任务数据库中的待执行迁移任务进行管理的表格。迁移任务表与待迁移队列相互对应，迁移任务表中可以具有各个待执行迁移任务的迁移任务标识，以便根据待迁移队列中的待执行迁移任务的处理情况对迁移任务数据库中的待执行迁移任务进行管理。

若将待迁移索引数据写入至目标索引数据库，则对待迁移索引数据的迁移处理结束，可以将待迁移索引数据对应的目标迁移任务确定为已完成迁移任务。并对应的在迁移任务表中，对已完成迁移任务对应的执行状态进行更新，更新为完成状态。在一种可能的实现方式中，还可以对执行状态为完成状态的已完成迁移任务对应的数据进行清洗，提高迁移任务数据库的储存资源的使用效率。

在一种可能的实现方式中，在将待迁移索引数据写入目标索引数据库的过程中，可能出现写入失败的情况。

基于此，本申请实施例提供一种索引数据迁移方法，除上述步骤以外，在通过目标线程将待迁移索引数据写入目标索引数据库之后，方法还包括：

判断目标索引数据库中是否具有待迁移索引数据；

若不具有，则重新执行通过目标线程将待迁移索引数据写入目标索引数据库，直到目标索引数据库中具有待迁移索引数据，或者重新写入待迁移索引数据的次数达到预设次数。

在将待迁移索引数据写入目标索引数据库之后，判断目标索引数据库中是否具有待迁移索引数据。若具有，则说明对待迁移索引数据的写入操作成功。若不具有，则说明待迁移索引数据的写入不成功，需要重新通过目标线程将待迁移索引数据写入至目标索引数据库中，直至待迁移索引数据成功写入至目标索引数据库，或者执行重新写入的次数达到预设次数。

需要说明的是，在重新执行将待迁移索引数据写入目标索引数据库之前，需要将对应的未成功写入的待迁移索引数据进行删除，避免待迁移索引数据的重复写入。具体可以将该目标线程执行本次目标迁移任务所写入的待迁移索引数据进行清除。

在本申请实施例中，对待迁移索引数据是否成功写入目标索引数据库进行判断，在写入不成功时重新执行写入操作，提高对待迁移索引数据的迁移效率，提高容错性。

在一种可能的实现方式中，不同的搜索引擎对应的索引数据库中的索引数据的格式不同，在将待迁移索引数据写入目标索引数据库之前，还需要进行索引数据的格式的转换。

通过目标线程将待迁移索引数据写入目标索引数据库，包括：

将待迁移索引数据转换为目标格式的待写入索引数据；目标格式为目标索引数据库中索引数据的格式；

将目标格式的待写入索引数据写入目标索引数据库。

目标格式为目标索引数据库中的索引数据的格式，将待迁移索引数据转换为目标格式的待写入索引数据，再将待写入索引数据写入至目标索引数据库中。

参见图5所示，该图为本申请实施例提供的一种应用场景示意图。

获取目标字段起始值、目标字段结束值和切分间隔，利用目标字段起始值、目标字段结束值和切分间隔建立目标字段数据段并进行划分，得到待处理任务数据段。再利用待处理任务数据段建立待执行迁移任务，将待执行迁移任务写入至迁移任务数据库中，并利用待执行迁移任务构建待迁移队列。从待迁移队列中选取目标迁移任务，得到对应的目标任务数据段。调用目标线程根据目标任务数据段利用游标从Solr索引库中读取待迁移索引数据。对待迁移索引数据进行格式转换，得到目标格式的待写入索引数据，将待写入索引数据写入至Elasticsearch索引库中。最后对迁移任务数据库进行更新。

基于上述方法实施例提供的一种索引数据迁移方法，本申请实施例还提供了一种索引数据迁移装置，下面将结合附图对该索引数据迁移装置进行说明。

参见图6，该图为本申请实施例提供的一种索引数据迁移装置的结构示意图。如图6所示，该索引数据迁移装置包括：

第一获取单元601，用于获取待迁移索引数据的目标字段数据段，对所述目标字段数据段进行切分，得到多个待处理任务数据段；

第一建立单元602，用于建立与所述待处理任务数据段对应的待执行迁移任务，根据所述待执行迁移任务确定待迁移队列；所述待处理任务数据段与所述待执行迁移任务一一对应；

第二获取单元603，用于从所述待迁移队列中获取目标迁移任务，根据所述目标迁移任务获取目标任务数据段；所述目标迁移任务为所述待执行迁移任务中的一个或者多个，所述目标任务数据段为与所述目标迁移任务对应的待执行任务数据段；

分配单元604，用于将所述目标任务数据段分配至目标线程；

第三获取单元605，用于调用所述目标线程根据所述目标任务数据段，从原始索引数据库中获取所述待迁移索引数据；

写入单元606，用于通过所述目标线程将所述待迁移索引数据写入目标索引数据库。

在一种可能的实现方式中，所述第一获取单元601，具体用于获取目标字段起始值和目标字段结束值，根据所述目标字段起始值和所述目标字段结束值确定目标字段数据段；

获取切分间隔，利用所述切分间隔对所述目标字段数据段进行划分，得到多个待处理任务数据段。

在一种可能的实现方式中，所述装置还包括：

第四获取单元，用于获取所述各个待处理任务数据段所对应的待迁移索引数据的数量；

计算单元，用于计算所述各个待处理任务数据段所对应的待迁移索引数据的数量之间的差值，判断所述差值是否小于目标差值；

划分单元，用于若所述差值大于或者等于目标差值，对待迁移索引数据的数量大于目标数量的待处理任务数据段进行划分，得到重新划分后的待处理任务数据段。

在一种可能的实现方式中，所述第一建立单元602，具体用于建立与所述待处理任务数据段对应的待执行迁移任务；

将所述待执行迁移任务储存至迁移任务数据库；

向待迁移队列中插入迁移任务标识；所述迁移任务标识与所述待执行迁移任务一一对应；

所述第二获取单元603，具体用于从所述待迁移队列中获取目标迁移任务标识；所述目标迁移任务标识为所述迁移任务标识中的一个或者多个；

将所述目标迁移任务标识对应的待执行迁移任务作为目标迁移任务；

从所述迁移任务数据库中获取所述目标迁移任务对应的待处理任务数据段，作为目标任务数据段。

在一种可能的实现方式中，所述装置还包括：

第二建立单元，用于在所述迁移任务数据库中建立迁移任务表，所述迁移任务表与所述待迁移队列对应；

确定单元，用于在所述通过所述目标线程将所述待迁移索引数据写入目标索引数据库之后，将所述待迁移索引数据对应的目标迁移任务确定为已完成迁移任务；

更新单元，用于在所述迁移任务表中，将所述已完成迁移任务的执行状态更新为完成状态。

在一种可能的实现方式中，所述装置还包括：

判断单元，用于判断所述目标索引数据库中是否具有所述待迁移索引数据；

执行单元，用于若不具有，则重新执行通过所述目标线程将所述待迁移索引数据写入目标索引数据库，直到所述目标索引数据库中具有所述待迁移索引数据，或者重新写入所述待迁移索引数据的次数达到预设次数。

在一种可能的实现方式中，所述写入单元606，具体用于将所述待迁移索引数据转换为目标格式的待写入索引数据；所述目标格式为目标索引数据库中索引数据的格式；

将所述目标格式的待写入索引数据写入所述目标索引数据库。

基于上述方法实施例提供的一种索引数据迁移方法，本申请提供一种索引数据迁移设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述实施例所述的方法。

基于上述方法实施例提供的一种索引数据迁移方法，本申请提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述实施例所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种索引数据迁移方法，其特征在于，所述方法包括：

获取待迁移索引数据的目标字段数据段，对所述目标字段数据段进行切分，得到多个待处理任务数据段；

建立与所述待处理任务数据段对应的待执行迁移任务，根据所述待执行迁移任务确定待迁移队列；所述待处理任务数据段与所述待执行迁移任务一一对应；

从所述待迁移队列中获取目标迁移任务，根据所述目标迁移任务获取目标任务数据段；所述目标迁移任务为所述待执行迁移任务中的一个或者多个，所述目标任务数据段为与所述目标迁移任务对应的待执行任务数据段；

将所述目标任务数据段分配至目标线程；

调用所述目标线程根据所述目标任务数据段，从原始索引数据库中获取所述待迁移索引数据；

通过所述目标线程将所述待迁移索引数据写入目标索引数据库。

2.根据权利要求1所述的方法，其特征在于，所述获取待迁移索引数据的目标字段数据段，对所述目标字段数据段进行切分，得到多个待处理任务数据段，包括：

获取目标字段起始值和目标字段结束值，根据所述目标字段起始值和所述目标字段结束值确定目标字段数据段；

获取切分间隔，利用所述切分间隔对所述目标字段数据段进行划分，得到多个待处理任务数据段。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述各个待处理任务数据段所对应的待迁移索引数据的数量；

计算所述各个待处理任务数据段所对应的待迁移索引数据的数量之间的差值，判断所述差值是否小于目标差值；

若所述差值大于或者等于目标差值，对待迁移索引数据的数量大于目标数量的待处理任务数据段进行划分，得到重新划分后的待处理任务数据段。

4.根据权利要求1所述的方法，其特征在于，所述建立与所述待处理任务数据段对应的待执行迁移任务，根据所述待执行迁移任务确定待迁移队列，包括：

建立与所述待处理任务数据段对应的待执行迁移任务；

将所述待执行迁移任务储存至迁移任务数据库；

向待迁移队列中插入迁移任务标识；所述迁移任务标识与所述待执行迁移任务一一对应；

所述从所述待迁移队列中获取目标迁移任务，根据所述目标迁移任务获取目标任务数据段，包括：

从所述待迁移队列中获取目标迁移任务标识；所述目标迁移任务标识为所述迁移任务标识中的一个或者多个；

将所述目标迁移任务标识对应的待执行迁移任务作为目标迁移任务；

从所述迁移任务数据库中获取所述目标迁移任务对应的待处理任务数据段，作为目标任务数据段。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述迁移任务数据库中建立迁移任务表，所述迁移任务表与所述待迁移队列对应；

在所述通过所述目标线程将所述待迁移索引数据写入目标索引数据库之后，将所述待迁移索引数据对应的目标迁移任务确定为已完成迁移任务；

在所述迁移任务表中，将所述已完成迁移任务的执行状态更新为完成状态。

6.根据权利要求1所述的方法，其特征在于，在所述通过所述目标线程将所述待迁移索引数据写入目标索引数据库之后，所述方法还包括：

判断所述目标索引数据库中是否具有所述待迁移索引数据；

若不具有，则重新执行通过所述目标线程将所述待迁移索引数据写入目标索引数据库，直到所述目标索引数据库中具有所述待迁移索引数据，或者重新写入所述待迁移索引数据的次数达到预设次数。

7.根据权利要求1所述的方法，其特征在于，所述通过所述目标线程将所述待迁移索引数据写入目标索引数据库，包括：

将所述待迁移索引数据转换为目标格式的待写入索引数据；所述目标格式为目标索引数据库中索引数据的格式；

将所述目标格式的待写入索引数据写入所述目标索引数据库。

8.一种索引数据迁移装置，其特征在于，所述装置包括：

第一获取单元，用于获取待迁移索引数据的目标字段数据段，对所述目标字段数据段进行切分，得到多个待处理任务数据段；

第一建立单元，用于建立与所述待处理任务数据段对应的待执行迁移任务，根据所述待执行迁移任务确定待迁移队列；所述待处理任务数据段与所述待执行迁移任务一一对应；

第二获取单元，用于从所述待迁移队列中获取目标迁移任务，根据所述目标迁移任务获取目标任务数据段；所述目标迁移任务为所述待执行迁移任务中的一个或者多个，所述目标任务数据段为与所述目标迁移任务对应的待执行任务数据段；

分配单元，用于将所述目标任务数据段分配至目标线程；

第三获取单元，用于调用所述目标线程根据所述目标任务数据段，从原始索引数据库中获取所述待迁移索引数据；

写入单元，用于通过所述目标线程将所述待迁移索引数据写入目标索引数据库。

9.一种索引数据迁移设备，其特征在于，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-7任一项所述的方法。

Images