CN111258990B - 索引库数据迁移方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供一种索引库数据迁移方法、装置、设备及存储介质，涉及大数据技术领域。该方法包括：获得数据迁移的路由参数和待迁移数据范围，路由参数包括源索引库路由参数和目标索引库路由参数；根据源索引库路由参数从源索引库集群中确定第一源索引库，源索引库集群包括源索引库；根据目标索引库路由参数和待迁移数据范围从目标索引库集群中确定第一目标索引库，目标索引库集群包括目标索引库；根据待迁移数据范围读取第一源索引库中的待迁移数据；根据源索引库与目标索引库之间的数据存储结构映射关系对待迁移数据进行转换，获得目标数据；将所述目标数据保存至所述第一目标索引库。该方法可一定程度提高数据迁移的适应性及迁移效率。

Description

索引库数据迁移方法、装置、设备及存储介质

技术领域

本公开涉及大数据技术领域，具体而言，涉及一种索引库数据迁移方法、装置、设备及可读存储介质。

背景技术

分布式搜索引擎通过在多台服务器上部署搜索引擎集群的方式，实现对海量数据建立索引，满足对海量数据的高效搜索要求。用于搜索海量数据的索引数据的数据量巨大，形成多个分布式的索引库。当用户需要对搜索引擎进行重构、改造等处理时，索引库数据的迁移也就成了重要的工作内容。

相关技术中的分布式搜索引擎采用的数据迁移方案为在同一集群内把旧索引库的数据迁移到新索引库，可能会导致如下问题：

1、无法进行跨集群的索引库数据迁移；

2、当新索引和旧索引的索引库及数据存储结构不一致时，无法进行索引库数据迁移；

3、无法实现仅对满足特定条件的索引库数据进行迁移；

4、对海量数据进行迁移时既保证高效的传送速度，又支持断点续传。

如上所述，如何提供强适应性、高效的索引库数据迁移方法成为亟待解决的问题。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种索引库数据迁移方法、装置、设备及可读存储介质，至少在一定程度上克服由于相关技术中仅支持在同一集群内进行索引库数据迁移导致的适应性差、效率低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提供一种索引库数据迁移方法，包括：获得数据迁移的路由参数和待迁移数据范围，所述路由参数包括源索引库路由参数和目标索引库路由参数；根据所述源索引库路由参数从源索引库集群中确定第一源索引库，所述源索引库集群包括源索引库；根据所述目标索引库路由参数和所述待迁移数据范围从目标索引库集群中确定第一目标索引库，所述目标索引库集群包括目标索引库；根据所述待迁移数据范围读取所述第一源索引库中的待迁移数据；根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据进行转换，获得目标数据；将所述目标数据保存至所述第一目标索引库。

根据本公开的一实施例，所述源索引库包括默认源索引库和非默认源索引库；所述根据所述源索引库路由参数从源索引库集群中确定第一源索引库包括：判断所述非默认源索引库是否与所述源索引库路由参数匹配；若所述非默认源索引库与所述源索引库路由参数匹配，则判定所述非默认源索引库为所述第一源索引库。

根据本公开的一实施例，在所述判断所述非默认源索引库是否与所述源索引库路由参数匹配之后，所述根据所述源索引库路由参数从源索引库集群中确定第一源索引库还包括：若所述非默认源索引库与所述源索引库路由参数不匹配，则判定所述默认源索引库为所述第一源索引库。

根据本公开的一实施例，所述目标索引库包括默认目标索引库和非默认目标索引库；所述根据所述目标索引库路由参数和所述待迁移数据范围从目标索引库集群中确定第一目标索引库包括：判断所述非默认目标索引库是否与所述目标索引库路由参数和所述待迁移数据范围匹配；若所述非默认目标索引库与所述目标索引库路由参数和所述待迁移数据范围匹配，则判定所述非默认目标索引库为所述第一目标索引库。

根据本公开的一实施例，在所述判断所述非默认目标索引库是否与所述目标索引库路由参数和所述待迁移数据范围匹配之后，所述根据所述目标索引库路由参数和所述待迁移数据范围从目标索引库集群中确定第一目标索引库还包括：若所述非默认目标索引库与所述目标索引库路由参数和所述待迁移数据范围不匹配，则判定所述默认目标索引库为所述第一目标索引库。

根据本公开的一实施例，所述获得数据迁移的路由参数和待迁移数据范围包括：根据索引库迁移策略从迁移条件中解析出所述源索引库路由参数和所述目标索引库路由参数；从所述迁移条件中提取所述待迁移数据范围；所述根据所述待迁移数据范围读取所述第一源索引库中的待迁移数据包括：根据所述第一源索引库获得所述待迁移数据的数据量信息；在所述根据所述待迁移数据范围读取所述第一源索引库中的待迁移数据之后，所述根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据进行转换之前，所述方法还包括：根据所述待迁移数据范围和所述数据量信息将所述迁移条件划分为多个子迁移条件，所述多个子迁移条件中的各个子迁移条件包括待迁移数据子范围的信息和第二目标索引库的信息，所述待迁移数据范围包括所述待迁移数据子范围，所述第一目标索引库包括所述第二目标索引库；所述根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据进行转换包括：根据所述源索引库与所述目标索引库之间的数据存储结构映射关系基于从所述多个子迁移条件中选取的第一子迁移条件对在所述待迁移数据子范围内的所述待迁移数据进行转换；所述将所述目标数据保存至所述第一目标索引库包括：基于所述子迁移条件将所述目标数据保存至所述第二目标索引库。

根据本公开的一实施例，所述方法还包括：将所述目标数据与所述待迁移数据进行比对，判断所述待迁移数据是否迁移成功；若判定所述待迁移数据未迁移成功，根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据重新进行转换，获得修复数据；将所述修复数据保存至所述第一目标索引库。

根据本公开的再一方面，提供一种索引库数据迁移装置，包括：迁移条件解析模块，用于获得数据迁移的路由参数和待迁移数据范围，所述路由参数包括源索引库路由参数和目标索引库路由参数；路由策略解析模块，用于根据所述源索引库路由参数从源索引库集群中确定第一源索引库，所述源索引库集群包括源索引库；路由策略解析模块，还用于根据所述目标索引库路由参数和所述待迁移数据范围从目标索引库集群中确定第一目标索引库，所述目标索引库集群包括目标索引库；数据读写模块，用于根据所述待迁移数据范围读取所述第一源索引库中的待迁移数据；任务执行模块，用于根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据进行转换，获得目标数据；将所述目标数据保存至所述第一目标索引库。

根据本公开的再一方面，提供一种设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任一种方法。

根据本公开的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任一种方法。

本公开的实施例提供的索引库数据迁移方法，根据获得的源索引库路由参数从包括源索引库的源索引库集群中确定第一源索引库，根据获得的目标索引库路由参数和待迁移数据范围从包括目标索引库的目标索引库集群中确定第一目标索引库，然后根据待迁移数据范围读取第一源索引库中的待迁移数据，再根据源索引库与目标索引库之间的数据存储结构映射关系对待迁移数据进行转换而获得目标数据，并将目标数据保存至第一目标索引库，可实现跨集群索引库的数据迁移，提高了数据适应性，从而提高了数据迁移效率，解决了相关技术中由于仅支持在同一集群内进行索引库数据迁移导致的适应性差、效率低的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。

图1示出本公开实施例中一种索引库数据迁移系统结构的示意图。

图2示出本公开实施例中一种索引库数据迁移方法的流程图。

图3示出本公开实施例中另一种索引库数据迁移方法的流程图。

图4示出本公开实施例中再一种索引库数据迁移方法的流程图。

图5示出本公开实施例中一种索引库数据迁移装置的框图。

图6示出本公开实施例中另一种索引库数据迁移装置的框图。

图7示出本公开实施例中一种的电子设备结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。符号“/”一般表示前后关联对象是一种“或”的关系。

在本公开中，除非另有明确的规定和限定，“连接”等术语应做广义理解，例如，可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。

分布式搜索引擎的数据存储具有如下特点：数据基于文档进行存储，存储结构复杂且不固定；存储时可以对数据分片，不同分片的的数据可以存储在不同的服务节点中；可以根据预设条件创建不同的索引库，例如按时间创建索引库；数据存储并非简单的保存，需要先对数据进行诸如分词处理等分析，以实现索引的创建，因此索引结构越复杂，单个服务节点支持的并发量越有限；无法支持数据文件的迁移。

相关技术中的分布式搜索引擎中提供一种将源索引库数据直接拷贝到目标索引库数据的方案，此方案仅支持集群内操作，且无法进行数据筛选。

另一些相关技术中的数据库迁移方案的实现过程可以分为抽取、转换、装载三个步骤。根据数据库特点可分为基于结构化查询语言(Structured Query Language,SQL)型数据库迁移方案和基于非结构化查询语言(Not only Structured Query Language,NoSQL)型数据库迁移方案。

基于SQL型数据库迁移方案，适合行式存储以及具有固定的列结构的数据，可以使用SQL语句执行增、删、改、查等操作，具有代表性SQL型数据库如MySQL，Oracle等。针对此类型数据库特点，数据迁移时，在数据抽取阶段，通过定义SQL从源数据库中获取待迁移的数据。由于数据库结构固定，在转换时，只需要按目标数据库的列结构、数据类型进行数据映射处理即可。数据加载时，通过组装插入语句，将数据保存到目标数据库，实现源数据库和目标数据库的存储结构映射。而分布式搜索引擎的数据存储基于文档结构，无固定行列结构，源数据库和目标数据库的数据存储结构可能完全不同，因无法做类似SQL型数据库结构和关系映射。

基于NoSQL型数据库特点是，存储无固定格式，大部分不支持SQL或支持简单SQL，都支持海量数据存储，例如基于宽列的数据库，代表性的有HBase、Cassandra等，基于文档型数据库，代表型的有MongoDB等。此类型数据库迁移时，由于数据量巨大，所以迁移过程中性能要求非常高，相关技术中的迁移方案主要是基于数据文件迁移和基于批处理或流处理平台数据迁移。基于数据文件迁移的方案需要数据库提供文件迁移的支持，因此无法应用于分布式搜索引擎的索引库数据迁移。基于批处理或流处理平台数据迁移的方案中，可以采用简单的查询方式或者数据文件读取方式将数据大规模抽取，通过批处理或流处理平台进行数据转换，生成目标数据库的插入语句或文件，最后将数据加载到目标数据库。此方案可以执行数据过滤和筛选，但需要引入批处理或流处理平台，导致实现非常复杂，技术成熟度要求非常高，且需要数据库集群的每个节点都能接受处理数据，以提高数据吞吐能力，相应地，分布式搜索引擎建索引库时，指定的分片数量就是可并行处理数据存储的索引库节点数量。

如上所述，相关技术中的数据迁移方案，存在无法满足分布式搜索引擎的数据迁移要求的问题。因此，本公开提供了一种引库数据迁移方法，通过根据获得的源索引库路由参数从包括源索引库的源索引库集群中确定第一源索引库，根据获得的目标索引库路由参数和待迁移数据范围从包括目标索引库的目标索引库集群中确定第一目标索引库，然后根据待迁移数据范围读取第一源索引库中的待迁移数据，再根据源索引库与目标索引库之间的数据存储结构映射关系对待迁移数据进行转换而获得目标数据，并将目标数据保存至第一目标索引库，从而满足了对不一致的索引库和复杂数据存储结构映射，实现基于各种条件的数据筛选和过滤，实现了海量数据的跨集群的分布式快速迁移方案。

图1示出了可以应用本公开的索引库数据迁移方法或索引库数据迁移装置的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以发送数据迁移命令或接收消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如数据库管理类应用、搜索引擎应用等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的搜索网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的数据迁移命令进行分析等处理，并将如数据迁移结果反馈给终端设备。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2是根据一示例性实施例示出的一种索引库数据迁移方法的流程图。如图2所示的索引库数据迁移方法例如可以应用于索引库数据迁移系统的服务器端，也可以应用于索引库数据迁移系统的终端设备。

参考图2，本公开实施例提供的方法20可以包括以下步骤。

在步骤S202中，获得数据迁移的路由参数和待迁移数据范围，路由参数包括源索引库路由参数和目标索引库路由参数。用户对索引库数据进行迁移时，可根据需要输入迁移条件，迁移条件即数据的查询条件，例如时间条件以及其他用来确定迁移数据的查询条件；然后通过自动解析迁移条件获得数据迁移的索引库路由参数和待迁移数据范围，以路由待迁移数据所在的源索引库，并确定合适的目标索引库。

在步骤S204中，根据源索引库路由参数从源索引库集群中确定第一源索引库，源索引库集群包括源索引库。在分布式搜索引擎中，数据量非常大，如果将所有都存储到一个索引库，将会严重影响读写性能，甚至会导致服务不可用。因此数据存储时会按一定条件将数据拆分并存储到多个索引库中，构成索引库集群。这样的处理方式提升了性能和稳定性，同时需要对数据进行定位，可根据路由参数确定待迁移数据所在的源索引库。

在步骤S206中，根据目标索引库路由参数和待迁移数据范围从目标索引库集群中确定第一目标索引库，目标索引库集群包括目标索引库。为实现数据筛选、过滤等处理方式，可通过在迁移条件中增设数据范围的方式，在确定目标索引库时路由合适的索引库。

在步骤S208中，根据待迁移数据范围读取第一源索引库中的待迁移数据。在迁移之前需要对待迁移的数据进行读取，根据迁移条件中的待迁移数据范围选择所需的待迁移数据。

在步骤S210中，根据源索引库与目标索引库之间的数据存储结构映射关系对待迁移数据进行转换，获得目标数据。

在步骤S212中，将目标数据保存至第一目标索引库。

在一些实施例中，分布式搜索引擎的数据来源，是根据搜索业务的需要，将需要查询的数据信息，以文档形式存储到数据库。在存储的过程中，对文档内容进行例如分词方法的解析，根据索引规则，对文档中的字段进行索引、分词，方便查询使用。例如：反欺诈决策的详情数据，包括调用时间、规则信息、命中详情、调用方信息等等。将数据存储在搜索引擎时，通过对这些信息分词、建立索引，以实现根据输入条件对数据进行查询搜索。

文档的存储结构是一种基于树状形态定义的字段和值的关系，只有处在“树枝”末端的字段才会存在值或值的集合。由于搜索引擎的数据存储结构基于文档，例如JSON(JavaScript Object Notation,JS对象简谱)结构的数据，因此索引库的数据存储结构映射可以通过建立源索引库的字段路径和目标索引库的字段路径映射关系，进行双索引库的数据存储结构映射管理，实现数据从源索引库到目标索引库的迁移。在分布式搜索引擎的跨集群数据迁移的处理流程中，是将数据从一个索引库迁移到另一个索引库，这个过程中并不会生产出新的数据，也不会改变数据内容。但由于源索引库的数据存储结构和目标索引库的数据存储结构存在差异，因此再数据转换过程中可对数据存储结构进行转换，而不对数据内容的转换。所以，源数据库和目标数据库存储的数据内容没有改变。

进一步地，在转换后的目标数据写入目标索引库之后将目标数据与待迁移数据进行比对，判断待迁移数据是否迁移成功；所判定待迁移数据未迁移成功，根据源索引库与目标索引库之间的数据存储结构映射关系对待迁移数据重新进行转换，获得修复数据；再将修复数据保存至第一目标索引库。可对写入失败或有遗漏的数据进行重试或异常记录等处理。

根据本公开的实施例提供的索引库数据迁移方法，通过根据获得的源索引库路由参数从包括源索引库的源索引库集群中确定第一源索引库，根据获得的目标索引库路由参数和待迁移数据范围从包括目标索引库的目标索引库集群中确定第一目标索引库，然后根据待迁移数据范围读取第一源索引库中的待迁移数据，再根据源索引库与目标索引库之间的数据存储结构映射关系对待迁移数据进行转换而获得目标数据，并将目标数据保存至第一目标索引库，可实现跨集群索引库的数据迁移，提高了数据适应性，从而提高了数据迁移效率，解决了相关技术中由于仅支持在同一集群内进行索引库数据迁移导致的适应性差、效率低的问题。

在分布式搜索引擎中，数据存储时会按一定条件将数据拆分并存储到多个索引库中。例如，可根据某些条件将索引库进行拆分，将拆分条件与字段对应，定义获取拆分条件的来源，定义所有子库名的前缀，并生成子库对应的后缀名，与前缀名组合成子库名。具体地，例如反欺诈决策的详情数据根据时间拆分为多个索引库，前缀名为antifraud，按时间生成后缀名，2019年12月1日的数据对应索引库名为antifraud-20191201，2019年12月2日的数据对应索引库名为antifraud-20191202。因此在数据迁移时可通过路由方法根据例如时间等迁移条件或数据范围等内容，精准的定位索引库。

图3是根据一示例性实施例示出的一种索引库路由方法的流程图。如图3所示的索引库路由方法应用于上述步骤S204至步骤S206，例如可以应用于索引库数据迁移系统的服务器端，也可以应用于索引库数据迁移系统的终端设备。

参考图3，本公开实施例提供的方法30可以包括以下步骤。

在步骤S302中，判断非默认源索引库是否与源索引库路由参数匹配。将索引库定义为默认索引库和非默认索引库两种，非默认索引库可以定义多个，且可定义路由条件。路由条件的作用是根据数据中某些字段的值将数据路由到不同的索引库。路由条件的定义内容可包括路由条件类型，多个条件间关系，路由条件对应字段三部分。路由条件类型分为多条件路由、单条件路由、条件值嵌入库名路由。多条件路由类型表示可以定义多个条件字段，字段之间可以为“或”或者“与”的关系。单条件路由类型，只能定义一个条件字段。条件值嵌入库名路由类型是指在索引库拆分时获取的前缀名和后缀名之间，拼接上路由条件的值以生成子库名。根据路由策略定义规范的约束生成规范化的索引库名，因此可在数据读取和存储过程中，根据路由策略的条件字段的定义，从迁移条件解析出的参数或存储的数据中提取需要的值信息，最终根据这些值信息，路由到对应的索引库。

在步骤S304中，若非默认源索引库与源索引库路由参数匹配，则判定非默认源索引库为第一源索引库。

在步骤S306中，若非默认源索引库与源索引库路由参数不匹配，则判定默认源索引库为第一源索引库。在对数据路由过程中，会优先根据非默认索引库定义顺序，根据路由参数代表的路由条件进行匹配，如果匹配不到就使用默认索引库。

在步骤S308中，判断非默认目标索引库是否与目标索引库路由参数和待迁移数据范围匹配。可通过在迁移条件中增设数据范围的方式，在确定目标索引库时路由合适的索引库，以实现数据筛选、过滤等处理方式。

在步骤S310中，若非默认目标索引库与目标索引库路由参数和待迁移数据范围匹配，则判定非默认目标索引库为第一目标索引库。

在步骤S312中，若非默认目标索引库与目标索引库路由参数和待迁移数据范围不匹配，则判定默认目标索引库为第一目标索引库。

根据本公开的实施例提供的索引库路由方法，将索引库定义为默认索引库和非默认索引库，在对数据路由过程中，会优先根据非默认索引库定义顺序，根据路由参数代表的路由条件进行匹配，如果匹配不到就使用默认索引库，可实现适应分布式搜索引擎的数据存储特点定位源索引库和目标索引库跨集群索引库的数据迁移，以实现了分布式搜索引擎的海量数据快速迁移。

图4是根据一示例性实施例示出的一种索引库数据迁移方法的流程图。如图4所示的索引库数据迁移方法例如可以应用于索引库数据迁移系统的服务器端，也可以应用于索引库数据迁移系统的终端设备。

参考图4，本公开实施例提供的方法40可以包括以下步骤。

在步骤S402中，根据索引库迁移策略从迁移条件中解析出源索引库路由参数和目标索引库路由参数。

在步骤S404中，从迁移条件中提取待迁移数据范围。

在一些实施例中，可通过数据读取管理在进行读取准备时，调用迁移条件解析模块，根据上述实施例详述的索引库的路由策略，解析输入的迁移条件，从迁移条件中提取查询数据范围以及根据路由策略中定义的条件字段提取路由参数，为索引库路由和后续任务拆分提供相关参数。

在步骤S406中，基于索引库路由策略根据源索引库路由参数从源索引库集群中确定第一源索引库，源索引库集群包括源索引库。

在步骤S408中，基于索引库路由策略根据目标索引库路由参数和待迁移数据范围从目标索引库集群中确定第一目标索引库，目标索引库集群包括目标索引库。

可通过分析源索引库和目标索引库的路由策略配置，根据迁移条件的解析结果参数，确定源索引库和目标索引库，为数据读取和写入提供定位。

在步骤S410中，根据待迁移数据范围读取第一源索引库中的待迁移数据，获得待迁移数据的数据量信息。可根据解析迁移条件获得的待迁移数据范围，读取源索引库中的待迁移数据，获取数据信息，例如读取要迁移的数据概况，包括数据分布、数据量等信息，可用于提供给迁移任务分拆管理，以划分迁移任务。

在步骤S412中，根据待迁移数据范围和数据量信息将迁移条件划分为多个子迁移条件，多个子迁移条件中的各个子迁移条件包括待迁移数据子范围的信息和第二目标索引库的信息，待迁移数据范围包括待迁移数据子范围，第一目标索引库包括第二目标索引库。

在步骤S414中，将多个子迁移条件分别打包为多个子迁移任务，多个子迁移任务与多个子迁移条件一一对应，将多个子迁移任务放入任务池中。

在一些实施例中，可根据获取的数据分布信息和目标集群索引库的路由策略，计算出对应与数据分布的多个目标索引库，以及待迁移到各个目标索引库的对应的数据量。再用待迁移到各个目标索引库的数据量分布除以分片基数，计算出各个目标索引库对应的各个迁移任务的分片数量，获得总的分片数量及各个分片的数据。最后依据分片数量和目标索引库对应的迁移数据范围，将迁移条件拆分成多个子迁移条件，然后再将子迁移条件组装成子迁移任务，并放子任务池中，以待任务执行时选取。

在步骤S416中，从任务池中选取一个子迁移任务，根据源索引库与目标索引库之间的数据存储结构映射关系基于从子迁移任务中获取的第一子迁移条件对在待迁移数据子范围内的待迁移数据进行转换，获得目标数据。任务执行时，根据任务执行策略中的并行度设置等，开启任务执行器，开启并调度多个任务执行器，可从任务池中同时选取多个子迁移任务，由多个任务执行器并行在不同的服务器中执行。执行迁移时，先从任务池中获取一个子迁移任务，然后调用数据读取管理，获取并转换源索引库的数据。再调用数据写入管理，将转后后的数据写入到目标索引库中。任务执行管理可通过监控、管理子任务的执行状态捕获数据读写失败等异常情况，并管理失败任务的重试和断点续传。

在步骤S418中，基于子迁移条件将目标数据保存至第二目标索引库。在保存过程中，识别失败情况，并进行重试或抛出执行异常。

在一些实施例中，在数据迁移结束后，可通过结果校验及修复模块对源索引库数据和目标索引库数据进行比对和校验，检查是否有数据遗漏或出错情况。如果数据存在问题，可通过重新调度任务执行模块开启子迁移任务，修复数据。

在另一些实施例中，还可设置配置管理模块，用于管理索引库的数据存储结构映射、索引库的路由策略维护以及迁移任务分拆和执行策略维护，作为各个模块运行时所需要的基础配置的管理中心。用户可通过此模块定义源索引库、目标索引库的路由策略，定义源索引库到目标索引库的数据存储结构映射，以及定义迁移任务分拆和执行策略。

根据本公开实施例提供的数据迁移方法，针对分布式搜索引擎的数据量巨大、数据存储结构复杂、数据存储时按一定条件拆分成大量的索引库的特点，采用存储结构结构映射、路由策略及迁移任务拆分等方式，同时解决复杂的数据存储结构及索引库映射和大数据量的快速迁移问题，从而实现了对分布式搜索引擎的海量数据快速迁移。

图5是根据一示例性实施例示出的一种索引库数据迁移装置的框图。如图5所示的索引库数据迁移装置例如可以应用于索引库数据迁移系统的服务器端，也可以应用于索引库数据迁移系统的终端设备。

参考图5，本公开实施例提供的装置50可以包括迁移条件解析模块502、路由策略解析模块504、数据读写模块506和任务执行模块508。

迁移条件解析模块502可以用于获得数据迁移的路由参数和待迁移数据范围，路由参数包括源索引库路由参数和目标索引库路由参数；

路由策略解析模块504可以用于根据源索引库路由参数从源索引库集群中确定第一源索引库，源索引库集群包括源索引库；

路由策略解析模块504还可以用于根据目标索引库路由参数和待迁移数据范围从目标索引库集群中确定第一目标索引库，目标索引库集群包括目标索引库；

数据读写模块506可以用于根据待迁移数据范围读取第一源索引库中的待迁移数据；

任务执行模块508可以用于根据源索引库与目标索引库之间的数据存储结构映射关系对待迁移数据进行转换，获得目标数据；将目标数据保存至第一目标索引库。

图6是根据一示例性实施例示出的一种索引库数据迁移装置的框图。如图6所示的索引库数据迁移装置例如可以应用于索引库数据迁移系统的服务器端，也可以应用于索引库数据迁移系统的终端设备。

参考图6，本公开实施例提供的装置60可以包括迁移条件解析模块602、路由策略解析模块604、数据读写模块606、任务拆分模块607、任务执行模块608和校验修复模块609。

迁移条件解析模块602可以用于根据索引库迁移策略从迁移条件中解析出源索引库路由参数和目标索引库路由参数；从迁移条件中提取待迁移数据范围。

路由策略解析模块604可以用于根据源索引库路由参数从源索引库集群中确定第一源索引库，源索引库集群包括源索引库，源索引库包括默认源索引库和非默认源索引库。

路由策略解析模块604还可以用于判断非默认源索引库是否与源索引库路由参数匹配；若非默认源索引库与源索引库路由参数匹配，则判定非默认源索引库为第一源索引库；若非默认源索引库与源索引库路由参数不匹配，则判定默认源索引库为第一源索引库。

路由策略解析模块604还可以用于根据目标索引库路由参数和待迁移数据范围从目标索引库集群中确定第一目标索引库，目标索引库集群包括目标索引库，目标索引库包括默认目标索引库和非默认目标索引库。

路由策略解析模块604还可以用于判断非默认目标索引库是否与目标索引库路由参数和待迁移数据范围匹配；若非默认目标索引库与目标索引库路由参数和待迁移数据范围匹配，则判定非默认目标索引库为第一目标索引库；若非默认目标索引库与目标索引库路由参数和待迁移数据范围不匹配，则判定默认目标索引库为第一目标索引库。

数据读写模块606可以用于根据待迁移数据范围读取第一源索引库中的待迁移数据，获得待迁移数据的数据量信息；

任务拆分模块607可以用于根据待迁移数据范围和数据量信息将迁移条件划分为多个子迁移条件，多个子迁移条件中的各个子迁移条件包括待迁移数据子范围的信息和第二目标索引库的信息，待迁移数据范围包括待迁移数据子范围，第一目标索引库包括第二目标索引库。

任务执行模块608可以用于根据源索引库与目标索引库之间的数据存储结构映射关系基于从多个子迁移条件中选取的第一子迁移条件对在待迁移数据子范围内的待迁移数据进行转换，获得目标数据；基于子迁移条件将目标数据保存至第二目标索引库。

校验修复模块609可以用于将目标数据与待迁移数据进行比对，判断待迁移数据是否迁移成功；若判定待迁移数据未迁移成功，调用任务执行模块608根据源索引库与目标索引库之间的数据存储结构映射关系对待迁移数据重新进行转换，获得修复数据，并将修复数据保存至第一目标索引库。

图7示出本公开实施例中一种电子设备的结构示意图。需要说明的是，图7示出的设备仅以计算机系统为示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有设备700操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本公开的系统中限定的上述功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据读写模块、数据解析模块和任务执行模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据读写模块还可以被描述为“对接收的数据进行读写的模块”。

作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

获得数据迁移的路由参数和待迁移数据范围，路由参数包括源索引库路由参数和目标索引库路由参数；

根据源索引库路由参数从源索引库集群中确定第一源索引库，源索引库集群包括源索引库；

根据目标索引库路由参数和待迁移数据范围从目标索引库集群中确定第一目标索引库，目标索引库集群包括目标索引库；

根据待迁移数据范围读取第一源索引库中的待迁移数据；

根据源索引库与目标索引库之间的数据存储结构映射关系对待迁移数据进行转换，获得目标数据；

将目标数据保存至第一目标索引库。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种索引库数据迁移方法，其特征在于，包括：

获得数据迁移的路由参数和待迁移数据范围，所述路由参数包括源索引库路由参数和目标索引库路由参数；

根据所述源索引库路由参数从源索引库集群中确定第一源索引库，所述源索引库集群包括源索引库；

根据所述目标索引库路由参数和所述待迁移数据范围从目标索引库集群中确定第一目标索引库，所述目标索引库集群包括目标索引库；

根据所述待迁移数据范围读取所述第一源索引库中的待迁移数据；

根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据进行转换，获得目标数据；

将所述目标数据保存至所述第一目标索引库。

2.根据权利要求1所述的方法，其特征在于，所述源索引库包括默认源索引库和非默认源索引库；

所述根据所述源索引库路由参数从源索引库集群中确定第一源索引库包括：

判断所述非默认源索引库是否与所述源索引库路由参数匹配；

若所述非默认源索引库与所述源索引库路由参数匹配，则判定所述非默认源索引库为所述第一源索引库。

3.根据权利要求2所述的方法，其特征在于，在所述判断所述非默认源索引库是否与所述源索引库路由参数匹配之后，所述根据所述源索引库路由参数从源索引库集群中确定第一源索引库还包括：

若所述非默认源索引库与所述源索引库路由参数不匹配，则判定所述默认源索引库为所述第一源索引库。

4.根据权利要求1所述的方法，其特征在于，所述目标索引库包括默认目标索引库和非默认目标索引库；

所述根据所述目标索引库路由参数和所述待迁移数据范围从目标索引库集群中确定第一目标索引库包括：

判断所述非默认目标索引库是否与所述目标索引库路由参数和所述待迁移数据范围匹配；

若所述非默认目标索引库与所述目标索引库路由参数和所述待迁移数据范围匹配，则判定所述非默认目标索引库为所述第一目标索引库。

5.根据权利要求4所述的方法，其特征在于，在所述判断所述非默认目标索引库是否与所述目标索引库路由参数和所述待迁移数据范围匹配之后，所述根据所述目标索引库路由参数和所述待迁移数据范围从目标索引库集群中确定第一目标索引库还包括：

若所述非默认目标索引库与所述目标索引库路由参数和所述待迁移数据范围不匹配，则判定所述默认目标索引库为所述第一目标索引库。

6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述获得数据迁移的路由参数和待迁移数据范围包括：

根据索引库迁移策略从迁移条件中解析出所述源索引库路由参数和所述目标索引库路由参数；

从所述迁移条件中提取所述待迁移数据范围；

所述根据所述待迁移数据范围读取所述第一源索引库中的待迁移数据包括：

根据所述第一源索引库获得所述待迁移数据的数据量信息；

在所述根据所述待迁移数据范围读取所述第一源索引库中的待迁移数据之后，所述根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据进行转换之前，所述方法还包括：

根据所述待迁移数据范围和所述数据量信息将所述迁移条件划分为多个子迁移条件，所述多个子迁移条件中的各个子迁移条件包括待迁移数据子范围的信息和第二目标索引库的信息，所述待迁移数据范围包括所述待迁移数据子范围，所述第一目标索引库包括所述第二目标索引库；

所述根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据进行转换包括：

根据所述源索引库与所述目标索引库之间的数据存储结构映射关系基于从所述多个子迁移条件中选取的第一子迁移条件对在所述待迁移数据子范围内的所述待迁移数据进行转换；

所述将所述目标数据保存至所述第一目标索引库包括：

基于所述子迁移条件将所述目标数据保存至所述第二目标索引库。

7.根据权利要求1所述的方法，其特征在于，还包括：将所述目标数据与所述待迁移数据进行比对，判断所述待迁移数据是否迁移成功；

若判定所述待迁移数据未迁移成功，根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据重新进行转换，获得修复数据；

将所述修复数据保存至所述第一目标索引库。

8.一种索引库数据迁移装置，其特征在于，包括：

迁移条件解析模块，用于获得数据迁移的路由参数和待迁移数据范围，所述路由参数包括源索引库路由参数和目标索引库路由参数；

路由策略解析模块，用于根据所述源索引库路由参数从源索引库集群中确定第一源索引库，所述源索引库集群包括源索引库；

路由策略解析模块，还用于根据所述目标索引库路由参数和所述待迁移数据范围从目标索引库集群中确定第一目标索引库，所述目标索引库集群包括目标索引库；

数据读写模块，用于根据所述待迁移数据范围读取所述第一源索引库中的待迁移数据；

任务执行模块，用于根据所述源索引库与所述目标索引库之间的数据存储结构映射关系对所述待迁移数据进行转换，获得目标数据；将所述目标数据保存至所述第一目标索引库。

9.一种设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法。

Images