CN113760861A - 一种数据迁移的方法和装置 - Google Patents

Abstract

本发明公开了一种数据迁移的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据的时间信息；根据获取的所述数据的时间信息，对所述数据进行划分，并创建所述数据的基于所述时间信息的索引；通过对划分后的所述数据中的增量数据和存量数据进行处理，将所述数据迁移到创建的所述索引的数据存储表中。从而，本发明的实施方式能够解决数据过大的迁移效率的问题，并且能够较高地保证数据的完整性，且不需要依赖高内存的配置。

Description

一种数据迁移的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据迁移的方法和装置。

背景技术

当数据量过大，而搜索引擎ES的索引最初创建的分片数量不足时，导致数据入库的速度较慢，或者查询效率较低，从而需要扩大分片的数量或者重构映射mapping的数据结构。通常可以使用重建索引reindex或者借助引擎spark进行数据的迁移。

现有技术中至少存在如下问题：对于例如T级别的大数据量的迁移，reindex的迁移速度变得很慢，并且一旦迁移失败，则很难定位失败的原因；而使用spark迁移数据，则需要占用较高的内存空间，从而对机器的内存配置要求较高。

发明内容

有鉴于此，本发明实施例提供一种数据迁移的方法和装置，能够解决数据过大的迁移效率的问题，并且能够较高地保证数据的完整性，且不需要依赖高内存的配置。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据迁移的方法，包括：

获取数据的时间信息；

根据获取的所述数据的时间信息，对所述数据进行划分，并创建所述数据的基于所述时间信息的索引；

通过对划分后的所述数据中的增量数据和存量数据进行处理，将所述数据迁移到创建的所述索引的数据存储表中。

优选地，将所述增量数据存入到消息队列的存储空间，并从所述消息队列的存储空间将所述增量数据迁移到创建的所述索引的数据存储表中。

优选地，在将所述增量数据迁移到创建的所述索引的数据存储表之前，还将所述增量数据插入到原索引的数据存储表中。

优选地，根据预定的数据迁移规则，将所述存量数据从原索引的数据存储表迁移到创建的所述索引的数据存储表中。

优选地，所述预定的数据迁移规则包括数据迁移时间点和数据迁移步长，并且

基于所述数据迁移时间点和所述数据迁移步长，设定所述存量数据的迁移范围，以进行所述存量数据的迁移。

优选地，所述数据迁移步长根据所述存量数据的数据量大小而设定。

优选地，在将所述数据迁移到创建的所述索引的数据存储表之后，还包括：基于所述时间信息，将所述数据存入到预定数据库中，以进行所述数据的归档。

优选地，所述时间信息包括数据生成时间，

基于所述时间信息，将所述数据生成时间早于预定时间的所述数据存入到所述预定数据库中。

根据本发明实施例的另一个方面，提供了一种数据迁移的装置，包括：

获取单元，该获取单元获取数据的时间信息；

创建单元，该创建单元根据获取的所述数据的时间信息，对所述数据进行划分，并创建所述数据的基于所述时间信息的索引；和

迁移单元，通过对划分后的所述数据中的增量数据和存量数据进行处理，将所述数据迁移到创建的所述索引的数据存储表中。

根据本发明实施例的另一方面，提供一种数据迁移的电子设备，其特征在于，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述方面的方法。

根据本发明实施例的另一方面，提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述方面的方法。

上述发明中的一个实施例具有如下优点或有益效果：能够动态完成数据的迁移，提高大数据量的迁移的效率以及数据查询效率，保证数据的完整性，不需要占用较高的内存空间，并且优化了数据的维护和归档，使数据归档更方便。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据迁移的方法的主要流程的示意图；

图2示出根据本发明实施例的数据迁移的方法的具体流程实例；

图3是根据本发明实施例的动态索引创建步骤的流程图；

图4是根据本发明实施例的数据迁移步骤的流程图；

图5是根据本发明实施例的增量数据的数据双写的具体流程图；

图6是根据本发明实施例的存量数据的迁移流程图；

图7是根据本发明实施例的数据迁移中的数据仲裁的过程的示意图；

图8是根据本发明实施例的数据归档的具体实例的示意图；

图9是根据本发明实施例的数据归档的具体操作流程图；

图10是根据本发明实施例的数据迁移的装置的主要模块的示意图；

图11是本发明实施例可以应用于其中的示例性系统架构图；以及

图12是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据迁移的方法的主要流程的示意图；如图1所示，数据迁移的方法包括：步骤S101，获取数据的时间信息；步骤S102，根据获取的所述数据的时间信息，对所述数据进行划分，并创建所述数据的基于所述时间信息的索引；步骤S103，通过对划分后的所述数据中的增量数据和存量数据进行处理，将所述数据迁移到创建的所述索引的数据存储表中。

优选地，在步骤S103中，将所述增量数据存入到消息队列的存储空间，并从所述消息队列的存储空间将所述增量数据迁移到创建的所述索引的数据存储表中。

优选地，在将所述增量数据迁移到创建的所述索引的数据存储表之前，还将所述增量数据插入到原索引的数据存储表中。

优选地，在步骤S103中，根据预定的数据迁移规则，将所述存量数据从原索引的数据存储表迁移到创建的所述索引的数据存储表中。

优选地，所述预定的数据迁移规则包括数据迁移时间点和数据迁移步长，并且基于所述数据迁移时间点和所述数据迁移步长，设定所述存量数据的迁移范围，以进行存量数据的迁移。

优选地，所述数据迁移步长根据所述存量数据的数据量大小而设定。

优选地，在将所述数据迁移到创建的所述索引的数据存储表之后，还包括：基于所述时间信息，将所述数据存入到预定数据库中，以进行所述数据的归档。

优选地，所述时间信息包括数据生成时间，基于所述时间信息，将所述数据生成时间早于预定时间的所述数据存入到预定数据库中，以进行所述数据的归档。

根据本发明实施例的数据迁移的方法，能够动态完成数据的迁移，提高大数据量的迁移效率以及数据查询效率，保证数据的完整性，不需要占用较高的内存空间，并且优化了数据的维护和归档，使数据归档更方便。

以下参考图2-9描述根据本发明实施例的数据迁移的方法的具体实例。

图2示出根据本发明实施例的数据迁移的方法的具体流程实例。

当业务数据和时间因素相关时，可以进行水平拆分，例如，ES的动态索引、关系型数据库管理系统MySQL的分库分表等。

如图2所示，具体步骤包括：业务数据的时间信息获取步骤S1、动态索引的创建步骤S2、数据迁移步骤S3和数据归档步骤S4。

动态索引的创建步骤S2是数据迁移和归档的前提。例如根据业务场景(例如，业务数据的种类)和业务数据的增量，按照获取的时间信息，对业务数据进行拆分，并创建多个索引。业务数据例如为订单数据，可以将订单数据根据下单的时间按月份，对数据进行拆分。图3示出了动态索引的创建步骤的流程图。

在索引创建日起之后的索引可以通过ES模板进行配置，例如基于月份而生成索引；而此前的索引可以手动或者通过应用程序接口API创建。

此外，在动态索引的创建中，还可以修改业务查询的逻辑。利用修改后的查询逻辑，当使用动态索引时，可以进行底层API支持的跨表查询。

数据迁移步骤S3例如包括增量数据的迁移和存量数据的迁移。图4示出了数据迁移步骤的流程图。

增量数据例如通过双写进行迁移。在新数据插入ES旧索引后，将json格式数据放入消息队列MQ中，新创建的动态索引从消息队列MQ拉取数据，根据时间拆分规则(时间路由规则)，将拉取的数据插入相应的数据存储表中。增量数据的数据双写的具体流程实例如图5所示。通过将增量数据插入到旧索引，能够保证原索引和数据表的正常使用。

存量数据通过工作任务(work任务)，基于滚动查询(scroll query)拉取数据，从而将数据灌入到创建好的动态索引中。可以根据硬件配置以及ES集群的处理能力，配置拉取数据的规则(数据迁移规则)。例如，每次拉取5w条以下的数据量(数据迁移步长)。此外，也可以以队列的方式(例如，消息队列MQ)，使新ES集群拉取并消费数据。

图6示出了具体的存量数据的迁移流程。如图6所示，通过工作发射器(work发射器)，开始数据迁移的任务。获取数据拉取的起始时间点(checkpoint时间点)和动态拉取步长(数据拉取的时间范围)。在执行work任务之前，需要在redis缓存中初始化两个值，即，checkpoint拉取时间点和动态拉取步长。然后，对数据进行非空校验，当判断数据为空时，输出异常。当判断数据为非空时，基于scroll query从旧ES拉取数据。然后，进行数据仲裁，如果通过，则批量发送MQ，如果有没有通过，则进行递归验证。最后，redis更新checkpoint和动态拉取步长。

以下参考图7进一步说明数据迁移中的数据仲裁的过程。

如图7所示，首先根据checkPoint和动态拉取步长，计算拉取的数据范围以及下一次拉取数据的时间点。然后，查询数据的总条数。而后进行数据拉取范围的仲裁，判断数据拉取的范围是否满足条件。可以通过设置数据拉取的阀值和拉取的最大值，根据数据量的大小，来设定数据的动态拉取步长，从而设定数据拉取范围。例如，设置数据拉取阀值和拉取的最大值，当数据量小于设置的阀值时，加长步长的长度，例如将步长乘2；而当数据量大于阀值小于最大值时，使步长的长度不变；当数据量大于最大值时，缩短步长的长度，例如将步长除以3。如果数据拉取范围满足预定条件，则进行数据的拉取；否则，重新设置数据拉取范围。

根据图2的数据迁移的具体流程实例还包括数据归档步骤S4。在数据量过大的情况下，可以对冷数据进行归档。例如，将数据生成的时间早于特定时间的数据存入到特定的数据库中。以下通过一实例进行说明。根据业务的要求，仅需要近两年例如2020年和2019年的数据，则可以将两年前的例如2018年的数据灌入到非关系型数据库NOSQL中，例如Hbase数据库(如图8所示)。而且，这样的数据归档处理不会影响例如近两年的热数据，这是因为对冷数据和热数据进行了分开的存储。

图9示出了数据归档的具体操作流程图。数据归档具有与数据迁移类似的过程。首先，开始work调度任务；然后，从归档index拉取归档数据；而后，将归档数据批量发送MQ；最后，经由应用层，插入到NOSQL中。

根据本发明的数据迁移方法的上述具体实例，能够动态完成数据的迁移，提高大数据量的迁移的效率以及数据查询效率，保证数据的完整性，不需要占用较高的内存空间，并且优化了数据的维护和归档，使数据归档更方便。

图10是根据本发明实施例的数据迁移的装置的主要模块的示意图。如图10所示，数据迁移的装置200包括：获取单元201，其获取数据的时间信息；创建单元202，其根据获取的所述数据的时间信息，对所述数据进行划分，并创建所述数据的基于所述时间信息的索引；迁移单元203，通过对划分后的所述数据中的增量数据和存量数据进行处理，将所述数据迁移到创建的所述索引的数据存储表中。

优选地，迁移单元203将所述增量数据存入到消息队列的存储空间，并从所述消息队列的存储空间将所述增量数据迁移到创建的所述索引的数据存储表中。

优选地，迁移单元203在将所述增量数据迁移到创建的所述索引的数据存储表之前，还将所述增量数据插入到原索引的数据存储表中。

优选地，迁移单元203根据预定的数据迁移规则，将所述存量数据从原索引的数据存储表迁移到创建的所述索引的数据存储表中。

优选地，所述预定的数据迁移规则包括数据迁移时间点和数据迁移步长，并且基于所述数据迁移时间点和所述数据迁移步长，设定所述存量数据的迁移范围，以进行存量数据的迁移。

优选地，所述数据迁移步长根据所述存量数据的数据量大小而设定。

优选地，根据本发明实施例的数据迁移的装置还包括：归档单元，其基于所述时间信息，将所述数据存入到预定数据库中，以进行所述数据的归档。

优选地，所述时间信息包括数据生成时间，基于所述时间信息，将所述数据生成时间早于预定时间的所述数据存入到预定数据库中，以进行所述数据的归档。

根据本发明实施例的数据迁移的装置，能够动态完成数据的迁移，提高大数据量的迁移的效率以及数据查询效率，保证数据的完整性，不需要占用较高的内存空间，并且优化了数据的维护和归档，使数据归档更方便。

图11示出了可以应用本发明实施例的数据迁移的方法或数据迁移的装置的示例性系统架构600。

如图11所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据迁移的方法一般由服务器605执行，相应地，数据迁移的装置一般设置于服务器605中。

应该理解，图11中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图12，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图12示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、创建单元和迁移单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取数据的时间信息的单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取数据的时间信息；根据获取的所述数据的时间信息，对所述数据进行划分，并创建所述数据的基于所述时间信息的索引；通过对划分后的所述数据中的增量数据和存量数据进行处理，将所述数据迁移到创建的所述索引的数据存储表中。

据本发明实施例的技术方案，能够动态完成数据的迁移，提高大数据量的迁移的效率以及数据查询效率，保证数据的完整性，不需要占用较高的内存空间，并且优化了数据的维护和归档，使数据归档更方便。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种数据迁移的方法，其特征在于，包括：

获取数据的时间信息；

根据获取的所述数据的时间信息，对所述数据进行划分，并创建所述数据的基于所述时间信息的索引；

通过对划分后的所述数据中的增量数据和存量数据进行处理，将所述数据迁移到创建的所述索引的数据存储表中。

2.根据权利要求1所述的数据迁移的方法，其特征在于，

将所述增量数据存入到消息队列的存储空间，并从所述消息队列的存储空间将所述增量数据迁移到创建的所述索引的数据存储表中。

3.根据权利要求2所述的数据迁移的方法，其特征在于，

在将所述增量数据迁移到创建的所述索引的数据存储表之前，还将所述增量数据插入到原索引的数据存储表中。

4.根据权利要求1所述的数据迁移的方法，其特征在于，

根据预定的数据迁移规则，将所述存量数据从原索引的数据存储表迁移到创建的所述索引的数据存储表中。

5.根据权利要求4所述的数据迁移的方法，其特征在于，

所述预定的数据迁移规则包括数据迁移时间点和数据迁移步长，并且

基于所述数据迁移时间点和所述数据迁移步长，设定所述存量数据的迁移范围，以进行所述存量数据的迁移。

6.根据权利要求5所述的数据迁移的方法，其特征在于，

所述数据迁移步长根据所述存量数据的数据量大小而设定。

7.根据权利要求1-6任一项所述的数据迁移的方法，其特征在于，在将所述数据迁移到创建的所述索引的数据存储表之后，还包括：基于所述时间信息，将所述数据存入到预定数据库中，以进行所述数据的归档。

8.根据权利要求7所述的数据迁移的方法，其特征在于，

所述时间信息包括数据生成时间，

基于所述时间信息，将所述数据生成时间早于预定时间的所述数据存入到所述预定数据库中。

9.一种数据迁移的装置，其特征在于，包括：

获取单元，该获取单元获取数据的时间信息；

创建单元，该创建单元根据获取的所述数据的时间信息，对所述数据进行划分，并创建所述数据的基于所述时间信息的索引；和

迁移单元，通过对划分后的所述数据中的增量数据和存量数据进行处理，将所述数据迁移到创建的所述索引的数据存储表中。

10.一种数据迁移的电子设备，其特征在于，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images