CN110019133B - 数据在线迁移方法和装置 - Google Patents

Abstract

本发明公开了一种数据在线迁移方法和装置，涉及计算机技术领域。其中，该方法包括：定时查询缓存中心的迁移开关标识和双操作开关标识；在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池；基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库。通过以上步骤，能够在用户无感知、不影响业务系统使用的前提下执行数据迁移，提高数据迁移速度和迁移准确率。

Description

数据在线迁移方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据在线迁移方法和装置。

背景技术

目前，由于商家数量、商家各类咨询问题越来越多，进而造成数据库对咨询单的处理速度越来越慢，极大地影响了工作效率。另外，由于对领取咨询单数据的实时性要求较高，导致数据库的压力也越来越大。鉴于此，产生了对系统数据进行迁移的需求。

在现有技术中，大多采用离线方式进行数据迁移。该迁移方式至少存在以下问题：迁移过程需要停止线上项目或者仅支持数据查询操作，导致用户体验不友好；在现有技术中，数据迁移任务定时执行，其存在人为不可控的缺点。

发明内容

有鉴于此，本发明提供一种数据在线迁移方法和装置，能够在用户无感知、不影响业务系统使用的前提下执行数据迁移，提高数据迁移速度和迁移准确率。

为实现上述目的，根据本发明的一个方面，提供了一种数据在线迁移方法。

本发明的数据在线迁移方法包括：定时查询缓存中心的迁移开关标识和双操作开关标识；在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池；基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库。

可选地，所述从源数据库中获取待迁移的数据，并将其存至任务池的步骤包括：记录当前时间，将源数据库中数据创建时间小于等于所述当前时间的数据作为待迁移的数据，并将所述待迁移的数据存至任务池；或者，记录源数据库表ID的当前最大值，将源数据库表ID小于等于所述当前最大值的数据作为待迁移的数据，并将所述待迁移的数据存至任务池。

可选地，所述基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库的步骤包括：在从任务池获取到单条数据之后，根据所述单条数据对应的源数据库表ID查询缓存中心的已迁移数据信息表；若查询结果为空，则对所述单条数据执行迁移操作，并在迁移成功之后将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表；若查询结果不为空，则对所述单条数据不执行迁移操作。

可选地，所述方法还包括：在确认缓存中心的所述双操作开关标识为开启状态之后，根据实时接收的数据操作请求对源数据库和目标数据库进行双操作；所述双操作包括：数据双写操作、数据双删除操作或数据双改操作。

可选地，所述方法还包括：在数据迁移完成之后，对迁移至目标数据库的数据进行校验。

可选地，所述方法还包括：配置迁移开关标识和双操作开关标识，并将配置后的迁移开关标识和双操作开关标识写入缓存中心。

为实现上述目的，根据本发明的另一方面，提供了一种数据在线迁移装置。

本发明的数据在线迁移装置包括：查询模块，用于定时查询缓存中心的迁移开关标识和双操作开关标识；获取模块，用于在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池；迁移模块，用于基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库。

可选地，所述获取模块从源数据库中获取待迁移的数据，并将其存至任务池包括：所述获取模块记录当前时间，将源数据库中数据创建时间小于等于所述当前时间的数据作为待迁移的数据，并将所述待迁移的数据存至任务池；或者，所述获取模块记录源数据库表ID的当前最大值，将源数据库表ID小于等于所述当前最大值的数据作为待迁移的数据，并将所述待迁移的数据存至任务池。

可选地，所述迁移模块基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库包括：在从任务池获取到单条数据之后，所述迁移模块根据所述单条数据对应的源数据库表ID查询缓存中心的已迁移数据信息表；若查询结果为空，则所述迁移模块对所述单条数据执行迁移操作，并在迁移成功之后将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表；若查询结果不为空，则所述迁移模块对所述单条数据不执行迁移操作。

可选地，所述装置还包括：双操作模块，用于在确认缓存中心的所述双操作开关标识为开启状态之后，根据实时接收的数据操作请求对源数据库和目标数据库进行双操作；所述双操作包括：数据双写操作、数据双删除操作或数据双改操作。

可选地，所述装置还包括：校验模块，用于在数据迁移完成之后，对迁移至目标数据库的数据进行校验。

可选地，所述装置还包括：配置管理模块，用于配置迁移开关标识和双操作开关标识，并将配置后的迁移开关标识和双操作开关标识写入缓存中心。

为实现上述目的，根据本发明的再一个方面，提供了一种服务器。

本发明的服务器，包括：一个或多个处理器；以及，存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明的数据在线迁移方法。

为实现上述目的，根据本发明的又一个方面，提供了一种计算机可读介质。

本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明的数据在线迁移方法。

上述发明中的一个实施例具有如下优点或有益效果：通过定时查询缓存中心的迁移开关标识和双操作开关标识，能够在满足数据迁移条件时及时、快速地启动迁移任务；通过将迁移条件设置为“所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态”，能够有效降低数据迁移过程中产生脏数据的可能性，提高迁移前后数据的一致性；并且，通过在满足所述迁移条件时，将从源数据库中获取的待迁移数据存至任务池，并基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库，能够在用户无感知、不影响业务系统使用的前提下执行数据迁移，提高数据迁移速度和迁移准确率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明一个实施例的数据在线迁移方法的主要步骤示意图；

图2是根据本发明另一实施例的数据在线迁移方法的主要步骤示意图；

图3是根据本发明一个实施例的数据在线迁移装置的主要模块示意图；

图4是根据本发明另一实施例的数据在线迁移装置的主要模块示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以相互组合。

在详细介绍本发明实施例之前，首先对本发明实施例中涉及的部分技术术语进行说明。

Redis：一个开源、支持网络、可基于内存亦可持久化的日志型、键值对数据库。其采用ANSI C语言编写，并提供多种语言的API(应用程序编程接口)。

Elasticsearch：一个分布式搜索分析引擎，可用于全文检索、结构化检索和分析。

MySQL：一种开源的关系型数据库管理系统，MySQL中最常用的数据库管理语言是SQL(结构化查询语言)。

JDK：Java语言的软件开发工具包，其包含了Java的运行环境(JVM以及Java系统类库)和Java工具。

Zookeeper：一个分布式、开放源码的分布式应用程序协调服务，它是Hadoop和Hbase的重要组件，支持配置变量值实时更新。

图1是根据本发明一个实施例的数据在线迁移方法的主要步骤示意图。如图1所示，本发明实施例的数据在线迁移方法包括：

步骤S101、定时查询缓存中心的迁移开关标识和双操作开关标识。

示例性的，所述缓存中心可采用Redis集群构建。所述迁移开关标识可以为开启状态或断开状态，所述双操作开关标识可以为开启状态或断开状态。例如，当迁移开关标识和双操作开关的值为“true”时，表示开启状态，当值为“false”时，表示断开状态。

步骤S102、在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池。

步骤S103、基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库。

示例性的，所述任务池可采用JDK线程池或消息队列构建。在该示例中，当任务池采用JDK线程池构建时，可基于多线程任务执行机制将数据迁移至目标数据库；当任务池采用消息队列构建时，可基于分布式任务执行机制将数据迁移至目标数据库。示例性的，所述源数据库可以是Elasticsearch库，目标数据库可以是MySQL库。

在本发明实施例中，通过定时查询缓存中心的迁移开关标识和双操作开关标识，能够在满足数据迁移条件时及时、快速地启动迁移任务；通过将迁移条件设置为“所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态”，能够有效降低数据迁移过程中产生脏数据的可能性，提高迁移前后数据的一致性；并且，通过在满足所述迁移条件时，将从源数据库中获取的待迁移数据存至任务池，并基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库，能够在用户无感知、不影响业务系统使用的前提下执行数据迁移，提高数据迁移速度和迁移准确率。

图2是根据本发明另一实施例的数据在线迁移方法的主要步骤示意图。如图2所示，本发明实施例的数据在线迁移方法包括：

步骤S201、配置迁移开关标识和双操作开关标识，并将配置后的迁移开关标识和双操作开关标识写入缓存中心。

示例性的，可基于Zookeeper开发的界面化配置管理模块配置迁移开关标识和双操作开关标识，并将配置后的这两个标识写入缓存中心。其中，所述缓存中心可采用Redis集群构建。

步骤S202、定时查询缓存中心的迁移开关标识和双操作开关标识。

在本发明实施例中，通过配置迁移开关标识和双操作开关标识，以及定时查询缓存中心，并在查询到这两个开关标识满足迁移条件时启动数据迁移，克服了现有技术中定时执行数据迁移任务所具有的人为不可控的缺点。

步骤S203、在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池。

在一可选实施方式中，所述从源数据库中获取待迁移的数据，并将其存至任务池的步骤包括：记录当前时间，对源数据库表中的数据按照数据创建时间进行正序排列。然后，将数据创建时间小于等于所述当前时间的数据从正序排列后的源数据表中取出，作为待迁移的数据，并将所述待迁移的数据存至任务池。

在另一可选实施方式中，所述从源数据库中获取待迁移的数据，并将其存至任务池的步骤包括：记录源数据库表ID(意为“标识”，表中的每条数据对应一个ID值)的当前最大值，对源数据库表中的数据按照数据源数据库表ID进行正序排列。然后，将源数据库表ID小于等于所述当前最大值的数据从所述正序排列后的源数据表中取出，作为待迁移的数据，并将所述待迁移的数据存至任务池。

步骤S204、基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库。

其中，该步骤可包括：在从任务池获取到单条数据之后，根据所述单条数据对应的源数据库表ID查询缓存中心的已迁移数据信息表；若查询结果为空，表示所述单条数据未被成功迁移，则对所述单条数据执行迁移操作，并在将该单条数据成功迁移至目标数据库之后，将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表；若查询结果不为空，表示所述单条数据已经被成功迁移，则对所述单条数据不执行迁移操作。通过在执行数据迁移操作之前查询已迁移数据信息表，能够避免数据重复迁移、提高数据迁移速度。

进一步，将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表的步骤可包括：将所述单条数据对应的源数据库表ID为Key(键)、目标数据库表ID为Value(键值)存入一张已迁移数据信息表；并且，将所述单条数据对应的目标数据库表ID作为Key、源数据库表ID作为Value存入另一张已迁移数据信息表中。通过在缓存中心保存两张已迁移数据信息表，便于在迁移完成之后对源数据库以及目标数据库中的数据进行查询、校验。

步骤S205、在数据迁移完成之后，对迁移至目标数据库的数据进行校验。

其中，该步骤可包括：对源数据库、目标数据库中的数据分别进行查询，并将两者的查询结果进行比较，以对数据的一致性进行校验。

除了以上步骤之外，本发明实施例的数据在线迁移方法还可包括以下步骤：在确认缓存中心的所述双操作开关标识为开启状态之后，根据实时接收的数据操作请求对源数据库和目标数据库进行双操作。其中，所述双操作包括：数据双写操作、数据双删除操作或数据双改操作。通过使业务系统支持数据双操作、以及在迁移完成之后进行数据校验等，提高了迁移准确率。

进一步，为了确保双操作接口能够正常工作，本发明实施例的方法还可包括：对双操作接口进行测试，直至双操作接口通过测试。

在本发明实施例中，通过以上步骤，能够在用户无感知、不影响业务系统使用的前提下执行数据迁移，提高用户体验，提高数据迁移速度和迁移准确率。

图3是根据本发明一个实施例的数据在线迁移装置的主要模块示意图。如图3所示，本发明实施例的数据在线迁移装置300包括：查询模块301、获取模块302、迁移模块303。

查询模块301，用于定时查询缓存中心的迁移开关标识和双操作开关标识。

示例性的，所述缓存中心可采用Redis集群构建。所述迁移开关标识可以为开启状态或断开状态，所述双操作开关标识可以为开启状态或断开状态。例如，当迁移开关标识和双操作开关的值为“true”时，表示开启状态，当值为“false”时，表示断开状态。

获取模块302，用于在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池。

迁移模块303，用于基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库。

示例性的，所述任务池可采用JDK线程池或消息队列构建。在该示例中，当任务池采用JDK线程池构建时，迁移模块303可基于多线程任务执行机制将数据迁移至目标数据库；当任务池采用消息队列构建时，迁移模块303可基于分布式任务执行机制将数据迁移至目标数据库。示例性的，所述源数据库可以是Elasticsearch库，目标数据库可以是MySQL库。

在本发明实施例中，通过查询模块301定时查询缓存中心的迁移开关标识和双操作开关标识，能够在满足数据迁移条件时及时、快速地启动迁移任务；通过将迁移条件设置为“所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态”，能够有效降低数据迁移过程中产生脏数据的可能性，提高迁移前后数据的一致性；并且，通过获取模块302在满足所述迁移条件时，将从源数据库中获取的待迁移数据存至任务池，并通过迁移模块303基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库，能够在用户无感知、不影响业务系统使用的前提下执行数据迁移，提高数据迁移速度和迁移准确率。

图4是根据本发明另一实施例的数据在线迁移装置的主要模块示意图。如图4所示，本发明实施例的数据在线迁移装置400包括：配置管理模块401、查询模块402、获取模块403、迁移模块404、校验模块405。

配置管理模块401，用于配置迁移开关标识和双操作开关标识，并将配置后的迁移开关标识和双操作开关标识写入缓存中心。

示例性的，配置管理模块401可以是基于Zookeeper开发的界面化配置管理模块。其中，所述缓存中心可采用Redis集群构建。

查询模块402，用于定时查询缓存中心的迁移开关标识和双操作开关标识。

在本发明实施例中，通过配管管理模块401配置迁移开关标识和双操作开关标识，并在查询模块402查询到这两个开关标识满足迁移条件时，调用获取模块403(即相当于启动了数据迁移)，克服了现有技术中定时执行数据迁移任务所具有的人为不可控的缺点。

获取模块403，用于在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池。

在一可选实施方式中，获取模块403从源数据库中获取待迁移的数据，并将其存至任务池包括：获取模块403记录当前时间，获取模块403对源数据库表中的数据按照数据创建时间进行正序排列。然后，获取模块403将数据创建时间小于等于所述当前时间的数据从正序排列后的源数据表中取出，作为待迁移的数据，并将所述待迁移的数据存至任务池。

在另一可选实施方式中，获取模块403从源数据库中获取待迁移的数据，并将其存至任务池包括：获取模块403记录源数据库表ID(意为“标识”，表中的每条数据对应一个ID值)的当前最大值，对源数据库表中的数据按照数据源数据库表ID进行正序排列。然后，获取模块403将源数据库表ID小于等于所述当前最大值的数据从所述正序排列后的源数据表中取出，作为待迁移的数据，并将所述待迁移的数据存至任务池。

需要指出的是，在上述可选实施方式中，获取模块403对源数据库表中的数据按照数据创建时间进行正序排列的操作是可选的操作。

迁移模块404，用于基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库。

其中，迁移模块404将所述任务池中的数据迁移至目标数据库可包括：在从任务池获取到单条数据之后，迁移模块404根据所述单条数据对应的源数据库表ID查询缓存中心的已迁移数据信息表；若查询结果为空，表示所述单条数据未被成功迁移，则迁移模块404对所述单条数据执行迁移操作，并在将该单条数据成功迁移至目标数据库之后，将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表；若查询结果不为空，表示所述单条数据已经被成功迁移，则迁移模块404对所述单条数据不执行迁移操作。通过在执行数据迁移操作之前查询已迁移数据信息表，能够避免数据重复迁移、提高数据迁移速度。

进一步，迁移模块404在将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表，可包括：将所述单条数据对应的源数据库表ID为Key、目标数据库表ID为Value存入一张已迁移数据信息表；并且，将所述单条数据对应的目标数据库表ID作为Key、源数据库表ID作为Value存入另一张已迁移数据信息表中。通过在缓存中心保存两张已迁移数据信息表，便于在迁移完成之后对源数据库以及目标数据库中的数据进行查询、校验。

校验模块405，用于在数据迁移完成之后，对迁移至目标数据库的数据进行校验，可包括：校验模块405对源数据库、目标数据库中的数据分别进行查询，并将两者的查询结果进行比较，以对数据的一致性进行校验。

除了以上模块之外，本发明实施例的数据在线迁移装置还可包括：双操作模块，用于在确认缓存中心的所述双操作开关标识为开启状态之后，根据实时接收的数据操作请求对源数据库和目标数据库进行双操作。其中，所述双操作包括：数据双写操作、数据双删除操作或数据双改操作。通过设置校验模块、双操作模块，能够提高迁移准确率。

进一步，为了确保双操作接口能够正常工作，本发明实施例的装置还可包括：测试模块，用于对双操作接口进行测试，直至双操作接口通过测试。

本发明实施例的装置，能够在用户无感知、不影响业务系统使用的前提下执行数据迁移，提高用户体验，提高数据迁移速度和迁移准确率。

图5示出了可以应用本发明实施例的数据在线迁移方法或数据在线迁移装置的示例性系统架构500。

如图5所示，系统架构500可以包括源数据库服务器501、应用服务器502、目标数据库服务器503、网络504。

网络504用于在应用服务器502和源数据库服务器501，应用服务器502和目标数据库服务器503之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

应用服务器502可以是运行各种应用程序(例如，处理咨询单的业务系统)的服务器，其可以对接收到的来自终端设备(图中未示出)的业务请求等信息进行处理，并将处理结果反馈给终端设备。

需要说明的是，本发明所提供的数据在线迁移方法一般由应用服务器502执行，相应地，数据在线迁移装置一般设置于应用服务器502中。另外，本发明提供的数据在线迁移装置与待进行数据迁移的业务系统可以在同一应用服务器中，也可以在不同的应用服务器中。

源数据库服务器501、以及目标数据库服务器503可以是向待进行数据迁移的业务系统提供数据支持的数据库服务器。其中，源数据库服务器501可部署源数据库，目标数据库服务器503可部署目标数据库。通过应用服务器502中的数据在线迁移装置，可以将业务系统在源数据库中的数据迁移至目标数据库。

应该理解，图5中的应用服务器、网络、源数据库服务器和目标数据库服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的应用服务器、网络、源数据库服务器和目标数据库服务器。

图6示出了适于用来实现本发明实施例的服务器的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括查询模块、获取模块和迁移模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，迁移模块还可以被描述为“将待迁移的数据迁移至目标数据库的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以下流程：定时查询缓存中心的迁移开关标识和双操作开关标识；在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池；基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种数据在线迁移方法，其特征在于，所述方法包括：

定时查询缓存中心的迁移开关标识和双操作开关标识；

在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池；

基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库，包括：在从任务池获取到单条数据之后，根据所述单条数据对应的源数据库表ID查询缓存中心的已迁移数据信息表；若查询结果为空，则对所述单条数据执行迁移操作，并在迁移成功之后将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表；若查询结果不为空，则对所述单条数据不执行迁移操作；

将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表的步骤包括：将所述单条数据对应的源数据库表ID为Key、目标数据库表ID为Value存入一张已迁移数据信息表；并且，将所述单条数据对应的目标数据库表ID作为Key、源数据库表ID作为Value存入另一张已迁移数据信息表中。

2.根据权利要求1所述的方法，其特征在于，所述从源数据库中获取待迁移的数据，并将其存至任务池的步骤包括：

记录当前时间，将源数据库中数据创建时间小于等于所述当前时间的数据作为待迁移的数据，并将所述待迁移的数据存至任务池；

或者，

记录源数据库表ID的当前最大值，将源数据库表ID小于等于所述当前最大值的数据作为待迁移的数据，并将所述待迁移的数据存至任务池。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在确认缓存中心的所述双操作开关标识为开启状态之后，根据实时接收的数据操作请求对源数据库和目标数据库进行双操作；所述双操作包括：数据双写操作、数据双删除操作或数据双改操作。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在数据迁移完成之后，对迁移至目标数据库的数据进行校验。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

配置迁移开关标识和双操作开关标识，并将配置后的迁移开关标识和双操作开关标识写入缓存中心。

6.一种数据在线迁移装置，其特征在于，所述装置包括：

查询模块，用于定时查询缓存中心的迁移开关标识和双操作开关标识；

获取模块，用于在所述迁移开关标识为开启状态、且所述双操作开关标识为开启状态时，从源数据库中获取待迁移的数据，并将其存至任务池；

迁移模块，用于基于多线程或分布式任务执行机制将所述任务池中的数据迁移至目标数据库，包括：在从任务池获取到单条数据之后，所述迁移模块根据所述单条数据对应的源数据库表ID查询缓存中心的已迁移数据信息表；若查询结果为空，则所述迁移模块对所述单条数据执行迁移操作，并在迁移成功之后将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表；若查询结果不为空，则所述迁移模块对所述单条数据不执行迁移操作；

将所述单条数据对应的源数据库表ID、以及目标数据库表ID写入所述已迁移数据信息表的步骤包括：将所述单条数据对应的源数据库表ID为Key、目标数据库表ID为Value存入一张已迁移数据信息表；并且，将所述单条数据对应的目标数据库表ID作为Key、源数据库表ID作为Value存入另一张已迁移数据信息表中。

7.根据权利要求6所述的装置，其特征在于，所述获取模块从源数据库中获取待迁移的数据，并将其存至任务池包括：

所述获取模块记录当前时间，将源数据库中数据创建时间小于等于所述当前时间的数据作为待迁移的数据，并将所述待迁移的数据存至任务池；

或者，

所述获取模块记录源数据库表ID的当前最大值，将源数据库表ID小于等于所述当前最大值的数据作为待迁移的数据，并将所述待迁移的数据存至任务池。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

双操作模块，用于在确认缓存中心的所述双操作开关标识为开启状态之后，根据实时接收的数据操作请求对源数据库和目标数据库进行双操作；所述双操作包括：数据双写操作、数据双删除操作或数据双改操作。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

校验模块，用于在数据迁移完成之后，对迁移至目标数据库的数据进行校验。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

配置管理模块，用于配置迁移开关标识和双操作开关标识，并将配置后的迁移开关标识和双操作开关标识写入缓存中心。

11.一种服务器，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一所述的方法。

Images