CN107977462A

CN107977462A - 数据迁移方法及装置

Info

Publication number: CN107977462A
Application number: CN201711392754.6A
Authority: CN
Inventors: 邢振枫; 邹彬
Original assignee: Taikang Insurance Group Co Ltd
Current assignee: Taikang Insurance Group Co Ltd
Priority date: 2017-12-21
Filing date: 2017-12-21
Publication date: 2018-05-01

Abstract

本发明提供了一种数据迁移方法，确定当前迁移周期内，第一数据表中的待迁移数据集，所述待迁移数据集中包括多个待迁移数据；将所述待迁移数据集中的各个待迁移数据载入至预建立的存储域中；当载入完成时，按预设的写入顺序，依次将载入至所述存储域中的各个待迁移数据写入至第二数据表中。本发明实施例提供的数据迁移方法，在每一个迁移周期内，确定第一数据表中的待迁移数据集，将所述待迁移数据集中的待迁移数据，经由预建立的存储域，依次写入到第二数据表中，使第一数据表中的待迁移数据复制到第二数据表中，进而可以进一步释放第一数据表的内存空间，提升用户对第一数据表中数据的查询效率。

Description

数据迁移方法及装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据迁移方法及装置。

背景技术

随着信息科技的发展，信息系统在各个企业中得到广泛应用。企业在不断开展新业务的过程中，会产生数亿级的数据记录，这些数据在信息系统的数据表中经过不断的沉淀，占据了信息系统很大的内存空间。

发明人对现有信息系统中各个数据进行研究发现，存储在数据表中的数据，一些数据的使用率很低，而这些使用率很低的数据却占据了信息系统很大的内存空间，造成信息系统的运行速度慢，降低了用户对信息系统中数据的查询效率。

发明内容

本发明所要解决的技术问题是提供一种数据迁移方法，对数据表中的数据进行迁移，以释放当前数据表中的内存空间，提升用户对数据的查询效率。

本发明还提供了一种数据迁移装置，用以保证上述方法在实际中的实现及应用。

一种数据迁移方法，包括：

确定当前迁移周期内，第一数据表中的待迁移数据集，所述待迁移数据集中包括多个待迁移数据；

将所述待迁移数据集中的各个待迁移数据载入至预建立的存储域中；

当载入完成时，按预设的写入顺序，依次将载入至所述存储域中的各个待迁移数据写入至第二数据表中，以实现所述待迁移数据集中各个待迁移数据从第一数据表到第二数据表的迁移。

上述的方法，可选的，还包括：

当载入至所述存储域中的各个待迁移数据全部写入至所述第二数据表时，依次对所述第一数据表中各个待迁移数据及所述存储域中的各个待迁移数据进行删除。

上述的方法，可选的，所述确定当前迁移周期内，第一数据表中的待迁移数据集，包括：

对所述第一数据表中各个数据，在当前迁移周期内的使用频率进行监控；

将使用频率小于预设阈值的数据作为待迁移数据，并将各个待迁移数据组成待迁移数据集。

上述的方法，可选的，所述将所述待迁移数据集中的各个待迁移数据载入至预建立的存储域中，包括：

将所述待迁移数据集中的各个待迁移数据以有序集的形式载入至预建立的存储域中。

上述的方法，可选的，所述按预设的写入顺序，依次将载入至所述存储域中的各个待迁移数据写入到第二数据表中，包括：

在离线状态下，按所述各个待迁移数据载入至所述存储域的时间顺序，依次将载入至所述存储域中的各个待迁移数据写入到所述第二数据表中。

上述的方法，可选的，还包括：

在将所述各个待迁移数据从所述第一数据表写入至第二数据表的过程中，当接收到用户对所述待迁移数据集中待迁移数据的查询指令时，依据所述查询指令，在所述存储域中查找与所述查询指令对应的待迁移数据。

上述的方法，可选的，还包括：

在将所述各个待迁移数据从所述第一数据表写入至第二数据表的过程中，当接收到用户对所述待迁移数据集中待迁移数据的删除指令时，依据所述删除指令，按预设的删除规则，分别在所述第一数据表中、存储域中及第二数据表中，对所述删除指令对应的待迁移数据进行相应删除操作；

及

在将所述各个待迁移数据从所述第一数据表写入至第二数据表的过程中，当接收到用户对所述待迁移数据集中待迁移数据的修改指令时，依据所述修改指令，按预设的修改规则，分别在所述第一数据表中、存储域中及第二数据表中，对所述修改指令对应的待迁移数据进行相应修改操作；

及

在将所述各个待迁移数据从所述第一数据表写入至第二数据表的过程中，当接收到用户对数据的增加指令时，依据所述增加指令，按预设的增加规则，分别在所述第一数据表中、存储域中及第二数据表中，增加所述增加指令对应的数据。

一种数据迁移装置，包括：

确定单元，用于确定当前迁移周期内，第一数据表中的待迁移数据集，所述待迁移数据集中包括多个待迁移数据；

载入单元，用于将所述待迁移数据集中的各个待迁移数据载入至预建立的存储域中；

写入单元，用于当载入完成时，按预设的写入顺序，依次将载入至所述存储域中的各个待迁移数据写入至第二数据表中，以实现所述待迁移数据集中各个待迁移数据从第一数据表到第二数据表的迁移。

一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行上述的数据迁移方法。

一种电子设备，包括存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的数据迁移方法。

与现有技术相比，本发明包括以下优点：

本发明实施例提供了一种数据迁移方法，确定当前迁移周期内，第一数据表中的待迁移数据集，所述待迁移数据集中包括多个待迁移数据；将所述待迁移数据集中的各个待迁移数据载入至预建立的存储域中；当载入完成时，按预设的写入顺序，依次将载入至所述存储域中的各个待迁移数据写入至第二数据表中，以实现所述待迁移数据集中各个待迁移数据从第一数据表到第二数据表的迁移。本发明实施例提供的数据迁移方法，在每一个迁移周期内，确定第一数据表中的待迁移数据集，将所述待迁移数据集中的待迁移数据，经由预建立的存储域，依次写入到第二数据表中，使第一数据表中的待迁移数据复制到第二数据表中，进而可以释放第一数据表中的内存空间，提升用户对第一数据表中数据的查询效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种数据迁移方法的方法流程图；

图2为本发明提供的一种数据迁移方法的又一方法流程图；

图3为本发明提供的一种数据迁移方法的又一方法流程图；

图4为本发明提供的一种数据迁移装置的结构示意图；

图5为本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。

本发明实施例提供了一种数据迁移方法，该方法可以应用在各种计算机系统或终端的处理器中，由所述处理器执行本发明提供的数据迁移方法的迁移过程，图1示出了本发明实施例提供的数据迁移方法的方法流程图，包括：

S101：确定当前迁移周期内，第一数据表中的待迁移数据集，所述待迁移数据集中包括多个待迁移数据；

本发明实施例中，对于每一个迁移周期，在该迁移周期内，确定第一数据表中的待迁移数据集，所述待迁移数据集中包括多个待迁移数据。

S102：将所述待迁移数据集中的各个待迁移数据载入至预建立的存储域中；

本发明实施例中，预建立有存储域，所述存储域可以为服务器设定的一个特殊区域，用于对所述待迁移数据集中的各个待迁移数据进行中转存储。

S103：当载入完成时，按预设的写入顺序，依次将载入至所述存储域中的各个待迁移数据写入至第二数据表中，以实现所述待迁移数据集中各个待迁移数据从第一数据表到第二数据表的迁移。

本发明实施例中，当第一数据表中，待迁移数据集中的各个待迁移数据，全部载入到所述存储域中后，将载入到所述存储域中的各个待迁移数据，按预设的写入顺序，依次写入到第二数据表中。

本发明实施例提供的数据迁移方法，第一数据表中会存在一些使用频率很低的数据，本发明中，将使用频率较低的数据作为第一数据表中的待迁移数据，对于每一个迁移周期，确定当前迁移周期内，第一数据表中需要迁移的数据，将这些数据组成待迁移数据集，经由预建立的存储域，将待迁移数据集中的待迁移数据写入到第二数据表中。实现了第一数据表中待迁移数据复制到第二数据表中的过程，进而可以释放第一数据表的内存空间及存储空间，加快第一数据表的运行速度，提升用户对第一数据表中数据的查询效率。

本发明实施例提供的数据迁移方法中，在第一数据表中的待迁移数据经由存储域全部写入到所述第二数据表中后，对当前迁移周期内，待迁移数据集中的待迁移数据从所述第一数据表中进行删除，在第一数据表中的删除操作完成后，继续对存储域中存储的当前迁移周期内载入的待迁移数据集中的待迁移数据进行删除，从而释放第一数据表的存储空间，减小第一数据表占用的内存空间，也释放了预建立的存储域中的存储空间。

参考图2，示出了本发明实施例提供的数据迁移方法中，所述确定当前迁移周期内，第一数据表中的待迁移数据集，包括：

S201：对所述第一数据表中各个数据，在当前迁移周期内的使用频率进行监控；

S202：将使用频率小于预设阈值的数据作为待迁移数据，并将各个待迁移数据组成待迁移数据集。

本发明实施例提供的数据迁移方法中，在每一个迁移周期内，对第一数据表存储的各个数据的使用频率进行监控，记录每个数据的使用频率，将使用频率小于预设阈值的数据作为待迁移数据，并将各个待迁移数据组成待迁移数据集。本发明实施例中，所述预设阈值可以根据数据表中各个数据的使用频率进行计算获得。

对于每一个迁移周期，在该迁移周期内未被使用过的数据，或者连续多个迁移周期内未被使用过的数据，在经过设定个数的迁移周期后，将这些未被使用过的数据作为待迁移数据。本发明实施例提供的数据迁移方法中，对于待迁移数据的确定可以有多种方法，可以是在预设定的一段时间内未被使用的数据，预设定的一段时间可以包括几个迁移周期，也可以是一个迁移周期内的一个时间段。还可以是在一段时间内，或者一个迁移周期内，使用次数较低的数据，本发明实施例中，可以根据实际的数据表的使用情况，确定需要进行迁移的数据。本发明实施例中涉及的待迁移数据中也包括过期数据，这些数据在一开始应用时就设定了使用的时限，当超过使用时限时，就不再使用，被闲置了。

本发明实施例提供的数据迁移方法中，所述将所述待迁移数据集中的各个待迁移数据载入至预建立的存储域中，包括：

本发明实施例提供的数据迁移方法，所述预建立的存储域中采用了redis的有序集对数据进行存储，因此，第一数据表中的各个待迁移数据载入至所述存储域中后，以有序集的形式存在于所述存储域中。

本发明实施例提供的数据迁移方法中，所述按预设的写入顺序，依次将载入至所述存储域中的各个待迁移数据写入到第二数据表中，包括：

本发明实施例提供的数据迁移方法中，待迁移数据从存储域中写入到第二数据表中的过程，在系统的离线状态下进行，且按一定的时间顺序，对数据进行写入。即可以记录每个待迁移数据载入所述存储域的时间点，可以依据待迁移数据载入存储域中的时间顺序，依次将存储域中的各个待迁移数据写入到第二数据表中，所述时间顺序可以是先载入的先写入，也可以是后载入的先写入。

本发明实施例中提供的数据迁移方法中，在将所述各个待迁移数据从所述第一数据表写入至第二数据表的过程中，当接收到用户对所述待迁移数据集中待迁移数据的查询指令时，依据所述查询指令，在所述存储域中查找与所述查询指令对应的待迁移数据。

本发明实施例提供的数据迁移方法，在数据迁移的过程中，如果用户对系统中的数据进行操作，而这些操作关联到当前待迁移的数据，则可以在存储域中进行数据查询，本发明提供的数据迁移方法，在迁移开始后，数据从第一数据表到存储域的时间很短，不会影响用户的数据查询。

本发明实施例提供的数据迁移方法中，在将所述各个待迁移数据从所述第一数据表写入至第二数据表的过程中，当接收到用户对所述待迁移数据集中待迁移数据的删除指令时，依据所述删除指令，按预设的删除规则，分别在所述第一数据表中、存储域中及第二数据表中，对所述删除指令对应的待迁移数据进行相应删除操作；

本发明实施例中，在数据进行迁移的过程中，如果需要进行删除操作，需要确定当前迁移过程进行到哪一个阶段，根据具体的进行阶段，进行相应的删除操作，所述预设的删除规则，则是当前迁移过程进行到哪一个阶段的具体体现，根据具体的迁移过程进行判定。

本发明实施例中，在数据进行迁移的过程中在将所述各个待迁移数据从所述第一数据表写入至第二数据表的过程中，当接收到用户对所述待迁移数据集中待迁移数据的修改指令时，依据所述修改指令，按预设的修改规则，分别在所述第一数据表中、存储域中及第二数据表中，对所述修改指令对应的待迁移数据进行相应修改操作；

本发明实施例中，在数据进行迁移的过程中，如果需要进行修改操作，需要确定当前迁移过程进行到哪一个阶段，根据具体的进行阶段，进行相应的修改操作，所述预设的修改规则，则是当前迁移过程进行到哪一个阶段的具体体现，根据具体的迁移过程进行判定。

本发明实施例中，在将所述各个待迁移数据从所述第一数据表写入至第二数据表的过程中，当接收到用户对数据的增加指令时，依据所述增加指令，按预设的增加规则，分别在所述第一数据表中、存储域中及第二数据表中，增加所述增加指令对应的数据。

本发明实施例中，在数据进行迁移的过程中，如果需要进行数据增加操作，需要确定当前迁移过程进行到哪一个阶段，根据具体的进行阶段，进行相应的数据增加操作，所述预设的增加规则，则是当前迁移过程进行到哪一个阶段的具体体现，根据具体的迁移过程进行判定。

参考图3，以下对本发明实施例提供的数据迁移方法进行详细描述：

随着企业公司业务的不断增长，业务数据库中存储了数亿级的数据，在实际的应用中能够经常使用的只是一少部分数据，但大量的数据给使用带来了写压力和读压力，同时也会带来一些更复杂的影响。

因此需要应用本发明实施例提供的数据迁移方法对业务数据库中第一数据表中的过期数据进行迁移，一般情况下，数据会存在三种状态：

全部在第一数据表中；

一部分在第一数据表中，一部分在第二数据表中；

全部在第二数据表中。

本发明实施例提供的数据迁移方法是周期性进行的，为了保证用户的数据在上述三种状态之下依然具有像单表中一样的一致性，需要业务层在处理当前用户数据时，判断用户的数据当前是否正在迁移，只有在处于迁移状态时，用户数据才需要特别处理。

对应对迁移状态如何判断，当用户数据处于迁移状态，为了保证用户数据全部可用，即要做到不跨表翻页，要做如下决定：一旦开始迁移，用户的全部数据就会载入到一个特殊区域且保存为有序集数据。如果用户处于迁移状态，则用户的数据一定存在于这个区域。所述特殊区域即上述的预建立的存储域。

如图3所示的流程图中，图中涉及的新表为第二数据表，旧表为第一数据表。

为了迁移状态下保证用户数据的正确性，当用户处于迁移状态，用户新增一条数据，则在第二数据表，存储域及第一数据表中各写入新增数据，用户删除一条数据，则在第二数据表、存储域及第一数据表中同时删除该数据。

本发明实施例中，处于迁移状态下的用户，在存储域中保存了其需要进行迁移的所有数据，可以进行翻页操作，存储域中的所有数据，会在离线状态下不断写入到第二数据表中，迁移完成之后，第一数据表中确定的需要进行迁移的数据将被删除，随之存储域中的数据也将被删除，这样用户第一数据表中需要进行迁移的数据，全部写入到第二数据表中，后续如果需要对迁移数据进行操作，只需要在第二数据表中进行操作。本发明实施例中，存储域中的数据不断写入第二数据表的过程中，可以按照载入的时间顺序进行。

本发明实施例提供的数据迁移方法，在用户需要删除一条待迁移的数据时，有可能该条数据已经写入到第二数据表中，所述删除操作要在第二数据表中执行。由于存储域中的数据要始终和用户所有操作同步来保证数据的正确性和一致性，因此，删除操作也要在存储域中执行。如果发生意外导致存储域无法使用，则为了维护数据的一致性，删除操作也需要在第一数据表中进行，具体的删除执行过程，要根据当前数据迁移进行的具体状态进行确定。

同样的，本发明实施例提供的数据迁移方法，在用户新增一条数据时，存储域中数据要始终和用户所有的操作同步来保证数据的正确性和一致性，因此存储域中需要写入需要增加的数据。

本发明实施例中，在某些边界条件下，存储域中的数据迁移完成，但是还未被删除，用户恰巧写入一条新的数据，此时用户仍处于迁移状态中，但是离线的迁移操作已经认为迁移停止了，因而此时新增数据需要进入新表才能保证数据最终是正确的。本发明实施例中，如果发生意外导致存储域不可用，为维护数据的一致性，新增操作也需要在第一数据表中进行。

本发明实施例提供的数据迁移操作中，优选的，在数据完全写入到第二数据表后，删除了第一数据表中的相应数据及存储域中的相应数据后，整个数据迁移过程才算结束。

本发明实施例中，存储域的选取，采用了redis的有序集，键就是用户的id，只要检测到用户id的存在就认为该用户处于迁移状态中。迁移完成之后，先删除第一数据表中的数据，然后再删除存储域中的有序集。

本发明实施例中，对于数据迁移的状态判定：

用户数据处于redis中，则此时一定是迁移中或迁移完成。

只在第一数据表中找到用户数据，则该用户一定还没有开始迁移。

只在第二数据表中找到用户数据，用户已经迁移成功。

本发明实施例提供的方法中，用户请求数据时，感觉不到数据库的内在变化，数据的迁移是无感的，实现状态是调度器周期性将第一数据表中的过期数据通过临时缓存迁移到第二数据表中，用户请求数据时根据对占位数据的判断对操作的流程进行控制。

用户操作数据，程序判断用户数据的状态，如果是迁移状态：则判断是增、删、改、查中的哪种操作，如果是查，直接查询存储域；如果是增、删、改直接对存储域同时对新表操作；如果不是迁移状态到旧表数据中操作数据，如果没有则操作新表中数据。

本发明实施例提供的方法中，在针对用户的增、删、改、查操作进行处理时，依据一定的原则，判断当前数据是否进行迁移，如迁移进行到哪一个阶段，然后再具体确定以上操作具体在第一数据表、存储域及第二数据表中的哪一个或哪几个中进行。

与图1所示的一种数据迁移方法相对应的，本发明实施例还提供了一种数据迁移装置，用于对图1中数据迁移方法的具体实现，本发明实施例中的数据迁移装置可以应用在系统的处理器中，其结构示意图如图4所示，具体包括：

确定单元301，用于确定当前迁移周期内，第一数据表中的待迁移数据集，所述待迁移数据集中包括多个待迁移数据；

载入单元302，用于将所述待迁移数据集中的各个待迁移数据载入至预建立的存储域中；

写入单元303，用于当载入完成时，按预设的写入顺序，依次将载入至所述存储域中的各个待迁移数据写入至第二数据表中，以实现所述待迁移数据集中各个待迁移数据从第一数据表到第二数据表的迁移。

本发明实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行上述数据迁移方法，所述方法具体包括：

上述的方法，可选的，还包括：

及

本发明实施例还提供了一种电子设备，其结构示意图如图5所示，具体包括存储器401，以及一个或者一个以上的程序402，其中一个或者一个以上程序402存储于存储器401中，且经配置以由一个或者一个以上处理器403执行所述一个或者一个以上程序402包含用于进行以下操作的指令：

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种数据迁移方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种数据迁移方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，所述确定当前迁移周期内，第一数据表中的待迁移数据集，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述待迁移数据集中的各个待迁移数据载入至预建立的存储域中，包括：

5.根据权利要求4所述的方法，其特征在于，所述按预设的写入顺序，依次将载入至所述存储域中的各个待迁移数据写入到第二数据表中，包括：

6.根据权利要求1所述的方法，其特征在于，还包括：

7.根据权利要求1所述的方法，其特征在于，还包括：

及

8.一种数据迁移装置，其特征在于，包括：

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如权利要求1～7任意一项所述的数据迁移方法。

10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1～7任意一项所述的数据迁移方法。