CN102331993B - 分布式数据库的数据迁移方法和分布式数据库迁移系统 - Google Patents

Abstract

本发明公开了一种分布式数据库的数据迁移方法和一种分布式数据库迁移系统。所述方法包括：根据指定用户的用户标识查询检索库，获得该指定用户数据的位置信息，并将对应的锁标志设置为有效；根据所获取的位置信息，获取指定用户的数据，并写入目标子库中；如果写入成功，则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效；如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该指定用户的数据。本发明的技术方案能够保证用户数据迁移过程中的可用性和一致性，并且不中断用户的业务。

Description

分布式数据库的数据迁移方法和分布式数据库迁移系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种分布式数据库的数据迁移方法和一种分布式数据库迁移系统。

背景技术

在一些数据量大的应用系统中，需要将海量的数据按照一定的算法分布在多个子数据库中。

随着时间的推移和数据的增多，可以数据的分布不再均衡，导致有些子数据库的压力过大，而有些子数据库的压力又偏小。此时需要将数据从压力大的子数据库迁移到压力小的子数据库中，或者，增加新的子数据库，将数据迁移到新增的子数据库中。

现有的数据迁移方案主要有以下两种：

方案一：数据库自身提供数据的导入和导出功能，如Oracle、Sql Server、MySql数据库都提供数据的导入导出功能。

但方案一不能解决异构数据库之间的数据迁移，比如不能将Oracle数据库中的数据迁移到MySql中；在数据迁移过程中，不能保证数据的可用性。

方案二：采用程序方式实现，从原数据库中读取数据，然后写入目标数据库，需要中断用户的业务。

方案二能够解决数据库异构问题，但是在迁移过程中，仍不能保证数据的一致性。

发明内容

本发明提供了一种分布式数据库的数据迁移方法，该方法能在数据迁移的过程中保证数据的一致性和可用性，并且不中断用户的业务。

本发明还提供了一种分布式数据库迁移系统，该分布式数据库能在数据迁移的过程中保证数据的一致性和可用性，并且不中断用户的业务。

为达到上述目的，本发明的技术方案是这样实现的：

本发明公开了一种分布式数据库的数据迁移方法，所述分布式数据库由一个检索库和多个子库组成，子库存储用户数据，检索库存储用户标识和用户数据在子库中的位置信息之间的对应关系，其特征在于，检索库中还存储与用户标识对应的锁标志，则将指定用户的数据从原子库迁移到目标子库的方法包括：

根据所述指定用户的用户标识查询检索库，获得该指定用户数据在原子库中的位置信息，并将与该指定用户的用户标识所对应的锁标志设置为有效；

根据所获取的指定用户数据在原子库中的位置信息，获取指定用户的数据，并将所获取的数据写入目标子库中；

如果写入成功，则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效；

如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该指定用户的数据。

本发明还提供了一种分布式数据库迁移系统，其特征在于，该分布式数据库迁移系统包括：一个检索库、多个子库和一个数据迁移模块，其中：

子库存，用于储用户数据；

检索库，用于存储用户标识、用户数据在子库中的位置信息之间的对应关系以及锁标志之间的对应关系；

数据迁移模块，用于根据指定用户的用户标识查询检索库，获得该指定用户数据在原子库中的位置信息，并将与该指定用户的用户标识所对应的锁标志设置为有效；根据所获取的指定用户数据在原子库中的位置信息，获取指定用户的数据，并将所获取的数据写入目标子库中；如果写入成功，则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效；如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该指定用户的数据。

由上述可见，根据所述指定用户的用户标识查询检索库，获得该指定用户数据在原子库中的位置信息，并将与该指定用户的用户标识所对应的锁标志设置为有效；根据所获取的指定用户数据在原子库中的位置信息，获取指定用户的数据，并将所获取的数据写入目标子库中；如果写入成功，则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效；如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该指定用户的数据的技术方案，由于在数据迁移的过程中对用户数据在子库中的位置信息的修改机制，以及锁标志的设定机制，使得能够保证用户数据的可用性和一致性，并且不中断用户的业务，使得用户无感知，提高了用户体验。

附图说明

图1是本发明实施例中的分布式数据库的示意图；

图2是本发明实施例中的用户数据从DB_A1和DB_B1迁移到DB_A2和DB_B2的流程图；

图3是本发明中的用户数据从DB_A1和DB_B1迁移到DB_A2和DB_B2的一个较佳实施例的流程图；

图4是本发明实施例中的一种分布式数据库迁移系统的组成结构示意图。

具体实施方式

本发明的方案主要解决了分布式数据库中的数据迁移问题，并能保证在数据迁移过程中不影响应用系统的使用，保证了数据的可用性。具体思路为：根据需求将特定用户数据从分布的一个子库迁移到另一个子库，在迁移过程中将此用户数据锁定，保证了用户数据的一致性。在迁移过程中，此用户的数据仍然指向原始数据库，迁移成功后指向目标数据库；如果迁移失败，用户的原始数据不会发生改变，删除目标数据库的数据，保证了数据的可用性以及不会产生垃圾数据。

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1是本发明实施例中的分布式数据库的示意图。如图1所示，分布式数据库由一个检索库和多个分布式的子库组成，其中：

分布式的子库是同质同构的一组数据库，按照水平分片的方式存储用户数据；例如，DB_A1和DB_B1是一组子数据库、DB_A2和DB_B2是一组子数据库，以此类推。

检索库存储用户标识和用户数据在子库中的位置信息之间的对应关系，以及与用户标识对应的锁标志。这里根据一定的算法将用户数据分布在不同的字库中，例如，根据对用户标识进行取模的算法，或根据对用户标识进行哈希取模的算法，建立用户标识与用户数据在子库中的位置信息之间的对应关系。在本实施例中，User001的数据存储在DB_A1和DB_B1中，User002的数据存储在DB_A2和DB_B2中，以此类推，则在本实施例中，检索库中存储的初始内容如下：

User001 Index＝1 Lock＝false：

User002 Index＝2 Lock＝false；

User003 Index＝3 Lock＝false；

User004 Index＝4 Lock＝false；

其中，Index表示用户数据在字库中的位置信息，1表示数据库DB_A1和DB_B1，以此类推。“false”表示锁标志无效，“Ture”表示有效。

下面以用户User001的数据从DB_A1和DB_B1迁移到DB_A2和DB_B2为例，对本发明中的数据迁移的流程进行说明。

图2是本发明实施例中的用户数据从DB_A1和DB_B1迁移到DB_A2和DB_B2的流程图。如图2所示，该流程包括：

步骤1.根据用户User001的用户标识查询检索库，获得该用户数据在原子库(DB_A1和DB_B1)中的位置信息，并将与该用户的用户标识所对应的锁标志设置为有效。

这里将对应的锁标志设置为有效，即设置对应的Lock＝True；这样，在数据迁移过程中所有更新此用户的数据的操作都不被允许。在迁移过程中系统获取该用户数据仍然指向原数据库，不影响该用户数据的读取。

步骤2.根据所获取的该用户数据在原子库中的位置信息，从原字库中读取用户数据，并将所获取的用户数据写入目标子库(DB_A2和DB_B2)中。

步骤3.如果写入成功，则更新用户数据的位置信息并解除锁定，即将检索库中的与该用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效；删除原子库中的该用户的数据。

此时，系统获取该用户数据，则已经指向目标数据库，可以进行读取和修改操作。

步骤4.如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该用户的数据。

本步骤，保证了不会产生垃圾数据，用户数据的位置信息仍指向原数据库，保证了数据的可用性。

到此完成了数据的迁移过程。

由上述过程可以看出，在本发明的方案中，访问分布式数据库时会受到检索库中的锁标志的限制，具体为：当需要访问指定用户的数据时，根据所述指定用户的用户标识查询检索库，获得该指定用户数据在子库中的位置信息，并判断与该指定用户的用户标识所对应的锁标志是否为有效；如果为有效，则根据该指定用户数据在子库中的位置信息，只对该指定用户的数据进行读访问操作，而不能对该指定用户的数据进行更新操作；如果为无效，则可以进行读取或修改等任何操作。

此外，还有一种情况是：有些应用根据指定用户的用户标识查询检索库，获得该指定用户数据在子库中的位置信息后，缓存该位置信息，之后会根据所缓存的位置信息访问所述指定用户的数据，而不再查询检索库。此时如果指定用户的数据发生了迁移，则该应用的访问将会出错。针对这种情况，在本发明中对图2所示意的方法进行了进一步的完善，具体如图3所示。

图3是本发明中的用户数据从DB_A1和DB_B1迁移到DB_A2和DB_B2的一个较佳实施例的流程图。如图3所示，其中的“其它应用”为用户(User001)数据在从原子库(DB_A1和DB_B1)迁移到目标子库(DB_A2和DB_B2)之前，就访问原子库(DB_A1和DB_B1)的应用，由于这些应用在本地缓存的了用户数据在原子库(DB_A1和DB_B1)中的位置信息，并根据所缓存的位置信息访问该用户数据，因此本流程相对与图2所示的流程还增加了如下过程：

a、在步骤2中根据所获取的该用户(User001)数据在原子库(DB_A1和DB_B1)中的位置信息，获取用户的数据之前，向已在该原子库访问该用户的数据的其它应用发送该用户的数据将要迁移的第一通知消息；所述其它应用接收到第一通知消息后，只对该用户的数据进行读访问操作，而不对该指定用户的数据进行更新操作；

b、步骤3中，如果写入成功，则还向所述其它应用发送该用户的数据已迁移成功的第二通知消息，该第二通知消息中包含该用户的数据在目标库(DB_A2和DB_B2)中的位置信息；所述其它应用接收到第二通知消息后，用第二通知消息中的位置信息更新所缓存的位置信息，并根据更新后的位置信息访问所述指定用户的数据；

c、步骤4中，如果写入失败，则还向所述其它应用发送指定用户的数据迁移失败的第三通知消息；所述其它应用接收到第三通知消息后，仍根据所之前缓存的位置信息访问所述指定用户的数据。

经过上述方案可以解决有些应用根据本地缓存的位置信息去访问数据库中的用户数据，导致不能感知用户数据迁移的问题。

基于上述实施例给出本发明中的一种分布式数据库的组成结构。

图4是本发明实施例中的一种分布式数据库迁移系统的组成结构示意图。如图4所示，该分布式数据库迁移系统包括：一个检索库401、多个子库402和一个数据迁移模块403，其中：

子库存402，用于储用户数据；在图4中示意性地画出了三个子库。

检索库401，用于存储用户标识、用户数据在子库中的位置信息之间的对应关系以及锁标志之间的对应关系；

数据迁移模块403，用于根据指定用户的用户标识查询检索库401，获得该指定用户数据在原子库中的位置信息，并将与该指定用户的用户标识所对应的锁标志设置为有效；根据所获取的指定用户数据在原子库中的位置信息，获取指定用户的数据，并将所获取的数据写入目标子库中；如果写入成功，则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效；如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该指定用户的数据。

在图4中，所述数据迁移模块403，在将所获取的数据成功写入目标子库时，进一步用于删除原子库中的该指定用户的数据。

图4所示的分布式数据库迁移系统还包括：数据访问模块404；

所述数据访问模块404，用于根据指定用户的用户标识查询检索库，获得该指定用户数据在子库中的位置信息，并判断与该指定用户的用户标识所对应的锁标志是否为有效；如果为有效，则根据该指定用户数据在子库中的位置信息，只对该指定用户的数据进行读访问操作，而不能对该指定用户的数据进行更新操作。

在本发明的一个实施例中，当数据访问模块根据指定用户的用户标识查询检索库401，获得该指定用户数据在子库中的位置信息后，缓存该位置信息，并根据所缓存的位置信息访问所述指定用户的数据时：

所述数据迁移模块403，进一步用于在根据所获取的指定用户数据在原子库中的位置信息，获取指定用户的数据之前，向数据访问模块404发送指定用户的数据将要迁移的第一通知消息；如果写入成功，则向数据访问模块404发送指定用户的数据已迁移成功的第二通知消息，该第二通知消息中包含所述指定用户的数据在目标库中的位置信息；如果写入失败，则向数据访问模块404发送指定用户的数据迁移失败的第三通知消息；

数据访问模块404，用于在接收到第一通知消息后，只对该指定用户的数据进行读访问操作，而不对该指定用户的数据进行更新操作；在接收到第二通知消息后，用第二通知消息中的位置信息更新所缓存的位置信息，并根据更新后的位置信息访问所述指定用户的数据；在接收到第三通知消息后，仍根据所缓存的位置信息访问所述指定用户的数据。

在图4所示的分布式数据库迁移系统的所述检索库401中，根据对用户标识进行取模的算法，或根据对用户标识进行哈希取模的算法，建立了用户标识与用户数据在子库中的位置信息之间的对应关系。

由上述可见，根据所述指定用户的用户标识查询检索库，获得该指定用户数据在原子库中的位置信息，并将与该指定用户的用户标识所对应的锁标志设置为有效；根据所获取的指定用户数据在原子库中的位置信息，获取指定用户的数据，并将所获取的数据写入目标子库中；如果写入成功，则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效；如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该指定用户的数据的技术方案，由于在数据迁移的过程中对用户数据在子库中的位置信息的修改机制，以及锁标志的设定机制，使得能够保证用户数据的可用性和一致性，并且不中断用户的业务，使得用户无感知，提高了用户体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (3)

1.一种分布式数据库的数据迁移方法，所述分布式数据库由一个检索库和多个子库组成，子库存储用户数据，检索库存储用户标识和用户数据在子库中的位置信息之间的对应关系，其特征在于，检索库中还存储与用户标识对应的锁标志，所述数据迁移方法将指定用户的数据从原子库迁移到目标子库，具体包括：

根据所述指定用户的用户标识查询检索库，获得该指定用户数据在原子库中的位置信息，缓存该位置信息，并将与该指定用户的用户标识所对应的锁标志设置为有效，只能对该指定用户的数据进行读访问操作，而不能对该指定用户的数据进行更新操作；

向已在原子库访问所述指定用户的数据的应用发送指定用户的数据将要迁移的第一通知消息，所述应用接收到第一通知消息后，只对该指定用户的数据进行读访问操作，而不对该指定用户的数据进行更新操作；

根据所获取的指定用户数据在原子库中的位置信息，获取指定用户的数据，并将所获取的数据写入目标子库中；

如果写入成功，则将检索库中的与该指定用户的标识对应的用户数据在子库中的位置信息，修改为所写入的目标子库中的位置信息，并将该指定用户的用户标识所对应的锁标志设置为无效，能够对该指定用户的数据进行读访问操作和更新操作；以及向所述应用发送指定用户的数据已迁移成功的第二通知消息，该第二通知消息中包含所述指定用户的数据在目标子库中的位置信息；所述应用接收到第二通知消息后，用第二通知消息中的位置信息更新所缓存的位置信息，并根据更新后的位置信息访问所述指定用户的数据；

如果写入失败，则将该指定用户的用户标识所对应的锁标志设置为无效，并删除已写入目标子库中的该指定用户的数据，以及向所述应用发送指定用户的数据迁移失败的第三通知消息；所述应用接收到第三通知消息后，仍根据所缓存的位置信息访问所述指定用户的数据；

当有应用需要访问指定用户的数据时，根据所述指定用户的用户标识查询检索库，获得该指定用户数据在子库中的位置信息，并判断与该指定用户的用户标识所对应的锁标志是否为有效；如果为有效，则根据该指定用户数据在子库中的位置信息，只对该指定用户的数据进行读访问操作，而不能对该指定用户的数据进行更新操作。

2.根据权利要求1所述的方法，其特征在于，如果写入成功，该方法进一步包括：删除原子库中的该指定用户的数据。

3.根据权利要求1所述的方法，其特征在于，在所述检索库中，根据对用户标识进行取模的算法，或根据对用户标识进行哈希取模的算法，建立用户标识与用户数据在子库中的位置信息之间的对应关系。