CN113468148A - 一种数据库的数据迁移方法、装置、电子设备及其存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据库的数据迁移方法、装置、电子设备及其存储介质。该方法包括：将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，分片标识与分表标识一一对应且相同；设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。通过该方法可以实现在数据迁移期间实现不停机的同时将旧数据库的表数据迁移到新数据库对应的分表中。

Description

一种数据库的数据迁移方法、装置、电子设备及其存储介质

技术领域

本发明实施例涉及金融科技技术领域，尤其涉及一种数据库的数据迁移方法、装置、电子设备及其存储介质。

背景技术

随着移动互联网和智能设备的快速发展和普及，互联网应用的数据库处理数据的压力越来越大，同时用户对请求响应时间的要求也愈加苛刻，应用对数据库能够稳定的提供服务的要求也更为提升。在数据库单表的性能提升已达一定瓶颈的背景下，使用更新型的数据库和分库分表技术已成为提升稳定性和数据库响应速度的主要手段之一。

在新旧数据库进行数据迁移时，目前有两种主流的做法分别是：停机进行数据迁移和不停机在线进行数据迁移。其中，停机进行数据迁移的方案在迁移期间数据库不能正常对外提供服务，对应用对外的稳定性影响极大；不停机在线进行数据迁移一般都适用于同样的数据库或者提供方进行特殊化开发的市场主流的数据库间进行迁移，严重依赖提供方的支持性，并且不能动态调整迁移策略。

发明内容

本发明提供一种数据库的数据迁移方法、装置、电子设备及其存储介质，以实现在数据迁移期间实现不停机的同时将旧数据库的表数据迁移到新数据库中。

第一方面，本发明实施例提供了一种数据库的数据迁移方法，该数据库的数据迁移方法包括：

将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；

按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，所述分片标识与所述分表标识一一对应且相同；

设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。

第二方面，本发明实施例还提供了一种数据库的数据迁移装置，该数据库的数据迁移装置包括：

表数据分片模块，用于将旧数据库的表数据按照预设分片规则分出多片数据；

分片数据标识模块，用于对每片数据做相应的分片标识；

建库建表模块，用于按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表；

分表数据标识模块，用于对每个分表做相应的分表标识；其中，所述分片标识与所述分表标识一一对应且相同；

开关设置模块，用于设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关；

数据迁移模块，用于根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的数据库的数据迁移方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据库的数据迁移方法。

本发明实施例通过提供一种数据库的数据迁移方法、装置、电子设备及其存储介质，该数据库的数据迁移方法包括：将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，分片标识与分表标识一一对应且相同；设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。由此可知，通过该方法可以实现将旧数据库的单表数据根据业务场景均分为多张分表的数据，可支持实时开关多张表的数据读写；且由于在数据迁移时是按照标识依次将旧数据库的分片数据迁移到新数据库对应的各个分表中，标识设置后就固定不变了，所以当正常业务对旧数据库(或者新数据库)中的数据进行增、减、删除、访问等操作时，只需要按照预设的开关规则打开或者关闭对应的开关，读取对应的标识并按照标识依次进行数据的迁移，所以正常业务的操作与数据的迁移互不影响，从而可以实现在数据迁移期间实现不停机的同时将旧数据库的表数据迁移到新数据库对应的分表中。

附图说明

图1本发明实施例一中的一种数据库的数据迁移方法的流程图；

图2是本发明实施例二中的一种数据库的数据迁移方法的流程图；

图3是本发明实施例三中的一种数据库的数据迁移方法的流程图；

图4是本发明实施例四中的一种数据库的数据迁移装置的结构框图；

图5是本发明实施例五中的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一中提供的一种数据库的数据迁移方法的流程图，本实施例可适用于在银行金融的处理平台中，在将新旧数据库进行数据迁移时，实现无需停机在线进行数据迁移的方法，该方法可以由数据迁移装置来执行，该装置可以由软件和/或硬件的方式来实现，该装置可配置于处理平台的服务器中，具体包括如下步骤：

步骤110、将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；

其中，按照预设分片规则可以实现将旧数据库的单表数据根据实际的业务场景均分为多张分表的数据，即分片数据。其中，旧数据库表数据的分片规则与新数据库的分库分表规则相对应。例如，假设新数据库的分库分表规则为分出十库十表，每个库对应一个分表，则将旧数据库的表数据分出十片数据，并将每片数据设置相应的分片标识；假设新数据库的分库分表规则为分出十库百表，即每个库对应十个分表，则将旧数据库的表数据分出一百片数据。需要说明的是，预设分片规则具体的分片数量可根据实际情况进行设置，在此不做具体的限定。

其中，每个分片标识用于标识与其对应的分片数据。由于每个分片数据中数据的增、减、删除、访问等操作不会影响分片标识，所以在数据迁移过程中，读或写或导出每片数据时，只需要读取每片数据对应的分片标识然后进行数据的导出、迁移等操作即可。由此可知，将旧数据库的表数据分出多片数据并对每片数据设置对应的分片标识，用于后续在将旧数据库的数据导入新数据库分表时作为标识，从而确保在数据迁移时还不影响旧数据库其他业务的正常进行，即实现不停机在线进行数据迁移，保证了数据迁移的准确性，提高了数据迁移的效率。

步骤120、按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，分片标识与分表标识一一对应且相同；

其中，预设分库规则可以根据实际的数据量和需求设置需要分出的新数据库的数量以及各个新数据库对应的分表的数量，例如，可以是五库五表(即分出五个新数据库，每个新数据库对应一个分表)、五库十表(即分出五个新数据库，每个新数据库对应两个分表)、十库十表(即分出十个新数据库，每个新数据库对应一个分表)等，具体的数量可根据实际情况进行设置，在此不做具体限定。

其中，每个分表标识用于标识与其对应的分表数据。由于每个分表数据中数据的增、减、删除、访问等操作不会影响分表标识，所以在数据迁移过程中，对分表读或写或导入数据时，只需要读取每个分表对应的分表标识然后进行数据的迁移、导入等操作即可。由此可知，将每个新数据库对应的各个分表进行分表标识，用于后续在将旧数据库的数据导入到新数据库分表时作为标识，从而确保在数据迁移时还不影响新数据库其他业务的正常进行，即实现不停机在线进行数据迁移，保证了数据迁移的准确性，提高了数据迁移的效率。

步骤130、设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。

其中，可通过服务端设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关。可通过设置字符串的形式来控制这四个开关的打开或者关闭，例如，以字符串A、B、C、D作为开关控制，每个字符串之间可以逗号分开，例如“A，B，C，D”。其中，当服务端对各开关不进行读操作或不进行写操作时，则对应开关的字符串为空，例如，当控制关闭旧数据库读逻辑开关和旧数据库写逻辑开关，且打开新数据库读逻辑开关和新数据库写逻辑开关时，则对应的字符串为“，，C，D”。

其中，由于每个分片标识用于标识与其对应的分片数据，所以控制旧数据库读逻辑开关和旧数据库写逻辑开关的字符串与旧数据库表数据的分片标识有关。进一步的，控制旧数据库读逻辑开关和旧数据库写逻辑开关的字符串是由各分片标识中的部分或者全部组成的，或者为空。例如，在数据迁移前，旧数据库的表数据中的各分片数据还未进行迁移，当打开旧数据库读逻辑开关时读取的是所有分片标识及所有的分片数据的，所以此时字符串A是由所有的分片数据的分片标识组成；当旧数据库中的某个或某几个分片数据被迁移到新数据库后，则再打开旧数据库读逻辑开关时读取的是剩余未迁移的分片数据，此时字符串A是由余下的未迁移的分片数据对应的分片标识组成的；另外，当旧数据库中的所有分片数据均被迁出后，此时字符串A为空。

同理，由于每个分表标识用于标识与其对应的分表数据，所以控制新数据库读逻辑开关和新数据库写逻辑开关的字符串与新数据库的分表标识有关。进一步的，控制新数据库读逻辑开关和新数据库写逻辑开关的字符串为空，或者是由各分表标识中的部分或全部组成的。例如，在数据迁移前，新数据库分表中没有数据迁入，此时字符串C和字符串D为空；当旧数据库中有一个或几个分片数据迁移到新数据库对应的分表中，则此时字符串C和字符串D是由部分分表标识组成的；当旧数据库中的全部分片数据被迁移到新数据库对应的分表后，则此时字符串C和字符串D是由全部分表标识组成的。

需要说明的是，控制旧数据库读逻辑开关和旧数据库写逻辑开关的字符串可以是以一定的顺序由各分片标识中的部分或者全部组成的，控制新数据库读逻辑开关和新数据库写逻辑开关的字符串可以是以一定的顺序由各分表标识中的部分或全部组成的，具体的顺序与实际的按标识迁出或迁入情况有关，在此不做具体的限定。

具体的，在数据迁移时，通过服务端来控制旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关的打开或者关闭，并通过配置各个开关对应的字符串的组合状态，可实现对各个分片数据、分表数据进行读写操作，可支持实时开关多张表的数据读写，并可按照旧数据库各分片数据对应的分片标识和与其对应的新数据库的分表标识，将旧数据库的表数据依次迁移到新数据库对应的各个分表中。由于在数据迁移时通过字符串来控制各开关，而各字符串是由标识(分片标识或分表标识)组成的，这些标识设置后就固定不变了，所以当正常业务对旧数据库(或者新数据库)中的数据进行增、减、删除、访问等操作时，只需要按照预设的开关规则打开或者关闭对应的开关，并读取对应的标识按照标识进行数据的迁移，而对应的分片数据或分表的标识是一定的，所以正常业务的操作与数据的迁移互不影响，二者属于两个不同的操作维度，从而可以实现在数据迁移期间实现不停机的同时将旧数据库的表数据迁移到新数据库对应的分表中。

在本实施例的技术方案中，该数据库的数据迁移方法的工作原理为：当需要进行数据迁移时，通过服务端对旧数据库的表数据进行分片及标识，建立分库分表，并对分表进行标识，以及设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关。具体的，将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，分片标识与分表标识一一对应且相同；设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。由此可知，由于在数据迁移时通过字符串来控制各开关，而各字符串是由标识(分片标识或分表标识)组成的，这些标识设置后就固定不变了，所以当正常业务对旧数据库(或者新数据库)中的数据进行增、减、删除、访问等操作时，只需要按照预设的开关规则打开或者关闭对应的开关，并读取对应的标识按照标识进行数据的迁移，而对应的分片数据或分表的标识是一定的，所以正常业务的操作与数据的迁移互不影响，二者属于两个不同的操作维度，从而可以实现在数据迁移期间实现不停机的同时将旧数据库的表数据迁移到新数据库对应的分表中。

本实施例的技术方案，通过提供一种数据库的数据迁移方法，该数据库的数据迁移方法包括：将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，分片标识与分表标识一一对应且相同；设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。由此可知，通过该方法可以实现将旧数据库的单表数据根据业务场景均分为多张分表的数据，可支持实时开关多张表的数据读写；且由于在数据迁移时是按照标识依次将旧数据库的分片数据迁移到新数据库对应的各个分表中，标识设置后就固定不变了，所以当正常业务对旧数据库(或者新数据库)中的数据进行增、减、删除、访问等操作时，只需要按照预设的开关规则打开或者关闭对应的开关，读取对应的标识并按照标识依次进行数据的迁移，所以正常业务的操作与数据的迁移互不影响，从而可以实现在数据迁移期间实现不停机的同时将旧数据库的表数据迁移到新数据库对应的分表中。

在上述技术方案的基础上，可选地，预设分库规则为十库十表或者十库百表，对应的，分片标识和分表标识为单尾号数字或双尾号数字。

其中，十库十表是指分出十个新数据库，且每个新数据库有一个分表；十库百表是指分出十个新数据库，且每个新数据库有十个分表。需要说明的是，预设分库规则还可以为五库五表、五库十表等，具体可根据实际情况进行设置，在此不做具体的限定。

其中，分片标识和分表标识可以采用数字进行标识，比如单位号数字或双尾号数字，当然也可以为三尾号、四尾号甚至更多位的数字，具体可根据实际情况进行设置。

示例性的，为了方便标识，可以在预设分库规则为十库十表时，可采用单尾号数字进行标识，例如，将十个分表的标识依次标识为数字0、1、2…8、9，对应的，预设分库规则为十库十表时预设分片规则为分出十片数据，相应的将这十片数据的标识依次标识为数字0、1、2…8、9；在预设分库规则为十库百表时，可采用双尾号数字进行标识，例如，将这一百个分表的标识依次标识为数字00、01、02…98、99，对应的，预设分库规则为十库百表时预设分片规则为分出一百片数据，相应的将这一百片数据的标识依次标识为数字00、01、02…98、99；当然，十库十表时也可用双尾号数字标识，十库百表时也可用单尾号数字标识，具体可跟时间情况进行灵活设置，在此不做具体的限定。

实施例二

图2是本发明实施例二中提供的一种数据库的数据迁移方法的流程图。在上述实施例一的基础上，当旧数据库和/或新数据库为第一类数据库时，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中，参考图2，具体包括如下步骤：

步骤210、将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；

步骤220、按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，所述分片标识与所述分表标识一一对应且相同；

步骤230、在数据迁移前，打开旧数据库读逻辑开关和旧数据库写逻辑开关，关闭新数据库读逻辑开关和新数据库写逻辑开关，读取目标标识对应的分片数据；

其中，在数据迁移前，做好数据部署更新应用，此时对于写入开关仅打开旧数据库读逻辑开关，对于读取开关仅打开旧数据库写逻辑开关，即打开旧数据库读逻辑开关和旧数据库写逻辑开关，关闭新数据库读逻辑开关和新数据库写逻辑开关，观察生产运行情况，若有问题进行应用回退，从而为后续数据的迁移做好迁移前的准备工作。

步骤240、在数据迁移中，打开旧数据库读逻辑开关，关闭旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，将目标标识对应的分片数据迁移至对应标识的分表中；

其中，由于此时旧数据库和/或新数据库的类型为第一类数据库，而第一类数据库为数据库中间件不支持或者支持力度比较低的数据库类型，针对这一类型的数据库采用静态迁移的方式进行数据迁移，即在数据迁移过程中，仅打开旧数据库读逻辑开关，关闭旧数据库写逻辑开关，以及关闭新数据库读逻辑开关和新数据库写逻辑开关，在迁移时按照目标标识将对应标识的分片数据从旧数据库静态迁移或导出。

需要说明的是，在按照目标标识将对应的分片数据从旧数据库迁出过程中，由于这些标识设置后就固定不变了，当正常业务对旧数据库(或者新数据库)中的数据进行增、减、删除、访问等操作时，不会影响各分片数据对应的标识，在进行数据迁移时，只需要按照预设的开关规则，读取目标标识对应的分片数据将数据迁出即可，所以正常业务的操作与数据的迁移互不影响，二者属于两个不同的操作维度，从而可以实现在数据迁移期间实现不停机的同时将旧数据库的表数据迁移到新数据库对应的分表中。

步骤250、在数据迁移后，关闭旧数据库读逻辑开关，打开旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，校验目标标识对应的新数据库的数据与对应标识的旧数据库的数据的一致性；

其中，在将目标标识对应的分片数据从旧数据库导出后，需要将导出的数据导入到新数据库分表标识与目标标识对应的分表中，此时需要将新数据库读逻辑开关和新数据库写逻辑开关打开，以用于导入目标标识对应的数据；在向新数据库目标标识对应的分表导入对应标识的数据后，需要打开旧数据库写逻辑开关，用于将新数据库导入的数据对应的标识与旧数据库的全量数据标识进行全量对比操作，校验目标标识对应的新数据库的数据与对应标识的旧数据库的数据的是否一致，以确保每次导入到新数据库的数据与旧数据库中对应的目标标识对应的数据一致，从而确保数据迁移的准确性。

步骤260、按照步骤230-240，依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中。

其中，根据步骤210和220设置的预设分库规则和预设分片规则，按照步骤230-240，依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中，以完成对旧数据库表数据的迁移。

可选地，第一类数据库为数据库中间件不支持或支持力度低的数据库。

其中，数据库中间件不支持或支持力度低的数据库可以为informix数据库、mysql数据库等老数据库或者不常用的数据库类型。

在本实施例的技术方案中，示例性的，以预设分库规则为十库十表，分片标识和分表标识为单尾号数字为例，首先，将旧数据库的表数据按照预设分片规则分出十片数据，且各片数据对应的分片标识依次为0、1、2、…9；按照预设分库规则建立10个新数据库，并对每个新数据库建立一个分表，且这10个分表的标识依次为0、1、2…9；然后，在数据迁移前，部署更新应用，此时写入开关仅打开旧数据库读逻辑开关，对于读取开关仅打开旧数据库写逻辑开关，观察生产运行情况，若有问题进行应用回退。此时，读旧数据库全尾号，写旧数据库全尾号，不读新数据库，不写新数据库(其中，读旧数据库对应开关为旧数据库读逻辑开关，写旧数据库对应的开关为旧数据库写逻辑开关，读新数据库对应的开关为新数据库读逻辑开关，写新数据库对应的开关为新数据库写逻辑开关，下同，不再赘述)，即将各开关配置为“0123456789,0123456789，，”；观察一段时间后，在业务量低峰时期开始数据迁移，首先按照标识顺序先迁移尾号为0的分片标识对应的分片数据，先将旧数据库写逻辑开关关闭，即关闭尾号为0的分片标识对应的旧数据库写入开关，此时，读旧数据库全尾号，写旧数据库尾号12356789，不读新数据库，不写新数据库，此时将各开关配置为“0123456789，123456789，，”，按照分片规则导出尾号为0的分片标识对应的分片数据，即第一次仅迁移尾号为0的分片标识对应的数据。将尾号为0的分片标识对应的数据从旧数据库导出后需要导入到新数据库环境中，此时需要打开新数据库读逻辑开关和新数据库写逻辑开关，即打开新数据库尾号为0的分表标识的读写开关，且由于导入后需要将旧数据库与新数据库对应标识的数据进行全量对比操作，以确保迁入到新数据库尾号为0的分表标识的分表中的数据与旧数据库尾号为0的分片标识的分片数据一致，此时，需要先变更旧数据库写逻辑开关的状态，即打开旧数据库写逻辑开关，写旧数据库全尾号，即此时将各开关配置为“123456789，0123456789，0，0”，由此将尾号为0的分片标识对应的分片数据迁移到尾号为0的分表标识对应的分表中。然后，观察一段时间的运行情况后，再按照标识将下一个分片标识(即尾号为1的分片标识)对应的分片数据按照上述迁移过程进行迁移，具体地，在将尾号为1的分片标识对应的分片数据导出时，将尾号为1的分片标识对应的旧数据库写开关关闭，即将各开关配置为“123456789,023456789,0,0”；在将尾号为1的分片标识对应的分片数据导出后，各开关配置为“23456789,0123456789,01,01”；以此方法，将旧数据库所有分片标识对应的分片数据的迁移到新数据库对应的分表中。

可选地，在依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中之后，关闭旧数据库读逻辑开关，打开旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，待运行稳定后，关闭旧数据库写逻辑开关。

示例性的，仍以预设分库规则为十库十表，分片标识和分表标识为单尾号数字为例进行说明，在依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中之后，此时各开关配置为“，0123456789,0123456789,0123456789”，即打开旧数据库写逻辑开关，将新数据库导入的数据与旧数据库进行全量比对，校验数据的一致性，待运行稳定后，再关闭旧数据库写逻辑开关，即更改开关配置为“，，0123456789,0123456789”。

可选地，在将目标标识对应的分片数据迁移至对应标识的分表中之后，若出现写入新数据库成功而写入旧数据库失败，则将写入旧数据库数据补齐。

其中，双写(双写是指写入新数据库和写入旧数据库)时规定，优先主库(新数据库)，主库失败时放弃写备库；主库成功而备库失败需要进行对账，即输出失败数据，需要补齐备库数据。例如，主库为新数据库，可能存在的风险是，以迁移尾号为0的分片数据为例，当迁移完成尾号为0的分片数据后，此时可能会存在新数据库写入失败，未对用户抛错，导致可能存在新数据库读取的数据与旧数据库数据不一致的风险，此时需要对备库(即旧数据库)进行数据补齐。

可选地，将写入旧数据库数据补齐包括：

利用数据库中间件实时检测写入新数据库与写入旧数据库的数据差异性进行补入数据。

此外，还可以在写入新数据库成功而写入旧数据库失败时发出报警，以警示相关人员采取相应的补齐措施。例如，在写入新数据库成功而写入旧数据库失败时，可以将sql语句，参数值，以特定日志格式打印，若出现该报错可以进行警报补数处理；还可以是，在写入新数据库成功而写入旧数据库失败时，进行抛错处理，提示用户对应报错，此时读取需要切换到新数据库。

实施例三

图3是本发明实施例三中提供的一种数据库的数据迁移方法的流程图。在上述实施例的基础上，可选地，当旧数据库和/或新数据库为第二类数据库时，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中，参考图3，具体包括如下步骤：

步骤310、将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；

步骤320、按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，分片标识与分表标识一一对应且相同；

步骤330、在数据迁移前，打开旧数据库读逻辑开关和旧数据库写逻辑开关，关闭新数据库读逻辑开关和新数据库写逻辑开关，读取目标标识对应的分片数据；

步骤340、在数据迁移中，打开旧数据库读逻辑开关和旧数据库写逻辑开关，关闭新数据库读逻辑开关和新数据库写逻辑开关，将目标标识对应的分片数据迁移至对应标识的分表中；

其中，由于此时旧数据库和/或新数据库的类型为第二类数据库，而第二类数据库为数据库中间件可支持的数据库类型，针对这一类型的数据库采用动态迁移的方式进行数据迁移，即在数据迁移过程中，打开旧数据库读逻辑开关，和旧数据库写逻辑开关，关闭新数据库读逻辑开关和新数据库写逻辑开关，在迁移时按照目标标识将对应标识的分片数据从旧数据库动态迁移或导出。

需要说明的是，在按照目标标识将对应的分片数据从旧数据库迁出过程中，由于这些标识设置后就固定不变了，当正常业务对旧数据库(或者新数据库)中的数据进行增、减、删除、访问等操作时，不会影响各分片数据对应的标识，在进行数据迁移时，只需要按照预设的开关规则，读取目标标识对应的分片数据将数据迁出即可，所以正常业务的操作与数据的迁移互不影响，二者属于两个不同的操作维度，从而可以实现在数据迁移期间实现不停机的同时将旧数据库的表数据迁移到新数据库对应的分表中。

步骤350、在数据迁移后，关闭旧数据库读逻辑开关，打开旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，校验目标标识对应的新数据库的数据与对应标识的旧数据库的数据的一致性；

步骤360、按照步骤330-350，依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中。

在本实施例的技术方案中，示例性的，以预设分库规则为十库十表，分片标识和分表标识为单尾号数字为例，首先，将旧数据库的表数据按照预设分片规则分出十片数据，且各片数据对应的分片标识依次为0、1、2、…9；按照预设分库规则建立10个新数据库，并对每个新数据库建立一个分表，且这10个分表的标识依次为0、1、2…9；然后，在数据迁移前，部署更新应用，此时写入开关仅打开旧数据库读逻辑开关，对于读取开关仅打开旧数据库写逻辑开关，观察生产运行情况，若有问题进行应用回退。此时，读旧数据库全尾号，写旧数据库全尾号，不读新数据库，不写新数据库(其中，读旧数据库对应开关为旧数据库读逻辑开关，写旧数据库对应的开关为旧数据库写逻辑开关，读新数据库对应的开关为新数据库读逻辑开关，写新数据库对应的开关为新数据库写逻辑开关，下同，不再赘述)，即将各开关配置为“0123456789,0123456789，，”；观察一段时间后，在业务量低峰时期开始数据迁移，首先按照标识顺序先迁移尾号为0的分片标识对应的分片数据，此时，依旧打开旧数据库写逻辑开关，即尾号为0的分片标识对应的旧数据库写入开关打开，此时，读旧数据库全尾号，写旧数据库全尾号，不读新数据库，不写新数据库，此时将各开关配置为“0123456789，0123456789，，”，按照分片规则导出尾号为0的分片标识对应的分片数据，即第一次仅迁移尾号为0的分片标识对应的数据。将尾号为0的分片标识对应的数据从旧数据库导出后需要导入到新数据库环境中，此时需要打开新数据库读逻辑开关和新数据库写逻辑开关，即打开新数据库尾号为0的分表标识的读写开关，此时各开关配置为“123456789，0123456789，0，0”，由此将尾号为0的分片标识对应的分片数据迁移到尾号为0的分表标识对应的分表中。然后，观察一段时间的运行情况后，再按照标识将下一个分片标识(即尾号为1的分片标识)对应的分片数据按照上述迁移过程进行迁移，具体地，在将尾号为1的分片标识对应的分片数据导出时，将尾号为1的分片标识对应的旧数据库写开关打开，即将各开关配置为“123456789,0123456789,0,0”；在将尾号为1的分片标识对应的分片数据导出后，各开关配置为“23456789,0123456789,01,01”；以此方法，将旧数据库所有分片标识对应的分片数据的迁移到新数据库对应的分表中，在依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中之后，此时各开关配置为“，0123456789,0123456789,0123456789”。待运行稳定后，再关闭旧数据库写逻辑开关，即更改开关配置为“，，0123456789,0123456789”。

可选地，第二类数据库为数据库中间件可支持的数据库。

其中，数据库中间件可支持的数据库可以为常用的Oracle数据库、SQL ServerDB2数据库等。

实施例四

图4是本发明实施例四中提供的一种数据库的数据迁移装置的结构框图。

参考图4，该数据库的数据迁移装置100包括：

表数据分片模块10，用于将旧数据库的表数据按照预设分片规则分出多片数据；

分片数据标识模块20，用于对每片数据做相应的分片标识；

建库建表模块30，用于按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表；

分表数据标识模块40，用于对每个分表做相应的分表标识；其中，所述分片标识与所述分表标识一一对应且相同；

开关设置模块50，用于设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关；

数据迁移模块60，用于根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。

在本实施例的技术方案中，通过提供一种数据库的数据迁移装置，该数据库的数据迁移装置包括表数据分片模块，用于将旧数据库的表数据按照预设分片规则分出多片数据；分片数据标识模块，用于对每片数据做相应的分片标识；建库建表模块，用于按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表；分表数据标识模块，用于对每个分表做相应的分表标识；其中，所述分片标识与所述分表标识一一对应且相同；开关设置模块，用于设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关；数据迁移模块，用于根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。由此可知，通过该方法可以实现将旧数据库的单表数据根据业务场景均分为多张分表的数据，可支持实时开关多张表的数据读写；且由于在数据迁移时是按照标识依次将旧数据库的分片数据迁移到新数据库对应的各个分表中，标识设置后就固定不变了，所以当正常业务对旧数据库(或者新数据库)中的数据进行增、减、删除、访问等操作时，只需要按照预设的开关规则打开或者关闭对应的开关，读取对应的标识并按照标识依次进行数据的迁移，所以正常业务的操作与数据的迁移互不影响，从而可以实现在数据迁移期间实现不停机的同时将旧数据库的表数据迁移到新数据库对应的分表中。

选地，当旧数据库和/或新数据库为第一类数据库时，数据迁移模块60还用于：

S11、在数据迁移前，打开旧数据库读逻辑开关和旧数据库写逻辑开关，关闭新数据库读逻辑开关和新数据库写逻辑开关，读取目标标识对应的分片数据；

S12、在数据迁移中，打开旧数据库读逻辑开关，关闭旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，将目标标识对应的分片数据迁移至对应标识的分表中；

S13、在数据迁移后，关闭旧数据库读逻辑开关，打开旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，校验目标标识对应的新数据库的数据与对应标识的旧数据库的数据的一致性；

按照S11-S13步骤，依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中。

可选地，第一类数据库为数据库中间件不支持或支持力度低的数据库。

可选地，当旧数据库和/或所述新数据库为第二类数据库时，数据迁移模块60还用于：

S21、在数据迁移前，打开旧数据库读逻辑开关和旧数据库写逻辑开关，关闭新数据库读逻辑开关和新数据库写逻辑开关，读取目标标识对应的分片数据；

S22、在数据迁移中，打开旧数据库读逻辑开关和旧数据库写逻辑开关，关闭新数据库读逻辑开关和新数据库写逻辑开关，将目标标识对应的分片数据迁移至对应标识的分表中；

S23、在数据迁移后，关闭旧数据库读逻辑开关，打开旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，校验目标标识对应的新数据库的数据与对应标识的旧数据库的数据的一致性；

按照S21-S23步骤，依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中。

可选地，第二类数据库为数据库中间件可支持的数据库。

可选地，数据迁移模块60还用于在依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中之后，关闭旧数据库读逻辑开关，打开旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，待运行稳定后，关闭旧数据库写逻辑开关。

可选地，数据迁移模块60还包括：

数据补齐单元，用于在将目标标识对应的分片数据迁移至对应标识的分表中之后，若出现写入新数据库成功而写入旧数据库失败，则将写入旧数据库数据补齐。

可选地，数据补齐单元还用于：

利用数据库中间件实时检测所述写入新数据库与写入旧数据库的数据差异性进行补入数据。

可选地，预设分库规则为十库十表或者十库百表，对应的，分片标识和分表标识为单尾号数字或双尾号数字。

本发明实施例所提供的数据库的数据迁移装置可执行本发明任意实施例所提供的数据库的数据迁移方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种设备的结构示意图，如图5所示，该设备包括处理器70、存储器71、输入装置72和输出装置73；设备中处理器70的数量可以是一个或多个，图5中以一个处理器70为例；设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据库的数据迁移方法对应的程序指令/模块(例如，数据库的数据迁移装置中的表数据分片模块10、分片数据标识模块20、建库建表模块30、分表数据标识模块40、开关设置模块50和数据迁移模块60)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备/终端/服务器的各种功能应用以及数据处理，即实现上述的数据库的数据迁移方法。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。

实施例六

本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据库的数据迁移方法，该方法包括：

将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；

按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，所述分片标识与所述分表标识一一对应且相同；

设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据库的数据迁移方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种数据库的数据迁移方法，其特征在于，包括：

将旧数据库的表数据按照预设分片规则分出多片数据，并对每片数据做相应的分片标识；

按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表，并对每个分表做相应的分表标识；其中，所述分片标识与所述分表标识一一对应且相同；

设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关，根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。

2.根据权利要求1所述的数据库的数据迁移方法，其特征在于，当所述旧数据库和/或所述新数据库为第一类数据库时，所述根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中，包括：

S11、在数据迁移前，打开所述旧数据库读逻辑开关和所述旧数据库写逻辑开关，关闭所述新数据库读逻辑开关和所述新数据库写逻辑开关，读取目标标识对应的分片数据；

S12、在数据迁移中，打开所述旧数据库读逻辑开关，关闭所述旧数据库写逻辑开关、所述新数据库读逻辑开关和所述新数据库写逻辑开关，将所述目标标识对应的分片数据迁移至对应标识的分表中；

S13、在数据迁移后，关闭所述旧数据库读逻辑开关，打开所述旧数据库写逻辑开关、所述新数据库读逻辑开关和所述新数据库写逻辑开关，校验所述目标标识对应的新数据库的数据与对应标识的旧数据库的数据的一致性；

按照S11-S13步骤，依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中。

3.根据权利要求2所述的数据库的数据迁移方法，其特征在于，所述第一类数据库为数据库中间件不支持或支持力度低的数据库。

4.根据权利要求1所述的数据库的数据迁移方法，其特征在于，当所述旧数据库和/或所述新数据库为第二类数据库时，所述根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中，包括：

S21、在数据迁移前，打开所述旧数据库读逻辑开关和所述旧数据库写逻辑开关，关闭所述新数据库读逻辑开关和所述新数据库写逻辑开关，读取目标标识对应的分片数据；

S22、在数据迁移中，打开所述旧数据库读逻辑开关和所述旧数据库写逻辑开关，关闭所述新数据库读逻辑开关和所述新数据库写逻辑开关，将所述目标标识对应的分片数据迁移至对应标识的分表中；

S23、在数据迁移后，关闭所述旧数据库读逻辑开关，打开所述旧数据库写逻辑开关、所述新数据库读逻辑开关和所述新数据库写逻辑开关，校验所述目标标识对应的新数据库的数据与对应标识的旧数据库的数据的一致性；

按照S21-S23步骤，依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中。

5.根据权利要求4所述的数据库的数据迁移方法，其特征在于，所述第二类数据库为数据库中间件可支持的数据库。

6.根据权利要求2或4所述的数据库的数据迁移方法，其特征在于，在依次将所有标识对应的分片数据迁移至新数据库对应标识的分表中之后，关闭所述旧数据库读逻辑开关，打开所述旧数据库写逻辑开关、所述新数据库读逻辑开关和所述新数据库写逻辑开关，待运行稳定后，关闭所述旧数据库写逻辑开关。

7.根据权利要求2或4所述的数据库的数据迁移方法，其特征在于，在将所述目标标识对应的分片数据迁移至对应标识的分表中之后，若出现写入新数据库成功而写入旧数据库失败，则将写入旧数据库数据补齐。

8.根据权利要求7所述的数据库的数据迁移方法，其特征在于，所述将写入旧数据库数据补齐包括：

利用数据库中间件实时检测所述写入新数据库与写入旧数据库的数据差异性进行补入数据。

9.根据权利要求1所述的数据库的数据迁移方法，其特征在于，所述预设分库规则为十库十表或者十库百表，对应的，所述分片标识和所述分表标识为单尾号数字或双尾号数字。

10.一种数据库的数据迁移装置，其特征在于，包括：

表数据分片模块，用于将旧数据库的表数据按照预设分片规则分出多片数据；

分片数据标识模块，用于对每片数据做相应的分片标识；

建库建表模块，用于按照预设分库规则建立多个新数据库，对每个新数据库建立至少一个分表；

分表数据标识模块，用于对每个分表做相应的分表标识；其中，所述分片标识与所述分表标识一一对应且相同；

开关设置模块，用于设置旧数据库读逻辑开关、旧数据库写逻辑开关、新数据库读逻辑开关和新数据库写逻辑开关；

数据迁移模块，用于根据预设开关规则，将旧数据库的表数据按照标识依次迁移到新数据库对应的各个分表中。

11.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的数据库的数据迁移方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的数据库的数据迁移方法。

Images