CN114936198A

CN114936198A - 一种数据迁移的方法及装置

Info

Publication number: CN114936198A
Application number: CN202210635463.XA
Authority: CN
Inventors: 王亦轩; 汪雅丽; 吴兴华; 徐一茗
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2022-06-07
Filing date: 2022-06-07
Publication date: 2022-08-23

Abstract

本申请公开本一种数据迁移的方法及装置，可应用与人工智能领域。本申请中响应于神经网络模型指示对第一数据进行数据迁移；然后确定第一数据迁入的目标表。创建与目标表结构一致的临时表。自动对第一数据的物理存储位置进行迁移，将第一数据迁入临时表。然后再对临时表中的第一数据的物理存储位置进行迁移，以将第一数据从临时表迁入所述目标表。本申请中识别出需要迁移的第一数据之后，自动将第一数据物理存储位置迁入到目标表中，由于是直接改变第一数据的存储位置，也就不需要在复制，删除原数据。并且整个过程是自动完成数据迁移，不需要人工参与。如此，提高数据迁移的效率。

Description

一种数据迁移的方法及装置

技术领域

本申请涉及人工智能技术领域，特别是涉及一种数据迁移的方法。

背景技术

近年来，互联网、云计算、人工智能等技术领域快速发展，银行方面为了推动业务发展，也需要与各个技术领域不断深化融合。随着融合深入，银行客户的交易数据和银行的管理数据都呈几何倍数增长，数据越来越庞大，如何对这些这些数据进行储存成为关键。

目前用Oracle数据库中的表来接收并存储每日的数据，当表储存数据过多时，就需要对表中数据进行迁移。现有的数据迁移方式是人工把表中数据复制到别的表中，然后删除原表中数据。但是这种迁移方式是人工对需要迁移的数据进行迁移，由于人工迁移的方式容易受人主观因素和外界因素影响，例如：人为因素导致数据误删，或者人工工作效率低等。导致其有人工对需要迁移的数据进行迁移，效率低的问题。

因此，如何提高数据迁移的效率，是本领域技术人员急需解决的技术问题。

发明内容

本申请提供一种数据迁移的方法，以便提高数据迁移的效率，本申请还提供一种数据迁移的装置。

第一方面，本申请提供一种数据迁移的方法，包括：

识别用户身份；

响应于神经网络模型指示对第一数据进行数据迁移；确定所述第一数据迁入的目标表；创建与所述目标表结构一致的临时表；

对所述第一数据的物理存储位置进行迁移，以将所述第一数据迁入所述临时表；对所述临时表中的第一数据的物理存储位置进行迁移，以将所述第一数据从所述临时表迁入所述目标表。

可选的，所述神经网络模型是通过以下方式获得的：

获取训练参数，所述训练参数包括往期进行数据迁移时，数据库内资源使用信息，决策环境和决策结果；

基于所述训练参数训练神经网络初始模型，获得所述神经网络模型。

可选的，在神经网络模型指示对第一数据进行数据迁移之前，所述方法包括：

获取基础参数；

将所述基础参数输入所述神经网络模型；所述基础参数包括当日数据变动信息；

如果所述神经网络模型确定所述基础参数变化大于第一阈值，确定所述神经网络模型指示对所述第一数据进行数据迁移。

可选的，所述方法还包括：

将索引和包括所述第一数据的分区的标识储存到游标中，所述游标用于储存从数据库中提取的包含所述第一数据的数据块。

可选的，将所述第一数据从所述临时表中迁入所述目标表之后，所述方法还包括：

响应于检查到第一存储分区不包括所述第一数据，删除所述第一存储分区，所述第一存储分区为数据迁移前用于存储所述第一数据的分区；

响应于检查到目标表对应分区中存在所述第一数据，将所述第一数据插入到目标表中。

可选的，所述方法还包括：

响应于所述第一存储分区包括全局索引，重建全局索引，所述全局索引为以整个表数据为对象建立的索引。

第二方面，本申请还提供一种数据迁移的装置，所述装置包括：

响应单元，用于响应于神经网络模型对第一数据进行数据迁移的指示；确定所述第一数据迁入的目标表；创建与所述目标表结构一致的临时表；

迁移单元，用于对所述第一数据物理存储位置进行迁移，以将所述第一数据迁入所述临时表；对临时表中第一数据物理存储位置进行迁移，以将所述第一数据从所述临时表迁入所述目标表。

可选的，所述装置还包括：

获取单元，用于获取基础参数；

输入单元，用于将所述基础参数输入所述神经网络模型；所述基础参数包括当日数据变动信息；

确定单元，用于如果所述神经网络模型确定所述基础参数变化较大，确定所述神经网络模型指示对所述第一数据进行数据迁移。

可选的，所述装置还包括：

储存单元，用于将索引和包括所述第一数据的分区的标识储存到游标中，所述游标用于临时储存从数据库中提取的包含所述第一数据的数据块。

可选，所述响应单元，还用于，响应于检查到第一存储分区不包括所述第一数据，删除所述第一存储分区，所述第一存储分区为数据迁移前用于存储所述第一数据的分区；响应于检查到目标表对应分区中存在所述第一数据，将所述第一数据插入到目标表中。

可选的，所述装置还包括：

重建单元，用于响应于所述第一存储分区包括全局索引，重建全局索引，所述全局索引为以整个表数据为对象建立的索引。

第三方面，本申请实施例提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面任一项所述的方法。

第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面任一项所述的方法。

相较于现有技术，本申请具有以下有益效果：

本申请中响应于神经网络模型指示对第一数据进行数据迁移，然后确定第一数据迁入的目标表，创建与目标表结构一致的临时表。自动对第一数据物理的存储位置进行迁移，将第一数据迁入临时表，然后再对临时表中的第一数据的物理存储位置进行迁移，以将第一数据从临时表迁入所述目标表。相较于现有技术中人工把表中数据复制到别的表中，然后删除原表中数据的数据迁移方法。本申请中识别出需要迁移的第一数据之后，数据库自动将第一数据物理存储位置迁入到目标表中，由于是直接改变第一数据的存储位置，也就不需要在复制，删除原数据，并且整个过程是数据库自动完成数据迁移，不需要人工参与。从而就可以克服现有技术中人工迁移的方式容易受人主观因素和外界因素影响导致其有人工对需要迁移的数据进行迁移，效率低的问题。如此，可以提高数据迁移的效率。

附图说明

为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据迁移方法的流程图；

图2为本申请实施例提供的另一种数据迁移方法的流程图；

图3为本申请实施例提供的数据迁移装置的一种具体实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。

需要说明的是，本申请提供的一种数据迁移的方法及装置，用于人工智能领域。上述仅为示例，并不对本申请提供的方法及装置名称的应用领域进行限定。

发明人经过研究提出本申请技术方案。本申请中识别出需要迁移的第一数据之后，自动将第一数据的物理存储位置迁入到目标表中，由于是直接改变第一数据的物理存储位置，也就不需要在复制，删除原数据。并且整个过程是数据库自动完成数据迁移，不需要人工参与。从而就可以克服现有技术中人工迁移的方式容易受人主观因素和外界因素影响导致其有人工对需要迁移的数据进行迁移，效率低的问题。如此，提高了数据迁移的效率。

本申请实施例提供的方法可以在终端设备上执行。所述终端设备例如可以是手机、平板电脑、计算机等设备。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。下面以本申请实施例提供的方法由数据库执行为例进行说明。

图1为本申请实施例提供的一种数据迁移方法的流程图。如图1所示，该方法包括：

S101：响应于神经网络模型指示对第一数据进行数据迁移；确定所述第一数据迁入的目标表；创建与所述目标表结构一致的临时表；

数据库通过神经网络模型对数据进行判断，看数据是否是需要进行迁移的数据，如果数据是需要进行数据迁移的数据，则神经网络模型输出相应的决策结果，根据决策结果对第一数据，也就是需要进行迁移的数据进行数据迁移。

在响应于神经网络模型指示之后，确定第一数据要迁入的目标表，然后创建和目标表结构一致的临时表。可以理解，其中，目标表为第一数据最后要迁入的表，临时表为临时接收第一数据迁入的表。进一步解释，要将第一数据从原表中迁入到目标表，要创建与目标表结构一致的临时表作为中转站，然后将第一数据从临时表中迁入到目标表。

S102：对所述第一数据的物理存储位置进行迁移，以将所述第一数据迁入所述临时表；对所述临时表中的第一数据的物理存储位置进行迁移，以将所述第一数据从所述临时表迁入所述目标表。

数据库在确定第一数据迁入的目标表；创建了与目标表结构一致的临时表之后，将第一数据的物理储存位置迁入到临时表中，然后再将第一数据的物理储存位置从临时表迁入到目标表，完成数据迁移。

为更好理解，举例说明，以计算机为例，原来某些数据储存在计算机C盘，当需要对这些数据进行迁移时，比如需要迁移到D盘，就可以直接改变这些数据的指针地址，将指针地址指向D盘，此时这些数据就储存在D盘中了，释放了C盘对应的空间，通过直接改变数据的物理存储地址的方式完成迁移。也就不需要在复制，删除原数据，并且整个过程是数据库自动完成数据迁移，不需要人工参与，提高数据迁移的效率。

本申请中响应于神经网络模型指示对第一数据进行数据迁移；然后确定第一数据迁入的目标表，创建与目标表结构一致的临时表。自动对第一数据物理的存储位置进行迁移，将第一数据迁入临时表，然后再对临时表中的第一数据的物理存储位置进行迁移，以将第一数据从临时表迁入所述目标表。相较于现有技术中人工把表中数据复制到别的表中，然后删除原表中数据的数据迁移方法。本申请中识别出需要迁移的第一数据之后，数据库自动将第一数据物理存储位置迁入到目标表中，由于是直接改变第一数据的物理存储位置，也就不需要在复制，删除原数据。并且整个过程是数据库自动完成数据迁移，不需要人工参与。从而就可以克服现有技术中人工迁移的方式容易受人主观因素和外界因素影响导致其有人工对需要迁移的数据进行迁移，效率低的问题。如此，提高数据迁移的效率。

图2为本申请实施例提供的另一种数据迁移方法的流程图。如图2所示，该方法包括：

S201：根据基础参数，基于神经网络模型，确定神经网络模型指示对第一数据进行数据迁移。

获取包括当日数据变动信息的基础参数，将基础参数输入神经网络模型，如果神经网络模型确定基础参数变化大于第一阈值，则确定神经网络模型指示对第一数据进行数据迁移。

进一步解释，神经网络模型可以根据获取的包括往期进行数据迁移时，数据库内资源使用信息，决策环境和决策结果的训练参数，对神经网络初始模型，进行训练所获得。

S202：将索引和包括所述第一数据的分区的标识储存到游标中。

当确定神经网络模型指示对第一数据进行数据迁移之后，将索引和包括所述第一数据的分区的标识储存到游标中，可以理解，游标是数据库的内存工作区，用于储存从数据库中提取的包含第一数据的数据块。

S203：确定所述第一数据迁入的目标表；创建与所述目标表结构一致的临时表。

可以理解，其中，目标表为第一数据最后要迁入的表，临时表为临时接收第一数据迁入的表。进一步解释，要将第一数据从原表中迁入到目标表，要创建与目标表结构一致的临时表作为中转站，然后将第一数据从临时表中迁入到目标表。

S204：对第一数据的物理存储位置进行迁移，以将所述第一数据迁入所述临时表；对所述临时表中的第一数据的物理存储位置进行迁移，以将所述第一数据从所述临时表迁入所述目标表。

在确定第一数据迁入的目标表；创建了与目标表结构一致的临时表之后，将第一数据的物理储存位置迁入到临时表中，然后再将第一数据的物理储存位置从临时表迁入到目标表，完成数据迁移。

S205：响应于检查到第一存储分区不包括所述第一数据，删除所述第一存储分区；响应于检查到目标表对应分区中存在所述第一数据，则将所述第一数据插入到目标表中。

在第一数据从临时表迁入目标表之后，检查第一存储分区是否存在数据，若不存在数据，则删除第一存储分区，若存在数据，则继续检查第二存储分区是否存在数据，若存在数据，则可以使用insert语句则将第一数据插入到目标表中。

可以理解的是，第一存储分区是指数据迁移前用于存储第一数据的分区，第二存储分区指的是目标表对应的分区。

S206：检查第一存储分区，如果第一存储分区存在全局索引，则重建全局索引。

在完成数据迁移之后，检查第一存储分区，如果第一存储分区存在全局索引，则重建全局索引，可以理解全局索引是以整个表的数据为对象建立的索引。

以上为本申请实施例提供数据迁移的方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的装置进行介绍，该装置与上文描述的数据迁移方法可相互对应参照。

图3为本申请实施例提供的数据迁移装置的一种具体实施方式的结构示意图。称其为具体实施方式三，参照图3所述装置可以包括：

响应单元300，用于响应于神经网络模型对第一数据进行数据迁移的指示；确定所述第一数据迁入的目标表；创建与所述目标表结构一致的临时表；

迁移单元310，用于对所述第一数据物理存储位置进行迁移，以将所述第一数据迁入所述临时表；对临时表中第一数据物理存储位置进行迁移，以将所述第一数据从所述临时表迁入所述目标表。

可选的，所述装置还包括：

获取单元，用于获取基础参数；

可选的，所述装置还包括：

本申请中响应单元300响应于神经网络模型指示对第一数据进行数据迁移；然后确定第一数据迁入的目标表，创建与目标表结构一致的临时表。迁移单元310自动对第一数据的物理存储位置进行迁移，将第一数据迁入临时表；然后再对临时表中的第一数据的物理存储位置进行迁移，将第一数据从临时表迁入目标表。相较于现有技术中人工把表中数据复制到别的表中，然后删除原表中数据的数据迁移方法。本申请中识别出需要迁移的第一数据之后，数据库自动将第一数据物理存储位置迁入到目标表中，由于是直接改变第一数据的物理存储位置，也就不需要在复制，删除原数据。并且整个过程是数据库自动完成数据迁移，不需要人工参与。从而就可以克服现有技术中人工迁移的方式容易受人主观因素和外界因素影响导致其有人工对需要迁移的数据进行迁移，效率低的问题。如此，提高数据迁移的效率。

本申请实施例还提供了对应的设备以及计算机存储介质，用于实现本申请实施例提供的方案。

其中，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行本申请任一实施例所述的方法。

所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现本申请任一实施例所述的方法。

本申请实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。

Claims

1.一种数据迁移的方法，其特征在于，包括：

对所述第一数据的物理存储位置进行迁移，以将所述第一数据迁入所述临时表，对所述临时表中的第一数据的物理存储位置进行迁移，以将所述第一数据从所述临时表迁入所述目标表。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型是通过以下方式获得的：

3.根据权利要求1所述的方法，其特征在于，在神经网络模型指示对第一数据进行数据迁移之前，所述方法包括：

获取基础参数；

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，将所述第一数据从所述临时表中迁入所述目标表之后，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.一种数据迁移的装置，其特征在于，包括：

迁移单元，用于对所述第一数据物理存储位置进行迁移，以将所述第一数据迁入所述临时表，对临时表中第一数据物理存储位置进行迁移，以将所述第一数据从所述临时表迁入所述目标表。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

获取单元，用于获取基础参数；

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

10.根据权利要求7所述的装置，其特征在于，所述响应单元，还用于，响应于检查到第一存储分区不包括所述第一数据，删除所述第一存储分区，所述第一存储分区为数据迁移前用于存储所述第一数据的分区；响应于检查到目标表对应分区中存在所述第一数据，将所述第一数据插入到目标表中。