CN111737235A - 用于电力行业的异构数据迁移方法 - Google Patents

Abstract

本申请实施例提出了用于电力行业的异构数据迁移方法，包括接收针对异构数据迁移的业务需求，对业务需求进行解析得到异构数据迁移的源数据库以及目标数据库；判定位于源数据库缓冲区内已转换数据的转换格式是否符合目标数据库的数据格式；如符合，基于已转换数据向目标数据库进行异构数据传输。通过对设置在源数据库缓冲区内的预先得到的已转换数据是否符合目标数据库格式要求进行判断，由于缓冲数据库中的已转换数据存在符合目标数据库格式的可能性，因此能够在一定程度上降低异构数据迁移所需的时长，从而提升数据迁移速度。

Description

用于电力行业的异构数据迁移方法

技术领域

本申请属于数据库管理领域，尤其涉及用于电力行业的异构数据迁移方法。

背景技术

现有的异构数据迁移工具包括如下两类：

（1）Apache Sqoop异构数据迁移工具，支持传统数据库Oracle、MySQL等与Hive间的异构迁移；

（2）Datax异构数据迁移工具，支持Oracle、MySQL HBase、Hive、HDFS等多种异构数据之间数据迁移工作。

以上两种异构数据迁移方法，只适用于单维度HBase表，且存储模式为Normal或是列名指定的迁移场景。而电力用能数据的数据源呈现多模板、多采集、多上送、多维度的特点，存储格式有动态的列名以及二级索引表、JSON、Protobuf，因此现有的异构迁移方法不能满足电力异构用能数据共享需求。

为了解决上述需求，目前采用SPARK分布式计算框架来解决异构数据迁移问题，但是由于框架结构所限，在异构数据的传输过程中很容易出现传输速度下降的问题，对后续数据处理阶段带来困扰。

发明内容

为了解决现有技术中存在的缺点和不足，本申请提出了用于电力行业的异构数据迁移方法，通过设置在源数据库缓冲区内的预先得到的已转换数据是否符合目标数据库格式要求进行判断，由于缓冲数据库中的已转换数据存在符合目标数据库格式的可能性，因此能够在一定程度上降低异构数据迁移所需的时长，从而提升数据迁移速度。

具体的，本申请实施例提出的用于电力行业的异构数据迁移方法，基于数据库分布式存储结构对电力数据进行迁移，所述方法包括：

接收针对异构数据迁移的业务需求，对业务需求进行解析得到异构数据迁移的源数据库以及目标数据库；

判定位于源数据库缓冲区内已转换数据的转换格式是否符合目标数据库的数据格式；

如符合，基于已转换数据向目标数据库进行异构数据传输。

如不符合，基于源数据库、目标数据库以及数据库分布式存储结构构建异构数据迁移所使用的映射关系，基于映射关系进行由源数据库向目标数据库的异构数据迁移；

其中，已转换数据为空闲时间段内根据历史业务需求进行异构数据迁移的数据。

可选的，所述方法还包括构建缓冲区的操作，具体包括：

基于历史业务需求解析结果构建业务需求统计表；

从业务需求统计表中选取业务需求数据量最多的源数据库、目标数据库作为模范源数据库、模范目标数据库，同时获取分别对应模范源数据库、模范目标数据库的数据类型和数据结构；

在模范源数据库内增设用于存储预转换数据的缓冲区。

可选的，所述方法还包括：

所述业务需求数据量包括历史统计中涉及进行异构数据迁移的数据总量和/或进行异构数据迁移的次数。

可选的，所述方法还包括：

在模范目标数据库内增设用于存储预转换数据的缓冲区。

可选的，所述基于源数据库、目标数据库以及数据库分布式存储结构构建异构数据迁移所使用的映射关系，基于映射关系进行由源数据库向目标数据库的异构数据迁移，包括：

获取源数据库、目标数据库的数据存储结构，以及体现源数据库、目标数据库存储节点的数据库分布式存储结构的路由层级关系；

选取数据存储结构对应路由层级开销最小的源数据库、目标数据库中的数据结构作为映射关系元素；

基于得到的映射关系元素对电力数据进行源数据库向目标数据库进行异构数据迁移所必须的格式转换，将格式转换后的电力数据存入目标数据库中。

可选的，所述方法还包括：

基于源数据库中数据类别、数据结构选取对应的校验算法对数据完整性进行校验，生成包含异常数据位置、异常类型的异常数据统计表；

可选的，还包括进行数据完整性校验的步骤，具体包括：

从源数据库中按类别逐个获取每行数据的数据，将获取到的数据逐个存放在校验队列中；

逐个验证校验队列中每个数据内容是否为空，同时验证每个存储位数据的数据格式是否符合预设类别要求；

计算每个类别中数据的均方差，对每个存储位中均方差大于预设阈值的数据增加内容为1的标签值，表示该位置的数据为异常数据；

统计标签值为1的存储位编号，同时将该存储位数据是否符合类别要求以及数据内容是否为空的情况绘制成异常数据统计表。

可选的，所述方法还包括：

根据异常数据统计表结合目标数据库的数据结构、类别在异构数据迁移过程中针对异常数据进行存储位预留，在预留的存储位对异常数据进行修改、替换操作。

本申请提供的技术方案带来的有益效果是：

选取历史迁移需求中数量较多的数据库，在该数据库中建立缓冲区，预先对各自数据库中的数据进行预转换处理，将转换后的数据存入缓冲区内，在满足迁移需求的情况下借助已转换数据进行异构数据传输以便提升数据转换过程的处理速度。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实例提出的异构数据迁移方法的流程示意图。

具体实施方式

为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。

实施例一

为了解决现有技术中存在的进行电力行业异构数据迁移时存在传输速度较低的问题，本实施例提出了用于电力行业的异构数据迁移方法，基于数据库分布式存储结构对电力数据进行迁移，如图1所示，所述方法包括：

11、接收针对异构数据迁移的业务需求，对业务需求进行解析得到异构数据迁移的源数据库以及目标数据库；

12、判定位于源数据库缓冲区内已转换数据的转换格式是否符合目标数据库的数据格式；

13、如符合，基于已转换数据向目标数据库进行异构数据传输；

14、如不符合，基于源数据库、目标数据库以及数据库分布式存储结构构建异构数据迁移所使用的映射关系，基于映射关系进行由源数据库向目标数据库的异构数据迁移。

在实施中，为了解决现有数据迁移框架中存在的传输速度较低的缺陷，本申请实施例提出的异构数据迁移方法中引入了“缓冲区”的概念，在数据库尤其是处理数据转出的源数据库中设置存储根据历史迁移需求所对应的目标数据库数据格式进行预先数据格式转换的缓冲区，增大响应当前异构数据迁移到的业务需求的数据格式转换命中率，一旦命中则直接从源数据库缓冲区内提取已转换数据至目标数据库进行异构数据传输，同时将缓冲区外的数据同步进行格式转换操作，从而缩短数据转换整体时长，提升异构数据迁移速度。

具体的，基于上述缓冲区的简要处理流程如前述步骤11至14所示，其中步骤11提出的业务需求解析操作在实际处理过程中的操作是接收客户端或其他设备发送的业务需求，绝大部分情况下业务需求以数据包的形式发送。在接收到业务需求的数据包后，对数据包进行解析从中得到需要转出数据的源数据库以及用于接收迁移数据的目标数据库。这里得到的源数据库、目标数据库具体信息包括对应的数据库名称、每个数据库中的数据存储类型、数据格式。

步骤12提出的对源数据库中的已转换数据的判断过程主要是针对存储在源数据库缓冲区内的已转换数据的数据格式是否符合目标数据库的数据格式。由于在异构数据迁移过程中，最重要的步骤就是数据格式转换，因此在该步骤的判断过程中，直接对缓冲区内的数据格式是否符合要求进行判断，也是出于缩短迁移时间的考虑。

步骤13与步骤14分别是步骤12判断后的两个分支，简而言之如果通过步骤12的数据格式判断，如果当前缓冲区内的已转换数据的数据格式与目标数据库中的数据格式相符，则直接进行异构数据迁移步骤，相反则需要构建连接源数据库、目标数据库之间数据格式转换的映射关系，进而基于映射关系完成异构数据迁移。

在这里需要着重说明的是，已转换数据是在并未进行异构数据迁移的空闲时间段内基于根据历史业务需求选取出的模范源数据库向模范目标数据库进行异构数据迁移所需格式转换下得到的符合模范目标数据库内数据格式的数据或数据集合。即已转换数据是利用空余时间段生成，不会对正常的异构数据迁移操作造成影响。这样才能在正常的异构数据迁移操作中藉由已转换数据减少进行实时数据格式转换操作来提高异构数据迁移的整体速度。

可选的，本实施例提出的异构数据迁移方法除前述步骤11至14外，还包括构建缓冲区的操作，具体包括：

21、基于历史业务需求解析结果构建业务需求统计表；

22、从业务需求统计表中选取业务需求数据量最多的源数据库、目标数据库作为模范源数据库、模范目标数据库，同时获取分别对应模范源数据库、模范目标数据库的数据类型和数据结构；

23、在模范源数据库内增设用于存储预转换数据的缓冲区。

在实施中，基于前述内容可知，缓冲区的目的在于预先存储已转换数据，由此可知已转换数据的数据格式转换方向也需要预先得到，因此构建缓冲区的操作首先需要对业务需求中的数据转换方向进行统计，这里步骤21所采取的措施是对包含异构数据迁移的源数据库和目标和数据库信息在内的业务需求进行解析，进而以业务需求统计表的形式对业务需求中的源数据库和目标数据库的出现次数进行统计。

在步骤22中提出选取业务需求数据量最多的数据库。这里的业务需求数据量包括历史统计中涉及进行异构数据迁移的数据总量和/或进行异构数据迁移的次数。这里之所以进行选取目的是为了选出需要进行异构数据迁移格式最为频繁的数据格式转换方向，进而以该方向为基础在对应的源数据库内设立缓冲区，预先进行异构数据迁移得到已转换数据，一旦接收到符合该数据格式转换方向的业务需求，就可以直接将缓冲区的已转换数据发送至目标数据库。

为了明确数据格式转换方向，这里将业务需求数据量最多选出的源数据库、目标数据库分别称为模范源数据库、模范目标数据库，进而获取两个模范数据库各自的数据类型和数据结构，目的在于根据模范源数据库向模范目标数据库进行异构数据迁移的方向对模范源数据库中的数据进行数据格式转换得到已转换数据。

值得注意的是，步骤23提出分别在模范源数据库和模范目标数据库内增设缓冲区。按通常做法在数据迁出侧模范源数据库（即源数据库）处建立缓冲区是最有利于缩短异构数据迁移时间提升异构数据迁移速率。之所以另外在模范目标数据库（目标数据库）处建立缓冲区，是考虑到目标数据库在进行异构数据写入时会存在涉及多项目数据的情况。进行迁移的数据虽然已根据目标数据库的数据格式、数据类型进行了转换，但不同项目（例如终端名称、终端位置）的数据在存储时需要随时修改存储地址，还是会影响实际的数据写入速度，因此在目标数据库处也建立缓冲区，目的是在目标数据库处的缓冲区内将写入目标数据库的数据按项目名称进行预先分类整合，待缓冲区满时按项目名称不同一次性将同类项目名称的数据进行整体写入，这样无需对当前进行数据写入的存储地址进行动态调整，能够以缩短数据写入时间的方式提升异构数据迁移的整体速度。

可选的，所述基于源数据库、目标数据库以及数据库分布式存储结构构建异构数据迁移所使用的映射关系，基于映射关系进行由源数据库向目标数据库的异构数据迁移，即步骤14包括：

141、获取源数据库、目标数据库的数据存储结构，以及体现源数据库、目标数据库存储节点的数据库分布式存储结构的路由层级关系；

142、选取数据存储结构对应路由层级开销最小的源数据库、目标数据库中的数据结构作为映射关系元素；

143、基于得到的映射关系元素对电力数据进行源数据库向目标数据库进行异构数据迁移所必须的格式转换，将格式转换后的电力数据存入目标数据库中。

在实施中，考虑到缓冲区不可能命中所有的异构数据迁移的业务需求，因此本实施例还提出了构建映射关系进而基于映射关系进行异构数据迁移的步骤。

在现有技术中表明源数据库、目标数据库之间数据映射关系的映射关系通常包括源数据库、目标数据库之间的数据格式转换规则、存储地址转换等内容，本申请实施例提出的映射关系除了包括上述内容外，还包括体现源数据库、目标数据库存储节点的数据库分布式存储结构的路由层级关系。

这里之所以增加路由层级关系，是因为复杂的路由关系会增加数据传输过程中路径的复杂程度，路径复杂程度增加会引入过多导致数据完整性下降的意外传输因素，同时过多的转发节点会延长数据传输时间，因此本步骤在挑选映射关系元素时引入了路由层级关系。

这里的路由层级关系表现形式为对应源数据库、目标数据库的存储节点的数据库分布式存储结构，由前文可知，两类数据库均基于数据库分布式存储结构，因此常用的路由层级关系表现形式为分布式存储结构的数据转发节点、以及对应每处数据转发节点的路由关系数据。根据每个数据转发节点所处的传输位置以及每个数据转发节点处的存储在路由表中的路由关系数据能够快速确定单一存储服务器的实际位置以及连接该实际位置的转发次数、转发路径，以便选取最短转发路径和最少转发次数的路由关系进行异构数据迁移。

在确定增加路由层级关系作为映射关系元素后，则执行步骤142选取数据存储结构对应路由层级开销最小的源数据库、目标数据库中的数据结构作为映射关系元素，由于包括最短转发路径和最少转发次数的最小路由层级开销表明当前传输路径是源数据库或目标数据库内消耗时间最少的数据传输路径，因此在执行步骤143提出的格式转换、以及格式转换后的数据存入操作就可以具有最短的数据传输时间，从而起到提升异构数据迁移效率的最终目的。

可选的，所述方法还包括：

15、基于源数据库中数据类别、数据结构选取对应的校验算法对数据完整性进行校验，生成包含异常数据位置、异常类型的异常数据统计表。

在实施中，由于源数据库中的数据完整性不能得到保证，因此为了确保异构数据迁移过程的完整性，同时确保存储至目标数据库中数据的清洁程度，本申请实施例提出的异构数据迁移方法还提出了在源数据库中建立异常数据统计表的步骤。

设置在源数据库中的异常数据统计表，具体包括异常数据位置、异常类型等内容。异常数据位置以及异常类型的获取来源于对源数据中的数据类别、数据结构基于校验算法处理后的结果。

进行数据完整性校验的方法如下：

151、从源数据库中按类别逐个获取每行数据的数据，将获取到的数据逐个存放在校验队列中；

152、逐个验证校验队列中每个数据内容是否为空，同时验证每个存储位数据的数据格式是否符合预设类别要求；

153、计算每个类别中数据的均方差，对每个存储位中均方差大于预设阈值的数据增加内容为1的标签值，表示该位置的数据为异常数据；

154、统计标签值为1的存储位编号，同时将该存储位数据是否符合类别要求以及数据内容是否为空的情况绘制成异常数据统计表。

该异常数据统计表会随同异构数据一起迁移至目标数据库，以便在目标数据库内根据异常数据统计表进行异常数据补全或其他处理。

可选的，所述方法还包括：

16、根据异常数据统计表结合目标数据库的数据结构、类别在异构数据迁移过程中针对异常数据进行存储位预留，在预留的存储位对异常数据进行修改、替换操作。

在实施中，目标数据库在收到异常数据统计表后，根据异常数据表中的详细内容，首先在出现异常数据的存储位进行空数据存储、即针对异常数据进行存储位预留操作，当此次对应目标数据库的异构数据迁移操作处理完成后，针对迁移过程出现的存储位预留的问题，选取存储位对应的异常数据，根据前一步骤154提出的数据类别是否符合要求等内容对格式明显错误的数据进行格式调整。

这里的调整操作，包括对类似000.1000的数据修改为0.1的修改操作，对同类数据为2020/01/01,而异常数据为二零二零零一零一的数据进行替换操作。

经过上述处理使得存储在目标数据库中的数据具有清晰正确的格式，以便后续处理过程中目标数据库可以提供正确的参考。

本申请实施例提出了用于电力行业的异构数据迁移方法，通过在源数据库建立缓冲区的方式，如果进行异构数据迁移的源数据库向目标数据库的迁移方向与缓冲区中存储的已转换数据一致，可以直接将缓冲区内的数据迁移至目标数据库，相对于现有技术中需要根据映射关系进行实时数据转换的方式相比，能够有效缩短数据转换时间，提升异构数据迁移的速度。

上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。

以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.用于电力行业的异构数据迁移方法，基于数据库分布式存储结构对电力数据进行迁移，其特征在于，所述方法包括：

接收针对异构数据迁移的业务需求，对业务需求进行解析得到异构数据迁移的源数据库以及目标数据库；

判定位于源数据库缓冲区内已转换数据的转换格式是否符合目标数据库的数据格式；

如符合，基于已转换数据向目标数据库进行异构数据传输；

如不符合，基于源数据库、目标数据库以及数据库分布式存储结构构建异构数据迁移所使用的映射关系，基于映射关系进行由源数据库向目标数据库的异构数据迁移；

其中，已转换数据为空闲时间段内根据历史业务需求进行异构数据迁移的数据。

2.根据权利要求1所述的用于电力行业的异构数据迁移方法，其特征在于，所述方法还包括构建缓冲区的操作，具体包括：

基于历史业务需求解析结果构建业务需求统计表；

从业务需求统计表中选取业务需求数据量最多的源数据库、目标数据库作为模范源数据库、模范目标数据库，同时获取分别对应模范源数据库、模范目标数据库的数据类型和数据结构；

在模范源数据库内增设用于存储预转换数据的缓冲区。

3.根据权利要求2所述的用于电力行业的异构数据迁移方法，其特征在于，所述方法还包括：

所述业务需求数据量包括历史统计中涉及进行异构数据迁移的数据总量和/或进行异构数据迁移的次数。

4.根据权利要求2所述的用于电力行业的异构数据迁移方法，其特征在于，所述方法还包括在模范目标数据库内增设用于存储预转换数据的缓冲区。

5.根据权利要求1~4任一所述的用于电力行业的异构数据迁移方法，其特征在于，所述基于源数据库、目标数据库以及数据库分布式存储结构构建异构数据迁移所使用的映射关系，基于映射关系进行由源数据库向目标数据库的异构数据迁移，包括：

获取源数据库、目标数据库的数据存储结构，以及体现源数据库、目标数据库存储节点的数据库分布式存储结构的路由层级关系；

选取数据存储结构对应路由层级开销最小的源数据库、目标数据库中的数据结构作为映射关系元素；

基于得到的映射关系元素对电力数据进行源数据库向目标数据库进行异构数据迁移所必须的格式转换，将格式转换后的电力数据存入目标数据库中。

6.根据权利要求1~4任一所述的用于电力行业的异构数据迁移方法，其特征在于，所述方法还包括：

基于源数据库中数据类别、数据结构选取对应的校验算法对数据完整性进行校验，生成包含异常数据位置、异常类型的异常数据统计表。

7.根据权利要求6所述的用于电力行业的异构数据迁移方法，其特征在于，还包括进行数据完整性校验的步骤，具体包括：

从源数据库中按类别逐个获取每行数据的数据，将获取到的数据逐个存放在校验队列中；

逐个验证校验队列中每个数据内容是否为空，同时验证每个存储位数据的数据格式是否符合预设类别要求；

计算每个类别中数据的均方差，对每个存储位中均方差大于预设阈值的数据增加内容为1的标签值，表示该位置的数据为异常数据；

统计标签值为1的存储位编号，同时将该存储位数据是否符合类别要求以及数据内容是否为空的情况绘制成异常数据统计表。

8.根据权利要求7所述的用于电力行业的异构数据迁移方法，其特征在于，所述方法还包括：

根据异常数据统计表结合目标数据库的数据结构、类别在异构数据迁移过程中针对异常数据进行存储位预留，在预留的存储位对异常数据进行修改、替换操作。

Images