CN117687992A - 一种数据迁移方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据迁移方法、装置、设备及存储介质。包括：获取待迁移数据，确定待迁移数据对应的内存占用量；获取与内存占用量对应的内存空间，将待迁移数据进行序列化处理保存至内存空间，以生成序列化数据；获取迁移目标端，将序列化数据进行反序列化处理以发送至迁移目标端。通过确定待迁移数据对应的总内存占用量申请内存空间，然后根据序列化函数按照变量类型依次选择目标变量进行序列化处理保存至内存空间，再将序列化数据进行反序列化处理以保存至迁移目标端。利用了数据库的表的同一列的数据出现重复数据的概率比较大的特点，让相似数据集中存放，可以提高现有的压缩算法对序列化之后的数据的压缩率，提高了数据迁移效率。

Description

一种数据迁移方法、装置、设备及存储介质

技术领域

本发明涉及数据迁移技术领域，尤其涉及一种数据迁移方法、装置、设备及存储介质。

背景技术

数据库作为数据存放的存储柜，有相应的数据库管理系统将数据存储到数据库中。随着政企数字化转型的深入，信息系统的数据爆发式增长，为了满足业务需求，经常会需要对数据库中的数据进行迁移。数据迁移是指将数据从一个存储系统传输到另一个存储系统的过程，包括对数据的选择、提取、转换等。

现有技术中在对数据库进行迁移时，需要从源库导出记录数据，对数据进行序列化，采用压缩算法进行压缩，然后通过网络传输到目标端，再进行反序列化之后，导入到目标库，完成数据迁移。对于数据量比较大，网络带宽不够高的情况，完成一次迁移需要的时间会很长。

发明内容

本发明提供了一种数据迁移方法、装置、设备及存储介质，以提高数据迁移过程中的数据压缩率。

根据本发明的一方面，提供了一种数据迁移方法，该方法包括：

获取待迁移数据，确定待迁移数据对应的内存占用量；

获取与内存占用量对应的内存空间，将待迁移数据进行序列化处理保存至内存空间，以生成序列化数据；

获取迁移目标端，将序列化数据进行反序列化处理以发送至迁移目标端。

可选的，获取待迁移数据，包括：获取数据迁移指令，其中，数据迁移指令中包括数据提取范围；按照数据提取范围从数据库中确定目标数据，将目标数据作为待迁移数据。

可选的，确定待迁移数据对应的内存占用量，包括：确定待迁移数据中包含的各变量以及对应的变量类型，其中，变量类型包括表名称、行数、行有效列数、列长和列数据；按照变量类型获取各变量对应的预设长度算法；根据预设长度算法计算各变量对应的变量长度，将各变量长度相加以确定内存占用量。

可选的，将待迁移数据进行序列化处理保存至内存空间，以生成序列化数据，包括：获取序列化函数，其中，序列化函数中包括序列化变量顺序；按照序列化变量顺序从待迁移数据中依次提取目标数据；确定目标数据对应的目标变量类型，根据目标变量类型确定目标数据对应的目标存放规则；根据目标存放规则将目标数据保存至内存空间，以生成序列化数据。

可选的，根据目标变量类型确定目标数据对应的目标存放规则，包括：当目标变量类型为名称、行数和行有效列数时，目标存放规则为直接存放；当目标变量类型为列长和列数据时，确定待迁移数据中包含的索引行和索引列，根据索引行和索引列确定目标存放规则。

可选的，根据索引行和索引列确定目标存放规则，包括：依次将索引行作为第一目标索引行，并依次将索引列作为第一目标索引列；获取与第一目标索引行和第一目标索引列对应的目标变量，并确定与第一目标索引行对应的第一目标有效列数；判断第一目标索引列是否大于第一目标有效列数，若是，确定目标存放规则为跳过；否则，确定目标存放规则为存放目标变量。

可选的，将序列化数据进行反序列化处理以发送至迁移目标端，包括：按照变量类型依次从序列化数据中提取名称、行数和行有效列数至迁移目标端；依次将各列长和各列数据对应的序列化数据作为待提取变量；确定待提取变量对应的第二目标索引行和第二目标索引列，并确定与第二目标索引行对应的第二目标有效列数；当第二目标索引列小于等于第二目标有效列数时，提取待提取变量至迁移目标端。

根据本发明的另一方面，提供了一种数据迁移装置，该装置包括：

内存占用量确定模块，用于获取待迁移数据，确定待迁移数据对应的内存占用量；

序列化数据生成模块，用于获取与内存占用量对应的内存空间，将待迁移数据进行序列化处理保存至内存空间，以生成序列化数据；

数据迁移模块，用于获取迁移目标端，将序列化数据进行反序列化处理以发送至迁移目标端。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种数据迁移方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种数据迁移方法。

本发明实施例的技术方案，通过确定待迁移数据对应的总内存占用量申请内存空间，然后根据序列化函数按照变量类型依次选择目标变量进行序列化处理保存至内存空间，再将序列化数据进行反序列化处理以保存至迁移目标端。利用了数据库的表的同一列的数据出现重复数据的概率比较大的特点，让相似数据集中存放，可以提高现有的压缩算法对序列化之后的数据的压缩率，提高了数据迁移效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种数据迁移方法的流程图；

图2是根据本发明实施例一提供的另一种数据迁移方法的流程图；

图3是根据本发明实施例二提供的另一种数据迁移方法的流程图；

图4是根据本发明实施例三提供的一种数据迁移装置的结构示意图；

图5是实现本发明实施例的一种数据迁移方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种数据迁移方法的流程图，本实施例可适用于数据库和终端之间数据迁移的情况，该方法可以由数据迁移装置来执行，该数据迁移装置可以采用硬件和/或软件的形式实现，该数据迁移装置可配置于计算机控制器中。如图1所示，该方法包括：

S110、获取待迁移数据，确定待迁移数据对应的内存占用量。

其中，迁移是指数据的转移，在本实施方式中是指将数据由数据库转移到迁移目标端的过程。在对数据库进行迁移时，需要从源库导出记录数据，对数据进行序列化，采用压缩算法进行压缩，然后通过网络传输到迁移目标端，再进行反序列化之后，导入到目标库，进而完成数据迁移。内存占用量是指待迁移数据序列化所需要占用的字节量。

可选的，获取待迁移数据，包括：获取数据迁移指令，其中，数据迁移指令中包括数据提取范围；按照数据提取范围从数据库中确定目标数据，将目标数据作为待迁移数据。

具体的，在进行数据迁移时，用户可以根据数据迁移需要输入数据提取范围，数据提取范围可以是时间范围也可以是数据量范围，控制器可以根据数据提取范围生成数据迁移指令，然后按照数据迁移指令确定数据库中与数据提取范围对应的目标数据作为待迁移数据。

可选的，确定待迁移数据对应的内存占用量，包括：确定待迁移数据中包含的各变量以及对应的变量类型，其中，变量类型包括表名称、行数、行有效列数、列长和列数据；按照变量类型获取各变量对应的预设长度算法；根据预设长度算法计算各变量对应的变量长度，将各变量长度相加以确定内存占用量。

具体的，待迁移数据中包含各个变量，变量类型包括表名称、行数、行有效列数、列长和列数据。控制器按照变量类型获取各个变量对应的预设长度算法，进行计算可得总的所需内存空间大小。示例性的，表名称name所占用的内存大小为表名称的实际长度，行数nrow占2字节，行有效列数columns占用2*nrow。列长len和列数据data的空间占用需要对每行数据做统计，列长的空间占用为行数总的行有效列数*4，列数据的空间占用为行数所有行有效列数的数据长度之和。最终将各变量长度相加即可确定总的内存占用量。

在一个具体实施方式中，在对一张表的数据进行序列化时，将每N行(比如100行)分为一组，进行一次序列化，序列化后的信息结构依次如下。表名称name，是以0结尾的字符串。行数nrow包含记录行数，数字类型，2字节。行有效列数columns[]是每行数据的有效列数，数字类型的数组，每个有效列数占2字节，总长度为2*nrow字节。列长len[]是每个有效列的数据长度，数字类型的数组，每个长度占4字节，总长度为4*总的有效列数字节。针对列数据data，所有的列数据按它们实际的长度依次存储，长度由数据实际长度决定。每张表的列数为固定值由其表结构决定，比如一张表的表结构有X列，那么每行数据都有X列，有效列数是从一行数据的第一列起，到最后一个非空列止的列数。我们假定在表的导出过程中已经确定了每行数据的有效列数，我们把表的数据按每N行(N为常量)一个分组，不足N行时以实际行数为1组，序列化和反序列化针对每组数据进行。

S120、获取与内存占用量对应的内存空间，将待迁移数据进行序列化处理保存至内存空间，以生成序列化数据。

图2为本发明实施例一提供了一种数据迁移方法的流程图，步骤S120主要包括如下的步骤S121至步骤S125：

S121、获取与内存占用量对应的内存空间。

S122、获取序列化函数，其中，序列化函数中包括序列化变量顺序。

S123、按照序列化变量顺序从待迁移数据中依次提取目标数据。

具体的，控制器会按照内存占用量申请占用内存空间，然后将序列化数据依次存放到申请的内存空间中。序列化函数中包括序列化变量顺序，序列化变量顺序中包括变量类型的序列化顺序，按照序列化变量顺序可以从待迁移数据中依次提取目标数据进行序列化处理存放到内存空间。通过将待迁移数据按照变量类型依次存放，实现了让相似数据集中存放，可以提高现有的压缩算法对序列化之后的数据的压缩率。

S124、确定目标数据对应的目标变量类型，根据目标变量类型确定目标数据对应的目标存放规则。

可选的，根据目标变量类型确定目标数据对应的目标存放规则，包括：当目标变量类型为名称、行数和行有效列数时，目标存放规则为直接存放；当目标变量类型为列长和列数据时，确定待迁移数据中包含的索引行和索引列，根据索引行和索引列确定目标存放规则。

具体的，当目标变量类型为名称、行数和行有效列数时，目标存放规则为直接存放。示例性的，可以先存放表名称，然后在表名称后存放本次序列化的行数，行数后面存放每行数据的行有效列数。而当目标变量类型为列长和列数据时，会按列存放每行数据的列长和列数据。

可选的，根据索引行和索引列确定目标存放规则，包括：依次将索引行作为第一目标索引行，并依次将索引列作为第一目标索引列；获取与第一目标索引行和第一目标索引列对应的目标变量，并确定与第一目标索引行对应的第一目标有效列数；判断第一目标索引列是否大于第一目标有效列数，若是，确定目标存放规则为跳过；否则，确定目标存放规则为存放目标变量。

具体的，在存放时会依次将索引行作为第一目标索引行，并依次将索引列作为第一目标索引列，即先处理第一行第一列的变量，然后处理第二行第一列的变量，以此类推，并且针对目标变量，会判断目标变量对应的索引列是否大于行有效列数，大于时会跳过该行，不存放任何数据，不占用序列化空间，否则才进行存放。

在一个具体实施方式中，针对列长，从第1列开始，依次将第一行、第二行...第nrow行数据的第1列列长存放到序列化使用的内存中；然后处理第2列，将所有行的第2列的列长序列化；如此依次处理直到X列的数据都处理完成。如果在处理某i列数据时，i超出了某行的行有效列数，则跳过该行，不存放任何数据，不占用序列化空间。

在一个具体实施方式中，针对列数据，从第1列开始，依次将第一行、第二行...第nrow行数据的第1列列数据存放到序列化使用的内存中；然后处理第2列，将所有nrow行的第2列列数据序列化；如此依次处理直到X列的数据都处理完成。如果在处理某i列数据时，i超出了某行的行有效列数，则跳过该行，不存放任何数据，不占用序列化空间。

S125、根据目标存放规则将目标数据保存至内存空间，以生成序列化数据。

S130、获取迁移目标端，将序列化数据进行反序列化处理以发送至迁移目标端。

具体的，迁移目标端是指和控制器建立连接的终端，迁移目标端中包括目标数据库，将序列化数据进行反序列化处理后可以保存至迁移目标端的目标数据库中。

本发明实施例的技术方案，通过确定待迁移数据对应的总内存占用量申请内存空间，然后根据序列化函数按照变量类型依次选择目标变量进行序列化处理保存至内存空间，再将序列化数据进行反序列化处理以保存至迁移目标端。利用了数据库的表的同一列的数据出现重复数据的概率比较大的特点，让相似数据集中存放，可以提高现有的压缩算法对序列化之后的数据的压缩率，提高了数据迁移效率。

实施例二

图3为本发明实施例二提供的一种数据迁移方法的流程图，本实施例与在上述实施例一的基础上增加了将序列化数据进行反序列化处理以发送至迁移目标端的具体过程。其中，步骤S210-S220的具体内容与实施例一中的步骤S110-S120大致相同，因此本实施方式中不再进行赘述。如图3所示，该方法包括：

S210、获取待迁移数据，确定待迁移数据对应的内存占用量。

可选的，获取待迁移数据，包括：获取数据迁移指令，其中，数据迁移指令中包括数据提取范围；按照数据提取范围从数据库中确定目标数据，将目标数据作为待迁移数据。

可选的，确定待迁移数据对应的内存占用量，包括：确定待迁移数据中包含的各变量以及对应的变量类型，其中，变量类型包括表名称、行数、行有效列数、列长和列数据；按照变量类型获取各变量对应的预设长度算法；根据预设长度算法计算各变量对应的变量长度，将各变量长度相加以确定内存占用量。

S220、获取与内存占用量对应的内存空间，将待迁移数据进行序列化处理保存至内存空间，以生成序列化数据。

可选的，确定待迁移数据对应的内存占用量，包括：确定待迁移数据中包含的各变量以及对应的变量类型，其中，变量类型包括表名称、行数、行有效列数、列长和列数据；按照变量类型获取各变量对应的预设长度算法；根据预设长度算法计算各变量对应的变量长度，将各变量长度相加以确定内存占用量。

可选的，将待迁移数据进行序列化处理保存至内存空间，以生成序列化数据，包括：获取序列化函数，其中，序列化函数中包括序列化变量顺序；按照序列化变量顺序从待迁移数据中依次提取目标数据；确定目标数据对应的目标变量类型，根据目标变量类型确定目标数据对应的目标存放规则；根据目标存放规则将目标数据保存至内存空间，以生成序列化数据。

可选的，根据目标变量类型确定目标数据对应的目标存放规则，包括：当目标变量类型为名称、行数和行有效列数时，目标存放规则为直接存放；当目标变量类型为列长和列数据时，确定待迁移数据中包含的索引行和索引列，根据索引行和索引列确定目标存放规则。

可选的，根据索引行和索引列确定目标存放规则，包括：依次将索引行作为第一目标索引行，并依次将索引列作为第一目标索引列；获取与第一目标索引行和第一目标索引列对应的目标变量，并确定与第一目标索引行对应的第一目标有效列数；判断第一目标索引列是否大于第一目标有效列数，若是，确定目标存放规则为跳过；否则，确定目标存放规则为存放目标变量。

S230、获取迁移目标端，按照变量类型依次从序列化数据中提取名称、行数和行有效列数至迁移目标端。

S240、依次将各列长和各列数据对应的序列化数据作为待提取变量。

S250、确定待提取变量对应的第二目标索引行和第二目标索引列，并确定与第二目标索引行对应的第二目标有效列数。

S260、当第二目标索引列小于等于第二目标有效列数时，提取待提取变量至迁移目标端。

具体的，可以按照变量类型，依次从序列化数据中直接提取名称、行数和行有效列数至迁移目标端。另外，提取时会记录有效列总数all。

在一个具体实施方式中，针对列长，从第1列开始，依次提取第1行，第2行...第nrow行的第1列数据的长度；然后处理第2列，依次提取nrow行的第2列数据的长度；如此依次处理X列数据。如果在处理某i列时，i超出了某行的有效列数量，则跳过该行，不提取任何数据。在处理过程中，统计提取出的列长的数量，每提取1个，数量加1，当数量达到all时，列长数据提取完毕。

在一个具体实施方式中，针对列数据，从第1列开始，依次按列长提取第1行，第2行...第nrow行的第1列数据；然后处理第2列，依次提取nrow行的第2列数据；如此依次处理X列数据。如果在处理某i列时，i超出了某行的有效列数量，则跳过该行，不提取任何数据。在处理过程中，统计提取出的列数据的数量，每提取1个，数量加1，当数量达到all时，数据提取完毕。

本发明实施例的技术方案，通过确定待迁移数据对应的总内存占用量申请内存空间，然后根据序列化函数按照变量类型依次选择目标变量进行序列化处理保存至内存空间，再将序列化数据进行反序列化处理以保存至迁移目标端。利用了数据库的表的同一列的数据出现重复数据的概率比较大的特点，让相似数据集中存放，可以提高现有的压缩算法对序列化之后的数据的压缩率，提高了数据迁移效率。

实施例三

图4为本发明实施例三提供的一种数据迁移装置的结构示意图。如图4所示，该装置包括：内存占用量确定模块310，用于获取待迁移数据，确定待迁移数据对应的内存占用量；

序列化数据生成模块320，用于获取与内存占用量对应的内存空间，将待迁移数据进行序列化处理保存至内存空间，以生成序列化数据；

数据迁移模块330，用于获取迁移目标端，将序列化数据进行反序列化处理以发送至迁移目标端。

可选的，内存占用量确定模块310，具体包括：待迁移数据获取单元，用于：获取数据迁移指令，其中，数据迁移指令中包括数据提取范围；按照数据提取范围从数据库中确定目标数据，将目标数据作为待迁移数据。

可选的，内存占用量确定模块310，具体包括：内存占用量确定单元，用于：确定待迁移数据中包含的各变量以及对应的变量类型，其中，变量类型包括表名称、行数、行有效列数、列长和列数据；按照变量类型获取各变量对应的预设长度算法；根据预设长度算法计算各变量对应的变量长度，将各变量长度相加以确定内存占用量。

可选的，序列化数据生成模块320，具体包括：序列化函数获取单元，用于：获取序列化函数，其中，序列化函数中包括序列化变量顺序；目标数据提取单元，用于：按照序列化变量顺序从待迁移数据中依次提取目标数据；目标存放规则确定单元，用于：确定目标数据对应的目标变量类型，根据目标变量类型确定目标数据对应的目标存放规则；序列化数据生成单元，用于：根据目标存放规则将目标数据保存至内存空间，以生成序列化数据。

可选的，目标存放规则确定单元，具体包括：直接存放子单元，用于：当目标变量类型为名称、行数和行有效列数时，目标存放规则为直接存放；列长及列数据存放规则确定子单元，用于：当目标变量类型为列长和列数据时，确定待迁移数据中包含的索引行和索引列，根据索引行和索引列确定目标存放规则。

可选的，列长及列数据存放规则确定子单元，具体用于：依次将索引行作为第一目标索引行，并依次将索引列作为第一目标索引列；获取与第一目标索引行和第一目标索引列对应的目标变量，并确定与第一目标索引行对应的第一目标有效列数；判断第一目标索引列是否大于第一目标有效列数，若是，确定目标存放规则为跳过；否则，确定目标存放规则为存放目标变量。

可选的，数据迁移模块330，具体用于：按照变量类型依次从序列化数据中提取名称、行数和行有效列数至迁移目标端；依次将各列长和各列数据对应的序列化数据作为待提取变量；确定待提取变量对应的第二目标索引行和第二目标索引列，并确定与第二目标索引行对应的第二目标有效列数；当第二目标索引列小于等于第二目标有效列数时，提取待提取变量至迁移目标端。

本发明实施例的技术方案，通过确定待迁移数据对应的总内存占用量申请内存空间，然后根据序列化函数按照变量类型依次选择目标变量进行序列化处理保存至内存空间，再将序列化数据进行反序列化处理以保存至迁移目标端。利用了数据库的表的同一列的数据出现重复数据的概率比较大的特点，让相似数据集中存放，可以提高现有的压缩算法对序列化之后的数据的压缩率，提高了数据迁移效率。

本发明实施例所提供的一种数据迁移装置可执行本发明任意实施例所提供的一种数据迁移方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如一种数据迁移方法。也即：获取待迁移数据，确定待迁移数据对应的内存占用量；获取与内存占用量对应的内存空间，将待迁移数据进行序列化处理保存至内存空间，以生成序列化数据；获取迁移目标端，将序列化数据进行反序列化处理以发送至迁移目标端。

在一些实施例中，一种数据迁移方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的一种数据迁移方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行一种数据迁移方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据迁移方法，其特征在于，包括：

获取待迁移数据，确定所述待迁移数据对应的内存占用量；

获取与所述内存占用量对应的内存空间，将所述待迁移数据进行序列化处理保存至所述内存空间，以生成序列化数据；

获取迁移目标端，将所述序列化数据进行反序列化处理以发送至所述迁移目标端。

2.根据权利要求1所述的方法，其特征在于，所述获取待迁移数据，包括：

获取数据迁移指令，其中，所述数据迁移指令中包括数据提取范围；

按照所述数据提取范围从数据库中确定目标数据，将所述目标数据作为所述待迁移数据。

3.根据权利要求1所述的方法，其特征在于，所述确定所述待迁移数据对应的内存占用量，包括：

确定所述待迁移数据中包含的各变量以及对应的变量类型，其中，所述变量类型包括表名称、行数、行有效列数、列长和列数据；

按照所述变量类型获取各所述变量对应的预设长度算法；

根据所述预设长度算法计算各所述变量对应的变量长度，将各所述变量长度相加以确定所述内存占用量。

4.根据权利要求3所述的方法，其特征在于，所述将所述待迁移数据进行序列化处理保存至所述内存空间，以生成序列化数据，包括：

获取序列化函数，其中，所述序列化函数中包括序列化变量顺序；

按照所述序列化变量顺序从所述待迁移数据中依次提取目标数据；

确定所述目标数据对应的目标变量类型，根据所述目标变量类型确定所述目标数据对应的目标存放规则；

根据所述目标存放规则将所述目标数据保存至所述内存空间，以生成序列化数据。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标变量类型确定所述目标数据对应的目标存放规则，包括：

当所述目标变量类型为名称、行数和行有效列数时，所述目标存放规则为直接存放；

当所述目标变量类型为列长和列数据时，确定所述待迁移数据中包含的索引行和索引列，根据所述索引行和所述索引列确定所述目标存放规则。

6.根据权利要求5所述的方法，其特征在于，所述根据所述索引行和所述索引列确定所述目标存放规则，包括：

依次将所述索引行作为第一目标索引行，并依次将所述索引列作为第一目标索引列；

获取与所述第一目标索引行和所述第一目标索引列对应的目标变量，并确定与所述第一目标索引行对应的第一目标有效列数；

判断所述第一目标索引列是否大于所述第一目标有效列数，若是，确定所述目标存放规则为跳过；

否则，确定所述目标存放规则为存放所述目标变量。

7.根据权利要求6所述的方法，其特征在于，所述将序列化数据进行反序列化处理以发送至迁移目标端，包括：

按照所述变量类型依次从所述序列化数据中提取所述名称、所述行数和所述行有效列数至所述迁移目标端；

依次将各所述列长和各所述列数据对应的序列化数据作为待提取变量；

确定所述待提取变量对应的第二目标索引行和第二目标索引列，并确定与所述第二目标索引行对应的第二目标有效列数；

当所述第二目标索引列小于等于所述第二目标有效列数时，提取所述待提取变量至所述迁移目标端。

8.一种数据迁移装置，其特征在于，包括：

内存占用量确定模块，用于获取待迁移数据，确定所述待迁移数据对应的内存占用量；

序列化数据生成模块，用于获取与所述内存占用量对应的内存空间，将所述待迁移数据进行序列化处理保存至所述内存空间，以生成序列化数据；

数据迁移模块，用于获取迁移目标端，将所述序列化数据进行反序列化处理以发送至所述迁移目标端。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的方法。