CN105205154B - 数据迁移方法以及装置 - Google Patents
数据迁移方法以及装置 Download PDFInfo
- Publication number
- CN105205154B CN105205154B CN201510618480.2A CN201510618480A CN105205154B CN 105205154 B CN105205154 B CN 105205154B CN 201510618480 A CN201510618480 A CN 201510618480A CN 105205154 B CN105205154 B CN 105205154B
- Authority
- CN
- China
- Prior art keywords
- server
- data
- specified
- migrated
- hbase table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据迁移方法以及装置,其中该方法包括:获取指定服务器创建的HBase表;获取待迁移数据,并根据所述HBase表将所述待迁移数据生成指定格式的数据文件;其中,所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后,分配给各个独立服务器分别处理的对应数据;将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。本发明解决了现有技术中将服务器集群拆解成单独的服务器进行运算时无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中的问题,且有效地提高了数据迁移效率。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种数据迁移方法以及装置。
背景技术
为了满足对历史数据的保留、迁移等需求(尤其是存在关系型数据库到非关系型数据库的迁移情况下),通常需要从原先的数据库中获取历史数据,并按照新数据库的设计要求将数据保存到新的数据表中。
在数据量巨大时,一般会通过数据导出工具将历史数据导出保存在文本文件中,并利用服务器集群的高性能的批处理分布式计算框架将文本文件数据生成HBase表的HFile文件,最后将HFile文件导入到指定的HBase表中。
然而,利用服务器集群的批处理分布式计算框架对文本文件数据进行运算,其整体运算效率比集群所有独立服务器的运算效率低很多,这种方式则会降低整个数据迁移过程的效率。但是如果将服务器集群拆解成单独的服务器进行运算,又无法保证每单台服务器生成的HFile文件能够兼容,进而也无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中。
发明内容
针对现有技术的缺陷,本发明提供了一种数据迁移方法以及装置。
本发明提供一种数据迁移方法,该方法应用于对服务器集群进行拆解后的独立服务器,其中该方法包括:
获取指定服务器创建的HBase表;
获取待迁移数据,并根据所述HBase表将所述待迁移数据生成指定格式的数据文件;其中,所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后,分配给各个独立服务器分别处理的对应数据;
将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。
本发明还提供一种数据迁移装置,该装置应用于对服务器集群进行拆解后的独立服务器,该装置包括:
获取单元,用于获取指定服务器创建的HBase表;
生成单元,用于获取待迁移数据,并根据所述HBase表将所述待迁移数据生成指定格式的数据文件;其中,所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后,分配给各个独立服务器分别处理的对应数据;
迁移单元,用于将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。
本发明提供的数据迁移方法以及装置,通过获取指定服务器创建的HBase表以及获取待迁移数据,并根据所述HBase表将待迁移数据生成指定格式的数据文件,以将指定格式的数据文件迁移至所述指定服务器创建的HBase表中,解决了现有技术中将服务器集群拆解成单独的服务器进行运算时无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中的问题,且有效地提高了数据迁移效率。
附图说明
图1是本发明实施例中一种数据迁移方法应用场景示意图;
图2是本发明实施例中一种数据迁移方法流程示意图;
图3是本发明实施例中一种数据迁移装置的逻辑结构示意图;
图4是本发明实施例中数据迁移装置所在独立服务器的硬件架构示意图。
具体实施方式
为使本申请的目的,技术方案及优点更加清楚明白,以下参照附图对本申请方案做进一步的详细说明。
为了解决现有技术中存在的问题,本发明提供了一种数据迁移方法以及装置。
图1示出了本发明提供的数据迁移方法所应用的网络环境示意图,包括服务器集群1以及服务器集群2,其中,服务器集群1存储有大量待迁移数据的服务器集群(以下称源服务器集群),服务器集群2(以下称目的服务器集群)则为需要将源服务器集群中的待迁移数据迁移至的服务器集群。该源服务器集群以及目的服务器集群均为由多个服务器的服务器集群,例如,源服务器集群包括服务器S1以及S2,目的服务器集群包括服务器S3、S4、S5以及S6。
请参考图2,为本发明提供的数据迁移方法的处理流程示意图,该数据迁移方法可应用于对目的服务器集群进行拆解后的独立服务器,该数据迁移方法包括以下步骤:
步骤201,获取指定服务器创建的HBase表;
实际应用中,在需要将历史数据等大量的数据迁移至目的服务器集群时,为了解决现有技术中利用服务器集群的批处理算法对待迁移数据进行分析、运算时,导致的整体迁移效率较低、占用Hbase(分布式的、面向列的开源数据库)表region(Hbase表的子集)资源等情况,本发明实施例可以首先将目的服务器集群进行拆解,即:将由多个服务器组成的目的服务器集群拆解为多个独立的单机服务器。
接着,在进行拆解后的每台单机服务器上安装相同版本的Hadoop(分布式系统基础架构)、Hbase等大数据相关组件,以保证各单机服务器后续可以运行具有相同region的Hbase表。
由于若要将多个服务器获取的多份待迁移数据迁移至目标服务器集群的同一个Hbase表,需要保证该多份待迁移数据为相同的格式,即:多份待迁移数据均为HFile(HBase的数据存储格式)格式。因此,本发明实施例可以从该被拆解前的服务器集群所包括的所有单机服务器中选取出一台指定服务器,并由该指定服务器创建Hbase表,并将创建的Hbase表同步至被拆解前的服务器集群所包括的其他单机服务器,进而保证多个独立的单机服务器可以运行具有相同region的Hbase表。
其中,该指定服务器上创建的Hbase表为待迁移数据被迁移后所存放的目标Hbase表。
具体地,所述获取指定服务器创建的Hbase表可以分为以下两种方式:
当该独立服务器为该指定服务器时,独立服务器所获取的Hbase表则为自身创建的Hbase表;当该独立服务器不为指定服务器时,独立服务器所获取的Hbase表则为指定服务器同步给该独立服务器的Hbase表。
相应地,在同步Hbase表时,若该独立服务器为该指定服务器,那么,独立服务器(指定服务器)在创建Hbase表后,将创建的Hbase表同步至被拆解前的服务器集群所包括的其他单机服务器;若该独立服务器不是该指定服务器,那么,独立服务器则可以接收到指定服务器在创建Hbase表后发送的Hbase表。
步骤202,获取待迁移数据,根据所述HBase表将所述待迁移数据生成指定格式的数据文件;其中,所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后,分配给各个独立服务器分别处理的对应数据;
本发明实施例可以按照待迁移数据的数据时间或者数据量根据拆解前服务器集群的服务器数量人为的对待迁移数据进行合理的拆分,进而保证各单机服务器在获取待迁移数据时,每台单机服务器上获取的数据量、生成的HFile数据可以相对平均,避免出现由于某台单机服务器需要处理的数据量过大,而导致整体生成HFile文件的时间过长。
例如,在对待迁移数据按照待迁移数据的数据量进行拆分时,假设对服务器集群拆解后的单机服务器数量为4个,该待迁移数据的数据量为4亿项记录,那么则将该待迁移数据拆分为4份待迁移数据,即:每1亿项记录为一份待迁移数据。
在该独立服务器获取待迁移数据时,则可以获取拆分后的其中一份待迁移数据。
在独立服务器获取待迁移数据后,可以将获取的所述待迁移数据保存至独立服务器的指定位置;根据预设的批处理算法将所述独立服务器的指定位置中的待迁移数据生成HFile格式的HFile文件。
具体地,独立服务器在获取到待迁移数据后,可以首先将该待迁移数据保存至本地硬盘的文本文件中,之后,通过hadoop fs–cp命令将保存至本地硬盘的文本文件的待迁移数据上传至本地的HDFS(Hadoop分布式文件系统)指定目录中。
独立服务器执行自身的批处理算法分析并运算本地的HDFS指定目录中保存的待迁移数据,将该待迁移数据生成HBase表所要求的HFile格式的HFile文件。
优选地,该批处理算法可以是对海量数据进行并行分析和高性能处理的Map-Reduce(高性能的批处理分布式计算框架),利用Map-Reduce高效便捷的特点可以快速对海量数据并行进行Map、Reduce处理,而且不占用region资源,也不会增添负载。当然,该批处理算法也可以是现有技术中的其他处理方法,本发明对此无具体限定。
本发明实施例中,通过将原先由服务器集群进行的Map-Reduce运算的所有待迁移数据,拆解成由各个单机服务器相对平均的多份待迁移数据,并由各个单机服务器并行对待迁移数据进行Map-Reduce运算,虽然每台单机服务器的Map-Reduce运算执行的Map、Reduce任务数比服务器集群拆解前由服务器集群执行的Map、Reduce任务数少很多,但是,所有服务器的Map、Reduce并发执行的任务数总和并不比服务器集群的Map、Reduce数量少。而且,由于各单机服务器的Map、Reduce任务数量少,在整体执行Map-Reduce任务中对Map、Reduce任务的调度时间也会比服务器集群少很多,有效提升了整体效率。
然后,可以通过hadoop fs–cp命令将独立服务器生成的HFile文件发送至选取的指定服务器的HDFS的指定目录中。
由于hadoop fs–cp命令可以实现多个系统之间的文件迁移,例如,将HFile文件从服务器1的dfs(分布式文件系统)到服务器2的dfs。因此,避免了现有技术中在迁移HFile文件时,需要将HFile文件从一个单机服务器的dfs迁移到该单机服务器的本地硬盘、再由该单机服务器的本地硬盘迁移到目标服务器的本地硬盘,最后,再由该目标服务器的本地硬盘将HFile文件迁移到该目标服务器的dfs等繁琐的流程,进而节省了文件传输的时间。
步骤203,将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。
为了避免在待迁移数据量较大时,指定服务器创建的HBase表的空间无法满足对所有HFile文件的存储,本发明实施例还可以将被拆解前的服务器集群所包括的所有服务器以集群扩容的方式添加至新的服务器集群,并且可以将步骤201选取的指定服务器作为该新的服务器集群中的主服务器。这样一来,本发明实施例即可以利用服务器集群的中可以由多个服务器共同存储一个Hbase表的特性将保存至指定服务器(主服务器)的HDFS的指定目录中的HFile文件通过bulk_load的方式添加到主服务(指定服务器)的HBase表中,保证了在待迁移数据量较大时,HBase表仍可以存储所有的HFile文件。
当然,在指定服务器创建的HBase表的空间可以存储所有的待迁移数据时,本发明实施例的处理流程也可以为:首先将保存至指定服务器(主服务器)的HDFS的指定目录中的HFile文件通过bulk_load的方式添加到主服务(指定服务器)的HBase表中,之后,再执行以集群扩容的方式将被拆解前的服务器集群所包括的所有服务器添加至新的服务器集群,并且将选取的指定服务器作为该新的服务器集群中的主服务器的步骤。
其中,bulk_load是一个将生成好的Hfile文件加载到Hbase表的工具,这种方式利用Hbase表的数据信息按照特定格式存储在HDFS内这一原理,生成HDFS内存储的数据格式文件上传至Hbase表中,进而完成巨量数据快速入库。
本发明实施例提供的数据迁移方法,通过事先对HBase表region信息的同步,保证所有单机服务器生成的HFile文件是兼容的,进而也保证了所有单机服务器生成的HFile文件可以导入到一张HBase表中。这样一来,服务器集群中每台服务器可以进行并行运算,解决了服务器集群的整体运行效率远低于集群中所有单机服务器运行性能总和的问题。
并且,开发人员根据实际应用中存储的过车记录数据对本数据迁移方法进行了测试,例如,待迁移数据为存储的558天的过车记录数据,共为12.6亿项记录,测试结果显示,根据本发明实施例提供的数据迁移方法在相同数量的单机服务器并行运算时的时间比现有技术中通过服务器集群进行运算时的时间快了2小时30分钟左右,由此可见,通过本发明实施例提供的数据迁移方法明显提高了数据迁移时间。
以下结合图1为例对本发明进行进一步举例说明。
例如,需要将服务器集群1(源服务器集群)的历史数据迁移至服务器集群2(目的服务器集群),首先将目的服务器集群进行拆解,拆解后的目的服务器集群中的S3、S4、S5以及S6均为独立的单机服务器。
假设选取的指定服务器也为S3,那么在S3上创建Hbase表,并由S3将创建的Hbase表发送至S4、S5以及S6,以使被拆解前的目的服务器集群所包含的所有单机服务器(S3、S4、S5以及S6)的Hbase表同步。
接着,S3、S4、S5以及S6分别获取存放至源服务器集群的待迁移的历史数据。由于本发明实施例中可以人为的将待迁移数据按照目的服务器集群被拆解前的服务器数量以及待迁移数据的数据量或时间对待迁移数据进行合理拆分,因此,最终各单机服务器获取到的待迁移历史数据均为相对平均的数据量。
之后,各单机服务器则可以将获取的待迁移的历史数据保存至本地硬盘的文本文件中,并通过hadoop fs–cp命令将待迁移的历史数据上传至本地的HDFS指定目录中,以使各服务器可以并行执行Map-Reduce来分析并运算本地的HDFS指定目录中保存的待迁移历史数据,并根据自身保存的Hbase表的region信息将该待迁移历史数据生成HBase表所要求的HFile格式的HFile文件。
然后,各单机服务器可以通过hadoop fs–cp命令将自身生成的HFile文件发送至选取的指定服务器S3的HDFS的指定目录中。
将被拆解前的服务器集群所包括的所有单机服务器(S3、S4、S5以及S6)以集群扩容的方式添加至新的服务器集群,并且将选取的指定服务器S3作为该新的服务器集群中的主服务器。
在新的服务器集群中,主服务器将保存至主服务器S3(指定服务器)的HDFS的指定目录中的HFile文件通过bulk_load的方式添加到主服务S3(指定服务器)的HBase表中。进而,完成对所有历史数据的迁移。
综上所述,本发明提供的数据迁移方法,通过获取指定服务器创建的HBase表以及获取待迁移数据,并根据所述HBase表将待迁移数据生成指定格式的数据文件,以将指定格式的数据文件迁移至所述指定服务器创建的HBase表中,解决了现有技术中将服务器集群拆解成单独的服务器进行运算时无法将每单台服务器生成的HFile文件导入到服务器集群的HBase表中的问题,且有效地提高了数据迁移效率。
本发明还提供一种数据迁移装置,图3为该数据迁移装置的结构示意图,该装置可以应用于对服务器集群进行拆解后的独立服务器,该数据迁移装置可以包括获取单元301、生成单元302以及迁移单元303,其中:
获取单元301,用于获取指定服务器创建的HBase表;
生成单元302,用于获取待迁移数据,并根据所述HBase表将所述待迁移数据生成指定格式的数据文件;其中,所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后,分配给各个独立服务器分别处理的对应数据;
迁移单元303,用于将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中。
进一步地,所述装置还包括添加单元304,用于将被拆解前的服务器集群所包括的所有服务器添加至新的服务器集群;将所述指定服务器作为所述新的服务器集群的主服务器。
进一步地,所述生成单元302具体将获取的所述待迁移数据保存至所述独立服务器的指定位置;根据预设的批处理算法将所述独立服务器的指定位置中的待迁移数据生成HFile文件。
进一步地,所述迁移单元303具体将所述指定格式的数据文件迁移至所述指定服务器的指定位置,以使所述指定服务器将所述指定位置中的所述指定格式的数据文件添加至所述指定服务器创建的HBase表中。
进一步地,所述装置还包括发送单元305,用于当所述独立服务器为所述指定服务器时,将所述主服务器创建的HBase表发送至拆解前的服务器集群所包括的其他服务器。
本发明应用于独立服务器的数据迁移装置在具体的处理流程中可以与上述数据迁移方法的处理流程一致,在此不再赘述。
上述装置可以通过软件实现,也可以通过硬件实现,本发明数据迁移装置所在网络设备的硬件架构示意图均可参考图4所示,其基本硬件环境包括中央处理器CPU、转发芯片、存储器以及其他硬件,其中存储器件中包括机器可读指令,CPU读取并执行机器可读指令执行图3中各单元的功能。
从以上各种方法和装置的实施方式中可以看出,本发明实施例提供的数据迁移方法以及装置,通过获取指定服务器创建的HBase表以及获取待迁移数据,并根据所述HBase表将待迁移数据生成指定格式的数据文件,将指定格式的数据文件迁移至所述指定服务器创建的HBase表中,解决了现有技术中利用服务器集群整体运算的方式降低整个数据迁移过程的效率的问题,并保证了将服务器集群拆解成单独的服务器进行运算时,每单台服务器生成的HFile文件可以导入到服务器集群的HBase表中,进而显著提高了数据迁移时间。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (6)
1.一种数据迁移方法,其特征在于,所述方法应用于对服务器集群进行拆解后的独立服务器,所述方法包括:
获取指定服务器创建的HBase表;
获取待迁移数据,并根据所述HBase表将所述待迁移数据生成指定格式的数据文件;其中,所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后,分配给各个独立服务器分别处理的对应数据;
将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中;
所述方法还包括:
将被拆解前的服务器集群所包括的所有服务器添加至新的服务器集群;
将所述指定服务器作为所述新的服务器集群的主服务器;
若所述独立服务器为所述指定服务器,将所述指定服务器创建的HBase表发送至拆解前的服务器集群所包括的其他服务器,各所述独立服务器运行具有相同region的Hbase表。
2.如权利要求1所述的方法,其特征在于,根据所述HBase表将所述待迁移数据生成指定格式的数据文件具体包括:
将获取的所述待迁移数据保存至所述独立服务器的指定位置;
根据预设的批处理算法将所述独立服务器的指定位置中的待迁移数据生成HFile文件。
3.如权利要求1所述的方法,其特征在于,将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中具体包括:
将所述指定格式的数据文件迁移至所述指定服务器的指定位置,以使所述指定服务器将所述指定位置中的所述指定格式的数据文件添加至所述指定服务器创建的HBase表中。
4.一种数据迁移装置,其特征在于,所述装置应用于对服务器集群进行拆解后的独立服务器,所述装置包括:
获取单元,用于获取指定服务器创建的HBase表;
生成单元,用于获取待迁移数据,并根据所述HBase表将所述待迁移数据生成指定格式的数据文件;其中,所述待迁移数据为按照所述服务器集群拆解后获得的独立服务器数量对所有待迁移数据进行拆分后,分配给各个独立服务器分别处理的对应数据;
迁移单元,用于将所述指定格式的数据文件迁移至所述指定服务器创建的HBase表中;
添加单元,用于:
将被拆解前的服务器集群所包括的所有服务器添加至新的服务器集群;
将所述指定服务器作为所述新的服务器集群的主服务器;
发送单元,用于当所述独立服务器为所述指定服务器时,将所述主服务器创建的HBase表发送至拆解前的服务器集群所包括的其他服务器,各所述独立服务器运行具有相同region的Hbase表。
5.如权利要求4所述的装置,其特征在于,所述生成单元具体用于:
将获取的所述待迁移数据保存至所述独立服务器的指定位置;
根据预设的批处理算法将所述独立服务器的指定位置中的待迁移数据生成HFile文件。
6.如权利要求4所述的装置,其特征在于,所述迁移单元具体用于:
将所述指定格式的数据文件迁移至所述指定服务器的指定位置,以使所述指定服务器将所述指定位置中的所述指定格式的数据文件添加至所述指定服务器创建的HBase表中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510618480.2A CN105205154B (zh) | 2015-09-24 | 2015-09-24 | 数据迁移方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510618480.2A CN105205154B (zh) | 2015-09-24 | 2015-09-24 | 数据迁移方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105205154A CN105205154A (zh) | 2015-12-30 |
CN105205154B true CN105205154B (zh) | 2021-06-22 |
Family
ID=54952837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510618480.2A Active CN105205154B (zh) | 2015-09-24 | 2015-09-24 | 数据迁移方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105205154B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107085579A (zh) * | 2016-02-16 | 2017-08-22 | 中国移动通信集团福建有限公司 | 一种数据采集分发方法及装置 |
CN106294886A (zh) * | 2016-10-17 | 2017-01-04 | 北京集奥聚合科技有限公司 | 一种从HBase中全量抽取数据的方法及系统 |
CN107395721B (zh) * | 2017-07-20 | 2021-06-29 | 郑州云海信息技术有限公司 | 一种元数据集群扩容的方法和系统 |
CN108255966A (zh) * | 2017-12-25 | 2018-07-06 | 太极计算机股份有限公司 | 一种数据迁移方法及存储介质 |
CN109165210A (zh) * | 2018-09-04 | 2019-01-08 | 山东浪潮云投信息科技有限公司 | 一种集群Hbase数据迁移的方法及装置 |
CN109960573B (zh) * | 2018-12-29 | 2021-01-08 | 天津南大通用数据技术股份有限公司 | 一种基于智能感知的跨域计算任务调度方法及系统 |
CN110688361A (zh) * | 2019-08-16 | 2020-01-14 | 平安普惠企业管理有限公司 | 数据迁移方法、电子装置及计算机设备 |
CN111274224B (zh) * | 2020-01-08 | 2023-04-28 | 中国联合网络通信集团有限公司 | 数据迁移方法和装置 |
CN112699080A (zh) * | 2021-01-11 | 2021-04-23 | 成都深思科技有限公司 | 一种高速多路网络数据迁移方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514274A (zh) * | 2013-09-17 | 2014-01-15 | 宁波东冠科技有限公司 | 非关系型数据库HBase的数据迁移方法 |
CN103617211A (zh) * | 2013-11-20 | 2014-03-05 | 浪潮电子信息产业股份有限公司 | 一种HBase加载数据的导入方法 |
CN104424288A (zh) * | 2013-08-30 | 2015-03-18 | 腾讯科技(深圳)有限公司 | 一种网页的3d显示方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424283A (zh) * | 2013-08-30 | 2015-03-18 | 阿里巴巴集团控股有限公司 | 一种数据迁移的系统和数据迁移的方法 |
US10642800B2 (en) * | 2013-10-25 | 2020-05-05 | Vmware, Inc. | Multi-tenant distributed computing and database |
-
2015
- 2015-09-24 CN CN201510618480.2A patent/CN105205154B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424288A (zh) * | 2013-08-30 | 2015-03-18 | 腾讯科技(深圳)有限公司 | 一种网页的3d显示方法及装置 |
CN103514274A (zh) * | 2013-09-17 | 2014-01-15 | 宁波东冠科技有限公司 | 非关系型数据库HBase的数据迁移方法 |
CN103617211A (zh) * | 2013-11-20 | 2014-03-05 | 浪潮电子信息产业股份有限公司 | 一种HBase加载数据的导入方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105205154A (zh) | 2015-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105205154B (zh) | 数据迁移方法以及装置 | |
CN110222036B (zh) | 用于自动数据库迁移的方法和系统 | |
US10579638B2 (en) | Automating extract, transform, and load job testing | |
US9792321B2 (en) | Online database migration | |
US10095699B2 (en) | Computer-readable recording medium, execution control method, and information processing apparatus | |
CN106909595B (zh) | 一种数据迁移方法及装置 | |
US9501488B1 (en) | Data migration using parallel log-structured file system middleware to overcome archive file system limitations | |
CN104765840A (zh) | 一种大数据分布式存储的方法和装置 | |
CN104699723A (zh) | 数据交换适配器、异构系统之间数据同步系统和方法 | |
CN107423404B (zh) | 流程实例数据同步处理方法和装置 | |
CN104794190A (zh) | 一种大数据有效存储的方法和装置 | |
CN104750855A (zh) | 一种大数据存储优化方法和装置 | |
US20140324928A1 (en) | Large-scale data transfer | |
CN111966760B (zh) | 基于Hive数据仓库的测试数据生成方法及装置 | |
JP2018060570A (ja) | 単一テーブルから複数テーブルへの参照データセグメント化 | |
US10334028B2 (en) | Apparatus and method for processing data | |
US20150220584A1 (en) | Dynamic modification of a database data structure | |
US10048991B2 (en) | System and method for parallel processing data blocks containing sequential label ranges of series data | |
CN111414422B (zh) | 一种数据分布方法、装置、设备和存储介质 | |
US10083121B2 (en) | Storage system and storage method | |
CN112148705A (zh) | 数据迁移的方法和装置 | |
US10803030B2 (en) | Asynchronous SQL execution tool for zero downtime and migration to HANA | |
CN112817930A (zh) | 一种数据迁移的方法和装置 | |
Jamal et al. | Performance Comparison between S3, HDFS and RDS storage technologies for real-time big-data applications | |
CN113434608A (zh) | Hive数据仓库的数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |