CN103902593B - 一种数据迁移的方法和装置 - Google Patents

一种数据迁移的方法和装置 Download PDF

Info

Publication number
CN103902593B
CN103902593B CN201210580841.5A CN201210580841A CN103902593B CN 103902593 B CN103902593 B CN 103902593B CN 201210580841 A CN201210580841 A CN 201210580841A CN 103902593 B CN103902593 B CN 103902593B
Authority
CN
China
Prior art keywords
data
partition
determined
information
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210580841.5A
Other languages
English (en)
Other versions
CN103902593A (zh
Inventor
崔洪涛
杜怀忠
郭强
李明
邵杰
李�远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Henan Co Ltd
Original Assignee
China Mobile Group Henan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Henan Co Ltd filed Critical China Mobile Group Henan Co Ltd
Priority to CN201210580841.5A priority Critical patent/CN103902593B/zh
Publication of CN103902593A publication Critical patent/CN103902593A/zh
Application granted granted Critical
Publication of CN103902593B publication Critical patent/CN103902593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据迁移的方法和装置,用以解决现有技术中数据库的内存空间被过多数据占用而导致的数据处理效率较低的问题。该方法包括:从数据库中获取元数据信息;根据获取的元数据信息中包含的数据分区信息和数据分区中的数据的类型的信息,确定数据分区与数据分区中的数据的类型的对应关系;并根据用户输入的待迁移的数据的类型,从所述对应关系中,确定待迁移的数据的类型所对应的数据分区;根据用户输入的数据迁移目的地地址和确定的数据分区的地址,确定数据迁移策略;并根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。

Description

一种数据迁移的方法和装置
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据迁移的方法和装置。
背景技术
随着计算机技术的发展,越来越多的数据需要被存储在数据存储设备上。当数据存储设备完成日常工作时,其数据库中会存储大量的数据。当用户终端需要获取这些数据时,通过向数据存储设备发送查询请求,然后等待直至收到数据存储设备发送的查询结果;而数据存储设备接收到查询请求后,从数据库中查询用户终端需要的数据,然后将查询结果发送给用户终端。
在上述过程中,数据存储设备的数据库中存储的数据量日益累积,并且大量的过期数据占用数据库的内存空间越来越多,那么该数据库的性能就会越来越差。当用户在获取数据时,其等待数据存储设备响应的时间就会逐步增加,甚至造成用户终端长时间等待而无法成功获取到数据,从而导致数据处理效率降低,并且用户体验变差。
发明内容
本发明实施例提供一种数据迁移的方法和装置,用以解决现有技术中数据库的内存空间被过多数据占用而导致的数据处理效率较低的问题。
本发明实施例采用以下技术方案:
一种数据迁移的方法,包括:
从数据库中获取元数据信息;
根据获取的元数据信息中包含的数据分区信息和数据分区中的数据的类型的信息,确定数据分区与数据分区中的数据的类型的对应关系;并
根据用户输入的待迁移的数据的类型,从所述对应关系中,确定待迁移的数据的类型所对应的数据分区;
根据用户输入的数据迁移目的地地址和确定的数据分区的地址,确定数据迁移策略;并
根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
一种数据迁移装置,包括:
获取单元,用于从数据库中获取元数据信息;
对应关系确定单元,用于根据获取单元获取的元数据信息中包含的数据分区信息和数据分区中的数据的类型的信息,确定数据分区与数据分区中的数据的类型的对应关系;
数据分区确定单元,用于根据用户输入的待迁移的数据的类型,从对应关系确定单元确定的对应关系中,确定待迁移的数据的类型所对应的数据分区;
数据迁移策略确定单元,用于根据用户输入的数据迁移目的地地址和数据分区确定单元确定出的数据分区的地址,确定数据迁移策略;
迁移单元,用于根据数据迁移策略确定单元确定出的数据迁移策略,对确定出数据分区中的数据进行迁移。
本发明实施例的有益效果如下:
本发明实施例通过上述的方案,根据从数据库中获取到的元数据信息以及用户输入的待迁移的数据的类型,确定待迁移的数据的类型所对应的数据分区,再根据用户输入的数据迁移目的地地址和确定出的数据分区的地址,确定数据迁移策略,并根据确定出的数据迁移策略,对数据分区中的数据进行迁移,使得不同类型的数据能够迁移到适合的存储位置上,不仅节省了数据库中的内存空间,也能减少用户终端在获取数据时的等待时间,有效的解决了现有技术中数据库的内存空间被过多数据占用而导致的数据处理效率较低的问题,同时也提高了数据库的性能。
附图说明
图1为本发明实施例一提供的一种数据迁移的方法的主要流程图;
图2为本发明实施例二提供的一种数据迁移的方法的主要流程图;
图3为本发明实施例二提供的一种在实际应用中的数据迁移的实现示意图;
图4为本发明实施例三提供的一种数据迁移的装置的结构示意图。
具体实施方式
为了解决现有技术中数据库的内存空间被过多数据占用而导致的数据处理效率较低的问题,本发明实施例提供了一种数据迁移的方案。本方案根据从数据库中获取到的元数据信息以及用户输入的待迁移的数据的类型,确定待迁移的数据的类型所对应的数据分区,再根据用户输入的数据迁移目的地地址和确定出的数据分区的地址,确定数据迁移策略,并根据确定出的数据迁移策略,对数据分区中的数据进行迁移,使得不同类型的数据能够迁移到适合的存储位置上,不仅节省了数据库中的内存空间,也能减少用户终端在获取数据时的等待时间,有效的解决了现有技术中数据库的内存空间被过多数据占用而导致的数据处理效率较低的问题,同时也提高了数据库的性能。
下面结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
实施例一
如图1所示,为本发明实施例一提供的一种数据迁移的方法的主要流程图,该方法包括以下步骤:
步骤11,从数据库中获取元数据信息;
其中,可以通过JDBC(Java Data Base Connectivity,Java数据库连接)工具定期的从数据库中获取元数据信息,并将获取到的元数据信息记录在数据库中。
获取到的该元数据信息可以包括:用户、表名、表分区、表空间、数据存储位置、数据生命周期和运行日志等与数据库相关的属性信息。
步骤12,根据获取的元数据信息中包含的数据分区信息和数据分区中的数据的类型的信息,确定数据分区与数据分区中的数据的类型的对应关系;
其中,元数据信息中包含的数据分区中的数据的类型信息可以包括:数据的生命周期信息和使用频度信息,那么该步骤可以具体包括:
根据元数据信息中包含的数据分区信息与数据分区中的数据的生命周期信息和使用频度信息,以及获得的生命周期信息、使用频度信息与数据的类型的对应关系,确定上述对应关系。
其中,上述获得的生命周期信息、使用频度信息与数据的类型的对应关系可以是根据用户需求预先规定的,也可以是用户通过WEB交互界面主动进行设置的,用户可以对上述信息主动进行新增、修改和删除的操作。
步骤13,根据用户输入的待迁移的数据的类型,从上述确定出的对应关系中,确定待迁移的数据的类型所对应的数据分区;
步骤14,根据用户输入的数据迁移目的地地址和确定出的数据分区的地址,确定数据迁移策略;
其中,该步骤可以具体包括:先对确定出的数据分区的地址与数据迁移目的地地址行判断;
当判断出确定出的数据分区的地址与数据迁移目的地地址归属于同一数据库时,说明需要将该确定出的数据分区中数据在同一个数据库中进行迁移,则确定出的数据迁移策略可以具体为:
调用ETL工具执行:将确定出的该数据迁移策略中包含的该数据分区的地址和数据的迁移路径设置为针对该数据库正在运行的存储程序的输入参数,通过运行该存储程序将该数据分区中的数据迁移到数据迁移目的地地址所指示的存储空间中;
当判断出确定出的数据分区的地址与数据迁移目的地地址不归属于同一数据库,说明需要将该确定出的数据分区中的数据从该数据库迁移到其他存储介质中,则确定出的数据迁移策略可以具体为:
调用ETL工具依次执行下述操作:从确定出的数据分区的地址所指示的存储空间中提取数据,再根据数据迁移目的地地址所归属的存储介质所支持的数据格式,对提取的数据的格式进行转换,得到转换后的数据;最后将转换后的数据迁移到数据迁移目的地地址所归属的存储介质。其中,上述数据格式是根据预先设置的数据迁移目的地地址和数据迁移目的地地址所归属的存储介质所支持的数据格式的对应关系,以及用户输入的数据迁移目的地地址而确定的。
其中,上述提到的待迁移的数据的类型以及数据迁移目的地地址可以是用户通过WEB交互界面主动进行输入的,也可以是根据用户需求预先规定的,在此不作具体限定。
步骤15,根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
其中,为了避免对正在被使用的数据进行迁移而造成该数据库所在系统运行错误,在执行迁移动作之前,可以先根据获取到的元数据信息中包含的运行日志信息,判断确定出的该数据分区中的数据是否正在被使用,当判断结果为否时,再执行数据迁移动作,充分保证了只对处于空闲状态的待迁移数据进行迁移。
另外,为了避免该数据库所在系统因同时运行过多的数据迁移动作而而导致系统一直处于繁忙状态且工作效率降低,在执行迁移动作之前,还可以先判断当前执行的数据迁移策略的个数是否超过预设的执行策略最大值,当判断结果为否是,再执行数据迁移动作。这样就保证了该数据库所在系统不会超负荷运行,也就使其工作效率降低。
需要说明的是,当步骤13中确定出的数据分区为多个时,针对确定出的多个数据分区可以并行执行步骤14和步骤15,以提高数据迁移速度。
本发明实施例根据从数据库中获取到的元数据信息以及用户输入的待迁移的数据的类型,确定待迁移的数据的类型所对应的数据分区,再根据用户输入的数据迁移目的地地址和确定出的数据分区的地址,确定数据迁移策略,并根据确定出的数据迁移策略,对数据分区中的数据进行迁移,使得不同类型的数据能够迁移到适合的存储位置上,不仅节省了数据库中的内存空间,也能减少用户终端在获取数据时的等待时间,有效的解决了现有技术中数据库的内存空间被过多数据占用而导致的数据处理效率较低的问题,同时也提高了数据库的性能。
实施例二
如图2所示,为本发明实施例二提供的一种数据迁移的方法的具体流程图,具体包括:
步骤21,从数据库中获取元数据信息;
步骤22,根据获取的元数据信息中包含的数据分区信息与数据分区中的数据的生命周期信息和使用频度信息,以及获得的生命周期信息、使用频度信息与数据的类型的对应关系,确定数据分区与数据分区中的数据的类型的对应关系;
步骤23,根据用户输入的待迁移的数据的类型,从上述确定出的对应关系中,确定待迁移的数据的类型所对应的数据分区;
步骤24,判断用户输入的数据迁移目的地地址和确定出的数据分区的地址是否归属于同一数据库;当判断结果为是时,执行步骤25,当判断结果为否时,执行步骤26。
其中,用户输入的数据迁移目的地地址可以为用户通过WEB交互页面主动进行设置的,用户可以根据需求对该输入信息进行新增、修改和删除。
步骤25,确定数据迁移策略,并执行步骤27。
确定出的数据迁移策略具体可以为:调用ETL工具执行:将确定出的该数据迁移策略中包含的该数据分区的地址和数据的迁移路径设置为针对该数据库正在运行的存储程序的输入参数,通过运行该存储程序将该数据分区中的数据迁移到数据迁移目的地地址所指示的存储空间中。
本发明实施例中引入数据库的存储程序,通过运行数据库中预先设置好的存储程序,可以使迁移数据的动作以极快的速度完成,最大限度的加快数据处理速度。
步骤26,确定数据迁移策略;
确定出的数据迁移策略具体可以为:调用ETL工具依次执行下述操作:从确定出的数据分区的地址所指示的存储空间中提取数据,再根据数据迁移目的地地址所归属的存储介质所支持的数据格式,对提取的数据的格式进行转换,得到转换后的数据,最后将转换后的数据迁移到数据迁移目的地地址所归属的存储介质。其中,上述的数据格式是根据预先设置的数据迁移目的地地址和数据迁移目的地地址所归属的存储介质所支持的数据格式的对应关系,以及用户输入的数据迁移目的地地址而确定的。
步骤27,根据获取的元数据信息中包含的运行日志信息,判断数据分区的数据是否正在被使用;在判断结果为是时,则在等待规定时间后再次执行步骤27;在判断结果为否时,执行步骤28。
步骤28,判断当前执行的数据迁移策略的个数是否超过预设的执行策略最大值;在判断结果为是时,则在等待规定时间后再次执行步骤28;在判断结果为否时,执行步骤29。
其中,本发明实施例中对上述步骤27和步骤28的执行顺序不作限定,也可以先执行步骤28,再执行步骤27。
步骤29,根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
其中,该步骤中可以将不同类型的数据迁移至不同的存储介质中,对于高频率访问的数据和可以快速响应的数据,可以将其在数据库不同的存储空间中进行迁移;对于过期数据,可以将其迁移至低性能存储介质中。具体的可以包括以下几种情况:
1、将数据分区中的数据在同一数据库中进行迁移,比如数据库的表空间B→数据库的表空间B;
2、将数据分区中的数据在不同数据库之间迁移,比如数据库Oracle→数据库DB2;数据库OracleA→数据库OracleB;数据库DB2→数据库Oracle;数据库DB2_A→数据库DB2_B。
3、将数据分区中的数据从数据库中迁移至文件系统或磁带库中,比如Oracle→文件系统;DB2→文件系统;Oracle→文件系统→磁带库。
其中,对数据进行迁移之后的迁移结果可以通过WEB交互页面反馈给用户,便于用户对数据进行管理。
基于上述的数据迁移方法,本发明实施例二还提供了一种在实际应用中的数据迁移的实现示意图,如图3所示,可以具体包括以下步骤:
1、元数据收集器定期的从数据库中获取元数据信息,为数据迁移策略提供信息依据,并将获取到的元数据信息存储如数据库中;
2、用户通过WEB交互页面输入数据分级策略,具体可以包括待迁移的数据的类型以及与数据迁移目的地地址等信息,用户可以根据需求并结合安全及权限管理对上述信息自行新增、修改和删除;
3、策略生成器根据获取的元数据信息以及数据分级策略生成数据迁移策略,并存入数据库中;
4、调度执行器定期从数据库中提取数据迁移策略;
5、根据提取的数据迁移策略对数据分区中的数据进行迁移;
6、将迁移后的迁移结果反馈给用户。
本发明实施例中根据从数据库中获取到的元数据信息以及用户输入的待迁移的数据的类型,确定待迁移的数据的类型所对应的数据分区,再根据用户输入的数据迁移目的地地址和确定出的数据分区的地址,确定数据迁移策略,并根据确定出的数据迁移策略,对数据分区中的数据进行迁移,使得不同类型的数据能够迁移到适合的存储位置上,不仅节省了数据库中的内存空间,也能减少用户终端在获取数据时的等待时间,有效的解决了现有技术中数据库的内存空间被过多数据占用而导致的数据处理效率较低的问题,同时也提高了数据库的性能。
实施例三:
基于上述的数据迁移的方法,本发明实施例还提供了一种数据迁移的装置,如图4所示,为该装置的结构示意图,具体包括以下功能模块:
获取单元41,用于从数据库中获取元数据信息;
对应关系确定单元42,用于根据获取单元41获取的元数据信息中包含的数据分区信息和数据分区中的数据的类型的信息,确定数据分区与数据分区中的数据的类型的对应关系;
数据分区确定单元43,用于根据用户输入的待迁移的数据的类型,从对应关系确定单元42确定的对应关系中,确定待迁移的数据的类型所对应的数据分区;
数据迁移策略确定单元44,用于根据用户输入的数据迁移目的地地址和数据分区确定单元43确定出的数据分区的地址,确定数据迁移策略;
迁移单元45,用于根据数据迁移策略确定单元44确定出的数据迁移策略,对确定出数据分区中的数据进行迁移。
其中,获取单元41获取的元数据信息中包含的数据的类型的信息可以包括:数据的生命周期信息和使用频度信息;
在这种场景下,对应关系确定单元42,可以具体用于:
根据获取单元41获取的元数据信息中包含的数据分区信息与数据分区中的数据的生命周期信息和使用频度信息,以及预先规定的生命周期信息、使用频度信息与数据的类型的对应关系,确定数据分区与数据分区中的数据的类型的对应关系。
可选的,数据迁移策略确定单元44,可以具体包括:
判断模块441,用于判断数据分区确定单元43确定出的数据分区的地址与所述数据迁移目的地地址是否归属于同一数据库;
第一确定模块442,用于在判断模块441的判断结果为是时,确定数据迁移策略为:调用ETL工具执行:将确定出的数据迁移策略中包含的该数据分区的地址和数据的迁移路径设置为针对数据库正在运行的存储程序的输入参数,使得该数据分区中的数据迁移到数据迁移目的地地址所指示的存储空间;
第二确定模块443,用于在判断模块441的判断结果为否时,确定数据迁移策略为:调用ETL工具依次执行下述操作:从确定出的数据分区的地址所指示的存储空间中提取数据;根据数据迁移目的地地址所归属的存储介质所支持的数据格式,对提取的数据的格式进行转换,得到转换后的数据;将转换后的数据迁移到数据迁移目的地地址所归属的存储介质。其中,上述数据格式是根据预先设置的数据迁移目的地地址和数据迁移目的地地址所归属的存储介质所支持的数据格式的对应关系,以及用户输入的数据迁移目的地地址而确定的。
可选的,该装置还可以包括:
第一判断单元,用于在数据迁移策略确定单元44确定出数据迁移策略之后,根据获取的元数据信息中包含的运行日志信息,判断数据分区中的数据是否正在被使用;则
迁移单元45,可以具体用于:
在第一判断单元的判断结果为否时,根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
可选的,该装置还可以包括:
第二判断单元,用于在数据迁移策略确定单元44确定出数据迁移策略之后,判断当前执行的数据迁移策略的个数是否超过预设的执行策略最大值;则
迁移单元45,可以具体包括:
在第二判断单元的判断结果为否时,根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种数据迁移的方法,其特征在于,包括:
从数据库中获取元数据信息;
根据获取的元数据信息中包含的数据分区信息和数据分区中的数据的类型的信息,确定数据分区与数据分区中的数据的类型的对应关系;并
根据用户输入的待迁移的数据的类型,从所述对应关系中,确定待迁移的数据的类型所对应的数据分区;
判断用户输入的数据迁移目的地地址和确定出的数据分区的地址是否归属于同一数据库;
在判断结果为是时,确定数据迁移策略为:调用ETL工具执行:将确定出的数据迁移策略中包含的该数据分区的地址和数据的迁移路径设置为针对所述数据库正在运行的存储程序的输入参数,使得该数据分区中的数据迁移到所述数据迁移目的地地址所指示的存储空间;
当判断结果为否时,确定数据迁移策略为:调用ETL工具依次执行下述操作:
从确定出的数据分区的地址所指示的存储空间中提取数据;
根据数据迁移目的地地址所归属的存储介质所支持的数据格式,对提取的数据的格式进行转换,得到转换后的数据;其中,所述数据格式是根据预先设置的数据迁移目的地地址和数据迁移目的地地址所归属的存储介质所支持的数据格式的对应关系,以及用户输入的数据迁移目的地地址而确定的;
将转换后的数据迁移到数据迁移目的地地址所归属的存储介质;
并根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
2.如权利要求1所述的方法,其特征在于,所述数据的类型的信息包括:数据的生命周期信息和使用频度信息;则
根据获取的元数据信息中包含的数据分区信息和数据分区中的数据的类型的信息,确定所述对应关系,具体包括:
根据获取的元数据信息中包含的数据分区信息与数据分区中的数据的生命周期信息和使用频度信息,以及预先规定的生命周期信息、使用频度信息与数据的类型的对应关系,确定数据分区与数据分区中的数据的类型的对应关系。
3.如权利要求1所述的方法,其特征在于,确定出数据迁移策略之后,所述方法还包括:
根据所述元数据信息中包含的运行日志信息,判断确定出的数据分区中的数据是否正在被使用;则
根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移,具体包括:
在判断结果为否时,根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
4.如权利要求1所述的方法,其特征在于,确定出数据迁移策略之后,所述方法还包括:
判断当前执行的数据迁移策略的个数是否超过预设的执行策略最大值;则
根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移,具体包括:
在判断结果为否时,根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
5.一种数据迁移装置,其特征在于,包括:
获取单元,用于从数据库中获取元数据信息;
对应关系确定单元,用于根据获取单元获取的元数据信息中包含的数据分区信息和数据分区中的数据的类型的信息,确定数据分区与数据分区中的数据的类型的对应关系;
数据分区确定单元,用于根据用户输入的待迁移的数据的类型,从对应关系确定单元确定的对应关系中,确定待迁移的数据的类型所对应的数据分区;
数据迁移策略确定单元,用于判断用户输入的数据迁移目的地地址和数据分区确定单元确定出的数据分区的地址是否归属于同一数据库;在判断模块的判断结果为是时,确定数据迁移策略为:调用ETL工具执行:将确定出的数据迁移策略中包含的该数据分区的地址和数据的迁移路径设置为针对所述数据库正在运行的存储程序的输入参数,使得该数据分区中的数据迁移到所述数据迁移目的地地址所指示的存储空间;在判断模块的判断结果为否时,确定数据迁移策略为:调用ETL工具依次执行下述操作:从确定出的数据分区的地址所指示的存储空间中提取数据;根据数据迁移目的地地址所归属的存储介质所支持的数据格式,对提取的数据的格式进行转换,得到转换后的数据;其中,所述数据格式是根据预先设置的数据迁移目的地地址和数据迁移目的地地址所归属的存储介质所支持的数据格式的对应关系,以及用户输入的数据迁移目的地地址而确定的;将转换后的数据迁移到数据迁移目的地地址所归属的存储介质;
迁移单元,用于根据数据迁移策略确定单元确定出的数据迁移策略,对确定出数据分区中的数据进行迁移。
6.如权利要求5所述的装置,其特征在于,所述数据的类型的信息包括:数据的生命周期信息和使用频度信息;则
对应关系确定单元,具体用于:
根据获取单元获取的元数据信息中包含的数据分区信息与数据分区中的数据的生命周期信息和使用频度信息,以及预先规定的生命周期信息、使用频度信息与数据的类型的对应关系,确定数据分区与数据分区中的数据的类型的对应关系。
7.如权利要求5所述的装置,其特征在于,所述装置还包括:
第一判断单元,用于在数据迁移策略确定单元确定出数据迁移策略之后,根据获取的元数据信息中包含的运行日志信息,判断数据分区中的数据是否正在被使用;则
所述迁移单元,具体用于:
在第一判断单元的判断结果为否时,根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
8.如权利要求5所述的装置,其特征在于,所述装置还包括:
第二判断单元,用于在数据迁移策略确定单元确定出数据迁移策略之后,判断当前执行的数据迁移策略的个数是否超过预设的执行策略最大值;则
所述迁移单元,具体包括:
在第二判断单元的判断结果为否时,根据确定出的数据迁移策略,对确定出的数据分区中的数据进行迁移。
CN201210580841.5A 2012-12-27 2012-12-27 一种数据迁移的方法和装置 Active CN103902593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210580841.5A CN103902593B (zh) 2012-12-27 2012-12-27 一种数据迁移的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210580841.5A CN103902593B (zh) 2012-12-27 2012-12-27 一种数据迁移的方法和装置

Publications (2)

Publication Number Publication Date
CN103902593A CN103902593A (zh) 2014-07-02
CN103902593B true CN103902593B (zh) 2018-09-07

Family

ID=50993921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210580841.5A Active CN103902593B (zh) 2012-12-27 2012-12-27 一种数据迁移的方法和装置

Country Status (1)

Country Link
CN (1) CN103902593B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077401B (zh) * 2014-07-04 2017-11-24 用友网络科技股份有限公司 用于数据库的数据迁移装置和数据迁移方法
CN105468473B (zh) * 2014-07-16 2019-03-01 北京奇虎科技有限公司 数据迁移方法及数据迁移装置
CN105988804B (zh) * 2015-02-12 2020-01-14 Oppo广东移动通信有限公司 一种软件转移方法及终端
CN105072494B (zh) * 2015-07-31 2018-12-21 无锡天脉聚源传媒科技有限公司 一种视频相关信息迁移的处理方法及装置
CN105260264A (zh) * 2015-09-23 2016-01-20 浪潮(北京)电子信息产业有限公司 一种快照实现方法及快照系统
CN106682047B (zh) * 2015-11-11 2019-11-01 杭州华为数字技术有限公司 一种数据导入方法以及相关装置
CN105279280A (zh) * 2015-11-16 2016-01-27 天津南大通用数据技术股份有限公司 快速迁移Oracle数据到MPP数据库的方法及工具
CN106888264B (zh) * 2017-03-02 2019-09-17 杭州数梦工场科技有限公司 一种数据交换方法和装置
CN108664499B (zh) * 2017-03-29 2021-04-23 中国移动通信集团河北有限公司 数据存储的方法、装置及设备
CN107943572B (zh) * 2017-11-16 2019-09-03 平安科技(深圳)有限公司 数据迁移方法、装置、计算机设备和存储介质
CN109901786B (zh) * 2017-12-08 2021-07-16 腾讯科技(深圳)有限公司 数据迁移方法、系统、装置及计算机可读存储介质
CN108388599B (zh) * 2018-02-01 2022-08-02 平安科技(深圳)有限公司 电子装置、数据迁移及调用方法及存储介质
CN109144977A (zh) * 2018-08-14 2019-01-04 五八有限公司 一种数据迁移方法、装置、设备及存储介质
CN109582223B (zh) * 2018-10-31 2023-07-18 华为技术有限公司 一种内存数据迁移的方法及装置
US11537724B2 (en) 2019-03-26 2022-12-27 International Business Machines Corporation Generating data migration plan for in-place encryption of data
CN111125062B (zh) * 2019-12-20 2023-10-20 中国银行股份有限公司 历史数据迁移方法及装置、历史数据查询方法及装置
CN114328472B (zh) * 2022-03-15 2022-05-27 北京数腾软件科技有限公司 一种基于ai的数据迁移方法及系统
CN115269495B (zh) * 2022-06-18 2023-08-08 知学云(北京)科技股份有限公司 一种基于aPaaS平台的业务方案元数据处理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510456B1 (en) * 1998-03-25 2003-01-21 Hitachi, Ltd. Data transfer control method and system, data transfer control program file, and file storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4322031B2 (ja) * 2003-03-27 2009-08-26 株式会社日立製作所 記憶装置
JP5152006B2 (ja) * 2009-01-22 2013-02-27 富士通株式会社 記憶装置、記憶装置のデータ転送方法
CN101876983B (zh) * 2009-04-30 2012-11-28 国际商业机器公司 数据库分区方法与系统
CN102368802B (zh) * 2011-08-17 2013-08-21 丁文华 一种电视台生产系统及其实现建设及操作的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510456B1 (en) * 1998-03-25 2003-01-21 Hitachi, Ltd. Data transfer control method and system, data transfer control program file, and file storage medium

Also Published As

Publication number Publication date
CN103902593A (zh) 2014-07-02

Similar Documents

Publication Publication Date Title
CN103902593B (zh) 一种数据迁移的方法和装置
CN102831120B (zh) 一种数据处理方法及系统
CN102930062B (zh) 一种数据库快速水平扩展的方法
CN103064664B (zh) 一种基于性能预估的Hadoop参数自动优化方法和系统
CN104348679B (zh) 一种分桶测试的方法、装置和系统
JP6338817B2 (ja) データベースミドルウェアを用いたデータ管理システム及びその方法
CN102419770B (zh) 文件共享系统及实现文件共享的方法、文件索引服务设备
CN109815283B (zh) 一种异构数据源可视化查询方法
CN104348881B (zh) 云管理平台中的用户资源划分方法与装置
CN110471923B (zh) 一种区块链交易记录的处理方法及装置
CN105677904B (zh) 基于分布式文件系统的小文件存储方法及装置
CN103246549B (zh) 一种数据转存的方法及系统
CN104239148A (zh) 一种分布式任务调度方法及装置
CN103678293B (zh) 一种数据存储方法及装置
CN105930138B (zh) 一种消息处理方法及装置
CN102282544A (zh) 存储系统
CN106471501A (zh) 数据查询的方法、数据对象的存储方法和数据系统
JP2009181546A (ja) コーディネータサーバ、データ割当方法及びプログラム
CN103699618A (zh) 数据报表的生成方法和系统
CN110941602B (zh) 数据库的配置方法、装置、电子设备及存储介质
CN104881466A (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN104834650A (zh) 一种有效查询任务生成方法及系统
CN110222122A (zh) 一种MongoDB的数据同步方法及相关设备
JP2011170667A (ja) ファイル同期システム、ファイル同期方法およびファイル同期プログラム
CN103294799B (zh) 一种数据并行批量导入只读查询系统的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant