CN104951528A - 一种数据迁移的方法及终端 - Google Patents

一种数据迁移的方法及终端 Download PDF

Info

Publication number
CN104951528A
CN104951528A CN201510330851.7A CN201510330851A CN104951528A CN 104951528 A CN104951528 A CN 104951528A CN 201510330851 A CN201510330851 A CN 201510330851A CN 104951528 A CN104951528 A CN 104951528A
Authority
CN
China
Prior art keywords
data
database
show
gateway
mapping relations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510330851.7A
Other languages
English (en)
Other versions
CN104951528B (zh
Inventor
李雪冰
蓝应志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN CHUANGMENG TIANDI TECHNOLOGY CO LTD
Original Assignee
SHENZHEN CHUANGMENG TIANDI TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN CHUANGMENG TIANDI TECHNOLOGY CO LTD filed Critical SHENZHEN CHUANGMENG TIANDI TECHNOLOGY CO LTD
Priority to CN201510330851.7A priority Critical patent/CN104951528B/zh
Publication of CN104951528A publication Critical patent/CN104951528A/zh
Application granted granted Critical
Publication of CN104951528B publication Critical patent/CN104951528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support

Abstract

本发明实施例公开了一种数据迁移的方法,包括:建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;根据该第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与该第一表t对应的数据拷贝到所述数据库集群中。本发明实施例还提供了一种终端。采用本发明实施例可在建立网关中的第一表t与数据库集群中的第二表t之间的映射关系,根据该映射关系将备数据库中与该第一表t对应的数据拷贝到所述数据库集群中,从而,实现将数据迁移到集群中。

Description

一种数据迁移的方法及终端
技术领域
本发明实施例涉及数据库技术领域,尤其涉及一种数据迁移的方法及终端。
背景技术
随着信息技术的发展,数据量日趋庞大,而通常情况下,数据库(如mysql、oracle)里的数量都保存在不同的单个主机里,因而,随着数据增多,会造成单个主机承受力度增大,现有技术中,主要采用数据迁移方法将数据导出,如mysql数据库采用mysqldump工具将数据导出到目标主机,然后,在该目标主机做恢复,这样便实现了数据迁移。这种方式可实现数据迁移,但是只支持一对一(即源数据库中的一张表对应目的数据库中的一张表),不支持将数据迁移到集群中。
发明内容
本发明提供一种数据迁移的方法及终端,以期支持将数据迁移到集群中。
本发明实施例第一方面提供了一种数据迁移的方法,包括步骤:
建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;
根据所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。
相应地,本发明实施例第二方面提供了一种终端,包括:
第一建立单元,用于建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;
迁移单元,用于根据所述第一建立单元建立的所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。
采用本发明实施例,具有如下有益效果:
本发明实施例建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;根据该第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与该第一表t对应的数据拷贝到所述数据库集群中。采用本发明实施例可在建立网关中的第一表t与数据库集群中的第二表t之间的映射关系,根据该映射关系将备数据库中与该第一表t对应的数据拷贝到所述数据库集群中,从而,实现将数据迁移到集群中。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据迁移的方法的第一实施例的流程示意图;
图2为本发明实施例提供的一种数据迁移的方法的第二实施例的流程示意图;
图3为本发明实施例提供的一种数据迁移的方法的一个实例的具体示意图;
图4为本发明实施例提供的一种数据迁移的方法的第三实施例的流程示意图;
图5a为本发明实施例提供的一种终端的第一实施例的结构示意图;
图5b为本发明实施例提供的一种终端的第一实施例的又一结构示意图;
图6a为本发明实施例提供的一种终端的第二实施例的结构示意图;
图6b为本发明实施例提供的一种终端的第二实施例的又一结构示意图;
图7为本发明实施例提供的一种终端的第三实施例的结构示意图;
图8为本发明实施例提供的一种终端的第四实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
具体实现中,本发明实施例中,终端可以包括但不限于:笔记本电脑、手机、平板电脑、智能可穿戴设备等等。终端的系统指终端的操作系统,可以包括但不限于:Android系统、塞班系统、Windows系统、IOS(苹果公司开发的移动操作系统)系统等等。需要说明的是,Android终端指Android系统的终端,塞班终端指塞班系统的终端,等等。上述终端仅是举例,而非穷举,包含但不限于上述终端。
在本发明实施例中,所要描述的终端主要是指安装有指定插件的终端,如:在执行mysql数据迁移时,安装的插件为spider-transfer,则对应的终端为安装了插件spider-transfer的终端。
本发明实施例提供一种数据迁移的方法及终端,可实现将数据迁移到集群中。下面分别进行详细介绍。
请参见图1,图1为本发明实施例提供的一种数据迁移的方法的第一实施例的流程示意图。本发明实施例的数据迁移的方法,包括步骤:
S101、建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系。
具体实现中,终端可建立存储在网关中的第一表t和数据库集群中的第二表t之间的映射关系,例如,在实施mysql数据迁移到集群中的任务时,采用的中间件为spider-transfer,该spider-transfer支持spider引擎,则该网关也为支持spider的网关,此处,spider-transfer为支持spider引擎的一个mysql实例,在迁移过程中数据迁移和中转的作用,网关则是mysql集群的访问入口。进一步地,建立在网关中的第一表t与数据库集群中的第二表t可为存储的内容一样,只不过存储位置不同的两张表。如:在网关中的第一表t内容为:t-0,t-1,那么对应在集群中的第二表t内容也为:t-0,t-1,如此,才可以将存储在网关中的第一表t与数据库集群中的第二表t之间建立映射关系。
进一步地,数据库集群,顾名思义,就是利用至少两台或者多台数据库服务器,构成一个虚拟单一数据库逻辑映像,像单数据库系统那样,向客户端提供透明的数据服务。
S102、根据所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。
具体实现中,终端可以利用第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与该第一表t对应的数据拷贝到该数据库集群中,进一步地,终端可事先将备份数据库与第一表t对应的数据转移到网关中,其次,根据第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与该第一表t对应的数据拷贝到该数据库集群中。此处,倘若在实施mysql数据迁移到集群中的任务时,采用的中间件为spider-transfer,该spider-transfer支持spider引擎,则该网关也为支持spider的网关,那么在执行拷贝过程中可在网关上执行select_copy_tables()函数进行数据拷贝,通常情况下,函数执行完成以后就表明数据迁移完成。
作为一种可能的实施方式,终端将第三表t与备数据库上的第四表t和网关上的第一表t进行关联之后,停止备数据库与主数据库之间的同步关系,并记录主备同步点;根据该主备同步点重建主数据库与备数据库之间的同步,以使得进一步将主数据库同步的数据转发到所述备数据库上。从而,终端在建立了存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系之后,可根据第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与第一表t对应的数据拷贝到所述数据库集群中。
本发明实施例通过建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;根据该第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与该第一表t对应的数据拷贝到所述数据库集群中。采用本发明实施例可在建立网关中的第一表t与数据库集群中的第二表t之间的映射关系,根据该映射关系将备数据库中与该第一表t对应的数据拷贝到所述数据库集群中,从而,实现将数据迁移到集群中。
请参见图2,图2为本发明实施例提供的一种数据迁移的方法的第二实施例的流程示意图。本发明实施例的数据迁移的方法,包括步骤:
S201、建立第三表t与备数据库上的第四表t之间的映射关系。
具体实现中,在建立第三表t时可基于预设插件,如:利用spider-transfer进行mysql数据迁移时,可基于spider-transfer建立第三表t。第三表t与备数据库中的第四表t可为存储的内容一样,只不过存储位置不同的两张表。如:第三表t内容为:t-0,t-1,那么对应在备数据库中的第四表t内容也为:t-0,t-1,如此,才可以将第三表t与数据库中的第四表t之间建立映射关系。
进一步地,在建立第三表t与备数据库上的第四表t之间的映射关系之前,可在网关上建立第一表t,其中,第一表t可按照预设分区方式进行建立,利用spider-transfer进行mysql数据迁移时,可采用基于spider的分区方式建立第一表t。
S202、根据所述第三表t与备数据库上的第四表t之间的映射关系将主数据库同步的数据转发到备数据库上。
具体实现中,可根据第三表t与备数据库上的第四表t之间的映射关系将数据库同步的数据转发到备数据库,具体地,终端可在主数据库上建立第五表t,其中,第五表t与第三表t及第四表t内容一样,只不过存储位置不一样。具体实现中,主数据库事先与第三表t具有关联,则在第三表t与备数据库上的第四表t之间建立了映射关系之后,则主数据库与备数据库之间具有关联,则可将主数据库同步的数据转发到备数据库上。
S203、将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联,以通过所述第一表t将所述第四表t和数据库集群中的第二表t进行关联。
具体实现中,终端可将第三表t与备数据库上的第四表t和网关上的第一表t进行关联。即,通过第三表t将备数据库上的第四表t和网关上的第一表t建立映射关系,后续若第一表t与数据库集群中的第二表t之间建立映射关系之后,则第四表t和数据库集群中的第二表t之间也具有映射关系。
S204、建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系。
S205、根据所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。
其中,步骤S204-步骤S205的具体描述可参见图1中所描述的步骤S101-步骤S102。
需要指出的是,上述提及的第一表t、第二表t、第三表t、第四表t及第五表t,其实质为存储在上述表中的内容相同,只不过上述表存储的位置不同。
以下采用一个具体应用进行说明,如图3所示,图中包括业务主数据库(英文:Database,缩写:DB),即业务主DB、spider-transfer、业务备DB、网关、mysql集群,其中,mysql集群由多个set组成,如图3中mysql集群包括set1主、set1备及set2、set2备。在实施mysql数据迁移到集群中的任务时,采用的中间件为spider-transfer,该spider-transfer支持spider引擎,则该网关也为支持spider的网关,此处,spider-transfer为支持spider引擎的一个mysql实例,在迁移过程中数据迁移和中转的作用,网关则是mysql集群的访问入口,set表示最小的存储单元,set1主和set1备构成一套存储单元。具体地,在网关上按照spider的分区方式建立第一表t,根据第一表t并基于spider-transfer建立第三表t,并建立第三表t与业务备DB上的第四表t之间的映射关系,根据该第三表t找到业务主DB中对应的数据将其转发给业务备DB。将第三表t与业务备DB上的第四表t和网关上的第一表t进行关联,以通过第一表t将第四表t和mysql集群中的第二表t进行关联;建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;根据第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与第一表t对应的数据拷贝到mysql数据库集群中。
本发明实施例建立第三表t与备数据库上的第四表t之间的映射关系;根据所述第三表t与备数据库上的第四表t之间的映射关系将主数据库同步的数据转发到备数据库上;将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联,以通过所述第一表t将所述第四表t和数据库集群中的第二表t进行关联;建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;根据所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。如此,本发明实施例可将主数据库中的数据库转发到备份数据库,再转发到数据库集群中,从而,实现将数据迁移到集群中。
请参见图4,图4为本发明实施例提供的一种数据迁移的方法的第三实施例的流程示意图。本发明实施例的数据迁移的方法,包括步骤:
S301、建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系。
S302、将备数据库中与所述第一表t对应的数据转移到网关。
S303、根据所述第一表t与数据库集群中的第二表t之间的映射关系将转移到所述网关中的所述备数据库中的数据转移到所述数据库集群中。
具体实现中,终端可事先建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系,并将备数据库中与该第一表t对应的数据转移到网关,根据该第一表t与数据库集群中的第二表t之间的映射关系将转移到网关中的该备数据库中的数据转移到数据库集群中。
本发明实施例建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系,将备数据库中与所述第一表t对应的数据转移到网关,根据所述第一表t与数据库集群中的第二表t之间的映射关系将转移到所述网关中的所述备数据库中的数据转移到所述数据库集群中。如此,本发明实施例将备份数据库中的数据迁移到数据库集群中,从而,实现将数据迁移到集群中。
请参阅图5a,图5a是本发明实施例提供的一种终端的第一实施例的结构示意图。本发明实施例中所描述的终端,包括:第一建立单元501和迁移单元502,具体如下:
第一建立单元501,用于建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系。
具体实现中,第一建立单元501可建立存储在网关中的第一表t和数据库集群中的第二表t之间的映射关系,例如,在实施mysql数据迁移到集群中的任务时,采用的中间件为spider-transfer,该spider-transfer支持spider引擎,则该网关也为支持spider的网关,此处,spider-transfer为支持spider引擎的一个mysql实例,在迁移过程中数据迁移和中转的作用,网关则是mysql集群的访问入口。进一步地,建立在网关中的第一表t与数据库集群中的第二表t可为存储的内容一样,只不过存储位置不同的两张表。如:在网关中的第一表t内容为:t-0,t-1,那么对应在集群中的第二表t内容也为:t-0,t-1,如此,才可以将存储在网关中的第一表t与数据库集群中的第二表t之间建立映射关系。
迁移单元502,用于根据所述第一建立单元建立的所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。
具体实现中,迁移单元502可以利用第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与该第一表t对应的数据拷贝到该数据库集群中,进一步地,迁移单元502可事先将备份数据库与第一表t对应的数据转移到网关中,其次,根据第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与该第一表t对应的数据拷贝到该数据库集群中。此处,倘若在实施mysql数据迁移到集群中的任务时,采用的中间件为spider-transfer,该spider-transfer支持spider引擎,则该网关也为支持spider的网关,那么在执行拷贝过程中可在网关上执行select_copy_tables()函数进行数据拷贝,通常情况下,函数执行完成以后就表明数据迁移完成。
作为一种可能的实施方式,如图5b所示,图5a所描述的迁移单元502还可以包括转发单元5021和迁移子单元5022,具体如下:
转移单元5021,用于将备数据库中与所述第一表t对应的数据转移到网关。
迁移子单元5022,用于根据所述第一表t与数据库集群中的第二表t之间的映射关系将转移到所述网关中的所述备数据库中的数据转移到所述数据库集群中。
本发明实施例所描述的终端通过建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;根据该第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与该第一表t对应的数据拷贝到所述数据库集群中。采用本发明实施例可在建立网关中的第一表t与数据库集群中的第二表t之间的映射关系,根据该映射关系将备数据库中与该第一表t对应的数据拷贝到所述数据库集群中,从而,实现将数据迁移到集群中。
请参阅图6a,图6a是本发明实施例提供的一种终端的第二实施例的结构示意图。本发明实施例中所描述的终端,包括:第二建立单元601、转发单元602、关联单元603、第一建立单元501和迁移单元502,其中,第一建立单元501和迁移单元502的具体描述请参见图5a对应的实施例中的相应单元的具体描述,第二建立单元601、转发单元602和关联单元603,具体如下:
第二建立单元601,用于建立第三表t与备数据库上的第四表t之间的映射关系。
具体实现中,第二建立单元601在建立第三表t时可基于预设插件,如:利用spider-transfer进行mysql数据迁移时,可基于spider-transfer建立第三表t。第三表t与备数据库中的第四表t可为存储的内容一样,只不过存储位置不同的两张表。如:第三表t内容为:t-0,t-1,那么对应在备数据库中的第四表t内容也为:t-0,t-1,如此,才可以将第三表t与数据库中的第四表t之间建立映射关系。
转发单元602,用于根据所述第二建立单元建立的第三表t与备数据库上的第四表t之间的映射关系将主数据库同步的数据转发到备数据库上。
具体实现中,转发单元602可根据第三表t与备数据库上的第四表t之间的映射关系将数据库同步的数据转发到备数据库,具体地,第五建立单元(图中未标出)可在主数据库上建立第五表t,其中,第五表t与第三表t及第四表t内容一样,只不过存储位置不一样。具体实现中,主数据库事先与第三表t具有关联,则在第三表t与备数据库上的第四表t之间建立了映射关系之后,则主数据库与备数据库之间具有关联,则可将主数据库同步的数据转发到备数据库上。
关联单元603,用于将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联,以通过所述第一表t将所述第四表t和数据库集群中的第二表t进行关联。
具体实现中,关联单元603可将第三表t与备数据库上的第四表t和网关上的第一表t进行关联。即,通过第三表t将备数据库上的第四表t和网关上的第一表t建立映射关系,后续若第一表t与数据库集群中的第二表t之间建立映射关系之后,则第四表t和数据库集群中的第二表t之间也具有映射关系。
进一步地,如图6b所示,图第二建立单元601在建立第三表t与备数据库上的第四表t之间的映射关系之前,第三建立单元604可在网关上建立第一表t,其中,第一表t可按照预设分区方式进行建立,利用spider-transfer进行mysql数据迁移时,可采用基于spider的分区方式建立第一表t。
本发明实施例所描述的终端通过建立第三表t与备数据库上的第四表t之间的映射关系;根据所述第三表t与备数据库上的第四表t之间的映射关系将主数据库同步的数据转发到备数据库上;将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联,以通过所述第一表t将所述第四表t和数据库集群中的第二表t进行关联;建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;根据所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。如此,本发明实施例可将主数据库中的数据库转发到备份数据库,再转发到数据库集群中,从而,实现将数据迁移到集群中。
请参阅图7,图7是本发明实施例提供的一种终端的第三实施例的结构示意图。本发明实施例中所描述的终端,包括:第二建立单元601、转发单元602、关联单元603、记录单元701、重建单元702、第一建立单元501和迁移单元502,其中,第二建立单元601、转发单元602、关联单元603、第一建立单元501和迁移单元502的具体描述请参见图5a或图6a对应的实施例中相应单元的具体描述,记录单元701和重建单元702具体如下:
记录单元701,用于停止所述备数据库与所述主数据库之间的同步关系,并记录主备同步点;
重建单元702,用于根据所述记录单元701记录的主备同步点重建所述主数据库与所述备数据库之间的同步,以使得进一步将所述主数据库同步的数据转发到所述备数据库上。
具体实现中,关联单元603将第三表t与备数据库上的第四表t和网关上的第一表t进行关联之后,记录单元701停止备数据库与主数据库之间的同步关系,并记录主备同步点;重建单元702根据该主备同步点重建主数据库与备数据库之间的同步,以使得进一步将主数据库同步的数据转发到所述备数据库上。从而,第一建立单元501在建立了存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系之后,迁移单元502可根据第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与第一表t对应的数据拷贝到所述数据库集群中。
本发明实施例所描述的终端通过建立第三表t与备数据库上的第四表t之间的映射关系;根据所述第三表t与备数据库上的第四表t之间的映射关系将主数据库同步的数据转发到备数据库上;将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联,以通过所述第一表t将所述第四表t和数据库集群中的第二表t进行关联;停止所述备数据库与所述主数据库之间的同步关系,并记录主备同步点;根据所述主备同步点重建所述主数据库与所述备数据库之间的同步,以使得进一步将所述主数据库同步的数据转发到所述备数据库上;建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;根据所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。如此,本发明实施例可将主数据库中的数据库转发到备份数据库,再转发到数据库集群中,从而,实现将数据迁移到集群中。
参见图8,图8为本发明实施例提供的一种终端的第四实施例的结构示意图。本实施例中所描述的终端包括:至少一个输入设备1000;至少一个输出设备2000;至少一个处理器3000,例如CPU;和存储器4000,上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中,上述输入设备1000可为触控面板、普通PC、液晶屏、触控屏等。
上述存储器4000可以是高速RAM存储器,也可为非不稳定的存储器(non-volatile memory),例如磁盘存储器。上述存储器4000用于存储一组程序代码,上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码,执行如下操作:
上述处理器3000,用于建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;
上述处理器3000,还具体用于:
根据所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。
作为一种可能的实施方式,上述处理器3000在建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系之前,还具体用于:
建立第三表t与备数据库上的第四表t之间的映射关系;
根据所述第三表t与备数据库上的第四表t之间的映射关系将主数据库同步的数据转发到备数据库上;
将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联,以通过所述第一表t将所述第四表t和数据库集群中的第二表t进行关联。
作为一种可能的实施方式,上述处理器3000建立第三表t与备数据库上的第四表t的映射关系之前,还具体用于:
在网关上采用预设的分区方式建立第一表t。
作为一可能的实施方式,上述处理器3000,还具体用于:
将备数据库中与所述第一表t对应的数据转移到网关;
根据所述第一表t与数据库集群中的第二表t之间的映射关系将转移到所述网关中的所述备数据库中的数据转移到所述数据库集群中。
在一些可行的实施方式中,上述处理器3000将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联之后,还具体用于:
停止所述备数据库与所述主数据库之间的同步关系,并记录主备同步点;
根据所述主备同步点重建所述主数据库与所述备数据库之间的同步,以使得进一步将所述主数据库同步的数据转发到所述备数据库上。
具体实现中,本发明实施例中所描述的输入设备1000、输出设备2000和处理器3000可执行本发明实施例提供的图1~图3中所描述的数据迁移的方法的各实施例中所描述的实现方式,在此不再赘述。
本发明实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的任意一种信号处理方法的部分或全部步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可能可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明各个实施例上述方法的全部或部分步骤。其中,而前述的存储介质可包括:U盘、移动硬盘、磁碟、光盘、只读存储器(英文:Read-Only Memory,缩写:ROM,)或者随机存取存储器(英文:Random Access Memory,缩写:RAM)等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据迁移的方法,其特征在于,包括:
建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;
根据所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。
2.如权利要求1所述的方法,其特征在于,所述在建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系之前,所述方法还包括:
建立第三表t与备数据库上的第四表t之间的映射关系;
根据所述第三表t与备数据库上的第四表t之间的映射关系将主数据库同步的数据转发到备数据库上;
将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联,以通过所述第一表t将所述第四表t和数据库集群中的第二表t进行关联。
3.如权利要求2所述的方法,其特征在于,所述建立第三表t与备数据库上的第四表t的映射关系之前,所述方法还包括:
在网关上采用预设的分区方式建立第一表t。
4.如权利要求1所述的方法,其特征在于,所述根据所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中,所述方法包括:
将备数据库中与所述第一表t对应的数据转移到网关;
根据所述第一表t与数据库集群中的第二表t之间的映射关系将转移到所述网关中的所述备数据库中的数据转移到所述数据库集群中。
5.如权利要求2所述的方法,其特征在于,所述将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联之后,所述方法还包括:
停止所述备数据库与所述主数据库之间的同步关系,并记录主备同步点;
根据所述主备同步点重建所述主数据库与所述备数据库之间的同步,以使得进一步将所述主数据库同步的数据转发到所述备数据库上。
6.一种终端,其特征在于,包括:
第一建立单元,用于建立存储在网关中的第一表t与数据库集群中的第二表t之间的映射关系;
迁移单元,用于根据所述第一建立单元建立的所述第一表t与数据库集群中的第二表t之间的映射关系将备数据库中与所述第一表t对应的数据拷贝到所述数据库集群中。
7.如权利要求6所述的终端,其特征在于,
所述终端还包括:
第二建立单元,用于建立第三表t与备数据库上的第四表t之间的映射关系;
转发单元,用于根据所述第二建立单元建立的第三表t与备数据库上的第四表t之间的映射关系将主数据库同步的数据转发到备数据库上;
关联单元,用于将所述第三表t与所述备数据库上的第四表t和网关上的第一表t进行关联,以通过所述第一表t将所述第四表t和数据库集群中的第二表t进行关联。
8.如权利要求7所述的终端,其特征在于,所述第三建立单元还具体用于:
在网关上采用预设的分区方式建立第一表t。
9.如权利要求6所述的终端,其特征在于,
所述迁移单元包括:
转移单元,用于将备数据库中与所述第一表t对应的数据转移到网关;
迁移子单元,用于根据所述第一表t与数据库集群中的第二表t之间的映射关系将转移到所述网关中的所述备数据库中的数据转移到所述数据库集群中。
10.如权利要求7所述的终端,其特征在于,
所述终端还包括:
记录单元,用于停止所述备数据库与所述主数据库之间的同步关系,并记录主备同步点;
重建单元,用于根据所述记录单元记录的主备同步点重建所述主数据库与所述备数据库之间的同步,以使得进一步将所述主数据库同步的数据转发到所述备数据库上。
CN201510330851.7A 2015-06-15 2015-06-15 一种数据迁移的方法及终端 Active CN104951528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510330851.7A CN104951528B (zh) 2015-06-15 2015-06-15 一种数据迁移的方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510330851.7A CN104951528B (zh) 2015-06-15 2015-06-15 一种数据迁移的方法及终端

Publications (2)

Publication Number Publication Date
CN104951528A true CN104951528A (zh) 2015-09-30
CN104951528B CN104951528B (zh) 2019-08-23

Family

ID=54166186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510330851.7A Active CN104951528B (zh) 2015-06-15 2015-06-15 一种数据迁移的方法及终端

Country Status (1)

Country Link
CN (1) CN104951528B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017071135A1 (zh) * 2015-10-28 2017-05-04 北京汇商融通信息技术有限公司 基于多种数据存储平台的数据迁移系统
CN106649553A (zh) * 2016-11-07 2017-05-10 湖北省农村信用社联合社网络信息中心 基于完整事务性的在线式数据迁移方法
WO2018099102A1 (zh) * 2016-12-02 2018-06-07 深圳市前海安测信息技术有限公司 电子病历数据动态迁移系统及方法
CN109981697A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 一种文件转存方法、系统、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6032159A (en) * 1996-11-27 2000-02-29 Altera Corporation Apparatus and method for annotated bulk copying files to a database
CN102968503A (zh) * 2012-12-10 2013-03-13 曙光信息产业(北京)有限公司 数据库系统的数据处理方法以及数据库系统
CN103473334A (zh) * 2013-09-18 2013-12-25 浙江中控技术股份有限公司 数据存储、查询方法及系统
CN104123392A (zh) * 2014-08-11 2014-10-29 吉林禹硕动漫游戏科技股份有限公司 一种关系型数据库迁移到HBase数据库的工具和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6032159A (en) * 1996-11-27 2000-02-29 Altera Corporation Apparatus and method for annotated bulk copying files to a database
CN102968503A (zh) * 2012-12-10 2013-03-13 曙光信息产业(北京)有限公司 数据库系统的数据处理方法以及数据库系统
CN103473334A (zh) * 2013-09-18 2013-12-25 浙江中控技术股份有限公司 数据存储、查询方法及系统
CN104123392A (zh) * 2014-08-11 2014-10-29 吉林禹硕动漫游戏科技股份有限公司 一种关系型数据库迁移到HBase数据库的工具和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017071135A1 (zh) * 2015-10-28 2017-05-04 北京汇商融通信息技术有限公司 基于多种数据存储平台的数据迁移系统
CN106649553A (zh) * 2016-11-07 2017-05-10 湖北省农村信用社联合社网络信息中心 基于完整事务性的在线式数据迁移方法
WO2018099102A1 (zh) * 2016-12-02 2018-06-07 深圳市前海安测信息技术有限公司 电子病历数据动态迁移系统及方法
CN109981697A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 一种文件转存方法、系统、服务器及存储介质
CN109981697B (zh) * 2017-12-27 2021-09-17 深圳市优必选科技有限公司 一种文件转存方法、系统、服务器及存储介质

Also Published As

Publication number Publication date
CN104951528B (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
US10216592B2 (en) Storage system and a method used by the storage system
US9292214B2 (en) Systems and methods for migrating data
US9946727B2 (en) Synchronizing user states across multiple clients of a NAS system
US20180300212A1 (en) Method, device and computer readable storage media for rebuilding redundant array of independent disks
AU2016369238A1 (en) Synchronizing snapshots between storage systems
CN105094707A (zh) 一种数据存储、读取方法及装置
CN105335411A (zh) 用于数据处理的方法和系统
US9785515B2 (en) Directed backup for massively parallel processing databases
CN104951528A (zh) 一种数据迁移的方法及终端
CN109033268A (zh) 数据同步方法、装置、设备及存储介质
CN103955441A (zh) 一种设备管理系统、方法及一种io扩展接口
US11163464B1 (en) Method, electronic device and computer program product for storage management
US8990815B1 (en) Synchronizing allocated blocks of virtual disk files across primary and secondary volumes by excluding unused blocks
CN103870762A (zh) 分区访问方法和电子设备
CN112748849A (zh) 用于存储数据的方法、设备和计算机程序产品
CN110704334A (zh) 一种重要产品数据管理的方法、系统及设备
CN103929475A (zh) 一种以太网架构的硬盘存储系统及硬盘数据操作方法
CN104182414A (zh) 用于在多租户系统中管理数据库的方法和设备
CN111767169A (zh) 数据处理方法、装置、电子设备及存储介质
CN111966644A (zh) 超级计算机数据存储方法、装置、系统及存储介质
CN109376148B (zh) 缓慢变化维表的数据处理方法、装置、电子设备
CN112783419A (zh) 分布式存储方法及装置、电子设备和存储介质
US9223513B2 (en) Accessing data in a dual volume data storage system using virtual identifiers
US11620080B2 (en) Data storage method, device and computer program product
US9866444B2 (en) Dynamic conversion of hardware resources of a server system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant