CN103034664A - 控制数据库数据迁移的方法、系统及装置 - Google Patents

控制数据库数据迁移的方法、系统及装置 Download PDF

Info

Publication number
CN103034664A
CN103034664A CN2011103051800A CN201110305180A CN103034664A CN 103034664 A CN103034664 A CN 103034664A CN 2011103051800 A CN2011103051800 A CN 2011103051800A CN 201110305180 A CN201110305180 A CN 201110305180A CN 103034664 A CN103034664 A CN 103034664A
Authority
CN
China
Prior art keywords
node
dilatation
backup
host node
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103051800A
Other languages
English (en)
Other versions
CN103034664B (zh
Inventor
郭理靖
段如冰
姬毅辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co.,Ltd.
Original Assignee
SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co Ltd filed Critical SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co Ltd
Priority to CN201110305180.0A priority Critical patent/CN103034664B/zh
Publication of CN103034664A publication Critical patent/CN103034664A/zh
Application granted granted Critical
Publication of CN103034664B publication Critical patent/CN103034664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种控制数据库数据迁移的方法、系统及装置,该系统中包括一个主节点和若干从节点,主节点与若干从节点分别相连,预先为主节点和若干从节点分别配置扩容备份节点,该方法包括:断开若干从节点中的每一个从节点与所述主节点之间的连接;控制每一个从节点将从节点上运行的至少一个非关系型数据库中的数据传输到为从节点配置的扩容备份节点上;建立扩容备份节点与主节点之间的连接。采用本申请实施例对数据集群中节点上的数据进行迁移时,由于逐个将从节点上的数据传输到扩容备份节点上,因此在数据迁移过程中,不会影响到对数据集群中各个节点上的数据使用,实现了对数据集群中的数据进行无缝迁移。

Description

控制数据库数据迁移的方法、系统及装置
技术领域
本申请涉及数据库技术领域,特别是涉及一种控制数据库数据迁移的方法、系统及装置。
背景技术
在现有互联网应用系统中,可以采用非关系型数据库对应用系统中产生的数据进行保存。非关系型数据库是不同于传统关系型数据库的一类数据库,该类数据库中存储的数据没有固定的模式,但是具有较强的可扩展性。在应用系统中,采用非关系型数据库的数据集群具有自动故障恢复功能,该数据集群中包含有一个活跃节点和多个备份节点,每个节点相当于一台独立的服务器,每个节点上运行多个非关系型数据库,当活跃节点发生故障的时候,选择一个备份节点提升为活跃节点。随着应用系统的用户量和访问量的增加,数据集群需要对数据进行横向扩容,即将数据集群中数据容量负荷已满的节点上的数据迁移到新的容量更大的节点上,特别当所有节点都满负荷时,需要对数据集群中的数据进行整体迁移。
发明人在对现有技术的研究过程中发现,在对数据集群中的数据进行扩容时,需要将数据集群中的所有节点服务器停机,然后才能进行数据扩容。但是对于需要不间断提供服务的应用系统来说,要实现数据迁移将导致系统难以提供正常服务,即现有技术难以对基于非关系型数据库的数据集群中的数据进行无缝迁移。
发明内容
本申请实施例提供了一种控制数据库数据迁移的方法、系统及装置,以解决现有非关系型数据库在扩容时难以进行无缝迁移的问题。
为了解决上述技术问题,本申请实施例公开了如下技术方案:
一种控制数据库数据迁移的方法,应用于包括一个主节点和若干从节点的数据集群中,所述主节点与所述若干从节点分别相连,预先为所述主节点和所述若干从节点分别配置扩容备份节点,所述方法包括:
断开所述若干从节点中的每一个从节点与所述主节点之间的连接;
控制每一个从节点将所述从节点上运行的至少一个非关系型数据库中的数据传输到为所述从节点配置的扩容备份节点上;
建立所述扩容备份节点与所述主节点之间的连接。
还包括:
当所述若干从节点的扩容备份节点均与所述主节点建立连接后,选择所述若干扩容备份节点中的一个扩容备份节点作为扩容主节点;
建立除所述扩容主节点外的其它扩容备份节点与所述扩容主节点之间的连接。
还包括:
断开所述主节点与所述扩容备份节点之间的连接;
控制所述主节点将所述主节点上运行的至少一个非关系型数据库中的数据传输到为所述主节点配置的扩容备份节点上;
建立为所述主节点配置的扩容备份节点与所述扩容主节点之间的连接。
所述断开所述若干从节点中的每一个从节点与所述主节点之间的连接包括:
查找预先保存的每个主节点的网络地址与所述从节点的网络地址之间的关联关系;
删除所述从节点的网络地址与所述主节点的网络地址之间的关联关系。
所述建立所述扩容备份节点与所述主节点之间的连接包括:
将所述删除的从节点的网络地址重新配置给所述从节点的扩容备份节点;
控制所述扩容备份节点根据所述网络地址与所述主节点的网络地址之间进行连接。
还包括:
分析所述主节点和所述从节点中每个节点上的数据容量;
根据所述数据容量为所述主节点和所述从节点分别配置扩容备份节点。
一种控制数据库数据迁移的系统,包括:一个主节点和若干从节点,所述主节点与所述若干从节点分别相连,以及预先为所述主节点和所述若干从节点分别配置的扩容备份节点,所述系统还包括控制装置,
所述控制装置,用于断开所述若干从节点中的每一个从节点与所述主节点之间的连接,控制每一个从节点将所述从节点上运行的至少一个非关系型数据库中的数据传输到为所述从节点配置的扩容备份节点上,建立所述扩容备份节点与所述主节点之间的连接。
所述控制装置,还用于当所述若干从节点的扩容备份节点均与所述主节点建立连接后,选择所述若干扩容备份节点中的一个扩容备份节点作为扩容主节点,建立除所述扩容主节点外的其它扩容备份节点与所述扩容主节点之间的连接。
所述控制装置,还用于断开所述主节点与所述扩容备份节点之间的连接,控制所述主节点将所述主节点上运行的至少一个非关系型数据库中的数据传输到为所述主节点配置的扩容备份节点上,建立为所述主节点配置的扩容备份节点与所述扩容主节点之间的连接。
所述控制装置,还用于分析所述主节点和所述从节点中每个节点上的数据容量,根据所述数据容量为所述主节点和所述从节点分别配置扩容备份节点。
一种控制数据库数据迁移的装置,所述装置应用于包括一个主节点和若干从节点的数据集群中,所述主节点与所述若干从节点分别相连,所述系统中预先为所述主节点和所述若干从节点分别配置了扩容备份节点,所述装置包括:
断开单元,用于断开所述若干从节点中的每一个从节点与所述主节点之间的连接;
控制单元,用于控制每一个从节点将所述从节点上运行的至少一个非关系型数据库中的数据传输到为所述从节点配置的扩容备份节点上;
建立单元,用于建立所述扩容备份节点与所述主节点之间的连接。
还包括:
选择单元,用于当所述若干从节点的扩容备份节点均与所述主节点建立连接后,选择所述若干扩容备份节点中的一个扩容备份节点作为扩容主节点;
所述建立单元,还用于建立除所述扩容主节点外的其它扩容备份节点与所述扩容主节点之间的连接。
所述断开单元,还用于断开所述主节点与所述扩容备份节点之间的连接;
所述控制单元,还用于控制所述主节点将所述主节点上运行的至少一个非关系型数据库中的数据传输到为所述主节点配置的扩容备份节点上;
所述建立单元,还用于建立为所述主节点配置的扩容备份节点与所述扩容主节点之间的连接。
所述断开单元包括:
关联关系查找子单元,用于查找预先保存的每个主节点的网络地址与所述从节点的网络地址之间的关联关系;
关联关系删除子单元,用于删除所述从节点的网络地址与所述主节点的网络地址之间的关联关系。
所述建立单元包括:
重配置子单元,用于将所述删除的从节点的网络地址重新配置给所述从节点的扩容备份节点;
连接控制子单元,用于控制所述扩容备份节点根据所述网络地址与所述主节点的网络地址之间进行连接。
还包括:
分析单元,用于分析所述主节点和所述从节点中每个节点上的数据容量;
配置单元,用于根据所述数据容量为所述主节点和从节点分别配置扩容备份节点。
由上述实施例可以看出,本申请实施例应用在包括一个主节点和若干从节点的数据集群中,主节点与若干从节点分别相连,数据集群中还包括预先为主节点和若干从节点分别配置的扩容备份节点,在进行数据库数据迁移时,断开若干从节点中每一个从节点与主节点之间的连接,控制每一个从节点将从节点上运行的至少一个非关系型数据库中的数据传输到为该从节点配置的扩容备份节点上,建立扩容备份节点与主节点之间的连接。采用本申请实施例对数据集群中节点上的数据进行迁移时,由于逐个将从节点上的数据传输到扩容备份节点上,因此在数据迁移过程中,不会影响到对数据集群中各个节点上的数据使用,实现了对数据集群中的数据进行无缝迁移。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请控制数据库数据迁移的方法的第一实施例流程图;
图2为本申请控制数据库数据迁移的方法的第二实施例流程图;
图3为本申请数据集群中为一个从节点配置扩容备份节点的结构示意图;
图4为本申请控制数据库数据迁移的系统的实施例框图;
图5为本申请控制数据库数据迁移的装置的第一实施例框图;
图6为本申请控制数据库数据迁移的装置的第二实施例框图;
图7为本申请控制数据库数据迁移的装置的第三实施例框图。
具体实施方式
本发明如下实施例提供了一种控制数据库数据迁移的方法、系统及装置。
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
本申请实施例应用在包括一个主节点和若干从节点的数据集群中,主节点与若干从节点分别相连,当数据集群中所有节点的数据容量不足时,需要将每个节点上的数据迁移到为每个节点分别配置的扩容备份节点上。优选的,本申请实施例数据集群中的主节点和从节点中的每个节点上运行了至少一个非关系型数据库。
参见图1,为本申请控制数据库数据迁移的方法的第一实施例流程图:
步骤101:断开数据集群中若干从节点中的每一个从节点与主节点之间的连接。
具体的,查找预先保存的每个主节点的网络地址与从节点的网络地址之间的关联关系,删除从节点的网络地址与主节点的网络地址之间的关联关系。
步骤102:控制每一个从节点将该从节点上运行的至少一个非关系型数据库中的数据传输到为从节点配置的扩容备份节点上。
步骤103:建立扩容备份节点与主节点之间的连接。
具体的,将删除的从节点的网络地址重新配置给从节点的扩容备份节点,控制该扩容备份节点根据网络地址与主节点的网络地址之间进行连接。
参见图2,为本申请控制数据库数据迁移的方法的第二实施例流程图,该实施例详细示出了通过控制服务器对数据集群中所有节点上的数据进行迁移的过程:
步骤201:分析数据集群中主节点和若干从节点中每个节点上的数据容量。
本实施例所应用的数据集群中,包括了一个主节点和若干从节点,该主节点和若干从节点相连,主节点和从节点组成副本集,该主节点和从节点是副本集中的成员,其中主节点上运行至少一个非关系型数据库,每个从节点上都备份了与主节点上的至少一个非关系型数据库一致的数据,副本集的集群架构可以保证对数据集群中的数据访问请求可以均匀分布在副本集的每个成员上,以减轻单个节点的数据访问压力。副本集是具有故障自动恢复功能的数据集群,当主节点发生故障的时候,若干备份节点中的一个备份节点可以升级成为主节点。
本申请副本集中的主节点和从节点可以由一台控制服务器进行控制,该控制服务器可以根据预先为若干从节点配置的网络地址控制主节点与若干从节点相连,即控制服务器预先为主节点和每个从节点分配一个固定的网络地址,保存并维护每个节点的标识与其网络地址之间的关联关系,以及从节点与主节点之间的关联关系,根据维护的网络地址建立主节点与若干从节点之间的关联关系,将其组成副本集。
本实施例数据集群中的每个节点相当于一台服务器,服务器具有一定的数据容量,当应用系统运行一定时间后,数据集群中的主节点和若干从节点上的数据都将面临满负荷的问题,因此控制服务器可以通过分析数据集群中主节点和若干从节点中每个节点上的数据容量,判断这些节点是否满负荷,通常主节点和从节点中的每个节点的数据容量一致,因此当根据分析结果判断某个节点容量已满时,就可知数据集群中的所有节点的容量都已满,因此需要触发后续对数据集群中的主节点和若干从节点上的数据进行迁移的操作。
步骤202:根据数据容量为主节点和从节点分别配置扩容备份节点。
根据步骤201中分析的集群中每个节点的数据容量,可以确定需要为每个节点进行配置的扩容备份节点的容量,按照所确定的扩容备份节点的容量,为每个节点配置相应的扩容备份节点。例如,当前数据集群中每个节点的容量为100G,当每个节点已保存数据的容量达到90G时,则确定节点已经满负荷,此时可以结合时间信息,即节点内保存了90G数据所用的时间,来确定如果需要在相同的时间内再保存同样容量的数据,则可以为每个节点配置容量为200G的扩容备份节点。
步骤203:断开若干从节点中的每一个从节点与主节点之间的连接。
在进行数据集群中每个节点的数据迁移时,按照节点顺序逐个进行迁移,通常由从节点开始,例如,可以按照从节点的标识顺序进行数据迁移。
由前述步骤可知,控制服务器内维护了主节点和所有与其相连的从节点的标识与网络地址的关联关系,因此对于当前进行数据迁移的从节点,控制服务器根据该从节点的标识查找关联关系即可获得该从节点的网络地址,从维护的关联关系中删除该从节点的网络地址,就相当于断开了主节点与该从节点之间的连接。
步骤204:控制每一个从节点将该从节点上运行的至少一个非关系型数据库中的数据传输到为该从节点配置的扩容备份节点上。
从节点和与为该从节点配置的扩容备份节点之间可以通过网络进行连接,因此当从节点与主节点断开连接后,控制服务器可以触发该从节点将其上保存的非关系型数据库中的数据通过网络传输到扩容备份节点上。此时,由于副本集中的主节点与其它从节点仍然相连,因此不影响网络中对该数据集群所发送的数据请求。
步骤205:建立扩容备份节点与主节点之间的连接。
由于扩容备份节点原来所对应的从节点已经与主节点断开连接,即控制服务器中删除了为该从节点配置的网络地址,因此可以将已删除的网络地址分配给该扩容备份节点,以控制扩容备份节点根据该网络地址建立与主节点之间的连接。
按照上述过程逐个为从节点配置扩容备份节点,直到建立所有从节点的扩容备份节点与主节点的连接。
步骤206:当若干从节点的扩容备份节点均与主节点建立连接后,选择若干扩容备份节点中的一个扩容备份节点作为扩容主节点。
当控制若干从节点的扩容备份节点均与主节点建立连接后,则相当于仍然按照预先配置的网络地址维护主节点与所有从节点的扩容备份节点之间的关联关系。此时需要对主节点进行扩容,为了保持数据集群的副本集特性,需要从已经完成数据迁移的从节点的扩容备份节点中选择一个扩容备份节点作为新的主节点,即扩容主节点。在选择扩容主节点时,控制服务器可以从所有扩容备份节点中随机选择一个扩容备份节点作为扩容主节点,也可以将最先完成数据迁移的扩容备份节点作为扩容主节点。
步骤207:建立除该扩容主节点外的其它扩容备份节点与扩容主节点之间的连接。
在从已完成扩容的从节点的扩容备份节点中选择一个扩容主节点后,需要建立其它扩容备份节点与该扩容主节点之间的连接。此时,控制服务器中维护扩容主节点与扩容备份节点中的每个节点标识与对应的网络地址之间的关联关系,以及扩容主节点与扩容备份节点之间的关联关系。
步骤208:断开主节点与扩容备份节点之间的连接。
当扩容主节点与扩容备份节点之间建立连接后,开始进行主节点的扩容,由于扩容主节点与扩容备份节点之间已经建立了新的数据集群,因此可以断开主节点与扩容备份节点之间的连接,此时不再维护主节点与扩容备份节点之间的连接。
步骤209:控制主节点将主节点上运行的至少一个非关系型数据库中的数据传输到为该主节点配置的扩容备份节点上。
主节点和为该主节点配置的扩容备份节点之间可以通过网络连接,因此当主节点与扩容备份节点断开连接后,控制服务器控制该主节点将其上保存的非关系型数据库中的数据通过网络传输到为该主节点配置的扩容备份节点上。
步骤210:建立为主节点配置的扩容备份节点与扩容主节点之间的连接。
在新建立的数据集群中,将为主节点配置的扩容备份节点与扩容主节点相连。此时,控制服务器中保存主节点的扩容备份节点的标识与该扩容备份节点之间的关联关系,以及该扩容备份节点与扩容主节点之间的关联关系,由此完成数据集群中所有节点的数据迁移。
参见图3,为本申请实施例数据集群中为一个从节点配置扩容备份节点的示意图:
图3所示的数据集群中包括一个主节点和三个从节点,分别为从节点1、从节点2和从节点3。假设数据迁移由从节点1开始,则系统中需要预先为该从节点1配置扩容备份节点1。其中,可以设置控制服务器(图3中未示出)与所有节点相连,对数据迁移过程进行控制。
在执行从节点1中非关系型数据库的数据迁移时,先断开从节点1与主节点之间的关联关系,即控制服务器将所维护的从节点1的网络地址与主节点的网络地址之间的关联关系删除;然后,控制从节点1通过网络将其上保存的非关系型数据库中的数据传输到扩容备份节点1上;最后,建立扩容备份节点与主节点之间的连接,即控制服务器将为从节点1配置的网络地址分配给扩容备份节点1,并保存该扩容备份节点1与从节点1的网络地址之间的对应关系,以及扩容备份节点1与主节点之间的关联关系。
由上述实施例可知,在采用本实施例对数据集群中节点上的数据进行迁移时,由于逐个将从节点上的数据传输到扩容备份节点上,因此在数据迁移过程中,不会影响到对数据集群中各个节点上的数据使用,实现了对数据集群中的数据进行无缝迁移。
与本申请控制数据库数据迁移的方法的实施例相对应,本申请还提供了控制数据库数据迁移的系统及装置的实施例。
参见图4,为本申请控制数据库数据迁移的系统的实施例框图:
该系统包括:一个主节点410和若干从节点420,为了示例方便,图4中仅示出了两个从节点420。其中,主节点410与若干从节点420分别相连,主节点410和从节点420中的每个节点上运行至少一个非关系型数据库,系统中预先为主节点410和若干从节点420分别配置扩容备份节点430,该系统还包括用于控制数据库数据迁移的控制装置440。
其中,所述控制装置440,用于断开所述若干从节点420中的每一个从节点420与所述主节点410之间的连接,控制每一个从节点420将所述从节点420上运行的至少一个非关系型数据库中的数据传输到为所述从节点420配置的扩容备份节点430上,建立所述扩容备份节点430与所述主节点410之间的连接。
进一步,所述控制装置440,还用于当所述若干从节点420的扩容备份节点430均与所述主节点410建立连接后,选择所述若干扩容备份节点430中的一个扩容备份节点430作为扩容主节点,建立除所述扩容主节点外的其它扩容备份节点430与所述扩容主节点之间的连接。
进一步,所述控制装置440,还用于断开所述主节点410与所述扩容备份节点430之间的连接,控制所述主节点410将所述主节点410上运行的至少一个非关系型数据库中的数据传输到为所述主节点410配置的扩容备份节点430上,建立为所述主节点410配置的扩容备份节点430与所述扩容主节点之间的连接。
进一步,所述控制装置440,还用于分析所述主节点410和所述从节点420中每个节点上的数据容量,根据所述数据容量为所述主节点410和所述从节点420分别配置扩容备份节点430。
如下所示出的控制数据库数据迁移的装置的实施例中,该装置均应用于包括一个主节点和若干从节点的数据集群中,该主节点与若干从节点分别相连,主节点和从节点中的每个节点上运行至少一个非关系型数据库,系统中预先为主节点和若干从节点分别配置了扩容备份节点。
参见图5,为本申请控制数据库数据迁移的装置的第一实施例框图:
该装置包括:断开单元510、控制单元520和建立单元530。
断开单元510,用于断开所述若干从节点中的每一个从节点与所述主节点之间的连接;
控制单元520,用于控制每一个从节点将所述从节点上运行的至少一个非关系型数据库中的数据传输到为所述从节点配置的扩容备份节点上;
建立单元530,用于建立所述扩容备份节点与所述主节点之间的连接。
参见图6,为本申请控制数据库数据迁移的装置的第二实施例框图
该装置包括:断开单元610、控制单元620、建立单元630和选择单元640。
其中,断开单元610,用于断开所述若干从节点中的每一个从节点与所述主节点之间的连接;
控制单元620,用于控制每一个从节点将所述从节点上运行的至少一个非关系型数据库中的数据传输到为所述从节点配置的扩容备份节点上;
建立单元630,用于建立所述扩容备份节点与所述主节点之间的连接。
选择单元640,用于当所述若干从节点的扩容备份节点均与所述主节点建立连接后,选择所述若干扩容备份节点中的一个扩容备份节点作为扩容主节点;
所述建立单元630,还用于建立除所述扩容主节点外的其它扩容备份节点与所述扩容主节点之间的连接;
所述断开单元610,还用于断开所述主节点与所述扩容备份节点之间的连接;
所述控制单元620,还用于控制所述主节点将所述主节点上运行的至少一个非关系型数据库中的数据传输到为所述主节点配置的扩容备份节点上;
所述建立单元630,还用于建立为所述主节点配置的扩容备份节点与所述扩容主节点之间的连接。
具体的,所述断开单元610可以包括(图6中未示出):关联关系查找子单元,用于查找预先保存的每个主节点的网络地址与所述从节点的网络地址之间的关联关系;
关联关系删除子单元,用于删除所述从节点的网络地址与所述主节点的网络地址之间的关联关系。
具体的,所述建立单元630可以包括(图6中未示出):重配置子单元,用于将所述删除的从节点的网络地址重新配置给所述从节点的扩容备份节点;
连接控制子单元,用于控制所述扩容备份节点根据所述网络地址与所述主节点的网络地址之间进行连接。
参见图7,为本申请控制数据库数据迁移的装置的第三实施例框图
该装置包括:分析单元710、配置单元720、断开单元730、控制单元740和建立单元750。
其中,分析单元710,用于分析所述主节点和所述从节点中每个节点上的数据容量;
配置单元720,用于根据所述数据容量为所述主节点和从节点分别配置扩容备份节点;
断开单元730,用于断开所述若干从节点中的每一个从节点与所述主节点之间的连接;
控制单元740,用于控制每一个从节点将所述从节点上运行的至少一个非关系型数据库中的数据传输到为所述从节点配置的扩容备份节点上;
建立单元750,用于建立所述扩容备份节点与所述主节点之间的连接。
通过对以上实施方式的描述可知,本申请实施例应用在包括一个主节点和若干从节点的数据集群中,主节点与若干从节点分别相连,数据集群中还包括预先为主节点和若干从节点分别配置的扩容备份节点,在进行数据库数据迁移时,断开若干从节点中每一个从节点与主节点之间的连接,控制每一个从节点将从节点上运行的至少一个非关系型数据库中的数据传输到为该从节点配置的扩容备份节点上,建立扩容备份节点与主节点之间的连接。采用本申请实施例对数据集群中节点上的数据进行迁移时,由于逐个将从节点上的数据传输到扩容备份节点上,因此在数据迁移过程中,不会影响到对数据集群中各个节点上的数据使用,实现了对数据集群中的数据进行无缝迁移。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述的本发明实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (16)

1.一种控制数据库数据迁移的方法,其特征在于,应用于包括一个主节点和若干从节点的数据集群中,所述主节点与所述若干从节点分别相连,预先为所述主节点和所述若干从节点分别配置扩容备份节点,所述方法包括:
断开所述若干从节点中的每一个从节点与所述主节点之间的连接;
控制每一个从节点将所述从节点上运行的至少一个非关系型数据库中的数据传输到为所述从节点配置的扩容备份节点上;
建立所述扩容备份节点与所述主节点之间的连接。
2.根据权利要求1所述的方法,其特征在于,还包括:
当所述若干从节点的扩容备份节点均与所述主节点建立连接后,选择所述若干扩容备份节点中的一个扩容备份节点作为扩容主节点;
建立除所述扩容主节点外的其它扩容备份节点与所述扩容主节点之间的连接。
3.根据权利要求2所述的方法,其特征在于,还包括:
断开所述主节点与所述扩容备份节点之间的连接;
控制所述主节点将所述主节点上运行的至少一个非关系型数据库中的数据传输到为所述主节点配置的扩容备份节点上;
建立为所述主节点配置的扩容备份节点与所述扩容主节点之间的连接。
4.根据权利要求1所述的方法,其特征在于,所述断开所述若干从节点中的每一个从节点与所述主节点之间的连接包括:
查找预先保存的每个主节点的网络地址与所述从节点的网络地址之间的关联关系;
删除所述从节点的网络地址与所述主节点的网络地址之间的关联关系。
5.根据权利要求4所述的方法,其特征在于,所述建立所述扩容备份节点与所述主节点之间的连接包括:
将所述删除的从节点的网络地址重新配置给所述从节点的扩容备份节点;
控制所述扩容备份节点根据所述网络地址与所述主节点的网络地址之间进行连接。
6.根据权利要求1所述的方法,其特征在于,还包括:
分析所述主节点和所述从节点中每个节点上的数据容量;
根据所述数据容量为所述主节点和所述从节点分别配置扩容备份节点。
7.一种控制数据库数据迁移的系统,其特征在于,包括:一个主节点和若干从节点,所述主节点与所述若干从节点分别相连,以及预先为所述主节点和所述若干从节点分别配置的扩容备份节点,所述系统还包括控制装置,
所述控制装置,用于断开所述若干从节点中的每一个从节点与所述主节点之间的连接,控制每一个从节点将所述从节点上运行的至少一个非关系型数据库中的数据传输到为所述从节点配置的扩容备份节点上,建立所述扩容备份节点与所述主节点之间的连接。
8.根据权利要求7所述的系统,其特征在于,所述控制装置,还用于当所述若干从节点的扩容备份节点均与所述主节点建立连接后,选择所述若干扩容备份节点中的一个扩容备份节点作为扩容主节点,建立除所述扩容主节点外的其它扩容备份节点与所述扩容主节点之间的连接。
9.根据权利要求8所述的系统,其特征在于,所述控制装置,还用于断开所述主节点与所述扩容备份节点之间的连接,控制所述主节点将所述主节点上运行的至少一个非关系型数据库中的数据传输到为所述主节点配置的扩容备份节点上,建立为所述主节点配置的扩容备份节点与所述扩容主节点之间的连接。
10.根据权利要求7所述的系统,其特征在于,所述控制装置,还用于分析所述主节点和所述从节点中每个节点上的数据容量,根据所述数据容量为所述主节点和所述从节点分别配置扩容备份节点。
11.一种控制数据库数据迁移的装置,其特征在于,所述装置应用于包括一个主节点和若干从节点的数据集群中,所述主节点与所述若干从节点分别相连,所述系统中预先为所述主节点和所述若干从节点分别配置了扩容备份节点,所述装置包括:
断开单元,用于断开所述若干从节点中的每一个从节点与所述主节点之间的连接;
控制单元,用于控制每一个从节点将所述从节点上运行的至少一个非关系型数据库中的数据传输到为所述从节点配置的扩容备份节点上;
建立单元,用于建立所述扩容备份节点与所述主节点之间的连接。
12.根据权利要求11所述的装置,其特征在于,还包括:
选择单元,用于当所述若干从节点的扩容备份节点均与所述主节点建立连接后,选择所述若干扩容备份节点中的一个扩容备份节点作为扩容主节点;
所述建立单元,还用于建立除所述扩容主节点外的其它扩容备份节点与所述扩容主节点之间的连接。
13.根据权利要求12所述的装置,其特征在于,
所述断开单元,还用于断开所述主节点与所述扩容备份节点之间的连接;
所述控制单元,还用于控制所述主节点将所述主节点上运行的至少一个非关系型数据库中的数据传输到为所述主节点配置的扩容备份节点上;
所述建立单元,还用于建立为所述主节点配置的扩容备份节点与所述扩容主节点之间的连接。
14.根据权利要求11所述的装置,其特征在于,所述断开单元包括:
关联关系查找子单元,用于查找预先保存的每个主节点的网络地址与所述从节点的网络地址之间的关联关系;
关联关系删除子单元,用于删除所述从节点的网络地址与所述主节点的网络地址之间的关联关系。
15.根据权利要求14所述的装置,其特征在于,所述建立单元包括:
重配置子单元,用于将所述删除的从节点的网络地址重新配置给所述从节点的扩容备份节点;
连接控制子单元,用于控制所述扩容备份节点根据所述网络地址与所述主节点的网络地址之间进行连接。
16.根据权利要求11所述的装置,其特征在于,还包括:
分析单元,用于分析所述主节点和所述从节点中每个节点上的数据容量;
配置单元,用于根据所述数据容量为所述主节点和从节点分别配置扩容备份节点。
CN201110305180.0A 2011-10-10 2011-10-10 控制数据库数据迁移的方法、系统及装置 Active CN103034664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110305180.0A CN103034664B (zh) 2011-10-10 2011-10-10 控制数据库数据迁移的方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110305180.0A CN103034664B (zh) 2011-10-10 2011-10-10 控制数据库数据迁移的方法、系统及装置

Publications (2)

Publication Number Publication Date
CN103034664A true CN103034664A (zh) 2013-04-10
CN103034664B CN103034664B (zh) 2018-01-05

Family

ID=48021565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110305180.0A Active CN103034664B (zh) 2011-10-10 2011-10-10 控制数据库数据迁移的方法、系统及装置

Country Status (1)

Country Link
CN (1) CN103034664B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182300A (zh) * 2014-08-19 2014-12-03 北京京东尚科信息技术有限公司 一种集群中虚拟机的备份方法及系统
CN105260376A (zh) * 2015-08-17 2016-01-20 北京京东尚科信息技术有限公司 用于集群节点缩扩的方法、设备和系统
CN105338109A (zh) * 2015-11-20 2016-02-17 小米科技有限责任公司 分片调度方法、装置及分布式服务器系统
CN105630630A (zh) * 2015-12-23 2016-06-01 北京奇虎科技有限公司 数据热备份方法及系统
CN105933391A (zh) * 2016-04-11 2016-09-07 青岛海信传媒网络技术有限公司 一种节点扩容方法、装置及系统
CN105991769A (zh) * 2016-04-12 2016-10-05 上海帝联信息科技股份有限公司 数据迁移方法及装置、边缘节点服务器
CN106452836A (zh) * 2016-08-31 2017-02-22 北京小米移动软件有限公司 主节点设置方法及装置
CN107273527A (zh) * 2017-06-27 2017-10-20 北京云和时空科技有限公司 一种Hadoop集群和分布式系统
CN107526838A (zh) * 2017-09-08 2017-12-29 北京京东尚科信息技术有限公司 数据库集群扩容的方法和装置
CN108599982A (zh) * 2018-03-14 2018-09-28 华为技术有限公司 数据恢复方法及相关设备
CN109407964A (zh) * 2017-08-18 2019-03-01 阿里巴巴集团控股有限公司 一种数据的迁移方法、装置及设备
CN111400404A (zh) * 2020-03-18 2020-07-10 中国建设银行股份有限公司 一种节点初始化方法、装置、设备及存储介质
CN114138825A (zh) * 2021-11-24 2022-03-04 聚好看科技股份有限公司 一种服务器及为应用程序提供数据查询服务的方法
CN117041258A (zh) * 2023-10-09 2023-11-10 中交一公局集团有限公司 一种bim工程信息管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256634B1 (en) * 1998-06-30 2001-07-03 Microsoft Corporation Method and system for purging tombstones for deleted data items in a replicated database
CN101594377A (zh) * 2008-05-28 2009-12-02 国际商业机器公司 用于管理Feed数据的系统和方法
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256634B1 (en) * 1998-06-30 2001-07-03 Microsoft Corporation Method and system for purging tombstones for deleted data items in a replicated database
CN101594377A (zh) * 2008-05-28 2009-12-02 国际商业机器公司 用于管理Feed数据的系统和方法
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182300A (zh) * 2014-08-19 2014-12-03 北京京东尚科信息技术有限公司 一种集群中虚拟机的备份方法及系统
CN104182300B (zh) * 2014-08-19 2017-04-12 北京京东尚科信息技术有限公司 一种集群中虚拟机的备份方法及系统
CN105260376B (zh) * 2015-08-17 2018-08-14 北京京东尚科信息技术有限公司 用于集群节点缩扩的方法、设备和系统
CN105260376A (zh) * 2015-08-17 2016-01-20 北京京东尚科信息技术有限公司 用于集群节点缩扩的方法、设备和系统
CN105338109A (zh) * 2015-11-20 2016-02-17 小米科技有限责任公司 分片调度方法、装置及分布式服务器系统
CN105338109B (zh) * 2015-11-20 2018-10-12 小米科技有限责任公司 分片调度方法、装置及分布式服务器系统
CN105630630A (zh) * 2015-12-23 2016-06-01 北京奇虎科技有限公司 数据热备份方法及系统
CN105630630B (zh) * 2015-12-23 2019-02-19 北京奇虎科技有限公司 数据热备份方法及系统
CN105933391A (zh) * 2016-04-11 2016-09-07 青岛海信传媒网络技术有限公司 一种节点扩容方法、装置及系统
CN105933391B (zh) * 2016-04-11 2019-06-21 聚好看科技股份有限公司 一种节点扩容方法、装置及系统
CN105991769A (zh) * 2016-04-12 2016-10-05 上海帝联信息科技股份有限公司 数据迁移方法及装置、边缘节点服务器
CN105991769B (zh) * 2016-04-12 2019-04-16 上海帝联信息科技股份有限公司 数据迁移方法及装置、边缘节点服务器
CN106452836A (zh) * 2016-08-31 2017-02-22 北京小米移动软件有限公司 主节点设置方法及装置
CN107273527A (zh) * 2017-06-27 2017-10-20 北京云和时空科技有限公司 一种Hadoop集群和分布式系统
CN109407964A (zh) * 2017-08-18 2019-03-01 阿里巴巴集团控股有限公司 一种数据的迁移方法、装置及设备
CN107526838A (zh) * 2017-09-08 2017-12-29 北京京东尚科信息技术有限公司 数据库集群扩容的方法和装置
CN107526838B (zh) * 2017-09-08 2020-05-01 北京京东尚科信息技术有限公司 数据库集群扩容的方法和装置
CN108599982A (zh) * 2018-03-14 2018-09-28 华为技术有限公司 数据恢复方法及相关设备
CN108599982B (zh) * 2018-03-14 2021-02-12 华为技术有限公司 数据恢复方法及相关设备
CN111400404A (zh) * 2020-03-18 2020-07-10 中国建设银行股份有限公司 一种节点初始化方法、装置、设备及存储介质
CN114138825A (zh) * 2021-11-24 2022-03-04 聚好看科技股份有限公司 一种服务器及为应用程序提供数据查询服务的方法
CN117041258A (zh) * 2023-10-09 2023-11-10 中交一公局集团有限公司 一种bim工程信息管理系统
CN117041258B (zh) * 2023-10-09 2024-01-26 中交一公局集团有限公司 一种bim工程信息管理系统

Also Published As

Publication number Publication date
CN103034664B (zh) 2018-01-05

Similar Documents

Publication Publication Date Title
CN103034664A (zh) 控制数据库数据迁移的方法、系统及装置
CN1648867B (zh) 数据处理系统
CN102411639B (zh) 元数据的多副本存储管理方法和系统
US7797358B1 (en) Methods and apparatus for continuous data protection system having journal compression
CN105933391A (zh) 一种节点扩容方法、装置及系统
CN101980192B (zh) 一种基于对象的集群文件系统管理方法及集群文件系统
US10063651B2 (en) Parallel streams to maintain a target data transfer rate
CN101808127B (zh) 数据备份方法、系统和服务器
CN107957920A (zh) 数据库备份系统
CN109710586B (zh) 一种集群节点配置文件同步方法及装置
CN103207841A (zh) 基于键值对缓存的数据读写方法及装置
CN101667181A (zh) 一种数据容灾的方法、装置及系统
CN109102273B (zh) 一种分布式智能支付路由的实现方法及系统
CN112559637B (zh) 基于分布式存储的数据处理方法、装置、设备以及介质
CN102043686A (zh) 一种内存数据库的容灾方法、备用服务器及系统
CN103377100B (zh) 一种数据备份方法、网络节点及系统
CN106155943B (zh) 一种双控存储设备的掉电保护的方法及装置
CN103984309A (zh) 一种具有容灾功能的卷烟生产系统及其容灾演练方法
CN106294842A (zh) 一种数据交互方法、平台及分布式文件系统
CN109165112A (zh) 一种元数据集群的故障恢复方法、系统及相关组件
CN104517067A (zh) 访问数据的方法、装置及系统
EP2372552B1 (en) Automated relocation of in-use multi-site protected data storage
CN104461779B (zh) 一种分布式数据的存储方法、装置及系统
CN105468733B (zh) 一种基于源端数据重删的卷复制方法
CN102982033A (zh) 小文件的存储方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: SHENGDA NETWORK DEVELOPMENT CO., LTD., SHANGHAI

Free format text: FORMER OWNER: SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY CO., LTD.

Effective date: 20140605

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 201203 PUDONG NEW AREA, SHANGHAI TO: 201213 PUDONG NEW AREA, SHANGHAI

TA01 Transfer of patent application right

Effective date of registration: 20140605

Address after: 201213 402-B room, No. 727 Zhangjiang Road, Shanghai, Pudong New Area

Applicant after: Shanghai Shangda Networking Development Co., Ltd.

Address before: 201203 Shanghai Guo Shou Jing Road, Zhangjiang High Tech Park of Pudong New Area No. 356 building 3 room 124

Applicant before: Shanghai Shengxiao Cloud Computing Technology Co., Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201229

Address after: Room 208, building 2, Lane 666, zhangheng Road, Pudong New Area, Shanghai, 200120

Patentee after: SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co.,Ltd.

Address before: Room 402-b, 727 Zhangjiang Road, Pudong New Area, Shanghai, 201213

Patentee before: SHANDA NETWORKING Co.,Ltd.