CN111339061A - 一种分布式数据库的数据迁移方法及系统 - Google Patents

一种分布式数据库的数据迁移方法及系统 Download PDF

Info

Publication number
CN111339061A
CN111339061A CN202010089102.0A CN202010089102A CN111339061A CN 111339061 A CN111339061 A CN 111339061A CN 202010089102 A CN202010089102 A CN 202010089102A CN 111339061 A CN111339061 A CN 111339061A
Authority
CN
China
Prior art keywords
data
routing node
copy
migrated
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010089102.0A
Other languages
English (en)
Other versions
CN111339061B (zh
Inventor
何保良
陈亚焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Tuya Information Technology Co Ltd
Original Assignee
Hangzhou Tuya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Tuya Information Technology Co Ltd filed Critical Hangzhou Tuya Information Technology Co Ltd
Priority to CN202010089102.0A priority Critical patent/CN111339061B/zh
Publication of CN111339061A publication Critical patent/CN111339061A/zh
Application granted granted Critical
Publication of CN111339061B publication Critical patent/CN111339061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种分布式数据库的数据迁移方法，包括以下步骤：获取路由节点以及对应所述路由节点的数据副本；在对应待迁移数据的所述路由节点上创建新增数据副本；将所述待迁移数据和增量数据迁移至所述新增数据副本；创建新增路由节点，并将数据迁移成功后的所述新增数据副本存储至所述新增路由节点；删除对应所述待迁移数据的所述路由节点和所述数据副本。在本发明的技术方案中，通过相对应的新增副本数据和新增路由节点的方式，来保证分布式数据库在数据迁移的同时，其数据读写请求不受影响。

Description

一种分布式数据库的数据迁移方法及系统
技术领域
本发明涉及分布式数据库领域，尤其涉及一种分布式数据库的数据迁移方法及系统。
背景技术
对于分布式数据库。数据往往是多份备份，在进行扩容节点时必须尽可能的保证数据读写不受影响。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一个目的在于提供一种分布式数据库的数据迁移方法及系统，其能够保证在分布式数据库的数据进行迁移时，其他数据的读写不受影响。
为实现上述目的，本发明第一方面的技术方案提供了一种分布式数据库的数据迁移方法，包括以下步骤：获取路由节点以及对应所述路由节点的数据副本；在对应待迁移数据的所述路由节点上创建新增数据副本；将所述待迁移数据和增量数据迁移至所述新增数据副本；创建新增路由节点，并将数据迁移成功后的所述新增数据副本存储至所述新增路由节点；删除对应所述待迁移数据的所述路由节点和所述数据副本。
在上述技术方案中，优选地，所述待迁移数据和所述增量数据同时迁移至所述新增数据副本。
在上述任一技术方案中，优选地，所述数据副本和所述待迁移数据为同一数据的多个副本。
本发明第二方面的技术方案提供了一种分布式数据库的数据迁移系统，包括：获取模块，被设置为用于获取路由节点以及对应所述路由节点的数据副本；新建副本模块，被设置为用于在对应待迁移数据的所述路由节点上创建新增数据副本；数据同步模块，被设置为用于将所述待迁移数据和增量数据迁移至所述新增数据副本；新建节点模块，被设置为用于创建新增路由节点，并将数据迁移成功后的所述新增数据副本存储至所述新增路由节点；删除模块，被设置为用于删除对应所述待迁移数据的所述路由节点和所述数据副本。
本发明第二方面的技术方案提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一技术方案所述的方法。
本发明第三方面的技术方案提供了一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述任一技术方案所述的方法。
本发明第四方面的技术方案提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述任一技术方案所述的方法。
本发明提供的一种分布式数据库的数据迁移方法及系统，与现有技术相比的优点在于：通过相对应的新增副本数据和新增路由节点的方式，来保证分布式数据库在数据迁移的同时，其数据读写请求不受影响。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明一个实施例所涉及数据迁移方法的流程框图；
图2示出了本发明另一个实施例所涉及数据迁移系统的流程框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
下面参照图1和图2描述根据本发明一些实施例的分布式数据库的数据迁移方法及系统。
如图1所示，按照本发明一个实施例的分布式数据库的数据迁移方法，包括以下步骤：
S1，获取路由节点以及对应所述路由节点的数据副本；
在该步骤中，给待迁移数据向目标路由节点上增加一个数据副本，并保证该副本数据与其他数据副本数据一致并同步。
S2，在对应待迁移数据的所述路由节点上创建新增数据副本；
S3，将所述待迁移数据和增量数据迁移至所述新增数据副本；
在该步骤中，待迁移数据和所述增量数据同时迁移至所述新增数据副本，其能够保证新增的数据副本和其他的副本数据相一致。
S4，创建新增路由节点，并将数据迁移成功后的所述新增数据副本存储至所述新增路由节点；
在该步骤中，确定数据同步一致后，变更路由数据先添加新副本路由。
S5，删除对应所述待迁移数据的所述路由节点和所述数据副本。
在该步骤中，预留足够的时间空窗期，移除准备迁走的路由数据和副本数据，数据迁移结束。
在该步骤中，通过相对应的新增副本数据和新增路由节点的方式，来保证分布式数据库在数据迁移的同时，其数据读写请求不受影响。
其中，所述数据副本和所述待迁移数据为同一数据的多个副本。
在该技术方案中，通过在不同路由节点上设置同一数据的副本数据，在其中某一数据发生变化时，只需更新对应数据即可，当多个数据发生变化时，多个对应数据可同时进行更新，从而有效解决了数据存储数量过大时，加载耗时长的问题，进而能够有效提高工作效率，保证数据库集群的高可靠性和高性能。
如图2所示，按照本发明另一个实施例的分布式数据库的数据迁移系统100，包括：
获取模块10，被设置为用于获取路由节点以及对应所述路由节点的数据副本；
新建副本模块20，被设置为用于在对应待迁移数据的所述路由节点上创建新增数据副本；
数据同步模块30，被设置为用于将所述待迁移数据和增量数据迁移至所述新增数据副本；
新建节点模块40，被设置为用于创建新增路由节点，并将数据迁移成功后的所述新增数据副本存储至所述新增路由节点；
删除模块50，被设置为用于删除对应所述待迁移数据的所述路由节点和所述数据副本。
基于上述如图1所示方法，相应的，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的分布式数据库的数据迁移方法的步骤。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1所示的方法，以及图2所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述任一实施例所述的分布式数据库的数据迁移方法的步骤。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
在本发明中，术语“第一”、“第二”、“第三”仅用于描述的目的，而不能理解为指示或暗示相对重要性；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本发明的限制。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种分布式数据库的数据迁移方法，其特征在于，包括以下步骤：
获取路由节点以及对应所述路由节点的数据副本；
在对应待迁移数据的所述路由节点上创建新增数据副本；
将所述待迁移数据和增量数据迁移至所述新增数据副本；
创建新增路由节点，并将数据迁移成功后的所述新增数据副本存储至所述新增路由节点；
删除对应所述待迁移数据的所述路由节点和所述数据副本。
2.根据权利要求1所述的分布式数据库的数据迁移方法，其特征在于：所述待迁移数据和所述增量数据同时迁移至所述新增数据副本。
3.根据权利要求1所述的分布式数据库的数据迁移方法，其特征在于：所述数据副本和所述待迁移数据为同一数据的多个副本。
4.一种分布式数据库的数据迁移系统，其特征在于，包括：
获取模块，被设置为用于获取路由节点以及对应所述路由节点的数据副本；
新建副本模块，被设置为用于在对应待迁移数据的所述路由节点上创建新增数据副本；
数据同步模块，被设置为用于将所述待迁移数据和增量数据迁移至所述新增数据副本；
新建节点模块，被设置为用于创建新增路由节点，并将数据迁移成功后的所述新增数据副本存储至所述新增路由节点；
删除模块，被设置为用于删除对应所述待迁移数据的所述路由节点和所述数据副本。
5.一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的方法。
6.一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现如权利要求1-3中任一项所述的方法。
7.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行权利要求1-3中任一项所述的方法。
CN202010089102.0A 2020-02-12 2020-02-12 一种分布式数据库的数据迁移方法及系统 Active CN111339061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010089102.0A CN111339061B (zh) 2020-02-12 2020-02-12 一种分布式数据库的数据迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010089102.0A CN111339061B (zh) 2020-02-12 2020-02-12 一种分布式数据库的数据迁移方法及系统

Publications (2)

Publication Number Publication Date
CN111339061A true CN111339061A (zh) 2020-06-26
CN111339061B CN111339061B (zh) 2023-09-26

Family

ID=71185317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010089102.0A Active CN111339061B (zh) 2020-02-12 2020-02-12 一种分布式数据库的数据迁移方法及系统

Country Status (1)

Country Link
CN (1) CN111339061B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732679A (zh) * 2021-01-20 2021-04-30 维沃移动通信有限公司 数据迁移方法、装置、电子设备及可读存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504663A (zh) * 2009-03-17 2009-08-12 北京大学 基于群体智能的空间数据副本自适应分布方法
CN102737088A (zh) * 2011-03-18 2012-10-17 微软公司 分布式数据库系统中的无缝升级
US8392482B1 (en) * 2008-03-31 2013-03-05 Amazon Technologies, Inc. Versioning of database partition maps
US20140108588A1 (en) * 2012-10-15 2014-04-17 Dell Products L.P. System and Method for Migration of Digital Assets Leveraging Data Protection
CN103885895A (zh) * 2012-12-19 2014-06-25 国际商业机器公司 容错集群存储系统中的写入性能
US20140324881A1 (en) * 2005-12-29 2014-10-30 Amazon Technologies, Inc. Method and apparatus for stress management in a searchable data service
US20150019488A1 (en) * 2013-07-09 2015-01-15 Oracle International Corporation Automated database migration architecture
US20150052531A1 (en) * 2013-08-19 2015-02-19 International Business Machines Corporation Migrating jobs from a source server from which data is migrated to a target server to which the data is migrated
CN105607954A (zh) * 2015-12-21 2016-05-25 华南师范大学 一种有状态容器在线迁移的方法和装置
US9613120B1 (en) * 2014-11-11 2017-04-04 Amazon Technologies, Inc. Replicated database startup for common database storage
CN107391033A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 数据迁移方法及装置、计算设备、计算机存储介质
US20170351702A1 (en) * 2016-06-03 2017-12-07 Electronic Arts Inc. Live migration of distributed databases
US20180137055A1 (en) * 2016-11-16 2018-05-17 Huawei Technologies Co., Ltd. Log-Structured Storage Method and Server
CN109815047A (zh) * 2019-01-04 2019-05-28 平安科技（深圳）有限公司 一种数据处理的方法和相关装置
US20190179808A1 (en) * 2016-12-01 2019-06-13 Tencent Technology (Shenzhen) Company Limited Method and apparatus for data migration in database cluster, and storage medium
CN110362432A (zh) * 2019-07-23 2019-10-22 深信服科技股份有限公司 一种备份方法、装置、设备及存储介质
CN110661889A (zh) * 2019-11-06 2020-01-07 杭州涂鸦信息技术有限公司 一种iOS端的推送消息同步与补偿方法及系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140324881A1 (en) * 2005-12-29 2014-10-30 Amazon Technologies, Inc. Method and apparatus for stress management in a searchable data service
US8392482B1 (en) * 2008-03-31 2013-03-05 Amazon Technologies, Inc. Versioning of database partition maps
CN101504663A (zh) * 2009-03-17 2009-08-12 北京大学 基于群体智能的空间数据副本自适应分布方法
CN102737088A (zh) * 2011-03-18 2012-10-17 微软公司 分布式数据库系统中的无缝升级
US20140108588A1 (en) * 2012-10-15 2014-04-17 Dell Products L.P. System and Method for Migration of Digital Assets Leveraging Data Protection
CN103885895A (zh) * 2012-12-19 2014-06-25 国际商业机器公司 容错集群存储系统中的写入性能
US20150019488A1 (en) * 2013-07-09 2015-01-15 Oracle International Corporation Automated database migration architecture
US20150052531A1 (en) * 2013-08-19 2015-02-19 International Business Machines Corporation Migrating jobs from a source server from which data is migrated to a target server to which the data is migrated
US9613120B1 (en) * 2014-11-11 2017-04-04 Amazon Technologies, Inc. Replicated database startup for common database storage
CN105607954A (zh) * 2015-12-21 2016-05-25 华南师范大学 一种有状态容器在线迁移的方法和装置
US20170351702A1 (en) * 2016-06-03 2017-12-07 Electronic Arts Inc. Live migration of distributed databases
US20180137055A1 (en) * 2016-11-16 2018-05-17 Huawei Technologies Co., Ltd. Log-Structured Storage Method and Server
US20190179808A1 (en) * 2016-12-01 2019-06-13 Tencent Technology (Shenzhen) Company Limited Method and apparatus for data migration in database cluster, and storage medium
CN107391033A (zh) * 2017-06-30 2017-11-24 北京奇虎科技有限公司 数据迁移方法及装置、计算设备、计算机存储介质
CN109815047A (zh) * 2019-01-04 2019-05-28 平安科技（深圳）有限公司 一种数据处理的方法和相关装置
CN110362432A (zh) * 2019-07-23 2019-10-22 深信服科技股份有限公司 一种备份方法、装置、设备及存储介质
CN110661889A (zh) * 2019-11-06 2020-01-07 杭州涂鸦信息技术有限公司 一种iOS端的推送消息同步与补偿方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
付伟;肖侬;卢锡城;: "个体QoS受限的数据网格副本管理与更新方法", 计算机研究与发展, no. 08 *
林田;: "集中式数据库与分布式数据库的融合与迁移", 声屏世界, no. 1 *
熊敏;代真虎;朱从锋;: "分布式技术在iHyperDB中的应用", 信息技术与标准化, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732679A (zh) * 2021-01-20 2021-04-30 维沃移动通信有限公司 数据迁移方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111339061B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN106527958B (zh) 用于分布式存储系统的写入数据、获取数据的方法和设备
KR101573965B1 (ko) 분산형 저장 시스템 내의 데이터의 원자 다중 변경
CN106802932B (zh) 一种数据库的路由方法、装置及数据库系统
CN110908609B (zh) 一种磁盘处理的方法、系统、设备及可读存储介质
CN108932286B (zh) 一种数据查询方法及装置
CN105159968A (zh) 一种文件系统的目录管理方法及客户端
CN110830580B (zh) 一种存储数据同步方法及装置
JP6211631B2 (ja) ボリューム複製を目的としたワークロードの特定およびバッファのサイズ設定
CN111291062B (zh) 数据同步写入方法、装置、计算机设备及存储介质
JPWO2007099636A1 (ja) ファイルシステム移行方法、ファイルシステム移行プログラム及びファイルシステム移行装置
US8527478B1 (en) Handling bulk and incremental updates while maintaining consistency
CN110569225A (zh) 一种数据存储方法及系统
CN111414356A (zh) 数据存储方法、装置、非关系数据库系统及存储介质
CN114443598A (zh) 写数据方法、装置、计算机设备及存储介质
US20100088282A1 (en) Information processing apparatus, and operation method of storage system
US20170357657A1 (en) Systems and methods for implementing dynamic file systems
CN111339061B (zh) 一种分布式数据库的数据迁移方法及系统
CN112000850A (zh) 进行数据处理的方法、装置、系统及设备
CN110119389B (zh) 虚拟机块设备的写操作方法、快照创建方法及装置
CN110708355A (zh) 一种文件上传的方法、系统、设备及可读存储介质
JP2016162245A (ja) ストレージ制御装置、ストレージ制御方法、及びストレージ制御プログラム
CN114297196B (zh) 元数据存储方法、装置、电子设备及存储介质
CN115729463A (zh) 数据迁移的方法、系统及相关装置
CN103645967A (zh) 一种只读快照回滚方法及装置
CN108984343B (zh) 一种基于内容分析的虚拟机备份及存储管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant