CN112364104A - 分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质 - Google Patents

分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质 Download PDF

Info

Publication number
CN112364104A
CN112364104A CN202110039398.XA CN202110039398A CN112364104A CN 112364104 A CN112364104 A CN 112364104A CN 202110039398 A CN202110039398 A CN 202110039398A CN 112364104 A CN112364104 A CN 112364104A
Authority
CN
China
Prior art keywords
data fragment
data
fragment
distributed database
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110039398.XA
Other languages
English (en)
Inventor
阎虎青
黄炎
李恒
张沈波
梁广涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aikesheng Information Technology Co ltd
Original Assignee
Shanghai Aikesheng Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aikesheng Information Technology Co ltd filed Critical Shanghai Aikesheng Information Technology Co ltd
Priority to CN202110039398.XA priority Critical patent/CN112364104A/zh
Publication of CN112364104A publication Critical patent/CN112364104A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273Asynchronous replication or reconciliation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质,其中所述方法包括:基于原有的第一数据分片扩容得到第二数据分片,基于原有的第一数据分片的数据为第二数据分片创建第二数据分片的主库和从库,在第二数据分片的主库和从库之间创建主从复制,在第一数据分片和第二数据分片之间创建异步复制;断开第一数据分片和第二数据分片之间的异步复制,并调整分布式数据库的路由配置信息,使中间件能分别与第一数据分片和第二数据分片通信连接。通过实施本申请,能解决现有分布式扩容方法中存在的影响应用服务的正常使用、回收扩容后原有的节点服务器及分布式数据库、数据一致性难以保证等问题。

Description

分布式数据库扩容方法、分布式数据库系统及计算机可读存 储介质
技术领域
本申请涉及通信技术领域,尤其涉及一种分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质。
背景技术
现有分布式数据库扩容方法一般通过如图1-图3所示流程实现。具体地如图1中,分布式数据库中的数据分片通过数据传输工具(例如关系数据库MySQL原生复制)汇聚到新建的数据库中间件服务(简称为中间件)dble2,由dble2路由到各新建数据分片所在的节点服务器Node中。如图2,需客户端停下应用服务,完成增量数据的同步。如图3中,在完成数据同步后,需切换应用服务到新的数据库中间件dble2及新的分布式数据库上,以删除旧的数据库中间件及分布式数据库。
然而在实践中发现,首先现有分布式数据库扩容方案中需停下应用服务,导致应用服务有段时间不可用,停止时间取决于增量数据的大小及同步速度,通常为几分钟到几个小时。这样会影响应用服务的正常使用,影响用户体验。其次扩容期间需额外建立一套完整的数据库中间件及对应的后端节点服务器,扩容后原有的节点服务器及分布式数据库需回收,增加回收工作。再者,难以保证扩容前后分布式数据库中数据的一致性。因此亟需一种便捷地分布式数据库扩容方案。
发明内容
本申请实施例提供了一种分布式数据库扩容方法,能解决现有分布式扩容方法中存在的影响应用服务的正常使用、回收扩容后原有的节点服务器及分布式数据库、数据一致性难以保证等问题。
第一方面,提供了一种分布式数据库扩容方法,所述分布式数据库包括中间件及其通信连接的若干原有的第一数据分片,每个原有的第一数据分片部署在一个对应的节点服务器中,该分布式数据库扩容方法包括:基于原有的第一数据分片扩容得到第二数据分片,该第二数据分片位于扩容出的新的节点服务器上;基于原有的第一数据分片的数据为第二数据分片创建第二数据分片的主库和从库,并在第二数据分片的主库和从库之间创建主从复制,在所述第一数据分片和所述第二数据分片之间创建异步复制,以将第一数据分片中的待同步数据异步复制于所述第二数据分片中,断开所述第一数据分片和所述第二数据分片之间的异步复制,并调整所述分布式数据库的路由配置信息,使得中间件能分别与第一数据分片和第二数据分片通信连接,以实现第一数据分片和第二数据分片的分别访问。
在一些实施例中,所述为所述第二数据分片创建所述第二数据分片的主库和从库的步骤包括:
在所述原有的第一数据分片所对应的节点服务器中,对所述原有的第一数据分片的数据进行全备份;
使用所述原有的第一数据分片的备份,为所述第二数据分片创建所述第二数据分片的主库;
对所述第二数据分片的主库进行备份,并利用所述第二数据分片的主库的备份,为所述第二数据分片创建所述第二数据分片的从库,且进一步为所述第二数据分片的主库和从库建立半同步复制,作为所述第二数据分片的主库和从库之间的所述主从复制。
在一些实施例中,所述第一数据分片和所述第二数据分片之间创建异步复制的步骤包括:
通过命令行在所述第一数据分片的从库和所述第二数据分片的主库之间创建异步复制,等待所述待同步数据在所述第一数据分片和所述第二数据分片之间的同步完成。
在一些实施例中,所述调整所述分布式数据库的路由配置信息后,所述待同步数据的访问路由从所述第一数据分片调整到所述第二数据分片上。
在一些实施例中,在将所述第一数据分片中的待同步数据异步复制于所述第二数据分片中之后,且在断开所述第一数据分片和所述第二数据分片之间的异步复制之前,先断开所述中间件与所述第一数据分片的连接,以停止对所述第一数据分片的写入;所述调整所述分布式数据库的路由配置信息的步骤包括:
生成所述第二数据分片的路由配置信息;
使用所述中间件的热加载功能,加载所述第二数据分片和所述第一数据分片的路由配置信息,以实现所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接。
在一些实施例中,在实现所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接之后,还包括:
删除所述第一数据分片中的所述待同步数据,和/或,删除所述第二数据分片中留存于所述第一数据分片上的数据。
第二方面,提供了一种分布式数据库系统,包括中间件以及其通信连接的若干原有的第一数据分片,每个原有的第一数据分片部署在一个对应的节点服务器中,所述中间件可执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的单元。该单元可以是软件和/或硬件。
第三方面,提供了一种中间件,该中间件包括:处理器以及和处理器相连的存储器;其中,该存储器包括计算机可读指令;该处理器用于执行该存储器中的计算机可读指令,从而使得该汽车执行上述第一方面或第一方面的任意一种可选的实施方式中的方案。
第四方面,提供了一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
第五方面,提供了一种芯片产品,执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
第六方面,提了供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
附图说明
图1-图3是现有技术中提供的几种分布式数据库扩容方法涉及的操作示意图。
图4是本申请实施例提供的一种分布式数据库扩容方法的流程示意图。
图5-图12是本申请实施例提供的几种分布式数据库扩容方法涉及的操作示意图。
图13是本申请实施例提供的一种分布式数据库系统的结构示意图。
图14是本申请实施例提供的一种中间件的结构示意图。
图15是本申请实施例提供的另一种中间件的结构示意图。
具体实施方式
下面结合附图对本申请具体实施例作进一步的详细描述。
请参见图4,图4是本申请实施例提供的一种分布式数据库扩容方法的流程示意图。该分布式数据库包括中间件及与中间件通信的若干原有的第一数据分片,每个第一数据分片对应部署在一个节点服务器中,如图4所示的分布式数据库扩容方法包括:
S101、基于原有的第一数据分片扩容得到第二数据分片,该第二数据分片位于扩容出的新的节点服务器上。
本申请中间件基于第一数据分片(例如数据分片A)扩张出新的第二数据分片(例如数据分片B)。该数据分片B和数据分片A对应部署于不同的节点服务器上。
S102、基于原有的第一数据分片的数据,为第二数据分片创建第二数据分片的主库和从库,并在第二数据分片的主库和从库之间创建主从复制。
在一个示例中,中间件在第一数据分片所在的节点服务器中对原有的第一数据分片的数据进行全备份,使用第一数据分片的备份为第二数据分片创建第二数据分片的主库。具体的,请参见图5所示,中间件对数据分片A的数据进行全备份,创建数据分片B的数据库组,并创建数据分片B的主库MB,使得主库的各种信息(例如各种用户名和密码)与数据分片A一致。进而使用数据分片A的备份重置数据分片B的主库MB,以保证数据分片B的主库MB与数据分片A的备份数据一致。
再一个示例中,中间件对第二数据分片的主库进行备份,并利用第二数据分片的主库的备份,为第二数据分片创建第二数据分片的从库,进一步为第二数据分片的主库和从库建立半同步复制,以作为第二数据分片的主库和从库之间的主从复制。具体的,请参见图6所示,中间件需为第二数据分片的主库MB创建从库SB,具体可对数据分片B的从库进行备份,使用该备份数据创建数据分片B的从库,并为数据分片B建立主从复制,以在主库奔溃或出现问题时,从库能正常提供服务,保证数据不丢失,系统正常运行。
S103、在第一数据分片和第二数据分片之间创建异步复制,以将第一数据分片中待同步数据异步复制于第二数据分片中。
再一个示例中,中间件通过命令行在第一数据分片的从库和第二数据分片的主库之间创建异步复制,等待增量数据(待同步数据)在第一数据分片和第二数据分片之间的同步完成。请参见图7所示,中间件通过命令行能创建第一数据分片的从库SA和第二数据分片的主库MB之间的异步复制。
S104、断开第一数据分片和第二数据分片之间的异步复制,并调整分布式数据库的路由配置信息,使得中间件能分别与第一数据分片和第二数据分片通信连接,以实现第一数据分片和第二数据分片的分别访问。
再一个示例中,中间件断开第一数据分片和第二数据分片之间的异步复制,并调整分布式数据库的路由配置信息,使得中间件能分别与第一数据分片和第二数据分片通信连接。具体的,请参见图8所示中间件DBLE能先断开与第一数据分片的连接,以停止对第一数据分片的写入。原有数据分片A和新数据分片B在追击时长内,其数据差异较小(例如小于预设阈值),可暂停原有数据分片A的数据写入,同时相应的应用访问被冻结/挂起,让数据分片A和数据分片B之间的数据彻底追平,有利于保证数据一致性,即数据分片A的主库/从库和数据分片B的主库/从库中的数据一致。
请参见图9所示,中间件能在数据分片B的主库MB上执行停止异步复制操作,使得数据分片A的从库SA与数据分片B的主库MB之间的异步复制断开。
再一个示例中,中间件能生成第二数据分片的路由配置信息,使用中间件的热加载功能加载第一数据分片和第二数据分片各自的路由配置信息,以恢复流量实现中间件能分别与第一数据分片和第二数据分片通信连接。具体地请参见图10所示,中间件启用新数据分片B的访问,且恢复原数据分片B的访问。中间件按照新数据分片B生成新的路由配置信息,然后使用中间件的热加载功能加载数据分片A和数据分片B各自的路由配置信息,以恢复暂停的流量通信。
再一个示例中,中间件还能清理第一数据分片和第二数据分片中不需要的数量,以释放磁盘空间,扩展关系型数据库MySQL存储能力上的性能容量。请参见图11所示,中间件能删除第一数据分片中的待同步数据,该待同步数据为第一数据分片中的部分数据。可选地,中间件还能删除第二数据分片中留存于第一数据分片上的数据。
可选地参见图12示出一种分布式数据库扩容方法的总操作流程示意图。如图12中,当某些步骤出现错误时还能退回至相应步骤状态。具体的如图12中,箭头“—>”表示往下下一步骤的图示,“<—”表示退回上一步骤的图示。如图12中在步骤II和步骤III中如果第二数据分片的主库或从库创建失败,则可退回至步骤I所处状态,现有分布式数据库中仅包括第一数据分片的主库MA和从库SA。同理,在步骤IV中若第一数据分片的从库SA和第二数据分片的主库MB之间异步复制创建失败,则可退回至第III步骤状态分布式数据库中创建有第一数据分片的主从库和第二数据分片的主从库,但此时它们之间并未创建异步复制。
在步骤V中若存在一些特殊原因导致分布式数据库与第一数据分片之间的连接断开失败,则分布式数据库此时仍处于步骤IV状态中,分布式数据库与第一数据分片之间仍保持通信连接。若步骤VI和步骤VII中出现异常(例如VI中断开第一数据分片和第二数据分片之间的异步复制失败,或VII中新建中间件与第一数据分片和第二数据分片之间的通信连接失败),则可退回至步骤III所处状态,此时在分布式数据库中中间件仍与第一数据分片通信连接,分布式数据库中仍存在第一数据分片的主从库和第二数据分片的主从库,以等待新的尝试重建第一数据分片和第二数据分片的异步复制等等。
通过实施本申请,基于原有的第一数据分片扩容得到第二数据分片,基于原有的第一数据分片的数据为第二数据分片创建主库和从库,并在第二数据分片的主库和从库之间创建主从复制,在第一数据分片和第二数据分片之间创建异步复制,以将第一数据分片中待同步数据异步复制于第二数据分片中,断开第一数据分片和第二数据分片之间的异步复制,并调整分布式数据库的路由配置信息,使得中间件能分别与第一数据分片与第二数据分片通信连接,以实现第一数据分片和第二数据分片的分别访问。能够横线扩展系统,使其具有更高的吞吐量,且不需要应用停止服务全过程透明,还能保证扩容前后数据的一致性,且扩容期间不需过量资源的消耗。这样能解决现有分布式数据库扩容方法中存在的影响应用服务的正常使用、回收扩容后原有的节点服务器及分布式数据库、数据一致性难以保证等问题。
请参见图13,图13是本申请实施例提供的一种分布式数据库系统400,包括中间件401及与其通信连接的若干原有的第一数据分片402,每个原有的第一数据分片部署在一个对应的节点服务器中。请参见图14示出一种中间件401的结构示意图。如图14所示的中间件401包括:扩容单元4011、第一处理单元4012及第二处理单元4013,其中:
扩容单元4011,用于基于所述原有的第一数据分片扩容得到第二数据分片,所述第二数据分片位于扩容出的新的节点服务器上;
第一处理单元4012,用于基于所述原有的第一数据分片的数据,为所述第二数据分片创建所述第二数据分片的主库和从库,并在所述第二数据分片的主库和从库之间创建主从复制,在所述第一数据分片和所述第二数据分片之间创建异步复制,以将所述第一数据分片中的待同步数据异步复制于所述第二数据分片中;
第二处理单元4013,用于断开所述第一数据分片和所述第二数据分片之间的异步复制,并调整所述分布式数据库的路由配置信息,使得所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接,以实现所述第一数据分片和所述第二数据分片的分别访问。
在一些实施例中,第一处理单元4012具体用于:
在所述原有的第一数据分片所对应的节点服务器中,对所述原有的第一数据分片的数据进行全备份;
使用所述原有的第一数据分片的备份,为所述第二数据分片创建所述第二数据分片的主库;
对所述第二数据分片的主库进行备份,并利用所述第二数据分片的主库的备份,为所述第二数据分片创建所述第二数据分片的从库,且进一步为所述第二数据分片的主库和从库建立半同步复制,作为所述第二数据分片的主库和从库之间的所述主从复制。
在一些实施例中,所述第一处理单元4012具体用于:
通过命令行在所述第一数据分片的从库和所述第二数据分片的主库之间创建异步复制,等待所述待同步数据在所述第一数据分片和所述第二数据分片之间的同步完成。
在一些实施例中,所述调整所述分布式数据库的路由配置信息后,所述待同步数据的访问路由从所述第一数据分片调整到所述第二数据分片上。
在一些实施例中,所述第一处理单元4012具体用于先断开所述中间件与所述第一数据分片的连接,以停止对所述第一数据分片的写入;所述第二处理单元4013具体用于生成所述第二数据分片的路由配置信息;使用所述中间件的热加载功能,加载所述第二数据分片和所述第一数据分片的路由配置信息,以实现所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接。
在一些实施例中,所述第二处理单元4013还用于删除所述第一数据分片中的所述待同步数据,和/或,删除所述第二数据分片中留存于所述第一数据分片上的数据。
通过实施本申请,能解决现有分布式数据库扩容方法中存在的影响应用服务的正常使用、回收扩容后原有的节点服务器及分布式数据库、数据一致性难以保证等问题。
请参见图15,是本申请实施例提供的另一种中间件的结构示意图。如图15所示的中间件600包括:至少一个输入设备601;至少一个输出设备602;至少一个微控制单元603(也可称为处理器603),例如CPU;和存储器604,上述输入设备601、输出设备602、处理器603和存储器604通过总线605连接。
其中,上述输入设备601具体可为移动终端的触控面板,包括触摸屏和触控屏,用于检测终端触控面板上的操作指令。
上述输出设备602具体可为移动终端的显示屏,用于输出、显示信息。
上述存储器604可以是高速RAM存储器,也可为非不稳定的存储器(non-volatilememory),例如磁盘存储器。上述存储器604用于存储一组程序代码,上述输入设备601、输出设备602和处理器603用于调用存储器604中存储的程序代码执行相应操作,其中处理器603具体用于执行如下操作:
基于所述原有的第一数据分片扩容得到第二数据分片,所述第二数据分片位于扩容出的新的节点服务器上;
基于所述原有的第一数据分片的数据,为所述第二数据分片创建所述第二数据分片的主库和从库,并在所述第二数据分片的主库和从库之间创建主从复制,在所述第一数据分片和所述第二数据分片之间创建异步复制,以将所述第一数据分片中的待同步数据异步复制于所述第二数据分片中;
断开所述第一数据分片和所述第二数据分片之间的异步复制,并调整所述分布式数据库的路由配置信息,使得所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接,以实现所述第一数据分片和所述第二数据分片的分别访问。
在一些实施例中,处理器603具体用于执行如下操作:
在所述原有的第一数据分片所对应的节点服务器中,对所述原有的第一数据分片的数据进行全备份;
使用所述原有的第一数据分片的备份,为所述第二数据分片创建所述第二数据分片的主库;
对所述第二数据分片的主库进行备份,并利用所述第二数据分片的主库的备份,为所述第二数据分片创建所述第二数据分片的从库,且进一步为所述第二数据分片的主库和从库建立半同步复制,作为所述第二数据分片的主库和从库之间的所述主从复制。
在一些实施例中,处理器603具体用于执行如下操作:
通过命令行在所述第一数据分片的从库和所述第二数据分片的主库之间创建异步复制,等待所述待同步数据在所述第一数据分片和所述第二数据分片之间的同步完成。
在一些实施例中,处理器603具体用于执行如下操作:调整所述分布式数据库的路由配置信息后,所述待同步数据的访问路由从所述第一数据分片调整到所述第二数据分片上。
在一些实施例中,处理器603具体用于执行如下操作:在将所述第一数据分片中的待同步数据异步复制于所述第二数据分片中之后,且在断开所述第一数据分片和所述第二数据分片之间的异步复制之前,先断开所述中间件与所述第一数据分片的连接,以停止对所述第一数据分片的写入;
生成所述第二数据分片的路由配置信息;
使用所述中间件的热加载功能,加载所述第二数据分片和所述第一数据分片的路由配置信息,以实现所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接。
在一些实施例中,处理器603还用于执行如下操作:在实现所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接之后,删除所述第一数据分片中的所述待同步数据,和/或,删除所述第二数据分片中留存于所述第一数据分片上的数据。
通过实施本申请,能够横线扩展系统,使其具有更高的吞吐量,且不需要应用停止服务全过程透明,还能保证扩容前后数据的一致性,且扩容期间不需过量资源的消耗。
基于同一发明构思,本申请实施例中提供的终端设备解决问题的原理与本申请方法实施例中控制器解决问题的原理相似,因此各设备的实施可以参见方法的实施,为简洁描述,在这里不再赘述。
需要说明的是,在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例终端设备中的模块可以根据实际需要进行合并、划分和删减。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (13)

1.一种分布式数据库扩容方法,其特征在于,所述分布式数据库包括中间件及其通信连接的若干原有的第一数据分片,每个所述原有的第一数据分片部署在一个对应的节点服务器中,所述分布式数据库扩容方法包括:
基于所述原有的第一数据分片扩容得到第二数据分片,所述第二数据分片位于扩容出的新的节点服务器上;
基于所述原有的第一数据分片的数据,为所述第二数据分片创建所述第二数据分片的主库和从库,并在所述第二数据分片的主库和从库之间创建主从复制,在所述第一数据分片和所述第二数据分片之间创建异步复制,以将所述第一数据分片中的待同步数据异步复制于所述第二数据分片中;
断开所述第一数据分片和所述第二数据分片之间的异步复制,并调整所述分布式数据库的路由配置信息,使得所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接,以实现所述第一数据分片和所述第二数据分片的分别访问。
2.根据权利要求1所述的分布式数据库扩容方法,其特征在于,所述为所述第二数据分片创建所述第二数据分片的主库和从库的步骤包括:
在所述原有的第一数据分片所对应的节点服务器中,对所述原有的第一数据分片的数据进行全备份;
使用所述原有的第一数据分片的备份,为所述第二数据分片创建所述第二数据分片的主库;
对所述第二数据分片的主库进行备份,并利用所述第二数据分片的主库的备份,为所述第二数据分片创建所述第二数据分片的从库,且进一步为所述第二数据分片的主库和从库建立半同步复制,作为所述第二数据分片的主库和从库之间的所述主从复制。
3.根据权利要求2所述的分布式数据库扩容方法,其特征在于,所述第一数据分片和所述第二数据分片之间创建异步复制的步骤包括:
通过命令行在所述第一数据分片的从库和所述第二数据分片的主库之间创建异步复制,等待所述待同步数据在所述第一数据分片和所述第二数据分片之间的同步完成。
4.根据权利要求1所述的分布式数据库扩容方法,其特征在于,调整所述分布式数据库的路由配置信息后,所述待同步数据的访问路由从所述第一数据分片调整到所述第二数据分片上。
5.根据权利要求1所述的分布式数据库扩容方法,其特征在于,在将所述第一数据分片中的待同步数据异步复制于所述第二数据分片中之后,且在断开所述第一数据分片和所述第二数据分片之间的异步复制之前,先断开所述中间件与所述第一数据分片的连接,以停止对所述第一数据分片的写入;所述调整所述分布式数据库的路由配置信息的步骤包括:
生成所述第二数据分片的路由配置信息;
使用所述中间件的热加载功能,加载所述第二数据分片和所述第一数据分片的路由配置信息,以实现所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接。
6.根据权利要求1-5中任一项所述的分布式数据库扩容方法,其特征在于,在实现所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接之后,还包括:
删除所述第一数据分片中的所述待同步数据,和/或,删除所述第二数据分片中留存于所述第一数据分片上的数据。
7.一种分布式数据库系统,包括中间件以及其通信连接的若干原有的第一数据分片,每个所述原有的第一数据分片部署在一个对应的节点服务器中,所述中间件包括处理器以及和处理器相连的存储器;其中,该存储器包括计算机可读指令;该处理器用于执行该存储器中的计算机可读指令,从而使得所述中间件用于执行如下步骤:
基于所述原有的第一数据分片扩容得到第二数据分片,所述第二数据分片位于扩容出的新的节点服务器上;
基于所述原有的第一数据分片的数据,为所述第二数据分片创建所述第二数据分片的主库和从库,并在所述第二数据分片的主库和从库之间创建主从复制,在所述第一数据分片和所述第二数据分片之间创建异步复制,以将所述第一数据分片中的待同步数据异步复制于所述第二数据分片中;
断开所述第一数据分片和所述第二数据分片之间的异步复制,并调整所述分布式数据库的路由配置信息,使得所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接,以实现所述第一数据分片和所述第二数据分片的分别访问。
8.根据权利要求7所述的分布式数据库系统,其特征在于,所述中间件具体用于执行如下步骤:
在所述原有的第一数据分片所对应的节点服务器中,对所述原有的第一数据分片的数据进行全备份;
使用所述原有的第一数据分片的备份,为所述第二数据分片创建所述第二数据分片的主库;
对所述第二数据分片的主库进行备份,并利用所述第二数据分片的主库的备份,为所述第二数据分片创建所述第二数据分片的从库,且进一步为所述第二数据分片的主库和从库建立半同步复制,作为所述第二数据分片的主库和从库之间的所述主从复制。
9.根据权利要求8所述的分布式数据库系统,其特征在于,所述中间件具体用于执行如下步骤:
通过命令行在所述第一数据分片的从库和所述第二数据分片的主库之间创建异步复制,等待所述待同步数据在所述第一数据分片和所述第二数据分片之间的同步完成。
10.根据权利要求7所述的分布式数据库系统,其特征在于,调整所述分布式数据库的路由配置信息后,所述待同步数据的访问路由从所述第一数据分片调整到所述第二数据分片上。
11.根据权利要求7所述的分布式数据库系统,其特征在于,所述中间件还用于执行如下步骤:
在将所述第一数据分片中的待同步数据异步复制于所述第二数据分片中之后,且在断开所述第一数据分片和所述第二数据分片之间的异步复制之前,先断开所述中间件与所述第一数据分片的连接,以停止对所述第一数据分片的写入;所述中间件具体用于执行如下步骤:
生成所述第二数据分片的路由配置信息;
使用所述中间件的热加载功能,加载所述第二数据分片和所述第一数据分片的路由配置信息,以实现所述中间件能分别与所述第一数据分片和所述第二数据分片通信连接。
12.根据权利要求7-11中任一项所述的分布式数据库系统,其特征在于,所述中间件还用于执行如下步骤:
删除所述第一数据分片中的所述待同步数据,和/或,删除所述第二数据分片中留存于所述第一数据分片上的数据。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如上权利要求1~6中任一项所述的分布式数据库扩容方法。
CN202110039398.XA 2021-01-13 2021-01-13 分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质 Pending CN112364104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110039398.XA CN112364104A (zh) 2021-01-13 2021-01-13 分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110039398.XA CN112364104A (zh) 2021-01-13 2021-01-13 分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112364104A true CN112364104A (zh) 2021-02-12

Family

ID=74534893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110039398.XA Pending CN112364104A (zh) 2021-01-13 2021-01-13 分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112364104A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925841A (zh) * 2021-03-26 2021-06-08 瀚高基础软件股份有限公司 分布式jdbc实现方法、设备及计算机可读存储介质
CN114138825A (zh) * 2021-11-24 2022-03-04 聚好看科技股份有限公司 一种服务器及为应用程序提供数据查询服务的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783577A (zh) * 2019-01-05 2019-05-21 咪付(广西)网络技术有限公司 一种基于策略的云端数据库弹性伸缩方法
CN110019525A (zh) * 2017-12-06 2019-07-16 北京京东尚科信息技术有限公司 一种数据库扩容的方法和装置
CN110489494A (zh) * 2019-08-27 2019-11-22 中国工商银行股份有限公司 分布式数据库在线扩容方法及装置
CN111400285A (zh) * 2020-03-25 2020-07-10 杭州浮云网络科技有限公司 mySQL数据分片处理方法、装置、计算机设备和可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019525A (zh) * 2017-12-06 2019-07-16 北京京东尚科信息技术有限公司 一种数据库扩容的方法和装置
CN109783577A (zh) * 2019-01-05 2019-05-21 咪付(广西)网络技术有限公司 一种基于策略的云端数据库弹性伸缩方法
CN110489494A (zh) * 2019-08-27 2019-11-22 中国工商银行股份有限公司 分布式数据库在线扩容方法及装置
CN111400285A (zh) * 2020-03-25 2020-07-10 杭州浮云网络科技有限公司 mySQL数据分片处理方法、装置、计算机设备和可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925841A (zh) * 2021-03-26 2021-06-08 瀚高基础软件股份有限公司 分布式jdbc实现方法、设备及计算机可读存储介质
CN112925841B (zh) * 2021-03-26 2022-11-08 瀚高基础软件股份有限公司 分布式jdbc实现方法、设备及计算机可读存储介质
CN114138825A (zh) * 2021-11-24 2022-03-04 聚好看科技股份有限公司 一种服务器及为应用程序提供数据查询服务的方法

Similar Documents

Publication Publication Date Title
US11397648B2 (en) Virtual machine recovery method and virtual machine management device
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
CN103473277B (zh) 文件系统的快照方法和装置
CN111104069B (zh) 分布式存储系统的多区域数据处理方法、装置及电子设备
CN104166606A (zh) 文件备份方法和主存储设备
CN102662793A (zh) 一种可保证数据一致性的分布式数据库热备份与恢复方法
CN112364104A (zh) 分布式数据库扩容方法、分布式数据库系统及计算机可读存储介质
CN109783014B (zh) 一种存储数据的方法及装置
CN106469069B (zh) 一种版本升级方法及系统
CN111651275A (zh) 一种MySQL集群自动化部署系统及方法
JP2013114684A (ja) バーチャルマシンの管理システム及び管理方法
CN104750573A (zh) 分布式数据系统数据节点的全局一致性备份和还原方法
CN111666266A (zh) 一种数据迁移方法及相关设备
CN111045865A (zh) 一种基于块复制的实时同步方法及系统
CN113297134B (zh) 数据处理系统及数据处理方法、装置、电子设备
CN110688259B (zh) 一种私有云备份恢复系统及其备份恢复方法
CN111914022A (zh) 一种线上扩容mongodb集群的方法和装置
US20190324869A1 (en) Method, device and computer readable medium for data synchronization
CN113467717B (zh) 一种双机卷镜像管理方法、装置、设备及可读存储介质
WO2023246654A1 (zh) 数据管理的方法、装置、系统及存储介质
CN109005059A (zh) 一种实现Redis自动备份的系统及方法
CN115981879B (zh) 一种冗余结构的数据同步方法、装置、设备及存储介质
CN111666338B (zh) 数据复制方法、控制节点及电子设备
CN111930711B (zh) 分布式文件系统集群增加节点的方法、装置及设备
CN110188005B (zh) 主机创建和数据备份方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210212

RJ01 Rejection of invention patent application after publication