CN116804984A - 日志流控制方法及装置 - Google Patents
日志流控制方法及装置 Download PDFInfo
- Publication number
- CN116804984A CN116804984A CN202310764888.5A CN202310764888A CN116804984A CN 116804984 A CN116804984 A CN 116804984A CN 202310764888 A CN202310764888 A CN 202310764888A CN 116804984 A CN116804984 A CN 116804984A
- Authority
- CN
- China
- Prior art keywords
- log
- log stream
- stream
- blank
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000012634 fragment Substances 0.000 claims abstract description 32
- 238000012546 transfer Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims abstract description 11
- 238000011084 recovery Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供一种日志流控制方法及装置,涉及数据库技术领域。该方法包括:创建空白日志流;配置空白日志流的日志流组,以使空白日志流与源端日志流的日志流组相同,其中,日志流组与分布式数据库中的节点具有对应关系,相同日志流组中的日志流所处的节点相同;将源端日志流中的至少一个分片转移至空白日志流中;更改空白日志流的日志流组,以便在分布式数据库中的节点之间迁移空白日志流。本说明书提供的方案通过配置或更改日志流的日志流组,可以保证用于分片转移的日志流总是在分布式数据库的同一节点上,进而保证用于分片转移的日志流之间能够建立本地的数据引用关系。
Description
技术领域
本说明书一个或多个实施例涉及数据库技术领域,尤其涉及一种日志流控制方法及装置。
背景技术
数据库的日志流中可以包含若干分片(Tablet),当单个日志流中存储的数据较大时,可以将该日志流中存储的数据以分片为单位转移至新的日志流中,以便实现数据库中各个节点之间的负载均衡。
在分片的转移过程中,为了保证分片对外的读写能力不受影响,需要在发生分片转移的日志流之间构建本地的数据引用关系。由于只有位于同一节点的日志流之间可以建立本地的数据引用关系,因此,如何保证发生分片转移的日志流位于同一节点便成为亟待解决的问题。
发明内容
有鉴于此,本说明书一个或多个实施例提供一种日志流控制方法及装置。
为实现上述目的,本说明书一个或多个实施例提供技术方案如下:
根据本说明书一个或多个实施例的第一方面,提出了一种日志流控制方法,应用于分布式数据库,方法包括:
创建空白日志流;
配置空白日志流的日志流组,以使空白日志流与源端日志流的日志流组相同,其中,日志流组与分布式数据库中的节点具有对应关系,相同日志流组中的日志流所处的节点相同;
将源端日志流中的至少一个分片转移至空白日志流中;
更改空白日志流的日志流组,以便在分布式数据库中的节点之间迁移空白日志流。
根据本说明书一个或多个实施例的第二方面,提出了一种日志流控制装置,应用于分布式数据库,装置包括:
创建模块,用于创建空白日志流;
配置模块,用于配置空白日志流的日志流组,以使空白日志流与源端日志流的日志流组相同,其中,日志流组与分布式数据库中的节点具有对应关系,相同日志流组中的日志流所处的节点相同;
转移模块,用于将源端日志流中的至少一个分片转移至空白日志流中;
更改模块,用于更改空白日志流的日志流组,以便在分布式数据库中的节点之间迁移空白日志流。
根据本说明书一个或多个实施例的第三方面,提出了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器通过运行可执行指令以实现如第一方面的方法。
根据本说明书一个或多个实施例的第四方面,提出了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面方法的步骤。
本说明书提供的日志流控制方法,通过创建空白日志流;配置空白日志流的日志流组,以使空白日志流与源端日志流的日志流组相同;将源端日志流中的至少一个分片转移至空白日志流中;更改空白日志流的日志流组,以便在分布式数据库中的节点之间迁移空白日志流。其中,日志流组与分布式数据库中的节点具有对应关系,相同日志流组中的日志流所处的节点相同。本说明书提供的方案通过配置或更改日志流的日志流组,可以保证用于分片转移的日志流总是在分布式数据库的同一节点上,进而保证用于分片转移的日志流之间能够建立本地的数据引用关系。
附图说明
图1a是一示例性实施例提供的相关技术中负载均衡方法的示意图。
图1b是一示例性实施例提供的日志流组的配置方法示意图。
图2是一示例性实施例提供的一种日志流控制方法的流程示意图。
图3是一示例性实施例提供的另一种日志流控制方法的流程示意图。
图4是一示例性实施例提供的一种数据恢复方法的流程示意图。
图5是一示例性实施例提供的一种设备的结构示意图。
图6是一示例性实施例提供的一种日志流控制装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
为便于理解,首先将对本说明书中出现的术语进行解释。
日志流是由数据库自动创建和管理的实体,它代表了一批数据的集合,包括若干分片及对其进行事务操作的日志。
在分布式环境下,为保证数据读写服务的高可用,数据库会把同一个日志流的数据拷贝到多个节点。在一些实施例中,不同节点下同一个日志流的数据拷贝称为副本(Replica)。同一日志流的多个副本可以使用Paxos一致性协议保证副本的强一致,每个日志流和它的副本构成一个独立的Paxos组,其中一个日志流为主副本(Leader),其它日志流为从副本(Follower)。在一些实施例中,主副本具备强一致性读和写能力,从副本具备弱一致性读能力。
分片(Tablet)是与分区对应的数据存储对象,它具备存储数据的能力,是负载均衡调控的最小单位。每个分片通过存储在磁盘上的有序字符串表(Sorted String Table,SSTable)和存储在内存上的内存表(Memory,MemTable)来存储数据。
从数据存储的角度来看,日志流也可以抽象为分片的容器,支持添加和管理分片的数据,允许分片的在不同日志流之间转移(Transfer),以达到负载均衡和水平扩展的目的。
图1a示出了相关技术中负载均衡的实现方式。为了使分片的转移过程不影响分布式数据库对外提供的读写能力,可以使相同节点中的日志流通过建立本地的数据引用关系来完成分片的转移。请参照图1a,为了将节点A上日志流A的分片转移至节点B上的日志流B中,相关技术中需要通过创建空白日志流作为该分片的临时容器,并通过使携带该分片的空白日志流在节点A和节点B之间迁移(Migration),以完成分片在节点A和节点B之间的转移,从而保证分片转移的过程不影响分布式数据库对外提供的读写能力。
可见,在上述分片转移过程中,如何保证用于建立本地引用关系的日志流总是在相同节点上便成了亟待解决的问题。
有鉴于此,本说明书实施例通过创建空白日志流;配置空白日志流的日志流组,以使空白日志流与源端日志流的日志流组相同;将源端日志流中的至少一个分片转移至空白日志流中;更改空白日志流的日志流组,以便在分布式数据库中的节点之间迁移空白日志流。其中,日志流组与分布式数据库中的节点具有对应关系,相同日志流组中的日志流所处的节点相同。本说明书提供的方案通过配置或更改日志流的日志流组,可以保证用于分片转移的日志流总是在分布式数据库的同一节点上,进而保证用于分片转移的日志流之间能够建立本地的数据引用关系。
具体地,请参照图1b,本说明书实施例可以在节点A上设置日志流组A,并在节点B上设置日志流组B。其中,日志流A的日志流组为日志流组A,日志流B的日志流组为日志流组B。此时,通过将空白日志流的日志流组设为日志流组A,即可保证空白日志流与日志流A共节点,而将空白日志流的日志流组设为日志流组B,即可保证空白日志流与日志流组B共节点。
下面将结合附图及实施例对本示例实施方式进行详细说明。
首先,本说明书实施例中提供了一种日志流控制方法,该方法可以由任意电子设备执行。
图2是一示例性实施例提供的一种日志流控制方法的流程示意图,应用于分布式数据库。如图2所示,该日志流控制方法包括如下步骤。
S201,创建空白日志流。
需要说明的是,空白日志流可以理解为不包含分片和重做日志的日志流。也就是说,空白日志流为分布式数据库节点中新增的尚未写入数据的日志流。本说明书中创建的空白日志流可用于接收其他日志流转出的分片,或作为临时的分片容器,将其他日志流转出的分片传递至特定的目的端日志流中。
S202,配置空白日志流的日志流组,以使空白日志流与源端日志流的日志流组相同。
其中,日志流组与分布式数据库中的节点具有对应关系,相同日志流组中的日志流所处的节点相同。
需要说明的是,源端日志流是分布式数据库中用于转出分片的日志流。源端日志流可以根据分布式数据库中的负载均衡机制确定,也可以由用户手动指定。通过将源端日志流中的部分分片转移至同一节点或不同节点的其他日志流,可以实现各个节点之间的负载均衡。
需要说明的是,日志流组可用于示出日志流所在的节点。具体地,日志流组与分布式数据库中的节点可以是一对一的关系,也可以是多对一的关系。
也就是说,一个节点上可以包含一个日志流组中的日志流,也可以包含多个日志流组中的日志流。同一日志流组的日志流一定位于同一节点,但不同日志流组的日志流不一定位于不同节点。
本说明书实施例通过将空白日志流的日志流组配置为与源端日志流相同的日志流组,可以保证空白日志流与源端日志流位于分布式数据库中的同一节点,从而能够使空白日志流引用源端日志流的数据,以便在不中断分片对外提供的读写能力的情况下,将源端日志流中的分片转移至空白日志流中。
S203,将源端日志流中的至少一个分片转移至空白日志流中。
需要说明的是,通过将源端日志流中的部分分片转移至空白日志流,可以降低源端日志流所在节点的负载。
其中,源端日志流中用于转移的分片可以由分布式数据库中的负载均衡机制实现,也可以由用户手动指定,本公开实例对此不做限定。
S204,更改空白日志流的日志流组,以便在分布式数据库中的节点之间迁移空白日志流。
需要说明的是,通过将空白日志流的日志流组更改为目的端节点上日志流组,即可将空白日志流迁移至目的端节点。
也就是说,本说明书实施例可以通过更改日志流的日志流组,实现对日志流的控制,从而将日志流迁移至与日志流组相应的节点中。
以上介绍了本说明书实施例提供的日志流控制方法,下面将结合分布式数据库的负载均衡场景,举例说明本说明书提供的方法的具体应用。
图3是一示例性实施例提供的另一种日志流控制方法的流程示意图。由于该实施例解决问题的原理与前一实施例相似,因此该实施例的实施可以参见前一实施例的实施,为简洁描述,下面将着重描述该实施例与前一实施例的不同之处,重复之处不再赘述。
具体地,如图3所示,该日志流控制方法包括如下步骤。
S301,响应于针对分布式数据库的负载均衡指令,创建目的端日志流组,目的端日志流组与目的端节点具有对应关系,目的端节点为分布式数据库中用于负载均衡的节点。
需要说明的是,本说明书中的负载均衡,指的是根据各个节点上的负载情况及预设调整策略,通过扩容、缩容以及分片转移等手段均衡分布式数据库中各个节点上的负载,从而能够提升分布式数据库的性能,保证资源的有效利用。相应地,目的端节点为负载均衡过程中用于接收分片的节点。
在一些实施例中,在扩容场景下,目的端节点可以是分布式数据库中的新增节点。通过将现有节点中日志流的分片数据转移至新增节点上,可以通过新增的目的端节点分担分布式数据中的负载压力。
在一些实施例中,在缩容场景下,待停用节点在停用前可将日志流中的分片数据转移至指定节点,该指定节点即为目的端节点。在将分片数据转移至该指定节点后,可以将待停用节点停用,从而减少分布式数据库中不必要的节点,以节约成本和资源。
在一些实施例中,在不同节点上的日志流之间转移分片时,目的端节点为分片转移的终点。通过将分片转移至不同节点上的日志流,可以均衡各个节点上的负载,从而保证各个节点上资源的有效利用。
相应地,目的端日志流组为目的端节点上的日志流组。当日志流的日志流组被设置为目的端日志流组时,该日志流将被迁移指目的端节点。
S302,创建空白日志流。
S303,配置空白日志流的日志流组,以使空白日志流与源端日志流的日志流组相同。
S304,将源端日志流中的至少一个分片转移至空白日志流中。
S305,将空白日志流的日志流组更改为目的端日志流组,以便将空白日志流迁移至目的端节点。
本说明书实施例,通过配置和更改空白日志流的日志流组,保证了用于进行分片迁移的日志流处于同一节点,实现了用户侧无感知的负载均衡方式。
在一些应用场景中,基于相似的原理,还可以利用本说明书提供的方法,使分片在不同节点上的日志流中进行迁移。此时,在源端日志流的部分分片被转移至空白日志流后,通过将空白日志流的日志流组修改为与目的端日志流相同的日志流组,即可使空白日志流与源端日志流位于同一节点,从而将空白日志流中的分片转移至目的端日志流。
简言之,空白日志流可以作为转移分片的容器,先使空白日志流的日志流组与源端日志流相同,保证空白日志流与源端日志流共节点,可以完成分片从源端日志流到空白日志流的转移。再使空白日志流的日志流组与目的端日志流相同,保证空白日志流与目的端日志流共节点,即可完成分片从空白日志流到目的端日志流的转移。
下面将结合数据恢复的应用场景,举例说明本说明书提供的方法在日志恢复系统中实现的效果。其中,日志恢复系统是指能够通过回放重做日志,实现数据恢复的系统。示例性地,日志恢复系统包括物理备库和物理恢复系统中的至少一种。
图4是一示例性实施例提供的一种数据恢复方法的流程示意图,应用于分布式数据库。具体地,如图4所示,该数据恢复方法包括如下步骤。
S401,创建第一重做日志,第一重做日志用于记录针对空白日志流的日志流创建操作。
需要说明的是,重做日志(Redo Log)是用于在分布式数据库中执行的操作的日志,通过回放重做日志,可以复现分布式数据库中执行的操作,从而实现数据恢复。
在一些实施例中,第一重做日志在分布式数据库中的空白日志流被创建后创建,以保证分布式数据库与日志恢复系统的一致性。
S402,将第一重做日志同步至日志恢复系统,以使日志恢复系统感知日志流创建操作。
在一些实施例中,可以首先将第一重做日志写入分布式数据库中的指定日志流,随后通过将指定日志流同步至日志恢复系统,可以使日志恢复系统感知到指定日志流中携带的第一重做日志。通过回放第一重做日志,日志恢复系统可以同步执行分布式数据库中的日志流创建操作,从而使日志恢复系统与分布式数据库中的数据保持一致。
S403,创建第二重做日志,第二重做日志用于记录针对空白日志流的日志流组更改操作。
在一些实施例中,第二重做日志在分布式数据库中空白日志流的日志流组被更改后创建,以保证分布式数据库与日志恢复系统的一致性。
S404,将第二重做日志同步至日志恢复系统,以使日志恢复系统感知日志流组更改操作。
在一些实施例中,可以首先将第二重做日志写入分布式数据库中的指定日志流,随后通过将指定日志流同步至日志恢复系统,可以使日志恢复系统感知到指定日志流中携带的第二重做日志。通过回放第二重做日志,日志恢复系统可以同步执行分布式数据库中的日志流组更改操作,从而使日志恢复系统与分布式数据库中的数据保持一致。
需要说明的是,本说明书实施例中的指定日志流可以是分布式数据库中的控制日志流。其中,控制日志流是用于记录分布式数据库中内部表重做日志的日志流,针对同一租户而言,分布式数据库中只存在一个控制日志流。由于控制日志流有且只有一个,不会被增加或删除,因此通过控制日志流携带本说明书实施例中的第一重做日志和第二重做日志,可以保证日志同步的可靠性和稳定性。
本说明书实施例通过在分布式数据库和日志恢复系统之间同步第一重做日志和第二重做日志,可以将使日志恢复系统感知到分布式数据中日志流的变动,从而在进行数据恢复时,将日志流调度至准确的节点上,以完成日志流之间的数据引用,保证日志恢复系统的正常读取。
图5是一示例性实施例提供的一种设备的结构示意图。请参考图5,在硬件层面,该设备包括处理器502、内部总线504、网络接口506、内存508以及非易失性存储器510,当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现,比如由处理器502从非易失性存储器510中读取对应的计算机程序到内存508中然后运行。当然,除了软件实现方式之外,本说明书一个或多个实施例并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
请参考图6,图6提供了一种日志流控制装置600,可以应用于如图5所示的设备中,以实现本说明书的技术方案。其中,该日志流控制装置600可以包括:
创建模块601,用于创建空白日志流。
配置模块602,用于配置空白日志流的日志流组,以使空白日志流与源端日志流的日志流组相同,其中,日志流组与分布式数据库中的节点具有对应关系,相同日志流组中的日志流所处的节点相同。
转移模块603,用于将源端日志流中的至少一个分片转移至空白日志流中。
更改模块604,用于更改空白日志流的日志流组,以便在分布式数据库中的节点之间迁移空白日志流。
在一些实施例中,创建模块601用于,响应于针对分布式数据库的负载均衡指令,创建目的端日志流组,目的端日志流组与目的端节点具有对应关系,目的端节点为分布式数据库中用于负载均衡的节点。
此时,更改模块604用于,将空白日志流的日志流组更改为目的端日志流组,以便将空白日志流迁移至目的端节点。
在一些实施例中,日志控制装置600还包括:
第一创建模块,用于创建第一重做日志,第一重做日志用于记录针对空白日志流的日志流创建操作。
第一同步模块,用于将第一重做日志同步至日志恢复系统,以使日志恢复系统感知日志流创建操作。
第二创建模块,创建第二重做日志,第二重做日志用于记录针对空白日志流的日志流组更改操作。
第二同步模块,用于将第二重做日志同步至日志恢复系统,以使日志恢复系统感知日志流组更改操作。
在一些实施例中,第一同步模块用于,将第一重做日志写入分布式数据库中的指定日志流;将指定日志流同步至日志恢复系统,以使日志恢复系统通过回放第一重做日志,执行日志流创建操作。
在一些实施例中,第二同步模块用于,将第二重做日志写入分布式数据库中的指定日志流;将指定日志流同步至日志恢复系统,以使日志恢复系统通过回放第一重做日志,执行日志流组更改操作。
在一些实施例中,日志恢复系统包括物理备库和物理恢复系统中的至少一种。
在一些实施例中,第一重做日志在空白日志流被创建后创建,第二重做日志在空白日志流的日志流组被更改后创建。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中,计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已,并不用以限制本说明书一个或多个实施例,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例保护的范围之内。
Claims (10)
1.一种日志流控制方法,应用于分布式数据库,所述方法包括:
创建空白日志流;
配置所述空白日志流的日志流组,以使所述空白日志流与源端日志流的日志流组相同,其中,所述日志流组与所述分布式数据库中的节点具有对应关系,相同日志流组中的日志流所处的节点相同;
将所述源端日志流中的至少一个分片转移至所述空白日志流中;
更改所述空白日志流的日志流组,以便在所述分布式数据库中的节点之间迁移所述空白日志流。
2.根据权利要求1所述的方法,所述方法还包括:
响应于针对所述分布式数据库的负载均衡指令,创建目的端日志流组,所述目的端日志流组与目的端节点具有对应关系,所述目的端节点为所述分布式数据库中用于负载均衡的节点;
所述更改所述空白日志流的日志流组,以便在所述分布式数据库中的节点之间迁移所述空白日志流,包括:
将所述空白日志流的日志流组更改为所述目的端日志流组,以便将所述空白日志流迁移至所述目的端节点。
3.根据权利要求1所述的方法,所述方法还包括:
创建第一重做日志,所述第一重做日志用于记录针对所述空白日志流的日志流创建操作;
将所述第一重做日志同步至日志恢复系统,以使所述日志恢复系统感知所述日志流创建操作;
创建第二重做日志,所述第二重做日志用于记录针对所述空白日志流的日志流组更改操作;
将所述第二重做日志同步至日志恢复系统,以使所述日志恢复系统感知所述日志流组更改操作。
4.根据权利要求3所述的方法,所述将所述第一重做日志同步至日志恢复系统,以使所述日志恢复系统感知所述日志流创建操作,包括:
将所述第一重做日志写入所述分布式数据库中的指定日志流;
将所述指定日志流同步至所述日志恢复系统,以使所述日志恢复系统通过回放所述第一重做日志,执行所述日志流创建操作。
5.根据权利要求3所述的方法,所述将所述第二重做日志同步至日志恢复系统,以使所述日志恢复系统感知所述日志流组更改操作,包括:
将所述第二重做日志写入所述分布式数据库中的指定日志流;
将所述指定日志流同步至所述日志恢复系统,以使所述日志恢复系统通过回放所述第一重做日志,执行所述日志流组更改操作。
6.根据权利要求3所述的方法,所述日志恢复系统包括物理备库和物理恢复系统中的至少一种。
7.根据权利要求3所述的方法,所述第一重做日志在所述空白日志流被创建后创建,所述第二重做日志在所述空白日志流的日志流组被更改后创建。
8.一种日志流控制装置,应用于分布式数据库,所述装置包括:
创建模块,用于创建空白日志流;
配置模块,用于配置所述空白日志流的日志流组,以使所述空白日志流与源端日志流的日志流组相同,其中,所述日志流组与所述分布式数据库中的节点具有对应关系,相同日志流组中的日志流所处的节点相同;
转移模块,用于将所述源端日志流中的至少一个分片转移至所述空白日志流中;
更改模块,用于更改所述空白日志流的日志流组,以便在所述分布式数据库中的节点之间迁移所述空白日志流。
9.一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310764888.5A CN116804984A (zh) | 2023-06-26 | 2023-06-26 | 日志流控制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310764888.5A CN116804984A (zh) | 2023-06-26 | 2023-06-26 | 日志流控制方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116804984A true CN116804984A (zh) | 2023-09-26 |
Family
ID=88079377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310764888.5A Pending CN116804984A (zh) | 2023-06-26 | 2023-06-26 | 日志流控制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116804984A (zh) |
-
2023
- 2023-06-26 CN CN202310764888.5A patent/CN116804984A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230087447A1 (en) | Data migration method and device | |
WO2018161760A1 (zh) | 区块链数据存储系统和方法 | |
US10540119B2 (en) | Distributed shared log storage system having an adapter for heterogenous big data workloads | |
CN110413685B (zh) | 数据库服务切换方法、装置、可读存储介质和计算机设备 | |
CN111708738B (zh) | 实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统 | |
CN109933312B (zh) | 一种有效降低容器化关系型数据库i/o消耗的方法 | |
CN104111897A (zh) | 一种数据处理方法、装置及计算机系统 | |
CN111324665B (zh) | 一种日志回放方法及装置 | |
CN111611109A (zh) | 一种分布式集群的备份方法、系统、设备以及介质 | |
WO2017050064A1 (zh) | 共享内存数据库的内存管理方法及装置 | |
CN107657027B (zh) | 数据存储方法及装置 | |
CN106357703B (zh) | 集群切换方法与设备 | |
US11321283B2 (en) | Table and index communications channels | |
CN114594914B (zh) | 用于分布式存储系统的控制方法及系统 | |
CN106873902B (zh) | 一种文件存储系统、数据调度方法及数据节点 | |
TW201804346A (zh) | 針對資料庫的資料修改請求處理方法和裝置 | |
JP2015528957A (ja) | 分散ファイルシステム、ファイルアクセス方法及びクライアントデバイス | |
CN106951456B (zh) | 一种内存数据库系统及数据处理系统 | |
US9485308B2 (en) | Zero copy volume reconstruction | |
US10592493B1 (en) | Spot-instanced bulk data uploading | |
CN108090152B (zh) | 一种数据同步方法及系统 | |
CN114785662B (zh) | 一种存储管理方法、装置、设备及机器可读存储介质 | |
CN116804984A (zh) | 日志流控制方法及装置 | |
US10102228B1 (en) | Table and index communications channels | |
CN114428681A (zh) | 数据库系统的计算能力扩容方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40100570 Country of ref document: HK |