CN117493272A - 集群间的资源同步方法、装置、计算机设备及存储介质 - Google Patents
集群间的资源同步方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117493272A CN117493272A CN202310696140.6A CN202310696140A CN117493272A CN 117493272 A CN117493272 A CN 117493272A CN 202310696140 A CN202310696140 A CN 202310696140A CN 117493272 A CN117493272 A CN 117493272A
- Authority
- CN
- China
- Prior art keywords
- cluster
- log
- index number
- adjustment
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种集群间的资源同步方法、装置、计算机设备及存储介质,涉及大数据技术领域。该方法由第一集群执行,该第一集群与第二集群对应同一数据库日志,该方法包括:从对应于至少两个集群的数据库日志中读取最大日志索引号与第一集群的第一日志索引号;该第一日志索引号为第一集群的当前日志索引号;根据第一日志索引号与最大日志索引号之间相差的日志索引号获取第一资源调整日志;基于第一资源调整日志对第一集群中的集群资源进行资源调整。通过上述方法,可以实现集群间的资源的自动同步,提高集群资源同步的准确性。
Description
技术领域
本申请实施例涉及大数据技术领域,特别涉及一种集群间的资源同步方法、装置、计算机设备及存储介质。
背景技术
在大数据领域,为了保证应用功能的稳定性,在进行资源集群配置时,通常会配置多个资源集群,并对应多个资源集群中配置相同的应用集群,例如,在不同的机房中分别部署应用集群和K8s集群,从而在客户端当前调用的资源集群发生异常时,能够快速通过资源集群切换恢复向客户端提供应用功能。为实现上述效果,需要保证各个资源集群中的资源一致。
在相关技术中,在进行集群间的资源同步时,通常是在客户端在调用某一集群中的应用并对该集群的集群资源进行调整时,通知运维人员,并通知运维人员对集群资源的调整内容;运维人员在确定该集群中的集群资源调整操作完成后,手动调整其他集群中的集群资源,以实现集群间的资源同步。
然而,上述集群间的资源同步过程严重依赖于运维人员的手工记录和操作,对运维人员具有较高的要求,人工操作会导致集群间的资源同步效率较低,且人工操作容易出现漏操作或者误操作的情况,从而影响集群间的资源同步的准确性。
发明内容
本申请实施例提供了一种集群间的资源同步方法、装置、计算机设备及存储介质,实现集群间的资源的自动同步,提高集群资源同步的准确性。该技术方案如下:
一方面,提供了一种集群间的资源同步方法,所述方法由第一集群执行,所述第一集群与第二集群对应同一数据库日志;所述方法包括:
从所述数据库日志中读取最大日志索引号与所述第一集群的第一日志索引号;所述第一日志索引号为所述第一集群在所述数据库日志中的当前日志索引号;
根据所述第一日志索引号与所述最大日志索引号之间相差的日志索引号获取第一资源调整日志;
基于所述第一资源调整日志对所述第一集群中的集群资源进行资源调整。
另一方面,提供了一种集群间的资源同步装置,
所述装置应用于第一集群中,所述第一集群是至少两个集群中的任意一个,所述至少两个集群对应同一数据库日志;所述装置包括:
读取模块,用于从所述数据库日志中读取最大日志索引号与所述第一集群的第一日志索引号;所述第一日志索引号为所述第一集群在所述数据库日志中的当前日志索引号;
日志获取模块,用于根据所述第一日志索引号与所述最大日志索引号之间相差的日志索引号获取第一资源调整日志;
资源调整模块,用于基于所述第一资源调整日志对所述第一集群中的集群资源进行资源调整。
另一方面,提供了一种计算机设备,所述计算机设备包含处理器和存储器,所述存储器存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行以实现上述的集群间的资源同步方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现上述的集群间的资源同步方法。
另一方面,提供了一种计算机程序产品,所述计算机程序产品包括至少一条计算机程序,所述计算机程序由处理器加载并执行以实现上述各种可选实现方式中提供的集群间的资源同步方法。
本申请提供的技术方案可以包括以下有益效果:
本申请实施例提供的集群间的资源同步方法,通过在同一数据库日志中记录多个集群的日志索引号,以及多个集群对应的最大日志索引号,以使得各个集群可以通过将集群的当前日志索引号与最大日志索引号进行比较,在确定两者不同时,基于两者之间相差的日志索引号对应的资源调整日志对集群中的集群资源进行资源调整,以使得各个集群中集群资源的状态与最大日志索引号对应的集群资源的状态一致,从而使得各个集群中的集群资源为最新状态且保持一致,实现了集群间的资源的自动同步,提高了集群资源同步的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1示出了本申请一示例性实施例提供的集群间的资源同步方法的流程图;
图2示出了本申请一示例性实施例示出的日志索引号的示意图;
图3示出了本申请一示例性实施例提供的集群间的资源同步方法的流程图;
图4示出了本申请一示例性实施例提供的集群间的资源同步方法的流程图;
图5示出了本申请一示例性实施例提供的集群间的资源同步架构的示意图;
图6示出了本申请一示例性实施例提供的集群间的资源同步装置的方框图;
图7示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
首先对本申请涉及的名词进行解释:
1)K8s(Kubernetes);
K8s是用于自动部署,扩展和管理容器化应用程序的开源系统。可以简单理解容器镜像的运行环境和容器的调度平台。
2)K8s集群;
K8s在部署时,一般会按照多个工作节点和多个管理节点的方式进行部署,这些工作节点和管理节点共同构成了一个K8s集群。
3)K8s接口;
K8s对外暴露的调用接口,其他应用或者客户端能通过调用该接口实现在K8s集群中添加/修改/删除集群资源。
4)操作日志;
操作日志在进行K8s操作时,用于记录相关操作详细信息。
5)应用
在本申请实施例中一般指业务应用,在业务应用中实现具体的业务功能时,业务应用通过调用K8s接口对K8s集群中的集群资源进行添加/修改/删除。
在大数据领域,为保证向客户端提供应用功能服务的稳定性,通常部署有多个资源集群共同服务于相同的应用集群,因此,多个资源集群中的资源状态应当保持一致;在本申请实施例中,为了实现集群间资源同步的自动化,提高集群间的资源同步的准确性,提出了一种集群间的资源同步方法,以实现至少两个集群之间的资源同步。图1示出了本申请一示例性实施例提供的集群间的资源同步方法的流程图,该方法可以由第一集群执行,第一集群是至少两个集群中的任意一个,至少两个集群对应同一数据库日志,如图1所示,该集群间的资源同步方法可以包括以下步骤:
步骤110,从数据库日志中读取最大日志索引号与第一集群的第一日志索引号;第一日志索引号为第一集群在数据库日志中的当前日志索引号。
该第一集群可以包括至少一个集群,该第二集群可以包括至少一个集群,第一集群中的各个集群为当前进行集群间资源同步的集群,随着时间的变化第一集群与第二集群中的集群类型和集群数量会发生变化。示意性的,若一共有N个集群,N个集群对应同一数据库日志,N为正整数;在当前时刻有N/2个集群进行集群间的资源同步操作,则这N/2个集群为第一集群,另外N/2个集群为第二集群。
在本申请实施例中,数据库日志中的日志索引号的数值是随着各个集群的日志记录操作逐渐增大的;示意性的,若基于集群1的日志记录操作在数据库日志中新增的资源调整日志的日志索引号为1,后续基于集群2的日志记录操作在数据库日志中新增的资源调整日志的日志索引号为2,若后续又基于集群1的日志记录操作在数据库日志中新增了资源调整日志,其对应的日志索引号为3,以此类推。因此,数据库日志中的最大日志索引号是基于至少两个集群在数据库日志中的日志记录操作确定的;该最大日志索引号是至少两个集群在数据库日志进行的日志记录操作中的最新日志记录操作对应生成的日志索引号。
该数据库日志用以记录第一集群与第二集群包含的至少两个集群各自的日志索引号以及资源调整日志;在本申请实施例中,该数据库日志可以实现为数据库日志表,或者,该数据库日志也可以实现为数据库日志文件。
步骤120,根据第一日志索引号与最大日志索引号之间相差的日志索引号获取第一资源调整日志。
在本申请实施例中,第一集群可以对获取到的最大日志索引号与第一日志索引号进行差值计算,获得第一日志索引号与最大日志索引号之间相差的日志索引号,若最大日志索引号与第一日志索引号之间相差的日志索引号为0,即最大日志索引号与第一日志索引号相同,则表示第一集群中的资源状态已同步为最新状态,无需进行调整;若对比结果指示最大日志索引号与第一日志索引号之间相差的日志索引号不为0,即最大日志索引号与第一日志索引号不同,则表示第一集群中的资源状态未同步到最新状态,需要进行资源调整,此时可根据该第一日志索引号与最大日志索引号之间相差的日志索引号获取第一资源调整日志,以基于该第一资源调整日志对第一集群中的集群资源进行调整。
以两个集群为例,图2示出了本申请一示例性实施例示出的日志索引号的示意图,如图2所示,该数据库日志中包含三个日志索引号,分别为数据库日志中的最大日志索引号,A集群的当前日志索引号以及B集群的当前日志索引号;其中,数据库日志中的最大日志索引号为8,A集群的当前日志索引号为6,B集群的当前日志索引号为3,此时,A集群与B集群各自的当前日志索引号并不相同,表示A集群与B集群之间的资源不同,且A集群与B集群各自的当前日志索引号与最大日志索引号并不相同,表示A集群与B集群中的资源状态均未同步为最新状态。
其中,若A集群为第一集群,将日志索引号8与日志索引号6之间的资源调整日志获取为A集群对应的第一资源调整日志;若B集群为第一集群,则将日志索引号8与日志索引号3之间的资源调整日志获取为B集群对应的第一资源调整日志。
需要说明的是,图2所示的数据库日志对应的集群数量仅为示意性的,基于集群部署的不同可以有更多的集群对应同一数据库日志,在实际应用过程中,也可以基于需求更改同一数据库日志对应的集群数量,比如增加或删减该数据库日志对应的集群,示意性的,在该数据库日志中增加C集群的日志索引号以及资源调整日志,且数据库日志对应的其他集群对数据库日志对应的集群的更改无感知;因此,通过在数据库日志中记录日志索引号并进行比较以进行集群间资源同步的方式,可以降低集群间的依赖性和耦合性。
步骤130,基于第一资源调整日志对第一集群中的集群资源进行资源调整。
其中,对集群资源进行的资源调整的调整方式可以包括集群资源增加、集群资源删除、集群资源修改中的至少一种,该调整方式是基于第一资源调整日志中的内容确定的。
综上所述,本申请实施例提供的集群间的资源同步方法,通过在同一数据库日志中记录多个集群的日志索引号,以及多个集群对应的最大日志索引号,以使得各个集群可以通过将集群的当前日志索引号与最大日志索引号进行比较,在获取到当前日志索引号与最大日志索引号之间的相差的日志索引号时,基于两者之间相差的日志索引号对应的资源调整日志对集群中的集群资源进行资源调整,以使得各个集群中集群资源的状态与最大日志索引号对应的集群资源的状态一致,从而使得各个集群中的集群资源为最新状态且保持一致,实现集群间的资源的自动同步,提高集群资源同步的准确性。
图3示出了本申请一示例性实施例提供的集群间的资源同步方法的流程图,该方法可以由第一集群执行,该第一集群与第二集群对应同一数据库日志,如图3所示,该集群间的资源同步方法可以包括以下步骤:
步骤310,从数据库日志中读取最大日志索引号与第一集群的第一日志索引号;第一日志索引号为第一集群在数据库日志中的当前日志索引号。
最大日志索引号是基于至少两个集群在数据库日志中的日志记录操作确定的。示意性的,当第一集群与第二集群包含的至少两个集群中的任意一个集群在数据库日志中进行日志记录操作时,将数据库日志中存储该日志记录操作对应的资源调整日志的索引号确定为最大日志索引号,该最大日志索引号在接收到新的日志记录操作时更新。
在本申请实施例中,集群中包含日志读取模块,该日志读取模型用于查询数据库日志以读取日志数据库日志中的最大日志索引号以及集群的当前日志索引号。可选的,日志读取模块按照目标周期查询数据库日志,以实现对所在集群的集群资源的定期调整。
该第一集群可以为接收到客户端调用的集群,或者,该第一集群也可以为备用集群,即未接收到客户端调用的集群;当客户端调用的集群出现异常时,集群管理设备可以通过将客户端连接到备用集群中,通过备用集群向客户端提供服务,以减少服务下线的时间,提高服务效果。
步骤320,根据第一日志索引号与最大日志索引号之间相差的日志索引号获取第一资源调整日志。
步骤330,读取第一资源调整日志中的调整参数。
第一集群的日志读取模块读取第一资源调整日志中的调整参数;该调整参数用于指示对集群资源的调整方式。
步骤340,基于第一资源调整日志中的调整参数对应的调整方式对第一集群中的集群资源进行资源调整;该调整方式包括以下至少一种:集群资源增加、集群资源删除、集群资源修改。
在本申请实施例中,各个集群可以实现为各个K8s集群;此时,该第一集群中的日志读取模块可以调用第一集群的K8s接口,基于从第一资源调整日志读取到的调整参数对应的调整方式,对第一集群中的集群资源进行调整。
步骤350,将第一集群的第一日志索引号更新为最大日志索引号。
在将第一集群中的集群资源的状态同步到最大日志索引号对应的集群资源的状态后,将第一集群的第一日志索引号更新为最大日志索引号,以表征第一集群中的集群资源同步完成且为最新状态,避免后续进行日志索引号读取和比较时出现由于对比结果指示最大日志索引号与第一集群的当前日志索引号不同造成的对第一集群资源的重复同步操作或误操作。
综上所述,本申请实施例提供的集群间的资源同步方法,通过在同一数据库日志中记录多个集群的日志索引号,以及多个集群对应的最大日志索引号,以使得各个集群可以通过将集群的当前日志索引号与最大日志索引号进行比较,在获取到当前日志索引号与最大日志索引号之间的相差的日志索引号时,基于两者之间相差的日志索引号对应的资源调整日志对集群中的集群资源进行资源调整,以使得各个集群中集群资源的状态与最大日志索引号对应的集群资源的状态一致,并在资源同步完成后,将集群对应的当前日志索引号更新为最大日志索引号,从而使得各个集群中的集群资源为最新状态且保持一致,实现集群间的资源的自动同步,提高集群资源同步的准确性。
若第一集群为目标客户端的调用的集群,该第一集群可以主动对数据库日志中的日志索引号进行调整,图4示出了本申请一示例性实施例提供的集群间的资源同步方法的流程图,该方法由第一集群执行,第一集群是至少两个集群中的任意一个,至少两个集群对应同一数据库日志,该集群间的资源同步方法还包括:
步骤410,接收目标客户端的应用调整操作。
在本申请实施例中,该应用调整成操作包括以下任意一种:应用上线操作、应用修改操作以及应用删除操作。
步骤420,在第一集群中的目标应用基于应用调整操作调用第一集群的集群接口时,将应用调整操作的调整参数记录到数据库日志中,形成第二资源调整日志;该目标应用是第一集群中与应用调整操作相对应的应用。
在本申请实施例中,集群中包含调用拦截器,集群中的应用调用该集群的集群接口时,通过该调用拦截器调用;该调用拦截器还用于获取应用调整操作对应的调整参数,并生成对应的新的资源调整日志,将该资源调整日志记录到数据库日志中,该数据库日志中对应该新的资源调整日志标识有第二日志索引号;以第一集群为例,该过程可以实现为:
在第一集群中的目标应用基于应用调整操作通过调用拦截器调用第一集群的集群接口时,通过调用拦截器将应用调整操作的调整参数记录到数据库日志中,形成第二资源调整日志。
步骤430,将数据库日志中的最大日志索引号更新为第二资源调整日志对应的第二日志索引号。
该第一集群中进行的资源调整操作为至少两个集群中最新的资源调整操作,表现为接收到该资源调整操作的时刻与当前时刻的时间差最小;该第二日志索引号是基于第二资源调整日志新添加到数据库日志中的日志索引号。
第一集群通过调用拦截器对数据库日志中的最大日志索引号进行更新,该过程可以实现为:
通过调用拦截器将数据库日志中的最大日志索引号更新为第二资源调整日志对应的第二日志索引号;或者,也可以理解为调用拦截器将第二资源调整日志对应的第二日志索引号作为数据库日志中的最大日志索引号。
步骤440,调用第一集群的集群接口,基于应用调整操作的调整参数对应的调整方式调整第一集群中的集群资源。
第一集群通过调用拦截器调用集群接口,基于应用调整操作的调整参数,增加/修改/删除对应的集群资源。
步骤450,将数据库日志中的第一日志索引号更新为第二日志索引号。
在第一集群中的资源调整成功后,将第一集群的当前日志索引号(即第一日志索引号)更新为第二日志索引号,此时该第一日志索引号与第二日志索引号(即最大日志索引号)一致,表示此时第一集群中的集群资源状态为最新状态。
需要说明的是,在本申请实施例中,同一集群既可以是目标客户端的访问集群,也可以是未被目标客户端访问的集群,在该集群基于目标客户端的应用调用操作进行资源调整时,也可以按照目标周期通过日志读取模块读取数据库日志中的最大日志索引号,与集群的当前日志索引号进行对比,以基于对比结果进行资源调整,以避免资源调整不一致或者日志索引号更新错误造成集群资源不同步的情况。
综上所述,本申请实施例提供的集群间的资源同步方法,在第一集群接收到目标客户端的应用调整操作,第一集群中的应用响应于该应用调整操作调用集群接口进行集群资源调整时,可以将该应用调整操作对应的调整参数生成对应的资源调整日志并记录到数据库日志中,并对应添加新的日志索引号,将最大日志索引号更新为新添加的日志索引号,以使得该数据库日志基于更新后的最大日志索引号以及资源调整日志进行集群资源同步,从而使得各个集群中的集群资源为最新状态且保持一致,实现了集群间的资源的自动同步,提高了集群资源同步的准确性。
基于图1、图3以及图4所示实施例,以第一集群包含一个集群,第二集群包含一个集群,即两个集群之间进行资源同步,集群为K8s资源为例,图5示出了本申请一示例性实施例提供的集群间的资源同步架构的示意图,如图5所示,数据库日志510对应两个集群,分别为集群520以及集群530,每个集群中均包含有调用拦截器以及日志读取模块,该调用拦截器与第一集群中的各个应用建立有通信关系,用于实现应用对K8s接口调用以及更新数据库日志中的日志索引号以及资源调用日志;该日志读取模块用于读取日志数据库中的日志索引号以及资源调用日志,并对对应集群的日志索引号进行调整。以一次新增集群资源以及集群间的资源同步过程为例,若集群520为目标客户端访问的集群,在集群520接收到目标客户端的应用调整操作时,集群520中的应用通过调用拦截器521调用K8s接口,并将该应用调整操作对应的调用参数以新增的资源调用日志的形式记录到数据库日志中;调用拦截器521将数据库日志中的最大日志索引号更新为新增的资源调用日志对应的日志索引号;调用拦截器521调用K8s接口,基于应用调整操作对应的调整参数增加/修改/删除/对应的K8s资源,并在资源调整成功后,通过调用拦截器521将集群520在数据库日志中的当前日志索引号1更新为最大日志索引号,即新增的资源调用日志对应的日志索引号。
在图5所示的两个集群中,集群530为备用集群,集群530的日志读取模块531按照周期读取数据库日志中的最大日志索引号,并与集群530在数据库日志中的当前日志索引号2进行对比,若对比结果相同,则不做处理,在下一周期时重新进行最大日志索引号的读取和比较;若对比结果不同,比如,在上述集群520完成自身的集群资源的调整以及对数据库日志的日志索引号更新后,最大日志索引号发生变化,集群530的日志读取模块531读取到的最大日志索引号与其对应的当前日志索引号2不同,则根据最大日志索引号与集群530的当前日志索引号相差的日志索引号读取对应的资源调整日志;该日志读取模块531根据读取到的资源调整日志获取调整参数,并调用集群530的K8s接口,基于该调整参数增加/修改/删除/对应的K8s资源;在完成对集群530中的资源调整后,通过日志读取模块531将集群530在数据库日志中的当前日志索引号2更新为最大日志索引号。
需要说明的是,任意一个集群均可以作为目标客户端的访问集群,此时,其他集群为备用集群,在目标客户端的访问集群完成集群资源调整并对数据库日志进行更新后,其他集群定期读取数据库日志中的日志索引号信息,并对自身的集群资源进行调整,以使得各个集群中的集群资源状态保持一致。
图6示出了本申请一示例性实施例提供的集群间的资源同步装置的方框图,该装置可以应用于第一集群中,该第一集群与第二集群对应同一数据库日志,如图6所示,该集群间的资源同步装置包括:
读取模块610,用于从所述数据库日志中读取最大日志索引号与所述第一集群的第一日志索引号;所述第一日志索引号为所述第一集群在所述数据库日志中的当前日志索引号;
日志获取模块620,用于根据所述第一日志索引号与所述最大日志索引号之间相差的日志索引号获取第一资源调整日志;
资源调整模块630,用于基于所述第一资源调整日志对所述第一集群中的集群资源进行资源调整。
在一种可能的实现方式中,所述装置还包括:
更新模块,用于在基于所述第一资源调整日志对所述第一集群中的集群资源进行资源调整之后,将所述第一集群的所述第一日志索引号更新为所述最大日志索引号。
在一种可能的实现方式中,所述资源调整模块630,包括:
参数读取子模块,用于读取所述第一资源调整日志中的调整参数;
资源调整子模块,用于基于所述第一资源调整日志中的调整参数对应的调整方式对所述第一集群中的集群资源进行资源调整;所述调整方式包括以下至少一种:集群资源增加、集群资源删除、集群资源修改。
在一种可能的实现方式中,所述装置还包括:
操作接收模块,用于接收目标客户端的应用调整操作;
参数记录模块,用于在所述第一集群中的目标应用基于所述应用调整操作调用所述第一集群的集群接口时,将所述应用调整操作的调整参数记录到所述数据库日志中,形成第二资源调整日志;所述目标应用是所述第一集群中与所述应用调整操作相对应的应用;
所述更新模块,用于将所述数据库日志中的最大日志索引号更新为所述第二资源调整日志对应的第二日志索引号。
在一种可能的实现方式中,所述资源调整模块630,用于调用所述第一集群的集群接口,基于所述应用调整操作的调整参数对应的调整方式,调整所述第一集群中的集群资源;
所述更新模块,用于将所述数据库日志中的所述第一日志索引号更新为所述第二日志索引号。
在一种可能的实现方式中,所述应用调整操作包括以下任意一种:应用上线操作、应用修改操作以及应用删除操作。
在一种可能的实现方式中,所述第一集群中包含调用拦截器;
所述参数记录模块,用于在所述第一集群中的目标应用基于所述应用调整操作通过所述调用拦截器调用所述第一集群的集群接口时,通过所述调用拦截器将所述应用调整操作的调整参数记录到所述数据库日志中,形成第二资源调整日志;
所述更新模块,用于通过所述调用拦截器将所述数据库日志中的最大日志索引号更新为所述第二资源调整日志对应的第二日志索引号。
综上所述,本申请实施例提供的集群间的资源同步装置,通过在同一数据库日志中记录多个集群的日志索引号,以及多个集群对应的最大日志索引号,以使得各个集群可以通过将集群的当前日志索引号与最大日志索引号进行比较,在确定两者不同时,基于两者之间相差的日志索引号对应的资源调整日志对集群中的集群资源进行资源调整,以使得各个集群中集群资源的状态与最大日志索引号对应的集群资源的状态一致,从而使得各个集群中的集群资源为最新状态且保持一致,实现集群间的资源的自动同步,提高集群资源同步的准确性。
图7示出了本申请一示例性实施例示出的计算机设备700的结构框图。该计算机设备可以实现为本申请上述方案中的各个集群。所述计算机设备700包括中央处理单元(Central Processing Unit,CPU)701、包括随机存取存储器(Random Access Memory,RAM)702和只读存储器(Read-Only Memory,ROM)703的系统存储器704,以及连接系统存储器704和中央处理单元701的系统总线705。所述计算机设备700还包括用于存储操作系统709、应用程序710和其他程序模块711的大容量存储设备706。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory,EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory,EEPROM)闪存或其他固态存储其技术,CD-ROM、数字多功能光盘(DigitalVersatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备706可以统称为存储器。
根据本申请的各种实施例,所述计算机设备700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备700可以通过连接在所述系统总线705上的网络接口单元707连接到网络708,或者说,也可以使用网络接口单元707来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中,中央处理器701通过执行该至少一条指令、至少一段程序、代码集或指令集来实现上述各个实施例所示的集群间的资源同步方法中的全部或部分步骤。
在一示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该计算机程序由处理器加载并执行以实现上述集群间的资源同步方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在一示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括至少一条计算机程序,该计算机程序由处理器加载并执行上述图1、图3或图4任一实施例所示的集群间的资源同步方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种集群间的资源同步方法,其特征在于,所述方法由第一集群执行,所述第一集群与第二集群对应同一数据库日志;所述方法包括:
从所述数据库日志中读取最大日志索引号与所述第一集群的第一日志索引号;所述第一日志索引号为所述第一集群在所述数据库日志中的当前日志索引号;
根据所述第一日志索引号与所述最大日志索引号之间相差的日志索引号获取第一资源调整日志;
基于所述第一资源调整日志对所述第一集群中的集群资源进行资源调整。
2.根据权利要求1所述的方法,其特征在于,在基于所述第一资源调整日志对所述第一集群中的集群资源进行资源调整之后,所述方法还包括:
将所述第一集群的所述第一日志索引号更新为所述最大日志索引号。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一资源调整日志对所述第一集群中的集群资源进行资源调整,包括:
读取所述第一资源调整日志中的调整参数;
基于所述第一资源调整日志中的调整参数对应的调整方式对所述第一集群中的集群资源进行资源调整;所述调整方式包括以下至少一种:集群资源增加、集群资源删除、集群资源修改。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收目标客户端的应用调整操作;
在所述第一集群中的目标应用基于所述应用调整操作调用所述第一集群的集群接口时,将所述应用调整操作的调整参数记录到所述数据库日志中,形成第二资源调整日志;所述目标应用是所述第一集群中与所述应用调整操作相对应的应用;
将所述数据库日志中的最大日志索引号更新为所述第二资源调整日志对应的第二日志索引号。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
调用所述第一集群的集群接口,基于所述应用调整操作的调整参数对应的调整方式,调整所述第一集群中的集群资源;
将所述数据库日志中的所述第一日志索引号更新为所述第二日志索引号。
6.根据权利要求4或5所述的方法,其特征在于,所述应用调整操作包括以下任意一种:应用上线操作、应用修改操作以及应用删除操作。
7.根据权利要求4所述的方法,其特征在于,所述第一集群中包含调用拦截器;
所述在所述第一集群中的目标应用基于所述应用调整操作调用所述第一集群的集群接口时,将所述应用调整操作的调整参数记录到所述数据库日志中,形成第二资源调整日志,包括:
在所述第一集群中的目标应用基于所述应用调整操作通过所述调用拦截器调用所述第一集群的集群接口时,通过所述调用拦截器将所述应用调整操作的调整参数记录到所述数据库日志中,形成第二资源调整日志;
所述将所述数据库日志中的最大日志索引号更新为所述第二资源调整日志对应的第二日志索引号,包括:
通过所述调用拦截器将所述数据库日志中的最大日志索引号更新为所述第二资源调整日志对应的第二日志索引号。
8.一种集群间的资源同步装置,其特征在于,所述装置应用于第一集群中,所述第一集群与第二集群对应同一数据库日志;所述装置包括:
读取模块,用于从所述数据库日志中读取最大日志索引号与所述第一集群的第一日志索引号;所述第一日志索引号为所述第一集群在所述数据库日志中的当前日志索引号;
日志获取模块,用于根据所述第一日志索引号与所述最大日志索引号之间相差的日志索引号获取第一资源调整日志;
资源调整模块,用于基于所述第一资源调整日志对所述第一集群中的集群资源进行资源调整。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行以实现如权利要求1至7任一所述的集群间的资源同步方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至7任一所述的集群间的资源同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310696140.6A CN117493272A (zh) | 2023-06-13 | 2023-06-13 | 集群间的资源同步方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310696140.6A CN117493272A (zh) | 2023-06-13 | 2023-06-13 | 集群间的资源同步方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117493272A true CN117493272A (zh) | 2024-02-02 |
Family
ID=89677017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310696140.6A Pending CN117493272A (zh) | 2023-06-13 | 2023-06-13 | 集群间的资源同步方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117493272A (zh) |
-
2023
- 2023-06-13 CN CN202310696140.6A patent/CN117493272A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111464603B (zh) | 一种服务器扩容方法及扩容系统 | |
CN110545207B (zh) | 一种同步自动化的智能dns系统及配置方法 | |
US20210216301A1 (en) | Algorithm update method and apparatus | |
CN114077602A (zh) | 数据迁移方法和装置、电子设备、存储介质 | |
CN117493272A (zh) | 集群间的资源同步方法、装置、计算机设备及存储介质 | |
CN116991953A (zh) | 数据采集方法、装置、计算机设备及存储介质 | |
CN114422427B (zh) | 一种流量均衡方法、装置、电子设备和存储介质 | |
CN113448609B (zh) | 一种容器的升级方法、装置、设备和存储介质 | |
CN115455121A (zh) | 一种实时可靠的数据同步传输方法、设备及介质 | |
CN115587141A (zh) | 一种数据库同步方法和装置 | |
CN111147226A (zh) | 数据存储方法、装置及存储介质 | |
CN112532660A (zh) | 一种数据同步的方法、装置和网络管理系统 | |
CN115022175B (zh) | 一种配置信息的同步方法及装置 | |
CN115695169B (zh) | 一种配置信息下发方法、装置及存储介质 | |
EP4148565A1 (en) | Application deployment method, application blueprint generation method, platform, terminal, and medium | |
CN111756562B (zh) | 一种集群接管方法、系统及相关组件 | |
CN117354323A (zh) | 数据的同步方法及装置、存储介质、电子装置 | |
CN109495288B (zh) | 服务部署方法和装置 | |
CN115391463A (zh) | 数据同步方法、装置及服务器集群 | |
CN114826914A (zh) | 一种服务器升级方法和装置 | |
CN112948052A (zh) | 跨数据中心的虚拟机迁移方法、数据中心及计算机介质 | |
KR20160110687A (ko) | Hmi 클라이언트와 서버간의 프로젝트 파일 동기화 시스템 | |
CN116028577A (zh) | 数据同步方法及装置、电子设备和存储介质 | |
CN115442363A (zh) | 一种数据文件下载及推送方法及装置 | |
CN114625084A (zh) | 基于控制系统的节点信息的获取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |