CN116827946A - 负载均衡方法、数据同步方法、装置、电子设备及介质 - Google Patents

Abstract

本公开提供了一种负载均衡方法、数据同步方法、装置、电子设备及介质，涉及云计算技术领域。该负载均衡方法应用于负载均衡服务器，负载均衡服务器分别与客户端和多集群系统相连，多集群系统包括相互独立的第一集群和第二集群，方法包括：在接收到客户端发出的登录请求时，获取登录请求的携带信息；根据预设的负载均衡策略，从第一集群和第二集群中选取待负载的目标集群；根据携带信息，生成从客户端到目标集群的路由信息，其中，路由信息用于建立客户端到目标集群的数据通信；将路由信息发送至客户端。

Description

负载均衡方法、数据同步方法、装置、电子设备及介质

技术领域

本公开涉及云计算技术领域，具体涉及负载均衡和数据同步领域，更具体地涉及一种负载均衡方法、数据同步方法、装置、电子设备及介质。

背景技术

对于现有系统在面对突然增加的超大并发量的业务流时，传统的解决方案是不断优化服务器的性能，比如增加服务器的CPU，增加内存等，并且不断提升单机的软件性能，比如使用缓存减少IO(输入输出)次数，使用并发或者异步的方式增加吞吐量。

但是随着业务的不断增加，服务器的性能很快又到达瓶颈。进一步地，可以增加APP服务器，使用负载均衡对APP服务器进行灵活高效的负载，随之出现的问题是数据库的IO、或者CPU出现瓶颈，最终导致可用的数据库连接越来越少，甚至无可用连接，那么整个系统就会崩溃。常见的解决方式比如通过水平或者垂直的方式进行分库分表，但这样做的缺点也很多，比如分布式事务问题、跨库的join查询、运维复杂度增大等问题。

发明内容

鉴于上述问题，本公开提供了一种负载均衡方法、数据同步方法、装置、电子设备及介质。

根据本公开的第一个方面，提供了一种负载均衡方法，应用于负载均衡服务器，负载均衡服务器分别与客户端和多集群系统相连，多集群系统包括相互独立的第一集群和第二集群，方法包括：在接收到客户端发出的登录请求时，获取登录请求的携带信息；根据预设的负载均衡策略，从第一集群和第二集群中选取待负载的目标集群；根据携带信息，生成从客户端到目标集群的路由信息，其中，路由信息用于建立客户端到目标集群的数据通信；将路由信息发送至客户端。

根据本公开的实施例，目标集群为第一集群和第二集群中的至少一个；根据预设的负载均衡策略，从第一集群和第二集群中选取待负载的目标集群，包括：识别登录请求的任务类型，任务类型包括批量任务或非批量任务；在识别出任务类型为批量任务的情况下，将目标集群指定为第一集群或第二集群。

根据本公开的实施例，该负载均衡方法还包括：在接收到目标集群反馈的重定向指示信息时，基于重定向指示信息调整路由信息，以断开客户端到目标集群的数据通信，并建立客户端到多集群系统中除目标集群之外的集群的通信连接。

根据本公开的实施例，根据预设的负载均衡策略，从第一集群和第二集群中选取待负载的目标集群，还包括：根据预设的灰度发布范围，确定待负载的目标集群，其中，灰度发布范围指定了第一集群和/或第二集群是否在灰度内。

根据本公开的实施例，根据携带信息，生成从客户端到目标集群的路由信息，包括：从携带信息中识别出客户端的机构属性；基于机构属性，生成从客户端到目标集群的路由信息。

本公开的第二方面提供了一种负载均衡方法，应用于客户端，客户端与负载均衡服务器相连，负载均衡服务器与多集群系统相连，多集群系统包括相互独立的第一集群和第二集群，方法包括：向负载均衡服务器发送登录请求；接收负载均衡服务器反馈的从客户端到目标集群的路由信息，其中，目标集群为从第一集群和第二集群中选取的待负载的集群，路由信息用于建立客户端到目标集群的数据通信；根据路由信息，访问目标集群。

根据本公开的实施例，接收负载均衡服务器反馈的从客户端到目标集群的路由信息，还包括：根据路由信息生成对应的路由标识值，将路由标识值写入缓存数据；根据缓存数据中的路由标识值，访问目标集群。

本公开的第三方面提供了一种数据同步方法，应用于多集群系统，多集群系统包括相互独立的第一集群和第二集群，多集群系统设置有kafka消息队列，方法包括：监测第一集群的数据状态；在监测到第一集群的数据状态发生变化时，获取变化数据对应的消息体，并将消息体发送至kafka消息队列；第二集群根据自身需求，从kafka消息队列拉取消息体，根据消息体识别出变化数据；第二集群根据变化数据修改集群内对应的数据。

根据本公开的实施例，消息体包括源数据库标识和发生变化的表集合；根据消息体识别出变化数据，包括：解析消息体，得到源数据库标识和表集合；根据源数据库标识，确定数据同步方向；根据数据同步方向，采用多线程对表集合中的每张表进行同步。

根据本公开的实施例，消息体还包括表集合中每张表发生变动的数据的主键；采用多线程对表集合中的每张表进行同步，还包括针对表集合中的每张表，执行以下操作：根据源数据库标识，确定第一集群的源数据库；在源数据库，根据业务信息和主键，使用预设的结构化查询语言来查询该张表的第一数据结果集；在第二集群，使用结构化查询语言来查询该张表的第二数据结果集；将第一数据结果集与第二数据结果集进行比对，基于比对结果确定出第二集群内待修改的数据集，并对数据集进行修改。

本公开的第四方面提供了一种负载均衡服务器，分别与客户端和多集群系统相连，多集群系统包括相互独立的第一集群和第二集群。其中，该负载均衡服务器用于执行上述第一方面描述的负载均衡方法。

本公开的第五方面提供了一种客户端，与负载均衡服务器相连，负载均衡服务器与多集群系统相连，多集群系统包括相互独立的第一集群和第二集群。其中，该客户端用于执行上述第二方面描述的负载均衡方法。

本公开的第六方面提供了一种数据同步装置，应用于多集群系统，多集群系统包括相互独立的第一集群和第二集群，且多集群系统设置有kafka消息队列。其中，该数据同步装置用于执行上述的数据同步方法。

本公开的第八方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述的负载均衡方法或数据同步方法。

本公开的第九方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述的负载均衡方法或数据同步方法。

本公开的第十方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的负载均衡方法或数据同步方法。

根据本公开实施例提供的负载均衡方法、数据同步方法、装置、电子设备及介质，在当前服务器集群(也即第一集群)的基础上，新建完全相同的另外一个集群(也即第二集群)，以供业务流量分流负载到这两个集群上。当用户在客户端进行登录时，客户端向负载均衡服务器发送登录请求。接着，负载均衡服务器获取该登录请求的携带信息；根据预设的负载均衡策略，从多集群系统的第一集群和第二集群中选取待负载的目标集群；根据携带信息，生成从客户端到目标集群的路由信息，将路由信息发送至客户端，其中，路由信息用于建立客户端到目标集群的数据通信。然后，客户端根据负载均衡服务器反馈的路由信息，由指定的目标集群来处理登录请求，也即客户端可以访问该目标集群。通过这种方式，根据用户的特点或者不同的机构属性，将业务流量分为两部分，在用户于客户端发出登录请求时，将登录请求分流负载到这两个集群上，可提高应用系统的并发能力，效率更快、系统更稳定。本公开克服了现有分库分表技术中的分布式事务问题、跨库的join查询、运维复杂度增大的问题，可提高应用系统的并发能力，效率更快、系统更稳定。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的负载均衡方法和数据同步方法的系统架构；

图2示意性示出了根据本公开第一实施例的负载均衡方法的流程图；

图3示意性示出了根据本公开第一实施例的选取目标集群的流程图；

图4示意性示出了根据本公开第一实施例的生成路由信息的流程图；

图5示意性示出了根据本公开第二实施例的负载均衡方法的流程图；

图6示意性示出了根据本公开第二实施例的接收路由信息之后的流程图；

图7示意性示出了根据本公开第三实施例的数据同步方法的流程图；

图8示意性示出了根据本公开第三实施例的识别变化数据的流程图；

图9示意性示出了根据本公开第三实施例的采用多线程进行表同步的流程图；

图10示意性示出了根据本公开实施例的适于实现负载均衡方法或数据同步方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

本公开的实施例提供一种负载均衡方法、数据同步方法、装置、电子设备及介质，涉及云计算技术领域。该负载均衡方法应用于负载均衡服务器，负载均衡服务器分别与客户端和多集群系统相连，多集群系统包括相互独立的第一集群和第二集群，方法包括：在接收到客户端发出的登录请求时，获取登录请求的携带信息；根据预设的负载均衡策略，从第一集群和第二集群中选取待负载的目标集群；根据携带信息，生成从客户端到目标集群的路由信息，其中，路由信息用于建立客户端到目标集群的数据通信；将路由信息发送至客户端。通过本公开的实施例，在用户于客户端发出登录请求时，将登录请求分流负载到这两个集群上，可提高应用系统的并发能力，效率更快、系统更稳定。

图1示意性示出了根据本公开实施例的负载均衡方法和数据同步方法的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的负载均衡方法和数据同步方法的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括客户端101、负载均衡服务器102和多集群系统103，其中，多集群系统103包括相互独立的第一集群103A和第二集群103B。

其中，负载均衡服务器102分别与客户端101和多集群系统103相连。

客户端101上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。客户端101可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

多集群系统103包括相互独立的第一集群103A和第二集群103B。其中，第一集群103A为当前服务器集群；第二集群103B根据第一集群103A新建，且在新建第二集群103B后，将第一集群103A的全量数据迁移至第二集群103B。

通过这种方式，在当前服务器集群(也即第一集群)的基础上，新建完全相同的另外一个集群(也即第二集群)，以供业务流量可以分流负载到这两个集群上。由于两个集群的APP服务器和数据库服务器都是完全隔离的，本公开不仅在将系统的并发能力提高两倍，同时也提高了系统的高可用性。

进一步地，第一集群103A和第二集群103B各自包括至少一台用于存储数据的服务器，第二集群103B与第一集群103A内的各服务器的序列器区间相互隔开。

通过这种方式，在当前的第一集群的基础上新建第二集群时，将两套数据库的序列器区间分隔开，以示区分。

接着，在第二集群103B新建完成后，例如可以使用数据迁移工具，将第一集群103A内的全量数据(也即所有数据)迁移至第二集群103B，形成多集群系统103。

例如，基于该系统架构100，首先，当用户在客户端101进行登录时，客户端101向负载均衡服务器102发送登录请求。接着，负载均衡服务器102获取该登录请求的携带信息；根据预设的负载均衡策略，从多集群系统103的第一集群103A和第二集群103B中选取待负载的目标集群；根据携带信息，生成从客户端101到目标集群的路由信息，将路由信息发送至客户端101，其中，路由信息用于建立客户端101到目标集群的数据通信。然后，客户端101根据负载均衡服务器102反馈的路由信息，由指定的目标集群来处理登录请求，也即客户端101可以访问该目标集群。通过这种方式，根据用户的特点或者不同的机构属性，将业务流量分为两部分，在用户于客户端101发出登录请求时，将登录请求分流负载到第一集群103A和/或第二集群103B上，可提高应用系统的并发能力，效率更快、系统更稳定。

应该理解，图1中的客户端、负载均衡服务器、第一集群和第二集群的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端、负载均衡服务器、第一集群和第二集群。

以下将基于图1描述的系统架构，分别对本公开实施例的负载均衡方法和数据同步方法进行详细描述。

图2示意性示出了根据本公开第一实施例的负载均衡方法的流程图。

如图2所示，本公开第一实施例提供了一种负载均衡方法，可以应用于上述负载均衡服务器102，负载均衡服务器102分别与客户端101和多集群系统103相连，多集群系统103包括相互独立的第一集群103A和第二集群103B。该负载均衡方法可以包括操作S210～操作S240。

在操作S210，在接收到客户端发出的登录请求时，获取登录请求的携带信息。

例如，根据用户的特点或者不同的机构属性，用户在客户端进行登录时，客户端向负载均衡服务器发送登录请求，该登录请求包含登录的会话参数。负载均衡服务器在接收到登录请求时，获取该登录请求的携带信息。

在操作S220，根据预设的负载均衡策略，从第一集群和第一集群中选取待负载的目标集群。

在操作S230，根据携带信息，生成从客户端到目标集群的路由信息，其中，路由信息用于建立客户端到目标集群的数据通信。

在操作S240，将路由信息发送至客户端。

通过这种方式，根据用户的特点或者不同的机构属性，将业务流量分为两部分，在用户于客户端发出登录请求时，将登录请求分流负载到这两个集群上。本公开既可以在业务高峰时将流量分到两套服务器集群上均分数据库压力，又可以在其中某个集群发生故障，可以通过修改路由信息，将业务流量全部引向正常的集群上。本公开克服了现有分库分表技术中的分布式事务问题、跨库的join查询、运维复杂度增大的问题，可提高应用系统的并发能力，效率更快、系统更稳定。

图3示意性示出了根据本公开第一实施例的选取目标集群的流程图。

如图3所示，在本公开第一实施例中，目标集群为第一集群和第二集群中的至少一个；上述操作S220根据预设的负载均衡策略，从第一集群和第二集群中选取待负载的目标集群，可以进一步包括操作S321～操作S322。

在操作S321，识别登录请求的任务类型，任务类型包括批量任务或非批量任务。

在操作S322，在识别出任务类型为批量任务的情况下，将目标集群指定为第一集群或第二集群。

通过这种方式，本公开特别针对属于批量任务的业务流量，保证两个集群不能重复启动，只能启用两个集群中的任意一个。例如，当批量任务中修改的表是双写的表时，则该批量任务只在第一集群或者第二集群进行启用，而不能两个集群同时启用。

在本公开第一实施例中，该负载均衡方法还包括：在接收到目标集群反馈的重定向指示信息时，基于重定向指示信息调整路由信息，以断开客户端到目标集群的数据通信，并建立客户端到多集群系统中除目标集群之外的集群的通信连接。

例如，针对客户端发起的登录请求，一个集群可能无法完成全部工作，这时可以使用请求重定向来完成。

例如，在目标集群为第一集群时，可能由于某些条件限制，例如该集群的地址可能已经废弃，或者之前的地址无法满足需求，客户端不能访问当前登录请求所指向的目标集群(第一集群)。此时，第一集群向负载均衡服务器发送重定向指示信息，也即在负载均衡服务器接收到第一集群反馈的重定向指示信息时，该重定向指示信息指示了一个新的集群，也即第二集群。在这种情况下，负载均衡服务器基于重定向指示信息调整路由信息，以断开客户端到目标集群(第一集群)的数据通信，并建立客户端到多集群系统中除目标集群之外的集群(第二集群)的通信连接。

通过这种方式，本公开在接收到目标集群反馈的重定向指示信息时，负载均衡服务器可以基于该重定向指示信息，调整路由信息，以供用户通过客户端访问另一集群，从而将登录请求重新转到其它集群来处理，避免由于集群内部的故障导致请求无法及时处理的问题，提高了用户体验。

在本公开第一实施例中，上述操作S220根据预设的负载均衡策略，从第一集群和第二集群中选取待负载的目标集群，还可以包括：根据预设的灰度发布范围，确定待负载的目标集群，其中，灰度发布范围指定了第一集群和/或第二集群是否在灰度内。

通过这种方式，本公开采取类似灰度发布的方式，根据预设的灰度发布范围，将业务流量分流负载于第一集群和第二集群中的至少一个集群上。灰度发布是指在黑与白之间，能够平滑过渡的一种发布方式。进一步地，在对两个集群进行数据同步之前，灰度发布可以保证整体系统的稳定，在初始灰度的时候就可以发现、调整问题，以保证其影响度。

图4示意性示出了根据本公开第一实施例的生成路由信息的流程图。

如图4所示，在本公开第一实施例中，上述操作S230根据携带信息，生成从客户端到目标集群的路由信息，可以进一步包括操作S431～操作S432。

在操作S431，从携带信息中识别出客户端的机构属性。

在操作S432，基于机构属性，生成从客户端到目标集群的路由信息。

基于图1描述的系统架构，本公开第二实施例提供了一种负载均衡方法，应用于该系统架构100中的客户端101，客户端101与负载均衡服务器102相连，负载均衡服务器102和多集群系统103相连。其中，多集群系统103包括相互独立的第一集群103A和第二集群103B。

图5示意性示出了根据本公开第二实施例的负载均衡方法的流程图。

如图5所示，本公开第二实施例提供的负载均衡方法，可以由上述客户端101执行。该负载均衡方法可以包括操作S510～操作S530。

在操作S510，向负载均衡服务器发送登录请求。

在操作S520，接收负载均衡服务器反馈的从客户端到目标集群的路由信息，其中，目标集群为从第一集群和第二集群中选取的待负载的集群，路由信息用于建立所述客户端到所述目标集群的数据通信。

在操作S530，根据路由信息，访问目标集群。

通过这种方式，根据用户的特点或者不同的机构属性，将业务流量分为两部分，在用户于客户端发出登录请求时，将登录请求分流负载到这两个集群上。客户端根据负载均衡服务器反馈的路由信息，由指定的目标集群来处理登录请求，也即客户端可以访问该目标集群。本公开既可以在业务高峰时将流量分到两套服务器集群上均分数据库压力，又可以在其中某个集群发生故障，可以通过修改路由信息，将业务流量全部引向正常的集群上。本公开克服了现有分库分表技术中的分布式事务问题、跨库的join查询、运维复杂度增大的问题，可提高应用系统的并发能力，效率更快、系统更稳定。

图6示意性示出了根据本公开第二实施例的接收路由信息之后的流程图。

如图6所示，在本公开第二实施例中，上述操作S520接收负载均衡服务器反馈的从客户端到目标集群的路由信息，还可以包括操作S621～操作S622。

在操作S621，根据路由信息生成对应的路由标识值，将路由标识值写入缓存数据。

在操作S622，根据缓存数据中的路由标识值，访问目标集群。

例如，客户端根据反馈的路由信息，生成对应的路由标识值，将该路由标识值写入缓存数据(cookie)，作为cookie的一个value值。

通过这种方式，客户端在后续的登录请求，可以根据缓存数据(cookie)中的路由标识值直接访问对应的目标集群，而不必再次根据负载均衡服务器反馈的路由信息来确定目标集群，提高集群访问效率和请求的分流效率。

基于上述第一实施例或第二实施例描述的负载均衡方法，客户端可以根据路由信息访问对应的集群，将登陆请求分流负载在目标集群上。接下来，对两个集群内数据同步的过程进行详细描述。

基于图1描述的系统架构，本公开第三实施例提供了一种数据同步方法，应用于该系统架构100中的多集群系统103，多集群系统103包括相互独立的第一集群103A和第二集群103B。

图7示意性示出了根据本公开第三实施例的数据同步方法的流程图。

如图7所示，本公开第三实施例提供的数据同步方法，应用于上述多集群系统103，且该多集群系统103设置有kafka消息队列。该数据同步方法可以包括操作S710～操作S740。

在操作S710，监测第一集群的数据状态。

在操作S720，在监测到第一集群的数据状态发生变化时，获取变化数据对应的消息体，并将消息体发送至kafka消息队列。

在操作S730，第二集群根据自身需求，从kafka消息队列拉取消息体，根据消息体识别出变化数据。

在操作S740，第二集群根据变化数据修改集群内对应的数据。

通过这种方式，本公开在第一集群的数据状态发生变化，也即出现增加、删除或修改的情况时，第二集群基于自身需要和kafka消息队列的双写，可以对第一集群内的数据进行同步，保证了数据迁移过程中多集群系统的可用性。

图8示意性示出了根据本公开第三实施例的识别变化数据的流程图。

如图8所示，在本公开第三实施例中，消息体包括源数据库标识和发生变化的表集合；上述操作S730中的根据消息体识别出变化数据，可以包括操作S831～操作S833。

在操作S831，解析消息体，得到源数据库标识和表集合。

在操作S832，根据源数据库标识，确定数据同步方向。

在操作S833，根据数据同步方向，采用多线程对表集合中的每张表进行同步。

通过这种方式，本公开基于kafka消息队列的双写，对两个集群内数据进行同步，保证了数据迁移过程中系统的可用性。采用多线程同步处理多张表，则能够大大提升两个集群内的数据同步效率。

图9示意性示出了根据本公开第三实施例的采用多线程进行表同步的流程图。

如图9所示，在本公开第三实施例中，消息体还包括表集合中每张表发生变动的数据的主键；上述操作S833中的采用多线程对表集合中的每张表进行同步，还可以包括针对表集合中的每张表，执行以下操作S901～操作S902。

在操作S901，根据源数据库标识，确定第一集群的源数据库。

在操作S902，在源数据库，根据业务信息和主键，使用预设的结构化查询语言(Structured Query Language，SQL)来查询该张表的第一数据结果集。

在操作S903，在第二集群，使用结构化查询语言来查询该张表的第二数据结果集。

在操作S904，将第一数据结果集与第二数据结果集进行比对，基于比对结果确定出第二集群内待修改的数据集，并对数据集进行修改。

通过这种方式，本公开在发送消息体至kafka消息队列时，采用表集合中每张表发生变动的数据的主键，数据量较小，可以节省资源开销，便于消息体的及时发送；然后基于主键分别在第一集群的源数据库和第二集群的目标数据库，采用同一结构化查询语言进行查询，将查询结果(也即两种数据结果集)进行比对，然后在第二集群进行相应数据的修改，提高了数据同步效率。

本公开第四实施例提供了-种负载均衡服务器，该负载均衡服务器分别与客户端和多集群系统相连，多集群系统包括相互独立的第一集群和第二集群。其中，该负载均衡服务器用于执行上述第一实施例描述的负载均衡方法，在此不再赘述。

本公开第五实施例提供了一种客户端，该客户端与负载均衡服务器相连，负载均衡服务器和多集群系统相连，多集群系统包括相互独立的第一集群和第二集群。其中，该客户端用于执行上述第二实施例描述的负载均衡方法，在此不再赘述。

本公开第六实施例提供了一种数据同步装置，应用于多集群系统，多集群系统包括相互独立的第一集群和第二集群，且该多集群系统设置有kafka消息队列。其中，该数据同步装置用于执行上述第三实施例描述的数据同步方法，在此不再赘述。

需要说明的是，装置部分的实施例方式与方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，具体细节请参照上述方法实施例方式部分，在此不再赘述。

根据本公开的实施例，如图1所示的系统架构中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，如图1所示的系统架构中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，如图1所示的系统架构中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图10示意性示出了根据本公开实施例的适于实现负载均衡方法或数据同步方法的电子设备的方框图。

如图10所示，根据本公开实施例的电子设备1000包括处理器1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1003中，存储有电子设备1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备1000还可以包括输入/输出(I/O)接口1005，输入/输出(I/O)接口1005也连接至总线1004。电子设备1000还可以包括连接至I/O接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的基于kafka的多集群数据同步方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的负载均衡方法或数据同步方法。

在该计算机程序被处理器1001执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1009被下载和安装，和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (16)

1.一种负载均衡方法，应用于负载均衡服务器，所述负载均衡服务器分别与客户端和多集群系统相连，所述多集群系统包括相互独立的第一集群和第二集群，所述方法包括：

在接收到所述客户端发出的登录请求时，获取所述登录请求的携带信息；

根据预设的负载均衡策略，从所述第一集群和第二集群中选取待负载的目标集群；

根据所述携带信息，生成从所述客户端到所述目标集群的路由信息，其中，所述路由信息用于建立所述客户端到所述目标集群的数据通信；

将所述路由信息发送至所述客户端。

2.根据权利要求1所述的方法，其中，所述目标集群为所述第一集群和第二集群中的至少一个；所述根据预设的负载均衡策略，从所述第一集群和第二集群中选取待负载的目标集群，包括：

识别所述登录请求的任务类型，所述任务类型包括批量任务或非批量任务；

在识别出所述任务类型为批量任务的情况下，将所述目标集群指定为所述第一集群或所述第二集群。

3.根据权利要求1所述的方法，其中，所述方法还包括：

在接收到所述目标集群反馈的重定向指示信息时，基于所述重定向指示信息调整所述路由信息，以断开所述客户端到所述目标集群的数据通信，并建立所述客户端到所述多集群系统中除所述目标集群之外的集群的通信连接。

4.根据权利要求1所述的方法，其中，所述根据预设的负载均衡策略，从所述第一集群和第二集群中选取待负载的目标集群，还包括：

根据预设的灰度发布范围，确定待负载的目标集群，其中，所述灰度发布范围指定了所述第一集群和/或所述第二集群是否在灰度内。

5.根据权利要求1所述的方法，其中，所述根据所述携带信息，生成从所述客户端到所述目标集群的路由信息，包括：

从所述携带信息中识别出所述客户端的机构属性；

基于所述机构属性，生成从所述客户端到所述目标集群的路由信息。

6.一种负载均衡方法，应用于客户端，所述客户端与负载均衡服务器相连，所述负载均衡服务器与多集群系统相连，所述多集群系统包括相互独立的第一集群和第二集群，所述方法包括：

向所述负载均衡服务器发送登录请求；

接收所述负载均衡服务器反馈的从所述客户端到目标集群的路由信息，其中，所述目标集群为从所述第一集群和第二集群中选取的待负载的集群，所述路由信息用于建立所述客户端到所述目标集群的数据通信；

根据所述路由信息，访问所述目标集群。

7.根据权利要求6所述的方法，其中，所述接收所述负载均衡服务器反馈的从所述客户端到目标集群的路由信息，还包括：

根据所述路由信息生成对应的路由标识值，将所述路由标识值写入缓存数据；

根据所述缓存数据中的所述路由标识值，访问所述目标集群。

8.一种数据同步方法，应用于多集群系统，所述多集群系统包括相互独立的第一集群和第二集群，所述多集群系统设置有kafka消息队列，所述方法包括：

监测所述第一集群的数据状态；

在监测到所述第一集群的数据状态发生变化时，获取变化数据对应的消息体，并将所述消息体发送至所述kafka消息队列；

所述第二集群根据自身需求，从所述kafka消息队列拉取所述消息体，根据所述消息体识别出所述变化数据；

所述第二集群根据所述变化数据修改集群内对应的数据。

9.根据权利要求8所述的方法，其中，所述消息体包括源数据库标识和发生变化的表集合；

所述根据所述消息体识别出所述变化数据，包括：

解析所述消息体，得到所述源数据库标识和所述表集合；

根据所述源数据库标识，确定数据同步方向；

根据所述数据同步方向，采用多线程对所述表集合中的每张表进行同步。

10.根据权利要求9所述的方法，其中，所述消息体还包括所述表集合中每张表发生变动的数据的主键；

所述采用多线程对所述表集合中的每张表进行同步，还包括针对所述表集合中的每张表，执行以下操作：

根据所述源数据库标识，确定所述第一集群的源数据库；

在所述源数据库，根据业务信息和所述主键，使用预设的结构化查询语言来查询该张表的第一数据结果集；

在所述第二集群，使用所述结构化查询语言来查询该张表的第二数据结果集；

将所述第一数据结果集与第二数据结果集进行比对，基于比对结果确定出所述第二集群内待修改的数据集，并对所述数据集进行修改。

11.一种负载均衡服务器，分别与客户端和多集群系统相连，所述多集群系统包括相互独立的第一集群和第二集群；

其中，所述负载均衡服务器用于执行如权利要求1～5中任一项所述的负载均衡方法。

12.一种客户端，与负载均衡服务器相连，所述负载均衡服务器与多集群系统相连，所述多集群系统包括相互独立的第一集群和第二集群；

其中，所述客户端用于执行如权利要求6或7所述的负载均衡方法。

13.一种数据同步装置，应用于多集群系统，所述多集群系统包括相互独立的第一集群和第二集群，且所述多集群系统设置有kafka消息队列；

其中，所述数据同步装置用于执行如权利要求8～10中任一项所述的数据同步方法。

14.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1～7中任一项所述的负载均衡方法或者如权利要求8～10中任一项所述的数据同步方法。

15.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如权利要求1～7中任一项所述的负载均衡方法或者如权利要求8～10中任一项所述的数据同步方法。

16.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1～7中任一项所述的负载均衡方法或者如权利要求8～10中任一项所述的数据同步方法。