CN112118294B - 一种基于服务端集群的请求处理方法、设备及介质 - Google Patents

Abstract

本申请公开了一种基于服务端集群的请求处理方法、设备及介质，方法包括：应用在处理系统中，处理系统包括客户端、服务端集群，方法包括：服务端集群接收客户端发送的第一请求，并将第一请求路由至第一服务端；第一服务端对第一请求进行相应的处理，并将处理结束后对应的处理结果写入持久化层；服务端集群接收客户端发送的第二请求，并在第一服务端处于异常状态时，将第二请求路由至第二服务端；第二服务端在持久化层中获取处理结果，并基于处理结果，对第二请求进行相应的处理。即使第一服务端发生崩溃，第二服务端也可以在持久化层中获取该处理结果。第二服务端在对第二请求进行处理时，无需客户端重新执行一遍崩溃前的操作，第二服务端也可以对第二请求进行处理，提高了系统的可用性，也提高了用户体验。

Description

一种基于服务端集群的请求处理方法、设备及介质

技术领域

本申请涉及服务端集群领域，具体涉及一种基于服务端集群的请求处理方法、设备及介质。

背景技术

现代服务器/客户机模式(Server/Client，C/S)或浏览器/服务器模式(Browser/Server，B/S)为了满足海量用户同时使用，服务端通常都会采用集群模式，集群中包含多个服务端节点同时为各个客户端分别提供服务。

在集群模式下如果要提供有状态的服务一般会使用粘性会话，即某个客户端第一次请求路由到某个服务端节点后，其后续请求都会被路由到同一个节点。如果一个服务端节点在处理客户端请求的过程中崩溃，此时会把客户端的下个请求路由到一个可用的新节点。但是由于新节点上没有处理过之前的请求，状态与客户端不一致，导致无法正确处理客户端请求。

目前现有的处理方式是进行简单的检查判断出客户端与服务端状态不一致后进行提示，要求客户端重新执行一遍崩溃前的操作，影响系统可用性，用户使用体验差。

发明内容

为了解决上述问题，本申请提出了一种基于服务端集群的请求处理方法，应用在处理系统中，所述处理系统包括客户端、服务端集群，所述服务端集群包括持久化层、多个服务端，所述多个服务端至少包括第一服务端、第二服务端，所述方法包括：所述服务端集群接收所述客户端发送的第一请求，并将所述第一请求路由至所述第一服务端；所述第一服务端对所述第一请求进行相应的处理，并将处理结束后对应的处理结果写入所述持久化层；所述服务端集群接收所述客户端发送的第二请求，并在所述第一服务端处于异常状态时，将所述第二请求路由至所述第二服务端，其中，所述第二请求与所述第一请求用于执行同一功能；所述第二服务端在所述持久化层中获取所述处理结果，并基于所述处理结果，对所述第二请求进行相应的处理。

在一个示例中，所述服务端集群中还包括负载均衡器；所述服务端集群接收所述客户端发送的第一请求，并将所述第一请求路由至所述第一服务端，包括：所述负载均衡器接收所述客户端发送的第一请求，并将所述第一请求路由至所述第一服务端；所述服务端集群接收所述客户端发送的第二请求，并在所述第一服务端处于异常状态时，将所述第二请求路由至所述第二服务端，包括：所述负载均衡器接收所述客户端发送的第二请求，并在所述第一服务端处于异常状态时，将所述第二请求路由至所述第二服务端。

在一个示例中，将处理结束后对应的处理结果写入所述持久化层之后，所述方法还包括：所述第一服务端将所述处理结果返回所述负载均衡器；所述负载均衡器将所述处理结果返回所述客户端。

在一个示例中，所述第一服务端对所述第一请求进行相应的处理之前，所述方法还包括：所述第一服务端对所述第一请求进行分布式加锁；所述第一服务端将所述处理结果返回所述负载均衡器，包括：所述第一服务端对所述分布式加锁进行解锁后，将所述处理结果返回所述负载均衡器；基于所述处理结果，对所述第二请求进行相应的处理之前，所述方法还包括：所述第二服务端对所述第二请求进行分布式加锁。

在一个示例中，所述方法还包括：所述服务端集群确定接收到的动作表示当前功能结束；在所述持久化层中，将所述功能对应的各请求的处理结果删除。

在一个示例中，所述方法还包括：所述服务端集群通过定时检查的方式，在所述持久化层中进行检索；将已经结束的功能对应的处理结果删除。

在一个示例中，将处理结束后对应的处理结果写入所述持久化层之前，所述方法还包括：确定所述第一请求不属于预设类型的请求，所述预设类型的请求表示该请求只用于读取数据。

在一个示例中，所述服务端集群应用在浏览器/服务器B/S结构或服务器/客户机C/S结构。

另一方面，本申请还提出了一种基于服务端集群的请求处理设备，应用在处理系统中，所述处理系统包括客户端、服务端集群，所述服务端集群包括持久化层、多个服务端，所述多个服务端至少包括第一服务端、第二服务端，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任意一个示例所述的方法。

另一方面，本申请还提出了一种基于服务端集群的请求处理的非易失性计算机存储介质，存储有计算机可执行指令，应用在处理系统中，所述处理系统包括客户端、服务端集群，所述服务端集群包括持久化层、多个服务端，所述多个服务端至少包括第一服务端、第二服务端，所述计算机可执行指令设置为：如上述任意一个示例所述的方法。

通过本申请提出处理方法能够带来如下有益效果：

在第一服务端对第一请求进行处理后，将处理结果写入持久化层。即使第一服务端发生崩溃，第二服务端也可以在持久化层中获取该处理结果。由于第二服务端获取了处理结果，因此第二服务端在对第二请求进行处理时，无需客户端重新执行一遍崩溃前的操作，第二服务端也可以对第二请求进行处理，提高了系统的可用性，也提高了用户体验。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中基于服务端集群的请求处理方法的流程示意图；

图2为本申请实施例中基于服务端集群的请求处理设备的示意图；

图3为本申请实施例中第一服务端的处理流程图；

图4为本申请实施例中第二服务端的处理流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供基于服务端集群的请求处理方法，应用在处理系统中，处理系统包括客户端、服务端集群。用户在客户端上办理业务，或执行相应操作时，客户端会向服务端集群发送相应的请求。服务端集群中包括有持久化层以及多个服务端，在本申请实施例中为了便于描述，在服务端集群中选取两个服务端(在本申请实施例中称作第一服务端和第二服务端)进行解释说明。

其中，本申请实施例中的服务端集群应用在B/S结构或C/S结构中。B/S结构是WEB兴起后的一种网络结构模式，WEB浏览器是客户端最主要的应用软件，此时，客户端指的就是相应的WEB浏览器。而在C/S结构中，客户端通过局域网与服务端相连，接收用户的请求，并通过网络向服务端提出请求，对数据库进行操作，此时客户端可以是相应的程序、APP等。而持久化层指的是，可以持久化保存数据的模块，在集群服务端中的各服务端均可访问到持久化层。持久化层的表现可以是数据库或数据库集群,也可以是redis或者redis集群,或者其他能够起到相应功能的模块，在此不做限定。

如图1所示，方法包括：

S101、所述服务端集群接收所述客户端发送的第一请求，并将所述第一请求路由至所述第一服务端。

首先，在用户通过客户端办理业务或执行相应操作时，客户端会向服务端集群发送相应的请求(为方便描述，在本申请实施例中将该请求称作第一请求)。服务端集群在接收到第一请求后，会通过相应的方法将第一请求路由至相应的服务端(为方便描述，在本申请实施例中将该服务端称作第一服务端)，然后由第一服务端对第一请求进行处理。

具体地，在对第一请求进行路由时，可以是通过随机的方式，也可以是通过其他方式。例如，在服务端集群中还可以设置有负载均衡器，负载均衡器主要用于提供负载均衡服务。负载均衡，英文名称为Load Balance，其含义就是指将负载(工作任务)进行平衡、分摊到多个操作单元(即本申请实施例服务端集群中的各个服务端)上进行运行，从而协同完成工作任务。而负载均衡器，可以表示硬件的负载均衡器，即通过在服务端外部连接相应的硬件设备，来实现负载均衡；也可以表示软件的负载均衡器，即通过在服务端中安装相应的软件，来实现负载均衡；当然，也可以是软件与硬件的结合，在此不再赘述。如图3和图4所示，在服务端集群接收到第一请求(如图3中所示的request)后，通常是负载均衡器首先接收到第一请求，然后根据各服务端的处理状态，来进行负载均衡服务，将第一请求路由(如图3中所示的transferRequest)至第一服务端。

S102、所述第一服务端对所述第一请求进行相应的处理，并将处理结束后对应的处理结果写入所述持久化层。

在第一服务端接收到了第一请求后，通常会根据第一请求进行相应的处理(如图3中所示的processRequest)。第一服务端对请求进行处理时，处理的过程可以包括读取数据、更改数据、删除数据、添加数据等，在此不做限定。在第一服务端对第一请求处理完成后，会产生相应的处理结果。现有技术中，服务器在处理完第一请求，得到第一结果后，通常只是将第一结果存储在RAM中。但是如果第一服务端出现异常状态后，第一结果就会消失，其他继续处理的服务端无法获取到该第一结果。因此，在第一服务端得到处理结果后，可以将处理结果写入持久化层(如图3中所示的asyncUpdateState)。通常情况下，为了防止写入持久化造成系统响应变慢,需要使用高速的持久化,但是高速持久化带来成本的提高，所以考虑低速异步写入持久化，这样可以降低对持久化的要求，节约成本。

当然，在第一服务端将处理结果写入持久化层之后，可以如图3所示，将该处理结果返回(如图3中所示的response)负载均衡器，并由负载均衡器将处理结果返回客户端，客户端即可根据处理结果继续进行相应的处理。

进一步地，在第一服务端接收到了第一请求，对第一请求进行处理之前，第一服务端可以首先对第一请求进行分布式加锁。在使用分布式系统时，例如本申请实施例中的服务端集群，为了防止服务端集群中的多个进程之间相互干扰，可以使第一服务端对第一请求进行加锁(如图3中所示的lock)，以保证第一服务端在对第一请求进行处理时，不会有其他进程的影响。当然，如果第一服务端对第一请求进行了分布式加锁，在第一服务端将处理结果返回给负载均衡器之前，首先要将分布式加锁进行解锁(如图3中所示的unlock)，然后再将处理结果通过负载均衡返回给客户端。其中，分布式加锁可以数据库表、基于缓存、基于Zookeeper、基于redis的redlock算法等多种形式实现，在此不对如何进行分布式加锁进行赘述。

S103、所述服务端集群接收所述客户端发送的第二请求，并在所述第一服务端处于异常状态时，将所述第二请求路由至所述第二服务端，其中，所述第二请求与所述第一请求用于执行同一功能。

在服务端集群将处理结果写入了持久化层，并且将处理结果返回客户端后，客户端可以根据该处理结果，对自身提出的第一请求进行相应处理。此时，若客户端仍然需要提出相应的请求，则此时客户端可以向服务端集群发送该请求(为方便描述，在本申请实施例中将该请求称作第二请求)。此时，在服务端集群接收到第二请求后，若第一服务端处于正常状态，则可以交由第一服务端继续处理，第一服务端可以通过内存中存储的处理结果继续处理第二请求。当然，第一服务端若在将处理结果写入持久化层以后，已在内存中将处理结果删除，则此时也可以从持久化层中获取处理结果。若此时第一服务端处于异常状态，例如，第一服务端由于停电、遭受攻击、处理进程过多等原因崩溃，无法继续处理第二请求，则此时服务端集群会将第二请求路由至第二服务端，由第二服务端进行处理。其中，第一请求与第二请求用于执行同一功能，这里的执行同一功能指的是，客户端向服务端发送第一请求、第二请求等，都是用来执行相同的某功能的，例如，第一请求和第二请求均用于并基于相应的处理结果来实现该功能。

当然，在服务端集群中包括负载均衡器时，由负载均衡器对第二请求进行路由，其过程与上述实施例中第一请求所述的相关内容类似，在此不再赘述。当第二服务端需要对第二请求进行分布式加锁时，其过程与上述实施例中第一服务端所述的相关内容类似，在此不再赘述。

S104、所述第二服务端在所述持久化层中获取所述处理结果，并基于所述处理结果，对所述第二请求进行相应的处理。

当第二服务端开始处理第二请求之前，可以先从持久化层中获取(如图4中的restoreState)处理结果，然后基于处理结果，来对第二请求进行处理。由于第二服务端已经获取了处理结果，因此，在对第二请求进行处理时，无需客户端重新执行一遍崩溃前的操作，第二服务端也可以对第二请求进行处理，提高了系统的可用性，也提高了用户体验。

当然，如图4所示，在第二服务端将第二请求处理完毕后，也可以将相应的处理结果写入持久化层，并通过负载均衡器反馈至客户端，以便于客户端继续执行相应操作，其过程与上述实施例中写入以及返回第一请求对应的处理结果类似，在此不再赘述。

在一个实施例中，如果在持久化层中的各处理结果一直存储，则会导致持久化层中的数据过多，占用过多的存储空间。而通常情况下，在每个功能结束后，服务端集群会接收到一个表示当前功能已结束的动作，此时，可以基于该动作，在持久化层中，将该功能对应的各请求的处理结果删除，已保证持久化层中的存储空间。

进一步地，如果出现了异常情况，导致没有执行关闭，也就无法收到该动作，此时可以通过定时检查的方式，在持久化层中进行检索。例如，每一分钟检索一次，然后将已经结束的功能对应的处理结果删除。这里的已经结束可以是该功能已经在预设时长内没有收到后续请求，或者最后的处理结果表示该功能已经结束等。

在一个实施例中，在将处理结果写入持久化层中之前，可以首先判断该请求是否为预设类型的数据，如果是，则无需将该数据写入持久化层中。这里的预设类型指的是该请求只用于读取数据。如果该请求只用于读取数据，则表明该请求没有对服务端中的数据产生实质性改变，此时即使服务端崩溃，将后续请求路由至其他服务端处理，也不会产生相应的影响。因此，服务端在处理完该预设类型的请求后，无需将处理结果写入持久化层中，也可以保证不会对后续其他服务端的处理过程产生影响。

如图2所示，本申请实施例还提供了一种基于服务端集群的请求处理设备，应用在处理系统中，所述处理系统包括客户端、服务端集群，所述服务端集群包括持久化层、多个服务端，所述多个服务端至少包括第一服务端、第二服务端，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任意一个实施例所述的方法。

本申请实施例还提供了一种基于服务端集群的请求处理的非易失性计算机存储介质，存储有计算机可执行指令，应用在处理系统中，所述处理系统包括客户端、服务端集群，所述服务端集群包括持久化层、多个服务端，所述多个服务端至少包括第一服务端、第二服务端，所述计算机可执行指令设置为：如上述任意一个实施例所述的方法。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种基于服务端集群的请求处理方法，其特征在于，应用在处理系统中，所述处理系统包括客户端、服务端集群，所述服务端集群包括持久化层、多个服务端，所述多个服务端至少包括第一服务端、第二服务端，所述方法包括：

所述服务端集群接收所述客户端发送的第一请求，并将所述第一请求路由至所述第一服务端；

所述第一服务端对所述第一请求进行相应的处理，并将处理结束后对应的处理结果写入所述持久化层；其中，通过低速异步写入持久化；

所述服务端集群接收所述客户端发送的第二请求，并在所述第一服务端处于异常状态时，将所述第二请求路由至所述第二服务端，其中，所述第二请求与所述第一请求用于执行同一功能；

所述第二服务端在所述持久化层中获取所述处理结果，并基于所述处理结果，对所述第二请求进行相应的处理；

所述方法还包括：

所述服务端集群确定接收到的动作表示当前功能结束；

在所述持久化层中，将所述功能对应的各请求的处理结果删除；

所述方法还包括：

所述服务端集群通过定时检查的方式，在所述持久化层中进行检索；

将已经结束的功能对应的处理结果删除；

将处理结束后对应的处理结果写入所述持久化层之前，所述方法还包括：

确定所述第一请求不属于预设类型的请求，所述预设类型的请求表示该请求只用于读取数据；

若所述第一请求属于所述预设类型的请求，则不将所述第一请求写入所述持久化层中。

2.根据权利要求1所述的方法，其特征在于，所述服务端集群中还包括负载均衡器；

所述服务端集群接收所述客户端发送的第一请求，并将所述第一请求路由至所述第一服务端，包括：

所述负载均衡器接收所述客户端发送的第一请求，并将所述第一请求路由至所述第一服务端；

所述服务端集群接收所述客户端发送的第二请求，并在所述第一服务端处于异常状态时，将所述第二请求路由至所述第二服务端，包括：

所述负载均衡器接收所述客户端发送的第二请求，并在所述第一服务端处于异常状态时，将所述第二请求路由至所述第二服务端。

3.根据权利要求2所述的方法，其特征在于，将处理结束后对应的处理结果写入所述持久化层之后，所述方法还包括：

所述第一服务端将所述处理结果返回所述负载均衡器；

所述负载均衡器将所述处理结果返回所述客户端。

4.根据权利要求3所述的方法，其特征在于，所述第一服务端对所述第一请求进行相应的处理之前，所述方法还包括：

所述第一服务端对所述第一请求进行分布式加锁；

所述第一服务端将所述处理结果返回所述负载均衡器，包括：

所述第一服务端对所述分布式加锁进行解锁后，将所述处理结果返回所述负载均衡器；

基于所述处理结果，对所述第二请求进行相应的处理之前，所述方法还包括：

所述第二服务端对所述第二请求进行分布式加锁。

5.根据权利要求1所述的方法，其特征在于，所述服务端集群应用在浏览器/服务器B/S结构或服务器/客户机C/S结构。

6.一种基于服务端集群的请求处理设备，其特征在于，应用在处理系统中，所述处理系统包括客户端、服务端集群，所述服务端集群包括持久化层、多个服务端，所述多个服务端至少包括第一服务端、第二服务端，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5中任意一项权利要求所述的方法。

7.一种基于服务端集群的请求处理的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，应用在处理系统中，所述处理系统包括客户端、服务端集群，所述服务端集群包括持久化层、多个服务端，所述多个服务端至少包括第一服务端、第二服务端，所述计算机可执行指令设置为：如权利要求1-5中任意一项权利要求所述的方法。

Images