CN112749009A

CN112749009A - 一种服务器调度方法及装置

Info

Publication number: CN112749009A
Application number: CN202011613637.XA
Authority: CN
Inventors: 高振江; 孙艳杰
Original assignee: Hangzhou DPTech Technologies Co Ltd
Current assignee: Hangzhou DPTech Technologies Co Ltd
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2021-05-04

Abstract

本申请提供一种应用于负载均衡设备的一种服务器调度方法及装置，方法包括：确定本设备调度的各个服务器的运行状态；根据所述运行状态确定所述服务器是否可用；当所述服务器可用时，向所述服务器下发健康监测报文；记录所述服务器对所述健康监测报文的响应结果；响应于客户端发送的访问请求，根据所述记录的响应结果确定目标服务器；将访问请求转发至目标服务器。本申请提供的方法及装置能通过健康监测报文确定各服务器的真实响应情况，并可基于服务器的真实响应情况进行服务器调度，通过调度策略提高了访问请求的处理速率，调度准确性更高，用户体验更好。

Description

一种服务器调度方法及装置

技术领域

本申请涉及网络技术领域，尤其涉及一种服务器调度方法及装置。

背景技术

当由多个服务器处理客户端的访问请求时，可在服务器和客户端之间部署负载均衡设备，负载均衡设备在接收到客户端发送的访问请求后，选择可用的服务器，然后将访问请求调度至该服务器进行处理。

然而，现今对访问请求的处理速率要求日益增高，但是升级服务器或增加服务器数量耗费较高，因而亟待一种通过改进负载均衡设备调度算法提升请求处理速度的方法。

发明内容

有鉴于此，本申请提供一种服务器调度方法，能够提升请求处理速度。

根据本申请的第一方面，本申请提供一种服务器调度方法，所述方法应用于负载均衡设备，所述方法包括：

确定本设备调度的各个服务器的运行状态；

根据所述运行状态确定所述服务器是否可用；

当所述服务器可用时，向所述服务器下发健康监测报文；

记录所述服务器对所述健康监测报文的响应结果；

响应于客户端发送的访问请求，根据所述记录的响应结果确定目标服务器；

将访问请求转发至目标服务器。

可选的，所述确定本设备调度的各个服务器的运行状态，包括：

下发因特网控制报文协议ICMP报文获取所述服务器的网络状态；

下发简单网络管理协议SNMP报文获取所述服务器的CPU使用率和内存使用率；

根据所述网络状态、所述CPU使用率和所述内存使用率确定所述服务器的运行状态。

可选的，所述根据网络状态、所述CPU使用率和所述内存使用率确定所述服务器的运行状态，包括：

将网络状态为可用、且所述CPU使用率和内存使用率均低于对应阈值的服务器的运行状态确定为可用。

可选的，所述向所述服务器下发健康监测报文，包括：

基于预设的健康监测报文类型，构造健康监测报文并向所述服务器下发。

可选的，所述记录所述服务器对所述健康监测报文的响应结果，包括：

在接收到所述服务器对所述健康监测报文的响应报文后，记录所述响应报文的响应信息和对应的响应时长作为所述响应结果。

可选的，所述根据所述记录的响应结果确定目标服务器，包括：

将所述响应信息正确、且所述响应时长最短的服务器确定为目标服务器。

根据本申请的第二方面，本申请提供一种服务器调度装置，所述装置应用于负载均衡设备，包括：

第一确定单元，用于确定本设备调度的各个服务器的运行状态；

第二确定单元，用于根据所述运行状态确定所述服务器是否可用；

下发单元，用于当所述服务器可用时，向所述服务器下发健康监测报文；

记录单元，用于记录所述服务器对所述健康监测报文的响应结果；

响应单元，用于响应于客户端发送的访问请求，根据所述记录的响应结果确定目标服务器；

转发单元，用于将访问请求转发至目标服务器。

可选的，所述第一确定单元，用于下发因特网控制报文协议ICMP报文获取所述服务器的网络状态；

可选的，所述根据网络状态、所述CPU使用率和所述内存使用率确定所述服务器的运行状态，包括：将网络状态为可用、且所述CPU使用率和内存使用率均低于对应阈值的服务器的运行状态确定为可用。

可选的，所述向所述服务器下发健康监测报文，包括：基于预设的健康监测报文类型，构造健康监测报文并向所述服务器下发。

可选的，所述记录单元，用于在接收到所述服务器对所述健康监测报文的响应报文后，记录所述响应报文的响应信息和对应的响应时长作为所述响应结果。

可选的，所述响应单元，用于将所述响应信息正确、且所述响应时长最短的服务器确定为目标服务器。

根据上述流量调度方法及装置，负载均衡设备可以下发健康监测报文至可用的服务器，并记录服务器对所述健康监测报文的响应结果，在接收到访问请求时，可基于所述响应结果确定为所述访问请求提供服务的目标服务器。本申请通过健康监测报文确定各服务器的真实响应情况，并可基于服务器的真实响应情况进行服务器调度，通过调度策略提高了访问请求的处理速率，调度准确性更高，用户体验更好。

附图说明

图1是本申请一示例性实施例示出的一种网络构架图；

图2为是本申请根据一示例性实施例示出的一种服务器调度方法的流程图；

图3是本申请根据一示例性实施例示出的一种服务器调度方法装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

相关技术中，网络架构图如图1所示，负载均衡设备104会将客户端102发送的访问请求转发至与负载均衡设备连接的服务器，如服务器106、108中任一状态为可用的服务器。图1仅为示例性说明，并不限定与负载均衡设备连接的服务器数量。

但是这些可用的服务器的处理访问请求的速度并不一致，相关的调度方法不一定将访问请求发送至可用服务器中响应速度最快的服务器，而可能发送给响应速度较慢的服务器，因此访问请求的处理速度仍有提高的空间。

基于此，本申请提出一种应用于负载均衡设备的服务器调度方法，将访问请求发送至响应速度最快的服务器，提高访问请求的处理速率。

为了使本领域技术人员更好地理解本申请实施例中的技术方案，并使本申请实施例的特征和优点更明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

如图2所示，图2是本说明书根据一示例性实施例示出的一种方法的流程图，应用于负载均衡设备，包括以下步骤：

步骤202：负载均衡设备确定本设备调度的各个服务器的运行状态。

负载均衡设备可以获取自身调度的各个服务器的运行状态。其中，运行状态可以通过如下方式获得：

(1)下发ICMP(Internet Control Message Protocol，因特网控制报文协议)报文获取服务器的网络状态。

负载均衡设备存有自身调度的各个服务器的IP地址和端口，可以通过定时执行Ping命令，根据这些IP地址和端口周期性向这些服务器下发ICMP报文。如果负载均衡设备在下发ICMP报文后的预设时长内接收到服务器发送的响应报文，则确认并记录该服务器的网络状态为可用；否则，负载均衡设备确认该服务器的网络状态为不可用。

(2)下发SNMP(Simple Network Management Protocol，简单网络管理协议)报文获取服务器的CPU使用率和内存使用率。

同样的，负载设备可以周期性向上述本设备调度的服务器下发SNMP报文。这些服务器会响应SNMP报文，返回携带这些服务器CPU使用率和内存使用率信息的报文。负载均衡设备接收这些报文，并根据这些报文携带的信息获取服务器相应的CPU使用率和内存使用率。

(3)根据所述网络状态、所述CPU使用率和所述内存使用率确定所述服务器的运行状态。

负载均衡设备将上述获得的网络状态是否为可用、CPU使用率和内存使用率作为各个服务器的运行状态。

此外，除了周期性下发ICMP报文和SNMP报文，负载均衡设备也可以不定时下发ICMP和SNMP报文获取服务器状态，本申请对此不做限定。

步骤204：负载均衡设备根据所述运行状态确定所述服务器是否可用。

具体地，负载均衡设备可以将网络状态为可用、且所述CPU使用率和内存使用率均低于对应阈值的服务器的运行状态确定为可用。

在本实施例中，负载均衡设备可记录各个服务器的可用状态，或记录前述步骤202中获取到的服务器网络状态、CPU使用率和内存使用率。

步骤206：当所述服务器可用时，负载均衡设备向所述服务器下发健康监测报文。

当有可用的服务器时，负载均衡设备需要确定这些服务器的响应速度，确定的方式可以是向状态正常的服务器下发健康监测报文，以获取服务器的响应。

具体的，可以基于预设的健康监测报文类型，构造健康监测报文并向所述服务器下发。

可以由管理员预先设置健康监测报文的报文类型。负载均衡设备可以根据这些可用服务器的IP地址和端口，构造出该类型的健康监测报文，并将健康监测报文下发至这些可用的服务器。

下面通过列举示例性实施例以对下发的健康监测报文做详细介绍。

在一个示例性实施例1中，如果在负载均衡设备的预设配置中，健康监测报文的类型是HTTP HEAD请求，则负载均衡设备会根据这些服务器的IP地址和端口，构造相应的HTTPHEAD请求并下发至这些可用的服务器；

在另一个示例性实施例2中，如果负载均衡设备的预设配置中健康监测报文的类型是TCP握手报文，例如SYN报文，则负载均衡设备会同样根据可用服务器的IP地址和端口，构造相应的SYN报文并下发至这些服务器。

需要说明的是，本申请中负载均衡设备的健康监测报文还可以设置为UDP、FTP(File Transfer Protocol，文件传输协议)、RADIUS(Remote Authentication Dial-InUser Server，远程认证拨号用户服务)等等类型的健康监测报文，管理员可以根据访问请求的协议类型在预设配置中设置健康监测报文的类型，本申请对此不做限定。

步骤208：记录所述服务器对所述健康监测报文的响应结果。

这些可用的服务器接收到健康监测报文后，会返回该健康监测报文的响应报文。负载均衡设备接收响应报文，并记录相应的响应结果。

具体地，负载均衡设备在接收到所述服务器对所述健康监测报文的响应报文后，会记录所述响应报文的响应信息和对应的响应时长作为所述响应结果。

其中，可如下获取所述响应报文对应的响应时长：

负载均衡设备接收到可用服务器对健康监测报文的响应报文后，可以记录各个可用服务器从发送健康监测报文到接受响应报文之间的时长，作为响应时长。响应时长越短，说明该可用服务器的处理速度越快。

其中，可如下获取所述响应报文的响应信息：

接收响应报文获取响应信息。负载均衡设备接收到响应报文后，可以从中获取响应信息并记录。响应信息包括状态码或者响应报文的报文类型等，本申请对此不做限定。下面列举示例性实施例对此进行说明。

与示例性实施例1对应，负载均衡设备向可用的服务器下发的健康监测报文为HTTP HEAD请求，这些服务器为响应HTTP HEAD请求会发送表示请求处理状态的状态码，负载均衡设备将状态码记录下来，作为响应信息。

与示例性实施例2对应，负载均衡设备下发的健康监测报文为SYN报文时，这些可用服务器会返回响应报文，负载均衡设备接收报文后记录响应报文的报文类型，报文类型可以是SYN ACK报文或其他类型的报文。

在其他实施例中，负载均衡设备也可以在接收到响应报文后，将响应报文与预设的正确结果进行比对，将比对结果记录下来作为响应信息。

在本实施例中，负载均衡设备可以周期性下发健康监测报文，更新各个可用服务器的相应信息和响应时长。健康监测报文的周期可与服务器状态的确定周期相同。例如，负载均衡设备可在确定服务器可用后，向可用服务器下发健康监测报文。

负载均衡设备也可以不定期下发健康监测报文，本申请对此不做限定。

步骤210：负载均衡设备响应于客户端发送的访问请求，根据所述记录的响应结果确定目标服务器。

与负载均衡设备连接的服务器配置有对应的虚拟IP地址和端口，客户端可以基于该虚拟IP地址和端口地址向相应服务器发送访问请求。

负载均衡设备接收到客户端发送的访问请求后，会提取该访问请求携带的虚拟IP地址，会查找虚拟IP地址对应的服务器，从这些对应的服务器中根据所述记录的响应结果挑选目标服务器。

其中，虚拟IP地址可以对应若干主用的服务器和若干备用的服务器，若存在可用的主用服务器，负载均衡设备可先在主用服务器中确定目标服务器。若不存在可用的主用服务器，负载均衡设备可在备用服务器中确定目标服务器。

在本实施例中，可将响应信息正确、且响应时长最短的服务器确定为目标服务器。

其中，响应信息正确与否的判断方式如下：

与上述示例性实施例1对应，负载均衡设备会记录服务器的响应信息，即响应健康监测报文HTTP HEAD请求返回的状态码。负载均衡设备会存有各种情况对应的状态码，若其中正常响应的情况对应开头为2的状态码，则记录的状态码开头为2时，该响应信息正确。

与上述示例性实施例2对应，负载均衡设备记录服务器的响应信息，为响应健康监测报文SYN报文后返回响应报文的报文类型。能正常建立TCP连接的服务器会返回SYN ACK报文，负载均衡设备接收后会与该服务器建立TCP连接，因而若该响应报文的报文类型为SYN ACK报文，则该响应信息正确。

在其他实施例中，负载均衡设备也可以将响应报文与预设的正确结果进行比对，若比对结果为正确，则响应信息正确。

为了提高访问请求的处理速度，负载均衡设备可以在对应的服务器中选择一个处理速度最快的服务器，作为处理访问请求的目标服务器。因而，负载均衡设备可以在对应的服务器中筛选出响应信息正确的服务器，比较这些服务器的响应时间，将响应时间最短的服务器确定目标服务器。

如果响应时长最短的服务器有多个，负载均衡设备可以选择其中任意服务器作为目标服务器。负载均衡设备也可以选择其中响应速度次快的服务器作为目标服务器，或根据需求选择其他服务器，本申请对此不做限定。

步骤212：将访问请求转发至目标服务器。

确定目标服务器后，负载设备就可以将客户端发送的访问请求，转发至目标服务器进行处理。同时，负载均衡设备会建立该客户端与该目标服务器的会话信息，后续接收到该客户端的其他请求时，可以直接根据会话信息将请求转发至该目标服务器，不需要再次选择目标服务器。

需要说明的是，类似示例性实施例2，若负载均衡设备在下发健康监测报文后，与各个正常响应的服务器建立了连接，则在确定目标服务器后，负载均衡设备需要向除目标服务器以外的服务器下发用于取消连接的报文，例如可以下发RST报文取消TCP连接。

通过上述过程，负载均衡设备通过获取服务器状态，确定可用的服务器，向这些服务器下发健康监测报文，记录这些服务器的响应健康监测报文返回响应信息和相应的响应时长，在接收到客户端发送的访问请求后，基于服务器的真实响应情况进行服务器调度，通过调度策略提高了访问请求的处理速率，调度准确性更高，用户体验更好。

与前述服务器调度方法的实施例相对应，本申请还提供了服务器调度装置的实施例。

图3是本申请一示例性实施例示出的一种服务器调度装置的框图，所示装置应用于负载均衡设备，包括：

第一确定单元302，用于确定本设备调度的各个服务器的运行状态；

第二确定单元304，用于根据所述运行状态确定所述服务器是否可用；

下发单元306，用于当所述服务器可用时，向所述服务器下发健康监测报文；

记录单元308，用于记录所述服务器对所述健康监测报文的响应结果；

响应单元310，用于响应于客户端发送的访问请求，根据所述记录的响应结果确定目标服务器；

转发单元312，用于将访问请求转发至目标服务器。

可选的，所述第一确定单元302，用于下发因特网控制报文协议ICMP报文获取所述服务器的网络状态；

可选的，所述记录单元308，用于在接收到所述服务器对所述健康监测报文的响应报文后，记录所述响应报文的响应信息和对应的响应时长作为所述响应结果。

可选的，所述响应单元310，用于将所述响应信息正确、且所述响应时长最短的服务器确定为目标服务器。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个单元。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统单元和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种服务器调度方法，其特征在于，所述方法应用于负载均衡设备，所述方法包括：

确定本设备调度的各个服务器的运行状态；

根据所述运行状态确定所述服务器是否可用；

当所述服务器可用时，向所述服务器下发健康监测报文；

记录所述服务器对所述健康监测报文的响应结果；

将访问请求转发至目标服务器。

2.根据权利要求1所述的方法，其特征在于，所述确定本设备调度的各个服务器的运行状态，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据网络状态、所述CPU使用率和所述内存使用率确定所述服务器的运行状态，包括：

4.根据权利要求1所述的方法，其特征在于，所述向所述服务器下发健康监测报文，包括：

5.根据权利要求1所述的方法，其特征在于，所述记录所述服务器对所述健康监测报文的响应结果，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述记录的响应结果确定目标服务器，包括：

7.一种服务器调度装置，其特征在于，所述装置应用于负载均衡设备，包括：

转发单元，用于将访问请求转发至目标服务器。

8.根据权利要求7所述的装置，其特征在于，

所述第一确定单元，用于下发因特网控制报文协议ICMP报文获取所述服务器的网络状态；

9.根据权利要求7所述的装置，其特征在于，

所述记录单元，用于在接收到所述服务器对所述健康监测报文的响应报文后，记录所述响应报文的响应信息和对应的响应时长作为所述响应结果。

10.根据权利要求9所述的装置，其特征在于，

所述响应单元，用于将所述响应信息正确、且所述响应时长最短的服务器确定为目标服务器。