CN111641705A

CN111641705A - 一种请求处理方法、装置、设备及可读存储介质

Info

Publication number: CN111641705A
Application number: CN202010469852.0A
Authority: CN
Inventors: 李松; 李锋; 郭锋
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2020-05-28
Filing date: 2020-05-28
Publication date: 2020-09-08

Abstract

本发明公开了一种请求处理方法、装置、设备及可读存储介质，该方法包括：构建与当前管理主机的压力指数匹配的动态资源池；接收被控主机发送的文件下载请求，并判断被控主机是否在动态资源池的主机名单中；如果是，则处理文件下载请求的文件下载任务；如果否，则向被控主机发送稍后重试的提示信息。该方法，可保障当前处理的文件下载任务与当前的管理主机压力指数对应，避免出现文件下载任务导致系统资源占用过大，进而发生阻塞的问题，可保障系统执行效率。

Description

一种请求处理方法、装置、设备及可读存储介质

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种请求处理方法、装置、设备及可读存储介质。

背景技术

代理客户端的服务器批量管理工具越来越成熟，使用场景也越来越广泛。很多公司和科研机构都有自己的基于代理客户端的服务器批量管理工具，市面上此类常见工具也较为常见，例如saltstack，chef，puppet等。

由于是基于客户端运行，很大程度上分散了服务器端的压力，非常适合并发的情况，使得一人管理上千台节点成为了可能。因而极大地提高了服务器运维人员的管理效率。但是，基于客户端的服务器批量管理工具也同时存在一些问题。具体的，由于客户端分散在被控机器上，客户端执行逻辑可以自主执行，导致有可能在执行一些需要大文件的任务时，多个客户端会同时触发文件下载请求这种耗时请求，导致管理主机需要并发处理多个文件下载请求，从而造成资源被大量占用，进而发生阻塞，最终导致系统执行效率低下的问题。

综上所述，如何有效地避免管理主机处理多个请求导致系统执行效率低下等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种请求处理方法、装置、设备及可读存储介质，通过建立动态资源池，并基于动态资源池的主机名单对文件下载请求进行响应处理，控制并发量，可有效避免因资源被大量占用进而发生堵塞的问题，能够保障系统执行效率。

为解决上述技术问题，本发明提供如下技术方案：

一种请求处理方法，包括：

构建与当前服务器的压力指数匹配的动态资源池；

接收被控主机发送的文件下载请求，并判断所述被控主机是否在所述动态资源池的主机名单中；

如果是，则处理所述文件下载请求的文件下载任务；

如果否，则向所述被控主机发送稍后重试的提示信息。

优选地，判断所述被控主机是否在所述动态资源池的主机名单中，包括：

若遍历查询所述主机名单后，找到所述被控主机，则确定所述被控主机在主机名单中；

若遍历查询所述主机名单后，未找到所述被控主机，则判断所述动态资源池是否已满；

若所述动态资源池未满，则在所述主机名单中添加所述被控主机，并确定所述被控主机在主机名单中；

若所述动态资源池已满，则确定所述被控主机未在所述主机名单中。

优选地，判断所述动态资源池是否已满，包括：

判断所述动态资源池已接入的主机数量是否达到接入上限；

如果是，则确定所述动态资源池已满；

如果否，则确定所述动态资源池未满。

优选地，在处理所述文件下载任务之后，还包括：

移除所述主机名单中的所述被控主机。

优选地，所述构建与当前服务器的压力指数匹配的动态资源池，包括：

获取所述服务器的各项性能参数；

对各项所述性能参数进行加权计算，得到所述压力指数；

构建所述动态资源池。

优选地，所述对各项所述性能参数进行加权计算，得到所述压力指数，包括：

利用文件下载权重指数，对各项所述性能参数进行加权计算，得到所述压力指数。

优选地，还包括：

接收所述被控主机发送目标请求；所述目标请求非所述文件下载请求；

判断所述压力指数是否大于压力阈值；

如果是，则向所述被控主机发送稍后重试的提示信息；

如果否，则执行所述目标请求的处理任务。

一种请求处理装置，包括：

动态资源池构建模块，用于构建与当前服务器的压力指数匹配的动态资源池；

判断模块，用于接收被控主机发送的文件下载请求，并判断所述被控主机是否在所述动态资源池的主机名单中；

下载处理模块，用于如果所述被控主机在所述主机名单，则处理所述文件下载请求的文件下载任务；

反馈处理模块，用于如果所述被控主机未在所述主机名单，则向所述被控主机发送稍后重试的提示信息。

一种请求处理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述请求处理方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述请求处理方法的步骤。

应用本发明实施例所提供的方法，构建与当前管理主机的压力指数匹配的动态资源池；接收被控主机发送的文件下载请求，并判断被控主机是否在动态资源池的主机名单中；如果是，则处理文件下载请求的文件下载任务；如果否，则向被控主机发送稍后重试的提示信息。

在本方法中，为避免高并发的文件下载请求导致系统处理效率降低，首先构建出与当前管理主机的压力指数匹配的动态资源池。在接收到被控主机发送的文件下载请求时，判断该被控主机是否在动态资源池的主机名单，基于判断结果来对文件下载请求的响应处理。具体来说，若被控主机在主机名单中，即表明当前对该文件下载请求的文件下载任务进行处理，不会导致占用大量资源，因而可处理该文件下载请求；若被控主机不再主机名单中，即表明此时若处理文件下载请求，可能会导致系统压力过载，导致系统处理效率过低，因而可暂不处理该文件下载请求，可向被控主机发送稍后重试的提示信息。如此，即可保障当前处理的文件下载任务与当前的管理主机压力指数对应，避免出现文件下载任务导致系统资源占用过大，进而发生阻塞的问题，可保障系统执行效率。

相应地，本发明实施例还提供了与上述请求处理方法相对应的请求处理装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种请求处理方法的实施流程图；

图2为本发明实施例中管理主机与多个被控主机之间的交互示意图；

图3为本发明实施例中管理主机与被控主机之间的具体交互示意图；

图4为本发明实施例中一种请求处理装置的结构示意图；

图5为本发明实施例中一种请求处理设备的结构示意图；

图6为本发明实施例中一种请求处理设备的具体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例中一种请求处理方法的流程图，采用了服务器批量管理工具的系统中管理主机(例如服务器)可执行该方法，该方法包括以下步骤：

S101、构建与当前管理主机的压力指数匹配的动态资源池。

其中，压力指数即为当前管理主机的负载情况的一个指标数据。具体的，可基于当前管理主机的若干性能指数计算得到。

在本实施例中，动态资源池即指资源池的大小随着压力指数的变化而变化。具体来说，即压力指数越大，资源池越小，反之压力指数越小，则资源池越大。具体的，若当前获取的压力指数所计算出的资源池比当前资源池大，则可对资源池进行扩充；若当前获取的压力指数所计算出的资源池比当前资源池小，则可对资源池进行缩减。其中，扩充和缩减指对资源池的主机接入上限进行调整。

具体的，动态资源池的构建过程，可包括：

步骤一、获取管理主机的各项性能参数；

步骤二、对各项性能参数进行加权计算，得到压力指数；

步骤三、构建动态资源池。

为便于描述，下面将上述三个步骤结合起来进行说明。

在实际应用中，可设置一个管理主机压力指数计算接口，该管理主机压力指数计算接口提供当前管理主机的压力指数计算功能，可以反映当前主机的压力情况，管理主机根据压力情况决定是否接受客户端的请求并处理。

在本实施例中，各项性能参数可具体包括：CPU利用率，内存占用率，磁盘IO使用率，网络带宽占用率，客户端连接数，数据库连接数。

然后通过压力指数计算公式计算出管理主机的压力指数，从而为接下来的任务分配和客户端请求提供依据。其具体计算方式如下：

设压力指数为f_x；

获取管理主机的CPU利用率x₁(0.00-1.00)，其对应权值为w₁；

获取管理主机的内存利用率x₂(0.00-1.00)，其对应权值为w₂；

获取管理主机的IO利用率x₃(0.00-1.00)，其对应权值为w₃；

获取管理主机的带宽占比x₄(0.00-1.00)，其对应权值为W₄；

可维护一个线程安全的客户端连接数x₅(x₅＞＝0)，每当有客户端上线x₅即加一，下线就减一，默认为0，最大连接数为n_max，其对应权值为W₅；

查询数据库连接数x₆(x₆＞＝1，因管理主机程序肯定有一个链接，此处肯定大于1)，最大连接数为d_max，其对应权值为w₆；

则根据上述指标统一计算可以得出压力指数值：

上述公式中用到的权值参数，默认情况下，w₁到w₆的初始值为0.1，0.2，0.2，0.2，0.2，0.1。

优选地，考虑到在调用不同任务时候，管理主机的各项资源的消耗程度不同，因此各项性能指标对应的权值还可依据具体的执行任务进行修改。如此，在调用不同任务的时候，动态的更改权值组合，使得f_x的计算结果能更加精确地反应当前管理主机的压力情况，从而给后续操作给出依据。具体的，当处理文件下载时，则可利用文件下载权重指数，对各项性能参数进行加权计算，得到压力指数。例如，可以对外提供可编辑的接口，用户可以使用接口自定义配置，在调用含有文件下载类任务时，因下载类任务对带宽和IO等要求较多，所以权值向此方面倾斜，其w₁到w₆的值可变更为0.1，0.1，0.2，0.2，0.3，0.1。需要说明的是，关于权值的具体权值设置还可设置为其他数值，并不仅限于本文中的示例数值。

S102、接收被控主机发送的文件下载请求，并判断被控主机是否在动态资源池的主机名单中。

具体的，在实际应用中，管理主机在接收到用户发送的请求之后，可将该请求对应的处理任务分发给各个被控主机。而被控主机在处理所接收的处理任务时，若有与管理主机进行通信交互需求，则可想管理主机发送请求。在本文中，该文件下载请求即可为本控主机在执行管理主机发送的处理任务时，向管理主机发送的关于下载文件的请求。

在本实施例中，可为动态资源池设置一个主机名单，该主机名单即为允许访问管理主机中资源的被控主机的名单列表。

在接收到文件下载请求之后，首先确定该被控主机是否在主机名单中，以便确定如何处理该文件下载请求。具体的，如果被控主机在主机名单中，则执行步骤S103的操作；如果被控主机未在主机名单中，则执行步骤S104的操作。

需要说明的是，为了有序完成各个被控主机的文件下载任务，在本实施例中，可根据主机接入顺序，将相关被控主机添加在主机名单中。而随这文件下载任务的执行，需将完成下载任务的被控主机从主机名单中剔除。

具体的，判断被控主机是否在动态资源池的主机名单中，可包括：

步骤一、若遍历查询主机名单后，找到被控主机，则确定被控主机在主机名单中；

步骤二、若遍历查询主机名单后，未找到被控主机，则判断动态资源池是否已满；

步骤三、若动态资源池未满，则在主机名单中添加被控主机，并确定被控主机在主机名单中；

步骤四、若动态资源池已满，则确定被控主机未在主机名单中。

也就是说，如果能够直接从现有的主机名单中找到被控主机，则可直接确定被控主机在主机名单中；如果无法直接从现有的主机名单中找到被控主机，则可先尝试在主机名单中添加上该被控主机，然后基于尝试结果再确定被控主机是否在主机名单中。

其中，判断动态资源池是否已满，可具体包括：

步骤3.1、判断动态资源池已接入的主机数量是否达到接入上限；

步骤3.2、如果是，则确定动态资源池已满；

步骤3.3、如果否，则确定动态资源池未满。

其中，接入上限可具体根据当前的动态资源池大小而定。即动态资源池越大，则接入上限越高。

举例说明：管理主机在接收到用户请求，并在下发任务后，被控主机(即客户端主机)拿到任务并开启文件下载请求，管理主机接收到文件下载请求后首先获取压力指数，进而计算出资源池的容量(即主机接入上限)，根据压力指数计算资源池的算法。可采用分段函数的方式，设压力指数为x，资源池容量为f_(x)，则系统默认的公式为：

可提供最大资源池数量的n_max设置的接口，使用调用接口设置n_max后，会按照上述模式公式比例设置f_(x)函数。

假设通过计算得到资源池容量为30，表示可以同时支持30台被控机器并发下载。

S103、处理文件下载请求的文件下载任务。

即向被控主机提供文件资料。

为了有序完成各个被控主机的文件下载任务，在处理文件下载任务之后，还可移除主机名单中的被控主机。具体的，被控机器的客户端在下载完成后，可调用管理主机的接口，告知管理主机已经下载完毕。管理主机在文件下载完毕之后，则可将该被管理主机从主机名单中移除，以便将新的未下载的被控主机移入，重复以上功能直到所有的被控主机全部下载完成，通过这种方式，可以是在支持全自动下载流程的基础上，最大限度地挖掘管理主机的性能并能够非常及时地控制并发数量，保障大规模主机并发执行时能够流畅运行。

S104、向被控主机发送稍后重试的提示信息。

在确定被控主机没有在主机名单后，可暂不处理该被控主机的文件下载任务，而向被控主机发送稍后重试的提示信息。以便被控主机稍后重发文件下载请求。

需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在本文的优选/改进实施例中不再一一赘述。

优选地，考虑到实际应用中，大量并非的非文件下载类的处理请求也可能会导致系统资源占用过多。因此，基于上述实施例一，对于被控主机发送的其他请求，也可结合压力指数进行响应处理，以保障系统处理效率。具体处理过程，包括：

步骤一、接收被控主机发送目标请求；目标请求非文件下载请求；

步骤二、判断压力指数是否大于压力阈值；

步骤三、如果是，则向被控主机发送稍后重试的提示信息；

步骤四、如果否，则执行目标请求的处理任务。

为便于描述，下面将上述四个步骤结合起来进行说明。

管理主机接收到被控主机的请求，若请求为非文件下载类的目标请求，则获取当前服务器的压力指数，如果压力指数小于压力阈值如，0.75，则继续进行，否则返回要求稍后尝试的响应。

为便于理解，下面结合处理用户请求时，管理主机与被控主机之间的交互处理过程为例，对上述请求处理方法进行详细说明。

请参考图2和图3，图2为本发明实施例中管理主机与多个被控主机之间的交互示意图；图3为本发明实施例中，管理主机与如图2所示的被控主机1之间的具体交互示意图。

管理主机接受用户请求，给被控机器分发任务。被控主机根据任务情况，开始执行，如果有需要请求主机的任务，发送请求到管理主机。管理主机接收到被控主机的请求，若请求为非文件下载类，则初始化权值参数，获取当前服务器的压力指数，如果压力指数小于压力阈值，则继续进行，否则返回要求稍后尝试的响应。

如果被控主机的请求是文件下载类，使用文件下载权重指数，并计算出当前服务器的压力指数，根据压力指数获取动态资源池大小，分配一个资源池，并根据被控主机的加入顺序将被控主机名单加入资源池。被控主机的文件下载请求到达后，首先判断此被控主机是否在动态资源池的主机名单中存在，如果存在，则允许响应下载请求，如果不存在，尝试加入主机，如果未能加入，则管理主机给出稍后重试的响应

被控主机客户端收到请求响应后，如果是稍后再试，则等待一段时间，如10s(或其他时长)后，重新发起请求，直到允许下载，如果管理主机允许下载，则按照常规操作下载所需要的文件即可，文件下载请求完成后，被控主机可调用管理主机下载完成的接口告知管理主机。

管理主机通过下载完成接口知道某个被控主机已经完成文件下载后，则把这个被控主机从资源池中移除。同时计算当前管理主机的压力指数，动态获取资源池容量，如果当前资源池容量小于最新资源池容量，则动态扩充资源池，否则资源池容量减一。

管理主机资源池扩展完成后，根据资源池容量和实际资源池中的主机数对比，决定是否要添加新的主机到资源池中。

使用本发明实施例所提供的方法，可以在现有的基于客户端的批量管理软件中，增加新的功能，主要表现为可以在全自动流程的前提下，通过检测当前管理主机的压力情况，并根据压力情况给出合适的并发数，通过设置合理的并发数避免目标机器在短时间内大规模并发导致管理主机资源耗尽而发生阻塞或者效率低下的问题，提高软件的健壮性和灵活性。

相应于上面的方法实施例，本发明实施例还提供了一种请求处理装置，下文描述的请求处理装置与上文描述的请求处理方法可相互对应参照。

参见图4所示，该装置包括以下模块：

动态资源池构建模块101，用于构建与当前服务器的压力指数匹配的动态资源池；

判断模块102，用于接收被控主机发送的文件下载请求，并判断被控主机是否在动态资源池的主机名单中；

下载处理模块103，用于如果被控主机在主机名单，则处理文件下载请求的文件下载任务；

反馈处理模块104，用于如果被控主机未在主机名单，则向被控主机发送稍后重试的提示信息。

应用本发明实施例所提供的装置，构建与当前管理主机的压力指数匹配的动态资源池；接收被控主机发送的文件下载请求，并判断被控主机是否在动态资源池的主机名单中；如果是，则处理文件下载请求的文件下载任务；如果否，则向被控主机发送稍后重试的提示信息。

在本装置中，为避免高并发的文件下载请求导致系统处理效率降低，首先构建出与当前管理主机的压力指数匹配的动态资源池。在接收到被控主机发送的文件下载请求时，判断该被控主机是否在动态资源池的主机名单，基于判断结果来对文件下载请求的响应处理。具体来说，若被控主机在主机名单中，即表明当前对该文件下载请求的文件下载任务进行处理，不会导致占用大量资源，因而可处理该文件下载请求；若被控主机不再主机名单中，即表明此时若处理文件下载请求，可能会导致系统压力过载，导致系统处理效率过低，因而可暂不处理该文件下载请求，可向被控主机发送稍后重试的提示信息。如此，即可保障当前处理的文件下载任务与当前的管理主机压力指数对应，避免出现文件下载任务导致系统资源占用过大，进而发生阻塞的问题，可保障系统执行效率。

在本发明的一种具体实施方式中，判断模块103，具体用于若遍历查询主机名单后，找到被控主机，则确定被控主机在主机名单中；若遍历查询主机名单后，未找到被控主机，则判断动态资源池是否已满；若动态资源池未满，则在主机名单中添加被控主机，并确定被控主机在主机名单中；若动态资源池已满，则确定被控主机未在主机名单中。

在本发明的一种具体实施方式中，判断模块103，具体用于判断动态资源池已接入的主机数量是否达到接入上限；如果是，则确定动态资源池已满；如果否，则确定动态资源池未满。

在本发明的一种具体实施方式中，还包括：

被控主机移除模块，用于在处理文件下载任务之后，移除主机名单中的被控主机。

在本发明的一种具体实施方式中，动态资源池构建模块101，具体用于获取服务器的各项性能参数；对各项性能参数进行加权计算，得到压力指数；构建动态资源池。

在本发明的一种具体实施方式中，动态资源池构建模块101，具体用于利用文件下载权重指数，对各项性能参数进行加权计算，得到压力指数。

在本发明的一种具体实施方式中，还包括：

普通请求处理模块，用于接收被控主机发送目标请求；目标请求非文件下载请求；判断压力指数是否大于压力阈值；如果是，则向被控主机发送稍后重试的提示信息；如果否，则执行目标请求的处理任务。

相应于上面的方法实施例，本发明实施例还提供了一种请求处理设备，下文描述的一种请求处理设备与上文描述的一种请求处理方法可相互对应参照。

参见图5所示，该请求处理设备包括：

存储器332，用于存储计算机程序；

处理器322，用于执行计算机程序时实现上述方法实施例的请求处理方法的步骤。

具体的，请参考图6，为本实施例提供的一种请求处理设备的具体结构示意图，该请求处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，存储器332中存储一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储器332通信，在请求处理设备301上执行存储器332中的一系列指令操作。

请求处理设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。

上文所描述的请求处理方法中的步骤可以由请求处理设备的结构实现。该请求处理设备可具体为服务器。

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种请求处理方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的请求处理方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims

1.一种请求处理方法，其特征在于，包括：

构建与当前服务器的压力指数匹配的动态资源池；

如果是，则处理所述文件下载请求的文件下载任务；

如果否，则向所述被控主机发送稍后重试的提示信息。

2.根据权利要求1所述的请求处理方法，其特征在于，判断所述被控主机是否在所述动态资源池的主机名单中，包括：

3.根据权利要求2所述的请求处理方法，其特征在于，判断所述动态资源池是否已满，包括：

判断所述动态资源池已接入的主机数量是否达到接入上限；

如果是，则确定所述动态资源池已满；

如果否，则确定所述动态资源池未满。

4.根据权利要求1所述的请求处理方法，其特征在于，在处理所述文件下载任务之后，还包括：

移除所述主机名单中的所述被控主机。

5.根据权利要求1所述的请求处理方法，其特征在于，所述构建与当前服务器的压力指数匹配的动态资源池，包括：

获取所述服务器的各项性能参数；

对各项所述性能参数进行加权计算，得到所述压力指数；

构建所述动态资源池。

6.根据权利要求5所述的请求处理方法，其特征在于，所述对各项所述性能参数进行加权计算，得到所述压力指数，包括：

7.根据权利要求1所述的请求处理方法，其特征在于，还包括：

判断所述压力指数是否大于压力阈值；

如果是，则向所述被控主机发送稍后重试的提示信息；

如果否，则执行所述目标请求的处理任务。

8.一种请求处理装置，其特征在于，包括：

9.一种请求处理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述请求处理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述请求处理方法的步骤。