CN114466079A

CN114466079A - 请求处理方法、装置、代理服务器及存储介质

Info

Publication number: CN114466079A
Application number: CN202210121712.3A
Authority: CN
Inventors: 颜伟; 闻云路; 王天青
Original assignee: Transwarp Technology Shanghai Co Ltd
Current assignee: Transwarp Technology Shanghai Co Ltd
Priority date: 2022-02-09
Filing date: 2022-02-09
Publication date: 2022-05-10
Anticipated expiration: 2042-02-09
Also published as: CN114466079B

Abstract

本发明公开了一种请求处理方法、装置、代理服务器及存储介质。该方法包括：根据优先级映射表匹配应用程序接口API请求的处理者，所述API请求为多个；基于匹配结果将各所述API请求放入相应的请求队列，其中，不同请求队列对应于不同的优先级；根据各所述请求队列的优先级处理各所述请求队列中的API请求。通过对API请求进行优先级划分，并根据请求队列的优先级处理各请求队列中的API请求，能够提高API请求处理的灵活性，满足对不同优先级请求的处理需求。

Description

请求处理方法、装置、代理服务器及存储介质

技术领域

本发明涉及健康监测技术领域，尤其涉及一种请求处理方法、装置、代理服务器及存储介质。

背景技术

主流的Web服务框架实现中，应用程序接口(Application ProgrammingInterface，API)路由都是根据API请求的方法(Method)和统一资源定位器(UniformResource Locator,URL)的路径(Path)来选择处理者(Handler)。比如打开Google网站首页，实际浏览器发送的API请求为：

Method：GET

URL：https://www.google.com.hk/complete/search

Google的服务端(Web Server)会根据GET方法和URL中的/complete/search调用对应的处理者。

然而，用于处理API请求的实体之间一般是并发的，通常按照API请求实际到达时间的顺序响应不同业务的请求，先到达的API请求会先得到处理，这样可能会出现一些重要的或实时性要求高的API请求无法得到及时有效的处理的情况，尤其是在资源优先的情况下，严重影响系统性能。

发明内容

本发明提供了一种请求处理方法、装置、代理服务器及存储介质，以解决提高API请求处理的灵活性，满足对不同优先级请求的处理需求。

第一方面，本发明实施例提供了一种请求处理方法，包括：

根据优先级映射表匹配应用程序接口API请求的处理者，所述API请求为多个；

基于匹配结果将各所述API请求放入相应的请求队列，其中，不同请求队列对应于不同的优先级；

根据各所述请求队列的优先级处理各所述请求队列中的API请求。

可选的，在根据优先级映射表匹配API请求的处理者之前，还包括：获取API路由的注册参数，所述注册参数包括所述API路由的模式、处理者以及优先级；

根据所述注册参数为所述API路由建立多个优先级映射表，其中，各所述优先级映射表对应于不同的优先级。

可选的，根据优先级映射表匹配API请求的处理者，包括：

在接收到API请求时，对所述API请求的模式进行哈希运算，得到对应的哈希值；

根据所述哈希值在所述多个优先级映射表的哈希空间中查询对应的处理者。

可选的，所述请求队列为基于生产者消费者模型的环形缓冲无锁请求队列；

其中，所述请求队列的生产者为优先级调度模块，所述请求队列的消费者为工作池。

可选的，根据各所述请求队列的优先级处理各所述请求队列中的API请求，包括：

通过工作池监听各所述请求队列；

对于监听到API请求的请求队列，按照各所述请求队列的优先级由高到低的顺序，依次处理各所述请求队列中的API请求；

若在各所述请求队列中均未监听到API请求，则所述工作池进入休眠状态。

可选的，根据各所述请求队列的优先级处理各所述请求队列中的API请求，还包括：

对于当前待处理的API请求，若所述工作池中的工作者都处于忙状态，则中断目标工作者，以使所述目标工作者用于处理所述当前待处理的API请求，其中，所述目标工作者正在处理的API请求对应的优先级低于所述当前待处理的API请求对应的优先级。

可选的，所述API请求包括：

健康检查端点的连接状态检测请求、应用生命周期管理请求以及镜像同步类请求；

其中，所述健康检查端点的连接状态检测请求的优先级高于所述应用生命周期管理请求的优先级，所述应用生命周期管理请求的优先级高于所述镜像同步类请求的优先级。

第二方面，本发明实施例还提供了一种请求处理装置，包括：

匹配模块，用于根据优先级映射表匹配应用程序接口API请求的处理者，所述API请求为多个；

队列管理模块，用于基于匹配结果将各所述API请求放入相应的请求队列，其中，不同请求队列对应于不同的优先级；

处理模块，用于根据各所述请求队列的优先级处理各所述请求队列中的API请求。

第三方面，本发明实施例还提供了一种代理服务器，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的请求处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明实施例提供的请求处理方法。

本发明实施例提供了一种请求处理方法、装置、代理服务器及存储介质，首先根据优先级映射表匹配应用程序接口API请求的处理者，所述API请求为多个；然后基于匹配结果将各所述API请求放入相应的请求队列，其中，不同请求队列对应于不同的优先级；最后根据各所述请求队列的优先级处理各所述请求队列中的API请求。利用上述技术方案，能够根据优先级的高低对API请求进行处理，提高了API请求处理的灵活性，满足对不同优先级请求的处理需求。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是根据本发明实施例一提供的一种请求处理方法的流程示意图；

图1b是根据本发明实施例一提供的一种环形缓冲无锁请求队列的示意图；

图2a是根据本发明实施例二提供的一种请求处理方法的流程示意图；

图2b是根据本发明实施例二提供的一种统一哈希空间的示意图；

图2c是根据本发明实施例二提供的一种请求处理方法的实现示意图；

图3是根据本发明实施例三提供的一种请求处理装置的结构示意图；

图4是根据本发明实施例四提供的一种代理服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1a为本发明实施例一提供了一种请求处理方法的流程示意图，本实施例可适用于根据各请求队列的优先级处理各请求队列中的API请求的情况，该方法可以由请求处理装置来执行，该请求处理装置可以采用硬件和/或软件的形式实现，该装置可配置于代理服务器中。

本实施例可适用于联邦云多集群管理架构，在联邦云多集群管理架构中，用于处理API请求的实体之间一般是并发的，跨集群的流量可由代理服务器(Actor)负责代理，Actor组件部署在不同集群中。

如图1a所示，该方法包括：

S110、根据优先级映射表匹配应用程序接口API请求的处理者。

其中，所述API请求通常为多个，且多个API请求可能是并发的。优先级映射表是为API路由建立的，可用于存储API路由注册参数之间的映射关系，并将代理服务器需要处理的API请求划分为不同优先级。注册参数包括API路由的模式(Pattern)、处理者(Handler)以及优先级等，代理服务器接收到API请求时，可以通过优先级映射表匹配API请求的处理者。

API请求被划分为不同优先级，每个优先级对应一个优先级映射表。本发明中，对优先级映射表的数量以及优先级的划分不做限定，可以根据实际需求进行优先级映射表的建立以及优先级的划分，示例性的，代理服务器(Actor)，如联邦云轻量级转发代理，可以建立三个优先级映射表，分别对应三种不同的优先级，即高优先级(HIGH)映射表、中优先级(MEDIUM)映射表和低优先级(LOW)映射表。处理者可以理解为处理API请求的实体，对应一个服务地址(HTTP)。

可选的，所述API请求包括：健康检查端点的连接状态检测请求、应用生命周期管理请求以及镜像同步类请求；其中，所述健康检查端点的连接状态检测请求的优先级高于所述应用生命周期管理请求的优先级，所述应用生命周期管理请求的优先级高于所述镜像同步类请求的优先级。

可以理解的是，代理服务器管理端(如联邦云集群管理端)会定时调用每个集群Actor提供的健康检查端点(即Healthz)来检测Actor的状态。对于Actor来说，Healthz端点的连接状态检测请求需要优先处理，否则在高并发(即服务端可以同时处理大量请求)访问场景下，Actor可能会来不及处理Healthz端点的连接状态检测请求，导致代理服务器管理端无法及时获取Actor的状态，从而做出错误的判断。并且此类请求频率不高，但需要及时响应，所以可以认为Healthz端点的连接状态检测请求优先级要高于其他一般业务请求的优先级；联邦云的核心业务是管理不同集群上的应用的生命周期，比如在不同集群上创建应用、更新应用、删除应用及监控应用状态等。这类请求重要性高，频率也高，但对响应的及时性要求不会太高。所以可以认为联邦云将应用生命周期管理请求定为中优先级请求；联邦云是多集群的容器化PAAS平台(Platform-As-A-Service：平台即服务)，在联邦云上部署容器化应用时需要镜像，在做跨集群部署应用时，存在镜像同步的需求。由于镜像一般都比较大，以数GB算，所以镜像同步时不仅会占用较大的集群之间的带宽，还会较长时间的消耗Actor的计算资源。所以可以将镜像同步类的请求定位为低优先级请求。

需要说明的是，本实施例对API请求的具体种类和内容不做限定，且API请求的优先级也可以从其他维度或用其他原则进行划分。

S120、基于匹配结果将各所述API请求放入相应的请求队列。

其中，不同请求队列对应于不同的优先级。

具体的，请求队列可以理解为一个暂存API请求的容器，不同的请求队列对应于不同的优先级，如建立三个请求队列，分别为(HIGH)优先级请求队列、(MEDIUM)优先级请求队列和(LOW)优先级请求队列，匹配结果可以为API请求的处理者位于高优先级(HIGH)映射表中，也可以为API请求的处理者位于中优先级(MEDIUM)映射表中，还可以为API请求的处理者位于低优先级(LOW)映射表中，将匹配结果是API请求的处理者位于高优先级(HIGH)映射表中的API请求放入(HIGH)优先级请求队列，将匹配结果是API请求的处理者位于中优先级(MEDIUM)映射表中的API请求放入(MEDIUM)优先级请求队列，将匹配结果是API请求的处理者位于低优先级(LOW)映射表中的API请求放入(LOW)优先级请求队列。

可选的，请求队列为基于生产者消费者模型的环形缓冲无锁请求队列；其中，请求队列的生产者为优先级调度模块，请求队列的消费者为工作池。

本发明中，代理服务器(Actor)提供一个组件来实现匹配操作，实现匹配的模块称为优先级调度模块(即Priority Dispatcher)，简称PD，PD根据优先级映射表匹配结果，将API请求以及处理者放入相应的优先级队列。

其中，工作池即Worker Pool，工作池中会有一定数量的处理Worker，工作池监听在环形缓冲无锁请求队列上，当有API请求到来时，这些Worker可以处理请求。当没有API请求时，这些Worker就处于休眠状态。所述Worker，可以理解为工作池中的不同线程，每个线程都可用于处理一个API请求。环形缓冲无锁队列通常应用在生产者消费者模型中，生产者向环形队列中存放数据，消费中从环形队列中获取数据，环形队列有两个索引，存放数据的索引和获取数据的索引。

示例性的，如图1b所示，本发明实施例提供了一种环形缓冲无锁请求队列的示意图，包括优先级调度模块10、数据写入位置11、数据读取位置12、工作池13和环形队列14，优先级调度模块10作为环形缓冲无锁队列的生产者，工作池13作为环形缓冲无锁队列的消费者，生产者和消费者在操作队列时无需加锁，极大提升了并发效率。

S130、根据各所述请求队列的优先级处理各所述请求队列中的API请求。

具体的，不同请求队列对应于不同的优先级，根据各请求队列的优先级，可对各请求队列中的API请求有区别地处理。例如，在并发的多个API请求中，优先级较高的请求队列中的API请求，会优先被处理；又如，在资源不足的情况下，优先级较高的请求队列中的API请求，可以抢占优先级较低的请求队列中的API请求所使用的资源，从而提高API请求处理的灵活性，满足对不同优先级请求的处理需求。

示例性的，本发明可以提供三个请求队列，优先级分别对应HIGH、MEDIUM和LOW。如果HIGH优先级队列中有API请求，则处理HIGH优先队列中的API请求，如果HIGH优先级队列中没有API请求，则取MEDIUM优先级队列中的API请求处理，如果MEDIUM优先级队列中没有API请求，则取LOW优先级队列中的API请求处理，如果LOW优先级队列中没有API请求，则不需要处理API请求，Worker Pool处于休眠状态。

本发明实施例提供的请求处理方法，通过根据优先级映射表匹配应用程序接口API请求的处理者，API请求为多个；然后基于匹配结果将各API请求放入相应的请求队列，其中，不同请求队列对应于不同的优先级；最后根据各请求队列的优先级处理各请求队列中的API请求。利用上述技术方案，能够根据优先级的高低对API请求进行处理，解决了现有的技术不支持按实际业务分优先级，而是按照请求实际到达时间的顺序响应不同业务的请求的问题，提高了API请求处理的灵活性，满足对不同优先级请求的处理需求。

实施例二

图2a为本发明实施例二提供的一种请求处理方法的流程图，本实施例二在上述各实施例的基础上进行优化。在本实施例中根据优先级映射表匹配API请求的处理者，具体包括：

在接收到API请求时，对API请求的模式进行哈希运算，得到对应的哈希值；

根据哈希值在多个优先级映射表的哈希空间中查询对应的处理者。

进一步的，本实施例中根据各请求队列的优先级处理各请求队列中的API请求，具体包括：

通过工作池监听各请求队列；

对于监听到API请求的请求队列，按照各请求队列的优先级由高到低的顺序，依次处理各请求队列中的API请求；

若在各请求队列中均未监听到API请求，则工作池进入休眠状态。

本实施例尚未详尽的内容请参考实施例一。

如图2a所示，本发明实施例二提供的一种请求处理方法，包括如下步骤：

S210、获取API路由的注册参数。

其中，所述注册参数包括所述API路由的模式、处理者以及优先级。

本发明中，API路由可以认为是服务端根据API请求路径来选择处理请求的处理者的过程，可以理解的是，每个API请求都需要服务端进行一次API路由。API路由的模式(即Pattern)，可以理解为API请求路径的格式，API路由的处理者(即Handler)，可以理解为处理API请求的服务地址HTTP。

示例性的，API路由的注册可以认为是为了处理API请求，需要预先将API请求路径作为Pattern，和对应的Handler注册到优先级映射表中，当后续有相应的API请求到来时，根据优先级映射表找到对应的Handler并执行Handler来处理API请求。

S220、根据所述注册参数为所述API路由建立多个优先级映射表。

在本发明中，将各优先级映射表中的注册路由基于Pattern做Hash，并映射到统一的哈希空间，这样可以提升后续的路由匹配效率，即把各API路由的注册参数映射到哈希空间中的一个位置存储，这样当接收到API请求时，通过哈希计算可以找到相应位置，从该位置查询到该API请求对应的Handler。

示例性的，图2b为本发明实施例提供的统一哈希空间的示意图，如图2b所示，根据API路由注册的路径，建立三张优先级映射表：HIGH映射表21、MEDIUM映射表22、LOW映射表23，各优先级映射表按照优先级由高到低映射至统一的哈希空间24。优先级映射表中的Pn(n＝1,2,3,4…)表示路由的Pattern，Hn(n＝1,2,3,4…)表示处理对应API请求的Handler。

S230、在接收到API请求时，对所述API请求的模式进行哈希运算，得到对应的哈希值。

示例性的，对API请求的Pn进行哈希运算，以在哈希空间中查询对应的处理者。通过哈希运算，可以计算一个关于键值(Pn)的函数，将所需查询的数据映射到哈希空间中的一个位置来访问记录，采用哈希算法可以加快处理者的查询速度。

S240、根据所述哈希值在所述多个优先级映射表的哈希空间中查询对应的处理者。

每个哈希值在哈希空间中对应一个位置，可以根据这个位置查找到API请求对应的处理者。本实施例中，由于哈希值更为短小，被找到更为容易，所以可以利用API请求的模式对应的哈希值在哈希空间中查找对应的处理者。

可选的，采用拉链法解决Hash冲突(不同API请求的Pattern计算出的哈希值可能相同，对应哈希空间中的同一个位置，这时需要确定具体放在哪个位置)。

S250、基于匹配结果将各所述API请求放入相应的请求队列。

其中，不同请求队列对应于不同的优先级。

S260、通过工作池监听各所述请求队列。

示例性的，本发明采用Worker Pool机制，Worker Pool监听在环形无锁优先级队列上。

S270、对于监听到API请求的请求队列，按照各所述请求队列的优先级由高到低的顺序，依次处理各所述请求队列中的API请求。

其中，对于监听到API请求的请求队列，优先级较高的请求队列中的API请求，会优先被处理。具体的，如果HIGH优先级队列中有API请求，则处理HIGH优先队列中的API请求。如果HIGH优先级队列中没有API请求，则取MEDIUM优先级队列中的API请求处理，如果MEDIUM优先级队列中没有API请求，则取LOW优先级队列中的API请求处理，如果LOW优先级队列中没有API请求，则Worker Pool处于休眠状态。

可选的，对于当前待处理的API请求，若工作池中的工作者都处于忙状态，则中断目标工作者，以使目标工作者用于处理当前待处理的API请求，其中，目标工作者正在处理的API请求对应的优先级低于当前待处理的API请求对应的优先级。

可以理解的是，受限于系统的资源，Worker Pool中的工作者(Worker)数量是有限的，可能会出现LOW或者MEDIUM级别的API请求占满了Worker Pool中的Worker。此时如果有HIGH优先级的API请求到来时，会出现HIGH优先级的API请求无法得到处理的情况。

示例性的，以联邦云的实际应用场景为例，本发明支持高优先级的请求抢占低优先级的请求，抢占即中断正在处理的请求而执行其他请求的过程。具体来说：

当HIGH级别的API请求到来时，如果Worker Pool中的Worker都处于忙状态，此时会中断处理低优先级请求的Worker，保存请求处理现场，空出Worker来处理HIGH级别的API请求。

当MEDIUM级别的API请求到来时，如果此时Worker Pool中的Worker都处于忙状态，且有Worker在处理LOW级别的API请求，此时会中断处理LOW级别API请求的Worker，保存请求现场，空出Worker来处理MEDIUM级别的API请求。

当LOW级别的API请求到来时，如果此时Worker Pool中的Worker都处于忙状态，则不发生抢占。

当集群比较繁忙，空闲资源少时，高优先级的API请求可以抢占低优先级的API请求，这样只需为联邦云管理预留较少资源即可，在保证联邦云功能正常运行的同时，提升了整体的资源利用率。

S280、若在各所述请求队列中均未监听到API请求，则所述工作池进入休眠状态。

图2c是根据本发明实施例二提供的一种请求处理方法的实现示意图。如图2c所示，包括：202表示API路由注册提供注册参数，201表示注册路由基于Pattern做Hash并映射到统一的Hash空间，形成的优先级映射表。203表示实现匹配的模块即优先级调度模块(Priority Dispatcher，PD)，204表示环形缓冲无锁请求队列，206表示工作池，205表示工作池206中的多个Worker。

具体的，根据获取到的API路由的注册参数202，为API路由建立多个优先级映射表并统一映射到哈希空间201，在接收到API请求时，对API请求的模式进行哈希运算，得到对应的哈希值；根据哈希值在多个优先级映射表的哈希空间201中查询对应的处理者，基于优先级调度模块203的匹配结果将各所述API请求放入相应的请求环形缓冲无锁队列204中，通过工作池206监听各请求队列；对于监听到API请求的请求队列，按照各请求队列的优先级由高到低的顺序，由各个Worker205依次处理各请求队列中的API请求；若在各请求队列中均未监听到API请求，则工作池206进入休眠状态。本实施例的技术方案，对于API请求做了优先级划分，并且对于重要的API请求可以高优先级处理，并且支持高优先级API请求抢占低优先级API请求，能够保证业务高效平稳运行，提升整体资源利用率。

实施例三

图3为本发明实施例三提供的一种请求处理装置的结构示意图。如图3所示，该装置包括：匹配模块31、队列管理模块32、处理模块33；

其中，匹配模块31，用于根据优先级映射表匹配应用程序接口API请求的处理者，所述API请求为多个；

队列管理模块32，用于基于匹配结果将各所述API请求放入相应的请求队列，其中，不同请求队列对应于不同的优先级；

处理模块33，用于根据各所述请求队列的优先级处理各所述请求队列中的API请求。

在本发明实施例中，该装置首先通过匹配模块31根据优先级映射表匹配应用程序接口API请求的处理者，所述API请求为多个；然后通过队列管理模块32基于匹配结果将各所述API请求放入相应的请求队列，其中，不同请求队列对应于不同的优先级；最后通过处理模块33根据各所述请求队列的优先级处理各所述请求队列中的API请求。

本实施例提供了一种请求处理装置，能够根据优先级的高低对API请求进行处理，提高了API请求处理的灵活性，满足对不同优先级请求的处理需求。

进一步的，匹配模块31用于根据优先级映射表匹配API请求的处理者之前，还包括：

获取API路由的注册参数，所述注册参数包括所述API路由的模式、处理者以及优先级；根据所述注册参数为所述API路由建立多个优先级映射表，其中，各所述优先级映射表对应于不同的优先级。

进一步的，匹配模块31具用于：

在接收到API请求时，对所述API请求的模式进行哈希运算，得到对应的哈希值；根据所述哈希值在所述多个优先级映射表的哈希空间中查询对应的处理者。

进一步的，队列管理模块32中所述请求队列为基于生产者消费者模型的环形缓冲无锁请求队列；其中，所述请求队列的生产者为优先级调度模块，所述请求队列的消费者为工作池。

进一步的，处理模块33具体用于：

通过工作池监听各所述请求队列；对于监听到API请求的请求队列，按照各所述请求队列的优先级由高到低的顺序，依次处理各所述请求队列中的API请求；若在各所述请求队列中均未监听到API请求，则所述工作池进入休眠状态。

进一步的，处理模块33还用于：

进一步的，匹配模块31中所述API请求包括：

健康检查端点的连接状态检测请求、应用生命周期管理请求以及镜像同步类请求；其中，所述健康检查端点的连接状态检测请求的优先级高于所述应用生命周期管理请求的优先级，所述应用生命周期管理请求的优先级高于所述镜像同步类请求的优先级。

本发明实施例提供了一种请求处理装置可执行本发明任意实施例所提供的请求处理方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种代理服务器10的结构示意图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，代理服务器10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

代理服务器10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如实现本发明上述实施例所提供的请求处理方法。

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行请求处理方法，该方法包括：

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的请求处理方法。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种请求处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在根据优先级映射表匹配API请求的处理者之前，还包括：

获取API路由的注册参数，所述注册参数包括所述API路由的模式、处理者以及优先级；

3.根据权利要求2所述的方法，其特征在于，根据优先级映射表匹配API请求的处理者，包括：

4.根据权利要求1所述的方法，其特征在于，所述请求队列为基于生产者消费者模型的环形缓冲无锁请求队列；

5.根据权利要求1所述的方法，其特征在于，根据各所述请求队列的优先级处理各所述请求队列中的API请求，包括：

通过工作池监听各所述请求队列；

6.根据权利要求5所述的方法，其特征在于，根据各所述请求队列的优先级处理各所述请求队列中的API请求，还包括：

7.根据权利要求1所述的方法，其特征在于，所述API请求包括：

8.一种请求处理装置，其特征在于，包括：

9.一种代理服务器，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的请求处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的请求处理方法。