CN113794650A - 并发请求的处理方法、计算机设备和计算机可读存储介质 - Google Patents
并发请求的处理方法、计算机设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113794650A CN113794650A CN202111089018.XA CN202111089018A CN113794650A CN 113794650 A CN113794650 A CN 113794650A CN 202111089018 A CN202111089018 A CN 202111089018A CN 113794650 A CN113794650 A CN 113794650A
- Authority
- CN
- China
- Prior art keywords
- request
- resource
- requests
- processing
- resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 21
- 238000009530 blood pressure measurement Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 241000700189 Hystrix <Rodentia> Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002955 isolation Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000009662 stress testing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/20—Traffic policing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/29—Flow control; Congestion control using a combination of thresholds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请适用于计算机技术领域，提供一种并发请求的处理方法、计算机设备和计算机可读存储介质。方法包括：获取至少两个待处理的请求；根据每个请求的请求类型，确定用于处理请求的服务；将属于相同服务的请求划分到同一线程池中；针对每个服务，获取服务所属的线程池中每个请求的访问接口；根据每个访问接口的吞吐量阈值，对每个访问接口的请求数量进行限流。本申请一方面可以隔开不同服务之间的线程资源，防止某个服务请求量过大时抢占其他服务的资源，另一方面可以限制涌入系统的请求量，以便进行有序处理，防止系统资源被过度占用导致雪崩。
Description
技术领域
本申请属于计算机技术领域，尤其涉及一种并发请求的处理方法、计算机设备和计算机可读存储介质。
背景技术
计算机服务器系统所依赖的服务的稳定性对系统的影响非常大，依赖有很多不可控的因素，比如网络连接变慢、资源突然繁忙、暂时不可用或者服务脱机等。随着互联网的普及，互联网流量呈现指数式增长，在请求高并发访问下，若系统被占用资源持续增加，直致CPU资源耗尽，整个服务将对外不可用，集群环境下就是雪崩。如何应对突发的流量增长，防止系统宕机，成为互联网企业必须解决的难题。
发明内容
本申请实施例提供了一种并发请求的处理方法、计算机设备和计算机可读存储介质，可以对并发的请求进行有序处理，提高服务可靠性。
第一方面，本申请实施例提供了一种并发请求的处理方法，包括：
获取至少两个待处理的请求；
根据每个所述请求的请求类型，确定用于处理所述请求的服务；
将属于相同服务的请求划分到同一线程池中；
针对每个所述服务，获取所述服务所属的线程池中每个所述请求的访问接口；
根据每个所述访问接口的吞吐量阈值，对每个所述访问接口的请求数量进行限流。
其中，根据每个所述访问接口的吞吐量阈值，对每个所述访问接口的请求数量进行限流，包括：
判断所述访问接口的所述请求数量是否超过所述吞吐量阈值；
若是，按照接收所述请求的时间先后将所述请求发送到kafka队列，所述kafka队列的长度阈值小于所述吞吐量阈值；
若否，按照接收所述请求的时间先后处理线程池中的所述请求。
进一步的，按照接收所述请求的时间先后将所述请求发送到kafka队列之后，还包括：
获取所述kafka队列的队列长度；
根据所述队列长度与所述长度阈值的数量关系，确定用于处理所述请求的目标资源，所述目标资源为内部资源或外部资源；
调用所述目标资源处理所述请求。
具体的，根据所述队列长度与所述长度阈值的数量关系，确定用于处理所述请求的目标资源，调用所述目标资源处理所述请求，包括：
当所述队列长度小于所述长度阈值，则获取提供所述内部资源的各内部服务器当前的第一资源使用率；
计算处理所述请求需调用的资源量；
若存在第一资源使用率小于第一预设值，且第二资源使用率小于第二预设值的内部服务器，则确定用于处理所述请求的所述目标资源为内部资源，并根据所述资源量调用所述内部服务器的内部资源处理所述请求；
若各所述内部服务器的第一资源使用率大于第一预设值、或第二资源使用率大于第二预设值，则确定用于处理所述请求的所述目标资源为外部资源，并根据所述资源量调用外部服务器的外部资源处理所述请求；
其中，所述第二资源使用率为所述内部服务器被调用所述资源量的资源后的资源使用率；所述内部资源为属于相同服务的内部服务器的资源，所述外部资源为不属于相同服务的外部服务器的资源。
外部资源包括部门内部的其他项目服务器的资源和云资源。
相应的，根据所述资源量调用所述内部服务器的内部资源处理所述请求之后，还包括：
当所述kafka队列的所述队列长度为空时，释放被调用的所述内部资源。
作为一种可能的实现方式，根据所述队列长度与所述长度阈值的数量关系，确定用于处理所述请求的目标资源，调用所述目标资源处理所述请求，包括：
当所述队列长度等于所述长度阈值，则确定用于处理所述请求的目标资源为外部资源；
计算处理所述请求需调用的资源量；
根据所述资源量调用外部服务器的外部资源处理所述请求。
相应的，根据所述资源量调用外部服务器的外部资源处理所述请求之后，还包括：
当所述kafka队列的所述队列长度下降到小于所述长度阈值且维持第一预设时间，或者，提供内部资源的各内部服务器的所述第二资源使用率小于所述第二预设值，则释放被调用的所述外部资源。
在本申请的其他实施方式中，获取至少两个待处理的请求之后，还包括：
获取每个所述请求的IP地址；
统计同一个所述IP地址在第二预设时间内发起的请求数量；
若所述IP地址的所述请求数量超过单个地址历史平均请求数，则在第三预设时间内拒收所述IP地址发起的请求；
其中，所述单个地址历史平均请求数为在预设历史时间段内每个地址的平均请求数量。
第二方面，本申请实施例提供了一种计算机设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
第四方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行上述第一方面中任一项所述的方法。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：一方面，本申请将属于相同服务的请求划分到同一线程池中，可以隔开不同服务之间的线程资源，防止某个服务请求量过大时抢占其他服务的资源，导致系统雪崩式崩溃；另一方面，对于每个服务，获取其线程池中待处理的所有请求的访问接口，根据每个访问接口的吞吐量阈值，对每个访问接口的请求数量进行限流，可以限制涌入系统的请求量，以便进行有序处理，防止系统资源被过度占用导致雪崩。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的并发请求的处理方法的流程示意图；
图2是本申请另一实施例提供的并发请求的处理方法的流程示意图；
图3是本申请再一实施例提供的并发请求的处理方法的流程示意图；
图4是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的并发请求的处理方法可以应用于请求高并发访问的场景，用于实现计算机服务的资源调配，以保证请求都能被有序处理，防止系统崩溃。该方法通常由作为服务器的计算机设备来执行，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例对计算机设备的具体类型不作任何限制。
图1是本实施例提供的并发请求的处理方法的流程示意图，作为示例而非限定，该方法包括如下步骤：
S11，获取至少两个待处理的请求。
系统通过互联网接收来自不同IP地址的、不同内容的请求，多个请求按照到达的时间先后被接收。
S12，根据每个请求的请求类型，确定用于处理请求的服务。
根据系统架构，系统共包括3个微服务，User服务主要处理用户信息相关的请求，Pedia服务主要负责处理用户搜索模块的请求，Recommender服务主要负责用户个人新推荐相关的接口请求。
系统根据接收到的请求的请求类型，识别由哪个服务处理该请求。
S13，将属于相同服务的请求划分到同一线程池中。
Hystrix是Netflix开源的一款容错系统，通过添加延迟容忍和容错逻辑，帮助控制分布式服务之间的交互。Hystrix通过隔离服务之间的访问点、停止级联失败和提供回退选项来实现上述功能，可以提高系统的整体弹性。
Hystrix提供了两种隔离策略：线程池隔离和信号量隔离。本实施例采用Hystrix线程隔离技术，根据服务对请求进行分类，将依赖同一服务的所有请求定义到一个线程池中，以隔开不同服务之间的线程资源，防止某个服务请求量过大时抢占其他服务的资源，导致系统雪崩式崩溃。
S14，针对每个服务，获取服务所属的线程池中每个请求的访问接口。
为支持多编程语言的调用，系统服务提供了针对不同编程语言的桩函数，即接口。基于不同编程语言的请求调用远程的服务时，需要通过服务提供的相应接口进行访问。
随着分布式系统的日益普及，服务之间的可靠性比以往任何时候都更加重要。Sentinel是一种强大的流量控制组件，以“流量”为突破点，涵盖多个领域，包括流量控制、并发限制、断路和自适应系统保护，以保证微服务的可靠性。
吞吐量(Transactions Per Second，TPS)、每秒查询率(Query Per Second，QPS)、并发数和响应时间(RT)是Sentinel实现并发系统的流量控制需要关注的重要性能指标。
对于每个服务，获取该服务为其线程池中的所有请求提供的接口，以及这些接口相应的吞吐量阈值。
吞吐量阈值可通过对每个接口分别进行压力测试来确定。一般来说，随着请求的并发量从1到正无穷的不断增大，TPS会呈现出正态分布，取正态分布峰值的TPS值，即是系统在现有资源下可接受的最大TPS值，则可设定为sentinel可接受的最大吞吐量阈值。
具体的，可采用Jenkins工具对每个接口进行压力测试，设定一个TPS的初始值(例如100)，从初始值开始，后续不断提高TPS值，观察压测性能在哪个TPS值时出现由好变坏的转折点，则设定该TPS值为方案所需的TPS值。测压性能可参考如下评估标准：以90％的接口响应时间不超过250ms为标准，压测结果达到该标准则为通过，否则为不通过，当压测结果在哪个TPS值时出现由通过变成不通过，则该TPS值即是压测性能由好变坏的转折点，在TPS正态分布曲线上为正态分布峰值。
S15，根据每个访问接口的吞吐量阈值，对每个访问接口的请求数量进行限流。
吞吐量是指系统在单位时间内处理请求的数量，是衡量并发系统性能的重要指标。采用sentinel限流机制，基于每个接口的吞吐量阈值对每个接口的请求数量进行限流，可保障服务的稳定性和高可用。
一方面，本实施例将属于相同服务的请求划分到同一线程池中，可以隔开不同服务之间的线程资源，防止某个服务请求量过大时抢占其他服务的资源，导致系统雪崩式崩溃；另一方面，本实施例对于每个服务获取其线程池中待处理的所有请求的访问接口，根据每个访问接口的吞吐量阈值，对每个访问接口的请求数量进行限流，可以限制涌入系统的请求量，以便进行有序处理，防止系统资源被过度占用导致雪崩。
在上述实施例的基础上，本实施例对限流的方式进行举例说明，图2是本申请另一实施例提供的并发请求的处理方法的流程示意图，方法步骤如下：
S21，获取至少两个待处理的请求。
S22，根据每个请求的请求类型，确定用于处理请求的服务。
S23，将属于相同服务的请求划分到同一线程池中。
S24，针对每个服务，获取服务所属的线程池中每个请求的访问接口，以及这些访问接口相应的吞吐量阈值。
S25，判断访问接口的请求数量是否超过吞吐量阈值，若是，执行步骤S26，若否，执行步骤S27。
S26，按照接收请求的时间先后将请求发送到kafka队列。
根据每个接口的吞吐量阈值，设定其对应的kafka队列的长度阈值，通常，kafka队列的长度阈值小于吞吐量阈值。一般情况下，将长度阈值设置为吞吐量阈值的50％，即kafka队列最多允许该接口吞吐量阈值的50％的请求量在同时等候。可以理解的是，长度阈值与吞吐量阈值的比例关系，可根据服务性能进行具体设置。
将超过吞吐量阈值的请求，按时间先后发送到kafka队列中排队，kafka队列中的请求需要等待资源才能得到响应。
在其他实施例中，步骤S26之后还包括：
S261，获取kafka队列的队列长度。
S262，根据队列长度与长度阈值的数量关系，确定用于处理请求的目标资源，调用目标资源处理请求。
可被调用的目标资源为内部资源或外部资源。内部资源为属于相同服务的内部服务器的资源，例如，一个微服务会分配至少一台服务器专门处理对应微服务的请求；外部资源为不属于相同服务的外部服务器的资源，包括部门内部的其他项目服务器的资源和云资源。
具体的，步骤S262包括如下资源调用过程：
当队列长度小于长度阈值，则获取提供内部资源的各内部服务器当前的第一资源使用率，资源使用率可以为CPU被占用的百分比，并计算处理请求需调用的资源量。若存在第一资源使用率小于第一预设值，且第二资源使用率小于第二预设值的内部服务器，则确定用于处理请求的目标资源为内部资源，并根据资源量调用该内部服务器的内部资源处理请求。其中，第二资源使用率为内部服务器被调用资源量的资源后的资源使用率。
例如，当队列长度小于长度阈值，或者该服务所在的服务器资源紧张时(CPU使用率超过90％)，判断是否存在当前的第一资源使用率低于60％的内部服务器，若是，计算处理某请求需要的资源量，再判断该服务器被调用相应的资源量后，第二资源使用率不会超过80％，若不超过，则暂时调用该服务器的部分资源用于处理请求，以加快请求的处理速度，减少响应时间。
若各内部服务器的第一资源使用率大于第一预设值、或第二资源使用率大于第二预设值，则确定用于处理请求的目标资源为外部资源，并根据资源量调用外部服务器的外部资源处理请求。
例如，如果该服务的全部内部服务器的第一资源使用率都超过60％，内部资源无法满足需求，或者，通过计算认为内部服务器在被调用了部分资源后，其第二资源使用率会超过80％，则触发外部资源调动，自动给所在企业的总服务器要求动态分配计算资源，需要通过借用外部新的资源来支援CPU使用率超过80％的服务器。
当队列长度等于长度阈值，表示kafka队列已满，可能还有未能进入到队列的请求，需要更多的资源来加快处理速度，则确定用于处理请求的目标资源为外部资源；计算处理请求需调用的资源量，根据资源量调用外部服务器的外部资源处理请求。
相应的，根据资源量调用内部服务器的内部资源处理请求之后，还包括：
S263，当kafka队列的队列长度为空时，释放被调用的内部资源。
相应的，根据资源量调用外部服务器的外部资源处理请求之后，还包括：
S264，当kafka队列的队列长度下降到小于长度阈值且维持第一预设时间，或者，提供内部资源的各内部服务器的第二资源使用率小于第二预设值，则释放被调用的外部资源。
例如，当kafka队列的队列长度下降到小于长度阈值并维持一定时间，或者，所有服务器的cpu使用率都低于80％时，释放调用的外部资源。外部资源应优先调用部门内部的其他项目服务器的资源，若无法满足需求，再调用云资源，这样就可以最大限度降低租赁云资源的时长，降低成本。
S27，按照接收请求的时间先后处理线程池中的请求。
本实施例基于sentinel进行限流，并将多余请求放到kafka队列中，使得系统可接受尽可能多的请求，提高系统的并发处理能力；针对kafka队列长度，制定了两种资源调动方式，有效节省了资源开销，同时提高了对高并发请求的响应速度。
在上述实施例的基础上，为保证系统资源不被恶意占用，本实施例针对恶意IP进行识别和限制，提供如下方法，如图3所示：
S31，获取至少两个待处理的请求。
S32，获取每个请求的IP地址。
S33，统计同一个IP地址在第二预设时间内发起的请求数量。
S34，若IP地址的请求数量超过单个地址历史平均请求数，则在第三预设时间内拒收IP地址发起的请求。
其中，单个地址历史平均请求数为在预设历史时间段内每个地址的平均请求数量。
若该请求数量超过单个地址历史平均请求数时，则可认为该IP地址有恶意发起请求的嫌疑，应对其作出限制，第三预设时间段内不接收其发送的请求，以减少资源在这类恶意请求上的无谓消耗，降低系统风险。
例如，如果同一个IP地址在5分钟内发起的请求数量超过昨天每个IP地址所发起的平均请求数时，对该IP地址进行禁用，未来半小时内不接受其所发起的请求。
S35，根据每个请求的请求类型，确定用于处理请求的服务。
S36，将属于相同服务的请求划分到同一线程池中。
S37，针对每个服务，获取服务所属的线程池中每个请求的访问接口。
S38，根据每个访问接口的吞吐量阈值，对每个访问接口的请求数量进行限流。
本实施例通过识别请求数量明显异常的IP地址，进行恶意IP地址拦截，可防止恶意IP地址通过发送大量请求占用服务器资源达到攻击服务器的目的，有利于系统的安全和稳定。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图4为本申请一实施例提供的计算机设备的结构示意图。如图4所示，该实施例的计算机设备包括：至少一个处理器40(图4中仅示出一个)、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意各个方法实施例中的步骤。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41在一些实施例中可以是所述计算机设备的内部存储单元，例如硬盘或内存；在另一些实施例中也可以是所述计算机设备的外部存储设备，例如插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(FlashCard)等。进一步地，所述存储器41还可以既包括内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
实现上述方法的功能单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/计算机设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种并发请求的处理方法，其特征在于，包括：
获取至少两个待处理的请求；
根据每个所述请求的请求类型，确定用于处理所述请求的服务；
将属于相同服务的请求划分到同一线程池中；
针对每个所述服务，获取所述服务所属的线程池中每个所述请求的访问接口；
根据每个所述访问接口的吞吐量阈值，对每个所述访问接口的请求数量进行限流。
2.如权利要求1所述的并发请求的处理方法，其特征在于，根据每个所述访问接口的吞吐量阈值，对每个所述访问接口的请求数量进行限流，包括：
判断所述访问接口的所述请求数量是否超过所述吞吐量阈值；
若是，按照接收所述请求的时间先后将所述请求发送到kafka队列，所述kafka队列的长度阈值小于所述吞吐量阈值；
若否，按照接收所述请求的时间先后处理线程池中的所述请求。
3.如权利要求2所述的并发请求的处理方法，其特征在于，按照接收所述请求的时间先后将所述请求发送到kafka队列之后，还包括：
获取所述kafka队列的队列长度；
根据所述队列长度与所述长度阈值的数量关系，确定用于处理所述请求的目标资源，所述目标资源为内部资源或外部资源；
调用所述目标资源处理所述请求。
4.如权利要求3所述的并发请求的处理方法，其特征在于，根据所述队列长度与所述长度阈值的数量关系，确定用于处理所述请求的目标资源，调用所述目标资源处理所述请求，包括：
当所述队列长度小于所述长度阈值，则获取提供所述内部资源的各内部服务器当前的第一资源使用率；
计算处理所述请求需调用的资源量；
若存在第一资源使用率小于第一预设值且第二资源使用率小于第二预设值的内部服务器，则确定用于处理所述请求的所述目标资源为内部资源，并根据所述资源量调用所述内部服务器的内部资源处理所述请求；
若各所述内部服务器的第一资源使用率大于或等于第一预设值、或第二资源使用率大于或等于第二预设值，则确定用于处理所述请求的所述目标资源为外部资源，并根据所述资源量调用外部服务器的外部资源处理所述请求；
其中，所述第二资源使用率为所述内部服务器被调用所述资源量的资源后的资源使用率；所述内部资源为属于相同服务的内部服务器的资源，所述外部资源为不属于相同服务的外部服务器的资源。
5.如权利要求4所述的并发请求的处理方法，其特征在于，根据所述资源量调用所述内部服务器的内部资源处理所述请求之后，还包括：
当所述kafka队列的所述队列长度为空时，释放被调用的所述内部资源。
6.如权利要求3所述的并发请求的处理方法，其特征在于，根据所述队列长度与所述长度阈值的数量关系，确定用于处理所述请求的目标资源，调用所述目标资源处理所述请求，包括：
当所述队列长度等于所述长度阈值，则确定用于处理所述请求的目标资源为外部资源；
计算处理所述请求需调用的资源量；
根据所述资源量调用外部服务器的外部资源处理所述请求。
7.如权利要求4或6所述的并发请求的处理方法，其特征在于，根据所述资源量调用外部服务器的外部资源处理所述请求之后，还包括：
当所述kafka队列的所述队列长度下降到小于所述长度阈值且维持第一预设时间，或者，提供内部资源的各内部服务器的第二资源使用率小于第二预设值，则释放被调用的所述外部资源。
8.如权利要求1所述的并发请求的处理方法，其特征在于，获取至少两个待处理的请求之后，还包括：
获取每个所述请求的IP地址；
统计同一个所述IP地址在第二预设时间内发起的请求数量；
若所述IP地址的所述请求数量超过单个地址历史平均请求数，则在第三预设时间内拒收所述IP地址发起的请求；
其中，所述单个地址历史平均请求数为在预设历史时间段内每个地址的平均请求数量。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111089018.XA CN113794650A (zh) | 2021-09-16 | 2021-09-16 | 并发请求的处理方法、计算机设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111089018.XA CN113794650A (zh) | 2021-09-16 | 2021-09-16 | 并发请求的处理方法、计算机设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113794650A true CN113794650A (zh) | 2021-12-14 |
Family
ID=79183633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111089018.XA Pending CN113794650A (zh) | 2021-09-16 | 2021-09-16 | 并发请求的处理方法、计算机设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113794650A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114338539A (zh) * | 2022-01-11 | 2022-04-12 | 平安科技（深圳）有限公司 | 并发控制方法及装置、网络设备、可读存储介质 |
| CN115118785A (zh) * | 2022-08-29 | 2022-09-27 | 太平金融科技服务(上海)有限公司深圳分公司 | 服务器资源保护方法、装置、设备、介质和程序产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662732A (zh) * | 2012-02-07 | 2012-09-12 | 中山爱科数字科技股份有限公司 | 一种双驱方式的线程池模型 |
| CN107341050A (zh) * | 2016-04-28 | 2017-11-10 | 北京京东尚科信息技术有限公司 | 基于动态线程池的服务处理方法和装置 |
| CN111198767A (zh) * | 2020-01-07 | 2020-05-26 | 平安科技（深圳）有限公司 | 大数据资源处理方法、装置、终端及存储介质 |
| CN111478857A (zh) * | 2019-01-24 | 2020-07-31 | 北京嘀嘀无限科技发展有限公司 | 一种接口限流控制方法、装置以及电子设备 |
| CN112333111A (zh) * | 2020-11-05 | 2021-02-05 | 广东科徕尼智能科技有限公司 | 一种系统动态限流方法、设备、存储介质 |
-
2021
- 2021-09-16 CN CN202111089018.XA patent/CN113794650A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662732A (zh) * | 2012-02-07 | 2012-09-12 | 中山爱科数字科技股份有限公司 | 一种双驱方式的线程池模型 |
| CN107341050A (zh) * | 2016-04-28 | 2017-11-10 | 北京京东尚科信息技术有限公司 | 基于动态线程池的服务处理方法和装置 |
| CN111478857A (zh) * | 2019-01-24 | 2020-07-31 | 北京嘀嘀无限科技发展有限公司 | 一种接口限流控制方法、装置以及电子设备 |
| CN111198767A (zh) * | 2020-01-07 | 2020-05-26 | 平安科技（深圳）有限公司 | 大数据资源处理方法、装置、终端及存储介质 |
| CN112333111A (zh) * | 2020-11-05 | 2021-02-05 | 广东科徕尼智能科技有限公司 | 一种系统动态限流方法、设备、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114338539A (zh) * | 2022-01-11 | 2022-04-12 | 平安科技（深圳）有限公司 | 并发控制方法及装置、网络设备、可读存储介质 |
| CN115118785A (zh) * | 2022-08-29 | 2022-09-27 | 太平金融科技服务(上海)有限公司深圳分公司 | 服务器资源保护方法、装置、设备、介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111901249B (zh) | 业务限流方法、装置、设备及存储介质 | |
| US9378060B2 (en) | Runtime co-location of executing logic and frequently-accessed application data | |
| US8195798B2 (en) | Application server scalability through runtime restrictions enforcement in a distributed application execution system | |
| CN108829512B (zh) | 一种云中心硬件加速计算力的分配方法、系统和云中心 | |
| US8386607B2 (en) | Method and system for utilizing a resource conductor to optimize resource management in a distributed computing environment | |
| CN113794650A (zh) | 并发请求的处理方法、计算机设备和计算机可读存储介质 | |
| CN106161511B (zh) | 业务请求处理方法、相关装置及系统 | |
| US20060200456A1 (en) | System, method and circuit for responding to a client data service request | |
| CN107819797B (zh) | 访问请求处理方法和装置 | |
| CN109600384B (zh) | Rpc接口升级中流量切换方法、系统、设备及存储介质 | |
| CN110769040B (zh) | 一种访问请求的处理方法、装置、设备及存储介质 | |
| US20170279654A1 (en) | Data Processing System and Data Processing Method | |
| US20220318071A1 (en) | Load balancing method and related device | |
| CN103259869B (zh) | 一种基于分布式数据存储的集中信息管理方法 | |
| CN110838987B (zh) | 队列限流方法、存储介质 | |
| CN114257550A (zh) | 接口访问流量的自动控制方法、装置、存储介质及服务器 | |
| CN111597041B (zh) | 一种分布式系统的调用方法、装置、终端设备及服务器 | |
| CN112260962B (zh) | 一种带宽控制方法及装置 | |
| CN110120978B (zh) | 一种弹性用户云计算资源的安全保护方法 | |
| CN204425400U (zh) | 应用服务器系统 | |
| CN113886082A (zh) | 请求处理方法、装置、计算设备及介质 | |
| CN114374657A (zh) | 一种数据处理方法和装置 | |
| CN113765871A (zh) | 堡垒机管理的方法和装置 | |
| US10673937B2 (en) | Dynamic record-level sharing (RLS) provisioning inside a data-sharing subsystem | |
| CN113190347A (zh) | 一种边缘云系统及任务管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220916 Address after: Room 2601 (Unit 07), Qianhai Free Trade Building, No. 3048, Xinghai Avenue, Nanshan Street, Qianhai Shenzhen-Hong Kong Cooperation Zone, Shenzhen, Guangdong 518000 Applicant after: Shenzhen Ping An Smart Healthcare Technology Co.,Ltd. Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000 Applicant before: Ping An International Smart City Technology Co.,Ltd. |