CN110838987B

CN110838987B - 队列限流方法、存储介质

Info

Publication number: CN110838987B
Application number: CN201910949545.XA
Authority: CN
Inventors: 刘德建; 林伟; 郭玉湖
Original assignee: Fujian Tianquan Educational Technology Ltd
Current assignee: Fujian Tianquan Educational Technology Ltd
Priority date: 2019-10-08
Filing date: 2019-10-08
Publication date: 2022-07-05
Anticipated expiration: 2039-10-08
Also published as: CN110838987A

Abstract

本发明提供一种队列限流方法、存储介质，方法包括：依据预设的CPU资源占用阈值和内存资源占用阈值制定分类限流策略，分类限流策略包括计算型策略和内存型策略；若配置为分类限流策略，则在客户端接收到一应用待写入消息队列的请求时，判断所述请求对应的是计算型应用还是内存型应用；若为计算型应用，则执行计算型策略；若为内存型应用，则执行内存型策略。本发明不仅能够保证系统性能良好；而且能更具针对性地进行限流判断，实用性高；更关键的是，本发明的方法无需额外部署监控服务器和拦截服务器，直接利用队列程序自身实现，大大节省了资源和时间。

Description

队列限流方法、存储介质

技术领域

本发明涉及系统请求处理领域，具体涉及队列限流方法、存储介质。

背景技术

限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务(定向到错误页或告知资源没有了)、排队或等待(比如秒杀、评论、下单)、降级(返回兜底数据或默认数据，如商品详情页库存默认有货)。

在现在很多的系统中都存在有限流的功能。不过，一般情况下都只针对接口方面进行限流。比如，针对某些接口进行压测，知道大概的吞吐量，进而进行接口请求量的限流。上述为一般的做法，而很多的系统以及软件中，也有针对队列的限流。比如说，某些软件中针对队列的限流，一般是按照队列长度来进行限制的，如达到队列数10000就进行限制，可是如果在达到10000之前，CPU就已经达到了90％或者内存占用率达到了90％，由于还达不到限制的条件，也就达不到限制的目的了。但此时资源已经占满了，系统性能受到严重影响，可能导致无法进行正常功能。

因此，有必要提供一种队列限流方法、存储介质，真正实现限流目的，保证系统的正常运行。

发明内容

本发明所要解决的技术问题是：提供一种队列限流方法、存储介质，依据资源占用的真实情况进行限流，保证系统性能良好。

为了解决上述技术问题，本发明采用的技术方案为：

一种队列限流方法，包括：

预设CPU资源占用阈值和内存资源占用阈值；

依据所述CPU资源占用阈值和内存资源占用阈值制定分类限流策略，所述分类限流策略包括计算型策略和内存型策略；

若配置为分类限流策略，则在客户端接收到一应用待写入消息队列的请求时，判断所述请求对应的是计算型应用还是内存型应用；

若为计算型应用，则依据计算型策略计算所述一应用当前的CPU资源占用是否超过所述CPU资源占用阈值，若超过，则限制所述请求写入消息队列；

若为内存型应用，则依据内存型策略计算所述一应用当前的内存资源占用是否超过所述内存资源占用阈值，若超过，则限制所述请求写入消息队列。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述一种队列限流方法所包含的步骤。

本发明的有益效果在于：依据系统资源的实际使用情况来进行队列限流，最大程度上保证系统的可用性，减少宕机的风险。进一步地，针对应用的不同类型，对应使用不同的限流策略进行限流，能依据实际资源占用情况来确定是否需要限流，更具针对性和合理性。

附图说明

图1为本发明实施例一种队列限流方法的流程示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：依据系统资源的实际使用情况来进行队列限流，最大程度上保证系统的可用性；针对不同应用类型分类判断，更具合理性和实用性。

请参照图1，本发明提供一种队列限流方法，包括：

预设CPU资源占用阈值和内存资源占用阈值；

从上述描述可知，本发明的有益效果在于：相较于现有依据最大队列数进行限流，没有顾及到系统资源，可能导致系统运行受影响，甚至发生宕机的问题，本发明依据系统资源进行限流，从而确保系统运行良好；同时，针对应用的不同类型，对应使用不同的限流策略进行限流，能依据实际资源占用情况来确定是否需要限流，更具针对性和合理性。

进一步地，还包括：

依据所述CPU资源占用阈值和内存资源占用阈值制定资源限流策略；

若配置为资源限流策略，则在客户端接收到一应用待写入消息队列的请求时，依据所述资源策略分别计算所述一应用当前的CPU资源占用和内存资源占用，在确定均未超过CPU资源占用阈值和内存资源占用阈值时，写入所述请求至消息队列中。

由上述描述可知，同时还提供CPU和内存结合进行判断的资源限流策略供用户选择，更具多样化，满足不同需求；同时又能最大程度的保证系统的可用性，减少宕机的风险。

进一步地，所述预设CPU资源占用阈值和内存资源占用阈值，具体为：

依据系统可用总CPU资源和计算型应用数量，预设单个计算型应用的CPU资源占用阈值；

依据系统可用总内存资源和内存型应用数量，预设单个内存型应用的内存资源占用阈值。

由上述描述可知，在一具体实例中，将依据实际部署的应用数量和可用资源总量来确定具体应用对应的CPU资源占用阈值和内存资源占用阈值，通过将资源限额划分到具体的应用，能够实现资源分配均衡，各应用正常使用。

进一步地，所述依据计算型策略计算所述一应用当前的CPU资源占用是否超过所述CPU资源占用阈值，具体为：

依据计算型策略计算所述一应用当前的CPU资源占用是否超过单个计算型应用的CPU资源占用阈值。

进一步地，所述依据内存型策略计算所述一应用当前的内存资源占用是否超过所述内存资源占用阈值，具体为：

依据内存型策略计算所述一应用当前的内存资源占用是否超过单个内存型应用的内存资源占用阈值。

由上述描述可知，不同类型的应用将依据对应配置的策略进行限流与否的判断，更具针对性和合理性。

进一步地，通过调用消息队列的服务器接口来获取所述一应用当前的CPU资源占用和当前的内存资源占用。

进一步地，通过消息队列自身程序执行所述判断步骤和所述计算步骤。

由上述描述可知，无需额外配置服务，只需利用消息队列自身提供的接口和服务，便可实现本申请的限流判断，大大节省资源开销，提高监控效率。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现一种队列限流方法所包含的步骤，步骤包括：

预设CPU资源占用阈值和内存资源占用阈值；

依据所述CPU资源占用阈值和内存资源占用阈值制定分类限流策略，其中，所述分类限流策略包括计算型策略和内存型策略；

进一步地，还包括：

依据系统可用总CPU资源和应用数量，预设各个应用对应的CPU资源占用阈值；

依据系统可用总内存资源和应用数量，预设各个应用对应的内存资源占用阈值。

依据计算型策略计算所述一应用当前的CPU资源占用是否超过其对应的CPU资源占用阈值。

依据内存型策略计算所述一应用当前的内存资源占用是否超过其对应的内存资源占用阈值。

请参照图1，本发明的实施例一为：

使用队列来进行处理的软件，比如说tomcat以及rabbitmq等各种消息中间件，其中都会有使用队列功能来进行任务的接收与处理的需求。其中当队列消息已满的时候，即达到了最大可支持队列数量时，则开始进行请求的拒绝。一般这个最大可支持队列数量，都是可配置的，写在配置文件中的。现有的情况也只有这个数量上的配置，如果此时，一台服务器上已部署多个应用实例，服务器的资源已经不足时，但是，单个应用实例的任务队列却还没有达到所配置的最大数量，此时，就还是会继续接入任务至队列，可是即使后续处理该队列任务时，也会因为没有资源而导致任务失败。因此，需要一种能够针对资源进行队列限流的功能，而不仅仅只是针对队列的数量来进行限流的方式。

本实施例针对上述情况提供一种针对消息队列进行限流的方法，不仅能保证系统正常运行，而且能够实现资源分配均衡，各应用正常使用，更具针对性和合理性。

所述方法包括：

S1：预设CPU资源占用阈值和内存资源占用阈值；

在一具体实例中，可以直接依据系统可用总CPU资源和可用总内存资源分别设置CPU资源占用阈值和内存资源占用阈值；

在另一具体实例中，针对各个应用的请求类型分别设置对应的资源阈值。客户端请求种类大体上主要是分为计算型和内存型两种。对应的，针对计算型应用，其只占用CPU资源，因此只需要针对CPU占用资源进行限流；而针对内存型应用，将占用内存资源，可以只针对内存占用资源进行限制。

具体地，将依据系统可用总CPU资源和应用数量，预设单个计算型应用对应的CPU资源占用阈值；依据系统可用总内存资源和应用数量，预设单个内存型应用对应的内存资源占用阈值。

例如，对应计算型应用，假设一台机器4核CPU，总共400％资源，扣除80％系统自用，应用占用率最好不需要超过320％，这样，针对应用部署个数，可以进行限制。比如，部署3个计算型应用，则每个计算型应用的CPU限制为100％。对应内存型应用，假设一台机器总共100％内存资源，扣除30％系统自用，则应用的占用率最好不超过70％，同理，根据每个应用内存占比，可以进行控制。

S2：依据所述CPU资源占用阈值和内存资源占用阈值制定分类限流策略，所述分类限流策略包括计算型策略和内存型策略；

对应上述计算型应用和内存型应用，分别使用不用的策略，这种针对不用应用类型进行限流的策略定义为分类限流策略。

具体而言，所述计算型策略，对应计算型应用使用，当客户端接收到计算型应用发出的请求时，则计算该应用当前的CPU资源占用是否超过预设的CPU资源占用阈值，若超过，则限制所述请求写入消息队列；若未超过，则写入消息队列。

对应上述S1的第二个具体实例，则计算该应用当前的CPU资源占用是否超过预设的单个计算型应用的CPU资源占用阈值，若超过，则限流，若未超过，则不限流。

所述内存型策略，对应内存型应用使用，当客户端接收到内存型应用发出的请求时，则计算该应用当前的内存资源占用是否超过预设的内存资源占用阈值，若超过，则限制所述请求写入消息队列；若未超过，则接入消息队列。

对应上述S1的第二个具体实例，则计算该应用当前的内存资源占用是否超过预设的单个内存型应用的内存资源占用阈值，若超过，则限流，若未超过，则不限流。

S3：若当前配置为分类限流策略，则在客户端接收到一应用待写入消息队列的请求时，首先判断所述请求对应的是计算型应用还是内存型应用；

若为计算型应用，则执行计算型策略；

若为内存型应用，则执行内存型策略。

S4：还可以依据所述CPU资源占用阈值和内存资源占用阈值制定资源限流策略；即同时依据CPU以及内存占比进行限制。

若当前配置为资源限流策略，则在客户端接收到一应用待写入消息队列的请求时，将依据所述资源限流策略分别计算所述一应用当前的CPU资源占用和内存资源占用，在确定均未超过CPU资源占用阈值和内存资源占用阈值时，写入所述请求至消息队列中。

比如，某个应用的CPU资源占用阈值为50％，内存资源占用阈值为30％，则资源限流策略对应，若应用的当前CPU资源占用或内存资源占用其中的任一个达到对应的阈值，则进行限流。

可选地，还可以针对每个应用的CPU以及内存占比进行个性化的配置，调整各自的阈值比例，只要不超过最优占比即可。

需要特别说明的是，本实施例上述“获取”步骤，即CPU资源占用以及内存资源的占用的获取，直接通过调用消息队列的服务器接口即可快速获取，且准确度高。这是因为，现在应用绝大多数都部署在linux服务器上，其中提供了可以实时获取到服务器CPU以及内存占用率等相关的信息服务。因此，不管是本实施例的“获取”、“判断”还是“计算”步骤，均由消息队列自身程序即可实现。

采用本实施例的方法，相较于现有技术，如申请号为CN201611123430，名称为《用于服务器限流的方法与系统》的专利申请，其通过一个公共的监控服务，监控所有的服务器信息，而有一个专门的服务请求拦截服务，所有的服务都经过该服务，通过该服务去访问监控平台的数据，之后再判断是否需要拦截该请求，还是继续转发该请求到对应的服务器上。这就存在几个问题：一是监控服务需要配置所有服务器的相关信息，并全部都进行监控，对于监控服务有一定的性能与能力上的要求；二是，所有的请求都需要经过一个拦截服务器，一个是会存在单点上的瓶颈，另一个是请求需要多转发一次，浪费时间与资源。

而本实施例的方法，首先不需要提供实时监控的平台，因为所有的使用队列的服务器上自身已经提供可以查看CPU与内存监控等的接口，队列软件只需要实时调用自身服务器上对应的接口就可以查询到本机的相关资源了，减少了统一部署监控信息的服务器资源，减少了向统一监控服务获取监控信息的开销，这个是一个优点。另一个优点则是，本实施例的方法的功能并不需要通过统一的拦截服务器，请求会预先到达队列软件，由软件中的专门程序根据本服务器中的资源情况进行判断，是否支持还是拒绝请求，这边又减少了统一的拦截服务器的访问与再次转发请求，达到了提高效率的功能。

综上所述，本文相较于现有技术，首先，不需要统一的服务来进行监控与请求转发，由每个队列程序自身来实现这样的功能，达到了不需要额外提供服务来进行实施与维护，减少请求获取与请求转发等优点。其次，既不需要另外部署实时监控的平台，浪费服务器资源；也无需通过统一的拦截服务器，减少了统一拦截服务器的访问与再次转发请求，提高效率。

本实施例基于服务资源进行限制，当每个消息写入队列之前，均先按照一定的算法规则进行判断，若不符合，则直接限制写入队列，拒绝请求。由此，即使此时队列还未达到10000数量，也能够根据实际资源占用情况，进行了相关的限流功能，从而保证系统能够正常进行。

本发明的实施例二为：

本实施例在实施例一的基础上做进一步的扩展，同时结合数量限流方式，提供资源限流和数量限流并存的的限流方法。

本实施例的方法在实施例一的基础上，增加数量限流策略的制定；

所述数量限流策略为，当客户端接收到请求后，判断当前的队列数量，若达到了配置好的最大队列数量阈值，则限流，拒绝请求，若未达到，则写入队列。

数量限流策略和分类限流策略可同时启用，也可独立启用，更具实用性。

本实施例资源限流以及数量限流两种共存的方式，可以最大程序上保证系统的可用性，减少宕机的风险。

本发明的实施例三为：

本实施例对应实施例一或实施例二，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述实施例一或实施例二任意一项所述一种队列限流方法所包含的步骤。具体的步骤内容在此不进行复述，详细请参阅实施例一或实施例二的记载。

综上所述，本发明提供的一种队列限流方法、存储介质，不仅能够依据资源占用的真实情况进行限流，保证系统性能良好；而且能够针对不同应用类型，具备针对性的进行限流判断，更具实用性；进一步地，还能实现单个应用的限流判断，实现资源均衡分配；更关键的是，本发明的方法无需额外部署监控服务器和拦截服务器，直接利用队列程序自身实现，大大节省了资源和时间。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种队列限流方法，通过消息队列自身程序执行，其特征在于，包括：

预设CPU资源占用阈值和内存资源占用阈值；

2.如权利要求1所述的一种队列限流方法，其特征在于，还包括：

3.如权利要求1所述的一种队列限流方法，其特征在于，所述预设CPU资源占用阈值和内存资源占用阈值，具体为：

4.如权利要求3所述的一种队列限流方法，其特征在于，所述依据计算型策略计算所述一应用当前的CPU资源占用是否超过所述CPU资源占用阈值，具体为：

5.如权利要求3所述的一种队列限流方法，其特征在于，所述依据内存型策略计算所述一应用当前的内存资源占用是否超过所述内存资源占用阈值，具体为：

6.如权利要求1所述的一种队列限流方法，其特征在于，通过调用消息队列的服务器接口来获取所述一应用当前的CPU资源占用和当前的内存资源占用。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序在被处理器执行时，能够实现上述权利要求1-6任意一项所述一种队列限流方法所包含的步骤。