CN111541620A - 一种微服务运行管控方法和装置 - Google Patents

Abstract

本发明公开了一种微服务运行管控方法和装置，包括：接收来自预设应用的微服务请求；确定微服务网关的第一当前并发请求量，并判断第一当前并发请求量是否达到预设的第一并发请求量阈值；若是，则获取当前请求积压情况；根据当前请求积压情况对微服务请求进行响应判定；当判定通过时，响应微服务请求，并生成运行结果；向预设应用返回运行结果。本发明通过第一并发请求量阈值来控制微服务网关的当前并发请求量，当当前并发请求量在控制范围之内时，根据当前请求的挤压情况来判断是否响应微服务请求，从而控制微服务请求的响应数量。通过控制微服务网关和微服务的并发请求量，提高了计量应用对微服务的请求处理效率，保证了应用的稳定运行。

Description

一种微服务运行管控方法和装置

技术领域

本发明涉及微服务管控技术领域，尤其涉及一种微服务运行管控方法和装置。

背景技术

随着分布式系统规模越来越大，也越来越复杂，当系统中的某些微服务发生故障而引起系统不稳定时，容易造成较大的损失。

为了避免微服务故障对系统整体、其他微服务运行之间的干扰，现有技术主要通过结合状态、事件、动作、变换这四大概念，对分布式系统进行容错管控。在Web服务领域中，SOAP协议是一种非常流行的技术解决方案。在SOAP访问协议的基础上，利用中间件形式可构建一种Web容错服务，即SOAP容错网络服务，该服务可提高Web服务的安全性，同时具有更高的可靠性；通过熔断模式进行容错管控，即当存在微服务异常或者大量延时，如果满足所设定的熔断条件，微服务会调用相关方法进行自动熔断，使得对微服务的调用不会继续对系统造成影响；通过对微服务进行隔离从而进行微服务容错，即不同的微服务使用不同的线程池，相互之间不会影响，某个微服务的线程池耗尽并不会对其他微服务造成影响。

然而，现有的容错管控方法，面对一些复杂情况，如智能计量应用对电量查询、负荷查询、客户停电实时监测等多个微服务的大量微服务并发请求时，如总体微服务并发请求正常，但某个微服务如电量查询公用微服务面对大量并发请求，数据库与网络等软硬件设施将无法承载巨大的并发量。微服务隔离等模式不适用于智能计量应用的整体微服务流量管控；而微服务熔断等单一暴力手段也不能从根本上解决问题；这导致智能计量应用对微服务的请求处理效率低下，不能保证稳定运行。同时造成了CPU、网络等硬件资源的浪费。

发明内容

本发明提供了一种微服务运行管控方法，用于解决计量应用对微服务的请求处理效率低下，不能保证稳定运行的问题。

本发明提供的一种微服务运行管控方法，应用于微服务网关；所述方法包括：

接收来自预设应用的微服务请求；

确定所述微服务网关的第一当前并发请求量，并判断所述第一当前并发请求量是否达到预设的第一并发请求量阈值；

若是，则获取当前请求积压情况；

根据所述当前请求积压情况对所述微服务请求进行响应判定；

当判定通过时，响应所述微服务请求，并生成运行结果；

向所述预设应用返回所述运行结果。

可选地，还包括：

当所述第一当前并发请求量未达到预设的第一并发请求量阈值时，响应所述微服务请求。

可选地，所述根据所述当前请求积压情况对所述微服务请求进行响应判定的步骤，包括：

确定所述当前请求积压情况对应的响应等级区间；

确定所述微服务请求的响应等级；

判定所述响应等级是否处于所述响应等级区间。

可选地，所述当判定通过时，响应所述微服务请求，并生成运行结果的步骤，包括：

当所述响应等级处于所述响应等级区间时，获取所述微服务请求对应的微服务的第二当前并发请求量；

当所述第二当前并发请求量未超过预设第二并发请求量阈值时，响应所述微服务请求，并生成运行结果。

可选地，还包括：

根据所述第二并发请求量阈值为所述微服务分配线程池资源。

本发明提供的一种微服务运行管控装置，应用于微服务网关；所述装置包括：

微服务请求接收模块，接收来自预设应用的微服务请求；

第一判断模块，用于确定所述微服务网关的第一当前并发请求量，并判断所述第一当前并发请求量是否达到预设的第一并发请求量阈值；

当前请求积压情况获取模块，用于若所述第一当前并发请求量大于预设的第一并发请求量阈值时，获取当前请求积压情况；

判定模块，用于根据所述当前请求积压情况对所述微服务请求进行响应判定；

运行结果生成模块，用于当判定通过时，响应所述微服务请求，并生成运行结果；

运行结果返回模块，用于向所述预设应用返回所述运行结果。

可选地，还包括：

响应模块，用于当所述第一当前并发请求量未达到预设的第一并发请求量阈值时，响应所述微服务请求。

可选地，所述判定模块，包括：

响应等级区间确定子模块，用于确定所述当前请求积压情况对应的响应等级区间；

响应等级确定子模块，用于确定所述微服务请求的响应等级；

判定子模块，用于判定所述响应等级是否处于所述响应等级区间。

可选地，所述运行结果生成模块，包括：

第二当前并发请求量获取子模块，用于当所述响应等级处于所述响应等级区间时，获取所述微服务请求对应的微服务的第二当前并发请求量；

运行结果生成子模块，用于当所述第二当前并发请求量未超过预设第二并发请求量阈值时，响应所述微服务请求，并生成运行结果。

可选地，还包括：

线程池资源分配子模块，用于根据所述第二并发请求量阈值为所述微服务分配线程池资源。

从以上技术方案可以看出，本发明具有以下优点：本发明通过预设的第一并发请求量阈值来控制微服务网关的当前并发请求量，当当前并发请求量在控制范围之内时，根据当前请求的挤压情况来判断是否响应所接收到的微服务请求，从而控制微服务请求的响应数量。通过控制微服务网关和微服务的并发请求量，提高了计量应用对微服务的请求处理效率，保证了应用的稳定运行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种微服务运行管控方法的步骤流程图；

图2为本发明实施例提供的一种微服务运行管控方法的流程图；

图3为本发明实施例提供的一种微服务运行管控装置的结构框图。

具体实施方式

本发明实施例提供了一种微服务运行管控方法，用于解决计量应用对微服务的请求处理效率低下，不能保证应用的稳定运行的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种微服务运行管控方法的步骤流程图。

本发明提供的一种微服务运行管控方法，包括：

步骤101，接收来自预设应用的微服务请求；

微服务是一种架构风格，一个大型复杂软件应用由一个或多个微服务组成。系统中的各个微服务可被独立部署，各个微服务之间是松耦合的。每个微服务仅关注于完成一件任务并很好地完成该任务。在这种情况下，每个任务代表着一个小的业务能力。

在本发明实施例中，基于安全、监控等方面的考虑，外部应用都经由微服务网关来请求具体微服务。所以移动应用、PC应用、大屏应用等前端应用根据具体操作，所发出微服务请求，最终都到达微服务分布式服务总线总的微服务网关进行处理。

步骤102，确定当前并发请求量，并判断所述当前并发请求量是否达到预设的第一并发请求量阈值；

在具体实现中，基于数据库、网络、CPU等软硬件设施的承载能力，微服务能够同时处理的微服务请求的数量是有限的，当微服务同时面对超过承载能力的大量并发请求时，数据库与网络等软硬件设施将无法承载巨大的并发请求量，从而影响计量应用的稳定运行。因此，在本发明实施例中，微服务网关在接收到新的微服务请求时，需要确定微服务请求的当前并发请求量，以判断并发请求量是否会给微服务网关带来承载压力。

需要说明的是，由于不同情况下，如每日不同时间、每月不同时间等情况下，计量应用所接收到的微服务请求量差别较大，所以需要针对具体情况设置不同的阈值，因此，在一个示例中，可以对当前计量应用的并发请求量，以及数据库、网络、CPU等软硬件设施的承载能力进行统计，对统计数据进行分析，确定不同情况下所有微服务以及单个微服务的并发请求量阈值。

在接收到微服务请求，并且已经确定微服务网关接收到的微服务请求的当前并发请求量后，可以获取当前情况下的微服务网关的第一并发请求量阈值，以判断微服务网关所接收到的当前并发请求量是否处于安全范围之内。

需要说明的是，第一并发请求量阈值是基于数据库、网络、CPU等软硬件设施的承载能力计算出来的一个较优的数值，在这个数值以内，计量应用能够保持稳定的运行。在这个数值以外，计量应用还是能够在保持较为稳定的运行条件下响应有限的微服务请求。

在本发明实施例中，当所述当前并发请求量未达到预设的第一并发请求量阈值时，运行所述微服务。

具体地，当当前并发请求量为达到预设的第一并发请求量阈值时，表征响应微服务请求不会影响到计量应用的稳定；因此微服务网关可以直接将微服务请求发送至对应的微服务，运行对应的微服务实例。

步骤103，若是，则获取当前请求积压情况；

当当前并发请求量达到预设第一并发请求量阈值时，如果持续响应所接收到的所有请求，则会导致计量应用运行不稳定。但如果完全不响应微服务请求，则会严重影响微服务请求的处理效率。在这种情况下，可以选择有限制地响应微服务请求。

具体地，在本发明实施例中，可以根据当前请求积压情况，来针对性地选择可以响应的微服务请求。

步骤104，根据所述当前请求积压情况对所述微服务请求进行响应判定；

具体地，微服务网关可以采用动态流量控制策略进行流量管控，运维人员根据第一并发请求阈值，针对请求积压情况设置不同的流量控制等级，例如为执行速度快，资源占用少的微服务分配较高的优先级。微服务网关根据阈值以及流量控制等级，对请求进行拒绝判定。

在一个示例中，步骤104可以包括以下几个子步骤：

S11，确定所述当前请求积压情况对应的响应等级区间；

S12，确定所述微服务请求的响应等级；

S13，判定所述响应等级是否处于所述响应等级区间之间。

具体地，运维人员根据第一并发请求阈值，针对请求积压情况设置有不同的流量控制等级。当确定微服务网关当前请求积压情况后，可以获取当前请求积压情况所能响应的微服务请求的等级区间，并优先响应优先级高的微服务请求。判定当前接收到的微服务请求是否处于优先响应的响应等级之间来对请求进行响应判定。

步骤105，当判定通过时，响应所述微服务请求，并生成运行结果；

当判定当前接收到的微服务请求的响应等级处于优先响应的响应等级之间时，可以将微服务请求发送至对应的微服务，运行对应的微服务实例，并生成对应的运行结果。

当判定当前接收到的微服务请求的响应等级不在优先响应的响应等级之间时，则拒绝请求，不再进行相关微服务调用，整个工作流程结束。

在实际应用中，为了避免某一微服务占用大量系统资源，降低微服务实例在运行时相互造成不良影响的概率，步骤105可以包括以下子步骤：

S21，当所述响应等级处于所述响应等级区间之间时，获取所述微服务请求对应的微服务的第二当前并发请求量；

S22，当所述第二当前并发请求量未超过预设第二并发请求量阈值时，响应所述微服务请求，并生成运行结果。

在本发明实施例中，为了避免某一微服务占用大量系统资源，可以为每一个微服务设置一个第二并发请求量阈值，用以限制同时响应的微服务请求的数量。当微服务的第二当前并发请求量未超过预设第二并发请求量阈值时，将所述微服务请求发送至对应的微服务实例运行。

在本发明实施例中，还可以根据第二并发请求量阈值为微服务分配线程池资源。

线程池是一种线程使用模式。线程过多会带来调度开销，进而影响缓存局部性和整体性能。而线程池维护着多个线程，等待着监督管理者分配可并发执行的任务。这避免了在处理短时间任务时创建与销毁线程的代价。线程池不仅能够保证内核的充分利用，还能防止过分调度。可用线程数量应该取决于可用的并发处理器、处理器内核、内存、网络sockets等的数量。

具体地，在本发明实施例中，可以根据每个微服务的并发请求量阈值，为其设定合理的线程池大小，这样可以对微服务运行的实例数量进行一定程度上的限制，实现合理的并发请求量控制。由于线程池的存在，每个实例有足够的资源，不会出现过度竞争。同时每个微服务占用合理的网络、CPU等软硬件资源，从而不会影响其他微服务实例的正常运行。

此外，对于执行速度快、资源占用少的微服务，当线程池用尽后，可以向注册中心申请额外的线程配额，响应更多的请求。

步骤106，向所述预设应用返回所述运行结果。

在本发明实施例中，当微服务实例运行结束后，可以将微服务实例的运行结果返回给预设应用。

为使本领域技术人员充分理解本发明实施例，以下通过具体示例进行说明。

请参阅图2，图2是本发明实施例的一种微服务运行管控方法的流程图。

如图2所示，当微服务网关接收到微服务请求时，判断当前微服务网关所接收到的微服务请求的并发请求量是否达到预设第一并发请求量阈值，当并发请求量未达第一并发请求量阈值时，将请求转发至具体微服务运行。当并发请求量达到第一并发请求量阈值时，对微服务请求进行等级过滤，判断是否过滤该微服务请求；若微服务请求被过滤时，直接结束工作流程；若微服务请求未被过滤时，将请求转发至具体的微服务运行。同时，通过设定的线程池限制同时运行的微服务实例数量，以避免某一微服务占用大量系统资源，降低微服务实例在运行时相互造成不良影响的概率。

从以上技术方案可以看出，本发明具有以下优点：本发明通过预设的第一并发请求量阈值来控制微服务网关的当前并发请求量，当当前并发请求量在控制范围之内时，根据当前请求的挤压情况来判断是否响应所接收到的微服务请求，从而控制微服务请求的响应数量。通过控制微服务网关和微服务的并发请求量，提高了计量应用对微服务的请求处理效率，保证了应用的稳定运行。

请参阅图3，图3是本发明实施例的一种微服务运行管控装置的结构框图。

微服务请求接收模块301，接收来自预设应用的微服务请求；

第一判断模块302，用于确定所述微服务网关的第一当前并发请求量，并判断所述第一当前并发请求量是否达到预设的第一并发请求量阈值；

当前请求积压情况获取模块303，用于若所述第一当前并发请求量大于预设的第一并发请求量阈值时，获取当前请求积压情况；

判定模块304，用于根据所述当前请求积压情况对所述微服务请求进行响应判定；

运行结果生成模块305，用于当判定通过时，响应所述微服务请求，并生成运行结果；

运行结果返回模块306，用于向所述预设应用返回所述运行结果。

在本发明实施例中，所述装置还包括：

响应模块，用于当所述第一当前并发请求量未达到预设的第一并发请求量阈值时，响应所述微服务请求。

在本发明实施例中，所述判定模块304，包括：

响应等级区间确定子模块，用于确定所述当前请求积压情况对应的响应等级区间；

响应等级确定子模块，用于确定所述微服务请求的响应等级；

判定子模块，用于判定所述响应等级是否处于所述响应等级区间之间。

在本发明实施例中，所述运行结果生成模块305，包括：

第二当前并发请求量获取子模块，用于当所述响应等级处于所述响应等级区间之间时，获取所述微服务请求对应的微服务的第二当前并发请求量；

运行结果生成子模块，用于当所述第二当前并发请求量未超过预设第二并发请求量阈值时，响应所述微服务请求，并生成运行结果。

在本发明实施例中，还包括：

线程池资源分配子模块，用于根据所述第二并发请求量阈值为所述微服务分配线程池资源。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种微服务运行管控方法，其特征在于，应用于微服务网关；所述方法包括：

接收来自预设应用的微服务请求；

确定所述微服务网关的第一当前并发请求量，并判断所述第一当前并发请求量是否达到预设的第一并发请求量阈值；

若是，则获取当前请求积压情况；

根据所述当前请求积压情况对所述微服务请求进行响应判定；

当判定通过时，响应所述微服务请求，并生成运行结果；

向所述预设应用返回所述运行结果。

2.根据权利要求1所述的方法，其特征在于，还包括：

当所述第一当前并发请求量未达到预设的第一并发请求量阈值时，响应所述微服务请求。

3.根据权利要求1所述的方法，其特征在于，所述根据所述当前请求积压情况对所述微服务请求进行响应判定的步骤，包括：

确定所述当前请求积压情况对应的响应等级区间；

确定所述微服务请求的响应等级；

判定所述响应等级是否处于所述响应等级区间。

4.根据权利要求3所述的方法，其特征在于，所述当判定通过时，响应所述微服务请求，并生成运行结果的步骤，包括：

当所述响应等级处于所述响应等级区间时，获取所述微服务请求对应的微服务的第二当前并发请求量；

当所述第二当前并发请求量未超过预设第二并发请求量阈值时，响应所述微服务请求，并生成运行结果。

5.根据权利要求4所述的方法，其特征在于，还包括：

根据所述第二并发请求量阈值为所述微服务分配线程池资源。

6.一种微服务运行管控装置，其特征在于，应用于微服务网关；所述装置包括：

微服务请求接收模块，接收来自预设应用的微服务请求；

第一判断模块，用于确定所述微服务网关的第一当前并发请求量，并判断所述第一当前并发请求量是否达到预设的第一并发请求量阈值；

当前请求积压情况获取模块，用于若所述第一当前并发请求量大于预设的第一并发请求量阈值时，获取当前请求积压情况；

判定模块，用于根据所述当前请求积压情况对所述微服务请求进行响应判定；

运行结果生成模块，用于当判定通过时，响应所述微服务请求，并生成运行结果；

运行结果返回模块，用于向所述预设应用返回所述运行结果。

7.根据权利要求6所述的装置，其特征在于，还包括：

响应模块，用于当所述第一当前并发请求量未达到预设的第一并发请求量阈值时，响应所述微服务请求。

8.根据权利要求6所述的装置，其特征在于，所述判定模块，包括：

响应等级区间确定子模块，用于确定所述当前请求积压情况对应的响应等级区间；

响应等级确定子模块，用于确定所述微服务请求的响应等级；

判定子模块，用于判定所述响应等级是否处于所述响应等级区间。

9.根据权利要求8所述的装置，其特征在于，所述运行结果生成模块，包括：

第二当前并发请求量获取子模块，用于当所述响应等级处于所述响应等级区间时，获取所述微服务请求对应的微服务的第二当前并发请求量；

运行结果生成子模块，用于当所述第二当前并发请求量未超过预设第二并发请求量阈值时，响应所述微服务请求，并生成运行结果。

10.根据权利要求9所述的装置，其特征在于，还包括：

线程池资源分配子模块，用于根据所述第二并发请求量阈值为所述微服务分配线程池资源。

Images