CN111355664A

CN111355664A - 一种流量控制方法及装置

Info

Publication number: CN111355664A
Application number: CN202010101854.4A
Authority: CN
Inventors: 唐耀红; 杨硕
Original assignee: Agricultural Bank of China
Current assignee: Agricultural Bank of China
Priority date: 2020-02-19
Filing date: 2020-02-19
Publication date: 2020-06-30

Abstract

本申请公开了一种流量控制方法及装置，应用于SOA系统，方法包括：上游节点接收下游节点发送的状态信息，所述状态信息包括延迟数据和错误率；所述上游节点依据多个所述下游节点发送的所述状态信息，确定各个下游节点的流量分配。所述流量控制方法及装置，代理应用对底层服务访问，实时统计每个节点的延迟数据和错误率，屏蔽服务效果差的节点；该实现能够获取节点到节点之间的网络连接的健康度，而不是仅从外部确定节点与外部的网络连接是否正常，从而能够全面了解各节点的工作状态；此外，本实现能够感知业务层面的错误，并能够据此屏蔽服务异常集群，有利于对节点情况进行更加精准的了解，进而合理的流量控制，提升SOA系统的服务质量。

Description

一种流量控制方法及装置

技术领域

本发明涉及负载控制技术，更具体的说，是涉及一种流量控制方法及装置。

背景技术

在SOA(面向服务的架构)系统中，可以根据业务逻辑划分多个服务，每个服务可通过水平扩展的方式增加自身服务能力，最终形成树状的服务交互结构。

当SOA系统中出现不能够正常服务的“坏节点”时，分配到“坏节点”的查询流量将无结果返回或严重超时，因此，需要识别出SOA系统中的“坏节点”，并将其从可正常服务的节点中排除，以免影响服务质量。当前存在的一种检测“坏节点”的方式，是通过“服务发现”做坏节点检测。具体的，是通过心跳探测检查下挂节点的健康度，如果一个节点能够响应上游节点的心跳探测，则认为是健康节点，会将该节点发布给在线系统查询；在节点异常时，心跳探测失败，服务通知在线系统该节点需要删除，从而使得该节点流量跌至0，避免该异常节点干扰流量。

但上述通过心跳探测发现“坏节点”的方法，存在如下问题：1、心跳检测与实际查询的网络通路是不同的，心跳检测成功说明名字服务与目标服务之间的网络正常，但线上系统经常出现某条网络通路延迟高或者不通的情况，外部心跳检测解决不了这类问题。2、外部心跳检测无法发现服务自身的业务问题，或者说外部探测只能屏蔽部分进程、系统层面的问题。

发明内容

有鉴于此，本发明提供如下技术方案：

一种流量控制方法，应用于SOA系统，包括：

上游节点接收下游节点发送的状态信息，所述状态信息包括延迟数据和错误率；

所述上游节点依据多个所述下游节点发送的所述状态信息，确定各个下游节点的流量分配。

可选的，所述流量控制方法基于远程过程调用静态库的方式嵌入在SOA系统的在线应用中。

可选的，所述上有节点依据多个下游节点发送的所述状态信息，确定各个下游节点的流量分配，包括：

上游节点实时统计每一个下游节点的延迟数据和错误率；

在下游节点的延迟参数超过第一阈值，和/或，该下游节点的错误率超过第二阈值的情况下，将该下游节点的流量限制为0。

可选的，还包括：

在下游节点的延迟参数没有超过第一阈值且该下游节点的错误率不超过第二阈值的情况下，向下游节点均衡分配流量。

可选的，所述延迟数据包括节点队列堵塞数据、网络超时数据、操作系统负载数据。

可选的，还包括：在所述SOA系统中的延迟数据表征延迟时间达到第一时间的节点满足第一条件的情况下，对SOA系统进行服务降级。

一种流量控制装置，应用于SOA系统，包括：

状态收集模块，用于接收下游节点发送的状态信息，所述状态信息包括延迟数据和错误率；

流量决策模块，用于依据多个所述下游节点发送的所述状态信息，确定各个下游节点的流量分配。

可选的，所述流量控制装置基于远程过程调用静态库的方式嵌入在SOA系统的在线应用中。

可选的，所述流量决策模块包括：

实时统计模块，用于实时统计每一个下游节点的延迟数据和错误率；

流量配置模块，用于在下游节点的延迟参数超过第一阈值，和/或，该下游节点的错误率超过第二阈值的情况下，将该下游节点的流量限制为0。

可选的，所述流量配置模块还用于：在下游节点的延迟参数没有超过第一阈值且该下游节点的错误率不超过第二阈值的情况下，向下游节点均衡分配流量。

经由上述的技术方案可知，与现有技术相比，本发明实施例公开了一种流量控制方法及装置，应用于SOA系统，方法包括：上游节点接收下游节点发送的状态信息，所述状态信息包括延迟数据和错误率；所述上游节点依据多个所述下游节点发送的所述状态信息，确定各个下游节点的流量分配。所述流量控制方法及装置，代理应用对底层服务访问，实时统计每个节点的延迟数据和错误率，屏蔽服务效果差的节点；该实现能够获取节点到节点之间的网络连接的健康度，而不是仅从外部确定节点与外部的网络连接是否正常，从而能够全面了解各节点的工作状态；此外，本实现能够感知业务层面的错误，并能够据此屏蔽服务异常集群，有利于对节点情况进行更加精准的了解，进而合理的流量控制，提升SOA系统的服务质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种流量控制方法的流程图；

图2为本发明实施例公开的上游节点确定流量分配的流程图；

图3为本发明实施例公开的节点功能实现流程示意图；

图4为本发明实施例公开的集群模式下节点功能实现流程示意图；

图5为本发明实施例公开的一种流量控制装置的结构示意图；

图6为本发明实施例公开的流量决策模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例公开的一种流量控制方法的流程图，图1所示方法应用于SOA系统，参见图1所示，流量控制方法可以包括：

步骤101：上游节点接收下游节点发送的状态信息，所述状态信息包括延迟数据和错误率。

在SOA系统中，多层次的服务节点可呈树状的服务交互结构。相对于下游节点，上游节点是先接收到查询流量的节点，即针对同一个查询流量，其一定是先经过上游节点，再由上游节点分配给下游节点；一个节点可以是其他节点的下游节点，也可以是多个节点的上游节点。

本实现中，在上游节点和下游节点交互过程中，下游节点可根据预置策略(如定时、不定时、特定条件触发)向上游节点反馈其状态信息，该状态信息是表征下游节点自身的工作情况的信息。本实施中，状态信息可以但不限制为包括延迟数据和错误率。

其中，延迟数据可以但不限制为包括流量查询响应时间，响应时间越长，证明该下游节点的服务性能越差。当然，下游节点的服务性能可以包含多项指标，也可能与多种原因有关，在后面的实施例中将会进行具体介绍。

错误率可以为下游节点正常工作中出现响应错误、处理错误等异常情况的概率，若某个下游节点的错误率较高，则会给用户带来服务质量不佳的体验；因此，本申请实施例中，将能够反应业务层面错误的错误率也作为下游节点向上游节点上报的状态信息中的一项参数。

步骤101后，进入步骤102。

步骤102：所述上游节点依据多个所述下游节点发送的所述状态信息，确定各个下游节点的流量分配。

上游节点接收到下游节点上报的状态信息后，可以根据预先配置的策略，基于状态信息确定下游节点是否满足预设条件，在确定下游节点满足预设条件，服务状态不佳(延迟时间长或错误率高)时，控制停止其继续服务，即不再向服务状态不佳的下游节点分配流量，以免影响服务质量；在确定下游节点的服务指标(延迟时间和错误率)均满足正常服务标准的情况下，正常为该下游节点分配流量。

本实施例所述流量控制方法，代理应用对底层服务访问，实时统计每个节点的延迟数据和错误率，屏蔽服务效果差的节点；该实现能够获取节点到节点之间的网络连接的健康度，而不是仅从外部确定节点与外部的网络连接是否正常，从而能够全面了解各节点的工作状态；此外，本实现能够感知业务层面的错误，并能够据此屏蔽服务异常集群，有利于对节点情况进行更加精准的了解，进而合理的流量控制，提升SOA系统的服务质量。

上述实施例所述的流量控制方法，可基于远程过程调用静态库的方式嵌入在SOA系统的在线应用中，而后直接在SOA系统中的节点实施执行。

图2为本发明实施例公开的上游节点确定流量分配的流程图，如图2所示，所述上有节点依据多个下游节点发送的所述状态信息，确定各个下游节点的流量分配，可以包括：

步骤201：上游节点实时统计每一个下游节点的延迟数据和错误率。

其中，所述延迟数据可以但不限制为包括节点队列堵塞数据、网络超时数据、操作系统负载数据。

步骤202：在下游节点的延迟参数超过第一阈值，和/或，该下游节点的错误率超过第二阈值的情况下，将该下游节点的流量限制为0。

例如，第一阈值为15秒，在下游节点的延迟时间超过15秒时，确定该下游节点响应时间过长，认为服务不合格，将该下游节点的流量限制为0，直至其延迟时间低于第一阈值。或者再如，第二阈值为10％，在下游节点的错误率超过10％的情况下，认为该下游节点错误率较高，为了不影响服务质量，将该下游节点的流量限制为0。上述两种情况任意满足一种或同时满足两种，都可以将该下游节点的流量限制为0，防止服务质量持续恶化。

步骤203：在下游节点的延迟参数没有超过第一阈值且该下游节点的错误率不超过第二阈值的情况下，向下游节点均衡分配流量。

在下游节点工作情况满足预设要求的情况下，可以正常的按照负载均衡的策略或其他负载策略为其分配合适的流量，使其持续提供服务。

在其他实现中，流量控制方法还可以包括：在所述SOA系统中的延迟数据表征延迟时间达到第一时间的节点满足第一条件的情况下，对SOA系统进行服务降级。

本申请实施例中，流量控制方法具体可以是基于远程过程调用的多级流量控制方法，其能够在线实时决策流量流向，作为一个高可用的远程过程调用静态库嵌入到在线应用中，代理应用对底层服务的访问，实时统计每个节点的延迟和错误率，屏蔽高延迟节点、高错误率节点，在下游节点延迟上升到无法接受之前主动限流，让流量流向此刻此节点看到的健康路径上去。

在一个上下游多节点交叉访问的系统中，外部探测的方式是面向节点的，即每一个节点有一个健康度，而本技术是面向边的，每一条边都有一个健康度。显然，边的个数要远大于节点个数，对系统状态的刻画也更加全面，同时，嵌入到在线系统有一个天然的优势：本技术可以感知业务层面的错误，并能够据此屏蔽服务异常集群。

在一个具体实现中，将响应延迟(对应延迟数据)和异常率(对应错误率)进行单独考量或组合考量，作为节点工作状态好坏的评判标准。

节点队列堵塞、网络超时、操作系统负载高等异常情况均能在响应延迟上反应出来。同样，系统负载也能从响应延迟上体现，因而本申请的降级(限流)策略和负载均衡策略也可基于响应延迟。而业务层面错误可通过“异常率”反应出来，可作为智能服务节点屏蔽和选择的依据。

为了做到在线实时流量决策，节点之间可通过“流量决策模块”和“状态反馈模块”进行交互。这两个模块作为一个高可用的RPC(远程过程调用)lib(静态库)嵌入到在线应用中，代理应用对底层服务的访问，实时统计每个节点的延迟和异常率。

因此本申请实施例返流量控制方法在实施的时候，需要流量发送方和接收方除了正常业务模块外，还需要分别集成相应的流量控制和状态反馈模块。

图3为本发明实施例公开的节点功能实现流程示意图，结合图3所示，上游服务节点同时集成业务模块和流量决策模块，业务模块根据流量决策模块计算结果，向下游服务节点的业务模块发送流量；下游服务节点同时集成业务模块和状态反馈模块，状态反馈模块采集业务模块状态(如延迟时间、错误率等)。

下游服务的状态反馈模块将服务状态反馈到上游服务的流量决策模块，上游服务收到下游服务反馈的服务节点状态，根据预设置规则，决定流量控制的方式(如增加流量发送、减少流量发送等)。上游服务流量决策模块将决策结果通知到业务模块，业务模块根据决策结果实际采取相应的流量控制措施。

需要说明的是，在通常的生产环境中，服务是以集群的方式部署，在集群模式下本技术方案实施方式和单例模式类似，如图4所示，为本发明实施例公开的集群模式下节点功能实现流程示意图。结合图4可知，与单例部署模式不同的是，上游服务的流量决策模块将收集到下游多个节点的状态反馈结果。因此，上游服务的流量决策模块将根据多个下游状态反馈结果综合考虑后进行流量发送决策。

基于本申请实施例以上内容公开的流量控制方法，能够达到以下效果：

1、实现自适应流量控制。在实际复杂生产环境下，由于各种原因(如设备故障、网络延迟等)造成部分服务节点处理能力下降，本技术可进行检测并启动对该节点限流措施，避免服务状态恶化。

2、实现快速服务降级。由于某些原因需要对服务进行降级，可将流量决策阈值进行相应参数调整，可以快速触发对所有节点进行限流，直至服务降级完成。

3、避免异构集群流量分配不均问题。不同硬件节点可提供相同服务，使用本技术后，可以根据节点处理能力进行智能流量分配，实现“能者多劳”，避免了异构集群流量分配不均的问题。

4、业务错误感知。通过对服务“异常率”的检测，可从业务层面感知到错误，并对出错的服务节点自动采取限流措施。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。

图5为本发明实施例公开的一种流量控制装置的结构示意图，图5所示装置应用于SOA系统，参见图5所示，流量控制装置50可以包括：

状态收集模块501，用于接收下游节点发送的状态信息，所述状态信息包括延迟数据和错误率。

流量决策模块502，用于依据多个所述下游节点发送的所述状态信息，确定各个下游节点的流量分配。

本实施例所述流量控制装置，代理应用对底层服务访问，实时统计每个节点的延迟数据和错误率，屏蔽服务效果差的节点；该实现能够获取节点到节点之间的网络连接的健康度，而不是仅从外部确定节点与外部的网络连接是否正常，从而能够全面了解各节点的工作状态；此外，本实现能够感知业务层面的错误，并能够据此屏蔽服务异常集群，有利于对节点情况进行更加精准的了解，进而合理的流量控制，提升SOA系统的服务质量。

上述实施例所述的流量控制装置，可基于远程过程调用静态库的方式嵌入在SOA系统的在线应用中，而后直接在SOA系统中的节点实施执行。

图6为本发明实施例公开的流量决策模块的结构示意图，结合图6所示，流量决策模块502可以包括：

实时统计模块601，用于实时统计每一个下游节点的延迟数据和错误率。

流量配置模块602，用于在下游节点的延迟参数超过第一阈值，和/或，该下游节点的错误率超过第二阈值的情况下，将该下游节点的流量限制为0。

在其他的实现中，所述流量配置模块还可以用于：在下游节点的延迟参数没有超过第一阈值且该下游节点的错误率不超过第二阈值的情况下，向下游节点均衡分配流量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种流量控制方法，应用于SOA系统，其特征在于，包括：

2.根据权利要求1所述的流量控制方法，其特征在于，所述流量控制方法基于远程过程调用静态库的方式嵌入在SOA系统的在线应用中。

3.根据权利要求1所述的流量控制方法，其特征在于，所述上有节点依据多个下游节点发送的所述状态信息，确定各个下游节点的流量分配，包括：

上游节点实时统计每一个下游节点的延迟数据和错误率；

4.根据权利要求3所述的流量控制方法，其特征在于，还包括：

5.根据权利要求1所述的流量控制方法，其特征在于，所述延迟数据包括节点队列堵塞数据、网络超时数据、操作系统负载数据。

6.根据权利要求1所述的流量控制方法，其特征在于，还包括：在所述SOA系统中的延迟数据表征延迟时间达到第一时间的节点满足第一条件的情况下，对SOA系统进行服务降级。

7.一种流量控制装置，应用于SOA系统，其特征在于，包括：

8.根据权利要求7所述的流量控制装置，其特征在于，所述流量控制装置基于远程过程调用静态库的方式嵌入在SOA系统的在线应用中。

9.根据权利要求8所述的流量控制装置，其特征在于，所述流量决策模块包括：

10.根据权利要求9所述的流量控制方法，其特征在于，所述流量配置模块还用于：在下游节点的延迟参数没有超过第一阈值且该下游节点的错误率不超过第二阈值的情况下，向下游节点均衡分配流量。