CN115460086A - 分布式中间件的实时防护系统、方法及计算机可读存储介质 - Google Patents
分布式中间件的实时防护系统、方法及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115460086A CN115460086A CN202210994913.4A CN202210994913A CN115460086A CN 115460086 A CN115460086 A CN 115460086A CN 202210994913 A CN202210994913 A CN 202210994913A CN 115460086 A CN115460086 A CN 115460086A
- Authority
- CN
- China
- Prior art keywords
- flow control
- consumer
- flow
- strategy
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000033228 biological regulation Effects 0.000 claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 230000008859 change Effects 0.000 claims abstract description 17
- 238000011217 control strategy Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000009194 climbing Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/19—Flow control; Congestion control at layers above the network layer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种分布式中间件的实时防护系统、方法及计算机可读存储介质，系统包括：分布式键值存储集群，用于存储流控配置策略，并予以下发；消费者集群，包括至少一消费者，消费者配置有流控模块；流控模块包括：所述流控模块包括：监听单元，用于待流控模块启动后，监听分布式键值存储集群下发的流控配置策略，当监听到流控配置策略发生变化时，解析该流控配置策略的数据变化；消费者启动单元，用于启动消费者，并于消费者中获取消费者的消费配置信息；限流管理单元，用于依据消费配置信息启动限流调控策略；流量控制单元，用于根据限流调控策略对所述消费配置信息进行限流调控。本发明可以在分布式场景下精准调控流量阈值。
Description
技术领域
本发明属于通信技术领域，特别是涉及一种分布式中间件的实时防护系统、方法及计算机可读存储介质。
背景技术
随着互联网技术的飞速发展，软件的架构也变得越来越复杂。为了解决应用之间的异步、解耦、流量削峰等问题，通常会在应用之间引入消息中间件。但是随着业务的飞速增长及用户量的激增，不同的应用每时每刻都会产生大量的消息，面对这些海量数据，如果不对数据消费速度进行控制，极有可能导致消费服务及下游服务崩溃，从而引发灾难性的后果。因此，如何平滑地消费这些消息，确保服务的安全及稳定就变成了一个亟需解决的问题。
近年来，消息中间件都在进行不断的迭代，增加了各种各样的新特性，以阿里开源的RocketMQ为例，为了迎接云原生时代的新挑战，在5.0的开源版本中做了很多的技术升级。第一个特性就是全面异步化，更换了客户端和服务端的通信协议。第二个特性，全链路Tracing在消息轨迹的监测中重新设计了span拓扑模型，此外还提供了准确多样的Metrics、规范化的日志logging等等。
这些新特性解决的都是MQ服务本身的问题，对于应用如何平滑地消费数据这个问题一直都没有解决。现有的流控技术通常都是在应用中通过硬编码的方式限制单机的速度，只能做到单机的流控。在分布式场景下，应用的实例是随时变化的，可能会增加应用实例也可能减少应用实例。在增加实例的情况下，虽然保护了当前应用不会出问题，但是下游服务的流量将会增加，此时会有一定的风险导致下游服务故障。在减少应用实例的情况下，虽然能够保证消费服务及下游服务的稳定，但是整个集群的消费速度是在不断降低的，这会导致消息的延时。所以这种单机流控的方式，在分布式环境下会有很多问题，不能从根本上解决中间件的流控问题。
因此，如何提供一种分布式中间件的实时防护系统、方法及计算机可读存储介质，以解决现有技术无法解决消息中间件的精准流控等问题，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种分布式中间件的实时防护系统、方法及计算机可读存储介质，用于解决现有技术消息中间件的精准流控的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种分布式中间件的实时防护系统，包括：分布式键值存储集群，用于存储流控配置策略，并予以下发；消费者集群，与所述分布式键值存储集群连接；其中，所述消费者集群包括至少一消费者，所述消费者配置有流控模块；所述流控模块包括：监听单元，用于待所述流控模块启动后，监听所述分布式键值存储集群下发的流控配置策略，当监听到所述流控配置策略发生变化时，解析该流控配置策略的数据变化；消费者启动单元，用于在所述流控配置策略发生变化时，启动所述消费者，并于所述消费者中获取所述消费者的消费配置信息；限流管理单元，用于依据所述消费配置信息启动限流调控策略；流量控制单元，用于根据所述限流调控策略对所述消费配置信息进行限流调控。
于本发明的一实施例中，所述流控配置策略的数据变化包括待消费信息的流量总量的变化；所述消费配置信息包括待消费信息、消费主题及消费组信息。
于本发明的一实施例中，所述限流调控策略为依据所述消费主题拉取对应的消息队列，产生通过所述消息队列的限流阈值的策略；当待消费信息的流量小于等于所述限流阈值时，所述流量控制单元直接发起所述待消费信息；当待消费信息的流量大于所述限流阈值时，所述流量控制单元拒绝所述待消费信息，将所述待消费信心放入延迟队列。
于本发明的一实施例中，所述限流调控策略包括均匀队列分配策略；启动所述均匀队列分配策略时，所述限流管理单元拉取与所述消费主题对应的消息队列，对所述消息队列的进行计数，并依据所述消费组信息，将所有消息队列均匀分配给不同消费者；计算通过每个消息队列的第一限流阈值；所述第一限流阈值为启动所述均匀队列分配策略形成的限流调控的结果。
于本发明的一实施例中，每个消息队列的第一限流阈值等于待消费信息的流量总量除以消息队列的队数。
于本发明的一实施例中，所述限流调控策略包括权重队列分配策略；启动所述权重队列分配策略时，所述限流管理单元拉取与所述消费主题对应的消息队列，基于预先为消息队列配置的权重属性值，计算通过每个消息队列的第二限流阈值；其中，所述第二限流阈值为启动权重队列分配策略形成的限流调控的结果；所述权重属性值用于表示该消息队列的拉取优先级。
于本发明的一实施例中，每个消息队列的第二限流阈值的计算公式为：
其中，q(i)表示编号为i的消息队列的权重属性值，n为消息队列的数量，t表示待消费信息的流量总量。
于本发明的一实施例中，所述流控模块还包括：监控单元，用于监控消费速度。
于本发明的一实施例中，所述流控模块以流控插件方式实现；所述流控插件采用字节码方式植入至所述消费者；采用字节码方式植入至所述消费者的过程包括：于所述流控插件中定义两个拦截点，并向虚拟机注册所述拦截点的信息；当所述虚拟机加载所述拦截点的信息时，触发文件加载事件，回调所述流控插件的增强逻辑，并将所述流控插件的增强逻辑植入至所述消费者集群中。
本发明另一方面提供一种分布式中间件的实时防护方法，应用于配置有流控插件的消费者集群，所述消费者集群与所述分布式键值存储集群连接；所述分布式键值存储集群，用于存储流控配置策略，并予以下发至所述消费者集群；所述消费者集群包括至少一消费者，所述消费者配置有流控模块；所述分布式中间件的实时防护方法包括：待所述流控模块启动后，监听所述分布式键值存储集群下发的流控配置策略，当监听到所述流控配置策略发生变化时，解析该流控配置策略的数据变化；在所述流控配置策略发生变化时，启动所述消费者，并于所述消费者中获取所述消费者的消费配置信息；依据所述消费配置信息启动启动限流调控策略；根据所述限流调控策略对所述消费配置信息进行限流调控。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述分布式中间件的实时防护方法。
如上所述，本发明的分布式中间件的实时防护系统、方法及计算机可读存储介质，具有以下有益效果：
第一，本发明通过限流调控策略在分布式场景下可以精准调控流量阈值；
第二，本发明能够做到流控策略的实时生效；
第三，与业务逻辑解耦，本发明通过采用字节码技术在无侵入地情况下加载流控逻辑；
第四，本发明支持自定义队列分配策略。
附图说明
图1显示为本发明应用于一通信架构的结构示意图。
图2显示为本发明的分布式中间件的实时防护系统于一实施例中结构示意图。
图3显示为本发明的流控插件于一实施例中的原理结构示意图。
图4显示为本发明的均匀队列分配策略的应用示例图。
图5显示为本发明的权重队列分配策略的应用示例图。
图6显示为本发明的采用分布式中间件的实时防护系统于不同时间段的消费速度监控示例图。
图7A显示为本发明的未加入流控插件的CPU使用情况监控图。
图7B显示为本发明的加入流控插件的CPU使用情况监控图。
图8A显示为本发明的未接入插件时消费100万条消息的内存使用示意图。
图8B显示为本发明的接入插件时消费100万条消息的内存使用示意图。
图9A显示为本发明的未接入流控插件的cpu使用情况示意图。
图9B显示为本发明的接入流控插件的cpu使用情况示意图。
图10A显示为本发明的未接入流控插件的内存使用情况示意图。
图10B显示为本发明的接入流控插件的内存使用情况示意图。
图11分布式中间件的实时防护方法于一实施例中的流程示意图。
元件标号说明
2 分布式中间件的实时防护系统
3 分布式键值存储集群
4 消费者集群
41 消费者
42 流控模块
421 监听单元
422 消费者启动单元
423 限流管理单元
424 流量控制单元
425 监控模块
S11～S14 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本申请提供一种分布式中间件的实时防护系统，包括：
分布式键值存储集群，用于存储流控配置策略，并予以下发；
消费者集群，与所述分布式键值存储集群连接；其中，所述消费者集群包括至少一消费者，所述消费者配置有流控模块；所述流控模块包括：
监听单元，用于待所述流控模块启动后，监听所述分布式键值存储集群下发的流控配置策略，当监听到所述流控配置策略发生变化时，解析该流控配置策略的数据变化；
消费者启动单元，用于在所述流控配置策略发生变化时，启动所述消费者，并于所述消费者中获取所述消费者的消费配置信息；
限流管理单元，用于依据所述消费配置信息启动限流调控策略；
流量控制单元，用于根据所述限流调控策略对所述消费配置信息进行限流调控。
以下将结合图示对本实施例所提供的分布式中间件的实时防护系统进行详细描述。本实施例所述分布式中间件的实时防护系统应用于如图1所示的通信架构中。所述通信架构包括生产者集群(Producer集群)、名称服务器集群(NameServer集群)、控制器集群(Broker集群)、消费者集群(Consumer集群)及分布式键值存储集群(ETCD集群)。其中，消息由生产者集群产生通过MQ路由策略进行消息投递，最终会存储在Broker集群上，下游消费者集群会根据flow-control-plugin流控模块的策略实时准确地消费一定量的消息。生产者集群与名称服务器集群中的其中一个节点(随机选择)建立长连接，定期从名称服务器集群获取消费主题路由信息，通过MQ的负载均衡模块选择相应的控制器集群队列进行消息投递。名称服务器集群是一个主题路由注册中心，支持控制器的动态注册与发现。控制器主要负责消息的存储、投递和查询以及保证服务高可用，每个控制器与名称服务器集群中的所有节点建立长连接，定时注册主题信息到所有名称服务节点。消费者集群与名称服务器集群中的其中一个节点(随机选择)建立长连接，定期从名称服务器集群获取主题路由信息通过推或者拉的模式进行消息消费。
请参阅图2，显示为分布式中间件的实时防护系统于一实施例中结构示意图。如图2所示，所述分布式中间件的实时防护系统2包括分布式键值存储集群3及与所述分布式键值存储集群连接的消费者集群4。所述消费者集群4包括至少一消费者41，例如，3个消费者41A，41B，41C，每一所述消费者配置有流控模块42(所述流控模块42于实际应用中以流控插件，flow-control-plugin方式实现)。
在本实施例中，所述分布式键值存储集群3用于存储流控配置策略，并予以下发及流控插件节点的互联。所述流控插件42用于负责流控策略的解析、流控阈值的分配、消息的限流。请参阅图3，显示为流控模块于一实施例中的原理结构示意图。如图3所示，所述流控模块42包括监听单元421、消费者启动单元422、限流管理单元423、流量控制单元424及监控模块425。
在本实施例中，所述监听单元421用于待所述流控插件启动后，监听所述分布式键值存储集群下发的流控配置策略，当监听到所述流控配置策略发生变化时，解析该流控配置策略的数据变化。在本实施例中，所述流控配置策略的数据变化包括待消费信息的流量总量的变化。
所述消费者启动单元422用于在所述流控配置策略发生变化时，监听所述消费者的启动，当监听到消费者启动后，获取该消费者的消费配置信息。在本实施例中，所述消费配置信息包括待消费信息、消费信息的起始点、消费信息的终点、消费主题及消费组信息等等。在实际应用中，所述待消费消息可以为订单信息，业务信息等。
所述限流管理单元423用于调用并初始化与之关联的限流器，依据所述消费配置信息启动限流调控策略。在本实施例中，每一消费者关联一限流器，所述限流器可产生限流调控策略。所述限流调控策略为依据所述消费主题拉取对应的消息队列，产生通过所述消息队列的限流阈值的策略，包括均匀队列分配策略或权重队列分配策略等。
所述流量控制单元424用于根据所述限流调控策略对所述消费配置信息进行限流调控，并依据限流调控的结果，进行流量分配。其中，当待消费信息的流量小于等于所述限流阈值时，所述流量控制单元直接发起所述待消费信息；当待消费信息的流量大于所述限流阈值时，所述流量控制单元拒绝所述待消费信息，将所述待消费信心放入延迟队列。
具体地，所述限流管理单元423启动所述均匀队列分配策略时，拉取与所述消费主题对应的消息队列，对所述消息队列的进行计数，并依据所述消费组信息，将所有消息队列均匀分配给不同消费者；计算通过每个消息队列的第一限流阈值。若待消费信息的流量小于等于所述第一限流阈值，所述流量控制单元424则直接发起待消费信息；若大于所述第一限流阈值，所述流量控制单元424则拒绝此待消费信息，将此待消费信息放入延迟队列。在本实施例中，所述第一限流阈值为启动所述均匀队列分配策略形成的限流调控的结果。
请参阅图4，显示为均匀队列分配策略的应用示例图。如图4所示，所述限流管理单元423拉取与所述消费主题对应的消息队列有10个，三个消费者c1，c2及c3，FC1，FC2，FC3为均匀队列分配策略。
在所述均匀队列分配策略下，消息队列的分配如图4所示，消费者c1分得4个消息队列、消费者c2分得3个消息队列、消费者c3分得3个消息队列。采用均匀队列分配策略的流量分配过程如下：
首先，拉取当前消费主图对应的消息队列，并将队列数count计数为10；
其次，为了使队列分配到的限流阈值一致，对上一步拉取到的消息队列进行排序(排序是为了让各客户端都有一致的分配顺序)。
然后，在计算通过每个消息队列的第一限流阈值。其中，每个消息队列的第一限流阈值等于待消费信息的流量总量除以消息队列的队数，即threshold1＝sumThreshold/count。由于整除的问题，最后第一限流阈值的分配结果为threshold或者threshold+1。为了让不同队列消费进度稳定，需注意消息队列的轮换。
最后，若待消费信息的流量小于等于所述第一限流阈值，则直接发起待消费信息，若大于所述第一限流阈值，则拒绝此待消费信息，将此待消费信息放入延迟队列。
通过所述均匀队列分配策略的分配方式，可以保证在消费者实例增加或减少的场景下仍然可以保证整个限流阈值的稳定。
具体地，所述限流管理单元423启动所述权重队列分配策略时，拉取当前消费主图对应的消息队列，基于预先为消息队列配置的权重属性值，计算通过每个消息队列的第二限流阈值；若待消费信息的流量小于等于所述第二限流阈值，流量控制单元424则直接发起待消费信息，若大于所述第二限流阈值，流量控制单元424则拒绝此次请求，将此次请求放入延迟队列。其中，所述第二限流阈值为启动权重队列分配策略形成的限流调控的结果；所述权重属性值用于表示该消息队列的拉取优先级。
在本实施例中，每个消息队列的第二限流阈值的计算公式为：
其中，q(i)表示编号为i的消息队列的权重属性值，n为消息队列的数量，t表示待消费信息的流量总量。
请参阅图5，显示为权重队列分配策略的应用示例图。如图5所示，所述限流管理单元423拉取与所述消费主题对应的消息队列有10个，三个消费者c1，c2及c3，FC1，FC2，FC3为权重队列分配策略。继续参阅图5，每一个消息队列加入权重属性值，即左边是的队列编号，右边是该消息队列的权重属性值，0号队列权重为5，1号队列权重为10,...，9号队列权重值为10。采用权重队列分配策略的流量分配过程如下：
根据公式
计算每个消息队列的第二限流阈值。假设t为100，以编号0的队列为例，带入公式最终得到0号队列的阈值为5，表示每秒从0号队列拉取5条消息，依次类推，最后的9号队列拉取10条消息。
在本实施例中，采用权重队列分配策略进行流控可以满足各种自定义的需求，也可以直接控制阈值的大小，从而控制每个队列的消费速度。
所述监控模块425用于监控消费速度。
具体地，所述监控模块425根据一时间段内接收的待消费信息的流量总量，计算得到消费速度，以此实现消费速度的监控。
请参阅图6，显示为采用分布式中间件的实时防护系统于不同时间段的消费速度监控示例图。如图6所示，消费者在不同时间段的消费速度监控，整个过程共进行了3次流控调整分别是60、6000、12000，每个阶段的调整都会经过攀升和稳定两个阶段，在稳定阶段可以看出，三次调整的阈值，最终都会精准地停留在各自的阈值范围内，达到了精准控制的目标。当流控阈值变化时，消费速度图会立即出现攀升阶段，可以说明流控策略是实时下发的，同样达到了实时下发的目标。因此，图6可以证明本实施例的限流技术确实做到了精准实时。
在本实施例中，所述流控模块42以流控插件方式实现，所述流控插件采用字节码方式植入至所述消费者，以实现插件的无侵入运行。
具体地，所述流控插件采用字节码方式植入至所述消费者的过程包括：于所述流控插件中定义两个拦截点，并向虚拟机注册所述拦截点的信息；当所述虚拟机加载所述拦截点的信息时，触发文件加载事件，回调所述流控插件的增强逻辑，并将所述流控插件的增强逻辑植入至所述消费者集群中。
本实施例针对应用进行了防护效果对比实验，同样消费100万消息数据，未加入流控插件与加入流控插件的效果如下：
(1)对CPU的保护。
请参阅图7A和图7B，分别显示为未加入流控插件/加入流控插件的CPU使用情况监控图。如图7A所示，不接入流控插件的应用cpu达到了90％左右，服务几乎在崩溃边缘。如图7B所示，接入了流控插件同时集群限流设置到了1万的阈值。而接入了限流插件的应用cpu稳定在10％左右，可以保证应用安全地消费所有的数据。保障了应用的稳定性。
(2)对内存的保护
请参阅图8A和图8B，分别显示为未接入插件时/接入插件时消费100万条消息的内存使用示意图。如图8B所示，应用接入插件，并将阈值调整到1w时的内存使用情况，未接入流控插件的应用内存达到了2.5G，对于3G系统来说负载已经相当高了，处于崩溃边缘。而接入流控插件的应用内存只消耗了200M左右，应用可以很安全地消费者100w的消息。因此，插件的接入可以有效地保证应用在安全的阈值下，平滑地消费掉消息，当流量激增时，不会将系统打挂。
(3)关于未接入流控插件和接入流控插件cpu及内存的对比
首先请查阅未接入流控插件和接入流控插件的cpu使用情况，分别如图9A和9B所示。图9A为未安装插件情况下消费100w条消息，cpu使用情况。图9B是安装插件之后同样消费100w条消息，cpu使用情况趋势图。从图9A和图9B对比中中可以明显看出，同样消费100w的数据，整个cpu使用走势一致，可以充分证明插件不会对cpu有任何的损耗。
接着请查阅未接入流控插件和接入流控插件的内存的对比，分别如图10A和10B所示。图10A为未安装插件情况下消费100w条消息，内存使用情况趋势。图10B是安装插件后，消费100w条消息内存使用情况趋势图。从图10A和10B对比中可以看出，未使用插件的应用在稳定阶段消耗的内存大约在50M左右，使用插件的应用在稳定阶段消耗的内存大约也是50M左右。从上述对比可以看出，插件对内存的损耗为零。
需要说明的是，应理解以上系统的各个模块/单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块/单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块/单元通过处理元件调用软件的形式实现，部分模块/单元通过硬件的形式实现。例如，x模块/单元可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块/单元的功能。其它模块/单元的实现与之类似。此外这些模块/单元全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块/单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块/单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable GateArray，简称FPGA)等。再如，当以上某个模块/单元通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块/单元可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
本实施例所述分布式中间件的实时防护系统，具有以下有益效果：
第一，所述分布式中间件的实时防护系统在分布式场景下可以精准调控流量阈值；
第二，所述分布式中间件的实时防护系统能够做到流控策略的实时生效；
第三，与业务逻辑解耦，所述分布式中间件的实时防护系统在无侵入地情况下加载流控逻辑；
第四，所述分布式中间件的实时防护系统支持自定义队列分配策略。
实施例二
本实施例还提供一种分布式中间件的实时防护方法，应用于配置有流控插件的消费者集群，所述消费者集群与所述分布式键值存储集群连接；所述分布式键值存储集群，用于存储流控配置策略，并予以下发至所述消费者集群；所述消费者集群包括至少一消费者，所述消费者配置有流控模块；所述分布式中间件的实时防护方法包括：
待所述流控模块启动后，监听所述分布式键值存储集群下发的流控配置策略，当监听到所述流控配置策略发生变化时，解析该流控配置策略的数据变化；
在所述流控配置策略发生变化时，启动所述消费者，并于所述消费者中获取所述消费者的消费配置信息；
依据所述消费配置信息启动启动限流调控策略；
根据所述限流调控策略对所述消费配置信息进行限流调控。
以下将结合图示对本实施例所提供的分布式中间件的实时防护方法进行详细描述。本实施例所述分布式中间件的实时防护方法应用于配置有流控插件的消费者集群，所述消费者集群与所述分布式键值存储集群连接；所述分布式键值存储集群，用于存储流控配置策略，并予以下发至所述消费者集群；所述消费者集群包括至少一消费者，每一所述消费者配置有流控模块。在本实施例中，所述流控模块以流控插件的形式实现，并采用字节码技术为所述消费者配置有流控插件，以实现插件的无侵入运行。
具体地，通过于所述流控模块中定义两个拦截点，并向虚拟机注册所述拦截点的信息；当所述虚拟机加载所述拦截点的信息时，触发文件加载事件，回调所述流控插件的增强逻辑，并将所述流控插件的增强逻辑植入至所述消费者集群中。
请参阅图11，显示为分布式中间件的实时防护方法于一实施例中的流程示意图。如图11所示，所述分布式中间件的实时防护方法具体包括以下步骤：
S11，待所述流控插件启动后，监听所述分布式键值存储集群下发的流控配置策略，当监听到所述流控配置策略发生变化时，解析该流控配置策略的数据变化。在本实施例中，所述流控配置策略的数据变化包括待消费信息的流量总量的变化。
S12，在所述流控配置策略发生变化时，监听所述消费者的启动，当监听到消费者启动后，获取该消费者的消费配置信息。在本实施例中，所述消费配置信息包括待消费信息、消费信息的起始点、消费信息的终点、消费主题及消费组信息等等。在实际应用中，所述待消费消息可以为订单信息，业务信息等。
S13，调用并初始化与之关联的限流器，依据所述消费配置信息启动限流调控策略。在本实施例中，所述限流调控策略为依据所述消费主题拉取对应的消息队列，产生通过所述消息队列的限流阈值的策略，所述限流调控策略包括均匀队列分配策略或权重队列分配策略等。
具体地，所述S13包括启动所述均匀队列分配策略时，拉取与所述消费主题对应的消息队列，对所述消息队列的进行计数，并依据所述消费组信息，将所有消息队列均匀分配给不同消费者；计算通过每个消息队列的第一限流阈值。在本实施例中，所述第一限流阈值为启动所述均匀队列分配策略形成的限流调控的结果。
具体地，所述S13包括启动所述权重队列分配策略时，基于预先为消息队列配置的权重属性值，计算通过每个消息队列的第二限流阈值。其中，所述第二限流阈值为启动权重队列分配策略形成的限流调控的结果；所述权重属性值用于表示该消息队列的拉取优先级
S14，根据所述限流调控策略对所述消费配置信息进行限流调控，并依据限流调控的结果，进行流量分配。其中，当待消费信息的流量小于等于所述限流阈值时，所述流量控制单元直接发起所述待消费信息；当待消费信息的流量大于所述限流阈值时，所述流量控制单元拒绝所述待消费信息，将所述待消费信心放入延迟队列。
具体地，所述S14包括启动所述均匀队列分配策略时，若待消费信息的流量小于等于所述第一限流阈值，则直接发起待消费信息，若大于所述第一限流阈值，则拒绝此次请求，将此次请求放入延迟队列。通过所述均匀队列分配策略的分配方式，可以保证在消费者实例增加或减少的场景下仍然可以保证整个限流阈值的稳定。
具体地，所述S14还包括启动所述权重队列分配策略时，若待消费信息的流量小于等于所述第二限流阈值，则直接发起待消费信息，若大于所述第二限流阈值，则拒绝此次请求，将此次请求放入延迟队列。其中，所述第二限流阈值为启动权重队列分配策略形成的限流调控的结果；所述权重属性值用于表示该消息队列的拉取优先级。
在本实施例中，采用权重队列分配策略进行流控可以满足各种自定义的需求，也可以直接控制阈值的大小，从而控制每个队列的消费速度。
S15，监控消费速度。
具体地，所述S15包括：根据一时间段内接收的待消费信息的流量总量，计算得到消费速度，以此实现消费速度的监控。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如图11所述分布式中间件的实时防护方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
综上所述，本发明所述分布式中间件的实时防护系统、方法及计算机可读存储介质，具有以下有益效果：
第一，本发明通过限流调控策略在分布式场景下可以精准调控流量阈值；
第二，本发明能够做到流控策略的实时生效；
第三，与业务逻辑解耦，本发明通过采用字节码技术在无侵入地情况下加载流控逻辑；
第四，本发明支持自定义队列分配策略。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (11)
1.一种分布式中间件的实时防护系统，其特征在于，包括：
分布式键值存储集群，用于存储流控配置策略，并予以下发；
消费者集群，与所述分布式键值存储集群连接；其中，所述消费者集群包括至少一消费者，所述消费者配置有流控模块；所述流控模块包括：
监听单元，用于待所述流控模块启动后，监听所述分布式键值存储集群下发的流控配置策略，当监听到所述流控配置策略发生变化时，解析该流控配置策略的数据变化；
消费者启动单元，用于在所述流控配置策略发生变化时，启动所述消费者，并于所述消费者中获取所述消费者的消费配置信息；
限流管理单元，用于依据所述消费配置信息启动限流调控策略；
流量控制单元，用于根据所述限流调控策略对所述消费配置信息进行限流调控。
2.根据权利要求1所述的分布式中间件的实时防护系统，其特征在于，
所述流控配置策略的数据变化包括待消费信息的流量总量的变化；
所述消费配置信息包括待消费信息、消费主题及消费组信息。
3.根据权利要求2所述的分布式中间件的实时防护系统，其特征在于，
所述限流调控策略为依据所述消费主题拉取对应的消息队列，产生通过所述消息队列的限流阈值的策略；
当待消费信息的流量小于等于所述限流阈值时，所述流量控制单元直接发起所述待消费信息；
当待消费信息的流量大于所述限流阈值时，所述流量控制单元拒绝所述待消费信息，将所述待消费信心放入延迟队列。
4.根据权利要求3所述的分布式中间件的实时防护系统，其特征在于，所述限流调控策略包括均匀队列分配策略；启动所述均匀队列分配策略时，所述限流管理单元拉取与所述消费主题对应的消息队列，对所述消息队列的进行计数，并依据所述消费组信息，将所有消息队列均匀分配给不同消费者；计算通过每个消息队列的第一限流阈值；所述第一限流阈值为启动所述均匀队列分配策略形成的限流调控的结果。
5.根据权利要求4所述的分布式中间件的实时防护系统，其特征在于，每个消息队列的第一限流阈值等于待消费信息的流量总量除以消息队列的队数。
6.根据权利要求3所述的分布式中间件的实时防护系统，其特征在于，所述限流调控策略包括权重队列分配策略；启动所述权重队列分配策略时，所述限流管理单元拉取与所述消费主题对应的消息队列，基于预先为消息队列配置的权重属性值，计算通过每个消息队列的第二限流阈值；其中，所述第二限流阈值为启动权重队列分配策略形成的限流调控的结果；所述权重属性值用于表示该消息队列的拉取优先级。
7.根据权利要求6所述的分布式中间件的实时防护系统，其特征在于，每个消息队列的第二限流阈值的计算公式为：
其中，q(i)表示编号为i的消息队列的权重属性值，n为消息队列的数量，t表示待消费信息的流量总量。
8.根据权利要求1所述的分布式中间件的实时防护系统，其特征在于，
所述流控模块还包括：监控单元，用于监控消费速度。
9.根据权利要求1至8任意项所述的分布式中间件的实时防护系统，其特征在于，所述流控模块以流控插件方式实现；所述流控插件采用字节码方式植入至所述消费者；采用字节码方式植入至所述消费者的过程包括：于所述流控插件中定义两个拦截点，并向虚拟机注册所述拦截点的信息；当所述虚拟机加载所述拦截点的信息时，触发文件加载事件，回调所述流控插件的增强逻辑，并将所述流控插件的增强逻辑植入至所述消费者集群中。
10.一种分布式中间件的实时防护方法，其特征在于，应用于配置有流控插件的消费者集群，所述消费者集群与所述分布式键值存储集群连接；所述分布式键值存储集群，用于存储流控配置策略，并予以下发至所述消费者集群；所述消费者集群包括至少一消费者，所述消费者配置有流控模块；所述分布式中间件的实时防护方法包括：
待所述流控模块启动后，监听所述分布式键值存储集群下发的流控配置策略，当监听到所述流控配置策略发生变化时，解析该流控配置策略的数据变化；
在所述流控配置策略发生变化时，启动所述消费者，并于所述消费者中获取所述消费者的消费配置信息；
依据所述消费配置信息启动启动限流调控策略；
根据所述限流调控策略对所述消费配置信息进行限流调控。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求10所述分布式中间件的实时防护方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210994913.4A CN115460086B (zh) | 2022-08-18 | 2022-08-18 | 分布式中间件的实时防护系统、方法及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210994913.4A CN115460086B (zh) | 2022-08-18 | 2022-08-18 | 分布式中间件的实时防护系统、方法及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115460086A true CN115460086A (zh) | 2022-12-09 |
| CN115460086B CN115460086B (zh) | 2024-01-30 |
Family
ID=84299468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210994913.4A Active CN115460086B (zh) | 2022-08-18 | 2022-08-18 | 分布式中间件的实时防护系统、方法及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115460086B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030236738A1 (en) * | 1999-07-21 | 2003-12-25 | Jeffrey Lange | Replicated derivatives having demand-based, adjustable returns, and trading exchange therefor |
| JP2011019040A (ja) * | 2009-07-08 | 2011-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 通信装置および通信装置におけるフロー制御方法、ならびにそのためのプログラム |
| US20170201556A1 (en) * | 2016-01-12 | 2017-07-13 | International Business Machines Corporation | Scalable event stream data processing using a messaging system |
| CN109660400A (zh) * | 2018-12-24 | 2019-04-19 | 苏州思必驰信息科技有限公司 | 流控配置方法及系统 |
| CN111935030A (zh) * | 2020-08-04 | 2020-11-13 | 科大国创云网科技有限公司 | 一种多维度的流量控制方法及系统 |
| CN112527534A (zh) * | 2020-12-28 | 2021-03-19 | 平安普惠企业管理有限公司 | 基于消息队列的业务处理方法、装置、设备及存储介质 |
| CN112650599A (zh) * | 2020-12-21 | 2021-04-13 | 深圳前海微众银行股份有限公司 | 一种日志处理方法、设备及存储介质 |
| CN112685199A (zh) * | 2020-12-30 | 2021-04-20 | 平安普惠企业管理有限公司 | 一种消息队列修复方法、装置、计算机设备及存储介质 |
| WO2021174382A1 (zh) * | 2020-03-02 | 2021-09-10 | 深圳市欢太科技有限公司 | 一种消息拉取方法、装置以及计算机存储介质 |
| CN113505037A (zh) * | 2021-06-24 | 2021-10-15 | 北京天九云电子商务有限公司 | 消息管理监控系统、方法、可读介质及电子设备 |
| CN113949665A (zh) * | 2020-06-29 | 2022-01-18 | 华为技术有限公司 | 确定流量控制阈值的方法、装置、芯片及计算机存储介质 |
| CN114490112A (zh) * | 2021-12-20 | 2022-05-13 | 阿里巴巴（中国）有限公司 | 消息处理方法、设备及系统 |
| US20220201025A1 (en) * | 2020-12-23 | 2022-06-23 | Varmour Networks, Inc. | Modeling Queue-Based Message-Oriented Middleware Relationships in a Security System |
-
2022
- 2022-08-18 CN CN202210994913.4A patent/CN115460086B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030236738A1 (en) * | 1999-07-21 | 2003-12-25 | Jeffrey Lange | Replicated derivatives having demand-based, adjustable returns, and trading exchange therefor |
| JP2011019040A (ja) * | 2009-07-08 | 2011-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 通信装置および通信装置におけるフロー制御方法、ならびにそのためのプログラム |
| US20170201556A1 (en) * | 2016-01-12 | 2017-07-13 | International Business Machines Corporation | Scalable event stream data processing using a messaging system |
| CN109660400A (zh) * | 2018-12-24 | 2019-04-19 | 苏州思必驰信息科技有限公司 | 流控配置方法及系统 |
| WO2021174382A1 (zh) * | 2020-03-02 | 2021-09-10 | 深圳市欢太科技有限公司 | 一种消息拉取方法、装置以及计算机存储介质 |
| CN113949665A (zh) * | 2020-06-29 | 2022-01-18 | 华为技术有限公司 | 确定流量控制阈值的方法、装置、芯片及计算机存储介质 |
| CN111935030A (zh) * | 2020-08-04 | 2020-11-13 | 科大国创云网科技有限公司 | 一种多维度的流量控制方法及系统 |
| CN112650599A (zh) * | 2020-12-21 | 2021-04-13 | 深圳前海微众银行股份有限公司 | 一种日志处理方法、设备及存储介质 |
| US20220201025A1 (en) * | 2020-12-23 | 2022-06-23 | Varmour Networks, Inc. | Modeling Queue-Based Message-Oriented Middleware Relationships in a Security System |
| CN112527534A (zh) * | 2020-12-28 | 2021-03-19 | 平安普惠企业管理有限公司 | 基于消息队列的业务处理方法、装置、设备及存储介质 |
| CN112685199A (zh) * | 2020-12-30 | 2021-04-20 | 平安普惠企业管理有限公司 | 一种消息队列修复方法、装置、计算机设备及存储介质 |
| CN113505037A (zh) * | 2021-06-24 | 2021-10-15 | 北京天九云电子商务有限公司 | 消息管理监控系统、方法、可读介质及电子设备 |
| CN114490112A (zh) * | 2021-12-20 | 2022-05-13 | 阿里巴巴（中国）有限公司 | 消息处理方法、设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115460086B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11601512B2 (en) | System and method for throttling service requests having non-uniform workloads | |
| CN110545246B (zh) | 一种基于令牌桶的限流方法、装置和计算机可读介质 | |
| TWI682653B (zh) | 短連結解析方法、裝置及設備 | |
| US9419904B2 (en) | System and method for throttling service requests using work-based tokens | |
| EP2972855B1 (en) | Automatic configuration of external services based upon network activity | |
| US8195798B2 (en) | Application server scalability through runtime restrictions enforcement in a distributed application execution system | |
| US8818989B2 (en) | Memory usage query governor | |
| CN113381944B (zh) | 系统限流方法、装置、电子设备、介质和程序产品 | |
| US20150058844A1 (en) | Virtual computing resource orchestration | |
| CN112445857A (zh) | 一种基于数据库的资源配额管理方法和装置 | |
| CN112600761B (zh) | 一种资源分配的方法、装置及存储介质 | |
| US20150046974A1 (en) | Method and apparatus for specifying time-varying intelligent service-oriented model | |
| CN113238861A (zh) | 一种任务执行方法和装置 | |
| Convolbo et al. | DRASH: A data replication-aware scheduler in geo-distributed data centers | |
| EP2622499B1 (en) | Techniques to support large numbers of subscribers to a real-time event | |
| JP6207193B2 (ja) | サーバ数調整システムおよび方法ならびにプログラム | |
| CN115460086A (zh) | 分布式中间件的实时防护系统、方法及计算机可读存储介质 | |
| CN114978998B (zh) | 一种流量控制方法、装置、终端及存储介质 | |
| CN110838989A (zh) | 一种用于基于令牌进行网络限流的方法和装置 | |
| Shi et al. | Two-stage job scheduling model based on revenues and resources | |
| CN117857458A (zh) | 基于准实时统计的分布式流量控制方法及系统 | |
| CN116032737A (zh) | 一种服务资源处理的方法和装置 | |
| US20190007318A1 (en) | Technologies for inflight packet count limiting in a queue manager environment | |
| Dobaria et al. | Appraisal of Load Balancing in Hierarchical Cloud Environment | |
| Qi et al. | An adaptive model of task scheduling based on QoS feedback control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240906 Address after: Room F18, 26th Floor, TB Business Building, China Resources MixC, No. 6 Hongshanyuan Road, Hongshan Town, Gulou District, Fuzhou City, Fujian Province, 350002 Patentee after: Yonghui Technology Co.,Ltd. Country or region after: China Address before: 100000 No. 1701-1703, Floor 17, Tower A, Zhizhen Building, No. 7, Zhichun Road, Haidian District, Beijing Patentee before: Beijing Yonghui Technology Co.,Ltd. Country or region before: China |