CN109450806B - 一种流量控制方法及装置、分布式集群 - Google Patents
一种流量控制方法及装置、分布式集群 Download PDFInfo
- Publication number
- CN109450806B CN109450806B CN201811289371.0A CN201811289371A CN109450806B CN 109450806 B CN109450806 B CN 109450806B CN 201811289371 A CN201811289371 A CN 201811289371A CN 109450806 B CN109450806 B CN 109450806B
- Authority
- CN
- China
- Prior art keywords
- flow
- dimension
- node device
- node
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000009825 accumulation Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明的实施例公开一种流量控制方法及装置、分布式集群，涉及通信技术领域，能够将分布式集群与ZooKeeper集群相结合，实现分布式环境下的多维度访问流量控制。该方法包括：控制装置获取初始化信息；并初始化信息发送至ZooKeeper集群；控制装置将第一结点设备在预定周期内的流量按照指定维度进行累加，获取累加流量，并通过第一结点设备将累加流量发送至ZooKeeper集群；控制装置根据至少一个预定周期获取至少一个维度的第二结点设备的流量；并将至少一个维度的第二结点设备的流量进行累加生成第一结点设备的总流量，将总流量与预设阈值进行对比，确定是否对第一结点设备进行限流操作。本发明实施例应用于通信系统。
Description
技术领域
本发明的实施例涉及通信技术领域，尤其涉及一种流量控制方法及装置、分布式集群。
背景技术
针对互联网分布式的并发系统，为防止瞬时高并发场景超过系统的承载能力，保障系统的稳定运营，需要建立访问流量控制功能，根据不同的维度设置相应的流量阈值，来达到限制访问的功能。现有的流量控制方案采用的计数器法主要用来限制一定时间内的总并发数，比如数据库连接池、线程池、秒杀的并发数；计数器限流只要一定时间内的总请求数超过设定的阀值则进行限流。漏桶算法的核心思想是假设一个固定容量的常量速率流出请求，流入请求速率任意，当流入的请求数累积到漏桶容量时，则新流入的请求被拒绝。漏桶可以看作是一个具有固定容量、固定流出速率的队列，漏桶算法限制的是请求的流出速率。令牌桶法是一个存放固定容量令牌的桶，按照固定速率往桶里添加令牌，填满了就丢弃令牌，请求是否被处理要看桶中令牌是否足够，当令牌数减为零时则拒绝新的请求。令牌桶算法允许一定程度突发流量，只要有令牌就可以处理，支持一次拿多个令牌。但是，由于漏桶算法使用的是单点限流，速率固定，无法应对突发流量请求；令牌桶算法容易造成热点，而计数器法一般用于单结点限流，难以用于分布式集群。
发明内容
本发明的实施例提供一种流量控制方法及装置、分布式集群，能够将分布式集群与ZooKeeper集群相结合，实现分布式环境下的多维度访问流量控制。
为达到上述目的，本发明采用如下技术方案：
第一方面，提供一种流量控制方法，应用于分布式集群，分布式集群包括：至少一个第一结点设备，其中第一结点设备连接ZooKeeper集群中的至少一个维度的第二结点设备；其中ZooKeeper集群包含至少一个维度的第二结点设备，每个维度包含至少一个第二结点设备；分布式集群还包括控制装置，该方法包括：控制装置获取初始化信息；其中，初始化信息包括维度以及预定周期；控制装置将初始化信息发送至ZooKeeper集群，以便ZooKeeper集群根据初始化信息进行初始化；控制装置将第一结点设备在预定周期内的流量按照指定维度进行累加，获取累加流量，并通过第一结点设备将累加流量发送至ZooKeeper集群，以便ZooKeeper集群将累加流量存储至指定维度的第二结点设备中；其中，在预定周期结束后第一结点设备对累加流量清零；控制装置根据至少一个预定周期获取至少一个维度的第二结点设备的流量；控制装置将至少一个维度的第二结点设备的流量进行累加生成第一结点设备的总流量，将总流量与预设阈值进行对比，确定是否对第一结点设备进行限流操作。
在上述方法中，主要应用于分布式集群。该方法的主要实现方式为：控制装置首先获取初始化信息；其中，初始化信息包括维度以及预定周期；并将初始化信息发送至ZooKeeper集群，以便ZooKeeper集群根据初始化信息进行初始化；然后将第一结点设备在预定周期内的流量按照指定维度进行累加，获取累加流量，并通过第一结点设备将累加流量发送至ZooKeeper集群，以便ZooKeeper集群将累加流量存储至指定维度的第二结点设备中；另外，在预定周期结束后第一结点设备对累加流量清零；最后，根据至少一个预定周期获取至少一个维度的第二结点设备的流量；并对其进行累加生成第一结点设备的总流量，将总流量与预设阈值进行对比，确定是否对第一结点设备进行限流操作。本发明的实施例能够将分布式集群与ZooKeeper集群相结合，实现分布式环境下的多维度访问流量控制。
可选的，将总流量与预设阈值进行对比，确定是否对第一结点设备进行限流操作，具体包括：控制装置确定总流量超过预设阈值，则对第一结点设备进行限流操作；控制装置确定总流量未超过预设阈值，则不对第一结点设备进行限流操作。
可选的，确定是否对第一结点设备进行限流操作，之后包括：ZooKeeper集群在至少一个预定周期结束后，清空至少一个维度的第二结点设备中的流量。
可选的，通过第一结点设备将累加流量发送至ZooKeeper集群，具体包括：控制装置通过第一结点设备将累加流量按照异步的方式发送至ZooKeeper集群。
可选的，控制装置根据至少一个预定周期获取至少一个维度的第二结点设备的流量，具体包括：控制装置根据至少一个预定周期按照异步的方式获取至少一个维度的第二结点设备的流量。
第二方面，提供一种控制装置，该装置包括：
流控单元，用于获取初始化信息；其中，初始化信息包括维度以及预定周期。
流控单元，还用于将初始化信息发送至ZooKeeper集群，以便ZooKeeper集群根据初始化信息进行初始化。
流量累加单元，用于将第一结点设备在预定周期内的流量按照指定维度进行累加，获取累加流量，并通过第一结点设备将累加流量发送至ZooKeeper集群，以便ZooKeeper集群将累加流量存储至指定维度的第二结点设备中；其中，在预定周期结束后第一结点设备对累加流量清零。
流量累加单元，还用于根据至少一个流控单元获取的预定周期获取至少一个维度的第二结点设备的流量。
流量累加单元，还用于将至少一个维度的第二结点设备的流量进行累加生成第一结点设备的总流量。
流控单元，用于将流量累加单元生成的总流量与预设阈值进行对比，确定是否对第一结点设备进行限流操作。
可选的，流控单元，具体用于确定总流量超过预设阈值，则对第一结点设备进行限流操作。
流控单元，具体用于确定总流量未超过预设阈值，则不对第一结点设备进行限流操作。
可选的，流量累加单元，具体用于通过第一结点设备将累加流量按照异步的方式发送至ZooKeeper集群。
可选的，流量累加单元，具体用于根据至少一个预定周期按照异步的方式获取至少一个维度的第二结点设备的流量。
可以理解地，上述提供的一种控制装置用于执行上文所提供的第一方面对应的方法，因此，其所能达到的有益效果可参考上文第一方面对应的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。
第三方面，提供一种分布式集群，该分布式集群包括：至少一个第一结点设备，其中第一结点设备连接ZooKeeper集群中的至少一个维度的第二结点设备，其中该ZooKeeper集群包含至少一个维度的第二结点设备，每个维度至少包含一个第二结点设备；该分布式集群还包括如第二方面所述的控制装置。
可以理解地，上述提供的网络探针用于执行上文所提供的第一方面对应的方法，因此，其所能达到的有益效果可参考上文第一方面对应的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。
第四方面，提供了一种控制装置，该控制装置的结构中包括处理器和存储器，存储器用于与处理器耦合，保存该控制装置必要的程序指令和数据，处理器用于执行存储器中存储的程序指令，使得该控制装置执行第一方面所述的流量控制方法。
第五方面，提供一种计算机存储介质，计算机存储介质中存储有计算机程序代码，当计算机程序代码在如第四方面所述的控制装置上运行时，使得控制装置执行上述第一方面的方法。
第六方面，提供一种计算机程序产品，该计算机程序产品储存有上述计算机软件指令，当计算机软件指令在如第四方面所述的控制装置上运行时，使得控制装置执行如上述第一方面所述方案的程序。
附图说明
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明的实施例提供的一种流量控制方法的流程示意图；
图2为本发明的实施例提供的一种分布式集群的结构示意图；
图3为本发明的实施例提供的一种第一结点设备与第二结点设备连接方式的结构示意图；
图4为本发明的实施例提供的一种控制装置的结构示意图；
图5为本发明的实施例提供的又一种控制装置的结构示意图；
图6为本发明的实施例提供的再一种控制装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
还需要说明的是，本发明实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
随着互联网的网络规模的迅速扩大，针对互联网环境下分布式的服务访问系统，瞬时的高并发访问流量对系统平台的稳定性造成了巨大压力的问题，就需要建立访问流量控制方案。而现有的流量控制方案采用的计数器法主要用来限制一定时间内的总并发数，比如数据库连接池、线程池、秒杀的并发数；计数器限流只要一定时间内的总请求数超过设定的阀值则进行限流。漏桶算法的核心思想是假设一个固定容量的常量速率流出请求，流入请求速率任意，当流入的请求数累积到漏桶容量时，则新流入的请求被拒绝。漏桶可以看作是一个具有固定容量、固定流出速率的队列，漏桶算法限制的是请求的流出速率。令牌桶法是一个存放固定容量令牌的桶，按照固定速率往桶里添加令牌，填满了就丢弃令牌，请求是否被处理要看桶中令牌是否足够，当令牌数减为零时则拒绝新的请求。令牌桶算法允许一定程度突发流量，只要有令牌就可以处理，支持一次拿多个令牌。但是，由于漏桶算法使用的是单点限流，速率固定，无法应对突发流量请求；令牌桶算法容易造成热点，而计数器法一般用于单结点限流，难以用于分布式集群。
针对上述技术背景以及现有技术存在的问题，参照图1，本发明实施例提供一种流量控制方法，应用于分布式集群20，参照图2，分布式集群20包括：至少一个第一结点设备21，其中第一结点设备21连接ZooKeeper集群10中的至少一个维度11的第二结点设备111；其中ZooKeeper集群10包含至少一个维度11的第二结点设备111，每个维度11包含至少一个第二结点设备111；分布式集群20还包括控制装置22。
其中，为了更好的理解分布式集群中的第一结点设备与ZooKeeper集群中的至少一个维度的第二结点设备的连接关系，参照图3，下面进行示例性说明。其中，分布式集群中可以包括第一结点设备1、第一结点设备2、第一结点设备3，……，以此类推。ZooKeeper集群中包括主结点；主结点包括维度1、维度2、维度3、……，以此类推；维度1包含第二结点设备1、第二结点设备2、第二结点设备3，……，以此类推；维度2包含第二结点设备1、第二结点设备2、第二结点设备3，……，以此类推；维度3包含第二结点设备1、第二结点设备2、第二结点设备3，……，以此类推。那么，第一结点设备1连接维度1的第二结点设备1、维度2的第二结点设备1、维度3的第二结点设备1，……，以此类推；第一结点设备2连接维度1的第二结点设备2、维度2的第二结点设备2、维度3的第二结点设备2，……，以此类推；第一结点设备3连接维度1的第二结点设备3、维度2的第二结点设备3、维度3的第二结点设备3，……，以此类推。
具体的，参照图1，该流量控制方法包括：
101、控制装置获取初始化信息；其中，初始化信息包括维度以及预定周期。
102、控制装置将初始化信息发送至ZooKeeper集群，以便ZooKeeper集群根据初始化信息进行初始化。
103、控制装置将第一结点设备在预定周期内的流量按照指定维度进行累加，获取累加流量，并通过第一结点设备将累加流量发送至ZooKeeper集群，以便ZooKeeper集群将累加流量存储至指定维度的第二结点设备中；其中，在预定周期结束后第一结点设备对累加流量清零。
其中，通过第一结点设备将累加流量发送至ZooKeeper集群，具体包括：控制装置通过第一结点设备将累加流量按照异步的方式发送至ZooKeeper集群。
104、控制装置根据至少一个预定周期获取至少一个维度的第二结点设备的流量。
具体的，控制装置根据至少一个预定周期按照异步的方式获取至少一个维度的第二结点设备的流量。
105、控制装置将至少一个维度的第二结点设备的流量进行累加生成第一结点设备的总流量，将总流量与预设阈值进行对比，确定是否对第一结点设备进行限流操作。
详细的，将总流量与预设阈值进行对比，确定是否对第一结点设备进行限流操作，具体包括：控制装置确定总流量超过预设阈值，则对第一结点设备进行限流操作；控制装置确定总流量未超过预设阈值，则不对第一结点设备进行限流操作。
参照图1，步骤105之后还包括：
201、ZooKeeper集群在至少一个预定周期结束后，清空至少一个维度的第二结点设备中的流量。
在上述方法中，主要应用于分布式集群。该方法的主要实现方式为：控制装置首先获取初始化信息；其中，初始化信息包括维度以及预定周期；并将初始化信息发送至ZooKeeper集群，以便ZooKeeper集群根据初始化信息进行初始化；然后将第一结点设备在预定周期内的流量按照指定维度进行累加，获取累加流量，并通过第一结点设备将累加流量发送至ZooKeeper集群，以便ZooKeeper集群将累加流量存储至指定维度的第二结点设备中；另外，在预定周期结束后第一结点设备对累加流量清零；最后，根据至少一个预定周期获取至少一个维度的第二结点设备的流量；并对其进行累加生成第一结点设备的总流量，将总流量与预设阈值进行对比，确定是否对第一结点设备进行限流操作。本发明的实施例能够将分布式集群与ZooKeeper集群相结合，实现分布式环境下的多维度访问流量控制。
参照图4，本发明实施例提供一种控制装置22，该控制装置22包括：
流控单元401，用于获取初始化信息；其中，初始化信息包括维度以及预定周期。
流控单元401，还用于将初始化信息发送至ZooKeeper集群，以便ZooKeeper集群根据初始化信息进行初始化。
流量累加单元402，用于将第一结点设备在预定周期内的流量按照指定维度进行累加，获取累加流量，并通过第一结点设备将累加流量发送至ZooKeeper集群，以便ZooKeeper集群将累加流量存储至指定维度的第二结点设备中；其中，在预定周期结束后第一结点设备对累加流量清零。
流量累加单元402，还用于根据至少一个流控单元401获取的预定周期获取至少一个维度的第二结点设备的流量。
流量累加单元402，还用于将至少一个维度的第二结点设备的流量进行累加生成第一结点设备的总流量。
流控单元401，用于将流量累加单元402生成的总流量与预设阈值进行对比，确定是否对第一结点设备进行限流操作。
在一种示例性的方案中，流控单元401，具体用于确定总流量超过预设阈值，则对第一结点设备进行限流操作。
流控单元401，具体用于确定总流量未超过预设阈值，则不对第一结点设备进行限流操作。
在一种示例性的方案中，流量累加单元402，具体用于通过第一结点设备将累加流量按照异步的方式发送至ZooKeeper集群。
在一种示例性的方案中，流量累加单元402，具体用于根据至少一个预定周期按照异步的方式获取至少一个维度的第二结点设备的流量。
由于本发明实施例中的控制装置可以应用于实施上述方法实施例中对应的方法，因此，其所能获得的技术效果也可参考上述方法实施例中对应的方法，本发明实施例在此不再赘述。
参照图2，本发明实施例提供一种分布式集群20，该分布式集群20包括：至少一个第一结点设备21，其中第一结点设备21连接ZooKeeper集群10中的至少一个维度11的第二结点设备111，其中该ZooKeeper集群10包含至少一个维度11的第二结点设备111，每个维度11至少包含一个第二结点设备111；该分布式集群20还包括上述的控制装置22。
由于本发明实施例中的分布式集群可以应用于实施上述方法实施例中对应的方法，因此，其所能获得的技术效果也可参考上述方法实施例中对应的方法，本发明实施例在此不再赘述。
在采用集成的单元的情况下，图5示出了上述实施例中所涉及的控制装置22的一种可能的结构示意图。控制装置22包括：处理模块501、通信模块502和存储模块503。处理模块501用于对控制装置22的动作进行控制管理，例如，处理模块501用于支持控制装置22执行图1中的过程101～105。通信模块502用于支持控制装置22与其他实体的通信。存储模块503用于存储控制装置22的程序代码和数据。
其中，处理模块501可以是处理器或控制器，例如可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块502可以是收发器、收发电路或通信接口等。存储模块503可以是存储器。
当处理模块501为如图6所示的处理器，通信模块502为图6的收发器，存储模块503为图6的存储器时，本申请实施例所涉及的控制装置22可以为如下所述的控制装置22。
参照图6所示，该控制装置22包括：处理器601、收发器602、存储器603和总线604。
其中，处理器601、收发器602、存储器603通过总线604相互连接；总线604可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器601可以是一个通用中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。
存储器603可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器603用于存储执行本申请方案的应用程序代码，并由处理器601来控制执行。收发器602用于接收外部设备输入的内容，处理器601用于执行存储器603中存储的应用程序代码，从而实现本申请实施例中所述的流量控制方法。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
本发明实施例还提供一种计算机程序产品，该计算机程序产品可直接加载到存储器中，并含有软件代码，该计算机程序产品经由计算机载入并执行后能够实现上述的流量控制方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种流量控制方法，其特征在于，应用于分布式集群，所述分布式集群包括：至少一个第一结点设备，其中所述第一结点设备连接ZooKeeper集群中的至少一个维度的第二结点设备；其中所述ZooKeeper集群包含所述至少一个维度的第二结点设备，每个维度包含至少一个第二结点设备；所述分布式集群还包括控制装置，所述方法包括：
所述控制装置获取初始化信息；其中，所述初始化信息包括所述维度以及预定周期；
所述控制装置将所述初始化信息发送至所述ZooKeeper集群，以便所述ZooKeeper集群根据所述初始化信息进行初始化；
所述控制装置将所述第一结点设备在所述预定周期内的流量按照指定维度进行累加，获取累加流量，并通过所述第一结点设备将所述累加流量发送至所述ZooKeeper集群，以便所述ZooKeeper集群将所述累加流量存储至所述指定维度的第二结点设备中；其中，在所述预定周期结束后所述第一结点设备对所述累加流量清零；
所述控制装置根据所述至少一个预定周期获取所述至少一个维度的第二结点设备的流量；
所述控制装置将所述至少一个维度的第二结点设备的流量进行累加生成所述第一结点设备的总流量，将所述总流量与预设阈值进行对比，确定是否对所述第一结点设备进行限流操作；
所述将所述总流量与预设阈值进行对比，确定是否对所述第一结点设备进行限流操作，具体包括：
所述控制装置确定所述总流量超过预设阈值，则对所述第一结点设备进行所述限流操作；
所述控制装置确定所述总流量未超过预设阈值，则不对所述第一结点设备进行所述限流操作。
2.根据权利要求1所述的流量控制方法，其特征在于，所述确定是否对所述第一结点设备进行限流操作，之后包括：
所述ZooKeeper集群在所述至少一个预定周期结束后，清空所述至少一个维度的第二结点设备中的流量。
3.根据权利要求1所述的流量控制方法，其特征在于，所述通过所述第一结点设备将所述累加流量发送至所述ZooKeeper集群，具体包括：
所述控制装置通过所述第一结点设备将所述累加流量按照异步的方式发送至所述ZooKeeper集群。
4.根据权利要求1所述的流量控制方法，其特征在于，所述控制装置根据至少一个所述预定周期获取所述至少一个维度的第二结点设备的流量，具体包括：
所述控制装置根据至少一个所述预定周期按照异步的方式获取所述至少一个维度的第二结点设备的流量。
5.一种控制装置，其特征在于，包括：
流控单元，用于获取初始化信息；其中，所述初始化信息包括维度以及预定周期；
所述流控单元，还用于将所述初始化信息发送至ZooKeeper集群，以便所述ZooKeeper集群根据所述初始化信息进行初始化；
流量累加单元，用于将第一结点设备在所述预定周期内的流量按照指定维度进行累加，获取累加流量，并通过所述第一结点设备将所述累加流量发送至所述ZooKeeper集群，以便所述ZooKeeper集群将所述累加流量存储至所述指定维度的第二结点设备中；其中，在所述预定周期结束后所述第一结点设备对所述累加流量清零；
所述流量累加单元，还用于根据至少一个所述流控单元获取的所述预定周期获取所述至少一个维度的第二结点设备的流量；
所述流量累加单元，还用于将所述至少一个维度的第二结点设备的流量进行累加生成所述第一结点设备的总流量；
所述流控单元，用于将所述流量累加单元生成的所述总流量与预设阈值进行对比，确定是否对所述第一结点设备进行限流操作；
所述流控单元，具体用于确定所述总流量超过预设阈值，则对所述第一结点设备进行所述限流操作；
所述流控单元，具体用于确定所述总流量未超过预设阈值，则不对所述第一结点设备进行所述限流操作。
6.根据权利要求5所述的控制装置，其特征在于，包括：
所述流量累加单元，具体用于通过所述第一结点设备将所述累加流量按照异步的方式发送至所述ZooKeeper集群。
7.根据权利要求5所述的控制装置，其特征在于，还包括：
所述流量累加单元，具体用于根据至少一个所述预定周期按照异步的方式获取所述至少一个维度的第二结点设备的流量。
8.一种分布式集群，其特征在于，所述分布式集群包括：至少一个第一结点设备，其中所述第一结点设备连接ZooKeeper集群中的至少一个维度的第二结点设备，其中所述ZooKeeper集群包含至少一个维度的第二结点设备，每个维度至少包含一个第二结点设备；所述分布式集群还包括如权利要求5-7任一项所述的控制装置。
9.一种控制装置，其特征在于，所述控制装置的结构中包括处理器和存储器，所述存储器用于与所述处理器耦合，保存所述控制装置必要的程序指令和数据，所述处理器用于执行所述存储器中存储的程序指令，使得所述控制装置执行如权利要求1-4任一项所述的流量控制方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序代码，当所述计算机程序代码在如权利要求9所述的控制装置上运行时，使得所述控制装置执行如权利要求1-4任一项所述的流量控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811289371.0A CN109450806B (zh) | 2018-10-31 | 2018-10-31 | 一种流量控制方法及装置、分布式集群 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811289371.0A CN109450806B (zh) | 2018-10-31 | 2018-10-31 | 一种流量控制方法及装置、分布式集群 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109450806A CN109450806A (zh) | 2019-03-08 |
| CN109450806B true CN109450806B (zh) | 2022-05-06 |
Family
ID=65550381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811289371.0A Active CN109450806B (zh) | 2018-10-31 | 2018-10-31 | 一种流量控制方法及装置、分布式集群 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109450806B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109995669B (zh) * | 2019-04-09 | 2024-05-03 | 深圳前海微众银行股份有限公司 | 分布式限流方法、装置、设备及可读存储介质 |
| CN112073329B (zh) * | 2020-08-25 | 2023-01-24 | 北京五八信息技术有限公司 | 分布式限流方法、装置、电子设备和存储介质 |
| CN113923216B (zh) * | 2021-09-29 | 2023-12-15 | 阿里巴巴（中国）有限公司 | 一种分布式集群限流系统及方法和分布式集群节点 |
| CN115002043A (zh) * | 2022-05-30 | 2022-09-02 | 重庆长安汽车股份有限公司 | 一种基于注册中心的分布式限流方法、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101931559A (zh) * | 2010-09-02 | 2010-12-29 | 上海北塔软件股份有限公司 | 展现访问业务流量分布的方法 |
| CN106101017A (zh) * | 2016-06-01 | 2016-11-09 | 中国银联股份有限公司 | 一种线路流量控制方法及装置 |
| CN108282411A (zh) * | 2017-12-29 | 2018-07-13 | 北京五八信息技术有限公司 | 一种访问限流方法、装置、设备及计算机可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103701709B (zh) * | 2013-12-13 | 2015-07-01 | 北京京东尚科信息技术有限公司 | 一种流量控制方法及系统 |
| CN104753805B (zh) * | 2013-12-31 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 分布式流量控制方法、服务器和系统 |
| US9936013B2 (en) * | 2014-10-29 | 2018-04-03 | Netapp, Inc. | Techniques for controlling client traffic on a clustered system |
-
2018
- 2018-10-31 CN CN201811289371.0A patent/CN109450806B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101931559A (zh) * | 2010-09-02 | 2010-12-29 | 上海北塔软件股份有限公司 | 展现访问业务流量分布的方法 |
| CN106101017A (zh) * | 2016-06-01 | 2016-11-09 | 中国银联股份有限公司 | 一种线路流量控制方法及装置 |
| CN108282411A (zh) * | 2017-12-29 | 2018-07-13 | 北京五八信息技术有限公司 | 一种访问限流方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109450806A (zh) | 2019-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109450806B (zh) | 一种流量控制方法及装置、分布式集群 | |
| CN109144414B (zh) | 区块链数据的多级存储方法和装置 | |
| US20180196603A1 (en) | Memory Management Method, Apparatus, and System | |
| CN110753112A (zh) | 云服务的弹性伸缩方法和装置 | |
| US11636072B2 (en) | Parallel processing of a keyed index file system | |
| CN110650209B (zh) | 实现负载均衡的方法和装置 | |
| US9710178B2 (en) | Optimizing volume placement based upon desired response time and priority | |
| CN111159195A (zh) | 区块链系统中的数据存储控制方法及设备 | |
| CN111562884B (zh) | 一种数据存储方法、装置及电子设备 | |
| CN113742114A (zh) | 一种系统限流的方法和装置 | |
| CN108563698B (zh) | 一种HBase表的Region合并方法和装置 | |
| CN110716794A (zh) | 信息处理方法、装置、系统和可读存储介质 | |
| CN111177513B (zh) | 异常访问地址的确定方法、装置、电子设备及存储介质 | |
| US20120047264A1 (en) | System and method to dynamically allocate electronic mailboxes | |
| US10521381B2 (en) | Self-moderating bus arbitration architecture | |
| KR101908377B1 (ko) | 계량데이터 관리 시스템 및 컴퓨터 판독가능 기록 매체 | |
| CN107844593B (zh) | 一种分布式计算平台中视频数据分布方法及装置 | |
| CN110245014B (zh) | 数据处理方法和装置 | |
| US20230297439A1 (en) | Mapping logical partitions for event data to a plurality of queues | |
| CN114338386B (zh) | 一种网络的配置方法、装置、电子设备及存储介质 | |
| US10673937B2 (en) | Dynamic record-level sharing (RLS) provisioning inside a data-sharing subsystem | |
| CN112884382B (zh) | 云平台的资源配额管理方法、装置、设备以及存储介质 | |
| CN115145748A (zh) | 跨进程通信方法、装置、设备以及存储介质 | |
| CN113472591A (zh) | 一种业务性能的确定方法及装置 | |
| CN110417672B (zh) | 限流方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |