CN111262793A - 一种基于双重流量控制机制的系统流量整体控制方法 - Google Patents

一种基于双重流量控制机制的系统流量整体控制方法 Download PDF

Info

Publication number
CN111262793A
CN111262793A CN202010063482.0A CN202010063482A CN111262793A CN 111262793 A CN111262793 A CN 111262793A CN 202010063482 A CN202010063482 A CN 202010063482A CN 111262793 A CN111262793 A CN 111262793A
Authority
CN
China
Prior art keywords
flow
network
authorization
user
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010063482.0A
Other languages
English (en)
Inventor
赵昆杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Useear Information Technology Co ltd
Original Assignee
Fujian Qidian Space Time Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Qidian Space Time Digital Technology Co ltd filed Critical Fujian Qidian Space Time Digital Technology Co ltd
Priority to CN202010063482.0A priority Critical patent/CN111262793A/zh
Publication of CN111262793A publication Critical patent/CN111262793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/29—Flow control; Congestion control using a combination of thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/215—Flow control; Congestion control using token-bucket
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种基于双重流量控制机制的系统流量整体控制方法，对进入网络系统的所有流量以通道为单位来实现整体的流量控制；对进入网络系统的所有流量以每个用户为单位来实现单独的流量控制；动态监控每个通道的流量阈值并生成流量调控信息，继而将流量调控信息发送至分布式集群的每个通道；接收用户请求并判断用户请求是否能够获得授权；确定用户请求的网络流量类型；使用第二令牌桶为已消耗令牌的网络流量转发数据包。本发明基于双重流量控制机制来对流量进行控制，能够对网络流量进行更加精细化的控制，使网络流量的速率稳定在设定值，能够有效地对网络流量进行控制，提高了网络带宽的使用效率，提升了网络质量。

Description

一种基于双重流量控制机制的系统流量整体控制方法
技术领域
本发明涉及流量控制技术领域，尤其涉及一种基于双重流量控制机制的系统流量整体控制方法。
背景技术
许多集群网络中都包括有若干个单一节点，这些单一节点用来传递流量数据，但是随着大数据的深入发展，这些集群网络面临着通过大量的瞬时流量，由于任一单一节点通过的流量有限，由于请求流量过大，很容易造成集群网络内单一节点瘫痪，进而影响整个集群网络的正常运转；因此，需要对流量进行有效控制，目前主要是针对集群网络中的每个节点单独控制流量阈值，但是当集群内请求发生倾斜时，单个节点请求量过大，但整个集群请求量仍然较小，流量控制不准确；或者通过统计单一节点的服务，来统计集群请求量，通过将集群网络内的每个请求均经过此服务，由此服务来判断整个集群网络的流量阈值，但是单一节点的服务顺序判断容易造成整个集群网络的瓶颈点，而且可靠性难以保障，有待进行改进。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种基于双重流量控制机制的系统流量整体控制方法，基于双重流量控制机制来对流量进行控制，能够对网络流量进行更加精细化的控制，使网络流量的速率稳定在设定值，能够有效地对网络流量进行控制，提高了网络带宽的使用效率，提升了网络质量。
(二)技术方案
本发明提出了一种基于双重流量控制机制的系统流量整体控制方法，包括以下步骤：
S1、在网络系统中搭建分布式集群，统计每个网络通道中的流量并设置流量阈值，以通道流量阈值为依据来调控每个通道内实际通过的请求流量，最终对进入网络系统的所有流量以通道为单位来实现整体的流量控制；
S2、统计各用户的流量并设置用户流量阈值，以该流量阈值为依据来调控每个用户的请求流量，最终对进入网络系统的所有流量以每个用户为单位来实现单独的流量控制；
S3、采集网络系统的实际请求流量，动态监控每个通道的流量阈值并生成流量调控信息，继而将流量调控信息发送至分布式集群的每个通道；
S4、接收用户请求并根据当前剩余的授权名额来判断用户请求是否能够获得授权；当判断用户请求能够获得授权时，处理该用户请求；
S5、确定用户请求的网络流量类型，当确定该网络流量的类型为预定受控类型时，将该网络流量送入与预定受控类型对应的第一令牌桶；
S6、网络流量通过第一令牌桶后，继续将其送入第二令牌桶，消耗第二令牌桶的令牌，并使用第二令牌桶为已消耗令牌的网络流量转发数据包。
优选的，在S3中，流量调控信息包括通道流量阈值初置信息和通道流量阈值增减信息。
优选的，S4的具体操作如下：
S41、授权信息存储于队列中，获取用户请求并从预设的队列中获取授权消息；
S42、每个授权消息用于表示一个授权名额，若获取到授权消息，则判断该用户请求能够获得授权；反之，则判断该用户请求不能够获得授权。
优选的，当判断用户请求不能够获得授权时，向该用户发送请求拒绝消息。
优选的，在S4中，当前剩余授权名额大于0时，判断该用户请求能够获得授权；当前剩余的授权名额等于0时，判断该用户请求不能够获得授权。
优选的，在S4中，授权名额数量随授权请求的增加而减少，即每授权一个用户请求，授权名额数量随之减少一个。
优选的，在S4中，授权名额数量随时间而不断增加，即每过K秒，授权名额数量随之增加一个。
优选的，在S5中，还包括以下步骤：
在本地存储的令牌中查找处理该用户请求时所需令牌数量的用户令牌。
优选的，在S6中，当确定网络流量类型为非预定受控类型时，判断该网络流量请求通过的第二令牌桶是否处于满溢状态或预借状态；
当判断结果为“是”，则将网络流量的数据包丢弃；当判断结果为“否”，则将网络流量送入第二令牌桶并消耗第二令牌桶的令牌。
优选的，在S6中，还包括如下步骤：
判断第二令牌桶是否处于满溢状态或预借状态；当判断结果为“是”，则为第二令牌桶填充预借令牌，并为网络流量的数据包消耗预借令牌；当判断结果为“否”，则为网络流量的数据包消耗第二令牌桶的令牌。
本发明的上述技术方案具有如下有益的技术效果：首先在网络系统中搭建分布式集群，统计每个网络通道中的流量并设置流量阈值，最终对进入网络系统的所有流量以通道为单位来实现整体的流量控制；然后统计各用户的流量并设置用户流量阈值，最终对进入网络系统的所有流量以每个用户为单位来实现单独的流量控制；之后采集网络系统的实际请求流量，动态监控每个通道的流量阈值并生成流量调控信息，继而将流量调控信息发送至分布式集群的每个通道；然后接收用户请求并根据当前剩余的授权名额来判断用户请求是否能够获得授权；最后确定用户请求的网络流量类型；
本发明基于双重流量控制机制来对流量进行控制，即基于每个用户的流量控制是第一重流量控制方法，对进入系统的所有流量以每个用户为单位实现单独的流量控制，基于通道整体的流量控制是第二重流量控制方法，对进入系统的所有流量以通道为单位实现整体的流量控制，能够对网络流量进行更加精细化的控制，使网络流量的速率稳定在设定值，能够有效地对网络流量进行控制，提高了网络带宽的使用效率，提升了网络质量。
附图说明
图1为本发明提出的一种基于双重流量控制机制的系统流量整体控制方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种基于双重流量控制机制的系统流量整体控制方法，包括以下步骤：
S1、在网络系统中搭建分布式集群，统计每个网络通道中的流量并设置流量阈值，以通道流量阈值为依据来调控每个通道内实际通过的请求流量，最终对进入网络系统的所有流量以通道为单位来实现整体的流量控制；
S2、统计各用户的流量并设置用户流量阈值，以该流量阈值为依据来调控每个用户的请求流量，最终对进入网络系统的所有流量以每个用户为单位来实现单独的流量控制；
S3、采集网络系统的实际请求流量，动态监控每个通道的流量阈值并生成流量调控信息，继而将流量调控信息发送至分布式集群的每个通道；
S4、接收用户请求并根据当前剩余的授权名额来判断用户请求是否能够获得授权；当判断用户请求能够获得授权时，处理该用户请求；
S5、确定用户请求的网络流量类型，当确定该网络流量的类型为预定受控类型时，将该网络流量送入与预定受控类型对应的第一令牌桶；
S6、网络流量通过第一令牌桶后，继续将其送入第二令牌桶，消耗第二令牌桶的令牌，并使用第二令牌桶为已消耗令牌的网络流量转发数据包。
在一个可选的实施例中，在S3中，流量调控信息包括通道流量阈值初置信息和通道流量阈值增减信息。
在一个可选的实施例中，S4的具体操作如下：授权信息存储于队列中，获取用户请求并从预设的队列中获取授权消息；每个授权消息用于表示一个授权名额，若获取到授权消息，则判断该用户请求能够获得授权；反之，则判断该用户请求不能够获得授权；当判断用户请求不能够获得授权时，向该用户发送请求拒绝消息。
在一个可选的实施例中，在S4中，当前剩余授权名额大于0时，判断该用户请求能够获得授权；当前剩余的授权名额等于0时，判断该用户请求不能够获得授权；授权名额数量随授权请求的增加而减少，即每授权一个用户请求，授权名额数量随之减少一个；授权名额数量随时间而不断增加，即每过K秒，授权名额数量随之增加一个。
在一个可选的实施例中，在S5中，还包括以下步骤：在本地存储的令牌中查找处理该用户请求时所需令牌数量的用户令牌。
在一个可选的实施例中，在S6中，当确定网络流量类型为非预定受控类型时，判断该网络流量请求通过的第二令牌桶是否处于满溢状态或预借状态；当判断结果为“是”，则将网络流量的数据包丢弃；当判断结果为“否”，则将网络流量送入第二令牌桶并消耗第二令牌桶的令牌。
在一个可选的实施例中，在S6中，还包括如下步骤：判断第二令牌桶是否处于满溢状态或预借状态；当判断结果为“是”，则为第二令牌桶填充预借令牌，并为网络流量的数据包消耗预借令牌；当判断结果为“否”，则为网络流量的数据包消耗第二令牌桶的令牌。
本发明中，首先在网络系统中搭建分布式集群，统计每个网络通道中的流量并设置流量阈值，以通道流量阈值为依据来调控每个通道内实际通过的请求流量，最终对进入网络系统的所有流量以通道为单位来实现整体的流量控制；然后统计各用户的流量并设置用户流量阈值，以该流量阈值为依据来调控每个用户的请求流量，最终对进入网络系统的所有流量以每个用户为单位来实现单独的流量控制；之后采集网络系统的实际请求流量，动态监控每个通道的流量阈值并生成流量调控信息，继而将流量调控信息发送至分布式集群的每个通道；
然后接收用户请求并根据当前剩余的授权名额来判断用户请求是否能够获得授权；当判断用户请求能够获得授权时，处理该用户请求，判断过程具体如下：获取用户请求并从预设的队列中获取授权消息，每个授权消息用于表示一个授权名额，若获取到授权消息，则判断该用户请求能够获得授权；反之，则判断该用户请求不能够获得授权，当判断用户请求不能够获得授权时，向该用户发送请求拒绝消息
最后确定用户请求的网络流量类型，当确定该网络流量的类型为预定受控类型时，将该网络流量送入与预定受控类型对应的第一令牌桶；网络流量通过第一令牌桶后，继续将其送入第二令牌桶，消耗第二令牌桶的令牌，并使用第二令牌桶为已消耗令牌的网络流量转发数据包；当确定网络流量类型为非预定受控类型时，判断该网络流量请求通过的第二令牌桶是否处于满溢状态或预借状态，若判断结果为“是”，则将网络流量的数据包丢弃，若判断结果为“否”，则将网络流量送入第二令牌桶并消耗第二令牌桶的令牌；
本发明基于双重流量控制机制来对流量进行控制，即基于每个用户的流量控制是第一重流量控制方法，对进入系统的所有流量以每个用户为单位实现单独的流量控制，基于通道整体的流量控制是第二重流量控制方法，对进入系统的所有流量以通道为单位实现整体的流量控制，能够对网络流量进行更加精细化的控制，使网络流量的速率稳定在设定值，能够有效地对网络流量进行控制，提高了网络带宽的使用效率，提升了网络质量。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，包括以下步骤：
S1、在网络系统中搭建分布式集群，统计每个网络通道中的流量并设置流量阈值，以通道流量阈值为依据来调控每个通道内实际通过的请求流量，最终对进入网络系统的所有流量以通道为单位来实现整体的流量控制；
S2、统计各用户的流量并设置用户流量阈值，以该流量阈值为依据来调控每个用户的请求流量，最终对进入网络系统的所有流量以每个用户为单位来实现单独的流量控制；
S3、采集网络系统的实际请求流量，动态监控每个通道的流量阈值并生成流量调控信息，继而将流量调控信息发送至分布式集群的每个通道；
S4、接收用户请求并根据当前剩余的授权名额来判断用户请求是否能够获得授权；当判断用户请求能够获得授权时，处理该用户请求；
S5、确定用户请求的网络流量类型，当确定该网络流量的类型为预定受控类型时，将该网络流量送入与预定受控类型对应的第一令牌桶；
S6、网络流量通过第一令牌桶后，继续将其送入第二令牌桶，消耗第二令牌桶的令牌，并使用第二令牌桶为已消耗令牌的网络流量转发数据包。
2.根据权利要求1所述的一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，在S3中，流量调控信息包括通道流量阈值初置信息和通道流量阈值增减信息。
3.根据权利要求1所述的一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，S4的具体操作如下：
S41、授权信息存储于队列中，获取用户请求并从预设的队列中获取授权消息；
S42、每个授权消息用于表示一个授权名额，若获取到授权消息，则判断该用户请求能够获得授权；反之，则判断该用户请求不能够获得授权。
4.根据权利要求3所述的一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，当判断用户请求不能够获得授权时，向该用户发送请求拒绝消息。
5.根据权利要求1所述的一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，在S4中，当前剩余授权名额大于0时，判断该用户请求能够获得授权；当前剩余的授权名额等于0时，判断该用户请求不能够获得授权。
6.根据权利要求1所述的一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，在S4中，授权名额数量随授权请求的增加而减少，即每授权一个用户请求，授权名额数量随之减少一个。
7.根据权利要求1所述的一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，在S4中，授权名额数量随时间而不断增加，即每过K秒，授权名额数量随之增加一个。
8.根据权利要求1所述的一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，在S5中，还包括以下步骤：
在本地存储的令牌中查找处理该用户请求时所需令牌数量的用户令牌。
9.根据权利要求1所述的一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，在S6中，当确定网络流量类型为非预定受控类型时，判断该网络流量请求通过的第二令牌桶是否处于满溢状态或预借状态；
当判断结果为“是”，则将网络流量的数据包丢弃；当判断结果为“否”，则将网络流量送入第二令牌桶并消耗第二令牌桶的令牌。
10.根据权利要求1所述的一种基于双重流量控制机制的系统流量整体控制方法，其特征在于，在S6中，还包括如下步骤：
判断第二令牌桶是否处于满溢状态或预借状态；当判断结果为“是”，则为第二令牌桶填充预借令牌，并为网络流量的数据包消耗预借令牌；当判断结果为“否”，则为网络流量的数据包消耗第二令牌桶的令牌。
CN202010063482.0A 2020-01-20 2020-01-20 一种基于双重流量控制机制的系统流量整体控制方法 Pending CN111262793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010063482.0A CN111262793A (zh) 2020-01-20 2020-01-20 一种基于双重流量控制机制的系统流量整体控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010063482.0A CN111262793A (zh) 2020-01-20 2020-01-20 一种基于双重流量控制机制的系统流量整体控制方法

Publications (1)

Publication Number Publication Date
CN111262793A true CN111262793A (zh) 2020-06-09

Family

ID=70949129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010063482.0A Pending CN111262793A (zh) 2020-01-20 2020-01-20 一种基于双重流量控制机制的系统流量整体控制方法

Country Status (1)

Country Link
CN (1) CN111262793A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422736A (zh) * 2021-06-16 2021-09-21 中移（杭州）信息技术有限公司 基于令牌桶的请求管理方法、装置、设备及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070091801A1 (en) * 2005-10-20 2007-04-26 Telefonaktiebolaget Lm Ericsson (Publ) Forward link admission control for high-speed data networks
US20100293275A1 (en) * 2009-05-12 2010-11-18 Qualcomm, Incorporated Method and apparatus for managing congestion in a wireless system
CN104702528A (zh) * 2015-04-09 2015-06-10 深圳中兴网信科技有限公司 流量控制方法和流量控制系统
CN105635124A (zh) * 2015-12-24 2016-06-01 小米科技有限责任公司 流量控制方法和装置
CN106921584A (zh) * 2017-03-31 2017-07-04 武汉绿色网络信息服务有限责任公司 一种分布式网络流量控制方法
CN110198274A (zh) * 2019-06-21 2019-09-03 苏宁云计算有限公司 一种集群流量的控制方法及其系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070091801A1 (en) * 2005-10-20 2007-04-26 Telefonaktiebolaget Lm Ericsson (Publ) Forward link admission control for high-speed data networks
US20100293275A1 (en) * 2009-05-12 2010-11-18 Qualcomm, Incorporated Method and apparatus for managing congestion in a wireless system
CN104702528A (zh) * 2015-04-09 2015-06-10 深圳中兴网信科技有限公司 流量控制方法和流量控制系统
CN105635124A (zh) * 2015-12-24 2016-06-01 小米科技有限责任公司 流量控制方法和装置
CN106921584A (zh) * 2017-03-31 2017-07-04 武汉绿色网络信息服务有限责任公司 一种分布式网络流量控制方法
CN110198274A (zh) * 2019-06-21 2019-09-03 苏宁云计算有限公司 一种集群流量的控制方法及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113422736A (zh) * 2021-06-16 2021-09-21 中移（杭州）信息技术有限公司 基于令牌桶的请求管理方法、装置、设备及程序产品
CN113422736B (zh) * 2021-06-16 2022-06-14 中移（杭州）信息技术有限公司 基于令牌桶的请求管理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN100593926C (zh) 用于隐式区分网络中的服务质量的方法和设备
US6504818B1 (en) Fair share egress queuing scheme for data networks
US9712448B2 (en) Proxy server, hierarchical network system, and distributed workload management method
EP3264723B1 (en) Method, related apparatus and system for processing service request
CN102487494B (zh) 短信流量控制方法和系统
CN1910868B (zh) 用于控制队列缓冲器的方法及装置
SE521381C2 (sv) Förfarande för en tillträdesstyrfunktion för ett trådlöst datanätverk
US20140301195A1 (en) Attribution of congestion contributions
EP3907944A1 (en) Congestion control measures in multi-host network adapter
US20050078655A1 (en) Hierarchical credit queuing for traffic shaping
CN115277577A (zh) 数据处理方法、装置、计算机设备和计算机可读存储介质
CN111262793A (zh) 一种基于双重流量控制机制的系统流量整体控制方法
US7551558B2 (en) Method and system for controlling bandwidth allocation
WO2016188057A1 (zh) 一种单组播流量调度管理的方法及装置
CN111897659B (zh) 业务处理频率的控制方法、系统、装置、电子设备
WO2022027331A1 (zh) 带宽管理方法及装置、计算机存储介质及芯片
CN117834552A (zh) 通信队列调度优化方法、装置、设备及介质
CN101951571A (zh) 短消息重试方法及短消息网关
US20030072260A1 (en) Multi-dimensional buffer management hierarchy
CN116095006A (zh) 一种视频直播服务的动态流控方法和系统
EP2388978A1 (en) Methods and devices for determining network link load
CN112684988A (zh) 基于分布式存储的QoS方法及系统
WO2021249058A1 (zh) 一种交换网络流量控制方法、设备及储存介质
CN111756643B (zh) 一种港口运行网络控制方法
CN117294655A (zh) 一种高可用分布式网关系统与管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220908

Address after: 361000 units 1702 and 1703, No. 59, Chengyi North Street, phase III, software park, Xiamen, Fujian

Applicant after: XIAMEN USEEAR INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Unit 1701, unit 1704, No. 59, Chengyi North Street, phase III, software park, Xiamen City, Fujian Province, 361000

Applicant before: FUJIAN QIDIAN SPACE-TIME DIGITAL TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609